CN117112279A - 一种数据链路的熔断方法和装置 - Google Patents

Abstract

本公开提供一种数据链路的熔断方法和装置，涉及大数据处理技术领域。该方法的具体实施方式包括：接收一个或多个数据处理请求；对输入数据和目标节点进行数据存在性检测，判断输入数据和业务节点是否符合流通机制的存在性模板；其中，存在性模板和业务节点的节点标识、业务节点的业务类型一一对应；在输入数据、和/或业务节点不符合流通机制的情况下，熔断业务节点之前、或者业务节点与前一节点之间的数据链路。该实施方式能够利用数据存在性检测，保证输入数据的准确性，提升输入质量，避免了异常数据修复回溯计算的成本、异常排查成本、以及依赖于异常数据作出的决策损失和风险，提升数据链路流转的稳定性和可靠性。

Description

一种数据链路的熔断方法和装置

技术领域

本公开涉及大数据处理技术领域，尤其涉及一种数据链路的熔断方法和装置。

背景技术

数据链路是指从上游数据经过加工处理流转至下游目的地的过程，体现了数据的变化过程，通过对数据链路的观测，可以发现数据存在的异常，对数据的表现进行评估，以及时修复异常数据或者择取表现优异的数据借鉴使用。

现有的数据链路观测过程中，通常采用数据监控看板的方式呈现数据链路的历史数据指标，通过观察历史数据指标的变化，鉴别数据的异常，以评估数据优劣。

然而，由于监控的是历史数据指标，观察到数据异常时通常距离异常的产生时刻较为久远，随着数据流转已经波及到后续的链路环节，一方面，不仅异常修复需要的回溯计算的成本过高，而且流转时间越长异常排查成本越高；另一方面，用户使用链路的异常数据制定的决策错误率高，导致决策损失较大，有些甚至无法挽回，使得风险成本增加。

发明内容

有鉴于此，本公开实施例提供一种数据链路的熔断方法和装置，能够解决异常修复回溯计算的成本过高、排查成本高、损失较大、风险成本增加的问题。

为实现上述目的，根据本公开的一方面，提供了一种数据链路的熔断方法，包括：

接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令；

对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应；

在所述输入数据、和/或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

根据本公开的另一方面，提供了一种数据链路的熔断装置，包括：

接收模块，用于接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令；

检测模块，用于对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应；

熔断模块，用于在所述输入数据、和/或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

根据本公开的再一方面，提供了一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行所述数据链路的熔断方法。

根据本公开实施例的还一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行所述数据链路的熔断方法。

本申请实施例中提供的一个或多个技术方案，通过输入数据的数据存在性检测和结果数据的数据质量检测，针对输入数据和结果数据的异常数据，实施不同的应对策略，及时熔断数据链路，可以实现异常输入和异常输出的及时阻隔，从源头和输出之前进行把控，保证输入数据和输出数据的准确性，缩减数据异常的人力、时间、计算资源等成本的消耗，降低决策风险和异常数据流转造成的损失，提升数据链路的稳定性和流转效率的技术效果。

附图说明

在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：

图1示出了根据本公开示例性实施例的数据链路的熔断方法的流程图；

图2示出了根据本公开示例性实施例的数据链路的示意图；

图3示出了根据本公开示例性实施例的数据存在性的检测方法的流程图；

图4示出了根据本公开示例性实施例的数据存在性检测的熔断方法的流程图；

图5示出了根据本公开示例性实施例的数据质量检测的熔断方法的流程图；

图6示出了根据本公开示例性实施例的数据链路的熔断装置的示意性框图；

图7示出了根据本公开示例性实施例的数据链路的熔断***的示意图；

图8示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

数据熔断：是指在数据链路中检测到数据异常波动时(比如，参数值超过规定阈值等异常)，断开链路停止数据流转的一种机制。

随着大数据的兴起，为用户决策提供参考的大数据应用越来越受重视，主要是通过数据监控看板的方式呈现历史数据指标，发现数据异常以判断数据优劣，进而作为决策参考，发挥大数据的利用价值。

然而，利用数据监控看板的方式观测历史数据指标，观察到异常时与异常产生时间通常相距甚远，使得数据异常的发现存在滞后性，导致使用异常数据的后续链路的数据指标无实质参考价值，一方面，大范围波及的数据异常问题排查困难，需要消耗极高的人力和时间成本；另一方面，在对异常数据进行修复时，通常会采用回溯计算的方式，大数据场景下消耗的计算资源过多，计算成本过高且延误正常的业务处理；最后，用户使用无实质参考价值的数据指标做出的决策(比如，数据加工策略的指定、数据等级划分、实际业务生产、业务营销等)通常是错误的，会给实施结果带来不必要、甚至无法挽回的损失，使得决策的风险大大增加。

通过本公开的数据链路的熔断方法，对输入数据进行数据存在性检测，将存在异常的输入数据所在的数据链路进行熔断，使得数据链路中可能存在的数据异常从源头进行把控，保证输入数据的准确性，提升输入质量，大大降低数据异常的发生概率，缩减数据异常的人力、时间、计算资源等成本的消耗，降低决策风险，提升数据链路的稳定性和流转效率。

进一步地，在数据输出之前加入数据质量检测，将异常数据所在的链路在输出之前熔断，防止输出存在异常的数据，保证输出数据的准确性，从而通过输入数据的数据存在性检测和结果数据的数据质量检测相结合，避免了计算资源的浪费和异常数据在数据链中的流转所造成的不可挽回的损失。

以下参照附图描述本公开的方案。

图1示出了根据本公开示例性实施例的数据链路的熔断方法的流程图，如图1所示，本公开的数据链路的熔断方法包括如下步骤：

在本公开实施例中，本公开的数据链路的熔断方法由熔断服务器执行。

步骤S101，接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令。

在本公开实施例中，根据业务类型的不同，输入数据和数据处理指令也各不相同，比如，业务类型为模型评价，输入数据为多个用户的模型评分，处理指令为计算预设时间段内的模型评分均值；又比如，业务类型为从属关系分析，输入数据为不同字段及其属性值，处理指令为分析不同字段之间的从属关系；再比如，业务类型为流量策略提取，输入数据为用户ID、住址、访问记录、消费记录等，处理指令为提取用户职业等属性分布情况的流量策略。

在本公开实施例中，数据链路可以包括多个业务节点。比如，如图2所示，一个圆圈代表一个业务节点，圆圈中的数字代表业务节点的序号。输入数据可以在任意一个业务节点之前输入，并且，输入数据可以在任意一个业务节点之前被熔断。

步骤S102，对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应。

在本公开实施例中，流通机制包括输入检测的存在性模板，存在性模板包括空闲率阈值、数据存在项、数据完整项、数据量大小、字段空值率、特殊字段格式等内容，熔断服务器事先存储了与业务节点的各式各样的业务类型对应的存在性模板。其中，数据存在性为布尔变量，属性值为第一变量“T”或者第二变量“F”。

进一步地，存在性模板和业务节点的节点标识相对应，以对业务节点的空闲资源进行数据存在性检测；存在性模板和业务节点的业务类型相对应，以对输入数据的数据内容、数据来源、数据量、字段的数据值、特殊字段的格式等进行数据存在性检测。

在本公开实施例中，如图3所示，本公开的数据存在性的检测方法包括如下步骤：

步骤S301，获取所述业务节点的资源空闲率。

在本公开实施例中，业务节点的资源空闲率可以根据业务节点的CPU占用率、内存占用率、磁盘占用率、数据读写速度以及各自权重等确定。

步骤S302，判断所述业务节点的资源空闲率是否超过所述存在性模板的空闲率阈值，如果是，转至步骤S303；如果否，转至步骤S307。

在本公开实施例中，各个业务节点的空闲率阈值可以根据实际需要进行选择性设置，比如，业务节点的空闲率阈值为5％。

步骤S303，确定所述业务节点符合所述流通机制。

在本公开实施例中，在业务节点的资源空闲率超过存在性模板的空闲率阈值的情况下，确定业务节点符合流通机制的存在性模板的要求。

步骤S304，将所述输入数据与所述存在性模板的数据存在项、数据完整项、数据量大小、字段空值率、特殊字段格式的属性值进行逐项对比，以确定所述输入数据是否符合所述流通机制的存在性模板的要求，如果是，转至步骤S305；如果否，转至步骤S306。

步骤S3041，判断所述输入数据的数据内容是否为空，得到所述数据处理请求的数据存在项的属性值是否等于所述存在性模板的数据存在项的属性值，如果是，转至步骤S3042；如果否，转至步骤S306。

在本公开实施例中，在数据处理请求的输入数据的数据内容为空的情况下，数据存在项的属性值为第二变量(即“FALSE”)；在数据处理请求的输入数据的数据内容非空的情况下，数据存在项的属性值为第一变量(即“TRUE”)。其中，数据处理请求的数据存在项的属性值等于存在性模板的数据存在项的属性值时，表示数据处理请求的数据存在性的属性值符合存在性模板的数据存在项的要求。

步骤S3042，根据所述存在性模板的数据完整项，检测所述输入数据的数据来源是否完整，如果是，转至步骤S3043；如果否，转至步骤S306。

在本公开实施例中，在数据处理请求的数据存在项的属性值等于存在性模板的数据存在项的属性值的情况下，对输入数据进行数据完整性检测。数据完整性的检测主要是为了避免输入数据包括多路的情况下、缺失其中一路或者记录，导致输出数据错误，进而给下游数据带来偏差扩大回溯、决策等风险和损失。

进一步地，数据完整项的属性值按照输入数据的数据来源进行分类，输入数据可以是输入表、和/或输入文件，当输入表为hive表时，数据完整项的属性值为分区标识；当输入文件为hdfs文件时，数据完整项的属性值为存储路径。其中：

输入数据的数据表为hive表时，判断hive表的表名中是否包括存在性模板中数据完整项的分区标识，如果包括，则表示输入数据的数据来源完整；如果未包括，则表示输入数据的数据来源不完整。

输入数据的数据表为hdfs文件时，判断hdfs文件的来源路径是否等于存在性模板中数据完整项的存储路径，如果等于，则表示输入数据的数据来源完整；如果不等于，则表示输入数据的数据来源不完整。

步骤S3043，通过所述存在性模板的更新频率，确定所述输入数据的数据量大小是否超过所述存在性模板的数据量大小的属性值，如果是，转至步骤S3044；如果否，转至步骤S306。

在本公开实施例中，在输入数据的数据来源完整的情况下，对输入数据进行数据量大小判断。存在性模板的数据量大小的属性值是随着时间不断更新的，更新频率根据比对需求进行选择性设置。数据处理请求的来源端或者来源节点按照更新频率定时向熔断服务器发送数据量消息，使得熔断服务器根据数据量消息的数据量大小更新存在性模板。其中，更新的方式可以是将数据量消息对应的更新时间和主键值添加至存在性模板，添加时可以对主键值进行去重处理，以降低数据处理量、节省计算资源和成本。比如，更新频率为每天1：00点更新前一天的数据量大小，数据量消息的更新时间为前一天。

进一步地，需要说明的是，对于例行的数据处理请求而言，更新时间越靠后，通常数据量越大，故而根据时间对数据量大小是否增加进行判断，以确定数据量大小是否符合要求。在判断所述输入数据的数据量大小时，还包括：

将所述数据处理请求的数据处理指令的指示时间与所述存在性模板的数据量大小的更新时间进行对比，确定早于且最接近所述指示时间的更新时间为目标时间；

判断所述输入数据的主键值是否大于所述目标时间的主键值，如果是，确定所述输入数据的数据量大小超过所述存在性模板的数据量大小的属性值；如果否，确定所述输入数据的数据量大小未超过所述存在性模板的数据量大小的属性值。

步骤S3044，统计所述输入数据中数据值为空的数据字段占总字段的字段空值率，判断所述输入数据的字段空值率与所述存在性模板的字段空值率的空值率差值是否小于等于空值率阈值，如果是，转至步骤S3045；如果否，转至步骤S306。

在本公开实施例中，在输入数据的数据量大小超过存在性模板的数据量大小的属性值的情况下，对输入数据进行字段空值率的判断。其中，空值率阈值可以根据业务需求进行选择性设置，比如，空值率阈值为2％。

进一步地，与存在性模板的数据量大小的更新相类似，存在性模板的字段空值率也存储了不同更新时间下的字段空值率，从而将输入数据的字段空值率、存在性模板的字段空值率的差值和存在性模板的字段空值率的空值率比值与空值率阈值进行对比，以保证输入数据的空值在合理范围内，防止输入数据的偏差度过大导致下游的数据异常。其中，空值率比值＝|输入数据的字段空值率-存在性模板的字段空值率|/(存在性模板的字段空值率)。比如，数据处理指令的指示时间为20230720，所述存在性模板的更新时间为20230719，计算20230720与20230719的空值率差值，判断是否小于空值率阈值2％。

步骤S3045，校验所述输入数据中的特殊字段的属性值是否符合所述存在性模板的特殊字段格式，如果是，转至步骤S305；如果否，转至步骤S306。

在本公开实施例中，在输入数据的字段空值率、存在性模板的字段空值率的空值率差值和存在性模板的字段空值率的空值率比值小于等于空值率阈值的情况下，对输入数据的特殊字段进行校验，特殊字段可以是身份证号、联系方式、企业统一信用代码、银行***等具有特定长度的字段，输入数据的特殊字段的属性值符合特定长度；或者，特殊字段可以是年龄等具有特征范围的字段，输入数据的特殊字段的数值应该在特征范围内。

步骤S305，确定所述输入数据符合所述流通机制。

在本公开实施例中，在输入数据中的特殊字段的属性值符合存在性模板的特殊字段格式的情况下，确定输入数据符合流通机制的存在性模板的要求，可以向业务节点流通。

步骤S306，确定所述输入数据不符合所述流通机制。

在本公开实施例中，在数据处理请求的数据存在项的属性值不等于存在性模板的数据存在项的属性值、或者输入数据的数据来源不完整、或者输入数据的数据量大小未超过存在性模板的数据量大小的属性值、或者输入数据的字段空值率减去存在性模板的字段空值率的空值率差值的绝对值和存在性模板的字段空值率的空值率比值大于空值率阈值、或者输入数据中的特殊字段的属性值不符合存在性模板的特殊字段格式的情况下，确定输入数据不符合流通机制的存在性模板的要求，应进行熔断处理。

步骤S307，确定所述业务节点不符合所述流通机制。

在本公开实施例中，在业务节点的资源空闲率未超过存在性模板的空闲率阈值的情况下，确定业务节点不符合流通机制的存在性模板的要求。

在本公开实施例中，通过本公开的数据存在性的检测方法，将从上游输入的数据进行存在性检测，判断上游的输入数据和业务节点是否满足存在性模板的要求，进而后续根据判断结果确定输入数据是否存在异常，以防止异常输入数据流入下游，从源头保证数据链路的准确性，防止异常输入数据的流转带来的各种成本损失。

步骤S103，在所述输入数据、和/或所述目标节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

在本公开实施例中，在输入数据、和/或业务节点不符合流通机制的存在性模板的要求情况下，表明输入数据的流转存在异常，需要对输入数据的流转进行熔断，以保证下游数据的准确性。其中，对输入数据的流转进行熔断包括熔断业务节点之前的数据链路，或者，熔断业务节点与前一节点之间的数据链路。

在本公开实施例中，如图4所示，本公开的数据存在性检测的熔断方法包括如下步骤：

步骤S401，判断所述数据处理请求的业务节点是否为所述数据链路的首个节点，如果是，转至步骤S402；如果否，转至步骤S403。

步骤S402，熔断所述业务节点之前的数据链路。

在本公开实施例中，在数据处理请求的业务节点为数据链路的首个节点的情况下，直接熔断业务节点之前的数据链路。比如，如图2所示，业务节点的序号为①，则熔断业务节点①之前的数据链路a。

步骤S4021，获取所述输入数据、和/或所述业务节点的存在性熔断标识；其中，所述存在性熔断标识指示了所述输入数据、和/或所述业务节点的熔断依据。

在本公开实施例中，与存在性模板相对应，存在性熔断标识可以是空闲率不足、存在项为F、完整项不符、数据量隐患、空值率偏差、特殊字段有误等。

步骤S4022，判断所述存在性熔断标识是否为延时型，如果是，转至步骤S4023；如果否，转至步骤S4029。

在本公开实施例中，存在性熔断标识包括延时型和报警型，延时型是指等待一定时间就可以恢复的类型，报警型是指无法通过等待恢复的类型。由于业务节点空闲资源不足可能是因为暂时的任务处理过于集中导致，故而等待一定时间后，业务节点处理一部分任务即会释放资源，可以执行数据处理请求，同时，输入数据的数据内容为空也可能是源头一时的网络故障未导入输入数据、或者输入数据未随数据处理请求一起载入等导致的偶然延时，等待一定时间后，网络恢复正常或者输入数据载入即可继续处理，因此，空闲率不足、存在项为F属于可以等待恢复的延时型的输入熔断标识；完整项不符、数据量隐患、空值率偏差、特殊字段有误属于无法通过等待恢复的输入熔断标识。

步骤S4023，等待所述输入数据和所述业务节点恢复。

在本公开实施例中，对于延时型的存在性熔断标识，业务节点的资源可以逐步释放、输入数据的载入也只是时间的问题，故而在等待时间未超过等待时间阈值的情况下，等待输入数据和业务节点恢复即可。

步骤S4024，定时重新执行所述数据存在性检测。

在本公开实施例中，在等待期间，熔断服务器定时发起数据存在性检测，判断延时型的熔断是否恢复。其中，定时的时间间隔可以根据需要进行选择性设置。

步骤S4025，判断重新检测是否符合所述流通机制的存在性检测模板，如果是，转至步骤S4026；如果否，转至步骤S4027。

步骤S4026，将所述输入数据发送至所述业务节点。

在本公开实施例中，在定时发起的重新检测符合流通机制的情况下，响应于数据处理请求，将正确的输入数据发送给业务节点进行处理。

步骤S4027，判断所述重新检测的存在性熔断标识是否为延时型，如果是，转至步骤S4028；如果否，转至步骤S4029。

在本公开实施例中，在定时发起的重新检测不符合流通机制的情况下，对重新检测的存在性熔断标识进行判断。

步骤S4028，判断所述数据处理请求的总等待时间是否超过等待时间阈值，如果是，转至步骤S4029；如果否，转至步骤S4024。

在本公开实施例中，在重新检测的存在性熔断标识仍为延时型的情况下，判断数据处理请求多次检测累计的总等待时间是否超过等待时间阈值。其中，等待时间阈值可以根据需要进行选择性设置。

进一步地，或者，每次等待时间阈值过后可以递增等待次数，在等待次数超过次数阈值的情况下再重新执行数据存在性检测，以适应不同的数据处理请求所需的资源量，缓解熔断服务器的压力。

步骤S4029，向所述数据处理请求的请求端报警。

在本公开实施例中，在输入熔断标识为报警型的情况下，熔断服务器向数据处理请求的源头报警，源头可以是请求端或者业务节点的前一节点，使得请求端或者前一节点可以根据输入熔断标识的指示定位异常所在，并对异常的输入数据进行修复，包括但不限于重新获取、缺失补充、格式更正等，以保障流转至业务节点的输入数据是正常、准确的，保证数据链路的精准运转，以为用户提供可靠的决策参考。

在本公开实施例中，在数据处理请求的等待时间超过等待时间阈值的情况下，表明数据处理请求的源头短时间网络故障无法解决、或者短时间内输入数据无法载入得到输入数据，熔断服务器需要向数据处理请求的源头报警，给数据处理请求以充足的恢复时间，使得源头加急恢复网络及加急载入，以重新发起数据处理请求，保障数据链路流转的正确性。

进一步地，或者，每次等待时间阈值过后可以递增等待次数，在等待次数超过次数阈值的情况下拒绝数据处理请求，以对源头短时间内无法处理的情况进行兜底，防止长时间的无效检测资源占用。

步骤S403，熔断所述业务节点与前一节点之间的数据链路。

在本公开实施例中，在数据处理请求的业务节点非数据链路的首个节点的情况下，熔断业务节点和其前一节点之间的数据链路，业务节点与前一节点之间的数据链路的熔断与业务节点之前的数据链路的熔断类似，参照步骤S4021-S4026即可。比如，如图2所示，业务节点的序号为⑧，则熔断业务节点⑧的前一节点②和业务节点⑧之间的数据链路b。

在本公开实施例中，通过本公开的数据存在性检测的熔断方法，对异常的数据链路进行熔断，以根据不同的熔断类型执行不同的熔断措施，包括等待、报警等，从源头把控数据异常，以保证输入数据的正确性，提升输入质量，进而保证数据链路流转的准确性，缩减数据异常的人力、时间、计算资源等成本的消耗，降低决策风险。

在本公开实施例中，经过数据存在性检测，在数据处理请求的输入数据和业务节点符合流通机制的情况下，正常的输入数据会进入数据处理流程，由数据处理请求对应的业务节点按照处理指令进行加工，再由熔断服务器继续对业务节点加工的数据进行数据质量检测，熔断存在异常的输出数据对应的业务节点之后的数据链路，进一步保证数据链路的准确性和稳定性，相应地，将输入数据正常的数据处理请求发送至业务节点之后，如图5所示，本公开的数据质量检测的熔断方法包括如下步骤：

步骤S501，接收所述业务节点按照所述数据处理指令对所述输入数据进行处理得到的结果数据。

在本公开实施例中，熔断服务器接收业务节点响应于数据处理请求返回的结果数据，并对结果数据进行数据质量检测，防止输出数据异常导致的的下游流转错误参考，以保证输出数据的准确性。

在本公开实施例中，输出数据可以在任意一个业务节点之后输出，并且，输出数据可以在任意一个业务节点之后被熔断。

步骤S502，对所述结果数据进行数据质量检测，判断所述结果数据是否符合所述流通机制的质量模板的要求，如果是，转至步骤S503；如果否，转至步骤S505。其中，所述质量模板和所述业务节点的业务类型相对应。

在本公开实施例中，流通机制还包括数据质量检测的质量模板，质量模板包括逻辑类型、数值范围和类别占比区间，不同的业务类型的质量模板的逻辑类型、数值范围和类别占比阈值各不相同，比如，业务类型为模型评价，逻辑类型包括评分比例阈值；又比如，业务类型为多个地址字段之间的从属关系分析，逻辑类型为地址从属关系条件；再比如，业务类型为流量策略提取，逻辑类型为分布趋势。

步骤S5021，获取所述结果数据中的逻辑结果、结果数值和类别结果。

在本公开实施例中，逻辑结果与业务节点的业务类型相对应，包括模型评分均值、地址从属关系和用户职业在不同分布区间的分布比例等。

步骤S50211，对于所述业务类型为模型评价的所述数据处理请求，获取各个用户的模型评分均值。

步骤S50212，对于所述业务类型为从属关系分析的所述数据处理请求，获取一级地址字段和二级地址字段的地址从属关系。

在本公开实施例中，比如，一级地址字段为省、二级地址字段为市。

步骤S50213，对于所述业务类型为流量策略提取的所述数据处理请求，获取用户职业在不同分布区间的分布比例。

步骤S5022，判断所述逻辑结果是否符合所述质量模板的逻辑类型的要求，如果是，转至步骤S5023；如果否，转至步骤S505。

步骤S50221，对于所述业务类型为模型评价的所述数据处理请求，计算所述各个用户的模型评分均值和标准分的比例差，判断所述比例差是否小于等于所述评分比例阈值。

在本公开实施例中，预设时间段、评分比例阈值和标准分可以根据实际业务需求进行选择性设置，比如，预设时间段为7天，评分比例阈值0.1％，标准分为100分，熔断服务器计算模型评分均值和标准分的绝对差值占标准分的比例差＝|模型评分均值-标准分|/标准分，判断比例差是否小于等于0.1％，以此作为模型优劣的依据。

步骤S50222，对于所述业务类型为从属关系分析的所述数据处理请求，判断所述地址从属关系是否符合所述地址从属关系条件。

在本公开实施例中，比如，地址从属关系条件为省市对应关系，判断地址从属关系是否符合地址从属关系条件，以此作为分析结果的依据。

步骤S50223，对于所述业务类型为流量策略提取的所述数据处理请求，判断所述用户职业在不同分布区间的分布比例是否符合所述分布趋势。

在本公开实施例中，比如，分布趋势为正态分布，判断用户职业在不同分布区间的分布比例是否符合正态分布，以此作为流量策略是否有参考价值的依据。

步骤S5023，分别对比各个所述结果数值是否在所述质量模板对应的数值范围内，如果是，转至步骤S5024；如果否，转至步骤S505。

步骤S5024，计算所述类别结果中各个类别的类别占比，判断各个所述类别占比是否属于所述类别占比区间，如果是，转至步骤S503；如果否，转至步骤S505。

在本公开实施例中，类别占比区间可以根据实际的业务需求进行选择性设置，比如，业务类型为流量策略提取，分别判断用户类别为男性、女性的类别占比是否属于对应的性别类别占比区间。

步骤S503，确定所述结果数据符合所述流通机制的质量模板。

在本公开实施例中，在各个类别占比属于对应的类别占比区间的情况下，确定结果数据符合流通机制的质量模板。

步骤S504，将所述结果数据作为响应于所述数据处理请求的所述业务节点的输出数据。

在本公开实施例中，在结果数据符合流通机制的情况下，确定结果数据为业务节点的输出数据。

步骤S505，确定所述结果数据不符合所述流通机制的质量模板。

在本公开实施例中，在逻辑结果不符合逻辑类型的要求、或者任一结果数值不在对应的数值范围内、或者任一类别占比不属于对应的类别占比区间的情况下，确定结果数据不符合流通机制的质量模板，需要对业务节点之后的数据链路进行熔断，防止错误数据流入下游，导致下游回溯、决策等风险和损失。

步骤S506，判断所述数据处理请求的业务节点是否为所述数据链路的最后一个节点，如果是，转至步骤S507；如果否，转至步骤S508。

步骤S507，熔断所述业务节点之后的数据链路。

在本公开实施例中，在数据处理请求的业务节点为数据链路的最后一个节点的情况下，直接熔断业务节点之后的数据链路。比如，如图2所示，业务节点的序号为⑩，则熔断业务节点⑩之后的数据链路c。

步骤S5071，获取所述结果数据的输出熔断标识；其中，所述输出熔断标识指示了所述结果数据的熔断依据。

在本公开实施例中，输出熔断标识包括逻辑熔断、数值熔断和类别熔断。

步骤S5072，查找所述输出熔断标识对应的输入数据。

在本公开实施例中，熔断服务器根据输出熔断标识，确定出现异常的结果数据对应的输入数据。

步骤S5073，将所述输出熔断标识对应的输入数据发送给所述业务节点，使得所述业务节点重新执行所述输出熔断标识对应的输入数据的数据处理命令。

在本公开实施例中，熔断服务器将出现异常的结果数据对应的输入数据发送给业务节点，使得业务节点重新执行输出熔断标识对应的输入数据的数据处理命令，再次经过数据质量检测，循环往复，直至数据质量检测通过、得到正确的结果数据作为输出数据为止，保证下游数据的完整性和可靠性。

步骤S508，熔断所述业务节点和下一节点之间的数据链路。

在本公开实施例中，在数据处理请求的业务节点非数据链路的最后一个节点的情况下，熔断业务节点和其下一节点之间的数据链路，业务节点与下一节点之间的数据链路的熔断与业务节点之后的数据链路的熔断类似，参照步骤S5071-S5073即可。比如，如图2所示，业务节点的序号为⑧，则熔断业务节点⑧和业务节点⑧的下一节点⑨之间的数据链路d。

在本公开实施例中，通过本公开的数据质量检测的熔断方法，根据逻辑类型、数值范围、类别占比区间等对结果数据的业务逻辑和数据质量的不同指标进行异常检测，并将存在异常的结果数据所在的数据链路熔断，阻止异常输出的流转，避免下游异常反推困难等现象的发生，保证下游使用数据的准确性、完整性和可靠性，避免计算资源的浪费和异常造成的损失。

在本公开实施例中，通过本公开的数据链路的熔断方法，能够利用数据存在性检测和数据质量检测机制，保证输入数据和输出数据的准确性，提升输入和输出质量，避免了异常数据修复回溯计算的成本、异常排查成本、以及依赖于异常数据作出的决策损失和风险，提升数据链路流转的稳定性和可靠性。

图6是根据本公开实施例的数据链路的熔断装置的主要模块的示意图，如图6所示，本公开的数据链路的熔断装置600包括：

收发模块601，用于接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令。

检测模块602，用于对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应。

熔断模块603，用于在所述输入数据、和/或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

收发模块601，还用于将所述数据处理请求发送至所述业务节点，并接收所述业务节点按照所述数据处理指令对所述输入数据进行处理得到的结果数据。

检测模块602，还用于对所述结果数据进行数据质量检测，判断所述结果数据是否符合所述流通机制的质量模板的要求；其中，所述质量模板和所述业务节点的业务类型相对应。

熔断模块603，还用于在所述结果数据符合所述流通机制的情况下，将所述结果数据作为响应于所述数据处理请求的所述业务节点的输出数据。

图7是根据本公开实施例的数据链路的熔断***的示意图，如图7所示，本公开的数据链路的熔断***包括：

数据存在性检测和数据质量检测，具体地：

接收到数据处理请求后，对输入数据和业务节点进行数据存在性检测，判断输入数据和业务节点是否符合流通机制的存在性模板的要求，在输入数据和业务节点符合流通机制的情况下，将输入数据发送给业务节点；

进一步地，在输入数据和业务节点不符合流通机制的情况下，对于延时型输入熔断标志，等待输入数据和业务节点恢复后，重新执行数据存在性检测；

如果等待超时仍未恢复，则向数据处理请求的源头报警，由源头定位异常并修复。

接收到业务节点返回的结果数据后，对结果数据进行数据质量检测，判断结果数据是否符合流通机制的质量模板的要求，在结果数据符合流通机制的情况下，将结果数据作为输出数据继续流转；

进一步地，在结果数据不符合流通机制的情况下，查找输出熔断标识对应的输入数据发送给业务节点重新执行数据处理命令。

本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

参考图8，现将描述可以作为本公开的服务器或客户端的电子设备800的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806、输出单元807、存储单元808以及通信单元809。输入单元806可以是能向电子设备800输入信息的任何类型的设备，输入单元806可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元807可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元804可以包括但不限于磁盘、光盘。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMa8设备、蜂窝通信设备和/或类似物。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理。例如，在一些实施例中，图1至图5的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到电子设备800上。在一些实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图1至图5的方法。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

Claims (14)

1.一种数据链路的熔断方法，其特征在于，包括：

接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令；

对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应；

在所述输入数据、和/或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

2.如权利要求1所述的熔断方法，其特征在于，所述对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板，包括：

获取所述业务节点的资源空闲率，判断所述业务节点的资源空闲率是否超过所述存在性模板的空闲率阈值；

在所述业务节点的资源空闲率超过所述存在性模板的空闲率阈值的情况下，确定所述业务节点符合所述流通机制；

将所述输入数据与所述存在性模板的数据存在项、数据完整项、数据量大小、字段空值率、特殊字段格式的属性值进行逐项对比，确定所述输入数据是否符合所述流通机制。

3.如权利要求2所述的熔断方法，其特征在于，所述将所述输入数据与所述存在性模板的数据存在项、数据完整项、数据量大小、字段空值率、特殊字段格式的属性值进行逐项对比，包括：

判断所述输入数据的数据内容是否为空，得到所述数据处理请求的数据存在项的属性值是否等于所述存在性模板的数据存在项的属性值；

根据所述存在性模板的数据完整项，检测所述输入数据的数据来源是否完整；

通过所述存在性模板的更新频率，确定所述输入数据的数据量大小是否超过所述存在性模板的数据量大小的属性值；

统计所述输入数据中数据值为空的数据字段占总字段的字段空值率，判断所述输入数据的字段空值率与所述存在性模板的字段空值率的空值率差值是否小于等于空值率阈值；

校验所述输入数据中的特殊字段的属性值是否符合所述存在性模板的特殊字段格式。

4.如权利要求3所述的熔断方法，其特征在于，所述更新频率包括更新时间；所述通过所述存在性模板的更新频率，确定所述输入数据的数据量大小是否超过所述存在性模板的数据量大小的属性值，包括：

将所述数据处理请求的数据处理指令的指示时间与所述存在性模板的数据量大小的更新时间进行对比，确定早于且最接近所述指示时间的更新时间为目标时间；

判断所述输入数据的主键值是否大于所述目标时间对应的主键值，在所述输入数据的主键值大于所述目标时间的主键值的情况下，确定所述输入数据的数据量大小超过所述存在性模板的数据量大小的属性值。

5.如权利要求2至4中任一项所述的熔断方法，其特征在于，所述确定所述输入数据是否符合所述流通机制，包括：

在所述输入数据不符合所述存在性模板的所述数据存在项、所述数据完整项、所述数据量大小、所述字段空值率、所述特殊字段格式中任一项的要求的情况下，确定所述输入数据不符合所述流通机制。

6.如权利要求3所述的熔断方法，其特征在于，所述熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路，包括：

获取所述输入数据、和/或所述业务节点的输入熔断标识；其中，所述输入熔断标识包括空闲率不足、存在项为F、完整项不符、数据量隐患、空值率偏差、特殊字段有误；

在所述输入熔断标识为延时型的情况下，等待所述输入数据和所述业务节点恢复，重新对所述输入数据和所述目标节点进行数据存在性检测；其中，所述延时型的输入熔断标识包括所述空闲率不足和所述存在项为F；

在所述输入熔断标识为报警型的情况下，向所述数据处理请求的请求端报警。

7.如权利要求6所述的熔断方法，其特征在于，在所述获取所述输入数据、和/或所述业务节点的输入熔断标识之前，还包括：

判断所述数据处理请求的业务节点是否为所述数据链路的首个节点；

在所述业务节点为所述数据链路的首个节点的情况下，熔断所述业务节点之前的数据链路；或者，

在所述业务节点非所述数据链路的首个节点的情况下，熔断所述业务节点与前一节点之间的数据链路。

8.如权利要求1所述的熔断方法，其特征在于，所述数据处理请求还包括数据处理指令；在所述输入数据和所述业务节点符合所述流通机制的情况下，还包括：

将所述输入数据发送至所述业务节点，并接收所述业务节点按照所述数据处理指令对所述输入数据进行处理得到的结果数据；

对所述结果数据进行数据质量检测，判断所述结果数据是否符合所述流通机制的质量模板的要求；其中，所述质量模板和所述业务节点的业务类型相对应；

在所述结果数据符合所述流通机制的情况下，将所述结果数据作为响应于所述数据处理请求的所述业务节点的输出数据。

9.如权利要求8所述的熔断方法，其特征在于，所述对所述结果数据进行数据质量检测，判断所述结果数据是否符合所述流通机制的质量模板的要求，包括：

获取所述结果数据中的逻辑结果、结果数值和类别结果，

判断所述逻辑结果是否符合所述质量模板的逻辑类型的要求、分别对比各个所述结果数值是否在所述质量模板的数值范围内，并计算所述类别结果中各个类别的类别占比；

在所述逻辑结果符合所述逻辑类型、全部的结果数值处于对应的所述数值范围内且各个所述类别占比皆属于类别占比区间的情况下，确定所述结果数据符合所述流通机制的质量模板。

10.如权利要求9所述的熔断方法，其特征在于，所述逻辑类型包括评分比例阈值、地址从属关系条件和分布趋势；所述判断所述逻辑结果是否符合所述质量模板的逻辑类型的要求，包括：

对于所述业务类型为模型评价的所述数据处理请求，计算所述各个用户的模型评分均值和标准分的比例差，判断所述比例差是否小于等于所述评分比例阈值；

对于所述业务类型为从属关系分析的所述数据处理请求，判断获取的多个地址字段之间的地址从属关系是否符合所述地址从属关系条件；

对于所述业务类型为流量策略提取的所述数据处理请求，判断用户职业在不同分布区间的分布比例是否符合所述分布趋势。

11.如权利要求8所述的熔断方法，其特征在于，还包括：

在所述结果数据不符合所述流通机制的质量模板的要求的情况下，熔断所述业务节点之后、或者所述业务节点和下一节点之间的数据链路。

12.一种数据链路的熔断装置，其特征在于，包括：

接收模块，用于接收一个或多个数据处理请求；其中，所述数据处理请求包括输入数据、业务节点和数据处理指令；

检测模块，用于对所述输入数据和所述目标节点进行数据存在性检测，判断所述输入数据和所述业务节点是否符合流通机制的存在性模板；其中，所述存在性模板和所述业务节点的节点标识、所述业务节点的业务类型一一对应；

熔断模块，用于在所述输入数据、和/或所述业务节点不符合所述流通机制的情况下，熔断所述业务节点之前、或者所述业务节点与前一节点之间的数据链路。

13.一种电子设备，包括：

处理器；以及

存储程序的存储器，

其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-11中任一项所述的数据链路的熔断方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的数据链路的熔断方法。