CN103957268B - 一种规则驱动的数据传输方法 - Google Patents

Abstract

本发明公开了一种规则驱动的数据传输方法。本方法为：1)对每一候选的数据传输网络，对其历史分发任务进行约束条件分解，得到该网络每一历史任务的特征属性；2)确定每一网络历史任务的共同特征属性，根据该共同特征属性建立该网络的业务规则；将所有网络的业务规则构建为一业务规则链；3)从每一待分发任务的约束条件中提取该任务的特征属性；4)将该任务的特征属性与业务规则链进行特征匹配，如果有匹配的业务规则，则采用该业务规则对应的网络对该任务进行数据传输；如果没有，则将该任务约束条件与数据、信道和节点的特征属性进行匹配，选取一候选网络对该任务进行数据传输。本发明能够依据任务约束条件匹配业务规则形成最优化调度。

Description

一种规则驱动的数据传输方法

技术领域

本发明属于信息资源传输(Resource Dispatch)技术领域，涉及一种规则驱动的数据传输方法。

背景技术

以气象数据传输为例，目前世界气象组织的全球通信***、国家气象通信***以及行业气象通信网络均综合采用多种通信手段，来满足大范围、高时效、大数据量的业务化传输要求，基本模式是，基于卫星通信实现信息快速广播分发以及有线难以覆盖地域的资料上传，基于地面专线实现骨干节点间大数据交换以及视频会商等高质量音视频信息交互，基于公网实现信息公共服务并作为应急传输备份手段。通信手段综合应用的特点为多网并存，协议隔离，互相独立，分散利用，信道资源选择以静态为主，以满足传输基本要求为目标，资源综合利用效益整体较低。

合理的选择网络，按照不同的时限和优化目标，将气象资料数据以合理的通信代价传输到目标节点，是目前气象资料数据分发任务亟需解决的问题。气象数据传输资源调度过程本质上是面向气象分发任务，利用资源调度算法，将各类气象数据，以一定的分发策略和最优化目标，分发到多个订阅该类数据的目标节点。资源调度是对各种资源进行合理有效的调节和测量及分析和使用。信息资源调度主要是通过统一描述机制实现各种资源的共享和服务整合，通过解析机制实现关联资源的检索和获取。

针对分发任务调度传输，一般调度传输策略依据分发任务的静态特征属性或动态特征属性，形成约束条件和优化目标，并利用优化算法实现全局最优调度传输。同时提供专家知识库，利用历史最优调度修正实时任务调度传输过程(如图1所示)。

现有技术存在的问题和缺点

现有传输方法在解决气象资料分发存在适用性问题。首先，未充分考虑气象资料分发特性。气象资料分发过程中具有三类典型的特征对象：数据、信道和节点。同时这三类对象具有典型的特征属性和约束条件，并通过静态特征和动态特征表现，如何针对性的利用三类对象的特征属性，有效提高分发调度传输效率，是现有传输方法还未解决的。

目前主流任务调度传输***主要通过分发任务的约束条件提取，构建优化目标和优化函数，并调用优化算法实现分发任务的全局最优调度。同时可通过专家知识库，将优化的历史调度过程形成调度知识，修正实时调度过程。现有方法粒度较粗，不能很好的细粒度提炼分发任务的属性特征，难以自动实现特征的分解、组合和匹配。主要的问题包括：1)缺乏分发任务的特征分类体系，细粒度的划分分发任务的各类特征；2)缺乏分发任务所表示的约束条件和特征属性与业务规则的解释机制。3)缺乏一套完整的基于规则驱动的任务调度传输流程。

发明内容

针对现有技术中存在的技术问题，本发明的目的是提供一种规则驱动的数据传输方法。本发明通过分发任务特征属性的分类和表示机制、特征属性与业务规则的映射与匹配机制以及基于规则驱动的任务调度传输流程，来准确刻画分发任务的特征属性，实现机器可理解的业务规则的分解、识别和解释，满足最优调度下的分发任务的特征属性组合和业务规则提取。

下面结合附图2对本发明作进一步详细描述。

本发明的数据传输方法包括以下几个步骤：

步骤S2.1：定义分发任务特征属性分类和表达方法。细粒度表示分发任务的特征以及约束，并通过资源描述框架(RDF)形式表达，方便识别和规则推理。

步骤S2.2：特征属性识别。通过***定义的特征属性，提取分发任务的静态和动态特征属性，并以特征属性元素和约束表示。对一个属性是本征还是间接，静态还是动态，分别从2个维度进行划分和标记。

步骤S2.3：自动学习和设定业务规则。通过统计分析，将一系列特征属性归纳为业务规则，或通过用户界面将特征属性组合为业务规则。业务规则由一系列特征属性组成,比如由人机交互制导生成,机器可理解\可执行；其自动学习和设定业务规则与特征属性的相互识别转化体现在二个方面：一是特征属性阈值动态适配，二是属性规则的动态组合，主要通过大量任务调度传输效能统计评估进行优化。比如，“大于k个接收节点使用卫星广播网”与“超过kM数据使用宽带网”，二条规则将根据卫星网和宽带网的覆盖率、带宽、使用率统计情况以及当前传输目标约束对k进行动态赋值。

步骤S2.4：业务规则链解析。在任务调度传输时，依据***提供的业务规则链，进行解析分解形成特征属性，并与分发任务的约束条件匹配。如果匹配到任一规则，则跳出规则链，利用匹配的网络执行网络传输。分发任务的约束条件是该任务所涉及的数据、节点和信道三要素的静态属性所决定的。例如一个分发任务涉及某数据具有一定密级，涉及的某节点只连有部分信道。那么对该任务进行调度优化时就自然要考虑满足密级要求和在可用的信道内进行选择，这样两个约束。

步骤S2.5：分发任务的特征匹配。如使用业务规则链未匹配到满足的最优网络，则依据数据、信道和节点的特征属性与分发任务约束条件进行匹配，形成满足最优的网络传输方案。匹配方式主要依据两类方法：第一类是通过预过滤形式，将数据、信道和节点的特征属性与分发任务的约束条件进行一一比对过滤，比如分发任务中数据的安全等级较高，则比对现有信道中哪些信道具备高安全等级，则过滤出。第二类是依据最优化目标，选择最优的传输网络。比如按照传输时间最短，选择当前任务传输时间最短的网络。通过这两类方法，最终形成满足最优的网络传输方案。节点占有多个信道，信道的通达范围为多个节点。由于数据是独立存在的，只有当传输数据时，才需要建立节点、数据、信道的三元联系；节点通过信道将数据传输给其它节点。

步骤S2.6：业务规则的修正。通过业务人员判定使用该业务规则是否最优。如该传输未达到预定目标，则启动自动学习或人员操作方式，修正业务规则。业务规则链表示为一系列等式或不等式的组合。自动修正主要是完成对规则链中的等式或不等式右边的数值或符号进行修正。比如传输目标结点数大于50个则采用卫星网络传输。这个业务规则可表示为Sum(结点数)>50，传输网络＝卫星网络。这个数值50可自动学习修正。即通过统计分析大量任务的状态以及修改50这个数值的影响，最终来更新这个数值，如修正为60，或者100。

步骤S2.7：流程结束。提供最优分发任务调度传输。关键点及对应的技术效果。

针对一个传输任务而言，需考虑节点之间信道的实时特征。因此本发明引入节点对，如图3所示。每个节点对由两个节点组成，使用<上下级描述>特征来定义节点之间的传输次序关系，即采用(节点对名称，上级节点、下级节点，占用信道)描述。在传输任务中，使用<传输方向>特征来确定具体的传输方向，即接收方和发送方描述。从而，将三元联系转化为信道和数据之间的二元联系；其中，通过一节点对表记录数据传输过程中两个连通节点组成的传输上下级，其字段包括：属性、属性的数据类型、属性值长度、是否为主键、可否为空、描述说明。数据传输任务实体关系图如图4所示。由于单个节点能够参与多个节点对，同时一个节点对包含两个上下级节点。因此使用节点—节点对关联表解决节点和节点对之间的多对多关系。

关键点1：分发任务特征属性的分类和表示机制。一个分发任务的主体包括数据、信道和节点。每个主体的特征属性又包括静态特征和动态特征。数据的静态特征包括数据类型、数据名称、数据大小、数据安全等级；数据的动态特征包括数据可靠性要求、数据分发时限要求、数据生成时间等。信道的静态特征包括信道容量、信道安全等级、信道类型；信道的动态特征包括信道可用带宽、信道可靠性、信道负载。节点的静态特征包括转发能力、节点等级；节点的动态特征包括节点状态、节点状态反馈。在对分发任务的特征属性进行统一描述的基础上，本发明基于RDF为每个特征属性进行统一表示，包括元素定义、属性定义等，详见表1。

表1气象数据传输特征表

通过对分发任务的特征属性进行分类，可将任一分发任务的分发约束条件转化为对特征属性的条件约束。即一个分发任务的约束条件可表示为一系列特征属性的条件约束。

技术效果：通过分发任务特征属性的分类和表示机制，将分发任务表示为一系列用RDF表示的特征属性条件约束。

关键点2：特征属性与业务规则的映射与匹配机制。业务规则是人可理解的，用于表示分发任务的历史经验和业务知识。通过定义业务规则，并解释为特征属性及其条件约束，可实现业务规则的机器可理解和执行。如“实况数据使用专线进行传输”这条业务规则可表示为：

实况数据使用专线进行传输

数据静态特征：数据类型：实况数据

信道：信道类型：专线

通过特征属性与业务规则的映射与匹配，可将业务规则分解为特征属性。

业务规则往往较为复杂，可通过将其解释为一系列组合的特征属性来表达。如“安全等级高的数据使用安全等级高的网络传输”，该规则可使用一系列特征属性的组合来表示。

安全等级高的数据使用安全等级高的网络传输：

数据安全等级＝1，信道安全等级>＝1；&&

数据安全等级＝2，信道安全等级>＝2；&&

数据安全等级＝3，信道安全等级>＝3；&&

数据安全等级＝4，信道安全等级>＝4；&&

特征属性与业务规则的映射与匹配机制允许通过界面定义方式，可将特征组合形成规则。

技术效果：业务特征到规则的相互映射与匹配，实现业务规则到一系列特征的识别和分解；特征属性的组合形成新业务规则。

关键点3：基于规则驱动的任务调度流程。在任务调度过程中，根据***定义的业务规则，与任务的条件约束进行匹配。业务规则以规则链形式存在，即按顺序匹配规则(规则链的顺序体现出规则间的优先顺序；本发明规则链设定原则为高优先级分发>满足日常业务分发需求>可优化网络传输的业务规则。通过此顺序，能够满足业务需求的基础上，尽量提高网络利用率。)，如果匹配到任一条，则执行规则所定义的操作(分配到哪个网络执行等)。如该过程没有匹配到任一规则，则与当前数据、信道和节点的属性特征进行匹配，选择最优的网络进行传输。通过统计未匹配任一规则的分发任务，自动归纳特征属性的组合模式，学习出新业务规则，供业务人员操作入知识库。比如根据历史任务统计，提取分发任务所采用网络的特征值，设定业务规则中的特征属性，即形成新的业务规则。如二级节点超过20个，且分发目标节点超过100个，数据大小小于1M的分发任务使用卫星网络传输这条业务规则。二级节点、分发节点，数据大小，分发网络这些特征是需要固定的。

技术效果：基于业务规则进行分发任务调度，并可自动学习总结出业务规则。

与现有技术相比，本发明的积极效果：

1)本发明通过分发任务的特征属性分类和标识、特征属性与业务规则的映射和匹配以及业务规则驱动的数据传输，实现分发任务约束、业务规则与特征属性三者间的相互映射匹配，满足分发任务依据当前任务约束条件匹配业务规则形成最优化调度。

2)本发明通过自动学习和人工设定业务规则以及业务规则的修正机制，实现特征属性的到业务规则的统计归纳，以及业务规则自动解释执行为特征属性，方便业务人员根据需要自定义或调整传输规则，优化整体任务调度传输。

附图说明

图1为传统最优数据调度传输流程图；

图2为本发明数据传输方法流程图；

图3为节点对实体图；

图4为数据传输任务实体关系图。

具体实施方式

下面以实施具体说明本发明方法的实现。

不同的分发任务具有不同的分发约束条件，如安全等级高的数据，默认需要使用安全等级高的信道进行数据传输；有的分发任务需要在指定时间内传送到所有目标节点等。这些分发任务的约束条件可通过特征属性，业务规则解析和转换以及规则驱动的任务调度来达到分发任务的最优调度传输。

如按照业务经验，一般二级节点超过20个，且分发目标节点超过100个，数据大小小于1M的分发任务使用卫星网络传输。该例子是通过大量的分发经验总结出来，但在业务规则的自动总结方面，则需要对特征属性进行定义和分类，并依据大量的分发任务统计归纳得出。

该案例中，存在数据、信道和节点的特征属性，即数据大小、节点等级、节点数量(特征属性表未列出，但其是特征属性的统计值)、该节点等级数量(特征属性表未列出，但其是特征属性的统计值)、信道类型。首先通过定义分发任务中实体数据、信道和节点的静态和动态特征，将这些特征属性进行识别和分类。可以看出，数据大小、节点等级、信道类型属于静态特征和本征特征。本征特征是直接特征，可以人为判定或直接采集，值域固定，方便计算。

程序启动后，对大量的历史分发任务进行约束条件分解，并映射为特征属性和值，进行统计分析。该统计分析过程针对卫星网络分发的所有任务进行分析，发现这些任务的共同特征属性。发现满足如下情况的分发任务，则通过卫星网络进行任务分发：

数据大小<1M，

节点等级＝二级，

SUM(节点)>100，

SUM(节点等级＝二级)>20

通过统计分析得出的属性特征和值，自动学习为业务规则，并进行设定。该业务规则可命名为“须使用卫星网络传输的任务”，并具有如下规则细节：

数据大小<1M,信道类型＝卫星网络,&&

节点等级＝二级,信道类型＝卫星网络,&&

SUM(节点等级＝二级)>20,信道类型＝卫星网络,&&

SUM(节点)>100,信道类型＝卫星网络,&&

可以看出，该业务规则通过制定和组合一系列的特征属性来完成。

在实际分发任务过程中，当分发任务到达时，与当前的业务规则链(由一系列业务规则组成)按照顺序进行匹配。如当前任务满足其中的一条业务规则，匹配成功后如果网络状态满足条件，则执行相应的调度操作，否则重新匹配合适的网络。如当前需要调度的分发任务的约束条件通过分解映射后，其特征属性有：数据大小为512K，分发的节点数量为200个，二级节点的数量为50个。通过业务规则链匹配之后，发现业务规则“须使用卫星网络传输的任务”匹配成功，然后获取卫星网络的状态，如果满足则将分发任务调度到卫星网络，进行数据传输，否则重新匹配合适的网络。

如当前分发任务未匹配到任一业务规则，如当前分发任务的约束条件通过分解映射后，表示为数据大小为512K，分发的节点数量为200个，一级节点的数量为10个，二级节点的数量为15个。显然其与业务规则“须使用卫星网络传输的任务”不能完全匹配。则启动特征匹配机制，将数据、节点和信道特征与分发任务约束进行匹配，选择合适的网络进行传输。该匹配过程可选用传输时间最短为最优化调度目标，选择合适网络进行传输。

标记该分发任务的完成质量，以修正业务规则；如果使用该业务规则传输，失败次数连续大于设定次数，需要重新学习各个特征属性的值域，以修正业务规则。通过大量的传输发现，数据大小为512K，分发的节点数量为200个，一级节点的数量为10个，二级节点的数量为15个这样的传输任务仍然选择卫星网络作为最佳传输网络。通过设定阈值或者人工判断方式，可修正“须使用卫星网络传输的任务”这条业务规则，表示为：

数据大小<1M,信道类型＝卫星网络,&&

节点等级＝二级,信道类型＝卫星网络,&&

SUM(节点等级＝二级)>10,信道类型＝卫星网络,&&

节点等级＝一级,信道类型＝卫星网络,&&

SUM(节点等级＝一级)>10,信道类型＝卫星网络,&&

SUM(节点)>100,信道类型＝卫星网络,&&

如上述实例，本发明将能够实现历史经验和实时状态特征结合的最优化任务调度分发传输。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种规则驱动的数据传输方法，其步骤为：

1)对每一候选的数据传输网络，对其历史分发任务进行约束条件分解，得到该网络每一历史任务的特征属性；所述特征属性包括任务的静态特征属性和动态特征属性；

2)确定每一网络历史任务的共同特征属性，根据该共同特征属性建立该网络的业务规则；

3)将所有网络的业务规则构建为一业务规则链；

4)对于每一待分发的任务，从该任务的约束条件中提取该任务的静态特征属性和动态特征属性；

5)将该任务的静态特征属性和动态特征属性与所述业务规则链进行特征匹配，如果所述业务规则链包括与该任务匹配的业务规则，则采用该业务规则对应的网络对该任务进行数据传输；如果没有匹配的业务规则，则将该任务约束条件与数据、信道和节点的特征属性进行匹配，选取一候选网络对该任务进行数据传输。

2.如权利要求1所述的方法，其特征在于所述任务的主体包括数据、信道和节点；其中，数据的静态特征属性包括数据类型、数据名称、数据大小、数据安全等级；数据的动态特征属性包括数据可靠性要求、数据分发时限要求、数据生成时间；信道的静态特征属性包括信道容量、信道安全等级、信道类型；信道的动态特征属性包括信道可用带宽、信道可靠性、信道负载；节点的静态特征属性包括转发能力、节点等级；节点的动态特征属性包括节点状态、节点状态反馈。

3.如权利要求2所述的方法，其特征在于采用资源描述框架RDF对所述任务的静态特征属性和动态特征属性进行统一表示，包括元素定义、属性定义。

4.如权利要求1或2所述的方法，其特征在于将所述静态特征属性划分并标记为本征属性或间接属性；将所述动态特征属性划分并标记为本征属性或间接属性。

5.如权利要求1所述的方法，其特征在于每一节点占有一个或多个信道，每一信道的通达范围为多个节点；当传输数据时，建立节点、数据、信道的三元联系，然后节点通过信道将数据传输给其它节点。

6.如权利要求1或5所述的方法，其特征在于对于每一传输任务，根据完成该传输任务的节点建立节点对；其中每个节点对由两个节点组成，节点对描述信息包括：节点对名称，上级节点，下级节点，占用信道；将该传输任务的节点、数据、信道三元联系转化为信道和数据之间的二元联系。

7.如权利要求6所述的方法，其特征在于通过一节点对表记录数据传输过程中两个连通节点组成的传输上下级，使用节点—节点对关联表记录节点对之间的多对多关系。

8.如权利要求1或2或3所述的方法，其特征在于如果没有匹配的业务规则，则根据该任务的约束条件确定一最优化目标，选取一满足该最优化目标的候选网络对该任务进行数据传输。

9.如权利要求8所述的方法，其特征在于网络匹配成功后，检测当前所选网络的网络状态，如果网络状态满足条件，则执行相应的调度操作，否则继续进行网络匹配。

10.如权利要求1所述的方法，其特征在于如果没有匹配的业务规则，选取一候选网络对该任务进行数据传输时，在数据传输后标记该任务的完成质量；然后根据该候选网络的历史分发任务建立或修正该候选网络的业务规则。