CN107734000A

CN107734000A - 面向类型化资源的价值导向的存储与计算一体化优化***

Info

Publication number: CN107734000A
Application number: CN201710870573.3A
Authority: CN
Inventors: 段玉聪; 邵礼旭
Original assignee: Hainan University
Current assignee: Hainan University
Priority date: 2017-09-23
Filing date: 2017-09-23
Publication date: 2018-02-23
Anticipated expiration: 2037-09-23
Also published as: CN107734000B

Abstract

本发明是一种面向类型化资源的价值导向的存储与处理一体化优化方法，将物联网采集到的资源实例从概念层面上划分为数据、信息和知识三种类型，为解决物联网络有限带宽与海量资源传输需求的矛盾，通过比较直接处理资源和转换资源类型后再进行处理的代价确定资源的处理方案，属于分布式计算和软件工程学技术交叉领域。本发明将资源的收集、传输、存储、处理、转换、创建、显示、保护和使用作为相关资源的相应活动进行建模，实现在有限网络带宽资源下的动态资源分配，提高资源的使用效率并且保持均衡的资源负载,优化资源处理和存储所需的计算代价和空间代价，使***保持一种比较稳定的状态。

Description

面向类型化资源的价值导向的存储与计算一体化优化***

技术领域

本发明是一种面向类型化资源的价值导向的存储与处理一体化优化方法，将物联网中汇集到的资源从概念上划分为数据、信息和知识等类型的资源，并将传感器分为数据传感器、信息传感器和知识传感器，分别采集数据、信息和知识类型的资源，当用户发出资源服务请求后，将资源的收集、传输、存储、处理、转换、创建、显示、保护和使用作为相关资源的相应活动进行建模，通过资源类型转换优化资源的处理和存储过程，属于分布式计算和软件工程学技术交叉领域。

背景技术

随着物联网技术的发展，使用传感器网络采集的资源量急剧增长，物联网环境下实时资源传输调度的性能决定了物联网中传感节点的进程管理和内存管理效率，研究资源调度对改善物联网的***控制性能、提高网络的连通性和资源完善实时收发能力具有重要意义。传统的资源处理方法不考虑资源类型转换，用户发出资源请求后，处理的资源在传输过程中容易受网络带宽、转发长度的限制，造成传输效率低的问题。设备服务的计算资源是高度受限的，如设备的存储能力、计算能力和带宽等资源都是有限的；设备服务的搜索空间是巨大的。如何快速高效地使用户选择满足其需求的服务是一个巨大的挑战。如何在有限的物联网服务计算资源的情况下为无限的服务请求提供高效可靠、满足其个性化需求的服务是亟待解决的问题。

本发明提出一种面向类型化资源的价值导向的存储与处理一体化优化方法，关键技术在于将物联网中汇集到的以数据、信息和知识等形式存在的原始资源，通过转换资源类型改变资源规模，协同调整处理资源所需的计算和存储资源，优化物联网资源利用率和传输效率。

发明内容

技术问题：

本发明的目的是为解决物联网有限带宽与海量资源传输需求的矛盾，通过比较直接处理资源和转换资源类型后再进行处理两种方案的代价确定资源的处理方案，从而实现在有限的网络带宽资源下的动态资源分配，提高网络资源利用率和采集到的资源的处理效率。

技术方案：

本发明是一种面向类型化资源的价值导向的存储与处理一体化优化方法，通过数据传感器、信息传感器和知识传感器采集到的数据、信息和知识等类型的资源在传输过程中由于网络带宽等资源有限导致传输效率低，资源分配不均，无法及时满足用户的资源请求，本发明提出通过转换资源类型改变资源规模，提高资源利用率和传输效率。本发明定义资源建模包括采用资源实例、资源类型、资源集合的概念对资源分类的描述、资源类型转换的描述，具体定义如下：

（1）资源实例(RINS)：描述原子级别的资源，作为资源分类树的最底层结点，资源实例包括资源类型(RE_type)和资源规模(RE_sca)两个属性，可表示为RINS:=<RE_type, RE_sca>；

（2）资源类型(Type_DIK)：本发明定义资源包含三种类型，分别是数据、信息和知识，可表示为Type_DIK:=<Data_DIK, Information_DIK, Knowledge_DIK>；表1给出了对Data_DIK、Information_DIK和Knowledge_DIK等资源类型的解释；

Data_DIK：Data_DIK是通过直接观察得到的资源，在没有上下文背景的情况下，Data_DIK没有语义，对Data_DIK进行分析时要引入Data_DIK的数学结构，包括度量结构、网络结构和代数结构。在DataGraph_DIK上可统计Data_DIK的结构频度、时间频度和空间频度；

Information_DIK：Information_DIK用来表达实体之间的交互和协作，由概念化的Data_DIK和相关资源元素的组合构成；

Knowledge_DIK：Knowledge_DIK表示更高抽象层次的资源，通过对Data_DIK和Information_DIK进行抽象可得到Knowledge_DIK，通过对Knowledge_DIK进行演绎和推理可挖掘隐式存在或未知的资源；

（3）资源集合(RC)：资源集合是不同类型或相同类型资源的集合，由资源实例构成；

Data_DIK到Information_DIK的转换

直接观察得到的Data_DIK，通过概念映射和聚类，将Data_DIK进行重组和分类，重组后的Data_DIK集合对应不同的类或者概念，可得到Information_DIK；

Data_DIK到Knowledge_DIK的转换

Data_DIK可以从标准的模式中继承语义关系，被有效地集成并被其他应用重用，Data_DIK中会存在冗余、不一致等现象，在Data_DIK向知识的转换过程中，通过链接Data_DIK来源以及语义约束，识别出最可靠的Data_DIK，进而形成Knowledge_DIK；

Information_DIK到Knowledge_DIK的转换

Information_DIK用来表达实体之间的交互和协作，通过分类和抽象交互记录或行为记录得到有关实体动态行为的统计规则，即知识。知识可以通过从已知资源中推断得出，推断过程中缺乏的必要信息可通过适当的研究技术来收集，例如实验、调查等；

Information_DIK到Data_DIK的转换

离散，从概念集合到资源实例的转换。Information_DIK表达了实体之间的动态交互和协作，观察实体对象在某一时刻的静态状态得到Data_DIK；

Knowledge_DIK到Data_DIK的转换

根据知识推理，对抽取出的Knowledge_DIK集合建立相关实例，Knowledge_DIK结点之间的关系以属性的方式与实例相关联，得到Data_DIK；

Knowledge_DIK到Information_DIK的转换

逻辑推理，知识图谱的无结构特征使得其可以链接和利用更丰富的知识库帮助用户做决策，从知识检索到知识创造的过程中得到Information_DIK；

表1.类型化资源的解释

	Data_DIK	Information_DIK	Knowledge_DIK
				语义负载	没有指定利益相关者/机器	指定利益相关者/机器	抽象已知得到未知
形式	元素的概念集合	数据的概念映射和相关关系组合	概率或分类
				用法	概念化数据后识别存在性	交互	推理与预测
图	DataGraph_DIK	InformationGraph_DIK	KnowledgeGraph_DIK

体系结构

图1给出了面向类型化资源的价值导向的处理优化***的体系结构，图2给出了面向类型化资源的价值导向的处理优化***的流程图。本发明将传感器分为数据传感器、信息传感器和知识传感器，分别采集数据、信息和知识等类型的资源，并将采集到的资源集合定义为RES:={RES_D, RES_I, RES_K }，每种资源的规模为Amt={Amt_D, Amt_I, Amt_K }，表2所示为RES中单位资源类型转换的原子代价，数据和信息之间的转换需要上下文背景的支持，数据是通过观察直接得到的，其本身不包含语义信息，通过对数据赋予上下文背景，数据才能转换成信息；数据和知识之间的转换在不同阶段有不同的约束信息，在数据抽取阶段，选择的数据转换集合应符合领域知识的基本描述，并根据特定领域的概念描述，将数据分组归类，以实例形式对数据进行抽象和封装；信息到知识的转换需要经验规则的支持。而通过推理知识可得到相关的数据和信息，通过分析和观察信息可得到数据。表3所示为单位资源类型转换的规模增量，表4所示为单位资源的处理代价和存储代价

表2.RES中单位资源类型转换的原子代价

	Data_DIK	Information_DIK	Knowledge_DIK
				Data_DIK	TCost_D-D	TCost_D-I	TCost_D-K
Data_DIK	TCost_I-D	TCost_I-I	TCost_I-K
				Data_DIK	TCost_K-D	TCost_K-I	TCost_K-K

表3.单位资源类型转换的规模增量

	Data_DIK	Information_DIK	Knowledge_DIK
				Data_DIK	_D-D	_D-I	_D-K
Information_DIK	_I-D	_I-I	_I-K
				Knowledge_DIK	_K-D	_K-I	_K-K

表4.单位资源的处理代价和存储代价

	Data_DIK	Information_DIK	Knowledge_DIK
				处理代价(CostPR)	CostPR_D	CostPR_I	CostPR_K
存储代价(STCost)	STCost_D	STCost_I	STCost_K

有益效果：

本发明提出了一种面向类型化资源的价值导向的存储与处理一体化优化方法，通过衡量资源处理的代价确定资源处理方案，优化资源处理和存储，有利于缓解物联网资源传输过程中存在的负载不均衡、实时性可靠性难以保障等问题。通过传感器组采集到的以数据、信息和知识等形态存在的资源，应用物联网传输网络将这些资源传输至资源处理结点，优化资源分配。本发明提出通过数据、信息和知识等资源之间的类型转换改变资源规模，解决了受网络带宽资源有限导致资源无法传输效率低、网络资源利用率不高的问题。该方法具有如下优点：

1）对资源类型的划分

本发明提出在概念上将资源划分为数据（Data_DIK）、信息（Information_DIK）和知识（Knowledge_DIK），便于挖掘资源之间的联系和转换资源类型，进而改变资源规模，动态适应网络带宽、缓存等资源限制；

2）存储与计算一体化协同调整

一种面向类型化资源的物联网资源采集传输优化***开发方法，本发明将资源从概念上划分为数据、信息和知识三张类型，通过转换资源类型进而改变资源规模，有利于降低资源的存储代价和处理代价，通过协同调整资源处理和存储的代价，优化资源利用率和处理效率，降低资源在传输给用户时的带宽需要；

3）动态分配网络资源

通过对已有资源的细分和合理存储，优化了资源存储的空间效率，降低物联网传输资源的过程中占用的网络带宽资源，动态分配网络带宽资源，提高资源利用率。

附图说明

图1是一种面向类型化资源的价值导向的处理优化***的体系结构。

图2是一种面向类型化资源的价值导向的存储与处理一体化优化方法的流程图。

具体实施方式

一种面向类型化资源的价值导向的存储与处理一体化优化方法，使用传感器网络采集以数据(Data_DIK)、信息(Information_DIK)和知识(Knowledge_DIK)等形式存在的资源，在物联网传输网络种将这些资源传输到资源处理平台，通过数据、信息和知识等资源之间的类型转换改变资源规模，解决了受网络带宽资源有限导致资源无法传输效率低、网络资源利用率不高的问题。具体实施方式为：

步骤1）对应于图2中步骤001，获取物联网中传感器组采集到的数据、信息和知识类型的资源实例集合RES；

步骤2）资源处理代价（Cost_pro）与资源规模和用户请求的资源量有关，资源存储代价与资源规模有关，对应于图2中步骤002，根据公式1和公式2计算直接处理和存储资源集合RES的代价：

(1)

(2)

其中CostPR取值包括{CostPR_D, CostPR_I, CostPR_K}，分别表示处理单位数据资源、信息资源和知识资源的原子代价，μ表示用户请求的资源量占原始资源规模的比重，STCost表示存储单位资源的原子代价；

步骤3）对应于图2中步骤003，对RES中每个元素依次取Type_DIK中的值，004计算资源类型转换代价（CostMT）：

(3)

其中表示进行类型转换的资源的规模占原始资源规模的比重，TCost表示单位资源类型转换的原子代价，取值包括{TCost_D-D, TCost_D-I, TCost_D-K, TCost_I-D, TCost_I-I,TCost_I-K, TCost_K-D, TCost_K-I, TCost_K-K}；

步骤4）对应于图2中步骤005，对每种情形，根据公式4计算资源类型转换后的资源规模Amt’，更新资源规模集合，006计算类型转换后的处理代价和存储代价：

(4)

其中表示单位资源类型转换后规模的增量，取值包括∆Amt_D-D，∆Amt_D-I，∆Amt_D-K，∆Amt_I-D，∆Amt_I-I，∆Amt_I-K，∆Amt_K-D，∆Amt_K-I，∆Amt_K-K；

步骤5）对应于图2中步骤007，本发明定义对网络资源利用的限制模型的目标函数包含带宽使用均衡度（UE_BW）和节点资源转发的等待时间(WTime)两个参数，其中带宽使用均衡度为带宽空闲率（IRate_BW）的方差，带宽空闲率和带宽使用均衡度的计算方式如公式5和6：

(5)

(6)

其中BW_ij表示从节点i到节点j的链路的带宽，F_ij表示链路上的流量，l表示平均分组长度；

步骤6）对应于图2中步骤008，在一个节点上资源转发的等待时间包括转发等待率（WRate）和等待均衡度（WEqu），等待均衡度为资源转发等待率的方差，转发等待率和等待均衡度可根据就公式7和8计算：

(7)

(8)

其中N_i表示第i个节点需转发的资源的平均分组个数，H_i表示节点i的缓冲区长度。009本发明定义网络资源的优化目标函数为：

(9)

其中α和β分别表示带宽使用均衡度和等待均衡度的权重系数，可通过数据训练得出，F的值越小，表示网络流量分布越均衡；

步骤7）对应于图2中步骤010，选出直接处理和存储资源和转换资源类型后再进行处理和存储两种方式中满足带宽、传输缓存等网络资源限制的处理和存储方案；

步骤8）对应于图2中步骤011，根据公式10计算并比较直接传输资源和转换资源类型后再进行处理等不同方案下的所需投入（Inves）：

(10)

其中表示单位资源传输代价所需单位投入，表示资源存储代价所需单位投入，表示资源元素类型转换所需单位投入；

步骤9）对应于图2中步骤012，根据公式11计算不同处理优化方案的效益比（Inve_Cos）：

(11)

步骤10）对应于图2中步骤013和014，获取用户可接受的预投入范围和预期效益比（Inve_Cos₀）本发明定于用户的可接受预投入为UInve{UInve_down,UInve_up}；

步骤11）对应于图2中步骤015，在所需用户投入满足的方案中选择效益比较大，016并按照该方案对资源进行存储和处理。

Claims

1.一种面向类型化资源的价值导向的存储与处理一体化优化方法，其特征在于对物联网汇集的资源的处理优化过程，用户在提出资源服务请求后，通过对资源的处理和优化，在用户可接受的响应时间和访存带宽限制下满足用户的资源需求，并优化资源处理和存储所需的计算代价和空间代价。本发明将物联网采集到的资源的类型从概念层面上划分为数据(Data_DIK)、信息(Information_DIK)和知识(Knowledge_DIK)三种，为解决物联网有限带宽与海量资源传输需求的矛盾，本发明通过比较直接处理资源和转换资源类型后再进行处理两种方案的代价确定资源的处理方案，将资源的收集、传输、存储、处理、转换、创建、显示、保护和使用作为相关资源的相应活动进行建模，从而实现在有限的网络带宽资源下的动态资源分配，提高网络资源利用率和采集到的资源的处理效率。本发明将传感器分为数据传感器、信息传感器和知识传感器，分别采集数据、信息和知识等类型的资源，并将采集到的资源集合定义为RES:＝{RES_D,RES_I,RES_K}，每种资源的规模为Amt＝{Amt_D,Amt_I,Amt_K}，具体实现步骤为：

步骤1)获取物联网中传感器组采集到的数据、信息和知识类型的资源实例集合RES。

步骤2)资源处理代价(Cost_pro)与资源规模和用户请求的资源量有关，资源存储代价与资源规模有关，根据公式1和公式2计算直接处理和存储资源集合RES的代价：

Cost_pro＝∑CostPR_i*μAmt_i+Amt_i，i∈{D，I，K} (1)

Cost_sto＝STCost_D*Amt_D+STCost_I*Amt_I+STCost_K*Amt_K (2)

其中CostPR取值包括{CostPR_D,CostPR_I,CostPR_K}，分别表示处理单位数据资源、信息资源和知识资源的原子代价，μ表示用户请求的资源量占原始资源规模的比重，STCost表示存储单位资源的原子代价。

步骤3)对RES中每个元素依次取Type_DIK中的值，计算资源类型转换代价(CostMT)：

CostMT＝∑TCost_i-j*λAmt_i，i，j∈{D，I，K} (3)

其中λ表示进行类型转换的资源的规模占原始资源规模的比重，TCost表示单位资源类型转换的原子代价，取值包括{TCost_D-D,TCost_D-I,TCost_D-K,TCost_I-D,TCost_I-I,TCost_I-K,TCost_K-D,TCost_K-I,TCost_K-K}。

步骤4)对每种情形，根据公式4计算资源类型转换后的资源规模Amt’，更新资源规模集合，然后计算类型转换后的处理代价和存储代价：

Amt_i′＝|Amt_i+λΔAmt_j-i|，i，j∈{D，I，K} (4)

其中ΔAmt表示单位资源类型转换后规模的增量，取值包括ΔAmt_D-D，ΔAmt_D-I，ΔAmt_D-K，ΔAmt_I-D，ΔAmt_I-I，ΔAmt_I-K，ΔAmt_K-D，ΔAmt_K-I，ΔAmt_K-K。

步骤5)本发明定义对网络资源利用的限制模型的目标函数包含带宽使用均衡度(UE_BW)和节点资源转发的等待时间(WTime)两个参数，其中带宽使用均衡度为带宽空闲率(IRate_BW)的方差，带宽空闲率和带宽使用均衡度的计算方式如公式5和6：

UE_BW＝E(IRate_BW2)-[E(IRate_BW)]² (6)

其中BW_ij表示从节点i到节点j的链路的带宽，F_ij表示链路上的流量，l表示平均分组长度。

步骤6)在一个节点上资源转发的等待时间包括转发等待率(WRate)和等待均衡度(WEqu)，等待均衡度为资源转发等待率的方差，转发等待率和等待均衡度可根据就公式7和8计算：

WE qu＝E(W Rate²)-[E(W Rate)]² (8)

其中N_i表示第i个节点需转发的资源的平均分组个数，H_i表示节点i的缓冲区长度。本发明定义网络资源的优化目标函数为：

F＝α*UE_BW+βWEqu，α+β＝1 (9)

其中α和β分别表示带宽使用均衡度和等待均衡度的权重系数，可通过数据训练得出，F的值越小，表示网络流量分布越均衡。

步骤7)选出直接处理和存储资源和转换资源类型后再进行处理和存储两种方式中满足带宽、传输缓存等网络资源限制的处理和存储方案。

步骤8)根据公式10计算并比较直接传输资源和转换资源类型后再进行处理等不同方案下的所需投入(Inves)：

其中表示单位资源传输代价所需单位投入，κ表示资源存储代价所需单位投入，φ表示资源元素类型转换所需单位投入。

步骤9)根据公式11计算不同处理优化方案的效益比(Inve_Cos)：

步骤10)获取用户可接受的预投入范围和预期效益比(Inve_Cos₀)本发明定于用户的可接受预投入为UInve∈{UInve_down,UInve_up}。

步骤11)在所需用户投入满足UInve_down≤Inves≤UInve_up的方案中选择效益比较大，并按照该方案对资源进行存储和处理。