CN112615730B - 一种基于区块链网络切片代理的资源分配方法和装置 - Google Patents

一种基于区块链网络切片代理的资源分配方法和装置 Download PDF

Info

Publication number
CN112615730B
CN112615730B CN202011322819.1A CN202011322819A CN112615730B CN 112615730 B CN112615730 B CN 112615730B CN 202011322819 A CN202011322819 A CN 202011322819A CN 112615730 B CN112615730 B CN 112615730B
Authority
CN
China
Prior art keywords
slice
tenant
target
resource request
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011322819.1A
Other languages
English (en)
Other versions
CN112615730A (zh
Inventor
魏翼飞
公雨
孙司远
张勇
郭达
宋梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202011322819.1A priority Critical patent/CN112615730B/zh
Publication of CN112615730A publication Critical patent/CN112615730A/zh
Application granted granted Critical
Publication of CN112615730B publication Critical patent/CN112615730B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0893Assignment of logical groups to network elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0823Network architectures or network communication protocols for network security for authentication of entities using certificates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/16Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/50Allocation or scheduling criteria for wireless resources
    • H04W72/53Allocation or scheduling criteria for wireless resources based on regulatory allocation policies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/50Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using hash chains, e.g. blockchains or hash trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本说明书一个或多个实施例提供一种基于区块链网络切片代理的资源分配方法和装置。该方法包括:网络切片代理接收目标切片租户发送的资源请求;基于所述资源请求,确定目标响应切片租户;基于所述资源请求、所述目标切片租户和所述目标响应切片租户,部署基于区块链的智能合约;基于所述智能合约,进行网络资源的分配。本实现方式通过基于用户发送的资源请求、目标切片租户和目标响应切片租户部署的基于区块链的智能合约和深度强化学习算法进行资源分配,以在满足网络切片租户服务质量的前提下,最小化***的时延和计算代价。

Description

一种基于区块链网络切片代理的资源分配方法和装置
技术领域
本说明书一个或多个实施例涉及计算机技术、通信技术领域,尤其涉及一种基于区块链网络切片代理的资源分配方法和装置。
背景技术
网络切片技术已成为第五代移动网络(fifth generation mobile network,5G)的关键技术之一。不同的应用场景在网络速度、延迟和可靠性方面有不同的要求,独立灵活的网络分片针对不同场景将物理网络抽象为虚拟逻辑网络,为具有不同需求用户的服务质量提供了有力的保证。
网络切片(Network slicing,NS)允许运营商在一个物理基础设施上运行多个虚拟网络,并将在5G的实现中发挥关键作用。5G端到端网络切片指的是,根据需求划分具有不同特征且相互隔离的多个逻辑子网,然后进行网络资源的灵活分配。未来,网络切片与区块链的结合已成为必然趋势。
网络切片在第五代通信网络中面临一系列挑战,例如用于移动网络的实时资源分配。5G网络场景是多变的,复杂的和可扩展的。由于网络切片租户的移动性,租户的需求可能会在这种变化的情况下发生变化,这将导致网络切片资源的配置不足或配置过多并且不容易实现在满足网络切片租户服务质量要求时,最小化***的时延和计算代价。
发明内容
有鉴于此,本说明书一个或多个实施例的目的在于提出一种基于区块链网络切片代理的资源分配方法、装置、设备以及存储介质,以解决在现有的网络资源分配方案中,在满足网络切片租户服务质量要求时,最小化***的时延和计算代价的问题。
基于上述目的,本说明书一个或多个实施例提供了一种基于区块链网络切片代理的资源分配方法,其特征在于,包括:
网络切片代理接收目标切片租户发送的资源请求;
基于资源请求,确定目标响应切片租户;
基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约;
基于智能合约,进行网络资源的分配。
进一步地,在基于资源请求,确定目标响应切片租户之前,方法还包括:
基于资源请求,确定目标切片租户是否具有准入控制证书;
响应于确定目标切片租户具有准入控制证书,发送资源请求至具有准入控制证书的各切片租户。
进一步地,基于资源请求,确定目标响应切片租户,包括:
接收各响应的切片租户发送的针对资源请求的可用资源和价格,其中,价格由各响应的租户通过度分布和介数中心性计算确定;
基于深度强化学***协议、各可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户。
进一步地,在基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约之前,方法还包括:
响应于确定目标切片租户支付针对资源请求的账单,部署基于区块链的智能合约。
一种基于区块链网络切片代理的资源分配装置,其特征在于,包括:
接收单元,被配置成网络切片代理接收目标切片租户发送的资源请求;
目标响应切片租户确定单元,被配置成基于资源请求,确定目标响应切片租户;
智能合约部署单元,被配置成基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约;
网络资源分配单元,被配置成基于智能合约,进行网络资源的分配。
进一步地,装置还包括:
准入控制证书确定单元,被配置成基于资源请求,确定目标切片租户是否具有准入控制证书;
资源请求发送单元,被配置成响应于确定目标切片租户具有准入控制证书,发送资源请求至具有准入控制证书的各切片租户。
进一步地,目标响应切片租户确定单元进一步被配置成:
接收各响应的切片租户发送的针对资源请求的可用资源和价格,其中,价格由各响应的租户通过度分布和介数中心性计算确定;
基于深度强化学***协议、各可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户。
进一步地,智能合约部署单元进一步被配置成:响应于确定目标切片租户支付针对资源请求的账单,部署基于区块链的智能合约。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行程序时实现如上述基于区块链网络切片代理的资源分配方法。
一种非暂态计算机可读存储介质,其特征在于,非暂态计算机可读存储介质存储计算机指令,计算机指令用于使计算机执行如上述基于区块链网络切片代理的资源分配方法。
从上面可以看出,本说明书一个或多个实施例提供的一种基于区块链网络切片代理的资源分配方法、装置、设备以及存储介质,通过基于用户发送的资源请求、目标切片租户和目标响应切片租户部署的基于区块链的智能合约和深度强化学习算法进行资源分配,以在满足网络切片租户服务质量的前提下,最小化***的时延和计算代价。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本说明书一个实施例示出的基于区块链网络切片代理的资源分配方法的流程示意图;
图2为本说明书另一个实施例示出的基于区块链网络切片代理的资源分配方法的流程示意图;
图3为本说明书一个实施例示出的基于区块链网络切片代理的资源分配装置的结构框图;
图4为本说明书一个实施例示出的用于分配网络资源的电子设备硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
图1示出了根据本申请的基于区块链网络切片代理的资源分配方法的一个实施例的流程100。本实施例的基于区块链网络切片代理的资源分配的方法,包括以下步骤:
步骤101,网络切片代理接收目标切片租户发送的资源请求。
本实施例中,基于区块链网络切片代理的资源分配方法的执行主体可以是网络切片代理(Network Slicing Broker,NSB)。网络切片代理可以在网络切片场景中接收目标切片租户发送的资源请求。NSB可以根据分片类型提供不同的资源,例如:在计算资源域中,资源包括CPU,VM实例数等;在无线电域中,资源与功能划分类型,MAC调度器算法,物理资源块(PRB)的数量等有关;在传输域中,资源包括链路的类型(带宽,等待时间),VLAN数,前传链路容量,VPN链路,QoS等。在本节中,我们以计算资源分配过程为例进行说明,可以使用深度强化学习(Deep Reinforcement Learning,DRL)框架对优化问题进行建模。
具体地,网络切片代理是资源提供者和网络切片租户之间的中间实体,负责两者之间的中介,并使目标切片租户可以根据需要请求和租用资源。网络切片代理的角色包括:准入控制,资源分配和物理资源调度。NSB的作用是进行动态调整网络切片资源的配置,以使租户能够获取或释放资源。具体地,本申请的网络切片代理是基于区块链的网络切片代理,资源提供者、网络切片租户或具有特定业务需求的用户均可以作为区块链节点响应于网络切片代理发送的用户的资源请求,并将针对该资源请求的可用资源和价格发送至网络切片代理,由网络切片代理基于接收到的各节点发送的可用资源和价格和深度强化学***协议(Service Level Agreement,SLA)的条件下选择价格最低的响应节点作为目标响应节点(即目标响应切片租户),可以实现以端到端的方式支持网络切片资源分配,包括网络切片范例的多域特征以及确保异构租户的需求。
示例的,一个网络切片场景由一个NSB和几个租户组成。租户i首先向NSB发送服务请求,指定所需的服务(视频流,计算资源等),然后NSB向其他可能希望提供其配额的租户广播其需求。响应的租户(例如租户j)将包括可用资源和价格发送到NSB。NSB接收到所有消息后利用深度强化学***协议(Service Level Agreement,SLA)的条件下选择价格最低的响应租户。在达成共识后租户1可以租用租户k的资源。
具体地,网络切片场景可以由三部分组成:基础设施提供商(InfrastructureProvider,InP);网络切片租户(Network Slice Tenants,NST)和网络切片代理(NetworkSlicing Broker,NSB)。
具体地,目标切片租户,可以是资源提供者、网络切片租户或具有特定业务需求的用户,本申请对目标切片租户不做具体限定。
具体地,网络切片租户是业务实体,例如Over-The-Top(OTT),移动虚拟网络运营商(MVNO)和第三方行业市场参与者,它们为客户出租切片资源以提供特殊请求,或者是具有特定业务需求的用户也可以直接看作是网络切片租户。网络切片租户的服务可以分为租户服务A(eMBB),租户服务B(mMTC)和租户服务C(uLLRC)。
具体地,基础设施提供商InP可以是移动网络物理基础设施的所有者,该网络拥有并管理全部或部分网络基础设施资产。InP的资源可以分为接入网,传输网和核心网。接入网的资源组成了基站(LTE/5G接入)和WLAN接入等接入节点。基础设施提供商InP可以看作网络架构中的资源提供者,传输网和核心网的资源可以分别描述为区块链中的传输节点和核心节点,这些节点均可以被视作区块链节点。
具体地,租户发送的资源请求,可以是计算任务资源请求。
步骤102,基于资源请求,确定目标响应切片租户。
执行主体在接收资源请求后,可以基于资源请求,确定目标响应切片租户。具体地,执行主体在接收资源请求后,可以将资源请求发送至可能提供该资源请求对应的资源的资源提供者、网络切片租户等,并可以根据资源请求的类型,确定对应该资源请求类型的目标响应切片租户。具体地,执行主体可以根据资源请求和预设的资源请求与分类标识的对应关系,确定该资源请求对应的分类标识,从而确定该资源请求的类型,例如可以是多媒体播放资源请求、计算资源请求、云存储资源请求等,然后,可以接收各切片租户对该资源请求的响应信息,根据各响应信息,确定与该资源请求的类型相同的响应切片租户为目标响应切片租户。当然,执行主体在对资源请求进行处理之前,需要验证发送该资源请求的用户是否具有准入证书。
步骤103,基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约。
步骤104,基于智能合约,进行网络资源的分配。
执行主体在获取资源请求、目标切片租户和目标响应切片租户后,可以基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约。其中,目标切片租户和目标响应切片租户均可以作为区块链节点写入该基于区块链的智能合约中,处于基于区块链的智能合约中的目标响应切片租户对应的区块链节点响应于网络切片代理的选择并基于智能合约中的所需提供的资源和价格为目标切片租户提供资源。同理,网络切片代理可以基于智能合约,调用目标响应切片租户对应的区块链节点以约定的价格为目标切片租户(或称作用户,全文同)提供所需的资源。
具体地,每个合约都有唯一的标识符和一些数据字段,并且可以执行诸如创建新合约或更新区块链状态之类的操作。当所有合约都经过谈判和敲定,即可以部署端到端片。可以将子切片的基础结构组件转换为技术域(Technological Domain,TD)资源,并将几个TD的切片组件分别标记为NS={TD1,TD2,…,TDn},然后可以定义R(TDi)={p1,p2,…,pn}作为TDi资源的参数集。TD可以是计算资源域(例如CPU,I/O),存储域,无线电域(例如eNB,中央单元CU,分布式单元DU),以及传输域(例如VLAN,VPN)。
本实施例以切片租户租用计算资源为例,在满足网络切片租户服务质量(Quantity of Service,QoS)的前提下,实现最小化***的时延和计算代价。
继续参见图2,其示出了根据本申请的基于区块链网络切片代理的资源分配方法的另一个实施例的流程200。如图2所示,本实施例的基于区块链网络切片代理的资源分配方法可以包括以下步骤:
步骤201,网络切片代理接收目标切片租户发送的资源请求。
步骤201的原理与步骤101的原理相同,此处不再赘述。
步骤202,基于资源请求,确定目标切片租户是否具有准入控制证书。
本实施例中,执行主体在获取资源请求后,可以基于该资源请求确定资源请求所对应的目标切片租户是否具有公钥证书,即准入控制证书。为了促进NST之间的动态资源租赁,以支持跨多个管理域的端到端服务,NSB提供了基于区块链的准入控制***。区块链可以分为无许可区块链和许可区块链。无许可的区块链允许任何人读取,写入和参与分类账的创建,并且许可的区块链对允许谁参与网络活动构成限制,例如,限制交易的种类。基于区块链的网络切片代理框架(Blockchain Network Slicing Broker,BNSB)是经过许可的区块链***,可运行准入和控制机制。如果NST希望加入该框架,则必须要求NST从受信任的第三方(TTP)(在本文中称为NSB)获得诸如商业证书颁发机构(CA)之类的公钥证书。该证书用于确保NST资源共享的安全性。作为一种准入控制机制,所有NST授予的证书都是***中的合作伙伴,没有证书的NST不能从他人那里租用资源。***中的合作伙伴所具有的权利,例如:向其他合作伙伴索取资源并支付相应费用;在支付了相应的费用之后,合作伙伴必须根据协议的服务水平协议(SLA)要求租用资源。
步骤203,响应于确定目标切片租户具有准入控制证书,发送资源请求至具有准入控制证书的各切片租户。
执行主体在确定目标切片租户具有准入控制证书,可以只发送资源请求至具有准入控制证书的各切片租户。示例的,假设M个具有准入控制证书的用户请求计算资源,NSB可以向具有准入控制证书的各切片租户(例如,具有准入控制证书的MEC控制器)发送该计算资源请求。其中,可以有N个MEC服务器(即区块链节点或称资源提供方)响应该M个用户的计算请求。其中,所有被NSB授予证书的用户都可以视为该场景中的伙伴。用户集可以表示为
Figure BDA0002793464850000081
MEC服务器可以表示为
Figure BDA0002793464850000082
本实施例通过基于准入控制,可以保护具有准入控制证书的各切片租户的隐私以及保护各切片租户不被恶意攻击。
步骤204,基于资源请求,确定目标响应切片租户。
步骤204的原理与步骤102的原理相同,此处不再赘述。
具体地,步骤204还可以通过步骤2041~步骤2042来实现:
步骤2041,接收各响应的切片租户发送的针对资源请求的可用资源和价格。
本实施例中,价格由各响应的租户通过度分布和介数中心性计算确定。可以将B={b1,b2,…,bk}作为一组NSBs。Tk={t1,t2,…,tm}表示NSB bk联盟中允许的一组NSTs。为了实现租户之间的动态资源交换,必须为每个租户联盟建立专用的区块链。每个NSB bk部署区块链节点并将资源注册表Rk={r1,r2,…,ri}加载到最初由InP分配的此类节点中。
具体地,本实施例中,各区块链节点响应NSB发送的目标切片租户的资源请求,并将由可用资源和相应价格组成的消息发送给NSB。相应的,NSB接收各响应的区块链节点(即各响应的切片租户)发送的针对资源请求的可用资源和价格。为了保证认证,每条消息都用发送者私钥签名,并由ID号唯一标识。在本申请中,区块链节点的价值由复杂网络理论定义。
具体地,复杂网络理论的结构特征用于获取网络的拓扑信息并根据节点的重要性定义区块链节点的价值。网络由节点和边组成。在具体的抽象过程中,网络的两个基本元素的节点和边可以代表各种不同的东西。为了定量度量网络中每个节点的重要性,可以用度分布、介数中心性等局部特征和全局特征来描述。
度分布:度分布测量节点连接边的数量,这是指节点连接边的概率,表示为:
di=∑j∈Nζij, (1)
其中,ζij代表节点i和节点j是否连接,如果ζij=1,则节点i和节点j相互连接;如果ζij=0,则节点i和节点j没有连接关系。
介数中心性:介数中心性衡量通过节点i的任何两个节点之间的最短路径的比例,可以通过以下公式计算:
Figure BDA0002793464850000091
其中,ζab代表节点a和节点b之间最短路径的总数,ζab(i)代表节点a和节点b之间最短路径通过节点i的路径数目。
根据度分布di和介数中心性bi,分别将di和bi归一化为d′i和b′i。度分布d′i表示为:
Figure BDA0002793464850000092
其中,当节点总数为N时,N-1是连接节点i的最大边数。
归一化后的介数中心性b′i可以表示为:
Figure BDA0002793464850000093
其中,
Figure BDA0002793464850000094
是bi的最大数目。
因此,结合每个节点的参数d′i和b′i,节点i的重要性定义为:
Figure BDA0002793464850000095
显然IN(i)的取值范围为(0,1],因此可以将其分为五个等级。当IN(i)的值范围在(0,0.2]中时,将其定义为第一级;当IN(i)的值范围在(0.2,0.4]中时,将其定义为第二级;当IN(i)的值范围在(0.4,0.6]中时,将其定义为第三级;当IN(i)的值范围在(0.6,0.8]中时,将其定义为第四级;当IN(i)的值范围在(0.8,1]中时,将其定义为第五级。可以根据节点i的重要性等级相应的映射到节点的价值,在此将价值集合的取值范围定义为:Vi={2,4,6,8,10}。
步骤2042,基于深度强化学***协议、各可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户。
执行主体在接收各响应的切片租户发送的针对资源请求的可用资源和价格后,可以基于深度强化学***协议(ServiceLevel Agreement,SLA)的条件下选择***时延最小和计算代价最低的响应租户,确定为目标响应切片租户。
具体地,强化学习(Reinforcement Learning,RL)是机器学习中的一个领域,智能体的目标是最大化长期累计回报,而不是即时回报。RL可以描述马尔可夫决策过程(MarkovDecision Process,MDP),它由五个元组<S,A,P,R,γ>组成。其中S和A分别是有限状态空间和动作空间;P为状态转移概率,表示在状态s∈S下选择动作a∈A到达下一状态s′∈S的概率;R是在状态s下选择动作a后的即时奖励;γ∈[0,1]是用于计算累积奖励的折扣因子。如果γ∈[0,1],智能体仅关心最大化即时奖励,而当γ接近1时,目标是考虑未来的累积奖励,这意味着智能体变得更有远见。如果动作是确定性的,则策略是确定性的,实际上强化学习的策略通常是随机策略。智能体可以通过不断尝试其他操作来找到更好的策略,因此引入了概率因素。策略π(a|s)=P[A=a|S=s]表示在状态s∈S下选择动作a∈A的可能性。一般来说,MDP的目标是找到一个策略π(a|s)使值函数最大化,通常通过贝尔曼方程定义为:
Figure BDA0002793464850000101
RL的目标是不断寻找最佳策略的过程。贝尔曼最优方程是寻找最优策略:
Figure BDA0002793464850000102
经典强化学习算法比如Q-Learning,适用于状态空间相对较小的情况。当状态空间和动作空间是高维连续的时将发生维度***问题。深度强化学习结合深度学习和强化学习,可以直接从高维原始数据中学习控制策略。Deep Q-Learning(DQN)是将深度神经网络(DNN)与Q-Learning结合的深度强化学习算法之一。此外,DQN在两方面做出了改进:
经验回放:经验回放需要一个数据集Dt={e1,…,et}来存储智能体的经验,每一步的经验et=(st,at,rt,st+1)包括当前状态,动作,奖励和下一个状态的值。在Deep-Qlearning中,Q-learning的更新方法用于对存储的样本数据集中的一批数据(st,at,rt,st+1)进行随机且均匀的采样,以更新Q-value神经网络。
Network Cloning:智能体添加target网络,它具有与Q网络相同的结构,初始权重也相同,不同之处在于Q网络在每次迭代中都会更新,而target网络则是定期进行更新。
经验重放和Network Cloning使Q-learning和神经网络的结合成为可能。DQN是第一个将传统强化学习与深度学习相结合的深度强化学习算法。DQN可以根据已经掌握的策略有效执行并及时做出资源分配决策。
具体地,本实施例中,以计算资源分配过程为例进行说明,可以使用DRL框架对优化问题进行建模,以最优的策略满足资源需求。假设M个用户请求计算资源,N个MEC服务器(区块链节点,资源提供方)响应计算请求,所有被NSB授予证书的用户都可以视为该场景中的伙伴。用户集表示为
Figure BDA0002793464850000111
MEC服务器表示为
Figure BDA0002793464850000112
假设MEC服务器由于具有多任务处理能力而可以处理所有计算任务。考虑了一个准静态场景,其中移动用户在计算卸载期间(例如几秒钟内)保持不变,而在不同的时期可能会发生变化。
在N个MEC服务器之间存在N个没有干扰的正交频分复用(Orthogonal FrequencyDivision Multiplexing,OFDM)信道,用户与MEC服务器之间存在K个OFDM子信道,互不干扰,每个子信道的带宽假定为w。用户m在时隙t的信噪比(SINR)和上行数据速率可以分别由如下公式(8)、(9)表示:
Figure BDA0002793464850000121
Rm,n(t)=wkm,n(t)log2(1+Γm,n(t)) (9)
其中,km,n(t)∈[0,1,2,…,K]代表由MEC服务器n分配给用户m的子信道数量,Pm(t)代表了用户(或称为切片租户,本申请中的用户与切片租户或目标切片租户实质上是一样的,全文同)m的传输功率。gm,n(t)和gi,n(t)分别为用户m与MEC服务器n,用户i与MEC服务器n之间的信道增益。σ2表示加性高斯白噪声(Additive White Gaussian Noise,AWGN)。
用户m卸载到MEC服务器的计算任务表示为
Figure BDA0002793464850000122
对于每个任务Jm,Dm代表用户m的输入数据大小(bits),Xm表示需要的MEC计算强度(完成计算任务的CPU周期总数),
Figure BDA0002793464850000123
表示表示每个任务的截止时间,
Figure BDA0002793464850000124
(tokens per CPUcycle)表示用户m的最大容忍价格。总任务时延由三个部分组成,即传输时延
Figure BDA0002793464850000125
计算时延
Figure BDA0002793464850000126
以及结果的返回时延Δτb。其中fm,n表示分配给用户m的MEC服务器n的计算能力(CPU cycles per second)。
由于结果返回延迟较小,不考虑Δτb。用户m与MEC服务器n之间的总延迟为:
Figure BDA0002793464850000127
根据复杂网络理论可以将每个MEC服务器n提供给用户m的价格Prm,n分为5个等级。目标是使用户在每个时间段t上的总成本最小化,包括用户和MEC服务器之间的时间延迟以及向MEC服务器支付的价格。用户m是否将决策卸载到MEC服务器n,记为am,n∈{0,1}。当am,n=1时,用户将决策卸载到MEC服务器n;否则,am,n=0。将问题的优化问题建模如公式(11)所示:
Figure BDA0002793464850000131
其中,ωt和ωp分别代表了时延和价格因子的权重。约束条件如下所示:
an∈{0,1},
Figure BDA0002793464850000132
Figure BDA0002793464850000133
Figure BDA0002793464850000134
Figure BDA0002793464850000135
其中,am,n∈{0,1}表示用户m是否选择MEC服务器m进行计算卸载;
Figure BDA0002793464850000136
表示执行每个计算任务的时延不能超过最大容忍时延;
Figure BDA0002793464850000137
表示执行每个计算任务的价格不能超过最大容忍价格;
Figure BDA0002793464850000138
代表了分配给所有用户的计算资源不能超过MEC服务器的计算资源的总量;
Figure BDA0002793464850000139
代表了分配给所有用户的带宽不能超过总频谱带宽W。
优化问题的过程可以描述为MDP,使用DRL框架最小化***时延和计算代价。DRL的基本元素包括:
状态空间:sm={Dm,Γm},Dm表示用户m的计算任务大小;Γm表示用户m的SINR。
动作空间:am={am,1,am,2,…,am,n},am,n=1,用户m选择MEC服务器n进行计算任务卸载;am,n=0:用户m不选择MEC服务器n进行计算任务卸载。
回报函数:Rt表示时隙t所有用户的回报值。
Figure BDA00027934648500001310
当采取行动at后,***将获得奖励Rt。根据Bellman最优方程,可以得到最优策略。由于***状态空间非常大,可以采用线性函数逼近法来逼近RL中的值函数。Q-learning的作用可以描述为:
Q(s,a)=θTψ(s,a) (13)
其中,ψ(s,a)={ψ1(s,a),…,ψn(s,a)}为n个正交向量的线性组合,且为维数n的向量。Q值应接近于target-Q值Q+(s,a):
Q+(s,a)=∑sP(s′|s,a)[R(s,a)+γmaxa′Q+(s′,a′)] (14)
目标函数可定义为:
Figure BDA0002793464850000141
为了使L(θ)最小,可以对参数θ进行梯度下降:
Figure BDA0002793464850000142
线性函数逼近不能准确地模拟估计值函数,可以用一些非线性的方法比如神经网络来代替Q(s,a;θ)。损失函数可以重新定义为:
Figure BDA0002793464850000143
最终,基于深度强化学***协议(Service Level Agreement,SLA))的条件下选择价格最低、***时延最小和计算代价最低的响应租户,确定为目标响应切片租户。
步骤205,响应于确定目标切片租户支付针对资源请求的账单,部署基于区块链的智能合约。
本实施例执行主体在部署基于区块链的智能合约之前,需要确认目标切片用户是否支付对资源请求的账单,响应于确定目标切片租户支付针对资源请求的账单,可以部署基于区块链的智能合约。从而避免合约双方的交易损失,维护双方利益。
步骤206,基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约。
步骤207,基于智能合约,进行网络资源的分配。
步骤206~步骤207的原理与步骤103~步骤104的原理相同,此处不再赘述。
继续参见图3,作为对上述各图所示方法的实现,本申请提供了一种基于区块链网络切片代理的资源分配装置的一个实施例,该装置实施例与图1所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图3所示,本实施例的基于区块链网络切片代理的资源分配装置300包括:接收单元301、目标响应切片租户确定单元302、智能合约部署单元303和网络资源分配单元304。
接收单元301,被配置成被配置成网络切片代理接收目标切片租户发送的资源请求。
目标响应切片租户确定单元302,被配置成基于资源请求,确定目标响应切片租户。
智能合约部署单元303,被配置成基于资源请求、目标切片租户和目标响应切片租户,部署基于区块链的智能合约。
网络资源分配单元304,被配置成基于智能合约,进行网络资源的分配。
在本实施例的一些可选的实现方式中,基于区块链网络切片代理的资源分配装置还包括图3中未示出的:准入控制证书确定单元,被配置成基于资源请求,确定目标切片租户是否具有准入控制证书;资源请求发送单元,被配置成响应于确定目标切片租户具有准入控制证书,发送资源请求至具有准入控制证书的各切片租户。
在本实施例的一些可选的实现方式中,目标响应切片租户确定单元302进一步被配置成:接收各响应的切片租户发送的针对资源请求的可用资源和价格,其中,价格由各响应的租户通过度分布和介数中心性计算确定;基于深度强化学***协议、各可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户。
在本实施例的一些可选的实现方式中,智能合约部署单元303进一步被配置成:响应于确定目标切片租户支付针对资源请求的账单,部署基于区块链的智能合约。
本说明书实施例中支付涉及的技术载体,例如可以包括近场通信(Near FieldCommunication,NFC)、WIFI、3G/4G/5G、POS机刷卡技术、二维码扫码技术、条形码扫码技术、蓝牙、红外、短消息(Short Message Service,SMS)、多媒体消息(Multimedia MessageService,MMS)等。
本说明书实施例中生物识别所涉及的生物特征,例如可以包括眼部特征、声纹、指纹、掌纹、心跳、脉搏、染色体、DNA、人牙咬痕等。其中眼纹可以包括虹膜、巩膜等生物特征。
需要说明的是,本说明书一个或多个实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
图4示出了本实施例所提供的一种更为具体的基于区块链网络切片代理的资源分配的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上的本说明书一个或多个实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (6)

1.一种基于区块链网络切片代理的资源分配方法,其特征在于,包括:
网络切片代理接收目标切片租户发送的资源请求;
基于所述资源请求,确定所述目标切片租户是否具有准入控制证书;
响应于确定所述目标切片租户具有准入控制证书,发送所述资源请求至具有准入控制证书的各切片租户;
接收各响应的切片租户发送的针对所述资源请求的可用资源和价格,其中,所述价格由各响应的租户通过度分布和介数中心性计算确定;
基于深度强化学***协议、各所述可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户;
基于所述资源请求、所述目标切片租户和所述目标响应切片租户,部署基于区块链的智能合约;
基于所述智能合约,进行网络资源的分配。
2.根据权利要求1所述的方法,其特征在于,在所述基于所述资源请求、所述目标切片租户和所述目标响应切片租户,部署基于区块链的智能合约之前,所述方法还包括:
响应于确定所述目标切片租户支付针对所述资源请求的账单,部署基于区块链的智能合约。
3.一种基于区块链网络切片代理的资源分配装置,其特征在于,包括:
接收单元,被配置成网络切片代理接收目标切片租户发送的资源请求;
准入控制证书确定单元,被配置成基于所述资源请求,确定所述目标切片租户是否具有准入控制证书;
资源请求发送单元,被配置成响应于确定所述目标切片租户具有准入控制证书,发送所述资源请求至具有准入控制证书的各切片租户;
目标响应切片租户确定单元,被配置成接收各响应的切片租户发送的针对所述资源请求的可用资源和价格,其中,所述价格由各响应的租户通过度分布和介数中心性计算确定;基于深度强化学***协议、各所述可用资源和价格以及预设的价格阈值和时延阈值,确定目标响应切片租户;
智能合约部署单元,被配置成基于所述资源请求、所述目标切片租户和所述目标响应切片租户,部署基于区块链的智能合约;
网络资源分配单元,被配置成基于所述智能合约,进行网络资源的分配。
4.根据权利要求3所述的装置,其特征在于,所述智能合约部署单元进一步被配置成:响应于确定所述目标切片租户支付针对所述资源请求的账单,部署基于区块链的智能合约。
5.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至2任意一项所述的方法。
6.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行权利要求1至2任意一项所述的方法。
CN202011322819.1A 2020-11-23 2020-11-23 一种基于区块链网络切片代理的资源分配方法和装置 Active CN112615730B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011322819.1A CN112615730B (zh) 2020-11-23 2020-11-23 一种基于区块链网络切片代理的资源分配方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011322819.1A CN112615730B (zh) 2020-11-23 2020-11-23 一种基于区块链网络切片代理的资源分配方法和装置

Publications (2)

Publication Number Publication Date
CN112615730A CN112615730A (zh) 2021-04-06
CN112615730B true CN112615730B (zh) 2022-04-01

Family

ID=75225625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011322819.1A Active CN112615730B (zh) 2020-11-23 2020-11-23 一种基于区块链网络切片代理的资源分配方法和装置

Country Status (1)

Country Link
CN (1) CN112615730B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113259879B (zh) * 2021-05-12 2022-08-12 中国联合网络通信集团有限公司 基于区块链的漫游付费方法、***、终端设备及存储介质
CN113222766B (zh) * 2021-05-13 2023-02-07 杭州趣链科技有限公司 金融产品的信息监管方法、装置、计算机设备及介质
CN113381889B (zh) * 2021-06-08 2023-09-29 广东电网有限责任公司清远供电局 一种网络切片的确定方法、装置、电子设备及存储介质
CN113543054B (zh) * 2021-06-25 2022-08-12 中国联合网络通信集团有限公司 中继服务方法及装置
CN113504988A (zh) * 2021-07-07 2021-10-15 江苏云从曦和人工智能有限公司 ***算力资源调度的控制方法、***、介质及装置
CN113939029A (zh) * 2021-09-22 2022-01-14 中国联合网络通信集团有限公司 一种网络切片的生成方法、装置、设备及存储介质
CN114070775B (zh) * 2021-10-15 2023-07-07 上海智能网联汽车技术中心有限公司 面向5g智能网联***的区块链网络切片安全智能优化方法
CN114338433B (zh) * 2021-12-06 2024-04-12 上海浦东发展银行股份有限公司 区块链资源分配方法、装置、***、计算机设备
CN114500283B (zh) * 2022-01-05 2023-07-21 阿里巴巴(中国)有限公司 核心网的切片处理方法和***
CN115190021B (zh) * 2022-04-24 2024-04-12 北京中电飞华通信有限公司 面向确定性时延业务的切片部署方法及相关设备
CN117808563B (zh) * 2024-02-29 2024-06-07 中国十九冶集团有限公司 基于区块链智能合约的灯杆异质业务定制接入装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110612779A (zh) * 2017-06-29 2019-12-24 诺基亚通信公司 基于计费规则的网络切片选择的增强接口
WO2020041037A1 (en) * 2018-08-20 2020-02-27 Cisco Technology, Inc. Blockchain-based auditing, instantiation and maintenance of 5g network slices
CN111200859A (zh) * 2018-11-19 2020-05-26 华为技术有限公司 一种网络切片的选择方法、网络设备及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110612779A (zh) * 2017-06-29 2019-12-24 诺基亚通信公司 基于计费规则的网络切片选择的增强接口
WO2020041037A1 (en) * 2018-08-20 2020-02-27 Cisco Technology, Inc. Blockchain-based auditing, instantiation and maintenance of 5g network slices
CN111200859A (zh) * 2018-11-19 2020-05-26 华为技术有限公司 一种网络切片的选择方法、网络设备及终端

Also Published As

Publication number Publication date
CN112615730A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112615730B (zh) 一种基于区块链网络切片代理的资源分配方法和装置
US11711267B2 (en) 5G network slicing with distributed ledger traceability and resource utilization inferencing
US11736942B2 (en) Multi-domain trust establishment in edge cloud architectures
Liu et al. Device association for RAN slicing based on hybrid federated deep reinforcement learning
Liu et al. Decentralized resource allocation for video transcoding and delivery in blockchain-based system with mobile edge computing
US20200084202A1 (en) Attestation token sharing in edge computing environments
CN114026834A (zh) 边缘计算部署中的多实体资源、安全性和服务管理
KR20210038827A (ko) 에지 컴퓨팅 환경에서의 적응적 데이터 흐름 변환
CN115119331A (zh) 用于多接入通信量管理的强化学习
KR20210096694A (ko) 루틴 기반 포그 네트워킹 방법 및 장치
Boateng et al. Blockchain-enabled resource trading and deep reinforcement learning-based autonomous RAN slicing in 5G
US11405934B2 (en) Radio resource management
Boateng et al. Consortium blockchain-based spectrum trading for network slicing in 5G RAN: A multi-agent deep reinforcement learning approach
TW201018286A (en) Fair resource sharing in wireless communications
US20220377614A1 (en) Apparatus, system, method and computer-implemented storage media to implement radio resource management policies using machine learning
US11641579B1 (en) User agents, systems and methods for machine-learning aided autonomous mobile network access
Bak et al. Synthesis of real-time cloud applications for Internet of Things
Kim 5G Network Communication, Caching, and Computing Algorithms Based on the Two‐Tier Game Model
Wu et al. A cloudlet-based multi-lateral resource exchange framework for mobile users
Gong et al. Deep reinforcement learning for edge computing resource allocation in blockchain network slicing broker framework
Wilhelmi et al. On the performance of blockchain-enabled RAN-as-a-service in beyond 5G networks
AbdElhalim et al. Distributed Fog‐to‐Cloud computing system: A minority game approach
CN113938394B (zh) 监控业务带宽分配方法、装置、电子设备及存储介质
NL2029288B1 (en) Model-assisted deep reinforcement learning based scheduling in wireless networks
US20230216849A1 (en) Attestation verifier role delegation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant