发明内容
针对现有技术的以上缺陷或改进需求,本发明提供一种网络虚拟化体系结构以及虚拟化方法,全面分析总结云计算中心、通信网络相关技术,以网络虚拟技术为基础构建一种新型的体系结构,统一描述计算存储传送资源,并支持资源在物理空间、虚拟空间、应用空间的融合。本发明提出的网络虚拟化体系结构既符合当前云网架构平滑演进的技术趋势,也可以支持计算存储传送资源深度融合,同时支持用户在统一量化空间内同时申请所需要的资源,支持资源全局最优统筹调度。
本发明实施例采用如下技术方案:
第一方面,本发明提供了一种网络虚拟化体系结构,包括物理空间、虚拟空间和应用空间,其中:
所述物理空间内包括计算资源、存储资源、传送资源,并实现计算存储传送资源的融合,所述物理空间还将设备资源状态数据上报到所述虚拟空间;
所述虚拟空间实现各项资源的虚拟化并将其描述在虚拟化模型中,以呈现给应用空间;所述虚拟空间还在接到应用空间下发的需求后将需求指令下发到具体的物理设备或虚拟设备上执行;
所述应用空间获取虚拟空间描述的虚拟化模型,并提供给各类业务场景;所述应用空间还接纳需求、整合需求并下发给虚拟空间。
进一步的,所述虚拟空间内包括编排器、控制器以及与物理空间相对应的虚拟计算资源、虚拟存储资源、虚拟传送资源;所述应用空间内包括用户应用、计算能力需求、存储能力需求、传送能力需求;所述物理空间与所述虚拟空间的接口包括设备状态接口、管控指令接口;所述应用空间与所述虚拟空间的接口包括云网能力接口、用户需求接口。
进一步的,所述物理空间、虚拟空间、应用空间和设备状态接口、管控指令接口、云网能力接口、用户需求接口组成闭环,具体的:
所述应用空间内实现计算能力需求、存储能力需求、传送能力需求融合,用户提出资源需求以后,由应用空间进行匹配,找到对应的虚拟资源,通过用户需求接口发送至虚拟空间;
所述虚拟空间实现虚拟计算资源、虚拟存储资源、虚拟传送资源融合,在接到用户需求以后,通过编排器和控制器进行处理,形成具体操作指令,通过管控指令接口下发到具体物理设备或者在虚拟设备上执行;
所述物理空间实现计算资源、存储资源、传送资源这三类实体资源的融合,物理空间的业务盘内的状态数据一部分在计算存储盘处理,另一部分通过设备状态接口上报到虚拟空间;
通过上报的设备资源状态数据,虚拟空间能够实时掌握物理空间内计算资源、存储资源、传送资源的性能状况,虚拟空间的计算、存储、传送资源能力统一描述在虚拟化模型中,并通过云网能力接口呈现给应用空间,由应用空间提供给各类业务场景。
进一步的,所述物理空间、所述虚拟空间、所述用户空间实现计算存储传送资源自动融合调度的过程包括:
提出请求,在应用空间提交请求描述;
应用空间分析请求,得到计算、存储、传送资源量化指标,在虚拟化模型中描述;
完成资源量化指标统一描述以后,虚拟空间的编排器和控制器将资源量化指标转换为具体操作指令;
基于虚拟化技术创建虚拟模型并进行实例化,对操作指令进行验证,准确无误后下发设备;
计算、存储、传送设备接收并执行各项操作指令。
进一步的,所述物理空间实现计算资源、存储资源、传送资源这三类实体资源的融合过程具体包括:
在物理空间内设置一块或多块计算存储盘,所述物理空间内还包括主控盘以及若干个业务盘;
安装和部署基础软件,包括操作***、数据工具软件、数字孪生建模框架、智能训练推理框架、算法分析处理框架中的一种或多种;其中,数据工具软件调用操作***提供的函数访问中央处理器、内存、磁盘、***设备中的一种或多种;数字孪生建模框架、智能训练推理框架、算法分析处理框架调用数据工具软件获取各类数据;
所述业务盘用于采集设备状态数据,若采集的数据与本网元相关,则上传到计算存储盘进行边缘处理;若与其它网元相关,则上传到主控盘,由主控盘转交至管控平台;计算存储盘收到设备状态数据后,根据数据处理需求进行调配,若进行仿真建模操作,则将数据转发给数字孪生建模框架;若进行边缘人工智能推理,则将数据转发给智能训练推理框架;若进行告警关联分析或者性能劣化分析操作,则将数据转发给算法分析处理框架。
进一步的,所述虚拟化模型包括三层三面网络虚拟化模型以及七阶张量模型,其中:
所述三层三面网络虚拟化模型包括三类资源、三层空间以及三项技术,所述三类资源包括计算资源、存储资源、传送资源,所述三层空间包括物理空间、虚拟空间、应用空间,所述三项技术包括虚拟化技术、智能运维技术、内生安全技术;所述三类资源位于所述三层空间之内,所述三项技术作用于所述三层空间以及所述三类资源;
所述七阶张量模型对位于三层空间的三类资源进行统一描述和量化表示,所述三类技术用于对所述七阶张量模型中的各项元素进行处理,包括:基于虚拟化技术实现物理空间计算资源、存储资源、传送资源的虚拟化,基于智能运维技术实现虚拟化资源的跨域统筹调度,基于内生安全技术构建安全可靠的虚拟化体系。
进一步的,所述七阶张量模型描述为T∈RI1×I2×I3×I4×I5×I6×I7,其中R表示实数域,I1、I2、I3、I4、I5、I6、I7表示张量模型的七个阶,分别表示时间、物理空间、虚拟空间、应用空间、计算资源、存储资源、传送资源。
第二方面,本发明还提供了一种虚拟化方法,采用虚拟化技术对各项资源进行虚拟化,其中,所述虚拟化技术包括功能保真技术和功能仿真技术,所述功能保真技术包括调度保真技术、虚拟保真技术,所述功能仿真技术包括功能映射仿真技术、功能拟合仿真技术;对于一个具体的物理实体资源,在选择虚拟化技术时按照调度保真技术、虚拟保真技术、功能映射仿真技术、功能拟合仿真技术的优先顺序进行选择。
进一步的,在选择虚拟化技术时还包括P跃迁、F跃迁、FP跃迁三种跃迁方式,具体的:
若不了解某物理实体的运行机理,则需要采用功能拟合仿真技术进行虚拟化;当能够完全掌握该物理实体的运行机理时,则通过P跃迁的方式,采用功能映射仿真技术进行虚拟化;当能够让基于功能映射仿真技术构建的虚拟化实体真正承担物理实体的功能时,则通过F跃迁的方式,采用虚拟保真技术进行虚拟化;若同时满足P跃迁和F跃迁的条件,则通过FP跃迁的方式,采用调度保真技术进行虚拟化。
进一步的,在对物理实体进行虚拟化建模时,还包括对构建的虚拟化实例进行优化,具体的:
明确真实网络中部署的物理实体,将物理实体的设备状态数据、物理实体的配置数据上传到虚拟空间;
根据物理实体上传的相关设备状态数据、配置数据,梳理实体运行机理,选择相应的虚拟化技术构建虚拟化模型;
根据应用空间业务场景需求,调用虚拟化模型,传入实时数据,创建虚拟化实例,构建虚拟网络;
应用空间执行完各类应用场景具体任务以后,反馈虚拟化效果,根据虚拟化效果对虚拟化模型进行优化。
与现有技术相比,本发明的有益效果在于:
(1)、本发明提出新型的网络虚拟化体系结构,实现计算资源、存储资源、传送资源的跨域统一调度和控制,支持业务端到端全局编排,支持资源智能运营和维护,通过一套整体的网络虚拟化体系结构实现云计算环境与通信网络的深度融合。本发明采用新型的基于张量的三层三面网络虚拟化模型以及七阶张量模型,在高阶多维度张量空间中统一描述计算、存储、传送资源,清晰地界定物理空间、虚拟空间、应用空间,引入虚拟化技术、智能运维技术、内生安全技术,解决当前网络体系架构资源随需分配能力差、资源跨域协同难、资源运维费时低效的问题。
(2)、本发明提出两大类四小类网络虚拟化技术,针对不同物理实体的物征,选择合适的虚拟化技术,可以构建出高精确度虚拟化模型。基于这些虚拟化模型,面向各应用空间用户需求,创建虚拟化网络并进行业务验证或资源运营,可以实现网络业务自动处理、网络资源自动维护、网络性能自动优化。本发明还采用虚拟化实例自动优化机制,通过物理空间、虚拟空间、应用空间跨层协同反馈技术优化虚拟化实例,提升虚拟化模型对物理实体的仿真度。
(3)、本发明提出的计算存储传送资源融合方法,能够分别在物理空间、虚拟空间、应用空间实现资源深度融合。物理空间支持数据在计算存储单盘和传送业务单盘之间的分流。虚拟空间部署业务编排器和资源控制器,支持全局业务编排和跨域资源控制,支持虚拟化实例创建、组合、优化,并通过虚拟化实例实现网络能力随需开放。在应用空间,用户无须了解太多的技术背景就可以实现计算存储传送资源的简洁精准请求,让用户更加关注业务,提升用户感知,也可以确保资源请求的准确性和一致性。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明是一种特定功能***的体系结构,因此在具体实施例中主要说明各结构模组的功能逻辑关系,并不对具体软件和硬件实施方式做限定。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。
实施例1:
“云网融合”的核心是实现云计算中心资源与网络资源的融合。云计算资源包括计算资源和存储资源,像中央处理器、人工智能芯片等都属于计算资源。存储阵列、硬盘、内存等都属于存储资源。网络资源主要指传送资源,包括光纤、网线、通信设备单盘、光模块、光器件、网络协议等。换句话说,“云网融合”的核心是实现计算、存储、传送三类资源的融合,而“云网融合”目标是高效、灵活、智能、安全地为用户提供计算、存储、传送资源。在当前云计算中心和通信网络中,计算、存储、传送三类资源以软件和硬件实体形态存在于物理空间中。而各行业的数字化应用是采用抽象能力的形式在用户空间使用计算、存储、传送资源的。将物理空间中的实体资源进行转换,以计算能力、存储能力、传送能力的形式提供给用户,就需要在虚拟空间基于虚拟化技术对计算、存储、传送资源进行仿真建模,并部署编排器和控制器进行调度。虚拟化技术实现实体资源的抽象建模,在用户空间将资源高效、灵活地提供给用户,但也带来了资源运维复杂性和安全性的问题,需要引入智能运维技术、内生安全技术进行支撑。
基于上述描述,以及针对传统通信网络面临的“异构资源融合难、全网协同程度弱、资源分配效率差”的问题,本发明实施例提出一种新型的网络虚拟化体系结构,实现计算资源、存储资源、传送资源的深度融合和协同调度,支持上述三类资源在物理空间、虚拟空间、应用空间的融合和调度,基于虚拟化技术、智能运维、内生安全技术实现资源高效、灵活、智能、安全供应目标。
本发明实施例1提供一种面向计算存储传送资源融合的网络虚拟化体系结构,其包括物理空间、虚拟空间和应用空间,其中:所述物理空间实现计算存储传送资源的融合,并将设备资源状态数据上报到所述虚拟空间;所述虚拟空间实现各项资源的虚拟化并将其描述在虚拟化模型中,以呈现给应用空间;所述虚拟空间还在接到应用空间下发的需求后将需求指令下发到具体的物理设备或虚拟设备上执行;所述应用空间获取虚拟空间描述的虚拟化模型,并提供给各类业务场景;所述应用空间还接纳需求、整合需求并下发给虚拟空间。
本优选实施例提出二类虚拟化技术,即功能保真虚拟化技术(功能保真技术)和功能仿真虚拟化技术(功能仿真技术),这两者即为所述虚拟空间实现各项资源的虚拟化所采用的虚拟化技术。基于功能保真技术构建的虚拟化模型,其输入和输出与物理实体模型一致,内部处理机制与物理实体一致,只是通过软件的方法来仿真模拟硬件操作。基于功能仿真技术构建的虚拟化模型,其输入和输出与物理实体模型并不完全一致,主要是通过软件去仿真逼近物理实体的运行方式,用于验证、监控、优化物理实体功能和性能。
本实施例提出的功能保真虚拟化技术又细分为两种具体技术,即调度保真技术和虚拟保真技术。调度保真技术是在物理网络中虚拟出多个逻辑网络切片,每个切片满足特定类型的业务需求。虚拟保真技术是将基于专用硬件的网元功能虚拟化后,部署在通用硬件上,形成虚拟网元池。
本实施例提出的功能仿真虚拟化技术也细分为两种具体的技术,即功能映射仿真技术和功能拟合仿真技术。功能映射仿真技术对物理空间网络实体的通信机理进行翻译和映射以后,在虚拟空间构建对应数字孪生模型。功能拟合仿真技术主要针对难以准确描述通信机理的网络功能,基于输入输出数据进行拟合,构建数字孪生模型。在具体实施过程中,可以根据物理实体的特征从上述虚拟化技术中进行选择,创建虚拟化资源。
如图1所示,本实施例中的虚拟化模型包括三层三面网络虚拟化模型以及七阶张量模型。具体的,基于张量的三层三面网络虚拟化模型(如图1左边所示),英文全称为Tensor based Three Layer and Three Plane Model,英文简写为TL3P3M,该三层三面网络虚拟化模型包括三类资源、三层空间以及三项技术,所述三类资源位于所述三层空间之内,所述三项技术同时作用于所述三层空间以及所述三类资源,其中,所述三类资源包括计算资源、存储资源、传送资源,所述三层空间包括物理空间、虚拟空间、应用空间,所述三项技术包括虚拟化技术、智能运维技术、内生安全技术,本发明实施例基于虚拟化技术实现物理空间计算资源、存储资源、传送资源虚拟化,基于智能运维技术实现虚拟化资源的跨域统筹调度,基于内生安全技术构建稳定可靠的虚拟化体系。
本实施例的网络虚拟化体系结构还包括和三层三面网络虚拟化模型相对应的七阶张量模型(如图1右边所示),所述七阶张量模型对位于三层空间的三类资源进行统一描述和量化表示,所述三类技术用于对所述七阶张量模型中的各项元素进行处理。包括:基于虚拟化技术实现物理空间计算资源、存储资源、传送资源的虚拟化,基于智能运维技术实现虚拟化资源的跨域统筹调度,基于内生安全技术构建安全可靠的虚拟化体系。
在本优选实施例中,七阶张量模型描述为T∈RI1×I2×I3×I4×I5×I6×I7,其中R表示实数域,I1、I2、I3、I4、I5、I6、I7表示张量模型的七个阶,分别表示时间、物理空间、虚拟空间、应用空间、计算资源、存储资源、传送资源。
本优选实施例还提出三种资源融合方法,包括物理空间资源融合方法、虚拟空间资源融合方法、应用空间资源融合方法。传统通信设备包含许多业务单盘,只具备单一的传送功能。本优选实施例提出物理空间资源融合方法,在通信设备内增加计算存储单盘,业务单盘数据一部分上传计算存储单盘,在设备侧直接处理,一部分上传管控平台。本优选实施例提出的虚拟空间资源融合方法实现虚拟计算资源、虚拟存储资源、虚拟传送资源的跨域统筹调度,能够根据全局业务编排器下发的模板优化调度各类虚拟资源。本优选实施例提出的应用空间资源融合方法能够让行业用户在不用具备底层资源能力技术背景的情况下,直接基于业务需要请求计算存储传送资源,网络虚拟化体系结构作为一个整体将用户需求转换为资源需求,并基于虚拟化资源池进行调度分配模拟验证,准确无误以后通过控制器发下发对应的物理实体设备,实现计算存储传送资源的分配。
基于本实施例提出的上述融合方法,通信设备制造商在研发生产物理实体设备的同时,研发生产虚拟化模型,包括虚拟化计算资源模型、虚拟化存储资源模型、虚拟化传送资源模型。这些虚拟化模型由网络虚拟化体系结构统一管理控制,在运营商通信网络部署以后,物理实体实时采集上报的数据与虚拟化模型融合,形成一系列虚拟化实例,虚拟空间内的虚拟化实例与物理空间内的实体设备相对应,支持物理实体设备运行机理和健康状态实时呈现、历史回溯、前瞻预测。基于本实施例提出的方法,物理实体设备出现性能劣化等情况以后,通信网络管控平台基于智能化技术创建性能优化方案,在虚拟空间中创建虚拟化实例对性能优化方案进行验证,如果能够达到优化效果就可以直接将操作指令下发物理实体设备。另外,通信网络中很多操作花费时间比较长,但是一旦出现网络故障或性能劣化现象,需要网络能够快速恢复。基于本实施例提出的方法,虚拟化实例与现有网络健康状态精准匹配,可基于虚拟化实例预测网络潜在隐患或劣化情况,形成对应处理方案并验证,当通信网络真正出现问题的时间,可以直接采用已经准备好的处理方案,节省方案创建时间,确保通信网络实时排障或优化。
实施例2:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构,本实施例2对该网络虚拟化体系结构的三层三面网络虚拟化模型以及七阶张量模型进行更为详细具体的说明。
继续如图1所示,对于本实施例的三层三面网络虚拟化模型,其整个模型呈现为一个立方体,立方体的正前方是三层,最下边一层是物理空间,部署实体设备,包括计算设备(例如服务器)、存储设备(例如磁盘阵列)、传送设备(例如光传送设备、数据通信设备)。中间一层是虚拟空间,部署业务编排器、跨域控制器、单域控制器、基于虚拟化技术创建的虚拟计算资源、虚拟存储资源、虚拟传送资源。最上层是应用空间,包含一系列用户应用,例如分布式机器学习。立方体右边包括三个面,这三个面对应三项技术,从前向后分别为虚拟化技术、智能运维技术、内生安全技术。这三项技术从上到下贯穿三层,表示三项技术同时作用于物理空间、虚拟空间、应用空间。虚拟化技术对物理空间各种实体设备运行机理进行仿真建模,构建对应的虚拟资源并部署于虚拟空间。虚拟化技术对应用空间各类业务场景建模,抽象各类应用的主要特征,根据主要特征为用户推荐高效的资源分配模式。智能运维技术在时间维度上能够实现各类资源规划阶段、开通阶段、维护阶段的自动化处理,基于人工神经网络、机器学习、知识图谱等技术实现业务编排和资源控制的智能化处理,支持网络根源与衍生告警智能关联分析、网络故障智能定位排除、性能劣化趋势智能预测。计算存储传送资源融合过程中不可避免地面临安全问题,包括各类外部入侵攻击问题,也包括内部软件硬件漏洞导致的数据安全问题,针对这些安全问题,本发明基于内生安全技术构建安全可靠的网络虚拟化体系结构,保障物理空间、虚拟空间、应用空间各类物理虚拟资源和业务场景的安全。
图1右边为本发明实施例提出的七阶张量网络虚拟化体系结构模型(七阶张量模型),这个模型能够将三层三面网络虚拟化模型中各项要素进行量化表示,建立各项要素之间的关系。在本实施例中,位于三个空间(即物理空间、虚拟空间、用户空间)的三类资源(即计算资源、存储资源、传送资源)在七阶张量模型中统一描述和量化表示,而三类技术(即虚拟化技术、智能运维技术、内生安全技术)则对张量模型中的元素进行处理,实现高效、灵活、智能、安全的资源供应。
具体的,本实施例的七阶张量模型描述为T∈RI1×I2×I3×I4×I5×I6×I7,其中R表示实数域,I1、I2、I3、I4、I5、I6、I7表示张量模型的七个阶,分别表示时间、物理空间、虚拟空间、应用空间、计算资源、存储资源、传送资源。张量每一阶包含很多维度,七阶七个维度就可以确定七阶张量模型中对象的具***置,这个位置的张量元素值是一个实数,实数值对应于对象本身的具体特征值。
下面的表1以机器学习应用场景、控制器***、通信设备计算单盘举例阐述七阶张量模型的张量元素如何取值。
表1七阶张量模型张量元素数值举例
序号 |
名称 |
I1阶 |
I2阶 |
I3阶 |
I4阶 |
I5阶 |
I6阶 |
I7阶 |
数值 |
1 |
机器学习 |
2 |
0 |
0 |
1 |
8 |
2 |
4 |
1 |
2 |
控制器 |
3 |
0 |
1 |
0 |
4 |
1 |
1 |
2 |
3 |
计算单盘 |
5 |
1 |
0 |
0 |
32 |
64 |
0 |
2 |
在上面表1中,第二行至第四行表示三个对象,第三列至第九列表示张量模型的七个阶,第十列是对象具体数值。本实施例提出的七阶张量模型是一个通用的模型,可以根据实际应用需求来定义张量七阶各维度值表征具体指标。例如,当前通信网络物理设备采用分钟级数据上报模式,每十五分钟上报一次全量性能数据,则可以指定张量模型第一阶维度值每一个整数表征一个长度为十五分钟的周期。将七阶张量模型内所有对象按起始运行时间排序,将最早运行时间对应为张量模型第一阶维度零坐标,然后维度每增加一个数字,代表跨越一个周期,即维度数值“1”表示第十五分钟,维度数值“2”表示第三十分钟。按上述规则,表1中的三个对象:机器学习、控制器、计算单盘对应时间分别为第三十分钟、第四十五分钟、第一小时十五分钟。对象机器学习是位于应用空间的业务场景,所以I4阶数值为1,I2和I3阶数值都为零。在实施过程中,可以根据具体需求定义物理空间、虚拟空间、应用空间三阶各个维度指值。表1中,将应用空间I4阶维度1定义为机器学习业务场景,维度2定义为虚拟现实应用场景,所以表1第2行第6列的数值为1。同理,控制器位于虚拟空间,张量I3阶维度1表示控制器对象。表1的第4行第4列数值1表示张量模型I2阶对应计算单盘对象。张量模型I5阶表示计算资源CPU核数,表1第2行第7列的数值8表示机器学习需要的计算资源为8核CPU。同理,表1第2行第8列数值2表示机器学习需要的存储资源为2T硬盘空间,表1第2行第9列数值4表示机器学习需要的传送资源为2个网络切片。表1第2行第10列对应张量元素值,在本例中,数值1表示一个机器学习应用。表1第3行的对象为控制器,张量元素值2表示虚拟空间部署2套控制器。在具体实施过程中,部署2套控制器是采用主备模式防止控制器出现故障导致网络业务中断,一般情况下两套控制器配置的资源和运行状态都保持一致,所以两套控制在张量模型各阶所对应的维度也一样。控制器、计算单盘的其它阶与机器学习的定义同理,在此就不赘述了。
本实施例的上述表1通过举例的方式描述了在实施过程中如何将各种对象的需求对应至张量模型的各个维度上。表1第二行表示的机器学习对象在张量模型中元素数值可以形式化表示为T(2,0,0,1,8,2,4)=1。表1第三行表示的控制器对象在张量模型中元素数值可以形式化表示为T(3,0,1,0,4,1,1)=2。表1第四行表示的计算单盘对象在张量模型中元素数值可以形式化表示为T(5,1,0,0,32,64,0)=2。上述张量元素数值表式化表示方式中,T表示张量,括号中七个数值分别表示七个张量阶各维度数值,等式右边是张量元素值。例如T(2,0,0,1,8,2,4)括号中第五个元素表示张量第五阶I5维度8,实际意义表示计算资源为8核中央处理单元CPU(Central Processing Unit)。表1中机器学习和控制器是计算存储传送资源需求方,机器学习对象需要消耗资源实现人工智能学习训练,控制器消耗资源执行通信网络路径计算等各类任务。表1中计算单盘是资源提供方,能够提供计算资源和存储资源。本实施例所提出的七阶张量模型能够对物理空间、虚拟空间、应用空间中各种对象所需要的计算、存储、传送资源进行具体量化描述,也能够对各种对象所能提供的资源能力数值进行量化描述,从而实现在一个张量模型中对计算、存储、传送资源需求和供应能力的统一量化描述。
构建本实施例提出的张量模型,最大的有益效果是为后续建立计算、存储、传送三类资源之间的复杂数量关系奠定基础。或者说,只有将计算、存储、传送资源进行量化描述,在一个空间内实现统一表示,才可能建立各种资源之间的数量关系,而建立数量关系是实现资源最优调度的核心。基于本发明提出张量模型,虚拟化技术将计算、存储、传送资源抽像建模,以量化形式在统一空间内有序表示;人工智能技术基于张量空间元素建立计算、存储、传送资源之间的数量关系,实现云计算中心和通信网络“规划、建设、维护、优化、运营”全生命周期的智能化运维;内生安全技术基于张量空间建立计算、存储、传送资源之间的数量关系,清晰评估各种安全隐患可能为用户业务应用造成的影响,制定相关安全预案,一旦发生安全问题则启动安全预案来保障用户仍旧能够使用计算、存储、传送资源。
实施例3:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构,本实施例3对其采用的虚拟化技术进行更为详细具体的说明。
如图2所示,为本实施例提出的网络虚拟化技术树,这棵技术树包括一个树根,两个分支,四片树叶。树根代表网络虚拟化技术,两个分支表示功能保真技术和功能仿真技术。四片树叶分别为调度保真技术、虚拟保真技术、功能映射仿真技术、功能拟合仿真技术。
具体实施过程中,为了将物理空间的计算、存储、传送资源进行虚拟化,构建对应的虚拟实体,本实施例提出“保真优先、仿真次之”的方法,对于一个具体的物理实体资源,按照从左到右的顺序在四片树叶选择虚拟化技术,即按照①②③④(调度保真技术、虚拟保真技术、功能映射仿真技术、功能拟合仿真技术)的顺序选择。对于一个具体的物理实体资源,首先选择调度保真技术进行虚拟化,如果难以实施,则选择虚拟保真技术进行抽象建模。如果保真技术无法应用到该物理实体资源,则选择功能映射技术构建虚拟实体,如果还是无法实施,则选择功能拟合技术构建虚拟实体。在虚拟化技术领域,当前技术研究都是独立地开展,要么聚焦功能保真技术,要么专注于功能仿真技术,尚未有统一的虚拟化技术树清晰地表达各类虚拟化技术,这也导致一直缺乏有效的选择方法对物理实体进行虚拟化。本专利提出“保真优化、仿真次之”方法有效解决这一难题。
另外,图2中四片树叶代表的虚拟化技术在满足一定条件后可以沿着从右向左的顺序进行跃迁,即沿着④③②①的顺序跃迁。本实施例提出三种跃迁方式,分别为P跃迁、F跃迁、FP跃迁。在实施过程中,如果不了解物理实体的运行机理,则需要采用功能拟合仿真技术进行虚拟化;当能够完全掌握该物理实体的运行机理时,则通过P跃迁的方式,采用功能映射仿真技术进行虚拟化;当能够让基于功能映射仿真技术构建的虚拟化实体真正承担物理实体的功能时,则通过F跃迁的方式,采用虚拟保真技术进行虚拟化;若同时满足P跃迁和F跃迁的条件,则通过FP跃迁的方式,采用调度保真技术进行虚拟化。例如,对于采购的光器件,一般都无法了解光器件内部运行机理。如果厂商后来采用自主研发本类光器件方式,能够完全掌握光器件运行机理,则通过P跃迁的方式,采用功能映射仿真技术进行虚拟化,从功能拟合仿真到功能映射仿真,实际上能够极大地提升虚拟化实体的仿真性能,因此称之P跃迁,P是性能英文单词Performance的第一字母。如果通过各种技术突破能够让基于功能映射仿真技术构建的虚拟化实体真正承担物理实体的功能,则通过F跃迁基于虚拟保真技术进行虚拟化,从功能映射仿真到虚拟保真技术,实际上扩展了虚拟实体的功能,让虚拟实体像物理实体一样工作,F是功能英文单词Function的第一个字母。如果性能提升和功能扩展都能够满足,则通过FP跃迁基于调度保真技术构建虚拟实体。如图2所示,本实施例提出的网络虚拟化技术树一共包括四类虚拟化技术、一种虚拟化技术选择方法、三种跃迁方法。前面阐述了一种虚拟化技术选择方法和三种跃迁方法,下边具体讲述四类虚拟化技术。
对于虚拟化技术,是将物理空间中的通信设备实体通过虚拟化技术构建对应的虚拟实体,并部署于虚拟空间。如果虚拟实体的功能与物理设备实体功能相对应,则需要采用功能保真技术。如果虚拟实体不必要完全映射物理设备实体的运行机理,则可以采用功能仿真技术。
本实施例的调度保真技术采用功能映射的方式,将用户对计算、存储、传送资源的请求进行收集和排序,制定资源调度优先级别,按优先级从高到低分配资源,满足用户需求。图2左下角是调度保真技术示意,最下边两个圆圈代表物理资源,最上边一个圆圈代表用户资源需求,中间方框表示调度器。调度器了解所有物理资源的可用情况,并根据用户提交的资源需求进行调度,为用户分配合适的资源。在图2左下角,调度器分配左边圆圈代表的物理资源来完成用户的需求。
表2调度保真虚拟化技术时延路径举例
表2以时延路径资源需求举例阐述调度保真虚拟技术。假如用户需要15毫秒内完成一次操作,其中计算时间为5毫秒,发送端与接收端数据传输时间需要小于5毫秒。基于本实施例构建的三层三面网络虚拟化模型以及七阶张量模型,查找发送端与接收端所有传送路径上的物理实体,将每条路径上物理实体处理数据的时延累加,得到本路径时延总计。例如,一条路径通过400公里光纤连接,传送时延为2毫秒。涉及两个光放大器,传送时延为0.2微秒。假设数通设备需要时延300微秒,再加上其他因素,例始色散补偿光纤,拥塞因素等,本路径传送时延大约为5毫秒。用户提出10毫秒资源需求时,调度器可以分配本路径以及对应的发送端-接收端给用户,满足用户对计算时延和传送时延的需求。
图2左下方第二个图描述了虚拟保真技术,底层三个圆圈表示物理设备,上边两个五角形表示虚拟设备。物理设备基于专用硬件构建,实现电信号和光信号处理,实现数据报文传送。虚拟设备基于通用硬件,利用集群提升处理性能,通过软件程序仿真物理设备数据传送功能。例如客户侧设备CPE(Customer Premise Equipment)通过虚拟化技术可以构建虚拟化客户侧设备vCPE(virtualized Customer Premise Equipment),宽带接入服务器BRAS(Broadband Remote Access Server)通过虚拟化技术可以构建虚拟化宽带接入服务器vBRAS(virtualized Broadband Remote Access Server)。虚拟保真技术能够实现物理设备与虚拟设备运行机理的映射,确保物理设备与虚拟设备功能保持一致。通过虚拟保真技术构建的虚拟设备可以是盒式物理设备形态,在通用中央处理器上运行虚拟设备软件。也可以直接将虚拟设备软件部署在云数据中心虚拟机上。虚拟设备具体形态可以在实施过程中根据用户应用场景来确定。
图2下边第三个图描述了功能映射仿真技术。如果能够详细了解物理空间通信设备的内部机理,则可以通过功能映射仿真技术将内部机理翻译为数学模型。表3以掺铒光纤放大器为阐述功能映射仿真技术实施步骤,包括七步。第一步,获取掺铒光纤放大器各项参数值,例始增益谱和功能谱。第二步,设置入射泵浦和信号光功率,第三步,计算泵浦光和信号光基模分布,第四步,计算入射泵浦和信号光子通量,光通信***理论中有公式描述光子通量与功率之间的关系。第五步,计算能级分布,计算增益系数的横向分布。第六步是循环迭代,通过更新和判定等指令从入射泵浦和信号光功率,计算出放大器光纤末端的泵浦和信号光功率分布,本步骤输出仿真模型源代码。第七步,将仿真模型部署于虚拟化平台,采集网络数据,执行数据和模型融合操作,通过仿真模型进行计算,输出虚拟化仿真结果。
表3掺铒光纤放大器功能映射仿真
图2下边最后一个图是功能拟合仿真虚拟化技术示意图。假如在某些情况下无法了解物理空间通信设备的内部机理,则可以在实验室内通过仪表测量通信设备输入和输出数据,基于功能拟合仿真技术构建模型,通过拟合函数逼近物理实体内部真实功能函数。图中通信设备物理实体包含五个功能模块,第一个功能模块执行完以后进行分支,上边的流程需要两个功能模块处理,下边的流程需要一个功能模块处理,两个分支处理完毕以后通过最后一个功能模块汇总处理,输出结果。通过功能拟合仿真技术,录入输入数据和数出数据,拟合出仿真函数,其中上边一个分支两个圆圈功能模块拟合为一个三角功能模块和一个六边形功能模块,下边分支拟合为一个六边形功能模块。这个图是一个示意图,用于形象地阐述功能拟合仿真技术处理流程。举例来说,如果进行光信噪比OSNR(Optical SignalNoise Ratio)虚拟化建模,可以在实验室通过仪表测量光功率、色散等数值作为输入,测量出光信噪比数值作为输出,选择深度神经网络DNN(Deep Neural Network)模型拟合,得到光信噪比虚拟化仿真模型。
本实施例提出的网络虚拟化技术树一共包括四类虚拟化技术、一种虚拟化技术选择方法、三种跃迁方法,基于上述技术和方法能够最有效地实现物理实体的虚拟化,并根据情境的变换更新虚拟化实体,实现性能和功能的最优,并为后续计算存储传送资源的融合奠定基础。
实施例4:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构以及实施例3所描述的网络虚拟化技术,如图3所示,本实施例4提出一种物理实体虚拟化建模及虚拟化实例的优化方法,其在对物理实体进行虚拟化建模时,还包括对构建的虚拟化实例进行优化。
本实施例的方法包括四个步骤。
第一步,明确真实网络中部署的物理实体,将物理实体的设备状态数据、物理实体的配置数据等上传虚拟化空间(对应图3中的“采集”)。在图3的下部是物理实体示例,包括光传送设备和光纤,光传送设备各类单盘型号和参数,各类模块和器件型号参数都上传至虚拟空间,光纤类型、光纤色散系数、光纤衰减系数等参数都上传至虚拟空间。
第二步,根据物理实体上传的相关设备状态数据、配置数据,梳理实体运行机理,选择相应的虚拟化技术构建虚拟化模型(基于实施例3提出的网络虚拟化技术构建虚拟化模型,对应图3中的“建模”)。在图3中,如果能够准确了解物理实体的内部处理流程,可以采用功能映射仿真技术构建虚拟化模型。如果无法了解物理实体的内部处理流程,可以采用功能拟合仿真技术构建虚拟化模型。
第三步,根据用户空间业务场景需求,调用虚拟化模型,传入实时数据,创建虚拟化实例,构建虚拟网络(对应图3中的“调用”)。图3上边给出一个虚拟化网络示例,包含六个网络节点,这个虚拟化网络可以支撑分布式机器学习等应用场景。
第四步,应用空间执行完各类应用场景具体任务以后,反馈虚拟化效果,根据虚拟化效果对虚拟化模型进行优化(对应图3中的“虚拟化效果反馈”、“调整组合策略”、“优化虚拟算法”、“更新采集模式”)。虚拟化模型的优化分为三类情形,第一类情形更新数据采集模式,提高数据采集上报频率或者增加新的数据指标,提升模型虚拟化效果。第二类情形优化虚拟算法,例如增强或者完善功能映射方法,采用更优质的拟合函数,从而达到提升仿真准确度的目标。第三类情形调整组合策略,这类情况用于复杂业务场景仿真,通过调用不同的虚拟化模型来提升模型虚拟化效果,例如增加虚拟计算资源同时减少虚拟存储资源。
通过上述四个步骤可以实现虚拟化模型和虚拟化实例的升级优化。本实施例提出的物理实体虚拟化建模及虚拟化实例升级优化方法是一种动态自动的方法。传统的方法是静态手动的,构建完虚拟化模型以后就被动等待调用,然后被动等待一下轮调整,并且调整策略比较单一。本实施例中,虚拟化模型构建完成以后,在虚拟空间生成虚拟化实例,所有实例在虚拟化空间融合以后为用户提供计算、存储、传送能力。这些能力提供给用户以后,将主动地根据用户反馈进行升级优化,优化方法包括本实施例提出的更新数据采集模式、优化虚拟算法、调整组合策略。其中优化虚拟算法在具施执行过程中可以采用本发明实施例3中的虚拟化技术跃迁方法。本实施例中的动态自动升级优化方法能够实时完善虚拟化模型,实时创建高精准度的虚拟化实例,确保虚拟空间内创建的虚拟计算、虚拟存储、虚拟传送资源能够实时满足用户的多样化业务应用需求,保障云网融合服务质量。
实施例5:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构,本实施例5提出计算存储传送资源的三种融合方式,分别在物理空间、虚拟空间、应用空间实现资源融合。
如图4所示为本实施例中计算存储传送资源在物理虚拟应用空间的融合示意图。
图4最下部是物理空间P(Physical Space),部署计算、存储、传送资源的实体设备,也即物理空间内包括计算资源、存储资源、传送资源。本实施例提出的物理空间计算存储传送资源融合方法是指在传送通信设备上增加计算和存储单元盘(可简称为计算存储盘),业务盘上的状态数据一部分上传计算存储盘,一部分上传管控平台。如果业务盘上的状态数据只与本通信设备有关,则上传计算存储盘,在设备侧进行处理。如果业务盘上的状态数据与其他网元有关联,则上传管控平台进行集中处理。计算存储盘部署人工智能学习训练框架,支持轻量级人工智能模型训练和推理。
图4中间为虚拟空间V(Virtua Space),部署编排器和控制器,另外,还基于实施例3提出的网络虚拟化技术构建虚拟计算资源、虚拟存储资源、虚拟传送资源,这三类虚拟资源也部署于虚拟空间。虚拟资源与物理资源是对应的,实施例3提出的四类网络虚拟化技术中,基于调度保真技术、功能映射仿真技术、功能拟合仿真技术构建的虚拟资源最终执行实际指令都是在对应的物理资源上。基于虚拟保真技术构建的虚拟资源可以执行实际指令。图4中虚拟空间与物理空间有两类接口,其中设备状态通过设备状态接口S-flow(Stateflow)从物理空间上传至虚拟空间。管控指令通过管控指令接口M-flow(Management andcontrol flow)从虚拟空间下发至物理空间。
图4上部为应用空间A(Application space),包含各类用户应用,例如分布式机器学习应用、云化虚拟现实应用。另外,应用空间存储用户对资源的能力需求,包括计算能力需求、存储能力需求、传送能力需求。在实施例1、2中,计算存储传送资源能力统一描述在三层三面网络虚拟化模型以及七阶张量模型中,用户计算存储传送能力需求提交以后,应用空间会搜索张量模型,匹配出所需资源并分配给用户。应用空间与虚拟空间的接口包括云网能力接口C-flow(Capability flow),用户需求接口R-flow(Requirement flow)。
在图4中,三个空间(物理空间、虚拟空间、应用空间)和四类接口(设备状态接口、管控指令接口、云网能力接口、用户需求接口)组成一个闭环。具体的,应用空间内实现计算能力需求、存储能力需求、传送能力需求融合,用户提出资源需求以后,由应用空间进行匹配,找到对应的虚拟资源,通过用户需求接口R-flow发送至虚拟空间。虚拟空间实现虚拟计算资源、虚拟存储资源、虚拟传送资源融合,在接到用户需求以后,通过编排器和控制器进行处理,形成具体操作指令,通过管控接口M-flow下发到具体物理设备或者在虚拟设备上执行。物理空间实现计算资源、存储资源、传送资源三类实体资源的融合,物理空间的业务盘内的状态数据一部分在计算存储盘处理,另一部分通过设备状态接口S-flow上报到虚拟空间。通过上报的设备状态数据,虚拟空间能够实时掌握物理空间内计算资源、存储资源、传送资源这三类资源的性能状况,从而在调配资源时能够实现优化决策。本实施例中,虚拟空间的计算、存储、传送资源能力统一描述在三层三面网络虚拟化模型和/或七阶张量模型中,并通过云网能力接口C-flow呈现给应用空间,由应用空间提供给各类业务场景。
本实施例提出的方法实现了计算、存储、传送资源在物理、虚拟、用户三类空间内的深度融合,在具体实施过程中根据业务需求选择最适合的融合方式。例如,为了更快速为用户提供计算存储服务,可以在边缘接入通信设备采用物理空间融合方式,将计算和存储单元盘嵌入通信设备,既能降低通信时延,也可以降低通信安全隐患,同时提供计算存储传送能力。再举另外一个例子,针对突发大规模海量计算存储传送资源需求,如果当前的资源难以满足用户需求,则可以利用虚拟空间资源融合技术,根据用户的优先级高效编排业务并调度虚拟资源。如果调度过程中出现用户需求变更,则基于人工智能技术进行动态虚拟资源调度,并通过管控接口M-flow下发物理设备。综上所述,本发明提供的三种融合方式能实现高效灵活的计算存储传送资源融合,能够智能动态调度资源以满足用户需要。
实施例6:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构,以及实施例5提供的三种融合方式,本实施例6提出一种基于虚拟化技术的资源自动融合调度方法。
如图5所示,本实施例的方法包括五个步骤,下面以分布式机器学习应用场景为例来阐述五个步骤的具体实施方式。
第一步,提出请求,在应用空间提交请求描述。该步中,用户提出分布式机器学习请求,在应用空间提交请求描述,提交机器学习训练数据,该数据根据需要进行选择。
第二步,应用空间分析用户请求,得到计算、存储、传送资源量化指标,在三层三面网络虚拟化模型和/或七阶张量模型中描述。假如分布式机器学习应用场景对计算、存储、传送资源的需求如表4所示,用户训练时间大约为2小时,训练数据所需硬盘存储空间为2T,内存需求256G,分布式机器学习采用数据中心集群方式,服务器与交换机之间需要100Gbps带宽,传送时延需要在20毫秒以内。表4中的五个指标将对应到张量模型第五阶、第六阶、第七阶的各个维度上。
表4分布式机器学习应用场景资源需求量化指标举例
应用名称 |
训练时间 |
硬盘存储空间 |
内存需求 |
传送带宽需求 |
时延需求 |
分布式机器学习 |
2小时 |
2T |
256G |
100Gbps |
20毫秒 |
完成资源量化指标统一描述以后,虚拟空间执行第三步,其编排器和控制器将资源量化指标转换为具体操作指令。
第四步,基于虚拟化技术创建虚拟模型并进行实例化,对操作指令进行验证,准确无误后下发设备。在本步骤中,虚拟模型与物理实体通过设备状态接口S-flow交互,实时同步设备当前状态。因此,操作指令如果无法在物理实体执行,虚拟实体将验证不通过,也不会将操作指令下发设备。
第五步,计算、存储、传送设备接收并执行各项操作指令。针对表4中的资源需求,控制器将求取符合时延需求的路径,将数据通过这条路径下发至对应的服务器,服务器提供符合要求的存储空间和内存,创建虚拟机并执行机器学习训练,训练过程中如果需要同步人工神经网络模型中间参数,则由控制器分配传送路径。训练结束后将执行结果返回给用户。
在上述实施过程中,五个步骤之间交互五类信息,分别是用户请求Request,资源量化指标能力需求Capabilities,在虚拟设备上执行的操作指令Operations,在计算存储传送物理设备上执行的指令Instructions,执行结果反馈信息Feedback。五个步骤与五类交互信息构成一个闭环,贯穿物理空间、虚拟空间、用户空间,实现计算存储传送资源自动融合调度。
本实施例提出的基于虚拟化技术的资源自动融合调度方法采用一种智能机制实现计算存储传送资源的虚拟化、高效融合、自动调度、反馈优化。这个智能自动机制一方面能够解决手工调度导致的周期长、效率低等问题,另一方面通过闭环交互机制保障资源分配结果满足应用空间的业务需求,通过模拟验证机制保障资源分配策略在虚拟空间与物理空间高度一致。
实施例7:
基于实施例1提供的一种面向计算存储传送资源融合的网络虚拟化体系结构,以及实施例5提供的三种融合方式,本实施例7对物理空间内计算存储传送资源的融合方式进行更为详细的说明。
如图6所示,为本实施例中物理空间内计算存储传送资源的融合示意图。在具体实施时,本实施例包括三个过程。
首先,在物理空间内设置一块或多块计算存储盘,另外,物理空间内还包括主控盘以及若干个业务盘。具体的,本实施例需要一块或者多块计算存储盘,具体数量可以根据业务场景来确定。例如,如果传送设备包含多个业务盘,产生的设备状态数据会比较多,则需要研发并部署多块计算存储盘。如果传送设备包含的业务盘数量比较少,产生的设备状态数据量也不大,则可以研发并部署一块计算存储盘。通信网络建设开通以后,业务量会增大或者减少,但是业务盘上报的设备状态数据量一盘不会变化,所以通信设备交付的时候,所需的计算存储盘数量已经可以确定。如果后续因为设备状态数据采集频率加快导致设备状态数据量增加,则可以研发性能更高的计算存储盘来替换。例如,当前设备性能指标数据采集周期为五分钟采集并上报一次,因为网络优化需要,后续需要调整为一分钟采集并上报一次,当前配置的计算存储盘处理能力和存储能力难以满足需要,则可以研发更高性能的计算存储盘进行替换升级。
在通信设备研发并部署计算存储盘以后,则进行第二个过程的实施,如图6左边所示,安装和部署基础软件,包括安装操作***(例如CentOS操作***、Ubuntu操作***),安装数据工具软件(例如数据库MySQL、分布式文件***),安装数字孪生建模框架、智能训练推理框架、算法分析处理框架等。图6左边所示的基础软件分为层次关系,下层软件被上层软件调用。如:数据工具软件调用操作***提供的函数访问中央处理器、内存、磁盘、***设备等。数字孪生建模框架、智能训练推理框架、算法分析处理框架调用数据工具软件获取各类数据。
第三个过程是实现数据分流和边缘处理,如图6右边所示。业务盘1、业务盘2、…、业务盘n采集设备状态数据,如果采集的数据与本网元密切相关,则上传到计算存储盘进行边缘处理。如果与其它网元相关,则上传到主控盘,由主控盘转交至管控平台。计算存储盘收到设备状态数据后,根据数据处理需求进行调配,如果进行仿真建模操作,则将数据转发给数字孪生建模框架;如果进行边缘人工智能推理,则将数据转发给智能训练推理框架;如果进行告警关联分析或者性能劣化分析等操作,则将数据转发给算法分析处理框架。
基于上述三个过程研发的软件部署于业务盘、主控盘、计算存储盘,这些软件采用分布式协同的模式实现数据分流和任务处理,并与物理空间的各类单盘、操作***、数据工具、各类框架一起实现计算存储传送资源融合。
本实施例提出的物理空间资源融合方式可提供新的更高效的产品方案,在通信设备业务盘之外增加计算存储盘,通过物理空间融合的方式为上层虚拟空间和应用空间提供计算、存储、传送基础设施能力。这种新型产品方案可以在网络边缘接入位置为用户提供云计算和网络能力,其中云计算能力由计算存储盘承担,网络能力由业务盘承担。用户的应用需求统一通过网络提交,在新型产品方案中,基于本实施例提出的方法,业务盘对数据进行分析处理,如果用户需要低时延处理,并且数据规模不是特别大,可以由业务盘将数据直接分流至计算存储盘。如果数据规划比较大,超出计算存储盘的能力,则由业务盘将数据分流至主控盘,然后通过主控盘上传至管控平台,交给虚拟空间,在大规模计算集群中进行处理。目前很多个人用户应用表现出数量多、数据少、时延要求高、安全性要求高等特征,需要信息基础设备能够在接入侧实时处理数据,一方面可以降低时延,另一方面也能够减少网络通信带来的安全隐患。本实施例提出的物理空间融合方式通过在通信设备部署计算存储盘,增加软件工具,采用业务盘、计算存储盘、主控盘、管控平台共同分流数据的形式有效解决这一问题,并可催生出新的产品方案。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。