CN105049218B - PhiCloud云计费方法及*** - Google Patents
PhiCloud云计费方法及*** Download PDFInfo
- Publication number
- CN105049218B CN105049218B CN201510355808.6A CN201510355808A CN105049218B CN 105049218 B CN105049218 B CN 105049218B CN 201510355808 A CN201510355808 A CN 201510355808A CN 105049218 B CN105049218 B CN 105049218B
- Authority
- CN
- China
- Prior art keywords
- data
- charging
- cluster
- resource
- acquisition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007600 charging Methods 0.000 title claims abstract description 173
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000006870 function Effects 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 claims 1
- 239000011800 void material Substances 0.000 claims 1
- 238000007726 management method Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/44—Augmented, consolidated or itemized billing statement or bill presentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/14—Charging, metering or billing arrangements for data wireline or wireless communications
- H04L12/1403—Architecture for metering, charging or billing
- H04L12/1407—Policy-and-charging control [PCC] architecture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M15/00—Arrangements for metering, time-control or time indication ; Metering, charging or billing arrangements for voice wireline or wireless communications, e.g. VoIP
- H04M15/66—Policy and charging system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/24—Accounting or billing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种PhiCloud云计费方法及***，该PhiCloud云计费***包括：数据采集器集群，采集原始计费数据；数据分析器集群，采用MapReduce处理原始计费数据，获得计费结果数据；计费服务器集群，根据预定的计费策略将计费结果数据转化为账单；资源调度器，根据预定的调度策略综合管理调度数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。本发明为Phicloud云平台提供了计费解决方案，为云平台的计费服务提供了支持，与云平台相辅相成，能够在现有的软硬件基础上实现，无需专门的软硬件及人力资源支持，扩展性更好，实现更高效，更节省资源，更便于维护，更易于扩展的计费功能。
Description
技术领域
本发明属于通信技术领域，涉及一种计费方法，特别是涉及一种PhiCloud云计费方法及***。
背景技术
在人类社会将近两万年的历史长河中，已经经历了5次科技革命：以伽利略、哥白尼、牛顿等为代表的科学家，在天文学、物理学等领域带来的第一次科技革命；以蒸汽机的发明与应用及机器作业代替手工劳动为主要标志的第二次科技革命；以电力技术和内燃机发明为主要标志的第三次科技革命；以进化论、相对论、量子论等为代表的第四次科技革命；电子计算、信息网络出现带来的第五次科技革命。此后，大数据、云计算、移动互联网和物联网等带来的将是第六次科技革命。
云计算的出现，是信息技术发展和信息社会需求到达一定阶段的必然结果。一方面，虚拟化技术、分布式计算技术、宽带互联网技术、SOA技术和自动化管理技术的发展为人类社会云时代社会奠定了科学技术基础；另外一方面，无论何时、何地、何人、何物，人类社会期待实现互联互通、知识共享、协同工作的新需求，加速了信息社会的进程，在这一进程中，对普惠、可靠、低成本、高效能的技术手段和实现模式的迫切需要，催生了云计算
云计算从技术和商业两个方面，对传统的应用模式进行了颠覆。通过资源集中化、服务网络化、计费按需化和需求弹性化等，解决了现有信息技术环境下资产利用率较低、资源需求分散、***冗余、难于管理和采购周期长等问题，在降低IT服务提供成本的同时，有效地提升了服务提供的灵活性，为信息化的发展提供了便利。
国内外已经有一些企业提供了异彩纷呈的、面向企业及个人的云计算服务，改变了消费者工作、生活、学习、娱乐的习惯，如面向企业客户的云数据中心、云办公、云监控，以及面向个人用户的云存储、云视频、云阅读、云音乐等，具备共享、同步、面向移动、动态获取、多终端应用等特点。这些成功的服务获得了用户的认可
Phicloud云平台根据市场需求和国家云计算国产化的号召顺势而生，以OpenStack为依托，把其作为云平台的资源管理后端。OpenStack是一个开源云平台，由NASA和Rackspace合作开发，它是对AWS(Amazon Web Service，亚马逊云计算服务平台)的一种开源实现。OpenStack提供了一个部署云的平台，为公有云、私有云提供了可扩展、灵活的云计算平台。OpenStack的发展非常迅速，但是OpenStack只是提供了资源的分配，调度和部分资源使用的采集功能，并没有提供公有云平台的必备组件-计费组件。这就需要所有的公有云厂商开发自己的计费组件，PhiCloud云计费就是在这种背景下产生的。目前国内的公有云厂商的计费组件的架构主要还是传统的纵向模式，这种模式的扩展性很差，需要为计费功能提供专门的硬件，软件，IT人力的支持，这在很大程度上增加了企业的负担和资源的浪费。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种PhiCloud云计费方法及***，用于解决现有的云计费组件的架构模式为纵向模式，扩展性差，需要专门的软硬件及人力资源支持的问题。
为实现上述目的及其他相关目的，本发明提供一种PhiCloud云计费***，所述PhiCloud云计费***包括：数据采集器集群，包括至少1个数据采集器，采集原始计费数据；数据分析器集群，与所述数据采集器集群相连，包括至少1个数据分析器，采用MapReduce处理所述原始计费数据，获得计费结果数据；计费服务器集群，与所述数据分析器集群相连，包括至少1个计费服务器，根据预定的计费策略将所述计费结果数据转化为账单；资源调度器，与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连，根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
可选地，所述资源调度器包括：注册模块，接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；数据采集模块，与所述注册模块相连，根据所述组件注册的集群信息采集集群中各个节点的负载信息；资源调度策略管理模块，设置有资源需要重新调度的阈值；资源调度模块，与所述资源调度策略管理模块和数据采集模块分别相连，根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
可选地，所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件***中；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上；所述数据采集器为OpenStack的ceilometer组件。
可选地，所述数据分析器包括：分布式文件***，存储所述数据采集器上传的原始计费数据；提取模块，与所述分布式文件***相连，从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间；Map函数模块，与所述提取模块相连，将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表；Reduce函数模块，与所述Map函数模块相连，将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据。
可选地，所述计费服务器包括：计费策略管理模块，对计费策略进行管理；计费信息生成模块，与所述计费策略管理模块相连，访问所述计费策略管理模块获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单；计费数据库，与所述计费信息生成模块相连，存储所述账单；计费展示模块，与所述计费数据库相连，通过网页的形式展示所述账单。
本发明还提供一种PhiCloud云计费方法，所述PhiCloud云计费方法包括以下步骤：利用包括至少1个数据采集器的数据采集器集群采集原始计费数据；利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据，获得计费结果数据；利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单；利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
可选地，所述PhiCloud云计费方法还包括：接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；根据所述组件注册的集群信息采集集群中各个节点的负载信息；设置资源需要重新调度的阈值；根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
可选地，所述PhiCloud云计费方法还包括：所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件***中；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上；所述数据采集器为OpenStack的ceilometer组件。
可选地，所述PhiCloud云计费方法还包括：利用分布式文件***存储所述数据采集器上传的原始计费数据；从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间；将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表；将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据。
可选地，所述PhiCloud云计费方法还包括：对计费策略进行管理；访问获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单；存储所述账单；通过网页的形式展示所述账单。
如上所述，本发明所述的PhiCloud云计费方法及***，具有以下有益效果：
本发明为Phicloud云平台提供了计费解决方案，为云平台的计费服务提供了支持，与云平台相辅相成，能够在现有的软硬件基础上实现，无需专门的软硬件及人力资源支持，扩展性更好，实现更高效，更节省资源，更便于维护，更易于扩展的计费功能。
附图说明
图1显示为本发明实施例所述的PhiCloud云计费***的一种实现结构框图。
图2显示为本发明实施例所述的PhiCloud云计费***中的数据采集器的一种具体实现结构示意图。
图3显示为本发明实施例所述的PhiCloud云计费***中的数据采集器的一种采集流程示意图。
图4显示为本发明实施例所述的PhiCloud云计费***中的数据分析器的一种实现结构示意图。
图5显示为本发明实施例所述的PhiCloud云计费***中的数据分析器的一种分析流程示意图。
图6显示为本发明实施例所述的PhiCloud云计费***中的计费服务器的一种实现结构示意图。
图7显示为本发明实施例所述的PhiCloud云计费***中的计费服务器的一种工作流程示意图。
图8显示为本发明实施例所述的PhiCloud云计费***中的资源调度器的一种实现结构示意图。
图9显示为本发明实施例所述的PhiCloud云计费***中的资源调度器的一种工作流程示意图。
图10显示为本发明实施例所述的PhiCloud云计费方法的一种实现流程示意图。
图11显示为本发明实施例所述的PhiCloud云计费方法中的步骤S2的一种实现流程示意图。
图12显示为本发明实施例所述的PhiCloud云计费方法中的步骤S3的一种实现流程示意图。
图13显示为本发明实施例所述的PhiCloud云计费方法中的步骤S4的一种实现流程示意图。
元件标号说明
100 PhiCloud云计费***
110 数据采集器
120 数据分析器
121 分布式文件***
122 提取模块
123 Map函数模块
124 Reduce函数模块
130 计费服务器
131 计费策略管理模块
132 计费信息生成模块
133 计费数据库
134 计费展示模块
140 资源调度器
141 注册模块
142 数据采集模块
143 资源调度策略管理模块
144 资源调度模块
S1～S4 步骤
S21～S24 步骤
S31～S34 步骤
S41～S44 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1，本发明提供一种PhiCloud云计费***，所述PhiCloud云计费***100包括：数据采集器集群，数据分析器集群，计费服务器集群，资源调度器。
所述数据采集器集群包括至少1个数据采集器110，采集原始计费数据。
进一步，所述数据采集器的基本原理是使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到数据分析器中的分布式文件***中，以便所述数据分析器随时调取。
所述数据采集器可优选为OpenStack的ceilometer组件。因为Openstack的ceilometer组件已经实现了数据采集的功能，所以不需要再重复发明轮子，直接利用ceilometer实现该功能，采用轮询代理(Polling Agent)的方式，调用OpenStack的计算，网络，镜像，对象存储等组件提供的接口采集数据，采集的数据通过发布通道发布到数据分析器，具体实现结构参见图2所示。在OpenStack环境中，虚拟机可能处于不同的状态，因此数据采集器启动以后，需要在后台监听宿主机上运行的虚拟机的状态。如果虚拟机处于活动状态，数据采集器就会调用Libvirt API周期性的获得虚拟机活动状态下的各种原始计费数据。所述原始计费数据包括虚拟机的UUID、VCPU、内存、磁盘的读写速率、磁盘的大小、网卡的上传下载速率以及网络的上传下载总量等。获取的数据经过处理之后成为原始计费数据，存入本地计费文件。当数据采集器接收到来自数据分析器的上传命令后，将会读取本地计费文件中的原始计费数据，然后上传到数据分析器中。当虚拟机处于非活动状态时，数据采集器也会评测出其状态，这时会暂停对虚拟机的原始计费数据采集，但仍会继续对虚拟机进行周期性的轮询访问，以保证不会丢失待测量的虚拟机的原始计费数据。当虚拟机改变状态时，数据采集器可以测定出其运行的状态，并立即开始采集该虚拟机的原始状态信息，其具体采集流程参见图3所示。
所述数据分析器集群与所述数据采集器集群相连，包括至少1个数据分析器120，采用MapReduce处理所述原始计费数据，获得计费结果数据。
进一步，参见图4所示，所述数据分析器120包括：分布式文件***121，提取模块122，Map函数模块123，Reduce函数模块124。
所述分布式文件***121存储所述数据采集器110上传的原始计费数据。分布式文件***(Distributed File System)是指文件***管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件***的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些***扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样。
所述提取模块122与所述分布式文件***121相连，从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间。
所述Map函数模块123与所述提取模块122相连，将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表。
所述Reduce函数模块124与所述Map函数模块123相连，将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据。
所述数据分析器负责将数据采集器采集的数据进行整理，首先需要确定的是计费起始时间和计费结束时间。计费起始时间指的是用户第一次启动虚拟机的时间。由于用户一次可能申请多台虚拟机，只有当用户删除了所有的虚拟机，计费才能停止。确定计费的起始时间和结束时间之后，就需要对原始计费数据进行处理，才能得到每台虚拟机的使用时间。本发明采用MapReduce处理原始计费数据。其中，MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归约)”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式***上。当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。采用MapReduce处理原始计费数据的基本处理原理为：首先从原始计费数据中提取虚拟机的ID以及时间戳。虚拟机的ID用于唯一标识一台虚拟机，而时间戳TimeStamp用于标识该条原始计费数据产生的时间。将虚拟机的ID和时间戳分别作为Map函数的输入参数key和value。Map函数的主要功能是依据虚拟机的ID将虚拟机的时间戳进行归类，产生的中间结果是一个虚拟机实例ID对应一个时间戳列表。然后将中间结果作为Reduce函数的输入参数。Reduce函数依据虚拟机实例ID来处理时间戳列表，对列表后一项的值减去前一项的值的差判断，当两项之差小于某个阙值的时候，可以对该值进行累加处理，具体流程见图5所示。
所述计费服务器集群与所述数据分析器集群相连，包括至少1个计费服务器130，根据预定的计费策略将所述计费结果数据转化为账单。
进一步，参见图6所示，所述计费服务器130包括：计费策略管理模块131，计费信息生成模块132，计费数据库133，计费展示模块134。
所述计费策略管理模块131对计费策略进行管理，包括查询***现有的计费策略、增加计费策略，修改或删除***原有的计费策略等。
所述计费信息生成模块132与所述计费策略管理模块131相连，访问所述计费策略管理模块获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理存储在分布式文件***中的所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单。即，使用该计费策略处理所述分布式文件***中存储的与计费相关的信息，得到虚拟机的费用信息，并将费用信息存入计费数据库中，供计费展示组件使用。
所述计费数据库133与所述计费信息生成模块132相连，存储所述账单。
所述计费展示模块134与所述计费数据库133相连，通过网页的形式展示所述账单。所述计费展示模块134读取计费数据库133中存储的虚拟机的费用信息(即账单)，然后将这些费用信息通过网页的形式展示出来。
所述计费服务器130的工作流程参见图7所示，其根据数据分析器120产生的计费结果数据，以及根据计费策略设定的触发条件，选择相应的计费策略计算出宿主机的费用信息。账务模块会根据费用信息去用户账户扣取费用，中间产生的财务信息会入库以备以后财务审计。
所述资源调度器140与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连，根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。即，所述资源调度器140判断所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载情况，动态扩充或减少所述数据采集器、数据分析器、和计费服务器的集群资源池中的资源。
进一步，参见图8所示，所述资源调度器140包括：注册模块141，数据采集模块142，资源调度策略管理模块143，资源调度模块144。
所述注册模块141接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；所述注册模块会保存这些组件的元数据，如果组件的集群信息发生变化，组件也要及时通知注册模块更新注册信息。
所述数据采集模块142与所述注册模块141相连，根据所述组件注册的集群信息采集集群中各个节点的负载信息。所述负载信息包括CPU负载，内存使用率，磁盘IO，网卡进出口流量等信息。
所述资源调度策略管理模块143设置有资源需要重新调度的阈值。例如，所述阈值为集群平均CPU负载在一定时间范围内达到多少时需要为集群增加或者减少资源；所述阈值包括多种类型(如CPU负载，内存使用率，磁盘IO，网卡进出口流量等)的限制值或范围值。
所述资源调度模块144与所述资源调度策略管理模块143和数据采集模块142分别相连，根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。具体的资源调度内容包括向需要资源调度的组件里添加或者移除计算，或者存储资源。所述资源调度器140的工作流程参见图9所示。
本发明所述的数据分析器采用HDFS分布式文件***存储计费文件，采用MapReduce算法对原始计费数据进行处理，具有更好的扩展性和更好的效率，当数据分析器集群负载较高时，资源调度器会动态的为数据分析器增加计算资源或者存储资源，以保证数据处理过程的高效。当数据分析器集群负载较低时，资源调度器会动态减少数据分析器集群的资源，这样可以减少资源浪费，提高整个平台的资源利用率。
本发明所述的资源调度器综合管理整个计费平台的资源，合理的增加或者减少资源是资源调度器的核心工作。资源调度器在调度策略设定好后，后续资源调度工作无需人工干预，全部自动完成，大大减少了人力的投入，使人可以投入更多时间到更有创造性的工作中去。此外，资源调度器还会采集各个集群组件的资源使用情况，当资源出现异常时会发出预警，资源调度器纵然可以自动调度资源，但是当需要人工干预时，可以根据这些监控信息制定相应的干预预案，这样可以使整个***拥有更高的可用性。
本发明还提供一种PhiCloud云计费方法，该方法可以由本发明所述的PhiCloud云计费***实现，但该方法的实现装置包括但不限于本发明列举的PhiCloud云计费***的结构，凡是根据本发明的原理所做的现有技术的修改、扩展和替换实现的解决本发明所解决问题的技术方案，都包括在本发明的保护范围内。
参见图10所示，所述PhiCloud云计费方法包括：
S1，利用包括至少1个数据采集器的数据采集器集群采集原始计费数据。所述原始计费数据包括虚拟机的UUID、VCPU、内存、磁盘的读写速率、磁盘的大小、网卡的上传下载速率以及网络的上传下载总量等。
进一步，所述步骤S1的一种实现过程包括：所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件***中；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上；所述数据采集器为OpenStack的ceilometer组件。
S2，利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据，获得计费结果数据。
进一步，参见图11所示，所述步骤S2的一种实现过程包括：
S21，利用分布式文件***存储所述数据采集器上传的原始计费数据。
S22，从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间；
S23，将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表；
S24，将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据。
S3，利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单。
进一步，参见图12所示，所述步骤S3的一种实现过程包括：
S31，对计费策略进行管理，包括查询***现有的计费策略、增加计费策略，修改或删除***原有的计费策略等。
S32，访问获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单。即，使用该计费策略处理所述分布式文件***中存储的与计费相关的信息，得到虚拟机的费用信息，并将费用信息存入计费数据库中，供计费展示组件使用。
S33，存储所述账单。
S34，通过网页的形式展示所述账单。
S4，利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
进一步，参见图13所示，所述步骤S4的一种实现过程包括：
S41，接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；所述注册模块会保存这些组件的元数据，如果组件的集群信息发生变化，组件也要及时通知注册模块更新注册信息。
S42，根据所述组件注册的集群信息采集集群中各个节点的负载信息；所述负载信息包括CPU负载，内存使用率，磁盘IO，网卡进出口流量等信息。
S43，设置资源需要重新调度的阈值；例如，所述阈值为集群平均CPU负载在一定时间范围内达到多少时需要为集群增加或者减少资源；所述阈值包括多种类型(如CPU负载，内存使用率，磁盘IO，网卡进出口流量等)的限制值或范围值。
S44，根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。具体的资源调度内容包括向需要资源调度的组件里添加或者移除计算，或者存储资源。
本发明所述的PhiCloud云计费方法的保护范围不限于本实施例列举的步骤执行先后顺序，凡是根据本发明的原理对本实施例所在的现有技术的步骤顺序调整、步骤替换、步骤增减等方案，只有能够解决本发明的问题，都包括在本发明的保护范围内。
本发明所述的Phicloud云计费方法及***是Phicloud云平台的计费解决方案，其为云平台的计费服务提供支持，本发明所述的云计费方法及***与云平台相辅相成，云计费为云平台的资源支出提供计量和评价，云平台为云计费提供必须的计算、存储、网络资源。
本发明为Phicloud云平台提供了计费解决方案，为云平台的计费服务提供了支持，与云平台相辅相成，能够在现有的软硬件基础上实现，无需专门的软硬件及人力资源支持，扩展性更好，实现更高效，更节省资源，更便于维护，更易于扩展的计费功能。
综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种PhiCloud云计费***，其特征在于，所述PhiCloud云计费***包括：
数据采集器集群，包括至少1个数据采集器，采集原始计费数据；
数据分析器集群，与所述数据采集器集群相连，包括至少1个数据分析器，采用MapReduce处理所述原始计费数据，获得计费结果数据；所述数据分析器包括：分布式文件***，存储所述数据采集器上传的原始计费数据；提取模块，与所述分布式文件***相连，从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间；Map函数模块，与所述提取模块相连，将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表；Reduce函数模块，与所述Map函数模块相连，将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据；
计费服务器集群，与所述数据分析器集群相连，包括至少1个计费服务器，根据预定的计费策略将所述计费结果数据转化为账单；
资源调度器，与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连，根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
2.根据权利要求1所述的PhiCloud云计费***，其特征在于，所述资源调度器包括：
注册模块，接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；
数据采集模块，与所述注册模块相连，根据所述组件注册的集群信息采集集群中各个节点的负载信息；
资源调度策略管理模块，设置有资源需要重新调度的阈值；
资源调度模块，与所述资源调度策略管理模块和数据采集模块分别相连，根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
3.根据权利要求1所述的PhiCloud云计费***，其特征在于：所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上；所述数据采集器为OpenStack的ceilometer组件。
4.根据权利要求1所述的PhiCloud云计费***，其特征在于，所述计费服务器包括：
计费策略管理模块，对计费策略进行管理；
计费信息生成模块，与所述计费策略管理模块相连，访问所述计费策略管理模块获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单；
计费数据库，与所述计费信息生成模块相连，存储所述账单；
计费展示模块，与所述计费数据库相连，通过网页的形式展示所述账单。
5.一种PhiCloud云计费方法，其特征在于，所述PhiCloud云计费方法包括以下步骤：
利用包括至少1个数据采集器的数据采集器集群采集原始计费数据；
利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据，获得计费结果数据；利用分布式文件***存储所述数据采集器上传的原始计费数据；从所述原始计费数据中提取虚拟机的ID和时间戳；所述时间戳用于标识所述原始计费数据产生的时间；将所述ID和时间戳分别对应作为Map函数的输入参数key和value，根据所述ID将对应的虚拟机的时间戳进行归类，生成与所述ID对应的时间戳列表；将所述时间戳列表作为Reduce函数的输入参数进行处理，获得与所述ID对应的虚拟机的计费结果数据；
利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单；
利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
6.根据权利要求5所述的PhiCloud云计费方法，其特征在于，所述PhiCloud云计费方法还包括：
接收并保存需要资源调度的组件注册的自身的集群信息；所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群；
根据所述组件注册的集群信息采集集群中各个节点的负载信息；
设置资源需要重新调度的阈值；
根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
7.根据权利要求5所述的PhiCloud云计费方法，其特征在于，所述PhiCloud云计费方法还包括：所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息，将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件***中；所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上；所述数据采集器为OpenStack的ceilometer组件。
8.根据权利要求5所述的PhiCloud云计费方法，其特征在于，所述PhiCloud云计费方法还包括：
对计费策略进行管理；
访问获得当前宿主机用户选择的计费策略，使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据，生成当前用户的账单；
存储所述账单；
通过网页的形式展示所述账单。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510355808.6A CN105049218B (zh) | 2015-06-24 | 2015-06-24 | PhiCloud云计费方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510355808.6A CN105049218B (zh) | 2015-06-24 | 2015-06-24 | PhiCloud云计费方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105049218A CN105049218A (zh) | 2015-11-11 |
| CN105049218B true CN105049218B (zh) | 2018-02-13 |
Family
ID=54455440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510355808.6A Active CN105049218B (zh) | 2015-06-24 | 2015-06-24 | PhiCloud云计费方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105049218B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573821A (zh) * | 2015-12-15 | 2016-05-11 | 上海仪电(集团)有限公司 | 基于ceilometer的一种云端虚拟机的动态计费方法 |
| CN106933602A (zh) * | 2015-12-29 | 2017-07-07 | 中兴通讯股份有限公司 | 一种基于面向服务架构soa的数据处理方法及装置 |
| CN107508687A (zh) * | 2017-09-08 | 2017-12-22 | 深圳市智物联网络有限公司 | 一种计费的方法、装置、物联网应用平台及计费服务器 |
| CN109743183A (zh) * | 2019-01-07 | 2019-05-10 | 北京云基数技术有限公司 | 一种云计费方法及*** |
| CN112187885A (zh) * | 2020-02-02 | 2021-01-05 | 贾海芳 | 基于物联网的终端设备处理方法及智能楼宇调度中心 |
| CN113839974A (zh) * | 2020-06-23 | 2021-12-24 | 海尔数字科技（上海）有限公司 | 容器平台计费方法及*** |
| CN112054912B (zh) * | 2020-08-31 | 2023-06-13 | 北京易捷思达科技发展有限公司 | OpenStack开源云平台的资源计费***和方法 |
| CN112085535A (zh) * | 2020-09-15 | 2020-12-15 | 北京凌云雀科技有限公司 | 资源计量计费方法、装置、集群及存储介质 |
| CN112764675A (zh) * | 2020-12-30 | 2021-05-07 | 中国人寿保险股份有限公司上海数据中心 | 一种云资源的实时计费管理方法和*** |
| CN113517989B (zh) * | 2021-09-14 | 2021-12-17 | 浙江九州云信息科技有限公司 | 一种IaaS云平台的资源计费方法及装置 |
| CN114401159B (zh) * | 2022-01-14 | 2024-06-18 | 京东科技信息技术有限公司 | 云计算服务计费方法、装置、存储介质及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102946428A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种基于云存储的计费***设计方法 |
| CN103152393A (zh) * | 2013-02-05 | 2013-06-12 | 北京邮电大学 | 一种云计算的计费方法和计费*** |
| CN104125286A (zh) * | 2014-08-03 | 2014-10-29 | 浙江网新恒天软件有限公司 | 一种基于云计算的企业基础设施智能云化管理*** |
-
2015
- 2015-06-24 CN CN201510355808.6A patent/CN105049218B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102946428A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种基于云存储的计费***设计方法 |
| CN103152393A (zh) * | 2013-02-05 | 2013-06-12 | 北京邮电大学 | 一种云计算的计费方法和计费*** |
| CN104125286A (zh) * | 2014-08-03 | 2014-10-29 | 浙江网新恒天软件有限公司 | 一种基于云计算的企业基础设施智能云化管理*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105049218A (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105049218B (zh) | PhiCloud云计费方法及*** | |
| Coutinho et al. | Elasticity in cloud computing: a survey | |
| Collier et al. | Repast HPC: A Platform for Large‐Scale Agent‐Based Modeling | |
| Sun et al. | Modeling a dynamic data replication strategy to increase system availability in cloud computing environments | |
| Espadas et al. | A tenant-based resource allocation model for scaling Software-as-a-Service applications over cloud computing infrastructures | |
| CN103152393B (zh) | 一种云计算的计费方法和计费*** | |
| US9032406B2 (en) | Cooperative batch scheduling in multitenancy system based on estimated execution time and generating a load distribution chart | |
| Arenas-Martínez et al. | A comparative study of data storage and processing architectures for the smart grid | |
| CN109643312A (zh) | 托管查询服务 | |
| CN106339509A (zh) | 一种基于大数据技术的电网运营数据共享*** | |
| Ju et al. | iGraph: an incremental data processing system for dynamic graph | |
| CN107103064B (zh) | 数据统计方法及装置 | |
| US20190095245A1 (en) | System and Method for Apportioning Shared Computer Resources | |
| CN105843182A (zh) | 一种基于oms的电力调度事故预案***及方法 | |
| CN104503832B (zh) | 一种公平和效率均衡的虚拟机调度***及方法 | |
| CN103714133A (zh) | 数据运维管理方法及装置 | |
| CN107967175B (zh) | 一种基于多目标优化的资源调度***及方法 | |
| CN103207920A (zh) | 一种元数据并行采集*** | |
| CN107995006A (zh) | 一种云环境下基于消息触发的实时计费*** | |
| CN107566133A (zh) | 一种资源计费方法、装置及平台 | |
| CN109614270A (zh) | 基于Hbase的数据读写方法、装置、设备及存储介质 | |
| Bedini et al. | Modeling performance of a parallel streaming engine: bridging theory and costs | |
| CN107479974A (zh) | 一种虚拟机调度方法及装置 | |
| US10691653B1 (en) | Intelligent data backfill and migration operations utilizing event processing architecture | |
| Hsu et al. | A proactive, cost-aware, optimized data replication strategy in geo-distributed cloud datastores |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201125 Address after: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Jiji Intellectual Property Operation Co.,Ltd. Address before: 201616 Shanghai city Songjiang District Sixian Road No. 3666 Patentee before: Phicomm (Shanghai) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201215 Address after: 313021 industrial functional zone, Donglin Town, Huzhou City, Zhejiang Province Patentee after: ZHEJIANG YUANTE NEW MATERIAL CO.,LTD. Address before: Room 10242, No. 260, Jiangshu Road, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province Patentee before: Hangzhou Jiji Intellectual Property Operation Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211124 Address after: 313000 room 1019, Xintiandi commercial office, Yishan street, Wuxing District, Huzhou, Zhejiang, China Patentee after: Huzhou YingLie Intellectual Property Operation Co.,Ltd. Address before: 313021 industrial functional zone, Donglin Town, Huzhou City, Zhejiang Province Patentee before: ZHEJIANG YUANTE NEW MATERIAL CO.,LTD. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221109 Address after: 100094 Room 301, Floor 3, Building 1, Yard 1, No. 81, Beiqing Road, Haidian District, Beijing Patentee after: Dr. Peng Digital Intelligence Cloud Co.,Ltd. Address before: 313000 room 1019, Xintiandi commercial office, Yishan street, Wuxing District, Huzhou, Zhejiang, China Patentee before: Huzhou YingLie Intellectual Property Operation Co.,Ltd. |