CN111641698B - 一种数据统计方法、***、设备及存储介质 - Google Patents

一种数据统计方法、***、设备及存储介质 Download PDF

Info

Publication number
CN111641698B
CN111641698B CN202010442521.8A CN202010442521A CN111641698B CN 111641698 B CN111641698 B CN 111641698B CN 202010442521 A CN202010442521 A CN 202010442521A CN 111641698 B CN111641698 B CN 111641698B
Authority
CN
China
Prior art keywords
gateway
object storage
data
address information
communication address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010442521.8A
Other languages
English (en)
Other versions
CN111641698A (zh
Inventor
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202010442521.8A priority Critical patent/CN111641698B/zh
Publication of CN111641698A publication Critical patent/CN111641698A/zh
Application granted granted Critical
Publication of CN111641698B publication Critical patent/CN111641698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据统计方法、***、设备及存储介质。本方法中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。此外，本申请还提供一种数据统计***、设备及存储介质，有益效果同上所述。

Description

一种数据统计方法、***、设备及存储介质
技术领域
本申请涉及分布式对象存储领域，特别是涉及一种数据统计方法、***、设备及存储介质。
背景技术
当前，随着物联网的出现，企业中数以百万计的设备每时每刻都在创建、接收和发送数据，数据量级也从PB跃升到了ZB级别。
面对海量的非结构化数据，企业需要进行有效保留、保护和分析，并最大程度地发挥数据的价值。作为一种新型网络存储架构，分布式对象存储采用了“对象”数据组织，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的分布式存储体系结构。
虽然分布式对象存储具备存储海量非结构化数据的能力，但是在分布式对象存储中，如何对分布式集群中各设备节点中对象存储网关的服务质量数据进行汇总，以此更好地控制分布式对象存储的服务质量，是当前业界存在的技术问题。当前所采取的方案是在各对象存储网关生成服务质量数据后，分别以广播的形式将服务质量数据发送至其余的对象存储网关，以此进行对服务质量数据的汇总统计，但是当前方案中，每个对象存储网关均发送广播消息，可能形成广播消息风暴，从而造成网络延迟，难以确保对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
由此可见，提供一种数据统计方法，以相对确保对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性，是本领域技术人员需要解决的问题。
发明内容
本申请的目的是提供一种数据统计方法、***、设备及存储介质，以相对确保对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
为解决上述技术问题，本申请提供一种数据统计方法，应用于分布式对象存储集群中的监控端，包括：
获取由分布式对象存储集群中各对象存储网关传入的网关属性信息；
根据网关属性信息在对象存储网关中选取主网关；
将主网关的通信地址信息发送至各对象存储网关，以控制主网关以外的其它网关向主网关发送服务质量数据，并控制主网关对各对象存储网关的服务质量数据进行汇总统计。
优选地，网关属性信息包括通信地址信息以及进程号；
根据网关属性信息在对象存储网关中选取主网关，包括：
在对象存储网关中选取进程号的值最小的目标对象存储网关，并将目标对象存储网关设置为主网关。
优选地，通信地址信息包括IP地址信息以及端口号信息。
优选地，服务质量数据包括已处理请求数、已上传流量、已下载流量、单位时间的业务数据生成量中的一项或多项。
此外，本申请还提供一种数据统计方法，应用于分布式对象存储集群中的对象存储网关，包括：
向分布式对象存储集群中的监控端发送网关属性信息；
接收监控端传入的通信地址信息；
判断通信地址信息是否为本地网关地址；
如果通信地址信息为本地网关地址，则接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；
如果通信地址信息不为本地网关地址，则将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关。
优选地，在结合本地服务质量数据进行汇总统计之后，方法还包括：
将进行汇总统计后得到的汇总数据发送至其它网关。
优选地，向分布式对象存储集群中的监控端发送网关属性信息，包括：
根据预设频率向监控端发送网关属性信息。
此外，本申请还提供一种数据统计***，包括：
监控端，用于获取由分布式对象存储集群中各对象存储网关传入的网关属性信息；根据网关属性信息在对象存储网关中选取主网关；将主网关的通信地址信息发送至各对象存储网关，以控制主网关以外的其它网关向主网关发送服务质量数据，并控制主网关对各对象存储网关的服务质量数据进行汇总统计；
对象存储网关，用于向分布式对象存储集群中的监控端发送网关属性信息；接收监控端传入的通信地址信息；判断通信地址信息是否为本地网关地址；如果通信地址信息为本地网关地址，则接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；如果通信地址信息不为本地网关地址，则将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关。
此外，本申请还提供一种数据统计设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如上述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
此外，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如上述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
本申请所提供的数据统计方法，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本方法中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。此外，本申请还提供一种数据统计***、设备及存储介质，有益效果同上所述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种应用于分布式对象存储集群中的监控端的数据统计方法的流程图；
图2为本申请实施例公开的一种应用于分布式对象存储集群中的对象存储网关的数据统计方法的流程图；
图3为本申请场景实施例中的分布式对象存储集群结构示意图；
图4为本申请场景实施例的通信时序图；
图5为本申请实施例公开的一种数据统计***的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
面对海量的非结构化数据，企业需要进行有效保留、保护和分析，并最大程度地发挥数据的价值。作为一种新型网络存储架构，分布式对象存储采用了“对象”数据组织，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的分布式存储体系结构。
虽然分布式对象存储具备存储海量非结构化数据的能力，但是在分布式对象存储中，如何对分布式集群中各设备节点中对象存储网关的服务质量数据进行汇总，以此更好地控制分布式对象存储的服务质量，是当前业界存在的技术问题。当前所采取的方案是在各对象存储网关生成服务质量数据后，分别以广播的形式将服务质量数据发送至其余的对象存储网关，以此进行对服务质量数据的汇总统计，但是当前方案中，每个对象存储网关均发送广播消息，可能形成广播消息风暴，从而造成网络延迟，难以确保对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
为此，本申请的核心是提供一种数据统计方法，以相对确保对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
请参见图1所示，本申请实施例公开了一种数据统计方法，应用于分布式对象存储集群中的监控端，包括：
步骤S10：获取由分布式对象存储集群中各对象存储网关传入的网关属性信息。
需要说明的是，本实施例的执行主体为分布式对象存储集群中的监控端，监控端的目的是，在对象存储集群中的各个对象存储网关中选择用于对各对象存储网关的服务质量数据进行汇总统计的主网关。监控端可以是在分布式对象存储集群中单独运行有监控服务进程的设备节点，也可以是在分布式对象存储集群中同时运行有监控服务进程以及其它业务进程的设备节点，在此不做具体限定，也就是说，监控端可以被认为是分布式对象存储集群中运行有监控服务进程的设备节点。另外，此处所指的设备节点可以是物理节点，也可以是基于物理节点虚拟化得到的虚拟节点，同样视分布式对象存储集群的实际场景而定。
在本步骤中，分布式对象存储集群中的各对象存储网关分别将自身的网关属性信息传入至监控端，其中，网关属性信息指的是对象存储网关的描述信息，根据网关属性信息能够获悉对象存储网关的特征。
步骤S11：根据网关属性信息在对象存储网关中选取主网关。
在分布式对象存储集群中的监控端收到对象存储网关传入的网关属性信息之后，进一步根据网关属性信息在对象存储网关中选取主网关，主网关用于对对象存储网关中所有对象存储网关的服务质量数据进行统一统计。
步骤S12：将主网关的通信地址信息发送至各对象存储网关，以控制主网关以外的其它网关向主网关发送服务质量数据，并控制主网关对各对象存储网关的服务质量数据进行汇总统计。
在监控端根据网关属性信息在对象存储网关中选取主网关之后，本步骤进一步将主网关的通信地址信息发送至各对象存储网关，目的是告知各对象存储网关，主网关的通信地址，确保各对象存储网关中的主网关能够正常执行对服务质量数据的统计，以此除主网关以外的其它网关正常向主网关发送服务质量数据，进而达到控制各对象存储网关中除主网关以外的其它网关向主网关发送服务质量数据，以及控制主网关对各对象存储网关的服务质量数据进行汇总统计的目的。
本申请所提供的数据统计方法，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本方法中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
在上述实施例的基础上，作为一种优选的实施方式，网关属性信息包括通信地址信息以及进程号；
根据网关属性信息在对象存储网关中选取主网关，包括：
在对象存储网关中选取进程号的值最小的目标对象存储网关，并将目标对象存储网关设置为主网关。
需要说明的是，本实施方式的重点在于网关属性信息包括对象存储网关的通信地址信息以及对象存储网关的服务进程号，其中，服务进程号指的是运行对象存储网关的进程所具有的标识数值，用于唯一表征进程的身份；通信地址信息指的是与对象存储网关的访问地址相关的信息。
本实施方式选取对象存储网关中服务器进程号的值最小的目标对象存储网关作为主网关，以此能够相对提高在对象存储网关中选取主网关过程的整体效率，进而提高数据统计过程的整体效率。
更进一步的，通信地址信息包括IP地址信息以及端口号信息。
需要说明的是，本实施方式进一步将通信地址信息细化为IP地址(InternetProtocol Address，是指互联网协议地址)信息以及端口号信息。其中，IP地址是IP协议提供的一种统一的地址格式，IP协议为互联网上的每一个网络和每一台主机分配一个逻辑地址，因此通过IP地址信息能够唯一对应到主网关所处的设备节点；更进一步的，由于同一台设备节点中可能在运行有对象存储网关的进程的同时，还运行有其它业务进程，因此设备节点往往通过不同的端口号区分多个业务的访问路径，本实施方式的通信地址信息包括IP地址信息以及端口号信息，能够相对确保主网关以外的其它网关向主网关发送服务质量数据过程的可靠性。
在上述一系列实施方式的基础上，作为一种优选的实施方式，服务质量数据包括已处理请求数、已上传流量、已下载流量、单位时间的业务数据生成量中的一项或多项。
需要说明的是，本实施方式对服务质量数据做了进一步细化，包括已处理请求数、已上传流量、已下载流量、单位时间的业务数据生成量中的一项或多项，其中，已处理请求数指的是对象存储网关已响应的网络访问请求数量，已上传流量指的是通过对象存储网关输入的数据量，已下载流量指的是通过对象存储网关输出的数据量，单位时间的业务数据生成量指的是对象存储网关在单位时间内产生的业务数据量。本实施方式能够相对提高对各对象存储网关的服务质量数据进行汇总统计的整体准确性。
请参见图2所示，本申请实施例公开了一种数据统计方法，应用于分布式对象存储集群中的对象存储网关，包括：
步骤S20：向分布式对象存储集群中的监控端发送网关属性信息。
需要说明的是，本实施例的执行主体为分布式对象存储集群中的对象存储网关，对象存储网关可以被认为是分布式对象存储集群中运行有对象存储网关进程的设备节点，运行有对象存储网关的设备节点中往往还运行其它业务进程，对象存储网关的作用是收发设备节点的业务数据，用于对设备节点之间业务进程的网络通信提供支持，进而对象存储网关中进一步根据网络通信的相关状态信息生成服务质量数据。
本步骤中，对象存储网关向分布式对象存储集群中的监控端发送网关属性信息，目的是能够由分布式对象存储集群中的监控端进一步根据网关属性信息在对象存储网关中选取主网关，进而在监控端根据网关属性信息在对象存储网关中选取主网关之后，进一步将主网关的通信地址信息发送至各对象存储网关。
步骤S21：接收监控端传入的通信地址信息。
在向分布式对象存储集群中的监控端发送网关属性信息，对象存储网关进一步接收监控端传入的通信地址信息。
步骤S22：判断通信地址信息是否为本地网关地址，如果是，则执行步骤S23，否则，执行步骤S24。
步骤S23：接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计。
步骤S24：将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关。
在接收到监控端传入的通信地址信息之后，对象存储网关进一步通过判断通信地址信息是否为本地网关地址的方式，判定自身是否为主网关，如果通信地址信息是本地网关地址，则判定自身为主网关，则进一步接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；如果通信地址信息不是本地网关地址，则判定自身不是主网关，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以供该目标对象存储网关，对各对象存储网关的服务质量数据进行汇总统计。
本申请所提供的数据统计方法，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本方法中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
在上述实施例的基础上，作为一种优选的实施方式，在结合本地服务质量数据进行汇总统计之后，方法还包括：
将进行汇总统计后得到的汇总数据发送至其它网关。
需要说明的是，本实施方式在结合本地服务质量数据进行汇总统计得到汇总数据后，进一步将汇总数据发送至其它网关，目的是确保其它网关能够获悉整体的网络服务质量，便于各对象存储网关有针对性的进行网络服务的调整，以此能够进一步提高分布式对象存储集群的存储性能。
更进一步的，作为一种优选的实施方式，向分布式对象存储集群中的监控端发送网关属性信息，包括：
根据预设频率向监控端发送网关属性信息。
本实施方式中的预设频率向监控端发送网关属性信息指的是按照预设时间间隔向监控端发送网关属性信息，以此确保监控端能够可靠接收到网关属性信息，进而确保数据统计的准确性。
为了进一步加深对于本申请技术方案的理解，本申请提供一种具体应用场景下的场景实施例，场景实施例如下：
本场景实施例中的分布式对象存储集群结构如图3所示，分布式对象存储集群的架构为每个设备节点上均存在1个或多个分布式对象存储网关。整个分布式对象存储集群内同一时刻存在一个主集群监控服务和多个备集群监控服务，且集群监控服务总数n小于等于设备节点总数，且大于设备节点数的1/2，取奇数。
当主集群监控服务故障后，会有其他备集群监控服务被选为主，因此本方案将视主集群监控服务一直存在。
当分布式对象存储集群开始提供服务时，各设备节点上分布式对象存储网关将各自的IP、端口、进程号信息以网络数据包形式向主集群监控服务定向发送，主集群监控服务从其中根据最小进程号的规则选出主分布式对象存储网关，然后将主分布式对象存储网关的IP和端口号定向发送给各分布式对象存储网关。
各分布式对象存储网关定时(用户可配置)将各自进程上统计的服务质量数据(包括当前网关已处理的请求数、已上传的流量、已下载的流量、当前每秒产生的业务数据量等)以网络数据包形式向主分布式对象存储网关服务发送，主分布式对象存储网关服务收到数据包后进行数据统计汇总，然后将汇总数据以网络数据包形式向各分布式对象存储网关进行回复。
本场景实施例中的主集群监控服务与分布式对象存储网关之间的通信时序图如图4所示。
时序图所表示的具体实施过程如下：
1)分布式对象存储集群内存在3个节点，其中有1个主集群监控服务，3个分布式对象存储网关服务。
2)根据用户设置的时间间隔，如每3秒，分布式对象存储网关1、2、n分别向主集群监控服务以网络数据包形式将自己的IP、端口、进程号定向发送。
3)主集群监控服务根据对比进程号，选择进程号最小的分布式对象存储网关2作为主。
4)将分布式对象存储网关2的IP、端口以网络数据包的形式定向发送给分布式对象存储网关1、2、n。
5)分布式对象存储网关1、n将各自独立统计的本进程服务质量数据以网络数据包形式定向发送给分布式对象存储网关2；由于分布式对象存储网关2为主，因此不再向自己发送网络数据包。
6)分布式对象存储网关2将收到的1、n服务质量数据进行统计，将汇总数据以网络数据包形式回复给分布式对象存储网关1、n。
7)重复执行步骤2-6，以将独立在不同设备节点的分布式对象存储网关服务质量数据进行统计汇总。
请参见图5所示，本申请实施例提供了一种数据统计***，包括：
监控端10，用于获取由分布式对象存储集群中各对象存储网关11传入的网关属性信息；根据网关属性信息在对象存储网关11中选取主网关；将主网关的通信地址信息发送至各对象存储网关11，以控制主网关以外的其它网关向主网关发送服务质量数据，并控制主网关对各对象存储网关11的服务质量数据进行汇总统计；
对象存储网关11，用于向分布式对象存储集群中的监控端10发送网关属性信息；接收监控端10传入的通信地址信息；判断通信地址信息是否为本地网关地址；如果通信地址信息为本地网关地址，则接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；如果通信地址信息不为本地网关地址，则将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关11。
本申请所提供的数据统计***，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本***中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
此外，本申请实施例还提供一种数据统计设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如上述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
本申请所提供的数据统计设备，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本设备中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如上述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
本申请所提供的计算机可读存储介质，由分布式对象存储集群中的监控端获取由分布式对象存储集群中各对象存储网关传入的网关属性信息，进而根据网关属性信息在各个对象存储网关中选取主网关，并将主网关的通信地址信息发送至各个对象存储网关，各对象存储网关接收监控端传入的通信地址信息，并进一步判断通信地址信息是否为本地网关地址，当通信地址信息为本地网关地址时，接收由分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；当通信地址信息不为本地网关地址时，将本地服务质量数据发送至与通信地址信息对应的目标对象存储网关，以通过目标对象存储网关进行汇总统计。由于本计算机可读存储介质中，各个对象存储网关均将服务质量数据定向发送给对象存储网关中的主网关进行统计，避免了因广播消息风暴的产生而导致的网络延迟，相对确保了对象存储网关的服务质量数据进行汇总过程的可靠性以及准确性。
以上对本申请所提供的一种数据统计方法、***、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据统计方法，其特征在于，应用于分布式对象存储集群中的监控端，包括：
获取由所述分布式对象存储集群中各对象存储网关传入的网关属性信息；
根据所述网关属性信息在所述对象存储网关中选取主网关；其中，所述网关属性信息包括对象存储网关的通信地址信息以及所述对象存储网关的服务进程号；
将所述主网关的通信地址信息发送至各所述对象存储网关，以控制所述主网关以外的其它网关向所述主网关发送服务质量数据，并控制所述主网关对各所述对象存储网关的服务质量数据进行汇总统计。
2.根据权利要求1所述的数据统计方法，其特征在于，所述网关属性信息包括所述通信地址信息以及进程号；
所述根据所述网关属性信息在所述对象存储网关中选取主网关，包括：
在所述对象存储网关中选取所述进程号的值最小的目标对象存储网关，并将所述目标对象存储网关设置为所述主网关。
3.根据权利要求2所述的数据统计方法，其特征在于，所述通信地址信息包括IP地址信息以及端口号信息。
4.根据权利要求1至3任意一项所述的数据统计方法，其特征在于，所述服务质量数据包括已处理请求数、已上传流量、已下载流量、单位时间的业务数据生成量中的一项或多项。
5.一种数据统计方法，其特征在于，应用于分布式对象存储集群中的对象存储网关，包括：
向所述分布式对象存储集群中的监控端发送网关属性信息；
接收所述监控端传入的通信地址信息；
判断所述通信地址信息是否为本地网关地址；
如果所述通信地址信息为本地网关地址，则接收由所述分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；
如果所述通信地址信息不为本地网关地址，则将所述本地服务质量数据发送至与所述通信地址信息对应的目标对象存储网关。
6.根据权利要求5所述的数据统计方法，其特征在于，在所述结合本地服务质量数据进行汇总统计之后，所述方法还包括：
将进行所述汇总统计后得到的汇总数据发送至所述其它网关。
7.根据权利要求5或6所述的数据统计方法，其特征在于，所述向所述分布式对象存储集群中的监控端发送网关属性信息，包括：
根据预设频率向所述监控端发送所述网关属性信息。
8.一种数据统计***，其特征在于，包括：
监控端，用于获取由分布式对象存储集群中各对象存储网关传入的网关属性信息；根据所述网关属性信息在所述对象存储网关中选取主网关；其中，所述网关属性信息包括对象存储网关的通信地址信息以及所述对象存储网关的服务进程号；将所述主网关的通信地址信息发送至各所述对象存储网关，以控制所述主网关以外的其它网关向所述主网关发送服务质量数据，并控制所述主网关对各所述对象存储网关的服务质量数据进行汇总统计；
所述对象存储网关，用于向所述分布式对象存储集群中的监控端发送网关属性信息；接收所述监控端传入的通信地址信息；判断所述通信地址信息是否为本地网关地址；如果所述通信地址信息为本地网关地址，则接收由所述分布式对象存储集群中的其它网关传入的服务质量数据，并结合本地服务质量数据进行汇总统计；如果所述通信地址信息不为本地网关地址，则将所述本地服务质量数据发送至与所述通信地址信息对应的目标对象存储网关。
9.一种数据统计设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如权利要求5至7任一项所述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的应用于分布式对象存储集群中的监控端的数据统计方法的步骤和/或实现如权利要求5至7任一项所述的应用于分布式对象存储集群中的对象存储网关的数据统计方法的步骤。
CN202010442521.8A 2020-05-22 2020-05-22 一种数据统计方法、***、设备及存储介质 Active CN111641698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010442521.8A CN111641698B (zh) 2020-05-22 2020-05-22 一种数据统计方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010442521.8A CN111641698B (zh) 2020-05-22 2020-05-22 一种数据统计方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111641698A CN111641698A (zh) 2020-09-08
CN111641698B true CN111641698B (zh) 2023-04-18

Family

ID=72332881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010442521.8A Active CN111641698B (zh) 2020-05-22 2020-05-22 一种数据统计方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111641698B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160025994A (ko) * 2014-08-28 2016-03-09 네이버 주식회사 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템
US9559889B1 (en) * 2012-10-31 2017-01-31 Amazon Technologies, Inc. Cache population optimization for storage gateways
US9639555B1 (en) * 2013-06-21 2017-05-02 EMC IP Holding Company LLC Object storage server based gateway to network file system cluster
CN108196788A (zh) * 2017-12-28 2018-06-22 新华三技术有限公司 QoS指标监测方法、装置、存储介质
US10084665B1 (en) * 2017-07-25 2018-09-25 Cisco Technology, Inc. Resource selection using quality prediction
CN108989439A (zh) * 2018-07-26 2018-12-11 郑州云海信息技术有限公司 一种分布式存储服务质量控制方法及装置
CN109361733A (zh) * 2018-09-14 2019-02-19 新华三技术有限公司成都分公司 服务质量控制方法及装置
CN109451029A (zh) * 2018-11-16 2019-03-08 浪潮电子信息产业股份有限公司 一种分布式对象存储的数据缓存方法、装置、设备及介质
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务***
CN110519354A (zh) * 2019-08-16 2019-11-29 济南浪潮数据技术有限公司 一种分布式对象存储***及其业务处理方法和存储介质
CN111078651A (zh) * 2019-12-23 2020-04-28 浪潮云信息技术有限公司 统计对象存储的使用量的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180004452A1 (en) * 2016-06-30 2018-01-04 Intel Corporation Technologies for providing dynamically managed quality of service in a distributed storage system
CN107888636B (zh) * 2016-09-30 2020-01-17 杭州海康威视数字技术股份有限公司 基于云存储的数据处理方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9559889B1 (en) * 2012-10-31 2017-01-31 Amazon Technologies, Inc. Cache population optimization for storage gateways
US9639555B1 (en) * 2013-06-21 2017-05-02 EMC IP Holding Company LLC Object storage server based gateway to network file system cluster
KR20160025994A (ko) * 2014-08-28 2016-03-09 네이버 주식회사 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템
US10084665B1 (en) * 2017-07-25 2018-09-25 Cisco Technology, Inc. Resource selection using quality prediction
CN108196788A (zh) * 2017-12-28 2018-06-22 新华三技术有限公司 QoS指标监测方法、装置、存储介质
CN108989439A (zh) * 2018-07-26 2018-12-11 郑州云海信息技术有限公司 一种分布式存储服务质量控制方法及装置
CN109361733A (zh) * 2018-09-14 2019-02-19 新华三技术有限公司成都分公司 服务质量控制方法及装置
CN109451029A (zh) * 2018-11-16 2019-03-08 浪潮电子信息产业股份有限公司 一种分布式对象存储的数据缓存方法、装置、设备及介质
CN110233875A (zh) * 2019-05-10 2019-09-13 厦门网宿有限公司 一种数据处理方法、对象存储网关池及业务***
CN110519354A (zh) * 2019-08-16 2019-11-29 济南浪潮数据技术有限公司 一种分布式对象存储***及其业务处理方法和存储介质
CN111078651A (zh) * 2019-12-23 2020-04-28 浪潮云信息技术有限公司 统计对象存储的使用量的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Operation-Level Performance Control in the Object Store for Distributed Storage Systems;Yusuke Tanimura，Hidetaka Koie;《 2015 IEEE International Conference on Data Science and Data Intensive Systems》;20160204;全文 *
一种存储网关介绍及提升数据读写性能策略研究;丘晖，胡军军，李嫚，胡颖茂;《广东通信技术》;20190315;全文 *
负载感知的基于对象存储的分布式混合存储***;杜振伟;《中国优秀硕士学位论文全文数据库》;20190815;全文 *

Also Published As

Publication number Publication date
CN111641698A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
EP3528440B1 (en) Path selection method and system, network acceleration node, and network acceleration system
US10333835B2 (en) Packet transmission method, apparatus, and system
Reyes-Lecuona et al. A page-oriented WWW traffic model for wireless system simulations
CN107979592B (zh) 一种发送业务请求消息的方法及装置
CN107872396B (zh) 具有超时控制的通信方法、处理设备、终端设备和服务器
CN101447895A (zh) 同步网管与网元的配置的方法和装置
CN106330742B (zh) 一种流量控制的方法及网络控制器
WO2018112877A1 (zh) 路径计算和访问请求分发方法、装置及***
WO2017148446A1 (zh) 一种网络资源调度方法、设备、***以及网络节点
CN102394944B (zh) 一种Web访问中的IP地址库修正方法和设备
CN105262836A (zh) 服务器推送信息的方法及客户端接收推送信息的方法
US20100262679A1 (en) Method and system for checking automatically connectivity status of an ip link on ip network
CN111181900A (zh) 一种数据报文发送和接收方法、存储介质及处理器
CN112838989A (zh) 一种数据流管理方法、网络设备及存储介质
EP2863597B1 (en) Computer-implemented method, computer system, computer program product to manage traffic in a network
CN113612698A (zh) 一种数据包发送方法及装置
WO2023125380A1 (zh) 一种数据管理的方法及相应装置
CN105577546A (zh) 一种基于QoS的主动请求连接方法
CN110380981B (zh) 一种流量分发方法及设备
CN111641698B (zh) 一种数据统计方法、***、设备及存储介质
CN112087382B (zh) 一种服务路由方法及装置
CN114024917B (zh) 互联网业务带宽保障的方法、装置、设备及存储介质
WO2017165999A1 (zh) 网络服务实现方法、服务控制器及通信***
CN114489730A (zh) 一种远程升级方法及其终端设备、计算机可读存储介质
CN109327398B (zh) 一种防止丢包的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant