CN1545259A - 一种嵌入式分布***的性能测量数据采集方法 - Google Patents

一种嵌入式分布***的性能测量数据采集方法 Download PDF

Info

Publication number
CN1545259A
CN1545259A CNA2003101136068A CN200310113606A CN1545259A CN 1545259 A CN1545259 A CN 1545259A CN A2003101136068 A CNA2003101136068 A CN A2003101136068A CN 200310113606 A CN200310113606 A CN 200310113606A CN 1545259 A CN1545259 A CN 1545259A
Authority
CN
China
Prior art keywords
processor
master processor
measurement data
measurement
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2003101136068A
Other languages
English (en)
Other versions
CN1275429C (zh
Inventor
彭德权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN 200310113606 priority Critical patent/CN1275429C/zh
Publication of CN1545259A publication Critical patent/CN1545259A/zh
Application granted granted Critical
Publication of CN1275429C publication Critical patent/CN1275429C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • General Factory Administration (AREA)

Abstract

本发明公开了一种嵌入式分布***的性能测量数据采集方法,包括以下处理步骤:第一步:主从处理机初始化;第二步:主处理机开始采集性能数据并分别向各从处理机发送采集命令;第三步:各从处理机采集性能数据并组包向主处理机发送;第四步:主处理机备份本周期的所有采样数据,并将统一缓冲区清零,开始下一周期的测量计数;第五步:若主处理机上的向后台上报定时器T3超时,则主处理机对T3周期内的所有采样数据进行统计计算后发送到后台,再转到第二步,否则直接转到第二步。采用本发明所述方法,与现有技术相比,提高了嵌入式分布***的稳定性、数据传输的可靠性,降低了对其他业务模块的影响。

Description

一种嵌入式分布***的性能测量数据采集方法
技术领域
本发明涉及一种嵌入式分布***性能测量数据采集方法,属于通讯领域。
背景技术
在通讯领域,特别是嵌入式分布***,性能数据是反映***业务量、业务流程成功率的依据,也是评价***可靠性和稳定性的一个重要指标,同时定位***中出现的故障也起着非常重要的作用,因而在***中对各项性能指标进行测量统计就必不可少了。一种好的数据采集方法尤为重要,因为性能测量的采集会对整个业务***造成一定的影响。由于性能指标来自各个业务模块,而业务模块可能分布在主处理机和从处理机上,因而性能测量包括主处理机和各从处理机业务模块的数据收集和上报。目前嵌入式分布***的性能测量数据采集方法是这样的:
1、主处理机上性能测量模块设置周期采集定时器T2,并开设统一性能测量缓
   冲区,主处理机上业务模块写统一的性能测量缓冲区;各从处理机从一开始
   就进行各计数器的计数。
2、当主处理机收到后台的性能测量命令后,设置向后台上报定时器T3(T3是
   T2的整数倍),并且在T2超时向各从处理机发送性能测量上报命令(包含
   被测列表),重设定时器T2。
3、各从处理机收到性能测量上报命令后,以被测对象为单位,根据测量列表向
   主处理机逐一回复所有被测对象测量结果,并对从处理机上的计数器清零,
   开始下一周期的计数器计数。
4、当主处理机收到各从处理机的应答后,记录结果,并在T2超时时再次发送
   测量命令到相应各从处理机,开始下一周期的数据采集。
5、当T3超时,主处理机上性能测量模块向后台上报T3时间内的采样结果。
6、当主处理机上性能测量模块收到后台的测量停止命令后,杀死定时器T3,
   并清除测量列表。
上述方法在大业务量的情况下存在以下缺点:
1、大大降低了***稳定性。这个主要体现在从处理机和主处理机的数据传输上
   (主从处理机通讯可通过T网或以太网),比如若测量对象为小区,每个从
   处理机最大能处理80个小区,共配有48个从处理机(最大业务情况),由
   于从处理机测量数据上报消息统一由主处理机同时发送,导致各从处理机几
   乎在同一时间上报数据,这样主处理机将每次连续接收到80×48=3840个
   消息(即测量数据)。对负荷要求很高的主处理机来说,短时间处理这么多
   数据势必是雪上加霜,导致***崩溃。
2、降低业务处理速率。嵌入式环境下的一个重要特点是实时,而且速率是用户
   非常关心的问题,因而各从处理机的处理速率对整个分布式***的速率起着
   决定性的作用。目前从处理机的性能测量上报工作是由从处理机上的业务处
   理模块完成的,当测量对象很多的时候,势必降低各从处理机业务处理能力,
   从而影响分布式***的速率。
3、传输可靠性差。在大业务的情况下,即使主处理机没有崩溃,频繁的发包也
   会使得传输过程中极易丢包,使得主处理机接收的数据(包括业务数据)不
   可靠。
发明内容
本发明提出了一种嵌入式分布***的性能测量数据采集方法,克服了现有技术中影响***稳定性的缺点,解决现有技术中存在的影响业务处理速率和测量数据不可靠的问题。
本发明所述嵌入式分布***的性能测量数据采集方法包括以下处理步骤:
第一步:主从处理机初始化;主处理机开设统一缓存区,并开始主处理机上的测量计数,直接写统一缓存;从处理机增加测量数据上报进程,并开始从处理机上的测量计数,该进程优先级低。
第二步:主处理机开始统计并向从处理机发送采集命令;
第三步:从处理机采集性能数据并组包发送;
第四步:主处理机备份本周期采集数据。当主处理机上的周期记录定时器T2超时,主处理机记录本周期数据采集结果(包括主处理机业务模块采集结果和从处理机上报结果),并将统一缓冲区清零,开始下一测量周期的计数;
第五步:若主处理机上的向后台上报定时器T3超时,则主处理机对T3周期内的T3/T2次采样结果进行统计计算后发送到后台,再转到第二步,否则直接转到第二步(即重复第二、三、四步)。
第六步:当主处理机收到后台停止测量命令时,清空相应测量列表,并清除周期采集定时器T1、周期记录定时器T2以及向后台上报周期T3,不再进行测量数据采集工作。
其中第二步包括下列步骤:
(1)开始主处理机上业务模块的测量计数。由于统计各计数器值时直
   接写统一缓冲区,不需专门的消息触发。
(2)主处理机设置周期采集定时器T1和周期记录定时器T2
   (T1<T2)。
(3)主处理机上性能测量模块收到后台的测量命令(性能测量列表包
   含要收集的待测对象)后,开始设置向后台上报定时器T3(T3
   是T2整数倍)。
(4)当周期采集定时器T1超时,主处理机上性能测量模块根据测量
   列表向相应从处理机发送测量数据上报命令,多条命令之间有延
   时t1。
其中第三步包括下列步骤:
(1)从处理机上业务进程统计各自计数器。
(2)从处理机测量上报进程收集被测对象的测量数据。
(3)从处理机测量上报进程备份本周期数据,并开始下一周期的统
   计。
(4)从处理机测量数据上报进程根据测量列表、每个被测对象数据的
   大小和所属主处理机以及网络通讯数据包大小的限制,对备份测
   量数据分类,将多个被测对象组成一包。
(5)从处理机测量数据上报进程发送各包数据到主处理机,包与包之
   间有一定延时t2。
(6)主处理机性能测量模块收到数据包后回一确认消息,从处理机根
   据确认消息置接收成功位图。
(7)从处理机测量数据上报进程发送完所有组好的数据包后设一重发
   定时器T4。
(8)重发定时器T4超时,则根据接收成功位图(即每包的确认消息)
   决定是否对相应包重发一次。
T1、T2、T3为主处理机上的定时器,T4为从处理机上的定时器。上述第三步必须在(T2-T1-t1×n)秒内完成,其中n为从处理机的个数,因而要求(t2×最大可能包数)×2+T4+t1×n<(T2-T1)。另外,对一些无需后台测量命令的基本测量项,性能测量方法与上述方法类似,只是主处理机性能测量模块向所有有业务数据的从处理机发送测量命令,而不是根据测量任务列表。
使用本发明的方法,有以下优点:
1、降低了从处理机上性能测量对其他业务模块的影响。从处理机上增加了一个
   进程,优先级较低,专门用于测量数据的上报,因而减少了从处理机业务处
   理模块的负担,提高了从处理机业务处理能力,有利于提高分布式***的业
   务速率。
2、提高了***的稳定性。使用本发明的方法,分包发送大大减少了从处理机与
   主处理机的消息数,各消息包之间延时发送减轻了从处理机与主处理机通讯
   的负担,(T2-T1-t1×n)的缓冲时间除降低了传输频率外,还大大减轻了
   主处理机的负担,这些非常有益于提高***的稳定性。
3、提高了数据传输的可靠性。通过消息确认的重发机制,大大减少了由于传输
   丢包而使测量数据不正确的概率,提高了测量数据的传输可靠性和真实性。
4、采用本发明所述方法,与现有技术相比,提高了嵌入式分布***的稳定性、
   数据传输的可靠性,降低了对其他业务模块的影响。
附图说明
图1是性能测量实现原理图。
图2是性能测量数据实现流程图。
图3是对图2中“主处理机开始统计并向从处理机发送采集命令”的分解。
图4是对图2中“从处理机采集数据并组包发送”的分解。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述:
如图1,主处理机上包括性能测量模块和其他业务模块,主处理机上由性能测量模块统一开缓冲区,其他业务模块负责计数器计数,并直接写统一缓冲区。当主处理机性能测量模块收到后台的测量命令后,若主处理机上的周期采集定时器T1超时则根据测量列表发送测量命令到相应从处理机的性能测量上报进程,从处理机在(T2-T1-t1×n)时间内完成测量数据打包发送(包间有延时t2)并对从处理机上测量计数器的清零,然后根据主处理机的应答决定是否发第二次。从处理机上的性能计数器由其它业务模块进行累加统计,从处理机的性能测量上报进程只负责测量结果的打包、发送以及计数器的清零;主处理机上的周期记录定时器T2超时后,主处理机记录从从处理机返回的测量结果以及主处理机其他模块累加的计数结果,清零统一缓冲,并重设定时器T1和T2,开始下一周期的计数。当向后台上报定时器T3超时,主处理机性能测量模块对他T3/T2个采样周期内的测量结果加以简单的计算发送到后台,后台再根据上报结果生成某一时间段的报表。
参考图2、3、4,首先***上电初始化,主处理机性开设统一性能测量缓冲区,并开始需要主处理机统计的计数器的累加,从处理机上电后增加测量数据上报进程,同时各业务模块开始计数器累加;后台建测量任务后,发送性能测量列表到主处理机,并包含向后台上报周期T3的值(T3是T1的整数倍);主处理机性能测量模块收到后台的测量命令后,设置周期采集定时器T1、周期记录定时器T2以及向后台上报定时器T3;当T1超时,主处理机发送采集命令到相应从处理机的测量数据上报进程,多条命令之间有延时t1,以尽量错开不同从处理机上报数据的时间;各从处理机测量数据上报进程收到采集命令后,根据测量列表、每个被测对象数据的大小、所属主处理机以及网通讯数据包大小的限制,将多个被测对象的测量数据组成一包,同时将清零所有计数器,然后发送各包到主处理机,包与包之间间隔发送,间隔时间为t2;主处理机性能测量模块每接收一包数据后回一确认消息,通知从处理机该包数据接收是否成功;从处理机测量数据上报进程发完当次所有数据包后设一重发定时器T4;重发定时器T4超时,从处理机测量数据上报进程根据接收成功位图(即每包的确认消息)决定是否对相应包重发,从处理机从接收采集命令到重发结束,整个过程必须在(T2-T1-t1×n)时间内完成。当周期记录定时器T2超时,主处理机性能测量模块记录本周期数据采集结果,将所有计数器清零,并重设定时器T2和T1,开始下一测量周期的计数;当周期采集定时器T1再次超时,则再次发送测量命令到从处理机,重复上述过程;当向后台上报周期T3超时,主处理机则对T3周期内的T3/T2次采样结果进行简单计算发送到后台;若主处理机性能测量模块收到后台的性能测量结束命令,则清空相应测量列表,并清除向后台上报周期T3,性能测量上报过程结束。
举例:
由于整个方法涉及到一些参数的取值,举例GPRS***中性能测量数据采集方法在实现过程中的参数取值来加以说明。
GPRS***中性能测量数据采集方法:GPRS***为嵌入式分布***,主处理机为前台,从处理机为所有A类单板和B类单板,假设最多能配置48块A类单板和16块B类单板,一块A类单板可最多配置80个小区,被测对象为小区,A类单板上每个小区含80个计数器,每个计数器大小为4Byte,A类单板与前台通讯数据包大小限制为小于1400Byte,每个小区测量数据大小为80×4Byte=320Byte,这样根据我们的方法可以将4个小区组成一包发送,每包大小为4×320Byte=1280Byte<1400Byte。若一块A类单板配有80个小区,则需上报80/4=20个包。可设:
前台周期采样定时器T1=270秒
前台周期记录定时器T2=300秒
前后台同步定时器T3=900秒
主处理机发送至各从处理机的测量命令时间间隔t1=8毫秒
从处理机(A类单板)重发定时器T4=4秒
从处理机(A类单板)发包间隔时间t2=400毫秒
其中:(400毫秒×20)×2+4秒+8毫秒×(48+16)=20.32秒<(T2-T1)=30秒,可保证A类单板在30秒内完成测量数据上报工作。前台在收到后台的性能测量采集命令后同时设置定时器T1(270秒)、T2(300秒)和T3(900秒),在定时器T1(270秒)超时时以t1的间隔向所有A类单板的测量数据上报进程发送测量采集命令;测量数据上报进程收到测量采集命令后,根据每个被测量对象数据包的大小(假如为320byte)、所属主处理机(假设属于同一主处理机)以及网通讯包大小的限制(小于1400byte),进行测量数据的组包(如上描述,可组20个包),并将A类单板上的计数器清零以便下一周期的统计,然后以t2(400毫秒)的间隔向前台发送所有组好的包,并设定时器T4(4秒);前台每收到一个包就回相应的应答(置成功位位图),A类单板的T4(4秒)超时,则根据成功位位图,对没有收到应答的包进行重发,重发后不再设定时器T4;前台收到A类单板的数据后直接写统一缓冲,并在T2(300秒)超时时,将统一缓冲中的数据备份,并清零统一缓冲区,重新设置定时器T1和T2;前台在T3超时时将3次(900秒/300秒=3)的记录结果进行简单计算发送到后台,并重设定时器T3。

Claims (5)

1.一种嵌入式分布***的性能测量数据采集方法,其特征在于,所述方法包括以下处理步骤:
第一步:主从处理机初始化;主处理机开设统一缓存区,并开始主处理机上的测量计数,直接写统一缓存;从处理机增加测量数据上报进程,并开始从处理机上的测量计数,所述上报进程优先级低;
第二步:主处理机开始采集性能数据并分别向各从处理机发送采集命令;
第三步:各从处理机采集性能数据并组包向主处理机发送;
第四步:主处理机备份本周期的所有采样数据,并将统一缓冲区清零,开始下一周期的测量计数;
第五步:若主处理机上的向后台上报定时器T3超时,则主处理机对T3周期内的所有采样数据进行统计计算后发送到后台,再转到第二步,否则直接转到第二步。
2.根据权利要求1所述的嵌入式分布***的性能测量数据采集方法,其特征在于,所述方法还包括以下处理步骤:
当主处理机收到后台停止测量命令时,清空相应性能测量列表,并清除所有周期定时器,不再进行测量数据采集工作。
3.根据权利要求1或2所述的嵌入式分布***的性能测量数据采集方法,其特征在于,所述第二步具体包括以下处理步骤:
(1)将第一步中主处理机上业务模块的测量计数进行统计并写入统一缓冲区;
(2)在主处理机上设置周期采集定时器T1和周期记录定时器T2,并使T1<T2;
(3)主处理机上性能测量模块收到后台的测量命令后,开始设置向后台上报定时器T3;
(4)当周期采集定时器T1超时,主处理机上性能测量模块根据测量列表向相应从处理机分别发送测量数据上报命令,各条命令之间设置发送延时t1。
4.根据权利要求1或2或3所述的嵌入式分布***的性能测量数据采集方法,其特征在于,所述第三步具体包括以下处理步骤:
(1)从处理机上业务进程统计各自计数器;
(2)从处理机测量上报进程收集被测对象的测量数据;
(3)从处理机测量上报进程备份本周期数据,并开始下一周期的统计;
(4)从处理机测量数据上报进程根据测量列表、每个被测对象数据的大小和所属主处理机以及网络通讯数据包大小的限制,对备份测量数据分类,将多个被测对象组成一包;
(5)从处理机测量数据上报进程发送各包数据到主处理机,包与包之间有一定延时t2;
(6)主处理机性能测量模块收到数据包后回一确认消息,从处理机根据确认消息置接收成功位图;
(7)从处理机测量数据上报进程发送完所有组好的数据包后设一重发定时器T4;
(8)重发定时器T4超时,则根据接收成功位图决定是否对相应包重发一次。
5.根据权利要求4所述的嵌入式分布***的性能测量数据采集方法,其特征在于,所述第三步中各从处理机采集性能数据并组包向主处理机发送在(T2-T1-t1×n)秒内完成,其中n为从处理机的个数。
CN 200310113606 2003-11-13 2003-11-13 一种嵌入式分布***的性能测量数据采集方法 Expired - Lifetime CN1275429C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200310113606 CN1275429C (zh) 2003-11-13 2003-11-13 一种嵌入式分布***的性能测量数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200310113606 CN1275429C (zh) 2003-11-13 2003-11-13 一种嵌入式分布***的性能测量数据采集方法

Publications (2)

Publication Number Publication Date
CN1545259A true CN1545259A (zh) 2004-11-10
CN1275429C CN1275429C (zh) 2006-09-13

Family

ID=34336938

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200310113606 Expired - Lifetime CN1275429C (zh) 2003-11-13 2003-11-13 一种嵌入式分布***的性能测量数据采集方法

Country Status (1)

Country Link
CN (1) CN1275429C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984119B (zh) * 2005-12-13 2010-06-23 中兴通讯股份有限公司 一种利用时分技术实现流量控制的方法
CN101459918B (zh) * 2007-12-11 2011-10-26 中兴通讯股份有限公司 一种基站控制器的分布式性能数据管理实现方法
CN102891717A (zh) * 2012-03-22 2013-01-23 索尔思光电(成都)有限公司 适用于光模块的加强型的状态监控,存储和报告
WO2013060226A1 (zh) * 2011-10-25 2013-05-02 华为技术有限公司 业务数据统计量验证方法及用户设备
CN103135944A (zh) * 2013-03-12 2013-06-05 飞依诺科技(苏州)有限公司 扩充最大超声图像数据存储量的方法及***
CN104092586A (zh) * 2014-07-21 2014-10-08 上海斐讯数据通信技术有限公司 嵌入式***运行信息采集方法及***
CN106610905A (zh) * 2015-12-04 2017-05-03 中视迪威激光显示技术有限公司 辅助选择局域网接口***及其通信方法
CN113207175A (zh) * 2021-03-25 2021-08-03 厦门才茂通信科技有限公司 一种通信过程中数据包智能传输方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984119B (zh) * 2005-12-13 2010-06-23 中兴通讯股份有限公司 一种利用时分技术实现流量控制的方法
CN101459918B (zh) * 2007-12-11 2011-10-26 中兴通讯股份有限公司 一种基站控制器的分布式性能数据管理实现方法
WO2013060226A1 (zh) * 2011-10-25 2013-05-02 华为技术有限公司 业务数据统计量验证方法及用户设备
CN102891717A (zh) * 2012-03-22 2013-01-23 索尔思光电(成都)有限公司 适用于光模块的加强型的状态监控,存储和报告
CN102891717B (zh) * 2012-03-22 2015-06-10 索尔思光电(成都)有限公司 适用于光模块的加强型的状态监控,存储和报告
CN103135944A (zh) * 2013-03-12 2013-06-05 飞依诺科技(苏州)有限公司 扩充最大超声图像数据存储量的方法及***
CN103135944B (zh) * 2013-03-12 2016-06-29 飞依诺科技(苏州)有限公司 扩充最大超声图像数据存储量的方法及***
CN104092586A (zh) * 2014-07-21 2014-10-08 上海斐讯数据通信技术有限公司 嵌入式***运行信息采集方法及***
CN106610905A (zh) * 2015-12-04 2017-05-03 中视迪威激光显示技术有限公司 辅助选择局域网接口***及其通信方法
CN113207175A (zh) * 2021-03-25 2021-08-03 厦门才茂通信科技有限公司 一种通信过程中数据包智能传输方法

Also Published As

Publication number Publication date
CN1275429C (zh) 2006-09-13

Similar Documents

Publication Publication Date Title
CN103414577B (zh) 用于Hadoop平台的计费***及方法
CN103593376B (zh) 一种采集用户行为数据的方法及装置
CN108234524A (zh) 网络数据异常检测的方法、装置、设备及存储介质
CN1545259A (zh) 一种嵌入式分布***的性能测量数据采集方法
CN103414608B (zh) 快速的web流量采集统计***和方法
CN101051952A (zh) 高速多链路逻辑信道环境下的自适应抽样流测量方法
CN103941662A (zh) 一种基于云计算的任务调度***和调度方法
CN111597168A (zh) 一种基于诚信值的区块链容量回收方案
CN101894163B (zh) 一种针对性能数据采集***的数据库操作调度方法及装置
CN102402459A (zh) 网管***性能数据汇总的方法和装置
CN102023920B (zh) 一种远程并行程序调试***中基于树形的消息聚集方法
CN106682206A (zh) 一种大数据处理方法及***
WO2012034445A1 (zh) ***性能实时测量的方法及装置
CN105142035A (zh) 一种视频流切片转发***及方法
CN101931581A (zh) Can总线接收信息过滤器的数据配置方法
CN1392711A (zh) 网络监视***、数据量计数方法及用于***的程序
CN109088782A (zh) 分布式***的日志收集方法及装置
CN1941702A (zh) 一种发布博客文章的方法和***
CN101060425A (zh) 绝对时间数据采集方法及***
CN103781056A (zh) 一种终端外设的数据管理方法及m2m网关
Sanjuàs-Cuxart et al. Sketching the delay: tracking temporally uncorrelated flow-level latencies
CN1601975A (zh) 分组交换设备流量监测查询方法及线卡采集器
CN1719785A (zh) 基于存域网的海量存储***的性能监控方法及***
CN107463664A (zh) 一种基于政务数据采集的etl处理方法及装置
CN1832429A (zh) 用于优化通信网络的诊断工具的诊断树的设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Assignee: SHENZHEN ZTE SOFTWARE Co.,Ltd.

Assignor: ZTE Corp.

Contract fulfillment period: 2007.4.1 to 2013.4.1

Contract record no.: 2008990000942

Denomination of invention: A method for performance measurement data acquisition of embedded distributed system

Granted publication date: 20060913

License type: Exclusive license

Record date: 20081027

LIC Patent licence contract for exploitation submitted for record

Free format text: EXCLUSIVE LICENSE; TIME LIMIT OF IMPLEMENTING CONTACT: 2007.4.1 TO 2013.4.1; CHANGE OF CONTRACT

Name of requester: SHENZHEN CITY ZHONGXING SOFTWARE CO.,LTD.

Effective date: 20081027

CX01 Expiry of patent term

Granted publication date: 20060913

CX01 Expiry of patent term