CN102567549A - 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法 - Google Patents

基于令牌漏桶法的自适应数据记录/回放技术及其实现方法 Download PDF

Info

Publication number
CN102567549A
CN102567549A CN2011103671269A CN201110367126A CN102567549A CN 102567549 A CN102567549 A CN 102567549A CN 2011103671269 A CN2011103671269 A CN 2011103671269A CN 201110367126 A CN201110367126 A CN 201110367126A CN 102567549 A CN102567549 A CN 102567549A
Authority
CN
China
Prior art keywords
data
recording
replaying
playback
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103671269A
Other languages
English (en)
Inventor
邢永昌
孟凡
杜杭
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
724th Research Institute of CSIC
Original Assignee
724th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 724th Research Institute of CSIC filed Critical 724th Research Institute of CSIC
Priority to CN2011103671269A priority Critical patent/CN102567549A/zh
Publication of CN102567549A publication Critical patent/CN102567549A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明设计一种基于令牌漏桶法的自适应***数据记录/回放技术及实现方法。该方法主要适用于实时操作***中，在不影响正常任务运行情况下嵌入实时的记录数据/回放功能。实现过程是：首先按照一定的结构把需要记录数据打包存放入循环队列数据池中，根据整个***运行情况和数据池中数据量发放令牌，收到令牌的任务自适应的选择CPU空闲时间完成一批数据的记录。数据回放情况是根据整个***运行情况和循环队列数据池中数据量发放令牌，领到令牌的任务批量的从外部存储器中读取数据放入循环队列数据池中，***实时的从循环队列数据池中读取数据用于回放。本发明能实现数据的实时记录/回放功能。广泛应用于雷达探测数据及有关设备数据等的实时记录与回放。

Description

基于令牌漏桶法的自适应数据记录/回放技术及其实现方法
技术领域
本发明涉及基于令牌漏桶法的自适应数据记录/回放技术及其实现方法，属于高实时性计算机***中嵌入数据记录/回放功能的技术，采用令牌漏桶法分批打包处理技术和自适应分配CPU时间片的技术实现高实时性***中数据记录和回放。
背景技术
实时采集和回放(再现)真实的雷达目标航迹数据，已成为雷达技术研究和使用的功能要求。但是由于雷达终端对实时性要求非常高，在终端上进行数据记录会影响雷达***乃至整个作战***对目标处理的实时性。同时数据回放也要求最接近实战情况，故对实时性要求也非常高。如果采用专门的数据记录/回放设备，不仅软件硬件的代价昂贵，而且不能在原设备上面直观回放。
由于数据记录/回放时读写外部存储器的速度很慢，需要占用大量时间，而实时***不能分配出大量的时间用于频繁的读写外部存储器。如果采用普通的方法在雷达***中添加数据记录/回放功能会使实时***失去实时性，甚至死机。
在航迹较多时，由于其产生的随机性，如果采用逐个航迹数据进行读写外存来实现航迹数据记录/回放，需要占用大量的CPU资源。如果航迹较多即使占用全部CPU时间片也无法实现航迹数据的实时记录回放，更无法保证原***的实时性。在本发明中提出一种优化的漏桶法，自适应的记录/回放数据，可以大大减少数据记录回放占用的CPU时间片，并且可以自适应的选择CPU空闲时间执行。
发明内容
本发明的目的在于提供一种基于令牌漏桶法的自适应数据记录/回放技术及实现方法，该发明能够在不影响实时***正常运行的情况下实现数据记录/回放功能。
实现本发明的技术解决方案为：首先对实时***正常运行时CPU、内存等占用率进行统计，得出记录回放模块最大可以占用的***资源率，和每次处理可以占用的最大时间片。
针对每条航迹的数据量相对比较小，采用一次读写多个航迹形成的数据块，比每次读写外部存储器记录一个航迹进行操作可以节约大量的时间。本发明通过打包读写的方法大量减少读写数据的次数，从而大大减少读写数据占用总时间片。每次可以读写数据的最大量根据每次可以占用最长时间片设计。
根据***运行情况和当前循环队列数据池中缓冲数据量发放数据记录或回放令牌。收到令牌的记录或回放任务通过自适应的任务调度算法选择CPU空闲时间执行。
本发明在基于VxWorks的软件平台上，采用C++语言编程，实现了该算法并应用于工程实际。
本发明与现有技术相比，其显著优点为：采用基于令牌漏桶法与自适应任务调度相融合的实时数据记录/回放算法，能在不影响***实时性的情况下实现航迹数据的记录和回放，不仅节约了资金和空间，且其工程实现简单，在现有的实时***中嵌入该软件模块即可；回放效果直观形象。该方法具有实时性好、成本低廉、效果明显的特点。它的提出及工程实现在雷达、指控等设备上具有很高的推广应用价值。
下面结合附图对本发明作进一步详细描述。
附图说明
图1为基于令牌漏桶法的自适应数据记录/回放技术工作流程图，是本发明的工作流程图。
图2、图3、图4为基于令牌漏桶法自适应的数据记录回放技术的CPU时间片分配图，是本发明中***CPU时间片分配图。其中：图2是未进行记录/回放时CPU时间片分配图；图3是采用普通方法记录任务时CPU时间片分配图；图4是采用令牌漏斗法自适应记录/回放时CPU时间片分配图。
具体实施方式
本发明基于令牌漏桶法和自适应的数据记录/回放技术及实现方法具体实施步骤为(参见图1)：
①通过WDB绘出当前实时***资源占用图表，统计***资源的占用率，占用时间段等数据；
②根据统计数据设置令牌发放频率，设计循环队列数据池和构建令牌漏桶；
③根据设计的循环队列数据池结构打包存储待处理数据，如果回放则设计解析回放循环队列数据池中数据。
④根据***运行情况和循环队列数据池中待处理数据量适时产生令牌；
⑤接收到令牌的任务(读或写)根据当前CPU的空闲情况自适应选择执行时机，并根据当前循环队列数据池中待处理数据量自适应选择处理数据块的数量。
在数据记录过程中当循环队列数据池中缓存的数据较多时，按照每次最大可以存储数据量进行记录，并释放循环队列数据池中对应空间；如果循环队列数据池中数据量小于最大可以存储量时(大部分情况)一次性记录全部数据并释放循环队列数据池，以降低数据的读或写占用的CPU资源量。
数据记录时***根据CPU空闲周期和循环队列数据池数据量适时释放令牌，如果数据量太少就释放令牌会导致数据记录任务占用过多CPU资源，相反如果数据太多会导致待记录数据丢失。收到令牌的数据记录任务自适应的选择在CPU空闲较多时记录数据，记录数据任务尽可能多的从循环队列数据池中提取数据记录在外部存储设备中。
在数据回放过程中根据***运行周期和循环队列数据池可以用来回放的数据量决定是否释放令牌；收到令牌的数据读取任务自适应的选择在CPU空闲较多时从外部存储空间中读取数据，读取任务根据循环队列数据池中缓存数据量尽量多的读取数据；数据回放模块根据循环队列数据池的数据结构和时间戳进行实时回放。
该方法在基于VxWorks 5.5操作***平台上实现实时处理。整个***的功能采用C++语言编写。采用的雷达终端每个周期处理的目标个数是100批；硬件环境为Intel(R)Core(TM)Duo 1.66GHz，内存：1024MB，存储介质：电子盘10GB。通过试验验证，该方法在保证原***可靠性和实时性的前提下，实现了数据的实时记录/回放功能。
基于令牌漏桶法的自适应数据记录回放技术及实现方法已经成功应用某型雷达***，该方法能在不影响原***正常运行的情况下，可以实时的记录或回放最多100批/2秒航迹数据。

Claims (2)

1.一种基于令牌漏桶法的自适应数据记录/回放技术及实现方法，其特征在于：采用循环队列数据池缓存待记录/回放的数据；使用令牌漏桶的方法，根据具体的CPU使用情况和当前循环队列数据池中待处理数据的数据量发放令牌给记录/回放任务。
2.一种实现权利要求1所述的基于令牌漏桶法的自适寻数据记录回放技术在基于VxWorks平台上，采用C++语言编程实现的数据记录回放模块嵌入到实时***中。其特征在于：首先采用对需要记录的数据进行分批打包记录，或对需要回放的数据进行分块读取的方法；然后对写或读的任务按照令牌发放的方式控制其操作数量，通过自适应选择CPU空闲的时间段的方法完成数据的读或写。
CN2011103671269A 2011-11-18 2011-11-18 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法 Pending CN102567549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103671269A CN102567549A (zh) 2011-11-18 2011-11-18 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103671269A CN102567549A (zh) 2011-11-18 2011-11-18 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法

Publications (1)

Publication Number Publication Date
CN102567549A true CN102567549A (zh) 2012-07-11

Family

ID=46412947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103671269A Pending CN102567549A (zh) 2011-11-18 2011-11-18 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法

Country Status (1)

Country Link
CN (1) CN102567549A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580396A (zh) * 2014-12-19 2015-04-29 华为技术有限公司 一种任务调度方法、节点及***
CN110275780A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 用于限制流量的方法和装置
CN113435605A (zh) * 2021-06-25 2021-09-24 烽火通信科技股份有限公司 一种基于网络数据池的ai动态注入的控制方法和装置
CN113694515A (zh) * 2021-09-23 2021-11-26 腾讯科技（深圳）有限公司 界面显示方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536815A (zh) * 2003-04-03 2004-10-13 华为技术有限公司 采用令牌漏桶进行报文限流的方法
CN1925455A (zh) * 2005-08-29 2007-03-07 中兴通讯股份有限公司 一种基于令牌桶的报文限速方法
CN101005453A (zh) * 2006-12-26 2007-07-25 华为技术有限公司 流量限制技术中刷新令牌桶的方法及装置
WO2007110568A1 (en) * 2006-03-27 2007-10-04 British Telecommunications Public Limited Company Method and system for coordination of admission control in transport networks
CN102582765A (zh) * 2011-01-13 2012-07-18 张节约 太阳能多人驱动电动自行车

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1536815A (zh) * 2003-04-03 2004-10-13 华为技术有限公司 采用令牌漏桶进行报文限流的方法
CN1925455A (zh) * 2005-08-29 2007-03-07 中兴通讯股份有限公司 一种基于令牌桶的报文限速方法
WO2007110568A1 (en) * 2006-03-27 2007-10-04 British Telecommunications Public Limited Company Method and system for coordination of admission control in transport networks
CN101005453A (zh) * 2006-12-26 2007-07-25 华为技术有限公司 流量限制技术中刷新令牌桶的方法及装置
CN102582765A (zh) * 2011-01-13 2012-07-18 张节约 太阳能多人驱动电动自行车

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580396A (zh) * 2014-12-19 2015-04-29 华为技术有限公司 一种任务调度方法、节点及***
CN104580396B (zh) * 2014-12-19 2018-07-20 华为技术有限公司 一种任务调度方法、节点及***
CN110275780A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 用于限制流量的方法和装置
CN113435605A (zh) * 2021-06-25 2021-09-24 烽火通信科技股份有限公司 一种基于网络数据池的ai动态注入的控制方法和装置
CN113435605B (zh) * 2021-06-25 2023-06-09 烽火通信科技股份有限公司 一种基于网络数据池的ai动态注入的控制方法和装置
CN113694515A (zh) * 2021-09-23 2021-11-26 腾讯科技（深圳）有限公司 界面显示方法、装置、终端及存储介质
CN113694515B (zh) * 2021-09-23 2023-07-25 腾讯科技（深圳）有限公司 界面显示方法、装置、终端及存储介质

Similar Documents

Publication Publication Date Title
CN104160384B (zh) 用于动态优先级控制的***和方法
CN106233269A (zh) 在存储器控制器中的精细粒度带宽供应
CN105302478B (zh) 一种数据存储方法及电子设备
US20150006794A1 (en) Apparatus and method for controlling multi-way nand flashes by using input-output pins
CN106354670A (zh) 一种用于虚拟化环境下传输数据的方法与设备
CN103631624A (zh) 读写请求的处理方法和装置
CN105138469B (zh) 一种数据读写方法以及主板
CN111381954B (zh) 一种音频数据录制方法、***及终端设备
CN102567549A (zh) 基于令牌漏桶法的自适应数据记录/回放技术及其实现方法
CN103229136B (zh) 磁盘阵列刷盘方法及磁盘阵列刷盘装置
CN103226448B (zh) 固态硬盘的驱动方法及装置
CN102279712A (zh) 一种适用于互联网存储***的存储控制方法、***和装置
CN111143272A (zh) 异构计算平台的数据处理方法、装置及可读存储介质
CN103577115A (zh) 数据的排布处理方法和装置
CN104991737B (zh) 一种基于存储卡阵列架构的硬盘实现方法
CN103678149A (zh) 数据处理的方法及设备
CN110245119A (zh) 一种文件整理方法及存储***
CN103064633A (zh) 一种数据存储方法及装置
CN104932830B (zh) 信息处理方法及电子设备
CN101316240A (zh) 一种数据读写的方法和装置
CN102236622A (zh) 提高动态存储器带宽利用率的动态存储器控制器及方法
CN105868121B (zh) 一种信息处理方法及电子设备
CN104750547B (zh) 虚拟机的输入输出io请求处理方法及装置
CN103593148B (zh) 一种cdf侧离线话单数据快速存取的方法及装置
CN109634826A (zh) 控制器极限性能分析方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711