CN107277146B - 一种分布式存储业务流量模型生成方法及*** - Google Patents
一种分布式存储业务流量模型生成方法及*** Download PDFInfo
- Publication number
- CN107277146B CN107277146B CN201710494324.9A CN201710494324A CN107277146B CN 107277146 B CN107277146 B CN 107277146B CN 201710494324 A CN201710494324 A CN 201710494324A CN 107277146 B CN107277146 B CN 107277146B
- Authority
- CN
- China
- Prior art keywords
- file
- statistical
- environment
- distributed storage
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000009471 action Effects 0.000 claims abstract description 36
- 238000004519 manufacturing process Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 30
- 238000004088 simulation Methods 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及存储技术领域,提供一种分布式存储业务流量模型生成方法及***,所述方法包括下述步骤:识别调用统计接口的触发动作;当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境;当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息,实现对分布式存储***业务流量数据的统计,即分布式存储业务流量模型的建立,为存储***参数配置提供参考依据,同时也为模拟业务压力测试提供数据来源。
Description
技术领域
本发明属于存储技术领域,尤其涉及一种分布式存储业务流量模型生成方法及***。
背景技术
分布式存储***,是将数据分散存储在多***立的设备上。传统的网络存储***采用集中的存储服务器存放所有数据,存储服务器成为***性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。分布式网络存储***采用可扩展的***结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,不但提高了***的可靠性、可用性和存取效率,还易于扩展。
分布式存储***在应用于不同的场景时,需要不同的参数或者方案进行配置,同时在测试分布式存储***时,也要有对应的业务流量进行模拟测试,但是当前无具体的数据来支撑存储***参数配置,需要较多的验证结果来证明参数配置正确性。而且不同客户使用的业务软件并不完全相同,表面上无法确定是否为同一业务流量模型,一次调优参数配置后,无法完全复制到其他客户应用。
发明内容
本发明的目的在于提供一种可为存储***参数配置提供参考依据和为模拟业务流量测试提供数据源的分布式存储业务流量模型生成方法。
本发明是这样实现的,一种分布式存储业务流量模型生成方法,所述方法包括下述步骤:
识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作;
当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境;
当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;
当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息。
作为一种改进的方案,所述业务应用包括网盘、视频、图片编辑和文件共享;
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化。
作为一种改进的方案,所述方法还包括下述步骤:
预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
作为一种改进的方案,所述对文件操作信息进行统计,生成分布式存储业务流量模型的步骤具体包括下述步骤:
从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型。
作为一种改进的方案,所述获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型的步骤之后还包括下述步骤:
输出单位时间内各种文件操作信息的统计数据。
本发明的另一目的在于提供一种分布式存储业务流量模型生成***,所述***包括:
触发动作识别模块,用于识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作;
运行环境判断模块,用于当所述触发动作识别模块识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境;
流量模型生成模块,用于当所述运行环境判断模块判断运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;
空函数调用执行模块,用于当所述运行环境判断模块判断运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息。
作为一种改进的方案,所述业务应用包括网盘、视频、图片编辑和文件共享;
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化。
作为一种改进的方案,所述***还包括:
预先定义模块,用于预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
作为一种改进的方案,所述流量模型生成模块具体包括:
统计模块,用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
模型生成模块,用于获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型。
作为一种改进的方案,所述***还包括:
统计数据输出模块,用于输出单位时间内各种文件操作信息的统计数据。
在本发明中,识别调用统计接口的触发动作;当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境;当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息,实现对分布式存储***业务流量数据的统计,即分布式存储业务流量模型的建立,为存储***参数配置提供参考依据,同时也为模拟业务压力测试提供数据来源。
附图说明
图1是本发明提供的分布式存储业务流量模型生成方法的实现流程图;
图2是本发明提供的分布式存储业务流量模型生成***的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1示出了本发明提供的分布式存储业务流量模型生成方法的实现流程图,其具体包括下述步骤:
在步骤S101中,识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作。
其中,所述业务应用主要是文件操作类的应用,具体包括网盘、视频、图片编辑和文件共享;当然也可以包括其他内容,在此不再赘述。
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化。
在步骤S102中,当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境。
在步骤S103中,当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型。
在步骤S104中,当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息。
其中,不管存储***当前所处的运行环境为何种类型,均需要执行调用上述统计接口的步骤,在此不再赘述。
在本发明实施例中,在执行上述步骤S101之前还需要执行下述步骤:
预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
其中,该空函数,即为不执行任何操作的函数,操作流程到此结束;该统计函数主要用于对上述文件操作信息进行统计,在此不再赘述。
在本发明实施例中,上述步骤对文件操作信息进行统计,生成分布式存储业务流量模型具体包括下述步骤:
(1)从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
(2)获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型;
其中,该分布式存储业务流量模型即为一些统计数据的组合,例如大小文件比例、单位时间每个文件写入数据量(码率大小)和业务应用的读写比例等。
在上述步骤(2)之后还包括下述步骤:
输出单位时间内各种文件操作信息的统计数据,以便操作人员查看或者起到提醒作用。
当然,可以在上述流程中添加查询的步骤,具体为:当分布式存储业务流量模型建立后,可以提供查询服务,根据操作人员的查询请求,从模型统计数据中调用相应的文件操作信息展示给操作人员,在此不再赘述。
图2示出了本发明提供的分布式存储业务流量模型生成***的结构框图,为了便于说明,图中仅给出了与本发明相关的部分。
触发动作识别模块11,用于识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作;
运行环境判断模块12,用于当所述触发动作识别模块识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境;
流量模型生成模块13,用于当所述运行环境判断模块判断运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;
空函数调用执行模块14,用于当所述运行环境判断模块判断运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息。
在该实施例中,业务应用包括网盘、视频、图片编辑和文件共享;
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化。
在本发明实施例中,预先定义模块15,用于预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
上述流量模型生成模块13具体包括:
统计模块16,用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
模型生成模块17,用于获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型。
在本发明实施例中,分布式存储业务流量模型生成***还包括:
统计数据输出模块18,用于输出单位时间内各种文件操作信息的统计数据
其中,上述各个模块的结构如上述方法实施例所记载,在此不再赘述。
在本发明中,识别调用统计接口的触发动作;当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境;当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息,实现对分布式存储***业务流量数据的统计,即分布式存储业务流量模型的建立,为存储***参数配置提供参考依据,同时也为模拟业务压力测试提供数据来源。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种分布式存储业务流量模型生成方法,其特征在于,所述方法包括下述步骤:
识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作;
当识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境;
当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;
当所述运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息;
所述业务应用包括网盘、视频、图片编辑和文件共享;
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化;
所述方法还包括下述步骤:
输出单位时间内各种文件操作信息的统计数据;
当分布式存储业务流量模型建立后,提供查询服务,根据操作人员的查询请求,从模型统计数据中调用相应的文件操作信息展示给操作人员。
2.根据权利要求1所述的分布式存储业务流量模型生成方法,其特征在于,所述方法还包括下述步骤:
预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
3.根据权利要求1所述的分布式存储业务流量模型生成方法,其特征在于,所述当所述运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型的步骤具体包括下述步骤:
从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型。
4.一种分布式存储业务流量模型生成***,其特征在于,所述***包括:
触发动作识别模块,用于识别调用统计接口的触发动作,所述触发动作包括业务应用的文件操作和文件信息变化调整动作;
运行环境判断模块,用于当所述触发动作识别模块识别到调用统计接口的触发动作时,判断存储***当前所处的运行环境,所述运行环境包括业务测试环境和生产环境;
流量模型生成模块,用于当所述运行环境判断模块判断运行环境为业务测试环境时,通过所述统计接口调用预先定义的统计函数,对文件操作信息进行统计,生成分布式存储业务流量模型;
空函数调用执行模块,用于当所述运行环境判断模块判断运行环境为生产环境时,通过所述统计接口调用预先定义的空函数,运行所述空函数,并返回成功的信息;
所述业务应用包括网盘、视频、图片编辑和文件共享;
所述业务应用的文件操作信息包括文件打开、文件读、文件写、文件关闭和文件开始;
所述文件信息变化包括文件大小变化和文件权限属性变化;
所述***还包括:
统计数据输出模块,用于输出单位时间内各种文件操作信息的统计数据;
其中,当分布式存储业务流量模型建立后,提供查询服务,根据操作人员的查询请求,从模型统计数据中调用相应的文件操作信息展示给操作人员。
5.根据权利要求4所述的分布式存储业务流量模型生成***,其特征在于,所述***还包括:
预先定义模块,用于预先对所述统计接口、空函数和统计函数进行定义,并存储在指定位置。
6.根据权利要求4所述的分布式存储业务流量模型生成***,其特征在于,所述流量模型生成模块具体包括:
统计模块,用于从不同纬度对业务应用的文件操作信息和文件信息变化调整信息进行统计;
模型生成模块,用于获取单位时间内各种文件操作信息的统计数据,生成所述分布式存储业务流量模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710494324.9A CN107277146B (zh) | 2017-06-26 | 2017-06-26 | 一种分布式存储业务流量模型生成方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710494324.9A CN107277146B (zh) | 2017-06-26 | 2017-06-26 | 一种分布式存储业务流量模型生成方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107277146A CN107277146A (zh) | 2017-10-20 |
CN107277146B true CN107277146B (zh) | 2021-01-08 |
Family
ID=60068694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710494324.9A Active CN107277146B (zh) | 2017-06-26 | 2017-06-26 | 一种分布式存储业务流量模型生成方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107277146B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109358968B (zh) * | 2018-10-08 | 2021-06-25 | 北京数码视讯软件技术发展有限公司 | 一种服务器资源配置方法及装置 |
CN109815138A (zh) * | 2019-01-03 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 业务信息测试方法、装置、计算机设备和存储介质 |
CN109815146A (zh) * | 2019-01-18 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 流量分配方法、装置、计算机设备及存储介质 |
CN110535730B (zh) * | 2019-09-23 | 2020-12-29 | 杭州迪普科技股份有限公司 | 网络设备的ip认证功能测试方法和装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7315807B1 (en) * | 2004-09-29 | 2008-01-01 | Emc Corporation | System and methods for storage area network simulation |
EP1895417A1 (en) * | 2006-08-16 | 2008-03-05 | Alcatel Lucent | Data storage system and method for testing new applications |
CN102195829B (zh) * | 2010-03-19 | 2014-05-14 | 升东网络科技发展(上海)有限公司 | 一种通用压力仿真***及其控制方法 |
CN102185741B (zh) * | 2011-06-10 | 2013-06-26 | 浙江大学 | 多层架构下估算事务的处理器需求的方法 |
CN103713935B (zh) * | 2013-12-04 | 2017-05-03 | 中国科学院深圳先进技术研究院 | 一种在线管理Hadoop集群资源的方法和装置 |
CN104092556A (zh) * | 2013-12-13 | 2014-10-08 | 腾讯数码(天津)有限公司 | 基于分布式***的监控方法、装置及*** |
CN104765617B (zh) * | 2015-05-04 | 2019-02-19 | 北京奇虎科技有限公司 | 基于html5实现的流应用功能接口分发方法及*** |
-
2017
- 2017-06-26 CN CN201710494324.9A patent/CN107277146B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107277146A (zh) | 2017-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107277146B (zh) | 一种分布式存储业务流量模型生成方法及*** | |
US11188560B2 (en) | Synchronizing object in local object storage node | |
US9418241B2 (en) | Unified platform for big data processing | |
CN104601696A (zh) | 服务处理方法、服务调用框架、装置和架构 | |
CN110245304B (zh) | 数据分享方法、设备以及计算机可读介质 | |
CN108170832B (zh) | 一种面向工业大数据的异构数据库的监控***及监控方法 | |
CN103414762A (zh) | 云备份方法和装置 | |
CN111815454A (zh) | 数据上链方法及装置、电子设备、存储介质 | |
CN111444216A (zh) | 一种基于中心化块链式账本的数据块删除方法 | |
CN108459910A (zh) | 一种删除资源的方法及设备 | |
CN106990974B (zh) | 一种app应用更新方法、装置及电子设备 | |
CN107291524B (zh) | 一种远程命令的处理方法和装置 | |
CN111327680B (zh) | 认证数据同步方法、装置、***、计算机设备和存储介质 | |
CN109284833B (zh) | 为机器学习模型获取特征数据的方法、设备和存储介质 | |
CN110781500A (zh) | 一种数据风控***以及方法 | |
CN114661658B (zh) | 一种应用于远程视频会议的数据分析方法及*** | |
US20220269586A1 (en) | Systems and methods for automating test and validity | |
CN115484560A (zh) | 智能短信的处理方法、装置、电子设备及存储介质 | |
CN113741912A (zh) | 模型管理***、方法、装置及设备 | |
CN112130850A (zh) | 应用程序中功能的实现方法和装置 | |
US8977901B1 (en) | Generating service call patterns for systems under test | |
CN110166505B (zh) | 一种会话记录存储方法、装置、设备及存储介质 | |
WO2023230797A1 (zh) | 一种跨***测试方法及装置 | |
CN115730016B (zh) | 数据同步方法、***、装置、计算机设备和存储介质 | |
US11169864B2 (en) | Systems, methods and computer program products for application environment synchronization between remote devices and on-premise devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201202 Address after: 215100 No. 1 Guanpu Road, Guoxiang Street, Wuzhong Economic Development Zone, Suzhou City, Jiangsu Province Applicant after: SUZHOU LANGCHAO INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 450018 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant before: ZHENGZHOU YUNHAI INFORMATION TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |