CN106407297A - 一种数据包下载管理***及方法 - Google Patents
一种数据包下载管理***及方法 Download PDFInfo
- Publication number
- CN106407297A CN106407297A CN201610766340.4A CN201610766340A CN106407297A CN 106407297 A CN106407297 A CN 106407297A CN 201610766340 A CN201610766340 A CN 201610766340A CN 106407297 A CN106407297 A CN 106407297A
- Authority
- CN
- China
- Prior art keywords
- packet
- file
- size
- storage
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种数据包下载管理***及方法，判断要下载的数据包的文件存储模式是否为多文件存储模式，是则判断文件存储的分割模式是时间分割模式，大小分割模式，还是时间及大小的综合分割模式；时间分割模式，则按照设定的时间对数据包存储的文件夹进行处理，并将分割后的数据包存入相应的文件夹中；大小分割模式，则按照设定的大小对数据包存储的文件进行处理，并将分割后的数据包存入相应的文件中；时间及大小的综合分割模式，则按照设定的综合分割模式对数据包存储的文件夹和文件进行处理，并将分割后的数据包存入相应的文件夹和文件中。能灵活的选择支持下载数据包的分时，分大小存储，提供高效率的数据包的本地分析取证。
Description
技术领域
本发明涉及一种数据包下载管理***及方法，特别是涉及一种适用于回溯网络分析的数据包下载管理***及方法。
背景技术
在基于回溯网络分析中，一般情况下，是将网络数据包全部存储于服务器中，当有对数据包的详细分析时，需要将服务器的数据包下载到本地以作为分析和取证。
传统的下载方式为将数据下载到本地存储为某个文件（如迅雷等下载工具），导致一次下载的数据包文件太大，但是网络数据包不能采用这种方式，因为当下载数据包的总量太大时，数据包分析工具分析一个太大的文件效率极低，甚至有些分析工具不能分析超过一定大小的文件（大部分数据包分析工具，分析时候需要将数据包加载到内存，但是由于内存限制，所以一次分析的数据包的大小是有限的）。
发明内容
本发明要解决的技术问题是提供一种下载的数据包时间跨度较大，方便根据时间段，挨个进行分析的数据包下载管理***及方法。
本发明采用的技术方案如下：一种数据包下载管理***，包括，
文件存储模式判断模块，判断要下载的数据包的文件存储模式是否为多文件存储模式；
分割模式判断模块，判断文件存储的分割模式为时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；
数据包分割模块，对跨出分割时间和/或当前数据包大小加上新建文件大小大于分割大小阈值的数据包进行时间分割和/或大小分割存储；
文件夹创建模块，针对时间分割模式，创建要分割存储的数据包的新文件夹；
文件创建模块，针对大小分割模式，创建要分割存储的数据包的新文件。
如果下载的数据包时间跨度较大的时候，往往分析时，需要根据时间段，挨个进行分析。因此下载数据包时不按时间和大小进行分割并存储的策略会造成分析和取证特别困难。本发明方案提出多文件存储模式，对下载的数据包时间跨度较大和数据包本身大小较大的数据包进行分割存储，能够有效提高数据包的本地分析取证效率。
还包括文件存储选择模块，对文件存储模式进行选择；所述文件存储模式包括单文件存储模式和多文件存储模式。
可以设置默认文件存储模式，也可以选择在进行文件下载存储之前对文件存储模式进行选择，方便用户使用。
还包括分割方式选择模块，对存储文件的分割模式进行选择，包括时间分割模式选择单元和大小分割模式选择单元。
可以设置默认文件分割模式，也可以在对文件存储之前进行文件分割模式选择，所述时间分割模式选择单元和大小分割模式选择单元可以选择其一，也可以两者均选中。
还包括分割大小阈值设置模块，对要分割的大小阈值进行设置。
用户根据实际需求进行大小阈值设置，例如该阈值可以为1MB，也可以为2MB，或者10MB。
还包括分割时间阈值设置模块，对要分割的时间阈值进行设置。
用户根据实际需求进行时间阈值设置，例如该时间阈值可以为几秒，也可以为几分钟，几小时，几天甚至几周。
一种数据包下载管理方法，具体方法步骤为：
S1、判断要下载的数据包的文件存储模式是否为多文件存储模式，如果是，则进入下一步；如果否，则按照单文件存储模式进行文件下载存储；
S2、判断文件存储的分割模式是时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；如果是时间分割模式则进入S3；如果是大小分割模式，则进入S4；如果是时间及大小的综合分割模式则进入S5；
S3、按照设定的时间分割模式对数据包存储的文件夹进行处理，并将分割后的数据包存入相应的文件夹中；
S4、按照设定的时大小分割模式对数据包存储的文件进行处理，并将分割后的数据包存入相应的文件中；
S5、按照设定的综合分割模式对数据包存储的文件夹和文件进行处理，并将按时间分割后的数据包存入相应的文件夹，按大小分割后的数据包存入相应的文件中。
所述时间分割模式中，用户根据自身需求设置分割时间阈值，按照设定的分割时间阈值对要存储的数据包进行分割存储，判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置。
每个数据包都有且仅有一个时间戳，判断数据包时间戳是否大于时间分割点，如果达到则新建文件夹，并在新的文件夹中新建文件存储该数据包。
所述大小分割模式中，用户根据自身需求设置分割大小阈值，按照设定的分割大小阈值对要存储的数据包进行分割存储，判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
每个数据包都有且固定的长度，判断数据包写入的数据包文件大小是否大于文件大小分割点，如果达到则新建文件存储该数据包。
所述综合分割模式中，用户根据自身需求设置分割时间阈值和分割大小阈值，按照设定的分割时间阈值和分割大小阈值对要存储的数据包进行分割存储；判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置，同时判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
如果数据包的大小分割阈值为1MB，则被分割的一个数据包大小必然小于1MB，同一纳秒内，一个数据包写入线程，不可能写两个接近1MB的数据包文件。
与现有技术相比，本发明的有益效果是：能灵活的选择支持下载数据包的分时，分大小存储，提供高效率的数据包的本地分析取证，具体表现为：
1. 能根据数据包的时间戳，将数据包按照windows文件管理方案，文件夹，文件的形式管理起来；
2. 在对数据包进行分析时，能快速的根据分析时间提取找到相应的数据包文件；
3.单文件，时间分割多文件，大小分割多文件，时间大小同时分割多文件都是动态可选项。
附图说明
图1为本发明其中一实施例的原理示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种数据包下载管理***，包括，
文件存储模式判断模块，判断要下载的数据包的文件存储模式是否为多文件存储模式；
分割模式判断模块，判断文件存储的分割模式为时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；
数据包分割模块，对跨出分割时间和/或当前数据包大小加上新建文件大小大于分割大小阈值的数据包进行时间分割和/或大小分割存储；
文件夹创建模块，针对时间分割模式，创建要分割存储的数据包的新文件夹；
文件创建模块，针对大小分割模式，创建要分割存储的数据包的新文件。
具体实施例2
在具体实施例1的基础上，还包括文件存储选择模块，对文件存储模式进行选择；所述文件存储模式包括单文件存储模式和多文件存储模式。
可以设置默认文件存储模式，也可以选择在进行文件下载存储之前对文件存储模式进行选择，方便用户使用。
具体实施例3
在具体实施例1或2的基础上，还包括分割方式选择模块，对存储文件的分割模式进行选择，包括时间分割模式选择单元和大小分割模式选择单元。
可以设置默认文件分割模式，也可以在对文件存储之前进行文件分割模式选择，所述时间分割模式选择单元和大小分割模式选择单元可以选择其一，也可以两者均选中。
具体实施例4
在具体实施例1到3之一的基础上，还包括分割大小阈值设置模块，对要分割的大小阈值进行设置。
用户根据实际需求进行大小阈值设置，例如该阈值可以为1MB，也可以为2MB，或者10MB。
具体实施例5
在具体实施例1到4之一的基础上，还包括分割时间阈值设置模块，对要分割的时间阈值进行设置。
用户根据实际需求进行时间阈值设置，例如该时间阈值可以为几秒，也可以为几分钟，几小时，几天甚至几周。
具体实施例6
在具体实施例1到5之一的基础上，一种数据包下载管理方法，具体方法步骤为：
S1、判断要下载的数据包的文件存储模式是否为多文件存储模式，如果是，则进入下一步；如果否，则按照单文件存储模式进行文件下载存储；
S2、判断文件存储的分割模式是时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；如果时间分割模式则进入S3；如果是大小分割模式，则进入S4；如果是时间及大小的综合分割模式则进入S5；
S3、按照设定的时间分割模式对数据包存储的文件夹进行处理，并将分割后的数据包存入相应的文件夹中；
S4、按照设定的时大小分割模式对数据包存储的文件进行处理，并将分割后的数据包存入相应的文件中；
S5、按照设定的综合分割模式对数据包存储的文件夹和文件进行处理，并将按时间分割后的数据包存入相应的文件夹，按大小分割后的数据包存入相应的文件中。
具体实施例7
在具体实施例6的基础上，所述时间分割模式中，用户根据自身需求设置分割时间阈值，按照设定的分割时间阈值对要存储的数据包进行分割存储，判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置。
具体实施例8
在具体实施例6到7之一的基础上，所述大小分割模式中，用户根据自身需求设置分割大小阈值，按照设定的分割大小阈值对要存储的数据包进行分割存储，判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
具体实施例9
在具体实施例6到8之一的基础上，所述综合分割模式中，用户根据自身需求设置分割时间阈值和分割大小阈值，按照设定的分割时间阈值和分割大小阈值对要存储的数据包进行分割存储；判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置，同时判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
具体实施例10
如图1所示，在本具体实施例中，首先判断要下载的数据包的文件存储模式是否为多文件存储模式，如果否，则按照单文件存储模式进行文件下载存储；如果是，则对数据包进行下载处理，判断是否需要对文件进行分割存储，如果需要则选择分割存储模式。
在本具体实施例中，先判断是否启用时间分割模式，是则按照设定的时间分割模式对数据包存储的文件夹进行处理，并将分割后的数据包存入相应的文件夹中；否则设置好文件存储位置后新建存储文件夹；再判断是否其中大小分割模式，是则按照设定的时大小分割模式对数据包存储的文件进行处理，并将分割后的数据包存入相应的文件中。也可以先判断是否启用大小分割模式再判断是否启用时间分割模式。
其中，对于时间分割测量，在本具体实施例中，采用采用文件夹管理策略：如采用1分钟分割，则新建文件夹名称以下方式“年-月-日-时.分.秒-年-月-日-时.分.秒”例如：“2016-08-23.11.24.00-2016-08-23.11.25.00”，“2016-08-23.11.25.00-2016-08-23.11.26.00”等，这些文件夹下则放置属于该时间段的数据包，时间段为左闭右开区间[2016-08-23.11.25.00, 2016-08-23.11.26.00)，即存储的时间为“2016-08-23.11.25.00至2016-08-23.11.25.59”的数据包。
对于大小分割策略，采用文件管理策略：如采用1MB分割，则新建文件大小加上即将写入的数据包的大小大于1MB，就新建另外一个文件。另，文件的名称使用用户自定义基本名称+写入文件当前时间，如：基本名称为“test”，则：“test时间” 例：“test2016-08-23.11.28.51.667”。
Claims (9)
1.一种数据包下载管理***，其特征在于：包括，
文件存储模式判断模块，判断要下载的数据包的文件存储模式是否为多文件存储模式；
分割模式判断模块，判断文件存储的分割模式为时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；
数据包分割模块，对跨出分割时间和/或当前数据包大小加上新建文件大小大于分割大小阈值的数据包进行时间分割和/或大小分割存储；
文件夹创建模块，针对时间分割模式，创建要分割存储的数据包的新文件夹；
文件创建模块，针对大小分割模式，创建要分割存储的数据包的新文件。
2.根据权利要求1所述的数据包下载管理***，其特征在于：还包括文件存储选择模块，对文件存储模式进行选择；所述文件存储模式包括单文件存储模式和多文件存储模式。
3.根据权利要求1所述的数据包下载管理***，其特征在于：还包括分割方式选择模块，对存储文件的分割模式进行选择，包括时间分割模式选择单元和大小分割模式选择单元。
4.根据权利要求1所述的数据包下载管理***，其特征在于：还包括分割大小阈值设置模块，对要分割的大小阈值进行设置。
5.根据权利要求1或4所述的数据包下载管理***，其特征在于：还包括分割时间阈值设置模块，对要分割的时间阈值进行设置。
6.一种数据包下载管理方法，具体方法步骤为：
S1、判断要下载的数据包的文件存储模式是否为多文件存储模式，如果是，则进入下一步；如果否，则按照单文件存储模式进行文件下载存储；
S2、判断文件存储的分割模式是时间分割模式，还是大小分割模式，还是时间及大小的综合分割模式；如果是时间分割模式则进入S3；如果是大小分割模式，则进入S4；如果是时间及大小的综合分割模式则进入S5；
S3、按照设定的时间分割模式对数据包存储的文件夹进行处理，并将分割后的数据包存入相应的文件夹中；
S4、按照设定的时大小分割模式对数据包存储的文件进行处理，并将分割后的数据包存入相应的文件中；
S5、按照设定的综合分割模式对数据包存储的文件夹和文件进行处理，并将按时间分割后的数据包存入相应的文件夹，按大小分割后的数据包存入相应的文件中。
7.根据权利要求1所述的数据包下载管理方法，所述时间分割模式中，用户根据自身需求设置分割时间阈值，按照设定的分割时间阈值对要存储的数据包进行分割存储，判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置。
8.根据权利要求1所述的数据包下载管理方法，所述大小分割模式中，用户根据自身需求设置分割大小阈值，按照设定的分割大小阈值对要存储的数据包进行分割存储，判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
9.根据权利要求1所述的数据包下载管理方法，所述综合分割模式中，用户根据自身需求设置分割时间阈值和分割大小阈值，按照设定的分割时间阈值和分割大小阈值对要存储的数据包进行分割存储；判断当前数据包是否已经跨出分割时间，是则在文件目录下新建分割时间文件夹，并设置该新建文件夹为存储位置，同时判断当前数据包大小加上文件大小是否大于分割大小阈值，是则在存储位置新建文件，并设置该新建文件为存储位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610766340.4A CN106407297A (zh) | 2016-08-31 | 2016-08-31 | 一种数据包下载管理***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610766340.4A CN106407297A (zh) | 2016-08-31 | 2016-08-31 | 一种数据包下载管理***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106407297A true CN106407297A (zh) | 2017-02-15 |
Family
ID=58003489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610766340.4A Pending CN106407297A (zh) | 2016-08-31 | 2016-08-31 | 一种数据包下载管理***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106407297A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133357A (zh) * | 2017-05-26 | 2017-09-05 | 维沃移动通信有限公司 | 一种图片存储方法及移动终端 |
| CN110032478A (zh) * | 2018-01-11 | 2019-07-19 | 中兴通讯股份有限公司 | 一种主备中心数据实时同步方法、装置、***及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101155296A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学技术大学 | 数据传输的方法 |
| CN101615175A (zh) * | 2009-08-11 | 2009-12-30 | 深圳市五巨科技有限公司 | 一种读取移动终端电子书的***和方法 |
| CN102004760A (zh) * | 2010-11-03 | 2011-04-06 | 深圳市同洲电子股份有限公司 | 多媒体文件的存储和播放方法、相关装置及*** |
| CN103442090A (zh) * | 2013-09-16 | 2013-12-11 | 苏州市职业大学 | 一种数据分散存储的云计算*** |
| CN104679905A (zh) * | 2015-03-20 | 2015-06-03 | 四川特伦特科技股份有限公司 | 一种基于云存储的高速存储*** |
| CN105282200A (zh) * | 2014-07-18 | 2016-01-27 | 中国电信股份有限公司 | 断点续传的方法与服务器 |
-
2016
- 2016-08-31 CN CN201610766340.4A patent/CN106407297A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101155296A (zh) * | 2006-09-29 | 2008-04-02 | 中国科学技术大学 | 数据传输的方法 |
| CN101615175A (zh) * | 2009-08-11 | 2009-12-30 | 深圳市五巨科技有限公司 | 一种读取移动终端电子书的***和方法 |
| CN102004760A (zh) * | 2010-11-03 | 2011-04-06 | 深圳市同洲电子股份有限公司 | 多媒体文件的存储和播放方法、相关装置及*** |
| CN103442090A (zh) * | 2013-09-16 | 2013-12-11 | 苏州市职业大学 | 一种数据分散存储的云计算*** |
| CN105282200A (zh) * | 2014-07-18 | 2016-01-27 | 中国电信股份有限公司 | 断点续传的方法与服务器 |
| CN104679905A (zh) * | 2015-03-20 | 2015-06-03 | 四川特伦特科技股份有限公司 | 一种基于云存储的高速存储*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107133357A (zh) * | 2017-05-26 | 2017-09-05 | 维沃移动通信有限公司 | 一种图片存储方法及移动终端 |
| CN107133357B (zh) * | 2017-05-26 | 2020-01-14 | 维沃移动通信有限公司 | 一种图片存储方法及移动终端 |
| CN110032478A (zh) * | 2018-01-11 | 2019-07-19 | 中兴通讯股份有限公司 | 一种主备中心数据实时同步方法、装置、***及存储介质 |
| CN110032478B (zh) * | 2018-01-11 | 2022-05-13 | 中兴通讯股份有限公司 | 一种主备中心数据实时同步方法、装置、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI753887B (zh) | 前端用戶行為統計方法及裝置 | |
| CN104391954B (zh) | 数据库日志的处理方法及装置 | |
| US9535946B2 (en) | System method, and computer readable media for identifying a user-initiated log file record in a log file | |
| CN103136184B (zh) | 一种自动排版的方法及其装置 | |
| CN110020339B (zh) | 基于无埋点的网页数据采集方法及装置 | |
| TW200627279A (en) | A prioritization system | |
| US8321476B2 (en) | Method and system for determining boundary values dynamically defining key value bounds of two or more disjoint subsets of sort run-based parallel processing of data from databases | |
| CN108492342B (zh) | 合并碎图的方法、装置、处理器、存储介质和终端 | |
| CN106407297A (zh) | 一种数据包下载管理***及方法 | |
| CN107688488A (zh) | 一种基于元数据的任务调度的优化方法及装置 | |
| CN102609412A (zh) | 基于rss的多线程图文信息同步爬取的控制方法及*** | |
| CN113242159A (zh) | 应用访问关系确定方法及装置 | |
| CN104123397A (zh) | Web页面的自动化测试装置及方法 | |
| CN103034655B (zh) | 一种用户行为信息的收集方法、***及相关设备 | |
| CN109446441B (zh) | 一种通用的网络社区可信分布式采集存储*** | |
| CN103530369A (zh) | 一种去重方法及*** | |
| CN114490554A (zh) | 数据同步方法及其装置、电子设备及存储介质 | |
| JP2014532220A (ja) | ネットコメントの収集方法およびシステム | |
| CN112069144A (zh) | 一种多控集群收集***日志的方法及装置 | |
| CN109657294A (zh) | 基于特征参数的试飞数据自动化分析方法及*** | |
| CN111475394A (zh) | 一种应用测试方法及装置 | |
| CN108563665A (zh) | 一种基于大数据技术的数据处理***及方法 | |
| CN110110151B (zh) | 资源包解析入库的方法、***、计算机设备和存储介质 | |
| CN113900811A (zh) | 事件驱动的任务调度的方法及装置 | |
| CN106708534A (zh) | 一种基于移动终端网页生成保存的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |