CN102045305A - 一种多媒体资源传播的监测追踪方法和*** - Google Patents

一种多媒体资源传播的监测追踪方法和*** Download PDF

Info

Publication number
CN102045305A
CN102045305A CN2009101805721A CN200910180572A CN102045305A CN 102045305 A CN102045305 A CN 102045305A CN 2009101805721 A CN2009101805721 A CN 2009101805721A CN 200910180572 A CN200910180572 A CN 200910180572A CN 102045305 A CN102045305 A CN 102045305A
Authority
CN
China
Prior art keywords
file
file dna
dna
data
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009101805721A
Other languages
English (en)
Other versions
CN102045305B (zh
Inventor
杨勇
许建国
王桥
陆巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongxing Communication Technology Service Co., Ltd.
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN200910180572.1A priority Critical patent/CN102045305B/zh
Priority to PCT/CN2010/072380 priority patent/WO2010145340A1/zh
Priority to US13/258,041 priority patent/US20120197847A1/en
Priority to EP10788736.6A priority patent/EP2472943A4/en
Publication of CN102045305A publication Critical patent/CN102045305A/zh
Application granted granted Critical
Publication of CN102045305B publication Critical patent/CN102045305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多媒体资源传播的监测追踪方法和***，包括：数据采集模块对网络链路中的数据包进行捕获；数据流还原模块对捕获到的数据包进行重组，完成数据流的还原，并存入数据流数据库；文件DNA提取模块从多媒体文件中提取文件DNA片段，组成文件DNA，存入文件DNA数据库；文件DNA识别模块从文件DNA数据库中调用文件DNA，并在数据流中识别文件DNA的文件DNA片段，得到识别结果。通过本发明能够实现对多媒体资源的动态传播过程的监测。

Description

一种多媒体资源传播的监测追踪方法和***
技术领域
本发明涉及网络监测、数字版权监管和保护领域，特别是指一种多媒体资源传播的监测追踪方法和***。
背景技术
近年来，随着网络的飞速发展，网络中数字资源的数量也越来越庞大，尤其是各种多媒体资源，包括音频、视频以及图像等等在网络中被广泛、自由地传播。多媒体资源在网络中的广泛传播极大地丰富了互联网用户的用户体验，但是，对网络中多媒体资源的传播缺乏有效的监管，这给多媒体资源的版权保护带来了诸多问题和挑战。多媒体资源的版权所有者迫切希望对多媒体资源在网络中的传播进行监测，从而对可能的盗版行为进行定位和追踪。
多媒体资源在网络中传播的形式有很多种，比如直接以文件形式保存在网络服务器上供用户下载、或者通过点对点(P2P，Point to Point)共享软件在P2P网络内传播、或者以流媒体形式直接供用户在线观看等等。然而，现有的多媒体资源传播监测技术往往只是针对上述某一种特定的传播形式。比如，对某网站服务器上提供的多媒体下载资源进行监测；或是通过网络爬虫的方式获取大量web网页上的多媒体下载链接并对其进行监测；再比如，为了监测P2P网络内多媒体资源的传播情况，可以对P2P共享软件客户端进行改造，使其成为P2P网络爬虫，该网络爬虫可以不停获取P2P网络内多媒体资源的相关数据和信息，以实现对多媒体资源传播的监测。
由此可见，当前多媒体资源传播监测技术主要还是基于对数据源的静态监测，无法对多媒体资源真正的动态传播过程进行监测，因此也无法实现对网络中正在发生或者刚刚发生的数据传输行为进行监测。
发明内容
有鉴于此，本发明的主要目的在于提供一种多媒体资源传播的监测追踪方法和***，能够实现对多媒体资源的动态传播过程的监测。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种多媒体资源传播的监测追踪方法，该方法包括：
数据采集模块对网络链路中的数据包进行捕获；
数据流还原模块对所述捕获到的数据包进行重组，完成数据流的还原，并存入数据流数据库；
文件DNA提取模块从多媒体文件中提取文件DNA片段，组成文件DNA，存入文件DNA数据库；
文件DNA识别模块从所述文件DNA数据库中调用文件DNA，并在所述数据流中识别所述文件DNA的文件DNA片段，得到识别结果。
其中，所述数据采集模块捕获数据包之前，该方法还包括：
配置单次采集过程需要捕获的数据包的个数、和单个数据包大小的最大值；并依据所述单次采集过程需要捕获的数据包的个数、和单个数据包大小的最大值，为所述捕获的数据包分配缓存的内存空间。
所述数据采集模块捕获数据包之后，该方法还包括：
依据到达时间+包头信息+有效载荷的数据结构对所述捕获的数据包进行解析，并换存入所述内存空间；
所述到达时间为捕获到所述数据包的时间；所述包头信息至少包括所述数据包的传输层五元组信息；所述有效载荷为所述数据包的有效数据；
所述传输层五元组信息为：源IP地址、目的IP地址、源端口号、目的端口号以及传输层协议类型。
所述数据流还原模块对数据包进行重组，具体为：
从所述内存空间中读取所述数据包；
以读取的当前数据包包头的传输层五元组信息为索引创建数据流，并将当前数据包的有效载荷添加至所述创建的数据流中，完成数据流的还原。
所述文件DNA提取模块提取文件DNA片段，组成文件DNA，具体为：
从多媒体文件中提取出多个数据片段，作为所述文件DNA片段；
将所述多个文件DNA片段组合成文件DNA数据；
将所述文件DNA数据的相关信息作为文件DNA信息，和所述文件DNA数据写入文件，形成所述文件DNA。
所述文件DNA提取模块提取文件DNA片段之前，该方法还包括：
依据多媒体文件的类型选择相应的文件DNA片段的提取方式；
依据所述文件DNA片段的提取方式从所述多媒体文件中提取所述文件DNA片段。
组成所述文件DNA之后，该方法还包括：
判定所述文件DNA中非唯一文件DNA片段数量占全部文件DNA片段数量的比例值大于预设的有效性阈值时，判定所述文件DNA无效；否则，判定所述文件DNA有效；
所述文件DNA无效时，该方法进一步包括：重新选择所述文件DNA片段的提取方式，并重新提取所述文件DNA片段；
所述文件DNA有效，该方法进一步包括：将所述文件DNA以文件DNA信息+文件DNA数据的格式存入所述文件DNA数据库中。
所述文件DNA识别模块识别所述文件DNA片段，得到识别结果，具体为：
访问所述数据流数据库，获取数据流；
判定所述数据流中识别出的所述文件DNA片段的数量是否大于等于预设的阈值时，得到识别结果，确定在所述数据流所属的网络传输过程中存在所述文件DNA片段所属的多媒体文件的传输；
否则，重新从所述数据流数据库中获取数据流。
该方法进一步包括：将所述识别结果存入识别结果数据库中；
所述识别结果至少包括：所述数据流的相关信息、和所述文件DNA片段所属的多媒体文件的相关信息。
本发明还提供了一种多媒体资源传播的监测追踪***，该***包括：
数据采集模块，用于对网络链路中的数据包进行捕获；
数据流还原模块，用于对所述捕获到的数据包进行重组，完成数据流的还原；
数据流数据库，用于存储所述还原后的数据流；
文件DNA提取模块，用于从多媒体文件中提取文件DNA片段，组成文件DNA；
文件DNA数据库，用于存储所述文件DNA；
文件DNA识别模块，用于从所述文件DNA数据库中调用文件DNA，并在所述数据流数据库的数据流中识别所述文件DNA的文件DNA片段，得到识别结果。
该***进一步包括：识别结果数据库，用于存储所述识别结果。
本发明多媒体资源传播的监测追踪方案，基于文件DNA，通过在网络数据流中识别被监测多媒体文件的文件DNA片段，从而实现对网络中多媒体文件的传播进行监测和追踪。由于监测对象为网络中动态传播的数据，而不是一些静态的数据源，从而可以对网络中正在发生或者刚刚发生的数据传输行为进行监测和追踪；另外，本发明充分考虑了网络环境中数据传输的相关特点，特别是由于网络丢包和数据包到达的无序性造成的数据污染，提出了基于文件DNA的监测和追踪方案，其中，对文件DNA有效性的验证，以及文件DNA片段的大小远小于数据包等技术手段，使得该方法在网络环境下不仅有效，而且具有较好的鲁棒性。
附图说明
图1为本发明多媒体资源传播的监测追踪***的功能示意图；
图2为本发明中文件DNA的应用示意图；
图3为本发明多媒体资源传播的监测追踪***结构示意图；
图4为本发明多媒体资源传播的监测追踪方法流程图；
图5为本发明中网络数据采集以及数据流还原方法的流程图；
图6为本发明中文件DNA提取方法的流程图；
图7为本发明中文件DNA识别方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本发明多媒体资源传播的监测追踪方案的主要思想如图1所示，首先在局域网出口处对网络链路中的数据包进行捕获，并以特定的数据结构缓存在内存中；将内存中的数据包数据读取出来，进行重组，从而完成对数据流的还原；将还原后的数据流存入数据流数据库中，便于后续的访问和调用；从多媒体文件中提取一定数量的文件DNA片段，组成文件DNA，并存入文件DNA数据库；从文件DNA数据库中调用某个特定多媒体文件的文件DNA，然后访问数据流数据库，在数据流中识别该特定多媒体文件的文件DNA片段，得到识别结果，以此实现对特定多媒体资源的传播进行监测和追踪。
在上述监测追踪方案中，文件DNA的应用是实现对特定多媒体资源的传播进行监测追踪的关键，文件DNA为用以标识文件唯一身份的信息。图2所示为本发明中文件DNA的应用示意图，图中网格表示的部分为文件DNA片段。从图中可以看出，文件DNA片段就是从多媒体文件中提取出的数据片段，一定数量的这些数据片段组合在一起就形成了该多媒体文件的文件DNA数据；将文件DNA数据以及它的相关信息、即文件DNA信息一起写入文件，就形成了文件DNA。文件DNA的格式一般是“文件DNA信息+文件DNA数据”，其中，文件DNA信息至少包括：该文件DNA中文件DNA片段的数量，以及每一个文件DNA片段的大小(字节)。
文件DNA的最小单位是文件DNA片段，文件DNA片段的大小要远小于一个数据包的大小，一般为几十个字节。本发明中，对于文件DNA的识别就是在数据流数据库存储的数据流中识别可能存在的某一特定多媒体文件的文件DNA片段，若在某段数据流中发现该多媒体文件的文件DNA片段的数量达到或超过预设的阈值(该阈值可根据实际需要确定，比如阈值为3)，则可以认为在该段数据流所属的网络传输过程中存在对该多媒体文件的传输，由此实现了对特定多媒体资源传输的监测和追踪。由于文件DNA片段相对于数据包要小，因此，对于由网络丢包以及数据包无序到达等原因造成的数据污染，文件DNA具有很好的鲁棒性。从图2可以看出，只要有一小部分完整的文件DNA片段在数据流中被监测出来，就可以以很高的概率认定该数据流中存在特定多媒体文件的传播。
根据上述多媒体资源传播的监测追踪方案，如图3所示，可以将本发明的多媒体资源传播的监测追踪***分为以下几个功能模块：数据采集模块10、数据流还原模块20、数据流数据库30、文件DNA提取模块40、文件DNA数据库50、文件DNA识别模块60、和识别结果数据库70。
下面结合图3所示的监测追踪***来对本发明多媒体资源传播的监测追踪方案进行详细的说明，如图4所示为本发明多媒体资源传播的监测追踪方法流程图，包括：
步骤401，数据采集模块对网络链路中的数据包进行捕获。
数据采集模块首先将网卡置于混杂模式，这样有利于捕获全局的网络数据，然后在局域网出口处对网络链路中的数据包进行捕获。进一步地，还可以将捕获的数据包以特定的数据结构缓存在内存中，便于后续的调用。
步骤402，数据流还原模块对捕获到的数据包进行重组，完成数据流的还原，并存入数据流数据库。
数据流还原模块将步骤401中捕获到的且缓存在内存中的数据包的数据读取出来，依据数据包的包头信息将这些数据包进行重组，从而完成对数据流的还原。将还原后的数据流存入数据流数据库中，便于后续的访问和调用。
其中，步骤401所述描述的网络数据采集过程(捕获网络数据包)和步骤402所描述的数据流的还原过程将通过图5的实施例来进行详细的说明。
步骤403，文件DNA提取模块从多媒体文件中提取文件DNA片段，组成文件DNA，存入文件DNA数据库。
文件DNA提取模块从多媒体文件中提取一定数量的文件DNA片段，这些文件DNA片段组成文件DNA数据，将文件DNA数据和文件DNA信息写入文件，组成该多媒体文件的文件DNA，并将文件DNA存入文件DNA数据库。
该步骤的具体实现如图6所示。
步骤404，文件DNA识别模块从文件DNA数据库中调用文件DNA，并在数据流中识别文件DNA的文件DNA片段，得到识别结果。
文件DNA识别模块从文件DNA数据库中调用某个特定多媒体文件的文件DNA，然后访问数据流数据库，在数据流中监测识别该多媒体文件的文件DNA中的文件DNA片段，得到识别结果：一旦发现数据流中存在一定数量(达到或超过阈值)的该多媒体文件的文件DNA片段，则确定在该数据流所属的网络传输过程中存在该特定多媒体文件的传输，从而实现了对网络中特定多媒体资源的传播进行监测和追踪。
较佳地，将上述识别结果存入专门的识别结果数据库中，用户可以基于该识别结果数据库的信息来对多媒体资源的传播进行监测和追踪。
该步骤的具体实现如图7所示。
图5为本发明中网络数据采集以及数据流还原方法的流程图，具体步骤如下：
步骤501，***初始化。
该步骤主要是在数据采集模块开始捕获数据包之前，对***中网络数据采集的相关参数进行配置，以及分配用于存储网络数据的内存空间。
其中，配置的网络数据采集的相关参数至少包括：单次采集过程需要捕获的数据包的个数、和单个数据包大小的最大值(字节)；分配的内存空间与上述两个参数的配置有关。如，单次采集过程所捕获数据包的个数为N、单个数据包最大为m字节，则分配的内存空间的大小为N×m字节。
当数据采集模块获得开始捕获数据包的命令时，执行步骤502，开始捕获数据包；否则等待。
步骤502，对网络链路中的数据包进行捕获，并解析。
数据采集模块首先将网卡置为混杂模式，然后在局域网出口处对网络链路中的原始数据包进行捕获。
数据采集模块捕获到一个数据包时，按照TCP/IP协议对其进行解析。解析后的数据包以“到达时间+包头信息+有效载荷”的数据结构存在。其中，到达时间是指捕获到该数据包的时间；包头信息指该数据包包头的信息，主要为传输层五元组信息、即源IP地址、目的IP地址、源端口号、目的端口号以及传输层协议类型(TCP或UDP)；有效载荷指该数据包的有效数据。
步骤503，将解析后的数据包缓存入预分配的内存空间。
数据采集模块将解析后的数据包以特定的数据结构、即“到达时间+包头信息+有效载荷”的数据结构缓存入步骤501中预先分配的内存空间。在该内存中，按照数据包的到达时间先缓存到达时间较早的数据包，再缓存到达时间较晚的数据包。
每个数据包所占的内存空间的大小为固定值(单个数据包大小的最大值)。如预分配的单个数据包大小的最大值为m字节，则不管当前数据包的大小是否达到m字节，该数据包所占用的内存空间都为m字节。
步骤504，判断当前已捕获的数据包是否达到预设的单次采集过程需要捕获的数据包的个数，如果否，返回步骤502；如果是，执行步骤505。
在当前采集过程中，数据采集模块按照预设的单次采集过程需要捕获的数据包的个数对数据包进行捕获，直到捕获的数据包的个数达到要求，当前采集过程结束，执行步骤505；否则，当前采集过程继续，返回执行步骤502。
步骤505，读取内存中数据包包头的传输层五元组信息，判断在数据流数据库中是否已经存在以当前数据包包头的传输层五元组信息为索引建立的数据流，如果否，则执行步骤506；如果是，则执行步骤507。
具体的，数据流还原模块读取内存中的数据包时，按照到达时间，先读取到达时间较早的数据包，再读取到达时间较晚的数据包。
本发明中，数据流数据库中所存储的数据流是以其包含的数据包包头的传输层五元组信息为索引的。因此，数据流还原模块首先需要判断当前读取的数据包包头的传输层五元组信息是否已经作为某个数据流的索引、即判断在数据流数据库中是否已经存在以当前数据包包头的传输层五元组信息为索引建立的数据流，如果是，执行步骤507；如果否，执行步骤506。
步骤506，以当前数据包包头的传输层五元组信息为索引在数据流数据库中创建新的数据流。
在当前数据流数据库中没有存在以该传输层五元组信息为索引的数据流时，则需要创建该数据流：以当前数据包的包头信息，主要是传输层五元组信息、即源IP地址、目的IP地址、源端口号、目的端口号以及传输层协议类型(TCP或UDP)为索引创建数据流，然后返回步骤505。
步骤507，将当前数据包的有效载荷、即该数据包的有效数据添加至数据流数据库中以该传输五元组信息为索引的数据流中。
在当前数据流数据库中存在以该传输层五元组信息为索引的数据流时，需要将该数据包的有效载荷添加至该数据流中。
通过该流程可知，数据流的还原过程即为：首先以读取的数据包包头的传输层五元组信息为索引创建数据流，然后再将该数据包的有效载荷添加至该数据流中，如此完成了对该数据包的重组，即完成了数据流的还原。
图6为本发明中文件DNA提取方法的流程图，具体步骤如下：
步骤601，根据多媒体文件的类型选择相应的文件DNA片段的提取方式。
文件DNA提取模块在提取文件DNA片段之前，首先要判断多媒体文件的类型，比如该多媒体文件的类型是图像、视频或者音频等。
文件DNA片段提取方式有：均匀提取、随机提取等等。均匀提取就是在多媒体文件中等间隔提取一定数量的文件DNA片段，而随机提取就是随机地在多媒体文件的任意位置进行文件DNA片段的提取。提取方式选择的原则是：使得采用该方式提取出的文件DNA片段尽可能是多媒体文件的数据字段的片段，而非格式字段的片段，如此可以保证文件DNA片段的唯一性。
在应用中，用户可以根据实际需求，设定多媒体文件的类型与文件DNA片段提取方式的对应关系。
步骤602，从多媒体文件中提取文件DNA片段，组成文件DNA。
按照选取的文件DNA片段的提取方式，文件DNA提取模块从多媒体文件中提取文件DNA片段，组成文件DNA，具体实现方式如图2所示的实施例。
步骤603，判断文件DNA是否有效，如果否，返回步骤601；如果是，执行步骤604。
该步骤即验证文件DNA的有效性，就是在该多媒体文件中监测识别所提取的文件DNA片段是否唯一：若该文件DNA中的某个文件DNA片段在该多媒体文件中不是唯一的，则说明该文件DNA片段很可能是属于格式字段，若超过一定数量的文件DNA片段都不是唯一的，那么该文件DNA很可能失效，则返回执行步骤601，重新选择文件DNA片段的提取方式，并重新提取文件DNA片段；否则，执行步骤604。
在判断文件DNA的有效性时，可以根据实际的网络环境等因素确定一个有效性阈值，该阈值是一个经验值，为非唯一文件DNA片段数量占提取的全部文件DNA片段数量的最大比例值。假设某一个多媒体文件的文件DNA片段为20个，则当网络环境较好时，可以提取到全部的20个文件DNA片段，如果其中有10个文件DNA片段不是唯一的，也可以判定该文件DNA是有效的，此时设定有效性阈值为50％；如果，网络环境较差，则只捕获到3个文件DNA片段时，如果其中有1个文件DNA片段不是唯一的，可以判定该DNA文件是无效的，此时可以设定有效性阈值为30％。
当非唯一文件DNA片段数量占提取的全部文件DNA片段数量的比例值大于该有效性阈值时，判断文件DNA无效，返回步骤601；否则，执行步骤604。
步骤604，将文件DNA存入文件DNA数据库。
并将文件DNA以“文件DNA信息+文件DNA数据”的格式存入文件DNA数据库。
在该流程中，在提取文件DNA片段后，还需要验证文件DNA的可用性，通过此种方式可以使提取出的文件DNA在后续的监测追踪过程中具有较好的鲁棒性。
图7为本发明中文件DNA识别方法的流程图，具体步骤如下：
步骤701，访问文件DNA数据库，获取某一特定多媒体文件的文件DNA。
文件DNA识别模块首先从文件DNA数据库获取某一特定多媒体文件的文件DNA。
步骤702，访问数据流数据库，获取某一数据流。
步骤703，判断在当前数据流中识别出的文件DNA的文件DNA片段的数量是否大于等于预设的阈值(如阈值为3)，如果是，则执行步骤704；否则，返回执行步骤702，即在数据流数据库中再读取一条数据流进行识别。
步骤704，得到识别结果，将识别结果保存至识别结果数据库。
一旦发现数据流中存在一定数量(达到或超过阈值)的该多媒体文件的文件DNA片段，则确定在该数据流所属的网络传输过程中存在该特定多媒体文件的传输。则可以将识别结果，如该数据流的相关信息(数据流大小、源IP地址、目的IP地址等)、该多媒体文件的相关信息(多媒体文件类型、源IP地址、目的IP地址等)保存至识别结果数据库中供用户参考。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种多媒体资源传播的监测追踪方法，其特征在于，该方法包括：
数据采集模块对网络链路中的数据包进行捕获；
数据流还原模块对所述捕获到的数据包进行重组，完成数据流的还原，并存入数据流数据库；
文件DNA提取模块从多媒体文件中提取文件DNA片段，组成文件DNA，存入文件DNA数据库；
文件DNA识别模块从所述文件DNA数据库中调用文件DNA，并在所述数据流中识别所述文件DNA的文件DNA片段，得到识别结果。
2.根据权利要求1所述多媒体资源传播的监测追踪方法，其特征在于，所述数据采集模块捕获数据包之前，该方法还包括：
配置单次采集过程需要捕获的数据包的个数、和单个数据包大小的最大值；并依据所述单次采集过程需要捕获的数据包的个数、和单个数据包大小的最大值，为所述捕获的数据包分配缓存的内存空间。
3.根据权利要求2所述多媒体资源传播的监测追踪方法，其特征在于，所述数据采集模块捕获数据包之后，该方法还包括：
依据到达时间+包头信息+有效载荷的数据结构对所述捕获的数据包进行解析，并换存入所述内存空间；
所述到达时间为捕获到所述数据包的时间；所述包头信息至少包括所述数据包的传输层五元组信息；所述有效载荷为所述数据包的有效数据；
所述传输层五元组信息为：源IP地址、目的IP地址、源端口号、目的端口号以及传输层协议类型。
4.根据权利要求3所述多媒体资源传播的监测追踪方法，其特征在于，所述数据流还原模块对数据包进行重组，具体为：
从所述内存空间中读取所述数据包；
以读取的当前数据包包头的传输层五元组信息为索引创建数据流，并将当前数据包的有效载荷添加至所述创建的数据流中，完成数据流的还原。
5.根据权利要求1所述多媒体资源传播的监测追踪方法，其特征在于，所述文件DNA提取模块提取文件DNA片段，组成文件DNA，具体为：
从多媒体文件中提取出多个数据片段，作为所述文件DNA片段；
将所述多个文件DNA片段组合成文件DNA数据；
将所述文件DNA数据的相关信息作为文件DNA信息，和所述文件DNA数据写入文件，形成所述文件DNA。
6.根据权利要求5所述多媒体资源传播的监测追踪方法，其特征在于，所述文件DNA提取模块提取文件DNA片段之前，该方法还包括：
依据多媒体文件的类型选择相应的文件DNA片段的提取方式；
依据所述文件DNA片段的提取方式从所述多媒体文件中提取所述文件DNA片段。
7.根据权利要求5所述多媒体资源传播的监测追踪方法，其特征在于，组成所述文件DNA之后，该方法还包括：
判定所述文件DNA中非唯一文件DNA片段数量占全部文件DNA片段数量的比例值大于预设的有效性阈值时，判定所述文件DNA无效；否则，判定所述文件DNA有效；
所述文件DNA无效时，该方法进一步包括：重新选择所述文件DNA片段的提取方式，并重新提取所述文件DNA片段；
所述文件DNA有效，该方法进一步包括：将所述文件DNA以文件DNA信息+文件DNA数据的格式存入所述文件DNA数据库中。
8.根据权利要求1所述多媒体资源传播的监测追踪方法，其特征在于，所述文件DNA识别模块识别所述文件DNA片段，得到识别结果，具体为：
访问所述数据流数据库，获取数据流；
判定所述数据流中识别出的所述文件DNA片段的数量是否大于等于预设的阈值时，得到识别结果，确定在所述数据流所属的网络传输过程中存在所述文件DNA片段所属的多媒体文件的传输；
否则，重新从所述数据流数据库中获取数据流。
9.根据权利要求8所述多媒体资源传播的监测追踪方法，其特征在于，该方法进一步包括：将所述识别结果存入识别结果数据库中；
所述识别结果至少包括：所述数据流的相关信息、和所述文件DNA片段所属的多媒体文件的相关信息。
10.一种多媒体资源传播的监测追踪***，其特征在于，该***包括：
数据采集模块，用于对网络链路中的数据包进行捕获；
数据流还原模块，用于对所述捕获到的数据包进行重组，完成数据流的还原；
数据流数据库，用于存储所述还原后的数据流；
文件DNA提取模块，用于从多媒体文件中提取文件DNA片段，组成文件DNA；
文件DNA数据库，用于存储所述文件DNA；
文件DNA识别模块，用于从所述文件DNA数据库中调用文件DNA，并在所述数据流数据库的数据流中识别所述文件DNA的文件DNA片段，得到识别结果。
11.根据权利要求10所述多媒体资源传播的监测追踪***，其特征在于，该***进一步包括：识别结果数据库，用于存储所述识别结果。
CN200910180572.1A 2009-10-20 2009-10-20 一种多媒体资源传播的监测追踪方法和*** Active CN102045305B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200910180572.1A CN102045305B (zh) 2009-10-20 2009-10-20 一种多媒体资源传播的监测追踪方法和***
PCT/CN2010/072380 WO2010145340A1 (zh) 2009-10-20 2010-04-30 一种多媒体资源传播的监测追踪方法和***
US13/258,041 US20120197847A1 (en) 2009-10-20 2010-04-30 Method and System for Monitoring and Tracing Multimedia Resource Transmission
EP10788736.6A EP2472943A4 (en) 2009-10-20 2010-04-30 METHOD AND SYSTEM FOR MONITORING AND TRACKING MULTIMEDIA-REAR COMMUNICATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910180572.1A CN102045305B (zh) 2009-10-20 2009-10-20 一种多媒体资源传播的监测追踪方法和***

Publications (2)

Publication Number Publication Date
CN102045305A true CN102045305A (zh) 2011-05-04
CN102045305B CN102045305B (zh) 2015-06-10

Family

ID=43355782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910180572.1A Active CN102045305B (zh) 2009-10-20 2009-10-20 一种多媒体资源传播的监测追踪方法和***

Country Status (4)

Country Link
US (1) US20120197847A1 (zh)
EP (1) EP2472943A4 (zh)
CN (1) CN102045305B (zh)
WO (1) WO2010145340A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104316328A (zh) * 2014-05-29 2015-01-28 潍柴动力股份有限公司 一种车辆平顺性的测定方法
CN110061955A (zh) * 2018-01-19 2019-07-26 北京盛世光明软件股份有限公司 一种基于数据流的数据还原***
CN110472123A (zh) * 2019-08-06 2019-11-19 沈阳大学 一种媒体资源监测方法
CN110753060A (zh) * 2019-10-25 2020-02-04 深信服科技股份有限公司 一种进程操作控制方法、装置及电子设备和存储介质
CN112039904A (zh) * 2020-09-03 2020-12-04 福州林科斯拉信息技术有限公司 一种网络流量分析与文件提取***及方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824437B2 (en) * 2011-03-02 2014-09-02 Ricoh Company, Ltd. Wireless communications device, electronic apparatus, and methods for determining and updating access point
CN102710603B (zh) * 2012-05-02 2014-10-08 华为技术有限公司 媒体信息的生成方法、终端、服务器及ahs***
WO2014101090A1 (zh) * 2012-12-28 2014-07-03 华为技术有限公司 缓存报文的方法和装置
US8761181B1 (en) * 2013-04-19 2014-06-24 Cubic Corporation Packet sequence number tracking for duplicate packet detection
WO2016175846A1 (en) * 2015-04-30 2016-11-03 Hewlett Packard Enterprise Development Lp Extracting data from network communications
US10068094B2 (en) * 2016-01-07 2018-09-04 Datiphy Inc. System and method for tracing data access and detecting abnormality in the same
US11017170B2 (en) 2018-09-27 2021-05-25 At&T Intellectual Property I, L.P. Encoding and storing text using DNA sequences
CN114579152B (zh) * 2022-05-06 2022-07-29 中科亿海微电子科技（苏州）有限公司 一种fpga下载器及其下载速度调节方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020042875A1 (en) * 2000-10-11 2002-04-11 Jayant Shukla Method and apparatus for end-to-end secure data communication
US20020129140A1 (en) * 2001-03-12 2002-09-12 Ariel Peled System and method for monitoring unauthorized transport of digital content
US20090113545A1 (en) * 2005-06-15 2009-04-30 Advestigo Method and System for Tracking and Filtering Multimedia Data on a Network

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6175830B1 (en) * 1999-05-20 2001-01-16 Evresearch, Ltd. Information management, retrieval and display system and associated method
US20040073617A1 (en) * 2000-06-19 2004-04-15 Milliken Walter Clark Hash-based systems and methods for detecting and preventing transmission of unwanted e-mail
US7428243B2 (en) * 2002-10-18 2008-09-23 Darby & Mohaine, Llc Method and system for varying data packet size for controlling bandwidth
DE10305657A1 (de) * 2003-02-12 2004-08-26 Robert Bosch Gmbh Verfahren zur Rekonstruktion von Multimedia-Objekt-Daten mit Digital-Audio-Broadcast (DAB-Empfänger)
CA2561948A1 (en) * 2004-04-01 2005-10-20 Neomedia Technologies, Inc. System and method of using dna for linking to network resources
JP4718122B2 (ja) * 2004-04-06 2011-07-06 株式会社日立製作所 メディア配信装置
US20060045124A1 (en) * 2004-08-31 2006-03-02 Kidsnet, Inc. Method and apparatus for providing access controls to communication services
WO2006059053A1 (en) * 2004-11-30 2006-06-08 The University Court Of The University Of St Andrews System, method & computer program product for video fingerprinting
JP2007036687A (ja) * 2005-07-27 2007-02-08 Sharp Corp 動画像再生装置及び方法
CN101174995B (zh) * 2006-11-03 2010-05-12 中兴通讯股份有限公司 一种多媒体服务性能监测的方法和***
US8135344B2 (en) * 2008-02-13 2012-03-13 Apple Inc. Method for using bluetooth module to process non-bluetooth signals
US7929514B2 (en) * 2009-06-30 2011-04-19 Alcatel-Lucent Usa Inc. Method and apparatus for mobile flow record generation and analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020042875A1 (en) * 2000-10-11 2002-04-11 Jayant Shukla Method and apparatus for end-to-end secure data communication
US20020129140A1 (en) * 2001-03-12 2002-09-12 Ariel Peled System and method for monitoring unauthorized transport of digital content
US20090113545A1 (en) * 2005-06-15 2009-04-30 Advestigo Method and System for Tracking and Filtering Multimedia Data on a Network

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104316328A (zh) * 2014-05-29 2015-01-28 潍柴动力股份有限公司 一种车辆平顺性的测定方法
CN104316328B (zh) * 2014-05-29 2017-09-05 潍柴动力股份有限公司 一种车辆平顺性的测定方法
CN110061955A (zh) * 2018-01-19 2019-07-26 北京盛世光明软件股份有限公司 一种基于数据流的数据还原***
CN110472123A (zh) * 2019-08-06 2019-11-19 沈阳大学 一种媒体资源监测方法
CN110753060A (zh) * 2019-10-25 2020-02-04 深信服科技股份有限公司 一种进程操作控制方法、装置及电子设备和存储介质
CN112039904A (zh) * 2020-09-03 2020-12-04 福州林科斯拉信息技术有限公司 一种网络流量分析与文件提取***及方法

Also Published As

Publication number Publication date
WO2010145340A1 (zh) 2010-12-23
CN102045305B (zh) 2015-06-10
EP2472943A4 (en) 2014-01-29
EP2472943A1 (en) 2012-07-04
US20120197847A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
CN102045305B (zh) 一种多媒体资源传播的监测追踪方法和***
CN101409706B (zh) 一种边缘网络中的数据分发方法、数据分发***及相关设备
CN101795230B (zh) 一种网络流量还原方法
CN102769549B (zh) 网络安全监控的方法和装置
WO2022083417A1 (zh) 一种数据包处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品
CN110213212A (zh) 一种设备的分类方法和装置
CN102882703A (zh) 一种基于http分析的url自动分类分级的***及方法
CN103051725A (zh) 应用识别方法、数据挖掘方法、装置及***
CN110650128A (zh) 一种检测以太坊数字货币盗取攻击的***及方法
CN101217547B (zh) 基于开源内核的无状态的泛洪请求攻击过滤方法
CN108833450B (zh) 一种实现服务器防攻击方法及装置
CN102724317A (zh) 一种网络数据流量分类方法和装置
CN104750808B (zh) 基于Hadoop大数据平台的卡口数据过边界实施方法
CN102801698B (zh) 一种基于url请求时序的恶意代码检测方法和***
CN102571946A (zh) 一种基于对等网络的协议识别与控制***的实现方法
CN103036910A (zh) 一种用户Web访问行为控制方法及装置
CN100576906C (zh) 一种网络内容传输控制***和方法
CN115883497A (zh) 一种网络通信数据处理***
CN112671810B (zh) 一种数据处理方法、装置、电子设备、服务器及存储设备
KR102224469B1 (ko) 실시간 영상 컨텐츠 보호 시스템
CN108418871A (zh) 一种云存储性能优化方法和***
CN103095718A (zh) 一种基于Hadoop的应用层协议特征提取方法
CN102664813B (zh) 一种p2p流量本地化***及方法
CN102185705B (zh) 一种基于信息还原的内网视频文件监控方法
CN104023000A (zh) 一种网络入侵检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170505

Address after: 518057 A3-01 and A3-02 building, Zhongxing building, Nanshan District hi tech Industrial Park, Shenzhen, Guangdong, China

Patentee after: Shenzhen Zhongxing Communication Technology Service Co., Ltd.

Address before: 518057 Nanshan District Guangdong high tech Industrial Park, South Road, science and technology, ZTE building, Ministry of Justice

Patentee before: ZTE Corporation