JP6944617B1 - パケットキャプチャ装置及び方法 - Google Patents
パケットキャプチャ装置及び方法 Download PDFInfo
- Publication number
- JP6944617B1 JP6944617B1 JP2021522109A JP2021522109A JP6944617B1 JP 6944617 B1 JP6944617 B1 JP 6944617B1 JP 2021522109 A JP2021522109 A JP 2021522109A JP 2021522109 A JP2021522109 A JP 2021522109A JP 6944617 B1 JP6944617 B1 JP 6944617B1
- Authority
- JP
- Japan
- Prior art keywords
- packet
- capture
- memory
- packets
- secondary storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000003860 storage Methods 0.000 claims abstract description 95
- 238000004891 communication Methods 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 14
- 230000000052 comparative effect Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
- H04L43/022—Capturing of monitoring data by sampling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
12、12a〜12d、14 二次記憶装置
20 パケットキャプチャ装置
21 キャプチャ部
21a 第1キャプチャ部
21b 第2キャプチャ部
22 制御部
23 第1NUMAノード
23a 第1プロセッサ
23b 第1メモリ
24 第2NUMAノード
24a 第2プロセッサ
24b 第2メモリ
25 インタフェース部
25a 第1インタフェース部
25b 第2インタフェース部
26a、26b、27a、27b RAIDコントローラ
30a〜30c、40a〜40c キャプチャスレッド
31、41 ロードバランサ
32a〜32c、42a〜42c ストアスレッド
33a〜33c、43a〜43c キュー
Claims (5)
- 通信ネットワークを流れるパケットをキャプチャして二次記憶装置に記録するパケットキャプチャ装置であって、
前記通信ネットワークを200Gbpsで流れるパケットを取りこぼすことなく連続してキャプチャするキャプチャ部と、
前記キャプチャ部でキャプチャされたパケットを一時的に保持する制御部と、
前記制御部に一時的に保持されたパケットを前記二次記憶装置に記録するインタフェース部とを備え、
前記制御部は、NUMA(Non−Uniform Memory Access)アーキテクチャを構成する2つのNUMAノードであって、第1プロセッサと第1メモリとで構成される第1NUMAノード、及び、第2プロセッサと第2メモリとで構成される第2NUMAノードと、前記第1プロセッサと前記第2プロセッサとを接続する通信路とを有し、
前記キャプチャ部は、
前記第1NUMAノードに接続され、前記通信ネットワークを流れるパケットをキャプチャし、キャプチャしたパケットを前記第1メモリに格納する第1キャプチャ部と、
前記第2NUMAノードに接続され、前記通信ネットワークを流れるパケットを、前記第1キャプチャ部によるキャプチャと並行してキャプチャし、キャプチャしたパケットを前記第2メモリに格納する第2キャプチャ部とを有し、
前記インタフェース部は、
前記第1NUMAノードに接続され、前記第1メモリに格納されたパケットを前記二次記憶装置に記録する第1インタフェース部と、
前記第2NUMAノードに接続され、前記第2メモリに格納されたパケットを、前記第1インタフェース部による記録と並行して前記二次記憶装置に記録する第2インタフェース部とを有し、
(1)前記第1キャプチャ部によってキャプチャされたパケットが、前記通信路を経由することなく、前記第1NUMAノードを構成する前記第1メモリに格納された後に前記第1NUMAノードに接続された前記第1インタフェース部を介して前記二次記憶装置に記録される処理と、(2)前記第2キャプチャ部によってキャプチャされたパケットが、前記通信路を経由することなく、前記第2NUMAノードを構成する前記第2メモリに格納された後に前記第2NUMAノードに接続された前記第2インタフェース部を介して前記二次記憶装置に記録される処理とが、並列に行われる
パケットキャプチャ装置。 - 前記第1キャプチャ部は、前記通信ネットワークを100Gbpsで流れる第1種類のパケットをキャプチャし、キャプチャしたパケットを前記第1メモリに格納し、
前記第2キャプチャ部は、前記通信ネットワークを100Gbpsで流れる第2種類のパケットを、前記第1キャプチャ部によるキャプチャと並行してキャプチャし、キャプチャしたパケットを前記第2メモリに格納する
請求項1記載のパケットキャプチャ装置。 - 前記第1種類のパケットは、前記通信ネットワークにおける上りのパケットであり、
前記第2種類のパケットは、前記通信ネットワークにおける下りのパケットである
請求項2記載のパケットキャプチャ装置。 - 前記第1メモリは、前記第1プロセッサによって並列処理される複数の第1スレッドを保持し、
前記複数の第1スレッドには、前記第1キャプチャ部によってキャプチャされたパケットを前記第1メモリに格納する複数のスレッド、及び、前記第1メモリに格納されたパケットを、前記第1インタフェース部を介して前記二次記憶装置に記録する複数のスレッドが含まれ、
前記第2メモリは、前記第2プロセッサによって並列処理される複数の第2スレッドを保持し、
前記複数の第2スレッドには、前記第2キャプチャ部によってキャプチャされたパケットを前記第2メモリに格納する複数のスレッド、及び、前記第2メモリに格納されたパケットを、前記第2インタフェース部を介して前記二次記憶装置に記録する複数のスレッドが含まれる
請求項1〜3のいずれか1項に記載のパケットキャプチャ装置。 - 通信ネットワークを流れるパケットをキャプチャして二次記憶装置に記録するパケットキャプチャ方法であって、
前記通信ネットワークを200Gbpsで流れるパケットを取りこぼすことなく連続してキャプチャするキャプチャステップと、
前記キャプチャステップでキャプチャされたパケットを前記二次記憶装置に記録する記録ステップとを含み、
前記キャプチャステップは、
前記通信ネットワークを流れるパケットをキャプチャし、キャプチャしたパケットを、NUMA(Non−Uniform Memory Access)アーキテクチャを構成する第1NUMAノードが有する第1メモリに格納する第1キャプチャステップと、
前記通信ネットワークを流れるパケットを、前記第1キャプチャステップによるキャプチャと並行してキャプチャし、キャプチャしたパケットを、前記NUMAアーキテクチャを構成する第2NUMAノードが有する第2メモリに格納する第2キャプチャステップとを含み、
前記記録ステップは、
前記第1メモリに格納されたパケットを前記二次記憶装置に記録する第1記録ステップと、
前記第2メモリに格納されたパケットを、前記第1記録ステップによる記録と並行して前記二次記憶装置に記録する第2記録ステップとを含み、
前記第1キャプチャステップ、前記第2キャプチャステップ、前記第1記録ステップ、及び、前記第2記録ステップでは、前記パケットは、前記第1NUMAノードを構成する第1プロセッサと前記第2NUMAノードを構成する第2プロセッサとを接続する通信路を経由しない
パケットキャプチャ方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/017856 WO2021215011A1 (ja) | 2020-04-24 | 2020-04-24 | パケットキャプチャ装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6944617B1 true JP6944617B1 (ja) | 2021-10-06 |
JPWO2021215011A1 JPWO2021215011A1 (ja) | 2021-10-28 |
Family
ID=77915158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021522109A Active JP6944617B1 (ja) | 2020-04-24 | 2020-04-24 | パケットキャプチャ装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11296958B2 (ja) |
JP (1) | JP6944617B1 (ja) |
CN (1) | CN115428409B (ja) |
WO (1) | WO2021215011A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190354318A1 (en) * | 2017-05-31 | 2019-11-21 | FMAD Engineering GK | High-Speed Data Packet Capture and Storage with Playback Capabilities |
JP2019536383A (ja) * | 2016-11-30 | 2019-12-12 | 新華三技術有限公司New H3C Technologies Co., Ltd. | パケット伝送 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0954658A (ja) | 1995-06-08 | 1997-02-25 | Sanyo Electric Co Ltd | 並列二次記憶装置およびそのアクセス方法 |
US5887146A (en) * | 1995-08-14 | 1999-03-23 | Data General Corporation | Symmetric multiprocessing computer with non-uniform memory access architecture |
US6418517B1 (en) * | 1997-08-29 | 2002-07-09 | International Business Machines Corporation | Optimized function execution for a multiprocessor computer system |
US6275900B1 (en) * | 1999-01-27 | 2001-08-14 | International Business Machines Company | Hybrid NUMA/S-COMA system and method |
US7508764B2 (en) * | 2005-09-12 | 2009-03-24 | Zeugma Systems Inc. | Packet flow bifurcation and analysis |
US7733891B2 (en) * | 2005-09-12 | 2010-06-08 | Zeugma Systems Inc. | Methods and apparatus to support dynamic allocation of traffic management resources in a network element |
US7797588B2 (en) * | 2008-02-01 | 2010-09-14 | International Business Machines Corporation | Mechanism to provide software guaranteed reliability for GSM operations |
JP5157846B2 (ja) * | 2008-11-21 | 2013-03-06 | 富士通株式会社 | 負荷分散プログラム、キャプチャ装置及び負荷分散方法 |
US20110103391A1 (en) * | 2009-10-30 | 2011-05-05 | Smooth-Stone, Inc. C/O Barry Evans | System and method for high-performance, low-power data center interconnect fabric |
US10877695B2 (en) * | 2009-10-30 | 2020-12-29 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
US9648102B1 (en) * | 2012-12-27 | 2017-05-09 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
US9037898B2 (en) * | 2012-12-18 | 2015-05-19 | International Business Machines Corporation | Communication channel failover in a high performance computing (HPC) network |
US20150262632A1 (en) * | 2014-03-12 | 2015-09-17 | Fusion-Io, Inc. | Grouping storage ports based on distance |
US9684597B1 (en) * | 2014-08-07 | 2017-06-20 | Chelsio Communications, Inc. | Distributed cache coherent shared memory controller integrated with a protocol offload network interface card |
CN105357151B (zh) * | 2015-11-19 | 2019-03-19 | 成都科来软件有限公司 | 一种基于dpdk的抓包及镜像流量转发方法 |
CN106936739B (zh) | 2015-12-30 | 2020-02-11 | 新华三技术有限公司 | 一种报文转发方法及装置 |
US10250511B2 (en) | 2016-06-10 | 2019-04-02 | International Business Machines Corporation | Persistent flow identifiers enabling disparate applications |
JP6855906B2 (ja) * | 2017-04-25 | 2021-04-07 | 富士通株式会社 | スイッチプログラム、スイッチング方法及び情報処理装置 |
US11036438B2 (en) * | 2017-05-31 | 2021-06-15 | Fmad Engineering Kabushiki Gaisha | Efficient storage architecture for high speed packet capture |
WO2019111303A1 (ja) * | 2017-12-04 | 2019-06-13 | 株式会社東陽テクニカ | データ書き込み装置及び方法 |
-
2020
- 2020-04-24 WO PCT/JP2020/017856 patent/WO2021215011A1/ja active Application Filing
- 2020-04-24 JP JP2021522109A patent/JP6944617B1/ja active Active
- 2020-04-24 US US17/430,866 patent/US11296958B2/en active Active
- 2020-04-24 CN CN202080099956.5A patent/CN115428409B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019536383A (ja) * | 2016-11-30 | 2019-12-12 | 新華三技術有限公司New H3C Technologies Co., Ltd. | パケット伝送 |
US20190354318A1 (en) * | 2017-05-31 | 2019-11-21 | FMAD Engineering GK | High-Speed Data Packet Capture and Storage with Playback Capabilities |
Non-Patent Citations (1)
Title |
---|
PAUL, M. V. V. ET AL.: "Traffic Capture beyond 10 Gbps: Linear Scaling with Multiple Network Interface Cards on Commodity Se", PROCEEDINGS OF THE 2014 INTERNATIONAL CONFERENCE ON DATA SCIENCE & ENGINEERING (ICDSE), JPN6021030324, 4 December 2014 (2014-12-04), pages 194 - 199, ISSN: 0004583247 * |
Also Published As
Publication number | Publication date |
---|---|
US20220045918A1 (en) | 2022-02-10 |
CN115428409B (zh) | 2023-04-11 |
JPWO2021215011A1 (ja) | 2021-10-28 |
WO2021215011A1 (ja) | 2021-10-28 |
CN115428409A (zh) | 2022-12-02 |
US11296958B2 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101827369B1 (ko) | 데이터 스트림 분산 병렬 처리 서비스 관리 장치 및 방법 | |
US8898385B2 (en) | Methods and structure for load balancing of background tasks between storage controllers in a clustered storage environment | |
JP2012533796A5 (ja) | ||
KR20100070968A (ko) | 클러스터 데이터 관리 시스템 및 클러스터 데이터 관리 시스템에서 병렬 처리를 이용한 데이터 복구 방법 | |
US11281509B2 (en) | Shared memory management | |
CN106951488A (zh) | 一种日志记录方法和装置 | |
US9507633B2 (en) | Scheduling method and system | |
US9690713B1 (en) | Systems and methods for effectively interacting with a flash memory | |
US11194522B2 (en) | Networked shuffle storage | |
CN105681402A (zh) | 一种基于PCIe闪存卡的分布式高速数据库集成*** | |
US9477412B1 (en) | Systems and methods for automatically aggregating write requests | |
US20200285510A1 (en) | High precision load distribution among processors | |
Islam et al. | Efficient data access strategies for Hadoop and Spark on HPC cluster with heterogeneous storage | |
US9734087B2 (en) | Apparatus and method for controlling shared cache of multiple processor cores by using individual queues and shared queue | |
US10078602B2 (en) | Information processing apparatus, memory controller, and memory control method | |
JP6944617B1 (ja) | パケットキャプチャ装置及び方法 | |
US20230105953A1 (en) | Systems and methods for object migration in storage devices | |
JP6377304B1 (ja) | データ書き込み装置及び方法 | |
US9710409B2 (en) | Interrupt control apparatus and interrupt control method | |
US10824640B1 (en) | Framework for scheduling concurrent replication cycles | |
US10928871B2 (en) | Computing device and operation method thereof | |
JP6836536B2 (ja) | ストレージシステム及びio処理の制御方法 | |
CN111666253A (zh) | 向具有共享存储器的共享处理元件的***传递可编程数据 | |
KR102353930B1 (ko) | 분리된 메모리 기기 | |
US11704211B1 (en) | Error avoidance in memory device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210422 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210526 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20210716 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210910 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6944617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |