CN116055573A - 一种混合数据处理方法、架构 - Google Patents

一种混合数据处理方法、架构 Download PDF

Info

Publication number
CN116055573A
CN116055573A CN202310030129.6A CN202310030129A CN116055573A CN 116055573 A CN116055573 A CN 116055573A CN 202310030129 A CN202310030129 A CN 202310030129A CN 116055573 A CN116055573 A CN 116055573A
Authority
CN
China
Prior art keywords
data
key parameters
source
physical interface
ethernet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310030129.6A
Other languages
English (en)
Inventor
陈泽华
王小梅
冯子滕
张�杰
刘泽顺
王雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dongsheng Data Co ltd
Original Assignee
Shenzhen Dongsheng Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dongsheng Data Co ltd filed Critical Shenzhen Dongsheng Data Co ltd
Priority to CN202310030129.6A priority Critical patent/CN116055573A/zh
Publication of CN116055573A publication Critical patent/CN116055573A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/06—Notations for structuring of protocol data, e.g. abstract syntax notation one [ASN.1]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种混合数据处理方法、架构，该方法包括如下步骤：将各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；通过以太网物理接口采集步骤S1输出的数据，并提取数据源的关键参数，并放入缓存队列；读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。本申请技术方案解决了现有的串行输出和处理方案接口多，成本高的问题。

Description

一种混合数据处理方法、架构
技术领域
本申请涉及通讯技术领域，特别涉及一种混合数据处理方法、架构。
背景技术
在通信数据处理领域，存在混合接入情况下的数据输入和数据处理需求，即同时存在IP、非IP等多种类型数据输入和数据处理的情况。当前通信数据处理一般采用分类接入、分类处理、汇聚输出的处理方案，其处理框架如图1所示，其中，源设备用于提供处理设备所需的输入数据，一种源设备可能输出不只一种类型的数据，比如几种IP类、几种非IP类，或者几种IP类+几种非IP类；IP类可分为若干种数据类型，非IP类也可分为若干种数据类型；处理设备用于分别处理相应类型的IP类或非IP类数据；汇聚输出用于将各类处理设备的处理结果进行汇聚；图中，IP类的若干种数据和非IP类的若干种数据输入相应的处理设备，最后再将各类处理设备的处理结果进行汇聚输出。
但是，现有的这种数据处理方式，对于IP类的若干种数据需要的接口可能不同，非IP类数据更是需要源设备与处理设备之间提供专用物理接口进行对接；同一源设备内的IP类、非IP类数据需要分时处理；专用物理接口存在开发慢、成本高、维护难等问题。
发明内容
本申请提出一种混合数据处理方法、架构，解决现有的串行输出和处理方案接口多，成本高的问题。
本申请实施例提供一种混合数据处理方法，包括如下步骤：
S1：将各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
S2：通过以太网物理接口采集步骤S1输出的数据，并提取数据源的关键参数，并放入缓存队列；
S3：读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。
一些实施例中，步骤S1中具体包括：
将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量。
一些实施例中，所述IP数据包括以太网、GFP、FR、PPP、HDLC。
一些实施例中，所述非IP数据包括OTN或ODU或OPU或OH、SDH或VC4或C4或E1或OH、ATM。
一些实施例中，步骤S2具体包括：
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
一些实施例中，所述以太网物理接口包括10GE物理接口或100GE物理接口或200GE物理接口或400GE物理接口。
一些实施例中，所述以太网物理接口设置为100GE物理接口，步骤S1中，若总输出流量不大于100Gbps，则采用一个100GE物理接口，若总输出流量每增加100Gbps，则增加一个100GE物理接口。
本申请实施例还提供一种混合数据处理架构，包括：
统一输出单元，用于将各类源设备输出的各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
统一输入单元，与所述统一输出单元相连，通过以太网物理接口采集统一输出单元输出的数据，并提取数据源的关键参数，并放入缓存队列；
协同调度单元，用于读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。
一些实施例中，所述统一输出单元具体用于将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量；
所述统一输入单元具体用于从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
一些实施例中，所述统一输出单元与所述统一输入单元之间通过100GE物理接口直接连接，或者所述统一输出单元与所述统一输入单元之间通过100GE交换设备连接。
与现有技术相比，本申请的有益效果是：
1.采用虚拟IP总线思路，支持多类数据交换，易用性、扩展性、稳定性较好；
2.摒弃复杂、专用的物理接口，转而采用成熟、稳定的以太网物理接口，降低硬件开发成本和软件开发成本；
3.支持同一源设备内IP类数据和非IP类数据的同时输出，将原来的串行输出、串行处理方案，升级为并行处理方案。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为现有技术中混合数据处理架构图；
图2为本申请混合数据处理架构图；
图3为本申请IP数据封装示意图；
图4为本申请非IP数据封装示意图；
图5为本申请IP数据提取示意图；
图6为本申请非IP数据提取示意图；
图7为本申请统一输入单元和统一输出单元之间连接示意图；
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。
除非另有定义，本申请所使用的的所有技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
本实施例提出的一种混合数据处理方法，包括如下步骤：
S1：将各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
参考图3和图4，步骤S1中具体包括：
将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量。
S2：通过以太网物理接口采集步骤S1输出的数据，并提取数据源的关键参数，并放入缓存队列；
参考图5和图6，步骤S2具体包括：
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
S3：读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理；
具体地，对于IP类数据如以太网、GFP等，分发给原以太网、GFP处理软件进行数据处理。
对于非IP类数据如OTN、SDH等，分发给原OTN、SDH处理软件进行数据处理。
应当说明的是，本实施例改善了现有混合数据的处理方法，取消了传统的专用物理接口的方式，采取虚拟IP交换总线的思路用通用物理接口代替专用物理接口，使得各种IP类、非IP类数据均可通过统一总线进行发送、接收，从而使用户可聚焦于数据处理，而不必关注专用设备物理接口开发。
进一步地，所述IP数据包括以太网、GFP、FR、PPP、HDLC。所述非IP数据包括OTN或ODU或OPU或OH、SDH或VC4或C4或E1或OH、ATM。
进一步地，所述以太网物理接口包括10GE物理接口或100GE物理接口或200GE物理接口或400GE物理接口。通过200GE、400GE甚至更高速率以太网物理接口来实现虚拟IP交换总线，可进一步提升***架构交换能力，提供更好的高速数据接入能力，而考虑到所有源设备的输出流量较低的情况，也可用10GE替换100GE建立虚拟IP交换总线，进一步降低硬件成本和***功耗。
进一步地，考虑到所有源设备的输出流量有限的情况，可在提高处理设备CPU、内存、存储等配置的前提下，通过少量100GE端口采集，实现单套处理设备直接完成多种IP类、非IP类数据的处理。
本实施例中，所述以太网物理接口设置为100GE物理接口，步骤S1中，根据所有数据源的输出总流量，决定100GE物理接口的数量，确保所有流量能够输出，其中，若总输出流量不大于100Gbps，则采用一个100GE物理接口，若总输出流量每增加100Gbps，则增加一个100GE物理接口。
本实施例还提出一种混合数据处理架构，参考图2，包括：
统一输出单元，用于将各类源设备输出的各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
统一输入单元，与所述统一输出单元相连，通过以太网物理接口采集统一输出单元输出的数据，并提取数据源的关键参数，并放入缓存队列；
协同调度单元，用于读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。
进一步地，所述统一输出单元具体用于将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量；
所述统一输入单元具体用于从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
进一步地，参考图2，所述统一输出单元与所述统一输入单元之间通过100GE物理接口直接连接，或者，参考图7，所述统一输出单元与所述统一输入单元之间通过100GE交换设备连接，实现更丰富的数据交换，比如将同一类IP或同一类非IP数据尽量转发给同一台处理设备。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种混合数据处理方法，其特征在于，包括如下步骤：
S1：将各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
S2：通过以太网物理接口采集步骤S1输出的数据，并提取数据源的关键参数，并放入缓存队列；
S3：读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。
2.如权利要求1所述的混合数据处理方法，其特征在于，步骤S1中具体包括：
将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量。
3.如权利要求1所述的混合数据处理方法，其特征在于，所述IP数据包括以太网、GFP、FR、PPP、HDLC。
4.如权利要求1所述的混合数据处理方法，其特征在于，所述非IP数据包括OTN或ODU或OPU或OH、SDH或VC4或C4或E1或OH、ATM。
5.如权利要求1所述的混合数据处理方法，其特征在于，步骤S2具体包括：
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
6.如权利要求1所述的混合数据处理方法，其特征在于，所述以太网物理接口包括10GE物理接口或100GE物理接口或200GE物理接口或400GE物理接口。
7.如权利要求6所述的混合数据处理方法，其特征在于，所述以太网物理接口设置为100GE物理接口，步骤S1中，若总输出流量不大于100Gbps，则采用一个100GE物理接口，若总输出流量每增加100Gbps，则增加一个100GE物理接口。
8.一种混合数据处理架构，其特征在于，包括：
统一输出单元，用于将各类源设备输出的各类IP数据、非IP数据的数据源封装进以太网，保存数据源的关键参数，并通过以太网物理接口输出；
统一输入单元，与所述统一输出单元相连，通过以太网物理接口采集统一输出单元输出的数据，并提取数据源的关键参数，并放入缓存队列；
协同调度单元，用于读取缓存队列中的IP类数据、非IP类数据，分发给对应的处理软件进行数据处理。
9.如权利要求8所述的混合数据处理架构，其特征在于，所述统一输出单元具体用于将各类IP数据直接通过以太网发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号；
将各类非IP数据进行切割、分片封装进以太网并发送，在源MAC或目的MAC保存数据源的关键参数，所述关键参数包括数据源的线路编号、切割序号、偏移量；
所述统一输入单元具体用于从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出IP类数据，并放入缓存队列；
从源MAC或目的MAC提取数据源的关键参数，进而识别、提取出非IP类数据，并放入缓存队列，将多块数据按顺序合并可恢复得到原始数据。
10.如权利要求8所述的混合数据处理架构，其特征在于，所述统一输出单元与所述统一输入单元之间通过100GE物理接口直接连接，或者所述统一输出单元与所述统一输入单元之间通过100GE交换设备连接。
CN202310030129.6A 2023-01-09 2023-01-09 一种混合数据处理方法、架构 Pending CN116055573A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310030129.6A CN116055573A (zh) 2023-01-09 2023-01-09 一种混合数据处理方法、架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310030129.6A CN116055573A (zh) 2023-01-09 2023-01-09 一种混合数据处理方法、架构

Publications (1)

Publication Number Publication Date
CN116055573A true CN116055573A (zh) 2023-05-02

Family

ID=86130917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310030129.6A Pending CN116055573A (zh) 2023-01-09 2023-01-09 一种混合数据处理方法、架构

Country Status (1)

Country Link
CN (1) CN116055573A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1275298A (zh) * 1998-06-19 2000-11-29 尤尼斯菲尔解决方案公司 用于封装/解封装硬件中每一信道基上的数据的方法和***
CN1507206A (zh) * 2002-12-06 2004-06-23 北京格林威尔科技发展有限公司 电路业务在基于以太网的无源光网络上传输的方法
CN1601982A (zh) * 2003-09-28 2005-03-30 上海贝尔阿尔卡特股份有限公司 一种基于以太网无源光网络的多业务实现方法
US20050169279A1 (en) * 2004-01-20 2005-08-04 Nortel Networks Limited Method and system for Ethernet and ATM service interworking
CN1946007A (zh) * 2006-09-06 2007-04-11 中兴通讯股份有限公司 一种数据业务和sdh业务混合汇聚装置及其方法
CN101741849A (zh) * 2009-12-23 2010-06-16 北京格林伟迪科技有限公司 一种传输串口业务数据的方法、***及设备
CN102204129A (zh) * 2008-10-21 2011-09-28 泰克诺沃斯公司 以太网无源光网络的保护切换的方法和***
CN102231701A (zh) * 2011-06-21 2011-11-02 重庆金美通信有限责任公司 一种兼容ATM并基于IP二/三层交换的QoS服务方法
CN104660360A (zh) * 2015-02-03 2015-05-27 电信科学技术第五研究所 一种以太数据与多路e1数据的处理方法及***
CN111190662A (zh) * 2020-03-17 2020-05-22 天津光电通信技术有限公司 基于x86板卡的网络数据平台及数据采集过滤分析方法
CN112332920A (zh) * 2020-12-02 2021-02-05 天津光电通信技术有限公司 基于x86板卡的100gotn信号处理平台及处理方法
CN113556320A (zh) * 2021-06-18 2021-10-26 珠海惠威科技有限公司 以太网多路音频实时传输方法及设备
CN113949718A (zh) * 2021-10-13 2022-01-18 国网福建省电力有限公司 基于e1及ip混合承载的电力专网调度放号***及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1275299A (zh) * 1998-06-19 2000-11-29 尤尼斯菲尔解决方案公司 用于ip转发和atm交换的设备
CN1275298A (zh) * 1998-06-19 2000-11-29 尤尼斯菲尔解决方案公司 用于封装/解封装硬件中每一信道基上的数据的方法和***
CN1507206A (zh) * 2002-12-06 2004-06-23 北京格林威尔科技发展有限公司 电路业务在基于以太网的无源光网络上传输的方法
CN1601982A (zh) * 2003-09-28 2005-03-30 上海贝尔阿尔卡特股份有限公司 一种基于以太网无源光网络的多业务实现方法
US20050169279A1 (en) * 2004-01-20 2005-08-04 Nortel Networks Limited Method and system for Ethernet and ATM service interworking
CN1946007A (zh) * 2006-09-06 2007-04-11 中兴通讯股份有限公司 一种数据业务和sdh业务混合汇聚装置及其方法
CN102204129A (zh) * 2008-10-21 2011-09-28 泰克诺沃斯公司 以太网无源光网络的保护切换的方法和***
CN101741849A (zh) * 2009-12-23 2010-06-16 北京格林伟迪科技有限公司 一种传输串口业务数据的方法、***及设备
CN102231701A (zh) * 2011-06-21 2011-11-02 重庆金美通信有限责任公司 一种兼容ATM并基于IP二/三层交换的QoS服务方法
CN104660360A (zh) * 2015-02-03 2015-05-27 电信科学技术第五研究所 一种以太数据与多路e1数据的处理方法及***
CN111190662A (zh) * 2020-03-17 2020-05-22 天津光电通信技术有限公司 基于x86板卡的网络数据平台及数据采集过滤分析方法
CN112332920A (zh) * 2020-12-02 2021-02-05 天津光电通信技术有限公司 基于x86板卡的100gotn信号处理平台及处理方法
CN113556320A (zh) * 2021-06-18 2021-10-26 珠海惠威科技有限公司 以太网多路音频实时传输方法及设备
CN113949718A (zh) * 2021-10-13 2022-01-18 国网福建省电力有限公司 基于e1及ip混合承载的电力专网调度放号***及方法

Similar Documents

Publication Publication Date Title
CN101296186B (zh) 一种路由交换设备、方法和交换线卡板
CN108521343B (zh) 一种oam报文的处理方法及装置
WO2007120902A2 (en) Hybrid data switching for efficient packet processing
CN103401773A (zh) 一种实现板间通信的方法及网络设备
US6658006B1 (en) System and method for communicating data using modified header bits to identify a port
CN101160856A (zh) 一种网络处理器
CN104253765A (zh) 一种数据包交换方法、装置以及接入交换机和交换***
CN109005170A (zh) 一种RapidIO协议到FC协议的转换方法
US11196675B2 (en) Flexible-ethernet data processing method and related device
WO2020001127A1 (zh) 使用灵活光网络的业务传输方法、装置、设备及存储介质
EP3208971A1 (en) Method, device and system for reducing centralized protection switching time in potn system
WO2022143046A1 (zh) 一种多路业务传输方法、***、存储介质及电子装置
CN115695553A (zh) 一种fpga片间同步面和管理面的数据传输***及方法
EP2477366B1 (en) Data transmission method, apparatus and system
CN103888372B (zh) 一种流量整形方法和数据处理设备
CN116055573A (zh) 一种混合数据处理方法、架构
CN102404207B (zh) 一种以太网数据的处理方法及装置
CN100536457C (zh) 一种实现同步数字体系上传送数据包的方法和装置
CN111953524A (zh) 一种流水线机制的保护倒换方法及通信设备
CN111654454A (zh) 基于Crossbar的双模混合交换结构和方法
CN102970191A (zh) 一种分布式***中检测协议的实现方法和装置
EP2640016A1 (en) Tunnel multiplexing method for linear protection group and tail-node of tunnel
CN100571219C (zh) 一种负载分担路由器以及实现负载分担的设备、方法
CN106789706B (zh) 一种基于tcam的网络分流***
CN100512189C (zh) 一种弹性分组环用适配装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination