CN111737016A - 一种面向云边融合***的业务数据处理方法及装置 - Google Patents

一种面向云边融合***的业务数据处理方法及装置 Download PDF

Info

Publication number
CN111737016A
CN111737016A CN202010823377.2A CN202010823377A CN111737016A CN 111737016 A CN111737016 A CN 111737016A CN 202010823377 A CN202010823377 A CN 202010823377A CN 111737016 A CN111737016 A CN 111737016A
Authority
CN
China
Prior art keywords
address
network card
service data
mapping
page
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010823377.2A
Other languages
English (en)
Other versions
CN111737016B (zh
Inventor
杨贻宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Feiqi Network Technology Co ltd
Original Assignee
Shanghai Feiqi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Feiqi Network Technology Co ltd filed Critical Shanghai Feiqi Network Technology Co ltd
Priority to CN202010823377.2A priority Critical patent/CN111737016B/zh
Publication of CN111737016A publication Critical patent/CN111737016A/zh
Application granted granted Critical
Publication of CN111737016B publication Critical patent/CN111737016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1009—Address translation using page tables, e.g. page table structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种面向云边融合***的业务数据处理方法及装置。在执行上述方法时，首先采用预设的内存管理模块将Linux***服务器分配的巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中，其次将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化得到目标业务数据的逻辑地址对应的物理地址。最后将物理地址与网卡驱动进行绑定并通过绑定关系访问目标业务数据中的数据信息。如此，能够基于Linux***的巨页机制加快内核的读取速度，使得应用程序通过物理地址与网卡驱动的绑定关系直接访问目标业务数据，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。

Description

一种面向云边融合***的业务数据处理方法及装置
技术领域
本发明涉及云计算、边缘计算、大数据处理技术领域，具体而言，涉及一种面向云边融合***的业务数据处理方法及装置。
背景技术
目前基于Linux的应用软件实现业务数据包的收发时，通常基于操作***提供的Socket接口实现。当应用软件接收到数据包时，应用软件的内核将数据包从网卡的接收缓冲区中拷贝到内核空间中，然后执行协议处理，再由内核将执行完协议处理的数据拷贝到应用软件对应的Socket接口上以实现数据包与外接的交互。整个过程需要经历多次数据包的拷贝操作和协议处理过程，会显著降低应用软件对数据包处理的实时性。
发明内容
为了改善上述问题，本发明提供了一种面向云边融合***的业务数据处理方法及装置。
所述方案揭示一种面向云边融合***的业务数据处理方法，应用于与Linux***服务器通信的应用程序，所述方法包括：
向Linux***服务器发送用于请求巨页内存的分配指令；
当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中；
接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；
通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；
将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。
在优选的方案中，所述方法还包括：
检测是否存在多组待发送数据；
在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
在优选的方案中，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中，包括：
获取Linux***服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；
对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；
采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；
提取最小地址丢失率对应的寻址结果中的寻址路径；
按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
在优选的方案中，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址，包括：
提取所述目标业务数据中的多个数据段地址；其中，所述数据段地址为基地址；
将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。
在优选的方案中，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，包括：
从所述巨页内存中读取页目录表和页表；
按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表；
将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址；
获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息；
按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。
在优选的方案中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，包括：
将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；
根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
所述方案还揭示一种面向云边融合***的业务数据处理装置，应用于与Linux***服务器通信的应用程序，所述装置包括：
指令发送模块，用于向Linux***服务器发送用于请求巨页内存的分配指令；
内存映射模块，用于当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中；
分段映射模块，用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；
分页映射模块，用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；
数据访问模块，用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。
在优选的方案中，所述装置还包括数据并发模块，用于：
检测是否存在多组待发送数据；
在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
在优选的方案中，所述内存映射模块，用于：
获取Linux***服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；
对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；
采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；
提取最小地址丢失率对应的寻址结果中的寻址路径；
按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
在优选的方案中，所述数据访问模块，用于：
将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；
根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
上述方案具有如下的有益技术效果。
首先，采用预设的内存管理模块将Linux***服务器分配的巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中。其次，将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化，从而得到目标业务数据的逻辑地址对应的物理地址。然后，将物理地址与网卡驱动进行绑定并通过物理地址与网卡驱动的绑定关系访问目标业务数据中的数据信息。如此，能够基于Linux***的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开揭示的一种面向云边融合***的业务数据处理方法的步骤流程示意图。
图2为本公开揭示的一种面向云边融合***的业务数据处理装置的模块框图。
图3为本公开揭示的一种应用程序所在的电子设备的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为改善上述问题，本发明实施例提供了一种面向云边融合***的业务数据处理方法，如图1所示，为该方法的步骤流程图，该方法可以应用于与Linux***服务器通信的应用程序。进一步地，该方法可以包括以下步骤S110-步骤S150所描述的内容。
步骤S110，向Linux***服务器发送用于请求巨页内存的分配指令。
步骤S120，当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中。
步骤S130，接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址。
步骤S140，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址。
步骤S150，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。
在应用上述步骤S110-步骤S150所描述的内容时，能够基于Linux***的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。
在上述基础上，为了提高应用程序的数据发送的实时性，在上述步骤S110-步骤S150的基础上，所述方法还可以包括以下步骤（1）和步骤（2）所描述的内容。
（1）检测是否存在多组待发送数据，若存在，则进入步骤（2）。
（2）采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
在上述步骤（2）中，在内存管理模块中进行无锁Ring缓冲设计，这样，能够提高应用程序的数据并发性能，从而提高数据并发的实时性。
发明人在实施上述方案中发现，在将巨页内存映射到网卡驱动的过程中，可能出现地址丢失的现象，为改善上述问题，在上述步骤S120中，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中，具体可以包括以下子步骤S121-子步骤S125所描述的内容。
子步骤S121，获取Linux***服务器的内核参数以及所述内核参数的协议字段。
在本实施例中，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数。
子步骤S122，对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果。
在本实施例中，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项。
子步骤S123，采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果。
在子步骤S123中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率。
子步骤S124，提取最小地址丢失率对应的寻址结果中的寻址路径。
子步骤S125，按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
可以理解，通过上述子步骤S121-子步骤S125所描述的内容，能够根据地址丢失率进行寻址路径的提取，并按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。这样，能够将巨页内存的映射过程中的地址丢失现象最小化，从而确保巨页内存的映射准确性。
在一种可替换的实施方式中，步骤S130所描述的将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址的内容，具体可以包括以下子步骤S131和子步骤S132所描述的内容。
子步骤S131，提取所述目标业务数据中的多个数据段地址。
在本实施例中，所述数据段地址为基地址。
子步骤S132，将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。
在上述基础上，步骤S140所描述的通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，具体可以包括以下子步骤S141-子步骤S145所描述的内容。
子步骤S141，从所述巨页内存中读取页目录表和页表。
子步骤S142，按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表。
子步骤S143，将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址。
子步骤S144，获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息。
子步骤S145，按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。
可以理解，通过上述子步骤S141-子步骤S145所描述的方法，能够提高分页映射转化的速率，从而快速地得到线性地址对应的物理地址。
进一步地，为了准确访问目标业务数据中的数据信息，在步骤S160中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，具体可以包括以下子步骤S161和子步骤S162所描述的内容。
子步骤S161，将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系。
子步骤S162，根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
在具体实施时，通过上述子步骤S161-子步骤S162，能够根据相对地址准确地访问目标业务数据中的数据信息。
在上述基础上，请结合参阅图2，为本发明实施例所提供的面向云边融合***的业务数据处理装置200的模块框图，所述业务数据处理装置200可以包括：指令发送模块210、内存映射模块220、分段映射模块230、分页映射模块240和数据访问模块250。
所述指令发送模块210用于向Linux***服务器发送用于请求巨页内存的分配指令；
所述内存映射模块220用于当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中；
所述分段映射模块230用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；
所述分页映射模块240用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；
所述数据访问模块250用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息。
可选地，所述装置还包括数据并发模块260，用于：
检测是否存在多组待发送数据；
在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
可选地，所述内存映射模块220用于：
获取Linux***服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；
对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；
采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；
提取最小地址丢失率对应的寻址结果中的寻址路径；
按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
可选地，所述数据访问模块250，用于：
将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；
根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
在上述基础上，请结合参阅图3，为上述应用程序所在的电子设备300的硬件结构示意图，该电子设备300可以包括互相之间通信的处理器310和存储器320。其中，处理器300用于从存储器320中调取计算机程序，通过运行该计算机程序执行上述的业务数据处理方法。
综上，本发明实施例所提供的上述业务数据处理方法，首先，采用预设的内存管理模块将Linux***服务器分配的巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中。其次，将接收到的目标业务数据对的逻辑地址依次进行分段映射转化和分页映射转化，从而得到目标业务数据的逻辑地址对应的物理地址。然后，将物理地址与网卡驱动进行绑定并通过物理地址与网卡驱动的绑定关系访问目标业务数据中的数据信息。
如此，能够基于Linux***的巨页机制，加快内核的读取速度，使得应用程序能够独占巨页内存以防止巨页内存换出，进而通过物理地址与网卡驱动的绑定关系直接访问目标业务数据中的数据信息，避免目标业务数据的多次拷贝操作和协议处理。这样可以提高应用程序对目标业务数据处理的实时性。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.一种面向云边融合***的业务数据处理方法，其特征在于，应用于与Linux***服务器通信的应用程序，所述方法包括：
向Linux***服务器发送用于请求巨页内存的分配指令；
当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中；
接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；
通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；
将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息；
其中，将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息，具体包括：
将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；
根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
2.根据权利要求1所述的业务数据处理方法，其特征在于，所述方法还包括：
检测是否存在多组待发送数据；
在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
3.根据权利要求1所述的业务数据处理方法，其特征在于，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中，包括：
获取Linux***服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；
对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；
采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；
提取最小地址丢失率对应的寻址结果中的寻址路径；
按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
4.根据权利要求1所述的业务数据处理方法，其特征在于，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址，包括：
提取所述目标业务数据中的多个数据段地址；其中，所述数据段地址为基地址；
将每个数据段地址按照预设的时间间隔依次与所述逻辑地址进行拼接，得到所述逻辑地址对应的线性地址。
5.根据权利要求1所述的业务数据处理方法，其特征在于，通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址，包括：
从所述巨页内存中读取页目录表和页表；
按照所述页目录表中的第一分割标识和所述页表中的第二分割标识将所述页表进行划分，得到多个子页表；
将所述线性地址分别映射至每个子页表中，得到在每个子页表中的映射地址；
获取所述网卡驱动的线程信息并提取所述线程信息中的多个指向信息；
按照每个指向信息中的地址优先级将每个映射地址进行连接，得到所述物理地址。
6.一种面向云边融合***的业务数据处理装置，其特征在于，应用于与Linux***服务器通信的应用程序，所述装置包括：
指令发送模块，用于向Linux***服务器发送用于请求巨页内存的分配指令；
内存映射模块，用于当Linux***服务器响应于所述分配指令并将所述巨页内存分配给应用程序时，采用预设的内存管理模块将所述巨页内存通过Linux***服务器的内核映射到Linux***服务器的网卡驱动中；
分段映射模块，用于接收目标业务数据，将所述目标业务数据对应的逻辑地址进行分段映射转化，得到所述逻辑地址对应的线性地址；
分页映射模块，用于通过所述网卡驱动中的巨页内存将所述线性地址进行分页映射转化，得到所述线性地址对应的物理地址；
数据访问模块，用于将所述物理地址与所述网卡驱动进行绑定并通过所述物理地址与所述网卡驱动的绑定关系访问所述目标业务数据中的数据信息；
其中，所述数据访问模块，具体用于：
将所述物理地址与所述网卡驱动的安装路径进行绑定，得到用于表征所述物理地址在所述安装路径中的相对地址的绑定关系；
根据所述相对地址确定所述目标业务数据中用于记录所述数据信息的目标字段并访问所述目标字段。
7.根据权利要求6所述的业务数据处理装置，其特征在于，所述装置还包括数据并发模块，用于：
检测是否存在多组待发送数据；
在检测到所述多组待发送数据时，采用预设的无锁缓冲机制将所述多组待发送数据进行并发。
8.根据权利要求6所述的业务数据处理装置，其特征在于，所述内存映射模块，用于：
获取Linux***服务器的内核参数以及所述内核参数的协议字段，所述协议字段用于指示所述内核参数是否为所述网卡驱动的驱动参数；
对所述内核参数进行参数寻址，得到所述内核参数对应的至少两组寻址结果，所述参数寻址包括地址查找、地址匹配和地址更新中的至少一项；
采用所述内存管理模块对每组寻址结果进行代码匹配，得到每组寻址结果对应的匹配结果；其中，所述匹配结果用于表征每组寻址结果在所述内核中的地址丢失率；
提取最小地址丢失率对应的寻址结果中的寻址路径；
按照所述寻址路径将所述巨页内存的映射表导入所述内存管理模块中，并通过所述内存管理模块将所述映射表通过所述协议字段传输到所述网卡驱动中。
CN202010823377.2A 2020-08-17 2020-08-17 一种面向云边融合***的业务数据处理方法及装置 Active CN111737016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010823377.2A CN111737016B (zh) 2020-08-17 2020-08-17 一种面向云边融合***的业务数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010823377.2A CN111737016B (zh) 2020-08-17 2020-08-17 一种面向云边融合***的业务数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN111737016A true CN111737016A (zh) 2020-10-02
CN111737016B CN111737016B (zh) 2020-11-03

Family

ID=72658556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010823377.2A Active CN111737016B (zh) 2020-08-17 2020-08-17 一种面向云边融合***的业务数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111737016B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125827A (zh) * 2021-11-24 2022-03-01 北京天融信网络安全技术有限公司 一种终端管理方法、装置及集中化管理***
CN116627619A (zh) * 2023-07-24 2023-08-22 山东华科信息技术有限公司 多业务异质资源调度的云边端协同信息交互方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917350A (zh) * 2010-09-13 2010-12-15 南京中兴特种软件有限责任公司 一种Linux下基于网卡驱动的零拷贝以太网报文捕获及发送的实现方法
US20170046255A1 (en) * 2015-08-12 2017-02-16 Red Hat Israel, Ltd. Virtual machine based huge page balloon support
CN109445944A (zh) * 2018-10-25 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于dpdk的网络数据采集处理***及其方法
CN109766187A (zh) * 2019-01-10 2019-05-17 烽火通信科技股份有限公司 网络数据包高速处理转发方法及***
US20190303204A1 (en) * 2018-03-28 2019-10-03 Apple Inc. Methods and apparatus for single entity buffer pool management
CN111414248A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 内存管理方法、装置及计算设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917350A (zh) * 2010-09-13 2010-12-15 南京中兴特种软件有限责任公司 一种Linux下基于网卡驱动的零拷贝以太网报文捕获及发送的实现方法
US20170046255A1 (en) * 2015-08-12 2017-02-16 Red Hat Israel, Ltd. Virtual machine based huge page balloon support
US20190303204A1 (en) * 2018-03-28 2019-10-03 Apple Inc. Methods and apparatus for single entity buffer pool management
CN109445944A (zh) * 2018-10-25 2019-03-08 武汉虹旭信息技术有限责任公司 一种基于dpdk的网络数据采集处理***及其方法
CN111414248A (zh) * 2019-01-04 2020-07-14 阿里巴巴集团控股有限公司 内存管理方法、装置及计算设备
CN109766187A (zh) * 2019-01-10 2019-05-17 烽火通信科技股份有限公司 网络数据包高速处理转发方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OSC_QG4DAD59: ""DPDK网络加速在NFV中的应用"", 《HTTPS://MY.OSCHINA.NET/U/4390286/BLOG/3430837/PRINT》 *
江下枫: ""从分段与分页原理到Linux虚拟内存映射机制"", 《HTTPS://BLOG.CSDN.NET/SONG_LEE/ARTICLE/DETAILS/91345339》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125827A (zh) * 2021-11-24 2022-03-01 北京天融信网络安全技术有限公司 一种终端管理方法、装置及集中化管理***
CN114125827B (zh) * 2021-11-24 2023-11-10 北京天融信网络安全技术有限公司 一种终端管理方法、装置及集中化管理***
CN116627619A (zh) * 2023-07-24 2023-08-22 山东华科信息技术有限公司 多业务异质资源调度的云边端协同信息交互方法及***
CN116627619B (zh) * 2023-07-24 2023-10-10 山东华科信息技术有限公司 多业务异质资源调度的云边端协同信息交互方法及***

Also Published As

Publication number Publication date
CN111737016B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US11500689B2 (en) Communication method and apparatus
US11126353B2 (en) Method and apparatus for data copy
US20170353418A1 (en) Method and device for managing shared memory in robot operating system
CN111737016B (zh) 一种面向云边融合***的业务数据处理方法及装置
CN111431757B (zh) 虚拟网络的流量采集方法及装置
US20180027074A1 (en) System and method for storage access input/output operations in a virtualized environment
CN109857545B (zh) 一种数据传输方法及装置
CN111737564A (zh) 一种信息查询方法、装置、设备及介质
CN109857553B (zh) 内存管理方法及装置
CN109388651B (zh) 一种数据处理方法和装置
WO2015130282A1 (en) Communication between integrated graphics processing units
CN113297105B (zh) 一种转换地址的缓存处理方法及装置
CN109597697B (zh) 一种资源撮合处理方法及装置
CN1881187A (zh) 用于自动优化可用虚拟内存的***和方法
US20070255738A1 (en) System, Method, and Computer-Readable Medium for Performing Data Structure Updates in a Multi-Processor System
CN117492661A (zh) 数据写入方法、介质、装置和计算设备
CN115586943B (zh) 一种智能网卡虚拟机脏页的硬件标记实现方法
CN111176566B (zh) 一种支持queue命令的eMMC读写控制方法及存储介质
CN116303126B (zh) 缓存、数据的处理方法及电子设备
CN115562871A (zh) 内存分配管理的方法和装置
US9037805B2 (en) Managing a region cache
CN115794876A (zh) 针对业务数据包的分片处理方法、装置、设备及存储介质
US10372516B2 (en) Message processing
US20090182887A1 (en) Data transmission and writing method using multicast data flows
CN116501450B (zh) 翻译控制方法、二进制翻译方法、指令执行方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant