CN113592059A - 用于处理数据的方法、设备和计算机程序产品 - Google Patents

用于处理数据的方法、设备和计算机程序产品 Download PDF

Info

Publication number
CN113592059A
CN113592059A CN202010367250.4A CN202010367250A CN113592059A CN 113592059 A CN113592059 A CN 113592059A CN 202010367250 A CN202010367250 A CN 202010367250A CN 113592059 A CN113592059 A CN 113592059A
Authority
CN
China
Prior art keywords
model
data
switch
data processing
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010367250.4A
Other languages
English (en)
Inventor
胡晨曦
李三平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN202010367250.4A priority Critical patent/CN113592059A/zh
Priority to US16/883,088 priority patent/US11888705B2/en
Publication of CN113592059A publication Critical patent/CN113592059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/56—Routing software
    • H04L45/563—Software download or update
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开的实施例涉及用于处理数据的方法、设备和计算机程序产品。该方法包括在交换机处，响应于接收到来自终端设备的模型加载请求，加载模型加载请求中指定的数据处理模型。该方法还包括从终端设备获取数据处理模型的模型参数。该方法还包括响应接收到来自终端设备的待处理数据，基于模型参数来利用数据处理模型处理数据。通过该方法，可以在交换机处实现对数据的处理，提高了数据处理效率和计算资源的利用率，减少了数据处理的延迟。

Description

用于处理数据的方法、设备和计算机程序产品
技术领域
本公开的实施例涉及数据处理领域，并且更具体地，涉及用于处理数据的方法、设备和计算机程序产品。
背景技术
随着计算机技术的发展，物联网(Internet of things，IoT)的概念被提出。物联网是在互联网基础上的延伸和扩展的网络，其将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。
此外，随着大数据技术的发展，神经网络模型被提出并使用。神经网络模型是由大量的、简单的处理单元广泛地互相连接而形成的复杂网络***。由于神经网络模型可以快速的处理大量的数据，因此物联网中的一些数据现在也使用神经网络模型来处理。然而，在物联网中应用神经网络模型还存在许多需要解决的问题。
发明内容
本公开的实施例提供一种用于处理数据的方法、设备和计算机程序产品。
根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括在交换机处，响应于接收到来自终端设备的模型加载请求，加载模型加载请求中指定的数据处理模型。该方法还包括从终端设备获取数据处理模型的模型参数。该方法还包括响应接收到来自终端设备的待处理的数据，基于模型参数来利用所述数据处理模型处理所述数据。
根据本公开的第二方面，提供了一种用于处理数据的方法。该方法包括在终端设备处，向交换机发送模型加载请求，模型加载请求中指定交换机将要加载的数据处理模型。该方法还包括向交换机发送数据处理模型的模型参数。该方法还包括向交换机发送待处理的数据，以使得待处理的数据在交换机处基于数据处理模型而被处理。
根据本公开的第三方面，提供了一种交换机。该交换机包括处理器；以及存储器，存储有计算机程序指令，所述处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：响应于接收到来自终端设备的模型加载请求，加载模型加载请求中指定的数据处理模型；从终端设备获取数据处理模型的模型参数；以及响应接收到来自终端设备的待处理的数据，基于模型参数来利用数据处理模型处理数据。
根据本公开的第四方面，提供了一种终端设备。该终端设备包括处理器；以及存储器，存储有计算机程序指令，所述处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：向交换机发送模型加载请求，模型加载请求中指定所述交换机将要加载的数据处理模型；向交换机发送所述数据处理模型的模型参数；以及向交换机发送待处理的数据，以使得待处理的数据在所述交换机处基于数据处理模型而被处理。
根据本公开的第五方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
根据本公开的第六方面，提供了一种计算机程序产品，该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，该机器可执行指令在被执行时使机器执行本公开的第一方面中的方法的步骤。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图；
图2图示了根据本公开的实施例的交换机结构200的示意图；
图3图示了根据本公开的实施例的用于处理数据的方法300的流程图；
图4图示了根据本公开的实施例的用于处理数据的方法400的流程图；
图5图示了根据本公开的实施例的终端设备与交换机交换数据的过程500的示意图；
图6图示了根据本公开的实施例的神经网络模型600的示意图；
图7A图示了根据本公开的实施例的加载数据处理模型和模型参数的过程700-1的示意图；
图7B图示了根据本公开的实施例的处理数据的过程700-2的示意图；
图8图示了根据本公开的实施例的用于处理参数分组的过程800的示意图；
图9图示了根据本公开的实施例的用于处理数据分组的过程900的示意图；
图10图示了适于用来实施本公开内容的实施例的示例设备1000的示意性框图。
在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
下面将参考附图中示出的若干示例实施例来描述本公开的原理。虽然附图中显示了本公开的优选实施例，但应当理解，描述这些实施例仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
随着IoT设备使用的增加，IoT设备会产生很多的信息。这些信息有的需要通过数据处理模型处理。例如通过神经网络模型来处理IoT设备中的数据。然而，大多数传统IoT设备的设计均不支持数据处理模型算法，例如神经网络模型算法。例如IoT设备的中央处理单元CPU功能不够强大、没有图形处理单元GPU或张量处理单元TPU。因此，IoT设备会向数据中心服务器发送数据以进行神经网络模型数据处理工作并将结果返回到IoT设备。然而，这个过程会引入较长的延迟。
此外，在服务器或IoT设备中用数据处理模型处理数据会消耗CPU、GPU和内存资源，会占用了大量的计算资源，降低服务器或IoT设备处理效率。
至少为了解决上述问题，本公开提出了一种用于处理数据的方法。在该方法中，在交换机处，响应于接收到来自终端设备的模型加载请求，加载模型加载请求中指定的数据处理模型。然后从终端设备获取数据处理模型的模型参数。在接收到来自终端设备的待处理的数据后，基于模型参数来利用数据处理模型处理数据。通过该方法，可以在交换机处实现对数据的处理，提高了数据处理效率和计算资源的利用率，减少了数据处理的延迟。
下面图1图示了根据本公开的实施例的设备和/或方法可以在其中被实施的示例环境100的示意图。
如图1所示，在示例环境中包括交换机102和多个不同的终端设备104-1、104-2、104-3、……、104-N，其中N为正整数。为了描述文本，将终端设备104-1、104-2、104-3、……、104-N统称为终端设备104。
终端设备104可以为被实现为任何类型的计算设备，包括但不限于移动电话(例如，智能手机)、膝上型计算机、便携式数字助理(PDA)、电子书(电子书)阅读器、便携式游戏机、便携式媒体播放器、游戏机、机顶盒(STB)、智能电视(TV)、个人计算机、膝上型计算机、车载计算机(例如，导航单元)、摄像机、监控摄像头、打印机、扫描仪、智能门锁以及其他的各种物联网设备。
终端设备104可以向交换机102发送数据。交换机102可以处理来自终端设备104的数据或将其转发到云106中，例如转发到云106中的其他服务器。
交换机102内可以运行各种数据处理模型来处理来自终端设备104的各种数据。在一些实施例中，该数据处理模型为机器学习模型。备选地或附加地，该机器学习模型为神经网络模型，例如卷积神经网络模型。在一些实施例中，该数据处理模型为可以为处理数据的任意合适的模型。在一些实施例中，交换机102为可编程交换机。
交换机102在运行数据处理模型时还需要从终端设备104接收模型参数和待处理的数据。然后基于接收的模型参数利用数据处理模型来处理数据。数据处理后的结果可以返回终端设备104或基于终端设备104传送过来的目的地地址传送给目的地设备。
在一些实施例中，交换机102包括为可编程交换机。备选地或附加地，该交换机102为可采用P4语言编程的交换机。
上面结合图1描述了根据本公开的实施例的设备和/或方法可以在其中被实施的环境100的示意图。下面结合图2描述根据本公开的实施例的一个示例交换机。其中，图2图示了根据本公开的实施例的交换机结构200的示意图；
如图2所示，交换机102包括处理器206和可编程芯片204。处理器206用于管理交换机102的运行。可编程芯片204可以用于处理从终端设备104接收的数据或请求。在一些实施例中，可以在可编程芯片204上加载数据处理模型，例如神经网络模型。可编程芯片204还会从终端设备104接收的分组中识别出包括模型参数的分组和包括待处理的数据的分组。然后，可编程芯片204利用得到的参数和加载的数据处理模型来处理数据。
上面结合图2描述根据本公开的实施例的交换机102的一个示例。下面结合图3描述在交换机102处处理数据的过程。其中，图3图示了根据本公开的实施例的用于处理数据的方法300的流程图。其中方法300可以在图1中的交换机102或任何其他适当设备处执行。
在框302处，交换机102响应于接收到来自终端设备104的模型加载请求，加载模型加载请求中指定的数据处理模型。交换机102在接收到加载请求后执行模型加载操作。
在一些实施例中，数据处理模型为机器学习模型。备选地或附加地，机器学习模型为神经网络模型。在一些实施例中，数据处理模型为对数据进行处理的其他合适的模型。
在一些实施例中，终端设备104可以先向交换机102发送获取服务列表的请求以询问交换机102可以提供什么样的服务，例如可执行什么样的数据处理模型。交换机102然后向终端设备104发送服务列表，如可以进行操作的数据处理模型的列表。然后终端设备104请求加载交换机102内可用的数据处理模型。在一些实施例中，终端设备104向交换机102直接发送加载数据处理模型的请求。上述示例仅是用于描述本公开，而非对本公开的具体限定。
在一些实施例中，交换机102获取模型加载请求中的数据处理模型的标识。然后交换机102基于标识，从预定的数据处理模型集合中选择数据处理模型。在获得数据处理模型后，加载选择的数据处理模型。
在一些实施例中，交换机102查询本地存储的数据处理模型。如果存在，则直接加载该数据处理模型，如果不存在，则从其它设备获取数据处理模型。
在一些实施例中，交换机102在加载完数据处理模型后会向终端设备104发送模型加载成功的响应。
在框304处，交换机102从终端设备104获取数据处理模型的模型参数。为了运行数据处理模型，还需要从终端设备104获取用于运行模型的模型参数。
在一些实施例中，终端设备104在生成发送给交换机102的分组时，会在分组中设置内容标签以指示分组的内容。交换机102在接收到分组时，会检测分组中的标签。然后根据标签来确定分组是否包括与数据处理模型有关的模型参数。如果分组中包括的标签指示分组包括模型参数，则交换机102从分组获取模型参数。
在一些实施例中，数据处理模型是神经网络模型。交换机102确定与神经网络模型的每个处理层相对应的参数大小。在一个示例中，由于神经网络模型是固定的，可以基于神经网络模型来确定神经网络模型每个处理层对应的参数。在一个示例中，从终端设备104接收的参数分组中标识出每个处理层参数的大小。交换机102基于参数大小从分组中获取与每个处理层相对应的模型参数。
在一些实施例中，在模型参数已被成功获取后，交换机102可以向终端设备104发送响应以指示模型参数已被交换机102成功获取。
在框306处交换机102确定是否接收到来自终端设备104的待处理的数据。在接收到来自终端设备104的待处理的数据时，在框308处交换机102基于模型参数来利用数据处理模型处理数据。该数据在经过神经网络模型处理后得到数据的处理结果。
在一些实施例中，交换机102会检测接收到的分组的标签。交换机102通过分组的标签来确定分组是否包括将由数据处理模型处理的数据。如果分组的标签指示分组包括将由数据处理模型处理的数据，则交换机102确定接收到待处理的数据。
在一些实施例中，数据处理模型是神经网络模型。交换机102将接收到的数据作为输入传入到神经网络模型。然后交换机102基于与神经网络模型的每个处理层相对应的模型参数，利用神经网络模型来处理数据。
在一些实施例中，交换机102会从终端设备104接收到目的地地址，例如在接收到的包括参数的分组或包括数据的分组中设置的目的地址地址。交换机102将数据的处理结果发送到目的地地址。在一些实施例中，交换机102向终端设备104发送针对数据的处理结果。
通过上述方法，可以在交换机处实现对数据的处理，提高了数据处理效率和计算资源的利用率，减少了数据处理的延迟。
上面结合图3描述了根据本公开的实施例的用于在交换机102处处理数据过程。下面将结合图4来描述在终端设备104处处理数据的过程。图4图示了根据本公开的实施例的用于处理数据的方法400的流程图。图4中的方法400可由图1中的终端设备104或任何其他适当设备执行。
在框402处，终端设备104向交换机102发送模型加载请求，模型加载请求中指定交换机102将要加载的数据处理模型。在终端设备104想要利用数据处理模型处理数据时，可以利用交换机102处的数据处理模型来处理终端设备104中的数据。
在一些实施例中，终端设备104在向交换机102发送的模型加载请求中包括数据处理模型的标识。备选地或附加地，在终端设备104送模型加载请求之前，会向交换机102发送请求以查询交换机102提供的服务，然后从交换机102接收交换机102可以提供的服务的列表，例如可以提供的数据处理模型的列表。
在框404处，终端设备104向交换机102发送数据处理模型的模型参数。由于交换机102中的加载的数据处理模型是确定的，需要向其传送模型参数。
在一些实施例中，终端设备104将模型参数包括在待发送的分组中。然后终端设备104将分组的内容标签设置为指示分组包括模型参数。然后，终端设备104向交换机102发送分组。
在一些实施例中，终端设备104会从交换机102接收到针对模型加载请求的响应，在接收到响应后，终端设备104向交换机102发送模型参数。
在框406处，终端设备104向交换机102发送待处理的数据，以使得待处理的数据在交换机102处基于数据处理模型而被处理。在发送模型参数后，终端设备104还向交换机102发送待处理的数据以用于由交换机102处理。
在一些实施例中，终端设备104将要由数据处理模型处理的数据包括在待发送的分组中。然后，终端设备104将分组的内容标签设置为指示分组包括待处理的数据。在设置完成后，终端设备104向交换机102发送分组。
在一些实施例中，终端设备104从交换机102接收到模型参数被成功获得的响应后向交换机102发送待处理的数据。在一些实施例中，终端设备104从交换机102接收针对数据的处理结果。
通过上述方法，可以使得终端设备可以快速的获得数据处理结果，减少了获得结果的延迟，并且提高了计算效率。
上面图4图示了根据本公开的实施例的用于处理数据的方法400的示意图。下面将结合图5来描述在终端设备104和交换机102之间传递数据的示例操作。图5图示了根据本公开的实施例的终端设备104与交换机102交换数据的过程500的示意图。
在图5中，终端设备104先向交换机102发送502获取服务列表的请求502。然后交换机102将服务列表发送504给终端设备104。例如，服务列表可包括交换机102可以提供的各种神经网络模型。终端设备104在接收到服务列表确定出可以使用的数据处理模型后，向交换机102发送506模型加载请求。
交换机102然后基于模型加载请求中的数据处理模型标识加载数据处理模型。备选地或附加地，交换机102在加载完数据处理模型后向终端设备104发送模型加载成功的响应。终端设备104接着向交换机102发送508模型参数，在接收到模型参数后，交换机获取模型参数。在数据处理模型为神经网络模型时，依据神经网络模型每个处理层的大小来获取每个处理层的参数。
可选地，在交换机102成功接收到模型参数后，交换机102可以向终端设备104发送参数获取成功的响应。终端设备104接下来发送510待处理的数据。然后交换机102利用数据处理模型来处理数据。然后将处理结果返回512给终端设备104。
通过在终端设备和交换机之传递数据来在交换机上处理数据，减少了数据处理的延迟，提高了数据处理效率。
上面图5描述了根据本公开的实施例的终端设备104与交换机102交换数据的过程500的示意图。下面将结合图6-7来描述神经网络模型运行的具体示例。其中，图6图示了根据本公开的实施例的神经网络模型600的示意图；图7A图示了根据本公开的实施例的加载数据处理模型和模型参数的过程700-1的示意图；图7B图示了根据本公开的实施例的处理数据的过程700-2的示意图。
图6示出的神经网络模型600具有输入层602、卷积层604、全连接层606、损失函数层608和输出层610。待处理的数据由输入层602输入，然后在卷积层604执行卷积操作，生成的中间结果输入全连接层606。其中为了描述方便，卷积层604称为第一处理层，全连接层606称为第二处理层。在经过全连接层606计算后的数据输入损失函数层608，例如，损失函数为softmax。然后将数据从输出层610输出。
图7A描述了加载图6中的神经网络模型和模型参数的过程。交换机102首选在框702处，执行加载模型操作。然后交换机102在接收到数据分组后，基于神经网络模型600中的第一处理层的参数的大小，在框704处存储第一处理层参数。第一处理层参数被保存到参数存储区710中。交换机102接下来进行在框706处基于第二处理层参数的大小来存储第二处理层参数。第二处理层参数也被存储在参数存储区710中。
图7B描述了图6中的神经网络模型600处理数据的过程。交换机102在接收数据分组后在框712处加载待处理的数据。然后交换机102从参数存储区710中获取与第一处理层相应的参数，如与卷积层604相对应的参数，在框714处对接收的数据执行第一处理层计算。在执行卷积操作时，可以利用卷积参数来对数据中的不同子数据部分循环进行处理。经过第一处理层处理完得到的中间数据传送到中间数据存储区724。然后在框716处进行第二处理层计算，此时，从参数存储区710获得第二处理层的参数，例如全连接层的参数。然后将计算结果放入中间数据存储区724。在框718处对由第二处理层计算得到的中间数据进行损失函数处理，例如采用softmax。然后得到处理结果720。
上面结合图6、图7A和7B描述了加载该神经网络模型600的参数和处理数据的过程。下面结合图8和图9描述在交换机102的可编程芯片内进行操作的过程。其中，图8图示了根据本公开的实施例的用于处理参数分组的过程800的示意图；图9图示了根据本公开的实施例的用于处理数据分组的过程900的示意图。
在图8中，参数分组802被传入交换机102内的可编程交换芯片的接口804，然后在入口解析器806内进行解析处理。解析后的数据在入口808内进行处理，从参数分组802中获取第一处理层的参数。然后将剩余的数据传送到出口810。如果参数分组中还包括未获取的参数，再由出口810传送到接口804，以再获取第二层或其他层的参数。例如可以用可编程交换机中的recirculte命令来实现将包括未获取参数的分组从出口810传送回接口804。
在图9中，数据分组902被传送入交换机102内的可编程交换芯片的接口804，然后在入口解析器806内进行解析处理。处理后的数据在入口808内进行处理，例如，利用卷积处理对数据中的一部分数据进行处理，然后将数据从入口808传送回接口804，以接着获取其他要处理的数据来进行卷积操作。例如，上述过程可通过可编程交换机中的resubmit命令实现。执行这种传送数据过程直到所有处理层的操作完成，然后将数据输出到出口810，以输出计算结果。
图10示出了可以用来实施本公开内容的实施例的示例设备1000的示意性框图。例如，如图1所示的交换机102和终端设备104可以由设备1000来实施。如图所示，设备1000包括中央处理单元CPU 1001，其可以根据存储在只读存储器ROM 1002中的计算机程序指令或者从存储单元1008加载到随机访问存储器RAM 1003中的计算机程序指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出I/O接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300和400可由处理单元1001执行。例如，在一些实施例中，方法300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序被加载到RAM 1003并由CPU 1001执行时，可以执行上文描述的方法300和400的一个或多个动作。
本公开可以是方法、装置、***和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子，非穷举的列表，包括：便携式计算机盘、硬盘、随机存取存储器RAM、只读存储器ROM、可擦式可编程只读存储器EPROM或闪存、静态随机存取存储器SRAM、便携式压缩盘只读存储器CD-ROM、数字多功能盘DVD、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波，例如，通过光纤电缆的光脉冲、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构ISA指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机，例如利用因特网服务提供商来通过因特网连接。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列FPGA或可编程逻辑阵列PLA，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置/***和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (24)

1.一种处理数据的方法，包括：
在交换机处，响应于接收到来自终端设备的模型加载请求，加载所述模型加载请求中指定的数据处理模型；
从所述终端设备获取所述数据处理模型的模型参数；以及
响应接收到来自终端设备的待处理的数据，基于所述模型参数来利用所述数据处理模型处理所述数据。
2.根据权利要求1所述的方法，其中加载所述数据处理模型包括：
获取所述模型加载请求中的所述数据处理模型的标识；
基于所述标识，从预定的数据处理模型集合中选择所述数据处理模型；以及
加载选择的所述数据处理模型。
3.根据权利要求1所述的方法，其中获取所述模型参数包括：
基于从所述终端设备接收的分组的内容标签，确定所述分组是否包括与所述数据处理模型有关的模型参数；以及
根据确定所述分组包括所述模型参数，从所述分组获取所述模型参数。
4.根据权利要求3所述的方法，其中所述数据处理模型是神经网络模型，并且其中从所述分组获取所述模型参数包括：
确定与所述神经网络模型的每个处理层相对应的参数大小；以及
基于所述参数大小从所述分组中获取与每个处理层相对应的模型参数。
5.根据权利要求1所述的方法，还包括：
基于从所述终端设备接收的分组的内容标签，确定所述分组是否包括将由所述数据处理模型处理的数据；以及
根据确定所述分组包括将由所述数据处理模型处理的数据，确定接收到待处理的所述数据。
6.根据权利要求1所述的方法，其中所述数据处理模型是神经网络模型，并且其中处理所述数据包括：
基于与所述神经网络模型的每个处理层相对应的模型参数，利用所述神经网络模型来处理所述数据。
7.根据权利要求1所述的方法，还包括以下至少一项：
响应于从所述终端设备接收到目的地地址，基于所述目的地地址发送针对所述数据的处理结果，以及
向所述终端设备发送针对所述数据的所述处理结果。
8.一种处理数据的方法，包括：
在终端设备处，向交换机发送模型加载请求，所述模型加载请求中指定所述交换机将要加载的数据处理模型；
向所述交换机发送所述数据处理模型的模型参数；以及
向所述交换机发送待处理的数据，以使得待处理的所述数据在所述交换机处基于所述数据处理模型而被处理。
9.根据权利要求8所述的方法，还包括：
从所述交换机接收针对所述数据的处理结果。
10.根据权利要求8所述的方法，其中向所述交换机发送所述模型参数包括：
将所述模型参数包括在待发送的分组中；
将所述分组的内容标签设置为指示所述分组包括所述模型参数；以及
向所述交换机发送所述分组。
11.根据权利要求8所述的方法，其中向所述交换机发送待处理的数据包括：
将待处理的所述数据包括在待发送的分组中；
将所述分组的内容标签设置为指示所述分组包括待处理的所述数据；以及
向所述交换机发送所述分组。
12.一种交换机，所述交换机包括：
处理器；以及
存储器，存储有计算机程序指令，所述处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：
响应于接收到来自终端设备的模型加载请求，加载所述模型加载请求中指定的数据处理模型；
从所述终端设备获取所述数据处理模型的模型参数；以及
响应接收到来自终端设备的待处理的数据，基于所述模型参数来利用所述数据处理模型处理所述数据。
13.根据权利要求12所述的交换机，其中加载所述数据处理模型包括：
获取所述模型加载请求中的所述数据处理模型的标识；
基于所述标识，从预定的数据处理模型集合中选择所述数据处理模型；以及
加载选择的所述数据处理模型。
14.根据权利要求12所述的交换机，其中获取所述模型参数包括：
基于从所述终端设备接收的分组的内容标签，确定所述分组是否包括与所述数据处理模型有关的模型参数；以及
根据确定所述分组包括所述模型参数，从所述分组获取所述模型参数。
15.根据权利要求14所述的交换机，其中所述数据处理模型是神经网络模型，并且其中从所述分组获取所述模型参数包括：
确定与所述神经网络模型的每个处理层相对应的参数大小；以及
基于所述参数大小从所述分组中获取与每个处理层相对应的模型参数。
16.根据权利要求12所述的交换机，所述动作还包括：
基于从所述终端设备接收的分组的内容标签，确定所述分组是否包括将由所述数据处理模型处理的数据；以及
根据确定所述分组包括将由所述数据处理模型处理的数据，确定接收到待处理的所述数据。
17.根据权利要求12所述的交换机，其中所述数据处理模型是神经网络模型，并且其中处理所述数据包括：
基于与所述神经网络模型的每个处理层相对应的模型参数，利用所述神经网络模型来处理所述数据。
18.根据权利要求12所述的交换机，所述动作还包括以下至少一项：
响应于从所述终端设备接收到目的地地址，基于所述目的地地址发送针对所述数据的处理结果，以及
向所述终端设备发送针对所述数据的所述处理结果。
19.一种终端设备，所述终端设备包括：
处理器；以及
存储器，存储有计算机程序指令，所述处理器运行存储器中的所述计算机程序指令控制所述电子设备执行动作，所述动作包括：
向交换机发送模型加载请求，所述模型加载请求中指定所述交换机将要加载的数据处理模型；
向所述交换机发送所述数据处理模型的模型参数；以及
向所述交换机发送待处理的数据，以使得待处理的所述数据在所述交换机处基于所述数据处理模型而被处理。
20.根据权利要求19所述的终端设备，所述动作还包括：
从所述交换机接收针对所述数据的处理结果。
21.根据权利要求19所述的终端设备，其中向所述交换机发送所述模型参数包括：
将所述模型参数包括在待发送的分组中；
将所述分组的内容标签设置为指示所述分组包括所述模型参数；以及
向所述交换机发送所述分组。
22.根据权利要求19所述的终端设备，其中向所述交换机发送待处理的数据包括：
将待处理的所述数据包括在待发送的分组中；
将所述分组的内容标签设置为指示所述分组包括待处理的所述数据；以及
向所述交换机发送所述分组。
23.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求1至7中任一项所述的方法的步骤。
24.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行根据权利要求8至11中任一项所述的方法的步骤。
CN202010367250.4A 2020-04-30 2020-04-30 用于处理数据的方法、设备和计算机程序产品 Pending CN113592059A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010367250.4A CN113592059A (zh) 2020-04-30 2020-04-30 用于处理数据的方法、设备和计算机程序产品
US16/883,088 US11888705B2 (en) 2020-04-30 2020-05-26 Method, device, and computer program product for processing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367250.4A CN113592059A (zh) 2020-04-30 2020-04-30 用于处理数据的方法、设备和计算机程序产品

Publications (1)

Publication Number Publication Date
CN113592059A true CN113592059A (zh) 2021-11-02

Family

ID=78237035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367250.4A Pending CN113592059A (zh) 2020-04-30 2020-04-30 用于处理数据的方法、设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11888705B2 (zh)
CN (1) CN113592059A (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102064948A (zh) * 2011-01-06 2011-05-18 西安电子科技大学 物联网交换机的数据处理方法
US9563854B2 (en) * 2014-01-06 2017-02-07 Cisco Technology, Inc. Distributed model training
CN107210969A (zh) * 2015-10-31 2017-09-26 华为技术有限公司 一种基于软件定义网络的数据处理方法及相关设备
CN108243216A (zh) * 2016-12-26 2018-07-03 华为技术有限公司 数据处理的方法、端侧设备、云侧设备与端云协同***
CN108664610A (zh) * 2018-05-11 2018-10-16 北京京东金融科技控股有限公司 用于处理数据的方法和装置
CN108932124A (zh) * 2018-06-26 2018-12-04 Oppo广东移动通信有限公司 神经网络模型压缩方法、装置、终端设备及存储介质
CN109886415A (zh) * 2019-01-07 2019-06-14 鲁班嫡系机器人（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN110147251A (zh) * 2019-01-28 2019-08-20 腾讯科技（深圳）有限公司 用于计算神经网络模型的架构、芯片及计算方法
CN110365517A (zh) * 2019-05-31 2019-10-22 浙江口碑网络技术有限公司 数据处理方法、装置、存储介质及计算机设备
CN110598845A (zh) * 2019-08-13 2019-12-20 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备和存储介质
CN110728351A (zh) * 2018-07-17 2020-01-24 华为技术有限公司 数据处理方法、相关设备及计算机存储介质
US20200068472A1 (en) * 2018-08-24 2020-02-27 Qualcomm Incorporated Positioning enhancements for narrowband mobile devices
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885441B2 (en) * 2016-12-22 2021-01-05 Adobe Inc. Selecting attributes by progressive sampling to generate digital predictive models
US11205236B1 (en) * 2018-01-24 2021-12-21 State Farm Mutual Automobile Insurance Company System and method for facilitating real estate transactions by analyzing user-provided data
US11615208B2 (en) * 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
EP3836455A4 (en) * 2018-08-07 2021-09-08 Beijing Xiaomi Mobile Software Co., Ltd. METHOD AND DEVICE FOR CONFIGURING AND DETERMINING A TRANSMISSION BLOCK PLANNING INTERVAL AND BASE STATION

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102064948A (zh) * 2011-01-06 2011-05-18 西安电子科技大学 物联网交换机的数据处理方法
US9563854B2 (en) * 2014-01-06 2017-02-07 Cisco Technology, Inc. Distributed model training
CN107210969A (zh) * 2015-10-31 2017-09-26 华为技术有限公司 一种基于软件定义网络的数据处理方法及相关设备
CN108243216A (zh) * 2016-12-26 2018-07-03 华为技术有限公司 数据处理的方法、端侧设备、云侧设备与端云协同***
CN108664610A (zh) * 2018-05-11 2018-10-16 北京京东金融科技控股有限公司 用于处理数据的方法和装置
CN108932124A (zh) * 2018-06-26 2018-12-04 Oppo广东移动通信有限公司 神经网络模型压缩方法、装置、终端设备及存储介质
CN110728351A (zh) * 2018-07-17 2020-01-24 华为技术有限公司 数据处理方法、相关设备及计算机存储介质
US20200068472A1 (en) * 2018-08-24 2020-02-27 Qualcomm Incorporated Positioning enhancements for narrowband mobile devices
CN110874550A (zh) * 2018-08-31 2020-03-10 华为技术有限公司 数据处理方法、装置、设备和***
CN109886415A (zh) * 2019-01-07 2019-06-14 鲁班嫡系机器人（深圳）有限公司 数据处理方法、装置、计算机设备和存储介质
CN110147251A (zh) * 2019-01-28 2019-08-20 腾讯科技（深圳）有限公司 用于计算神经网络模型的架构、芯片及计算方法
CN110365517A (zh) * 2019-05-31 2019-10-22 浙江口碑网络技术有限公司 数据处理方法、装置、存储介质及计算机设备
CN110598845A (zh) * 2019-08-13 2019-12-20 中国平安人寿保险股份有限公司 数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US11888705B2 (en) 2024-01-30
US20210344571A1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
CN109754105B (zh) 一种预测方法及终端、服务器
CN107566786B (zh) 一种获取监控视频的方法、装置及终端设备
CN112152926B (zh) 一种管理应用的网络切片的方法及装置
US20210219004A1 (en) Method and apparatus for an enhanced data pipeline
WO2021223662A1 (zh) 基于扫码的页面访问
CN107066609A (zh) 图片显示方法和装置
US11651221B2 (en) Method, device, and computer program product for deep learning
CN113691589B (zh) 报文传输方法、装置及***
CN111124658B (zh) 用于处理目标数据的方法、设备和计算机程序产品
CN111580883B (zh) 应用程序启动方法、装置、计算机***和介质
US20180287999A1 (en) Per-application micro-firewall images executing in containers on a data communications network
US10721186B1 (en) Packet processing with per-CPU (central processing unit) flow tables in a network device
CN113592059A (zh) 用于处理数据的方法、设备和计算机程序产品
US20220318592A1 (en) Sampler and apparatus for executing graph neural network model
US11249684B2 (en) Computation of solution to sparse matrix
CN114666263A (zh) 高动态的智能路由确定方法、装置、电子设备及存储介质
US20230412512A1 (en) Data traffic reduction for redundant data streams
CN116701004A (zh) 云函数开发方法、装置、电子装置和存储介质
CN113760483A (zh) 执行任务的方法和装置
CN113760487A (zh) 一种业务处理方法和装置
CN113452471A (zh) 用于数据处理的方法、电子设备以及计算机程序产品
CN113365231A (zh) 一种发送短信的方法和装置
CN115174588B (zh) 带宽控制方法、装置、设备、存储介质和程序产品
CN113132480B (zh) 一种数据传输方法、装置和***
CN112511526B (zh) 数据传输方法、设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination