CN107743246A - 任务处理方法、***及数据处理*** - Google Patents

任务处理方法、***及数据处理*** Download PDF

Info

Publication number
CN107743246A
CN107743246A CN201710060155.8A CN201710060155A CN107743246A CN 107743246 A CN107743246 A CN 107743246A CN 201710060155 A CN201710060155 A CN 201710060155A CN 107743246 A CN107743246 A CN 107743246A
Authority
CN
China
Prior art keywords
processing
node
data
task
central node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710060155.8A
Other languages
English (en)
Inventor
李逸骏
苗辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou White Cloud Technology Co Ltd
Original Assignee
Guizhou White Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou White Cloud Technology Co Ltd filed Critical Guizhou White Cloud Technology Co Ltd
Priority to CN201710060155.8A priority Critical patent/CN107743246A/zh
Publication of CN107743246A publication Critical patent/CN107743246A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multi Processors (AREA)

Abstract

本发明实施例提供了一种任务处理方法、***及数据处理***，任务处理***包括中央节点和多个处理节点，方法包括：中央节点获得待处理任务；所述中央节点从所述存储***中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；所述中央节点将各所述处理节点处理后的子数据进行合并。本发明通过中央节点的设置，使得处理节点可以直接从该中央节点处获取数据，同时，由于中央节点进行了数据拆分，因此各处理节点只需从中央节点处获取自己所需处理的数据即可，大大降低了网络负担。

Description

任务处理方法、***及数据处理***
技术领域
本发明涉及分布式计算技术领域，特别是涉及任务处理方法、***及数据处理***。
背景技术
随着科技的发展，分布式计算技术也得到了广泛应用。例如：在视频转码领域，常将一部视频的转码任务分配给多个处理节点进行转码。
现有的分布式计算技术进行任务处理时，各处理节点都需要分别从存储***中获取完整的待处理数据，然后从中选取部分数据进行处理，这无疑增加了网络负担。当某处理节点对数据处理失败时，就需要另一处理节点重新从存储***中获取完整的待处理数据，同样增加了网络负担。
如何解决该技术问题仍旧是本领域技术人员一个亟待解决的技术难题。
发明内容
本发明实施例的目的在于提供一种任务处理方法、***及数据处理***，以实现降低网络负担。具体技术方案如下：
一种任务处理方法，应用于与存储***通信连接的任务处理***中，所述任务处理***包括中央节点和多个处理节点，所述方法包括：
所述中央节点获得待处理任务；
所述中央节点从所述存储***中获取与所述待处理任务对应的待处理数据；
所述中央节点将所述待处理数据拆分为多个子数据；
所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；
所述中央节点将各所述处理节点处理后的子数据进行合并。
可选的，所述方法还包括：
所述中央节点将合并后得到的数据发送到所述存储***。
可选的，所述中央节点将所述待处理数据拆分为多个子数据，包括：
所述中央节点获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据。
可选的，在所述根据所述工作状态确定可执行任务的处理节点数量后，所述中央节点将所述待处理数据拆分为多个子数据，还包括：
确定各可执行任务的处理节点的处理能力；
所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据，包括：
所述中央节点根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
可选的，在所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理后，所述方法还包括：
所述中央节点获得各所述处理节点进行数据处理的处理结果；
所述中央节点将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
一种任务处理***，与存储***通信连接，所述任务处理***包括中央节点和多个处理节点，所述中央节点包括：任务获得单元、数据获得单元、数据拆分单元、数据分配单元和数据合并单元，
所述任务获得单元，用于获得待处理任务；
所述数据获得单元，用于从所述存储***中获取与所述待处理任务对应的待处理数据；
所述数据拆分单元，用于将所述待处理数据拆分为多个子数据；
所述数据分配单元，用于将所述多个子数据分配给至少一个所述处理节点进行数据处理；
所述数据合并单元，用于将各所述处理节点处理后的子数据进行合并。
可选的，所述数据拆分单元，包括：节点状态获得子单元和拆分子单元，
所述节点状态获得子单元，用于获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
所述拆分子单元，用于将所述待处理数据拆分为所述处理节点数量的子数据。
可选的，所述数据拆分单元，还包括：处理能力确定子单元，用于在所述节点状态获得子单元根据所述工作状态确定可执行任务的处理节点数量后，确定各可执行任务的处理节点的处理能力；
所述拆分子单元，具体用于：根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
可选的，所述中央节点还包括：处理结果获得单元和再分配单元，
所述处理结果获得单元，用于在所述数据分配单元将所述多个子数据分配给至少一个所述处理节点进行数据处理后，获得各所述处理节点进行数据处理的处理结果；
所述再分配单元，用于将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
一种数据处理***，包括：存储***、任务分配***和多个任务处理***，所述任务处理***为任一项上述的任务处理***，
所述任务分配***用于为各任务处理***分配待处理任务；
所述存储***用于存储与所述待处理任务对应的待处理数据。
本发明实施例提供的任务处理方法、***及数据处理***，任务处理***包括中央节点和多个处理节点，方法包括：中央节点获得待处理任务；所述中央节点从所述存储***中获取与所述待处理任务对应的待处理数据；所述中央节点将所述待处理数据拆分为多个子数据；所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；所述中央节点将各所述处理节点处理后的子数据进行合并。本发明通过中央节点的设置，使得处理节点可以直接从该中央节点处获取数据，同时，由于中央节点进行了数据拆分，因此各处理节点只需从中央节点处获取自己所需处理的数据即可，大大降低了网络负担。同时，由于节点和存储***之间数据传输次数大大减少，使得数据传输过程受网络不稳定因素影响的概率更小，提高了数据传输的稳定性。
当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种任务处理***的结构示意图；
图2为本发明实施例提供的一种任务处理方法的流程图；
图3为本发明实施例提供的另一种任务处理方法的流程图；
图4为本发明实施例提供的另一种任务处理方法的流程图；
图5为本发明实施例提供的另一种任务处理方法的流程图；
图6为本发明实施例提供的一种任务处理***的中央单元的结构示意图；
图7为本发明实施例提供的一种数据处理***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供的一种任务处理方法，应用于与存储***001通信连接的任务处理***002中，所述任务处理***002包括中央节点100和多个处理节点200，如图2所示，该方法可以包括：
S100、所述中央节点获得待处理任务；
可选的，与存储***001通信连接的任务处理***002可以有多个，每个任务处理***002中的中央节点100和多个处理节点200可以均位于预设地理区域中或每个任务处理***002中的中央节点100和多个处理节点200之间的距离小于第一预设距离。
这样，本发明就可以将各地的***充分利用起来，将每个地方的***都设置为一个任务处理***。
本发明可以复用现有的分层分布式网络如内容分发网络，无需再重新设置设备，节省了设备及带宽成本。同时，通过本发明对任务处理***的划分，使得某区域内大量的设备可以作为一个任务处理***用于执行任务，提高了任务执行的速率，使得现有的分层分布式网络具有更强的海量数据支持和更优的***扩展性。
S200、所述中央节点100从所述存储***001中获取与所述待处理任务对应的待处理数据；
其中，待处理任务可以为视频转码任务，待处理数据可以为视频文件。
其中，存储***001与任务处理***002的距离可以大于第二预设距离，可以理解的是，出于成本考虑，存储***001与任务处理***常不设置在同一区域。在这种情况下，本发明的中央节点100在从存储***001中获取待处理数据后，就可以直接将拆分后分配至各处理节点200，无需各处理节点200分别从存储***001获得待处理数据，减少了传输的数据量。
S300、所述中央节点100将所述待处理数据拆分为多个子数据；
S400、所述中央节点100将所述多个子数据分配给至少一个所述处理节点200进行数据处理；
S500、所述中央节点100将各所述处理节点200处理后的子数据进行合并。
在本发明其他实施例中，步骤S500后还可以包括：
所述中央节点100将合并后得到的数据发送到所述存储***001。
本发明实施例提供的一种任务处理方法，通过中央节点的设置，使得处理节点可以直接从该中央节点处获取数据，同时，由于中央节点进行了数据拆分，因此各处理节点只需从中央节点处获取自己所需处理的数据即可，大大降低了网络负担。同时，由于节点和存储***之间数据传输次数大大减少，使得数据传输过程受网络不稳定因素影响的概率更小，提高了数据传输的稳定性。
如图3所示，本发明实施例提供的另一种任务处理方法中，图1所示步骤S300可以包括：
S310、所述中央节点100获得各处理节点200的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
具体的，当中央节点100无法获得某处理节点的工作状态时，则中央节点100确定该处理节点为不可执行任务的处理节点。其中，中央节点100无法获得某处理节点的工作状态的情况有多种，如：中央节点100和该处理节点的网络连接出现问题，或，该处理节点宕机。
其中，处理节点200的工作状态可以包括：处理节点200的负载信息等。可选的，当处理节点200的负载低于预设负载时，可以确定该处理节点200为可执行任务的处理节点。
S320、所述中央节点100将所述待处理数据拆分为所述处理节点数量的子数据。
这样，每一个可执行任务的处理节点都可以对一个子数据进行处理。
在图3所示实施例基础上，如图4所示，本发明实施例提供的另一种任务处理方法，可以包括：
S100、所述中央节点100获得待处理任务；
S200、所述中央节点100从所述存储***001中获取与所述待处理任务对应的待处理数据；
S310、所述中央节点100获得各处理节点200的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
S311、确定各可执行任务的处理节点的处理能力；
其中，可以根据各处理节点的物理设备参数(如：CPU参数)确定处理节点的处理能力，也可以根据处理节点的负载情况确定处理节点的处理能力。
S321、所述中央节点100根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
步骤S321是步骤S320的一种具体实现方式。
S400、所述中央节点100将所述多个子数据分配给至少一个所述处理节点200进行数据处理，其中，分配给处理节点的子数据的数据量与该处理节点的处理能力相匹配；
通过步骤S321和步骤S400就使得中央节点分配给各处理节点的子数据的数据量与处理节点的处理能力相匹配，有利于提高数据处理效率。
S500、所述中央节点100将各所述处理节点200处理后的子数据进行合并。
如图5所示，本发明实施例提供的另一种任务处理方法，在步骤S400以后，还可以包括：
S410、所述中央节点100获得各所述处理节点200进行数据处理的处理结果，在处理结果均为成功时执行步骤S500，否则执行步骤S420；
S420、所述中央节点100将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
在步骤S420将数据重新分配给其他处理节点后，步骤S410会收到该其他处理节点的处理结果并继续判断处理结果是否均为成功。通过这种反馈机制就保障数据成功处理，提高了***的可靠性，提高了任务的并发执行量，提高了***的数据吞吐能力。
本发明实施例提供的任务处理方法，当处理节点处理数据失败时，另一处理节点无需从存储***中再获取数据，而是直接由中央节点将之前处理失败的子数据发送到另一处理节点即可，大大减少了传输的数据量，降低了网络负担。同时，由于节点和存储***之间数据传输次数大大减少，使得数据传输过程受网络不稳定因素影响的概率更小，提高了数据传输的稳定性。
与上述方法实施例相对应，本发明实施例还提供了一种任务处理***。
请结合图1和图6，本发明实施例提供的一种任务处理***，与存储***001通信连接，所述任务处理***包括中央节点100和多个处理节点200，所述中央节点100包括：任务获得单元810、数据获得单元820、数据拆分单元830、数据分配单元840和数据合并单元850，
所述任务获得单元810，用于获得待处理任务；
所述数据获得单元820，用于从所述存储***001中获取与所述待处理任务对应的待处理数据；
所述数据拆分单元830，用于将所述待处理数据拆分为多个子数据；
所述数据分配单元840，用于将所述多个子数据分配给至少一个所述处理节点200进行数据处理；
所述数据合并单元850，用于将各所述处理节点200处理后的子数据进行合并。
本发明实施例提供的一种任务处理***，通过中央节点的设置，使得处理节点可以直接从该中央节点处获取数据，同时，由于中央节点进行了数据拆分，因此各处理节点只需从中央节点处获取自己所需处理的数据即可，大大降低了网络负担。同时，由于节点和存储***之间数据传输次数大大减少，使得数据传输过程受网络不稳定因素影响的概率更小，提高了数据传输的稳定性。
在本发明其他实施例中，所述中央节点100还可以包括：数据发送单元，用于将合并后得到的数据发送到所述存储***001。
其中，所述数据拆分单元830，可以包括：节点状态获得子单元和拆分子单元，
所述节点状态获得子单元，用于获得各处理节点200的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
所述拆分子单元，用于将所述待处理数据拆分为所述处理节点数量的子数据。
进一步，所述数据拆分单元830，还可以包括：处理能力确定子单元，用于在所述节点状态获得子单元根据所述工作状态确定可执行任务的处理节点数量后，确定各可执行任务的处理节点的处理能力；
所述拆分子单元，具体用于：根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
在本发明另一实施例中，所述中央节点100还可以包括：处理结果获得单元和再分配单元，
所述处理结果获得单元，用于在所述数据分配单元840将所述多个子数据分配给至少一个所述处理节点进行数据处理后，获得各所述处理节点进行数据处理的处理结果；
所述再分配单元，用于将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
如图7所示，本发明实施例还提供了一种数据处理***，可以包括：存储***001、任务分配***003和多个任务处理***002，所述任务处理***002为图6所示实施例提供的任务处理***，
所述任务分配***003用于为各任务处理***分配待处理任务；
所述存储***001用于存储与所述待处理任务对应的待处理数据。
具体的，任务分配***003可以根据各任务处理***的网络情况、地域分布、处理节点数量、处理节点计算能力、负载情况等为各任务处理***分配待处理任务。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种任务处理方法，其特征在于，应用于与存储***通信连接的任务处理***中，所述任务处理***包括中央节点和多个处理节点，所述方法包括：
所述中央节点获得待处理任务；
所述中央节点从所述存储***中获取与所述待处理任务对应的待处理数据；
所述中央节点将所述待处理数据拆分为多个子数据；
所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理；
所述中央节点将各所述处理节点处理后的子数据进行合并。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述中央节点将合并后得到的数据发送到所述存储***。
3.根据权利要求1所述的方法，其特征在于，所述中央节点将所述待处理数据拆分为多个子数据，包括：
所述中央节点获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据。
4.根据权利要求3所述的方法，其特征在于，在所述根据所述工作状态确定可执行任务的处理节点数量后，所述中央节点将所述待处理数据拆分为多个子数据，还包括：
确定各可执行任务的处理节点的处理能力；
所述中央节点将所述待处理数据拆分为所述处理节点数量的子数据，包括：
所述中央节点根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
5.根据权利要求1至4中任一项所述的方法，其特征在于，在所述中央节点将所述多个子数据分配给至少一个所述处理节点进行数据处理后，所述方法还包括：
所述中央节点获得各所述处理节点进行数据处理的处理结果；
所述中央节点将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
6.一种任务处理***，其特征在于，与存储***通信连接，所述任务处理***包括中央节点和多个处理节点，所述中央节点包括：任务获得单元、数据获得单元、数据拆分单元、数据分配单元和数据合并单元，
所述任务获得单元，用于获得待处理任务；
所述数据获得单元，用于从所述存储***中获取与所述待处理任务对应的待处理数据；
所述数据拆分单元，用于将所述待处理数据拆分为多个子数据；
所述数据分配单元，用于将所述多个子数据分配给至少一个所述处理节点进行数据处理；
所述数据合并单元，用于将各所述处理节点处理后的子数据进行合并。
7.根据权利要求6所述的***，其特征在于，所述数据拆分单元，包括：节点状态获得子单元和拆分子单元，
所述节点状态获得子单元，用于获得各处理节点的工作状态，根据所述工作状态确定可执行任务的处理节点数量；
所述拆分子单元，用于将所述待处理数据拆分为所述处理节点数量的子数据。
8.根据权利要求7所述的***，其特征在于，所述数据拆分单元，还包括：处理能力确定子单元，用于在所述节点状态获得子单元根据所述工作状态确定可执行任务的处理节点数量后，确定各可执行任务的处理节点的处理能力；
所述拆分子单元，具体用于：根据各可执行任务的处理节点的处理能力，将所述待处理数据拆分为所述处理节点数量的子数据，每个子数据的数据量均与一个可执行任务的处理节点的处理能力相匹配。
9.根据权利要求6至8中任一项所述的***，其特征在于，所述中央节点还包括：处理结果获得单元和再分配单元，
所述处理结果获得单元，用于在所述数据分配单元将所述多个子数据分配给至少一个所述处理节点进行数据处理后，获得各所述处理节点进行数据处理的处理结果；
所述再分配单元，用于将所述处理结果为失败的处理节点所处理的数据分配给除所述处理结果为失败的处理节点外的其他处理节点进行数据处理。
10.一种数据处理***，其特征在于，包括：存储***、任务分配***和多个任务处理***，所述任务处理***为权利要求6至9中任一项所述的任务处理***，
所述任务分配***用于为各任务处理***分配待处理任务；
所述存储***用于存储与所述待处理任务对应的待处理数据。
CN201710060155.8A 2017-01-24 2017-01-24 任务处理方法、***及数据处理*** Pending CN107743246A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710060155.8A CN107743246A (zh) 2017-01-24 2017-01-24 任务处理方法、***及数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710060155.8A CN107743246A (zh) 2017-01-24 2017-01-24 任务处理方法、***及数据处理***

Publications (1)

Publication Number Publication Date
CN107743246A true CN107743246A (zh) 2018-02-27

Family

ID=61235032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710060155.8A Pending CN107743246A (zh) 2017-01-24 2017-01-24 任务处理方法、***及数据处理***

Country Status (1)

Country Link
CN (1) CN107743246A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214132A (zh) * 2018-10-30 2019-01-15 中国运载火箭技术研究院 一种面向lvc仿真的非耦合流式大通量异步任务处理***
CN109918204A (zh) * 2018-03-22 2019-06-21 南京地平线机器人技术有限公司 数据处理***及方法
CN116743752A (zh) * 2023-08-11 2023-09-12 山东恒宇电子有限公司 一种分布式网络通讯实现数据处理负载均衡***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242658A (ja) * 1998-02-25 1999-09-07 Digital Vision Laboratories:Kk 分散処理方法、ネットワークシステムおよびノード装置
US20090259713A1 (en) * 2001-02-24 2009-10-15 International Business Machines Corporation Novel massively parallel supercomputer
CN103188161A (zh) * 2011-12-30 2013-07-03 ***通信集团公司 分布式数据加载调度方法与***
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式***的控制方法，及管理节点
CN104102475A (zh) * 2013-04-11 2014-10-15 腾讯科技（深圳）有限公司 分布式并行任务处理的方法、装置及***
CN104378665A (zh) * 2014-11-24 2015-02-25 深圳市天威视讯股份有限公司 一种基于数字电视的分布式转码***及方法
CN105740063A (zh) * 2014-12-08 2016-07-06 杭州华为数字技术有限公司 一种数据处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11242658A (ja) * 1998-02-25 1999-09-07 Digital Vision Laboratories:Kk 分散処理方法、ネットワークシステムおよびノード装置
US20090259713A1 (en) * 2001-02-24 2009-10-15 International Business Machines Corporation Novel massively parallel supercomputer
CN103188161A (zh) * 2011-12-30 2013-07-03 ***通信集团公司 分布式数据加载调度方法与***
CN104102475A (zh) * 2013-04-11 2014-10-15 腾讯科技（深圳）有限公司 分布式并行任务处理的方法、装置及***
CN103716381A (zh) * 2013-12-12 2014-04-09 华为技术有限公司 一种分布式***的控制方法，及管理节点
CN104378665A (zh) * 2014-11-24 2015-02-25 深圳市天威视讯股份有限公司 一种基于数字电视的分布式转码***及方法
CN105740063A (zh) * 2014-12-08 2016-07-06 杭州华为数字技术有限公司 一种数据处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109918204A (zh) * 2018-03-22 2019-06-21 南京地平线机器人技术有限公司 数据处理***及方法
CN109214132A (zh) * 2018-10-30 2019-01-15 中国运载火箭技术研究院 一种面向lvc仿真的非耦合流式大通量异步任务处理***
CN109214132B (zh) * 2018-10-30 2023-06-30 中国运载火箭技术研究院 一种面向lvc仿真的非耦合流式大通量异步任务处理***
CN116743752A (zh) * 2023-08-11 2023-09-12 山东恒宇电子有限公司 一种分布式网络通讯实现数据处理负载均衡***

Similar Documents

Publication Publication Date Title
CN104699542B (zh) 任务处理方法及***
CN109146447A (zh) 区块链透明分片方法、装置及***
CN106790112B (zh) 一种集成轻量级区块链的节点操作***及数据更新的方法
CN104539713B (zh) 业务请求处理方法和装置
CN102546402B (zh) 支持基于关键项的分布式进程的方法和计算实体
TWI751139B (zh) 業務處理系統、業務處理方法以及業務更新方法
CN105867955A (zh) 一种应用程序部署***及部署方法
CN108833163A (zh) Linux虚拟服务器的创建方法、装置、计算机设备及存储介质
CN107743246A (zh) 任务处理方法、***及数据处理***
CN104731647A (zh) 任务处理方法及***
CN105704458A (zh) 基于容器技术的视频监控云服务的平台实现方法及***
CN103366117B (zh) 一种感染型病毒修复方法及***
CN106817236A (zh) 虚拟网络功能的配置方法和装置
CN110213116B (zh) 一种网络业务集中处理的网络***、方法及通信设备
CN108605017A (zh) 查询计划和操作感知通信缓冲区管理
CN106453143A (zh) 带宽设置方法、装置和***
CN107707592A (zh) 任务处理方法、节点及内容分发网络
CN112187864A (zh) 负载均衡方法、装置、存储介质及电子设备
CN105786447A (zh) 服务器处理数据的方法、装置及服务器
CN117149445A (zh) 一种跨集群负载均衡方法及装置、设备及存储介质
CN1588921A (zh) 基于多层架构的数据处理***及数据处理方法
CN107305570A (zh) 一种数据检索方法及***
CN109951551A (zh) 一种容器镜像管理***及方法
CN108174314A (zh) 一种光交网业务调度方法及装置
CN101141307B (zh) 一种应用于通信***的基于策略管理的方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 550001 Gui'an New Area High-end Equipment Industry Park in the Southern Park

Applicant after: Guizhou Baishan cloud Polytron Technologies Inc

Address before: 100015 5 floor, block E, 201 IT tower, electronic city, 10 Jiuxianqiao Road, Chaoyang District, Beijing.

Applicant before: Guizhou white cloud Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180227