CN109947850A - 数据分发方法、装置和设备 - Google Patents

Abstract

本申请公开了数据分发方法、装置及设备，该方法包括：根据第一预设策略确定第一数据集中的第一数据的数据类型；当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。在本发明实施例的方案中，通过部署多个节点，将存储在上游节点或数据中心服务器中的识别数据库的数据按照预设策略分发至下游节点，如此可将用户所需的数据分发至用户就近的节点，而无需将识别数据库的全部数据提供给用户，这样既缩短了用户和所需数据之间的网络距离，达到加速的效果，又保证了数据的安全。

Description

数据分发方法、装置和设备

技术领域

本申请涉及计算机处理技术领域，特别涉及数据分发方法、装置和设备。

背景技术

近年来，智能识别技术得到迅速的发展及广泛使用，例如图像识别、语音识别、人脸识别等等。这是一种基于已知的识别数据库，利用计算机或嵌入式设备分析待识别数据，进而利用识别数据库样本数据来检测出待识别数据的一门技术。识别数据库可存储在计算机或嵌入式设备本地，也可以存储在云端。存储在云端能节约计算机或嵌入式设备的本地存储空间，但由于受网络技术限制，不能总体快速地获得识别信息，因此在很多应用场景中只能将识别数据库提供给用户存储于本地，这使得整个识别数据库的数据存在被盗取或泄露的风险。

发明内容

鉴于以上问题，本发明的实施例提供数据分发方法、装置和设备，其能解决上述背景技术部分提到的技术问题。

按照本发明的实施例的数据分发方法，包括：根据第一预设策略确定第一数据集中的第一数据的数据类型；当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

按照本发明的实施例的数据分发装置，包括：确定模块，用于根据第一预设策略确定第一数据集中的第一数据的数据类型；分发模块，用于当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

按照本发明的实施例的电子设备，包括：处理器；以及存储器，其上存储有可执行指令；其中，所述处理器配置为执行所述可执行指令以实施前述的数据分发方法。

按照本发明的实施例的计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当所述可执行指令被处理器执行时，实施前述的数据分发方法。

在本发明实施例的方案中，通过部署多个节点，将存储在上游节点或数据中心服务器中的识别数据库的数据按照预设策略分发至下游节点，如此可将用户所需的数据分发至用户就近的节点，使用户可利用就近的节点对待识数据进行识别，而无需将识别数据库的全部数据提供给用户，这样既缩短了用户和所需数据之间的网络距离，达到加速的效果，又保证了数据的安全。

附图说明

图1为本发明可以应用于其中的示例性***架构图；

图2为本发明一实施例的数据分发方法的流程图；

图3为本发明另一实施例的数据分发方法的流程图；

图4为本发明一实施例的数据分发装置的示意图；

图5为本发明一实施例的电子设备的示意图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施方式中也可以实现本发明。在其它情况中，省略对众所周知的装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。

图1示出了可以应用本发明的数据分发方法或装置的一个实施例的示例性***架构。

如图1所示，***100可以包括终端102、边缘节点104、106和108、中间层节点110和112，以及数据中心服务器114。上述设备的个数仅用于示例性的说明本发明的原理，并不对本发明构成限制。***100可以是以层次状结构进行组织的，其中，数据中心服务器114位于层次状结构的最上层，边缘节点104、106和108位于层次状结构的最底层，位于数据中心服务器114和边缘节点104、106、108之间的是中间层节点110和112。需要说明的是，在不同的***中，拓扑结构可能有所不同，例如可以包括多层的中间层节点，或者不包括中间层节点。

终端102响应用户的操作向***100发送识别请求，其中，识别请求携带待识别数据。即用户可通过终端102向***100发送待识别数据及接收***100返回的待识别数据的识别信息。终端100为STB(Set Top Box，机顶盒)、路由器或UE(User Equipment，用户终端)等。在本申请实施例中，终端102可以各种形式来实施。例如，可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)等等的移动终端以及诸如台式计算机等等的固定终端。

边缘节点104、106、108和中间层节点110、112为节点服务器，在本申请实施例中，以边缘节点104为例进行说明，边缘节点104接入终端102，用于接收终端102发送的待识别数据，或者，将待识别数据的识别信息发送至终端102。以中间层节点110为例进行说明，中间层节点110接入边缘节点104、106，用于接收边缘节点104、106发送的待识别数据，或者，将待识别数据的识别信息发送至边缘节点104、106。

数据中心服务器114接入中间层节点110和112，用于接收中间层节点110和112发送的待识别数据，或者，将待识别数据的识别信息发送至中间层节点110和112。数据中心服务器114存储有用于对待识别数据进行识别的识别数据库的全部数据，节点服务器接收数据中心服务器114或上游节点按预设策略分发的数据，不同节点服务器所存储的数据可以相同也可以不相同，数据中心服务器114或上游节点可以向指定的下游节点分发数据，也可以向所有连接的下游节点分发数据。

需要说明的是，本发明实施例所提供的数据分发方法一般由数据服务器或中间层节点执行，相应的，数据分发装置一般设置于数据服务器或中间层节点中。

图2示出了本发明一实施例提供的数据分发方法的流程图，该方法200可以包括以下步骤：

S202：根据第一预设策略确定第一数据集中的第一数据的数据类型。

在本申请实施例中，第一数据集可以是存储在数据中心服务器或当前节点的识别数据库的数据的集合，该当前节点为中间层节点，其下游节点可以为中间层节点或边缘节点。数据中心服务器或当前节点可利用第一数据集中的数据对待识别数据进行识别，具体的，待识别数据例如可以是图像数据、语音数据或其他类型的数据。本申请实施例例如可以通过计算第一数据集中的数据与待识别数据的相似度来对待识别数据进行识别。

通过第一预设策略确定第一数据的数据类型可以是通过判断第一数据是否满足预设策略来确定第一数据的数据类型，预设策略例如但不限于热度、人工设定、存储时间。人工设定可以是在数据中心服务器或当前节点临时设定的预设策略，存储时间可以是该第一数据在当前节点存储的累计时间满足一定条件。

在本申请的一个实施例中，步骤S202可以包括以下子步骤：

S11：对所述第一数据对应的识别信息统计在预设的时间段的获取次数。

在本申请实施例中，识别数据库中的数据包括与识别信息对应的标签数据和与标签数据关联的样本数据。识别信息为数据的分类信息，例如可以是图像类型信息、语音类别信息。例如，在图像识别领域，识别数据库可以包括与图像类型信息对应的标签数据和与标签数据关联的图像样本数据，在语音识别领域，识别数据库可以包括与语音类别信息对应的标签数据和与标签数据关联的声纹样本数据。同一识别信息可以对应多个标签数据，每一标签数据分别关联一样本数据。例如，同一图像类型可以通过不同角度采集从而获取多个图像样本数据，对每一图像样本数据进行图像标注获得每一图像样本数据的标签数据。

在本申请实施例中，数据中心服务器或当前节点可利用第一数据集中的样本数据对待识别数据进行识别，并获得与样本数据关联的识别信息。具体的，可计算待识别数据与样本数据的相似度(例如可通过计算欧式距离或汉明距离来计算相似度)，获取相似度满足预设要求的样本数据的识别信息。

在本申请实施例中，第一数据可包括指定的标签数据和与标签数据关联的样本数据，数据中心服务器或当前节点对第一数据对应的识别信息统计在预设的时间段的获取次数，该获取次数可以从一定程度上反映出该第一数据的热度，因此，可基于该获取次数确定第一数据的数据类型。

S12：判断所述获取次数是否超过预设的次数阈值；若是，则确定所述第一数据的数据类型为目标类型。

在本申请实施例中，当获取次数超过预设的次数阈值，则可确定第一数据为目标类型，即热点数据。

S204：当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

在本申请实施例中，第二数据集为存储在下游节点的识别数据库的数据的集合，对于目标类型的第一数据，属于热点数据，利用第一数据来对待识别数据识别的概率较高，因此可将第一数据存储于离用户终端较近的节点，缩短用户与第一数据之间的距离。数据中心服务器可向下游节点(例如中间层节点或边缘节点)中指定的节点分发第一数据，也可以向所有节点分发第一数据；中间层节点可向与其连接的下一层节点中指定的节点分发第一数据，也可以向与其连接的所有节点分发第一数据。下游节点在接收到上游节点分发的第一数据后，将第一数据存储在识别数据库的第二数据集中。

在本发明实施例的方案中，通过部署多个节点，将存储在上游节点或数据中心服务器中的识别数据库的数据按照预设策略分发至下游节点，如此可将用户所需的数据分发至用户就近的节点，使用户可利用就近的节点对待识数据进行识别，而无需将识别数据库的全部数据提供给用户，这样既缩短了用户和所需数据之间的网络距离，达到加速的效果，又保证了数据的安全。

作为对本发明数据分发方法的进一步改进，图3示出了本发明另一实施例提供的数据分发方法的流程图，该方法300可以包括以下步骤：

S302：当接收到对待识别数据的识别请求时，利用所述第一数据集对所述待识别数据进行识别。

在本申请实施例中，对待识别数据进行识别的可以是数据中心服务器或者是部署在用户终端和数据中心服务器之前的节点。对于用户发送的对待识别数据进行识别的请求，首先通过调度将用户的请求路由或者引导到离用户最近或者当前负载较小的节点上，如果当前节点可识别出待识别数据，则当前节点可返回待识别数据的识别信息，如果当前节点不可以识别出待识别数据，则将识别请求发送至上游节点或者数据中心服务器。

在本申请实施例中，第一数据集包含可识别出待识别数据的第一数据，因此可利用第一数据集对待识别数据进行识别。

S304：获取所述待识别数据的识别信息。

在本申请实施例中，可根据识别结果获取待识别数据的识别信息。

S306：返回所述识别信息。

在本申请实施例中，可将识别信息返回发送识别请求的下游节点，并通过下游节点返回用户终端。

S308：对所述识别信息统计在预设的时间段的获取次数。

S310：判断所述获取次数是否超过预设的次数阈值；若是，则确定所述识别信息对应的第一数据的数据类型为目标类型。

S312：当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

图4示出了按照本申请的一个实施例的数据分发装置的示意图，图4所示的装置400可以利用软件、硬件或软硬件结合的方式来实现。装置400的实施例基本相似于方法的实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

如图4所示，装置400可以包括确定模块402和分发模块404。确定模块402用于根据第一预设策略确定第一数据集中的第一数据的数据类型。分发模块404用于当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

作为对本发明数据分发装置的进一步改进，确定模块402可以包括统计子模块、判断子模块和确定子模块。统计子模块用于对所述第一数据对应的识别信息统计在预设的时间段的获取次数。判断子模块用于判断所述获取次数是否超过预设的次数阈值；若是，调用确定子模块。确定子模块用于确定所述第一数据的数据类型为目标类型。

作为对本发明数据分发装置的进一步改进，装置400还可以包括识别模块、获取模块和返回模块。识别模块用于当接收到对待识别数据的识别请求时，利用所述第一数据集对所述待识别数据进行识别。获取模块用于获取所述待识别数据的识别信息。返回模块用于返回所述识别信息。

本申请实施例还提供一种电子设备，请参见图5，图5为本申请实施例电子设备一个实施例示意图。如图5所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。

如图5所示，电子设备500可以包括处理器502和存储器504，其中，存储器504上存储有可执行指令，其中，所述可执行指令当被执行时使得处理器502执行图2或图3任一实施方式所示的方法。

如图5所示，电子设备500还可以包括连接不同***组件(包括处理器502和存储器504)的总线506。总线506表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。

电子设备500典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器504可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)508和和/或高速缓存存储器510。电子设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***512可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线506相连。存储器504可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图2或图3实施例的功能。

具有一组(至少一个)程序模块516的程序/实用工具514，可以存储在例如存储器504中，这样的程序模块516包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块516通常执行本发明所描述的上述图2或图3实施例中的功能和/或方法。

电子设备500也可以与一个或多个外部设备522(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口518进行。并且，电子设备500还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器520通过总线506与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理器502通过运行存储在存储器504中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的方法。

本申请的实施例还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当所述可执行指令被处理器执行时，实施前述各个实施例的数据分发方法中的任意一种实施方式。

本实施例的计算机存储介质可以包括上述图5所示实施例中的存储器504中的随机存取存储器(RAM)508、和/或高速缓存存储器510、和/或存储***512。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机存储介质不仅可以包括有形的介质，还可以包括无形的介质。

本领域的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (8)

1.数据分发方法，包括：

根据第一预设策略确定第一数据集中的第一数据的数据类型；

当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

2.根据权利要求1所述的方法，其中，根据第一预设策略确定第一数据集中的第一数据的数据类型，包括：

对所述第一数据对应的识别信息统计在预设的时间段的获取次数；

判断所述获取次数是否超过预设的次数阈值；若是，则确定所述第一数据的数据类型为目标类型。

3.根据权利要求2所述的方法，其中，在根据第一预设策略确定第一数据集中的第一数据的数据类型之前，还包括：

当接收到对待识别数据的识别请求时，利用所述第一数据集对所述待识别数据进行识别；

获取所述待识别数据的识别信息；

返回所述识别信息。

4.数据分发装置，包括：

确定模块，用于根据第一预设策略确定第一数据集中的第一数据的数据类型；

分发模块，用于当所述数据类型为目标类型时，将所述第一数据分发至下游节点，以使所述下游节点将所述第一数据存储于第二数据集中。

5.根据权利要求4所述的装置，其中，所述确定模块包括：

统计子模块，用于对所述第一数据对应的识别信息统计在预设的时间段的获取次数；

判断子模块，用于判断所述获取次数是否超过预设的次数阈值；若是，则调用确定子模块；

确定子模块，用于确定所述第一数据的数据类型为目标类型。

6.根据权利要求5所述的装置，其中，所述装置还包括：

识别模块，用于当接收到对待识别数据的识别请求时，利用所述第一数据集对所述待识别数据进行识别；

获取模块，用于获取所述待识别数据的识别信息；

返回模块，用于返回所述识别信息。

7.电子设备，包括：

处理器；以及

存储器，其上存储有可执行指令；

其中，所述处理器配置为执行所述可执行指令以实施如权利要求1-3任一项所述的方法。

8.计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括可执行指令，当所述可执行指令被处理器执行时，实施如权利要求1-3任一项所述的方法。