CN111506921A - 一种数据处理方法、***、装置、终端和存储介质 - Google Patents
一种数据处理方法、***、装置、终端和存储介质 Download PDFInfo
- Publication number
- CN111506921A CN111506921A CN202010307696.8A CN202010307696A CN111506921A CN 111506921 A CN111506921 A CN 111506921A CN 202010307696 A CN202010307696 A CN 202010307696A CN 111506921 A CN111506921 A CN 111506921A
- Authority
- CN
- China
- Prior art keywords
- data
- terminal
- target
- attribute characteristics
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 58
- 238000007405 data analysis Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 111
- 238000013507 mapping Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请涉及数据处理方法、***、装置、终端和存储介质。该方法包括：确定出终端所需执行的计算规则；提取出执行计算规则所需的目标属性特征；至少基于目标属性特征确定出至少一个目标终端；将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。如此，能够在不侵犯用户隐私的基础上，获取到对用户特征数据进行处理后的间接用户数据，保护了用户隐私。
Description
技术领域
本申请涉及数据处理技术，尤其是涉及一种数据处理方法、***、装置、终端和存储介质。
背景技术
当前，大数据加云计算的技术架构已经非常成熟，通过位于用户终端的埋点来采集数据，并经过数据总线将采集到的数据发送至云端的大数据集群，进行存储、计算和分析。
但是，现有通过在用户终端埋点来收集用户数据的方式侵犯了用户隐私；而且，当利用埋点收集到大量用户终端的用户数据后，需要进行数据传输，大量数据传输必然会占用大量带宽，甚至导致网络堵塞，带宽最终成为数据传输的瓶颈。同时，现有采用集中式存储方式对大量用户终端的用户数据进行存储，也造成了资源浪费，增加了存储成本。
发明内容
为解决上述问题，本发明提出了一种数据处理方法、***、装置、终端和存储介质，能够在不侵犯用户隐私的基础上，获取到对用户特征数据进行处理后的间接用户数据，保护了用户隐私；同时，为降低存储成本、降低传输的数据量奠定了基础。
第一方面，本申请实施例提供一种数据处理方法，应用于数据处理装置，所述方法包括：
确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据；
提取出执行计算规则所需的目标属性特征；
至少基于目标属性特征确定出至少一个目标终端；
将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；
接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
在本申请的一个实施例中，所述基于目标属性特征确定出至少一个目标终端，包括：
基于属性特征与终端标识的映射关系表，确定出与目标属性特征相对应的至少一个目标终端。
第二方面，本申请实施例提供一种数据处理方法，应用于目标终端，所述方法包括：
接收到计算规则，确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；
基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；
发送针对目标终端的表征目标属性特征的间接用户数据。
在本申请的一个实施例中，所述方法还包括：
判断是否存在执行计算规则的空闲计算资源；
确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
第三方面，本申请实施例提供一种数据处理方法，应用于数据处理***，所述方法包括：
数据处理装置确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
至少一个目标终端接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；
所述至少一个目标终端将自身得到的表征目标属性特征的间接用户数据发送至数据处理装置，以便于数据处理装置基于接收到的所有间接用户数据对用户特征数据进行数据分析。
第四方面，本申请实施例提供一种数据处理***，包括：数据处理装置和至少一个目标终端；其中，
数据处理装置，用于确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
目标终端，用于接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；发送自身得到的表征目标属性特征的间接用户数据；
所述数据处理装置，还用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
第五方面，本申请实施例提供一种数据处理装置，包括：
第一处理单元，用于确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据；提取出执行计算规则所需的目标属性特征；至少基于目标属性特征确定出至少一个目标终端；
第一发送单元，用于将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；
第一接收单元，用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
在本申请的一个实施例中，所述第一处理单元，还用于基于属性特征与终端标识的映射关系表，确定出与目标属性特征相对应的至少一个目标终端。
第六方面，本申请实施例提供一种终端，包括：
第二接收单元，用于接收到计算规则；
第二处理单元，用于确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；
第二发送单元，用于发送针对目标终端的表征目标属性特征的间接用户数据。
在本申请的一个实施例中，所述第二处理单元，还用于判断是否存在执行计算规则的空闲计算资源；确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
第七方面，本申请实施例提供一种数据处理装置，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上应用于数据处理装置侧的方法。
第八方面，本申请实施例提供一种数据处理装置，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上应用于终端侧的方法。
第九方面，本申请实施例提供一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现以上应用于数据处理装置侧的方法；或者，该程序被处理器执行时实现以上应用于终端侧的方法。
这样，由于本申请方案数据处理装置能够基于所需执行的计算规则，提取出执行计算规则所需的目标属性特征，确定出至少一个目标终端，进而将计算规则发送至至少一个目标终端，而且，能够接收到目标终端所发送的执行计算规则后所得到的间接用户数据，该间接用户数据为针对目标终端的表征目标属性特征的用户数据，换言之，接收到的间接用户数据为经过数据处理后的用户数据，因此，保护了用户隐私；而且，由于本申请方案能够通过计算规则来控制目标终端进行数据获取的过程，以及控制获取到的数据结果，所以，能够避免采集无用或低价值的数据，进而进一步为避免数据存储、数据处理过程中的资源浪费奠定了基础，同时，也为降低存储成本、节约计算资源奠定了基础。
附图说明
图1为本发明实施例数据处理方法的实现流程示意图；
图2为本申请实施例数据处理***在一具体示例下的结构示意图；
图3为本申请实施例数据处理***的元数据层的结构示意图；
图4为本发明实施例数据处理***的基础数据层中用户终端的结构示意图；
图5为本发明实施例数据处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
本申请实施例提供了一种数据处理方法、***、装置、终端和存储介质；具体地，图1为本发明实施例数据处理方法的实现流程示意图一，如图1所示，所述应用于数据处理装置，所述方法包括：
步骤101：数据处理装置确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据。
这里，实际应用中，计算规则为预先设置的，可以根据实际分析需求而设置计算规则可以具体为模型、算法等；而且，计算规则中包含有目标属性特征等参数。
步骤102：数据处理装置提取出执行计算规则所需的目标属性特征。
在本申请一具体实施例中，预先设置基于属性特征与终端标识的映射关系表，利用该属性特征与终端标识的映射关系表即可查询得到执行所述计算规则所需的目标属性特征所对应的至少一个目标终端。这里，属性特征可以具体包括用户属性特征，终端属性特征等，实际应用中，可以根据分析场景而设置，本申请实施例对此不作限制。
实际应用中，所述数据处理装置还会设置终端标识与终端地址的映射关系表，这样，在确定出目标终端后，利用终端标识与终端地址的映射关系表来确定出目标终端的地址信息，进而基于目标终端的地址信息，将计算规则发送至目标终端。
步骤103：数据处理装置至少基于目标属性特征确定出至少一个目标终端。
步骤104：数据处理装置将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据。
这里，在数据处理装置将计算规则发送至目标终端后，目标终端接收到计算规则，确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；发送针对目标终端的表征目标属性特征的间接用户数据，即将针对目标终端的表征目标属性特征的间接用户数据发送至数据处理装置，进而便于数据处理装置基于接收到的所有目标终端所发送的间接用户数据对目标属性特征、用户特征数据进行分析。
在一具体实施例中，目标终端在接收到计算规则后，会首先判断是否存在执行计算规则的空闲计算资源；确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则，如利用空闲计算资源中的至少部分资源去确定执行计算资源所需的目标属性特征，并获取表征目标属性特征的用户特征数据，进而对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据。或者，若确定不存在执行计算规则的空闲计算资源后，则暂缓执行计算规则，待检测到存在空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
步骤105：数据处理装置接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
这样，由于本申请方案数据处理装置能够基于所需执行的计算规则，提取出执行计算规则所需的目标属性特征，确定出至少一个目标终端，进而将计算规则发送至至少一个目标终端，而且，能够接收到目标终端所发送的执行计算规则后所得到的间接用户数据，该间接用户数据为针对目标终端的表征目标属性特征的用户数据，换言之，接收到的间接用户数据为经过数据处理后的用户数据，因此，保护了用户隐私，确保了数据安全；而且，由于本申请方案能够通过计算规则来控制目标终端进行数据获取的过程，以及控制获取到的数据结果，所以，与现有将用户数据传输至云端，并利用云端进行数据处理的方式相比，能够避免数据传输过程中的数据泄露，提升了数据安全性；同时，能够避免采集无用或低价值的数据，进而进一步为避免数据存储、数据处理过程中的资源浪费奠定了基础，同时，也为降低存储成本、计算成本奠定了基础。
另外，由于本申请方案传输的是基于计算规则处理后的间接用户数据，所以，能够有效减少传输的数据量，降低了网络传输压力；与现有将用户数据传输至云端，并利用云端进行数据处理的方式相比，本申请方案减少了带宽的占用。
本申请实施例还提供了一种数据处理方法，应用于数据处理***，所述方法包括：
数据处理装置确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
至少一个目标终端接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；
所述至少一个目标终端将自身得到的表征目标属性特征的间接用户数据发送至数据处理装置，以便于数据处理装置基于接收到的所有间接用户数据对用户特征数据进行数据分析。
在一具体实施例中，预先设置基于属性特征与终端标识的映射关系表，利用该属性特征与终端标识的映射关系表即可查询得到执行所述计算规则所需的目标属性特征所对应的至少一个目标终端。这里，属性特征可以具体包括用户属性特征，终端属性特征等，实际应用中，可以根据分析场景而设置，本申请实施例对此不作限制。
实际应用中，所述数据处理装置还会设置终端标识与终端地址的映射关系表，这样，在确定出目标终端后，利用终端标识与终端地址的映射关系表来确定出目标终端的地址信息，进而基于目标终端的地址信息，将计算规则发送至目标终端。
在一具体实施例中，目标终端在接收到计算规则后，会首先判断是否存在执行计算规则的空闲计算资源；确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则，如利用空闲计算资源中的至少部分资源去确定执行计算资源所需的目标属性特征，并获取表征目标属性特征的用户特征数据，进而对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据。或者，若确定不存在执行计算规则的空闲计算资源后，则暂缓执行计算规则，待检测到存在空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
本申请实施例还提供了一种数据处理***，所述***包括：数据处理装置以及至少一个目标终端，具体地，
数据处理装置，用于确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
目标终端，用于接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；发送自身得到的表征目标属性特征的间接用户数据；
所述数据处理装置，还用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
这里需要指出的是：以上***实施例项的描述，与上述应用于数据处理***侧的方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。
以下结合具体示例对本申请方案做进一步详细说明；具体地，本示例数据处理***对传统的大数据加云计算的架构进行改进，并结合了Edge computin和Volunteercomputing的思想，能够在不进行埋点采集数据的情况下，获取到间接用户数据，进而为后续基于间接用户数据进行用户特征分析或个性推荐等大数据分析奠定了基础。具体地，本示例数据处理***通过将计算规则(如统计模型和/或算法)发送到用户终端(也即目标终端)，利用用户终端的资源和算力(也即空闲计算资源)，计算出中间值(也即间接用户数据)，并采集用户终端计算得到的中间值来构建大数据采集环境，如此，为完成更为复杂的分析奠定了数据采集基础，同时，保护了用户的隐私，节约了资源。
如图2所示，本示例中数据处理***架构包括三层：数据分析组件(也可称为数据分析层)(Analytics Fabric)、元数据组件(也可称为元数据层)(Meta-data Fabric)、以及各个用户终端所组成的基础数据组件(也可称为基础数据层)(Basic-data Fabric)；这里，数据分析层和元数据层通过数据处理装置实现；基础数据层通过终端实现。
实际场景中，顶层的数据分析层可以具体为企业的大数据环境，数据分析师有访问权和操作权，而中间的元数据层，数据分析师无权直接访问，该元数据层需要完成的是寻址工作，最底层的是各个用户终端所组成的基础数据层，用于执行计算规则并提供基础数据(也即间接用户数据)。
进一步地，数据分析层采用传统的大数据环境，可集成但不限于Hadoop/YARN/Spark/Flink等大数据***。
元数据层中，保留两组映射关系，分别为终端标识与终端地址的映射关系；以及，使用反向索引，建立属性特征与终端标识的映射关系；这里，通过终端标识与终端地址的映射关系表，即可完成数据寻址；而属性特征与终端标识的反向索引，则相当于终端的标签***，当然，基于用户隐私保护的原则，属性特征可以是一个范围，例如，年龄3～5年、浙江省、长线投资者等，可根据实际场景的实际需求而确定。
实际场景中，元数据层本身也是一个分布式***，如图2所示，元数据层可部署一个主节点，用于与数据分析层通信；而与主节点连接的其他子节点部署在靠近终端的边缘环境，如通信基站，用于与基础数据层的终端通信。其中，如图3所示，主节点和各子节点均设置有寻址模块，同时，主节点还设置有更新模块用于更新元数据信息，如定期更新属性特征与终端标识的映射关系表；寻址模块用于数据定位，即找到执行计算规则所需的属性特征所对应的目标终端，以及算法寻址，即将计算规则发送至目标终端进行后续计算；实际应用中，主节点先找目标终端连接的子节点，再由目标终端连接的子节点找到目标终端的地址信息。这里，该数据定位和算法寻址过程均是元数据层自动完成，无需人为干预。
基础数据层，包含有多个用户终端，相当于组成的一个巨大的“算力网”，各用户终端彼此独立，却又相互联系组成一个整体。各用户终端包括：计算模块、资源监测模块、数据模块、通信模块。如图4所示，计算模块用于基于计算规则对数据模块采集到的用户特征数据进行数据处理，得到中间值；数据模块，用于采集执行计算规则所需的目标属性特征所对应的用户特征数据，并保存计算模块得到的中间值；监控模块，用于监控用户终端的空闲计算资源，如CPU、内存的使用情况等，若空闲计算资源少，说明用户终端使用繁忙，如果此时进行计算则会对用户的正常使用造成影响，所以，延后执行计算任务。通信模块，用于与外界通信，负责接收和发送数据，比如，接收计算规则，发送中间值等。
这里，需要注意的是，数据模块采集但不上传原始数据，即数据模块会根据接收到的计算规则，有针对性的采集用户特征数据，并将用户特征数据作为临时数据用于计算模块进行计算；在计算完成之后，清空临时数据，返回中间值；最后只将中间值作为结果返回，不会收集任何用户的原始数据。若采集不到计算规则所需的数据，则返回预设标记，数据分析师在接收到预设标记后，选择合适的插补算法对缺失值进行处理。
另外，中间值不能反向推测出原始数据的值，也就是说，实际应用中，利用中间值和计算规则不能反向推测出用户特征数据。例如，统计1000名用户今日交易总次数，此时，无法通过该值反推出单个用户今日的交易次数。但是，若统计1000名用户中男性用户的数量也是1000，此时，单个值可以自动推断为1，在尊重用户隐私、符合法律法规的前提下，这种推断得到的过程值不作保留。
基于上述数据处理***，数据处理方法的流程具体如下：
步骤1：在顶层的数据分析层，由数据分析师发起计算，触发执行计算规则，此时，计算规则会被发送至元数据层。
步骤2：元数据层提取计算规则中所需要的属性特征字段(也即目标属性特征)，并根据属性特征与终端标识的映射关系表，得出符合计算要求的目标终端；再根据终端标识与终端地址的映射关系表，完成自动寻址，得到目标终端的地址信息。
步骤3：基于目标终端的地址信息，将计算规则发送至基础数据层的目标终端处，此时，目标终端的监控模块判断是否存在空闲计算资源；若无空闲资源，则计算推迟，若存在，则利用空闲计算资源，获取计算规则中所需要的属性特征字段相对应的用户特征数据，并对用户特征数据进行处理，得到中间值。
步骤4：将中间值返回至数据分析层，数据分析师根据中间值进行后续的计算、存储。
这样，整个过程中，没有采用传统的埋点方式收集用户所产生的原始数据(也即用户特征数据)，而是获取对用户所产生的原始数据进行处理后的中间值，保护了用户的隐私，保证了数据的安全。而且，由于数据的收集和计算都是基于用户终端本地进行，数据无需被传输到云端，因此，重要的敏感信息可以不经过网络传输，能够有效避免传输过程中的泄漏。
再有，本申请方案能够减少被传输的数据量，由于本申请计算的程中，与云端服务器的数据交换并不多，因此，有效减少了被传输的数据量，且无需占用太多网络带宽。而且，本申请方案最终采集到的是对用户特征数据处理后的中间值，换言之，数据分析层处理的并非为原始的用户特征数据，而处理的是经过用户终端处理后的中间值，该中间值可能会是多个用户特征数据处理后所得到的，所以，在数据计算、存储上都具有成本优势，即降低了数据存储成本，节约了数据计算资源。基于上述优势，即网络传输压力更小、成本也更低的时候，意味着处理更快，本申请方案的执行效率也会大大提升。
本申请实施例还提供了一种数据处理装置，如图5所示，所述装置包括：
第一处理单元51，用于确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据；提取出执行计算规则所需的目标属性特征；至少基于目标属性特征确定出至少一个目标终端；
第一发送单元52，用于将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；
第一接收单元53，用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
在本申请的一个实施例中，所述第一处理单元51，还用于基于属性特征与终端标识的映射关系表，确定出与目标属性特征相对应的至少一个目标终端。
这里需要指出的是：以上装置实施例项的描述，与上述应用于数据处理装置侧的方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本申请实施例还提供了一种终端，包括：
第二接收单元，用于接收到计算规则；
第二处理单元，用于确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；
第二发送单元，用于发送针对目标终端的表征目标属性特征的间接用户数据。
在本申请的一个实施例中，所述第二处理单元，还用于判断是否存在执行计算规则的空闲计算资源；确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
这里需要指出的是：以上终端实施例项的描述，与上述应用于终端侧的方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本申请实施例还提供了一种数据处理装置，包括：一个或多个处理器；与所述一个或多个处理器通信连接的存储器；一个或多个应用程序；其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上应用于数据处理装置侧的方法。
这里需要指出的是：以上数据处理装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明数据处理装置实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本申请实施例还提供了一种终端，包括：一个或多个处理器；与所述一个或多个处理器通信连接的存储器；一个或多个应用程序；其中，所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行以上应用于终端侧的方法。
这里需要指出的是：以上终端实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本发明终端实施例中未披露的技术细节，本领域的技术人员请参照本发明方法实施例的描述而理解，为节约篇幅，这里不再赘述。
本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现以上应用于数据处理装置侧的方法，或者，该程序被处理器执行时实现以上应用于终端侧的方法。
这里，计算机可读存储介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
上述所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (11)
1.一种数据处理方法，其特征在于，应用于数据处理装置，所述方法包括：
确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据；
提取出执行计算规则所需的目标属性特征；
至少基于目标属性特征确定出至少一个目标终端；
将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；
接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
2.根据权利要求1所述的方法，其特征在于，所述基于目标属性特征确定出至少一个目标终端，包括：
基于属性特征与终端标识的映射关系表，确定出与目标属性特征相对应的至少一个目标终端。
3.一种数据处理方法，其特征在于，应用于目标终端，所述方法包括：
接收到计算规则，确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；
基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；
发送针对目标终端的表征目标属性特征的间接用户数据。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
判断是否存在执行计算规则的空闲计算资源；
确定存在执行计算规则的空闲计算资源后，利用空闲计算资源中的至少部分资源执行计算规则。
5.一种数据处理方法，其特征在于，应用于数据处理***，所述方法包括：
数据处理装置确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
至少一个目标终端接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；
所述至少一个目标终端将自身得到的表征目标属性特征的间接用户数据发送至数据处理装置，以便于数据处理装置基于接收到的所有间接用户数据对用户特征数据进行数据分析。
6.一种数据处理***，其特征在于，包括：数据处理装置和至少一个目标终端；其中，
数据处理装置，用于确定出终端所需执行的计算规则，提取出执行计算规则所需的目标属性特征，并至少基于目标属性特征确定出至少一个目标终端，将所述计算规则发送至至少一个目标终端；
目标终端，用于接收到所述计算规则后获取自身所对应的表征目标属性特征的用户特征数据，并基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到表征目标属性特征的间接用户数据；发送自身得到的表征目标属性特征的间接用户数据；
所述数据处理装置，还用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
7.一种数据处理装置，其特征在于，所述装置包括：
第一处理单元，用于确定出终端所需执行的计算规则，其中，终端在执行所述计算规则后能够得到对终端的用户特征数据进行处理后的间接用户数据；提取出执行计算规则所需的目标属性特征；至少基于目标属性特征确定出至少一个目标终端；
第一发送单元，用于将所述计算规则发送至至少一个目标终端，其中，所述目标终端接收到所述计算规则后能够基于目标属性特征获取用户特征数据并对获取到的用户特征数据进行处理得到针对目标终端的表征目标属性特征的间接用户数据；
第一接收单元，用于接收至少一个目标终端所发送的间接用户数据，以便基于接收到的所有间接用户数据对用户特征数据进行数据分析。
8.一种终端，其特征在于，包括：
第二接收单元，用于接收到计算规则；
第二处理单元，用于确定出执行所述计算规则所需的目标属性特征后，获取目标终端所对应的表征目标属性特征的用户特征数据；基于计算规则对表征目标属性特征的用户特征数据进行数据处理，得到针对目标终端的表征目标属性特征的间接用户数据；
第二发送单元，用于发送针对目标终端的表征目标属性特征的间接用户数据。
9.一种数据处理装置，其特征在于，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行权利要求1或2所述的方法。
10.一种终端，其特征在于，包括：
一个或多个处理器；
与所述一个或多个处理器通信连接的存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行权利要求3或4所述的方法。
11.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1或2所述的方法；或者该程序被处理器执行时实现如权利要求3或4所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010307696.8A CN111506921B (zh) | 2020-04-17 | 2020-04-17 | 一种数据处理方法、***、装置、终端和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010307696.8A CN111506921B (zh) | 2020-04-17 | 2020-04-17 | 一种数据处理方法、***、装置、终端和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111506921A true CN111506921A (zh) | 2020-08-07 |
| CN111506921B CN111506921B (zh) | 2024-06-14 |
Family
ID=71877686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010307696.8A Active CN111506921B (zh) | 2020-04-17 | 2020-04-17 | 一种数据处理方法、***、装置、终端和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111506921B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112532720A (zh) * | 2020-11-27 | 2021-03-19 | 北京百度网讯科技有限公司 | 数据转发的方法、装置、设备以及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092696A1 (zh) * | 2015-12-02 | 2017-06-08 | ***股份有限公司 | ***露隐私的大数据安全融合方法 |
| CN109063505A (zh) * | 2018-06-29 | 2018-12-21 | 努比亚技术有限公司 | 一种隐私保护方法、终端及计算机可读存储介质 |
| CN110059097A (zh) * | 2019-03-21 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置 |
| US20190266352A1 (en) * | 2018-02-23 | 2019-08-29 | International Business Machines Corporation | Coordinated de-identification of a dataset across a network |
| CN110263024A (zh) * | 2019-05-20 | 2019-09-20 | 平安普惠企业管理有限公司 | 数据处理方法、终端设备及计算机存储介质 |
| CN110704833A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据权限配置方法、设备、电子设备及存储介质 |
| WO2020019524A1 (zh) * | 2018-07-27 | 2020-01-30 | 平安科技（深圳）有限公司 | 数据处理方法及装置 |
-
2020
- 2020-04-17 CN CN202010307696.8A patent/CN111506921B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017092696A1 (zh) * | 2015-12-02 | 2017-06-08 | ***股份有限公司 | ***露隐私的大数据安全融合方法 |
| US20190266352A1 (en) * | 2018-02-23 | 2019-08-29 | International Business Machines Corporation | Coordinated de-identification of a dataset across a network |
| CN109063505A (zh) * | 2018-06-29 | 2018-12-21 | 努比亚技术有限公司 | 一种隐私保护方法、终端及计算机可读存储介质 |
| WO2020019524A1 (zh) * | 2018-07-27 | 2020-01-30 | 平安科技（深圳）有限公司 | 数据处理方法及装置 |
| CN110059097A (zh) * | 2019-03-21 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 数据处理方法和装置 |
| CN110263024A (zh) * | 2019-05-20 | 2019-09-20 | 平安普惠企业管理有限公司 | 数据处理方法、终端设备及计算机存储介质 |
| CN110704833A (zh) * | 2019-10-10 | 2020-01-17 | 北京字节跳动网络技术有限公司 | 数据权限配置方法、设备、电子设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112532720A (zh) * | 2020-11-27 | 2021-03-19 | 北京百度网讯科技有限公司 | 数据转发的方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111506921B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110380917B (zh) | 联邦学习***的控制方法、装置、终端设备及存储介质 | |
| CN108985954B (zh) | 一种建立各标识的关联关系的方法以及相关设备 | |
| CN104219316A (zh) | 一种分布式***中的调用请求处理方法及装置 | |
| CN101420458B (zh) | 基于内容分发网络的多媒体内容监控***、方法及装置 | |
| CN110471900A (zh) | 数据处理方法及终端设备 | |
| CN109271363B (zh) | 一种文件存储的方法及设备 | |
| CN113011753A (zh) | 基于人工智能与大数据的智慧园区管理方法及云平台*** | |
| CN103731482A (zh) | 一种集群负载均衡***及其实现方法 | |
| CN111401844A (zh) | 基于物联网的数据共享协同办公方法及数据共享平台 | |
| CN109889451A (zh) | 网络限速的***及其方法和服务器 | |
| CN113900810A (zh) | 分布式图处理方法、***及存储介质 | |
| CN112052227A (zh) | 数据变更日志的处理方法、装置和电子设备 | |
| CN105512188A (zh) | 数据连接方法和数据连接*** | |
| CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
| CN109560951B (zh) | 一种配置方法、告警实时统计方法、服务器及*** | |
| CN111506921B (zh) | 一种数据处理方法、***、装置、终端和存储介质 | |
| CN112352412A (zh) | 网络流量处理方法、装置、存储介质及计算机设备 | |
| CN110611937B (zh) | 数据分流方法、装置、边缘数据中心和可读存储介质 | |
| CN112911272B (zh) | Iptv群障预警方法和*** | |
| CN112039936A (zh) | 数据传输方法、第一数据处理设备及监控*** | |
| CN110298178A (zh) | 可信策略学***台 | |
| CN114430375B (zh) | 多线路机房带宽的调度方法、装置、设备及介质 | |
| CN109842482A (zh) | 一种信息同步方法、***及终端设备 | |
| CN109547317B (zh) | 连接隧道的建立方法及装置 | |
| CN108197179A (zh) | 设备信息查询方法及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |