CN103312544A - 一种控制终端上报日志文件的方法、设备和*** - Google Patents

Abstract

本发明公开了一种控制终端上报日志文件的方法、设备和***，涉及信息传输领域，用于解决终端上报日志时所使用的网络流量的浪费的问题。本发明中，云端设备采集云端***网元中的历史log文件，对采集的历史log文件进行分析，得到用户行为数据，将得到的用户行为数据对应的用户行为标识存储在云端用户行为标识列表中，并在接收到终端发送的终端用户行为上报状态列表请求后，对预先设置的用户行为标识集合列表中的用户行为标识，根据云端用户行为标识列表确定该用户行为标识对应的上报状态，并向该终端发送终端用户行为上报状态列表。可见，本发明解决了终端上报日志时产生的网络流量的浪费的问题。

Description

一种控制终端上报日志文件的方法、设备和***

技术领域

本发明涉及信息传输领域，尤其涉及一种控制终端上报日志文件的方法、设备和***。

背景技术

在大数据处理越来越热的今天，运营商和厂商对于用户行为的分析更加详细、深入，用数据说话已经成为目前信息传输领域的趋势，这就要求运营商和厂商能够收集足够详细的用户行为轨迹数据。终端设备（如手机、Pad、电视等）在运行的过程中，会产生大量的用户行为轨迹数据，运营商和厂商收集足够多的用户行为轨迹数据后，能够根据用户的需求，不断完善产品功能，进而提升用户体验。如今，终端设备需要通过网络与其后台相对应的云端连接之后才能发挥该终端设备的智能性。然而，终端设备将用户行为轨迹数据通过网络上传到云端时，需要耗费终端设备大量的网络流量。同时，由于目前的各种复杂的网络环境的影响和终端用户的网络流量费用的限制，如何在保证终端设备上传数据的完整性的基础上降低终端设备的网络流量成为目前急需解决的问题。

现有技术中，终端设备的日志上报的方法可以通过以下两种方式上报给云端：

方式一：参见图1，终端设备收集日志并上报给云端：

步骤10：终端设备对终端设备产生的全部日志文件进行压缩，得到压缩后的日志文件；

步骤10中，终端设备运行的过程中，会产生大量的用户行为数据（即日志文件），其中可能包括终端设备运行同一个应用时，会产生相同的用户行为数据（即日志文件），此时对终端产生的全部的用户行为数据进行压缩，会得到大量的重复的用户行为数据（即日志文件）。因此，步骤10虽然能够保证终端设备的用户行为数据（即日志文件）的完整性，但此时终端设备会对大量相同的用户行为数据（即日志文件）进行重复压缩。

步骤11：终端设备接收由云端发送的上报策略，根据所述上报策略对日志文件进行压缩，得到压缩后的日志文件；

步骤11中，终端设备接收由云端发送的一种针对该终端设备的上报策略，该上报策略只能针对于该型号的终端设备，这就需要云端为每一型号的终端设备制定不同的上报策略，而且该上报策略一旦制定不易变更。也就是说，步骤11中的终端设备只能将该上报策略中定义的日志文件进行压缩，这就导致未被上报策略定义的用户行为所产生的日志文件不会被压缩，也不会上传给云端，造成了终端设备上传的用户行为数据（即日志文件）不完整，同时，云端不能收集全部的终端设备上传的用户行为数据（即日志文件）。随着终端设备的型号的增加，步骤11需要为每一型号的终端设备制定上报策略，这在实际操作中是几乎无法实现的。

步骤12：根据终端设备与云端的网络连接状态，向云端发送压缩后的日志文件；

步骤12中，判断终端设备与云端的网络连接状态，如果终端设备与云端已连接，则终端设备上传压缩后的日志文件给云端；如果终端设备与云端未连接，则终端设备不上传压缩后的日志文件给云端；

其中，如果终端设备与云端已连接，则终端设备上传压缩后的日志文件给云端，包括步骤10中压缩后的大量重复的用户行为数据（即日志文件），此时会导致大量相同的日志文件重复上传，造成终端设备的流量浪费；并且，在终端设备上传压缩后的日志文件给云端的过程中，一旦网络连接中断，那么终端设备将在网络连接恢复后，重新上传全部的压缩后的日志文件，其中包括网络连接未中断时，已经上传给云端的压缩后的日志文件。从而导致了大量相同的压缩后的日志文件重复上传。

方式二：云端通过网络连接获得终端设备的日志文件；

在云端与终端设备联网后，云端主动获取每一个终端的每一个应用（如***应用、cpu处理器或第三方应用）的日志文件。也就是说，终端设备不对该终端设备自身生成的日志文件进行收集，而是由云端直接收集该日志文件，一旦终端设备中的某一个应用生成了日志文件，云端就通过网络对该日志文件进行收集。由于步骤A中云端与终端设备进行了大量的交互（即云端通过网络主动获取每一个终端的每一个应用的日志文件）会带来用户操作体验的降低，并浪费的大量的终端的网络流量，同时，方式二中的云端在实际应用中不可能对每一个设备的每一个应用的日志文件进行收集，因此会导致此时云端获取的数据不完整。

综上，现有技术中存在如下问题：

通过方式一或者方式二对终端设备的日志文件进行收集，会导致终端设备的网络流量的大量浪费。

发明内容

本发明实施例提供一种控制终端上报日志文件的方法、设备和***，用于解决终端上报日志时所使用的网络流量的浪费的问题。

一种控制终端上报日志文件的方法，该方法包括：

云端设备采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

云端设备在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

云端设备向上述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态。

一种云端设备，该云端设备包括：

log文件智能分析单元，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

用户行为控制单元，用于在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

数据发送单元，用于向上述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态。

一种日志文件上报***，该***包括：

云端设备，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；向所述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含所述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

终端，用于向云端设备发送终端用户行为上报状态列表请求；接收云端设备发送的终端用户行为上报状态列表；根据所述终端用户行为上报状态列表，进行用户行为数据的上报。

本发明中，云端设备采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；终端向云端设备发送终端用户行为上报状态列表请求；云端设备在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；云端设备向上述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；终端接收云端设备发送的终端用户行为上报状态列表，终端根据上述终端用户行为上报状态列表，进行用户行为数据的上报。可见，本发明中云端设备对云端***的网元中的历史log文件进行分析，得到用户行为数据，并将携带有上述用户行为数据对应的用户行为标识的上报状态的终端用户行为上报状态列表发送给终端，用以指示终端上报云端***网元中未获取的用户行为数据，从而构造了用户行为过滤机制，该用户行为过滤机制能够避免终端上报云端设备已经从历史log文件中获取过的用户行为数据，从而降低了终端上报日志时产生的网络流量。

附图说明

图1为现有技术中终端根据上报策略上报日志文件的方法流程示意图；

图2为本发明实施例提供的控制终端上报日志文件的方法流程示意图；

图3为本发明实施例提供的终端日志文件的上报方法流程示意图；

图4为本发明实施例提供的云端设备分析历史log文件的流程示意图；

图5为本发明实施例提供的云端设备确定上报状态的流程示意图；

图6为本发明实施例提供的日志文件上报***结构示意图

图7为本发明实施例提供的云端设备结构示意图；

图8为本发明实施例提供的终端结构示意图。

具体实施方式

为了能够降低终端上报日志时产生的网络流量，本发明实施例提供一种控制终端上报日志文件的方法，本方法中，云端设备采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；云端设备在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；云端设备向上述终端发送终端用户行为上报状态列表；终端接收云端设备发送的终端用户行为上报状态列表，并根据上述终端用户行为上报状态列表，进行用户行为数据的上报。

参见图2，为本发明实施例提供的控制终端上报日志文件的方法，包括以下步骤：

步骤20：云端设备采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

步骤21：云端设备在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

步骤22：云端设备向上述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

较佳的，在步骤20之前，云端设备将用户行为标识集合列表发送给终端；用于指示终端对用户行为标识进行识别，查询与该用户行为标识对应的用户行为；云端设备向终端发送携带有某些用户行为标识的终端用户行为上报状态列表时，终端需要查询上述用户行为标识集合列表中的用户行为标识和用户行为的对应关系，进而得到云端设备需要终端上报哪些用户行为产生的用户行为数据；

步骤20中，由于云端***的网元与终端进行业务处理时会产生大量与该业务相关的历史log文件，该历史log文件中会包含大量终端的用户行为数据，云端设备可以从历史log文件中提取得到终端的用户行为数据，进而利用从历史log文件中提取的用户行为数据对终端的用户行为进行分析，因此不需要终端再上报已经从历史log文件中提取到的用户行为数据，从而可以节省终端上报用户行为数据所使用的网络流量，避免终端由于上传不必要的用户行为数据所带来的网络流量的浪费。

步骤20中，云端用户行为标识列表包括：云端设备根据历史log文件间接获取的用户行为数据对应的用户行为标识，还可以包括该用户行为标识的行为类别或终端类型等扩展属性；

步骤20中，云端设备采集网元中的历史log文件，具体可以是按照预先设定的时间间隔，采集云端***的网元中的历史log文件；

步骤20中，云端设备对采集到的历史log文件进行分析，得到用户行为数据，具体实现可以如下：

云端设备对采集到的每个历史log文件，判断该历史log文件的文件大小是否小于预设门限值，若是，利用预先构造的初级解析模块提取该历史log文件的特征信息，将提取到的特征信息作为用户行为数据存储在关系数据库中；

其中，预先构造的初级解析模块用于提取历史log文件的特征信息，该初级解析模块对历史log文件进行初级阶段的解析，适用于数据量较少的***或文件；上述关系数据库可以包括mysql、oracle或其他关系数据库；

若该历史log文件的文件大于预设门限值，则利用预先构造的高级解析模块提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在基于分布式***的数据库中；

其中，预先构造的初级解析模块用于提取历史log文件的特征信息，该高级解析模块对历史log文件进行高级阶段的自动解析，适用于数据量较大的***或文件、以及初级阶段不能解析的文件类型；基于分布式***的数据库包括：分布式文件***HDFS、非关系数据库mongodb或关系数据库等。

步骤20中，云端设备将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中，具体实现可以如下：

云端设备对得到的各用户行为数据，在上述用户行为标识集合列表中查找与该用户行为数据相匹配的用户行为对应的用户行为标识，将查找到的用户行为标识作为该用户行为数据对应的用户行为标识；

步骤21中，用户行为标识集合列表包括：全部的用户行为数据（不同终端类型的用户行为内容）、每个用户行为数据对应的用户行为标识和每个用户行为标识的标识说明；其中，用户行为内容用于记录该用户行为的执行用户名、执行时间和名称，用户行为标识用于表示每种与该用户行为标识唯一匹配的用户行为；标识说明便于管理大量的用户行为标识；可见，在该用户行为标识集合列表中，为每一种用户行为定义了一个与其对应的用户行为标识，用于指示云端设备或终端对不同的用户行为标识进行识别，查找各用户行为标识对应的用户行为，进而能够对该用户行为产生的历史log文件或用户行为数据进行采集或分析；

步骤21中，云端设备对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，具体实现可以如下：

云端设备对于预先设置的用户行为标识集合列表中的各用户行为标识，确定上述云端用户行为标识列表中是否包含该用户行为标识，若是，则确定该用户行为标识对应的上报状态为：该终端不需要上报与该用户行为标识对应的用户行为相关的用户行为数据，否则，确定该用户行为标识对应的上报状态为：该终端需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

步骤22中，终端用户行为上报状态列表具体包括：用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；终端用户行为上报状态列表用于指示终端采集某种用户行为产生的用户行为数据；该终端用户行为上报状态列表还可以包括：每个用户行为标识的行为类别或终端类型等扩展属性；用于指示不同类型的终端对不同类别的用户行为产生的用户行为数据进行采集；

步骤22中，云端设备将发送给上述终端的终端用户行为上报状态列表进行备份；

其中，在云端设备构造终端用户行为上报状态列表之后，云端设备对终端用户行为上报状态列表进行备份；便于云端设备对某用户行为对应的上报状态的变更历史记录进行追溯。

参见图3，为本发明实施例提供终端日志文件的上报方法，包括以下步骤：

步骤30：终端向云端设备发送终端用户行为上报状态列表请求；

步骤31：终端接收云端设备发送的终端用户行为上报状态列表，该终端用户行为上报状态列表中包含预先设置的用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

步骤32：终端根据上述终端用户行为上报状态列表，进行用户行为数据的上报；

较佳的，在步骤30之前，终端接收云端设备发送的用户行为标识集合列表；

其中，终端可以在开机时接收云端设备发送的用户行为标识集合列表，也可以调用预先配置在终端中的用户行为标识集合列表；该用户行为标识集合列表用于指示终端对用户行为标识进行识别，查询与该用户行为标识对应的用户行为；当云端设备向终端发送携带有某些用户行为标识的终端用户行为上报状态列表时，终端需要查询上述用户行为标识集合列表中的用户行为标识和用户行为的对应关系，进而得到云端设备需要终端上报哪些用户行为产生的用户行为数据；

步骤30中，终端向云端设备发送终端用户行为上报状态列表请求，具体实现可以如下：

终端在每次开机后向云端设备发送终端用户行为上报状态列表请求；或者，终端每隔设定时间向云端设备发送终端用户行为上报状态列表请求；或者，终端在每次上报用户行为数据前向云端设备发送终端用户行为上报状态列表请求；

其中，终端在每次上报用户行为数据前向云端设备发送终端用户行为上报状态列表请求，具体实现可以如下：

终端对需要上报的用户行为数据进行压缩，若压缩后的用户行为数据的文件大小大于设定字节门限值或压缩后的用户行为数据的记录时间大于设定时间门限值，则在终端与云端设备的网络连接状态为已连接时，向云端设备发送终端用户行为上报状态列表请求；若压缩后的用户行为数据的文件大小小于设定字节门限值或压缩后的用户行为数据的记录时间小于设定时间门限值，则终端对压缩后的用户行为数据进行备份；其中，终端对压缩后的用户行为数据的文件大小或记录时间进行判断，即终端定时或者定量的向云端设备上报压缩后用户行为数据，此时可以减少终端的用户行为数据的写入次数以及终端与云端设备的交互。

步骤32中，终端根据上述终端用户行为上报状态列表，进行用户行为数据的上报，具体实现可以如下：

终端在生成需要上报的用户行为数据后，在上述用户行为标识集合列表中查找与该用户行为数据对应的用户行为相匹配的用户行为标识，在上述终端用户行为上报状态列表中查找该用户行为标识，若该用户行为标识对应的上报状态为上报，则向云端设备上报该用户行为数据，若该用户行为标识对应的上报状态为不上报，则不向云端设备上报该用户行为数据；

下面对本发明进行具体说明：

实施例一：

步骤一，云端设备预先设置用户行为标识集合列表；该用户行为标识集合列表中至少包含每一种类型的终端的用户行为对应的用户行为数据和与该用户行为唯一匹配的用户行为标识，该用户行为标识集合列表可以如下表1所示：

表1

云端设备预先设置该用户行为标识集合列表时，还可以包括其他附加属性（如行为类别、终端类型等）便于云端设备收集用户行为数据，该用户行为标识集合列表也可以如下表2所示：

表2

其中，云端在预先设置用户行为标识集合列表时，会为每一个需要收集的用户行为定义一个唯一与该用户行为相匹配的用户行为标识，如果终端产生了新的用户行为或者云端需要收集一个新的用户行为，云端设备在该用户行为标识列表中为该用户行为定义一个与其对应的用户行为标识，同样的，云端设备也可以删除或修改某一用户行为对应的用户行为标识。

上述用户行为标识集合列表可以在终端第一次开机（即初始化开机）时，由云端设备发送给终端；也可以预先配置在终端设备中，此时如果该用户行为标识集合列表需要进行用户行为的追加、修改或删除，可以由云端设备将更新后的用户行为标识集合列表发送给终端。本发明实施例中云端设备在终端第一次开机时将用户行为标识集合列表发送给终端。

步骤二，终端接收云端设备发送的用户行为标识集合列表；

云端设备可以在终端开机时向终端发送上述用户行为标识集合列表，也可以在终端中预先配置用户行为标识集合列表；同样的，终端可以在开机时接收云端设备发送的用户行为标识集合列表，也可以调用预先配置在终端中的用户行为标识集合列表；该用户行为标识集合列表用于指示终端对用户行为标识进行识别，查询与该用户行为标识对应的用户行为；当云端设备向终端发送携带有某些用户行为标识的终端用户行为上报状态列表时，终端需要查询上述用户行为标识集合列表中的用户行为标识和用户行为的对应关系，进而得到云端设备需要终端上报哪些用户行为产生的用户行为数据；

步骤三，云端设备采集云端***的网元中的历史log文件；

云端***的网元中历史log文件（如，log4j输出的日志文件、tomcat记录的运行日志文件和访问日志等），此类历史log文件中包含各种终端用户行为数据，可以反映出终端的用户行为，云端设备从该历史log文件提取出能够反映终端用户行为的用户行为数据，也就是云端设备可以间接的获取终端的用户行为数据，同时，终端设备不需要再上报此类可以由云端设备间接获取的用户行为数据，减少了终端设备重复上报日志文件的网络流量的浪费。其中，由于云端***的网元与终端进行业务处理时会产生大量与该业务相关的历史log文件，该历史log文件中会包含大量终端的用户行为数据，云端设备可以从历史log文件中提取得到终端的用户行为数据，进而利用从历史log文件中提取的用户行为数据对终端的用户行为进行分析，因此不需要终端再上报已经从历史log文件中提取到的用户行为数据，从而可以节省终端上报用户行为数据所使用的网络流量，避免终端由于上传不必要的用户行为数据所带来的网络流量的浪费。然后，云端设备按照预先设定的时间间隔t，采集云端***的网元中的历史log文件。例如，当预先设定的时间间隔t=60分钟，则云端设备每隔60分钟采集云端***的网元中的历史log文件；时间间隔t可以动态调节，当预先设定的时间间隔t=30分钟，云端设备可以每隔30分钟采集网元中的历史log文件。

步骤四，在云端设备采集网元中的历史log文件之后，云端设备对采集到的历史log文件进行分析，得到用户行为数据。

参见图4，云端设备对采集到的每个历史log文件（该历史log文件为步骤三中统一存储在云端分析服务器中的历史log文件），判断该历史log文件的大小是否小于预设门限值；

如果，该历史log文件的文件大小小于预设门限值，则利用预先构造的初级解析模块400提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在关系数据库402中；其中，初级解析模块400，用于对历史log文件的初级阶段的解析，适用于数据量较少的***或文件；关系数据库402包括mysql、oracle或其他关系数据库。

如果，该历史log文件的文件大小大于预设门限值，则利用预先构造的高级解析模块401提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在基于分布式***的数据库403中；其中，高级解析模块401，用于对历史log文件的高级阶段的解析，适用于数据量较大的***或文件、以及初级阶段不能解析的文件类型；基于分布式***的数据库403包括分布式文件***HDFS、非关系数据库mongodb或关系数据库等；典型的HDFS可以支持GB到TB级别的大文件，mongodb是一个基于分布式文件存储的非关系数据库，可以存储比较复杂的数据类型，因此使用基于分布式***的数据库403可以处理比较复杂的数据类型，还可以处理数据大小比较大的文件。

可见，步骤四根据历史log文件的数据特点、数据量大小，分配不同的解析模块和存储媒介，构造历史log文件存储管理***。

步骤四中，根据业务处理流程和业务模块，将相关的业务数据进行汇总、分析，得到历史log文件的特征信息如表3所示：

终端设备类型	用户行为	次数
			DEV_A	开机	1
DEV_A	上报日志	1

表3

表3中的特征信息具体表示为：终端设备类型为DEV_A的终端中，开机的用户行为执行了1次；终端设备类型为DEV_A的终端中，上报日志的用户行为执行了1次。

提取到的历史log文件的特征信息如表4所示：

终端设备类型	应用名称	用户行为	次数
				DEV_A	APP1	启动	1
DEV_A	APP1	升级	1

表4

表4中的特征信息具体表示为：终端设备类型为DEV_A的终端中，启动APP1的用户行为执行了1次；终端设备类型为DEV_A的终端中，升级APP1的用户行为执行了1次。

可见，表3的特征信息反映了针对终端的用户行为，表4的特征信息反映了针对应用APP1的用户行为，也就是说，云端设备对采集到的历史log文件进行分析，得到用户行为数据可以反映终端的各种用户行为。

步骤五，云端设备对得到的各用户行为数据，在上述用户行为标识集合列表中（即步骤一中，云端设备预先设置的用户行为标识集合列表）查找与该用户行为数据相匹配的用户行为对应的用户行为标识，将查找到的用户行为标识作为该用户行为数据对应的用户行为标识，并将该用户行为标识存储在云端用户行为标识列表中；

云端设备对得到的各用户行为数据，在上述用户行为标识集合列表中查找与该用户行为数据相匹配的用户行为对应的用户行为标识，例如，云端设备对于上述步骤四中的表4的特征信息，在上述用户行为标识集合列表中查找与之对应的用户行为标识，查找到的用户行为标识分别为：启动APP1的用户行为对应的用户行为标识为1.0_1；升级APP1的用户行为对应的用户行为标识为1.1_1。

此时，云端设备将用户行为标识为1.0_1和用户行为标识为1.1_1存储在云端用户行为标识列表中。

步骤六，终端向云端设备发送终端用户行为上报状态列表请求；

其中，终端可以在每次上报用户行为数据前向云端设备发送终端用户行为上报状态列表请求；较佳的，终端每隔设定时间（该设定时间t为预设门限值）向云端设备发送终端用户行为上报状态列表请求，或者，终端在每次开机后向云端设备发送终端用户行为上报状态列表请求；

本发明实施例中，终端在每次上报用户行为数据前向云端设备发送终端用户行为上报状态列表请求；

首先，终端对需要上报的用户行为数据的大小或需要上报的用户行为数据的的记录时间进行判断：

如果，需要上报的用户行为数据的大小大于某一预设门限值，并且终端与云端设备的网络连接状态为已连接，则终端向云端设备发送终端用户行为上报状态列表请求；

如果，需要上报的用户行为数据的记录时间大于某一预设门限值，并且终端与云端设备的网络连接状态为已连接，则终端向云端设备发送终端用户行为上报状态列表请求；

否则，则终端备份需要上传的用户行为数据，等待终端与云端设备的网络连接状态为已连接后，再向云端设备发送终端用户行为上报状态列表请求，即终端定时或者定量的向云端设备发送终端用户行为上报状态列表请求，减少终端的写入次数以及终端与云端设备的交互；

步骤七，参见图5，为本发明实施例提供的云端设备确定上报状态的流程示意图，云端设备接收到终端发送的终端用户行为上报状态列表500请求后，对于预先设置的用户行为标识集合列表501中的各用户行为标识，根据上述云端用户行为标识列表502确定该用户行为标识对应的上报状态503，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

云端设备对于预先设置的用户行为标识集合列表501中的各用户行为标识，确定上述云端用户行为标识列表502中是否包含该用户行为标识，

如果上述云端用户行为标识列表502中包含该用户行为标识，则将该用户行为标识对应的上报状态设为：不上报，即该终端不需要上报与该用户行为标识对应的用户行为相关的用户行为数据；此时，云端设备的网元中的历史log文件中已经提取到了与该用户行为标识对应的用户行为数据，将将该用户行为标识对应的上报状态设为不上报可以避免终端由于重复上报日志文件造成的网络流量的浪费。

如果上述云端用户行为标识列表502中不包含该用户行为标识，则将该用户行为标识对应的上报状态设为：上报，即该终端需要上报与该用户行为标识对应的用户行为相关的用户行为数据；此时，云端设备的网元中的历史log文件中无法间接的提取到与该用户行为标识对应的用户行为相关的用户行为数据，因此，需要终端将与该用户行为标识对应的用户行为相关的用户行为数据发送给云端设备。

由此可知，步骤五中得到的用户行为标识为1.0_1对应的上报状态为不上报，因为上述云端用户行为标识列表502中已经包含了该用户行为标识为1.0_1；同样的，用户行为标识为1.1_1对应的上报状态为不上报。

步骤八，云端设备向上述终端发送终端用户行为上报状态列表，并且，云端设备将该终端发送终端用户行为上报状态进行备份，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

此时，云端设备构造终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态，也就是说，该终端用户行为上报状态列表中包含的每一个用户行为标识和与其对应的唯一的上报状态；进一步的，在云端设备构造终端用户行为上报状态列表的过程中，云端设备还可以对为该终端用户行为上报状态列表预留人为控制接口，在云端设备构造终端用户行为上报状态列表之后，云端设备可以对某一个或某些用户行为标识对应的上报状态进行变更，便于云端设备从各个终端获取更多的用户行为信息。在云端设备构造终端用户行为上报状态列表之后，云端设备对终端用户行为上报状态列表进行备份，即云端设备对终端用户行为上报状态列表的变更历史记录进行备份，便于云端设备对终端上报的数据的准确性进行追溯，也就是说，当云端设备发现终端上报了已经由云端设备从云端***的网元中间接提取的用户行为数据相关的用户行为数据，云端设备可以调用已备份的终端用户行为上报状态列表，并对该用户行为标识对应的上报状态进行追溯；进一步的，云端设备将终端用户行为上报状态列表的格式转换为Json格式或者xml格式，并将Json格式的终端用户行为上报状态列表或xml格式的终端用户行为上报状态列表发送给各个终端，便于各个终端能够准确接收并识别该终端用户行为上报状态列表。

例如，此时的终端用户行为上报状态列表中包含的用户行为标识和与该用户行为标识对应的上报状态如下表5所示（由于本发明实施例不能对所有用户行为标识进行枚举，因此此处只对以下4种用户行为标识进行举例说明）：

用户行为标识	上报状态
		1.0_1	不上报
1.1_1	不上报
		1.0_2	上报
2.0_1	上报

表5

步骤九，终端接收云端设备发送的终端用户行为上报状态列表，该终端用户行为上报状态列表中包含预先设置的用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

此时，终端接收云端设备发送的格式Json或者xml的终端用户行为上报状态列表（例如，上述表4表示的终端用户行为上报状态列表）。

步骤十，终端根据所述终端用户行为上报状态列表，进行用户行为数据的上报；

其中，终端在生成需要上报的用户行为数据后，在上述用户行为标识集合列表中查找与该用户行为数据对应的用户行为相匹配的用户行为标识，在上述终端用户行为上报状态列表中查找该用户行为标识，若该用户行为标识对应的上报状态为上报，则向云端设备上报该用户行为数据，若该用户行为标识对应的上报状态为不上报，则不向云端设备上报该用户行为数据；

此时，终端启动应用程序APP1的用户行为数据生成之后，该终端在上述用户行为标识集合列表（即步骤二中，终端接收云端设备发送的用户行为标识集合列表）中，查找该用户行为对应的用户行为标识为1.0_1，然后，终端在终端用户行为上报状态列表（即步骤九中，终端接收云端发送的终端用户行为上报状态列表）中查询该用户行为标识1.0_1对应的上报状态为不上报，此时终端则丢弃启动应用程序APP1生产的用户行为数据；终端升级应用程序APP1的用户行为数据生成之后，该终端在上述用户行为标识集合列表（即步骤二中，终端接收云端设备发送的用户行为标识集合列表）中，查找该用户行为对应的用户行为标识为1.1_1，然后，终端在终端用户行为上报状态列表（即步骤九中，终端接收云端发送的终端用户行为上报状态列表）中查询该用户行为标识1.1_1对应的上报状态为不上报，此时终端则丢弃启动应用程序APP1生产的用户行为数据；终端下载应用程序APP1的用户行为数据生成之后，该终端在上述用户行为标识集合列表（即步骤二中，终端接收云端设备发送的用户行为标识集合列表）中，查找该用户行为对应的用户行为标识为1.0_2，然后，终端在终端用户行为上报状态列表（即步骤九中，终端接收云端发送的终端用户行为上报状态列表）中查询该用户行为标识1.0_2对应的上报状态为上报，此时终端收集下载应用程序APP1生成的用户行为数据，并将该用户行为数据上报给云端；同样的，终端异常退出应用程序APP1的用户行为数据生成之后，该终端在上述用户行为标识集合列表（即步骤二中，终端接收云端设备发送的用户行为标识集合列表）中，查找该用户行为对应的用户行为标识为2.0_1，然后，终端在终端用户行为上报状态列表（即步骤九中，终端接收云端发送的终端用户行为上报状态列表）中查询该用户行为标识2.0_1对应的上报状态为上报，此时终端收集收集下载应用程序APP1生成的用户行为数据，并将该用户行为数据上报给云端；

其中，终端收集不同的用户行为生成的用户行为数据的方式分为主动收集和被动收集：

终端主动收集的用户行为数据为终端的公用信息生成的用户行为数据、终端的***底层数据生成的用户行为数据或第三方应用生成的用户行为数据，例如应用程序的异常运行生成的用户行为数据、终端***异常运行生成的用户行为数据等。

终端被动收集的用户行为数据为终端的专属应用生成的用户行为数据、终端自主开发的应用程序生成的用户行为数据等，例如智能电视中的应用商店生成的用户行为数据、视频播放应用生成的用户行为数据或终端launch生成的用户行为数据等。终端被动收集的用户行为数据主要为云端设备希望获取的用户使用状况的反馈，如终端的用户群对APP1中的某一功能项的满意度的反馈、终端的用户群对APP1中的某一功能的需求度的反馈等，上述用户的满意度的反馈或需求度的反馈可以针对某一终端设备、针对某一应用程序的功能或针对某一应用程序中的每个操作钮、页面或具体媒体内容的反馈。

可见，云端设备通过向各个终端发送终端用户行为上报状态列表，以指示终端主动收集或被动收集用户行为数据，形成了终端用户行为过滤机制。上述终端用户行为过滤机制通过***广播、应用程序运行列表获取用户行为信息，便于主动收集终端的公共信息的用户行为信息的变更，同时被动收集用户行为信息时，避免了每个应用程序与云端设备的交互，提高了终端上报的速度、避免了云端设备对终端的恶意攻击；进一步的，该用户行为过滤机制保证云端设备能够获取完整的终端用户行为数据，同时防止重复获取云端设备已经获取过的用户行为数据，减少了终端向云端设备上报用户行为数据时产生的网络流量的浪费（即终端的有效数据不丢失，终端的无效数据不重复上传）。

其中，终端向云端设备上传用户行为数据之前，终端对需要上报的用户行为数据进行压缩，通过该步骤可以进一步的节省终端上报用户行为数据时产生的网络流量。

进一步的，如果在终端向云端设备上报log日志的过程中，终端与云端设备之间的网络连接断开，此时终端已经上传了终端用户行为上报状态列表中的部分上报状态为上报的用户行为数据，云端设备在接收到上述用户行为数据后，继续执行步骤三，即对历史log文件进行分析或解析，进而在云端设备下一次向终端发送终端用户行为上报状态列表时，将网络连接中断前终端已经上报过的用户行为数据对应的上报状态设为不上报，可见本发明实施例可以有效的节省终端上报日志产生的网络流量。

参见图6，为本发明实施例提供的一种日志文件上报***，该***具体实现如下：

云端设备60，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；向所述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含所述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

终端61，用于向云端设备发送终端用户行为上报状态列表请求；接收云端设备发送的终端用户行为上报状态列表；根据所述终端用户行为上报状态列表，进行用户行为数据的上报。

参见图7，为本发明实施例提供的一种云端设备，该设备可以应用在上述日志文件上报***中，设备具体实现如下：

log文件智能分析单元70，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

log文件智能分析单元70，用于对采集到的每个历史log文件，判断该历史log文件的文件大小是否小于预设门限值，若是，利用预先构造的初级解析模块提取该历史log文件的特征信息，将提取到的特征信息作为用户行为数据存储在关系数据库中；否则，利用预先构造的高级解析模块提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在分布式文件***中；

进一步的，log文件智能分析单元70，还用于对得到的各用户行为数据，在上述用户行为标识集合列表中查找与该用户行为数据相匹配的用户行为对应的用户行为标识，将查找到的用户行为标识作为该用户行为数据对应的用户行为标识；

进一步的，log文件智能分析单元70，还用于按照预先设定的时间间隔，采集云端***的网元中的历史log文件；

用户行为控制单元71，用于在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据上述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

进一步的，用户行为控制单元71，用于对于预先设置的用户行为标识集合列表中的各用户行为标识，确定上述云端用户行为标识列表中是否包含该用户行为标识，若是，则确定该用户行为标识对应的上报状态为：该终端不需要上报与该用户行为标识对应的用户行为相关的用户行为数据，否则，确定该用户行为标识对应的上报状态为：该终端需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

数据发送单元72，用于向上述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含上述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

进一步的，数据发送单元72，用于在云端设备采集网元中的历史log文件之前，将上述用户行为标识集合列表发送给终端；

进一步的，数据发送单元72，还用于将发送给上述终端的终端用户行为上报状态列表进行备份。

参见图8，为本发明实施例提供的一种终端，该设备可以应用在上述日志文件上报***中，设备具体实现如下：

数据请求单元80，用于向云端设备发送终端用户行为上报状态列表请求；

进一步的，数据请求单元80，还用于在每次开机后向云端设备发送终端用户行为上报状态列表请求；或者，每隔设定时间向云端设备发送终端用户行为上报状态列表请求；或者，在每次上报用户行为数据前向云端设备发送终端用户行为上报状态列表请求；

进一步的，数据请求单元80，用于对需要上报的用户行为数据进行压缩，若压缩后的用户行为数据的文件大小大于设定字节门限值或压缩后的用户行为数据的记录时间大于设定时间门限值，则在终端与云端设备的网络连接状态为已连接时，向云端设备发送终端用户行为上报状态列表请求；

用户行为收集单元81，用于接收云端设备发送的终端用户行为上报状态列表，该终端用户行为上报状态列表中包含预先设置的用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

进一步的，用户行为收集单元81，还用于接收云端设备发送的上述用户行为标识集合列表；

数据上报单元82，用于根据上述终端用户行为上报状态列表，进行用户行为数据的上报；

进一步的，数据上报单元82，还用于在生成需要上报的用户行为数据后，在上述用户行为标识集合列表中查找与该用户行为数据对应的用户行为相匹配的用户行为标识，在上述终端用户行为上报状态列表中查找该用户行为标识，若该用户行为标识对应的上报状态为上报，则向云端设备上报该用户行为数据，若该用户行为标识对应的上报状态为不上报，则不向云端设备上报该用户行为数据；

综上，本发明的有益效果包括：

本发明实施例提供的方案中，云端设备根据历史log文件得到用户行为数据，并向终端发送终端用户行为上报状态列表，指示终端上报用户行为数据；终端根据该终端用户行为上报状态列表，向云端设备进行用户行为数据的上报。由于云端***的网元与终端进行业务处理时会产生大量与该业务相关的历史log文件，该历史log文件中会包含大量终端的用户行为数据，云端设备可以从历史log文件中提取得到终端的用户行为数据，进而利用从历史log文件中提取的用户行为数据对终端的用户行为进行分析，因此不需要终端再上报已经从历史log文件中提取到的用户行为数据，从而可以节省终端上报用户行为数据所使用的网络流量，避免终端由于上传不必要的用户行为数据所带来的网络流量的浪费。可见，本发明可以有效的降低终端上报日志时产生的网络流量的浪费，同时可以减少终端的用户行为数据的写入次数以及终端与云端设备的交互。

本发明是参照根据本发明实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

Claims (11)

1.一种控制终端上报日志文件的方法，其特征在于，该方法包括：

云端设备采集云端***的网元中的历史日志log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

云端设备在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

云端设备向所述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含所述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态。

2.如权利要求1所述的方法，其特征在于，所述云端设备对采集到的历史log文件进行分析，得到用户行为数据，具体包括：

云端设备对采集到的每个历史log文件，判断该历史log文件的文件大小是否小于预设门限值，若是，利用预先构造的初级解析模块提取该历史log文件的特征信息，将提取到的特征信息作为用户行为数据存储在关系数据库中；否则，利用预先构造的高级解析模块提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在基于分布式***的数据库中。

3.如权利要求1所述的方法，其特征在于，所述将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中，具体包括：

云端设备对得到的各用户行为数据，在所述用户行为标识集合列表中查找与该用户行为数据相匹配的用户行为对应的用户行为标识，将查找到的用户行为标识作为该用户行为数据对应的用户行为标识。

4.如权利要求1所述的方法，其特征在于，所述对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，具体包括：

云端设备对于预先设置的用户行为标识集合列表中的各用户行为标识，确定所述云端用户行为标识列表中是否包含该用户行为标识，若是，则确定该用户行为标识对应的上报状态为：该终端不需要上报与该用户行为标识对应的用户行为相关的用户行为数据，否则，确定该用户行为标识对应的上报状态为：该终端需要上报与该用户行为标识对应的用户行为相关的用户行为数据。

5.如权利要求1-4中任一所述的方法，其特征在于，进一步包括：

云端设备将发送给所述终端的终端用户行为上报状态列表进行备份。

6.一种云端设备，其特征在于，该云端设备包括：

log文件智能分析单元，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；

用户行为控制单元，用于在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；

数据发送单元，用于向所述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含所述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态。

7.如权利要求6所述的云端设备，其特征在于，所述log文件智能分析单元用于：

对采集到的每个历史log文件，判断该历史log文件的文件大小是否小于预设门限值，若是，利用预先构造的初级解析模块提取该历史log文件的特征信息，将提取到的特征信息作为用户行为数据存储在关系数据库中；否则，利用预先构造的高级解析模块提取该历史log文件的特征信息，并将提取到的特征信息作为用户行为数据存储在分布式文件***中。

8.如权利要求6所述的云端设备，其特征在于，所述log文件智能分析单元用于：

对得到的各用户行为数据，在所述用户行为标识集合列表中查找与该用户行为数据相匹配的用户行为对应的用户行为标识，将查找到的用户行为标识作为该用户行为数据对应的用户行为标识。

9.如权利要求6所述的云端设备，其特征在于，所述用户行为控制单元用于：

对于预先设置的用户行为标识集合列表中的各用户行为标识，确定所述云端用户行为标识列表中是否包含该用户行为标识，若是，则确定该用户行为标识对应的上报状态为：该终端不需要上报与该用户行为标识对应的用户行为相关的用户行为数据，否则，确定该用户行为标识对应的上报状态为：该终端需要上报与该用户行为标识对应的用户行为相关的用户行为数据。

10.如权利要求6-9中任一所述的云端设备，其特征在于，所述数据发送单元还用于：

将发送给所述终端的终端用户行为上报状态列表进行备份。

11.一种日志文件上报***，其特征在于，该***包括：

云端设备，用于采集云端***的网元中的历史log文件，对采集到的历史log文件进行分析，得到用户行为数据，将得到的各用户行为数据对应的用户行为标识存储在云端用户行为标识列表中；在接收到终端发送的终端用户行为上报状态列表请求后，对于预先设置的用户行为标识集合列表中的各用户行为标识，根据所述云端用户行为标识列表确定该用户行为标识对应的上报状态，该上报状态表示该终端是否需要上报与该用户行为标识对应的用户行为相关的用户行为数据；向所述终端发送终端用户行为上报状态列表，该终端用户行为上报状态列表中包含所述用户行为标识集合列表中的各用户行为标识、以及每个用户行为标识对应的上报状态；

终端，用于向云端设备发送终端用户行为上报状态列表请求；接收云端设备发送的终端用户行为上报状态列表；根据所述终端用户行为上报状态列表，进行用户行为数据的上报。

Images