CN113836411A - 数据处理方法、装置及计算机设备 - Google Patents
数据处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN113836411A CN113836411A CN202111108679.2A CN202111108679A CN113836411A CN 113836411 A CN113836411 A CN 113836411A CN 202111108679 A CN202111108679 A CN 202111108679A CN 113836411 A CN113836411 A CN 113836411A
- Authority
- CN
- China
- Prior art keywords
- user behavior
- behavior data
- data set
- online user
- online
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims description 290
- 230000008569 process Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据处理方法、装置及计算机设备，该方法包括：对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，所述第二在线用户行为数据集为当前时间段的前一时间段产生的；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练。本申请还提供一种计算机可读存储介质。本申请能够有效保障在线训练数据的数量和新鲜度，提升了模型在线训练效率。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及计算机设备。
背景技术
随着互联网技术的发展，越来越多的用户选择在网上浏览、挑选或者购买自己需要的商品。各个电商平台在向用户提供丰富多样的商品的同时，也会不同程度地采用各种形式的推荐技术向用户进行商品推荐。其中，为了达到向用户及时推荐各种有用信息又尽量避免推荐无用信息的目的，通常会采集众多用户点击或浏览商品广告的用户行为数据，从而训练出能够预估出不同的用户对于推荐数据的点击概率的点击率预估模型。
一般而言，由于用户的喜好会随时间而变化，因此，根据历史用户行为数据，即离线用户行为数据进行训练得到的点击率预估模型，能够预估出的用户对于推荐数据的点击率，往往准确度并不精确。然而，现有技术中，对于历史用户行为数据与实时用户行为数据的存储方式不一样，因此，并不能有效利用历史用户行为数据和实时用户行为数据同时进行模型训练；也就是说，能用于在线训练模型的训练数据单一，导致训练出的在线模型精确度不高。
发明内容
本申请提出一种数据处理方法、装置及计算机设备，能够解决上述的训练数据单一，训练出的在线模型精确度不高的问题。
首先，为实现上述目的，本申请提供一种数据处理方法，所述方法包括：
对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练。
在一个例子中，所述对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，包括：从所述第一存储单元中拉取每一条所述初始用户行为数据；依次对每一条所述初始用户行为数据标记上消息编码；将已标记消息编码的初始用户行为数据进行有效字段提取，得到对应的用户行为数据，记录到第一在线用户行为数据集。
在一个例子中，所述有效字段包括用户ID，用户身份信息，行为数据产生时间和推荐数据中的至少一项。
在一个例子中，所述对第一存储单元中的用户行为数据进行处理，还包括：将所述第一存储单元中的相同用户端产生的初始用户行为数据分配到Flink计算引擎中的同一个计算节点执行数据处理。
在一个例子中，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，包括：将第一在线用户行为数据集和第二在线用户行为数据集的所有用户行为数据进行去重操作，并根据产生时间进行先后排序；对于产生时间小于预设时间阈值的过期用户行为数据进行清除，得到所述第三在线用户行为数据；将所述第三在线用户行为数据替换存储到所述第二存储单元。
在一个例子中，所述方法还包括：扫描所述第一在线用户行为数据集的所有用户行为数据，生成对应的第一版本号，所述版本号包括所述第一在线用户行为数据集的所有用行为数据的快照信息；将所述第一版本号存储到所述第二存储单元；将所述第一在线用户行为数据集和所述第一版本号存储到预设的第三存储单元。
在一个例子中，在完成对所述模型的训练且所第二存储单元中的在线用户行为数据集再次更新之后，所述方法还包括：根据所述第一版本号从第三存储单元中查询出所述第一在线用户行为数据集用于执行对所述模型的回归训练过程。
此外，为实现上述目的，本申请还提供一种数据处理装置，所述装置包括：
处理模块，用于对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；合并模块，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；提取模块，用于对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；训练模块，用于基于所述在线用户特征数据集对模型进行训练。
进一步地，本申请还提出一种计算机设备，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述的数据处理方法的步骤。
进一步地，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据处理方法的步骤。
相较于现有技术，本申请所提出的数据处理方法、装置、计算机设备及计算机可读存储介质，能够对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练。本申请在获取到新的在线用户行为数据集之后，直接对第二存储单元中的在线用户行为数据进行更新替换，从而快速提取在线用户特征数据集用于在线模型训练，从而保障了在线训练数据的数量和新鲜度，提升了模型在线训练效率。
附图说明
图1是本申请一实施例的应用环境示意图；
图2是本申请数据处理方法一具体实施例的流程示意图；
图3是本申请一示例性例子中数据处理的流程框架图；
图4是本申请一示例性例子中在线回归训练过程中生成训练数据的流程效果图；
图5是本申请数据处理装置一实施例的程序模块示意图；
图6是本申请计算机设备一可选的硬件架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
图1是本申请一实施例的应用环境示意图。参阅图1所示，所述计算机设备1与数据服务器20连接，所述数据服务器20与用户端10连接。任一用户端10均可以访问所述数据服务器20上的数据，比如通过访问App页面或者网页的方式访问所述数据服务器20上的数据，然后所述数据服务器20可以将推荐数据通过所述App页面或者网页推荐给用户端10，并且，所述数据服务器20可以通过得到用户端10的授权后获取用户端10上的用户信息数据以及用户行为数据，并保存到对应的数据库中，比如Kafka分布式日志***。
因此，所述计算机设备1与所述数据服务器20连接后，能够获取到所述数据服务20采集的当前时间段内所有用户端的初始用户行为数据，存储至预设的第一存储单元；对所述第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练，比如点击率预估模型。
在本实施例中，所述数据服务器20可作为手机、平板、便携设备、PC机或者其他数据服务平台，比如视频服务平台，网购平台等；所述用户端10可作为手机、平板、便携设备、PC机等；所述计算机设备1可作为手机、平板、便携设备、PC机或者服务器等。当然，在其他实施例中，所述计算机设备1可以与所述数据服务器20合并为同一个电子设备，或者所述计算机设备1也可以作为独立的功能模块附加到所述数据服务器20上以实现数据处理的功能。
实施例一
图2是本申请数据处理方法一实施例的流程示意图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。
如图2所示，所述数据处理方法可以包括步骤S200～S206。
步骤S200，对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据。
具体的，所述计算机设备1与数据服务器连接，而所述数据服务器专为用户提供数据服务，每个用户端都可以访问所述数据服务器上的数据，比如通过访问App页面或者网页的方式访问所述数据服务器上的数据，然后所述数据服务器则可以在得到用户端授权后所述数据服务器还可以获取用户端上的用户行为数据，包括用户信息数据以及初始用户行为数据，然后存储到预设的第一存储单元，比如，所述数据服务器对应的数据库。其中，用户信息数据包括：用户ID(Identity document，是身份证标识号)，用户性别、年龄、职业或在网年龄等数据；而用户行为数据包括：用户对于目标推荐数据的点击、浏览、评论、访问时间以及是否购买目标推荐数据对应的产品或服务等数据，其中，推荐数据可以是商品广告的文字链接或者图片链接。在本实施例中，每个用户通过各自的用户端在访问所述数据服务器上的数据时，比如通过访问App页面或者网页的方式访问所述数据服务器上的目标数据，然后所述数据服务器则可以记录每个用户的对于所述目标推荐数据的访问日志信息。例如，所述数据服务器预先对目标数据的网页或App页面进行埋点，然后可以检测到每一个用户对于所述目标数据的网页或App页面的访问情况；预先对目标数据的视频帧数据进行埋点，然后可以检测到每一个用户对于所述目标数据的视频数据的观看情况；所述访问情况或者观看情况，包括点击、浏览、评论、访问时间以及是否购买产品或服务等初始用户行为数据。然后，将所有用户端产生的初始用户行为数据存储到预设的第一存储单元，比如Kafka分布式日志***。
接着，所述计算机设备1对所述存储单元中的每一条所述初始用户行为数据进行数据处理，比如数据清洗，从而得到对应的第一在线用户行为数据集。
在一示例性例子中，所述计算机设备1对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，包括：从所述第一存储单元中拉取每一条所述初始用户行为数据；依次对每一条所述初始用户行为数据标记上消息编码；将已标记消息编码的初始用户行为数据进行有效字段提取，得到对应的用户行为数据，记录到第一在线用户行为数据集。其中，所述有效字段包括用户ID，用户身份信息，行为数据产生时间和推荐数据中的至少一项。例如，用户通过用户端浏览推荐数据和点击推荐数据的行为，那么，产生的初始用户行为数据则包含字段：用户ID、行为发生的时间戳、行为作用的推荐数据的ID、推荐数据对应的商户ID、事件曝光或者事件点击、推荐数据曝光位置等等。因此，所述计算机设备1可以根据预设的文字识别技术，从所述初始用户行为数据中提取出预设的有效字段，用户ID，用户身份信息，行为数据产生时间和推荐数据等。
当然，在一示例性例子中，所述计算机设备1对所述对第一存储单元中的用户行为数据进行处理，还包括：将所述第一存储单元中的相同用户端产生的初始用户行为数据分配到Flink计算引擎中的同一个计算节点执行数据处理。
在本实施例中，所述计算机设备1将采集到的初始用户行为数据存储到Kafka，然后通过Flink计算引擎拉取所述Kafka中的初始用户行为数据进行消费。具体的，由于Flink计算引擎包括多个计算节点，每个计算节点都可以设置并发度；在不同计算节点同时进行处理，以提高吞吐。但是也是由于并发，即不同计算节点同时处理同一个用户端的初始用户行为数据时可能会产生覆盖或重复的计算过程。为了解决该问题，所述计算机设备1通过使用Flink计算引擎中的keyby算子，将同一个用户端产生的的并行消息都发送到同一个计算节点进行计算，从而把用户粒度的乱序信息变成顺序执行，解决并发难题。
步骤S202，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集。
具体的，所述计算机设备1对所述Kafka中的所有初始用户行为数据进行数据处理，得到对应的第一在线用户行为数据集之后，则会将所述第一在线用户行为数据集存储到预设的第二存储单元，比如在线存储Redis，Redis(Remote Dictionary Server，远程字典服务)，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。在本实施例中，所述Redis用于对于在线用户行为数据的存储，当Redis中已经存储有部分在线用户行为数据集，比如第二在线用户行为数据集时，那么，所述计算机设备1则需要将所述第一在线用户行为数据集与所述第二在线用户行为数据集进行合并，得到合并后的第三在线用户行为数据集。
在一示例性例子中，所述计算机设备1将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，包括：将第一在线用户行为数据集和第二在线用户行为数据集的所有用户行为数据进行去重操作，并根据产生时间进行先后排序；对于产生时间小于预设时间阈值的过期用户行为数据进行清除，得到所述第三在线用户行为数据；将所述第三在线用户行为数据替换存储到所述第二存储单元。具体的，所述计算机设备1将所述第一在线用户行为数据集与所述第二在线用户行为数据集的每一条用户行为数据整合到一起，然后按产生时间进行排序，并将产生时间较早的在线用户行为数据清除，从而保证了所述Redis中的第三在线用户行为数据集中的在线用户行为数据为足量的、最新的在线用户行为数据。
在本实施例中，所述计算机设备1将所述第一在线用户行为数据集和所述第二在线用户行为数据集拉入到所述Flink计算引擎的不同计算节点执行数据合并，包括，通过keyby算子，将同一用户端对应的用户行为数据分配到所述Flink计算引擎中的同一个计算节点执行数据合并，从而避免并发问题。
由于通过多个节点并发处理数据合并的过程，容易导致并发问题，比如，计算节点A处理消息A，从Redis获取历史消息A1合并当前消息A，然后再写入Redis；但是同一时间计算节点B在处理消息B时也同时获取了Redis历史消息，但是该消息数据不包含A，最后B把A的消息给覆盖了，导致了并发问题。因此，所述计算机设备1通过所述Flink计算引擎的keyby算子，将同一用户端对应的用户行为数据分配到同一个计算节点执行数据合并，能够有效避免这种并发问题。
步骤S204，对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集。
步骤S206，基于所述在线用户特征数据集对模型进行训练。
所述计算机设备1将所述第一在线用户行为数据集与所述第二在线用户行为数据集合并得到所述第三在线用户行为数据集之后，则进一步对所述第三在线用户行为数据集进行特征提取，从而获得对应的在线用户特征数据集；然后将所述在线用户特征数据集用于训练预设的模型，比如，点击率预估模型，其中，所述点击率预估模型可以是一个初始模型，也可以是个经由在线用户行为数据进行过训练的成熟模型。
在一示例性例子中，所述计算机设备1在对在线用户行为数据集的处理和存储的过程中，还会执行以下步骤：扫描所述第一在线用户行为数据集的所有用户行为数据，生成对应的第一版本号，所述版本号包括所述第一在线用户行为数据集的所有用行为数据的快照信息；将所述第一版本号存储到所述第二存储单元；将所述第一在线用户行为数据集和所述第一版本号存储到预设的第三存储单元。也就是说，所述计算机设备1在每一次获取在线用户行为数据集的过程中，都会将该次的在线用户行为数据集进行版本号生成，即对在线用户行为数据集中的每一条用户行为数据进行快照抓取，然后随着用户在线数据集进行存储，包括存储到第二存储单元，即在线存储单元Redis，同时也会存储到第三存储单元，即离线存储单元，例如Hive数据库。
因此，在所述计算机设备1完成对所述模型的训练且所第二存储单元中的在线用户行为数据集再次更新之后，所述计算机设备1还执行步骤：根据所述第一版本号从第三存储单元中查询出所述第一在线用户行为数据集用于执行对所述模型的回归训练过程。
也就是说，所述计算机设备1将每一次产生的在线用户行为数据集的版本号存储到Redis，将最新的在线用户行为数据集存储到Redis，以及将每一次产生的在线用户行为数据集的版本号以及每一次产生的在线用户行为数据集存储到Hive。在后续过程中，所述计算机设备1可以通过Redis中的版本号从Hive中获取到对应的在线用户行为数据集，从而实现在线回归训练。
如图3所示，图3是本申请一示例性例子中数据处理的流程框架图。在本实施例中，所述计算机设备1从数据服务器获取初始用户行为数据，包括对于推荐数据的点击行为或者其他曝光行为，然后存储到Kafka；接着，通过预设的Flink计算引擎对Kafka中的初始用户行为数据进行清洗，得到在线用户行为数据集；然后分别存储到在Redis和Hive，其中，Redis为在线存储单元预先存储有在线用户行为数据，因此需要将得到的在线用户行为数据集与Redis原有的在线用户行为数据进行合并后替换存储；再然后，所述计算机设备1将Redis中的在线用户行为数据通过预设的在线引擎进行特征提取，从而得到对应的用户特征数据；最后，将得到的用户特征数据输入到预设的点击率预估模型进行训练。
参阅图4所示，图4是本申请一示例性例子中在线回归训练过程中生成训练数据的流程效果图。
在本实施例中，所述计算机设备1先从数据服务器获取初始用户行为数据，然后通过预设的Flink计算引擎对初始用户行为数据进行清洗，得到在线用户行为数据集；接着，再对该在线用户行为数据集的每一个在线用户行为数据进行扫描，并生成版本号；然后将在线用户行为数据集和版本号分别存储到在Redis和行为数据Hive，其中，Redis为在线存储单元预先存储有在线用户行为数据，因此需要将得到的在线用户行为数据与Redis原有的在线用户行为数据进行合并后替换存储；一方面，可以将Redis中的在线用户行为数据集通过预设的在线引擎进行特征提取，从而得到对应的用户特征数据，存储到请求记录Hive；在回归训练过程中，所述计算机设备1则可以通过版本号查询存储到Hive请求记录中的历史用户特征数据，拼接成对应时间段的用户特征数据，同时也可以通过对行为数据Hive中的用户行为数据进行特征提取，从而得到对应时间段的用户特征数据，以用于对点击率预估模型进行回归训练。
综上所述，本实施例所提出的数据处理方法能够对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练。本申请在获取到新的在线用户行为数据集之后，直接对第二存储单元中的在线用户行为数据进行更新替换，从而快速提取在线用户特征数据集用于在线模型训练，从而保障了在线训练数据的数量和新鲜度，提升了模型在线训练效率。
实施例二
图5示意性示出了根据本申请实施例二的数据处理装置的框图，该数据处理装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。
如图5所示，该数据处理装置400可以包括处理模块410、合并模块420、提取模块430和训练模块440，其中：
处理模块410，用于对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据。
合并模块420，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集。
提取模块430，用于对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集。
训练模块440，用于基于所述在线用户特征数据集对模型进行训练。
在示例性的实施例中，处理模块410，还用于：从所述第一存储单元中拉取每一条所述初始用户行为数据；依次对每一条所述初始用户行为数据标记上消息编码；将已标记消息编码的初始用户行为数据进行有效字段提取，得到对应的用户行为数据，记录到第一在线用户行为数据集。其中，所述有效字段包括用户ID，用户身份信息，行为数据产生时间和推荐数据中的至少一项。
在示例性的实施例中，处理模块410，还用于：将所述第一存储单元中的相同用户端产生的初始用户行为数据分配到Flink计算引擎中的同一个计算节点执行数据处理。
在示例性的实施例中，合并模块420，还用于：将第一在线用户行为数据集和第二在线用户行为数据集的所有用户行为数据进行去重操作，并根据产生时间进行先后排序；对于产生时间小于预设时间阈值的过期用户行为数据进行清除，得到所述第三在线用户行为数据；将所述第三在线用户行为数据替换存储到所述第二存储单元。
在示例性的实施例中，合并模块430，还用于：扫描所述第一在线用户行为数据集的所有用户行为数据，生成对应的第一版本号，所述版本号包括所述第一在线用户行为数据集的所有用行为数据的快照信息；将所述第一版本号存储到所述第二存储单元；将所述第一在线用户行为数据集和所述第一版本号存储到预设的第三存储单元。
在示例性的实施例中，训练模块450，还用于：根据所述第一版本号从第三存储单元中查询出所述第一在线用户行为数据集用于执行对所述模型的回归训练过程。
实施例三
图6示意性示出了根据本申请实施例三的适于实现数据处理方法的计算机设备1的硬件架构示意图。本实施例中，计算机设备1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。例如，可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图6所示，计算机设备1至少包括但不限于：可通过***总线相互通信链接存储器510、处理器520、网络接口530。其中：
存储器510至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器510可以是计算机设备1的内部存储模块，例如该计算机设备1的硬盘或内存。在另一些实施例中，存储器510也可以是计算机设备1的外部存储设备，例如该计算机设备1上配备的插接式硬盘，智能存储卡(SmartMedia Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中，存储器510通常用于存储安装于计算机设备1的操作***和各类应用软件，例如数据处理方法的程序代码等。此外，存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器520在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他模型训练芯片。该处理器520通常用于控制计算机设备1的总体操作，例如执行与计算机设备1进行数据交互或者通信相关的控制和处理等。本实施例中，处理器520用于运行存储器510中存储的程序代码或者处理数据。
网络接口530可包括无线网络接口或有线网络接口，该网络接口530通常用于在计算机设备1与其他计算机设备之间建立通信链接。例如，网络接口530用于通过网络将计算机设备1与外部终端相连，在计算机设备1与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(GlobalSystem of Mobile communication，简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图6仅示出了具有部件510-530的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器510中的数据处理方法的程序代码还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器520)所执行，以完成本申请实施例。
实施例四
本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；基于所述在线用户特征数据集对模型进行训练。
本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件，例如实施例中数据处理方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例，并非因此限制本申请实施例的专利范围，凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请实施例的专利保护范围内。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；
将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；
对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；
基于所述在线用户特征数据集对模型进行训练。
2.如权利要求1所述的数据处理方法，其特征在于，所述对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，包括：
从所述第一存储单元中拉取每一条所述初始用户行为数据；
依次对每一条所述初始用户行为数据标记上消息编码；
将已标记消息编码的初始用户行为数据进行有效字段提取，得到对应的用户行为数据，记录到第一在线用户行为数据集。
3.如权利要求2所述的数据处理方法，其特征在于，所述有效字段包括用户ID，用户身份信息，行为数据产生时间和推荐数据中的至少一项。
4.如权利要求1-3中任一项所述的数据处理方法，其特征在于，所述对第一存储单元中的用户行为数据进行处理，还包括：
将所述第一存储单元中的相同用户端产生的初始用户行为数据分配到Flink计算引擎中的同一个计算节点执行数据处理。
5.如权利要求1所述的数据处理方法，其特征在于，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，包括：
将第一在线用户行为数据集和第二在线用户行为数据集的所有用户行为数据进行去重操作，并根据产生时间进行先后排序；
对于产生时间小于预设时间阈值的过期用户行为数据进行清除，得到所述第三在线用户行为数据；
将所述第三在线用户行为数据替换存储到所述第二存储单元。
6.如权利要求1-5中任一项所述的数据处理方法，其特征在于，所述方法还包括：
扫描所述第一在线用户行为数据集的所有用户行为数据，生成对应的第一版本号，所述版本号包括所述第一在线用户行为数据集的所有用行为数据的快照信息；
将所述第一版本号存储到所述第二存储单元；
将所述第一在线用户行为数据集和所述第一版本号存储到预设的第三存储单元。
7.如权利要求6所述的数据处理方法，其特征在于，在完成对所述模型的训练且所第二存储单元中的在线用户行为数据集再次更新之后，所述方法还包括：
根据所述第一版本号从第三存储单元中查询出所述第一在线用户行为数据集用于执行对所述模型的回归训练过程。
8.一种数据处理装置，其特征在于，所述装置包括：
处理模块，用于对第一存储单元中的用户行为数据进行处理，得到对应的第一在线用户行为数据集，其中，所述第一存储单元存储当前时间段用户行为数据；
合并模块，将所述第一在线用户行为数据集与预设的第二存储单元中的第二在线用户行为数据集进行合并，得到第三在线用户行为数据集，其中，所述第二在线用户行为数据集为当前时间段的前一时间段产生的在线用户行为数据集；
提取模块，用于对所述第三在线用户行为数据集的每一条用户行为数据进行特征提取，得到对应的在线用户特征数据集；
训练模块，用于基于所述在线用户特征数据集对模型进行训练。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1～7中任一项所述的数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111108679.2A CN113836411A (zh) | 2021-09-22 | 2021-09-22 | 数据处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111108679.2A CN113836411A (zh) | 2021-09-22 | 2021-09-22 | 数据处理方法、装置及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113836411A true CN113836411A (zh) | 2021-12-24 |
Family
ID=78960391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111108679.2A Pending CN113836411A (zh) | 2021-09-22 | 2021-09-22 | 数据处理方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113836411A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030130899A1 (en) * | 2002-01-08 | 2003-07-10 | Bruce Ferguson | System and method for historical database training of non-linear models for use in electronic commerce |
| CN111177121A (zh) * | 2019-12-26 | 2020-05-19 | 平安普惠企业管理有限公司 | 订单数据反馈方法、装置、计算机设备及存储介质 |
| CN111858158A (zh) * | 2020-06-19 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置及电子设备 |
| CN112070226A (zh) * | 2020-09-02 | 2020-12-11 | 北京百度网讯科技有限公司 | 在线预测模型的训练方法、装置、设备及存储介质 |
| CN112307762A (zh) * | 2020-12-24 | 2021-02-02 | 完美世界(北京)软件科技发展有限公司 | 搜索结果的排序方法及装置、存储介质、电子装置 |
| CN112597395A (zh) * | 2020-12-28 | 2021-04-02 | 上海众源网络有限公司 | 对象推荐方法、装置、设备及存储介质 |
| CN112613938A (zh) * | 2020-12-11 | 2021-04-06 | 上海哔哩哔哩科技有限公司 | 模型训练方法、装置及计算机设备 |
| CN112612768A (zh) * | 2020-12-11 | 2021-04-06 | 上海哔哩哔哩科技有限公司 | 模型训练方法和装置 |
| WO2021151360A1 (zh) * | 2020-08-28 | 2021-08-05 | 平安科技（深圳）有限公司 | 数据泄露提醒方法、装置、设备及计算机可读存储介质 |
| CN113220657A (zh) * | 2021-05-14 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 数据处理方法、装置及计算机设备 |
| CN113268645A (zh) * | 2021-05-07 | 2021-08-17 | 北京三快在线科技有限公司 | 信息召回方法、模型训练方法、装置、设备及存储介质 |
-
2021
- 2021-09-22 CN CN202111108679.2A patent/CN113836411A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030130899A1 (en) * | 2002-01-08 | 2003-07-10 | Bruce Ferguson | System and method for historical database training of non-linear models for use in electronic commerce |
| CN111177121A (zh) * | 2019-12-26 | 2020-05-19 | 平安普惠企业管理有限公司 | 订单数据反馈方法、装置、计算机设备及存储介质 |
| CN111858158A (zh) * | 2020-06-19 | 2020-10-30 | 北京金山云网络技术有限公司 | 数据处理方法、装置及电子设备 |
| WO2021151360A1 (zh) * | 2020-08-28 | 2021-08-05 | 平安科技（深圳）有限公司 | 数据泄露提醒方法、装置、设备及计算机可读存储介质 |
| CN112070226A (zh) * | 2020-09-02 | 2020-12-11 | 北京百度网讯科技有限公司 | 在线预测模型的训练方法、装置、设备及存储介质 |
| US20210248513A1 (en) * | 2020-09-02 | 2021-08-12 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for training online prediction model, device and storage medium |
| CN112613938A (zh) * | 2020-12-11 | 2021-04-06 | 上海哔哩哔哩科技有限公司 | 模型训练方法、装置及计算机设备 |
| CN112612768A (zh) * | 2020-12-11 | 2021-04-06 | 上海哔哩哔哩科技有限公司 | 模型训练方法和装置 |
| CN112307762A (zh) * | 2020-12-24 | 2021-02-02 | 完美世界(北京)软件科技发展有限公司 | 搜索结果的排序方法及装置、存储介质、电子装置 |
| CN112597395A (zh) * | 2020-12-28 | 2021-04-02 | 上海众源网络有限公司 | 对象推荐方法、装置、设备及存储介质 |
| CN113268645A (zh) * | 2021-05-07 | 2021-08-17 | 北京三快在线科技有限公司 | 信息召回方法、模型训练方法、装置、设备及存储介质 |
| CN113220657A (zh) * | 2021-05-14 | 2021-08-06 | 上海哔哩哔哩科技有限公司 | 数据处理方法、装置及计算机设备 |
Non-Patent Citations (1)
| Title |
|---|
| 岑凯伦等: "大数据下基于Spark的电商实时推荐***的设计与实现", 现代计算机(专业版), no. 24, 25 August 2016 (2016-08-25) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109582876B (zh) | 旅游行业用户画像构造方法、装置和计算机设备 | |
| CN111339073A (zh) | 实时数据处理方法、装置、电子设备及可读存储介质 | |
| CN110688598B (zh) | 业务参数采集方法、装置、计算机设备和存储介质 | |
| CN112613938B (zh) | 模型训练方法、装置及计算机设备 | |
| CN113220657B (zh) | 数据处理方法、装置及计算机设备 | |
| CN108334641B (zh) | 采集用户行为数据的方法、***、电子设备、存储介质 | |
| CN103207882A (zh) | 店铺访问数据处理方法及*** | |
| CN110781372B (zh) | 一种优化网站的方法、装置、计算机设备及存储介质 | |
| CN109117442B (zh) | 一种应用推荐方法及装置 | |
| CN110889725B (zh) | 在线广告ctr预估方法、装置、设备及存储介质 | |
| CN114663198A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
| US20190286739A1 (en) | Automatically generating meaningful user segments | |
| CN111080417A (zh) | 用于提高预订顺畅率的处理方法、模型训练方法及*** | |
| CN110717597A (zh) | 利用机器学习模型获取时序特征的方法和装置 | |
| US20140046708A1 (en) | Systems and methods for determining a cloud-based customer lifetime value | |
| CN112561565A (zh) | 一种基于行为日志的用户需求识别方法 | |
| CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
| CN110807050B (zh) | 性能分析方法、装置、计算机设备及存储介质 | |
| CN114969191A (zh) | 基于大数据的数据分析方法、***、装置及存储介质 | |
| CN113792039B (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| CN113688022A (zh) | 浏览器性能监控方法、装置、设备和介质 | |
| CN111127057B (zh) | 一种多维用户画像恢复方法 | |
| CN111737080A (zh) | 异常交易嫌疑的监测方法、装置、计算机设备和存储介质 | |
| CN113139826A (zh) | 广告位的分配权限确定方法、装置、计算机设备 | |
| CN115187330A (zh) | 基于用户标签的产品推荐方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |