CN113282651A - 数据处理方法及装置、存储介质及电子装置 - Google Patents

数据处理方法及装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113282651A
CN113282651A CN202110450547.1A CN202110450547A CN113282651A CN 113282651 A CN113282651 A CN 113282651A CN 202110450547 A CN202110450547 A CN 202110450547A CN 113282651 A CN113282651 A CN 113282651A
Authority
CN
China
Prior art keywords
data
behavior
behavior data
user
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110450547.1A
Other languages
English (en)
Inventor
林欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Technology Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Technology Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Technology Co Ltd
Priority to CN202110450547.1A priority Critical patent/CN113282651A/zh
Publication of CN113282651A publication Critical patent/CN113282651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/362Software debugging
    • G06F11/3636Software debugging by tracing the execution of the program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法及装置、存储介质及电子装置,其中,上述方法包括:获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;根据第三行为数据进行用户行为分析。采用上述技术方案,解决了传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题。

Description

数据处理方法及装置、存储介质及电子装置
技术领域
本发明涉及通信领域,具体而言,涉及一种数据处理方法及装置、存储介质及电子装置。
背景技术
随着社会的发展,现代软件和目标网站上关于用户的数据变得越来越重要,根据用户的数据可以构建用户的行为,进而根据用户行为构建用户行为分析模型,但现有的用户行为分析模型,只包含开发者使用埋点软件开发包(Software Development Kit,检测为SDK)采集上报的用户行为数据。
现有的大部分用户行为分析模型,对于业务***中存在的、与用户行为相关的静态表数据分隔开,不能搭建全维度的用户行为数据模型。还有部分的用户行为分析模型,将需要用到的维度信息作为埋点变量采集。此种方式虽然可以解决维度缺失问题,但是为了实现全维度分析,往往需要使用多个埋点变量,直接导致埋点数据量增多,为数据采集和分析增加了工作量。
针对相关技术,传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法及装置、存储介质及电子装置,以至少解决了传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题。
根据本发明实施例的一个实施例,提供一种数据处理方法,包括:获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;根据第三行为数据进行用户行为分析。
进一步地,获取目标应用的第一数据与目标应用对应的目标数据库中的第二数据,包括:在目标应用中通过数据埋点采集第一数据;通过结构化查询语句在目标数据库中采集第二数据。
进一步地,将第一数据进行ETL处理,得到第一行为数据,包括:根据目标数据库中第三数据对第一数据进行属性补全,得到第一行为数据,其中,第三数据与第一数据至少具有一个相同属性。
进一步地,根据目标数据库中第三数据对第一数据进行属性补全,包括:从第三数据中获取第一数据与第三数据的差别属性,其中,差别属性用于指示未包含在第一数据中,且包含在第三数据中的属性;根据差别属性对第一数据进行属性补全。
进一步地,将第一行为数据与第二行为数据进行合并,得到第三行为数据,包括:将第一行为数据与第二行为数据中具有相同属性的属性值进行数据合并,得到第三行为数据。
进一步地,根据第三行为数据进行全链路用户行为分析,包括:获取目标对象输入的目标属性;根据目标属性对第三行为数据进行处理,以获得目标属性的分析数据;根据分析数据进行用户行为分析。
根据本发明实施例的一个实施例,还提供一种数据处理装置,包括:获取模块,用于获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;处理模块,用于将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;合并模块,用于将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;分析模块,用于根据第三行为数据进行用户行为分析。
进一步地,获取模块,还用于在目标应用中通过数据埋点采集第一数据;通过结构化查询语句在目标数据库中采集第二数据。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述数据处理方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述数据处理方法。
通过本发明,引入一种数据处理方法,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;根据第三行为数据进行全链路用户行为分析。也就是说,通过将第一数据与第二数据进行ETL处理,得到第一行为数据和第二行为数据,将第一行为数据与第二行为数据合并,得到第三行为数据,进而通过第三行为数据进行全链路用户行为分析。采用上述技术方案,解决了传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题。进而通将第一数据与第二数据进行ETL处理后,合并数据,能够实现多维度、全链路的用户行为分析。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示例性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明实施例的数据处理方法的计算机终端的硬件结构框图;
图2是根据本发明实施例的数据处理方法的一种流程图;
图3是根据本发明实施例的数据处理方法的另一种流程图;
图4是根据本发明实施例的数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例,图1是本发明实施例的数据处理方法的计算机终端的硬件结构框图。如图1所示,计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,在一个示例性实施例中,上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述计算机终端的结构造成限定。例如,计算机终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的数据处理方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
为了解决上述问题,在本实施例中提供了一种数据处理方法,图2是根据本发明实施例的数据处理方法的一种流程图,该流程包括如下步骤:
步骤S202,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;
步骤S204,将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;
需要说明的是,ETL是英文Extract-Transform-Load的缩写,用来描述将数据从源端经过抽取(extract)、转化(transform)、加载(load)至目的端的过程。ETL是将业务***的数据经过抽取、清洗转化之后加载到数据仓库的过程,目的是将分散、零乱、标准不统一的数据整合在一起。
步骤S206,将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;
步骤S208,根据第三行为数据进行用户行为分析。
通过本发明,引入一种数据处理方法,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;根据第三行为数据进行全链路用户行为分析。也就是说,通过将第一数据与第二数据进行ETL处理,得到第一行为数据和第二行为数据,将第一行为数据与第二行为数据合并,得到第三行为数据,进而通过第三行为数据进行全链路用户行为分析。采用上述技术方案,解决了传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题。进而通将第一数据与第二数据进行ETL处理后,合并数据,能够实现多维度、全链路的用户行为分析。上述步骤S202在执行的过程中,获取目标应用的第一数据与目标应用对应的目标数据库中的第二数据,可以通过以下技术方案实现:在目标应用中通过数据埋点采集第一数据;通过结构化查询语句在目标数据库中采集第二数据。
在本实施例中,可以在目标应用中通过数据埋点的方式采集第一数据,并且可以通过结构化查询语句,在目标数据库中,采集第二数据。需要说明的是,本发明的技术方案不仅仅只适用于目标应用中,也适用于目标网页中,以目标应用为例,具体可以通过使用埋点SDK来采集第一数据,其中,第一数据用于指示用户在目标应用的操作信息,即可以是用户的行为日志,如用户在APP端的浏览点击等行为信息,以购物软件为例,通过埋点SDK采集用户浏览了哪个商品,点击了哪个商品等,通过结构化查询语句在目标应用的数据库中获取到商品的明细表,明细表中有商品的单价,商品的其余属性等。
可选的,上述步骤S204将第一数据进行ETL处理,得到第一行为数据,可以通过以下技术方案实现:根据目标数据库中第三数据对第一数据进行属性补全,得到第一行为数据,其中,第三数据与第一数据至少具有一个相同属性。
在本实施例中,需要从目标数据库中获取到第三数据,需要说明的是,第三数据与第一数据至少具有一个相同属性,随后利用第三数据对第一数据进行属性补全。为了更好的理解,若第一数据的数据结构为(用户ID,商品ID,商品名称),从数据库中获取到第三数据商品明细表为(商品ID,商品名称,商品单价,订单编号,总金额),则利用第三数据对第一数据进行属性补全,得到第一行为数据的结构为(用户ID,商品ID,商品名称,商品单价,订单编号,总金额)。需要说明的是,第一行为数据可以抽象成一个具体事件,如第一行为事件可以抽象成用户购买事件,具体根据不同的业务场景做不同的定义。在对第一数据进行属性补全以后,对应属性的属性值也需要同步过来。需要说明的是,ETL处理主要包括对可以补齐的维度(即上述属性)通过关联维度表补齐,并对缺失的维度直接填为空值。
同理,上述步骤S204中将第二数据进行ETL处理,得到第二行为数据的处理方式与将第一数据进行ETL处理,得到第一行为数据一致,本实施例在此不再赘述。
可选的,根据目标数据库中第三数据对第一数据进行属性补全,包括:从第三数据中获取第一数据与第三数据的差别属性,其中,差别属性用于指示未包含在第一数据中,且包含在第三数据中的属性;根据差别属性对第一数据进行属性补全。
例如,上述第一数据的数据结构为(用户ID,商品ID,商品名称),第三数据的数据结构为(商品ID,商品名称,商品单价,订单编号,总金额),从第三数据中获取第一数据与第三数据的差别属性,即(商品单价,订单编号,总金额),进而利用差别属性对第一数据进行属性补全,得到第一行为数据的结构为(用户ID,商品ID,商品名称,商品单价,订单编号,总金额),需要说明的是,在对第一数据进行属性补全以后,对应属性的属性值也需要同步过来。
可选的,上述步骤S206将第一行为数据与第二行为数据进行合并,得到第三行为数据,包括:将第一行为数据与第二行为数据中具有相同属性的属性值进行数据合并,得到第三行为数据。在本实施例中,第一行为数据与第二行为数据具有相同的数据结构,在将第一行为数据与第二行为数据进行合并的时候,只用将第一行为数据中与第二行为数据相对应属性的属性值进行合并,进而得到第三行为数据,即第一行为数据与第二行为数据中的所有数据都可以在第三行为数据中找到。
可选的,上述步骤S208根据第三行为数据进行全链路用户行为分析,包括:获取目标对象输入的目标属性;根据目标属性对第三行为数据进行处理,以获得目标属性的分析数据;根据分析数据进行全链路用户行为分析。在本实施例中,获取目标对象输入的目标属性,如商品ID,进而可以商品ID对第三行为数据进行处理,得到关于商品ID的分析数据,如该商品ID为A的商品有多少用户购买,购买量是多少,总购买金额是多少,和商品ID为B的购买量相比,购买量是多还是少,进而可以进行全链路用户行为分析。
显然,上述所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。为了更好的理解上述数据处理方法,以下结合实施例对上述过程进行说明,但不用于限定本发明实施例的技术方案,具体地:
在一个可选的实施例中,图3是根据本发明实施例的数据处理方法的另一种流程图,具体步骤如下所示:
步骤S302:在APP端使用埋点SDK进行埋点,采集用户的浏览点击等行为信息,保存至用户行为日志;
步骤S304:将用户在APP端产生的业务数据全部传输到后端服务器的业务***数据库中进行存储,在服务器上形成不同的业务静态数据表;
步骤S306:从业务***数据库中提取出相应的业务静态数据表;
步骤S308-S310:将埋点SDK采集的原始数据以及业务***数据库中的业务静态数据表数据经过ETL处理,抽象为标准化后的各类用户行为事件(相当于上述实施例中的行为数据);
步骤S312:将上述标准化后的用户行为事件做全维度(相当于上述实施例中的属性)的关联和整合,形成多维用户行为分析模型。
在一个可选的实施例中,将直播业务的用户行为日志以及商城记录的用户购买的订单信息结合,搭建直播业务用户行为分析模型。具体实施步骤如下:
步骤一:使用埋点SDK在APP端直播页面进行埋点,实时采集用户在APP上的页面行为并将数据回传给数据仓库;
步骤二:将埋点数据抽象为不同的事件,如:进入直播间,离开直播间,发表评论等。每个事件必须具备用户ID,发生时间,事件名称,事件参数,维度等若干属性。其中事件参数为该事件独有的变量,如:离开直播间的事件变量为用户的观看时长。维度为分析模型需要打通的所有的维度,若当前事件变量不支持该维度则填空处理(如用户进入直播间行为不具备商品维度,则该事件的商品维度属性为空);
步骤三:处理用户订单数据,将所有的订单数据定义为新事件:用户下订单。该事件也需要具备用户ID,发生时间(即下订单时间),订单编号,订单金额,商品名称等属性;
步骤四:将步骤一与步骤三处理后的数据进行关联,形成一张多维度的宽表,然后将该表作为用户行为分析平台的功能主表,进而数据分析及运营人员可以在前端使用平台进行私有化的数据查询及数据分析。
此外,本发明实施例的上述技术方案,将用户在应用端的所有日志抽象为不同的用户行为数据,用户行为数据在特定的场景可以描述成不同的事件,同时将业务静态数据表加入行为分析模型。
并且本发明提出了一种基于事件的多维用户行为分析模型,该模型结合用户行为日志以及业务静态数据表,将用户的所有动作抽象为不同的事件,搭建多维分析模型。该模型将用户行为日志与业务静态表结合,能够实现多维度,全链路的用户行为分析,为运营人员提供了快速简洁的分析工具。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
在本实施例中还提供了一种数据处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的数据处理装置的结构框图,该装置包括:
获取模块42,用于获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;
处理模块44,用于将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;
合并模块46,用于将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;
分析模块48,用于根据第三行为数据进行用户行为分析。
通过本发明,引入一种数据处理装置,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;根据第三行为数据进行全链路用户行为分析。也就是说,通过将第一数据与第二数据进行ETL处理,得到第一行为数据和第二行为数据,将第一行为数据与第二行为数据合并,得到第三行为数据,进而通过第三行为数据进行全链路用户行为分析。采用上述技术方案,解决了传统方法对用户行为进行分析过程中,不能将埋点采集的数据与相关静态表中的数据结合等问题。进而通将第一数据与第二数据进行ETL处理后,合并数据,能够实现多维度、全链路的用户行为分析。
可选的,获取模块42用于在目标应用中通过数据埋点采集第一数据;通过结构化查询语句在目标数据库中采集第二数据。
在本实施例中,可以在目标应用中通过数据埋点的方式采集第一数据,并且可以通过结构化查询语句,在目标数据库中,采集第二数据。需要说明的是,本发明的技术方案不仅仅只适用于目标应用中,也适用于目标网页中,以目标应用为例,具体可以通过使用埋点SDK来采集第一数据,其中,第一数据用于指示用户在目标应用的操作信息,即可以是用户的行为日志,如用户在APP端的浏览点击等行为信息,以购物软件为例,通过埋点SDK采集用户浏览了哪个商品,点击了哪个商品等,通过结构化查询语句在目标应用的数据库中获取到商品的明细表,明细表中有商品的单价,商品的其余属性等。
可选的,处理模块44用于根据目标数据库中第三数据对第一数据进行属性补全,得到第一行为数据,其中,第三数据与第一数据至少具有一个相同属性。
在本实施例中,需要从目标数据库中获取到第三数据,需要说明的是,第三数据与第一数据至少具有一个相同属性,随后利用第三数据对第一数据进行属性补全。为了更好的理解,若第一数据的数据结构为(用户ID,商品ID,商品名称),从数据库中获取到第三数据商品明细表为(商品ID,商品名称,商品单价,订单编号,总金额),则利用第三数据对第一数据进行属性补全,得到第一行为数据的结构为(用户ID,商品ID,商品名称,商品单价,订单编号,总金额)。需要说明的是,第一行为数据可以抽象成一个具体事件,如第一行为事件可以抽象成用户购买事件,具体根据不同的业务场景做不同的定义。在对第一数据进行属性补全以后,对应属性的属性值也需要同步过来。需要说明的是,ETL处理主要包括对可以补齐的维度(即上述属性)通过关联维度表补齐,并对缺失的维度直接填为空值。
同理,处理模块44还用于将第二数据进行ETL处理,得到第二行为数据的处理,本实施例在此不再赘述。
可选的,处理模块44还用于从第三数据中获取第一数据与第三数据的差别属性,其中,差别属性用于指示未包含在第一数据中,且包含在第三数据中的属性;根据差别属性对第一数据进行属性补全。
例如,上述第一数据的数据结构为(用户ID,商品ID,商品名称),第三数据的数据结构为(商品ID,商品名称,商品单价,订单编号,总金额),从第三数据中获取第一数据与第三数据的差别属性,即(商品单价,订单编号,总金额),进而利用差别属性对第一数据进行属性补全,得到第一行为数据的结构为(用户ID,商品ID,商品名称,商品单价,订单编号,总金额),需要说明的是,在对第一数据进行属性补全以后,对应属性的属性值也需要同步过来。
可选的,合并模块46还用于将第一行为数据与第二行为数据中具有相同属性的属性值进行数据合并,得到第三行为数据。在本实施例中,第一行为数据与第二行为数据具有相同的数据结构,在将第一行为数据与第二行为数据进行合并的时候,只用将第一行为数据中与第二行为数据相对应属性的属性值进行合并,进而得到第三行为数据,即第一行为数据与第二行为数据中的所有数据都可以在第三行为数据中找到。
可选的,分析模块48用于获取目标对象输入的目标属性;根据目标属性对第三行为数据进行处理,以获得目标属性的分析数据;根据分析数据进行全链路用户行为分析。在本实施例中,获取目标对象输入的目标属性,如商品ID,进而可以商品ID对第三行为数据进行处理,得到关于商品ID的分析数据,如该商品ID为A的商品有多少用户购买,购买量是多少,总购买金额是多少,和商品ID为B的购买量相比,购买量是多还是少,进而可以进行全链路用户行为分析。
本发明的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;
S2,将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;
S3,将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;
S4,根据第三行为数据进行用户行为分析。
在一个示例性实施例中,上述计算机可读存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取目标应用的第一数据与目标应用对应目标数据库中的第二数据,其中,第一数据用于指示用户在目标应用的操作信息,第二数据用于指示用户在目标应用操作所产生的静态数据;
S2,将第一数据进行ETL处理,得到第一行为数据,将第二数据进行ETL处理,得到第二行为数据,其中第一行为数据与第二行为数据具有相同的数据结构;
S3,将第一行为数据与第二行为数据进行数据合并,得到第三行为数据;
S4,根据第三行为数据进行用户行为分析。
在一个示例性实施例中,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取目标应用的第一数据与所述目标应用对应目标数据库中的第二数据,其中,所述第一数据用于指示用户在所述目标应用的操作信息,所述第二数据用于指示用户在所述目标应用操作所产生的静态数据;
将所述第一数据进行ETL处理,得到第一行为数据,将所述第二数据进行ETL处理,得到第二行为数据,其中所述第一行为数据与所述第二行为数据具有相同的数据结构;
将所述第一行为数据与所述第二行为数据进行数据合并,得到第三行为数据;
根据所述第三行为数据进行用户行为分析。
2.根据权利要求1所述的数据处理方法,其特征在于,所述获取目标应用的第一数据与所述目标应用对应的目标数据库中的第二数据,包括:
在所述目标应用中通过数据埋点采集所述第一数据;
通过结构化查询语句在所述目标数据库中采集所述第二数据。
3.根据权利要求1所述的数据处理方法,其特征在于,将所述第一数据进行ETL处理,得到第一行为数据,包括:
根据所述目标数据库中第三数据对所述第一数据进行属性补全,得到第一行为数据,其中,所述第三数据与所述第一数据至少具有一个相同属性。
4.根据权利要求3所述的数据处理方法,其特征在于,根据所述目标数据库中第三数据对所述第一数据进行属性补全,包括:
从所述第三数据中获取所述第一数据与所述第三数据的差别属性,其中,所述差别属性用于指示未包含在所述第一数据中,且包含在所述第三数据中的属性;
根据所述差别属性对所述第一数据进行属性补全。
5.根据权利要求1所述的数据处理方法,其特征在于,将所述第一行为数据与第二行为数据进行合并,得到第三行为数据,包括:
将所述第一行为数据与所述第二行为数据中具有相同属性的属性值进行数据合并,得到第三行为数据。
6.根据权利要求1所述的数据处理方法,其特征在于,根据所述第三行为数据进行全链路用户行为分析,包括:
获取目标对象输入的目标属性;
根据所述目标属性对所述第三行为数据进行处理,以获得目标属性的分析数据;
根据所述分析数据进行用户行为分析。
7.一种数据处理装置,其特征在于,包括:
获取模块,用于获取目标应用的第一数据与所述目标应用对应目标数据库中的第二数据,其中,所述第一数据用于指示用户在所述目标应用的操作信息,所述第二数据用于指示用户在所述目标应用操作所产生的静态数据;
处理模块,用于将所述第一数据进行ETL处理,得到第一行为数据,将所述第二数据进行ETL处理,得到第二行为数据,其中所述第一行为数据与所述第二行为数据具有相同的数据结构;
合并模块,用于将所述第一行为数据与所述第二行为数据进行数据合并,得到第三行为数据;
分析模块,用于根据所述第三行为数据进行用户行为分析。
8.根据权利要求7所述的装置,其特征在于,所述获取模块,还用于在所述目标应用中通过数据埋点采集所述第一数据;通过结构化查询语句在所述目标数据库中采集所述第二数据。
9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至6任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至6任一项中所述的方法。
CN202110450547.1A 2021-04-25 2021-04-25 数据处理方法及装置、存储介质及电子装置 Pending CN113282651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110450547.1A CN113282651A (zh) 2021-04-25 2021-04-25 数据处理方法及装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110450547.1A CN113282651A (zh) 2021-04-25 2021-04-25 数据处理方法及装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN113282651A true CN113282651A (zh) 2021-08-20

Family

ID=77277407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110450547.1A Pending CN113282651A (zh) 2021-04-25 2021-04-25 数据处理方法及装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113282651A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924163A (zh) * 2018-08-14 2018-11-30 成都信息工程大学 基于无监督学习的攻击者画像方法及***
CN109272408A (zh) * 2018-10-31 2019-01-25 平安科技(深圳)有限公司 车贷款金融产品智能推荐方法、装置、设备及介质
CN110532309A (zh) * 2019-07-15 2019-12-03 浙江工业大学 一种高校图书馆用户画像***的生成方法
CN110750559A (zh) * 2019-10-17 2020-02-04 北京明略软件***有限公司 权限信息的处理方法及装置、存储介质、电子装置
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
CN111666351A (zh) * 2020-05-29 2020-09-15 北京睿知图远科技有限公司 基于用户行为数据的模糊聚类***
CN111666492A (zh) * 2020-04-30 2020-09-15 中国平安财产保险股份有限公司 基于用户行为的信息推送方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108924163A (zh) * 2018-08-14 2018-11-30 成都信息工程大学 基于无监督学习的攻击者画像方法及***
CN109272408A (zh) * 2018-10-31 2019-01-25 平安科技(深圳)有限公司 车贷款金融产品智能推荐方法、装置、设备及介质
CN110532309A (zh) * 2019-07-15 2019-12-03 浙江工业大学 一种高校图书馆用户画像***的生成方法
CN110750559A (zh) * 2019-10-17 2020-02-04 北京明略软件***有限公司 权限信息的处理方法及装置、存储介质、电子装置
CN110909063A (zh) * 2019-11-28 2020-03-24 蜂助手股份有限公司 一种用户行为的分析方法、装置、应用服务器及存储介质
CN111666492A (zh) * 2020-04-30 2020-09-15 中国平安财产保险股份有限公司 基于用户行为的信息推送方法、装置、设备及存储介质
CN111666351A (zh) * 2020-05-29 2020-09-15 北京睿知图远科技有限公司 基于用户行为数据的模糊聚类***

Similar Documents

Publication Publication Date Title
CN107102941B (zh) 一种测试用例的生成方法及装置
CN107220142B (zh) 执行数据恢复操作的方法及装置
CN108287668B (zh) 设备数据的处理方法及装置、计算机装置及可读存储介质
CN107800591B (zh) 一种统一日志数据的分析方法
CN107515878B (zh) 一种数据索引的管理方法及装置
CN107193920B (zh) 用于客户端的数据处理方法和装置
CN114691786A (zh) 数据血缘关系的确定方法及装置、存储介质、电子装置
CN111400393B (zh) 基于多应用平台的数据处理方法和装置、存储介质
CN109445768B (zh) 数据库脚本生成方法、装置、计算机设备及存储介质
CN110928681A (zh) 数据的处理方法和装置、存储介质及电子装置
CN111008220A (zh) 数据源的动态识别方法及装置、存储介质和电子装置
CN113434742A (zh) 账号的筛选方法和装置、存储介质及电子装置
CN116226082A (zh) 数据库模型的生成方法、装置、存储介质及电子设备
CN113282651A (zh) 数据处理方法及装置、存储介质及电子装置
CN116594834A (zh) 一种用于多协议服务器的运维数据处理方法及装置
CN112487251A (zh) 一种用户id数据关联方法及装置
CN113407541B (zh) 数据采集方法、设备、存储介质及装置
CN115629848A (zh) 业务处理方法及其装置、电子设备及存储介质
CN112860456B (zh) 日志处理方法和装置
CN114296696A (zh) 业务功能操作方法和装置、存储介质及电子设备
CN115037654A (zh) 流量统计方法、装置、电子设备及可读存储介质
CN106469086B (zh) 事件处理方法和装置
CN110427558B (zh) 资源处理事件的推送方法及装置
CN105912603B (zh) 网络空间的业务查询方法及装置
CN112699304A (zh) 数据处理方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210820