CN113806416A - 实时数据服务的实现方法、装置及电子设备 - Google Patents

实时数据服务的实现方法、装置及电子设备 Download PDF

Info

Publication number
CN113806416A
CN113806416A CN202110270835.9A CN202110270835A CN113806416A CN 113806416 A CN113806416 A CN 113806416A CN 202110270835 A CN202110270835 A CN 202110270835A CN 113806416 A CN113806416 A CN 113806416A
Authority
CN
China
Prior art keywords
real
time data
target
data
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110270835.9A
Other languages
English (en)
Other versions
CN113806416B (zh
Inventor
杨泽森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Holding Co Ltd
Original Assignee
Jingdong Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Holding Co Ltd filed Critical Jingdong Technology Holding Co Ltd
Priority to CN202110270835.9A priority Critical patent/CN113806416B/zh
Publication of CN113806416A publication Critical patent/CN113806416A/zh
Application granted granted Critical
Publication of CN113806416B publication Critical patent/CN113806416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477Temporal data queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提出一种实时数据服务的实现方法、装置及电子设备,属于计算机应用技术领域。其中,该实时数据服务的实现方法包括:接收实时数据服务的服务请求,服务请求包括:实时数据标识和目标业务场景类别;从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库;采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过这种实时数据服务的实现方法,可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。

Description

实时数据服务的实现方法、装置及电子设备
技术领域
本申请涉及计算机应用技术领域,尤其涉及一种实时数据服务的实现方法、装置及电子设备。
背景技术
随着互联网技术的发展,各行业业务规模和企业数据资产价值呈现爆发式、多样式发展。目前各行业业务中普遍存在海量的各种文件数据、视频音频等流媒体数据、物联网数据、生产***的各类数据库数据等。
在业务决策分析过程中,需要对这些数据进行实时和离线数据加工和计算,以通过数据分析和数据挖掘总结萃取出对企业营销、企业运营、企业服务等具有高价值的决策信息。但是,现有的企业的实时数据仓库仅可以基于某种固定的技术栈实现,只能够支持个别实时数据统计分析场景,通用性较差。
发明内容
本申请提出的实时数据服务的实现方法、装置、电子设备及存储介质,用于解决相关技术中,企业的实时数据仓库仅可以基于某种固定的技术栈实现,只能够支持个别实时数据统计分析场景,通用性较差的问题。
本申请一方面实施例提出的实时数据服务的实现方法,包括:接收实时数据服务的服务请求,所述服务请求包括:实时数据标识和目标业务场景类别;从多个存储装置之中确定与所述目标业务场景类别对应的目标存储装置和目标数据仓库;采用与所述目标数据仓库对应的存储形式,从所述目标存储装置之中获取所述实时数据标识所属的实时数据;其中,所述目标存储装置属于多个存储装置,所述多个存储装置分别具有对应的多个数据仓库,所述目标数据仓库属于所述多个数据仓库,所述多个数据仓库分别具有对应的多个业务场景类别,所述目标业务场景类别属于所述多个业务场景类别。
本申请另一方面实施例提出的实时数据服务的实现装置,包括:接收模块,用于接收实时数据服务的服务请求,所述服务请求包括:实时数据标识和目标业务场景类别;第一确定模块,用于从多个存储装置之中确定与所述目标业务场景类别对应的目标存储装置和目标数据仓库;以及第一获取模块,用于采用与所述目标数据仓库对应的存储形式,从所述目标存储装置之中获取所述实时数据标识所属的实时数据;其中,所述目标存储装置属于多个存储装置,所述多个存储装置分别具有对应的多个数据仓库,所述目标数据仓库属于所述多个数据仓库,所述多个数据仓库分别具有对应的多个业务场景类别,所述目标业务场景类别属于所述多个业务场景类别。
本申请再一方面实施例提出的电子设备,其包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如前所述的实时数据服务的实现方法。
本申请又一方面实施例提出的计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如前所述的实时数据服务的实现方法。
本申请实施例提供的实时数据服务的实现方法、装置、电子设备及计算机可读存储介质,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请实施例所提供的一种实时数据服务的实现方法的流程示意图;
图2为本申请实施例所提供的一种实时数据仓库技术架构的示意图;
图3为本申请实施例所提供的另一种实时数据服务的实现方法的流程示意图;
图4为本申请实施例所提供的再一种实时数据服务的实现方法的流程示意图;
图5为本申请实施例提供的一种实时数据服务的实现装置的结构示意图;
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的要素。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
本申请实施例针对相关技术中,,企业的实时数据仓库仅可以基于某种固定的技术栈实现,只能够支持个别实时数据统计分析场景,通用性较差的问题,提出一种实时数据服务的实现方法。
本申请实施例提供的实时数据服务的实现方法,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
下面参考附图对本申请提供的实时数据服务的实现方法、装置、电子设备、存储介质及计算机程序进行详细描述。
图1为本申请实施例所提供的一种实时数据服务的实现方法的流程示意图。
如图1所示,该实时数据服务的实现方法,包括以下步骤:
步骤101,接收实时数据服务的服务请求,服务请求包括:实时数据标识和目标业务场景类别。
需要说明的是,本申请实施例的实时数据服务的实现方法可以由本申请实施例的实时数据服务的实现装置执行。本申请实施例的实时数据服务的实现装置可以配置在任意电子设备中,以执行本申请实施例的实时数据服务的实现方法。
举例来说,本申请实施例的实时数据服务的实现装置可以配置在电商服务对应的服务器中,以在客户端需要实时数据服务时,可以向服务器发送实时数据服务的服务请求,以使服务器向客户端提供实时数据服务。
其中,实时数据服务的服务请求,可以是用户根据实际的业务需求向服务器发送的,也可以是服务器根据预设规则自动触发的。
举例来说,用户在需要对实时数据进行即席查询时,可以通过客户端设定需要查询的实时数据,并向服务器发送即席查询请求,从而客户端可以根据用户设定的需要查询的实时数据确定实时数据标识,并将即席查询确定为目标业务场景类别,进而根据实时数据标识与目标业务场景类别生成实时数据服务的服务请求,发送至服务器。又如,用户还可以在服务器中预先设定触发实时数据服务的服务请求的预设规则,比如,预设规则可以是“以预设频率进行用户行为分析”,从而服务器可以根据预设频率确定为各预设时刻,并在每个预设时刻到来时自动触发实时数据服务器的服务请求,并将该预设时刻进行用户行为分析所需的实时数据的标识确定为实时数据标识,以及将用户行为分析确定为目标业务场景类别。
其中,业务场景类别,可以包括实时数据消费、实时业务应用等场景类别。其中,实时数据消费可以包括营销实时战报/大屏、运行实时数据指标分析、即席查询、联机分析处理(Online Analytical Processing,OLAP)、商业智能(Business Intelligence,BI)报表等业务场景类别;实时业务应用可以包括实时数据可视化、搜索推荐、用户行为分析等业务场景类别。
在本申请实施例中,服务器可以在接收到实时数据服务的服务请求时,对实时数据服务的服务请求进行解析处理,以确定服务请求中包括的实时数据标识与目标业务场景类别。
步骤102,从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库。
其中,目标存储装置属于多个存储装置,多个存储装置分别具有对应的多个数据仓库,目标数据仓库属于多个数据仓库,多个数据仓库分别具有对应的多个业务场景类别,目标业务场景类别属于多个业务场景类别。
在本申请实施例中,可以预先构建包含多个存储装置与多个数据仓库的数据架构,用于存储业务***中的实时数据,并且不同的存储装置与不同的数据仓库可以用于存储不同业务场景类别对应的实时数据,以同时支持多个业务场景的实时数据服务,提升实时数据服务的通用性。
作为一种可能的实现方式,构建出用于存储实时数据的数据架构之后,可以根据数据架构中包含各存储装置与各数据仓库的特点,确定各存储装置与各数据仓库分别适用的业务场景类别,并建立存储装置与数据仓库的映射关系,以及存储装置与业务场景类别的映射关系。从而,确定出目标业务场景类别之后,可以根据存储装置与业务场景类别的映射关系,将与目标业务场景类别对应的存储装置确定为目标存储装置,进而根据存储装置与数据仓库的映射关系,将于目标存储装置对应的数据仓库确定为目标数据仓库。
举例来说,如图2所示的实时数据仓库技术架构,假设目标业务场景类别为实时消费,则可以确定目标存储装置为Kafka,目标数据仓库为Ridm与Rsdm。
步骤103,采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。
在本申请实施例中,在将获取到的实时数据存储到存储装置之前,可以通过存储装置对应的数据仓库对实时数据进行运算,以确定实时数据在存储装置中的存储形式,并且不同存储装置对实时数据的存储形式可以时不同的,以适应不同业务场景的需求。从而,在确定出目标存储装置与目标数据仓库之后,可以根据目标数据仓库对应的存储形式,从目标存储装置中获取与实时数据标识对应的实时数据。
举例来说,若目标数据仓库对应的存储形式为按行存储,即目标存储装置中可以以实时数据标识为索引存储实时数据,且每行存储一条实时数据。从而,可以根据服务请求中包含的实时数据标识,将目标存储装置中每个实时数据标识对应的每行数据,确定为需要获取的实时数据。
又如,若目标数据仓库对应的存储形式为按列存储,即目标存储装置中可以以实时数据标识为索引存储实时数据,且每列存储一条实时数据。从而,可以根据服务请求中包含的实时数据标识,将目标存储装置中每个实时数据标识对应的每列数据,确定为需要获取的实时数据。
本申请实施例提供的实时数据服务的实现方法,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
在本申请一种可能的实现形式中,可以从***的日志文件与消息中获取实时数据并存储至各存储装置中。
下面结合图3,对本申请实施例提供的实时数据服务的实现方法进行进一步说明。
图3为本申请实施例所提供的另一种实时数据服务的实现方法的流程示意图。
如图3所示,该实时数据服务的实现方法,包括以下步骤:
步骤201,从多个生产***数据源分别获取对应的多个实时数据库日志和/或多个实时数据库消息。
在本申请实施例中,本申请实施例的实时数据服务的实现方法可以应用在任意的生产***中,从而可以将多个生产***作为数据源,并从多个生产***数据源中分别获取实时数据库日志、实时数据库消息中的至少一种,以从实时数据库日志与实时数据库消息中获取实时数据。作为一种示例,可以从生产***数据源的二进制日志文件中获取实时数据库日志,以及从生产***数据源的消息队列中获取实时数据库消息。
步骤202,解析多个实时数据库日志和/或多个实时数据库消息,以得到对应的多个实时数据和与其对应的实时数据标识。
在本申请实施例中,实时数据库日志与实时数据库消息中可以包括大量实时数据,从而可以对多个实时数据库日志和/或多个实时数据库消息进行解析处理,以确定每个实时数据库日志中包括的多个实时数据及其对应的实时数据标识,以及确定每个实时数据库消息中包括的多个实时数据及其对应的实时数据标识。
步骤203,将多个实时数据分别写入对应的多个实时数据流之中。
在本申请实施例中,由于需要将是实时数据分别存储至多个存储装置中,从而可以将多个实时数据分别写入多个实时数据流,以使每个实时数据流中均包含全量的实时数据,进而通过每个实时数据流分别将多个实时数据存储至不同的存储装置。
步骤204,将多个实时数据流中的实时数据分别写入对应的多个存储装置之中,并采用实时数据标识标记已存储,且与其对应的实时数据。
在本申请实施例中,由于每个实时数据流中均包含全量实时数据,则可以将每个实时数据流中的实时数据分别存储至不同的存储装置中,并采用实时数据对应的实时数据标识标记已存储的实时数据。
进一步的,在将实时数据存储至存储装置之前,可以根据存储装置对应的数据仓库对实时数据进行运算后,再存储至存储装置中,以生成适用于存储装置对应的业务场景的实时数据。即在本申请实施例一种可能的实现方式中,上述步骤204,可以包括:
获取多个业务场景类别;
确定与多个业务场景类别分别对应的多个数据仓库,多个数据仓库分别具有对应的多个存储装置、对应的多种数据运算方式;
采用多种数据运算方式分别对实时数据进行运算处理,以得到与多种数据运算方式分别对应的多个实时数据仓库模型,实时数据仓库模型至少包括:实时数据、对实时数据运算得到的运算结果;
将多个实时数据仓库模型分别存储至对应的多个存储装置之中,其中,实时数据仓库模型和对应的存储装置所关联的业务场景类别相同。
在本申请实施例中,对于与多个业务场景对应的数据仓库,即与多个存储装置对应的数据仓库,可以具有对应的多种数据运算方式,以使数据仓库可以采用多种运算方式分别对实时数据进行运算处理,以得到该数据仓库对应的多个存储装置分别对应的实时数据仓库模型,进而将每个实时数据仓库模型分成存储值对应的存储装置中。
进一步的,对于不同的存储装置,可能具有不同的存储形式,因此,可以根据每个存储装置对应的存储形式,将实时数据仓库模型存储至存储装置中。即在本申请实施例一种可能的实现方式中,上述多个数据仓库分别具有对应的多种存储形式;相应的,上述将多个实时数据仓库模型分别存储至对应的多个存储装置之中,包括:
根据存储形式,将多个实时数据仓库模型分别存储至对应的多个存储装置之中。
在本申请实施例中,在数据仓库与多个存储装置对应时,该数据仓库可以具有对应的多种存储形式,从而在生成多个实时数据仓库模型之后,可以根据每个存储装置对应的存储形式,将每个实时数据仓库模型分别存储至相应的存储装置中。
步骤205,接收实时数据服务的服务请求,服务请求包括:实时数据标识和目标业务场景类别。
步骤206,从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库。
步骤207,采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。
上述步骤205-207的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
本申请实施例提供的实时数据服务的实现方法,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
在本申请一种可能的实现形式中不同的实时数据可能具有不同的数据量级,从而可以根据实时数据的数据量级,采用不同的数据处理方式分别对不同数据量级的实时数据分别进行处理。
下面结合图4,对本申请实施例提供的实时数据服务的实现方法进行进一步说明。
图4为本申请实施例所提供的再一种实时数据服务的实现方法的流程示意图。
如图4所示,该实时数据服务的实现方法,包括以下步骤:
步骤301,从多个生产***数据源分别获取对应的多个实时数据库日志和/或多个实时数据库消息。
步骤302,解析多个实时数据库日志和/或多个实时数据库消息,以得到对应的多个实时数据和与其对应的实时数据标识。
步骤303,将多个实时数据分别写入对应的多个实时数据流之中。
上述步骤301-303的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
步骤304,确定与多个实时数据流分别对应的目标地址,目标地址与流处理平台中的服务器相对应。
在本申请实施例中,不同的实时数据可能具有不同的数据量级,从而可以根据实时数据的数据量级,采用不同的数据处理方式分别对不同数据量级的实时数据分别进行处理。从而,可以根据实时数据的数据量级确定实时数据对应的目标地址。
作为一种可能的实现方式,可以采用不同的数据处理方式分别处理大数据量实时数据与中小数据量实时数据,因此可以预设数据量级阈值,并在实时数据流的数据量级小于数据量级阈值时,将处理中小数据量实时数据的流处理平台中的服务器的地址,确定为该实时数据流对应的目标地址;在实时数据流的数据量级大于或等于数据量级阈值时,将处理大数据量实时数据的流处理平台中的服务器的地址,确定为该实时数据流对应的目标地址。
举例来说,如图2所示,中小数据量级别的实时数据加工计算可以采用图2中上半部分的kafka+flink技术进行处理;大数据量级别的实时数据加工计算可以采用图2中下半部分的kafka+clickhouse技术进行处理。
步骤305,根据流处理平台的数据传输协议,对多个实时数据流分别进行协议转换。
在本申请实施例中,流处理平台可能具体专用的数据传输协议,比如Kafka,从而可以在流处理平台的数据传输协议与实时数据流的数据传输协议不同时,分别对多个实时数据流进行协议转换,以使多个实时数据流可以发布至流处理平台。
步骤306,采用数据传输协议,将协议转换后的多个实时数据流同步至与目标地址对应的服务器。
在本申请实施例中,对多个实时数据流进行协议转换后,可以采用流数据平台的数据传输协议,将协议转换后的多个实时数据流分别同步至其目标地址对应的服务器。
进一步的,确定出实时数据流对应的目标地址之后,还可以确定该目标地址对应的服务器是否处于可用状态,以保证实时数据流处理的可靠性。即在本申请实施例一种可能的实现方式中,上述步骤304之后,还可以包括:
对目标地址的连通性进行检验;
相应的,上述步骤306,还可以包括:
如果连通性检验通过,则将协议转换后的多个实时数据流同步至与目标地址对应的服务器。
作为一种可能的实现方式,确定出实时数据流对应的目标地址之后,还可以对目标地址的连通性进行检验,以在目标地址对应的服务器可用时再将实时数据流同步至目标地址对应的服务器。因此,可以在目标地址的连通性检验通过时,确定目标地址对应的服务器可用,从而可以将协议转换后的实时数据流同步至该目标地址对应的服务器。
步骤307,将多个实时数据流中的实时数据分别写入对应的多个存储装置之中,并采用实时数据标识标记已存储,且与其对应的实时数据。
步骤308,接收实时数据服务的服务请求,服务请求包括:实时数据标识和目标业务场景类别。
步骤309,从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库。
步骤310,采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。
上述步骤307-310的具体实现过程及原理,可以参照上述实施例的详细描述,此处不再赘述。
作为一种可能的实现方式,不同的实时数据可能具有不同的数据量级,从而可以根据实时数据的数据量级,采用不同的数据处理流程分别对不同数据量级的实时数据分别进行处理。从而,可以根据多个实时数据的数据量级,将多个实时数据分别写入多个实时数据流之中,以采用不同的数据处理方式分别对多个实时数据进行处理。
本申请实施例提供的实时数据服务的实现方法,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
为了实现上述实施例,本申请还提出一种实时数据服务的实现装置。
图5为本申请实施例提供的一种实时数据服务的实现装置的结构示意图。
如图5所示,该实时数据服务的实现装置40,包括:
接收模块41,用于接收实时数据服务的服务请求,服务请求包括:实时数据标识和目标业务场景类别;
第一确定模块42,用于从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库;以及
第一获取模块43,用于采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据;
其中,目标存储装置属于多个存储装置,多个存储装置分别具有对应的多个数据仓库,目标数据仓库属于多个数据仓库,多个数据仓库分别具有对应的多个业务场景类别,目标业务场景类别属于多个业务场景类别。
在实际使用时,本申请实施例提供的实时数据服务的实现装置,可以被配置在任意电子设备中,以执行前述实时数据服务的实现方法。
本申请实施例提供的实时数据服务的实现装置,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
在本申请一种可能的实现形式中,上述实时数据服务的实现装置40,还包括:
第二获取模块,用于从多个生产***数据源分别获取对应的多个实时数据库日志和/或多个实时数据库消息;
解析模块,用于解析多个实时数据库日志和/或多个实时数据库消息,以得到对应的多个实时数据和与其对应的实时数据标识;
第一写入模块,用于将多个实时数据分别写入对应的多个实时数据流之中;以及
第二写入模块,用于将多个实时数据流中的实时数据分别写入对应的多个存储装置之中,并采用实时数据标识标记已存储,且与其对应的实时数据。
进一步的,在本申请另一种可能的实现形式中,上述第二写入模块,包括:
获取单元,用于获取多个业务场景类别;
确定单元,用于确定与多个业务场景类别分别对应的多个数据仓库,多个数据仓库分别具有对应的多个存储装置、对应的多种数据运算方式;
运算单元,用于采用多种数据运算方式分别对实时数据进行运算处理,以得到与多种数据运算方式分别对应的多个实时数据仓库模型,实时数据仓库模型至少包括:实时数据、对实时数据运算得到的运算结果;
存储单元,用于将多个实时数据仓库模型分别存储至对应的多个存储装置之中,其中,实时数据仓库模型和对应的存储装置所关联的业务场景类别相同。
进一步的,在本申请再一种可能的实现形式中,上述多个数据仓库分别具有对应的多种存储形式;相应的,上述存储单元,具体用于:
根据存储形式,将多个实时数据仓库模型分别存储至对应的多个存储装置之中。
进一步的,在本申请又一种可能的实现形式中,上述实时数据服务的实现装置40,还包括:
第二确定模块,用于确定与多个实时数据流分别对应的目标地址,目标地址与流处理平台中的服务器相对应;
协议转换模块,用于根据流处理平台的数据传输协议,对多个实时数据流分别进行协议转换;以及
同步模块,用于采用数据传输协议,将协议转换后的多个实时数据流同步至与目标地址对应的服务器。
进一步的,在本申请又一种可能的实现形式中,上述实时数据服务的实现装置40,还包括:
检验模块,用于对目标地址的连通性进行检验;
相应的,上述同步模块,包括:
同步单元,用于在连通性检验通过时,将协议转换后的多个实时数据流同步至与目标地址对应的服务器。
需要说明的是,前述对图1、图3、图4所示的实时数据服务的实现方法实施例的解释说明也适用于该实施例的实时数据服务的实现装置40,此处不再赘述。
本申请实施例提供的实时数据服务的实现装置,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
为了实现上述实施例,本申请还提出一种电子设备。
图6为本发明一个实施例的电子设备的结构示意图。
如图6所示,上述电子设备200包括:
存储器210及处理器220,连接不同组件(包括存储器210和处理器220)的总线230,存储器210存储有计算机程序,当处理器220执行所述程序时实现本申请实施例所述的实时数据服务的实现方法。
总线230表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***260可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280,可以存储在例如存储器210中,这样的程序模块270包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本申请所描述的实施例中的功能和/或方法。
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信,还可与一个或者多个使得用户能与该电子设备200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且,电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器293通过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器220通过运行存储在存储器210中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的电子设备的实施过程和技术原理参见前述对本申请实施例的实时数据服务的实现方法的解释说明,此处不再赘述。
本申请实施例提供的电子设备,可以执行如前所述的实时数据服务的实现方法,通过接收包括实时数据标识和目标业务场景类别的实时数据服务的服务请求,并从多个存储装置之中确定与目标业务场景类别对应的目标存储装置和目标数据仓库,进而采用与目标数据仓库对应的存储形式,从目标存储装置之中获取实时数据标识所属的实时数据。由此,通过预先建立包含与各业务场景对应的存储装置与数据仓库的数据架构,以分别对各业务场景所需的实时数据进行存储,从而可以同时实现多种业务场景的实时数据分析需求与使用需求,提升了实时数据服务的通用性。
为了实现上述实施例,本申请还提出一种计算机可读存储介质。
其中,该计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,以实现本申请实施例所述的实时数据服务的实现方法。
为了实现上述实施例,本申请再一方面实施例提供一种计算机程序,该程序被处理器执行时,以实现本申请实施例所述的实时数据服务的实现方法。
一种可选实现形式中,本实施例可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上部分在远程电子设备上执行、或者完全在远程电子设备或服务器上执行。在涉及远程电子设备的情形中,远程电子设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户电子设备,或者,可以连接到外部电子设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种实时数据服务的实现方法,其特征在于,所述方法包括:
接收实时数据服务的服务请求,所述服务请求包括:实时数据标识和目标业务场景类别;
从多个存储装置之中确定与所述目标业务场景类别对应的目标存储装置和目标数据仓库;以及
采用与所述目标数据仓库对应的存储形式,从所述目标存储装置之中获取所述实时数据标识所属的实时数据;
其中,所述目标存储装置属于多个存储装置,所述多个存储装置分别具有对应的多个数据仓库,所述目标数据仓库属于所述多个数据仓库,所述多个数据仓库分别具有对应的多个业务场景类别,所述目标业务场景类别属于所述多个业务场景类别。
2.如权利要求1所述的方法,其特征在于,在所述接收实时数据服务的服务请求前,还包括:
从多个生产***数据源分别获取对应的多个实时数据库日志和/或多个实时数据库消息;
解析所述多个实时数据库日志和/或多个实时数据库消息,以得到对应的多个实时数据和与其对应的实时数据标识;
将所述多个实时数据分别写入对应的多个实时数据流之中;以及
将所述多个实时数据流中的实时数据分别写入对应的多个存储装置之中,并采用所述实时数据标识标记已存储,且与其对应的实时数据。
3.如权利要求2所述的方法,其特征在于,所述将所述多个实时数据流中的实时数据分别写入对应的多个存储装置之中,包括:
获取所述多个业务场景类别;
确定与所述多个业务场景类别分别对应的多个数据仓库,所述多个数据仓库分别具有对应的多个存储装置、对应的多种数据运算方式;
采用所述多种数据运算方式分别对所述实时数据进行运算处理,以得到与所述多种数据运算方式分别对应的多个实时数据仓库模型,所述实时数据仓库模型至少包括:所述实时数据、对所述实时数据运算得到的运算结果;
将所述多个实时数据仓库模型分别存储至对应的多个存储装置之中,其中,所述实时数据仓库模型和对应的所述存储装置所关联的业务场景类别相同。
4.如权利要求3所述的方法,其特征在于,所述多个数据仓库分别具有对应的多种存储形式,所述将所述多个实时数据仓库模型分别存储至对应的多个存储装置之中,包括:
根据所述存储形式,将所述多个实时数据仓库模型分别存储至对应的多个存储装置之中。
5.如权利要求2所述的方法,其特征在于,在所述将所述多个实时数据分别写入对应的多个实时数据流之中后,还包括:
确定与所述多个实时数据流分别对应的目标地址,所述目标地址与流处理平台中的服务器相对应;
根据所述流处理平台的数据传输协议,对所述多个实时数据流分别进行协议转换;以及
采用所述数据传输协议,将协议转换后的多个实时数据流同步至与所述目标地址对应的服务器。
6.根据权利要求5所述的方法,在所述确定与所述多个实时数据流分别对应的目标地址后,还包括:
对所述目标地址的连通性进行检验;
其中,所述将协议转换后的多个实时数据流同步至与所述目标地址对应的服务器,包括:
如果连通性检验通过,则将协议转换后的多个实时数据流同步至与所述目标地址对应的服务器。
7.一种实时数据服务的实现装置,其特征在于,所述装置包括:
接收模块,用于接收实时数据服务的服务请求,所述服务请求包括:实时数据标识和目标业务场景类别;
第一确定模块,用于从多个存储装置之中确定与所述目标业务场景类别对应的目标存储装置和目标数据仓库;以及
第一获取模块,用于采用与所述目标数据仓库对应的存储形式,从所述目标存储装置之中获取所述实时数据标识所属的实时数据;
其中,所述目标存储装置属于多个存储装置,所述多个存储装置分别具有对应的多个数据仓库,所述目标数据仓库属于所述多个数据仓库,所述多个数据仓库分别具有对应的多个业务场景类别,所述目标业务场景类别属于所述多个业务场景类别。
8.如权利要求7所述的装置,其特征在于,所述装置,还包括:
第二获取模块,用于从多个生产***数据源分别获取对应的多个实时数据库日志和/或多个实时数据库消息;
解析模块,用于解析所述多个实时数据库日志和/或多个实时数据库消息,以得到对应的多个实时数据和与其对应的实时数据标识;
第一写入模块,用于将所述多个实时数据分别写入对应的多个实时数据流之中;以及
第二写入模块,用于将所述多个实时数据流中的实时数据分别写入对应的多个存储装置之中,并采用所述实时数据标识标记已存储,且与其对应的实时数据。
9.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-6中任一所述的实时数据服务的实现方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的实时数据服务的实现方法。
CN202110270835.9A 2021-03-12 2021-03-12 实时数据服务的实现方法、装置及电子设备 Active CN113806416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270835.9A CN113806416B (zh) 2021-03-12 2021-03-12 实时数据服务的实现方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270835.9A CN113806416B (zh) 2021-03-12 2021-03-12 实时数据服务的实现方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113806416A true CN113806416A (zh) 2021-12-17
CN113806416B CN113806416B (zh) 2023-11-03

Family

ID=78892907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270835.9A Active CN113806416B (zh) 2021-03-12 2021-03-12 实时数据服务的实现方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113806416B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140095233A1 (en) * 2012-10-01 2014-04-03 Oracle International Corporation Efficiently modeling database scenarios for later use on life data
US20140310020A1 (en) * 2005-10-26 2014-10-16 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US20150120642A1 (en) * 2013-10-28 2015-04-30 Alex Gruener Realtime snapshot indices
US20170011087A1 (en) * 2015-07-06 2017-01-12 Oracle International Corporation Dynamically switching between data sources
US20170061501A1 (en) * 2015-09-01 2017-03-02 King.Com Limited Method and system for predicting data warehouse capacity using sample data
CN110851539A (zh) * 2019-10-25 2020-02-28 东软集团股份有限公司 元数据校验方法、装置、可读存储介质和电子设备
CN111538774A (zh) * 2020-04-23 2020-08-14 上海携程商务有限公司 数据存储及展示方法、***、设备及存储介质
CN111651510A (zh) * 2020-05-14 2020-09-11 拉扎斯网络科技(上海)有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
US20200293619A1 (en) * 2019-03-15 2020-09-17 ContactEngine Limited Omnichannel data communications system using artificial intelligence (ai) based machine learning and predictive analysis
CN111680108A (zh) * 2019-03-11 2020-09-18 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及一种数据获取方法、装置
US20200334267A1 (en) * 2019-04-18 2020-10-22 Oracle International Corporation System and method for automatic generation of extract, transform, load (etl) asserts
CN112000636A (zh) * 2020-08-31 2020-11-27 民生科技有限责任公司 基于Flink流式处理的用户行为统计分析方法
CN112232962A (zh) * 2020-11-19 2021-01-15 深圳前海微众银行股份有限公司 交易指标处理方法、装置和设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310020A1 (en) * 2005-10-26 2014-10-16 Cortica, Ltd. System and method for diagnosing a patient based on an analysis of multimedia content
US20140095233A1 (en) * 2012-10-01 2014-04-03 Oracle International Corporation Efficiently modeling database scenarios for later use on life data
US20150120642A1 (en) * 2013-10-28 2015-04-30 Alex Gruener Realtime snapshot indices
US20170011087A1 (en) * 2015-07-06 2017-01-12 Oracle International Corporation Dynamically switching between data sources
US20170061501A1 (en) * 2015-09-01 2017-03-02 King.Com Limited Method and system for predicting data warehouse capacity using sample data
CN111680108A (zh) * 2019-03-11 2020-09-18 杭州海康威视数字技术股份有限公司 一种数据存储方法、装置及一种数据获取方法、装置
US20200293619A1 (en) * 2019-03-15 2020-09-17 ContactEngine Limited Omnichannel data communications system using artificial intelligence (ai) based machine learning and predictive analysis
US20200334267A1 (en) * 2019-04-18 2020-10-22 Oracle International Corporation System and method for automatic generation of extract, transform, load (etl) asserts
CN110851539A (zh) * 2019-10-25 2020-02-28 东软集团股份有限公司 元数据校验方法、装置、可读存储介质和电子设备
CN111538774A (zh) * 2020-04-23 2020-08-14 上海携程商务有限公司 数据存储及展示方法、***、设备及存储介质
CN111651510A (zh) * 2020-05-14 2020-09-11 拉扎斯网络科技(上海)有限公司 数据处理方法、装置、电子设备和计算机可读存储介质
CN112000636A (zh) * 2020-08-31 2020-11-27 民生科技有限责任公司 基于Flink流式处理的用户行为统计分析方法
CN112232962A (zh) * 2020-11-19 2021-01-15 深圳前海微众银行股份有限公司 交易指标处理方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘敏;马小宁;戚小玉;刘彦军;武威;: "铁路数据服务平台综合管理驾驶舱的设计与实现", 铁路计算机应用, no. 01 *

Also Published As

Publication number Publication date
CN113806416B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
CN108563768B (zh) 不同数据模型的数据转换方法、装置、设备及存储介质
CN111709527A (zh) 运维知识图谱库的建立方法、装置、设备及存储介质
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN103095821B (zh) 一种基于虚拟机迁移识别的持续审计***
CN110543506A (zh) 数据分析方法、装置、电子设备及存储介质
CN110958127B (zh) 一种异常处理方法、装置、设备和计算机存储介质
CN111061740A (zh) 一种数据同步方法、设备和存储介质
CN112860706A (zh) 一种业务的处理方法、装置、设备及存储介质
CN110647318A (zh) 一种有状态应用的实例创建方法、装置、设备及介质
CN112769802A (zh) 基于服务端的访问校验方法、装置、电子设备及存储介质
CN113760891A (zh) 一种数据表的生成方法、装置、设备和存储介质
CN110688827A (zh) 数据处理方法、装置、电子设备及存储介质
CN116069838A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN117033309A (zh) 一种数据转换方法、装置、电子设备及可读存储介质
CN113806416B (zh) 实时数据服务的实现方法、装置及电子设备
CN110737662A (zh) 一种数据分析方法、装置、服务器及计算机存储介质
CN111966993B (zh) 设备标识码识别、生成算法测试方法、装置、设备及介质
CN114722004A (zh) 消息检索方法、装置、电子设备及存储介质
CN112131611B (zh) 数据正确性验证方法、装置、设备、***及存储介质
CN113806556A (zh) 基于电网数据的知识图谱的构建方法、装置、设备及介质
CN112632211A (zh) 用于移动机器人的语义信息处理方法与设备
CN112818204A (zh) 一种业务的处理方法、装置、设备及存储介质
CN111741046A (zh) 数据上报方法、获取方法、装置、设备及介质
US20130326006A1 (en) Managing large data sets through page based information tracking in multi-master environments
CN117216011B (zh) 文件传输方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant