CN109067690A - 离线计算结果数据的推送方法及装置 - Google Patents

离线计算结果数据的推送方法及装置 Download PDF

Info

Publication number
CN109067690A
CN109067690A CN201810890377.7A CN201810890377A CN109067690A CN 109067690 A CN109067690 A CN 109067690A CN 201810890377 A CN201810890377 A CN 201810890377A CN 109067690 A CN109067690 A CN 109067690A
Authority
CN
China
Prior art keywords
target
calculation result
result data
equipment
subscription
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810890377.7A
Other languages
English (en)
Other versions
CN109067690B (zh
Inventor
万志颖
曾凡
阮华
何瑞
史晓茸
李家昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810890377.7A priority Critical patent/CN109067690B/zh
Publication of CN109067690A publication Critical patent/CN109067690A/zh
Application granted granted Critical
Publication of CN109067690B publication Critical patent/CN109067690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L27/00Modulated-carrier systems
    • H04L27/26Systems using multi-frequency codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种离线计算结果数据的推送方法及装置,属于大数据处理领域。所述方法应用于大数据平台,所述方法包括:对获取到的大数据进行离线计算,得到目标计算结果数据;根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备;按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备,其中,所述目标推送方式用于指示推送所述目标计算结果数据时所基于的协议类型,以及所述目标计算结果数据的文件类型。本申请提供的方法实现了对计算结果数据的自动推送,计算结果数据的推送效率和推送灵活性较高。

Description

离线计算结果数据的推送方法及装置
技术领域
本申请涉及大数据处理领域,特别涉及一种离线计算数据的推送方法及装置。
背景技术
离线计算是指大数据平台对提前获取到的海量数据进行分析和计算,得到计算结果数据的过程。大数据平台可以将该计算结果数据推送至用户设备(例如企业服务器),以便用户可以基于该计算结果更快、更优地配置资源。
相关技术中,用户设备可以在该大数据平台中注册用户账号,并可以在该大数据平台中查询并请求获取其所需的计算结果数据。大数据平台可以在接收到用户设备发送的请求后,向该用户设备推送对应的计算结果数据。
相关技术中的方法,大数据平台需要在接收到用户设备的请求后再推送计算结果数据,该数据推送方法的效率较低。
发明内容
本申请实施例提供了一种离线计算结果数据的推送方法及装置,可以解决相关技术中的数据推送方法的效率较低的问题。技术方案如下:
一方面,提供了一种离线计算结果数据的推送方法,应用于大数据平台,所述方法包括:
对获取到的大数据进行离线计算,得到目标计算结果数据;
根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备;
按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备;
其中,所述目标推送方式用于指示推送所述目标计算结果数据时所基于的协议类型,以及所述目标计算结果数据的文件类型。
另一方面,提供了一种离线计算结果数据的推送装置,应用于大数据平台,所述装置包括:
计算模块,用于对获取到的大数据进行离线计算,得到目标计算结果数据;
确定模块,用于根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备;
推送模块,用于按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备;
其中,所述目标推送方式用于指示推送所述目标计算结果数据时所基于的协议类型,以及所述目标计算结果数据的文件类型。
又一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面提供的离线计算结果数据的推送方法。
再一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面提供的离线计算结果数据的推送方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
本申请实施例提供了一种离线计算结果数据的推送方法及装置,该方案可以在计算得到目标计算结果数据后,确定订阅该目标计算结果数据的目标订阅设备,并可以按照该目标订阅设备配置的目标推送方式,将该目标计算结果数据发送至该目标订阅设备,由此实现了计算结果数据的自动推送,订阅设备无需在大数据平台中查询并请求计算结果数据,有效提高了计算结果数据的推送效率和推送灵活性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种离线计算结果数据的推送方法所涉及的实施环境的示意图;
图2是本申请实施例提供的一种离线计算结果数据的推送方法的流程图;
图3是本申请实施例提供的另一种离线计算结果数据的推送方法的流程图;
图4是本申请实施例提供的一种订阅界面的示意图;
图5是本申请实施例提供的另一种订阅界面的示意图;
图6是本申请实施例提供的一种离线计算结果数据的推送方法的原理框图;
图7是本申请实施例提供的一种推送信息的显示界面的示意图;
图8是本申请实施例提供的另一种推送信息的显示界面的示意图;
图9是本申请实施例提供的一种离线计算结果数据的推送装置的结构示意图;
图10是本申请实施例提供的另一种离线计算结果数据的推送装置的结构示意图;
图11是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种离线计算结果数据的推送方法所涉及的实施环境的示意图。参考图1,该实施环境可以包括大数据平台01以及多个订阅设备02。该大数据平台01可以为包括多个服务器011的分布式处理平台,该大数据平台01可以对大数据进行分布式处理。该大数据平台01中的每个服务器011可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心。每个订阅设备02也可以称为用户设备,该订阅设备02可以为个人计算机、便携式计算设备或者服务器等。当该订阅设备02为服务器时,该订阅设备02可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心。
在本申请实施例中,该大数据平台01可以按照指定的周期对提前获取到的大数据进行分析和离线计算,得到计算结果数据。例如,可以对用户点击某个推送的广告的次数进行统计,得到该广告的点击率。每个订阅设备02与该大数据平台01均建立有通信连接,可以订阅该大数据平台02中的计算结果数据。该大数据平台01可以根据订阅设备02的订阅,将计算得到的计算结果数据自动推送至对应的订阅设备。
在本申请实施例中,大数据可以是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,大数据具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。示例的,大数据可以包括用户行为数据,例如用户对某个广告的点击次数或对某个新闻的浏览次数等。
离线计算是一种周期性地针对提前获取到的大数据进行计算,得到计算结果数据的计算方式,即离线计算的计算对象在计算之前已经完全到位,不会发生变化。
本申请实施例提供了一种离线计算结果数据的推送方法,该方法可以应用于图1所示的大数据平台01中。如图2所示,该方法可以包括:
步骤101、对获取到的大数据进行离线计算,得到目标计算结果数据。
大数据平台01中可以存储有提前获取到的大数据,该大数据平台01可以按照预先配置的计算任务,对该获取到的大数据进行离线计算,得到目标计算结果数据。其中,该计算任务可以是订阅设备配置的。
步骤102、根据计算结果数据与订阅设备的对应关系,确定与该目标计算结果数据对应的目标订阅设备。
在本申请实施例中,大数据平台01可以根据订阅设备的订阅操作,建立并存储计算结果数据与订阅设备的对应关系,即该对应关系中记录的每个计算结果数据所对应的订阅设备即为订阅该计算结果数据的设备。因此,当该大数据平台01计算得到目标计算结果数据后,可以查询该对应关系从而确定与目标计算结果数据对应的目标订阅设备。
步骤103、按照目标订阅设备为该目标计算结果数据配置的目标推送方式,将该目标计算结果数据推送至该目标订阅设备。
该大数据平台01可以按照目标订阅设备为该目标计算结果数据配置的目标推送方式,将目标计算结果数据推送至订阅该目标计算结果数据的目标订阅设备,由此实现了计算结果数据的自动推送,以便于目标订阅设备使用该目标计算结果数据,或者对该目标计算结果数据进行进一步处理,有效提高了计算结果数据在不同设备间流转和复用的效率。
其中,目标订阅设备为目标计算结果数据配置的目标推送方式可以用于指示推送该目标计算结果数据时所基于的协议类型,以及该目标计算结果数据的文件类型。大数据平台按照目标订阅设备配置的目标推送方式推送目标计算结果数据,可以进一步提高数据推送时的灵活性。
综上所述,本申请实施例提供了一种离线计算结果数据的推送方法,该方法可以在计算得到目标计算结果数据后,确定订阅该目标计算结果数据的目标订阅设备,并可以按照目标订阅设备配置的目标推送方式,将该目标计算结果数据发送至该目标订阅设备,由此实现了计算结果数据的自动推送,订阅设备无需在大数据平台中查询并请求计算结果数据,有效提高了计算结果数据的推送效率和推送灵活性。
图3是本申请实施例提供的另一种离线计算结果数据的推送方法的流程图,该方法可以应用于图1所示的大数据平台01中。如图3所示,该方法可以包括:
步骤201、获取指定订阅设备的订阅信息。
该订阅信息至少可以包括该指定订阅设备的标识,该指定订阅设备所订阅的指定计算结果数据的标识,以及该指定计算结果数据的推送方式。其中,指定订阅设备的标识可以为能够唯一标识该指定订阅设备的字符串,例如可以为该指定订阅设备的互联网协议(Internet Protocol,IP)地址或媒体访问控制(Media Access Control,MAC)地址等。该指定计算结果数据的标识可以为大数据平台01为该指定计算结果数据分配的能够唯一标识该计算结果数据的字符串。
该指定计算结果数据的推送方式可以用于指示推送该指定计算结果数据时所基于的协议类型,以及该指定计算结果数据的文件类型。其中,大数据平台推送计算结果数据时所基于的协议一般可以包括:文件传输协议(File Transfer Protocol,FTP)、基于关系型数据库(例如MYSQL数据库)的协议以及基于分布式文件***(Hadoop Distributed FileSystem,HDFS)的协议等。其中,FTP协议和基于HDFS的协议所对应的文件类型可以为订阅设备所指定的类型,例如可以为订阅设备中配置的私有文件类型。该基于关系型数据库的协议所对应的文件类型一般为表格。
在本申请实施例一种可选的实现方式中,大数据平台01获取订阅信息的方法可以包括:
步骤2011a、接收指定订阅设备发送的用于计算指定计算结果数据的计算任务的配置信息。
该计算任务可以为包括多个子任务的任务集合(也可以称为工作流)。该配置信息可以包括该计算任务的计算对象(即数据的类型)以及各子任务之间的依赖关系。在本申请实施例中,大数据平台01可以向指定订阅设备推送任务配置界面,用户可以在该任务配置界面中配置用于计算指定计算结果数据的计算任务。指定订阅设备可以根据用户的配置操作,生成该计算任务的配置信息,并向大数据平台01发送该配置信息。
步骤2012a、在根据该配置信息配置完成该计算任务后,向该指定订阅设备推送该指定计算结果数据的订阅界面。
大数据平台01获取到该配置信息后,可以根据该配置信息配置计算任务。例如,大数据平台01可以根据该配置信息中的依赖关系,将各个子任务依次分配至各个服务器。进一步的,大数据平台01可以在完成对该计算任务的配置后,向该指定订阅设备推送该指定计算结果数据的订阅界面,该订阅界面可以为网页(Web)界面。
步骤2013a、接收指定订阅设备发送的订阅信息。
该订阅界面中可以显示有输入框和订阅选项,用户可以通过在该订阅界面中执行输入操作或选择操作来输入信息。指定订阅设备可以根据从该订阅界面获取到的信息生成该订阅信息,并发送至大数据平台。该指定订阅设备发送的订阅信息至少包括该指定订阅设备的标识以及该指定计算结果数据的标识。该指定订阅设备的标识可以为该指定订阅设备的IP地址,或者IP地址和端口号。该指定计算结果数据的标识可以为大数据平台发送的,且该指定计算结果数据的标识可以与大数据平台为用于计算该指定计算结果数据的计算任务分配的标识相同。
可选的,该订阅信息还可以包括:该计算结果数据的存储位置和文件名中的至少一种。其中,存储位置是指该指定计算结果数据在指定订阅设备中的存储位置,该存储位置可以为存储目录或者存储的数据库的库名等。文件名是指该指定计算结果数据的文件名。
在本申请实施例另一种可选的实现方式中,大数据平台01获取订阅信息的方法可以包括:
步骤2011b、在检测到指定订阅设备触发的针对指定计算结果数据的订阅请求后,向该指定订阅设备推送该指定计算结果数据的订阅界面。
大数据平台可以向指定订阅设备推送其操作界面,以供指定订阅设备显示,该操作界面可以为Web界面。指定订阅设备检测到用户在该Web界面中执行的针对该指定计算结果数据的订阅操作后,可以向大数据平台发送针对该指定计算结果数据的订阅请求。大数据平台接收到该订阅请求后,可以向该指定订阅设备推送该指定计算结果数据的订阅界面。其中,该订阅操作可以为点击操作或者语音操作等,本申请实施例对此不做限定。
示例的,该操作界面中可以显示可订阅的计算结果数据的订阅图标或订阅按钮,指定订阅设备可以在检测到针对任一计算结果数据的订阅图标或订阅按钮的订阅操作时,触发针对该任一计算结果数据的订阅请求。
步骤2012b、接收指定订阅设备发送的订阅信息。
该接收订阅信息的过程可以参考上述步骤2013a,此处不再赘述。
图4是本申请实施例提供的一种订阅界面的示意图。如图4所示,该订阅界面中显示有多个输入框和订阅选项。用户可以在该“输出结果方式”输入框中输入指定计算结果数据的推送方式:FTP(即推送指定计算结果数据时所基于的协议类型为FTP协议);在“管理FTP地址”输入框中输入指定订阅设备的IP地址:113.xxx.xxx.10;在“FTP目录”输入框中输入指定计算结果数据的存储目录(即存储位置):/d1/aa/bb/cc。用户还可以在该“FTP作业名”输入框中输入指定计算结果数据的文件名:点赞数。
可选的,当该订阅界面是大数据平台在完成计算任务的配置后发送的时,该订阅界面中还可以显示有订阅提示信息“当前步骤是否为最终步骤?”,该订阅提示信息可以用于提示用户确认该计算任务是否已配置完成。参考图4,该订阅界面还可以显示有自动添加文件名序号的选项、哈希(Hash)拆分的选项以及FTP出库校验的选项中的至少一种。相应的,大数据平台获取到的订阅信息还可以包括上述选项的选择结果信息,大数据平台可以根据该选择结果信息,对计算得到的指定计算结果数据执行对应的操作。
例如,当用户选择自动添加文件名序号时(即点击自动添加文件名序号选项中的“是”按钮时),大数据平台可以根据该选项的选择结果信息,自动在该指定计算结果数据的文件名中添加序号。当用户选择不自动添加文件名序号时(即点击“否”按钮时),大数据平台可以根据该选项的选择结果信息,直接按照用户输入的文件名为指定计算结果数据命名。例如,假设大数据平台按照指定周期执行该计算任务,并推送该计算任务的指定计算结果数据,则该大数据平台可以在首次计算得到的指定计算结果数据的文件名“点赞数”中添加序号1,该添加有序号的文件名为“点赞数1”。之后,当该大数据平台再次执行该计算任务,并计算得到指定计算结果数据后,可以在该指定计算结果数据的文件名“点赞数”中添加序号2,该添加有序号的文件名为“点赞数2”。
当用户选择哈希拆分时(即点击哈希拆分选项中的“是”按钮时),大数据平台可以在计算得到指定计算结果数据后,根据该选项的选择结果信息,采用哈希切分法,将该指定计算结果数据的文件拆分为多个子文件。当用户选择不执行哈希拆分时(即点击“否”按钮时),大数据平台则无需执行该文件拆分的操作。
当用户选择FTP出库校验时(即点击出库校验选项中的“是”按钮时),大数据平台可以在计算得到指定计算结果数据后,根据该选项的选择结果信息,对该指定计算结果数据进行校验,并可以对订阅该指定计算结果数据的订阅设备的合法性进行校验(例如对该订阅设备的登录的账号进行校验)。当用户选择不执行FTP出库校验时(即点击“否”按钮时),大数据平台则根据该选项的选择结果信息,可以确定无需执行该校验操作。
图5是本申请实施例提供的另一种订阅界面的示意图,该图5所示为推送方式为基于MYSQL推送时的订阅界面。当该指定计算结果数据的推送方式为基于MYSQL推送(即推送指定计算结果数据时所基于的协议类型为基于MYSQL的协议)时,大数据平台可以将指定计算结果数据以表格的形式推送至指定订阅设备。参考图5,用户可以在“数据库选择”输入框中输入指定订阅设备的IP地址:113.xxx.xxx.10,并且还可以在该输入框中输入数据库的库名,该库名可以用于指示该指定计算结果数据在指定订阅设备中的存储位置。用户还可以在“表名”输入框中输入指定计算结果数据的文件名:点赞数。
可选的,参考图5,该订阅界面中还可以显示有字段配置输入框,用户可以在该字段配置输入框中输入指定计算结果数据的表格中,各字段的字段名,字段类型以及字段备注等信息。例如图5中,用户配置了字段名为D_k、m1_k和m2_k等的多个字段,其中字段名为D_k的字段的字段类型为日期(date),字段名为m1_k的字段的字段类型为无符号整数(unsigned int)。可选的,对于整数类型的字段,用户还可以配置其最大显示宽度,例如可以配置字段类型为int(10),表明该字段类型为整数,且最大显示宽度为10。
可选的,当该计算结果数据的推送方式为基于MYSQL推送时,订阅界面中还可以显示有用于提示单次输出行数上限的提示信息。例如图5中的提示信息为“提示:单次最多输出100万行数据”。根据该提示信息可知,大数据平台推送的指定计算结果数据的表格中的行数上限为100万行。可选的,该订阅界面中还可以显示有开启独表导出模式的选项,当用户选择开启该独表导出模式(即点击该勾选框)时,大数据平台可以在指定计算结果数据的行数超过100万行时,对该指定计算结果数据的表格进行拆分后再导出。因此当开启该独表导出模式后,指定计算结果数据的输出行数将不受限制。
需要说明的是,在本发明实施例中,指定订阅设备在配置计算任务或订阅计算结果数据之前,还需在大数据平台中登录其用户账号。每个订阅设备的用户账号可以是其首次登录时注册的。大数据平台可以对各个订阅设备的用户账号进行统一管理和维护,以便订阅设备需再次订阅计算结果数据或者配置计算任务时,可以直接登录已注册的用户账号,而无需重新再注册账号。
步骤202、将该指定订阅设备的标识和该指定计算结果数据的标识,记录在计算结果数据和订阅设备的对应关系中。
大数据平台可以从订阅信息中获取该指定订阅设备的标识,以及指定计算结果数据的标识,并将该获取到的标识记录在计算结果数据和订阅设备的对应关系中。
图6是本申请实施例提供的一种离线计算结果数据的推送方法的原理框图。如图6所示,该大数据平台01可以包括存储模块011a,存储模块011a可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心。该存储模块011a可以存储大数据和计算结果数据。该存储模块011a还可以存储每个订阅设备的订阅信息,以及计算结果数据与订阅设备的对应关系,该对应关系中可以记录有计算结果数据的标识,以及订阅该计算结果数据的订阅设备的标识。
示例的,该存储模块011a中存储的对应关系可以如表1所示,参考表1可以看出,标识为A1的计算结果数据的订阅设备为订阅设备B1,标识为A2的计算结果数据的订阅设备包括订阅设备B1和B2。参考表1可以看出,每个计算结果数据可以被多个订阅设备订阅,并且每个订阅设备可以订阅多个计算结果数据。
表1
计算结果数据的标识 订阅设备的标识
A1 B1
A2 B1,B2
步骤203、对获取到的大数据进行离线计算,得到目标计算结果数据。
在本申请实施例中,订阅设备在大数据平台中配置计算任务时,还可以设置该计算任务的执行周期(例如每隔一天执行一次或者每隔一周计算一次等),即计算任务的配置信息中还可以包括该执行周期。大数据平台可以按照每个计算任务的执行周期,周期性的执行该计算任务。在执行某个计算任务时,大数据平台可以根据该计算任务配置的计算对象(即大数据的类型)和各子任务之间的依赖关系,获取对应类型的大数据,并按照该依赖关系对获取到的大数据进行离线计算,得到目标计算结果数据。
示例的,该计算结果数据可以为点击率、点赞数和点击通过率CTR(Click-Through-Rate,CTR)等数据。
步骤204、根据计算结果数据与订阅设备的对应关系,确定与该目标计算结果数据对应的目标订阅设备。
大数据平台可以在计算得到目标计算结果数据后,从该计算结果数据与订阅设备的对应关系中,确定订阅该目标计算结果数据的目标订阅设备。若该对应关系中记录了计算结果数据的标识与订阅设备的标识的对应关系,则大数据平台可以根据该对应关系,确定与该目标计算结果数据的标识对应的目标标识,并将该目标标识所指示的订阅设备确定为目标订阅设备。
示例的,假设大数据平台当前获取到的目标计算结果数据的标识为A1,则根据表1所示的对应关系可知,订阅该目标计算结果数据A1的目标订阅设备为订阅设备B1。
可选的,如图6所示,该大数据平台01中还可以包括数据推送模块011,该数据推送模块011b可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心。该数据推送模块011b可以用于对计算结果数据的推送任务进行管理和调度,因此也可以称为主(Master)服务器。
在本申请实施例中,存储模块011a可以基于每个计算结果数据与每个订阅设备的对应关系生成一个推送任务,并将该推送任务发送至数据推送模块011b。该数据推送模块011b中的状态机可以监控每个推送任务中的计算结果数据的状态。当该状态机检测到任一推送任务的计算结果数据计算完成后,可以将该推送任务的状态变化信息发送至事件管理子模块。该事件管理子模块进而可以将该推送任务提交至任务调度子模块的任务执行队列中。
步骤205、获取多个推送节点中每个推送节点的空闲资源量。
如图6所示,该大数据平台01中可以包括多个推送节点011c,其中每个推送节点011c可以是一台服务器,该多个推送节点011c即组成了一个推送集群,能够实现计算结果数据的分布式推送,因此可以支持推送任务的并行触发。相比于相关技术中采用for循环,逐个触发执行推送任务,本申请提供的方法能够有效提高推送效率。并且,该推送集群中的推送节点的数量可以根据需求灵活扩展,能够避免单机推送时的性能瓶颈。
在本发明实施例中,为了均衡利用各个推送节点的资源,该大数据平台01在推送目标计算结果数据之前,还可以先获取每个推送节点的空闲资源量,以确定每个推送节点当前的空闲资源量。其中,该空闲资源量可以包括中央处理器(Central Processing Unit,CPU)的空闲资源量和磁盘的空闲资源量中的至少一种。
示例的,参考图6,该数据推送模块011b中还包括资源管理子模块,该资源管理子模块可以用于获取每个推送节点的空闲资源量。
步骤206、根据该多个推送节点的空闲资源量确定目标推送节点。
大数据平台可以根据获取到的各个推送节点的空闲资源量,确定目标推送节点,以使得各个推送节点的空闲资源量保持均衡。可选的,大数据平台可以选取空闲资源量最多的推送节点作为目标推送节点。若空闲资源量最多的推送节点包括多个,则大数据平台可以随机选择一个作为目标推送节点。或者,大数据平台还可以根据各个推送节点的空闲资源量,确定每个推送节点的选择概率,该选择概率的大小与空闲资源量的高低正相关。之后,该大数据平台可以根据该选择概率以及其他关联因素(例如每个推送节点待推送的计算结果数据的个数),确定目标推送节点。
示例的,参考图6,任务调度子模块可以根据资源管理子模块获取到的每个推送节点的空闲资源量,确定目标推送节点。假设多个推送节点中,第一个推送节点的空闲资源量最多,则任务调度子模块可以将该第一个推送节点确定为目标推送节点,并可以将该目标计算结果数据对应的推送任务分配至该第一个推送节点。
步骤207、通过该目标推送节点按照目标订阅设备为该目标计算结果数据配置的目标推送方式,将该目标计算结果数据推送至该目标订阅设备。
在本申请实施例中,目标推送节点可以从存储模块011a中读取目标计算结果数据,并可以从该存储模块011a中读取目标订阅设备的订阅信息,根据该订阅信息确定该目标计算结果数据的目标推送方式。之后,目标推送节点即可按照该目标推送方式,将读取到的目标计算结果数据推送至目标订阅设备。例如,该目标推送节点可以根据该目标推送方式指示的文件类型对目标计算结果数据进行封装,然后可以基于该目标推送方式指示的协议类型,将封装后的目标计算结果数据推送至目标订阅设备。
如前文所述,由于大数据平台是按照计算任务的执行周期,周期性的执行计算任务并计算得到计算结果数据的,因此该大数据平台即可按照该执行周期,周期性的向订阅设备自动推送计算结果数据。由此实现了计算结果数据的自动推送,以便于目标订阅设备使用该计算结果数据,或者对该计算结果数据进行进一步处理,有效提高了该计算结果数据在不同设备间流转和复用的效率。
示例的,参考图6,假设目标推送节点为第一个推送节点,则该第一个推送节点可以从存储模块011a中读取该目标计算结果数据A1,并将该目标计算结果数据A1推送至目标订阅设备B1的存储容器中,该存储容器可以为FTP或者MYSQL。若该目标推送方式指示的协议类型为FTP协议,文件类型为目标订阅设备指定的文件类型,则该第一个推送节点可以按照该指定的文件类型对目标计算结果数据进行封装,并基于FTP协议,将该封装后的目标计算结果数据推送至该目标订阅设备的FTP。若该目标推送方式指示的协议类型为基于MYSQL的协议,且该文件类型为表格,则该第一个推送节点可以基于该MYSQL的协议,将该目标计算结果数据以表格的形式推送至该目标订阅设备的MYSQL。
若该目标订阅设备的订阅信息中还包括目标计算结果数据的目标存储位置,则目标推送节点可以根据该订阅信息确定该目标计算结果数据的目标存储位置,并将该目标计算结果数据推送至目标订阅设备中的该目标存储位置中。例如,目标推送节点可以将目标计算结果数据A1推送至目标订阅设备B1的存储目录:/d1/aa/bb/cc中。若该目标订阅设备的订阅信息中还包括目标计算结果数据的目标文件名,则大数据平台可以按照该文件名为计算得到的目标计算结果数据命名,并将命名后的目标计算结果数据推送至目标订阅设备。例如,可以将该目标计算结果数据命名为“点赞数”,并将该文件名为“点赞数”的目标计算结果数据推送至目标订阅设备。
可选的,当该大数据平台中包括该目标计算结果数据在内的待推送的计算结果数据所占用的资源大于该大数据平台的空闲资源量时,该大数据平台可以按照各个待推送的计算结果数据的计算完成时间,依次将每个待推送的计算结果数据推送至对应的订阅设备。该推送模式也可以称为异步推送模式,该异步推送模式可以控制推送任务并发,防止大数据平台过载,增强该大数据平台的稳定性。
步骤208、向目标订阅设备发送该目标计算结果数据的推送信息。
在本申请实施例中,大数据平台可以在推送目标计算结果数据的过程中,同步向该目标订阅设备发送推送信息,以供该目标订阅设备显示。该推送信息可以包括:推送状态和推送进度中的至少一种,该推送状态可以包括:推送中、推送成功或推送失败。目标订阅设备通过显示该推送信息,可以便于用户实时了解推送状况,改善了用户体验。
可选的,该推送信息还可以包括:该目标订阅设备的相关信息,以及与该目标计算结果数据相关的信息。其中,该目标订阅设备的相关信息可以包括该目标订阅设备的IP地址和端口号;该目标计算结果数据相关的信息可以包括:目标计算结果数据的大小、行数、文件名、文件类型、推送开始时间和推送结束时间等信息。
示例的,图7是本申请实施例提供的一种推送信息的显示界面的示意图。参考图7,该显示界面中显示的推送信息包括:推送状态:成功;推送进度:100%。该推送信息还包括:FTP服务器的IP地址:113.xxx.xxx.10,端口号20000,目标计算结果数据所存储的FTP目录:/d1/aa/bb/cc,结果行数:200470918,结果大小:4.96GB(5329200291字节),FTP文件名:点赞数,出库文件类型:单文件(即未被拆分的文件),推送开始时间:2018-03-02 12:21:06,以及推送结束时间:2018-03-02 12:35:04。
可选的,当该推送结果信息包括推送状态,且该推送状态为推送失败时,该推送信息还可以包括:错误信息和重新推送提示信息,该错误信息可以用于指示推送失败的原因,该推送失败的原因可以包括网络状况不良和登录账户错误等。该重新推送提示信息可以为图标或者按钮。相应的,该方法还可以包括:
步骤209、当接收到该目标订阅设备根据重新推送提示信息触发的重新推送请求时,重新向该目标订阅设备推送该目标计算结果数据。
该重新推送请求可以是目标订阅设备在检测到用户针对该重新推送提示信息执行的指定操作后触发的。该指定操作可以为点击操作、滑动操作或语音操作等。该重新推送的过程可以参考上述步骤207,此处不再赘述。
示例的,如图8所示,该显示界面中显示的推送信息包括:推送状态:失败,以及错误信息:登录账户错误。并且该显示界面中还显示有重新推送图标,该重新推送图标中显示有提示信息“重新出库”。当目标订阅设备的用户需要重新获取目标计算结果数据时,可以点击该“重新出库”图标,目标订阅设备可以在检测到该点击操作后,向大数据平台发送重新推送请求。大数据平台可以根据接收到的重新推送请求,重新向目标订阅设备推送目标计算结果数据。
综上所述,本申请实施例提供了一种离线计算结果数据的推送方法,该方法可以在计算得到目标计算结果数据后,确定订阅该目标计算结果数据的目标订阅设备,并可以将该目标计算结果数据发送至该目标订阅设备,由此实现了计算结果数据的自动推送,订阅设备无需在大数据平台中查询并请求计算结果数据,有效提高了计算结果数据的推送效率。并且,由于大数据平台可以按照目标订阅设备配置的目标推送方式对目标计算结果数据进行推送,因此可以提高推送计算结果数据时的灵活性。
图9是本申请实施例提供的一种离线计算结果数据的推送装置的结构示意图,该推送装置可以应用于图1所示的大数据平台01中。参考图9,该推送装置可以包括:
计算模块301,用于对获取到的大数据进行离线计算,得到目标计算结果数据。
确定模块302,用于根据计算结果数据与订阅设备的对应关系,确定与该目标计算结果数据对应的目标订阅设备。
推送模块303,用于按照目标订阅设备为该目标计算结果数据配置的目标推送方式,将该目标计算结果数据推送至该目标订阅设备。
其中,该目标推送方式用于指示推送该目标计算结果数据时所基于的协议类型,以及该目标计算结果数据的文件类型。
图10是本申请实施例提供的另一种离线计算结果数据的推送装置的结构示意图,如图10所示,该装置还可以包括:
获取模块304,用于获取指定订阅设备的订阅信息,该订阅信息包括:该指定订阅设备的标识,该指定订阅设备所订阅的指定计算结果数据的标识,以及该指定计算结果数据的推送方式。
记录模块305,用于将该指定订阅设备的标识和该指定计算结果数据的标识记录在该对应关系中。
该确定模块302可以用于:根据该对应关系,确定与该目标计算结果数据的标识对应的目标标识,并将该目标标识指示的订阅设备确定为目标订阅设备。
该推送模块303,可以用于:根据该目标订阅设备的订阅信息,确定该目标订阅设备为该目标计算结果数据配置的目标推送方式,并按照该目标推送方式将该目标计算结果数据推送至该目标订阅设备。
作为一种可选的实现方式,该获取模块304可以用于:
接收该指定订阅设备发送的用于计算该指定计算结果数据的计算任务的配置信息;
在根据该配置信息配置完成该计算任务后,向该指定订阅设备推送该指定计算结果数据的订阅界面;
接收该指定订阅设备发送的订阅信息,该订阅信息是该指定订阅设备根据从该订阅界面获取到的信息生成的。
作为另一种可选的实现方式,该获取模块304可以用于:
在检测到该指定订阅设备触发的针对该指定计算结果数据的订阅请求后,向该指定订阅设备推送该指定计算结果数据的订阅界面;
接收该指定订阅设备发送的订阅信息,该订阅信息是该指定订阅设备根据从该订阅界面获取到的信息生成的。
可选的,该推送模块303可以用于:
获取多个推送节点中每个推送节点的空闲资源量;
根据该多个推送节点的空闲资源量确定目标推送节点;
通过该目标推送节点将该目标计算结果数据推送至该目标订阅设备。
可选的,该推送模块303可以用于:
当大数据平台中包括该目标计算结果数据在内的待推送的计算结果数据所占用的资源大于该大数据平台的空闲资源量时,按照各个待推送的计算结果数据的计算完成时间,依次将每个待推送的计算结果数据推送至对应的订阅设备。
可选的,该推送模块303还可以用于:
在将该目标计算结果数据推送至该目标订阅设备之后,向该目标订阅设备发送该目标计算结果数据的推送信息,该推送信息包括:推送状态和推送进度中的至少一种,该推送状态包括:推送中、推送成功或推送失败。
可选的,当该推送结果信息包括推送状态,且该推送状态为推送失败时,该推送信息还可以包括:错误信息和重新推送提示信息,该错误信息用于指示推送失败的原因;
相应的,该推送模块303还可以用于:当接收到该目标订阅设备根据该重新推送提示信息触发的重新推送请求时,重新向该目标订阅设备推送该目标计算结果数据。
可选的,该推送模块303可以用于:
根据该目标推送方式指示的文件类型对该目标计算结果数据进行封装;
基于该目标推送方式指示的协议类型,将封装后的目标计算结果数据推送至该目标订阅设备。
可选的,该订阅信息还包括:该指定计算结果数据的存储位置;该推送模块303可以用于:根据该目标订阅设备的订阅信息,确定该目标计算结果数据的目标存储位置;
将该目标计算结果数据推送至该目标订阅设备的该目标存储位置。
可选的,该订阅信息还包括:该指定计算结果数据的文件名;该推送模块303可以用于:
根据该目标订阅设备的订阅信息,确定该目标计算结果数据的目标文件名;
采用该目标文件名为该目标计算结果数据命名,并将命名后的该目标计算结果数据推送至该目标订阅设备。
综上所述,本申请实施例提供了一种离线计算结果数据的推送装置,该装置可以在计算得到目标计算结果数据后,确定订阅该目标计算结果数据的目标订阅设备,并可以按照该目标订阅设备配置的目标推送方式,将该目标计算结果数据发送至该目标订阅设备,由此实现了计算结果数据的自动推送,订阅设备无需在大数据平台中查询并请求计算结果数据,有效提高了计算结果数据的推送效率和推送灵活性。
本申请实施例提供的离线计算结果数据的推送装置与上述方法实施例属于同一构思,其具体实现过程详见上述方法实施例,这里不再赘述。
图11示出了本申请一个示例性实施例提供的计算机设备1100的结构框图。该计算机设备1100可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心。参考图11,该计算机设备1100可以包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质用于存储至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、至少一段程序、代码集或指令集用于被处理器1101所执行以实现本申请中方法实施例提供的离线计算结果数据的推送方法。
在一些实施例中,计算机设备1100还可选包括有:***设备接口1103和至少一个***设备。处理器1101、存储器1102和***设备接口1103之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1103相连。具体地,***设备包括:射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。
***设备接口1103可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1101和存储器1102。在一些实施例中,处理器1101、存储器1102和***设备接口1103被集成在同一芯片或电路板上;在一些其他实施例中,处理器1101、存储器1102和***设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1104包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1104还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1105用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时,显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时,显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1105可以为一个,设置计算机设备1100的前面板;在另一些实施例中,显示屏1105可以为至少两个,分别设置在计算机设备1100的不同表面或呈折叠设计;在再一些实施例中,显示屏1105可以是柔性显示屏,设置在计算机设备1100的弯曲表面上或折叠面上。甚至,显示屏1105还可以设置成非矩形的不规则图形,也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于采集图像或视频。可选地,摄像头组件1106包括前置摄像头和后置摄像头。通常,前置摄像头设置在计算机设备的前面板,后置摄像头设置在计算机设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1101进行处理,或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1107还可以包括耳机插孔。
定位组件1108用于定位计算机设备1100的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件1108可以是基于美国的GPS(Global Positioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1109用于为计算机设备1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图11中示出的结构并不构成对计算机设备1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集由处理器加载并执行以实现如上述方法实施例提供的离线计算结果数据的推送方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种离线计算结果数据的推送方法,其特征在于,应用于大数据平台,所述方法包括:
对获取到的大数据进行离线计算,得到目标计算结果数据;
根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备;
按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备;
其中,所述目标推送方式用于指示推送所述目标计算结果数据时所基于的协议类型,以及所述目标计算结果数据的文件类型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取指定订阅设备的订阅信息,所述订阅信息包括:所述指定订阅设备的标识,所述指定订阅设备所订阅的指定计算结果数据的标识,以及所述指定计算结果数据的推送方式;
将所述指定订阅设备的标识和所述指定计算结果数据的标识记录在所述对应关系中;
所述根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备,包括:
根据所述对应关系,确定与所述目标计算结果数据的标识对应的目标标识,并将所述目标标识指示的订阅设备确定为目标订阅设备;
所述按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备,包括:
根据所述目标订阅设备的订阅信息,确定所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,并按照所述目标推送方式将所述目标计算结果数据推送至所述目标订阅设备。
3.根据权利要求2所述的方法,其特征在于,所述获取指定订阅设备的订阅信息,包括:
接收所述指定订阅设备发送的用于计算所述指定计算结果数据的计算任务的配置信息;
在根据所述配置信息配置完成所述计算任务后,向所述指定订阅设备推送所述指定计算结果数据的订阅界面;
接收所述指定订阅设备发送的订阅信息,所述订阅信息是所述指定订阅设备根据从所述订阅界面获取到的信息生成的。
4.根据权利要求2所述的方法,其特征在于,所述获取指定订阅设备的订阅信息,包括:
在检测到所述指定订阅设备触发的针对所述指定计算结果数据的订阅请求后,向所述指定订阅设备推送所述指定计算结果数据的订阅界面;
接收所述指定订阅设备发送的订阅信息,所述订阅信息是所述指定订阅设备根据从所述订阅界面获取到的信息生成的。
5.根据权利要求1至4任一所述的方法,其特征在于,所述将所述目标计算结果数据推送至所述目标订阅设备,包括:
获取多个推送节点中每个推送节点的空闲资源量;
根据所述多个推送节点的空闲资源量确定目标推送节点;
通过所述目标推送节点将所述目标计算结果数据推送至所述目标订阅设备。
6.根据权利要求1至4任一所述的方法,其特征在于,所述将所述目标计算结果数据推送至所述目标订阅设备,包括:
当所述大数据平台中,包括所述目标计算结果数据在内的待推送的计算结果数据所占用的资源大于所述大数据平台的空闲资源量时,按照各个待推送的计算结果数据的计算完成时间,依次将每个待推送的计算结果数据推送至对应的订阅设备。
7.根据权利要求1至4任一所述的方法,其特征在于,在将所述目标计算结果数据推送至所述目标订阅设备之后,所述方法还包括:
向所述目标订阅设备发送所述目标计算结果数据的推送信息,所述推送信息包括:推送状态和推送进度中的至少一种,所述推送状态包括:推送中、推送成功或推送失败。
8.根据权利要求7所述的方法,其特征在于,当所述推送结果信息包括推送状态,且所述推送状态为推送失败时,所述推送信息还包括:
错误信息和重新推送提示信息,所述错误信息用于指示推送失败的原因;
所述方法还包括:
当接收到所述目标订阅设备根据所述重新推送提示信息触发的重新推送请求时,重新向所述目标订阅设备推送所述目标计算结果数据。
9.根据权利要求1至4任一所述的方法,其特征在于,所述按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备,包括:
根据所述目标推送方式指示的文件类型对所述目标计算结果数据进行封装;
基于所述目标推送方式指示的协议类型,将封装后的所述目标计算结果数据推送至所述目标订阅设备。
10.根据权利要求2至4任一所述的方法,其特征在于,所述订阅信息还包括:所述指定计算结果数据的存储位置;所述将所述目标计算结果数据推送至所述目标订阅设备,包括:
根据所述目标订阅设备的订阅信息,确定所述目标计算结果数据的目标存储位置;
将所述目标计算结果数据推送至所述目标订阅设备的所述目标存储位置。
11.根据权利要求2至4任一所述的方法,其特征在于,所述订阅信息还包括:所述指定计算结果数据的文件名;所述将所述目标计算结果数据推送至所述目标订阅设备,包括:
根据所述目标订阅设备的订阅信息,确定所述目标计算结果数据的目标文件名;
采用所述目标文件名为所述目标计算结果数据命名,并将命名后的所述目标计算结果数据推送至所述目标订阅设备。
12.一种离线计算结果数据的推送装置,其特征在于,应用于大数据平台,所述装置包括:
计算模块,用于对获取到的大数据进行离线计算,得到目标计算结果数据;
确定模块,用于根据计算结果数据与订阅设备的对应关系,确定与所述目标计算结果数据对应的目标订阅设备;
推送模块,用于按照所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,将所述目标计算结果数据推送至所述目标订阅设备;
其中,所述目标推送方式用于指示推送所述目标计算结果数据时所基于的协议类型,以及所述目标计算结果数据的文件类型。
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取指定订阅设备的订阅信息,所述订阅信息包括:所述指定订阅设备的标识,所述指定订阅设备所订阅的指定计算结果数据的标识,以及所述指定计算结果数据的推送方式;
记录模块,用于将所述指定订阅设备的标识和所述指定计算结果数据的标识记录在所述对应关系中;
所述确定模块,用于:根据所述对应关系,确定与所述目标计算结果数据的标识对应的目标标识,并将所述目标标识指示的订阅设备确定为目标订阅设备;
所述推送模块,用于:根据所述目标订阅设备的订阅信息,确定所述目标订阅设备为所述目标计算结果数据配置的目标推送方式,并按照所述目标推送方式将所述目标计算结果数据推送至所述目标订阅设备。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的离线计算结果数据的推送方法。
15.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的离线计算结果数据的推送方法。
CN201810890377.7A 2018-08-07 2018-08-07 离线计算结果数据的推送方法及装置 Active CN109067690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810890377.7A CN109067690B (zh) 2018-08-07 2018-08-07 离线计算结果数据的推送方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810890377.7A CN109067690B (zh) 2018-08-07 2018-08-07 离线计算结果数据的推送方法及装置

Publications (2)

Publication Number Publication Date
CN109067690A true CN109067690A (zh) 2018-12-21
CN109067690B CN109067690B (zh) 2021-03-26

Family

ID=64832177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810890377.7A Active CN109067690B (zh) 2018-08-07 2018-08-07 离线计算结果数据的推送方法及装置

Country Status (1)

Country Link
CN (1) CN109067690B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2501375A1 (en) * 2002-10-08 2004-04-22 Siemens Aktiengesellschaft Method for modifying a parameter for the operation of a network, and subscribers for carrying out the method
US20070117552A1 (en) * 2006-01-09 2007-05-24 Ecrio, Inc. Push to talk over cellular having productive use of dead time and inclusion of diverse participants
CN103647803A (zh) * 2013-11-22 2014-03-19 北京奇虎科技有限公司 一种移动终端订阅内容的方法及装置
CN104243611A (zh) * 2014-09-30 2014-12-24 浪潮软件股份有限公司 一种基于分发思想的消息服务中间件***
CN104809028A (zh) * 2015-05-07 2015-07-29 厦门雅迅网络股份有限公司 一种本地多进程间数据订阅推送的方法
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN104967619A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机***有限公司 文件推送方法、装置和***
CN104980327A (zh) * 2014-04-03 2015-10-14 腾讯科技(深圳)有限公司 一种消息推送方法及装置
CN105577602A (zh) * 2014-10-08 2016-05-11 阿里巴巴集团控股有限公司 基于开放的应用程序编程接口的数据推送方法和装置
CN105656964A (zh) * 2014-11-10 2016-06-08 ***通信集团公司 数据推送的实现方法及装置
CN105677844A (zh) * 2016-01-06 2016-06-15 北京摩比万思科技有限公司 一种移动广告大数据的定向推送及用户跨屏识别方法
CN105791399A (zh) * 2016-02-29 2016-07-20 郑家亮 多中继互联网大数据推送方法和***
CN105959383A (zh) * 2016-06-07 2016-09-21 北京百度网讯科技有限公司 内容订阅方法和装置
CN106709033A (zh) * 2016-12-29 2017-05-24 腾讯科技(深圳)有限公司 一种业务多媒体数据处理方法以及装置
CN106919685A (zh) * 2017-03-02 2017-07-04 浪潮软件集团有限公司 一种海量数据文件处理方法
CN107451269A (zh) * 2017-07-28 2017-12-08 佛山市南方数据科学研究院 一种基于大数据的用户行为分析方法
CN107563820A (zh) * 2017-09-19 2018-01-09 精硕科技(北京)股份有限公司 微博表现的评估方法与装置
CN107635151A (zh) * 2017-09-25 2018-01-26 四川长虹电器股份有限公司 一种基于域分解机的机器学习电视节目推荐方法
CN108304549A (zh) * 2018-02-01 2018-07-20 广东聚晨知识产权代理有限公司 一种大数据智能化处理***
CN108337316A (zh) * 2018-02-08 2018-07-27 平安科技(深圳)有限公司 信息推送方法、装置、计算机设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2501375A1 (en) * 2002-10-08 2004-04-22 Siemens Aktiengesellschaft Method for modifying a parameter for the operation of a network, and subscribers for carrying out the method
US20070117552A1 (en) * 2006-01-09 2007-05-24 Ecrio, Inc. Push to talk over cellular having productive use of dead time and inclusion of diverse participants
CN103647803A (zh) * 2013-11-22 2014-03-19 北京奇虎科技有限公司 一种移动终端订阅内容的方法及装置
CN104980327A (zh) * 2014-04-03 2015-10-14 腾讯科技(深圳)有限公司 一种消息推送方法及装置
CN104243611A (zh) * 2014-09-30 2014-12-24 浪潮软件股份有限公司 一种基于分发思想的消息服务中间件***
CN105577602A (zh) * 2014-10-08 2016-05-11 阿里巴巴集团控股有限公司 基于开放的应用程序编程接口的数据推送方法和装置
CN105656964A (zh) * 2014-11-10 2016-06-08 ***通信集团公司 数据推送的实现方法及装置
CN104809028A (zh) * 2015-05-07 2015-07-29 厦门雅迅网络股份有限公司 一种本地多进程间数据订阅推送的方法
CN104967619A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机***有限公司 文件推送方法、装置和***
CN104915793A (zh) * 2015-06-30 2015-09-16 北京西塔网络科技股份有限公司 基于大数据分析挖掘的公共信息智能分析平台
CN105677844A (zh) * 2016-01-06 2016-06-15 北京摩比万思科技有限公司 一种移动广告大数据的定向推送及用户跨屏识别方法
CN105791399A (zh) * 2016-02-29 2016-07-20 郑家亮 多中继互联网大数据推送方法和***
CN105959383A (zh) * 2016-06-07 2016-09-21 北京百度网讯科技有限公司 内容订阅方法和装置
CN106709033A (zh) * 2016-12-29 2017-05-24 腾讯科技(深圳)有限公司 一种业务多媒体数据处理方法以及装置
CN106919685A (zh) * 2017-03-02 2017-07-04 浪潮软件集团有限公司 一种海量数据文件处理方法
CN107451269A (zh) * 2017-07-28 2017-12-08 佛山市南方数据科学研究院 一种基于大数据的用户行为分析方法
CN107563820A (zh) * 2017-09-19 2018-01-09 精硕科技(北京)股份有限公司 微博表现的评估方法与装置
CN107635151A (zh) * 2017-09-25 2018-01-26 四川长虹电器股份有限公司 一种基于域分解机的机器学习电视节目推荐方法
CN108304549A (zh) * 2018-02-01 2018-07-20 广东聚晨知识产权代理有限公司 一种大数据智能化处理***
CN108337316A (zh) * 2018-02-08 2018-07-27 平安科技(深圳)有限公司 信息推送方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN109067690B (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
US11762703B2 (en) Multi-region request-driven code execution system
JP7202369B2 (ja) マルチテナントapiゲートウェイにおいてテナント分離を提供するためのマイクロサービスコンテナの活用
US10372499B1 (en) Efficient region selection system for executing request-driven code
EP3531290B1 (en) Data backup method, apparatus, electronic device, storage medium, and system
CN111090687B (zh) 数据处理方法及装置、***、计算机可读存储介质
CN109684358A (zh) 数据查询的方法和装置
CN108683720A (zh) 一种容器集群服务配置方法及装置
CN106161537A (zh) 远程过程调用的处理方法、装置、***及电子设备
US9104488B2 (en) Support server for redirecting task results to a wake-up server
US11978025B2 (en) Method and device for processing virtual cards
US10986172B2 (en) Configurable connection reset for customized load balancing
CN109194972A (zh) 直播流获取方法、装置、计算机设备及存储介质
US11240303B2 (en) Processing and ordering messages in partitions
CN105144109A (zh) 分布式数据中心技术
WO2023169175A1 (zh) 一种请求处理方法、装置、计算机设备和存储装置
KR101950050B1 (ko) 이벤트 데이터 획득을 위한 스케일 아웃 시스템
US8924481B2 (en) Apparatus for routing requests
CN110413383A (zh) 事件处理方法、装置、终端及存储介质
US11316947B2 (en) Multi-level cache-mesh-system for multi-tenant serverless environments
CN109067690A (zh) 离线计算结果数据的推送方法及装置
US12020022B2 (en) In-band instantiation configuration for application workloads
CN110086881A (zh) 业务处理方法、装置及设备
CN110716809A (zh) 用于调度云资源的方法和装置
CN112953993A (zh) 资源调度方法、设备、网络***及存储介质
Ezzeddine et al. RESTful hardware microservices using reconfigurable networked accelerators in cloud and edge datacenters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant