CN111416842B - 一种资源集群自动分发及热更新***及方法 - Google Patents

一种资源集群自动分发及热更新***及方法 Download PDF

Info

Publication number
CN111416842B
CN111416842B CN202010153327.8A CN202010153327A CN111416842B CN 111416842 B CN111416842 B CN 111416842B CN 202010153327 A CN202010153327 A CN 202010153327A CN 111416842 B CN111416842 B CN 111416842B
Authority
CN
China
Prior art keywords
resource
uploading
updated
module
redis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010153327.8A
Other languages
English (en)
Other versions
CN111416842A (zh
Inventor
谢春禾
张毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202010153327.8A priority Critical patent/CN111416842B/zh
Publication of CN111416842A publication Critical patent/CN111416842A/zh
Application granted granted Critical
Publication of CN111416842B publication Critical patent/CN111416842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/12Applying verification of the received information
    • H04L63/123Applying verification of the received information received data contents, e.g. message integrity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种资源集群自动分发及热更新方法及***,其中,该方法包括如下步骤:S1,从资源池中获取经编译后的待更新的资源及编译后的Redis状态;S2,判断是否满足上传条件;上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;如果是,则将待更新的资源上传至ftp服务器;如果否,不进行上传操作;S3,判断上传是否成功;如果是,更新Redis状态;如果否,重新上传直到上传成功或达到设定的上传次数;S4,进行资源分发及热更新。本发明能够减少***稳定性风险,同时提高数据的可靠性。

Description

一种资源集群自动分发及热更新***及方法
技术领域
本发明涉及资源集群自动分发技术领域,特别是一种资源集群自动分发及热更新***及方法。
背景技术
近年来,随着移动互联网技术的迅速发展,信息化程度日益提高,人工智能产业迎来了又一波发展高潮。其中,作为人工智能领域中最重要方向之一的自然语言理解技术,一直是相关领域研究人员研究的热点。让机器理解自然语言,实现减少人工投入、提升产业智能化等目标,一直是相关领域研究人员研究的热点。而自然语言处理应用中,数据是驱动人工智能技术的重要食粮,如何保证数据实时高效地传输、加载、以及回退,意义重大。例如,在自然语言技术应用项目之一——电话导航项目中,客户往往要求语义优化的测试环境与电话导航的线上环境进行隔离,从而实现在一个环境中进行资源制作、优化到预期效果后,再将资源发布上线的工作流程。为了满足巨大的业务访问量需求,线上导航环境常在多个服务器上部署多个引擎形成集群***。传统通过资源人工拷贝的方法流程繁琐、周期长且操作不便,现有的基于目录共享的方案尚存在一定的稳定性和可靠性缺陷。另外,资源的更新或回滚需要手动执行,且每次都需重启引擎***,耗时长、感知差。针对上述场景,如何快速地将数据资源自动分发到集群***并实现资源热更新或热回滚是一个亟需解决的重点问题。
网络文件***(NFS)共享数据是应用中一种非常常见的数据传输方式。NFS用和访问本地文件***类似的方式,通过网络对远程客户端进行访问。它允许在多个用户之间共享公共文件***,并提供数据集中的优势。具体的,首先进行NFS配置,共享待更新的资源的远程***目录到本地编译目录,然后编译知识库,语义理解引擎依赖的资源共享至远程环境,实现资源发布。
基于NFS文件***的资源分发技术虽然具备操作简单,易上手,维护成本低等优点,但也存在较多缺陷。首先,如果NFS服务器宕机,所有客户端都不能访问共享目录,因此存在***稳定性风险。其次,NFS本身不对数据做校验,存在文件异常,如果同步到客户侧的资源出现损坏,会导致重大生产事故,因此存在数据可靠性风险。另外,以上方案仅实现数据的传输功能,并不能解决资源的热更新问题,且资源的回滚是通过将备份的资源拷贝到相应目录进行传输实现的,缺乏自动化及智能化。
发明内容
本发明的一个目的是提供一种资源集群自动分发及热更新方法和***,能够减少***稳定性风险,同时提高数据的可靠性。
本发明提出了一种资源集群自动分发及热更新方法,其中,包括如下步骤:
S1,从资源池中获取经编译后的待更新的资源及编译后的Redis状态;
S2,判断是否满足上传条件;
上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;如果是,则将待更新的资源上传至ftp服务器;
如果否,不进行上传操作;
S3,判断上传是否成功;如果是,更新Redis状态;如果否,重新上传直到上传成功或达到设定的上传次数;
S4,进行资源分发及热更新。
如上所述的资源集群自动分发及热更新方法,其中,可选的是,步骤S4包括如下具体步骤:
S41,获取Redis状态;
S42,判断Redis状态是否符合下载时的Redis检测,如果是,将待更新的资源下载至接收端;
S43,判断下载后的待更新的资源是否为新资源,如果是,对待更新的资源依次进行资源校验、解压资源和完整性校验,并在校验成功后执行步骤S44;
S44,进行热更新。
如上所述的资源集群自动分发及热更新方法,其中,可选的是,步骤S44为:
对待更新的资源进行资源头校验和信息摘要算法校验,并在校验成功后依次进行新资源加载、旧资源删除、记录资源头。
如上所述的资源集群自动分发及热更新方法,其中,可选的是,步骤S41中包括如下具体步骤:
S411,判断下载服务是否在线,如果是,执行步骤S412;如果否,通过拉起模块将下载服务拉起;
S412,获取Redis状态。
如上所述的资源集群自动分发及热更新方法,其中,可选的是,还包括如下步骤:
S5,在接收到回滚指令后,进行资源查找;
S6,判断目标资源是否存在,如果是,执行步骤S7;如果否,反馈回滚失败信息;
S7,依次进行资源头修改、资源分发、资源更新,并在资源更新成功后反馈回滚成功信息。
如上所述的资源集群自动分发及热更新方法,其中,可选的是,步骤S2包括如下具体步骤:
S21,判断上传服务是否在线,如果是,执行步骤S23;如果否,执行步骤S22;
S22,通过重新模块重启上传服务,以使上传服务在线;
S23,判断目标节点是否存在;如果是,执行步骤S24;如果否,不上传;
S24,判断Redis状态是否满足上传时的Redis检测;如果是,将待更新的资源上传至ftp服务器,并执行S3;如果否,不上传。
本发明还提出了一种资源集群自动分发及热更新***,其中,包括:
知识库管理模块,用于从本地用户拷贝经测试达标的待更新的资源;
资源编译模块,与所述知识库管理模块连接,用于对待更新的资源进行编译,并在编译并保存成功后设置对应的Redis状态;
资源存储模块,与资源编译模块连接,用于临时存储经编译后的待更新的资源;
资源分发模块,与资源编译模块连接,用于从资源存储模块获取经编译后的待更新的资源,所述资源分发模块还用于判断是否满足上传条件,如果是则将待更新的资源上传,如果否,不进行上传;其中,上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;
资源接收和热更新模块,与资源分发模块连接,用于获取待更新的资源、对待更新的资源进行校验,并进行热更新。
如上所述的资源集群自动分发及热更新***,其中,可选的是,还包括ftp服务器;
所述资源分发模块、所述资源接收和热更新模块均与所述ftp服务器连接,所述资源分发模块用于将待更新的资源上传到所述ftp服务器;
所述资源接收和热更新模块还用于从所述ftp服务器下载待更新的资源。
如上所述的资源集群自动分发及热更新***,其中,可选的是,所述资源编译模块用于在对待更新的资源进行编译时添加资源头,所述资源头用于在资源分发及热更新的过程中进行校验;
所述资源头包括:数据类型、校验位和编译时间。
如上所述的资源集群自动分发及热更新***,其中,可选的是,还包括:
用户语料收集模块,用于自动搜集用户数据;
知识挖掘模块,与用户语料收集模块连接;所述知识挖掘模块用于根据搜集到的用户数据自动扩充结构化知识;
推荐模块,与知识挖掘模块连接,用于向用户推荐扩充后的结构化知识,并获取推荐是否被接受的反馈信息;
效果检测模块,与推荐模块连接,用于对当前的资源效果进行对比评估;并根据评估结果,向用户输出建议用户热更新当前版本的资源或回退到历史版本。
与现有技术相比,本发明能够实现本地资源到远程服务器的自动分发,在保证数据快速传输的同时,能够提升***运行的稳定性和数据传输的可靠性。通过设置Redis状态,能够对数据传输的状态实时反馈给用户,具有错误监控和多次请求等功能,确保传输的安全可靠。
在对待上传的资源进行编译时,添加了资源头,用于后序的校验,能够确保数据传输完整一致以及确保数据的合法性。
在完成数据传输后,将待更新的资源更新到***集群的各个引擎中。由于是以热更新的方式完成,不会因为数据更新中断正在使用的***,从而能够实现无感知操作,能够提高工作效率,提升用户体验。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为本发明提出的资源集群自动分发及热更新方法的步骤流程图;
图2为本发明中资源分发的步骤流程图;
图3为本发明中资源接收的步骤流程图;
图4为本发明中资源热更新的步骤流程图;
图5为本发明中资源回滚的步骤流程图;
图6为本发明提出的资源集群自动分发及热更新***的结构示意图;
图7为本发明提出的智能推荐的步骤流程图;
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。本具体实施方式中所指的连接并不限制有线或无线,所指的是具有连接关系的两者之前能够进行通信。
请参照图1到图5,本发明具体实施方式提出了一种资源集群自动分发及热更新方法,其中,包括如下步骤:
S1,从资源池中获取经编译后的待更新的资源及编译后的Redis状态。具体地,在资源池中临时存储有待更新的资源,具体地,待更新的资源在更新完成后,仍在资源池中存储一段时间,在此期间,也可以有更高版本的待更新的资源更新,这就使得,在同一时间点,资源池内存有多个版本的资源,这多个版本的资源用于资源回滚。实施时,本地用户先将对资源进行测试,保证资源是经检测后达标的,然后再对待更新的资源进行编译,并将编译后的待更新的资源临时存入到资源池中。同时,在编译成功后,设置Redis状态。具体地,Redis状态可以设置在Redis服务器中,Redis服务器作为一个第三方服务器,其通过通信的方式与资源分发模块连接,如此,能够使保存及获取信息更加简单、快速。需要说明的是,Redis是个key-value(键和值)存储***。
S2,判断是否满足上传条件;具体地,上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;如果是,则将待更新的资源上传至ftp服务器;如果否,不进行上传操作。具体地,步骤S2包括如下具体步骤:
S21,判断上传服务是否在线,如果是,执行步骤S23;如果否,执行步骤S22;S22,通过重新模块重启上传服务,以使上传服务在线;即,实施时,实时监测上传服务是否状态,如果上传服务掉线,会自动调用重启模块使上传服务上线,如此,能够保障稳定的工作状态。
S23,判断目标节点是否存在;如果是,执行步骤S24;如果否,不上传;具体地,目标节点不存在或配置非法,均视为目标节点不存在。当目标节点不存在时,不进行上传,同时,提醒用户目标节点不存在或配置非法。
S24,判断Redis状态是否满足上传时的Redis检测;如果是,将待更新的资源上传至ftp服务器,并执行S3;如果否,不上传。在编译成功后所述设置的Redis状态,实际上是一个编译并保存成功的标志信息,当检测到此标志信息后,即可进行数据传输。
进一步地,在资源上传的过程中,会捕捉任何数据传输的异常状态,若数据传输失败,则反馈至知识库管理模块,以通知用户或维护人员,上传成功,则会更新Redis状态到Redis服务器,以通知接收端准备进行资源下载。具体地,在上传的过程中,包括如下步骤:S3,判断上传是否成功;如果是,更新Redis状态;如果否,重新上传直到上传成功或达到设定的上传次数。具体实施时,预设定最大上传次数,当上传次数达到预设定的最大上传次数后,仍不能上传成功,则停止上传,并反馈上传失败到知识库管理模块,以通知用户或维护人员上传失败。
S4,进行资源分发及热更新。本步骤包括如下具体步骤:
S41,获取Redis状态;具体实施时,可以是由资源接收工具从Redis服务器获取Redis状态,也可以是由Redis服务器在更新Redis状态后将Reids状态发送给资源接收工具。更具体地,S411,判断下载服务是否在线,如果是,执行步骤S412;如果否,通过拉起模块将下载服务拉起,如此,能够保证数据顺利下载和后续的更新;S412,获取Redis状态。
S42,判断Redis状态是否符合下载时的Redis检测,如果是,将待更新的资源下载至接收端。即,每一个版本的待更新的资源的Redis状态具有至少两种不同的状态,一种是在编译并保存成功后的状态;一种是上传成功后的状态。Redis状态符合下载时的Redis检测,即是Redis状态为上传成功后的状态。对于Redis状态的检测,应当是实时进行,当Redis状态为上传成功后的状态,立即进行下载。
S43,判断下载后的待更新的资源是否为新资源,如果是,对待更新的资源依次进行资源校验、解压资源和完整性校验,并在校验成功后执行步骤S44。在数据下载完成后,先进行MD5值校验,防止数据传输丢包,若数据异常,则不更新资源。如数据正常,对下载的数据解压,并进行数据完整校验,防止解压数据异常。
S44,进行热更新。具体地,对待更新的资源进行资源头校验和信息摘要算法(MD5)校验,并在校验成功后依次进行新资源加载、旧资源删除、记录资源头。具体地,此处校验成功是指成功通过资源头校验和信息摘要算法校验。具体实施时,调用资源管理器,完成对资源的校验和加载,以备调用。利用资源管理器对资源进行重复性和合法性校验。资源管理器中记录了***在用资源的时间信息,对比新旧资源的时间头信息,若新资源的时间较新则可以加载,否则不会更新。另外,资源管理器可以识别***支持的资源类型和版本信息,只有通过资源管理器验证通过的资源才会更新使用。
具体地,本实施例还包括如下步骤:
S5,在接收到回滚指令后,进行资源查找。具体地,回滚指令可以是用户通过知识库管理模块发起。当用户希望回滚至历史资源时,可以通过界面选择对应时间点的资源。然后通知资源池管理器按时间点从资源池中查找对应版本的资源,需要指出的是,资源池虽然是用于临时存储待更新的资源,但并不代表资源池中仅有一个版本的待更新的资源,具体地,资源池中可以同时存在多个最近一段时间内发布的待更新的资源,如用于存储近两年内更新的资源。S6,判断目标资源是否存在,如果是,执行步骤S7;如果否,说明不存在指定版本的资源,此时,反馈回滚失败信息。
S7,依次进行资源头修改、资源分发、资源更新,并在资源更新成功后反馈回滚成功信息。具体地,将资源头的时间修改为最新时间,利用更新后的Redis状态通知进行资源更新。资源分发工具将数据分发到集群服务器,接受端接收到资源后,发现时间头是最新的,即热更新到引擎***。
请参照图6,本发明具体实施方式还提出了一种资源集群自动分发及热更新***,其中,包括:
知识库管理模块,用于从本地用户拷贝经测试达标的待更新的资源;具体地,知识库管理模块的功能是提供一套可视化数据管理平台,以便于为用户提供更加便捷的自动化和智能化服务,具体实施时,其与本地用户连接。
资源编译模块,与所述知识库管理模块连接,用于对待更新的资源进行编译,并在编译并保存成功后设置对应的Redis状态。具体地,在编译的过程中,给待更新的资源添加资源头校验信息,如数据类型、校验位、编译时间等。用于在上传及更新的过程中进行资源校验以及合法性校验等。
资源存储模块,与资源编译模块连接,用于临时存储经编译后的待更新的资源;具体实施时,包括资源池和资源池管理器,资源池存储一段时间内编译的所有资源,资源池管理器则维护每个待更新的资源的时间节点信息,提供信息的录入和更新操作,为资源的查找、导入和导出提供维护管理。当用户要回滚资源时,该资源存储模块会查找待回滚的资源,然后由资源分发模块进行资源分发。对于资源回滚,可以参照前述资源集群自动分发及热更新方法中的步骤5,在此不再赘述。
资源分发模块,与资源编译模块连接,用于从资源存储模块获取经编译后的待更新的资源,所述资源分发模块还用于判断是否满足上传条件,如果是则将待更新的资源上传,如果否,不进行上传;其中,上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测。即,资源分发模块主要用于数据的校验并上传到ftp服务器。其中,设置了资源校验、节点识别与传输、Redis检测等功能,为数据提供可靠的传输能力。所述资源分发模块、所述资源接收和热更新模块均与所述ftp服务器连接,所述资源分发模块用于将待更新的资源上传到所述ftp服务器;所述资源接收和热更新模块还用于从所述ftp服务器下载待更新的资源。通过将ftp服务器作为数据的中转站,实现数据基于sftp协议的自动上传和接收。确保数据传输安全可靠。
资源接收和热更新模块,与资源分发模块连接,用于获取待更新的资源、对待更新的资源进行校验,并进行热更新。资源接收负责数据的下载和校验,热更新则将资源热加载到集群***中,去除资源更新的条件限制,提升数据启用效率。
作为一种较佳的实现方式,所述资源编译模块用于在对待更新的资源进行编译时添加资源头,所述资源头用于在资源分发及热更新的过程中进行校验;
所述资源头包括:数据类型、校验位和编译时间。
请参照图7,本发明所提出的资源集群自动分发及热更新***还包括:
用户语料收集模块,用于自动搜集用户数据;知识挖掘模块,与用户语料收集模块连接;所述知识挖掘模块用于根据搜集到的用户数据自动扩充结构化知识;推荐模块,与知识挖掘模块连接,用于向用户推荐扩充后的结构化知识,并获取推荐是否被接受的反馈信息;效果检测模块,与推荐模块连接,用于对当前的资源效果进行对比评估;并根据评估结果,向用户输出建议用户热更新当前版本的资源或回退到历史版本。请参照图7,本发明所提供的***还具有智能推荐的功能,具体地,***自动搜集用户数据,并通过挖掘技术自动扩充结构化知识,推荐给用户,经过管理员确认后入库。然后,***自动调用效果检测模块,对当前***的资源效果进行对比评估,最后,推荐用户热更新当前版本的语义资源或回退到历史的某个版本。
通过前述的描述可知,本发明具有如下效果:
1.实现本地资源到远程服务器的自动分发,在保证数据快速传输的同时,提升***运行的稳定性和数据传输的可靠性。基于sftp协议,实现数据的自动上传和接收。在资源编译时添加信息头校验编码,通过信息摘要算法(MD5)校验和资源头校验,确保数据传输完整一致和合法性。在本***中,利用PMI自动拉起模块,实时监测资源分发服务,确保数据传输工作的稳定性。数据上传和接收端,具有Redis状态实时监测模块功能,将数据传输的状态实时反馈给用户,具有错误监控和多次请求等功能,确保传输安全可靠。
2.资源热更新,提升用户体验感知。完成数据的传输后,利用资源管理模块将ftp工具接收端的数据热更新到***集群的各个引擎中。首先,通过检测资源头的时间信息和其他校验信息,验证数据的合法性和实效性。若符合要求,则将资源加载到***中,否则不加载。热更新的优点主要在于,不会因为数据更新中断正在使用的***,实现无感知操作,提省工作效率。
3.能够实现资源回滚功能。支持选择历史时间节点的资源进行回滚。每次资源上线,资源编译模块会将资源数据按保存至资源池,资源池管理模块用于资源时间的记录,查找和修改。当最新上线的资源不符合预期时,可以在用户界面选择历史资源回滚,通过调用资源池管理器查找到对应时间的资源,从资源池中取出并将资源的头检验时间信息修改为当前调用时间。然后调用资源上传和接收工具进行资源检验和传输。最后,热更新模块检测到资源已更新,将资源热更新到本地或远程集群***中。
4.自动推荐更新或回退功能。***根据用户交互轨迹信息积累的语料,通过知识挖有掘技术自动构建结构化的知识,定向推送给用户,用户确认后入库更新。此外,***自动对比新旧资源的语义效果,推荐用户是否热更新或进行资源的回退。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (7)

1.一种资源集群自动分发及热更新方法,其特征在于,包括如下步骤:
S1,从资源池中获取经编译后的待更新的资源及编译后的Redis状态;
S2,判断是否满足上传条件;
上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;如果是,则将待更新的资源上传至ftp服务器;
如果否,不进行上传操作;
S3,判断上传是否成功;如果是,更新Redis状态;如果否,重新上传直到上传成功或达到设定的上传次数;
S4,进行资源分发及热更新,包括当判断出获取到的Redis状态符合下载时的Redis检测时,将待更新的资源下载至接收端;若下载后的待更新的资源为新资源,对待更新的资源依次进行资源校验、解压资源和完整性校验,并在校验成功后进行如下热更新操作:对待更新的资源进行资源头校验和信息摘要算法校验,并在校验通过后进行新资源加载、旧资源删除、记录资源头。
2.根据权利要求1所述的资源集群自动分发及热更新方法,其特征在于,在热更新阶段,获取Redis状态包括如下具体步骤:
S411,判断下载服务是否在线,如果是,执行步骤S412;如果否,通过拉起模块将下载服务拉起;
S412,获取Redis状态。
3.根据权利要求1所述的资源集群自动分发及热更新方法,其特征在于,还包括如下步骤:
S5,在接收到回滚指令后,进行资源查找;
S6,判断目标资源是否存在,如果是,执行步骤S7;如果否,反馈回滚失败信息;
S7,依次进行资源头修改、资源分发、资源更新,并在资源更新成功后反馈回滚成功信息。
4.根据权利要求1-3任一项所述的资源集群自动分发及热更新方法,其特征在于,步骤S2包括如下具体步骤:
S21,判断上传服务是否在线,如果是,执行步骤S23;如果否,执行步骤S22;
S22,通过重新模块重启上传服务,以使上传服务在线;
S23,判断目标节点是否存在;如果是,执行步骤S24;如果否,不上传;
S24,判断Redis状态是否满足上传时的Redis检测;如果是,将待更新的资源上传至ftp服务器,并执行S3;如果否,不上传。
5.一种资源集群自动分发及热更新***,其特征在于,包括:
知识库管理模块,用于从本地用户拷贝经测试达标的待更新的资源;
资源编译模块,与所述知识库管理模块连接,用于对待更新的资源进行编译,并在编译并保存成功后设置对应的Redis状态;
资源存储模块,与资源编译模块连接,用于临时存储经编译后的待更新的资源;
资源分发模块,与资源编译模块连接,用于从资源存储模块获取经编译后的待更新的资源,所述资源分发模块还用于判断是否满足上传条件,如果是则将待更新的资源上传,如果否,不进行上传;其中,上传条件包括:上传服务在线、存在目标节点且Redis状态满足上传时的Redis检测;
资源接收和热更新模块,与资源分发模块连接,用于获取待更新的资源、对待更新的资源进行校验,并进行热更新,包括当判断出获取到的Redis状态符合下载时的Redis检测时,将待更新的资源下载至接收端;若下载后的待更新的资源为新资源,对待更新的资源依次进行资源校验、解压资源和完整性校验,并在校验成功后进行如下热更新操作:对待更新的资源进行资源头校验和信息摘要算法校验,并在校验通过后进行新资源加载、旧资源删除、记录资源头;
ftp服务器,所述资源分发模块、所述资源接收和热更新模块均与所述ftp服务器连接,所述资源分发模块用于将待更新的资源上传到所述ftp服务器;所述资源接收和热更新模块还用于从所述ftp服务器下载待更新的资源。
6.根据权利要求5所述的资源集群自动分发及热更新***,其特征在于,所述资源编译模块用于在对待更新的资源进行编译时添加资源头,所述资源头用于在资源分发及热更新的过程中进行校验;
所述资源头包括:数据类型、校验位和编译时间。
7.根据权利要求5-6任一项所述的资源集群自动分发及热更新***,其特征在于,还包括:
用户语料收集模块,用于自动搜集用户数据;
知识挖掘模块,与用户语料收集模块连接;所述知识挖掘模块用于根据搜集到的用户数据自动扩充结构化知识;
推荐模块,与知识挖掘模块连接,用于向用户推荐扩充后的结构化知识,并获取推荐是否被接受的反馈信息;
效果检测模块,与推荐模块连接,用于对当前的资源效果进行对比评估;并根据评估结果,向用户输出建议用户热更新当前版本的资源或回退到历史版本。
CN202010153327.8A 2020-03-06 2020-03-06 一种资源集群自动分发及热更新***及方法 Active CN111416842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153327.8A CN111416842B (zh) 2020-03-06 2020-03-06 一种资源集群自动分发及热更新***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153327.8A CN111416842B (zh) 2020-03-06 2020-03-06 一种资源集群自动分发及热更新***及方法

Publications (2)

Publication Number Publication Date
CN111416842A CN111416842A (zh) 2020-07-14
CN111416842B true CN111416842B (zh) 2022-08-05

Family

ID=71492836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153327.8A Active CN111416842B (zh) 2020-03-06 2020-03-06 一种资源集群自动分发及热更新***及方法

Country Status (1)

Country Link
CN (1) CN111416842B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114070843A (zh) * 2021-10-29 2022-02-18 盐城金堤科技有限公司 一种数据更新方法、客户端、服务端和ftp服务器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2867585A1 (en) * 2013-10-15 2015-04-15 Coho Data Inc. Methods, devices and systems for coordinating network-based communication in distributed server systems with sdn switching
CN104657170A (zh) * 2013-11-25 2015-05-27 腾讯科技(上海)有限公司 一种数据更新方法、装置及***
CN104077131B (zh) * 2014-06-13 2017-08-25 科大讯飞股份有限公司 一种组件部署***及方法
CN105871966A (zh) * 2015-09-22 2016-08-17 乐视网信息技术(北京)股份有限公司 消息分发的方法、装置及***
CN105162878B (zh) * 2015-09-24 2018-08-31 网宿科技股份有限公司 基于分布式存储的文件分发***及方法
CN105472412B (zh) * 2015-11-20 2018-05-08 四川长虹电器股份有限公司 一种区分智能电视状态的大数据处理方法
CN105677415B (zh) * 2016-01-06 2020-07-17 网易(杭州)网络有限公司 热更新方法及装置
CN106131612B (zh) * 2016-06-30 2019-03-05 武汉斗鱼网络科技有限公司 安卓app动态加载资源功能模块的方法及***
CN106506191A (zh) * 2016-09-23 2017-03-15 郑州云海信息技术有限公司 基于虚拟化平台Redis服务的自动化部署及维护方法
CN107315668B (zh) * 2017-06-26 2021-06-29 郑州云海信息技术有限公司 分布式存储***数据一致性自动化快速检测方法及装置
CN108881477B (zh) * 2018-07-16 2020-09-29 上海新炬网络技术有限公司 一种基于分布式的文件采集监控的方法
CN109032638A (zh) * 2018-07-18 2018-12-18 广州宸瑞软件科技有限公司 移动应用软件的热更新方法、服务器和移动终端

Also Published As

Publication number Publication date
CN111416842A (zh) 2020-07-14

Similar Documents

Publication Publication Date Title
CN111399873B (zh) 一种模型更新方法及装置
US8180762B2 (en) Database tuning methods
CN108881477B (zh) 一种基于分布式的文件采集监控的方法
CN106462575A (zh) 群集内存数据库的设计及实现
WO2015188501A1 (zh) 配置文件更新方法、装置及***和计算机存储介质
CN109144785B (zh) 用于备份数据的方法和装置
CN110162334B (zh) 一种代码管理方法、装置及存储介质
CN104423960A (zh) 一种项目持续集成的方法及***
CN110545207B (zh) 一种同步自动化的智能dns***及配置方法
TW202221493A (zh) 一種設備類應用軟體之更新方法及系統
CN110659202A (zh) 客户端自动化测试方法及装置
CN106648994B (zh) 一种备份操作日志的方法,设备和***
CN111737227B (zh) 数据修改方法及***
CN106339273A (zh) 一种应用程序修复方法、终端及服务器
CN112579289B (zh) 一种可智能调度的分布式解析引擎方法及装置
CN115712623B (zh) 一种基于捕获元数据变更的批量数据容错采集方法
CN112506870A (zh) 数据仓库增量更新方法、装置及计算机设备
CN111416842B (zh) 一种资源集群自动分发及热更新***及方法
CN106126419A (zh) 一种应用程序的调试方法及装置
US20060123387A1 (en) Apparatus and method for producing application software for streaming service and system and method for providing software streaming service with network fault tolerance
JP2017016507A (ja) テスト管理システムおよびプログラム
CN112202909B (zh) 一种计算机存储***在线升级方法及***
CN115129574A (zh) 一种代码测试方法和装置
CN109145054A (zh) 一种管理客户端数据的方法
CN112148745A (zh) 一种多HBase集群访问方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant