CN111211938B - 生物信息软件监控***及方法 - Google Patents

生物信息软件监控***及方法 Download PDF

Info

Publication number
CN111211938B
CN111211938B CN201911398949.0A CN201911398949A CN111211938B CN 111211938 B CN111211938 B CN 111211938B CN 201911398949 A CN201911398949 A CN 201911398949A CN 111211938 B CN111211938 B CN 111211938B
Authority
CN
China
Prior art keywords
information
software
biological information
monitoring
log information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911398949.0A
Other languages
English (en)
Other versions
CN111211938A (zh
Inventor
郑洪坤
刘戈
龚伟
刘东源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Biomarker Technologies Co ltd
Original Assignee
Beijing Biomarker Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Biomarker Technologies Co ltd filed Critical Beijing Biomarker Technologies Co ltd
Priority to CN201911398949.0A priority Critical patent/CN111211938B/zh
Publication of CN111211938A publication Critical patent/CN111211938A/zh
Application granted granted Critical
Publication of CN111211938B publication Critical patent/CN111211938B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种生物信息软件监控***及方法，包括：Docker集群、kafka消息***、监控模块、生物信息软件和分析模块；每个生物信息软件与其对应的监控模块封装在相应的Docker容器内；监控模块用于当监控模块所在的Docker容器在计算节点上运行时，实时收集运行的Docker容器中生物信息软件的监控信息，并将监控信息进行分类后推送到kafka消息***中进行保存；分析模块用于对kafka消息***中每种类别的监控信息进行分析，获取每种类别的监控信息对应的分析结果。本发明实施例实现对生物信息软件的实时监控分析，根据Docker集群的部署方式运行生物信息软件提高了集群的利用率和可用性，节约成本。

Description

生物信息软件监控***及方法
技术领域
本发明属于分布式***技术领域，尤其涉及一种生物信息软件监控***及方法。
背景技术
在生物领域快速发展的当下，通常需要使用各种各样的生物信息软件对大量生物数据进行分析，以从生物数据中获取核心数据。
现有技术直接在集群上运行生物信息软件，***资源被以抢占的方式使用，无法实现***资源的自由分配。而且需要人工定时监控***资源的使用情况和生物信息软件的运行情况，无法及时监控到这些信息，监控所需的时间长，效率低下。
综上所述，现有的生物信息软件直接在集群上运行，一方面无法实现***资源的自由分配；另一方面，人工对生物信息的运行环境等进行监控缺乏实时性，且费时费力。
发明内容
为克服上述现有的生物信息软件直接在集群上运行，资源分配不自由，且人工监控费时费力的问题或者至少部分地解决上述问题，本发明实施例提供一种生物信息软件监控***及方法。
根据本发明实施例的第一方面，提供一种生物信息软件监控***，包括Docker集群、kafka消息***、监控模块、生物信息软件和分析模块；
其中，所述Docker集群包括多个Docker容器和每个所述Docker容器所在的计算节点，所述生物信息软件和所述监控模块一一对应；
每个所述生物信息软件与其对应的所述监控模块封装在相应的Docker容器内；
所述监控模块用于当所述监控模块所在的Docker容器在所述计算节点上运行时，实时收集运行的所述Docker容器中生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到所述kafka消息***中进行保存；
所述分析模块用于对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果。
具体地，所述分析模块具体用于：
对所述kafka消息***中每种类别的运行环境信息进行分析，获取所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；
判断所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；
若超过，则将所述生物信息软件超过预设资源限制的消息告知所述Docker容器，以供所述Docker容器进行相应处理，并返回错误码，以供管理人员根据所述错误码获取所述错误码对应的错误原因，根据所述错误原因对所述预设资源限制进行调节。
具体地，所述分析模块具体用于：
对所述kafka消息***中每种类别的日志信息进行分析，根据所述日志信息分析的结果更新所述生物信息软件的运行时状态，并标记所述生物信息软件的运行步骤；其中，所述日志信息包括步骤信息和异常信息。
具体地，还包括mysql数据库；
其中，所述mysql数据库用于对所述生物信息软件多次运行的运行环境信息和日志信息进行保存；
相应地，还包括离线分析模块，所述离线分析模块用于：
对所述mysql数据库中的运行环境信息和日志信息进行离线分析。
具体地，所述离线分析模块具体用于：
对所述生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取所述生物信息软件每次运行的文件大小和所使用的资源大小；
根据所述生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为所述生物信息软件分配资源。
根据本发明实施例第二方面提供一种生物信息软件监控方法，包括：
当Docker集群中的Docker容器在其所在的计算节点上运行时，基于所述Docker容器中封装的监控模块实时收集所述Docker容器中封装的生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到kafka消息***中进行保存；
基于分析模块对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果。
具体地，基于分析模块对所述kafka消息***中每种类别的运行环境信息进行分析，获取每种类别的运行环境信息对应的分析结果的步骤包括：
对所述kafka消息***中每种类别的运行环境信息进行分析，获取所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；
判断所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；
若超过，则将所述生物信息软件超过预设资源限制的消息告知所述Docker容器，以供所述Docker容器进行相应处理，并返回错误码，以供管理人员根据所述错误码获取所述错误码对应的错误原因，根据所述错误原因对所述预设资源限制进行调节。
具体地，基于分析模块对所述kafka消息***中每种类别的日志信息进行分析，获取每种类别的日志信息对应的分析结果的步骤包括：
对所述kafka消息***中每种类别的日志信息进行分析，根据所述日志信息分析的结果更新所述生物信息软件的运行时状态，并标记所述生物信息软件的运行步骤；其中，所述日志信息包括步骤信息和异常信息。
具体地，还包括：
对所述生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取所述生物信息软件每次运行的文件大小和所使用的资源大小；
根据所述生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为所述生物信息软件分配资源。
根据本发明实施例的第三个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第二方面的各种可能的实现方式中任一种可能的实现方式所提供的生物信息软件监控方法。
本发明实施例提供一种生物信息软件监控，该方法通过Docker容器同时集成生物信息软件和监控模块，使用监控模块实时获取生物信息软件运行时的运行环境信息和日志信息，实现实时监控，并且通过kafka消息***将监控信息进行高可用的保存，最后使用分析模块对获取的监控信息进行分析，各***模块之间相互依赖协作，达到生物信息软件的实时监控分析；同时，根据Docker集群的部署方式运行生物信息软件提高了集群的利用率和可用性，节约成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的生物信息软件监控***整体架构示意图；
图2为本发明实施例提供的生物信息软件监控***的结构框图；
图3为本发明实施例提供的生物信息软件监控方法流程示意图；
图4为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中提供一种生物信息软件监控***，图1为本发明实施例提供的生物信息软件监控***的结构示意图，该***包括：Docker集群、kafka消息***、监控模块、生物信息软件和分析模块；其中，Docker集群包括多个Docker容器和每个Docker容器所在的计算节点，生物信息软件和监控模块一一对应；每个生物信息软件与其对应的监控模块封装在相应的Docker容器内；
如图2所示，本实施例中的生物信息软件监控***是由多个单机构成的集群***。每个单机包括一个Docker容器和一个计算节点。每个Docker容器中封装有一个生物信息软件和相应的监控模块。用户通过集群上游***将监控任务提交到计算节点。Docker集群中包括的单机数目根据实际情况可以动态扩容和收缩，图2中所示单机数目仅为举例说明。
Docker集群主要用于将生物信息软件和监控模块进行封装，并在Docker容器内实时收集生物信息软件的运行环境信息，如IO(Input/Output，输入和输出)、CPU(CentralProcessing Unit，中央处理器)和内存等，以及生物信息软件的日志信息，如步骤信息和异常信息等，达到能同时运行但又互不影响的目的，同时通过Docker容器的特性来提高Docker集群资源的使用率和Docker集群的可用性。
监控模块用于当监控模块所在的Docker容器在计算节点上运行时，实时收集运行的Docker容器中生物信息软件的运行环境信息和日志信息，并将运行环境信息和日志信息进行分类后推送到kafka消息***中进行保存；
当任一Docker容器在计算节点上运行时，此时该Docker容器内的监控模块启动子进程实时采集该Docker容器内生物信息软件的运行环境信息和日志信息，并将采集的信息按不同的话题分类后推送到kafka消息***中进行保存。kafka消息***主要用于保证信息的高可用性以及解耦各部分之间的依赖。
分析模块用于对kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果。
分析模块通过不同的话题分类的类别从kafka消息***中获取生物信息软件相应类别的运行环境信息和日志信息，并对获取到的这些信息进行分析，获取分析结果。
本实施例通过Docker容器同时集成生物信息软件和监控模块，使用监控模块实时获取生物信息软件运行时的运行环境信息和日志信息，实现实时监控，并且通过kafka消息***将监控信息进行高可用的保存，最后使用分析模块对获取的监控信息进行分析，各***模块之间相互依赖协作，达到生物信息软件的实时监控分析；同时，根据Docker集群的部署方式运行生物信息软件提高了集群的利用率和可用性，节约成本。
在上述实施例的基础上，本实施例中分析模块具体用于：对kafka消息***中每种类别的运行环境信息进行分析，获取生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；判断生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；若超过，则将生物信息软件超过预设资源限制的消息告知Docker容器，以供Docker容器进行相应处理，并返回错误码，以供管理人员根据错误码获取错误码对应的错误原因，根据错误原因对预设资源限制进行调节。
具体地，分析模块对各类运行环境信息进行分析，确定生物信息软件的当前CPU使用情况、IO使用情况和MEM使用情况。根据预先设定的资源限制判断生物信息软件的当前CPU使用情况、IO使用情况和MEM使用情况是否超过资源限制，若超过则进行预警，并通过邮件***或其他方式告知相关负责人，从而实现根据监控信息进行及时预警和响应，从而根据实时预警的生物信息软件运行时的环境及时处理，提高了生物信息软件运行的效率。
在上述实施例的基础上，本实施例中分析模块具体用于：对kafka消息***中每种类别的日志信息进行分析，根据日志信息分析的结果更新生物信息软件的运行时状态，并标记生物信息软件的运行步骤；其中，日志信息包括步骤信息和异常信息。
具体地，分析人员根据日志信息的分析结果实时获知生物信息软件的运行情况，掌握生物信息软件的运行进度。
在上述各实施例的基础上，本实施例中还包括mysql数据库；其中，mysql数据库用于对生物信息软件多次运行的运行环境信息和日志信息进行保存；相应地，还包括离线分析模块，离线分析模块用于：对mysql数据库中的运行环境信息和日志信息进行离线分析。
具体地，同时将监控信息保存到mysql数据库中，mysql数据库主要用于持久化监控消息，供后续离线分析。由于生物信息软件每次运行时的文件大小一般会发生变化，每次运行的环境信息和日志信息也会发生变化。使用离线分析模块对生物信息软件每次运行的监控信息进行离线分析。
在上述实施例的基础上，本实施例中离线分析模块具体用于：对生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取生物信息软件每次运行的文件大小和所使用的资源大小；根据生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为生物信息软件分配资源。
具体地，本实施例中通过对大量运行环境信息和日志信息的离线分析，拟合的函数为生物信息软件的文件大小和生物信息软件运行时所需的资源大小之间的关联关系。该关联关系为后续生物信息软件资源分配的优化提供参考依据，提高了Docker集群的资源使用率。
在本发明的另一个实施例中提供一种生物信息软件监控方法，该方法基于前述各实施例中的***实现。因此，在前述生物信息软件监控***的各实施例中的描述和定义，可以用于本发明实施例中各个执行步骤的理解。图3为本发明实施例提供的生物信息软件监控方法流程示意图，该方法包括：S301，当Docker集群中的Docker容器在其所在的计算节点上运行时，基于所述Docker容器中封装的监控模块实时收集所述Docker容器中封装的生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到kafka消息***中进行保存；
其中，Docker集群包括多个Docker容器和每个Docker容器所在的计算节点，生物信息软件和监控模块一一对应；每个生物信息软件与其对应的监控模块封装在相应的Docker容器内。Docker集群主要用于将生物信息软件和监控模块进行封装，并在Docker容器内实时收集生物信息软件的运行环境信息，如IO、CPU和内存等，以及生物信息软件的日志信息，如步骤信息和异常信息等，达到能同时运行但又互不影响的目的，同时通过Docker容器的特性来提高Docker集群资源的使用率和Docker集群的可用性。
当任一Docker容器在计算节点上运行时，此时该Docker容器内的监控模块启动子进程实时采集该Docker容器内生物信息软件的运行环境信息和日志信息，并将采集的信息按不同的话题分类后推送到kafka消息***中进行保存。kafka消息***主要用于保证信息的高可用性以及解耦各部分之间的依赖。
S302，基于分析模块对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果。
通过分析模块根据不同的话题分类的类别从kafka消息***中获取生物信息软件相应类别的运行环境信息和日志信息，并对获取到的这些信息进行分析，获取分析结果。
本实施例通过Docker容器同时集成生物信息软件和监控模块，使用监控模块实时获取生物信息软件运行时的运行环境信息和日志信息，实现实时监控，并且通过kafka消息***将监控信息进行高可用的保存，最后使用分析模块对获取的监控信息进行分析，各***模块之间相互依赖协作，达到生物信息软件的实时监控分析；同时，根据Docker集群的部署方式运行生物信息软件提高了集群的利用率和可用性，节约成本。
在上述实施例的基础上，本实施例中基于分析模块对所述kafka消息***中每种类别的运行环境信息进行分析，获取每种类别的运行环境信息对应的分析结果的步骤包括：对所述kafka消息***中每种类别的运行环境信息进行分析，获取所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；判断所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；若超过，则将所述生物信息软件超过预设资源限制的消息告知所述Docker容器，以供所述Docker容器进行相应处理，并返回错误码，以供管理人员根据所述错误码获取所述错误码对应的错误原因，根据所述错误原因对所述预设资源限制进行调节。
具体地，通过分析模块对各类运行环境信息进行分析，确定生物信息软件的当前CPU使用情况、IO使用情况和MEM使用情况。根据预先设定的资源限制判断生物信息软件的当前CPU使用情况、IO使用情况和MEM使用情况是否超过资源限制，若超过则进行预警，并通过邮件***或其他方式告知相关负责人，从而实现根据监控信息进行及时预警和响应，从而根据实时预警的生物信息软件运行时的环境及时处理，提高了生物信息软件运行的效率。
在上述实施例的基础上，本实施例中基于分析模块对所述kafka消息***中每种类别的日志信息进行分析，获取每种类别的日志信息对应的分析结果的步骤包括：对所述kafka消息***中每种类别的日志信息进行分析，根据所述日志信息分析的结果更新所述生物信息软件的运行时状态，并标记所述生物信息软件的运行步骤；其中，所述日志信息包括步骤信息和异常信息。
具体地，具体地，分析人员根据日志信息的分析结果实时获知生物信息软件的运行情况，掌握生物信息软件的运行进度。
在上述各实施例的基础上，本实施例中还包括：对所述生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取所述生物信息软件每次运行的文件大小和所使用的资源大小；根据所述生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为所述生物信息软件分配资源。
具体地，本实施例将监控信息保存到mysql数据库中，mysql数据库主要用于持久化监控消息，供后续离线分析。由于生物信息软件每次运行时的文件大小一般会发生变化，每次运行的环境信息和日志信息也会发生变化。使用离线分析模块对生物信息软件每次运行的监控信息进行离线分析。
通过对大量运行环境信息和日志信息的离线分析，拟合的函数为生物信息软件的文件大小和生物信息软件运行时所需的资源大小之间的关联关系。该关联关系为后续生物信息软件资源分配的优化提供参考依据，提高了Docker集群的资源使用率。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行如下方法：当Docker集群中的Docker容器在其所在的计算节点上运行时，基于所述Docker容器中封装的监控模块实时收集所述Docker容器中封装的生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到kafka消息***中进行保存；基于分析模块对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种生物信息软件监控***，其特征在于，包括Docker集群、kafka消息***、监控模块、生物信息软件和分析模块；
其中，所述Docker集群包括多个Docker容器和每个所述Docker容器所在的计算节点，所述生物信息软件和所述监控模块一一对应；
每个所述生物信息软件与其对应的所述监控模块封装在相应的Docker容器内；
所述监控模块用于当所述监控模块所在的Docker容器在所述计算节点上运行时，实时收集运行的所述Docker容器中生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到所述kafka消息***中进行保存；
所述分析模块用于对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果；
其中，所述分析模块具体用于：
对所述kafka消息***中每种类别的运行环境信息进行分析，获取所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；
判断所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；
若超过，则将所述生物信息软件超过预设资源限制的消息告知所述Docker容器，以供所述Docker容器进行相应处理，并返回错误码，以供管理人员根据所述错误码获取所述错误码对应的错误原因，根据所述错误原因对所述预设资源限制进行调节。
2.根据权利要求1所述的生物信息软件监控***，其特征在于，所述分析模块具体用于：
对所述kafka消息***中每种类别的日志信息进行分析，根据所述日志信息分析的结果更新所述生物信息软件的运行时状态，并标记所述生物信息软件的运行步骤；其中，所述日志信息包括步骤信息和异常信息。
3.根据权利要求1-2任一所述的生物信息软件监控***，其特征在于，还包括mysql数据库；
其中，所述mysql数据库用于对所述生物信息软件多次运行的运行环境信息和日志信息进行保存；
相应地，还包括离线分析模块，所述离线分析模块用于：
对所述mysql数据库中的运行环境信息和日志信息进行离线分析。
4.根据权利要求3所述的生物信息软件监控***，其特征在于，所述离线分析模块具体用于：
对所述生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取所述生物信息软件每次运行的文件大小和所使用的资源大小；
根据所述生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为所述生物信息软件分配资源。
5.一种生物信息软件监控方法，其特征在于，包括：
当Docker集群中的Docker容器在其所在的计算节点上运行时，基于所述Docker容器中封装的监控模块实时收集所述Docker容器中封装的生物信息软件的运行环境信息和日志信息，并将所述运行环境信息和日志信息进行分类后推送到kafka消息***中进行保存；
基于分析模块对所述kafka消息***中每种类别的运行环境信息和日志信息进行分析，获取每种类别的运行环境信息和日志信息对应的分析结果；
其中，基于分析模块对所述kafka消息***中每种类别的运行环境信息进行分析，获取每种类别的运行环境信息对应的分析结果的步骤包括：
对所述kafka消息***中每种类别的运行环境信息进行分析，获取所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况；
判断所述生物信息软件的CPU使用情况、IO使用情况和MEM使用情况是否超过预设资源限制；
若超过，则将所述生物信息软件超过预设资源限制的消息告知所述Docker容器，以供所述Docker容器进行相应处理，并返回错误码，以供管理人员根据所述错误码获取所述错误码对应的错误原因，根据所述错误原因对所述预设资源限制进行调节。
6.根据权利要求5所述的生物信息软件监控方法，其特征在于，基于分析模块对所述kafka消息***中每种类别的日志信息进行分析，获取每种类别的日志信息对应的分析结果的步骤包括：
对所述kafka消息***中每种类别的日志信息进行分析，根据所述日志信息分析的结果更新所述生物信息软件的运行时状态，并标记所述生物信息软件的运行步骤；其中，所述日志信息包括步骤信息和异常信息。
7.根据权利要求5-6任一所述的生物信息软件监控方法，其特征在于，还包括：
对所述生物信息软件多次运行的运行环境信息和日志信息进行离线分析，获取所述生物信息软件每次运行的文件大小和所使用的资源大小；
根据所述生物信息软件每次运行的文件大小和所使用的资源大小进行函数拟合，以使用拟合的函数为所述生物信息软件分配资源。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5至7任一项所述生物信息软件监控方法的步骤。
CN201911398949.0A 2019-12-30 2019-12-30 生物信息软件监控***及方法 Active CN111211938B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911398949.0A CN111211938B (zh) 2019-12-30 2019-12-30 生物信息软件监控***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911398949.0A CN111211938B (zh) 2019-12-30 2019-12-30 生物信息软件监控***及方法

Publications (2)

Publication Number Publication Date
CN111211938A CN111211938A (zh) 2020-05-29
CN111211938B true CN111211938B (zh) 2021-10-15

Family

ID=70788290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911398949.0A Active CN111211938B (zh) 2019-12-30 2019-12-30 生物信息软件监控***及方法

Country Status (1)

Country Link
CN (1) CN111211938B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116450301B (zh) * 2023-06-14 2023-08-15 天津市天河计算机技术有限公司 基于容器的监控方法、***、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843533B2 (en) * 2014-03-06 2017-12-12 Trilio Data Inc. Elastic compute cloud based on underutilized server resources using a distributed container system
CN105224445B (zh) * 2015-10-28 2017-02-15 北京汇商融通信息技术有限公司 分布式跟踪***
CN107370816A (zh) * 2017-07-26 2017-11-21 郑州云海信息技术有限公司 一种Web应用的部署方法和装置
US10762079B2 (en) * 2017-09-29 2020-09-01 Oracle International Corporation System and method for managing a blockchain cloud service
CN109274556A (zh) * 2018-11-09 2019-01-25 四川长虹电器股份有限公司 一种web日志的收集分析***
CN109743199A (zh) * 2018-12-25 2019-05-10 中国联合网络通信集团有限公司 基于微服务的容器化管理***

Also Published As

Publication number Publication date
CN111211938A (zh) 2020-05-29

Similar Documents

Publication Publication Date Title
WO2020259421A1 (zh) 一种业务***的监控方法及装置
EP2524322B1 (en) A virtualization and consolidation analysis engine for enterprise data centers
EP2503733B1 (en) Data collecting method, data collecting apparatus and network management device
US20210042578A1 (en) Feature engineering orchestration method and apparatus
CN110659307A (zh) 一种事件流的关联分析方法与***
CN110955586A (zh) 一种基于日志的***故障预测方法、装置和设备
AU2021218159B2 (en) Utilizing machine learning models to determine customer care actions for telecommunications network providers
CN115373835A (zh) Flink集群的任务资源调整方法、装置及电子设备
CN112702184A (zh) 故障预警方法及装置、计算机可存储介质
CN111651595A (zh) 一种异常日志处理方法及装置
CN109542737A (zh) 平台告警处理方法、装置、电子装置及存储介质
CN110557291A (zh) 一种网络服务监控***
CN111211938B (zh) 生物信息软件监控***及方法
CN105471938B (zh) 服务器负载管理方法及装置
CN112788010B (zh) 一种基于威胁事件的剧本处理方法、装置、介质和设备
CN112000657A (zh) 数据管理方法、装置、服务器及存储介质
CN112631577B (zh) 一种模型的调度方法、模型调度器以及模型安全测试平台
KR102464688B1 (ko) 모니터링 결과의 이벤트 등급 결정 방법 및 장치
CN114706893A (zh) 故障检测方法、装置、设备及存储介质
CN111581062A (zh) 服务的故障处理方法及服务器
CN113656239A (zh) 针对中间件的监控方法、装置及计算机程序产品
Kuppusamy et al. Switch bandwidth congestion prediction in cloud environment
CN112988417A (zh) 消息处理方法、装置、电子设备及计算机可读介质
CN112948075B (zh) 任务拥堵处理方法、装置和电子设备
JP2021018630A (ja) 警報集約選別装置及び警報集約選別方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant