CN116719702B - 一种采集开源信息的方法、装置、电子设备及存储介质 - Google Patents
一种采集开源信息的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116719702B CN116719702B CN202311004574.1A CN202311004574A CN116719702B CN 116719702 B CN116719702 B CN 116719702B CN 202311004574 A CN202311004574 A CN 202311004574A CN 116719702 B CN116719702 B CN 116719702B
- Authority
- CN
- China
- Prior art keywords
- file
- open source
- source information
- information acquisition
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000012544 monitoring process Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及信息采集技术领域,揭露了一种采集开源信息的方法、装置、电子设备及存储介质,该方法包括:构建开源信息采集架构,其中,开源信息采集架构包括进程管理器及监视器;在进程管理器上配置服务参数及文件目录,并根据文件目录及预先获取的开源信息采集需求创建配置文件;利用监视器编写管理子程序,根据管理子程序监测配置文件的任务运行状态;根据任务运行状态及服务参数对开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。本发明构建开源信息采集架构,并根据开源信息采集架构采集开源信息,可以提高开源信息采集的过程中程序运行启动以及程序运行状态监测的效率。
Description
技术领域
本发明涉及信息采集技术领域,尤其涉及一种采集开源信息的方法、装置、电子设备及存储介质。
背景技术
开源信息采集是软件成分分析(SCA,Software Composition Analysis)工具开发过程中的一个重要环节,采集的开源信息具有种类繁多、数据量大的特点,因此,采集开源信息技术需要通过设计合理的框架结构和算法逻辑,来保证不同类型的开源信息可以有条不紊地采集。目前同类技术对于采集开源信息的过程中,会产生以下问题:一是采集程序种类、数量繁多,无法集中进行统筹管理;二是采集程序启动、重启频繁,重启的速率较低;三是采集程序进程查看复杂,无法快速找到并停止指定程序进程;四是采集程序代码更新迭代多,使得更新迭代的效率不断降低;五是采集程序日志路径复杂,无法快速进行查看;六是采集程序运行状态无法快速并直观地监测到。综上,现有技术中存在开源信息采集过程中程序运行启动以及程序运行状态监测的效率较低的问题。
发明内容
本发明提供一种采集开源信息的方法、装置、电子设备及存储介质,其主要目的在于解决在开源信息采集过程中程序运行启动以及程序运行状态监测的效率较低的问题。
为实现上述目的,本发明提供的一种采集开源信息的方法,包括:构建开源信息采集架构,其中,开源信息采集架构包括进程管理器及监视器;在进程管理器上配置服务参数及文件目录,并根据文件目录及预先获取的开源信息采集需求创建配置文件;利用监视器编写管理子程序,根据管理子程序监测配置文件的任务运行状态;根据任务运行状态及服务参数对开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
本发明还提供一种采集开源信息的装置,装置包括:采集架构构建模块,用于构建开源信息采集架构,其中,开源信息采集架构包括进程管理器及监视器;配置文件生成模块,用于在进程管理器上配置服务参数及文件目录,并根据文件目录及预先获取的开源信息采集需求创建配置文件;运行状态监测模块,用于利用监视器编写管理子程序,根据管理子程序监测配置文件的任务运行状态;开源信息采集模块,用于根据任务运行状态及服务参数对开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
本发明还提供一种电子设备,电子设备包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行上述的采集开源信息的方法。
本发明还提供一种计算机可读存储介质,计算机可读存储介质中存储有至少一个计算机程序,至少一个计算机程序被电子设备中的处理器执行以实现上述的采集开源信息的方法。
本发明实施例通过构建开源信息采集架构,能够从多维度优化程序采集开发的效率,并快速且全面地采集开源信息;通过在进程管理器上配置服务参数及文件目录,能够提高进程管理器的完整性;通过文件目录及开源信息采集需求创建配置文件,能够保证配置文件的准确性;通过监视器编写管理子程序,能够提高开源信息采集过程中程序运行启动的效率以及程序运行监测的效率;根据管理子程序监测配置文件,能够准确得到任务运行状态;通过任务运行状态及服务参数对开源信息采集架构进行更新,得到开源信息采集架构,利用开源信息采集架构采集开源信息,能够实现开源信息采集任务地快速迭代、更新及扩展,同时保证采集***运行的稳定性和灵活性。因此本发明提出的采集开源信息的方法、装置、电子设备及存储介质,可以解决在开源信息采集的过程中程序运行启动以及程序运行状态监测的效率较低的问题。
附图说明
图1为本发明一实施例提供的采集开源信息的方法的流程示意图;
图2为本发明一实施例提供的在进程管理器上配置服务参数及文件目录的流程示意图;
图3为本发明一实施例提供的利用监视器编写管理子程序的流程示意图;
图4为本发明一实施例提供的采集开源信息的装置的功能模块图;
图5为本发明一实施例提供的实现采集开源信息的方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为解决现有技术中提供的采集开源信息的方法所存在的采集开源信息的过程中程序运行启动及程序运行状态监测的效率较低的问题。本发明提供了一种采集开源信息的方法,该方法通过构建包含进程管理器及监视器的开源信息采集架构,利用开源信息采集架构采集开源信息,从而能够提高开源信息采集过程中程序运行启动及程序运行状态监测的效率。
参照图1所示,为本发明一实施例提供的采集开源信息的方法的流程示意图。在本实施例中,采集开源信息的方法包括:
S1、构建开源信息采集架构,其中,开源信息采集架构包括进程管理器及监视器。
在一个实施例中,开源信息采集架构包含至少一个进程管理器及至少一个监视器,其中,进程管理器指的是Supervisor框架,利用Supervisor框架管理所有采集进程;监视器指的是Watchdog,根据Watchdog来监视文件***事件;根据进程管理器及监视器实现服务器上所有采集程序的管理,保证采集程序的稳定性和灵活性。
进一步地,进程管理器,即Supervisor框架是python的高性能进程管理工具,可以在Linux***上启动、停止、重启以及监控多个进程。进程管理器的主要作用是在确保应用程序在崩溃或异常情况下能够自动重启,以保持***的稳定性和可靠性;可以通过简单的配置文件来定义需要管理的进程,一旦配置完成,Supervisor框架将自动监控进程。
进一步地,监视器,即Watchdog是一个python的用于监视文件***事件的库,可以在文件或目录发生变化时触发自定义的操作,其中,操作包括文件或目录的创建、删除、修改和移动等。
在一个实施例中,构建开源信息采集架构,包括:根据预先获取的进程管理程序代码生成初始进程管理器;对初始进程管理器进行文件配置及进程配置,得到进程配置文件及管理进程,并设置初始进程管理器的管理命令;根据进程配置文件、管理进程及管理命令对初始进程管理器进行填充,得到进程管理器;设置安装环境,根据安装环境安装数据库,并对数据库中的连接配置进行参数修改,得到更新数据库;在更新数据库中添加搜索引擎,得到监视器;根据进程管理器及监视器生成开源信息采集架构。
在一个实施例中,进程管理程序代码指的是初始进程管理器的安装代码;根据安装代码可以进行程序安装,具体地,利用预设的运行命令对进程管理程序代码进行安装,其中,运行命令可以为sudo yum install supervisor,得到初始进行管理器。
在一个实施例中,文件配置指的是在初始进程管理器上安装/etc/supervisord.conf进程配置文件;进程配置指的是配置初始进程管理器的服务名称、服务端口、启动目录及日志文件等,得到初始进程管理器的管理进程;管理命令包括查看所有任务状态命令(supervisorctl status)、关闭所有任务命令(supervisorctl shutdown)以及启动任务命令(supervisorctl start)等;将进程配置文件、管理进程及管理命令与初始进程管理器进行合并,得到进程管理器。
在一个实施例中,安装环境指的是预先设定的安装数据库的条件,例如,操作***、硬件大小及内存等;基于安装环境利用预设的安装命令安装数据库,其中,数据库包括web数据库以及client数据库;安装命令指的是sudo apt install postgresqlpostgresql-contrib -y;连接配置指的是对数据库中的TCP/IP参数进行配置,包括IP配置、子网掩码配置以及默认网关配置等;搜索引擎指的是shodan api搜索引擎,将搜索引擎添加后的更新数据库作为监视器。
在一个实施例中,将进程管理器与监视器进行整合,得到开源信息采集架构,能够提高开源信息采集架构的稳定性及灵活性。
S2、在进程管理器上配置服务参数及文件目录,并根据文件目录及预先获取的开源信息采集需求创建配置文件。
请参阅图2所示,在一个实施例中,在进程管理器上配置服务参数及文件目录,包括:S21、获取进程管理器上的进程配置文件,对进程配置文件进行信息修改,得到修改文件;S22、根据修改文件设置进程管理器的服务参数;S23、设置文件存放路径、文件管理命令及文件目录结构;S24、根据文件存放路径、文件管理命令及文件目录结构生成文件目录。
在一个实施例中,对进程配置文件进行修改指的是对进程配置文件中的服务端口、日志路径及配置文件路径等信息进行修改,得到修改文件;进一步地,将修改文件中的信息对应的指令作为服务参数。
在一个实施例中,文件存放路径指的是文件对应的存放地址,包括绝对路径及相对路径,其中,绝对路径指的是从头开始的路径,相对路径指的是相对于当前目录开始的路径;文件管理命令包括tree命令(查看文件命令)、touch命令(创建文件命令)、mkdir命令(创建目录命令)及stat命令(查看文件时间命令)等。
进一步地,文件目录结构可以为树状结构,即将文件目录以树状结构的形式进行建立,即根节点与子节点进行连接,得到文件目录结构,其中,根节点包括根目录(与开机***相关的目录)、/usr目录(与软件安装和执行相关的目录)以及/var目录(与***运作过程相关的目录);根据文件存放路径、文件管理命令及文件目录结构进行汇总,得到文件目录。
在一个实施例中,根据文件目录及预先获取的开源信息采集需求创建配置文件,包括:对开源信息采集需求进行需求分类,得到需求类型;获取文件任务,提取文件任务的采集职能信息,基于采集职能信息对需求类型进行二次划分,得到任务类型;根据任务类型定义任务参数,并根据任务参数从文件目录中选取任务目录;根据需求类型、任务类型、任务参数及任务目录生成配置文件。
在一个实施例中,可以利用预设的关联算法对开源信息采集需求进行需求分类,得到需求类型,其中,关联算法可以为Prefixspan算法或FreeSpan算法;需求类型包括Maven组件采集、Python组件采集等类型。
进一步地,文件任务指的是预先设定的由开源信息采集架构完成的活动,可以为一个进程或一个线程;采集职能信息指的是文件任务对应的作用;根据采集职能信息对需求类型进行进一步的分类,得到任务类型,其中,任务类型包括组件名称采集任务、组件详情采集任务、采集关键字下发任务等类型。
在一个实施例中,根据任务类型设定配置文件对应的任务名称、任务执行命令及任务输出日志路径等任务参数;根据任务参数与文件目录进行匹配,得到文件任务对应的任务目录;将需求类型、任务类型、任务参数及任务目录进行整合,得到配置文件。
在一个实施例中,在进程管理器上配置服务参数及文件目录,能够提高进程管理器的完整性;根据文件目录及开源信息采集需求创建配置文件,能够保证配置文件的准确性。
S3、利用监视器编写管理子程序,根据管理子程序监测配置文件的任务运行状态。
请参阅图3所示,在一个实施例中,利用监视器编写管理子程序,包括:S31、利用监视器提取进程管理器内配置文件对应的文件任务及文件路径;S32、设置文件路径对应的快照计划;S33、对文件任务、文件路径及快照计划进行整合,得到管理子程序。
在一个实施例中,管理子程序中文件任务、文件路径及快照计划为一一对应的关系;利用监视器获取进程管理器中的数据接口,根据数据接口提取配置文件对应的文件任务及文件路径;在文件路径的位置设置快照执行的周期、频率及速率等计划参数,根据计划参数进行整合,得到快照计划;对文件任务、文件路径及快照计划进行整合指的是在文件路径的位置***快照技术,根据文件路径对应的文件任务及快照计划生成多个文件任务对应的监测小程序,将多个监测小程序作为管理子程序。
在一个实施例中,根据管理子程序监测配置文件的任务运行状态,包括:利用管理子程序按照预设的时间间隔依次截取两张配置文件对应的文件路径的路径快照,并判断路径快照是否一致;当两张路径快照一致时,判定配置文件处于未更新状态,提取配置文件对应的文件状态,将文件状态作为任务运行状态;当两张路径快照不一致时,判定配置文件处于已更新状态,提取更新后配置文件对应的文件状态,将文件状态作为任务运行状态。
在一个实施例中,根据管理子程序读取配置文件,其中,包括配置文件对应的文件路径;利用管理子程序中对应的快照计划按照设定快照的时间间隔对文件路径进行依次截取,监测前后两张快照之间的差异。
进一步地,根据差异判读配置文件对应的文件内容是否变化,当文件内容未变化时,表示路径快照未发生改变,即保持一致,则配置文件未更新;当文件内容变化时,表示路径快照发生改变,即出现不一致,则配置文件更新;此时,根据配置文件对应的文件路径,利用进程管理器提供的信息接口获取配置文件的文件状态,其中,文件状态包括RUNNING(运行中)、STOPPED(停止)、FATAL(启动失败)等状态。
在一个实施例中,利用监视器能够准确编写管理子程序,从而保证管理子程序的精确性;通过管理子程序监测配置文件,能够准确得到任务运行状态,从而能够及时发现配置文件的异常状况。
S4、根据任务运行状态及服务参数对开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
在一个实施例中,根据任务运行状态及服务参数对开源信息采集架构进行更新,包括:根据进程管理器对应的信息接口及服务参数提取任务运行状态中的异常任务运行状态;利用服务参数对异常任务运行状态进行修正,得到修正任务运行状态;利用修正任务运行状态对开源信息采集架构中的异常任务运行状态进行替换,得到更新后的开源信息采集架构。
在一个实施例中,信息接口可以为Micro USB接口、USB Type-c接口及Lightning接口等;可以采用网页Web端界面中信息接口对应的方式或服务参数对应的命令提取异常任务运行状态,其中,异常任务运行状态包括重启更新状态及启动失败状态等。
在一个实施例中,利用服务参数中的修正命令对异常任务运行状态进行修正,得到修正任务运行状态,其中,修正命令包括开始命令、重启命令、停止命令等;进一步地,还可以通过FTP、SFTP等工具更新服务器上映射的代码文件,对开源信息采集架构进行重启,得到开源信息采集架构。
在一个实施例中,利用开源信息采集架构采集开源信息指的是根据进程管理器管理开源信息对应的任务进程,并根据监视器监测开源信息对应的任务状态,其中,管理任务进程包括增、删、改及查等管理操作;监测任务状态指的是及时发现开源信息对应的配置文件的异常,保证开源信息采集架构的稳定运行。
在一个实施例中,根据任务运行状态及服务参数对开源信息采集架构进行更新,能够准确得到开源信息采集架构,并保证开源信息采集架构的稳定性及灵活性;利用开源信息采集架构采集开源信息,能够提升采集程序的编写及执行效率,并降低时间成本。
本发明实施例通过构建开源信息采集架构,能够从多维度优化程序采集开发的效率,并快速且全面地采集开源信息;通过在进程管理器上配置服务参数及文件目录,能够提高进程管理器的完整性;通过文件目录及开源信息采集需求创建配置文件,能够保证配置文件的准确性;通过监视器编写管理子程序,能够提高开源信息采集过程中程序运行启动的效率以及程序运行监测的效率;根据管理子程序监测配置文件,能够准确得到任务运行状态;通过任务运行状态及服务参数对开源信息采集架构进行更新,得到开源信息采集架构,利用开源信息采集架构采集开源信息,能够实现开源信息采集任务地快速迭代、更新及扩展,同时保证采集***运行的稳定性和灵活性。因此本发明提出的采集开源信息的方法,可以解决在开源信息采集的过程中程序运行启动以及程序运行状态监测的效率较低的问题。
如图4所示,是本发明一实施例提供的采集开源信息的装置的功能模块图。
本发明采集开源信息的装置400可以安装于电子设备中。根据实现的功能,采集开源信息的装置400可以包括采集架构构建模块401、配置文件生成模块402、运行状态监测模块403及开源信息采集模块404。本发明模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:采集架构构建模块401,用于构建开源信息采集架构,其中,开源信息采集架构包括进程管理器及监视器;配置文件生成模块402,用于在进程管理器上配置服务参数及文件目录,并根据文件目录及预先获取的开源信息采集需求创建配置文件;运行状态监测模块403,用于利用监视器编写管理子程序,根据管理子程序监测配置文件的任务运行状态;开源信息采集模块404,用于根据任务运行状态及服务参数对开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
详细地,在一个实施例中采集开源信息的装置400中的各模块在使用时采用与附图中的采集开源信息的方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
如图5所示,是本发明一实施例提供的实现采集开源信息的方法的电子设备的结构示意图。
电子设备500可以包括处理器501、存储器502、通信总线503以及通信接口504,还可以包括存储在存储器502中并可在处理器501上运行的计算机程序,如采集开源信息的程序。
其中,处理器501在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing Unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器501是电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在存储器502内的程序或者模块(例如执行采集开源信息的程序等),以及调用存储在存储器502内的数据,以执行电子设备的各种功能和处理数据。
存储器502至少包括一种类型的可读存储介质,可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器502在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。存储器502在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)等。进一步地,存储器502还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器502不仅可以用于存储安装于电子设备的应用软件及各类数据,例如采集开源信息的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
通信总线503可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。总线被设置为实现存储器502以及至少一个处理器501等之间的连接通信。
通信接口504用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对电子设备500的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与至少一个处理器501逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
应该了解,实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
具体地,处理器501对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
进一步地,电子设备500集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,可读存储介质存储有计算机程序,计算机程序在被处理器所执行时,可以实现上述任一实施例的采集开源信息的方法。需要说明的是,计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种采集开源信息的方法,其特征在于,所述方法包括:
构建开源信息采集架构,其中,所述开源信息采集架构包括进程管理器及监视器,所述进程管理器为Supervisor框架,所述监视器是一个用于监视文件***事件的库;
在所述进程管理器上配置服务参数及文件目录,并根据所述文件目录及预先获取的开源信息采集需求创建配置文件;
利用所述监视器编写管理子程序,根据所述管理子程序监测所述配置文件,得到任务运行状态;
根据所述任务运行状态及所述服务参数对所述开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
2.如权利要求1所述的采集开源信息的方法,其特征在于,所述构建开源信息采集架构,包括:
根据预先获取的进程管理程序代码生成初始进程管理器;
对所述初始进程管理器进行文件配置及进程配置,得到进程配置文件及管理进程,并设置所述初始进程管理器的管理命令;
根据所述进程配置文件、所述管理进程及所述管理命令对所述初始进程管理器进行填充,得到进程管理器;
设置安装环境,根据所述安装环境安装数据库,并对所述数据库中的连接配置进行参数修改,得到更新数据库;
在所述更新数据库中添加搜索引擎,得到监视器;
根据所述进程管理器及所述监视器生成开源信息采集架构。
3.如权利要求1所述的采集开源信息的方法,其特征在于,所述在所述进程管理器上配置服务参数及文件目录,包括:
获取所述进程管理器上的进程配置文件,对所述进程配置文件进行信息修改,得到修改文件;
根据所述修改文件设置所述进程管理器的服务参数;
设置文件存放路径、文件管理命令及文件目录结构;
根据所述文件存放路径、所述文件管理命令及所述文件目录结构生成文件目录。
4.如权利要求1所述的采集开源信息的方法,其特征在于,所述根据所述文件目录及预先获取的开源信息采集需求创建配置文件,包括:
对所述开源信息采集需求进行需求分类,得到需求类型;
获取文件任务,提取所述文件任务的采集职能信息,基于所述采集职能信息对所述需求类型进行二次划分,得到任务类型;
根据所述任务类型定义任务参数,并根据所述任务参数从所述文件目录中选取任务目录;
根据所述需求类型、所述任务类型、所述任务参数及所述任务目录生成配置文件。
5.如权利要求1所述的采集开源信息的方法,其特征在于,所述利用所述监视器编写管理子程序,包括:
利用所述监视器提取所述进程管理器内配置文件对应的文件任务及文件路径;
设置所述文件路径对应的快照计划;
对所述文件任务、所述文件路径及所述快照计划进行整合,得到管理子程序。
6.如权利要求1所述的采集开源信息的方法,其特征在于,所述根据所述管理子程序监测所述配置文件,得到任务运行状态,包括:
利用所述管理子程序按照预设的时间间隔依次截取两张所述配置文件对应的文件路径的路径快照,并判断所述路径快照是否一致;
当两张所述路径快照一致时,判定所述配置文件处于未更新状态,提取所述配置文件对应的文件状态,将所述文件状态作为任务运行状态;
当两张所述路径快照不一致时,判定所述配置文件处于已更新状态,提取更新后配置文件对应的文件状态,将所述文件状态作为任务运行状态。
7.如权利要求1至6中任一项所述的采集开源信息的方法,其特征在于,所述根据所述任务运行状态及所述服务参数对所述开源信息采集架构进行更新,包括:
根据所述进程管理器对应的信息接口及所述服务参数提取所述任务运行状态中的异常任务运行状态;
利用所述服务参数对所述异常任务运行状态进行修正,得到修正任务运行状态;
利用所述修正任务运行状态对所述开源信息采集架构中的异常任务运行状态进行替换,得到更新后的开源信息采集架构。
8.一种采集开源信息的装置,其特征在于,所述装置包括:
采集架构构建模块,用于构建开源信息采集架构,其中,所述开源信息采集架构包括进程管理器及监视器,所述进程管理器为Supervisor框架,所述监视器是一个用于监视文件***事件的库;
配置文件生成模块,用于在所述进程管理器上配置服务参数及文件目录,并根据所述文件目录及预先获取的开源信息采集需求创建配置文件;
运行状态监测模块,用于利用所述监视器编写管理子程序,根据所述管理子程序监测所述配置文件,得到任务运行状态;
开源信息采集模块,用于根据所述任务运行状态及所述服务参数对所述开源信息采集架构进行更新,利用更新后的开源信息采集架构采集开源信息。
9.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的采集开源信息的方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的采集开源信息的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311004574.1A CN116719702B (zh) | 2023-08-10 | 2023-08-10 | 一种采集开源信息的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311004574.1A CN116719702B (zh) | 2023-08-10 | 2023-08-10 | 一种采集开源信息的方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116719702A CN116719702A (zh) | 2023-09-08 |
CN116719702B true CN116719702B (zh) | 2024-03-26 |
Family
ID=87871995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311004574.1A Active CN116719702B (zh) | 2023-08-10 | 2023-08-10 | 一种采集开源信息的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116719702B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6457142B1 (en) * | 1999-10-29 | 2002-09-24 | Lucent Technologies Inc. | Method and apparatus for target application program supervision |
US8739161B1 (en) * | 2004-12-13 | 2014-05-27 | Infoblox Inc. | Process management |
CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控***及方法 |
CN106844137A (zh) * | 2016-12-08 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 服务器的监控方法和装置 |
CN112732528A (zh) * | 2021-01-08 | 2021-04-30 | 卓望数码技术(深圳)有限公司 | 基于it运维监控的指标采集方法、***、设备及存储介质 |
CN113608765A (zh) * | 2021-08-05 | 2021-11-05 | 北京华云安信息技术有限公司 | 数据处理方法、装置、设备以及存储介质 |
CN114584464A (zh) * | 2022-03-07 | 2022-06-03 | 浪潮云信息技术股份公司 | 一种云平台全自动管理日志采集方法及终端 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11150950B2 (en) * | 2016-12-01 | 2021-10-19 | Vmware, Inc. | Methods and apparatus to manage workload domains in virtual server racks |
-
2023
- 2023-08-10 CN CN202311004574.1A patent/CN116719702B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6457142B1 (en) * | 1999-10-29 | 2002-09-24 | Lucent Technologies Inc. | Method and apparatus for target application program supervision |
US8739161B1 (en) * | 2004-12-13 | 2014-05-27 | Infoblox Inc. | Process management |
CN104486445A (zh) * | 2014-12-30 | 2015-04-01 | 北京天云融创软件技术有限公司 | 一种基于云平台的分布式可扩展资源监控***及方法 |
CN106844137A (zh) * | 2016-12-08 | 2017-06-13 | 腾讯科技(深圳)有限公司 | 服务器的监控方法和装置 |
CN112732528A (zh) * | 2021-01-08 | 2021-04-30 | 卓望数码技术(深圳)有限公司 | 基于it运维监控的指标采集方法、***、设备及存储介质 |
CN113608765A (zh) * | 2021-08-05 | 2021-11-05 | 北京华云安信息技术有限公司 | 数据处理方法、装置、设备以及存储介质 |
CN114584464A (zh) * | 2022-03-07 | 2022-06-03 | 浪潮云信息技术股份公司 | 一种云平台全自动管理日志采集方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN116719702A (zh) | 2023-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8255899B2 (en) | Techniques for upgrade dependency management | |
US8601460B2 (en) | Systems and methods for firmware cloning | |
CN104679500B (zh) | 实体类自动生成实现方法及装置 | |
US10671061B2 (en) | Devices, methods, and systems for a distributed rule based automated fault detection | |
EP2808807B1 (en) | Data structures migration and upgrade | |
CN113238924B (zh) | 分布式图数据库***中的混沌工程实现方法和*** | |
CN109857649B (zh) | 一种资源测试方法及*** | |
CN114780641B (zh) | 多库多表同步方法、装置、计算机设备和存储介质 | |
CN110737594A (zh) | 自动生成测试用例的数据库标准符合性测试方法及装置 | |
CN111694612A (zh) | 配置检查方法、装置、计算机***及存储介质 | |
CN110825409B (zh) | 参数管理方法、电子设备及计算机存储介质 | |
Nagavaram et al. | A cloud-based dynamic workflow for mass spectrometry data analysis | |
CN111400332A (zh) | 项目进度的监控方法及装置 | |
CN116719702B (zh) | 一种采集开源信息的方法、装置、电子设备及存储介质 | |
CN111400128B (zh) | 日志管理方法、装置、计算机设备及存储介质 | |
CN110580253B (zh) | 时序数据组的加载方法、装置、存储介质及电子设备 | |
CN115827179A (zh) | 一种物理机设备的算力调度方法、装置、设备及存储介质 | |
CN113986237A (zh) | Jenkins编译任务的创建方法、装置 | |
CN113918452A (zh) | 一种多国产化平台下的工业软件兼容性测试方法 | |
Fördős et al. | CRDTs for the configuration of distributed Erlang systems | |
TWI778698B (zh) | 日誌解析系統及日誌解析方法 | |
US20240256397A1 (en) | Service/Workload Recovery And Restoration In Container Orchestration Systems | |
CN109254899B (zh) | 一种服务器监控方法和装置 | |
US7739654B2 (en) | Model curation for integrated circuit designs | |
CN117155778A (zh) | 基于云端的算法配置方法、云端服务器、***及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |