CN112416875B - 日志管理方法、装置、计算机设备及存储介质 - Google Patents

日志管理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112416875B
CN112416875B CN202011330705.1A CN202011330705A CN112416875B CN 112416875 B CN112416875 B CN 112416875B CN 202011330705 A CN202011330705 A CN 202011330705A CN 112416875 B CN112416875 B CN 112416875B
Authority
CN
China
Prior art keywords
uniform resource
resource locator
hash table
operation request
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011330705.1A
Other languages
English (en)
Other versions
CN112416875A (zh
Inventor
孟东亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Consumer Finance Co Ltd
Original Assignee
Ping An Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Consumer Finance Co Ltd filed Critical Ping An Consumer Finance Co Ltd
Priority to CN202011330705.1A priority Critical patent/CN112416875B/zh
Publication of CN112416875A publication Critical patent/CN112416875A/zh
Application granted granted Critical
Publication of CN112416875B publication Critical patent/CN112416875B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例属于云技术领域，涉及一种日志管理方法及相关设备，包括：在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，基于所述哈希表获取所述操作请求对应的操作信息；获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储。此外，本申请还涉及区块链技术，所述操作信息可存储于区块链中。本申请提高了微服务架构下日志的采集效率。

Description

日志管理方法、装置、计算机设备及存储介质
技术领域
本申请涉及云技术领域，尤其涉及一种日志管理方法、装置、计算机设备及存储介质。
背景技术
日志的采集与分析是当前微服务架构下的一个难题。因为要实现服务解耦，传统的方式下各服务的日志往往采用独立采集的方式，然而，这并不利于日志的配置和检查。日志是解决***问题定位的重要手段，当***发生故障的时候因为服务分散，排查的时候需要每一台机器每一个服务挨个地查看日志，非常的不方便。为了解决微服务架构下日志管理的难题，现有的方式是通过维护一个专用的日志服务来实现的，例如非常流行的ELK日志采集分析***。
ELK是Elasticsearch、Logstash和Kibana三个单词的首字母缩写。ELK通过使用logstash收集日志，之后将日志直接存储到Elasticsearch中，最后用户通过Kibana查询日志并展示。通过这种方式能够将日志集中到一起并提供统一的接口进行查询分析，logstash即是其中日志采集的入口，服务端可以选择一种方式将日志输入到logstash中(文件方式、端口方式或者缓存方式等)。
然而，这种方式比较复杂笨重，往往需要安装许多组件并启动独立的日志服务。另外，由于ELK是独立的服务，为保证其安全性还需要额外设定一个守护程序来保证日志服务的正常工作，这无异于是增加了整个***的复杂性。由此，最终导致微服务架构下日志采集效率低下的技术问题。
发明内容
本申请实施例的目的在于提出一种日志管理方法、装置、计算机设备及存储介质，旨在解决微服务架构下日志采集效率低下的技术问题。
为了解决上述技术问题，本申请实施例提供一种日志管理方法，采用了如下所述的技术方案：
一种日志管理方法，包括以下步骤：
在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，基于所述哈希表获取所述操作请求对应的操作信息；
获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储。
进一步的，所述基于所述哈希表获取所述操作请求对应的操作信息的步骤包括：
获取所述第一统一资源定位符在所述哈希表中对应的关键词，根据所述关键词读取所述操作请求对应的请求信息；
填充所述请求信息至所述哈希表预设的占位符中，得到所述操作请求对应的操作信息。
进一步的，在所述获取所述第一统一资源定位符在所述哈希表中对应的关键词的步骤之前，包括：
获取第二统一资源定位符，将所述第二统一资源定位符作为当前所述服务端中哈希表的键；
根据所述键、所述第二统一资源定位符对应的预设词以及预设格式规范，创建所述第二统一资源定位符对应的子表，根据所述子表创建所述服务端的哈希表，其中，一个所述哈希表包括至少一个所述子表。
进一步的，所述确定当前服务端的哈希表中是否存在所述第一统一资源定位符的步骤包括：
匹配所述第一统一资源定位符和所述服务端的哈希表中存储的第二统一资源定位符；
根据所述第二统一资源定位符和所述第一统一资源定位符的匹配度，确定所述第一统一资源定位符是否存在于所述哈希表中。
进一步的，所述获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储的步骤包括：
解析所述操作请求，得到所述操作请求的操作编号和操作时间；
将所述操作编号、所述操作时间和所述操作信息组合为所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符同时关联存储在预设的数据库表中。
进一步的，在所述确定当前服务端的哈希表中是否存在所述第一统一资源定位符的步骤之后，包括：
在确定所述哈希表中不存在所述第一统一资源定位符时，确定是否接收到所述第一统一资源定位符的新建请求；
在接收到所述新建请求时，将所述第一统一资源定位符作为新的统一资源定位符在所述哈希表中建立对应的子表。
进一步的，所述基于中间件解析所述操作请求，得到第一统一资源定位符的步骤包括：
确定所述操作请求是否为加密信息，在所述操作请求为所述加密信息时，获取所述操作请求对应的密钥信息；
根据所述密钥信息对所述操作请求进行解密，得到所述第一统一资源定位符。
为了解决上述技术问题，本申请实施例还提供一种日志管理装置，采用了如下所述的技术方案：
解析模块，用于在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
确认模块，用于确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，基于所述哈希表获取所述操作请求对应的操作信息；
存储模块，用于获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志管理方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述日志管理方法的步骤。
上述日志管理方法，通过在接收到客户端发送的操作请求时，基于中间件解析操作请求，得到第一统一资源定位符，通过中间件对日志进行采集和集中的管理，可以实现对微服务内各服务日志的统一配置和检查；之后，确定当前服务端的哈希表中是否存在第一统一资源定位符，在确定哈希表中存在第一统一资源定位符时，基于哈希表获取操作请求对应的操作信息，通过哈希表可以对获取到的第一统一资源定位符进行快速匹配和检索，从而能快速得到对应的操作信息；最后，获取操作信息对应的日志信息，将日志信息和第一统一资源定位符在预设的数据库表中进行关联存储，由此，实现了在微服务架构下对日志的自动采集和集中管理，方便了微服务各服务日志的配置和检查，提高了通过日志对***故障定位的精度，以及在保证日志服务安全的前提下日志采集的效率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是日志管理方法的一个实施例的流程示意图；
图3是根据本申请的日志管理装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
附图标记：日志管理装置500，解析模块501，确认模块502，存储模块503。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的日志管理方法一般由服务端/终端执行，相应地，日志管理装置一般设置于服务端/终端设备中。
应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的日志管理方法的一个实施例的流程图。所述日志管理方法，包括以下步骤：
步骤S201，在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
在本实施例中，操作请求为由客户端向服务端发送的操作请求信号，也可以为任意的数据操作请求。在接收到客户端发送的操作请求时，基于中间件解析该操作请求的第一统一资源定位符，其中，统一资源定位符(URL，uniform resource locator)为因特网的万维网服务程序上用于指定信息位置的表示方法。该第一统一资源定位符则为该操作请求对应的资源定位地址，根据该第一统一资源定位符可以获取到操作请求中所携带的各类信息。中间件则为一种独立的***软件服务程序，管理计算资源和网络通信，在分布式应用中通过中间件实现不同端之间的资源共享。在得到客户端发送的操作请求时，通过中间件则可对该操作请求进行解析，从而得到该操作请求对应的第一统一资源定位符。
步骤S202，确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，基于所述哈希表获取所述操作请求对应的操作信息；
在本实施例中，在得到该第一统一资源定位符时，在当前服务端的哈希表中确定是否存在该第一统一资源定位符，其中，哈希表为根据关键码、值(即key value)直接进行访问的数据结构。若在该哈希表中存在该第一统一资源定位符，则可以基于该哈希表对该第一统一资源定位符进行解析，得到操作请求对应的操作信息，根据该操作信息则可进一步生成该操作请求对应的日志信息；若在该哈希表中不存在该第一统一资源定位符，即表示无法获取到该操作请求对应的操作信息，此时，则不对该操作请求进行日志信息的生成，记录该操作请求为新的操作请求。具体地，在获取到第一统一资源定位符时，通过将该第一统一资源定位符对应的码、值映射到哈希表中的一个位置即可访问到对应的记录，由此即可得到第一统一资源定位符对应的操作信息。其中，该哈希表中的映射函数为散列函数，存放记录的数组则为散列表，通过该散列函数即可获取到该操作请求对应的在散列表中的操作信息。
步骤S203，获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储。
在本实施例中，在得到操作信息时，获取该操作信息对应的日志信息，其中，该日志信息包括操作信息、当前操作请求的操作时间和操作编号等关联信息，将该日志信息和该第一统一资源定位符在预设的数据库表中进行关联存储，即将该日志信息和该第一统一资源定位符作为预设的数据库表中的字段信息，关联存储在该数据库表中。在对日志进行查询时，则可通过该数据库表进行数据查询。
需要强调的是，为进一步保证上述操作信息的私密和安全性，上述操作信息还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本实施例中，实现了在微服务架构下对日志的自动采集和集中管理，方便了微服务各服务日志的配置和检查，提高了通过日志对***故障定位的精度，以及在保证日志服务安全的前提下日志采集的效率。
在本申请的一些实施例中，上述基于所述哈希表获取所述操作请求对应的操作信息包括：
获取所述第一统一资源定位符在所述哈希表中对应的关键词，根据所述关键词读取所述操作请求对应的请求信息；
填充所述请求信息至所述哈希表预设的占位符中，得到所述操作请求对应的操作信息。
在本实施例中，在哈希表中会预先对不同的第二统一资源定位符进行配置，因此，若在哈希表中存在该第一统一资源定位符则可对该第一统一资源定位符进行信息读取，得到该第一统一资源定位符对应的操作信息。具体地，获取该第一统一资源定位符在哈希表中关键词(即key),根据该关键词可以读取到操作请求对应的请求信息，将该请求信息填充至哈希表中的预设的占位符中，即可得到该操作请求对应的操作信息。例如，第一统一资源定位符为/api/change_state，该第一统一资源定位符在哈希表中的关键词为姓名(name)和状态(state)信息，根据该关键词读取到请求信息则为“张三”，“注销”。在读取到该请求信息时，则将该请求信息填充至哈希表中的预设的占位符中，即可得到本次操作请求对应的操作信息为“将用户张三的状态修改为注销”。
本实施例通过获取第一统一资源定位符在哈希表中对应的关键词，再根据关键词读取请求信息及操作信息，使得通过哈希表能够对操作信息进行快速获取，提高了对日志操作信息的记录速度，以及通过日志对***故障定位的精度。
在本申请的一些实施例中，在上述获取所述第一统一资源定位符在所述哈希表中对应的关键词之前，包括：
获取第二统一资源定位符，将所述第二统一资源定位符作为当前所述服务端中哈希表的键；
根据所述键、所述第二统一资源定位符对应的预设词以及预设格式规范，创建所述第二统一资源定位符对应的子表，根据所述子表创建所述服务端的哈希表，其中，一个所述哈希表包括至少一个所述子表。
在本实施例中，在通过哈希表对第一统一资源定位符对应的操作信息进行获取之前，需要预先对哈希表进行创建，并在该哈希表中预先配置多个不同的第二统一资源定位符，该第二统一资源定位符即为预先创建的统一资源定位符。具体地，预先获取若干第二统一资源定位符，如“/api/change_state”和“/api/download_file”，将该第二统一资源定位符作为该哈希表中的键。之后，获取每个第二统一资源定位符对应的预设格式规范，以及预设词，其中，预设词为第二统一资源定位符对应的关键词(即key)，该预设词根据不同的第二统一资源定位符对应不同的内容,如第二统一资源定位符“/api/change_state”对应的预设词则为“name”和“state”，第二统一资源定位符“/api/add_book”对应的预设词则为“book_name”；预设格式规范则为预设词对应的操作规范。根据该键、该预设格式规范和该预设词，创建每个URL对应的子表，该子表即为一个第二统一资源定位符对应的子哈希表，一个哈希表包括至少一个字表。每个第二统一资源定位符对应的子表的通用格式如下：{'some_url’:{‘format’:’{}{}’,‘key’:[‘key1’,‘key2’]}}，其中，some_url为第二统一资源定位符的名称，如“/api/change_state”，format为格式函数，format中的{}为占位符，format中{}与{}之间填充的内容为该第二统一资源定位符对应的预设格式规范，key为第二统一资源定位符对应的预设词。
以第二统一资源定位符的名称为/api/change_state、/api/download_file和/api/add_book为例，创建得到的哈希表则如下所示：{'/api/change_state’:{‘format’:’将用户{}的状态改为{}’,‘key’:[‘name’,‘state’]},'/api/download_file:{‘format’:’筛选条件为：{}省，{}市，日期{}-{}’,‘key’:[‘province’,‘city’,‘start_date’,‘end_date’]},'/api/add_book:{‘format’:’将书本{}添加到收藏’,‘key’:[‘book_name’]}}。
本实施例通过第二统一资源定位符实现了对哈希表的创建，使得通过该哈希表能够对获取到的第一统一资源定位符进行快速检索和匹配，进一步提高了日志的采集效率，以及根据日志对***故障进行排查的效率。
在本申请的一些实施例中，上述确定当前服务端的哈希表中是否存在所述第一统一资源定位符包括：
匹配所述第一统一资源定位符和所述服务端的哈希表中存储的第二统一资源定位符；
根据所述第二统一资源定位符和所述第一统一资源定位符的匹配度，确定所述第一统一资源定位符是否存在于所述哈希表中。
在本实施例中，在确定第一统一资源定位符在当前服务端的哈希表中是否存在时，可通过将该第一统一资源定位符与哈希表中存储的第二统一资源定位符进行匹配，根据匹配度确定该第一统一资源定位符在哈希表中是否存在。具体地，哈希表中存储有多组不同的URL，及其分别对应的关键词和预设格式规范，该哈希表中预先存储的URL即为第二统一资源定位符。匹配该第一统一资源定位符和第二统一资源定位符，若该第一统一资源定位符和该第二统一资源定位符的匹配度大于等于预设阈值，则确定该第一统一资源定位符在该哈希表中存在；若该第一统一资源定位符和该第二统一资源定位符的匹配度小于预设阈值，则确定该第一统一资源定位符在该哈希表中不存在。
本实施例通过对第一统一资源定位符和第二统一资源定位符进行匹配，实现了对匹配成功的第一统一资源定位符的日志统一管理，进一步提高了日志管理的效率。
在本申请的一些实施例中，上述获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储包括：
解析所述操作请求，得到所述操作请求的操作编号和操作时间；
将所述操作编号、所述操作时间和所述操作信息组合为所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符同时关联存储在预设的数据库表中。
在本实施例中，在对操作信息和第一统一资源定位符进行关联存储时，对操作请求进行再次解析，得到该操作请求的操作编号和操作时间，其中，该操作编号为此次操作请求的操作者编号。在得到该操作编号和操作时间时，将该操作编号、操作时间、操作信息和该第一统一资源定位符同时关联存储在预设的数据库表中。例如操作编号为1，操作时间为2020-01-01 10:00:00，则将“时间”＝“2020-01-01 10:00:00”，“操作者ID”＝1，“URL”＝“/api/change_state”，“操作信息”＝“将用户张三的状态改为注销”这一条日志记录数据库表中。
本实施例通过对操作请求的操作编号和操作时间的获取，实现了对当前操作请求的日志的规范化记录。
在本申请的一些实施例中，上述确定当前服务端的哈希表中是否存在所述第一统一资源定位符之后，包括：
在确定所述哈希表中不存在所述第一统一资源定位符时，确定是否接收到所述第一统一资源定位符的新建请求；
在接收到所述新建请求时，将所述第一统一资源定位符作为新的统一资源定位符在所述哈希表中建立对应的子表。
在本实施例中，在哈希表中不存在第一统一资源定位符时，确实是否接受到该第一统一资源定位符的新建请求，在接受到新建请求时，将该第一统一资源定位符作为新的URL在哈希表中建立对应的子表。例如，需要记录的第一统一资源定位符为“/api/add_book”，则获取该第一统一资源定位符的预设格式规范以及预设词，得到该第一统一资源定位符的预设格式规范为“将书本{}添加到收藏”，预设词为“book_name”，在哈希表中建立的该第一统一资源定位符对应的子表则如下所示：{'/api/add_book:{‘format’:’将书本{}添加到收藏’,‘key’:[‘book_name’]}}。
本实施例通过对与哈希表中第二统一资源定位符不匹配的第一统一资源定位符建立新的子表，实现了对新的第一统一资源定位符的统一管理，避免了可能存在操作请求对应的日志记录遗漏的情况，进一步实现了对操作请求对应的日志的全方面统一管理。
在本申请的一些实施例中，上述基于中间件解析所述操作请求，得到第一统一资源定位符的步骤包括：
确定所述操作请求是否为加密信息，在所述操作请求为所述加密信息时，获取所述操作请求对应的密钥信息；
根据所述密钥信息对所述操作请求进行解密，得到所述第一统一资源定位符。
在本实施例中，中间件会对每次由客户端发送至服务端的操作请求进行拦截，在接收到操作请求时，基于中间件对该操作请求进行解析，并确定接收到的该操作请求是否为加密信息；若该操作请求为加密信息，则获取该操作请求对应的密钥信息，根据该密钥信息对该操作请求进行解密，即得到该操作请求对应的第一统一资源定位符。
本实施例通过中间件对操作请求进行解密解析，实现了对操作请求对应的第一统一资源定位符的快速获取，并且通过中间件逻辑与每个服务的进程共存，避免了恶意关闭日志的业务操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种日志管理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的日志管理装置500包括：解析模块501、确认模块502和存储模块503。其中，
解析模块501，用于在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
其中，解析模块包括：
第一获取单元，用于确定所述操作请求是否为加密信息，在所述操作请求为所述加密信息时，获取所述操作请求对应的密钥信息；
解密单元，用于根据所述密钥信息对所述操作请求进行解密，得到所述第一统一资源定位符。
在本实施例中，操作请求为由客户端向服务端发送的操作请求信号，也可以为任意的数据操作请求。在接收到客户端发送的操作请求时，基于中间件解析该操作请求的第一统一资源定位符，其中，统一资源定位符(URL，uniform resource locator)为因特网的万维网服务程序上用于指定信息位置的表示方法。该第一统一资源定位符则为该操作请求对应的资源定位地址，根据该第一统一资源定位符可以获取到操作请求中所携带的各类信息。中间件则为一种独立的***软件服务程序，管理计算资源和网络通信，在分布式应用中通过中间件实现不同端之间的资源共享。在得到客户端发送的操作请求时，通过中间件则可对该操作请求进行解析，从而得到该操作请求对应的第一统一资源定位符。
确认模块502，用于确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，基于所述哈希表获取所述操作请求对应的操作信息；
其中，确认模块包括：
第二获取单元，用于获取所述第一统一资源定位符在所述哈希表中对应的关键词，根据所述关键词读取所述操作请求对应的请求信息；
填充单元，用于填充所述请求信息至所述哈希表预设的占位符中，得到所述操作请求对应的操作信息。
第三获取单元，用于获取第二统一资源定位符，将所述第二统一资源定位符作为当前所述服务端中哈希表的键；
第一创建单元，用于根据所述键、所述第二统一资源定位符对应的预设词以及预设格式规范，创建所述第二统一资源定位符对应的子表，根据所述子表创建所述服务端的哈希表，其中，一个所述哈希表包括至少一个所述子表。
匹配单元，用于匹配所述第一统一资源定位符和所述服务端的哈希表中存储的第二统一资源定位符；
第一确认单元，用于根据所述第二统一资源定位符和所述第一统一资源定位符的匹配度，确定所述第一统一资源定位符是否存在于所述哈希表中。
第二确认单元，用于在确定所述哈希表中不存在所述第一统一资源定位符时，确定是否接收到所述第一统一资源定位符的新建请求；
第二创建单元，用于在接收到所述新建请求时，将所述第一统一资源定位符作为新的统一资源定位符在所述哈希表中建立对应的子表。
在本实施例中，在得到该第一统一资源定位符时，在当前服务端的哈希表中确定是否存在该第一统一资源定位符，其中，哈希表为根据关键码、值(即key value)直接进行访问的数据结构。若在该哈希表中存在该第一统一资源定位符，则可以基于该哈希表对该第一统一资源定位符进行解析，得到操作请求对应的操作信息，根据该操作信息则可进一步生成该操作请求对应的日志信息；若在该哈希表中不存在该第一统一资源定位符，即表示无法获取到该操作请求对应的操作信息，此时，则不对该操作请求进行日志信息的生成，记录该操作请求为新的操作请求。具体地，在获取到第一统一资源定位符时，通过将该第一统一资源定位符对应的码、值映射到哈希表中的一个位置即可访问到对应的记录，由此即可得到第一统一资源定位符对应的操作信息。其中，该哈希表中的映射函数为散列函数，存放记录的数组则为散列表，通过该散列函数即可获取到该操作请求对应的在散列表中的操作信息。
存储模块503，用于获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储。
其中，存储模块包括：
解析单元，用于解析所述操作请求，得到所述操作请求的操作编号和操作时间；
存储单元，用于将所述操作编号、所述操作时间和所述操作信息组合为所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符同时关联存储在预设的数据库表中。
在本实施例中，在得到操作信息时，获取该操作信息对应的日志信息，其中，该日志信息包括操作信息、当前操作请求的操作时间和操作编号等关联信息，将该日志信息和该第一统一资源定位符在预设的数据库表中进行关联存储，即将该日志信息和该第一统一资源定位符作为预设的数据库表中的字段信息，关联存储在该数据库表中。在对日志进行查询时，则可通过该数据库表进行数据查询。
需要强调的是，为进一步保证上述操作信息的私密和安全性，上述操作信息还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本实施例提出的日志管理装置，实现了在微服务架构下对日志的自动采集和集中管理，方便了微服务各服务日志的配置和检查，提高了通过日志对***故障定位的精度，以及在保证日志服务安全的前提下日志采集的效率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备6包括通过***总线相互通信连接存储器61、处理器62、网络接口63。需要指出的是，图中仅示出了具有组件61-63的计算机设备6，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器61至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器61可以是所述计算机设备6的内部存储单元，例如该计算机设备6的硬盘或内存。在另一些实施例中，所述存储器61也可以是所述计算机设备6的外部存储设备，例如该计算机设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器61还可以既包括所述计算机设备6的内部存储单元也包括其外部存储设备。本实施例中，所述存储器61通常用于存储安装于所述计算机设备6的操作***和各类应用软件，例如日志管理方法的程序代码等。此外，所述存储器61还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制所述计算机设备6的总体操作。本实施例中，所述处理器62用于运行所述存储器61中存储的程序代码或者处理数据，例如运行所述日志管理方法的程序代码。
所述网络接口63可包括无线网络接口或有线网络接口，该网络接口63通常用于在所述计算机设备6与其他电子设备之间建立通信连接。
本实施例提出的计算机设备，实现了在微服务架构下对日志的自动采集和集中管理，方便了微服务各服务日志的配置和检查，提高了通过日志对***故障定位的精度，以及在保证日志服务安全的前提下日志采集的效率。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有日志管理程序，所述日志管理程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的日志管理的步骤。
本实施例提出的计算机可读存储介质，实现了在微服务架构下对日志的自动采集和集中管理，方便了微服务各服务日志的配置和检查，提高了通过日志对***故障定位的精度，以及在保证日志服务安全的前提下日志采集的效率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (9)

1.一种日志管理方法，其特征在于，包括下述步骤：
在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，根据所述第一统一资源定位符对应的码、值以及散列函数对所述哈希表中对应的子哈希表进行访问，得到所述操作请求对应的操作信息；
获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储；
所述确定当前服务端的哈希表中是否存在所述第一统一资源定位符的步骤包括：
匹配所述第一统一资源定位符和所述服务端的哈希表中存储的第二统一资源定位符；
根据所述第二统一资源定位符和所述第一统一资源定位符的匹配度，确定所述第一统一资源定位符是否存在于所述哈希表中。
2.根据权利要求1所述的日志管理方法，其特征在于，所述基于所述哈希表获取所述操作请求对应的操作信息的步骤包括：
获取所述第一统一资源定位符在所述哈希表中对应的关键词，根据所述关键词读取所述操作请求对应的请求信息；
填充所述请求信息至所述哈希表预设的占位符中，得到所述操作请求对应的操作信息。
3.根据权利要求2所述的日志管理方法，其特征在于，在所述获取所述第一统一资源定位符在所述哈希表中对应的关键词的步骤之前，包括：
获取第二统一资源定位符，将所述第二统一资源定位符作为当前所述服务端中哈希表的键；
根据所述键、所述第二统一资源定位符对应的预设词以及预设格式规范，创建所述第二统一资源定位符对应的子表，根据所述子表创建所述服务端的哈希表，其中，一个所述哈希表包括至少一个所述子表。
4.根据权利要求1所述的日志管理方法，其特征在于，所述获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储的步骤包括：
解析所述操作请求，得到所述操作请求的操作编号和操作时间；
将所述操作编号、所述操作时间和所述操作信息组合为所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符同时关联存储在预设的数据库表中。
5.根据权利要求1所述的日志管理方法，其特征在于，在所述确定当前服务端的哈希表中是否存在所述第一统一资源定位符的步骤之后，包括：
在确定所述哈希表中不存在所述第一统一资源定位符时，确定是否接收到所述第一统一资源定位符的新建请求；
在接收到所述新建请求时，将所述第一统一资源定位符作为新的统一资源定位符在所述哈希表中建立对应的子表。
6.根据权利要求1所述的日志管理方法，其特征在于，所述基于中间件解析所述操作请求，得到第一统一资源定位符的步骤包括：
确定所述操作请求是否为加密信息，在所述操作请求为所述加密信息时，获取所述操作请求对应的密钥信息；
根据所述密钥信息对所述操作请求进行解密，得到所述第一统一资源定位符。
7.一种日志管理装置，其特征在于，包括：
解析模块，用于在接收到客户端发送的操作请求时，基于中间件解析所述操作请求，得到第一统一资源定位符；
确认模块，用于确定当前服务端的哈希表中是否存在所述第一统一资源定位符，在确定所述哈希表中存在所述第一统一资源定位符时，根据所述第一统一资源定位符对应的码、值以及散列函数对所述哈希表中对应的子哈希表进行访问，得到所述操作请求对应的操作信息；
存储模块，用于获取所述操作信息对应的日志信息，将所述日志信息和所述第一统一资源定位符在预设的数据库表中进行关联存储；
所述确认模块包括：
匹配子模块，用于匹配所述第一统一资源定位符和所述服务端的哈希表中存储的第二统一资源定位符；
判断子模块，用于根据所述第二统一资源定位符和所述第一统一资源定位符的匹配度，确定所述第一统一资源定位符是否存在于所述哈希表中。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的日志管理方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的日志管理方法的步骤。
CN202011330705.1A 2020-11-24 2020-11-24 日志管理方法、装置、计算机设备及存储介质 Active CN112416875B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011330705.1A CN112416875B (zh) 2020-11-24 2020-11-24 日志管理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011330705.1A CN112416875B (zh) 2020-11-24 2020-11-24 日志管理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112416875A CN112416875A (zh) 2021-02-26
CN112416875B true CN112416875B (zh) 2024-04-09

Family

ID=74777097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011330705.1A Active CN112416875B (zh) 2020-11-24 2020-11-24 日志管理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112416875B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114756901B (zh) * 2022-04-11 2022-12-13 敏于行(北京)科技有限公司 操作性风险监控方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070623A (ko) * 2008-12-18 2010-06-28 한국인터넷진흥원 봇 수집ㆍ분석시스템 및 그 방법
CN104396220A (zh) * 2012-06-21 2015-03-04 思科技术公司 用于安全内容检索的方法和设备
CN106202235A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技（中国）有限公司 一种数据处理方法及装置
CN106326258A (zh) * 2015-06-26 2017-01-11 中兴通讯股份有限公司 Url匹配方法及装置
CN107085617A (zh) * 2017-05-31 2017-08-22 北京安云世纪科技有限公司 应用程序页面收藏方法、装置及相应的移动终端
CN107547671A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种url匹配方法及装置
CN109688184A (zh) * 2018-08-21 2019-04-26 平安科技（深圳）有限公司 基于日志的资源调整方法、设备、存储介质及装置
CN110720204A (zh) * 2018-12-19 2020-01-21 阿里巴巴集团控股有限公司 基于共享秘密的区块链存储

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070623A (ko) * 2008-12-18 2010-06-28 한국인터넷진흥원 봇 수집ㆍ분석시스템 및 그 방법
CN104396220A (zh) * 2012-06-21 2015-03-04 思科技术公司 用于安全内容检索的方法和设备
CN106326258A (zh) * 2015-06-26 2017-01-11 中兴通讯股份有限公司 Url匹配方法及装置
CN106202235A (zh) * 2016-06-28 2016-12-07 微梦创科网络科技（中国）有限公司 一种数据处理方法及装置
CN107547671A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种url匹配方法及装置
CN107085617A (zh) * 2017-05-31 2017-08-22 北京安云世纪科技有限公司 应用程序页面收藏方法、装置及相应的移动终端
CN109688184A (zh) * 2018-08-21 2019-04-26 平安科技（深圳）有限公司 基于日志的资源调整方法、设备、存储介质及装置
CN110720204A (zh) * 2018-12-19 2020-01-21 阿里巴巴集团控股有限公司 基于共享秘密的区块链存储

Also Published As

Publication number Publication date
CN112416875A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN111414407A (zh) 数据库的数据查询方法、装置、计算机设备及存储介质
WO2021189954A1 (zh) 日志数据处理方法、装置、计算机设备和存储介质
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN115150261B (zh) 告警分析的方法、装置、电子设备及存储介质
WO2022095518A1 (zh) 接口自动化测试方法、装置、计算机设备及存储介质
US11882154B2 (en) Template representation of security resources
CN112631924A (zh) 自动化测试方法、装置、计算机设备及存储介质
CN112866348A (zh) 数据库访问方法、装置、计算机设备和存储介质
CN113282591B (zh) 权限过滤方法、装置、计算机设备及存储介质
JP2008015733A (ja) ログ管理計算機
CN112416875B (zh) 日志管理方法、装置、计算机设备及存储介质
CN113010542B (zh) 业务数据处理方法、装置、计算机设备及存储介质
CN117171108B (zh) 一种虚拟模型映射方法和***
CN113094283A (zh) 一种数据获取方法、装置、设备及存储介质
CN112948733B (zh) 接口维护方法、装置、计算设备以及介质
CN107294766B (zh) 一种集中管控的方法及***
CN113364848B (zh) 文件缓存方法、装置、电子设备及存储介质
CN114912003A (zh) 文档搜索方法、装置、计算机设备及存储介质
CN114143308A (zh) 文件上传信息处理方法、装置、计算机设备及存储介质
US11947540B1 (en) Query language for metric data
CN115048533B (zh) 知识图谱构建的方法、装置、电子设备及可读存储介质
CN114650252B (zh) 基于企业服务总线的路由方法、装置及计算机设备
CN116723247A (zh) 微服务调用方法、装置、设备及存储介质
CN113626867A (zh) 数据权限过滤方法、装置、计算机设备及存储介质
CN117492752A (zh) 一种页面动态配置方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant