JP7373611B2 - ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム - Google Patents

ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム Download PDF

Info

Publication number
JP7373611B2
JP7373611B2 JP2022096421A JP2022096421A JP7373611B2 JP 7373611 B2 JP7373611 B2 JP 7373611B2 JP 2022096421 A JP2022096421 A JP 2022096421A JP 2022096421 A JP2022096421 A JP 2022096421A JP 7373611 B2 JP7373611 B2 JP 7373611B2
Authority
JP
Japan
Prior art keywords
log
database
message queue
log file
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022096421A
Other languages
English (en)
Other versions
JP2022118108A (ja
Inventor
夏 麗 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2022118108A publication Critical patent/JP2022118108A/ja
Application granted granted Critical
Publication of JP7373611B2 publication Critical patent/JP7373611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766—Error or fault reporting or storing
    • G06F11/0775—Content or structure details of the error report, e.g. specific table structure, specific error fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079—Root cause analysis, i.e. error or fault diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioethics (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、コンピュータ技術分野に関し、特に人工知能技術およびセキュリティ技術分野に関し、具体的にログ監査方法、装置、電子機器、媒体およびコンピュータプログラムに関する。
ログは、コンピュータ情報セキュリティ分野において、疑いの余地のない重要性をもっている。コンピュータ技術の発展に伴い、現在のログ量がますます多くなり、大量データをリアルタイムに分析することがチャレンジとなる。また、各種類のアプリケーションが生成したログフォーマットは異なり、問題を遡る場合、それぞれ十数個のアプリケーションにおいて数十個の異なるフォーマットのログファイルを開く可能性があり、効率が非常に低い。したがって、各種類のログ間の関連性をマイニングしてログを総合的に監査することは、ログ監査技術の開発において重点となる。
本開示は、ログ監査方法、装置、電子機器、媒体およびコンピュータプログラムを提供する。
本開示の一態様によれば、収集されたログファイルをカフカメッセージキューに送信して、前記ログファイルを前記カフカメッセージキューに配列することと、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつカフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された前記複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信することと、分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定することと、を含むログ監査方法を提供する。
本開示の別の態様によれば、収集されたログファイルをカフカメッセージキューに送信して、前記ログファイルを前記カフカメッセージキューに配列する送信モジュールと、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつカフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された前記複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信する記憶モジュールと、分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定する統計モジュールと、を含むログ監査装置を提供する。
本開示の別の態様によれば、少なくとも一つのプロセッサと、前記少なくとも一つのプロセッサと通信接続されたメモリとを、含み、前記メモリには、前記少なくとも一つのプロセッサに実行される命令が記憶されており、前記命令が前記少なくとも一つのプロセッサに実行されることで、前記少なくとも一つのプロセッサは本開示の一態様に係る方法を実行可能となる、電子機器を提供する。
本開示の別の態様によれば、コンピュータに本開示の一態様に係る方法を実行させるためのコンピュータ命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
本開示の別の態様によれば、プロセッサに実行される時に本開示の一態様に係る方法を実現するコンピュータプログラムを提供する。
本部分に記述される内容は、本開示の実施例の肝心または重要な特徴を標識するためのものではなく、本開示の範囲を制限するためのものでもないことを理解すべきである。本開示の他の特徴は、以下の明細書を通して、容易に理解されるようになる。
図面は、本方案をよりよく理解するためのものであり、本開示を限定するものではない。
本開示の実施例に係るログ監査方法のフローチャートである。 本開示の他の実施例に係るログ監査方法のフローチャートである。 本開示の実施例に係るログファイルのプロセス概略図である。 本開示の実施例に係るログ監査装置の概略図である。 本開示の実施例を実施できる例示的な電子機器のブロック図を示す概略図である。
以下、図面を参照しながら、本開示の例示的な実施例について説明し、容易に理解するために、その中には本開示の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、ここで記述される実施例に対して様々な変更や修正を行ってもよく、本開示の範囲および精神から逸脱することにならないと理解すべきである。同様に、明確および簡潔するために、以下の記述では、周知の機能および構成の記述を省略する。
図１は、本開示の実施例に係るログ監査方法１００のフローチャートである。
ステップＳ１１０において、収集されたログファイルをカフカメッセージキューに送信して、ログファイルをカフカメッセージキューに配列する。いくつかの実施例において、ログファイルは、様々なデータソース、例えばＫｕｂｅｒｎｅｔｅｓ（登録商標）クラスタ、ホストマシン、容器、アプリケーション、データベースおよびクラウドホストなどに由来することができる。
カフカ（Ｋａｆｋａ（商標））メッセージキューは、高スループットの分散配信購読型メッセージシステムであり、ウェブサイトでのユーザの全ての動作フローデータ、例えばユーザがアクセスしたコンテンツ、ユーザが検索したコンテンツなどを処理することができる。カフカメッセージキューは、ログおよびログ集合を処理することで、これらのデータのスループットに対する要求を解決する。いくつかの実施例において、各データソースからログファイルを収集し、かつ、所定のルール、例えばログファイルがカフカメッセージキューに到達する時間、名称、タイプなどに基づいて、これらのログファイルをカフカメッセージキューに配列する。
ステップＳ１２０において、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつカフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信する。
いくつかの実施例において、ソースログファイルへの遡りとログファイルに対する検索、およびログファイルに対する段階的な保護を実現するために、ソースログファイルとフィールドが抽出されたログファイルとをそれぞれ２つのデータベースに記憶する。
例えば、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、第１のデータベースによりソースログファイルを記憶することができる。第１のデータベースは、Ｈｂａｓｅ（商標）データベースを含んでもよく、Ｈｂａｓｅは、分散型かつカラム指向型の構造化データベースである。ソースログファイルを、システムメモリでないＨｂａｓｅデータベースに記憶することで、システムの再起動時にメモリにおけるログファイルが紛失することを防止することができる。
また、ユーザのアクセスレベル、例えば管理者レベル、保守員レベルおよび一般ユーザレベルを設定することができる。管理者レベルは、第１のデータベースにアクセスしてソースログファイルを閲覧する権限を有する。異常ログ情報が発生した場合、管理者レベルを有するユーザは、第１のデータベースに戻り、その中に記憶されたソースログファイルを閲覧して問題を遡ることができる。
さらに、ログファイルは、様々なフィールド、例えばログを作成する時間、物理デバイスアドレス、ネットワークｉｐアドレスなどを含む。特定のフィールドを検索し易くするために、カフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信することができる。弾性検索エンジン（ＥｌａｓｔｉｃＳｅａｒｃｈ（登録商標））は、カフカメッセージキューにおけるログファイルを受信し、単語分割コントローラにより、対応するログファイルについて単語分割を行って、カフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、かつ各フィールドの重みを計算し、計算された重みと抽出されたフィールドとの両方に基づいて、ログファイルにインデックスを確立し、さらに、確立されたインデックスに基づいてログファイルを検索する。
保守員レベルを有するユーザは、第２のデータベースにおけるログファイルを閲覧して、各データソースの動作状態を監視することができる。一般ユーザレベルを有するユーザは、自分の機器や使用するアプリケーションなどに関するログファイルのみを閲覧することができる。
いくつかの実施例において、さらに、弾性検索エンジンに身元認証モジュールを設置して、データソースの身元を認証することができる。認証に失敗したデータソース、例えば信用できないデータソースまたは登録されていないデータソースに対して、該データソースからのログファイルを第２のデータベースに記憶しない。
ステップＳ１３０において、分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定する。
いくつかの実施例において、分散処理エンジンは、Ｆｌｉｎｋ（商標）を含み、データ並列およびパイプライン方式で各フィールドに対する統計を実行する。Ｆｌｉｎｋは、オープンソース技術スタックであり、バッチ処理、フロー式計算、グラフ計算、対話型照会、機械学習などの機能を提供することができる。例えば、Ｆｌｉｎｋは、各フィールドに関連する様々なデータ、例えば１分毎に処理されるログファイル量、各物理デバイスからのログ量などを統計することができる。Ｆｌｉｎｋは、さらにログファイルの各フィールドを関連付けることができ、例えば、同じフィールドを有するログファイルを統合するなどである。
さらに、Ｆｌｉｎｋは、統計された各フィールドに関連するデータを関連付けることもできる。例えばある物理デバイスからの過去一週間の日平均ログ量と該物理デバイスの当日のログ量とを比較し、又は、例えば前の１０分間に処理された１分毎の平均ログ量と最近１分間に処理されたログ量とを比較し、さらに関連や比較されたフィールドに基づいて異常なログフィールド情報を特定する。例えば、ある物理デバイスの過去一週間の日平均ログ量が１００００である一方、当日のログ量が１００だけであれば、該ログフィールド情報に異常が発生したと判定し、さらに該物理デバイスに対して故障を遡ることができる。また、例えば、前の１０分間に処理された１分毎の平均ログ量が２３０００である一方、最近１分間に処理されたログ量が５０００だけであれば、異常が発生したと判定し、さらにソースログファイルを遡って、故障が発生する可能性のある物理デバイス、アプリケーションなどをさらにチェックする。
また、Ｆｌｉｎｋは、関連付けられたデータを遠隔辞書サーバＲｅｄｉｓ（登録商標）に送信して、遠隔辞書サーバＲｅｄｉｓにより異常監視を行うことができる。
ソースログファイルとフィールドが抽出されたログファイルとをそれぞれ２つのデータベースに記憶することにより、フィールドが抽出されたログファイルの間に関連付けを確立して異常フィールド情報を特定し、そして、第１のデータベースに戻ってソースログファイルにより異常の原因を遡り、これにより、各種類のアプリケーションからの異なるフォーマットのログファイルに対して、速くてリアルタイムなログ監査を行うことができる。
図２は、本開示の他の実施例に係るログ監査方法２００のフローチャートである。
図２において、ステップＳ２２０～Ｓ２４０は、それぞれ方法１００におけるステップＳ１１０～Ｓ１３０に対応する。また、ステップＳ２２０の前にステップＳ２１０をさらに含み、クライアントおよび／または仮想マシンに収集ノードを配置し、収集ノードを利用してログファイルを収集する。
いくつかの実施例において、各クライアントおよび／または仮想マシンに軽量型ログコレクタＦｉｌｅｂｅａｔ（登録商標）を配置することができる。Ｆｉｌｅｂｅａｔは、ローカルファイルのログデータコレクタであり、ログディレクトリまたは特定のログファイルを監視し、かつそれらをカフカメッセージキューに送信することができる。Ｆｉｌｅｂｅａｔを介して収集されたログファイルを、サービス、アプリケーション、ホスト、データセンタなどの毎に欄を分けて配列することができる。さらに、Ｆｉｌｅｂｅａｔが収集したログファイルをカフカメッセージキューに送信し、ログファイルがメッセージキューに到達する時間に基づいて、これらのログファイルをカフカメッセージキューに配列する。
ステップＳ２４０の後に、ステップＳ２５０をさらに含み、異常なログフィールド情報に対して表示および警報を行う。
例えば、Ｈｂａｓｅに記憶されたソースログファイルを表示することができ、例えばＦｉｌｅｂｅａｔにおいてサービス、アプリケーション、ホスト、データセンタなどの毎に欄を分けて配列する方式に基づいて、各ソースログファイルを表示することができる。そして、第２のデータベースに記憶された、フィールドが抽出されたログファイルを、グラフィカル表示、レポート表示、セキュリティイベント警報などの方式で表示して保守監視を行う。
いくつかの実施例において、さらに、弾性検索エンジンにより、特定フィールドのログファイルを検索することができる。例えば、ある物理デバイスの毎週月曜日の午前１０：００－１１：００間のログ量を検索する。
本開示の実施例に係る方法を利用して、ログを収集する必要があるクライアント／仮想マシンにＦｉｌｅｂｅａｔ収集ノードを配置し、かつ、Ｆｉｌｅｂｅａｔ収集ノードにより収集されたログファイルをサービス、アプリケーション、ホスト、データセンターなどの毎に欄を分けて配列することにより、カフカメッセージキューに送信するログファイルを前処理することができる。
図３は、本開示の実施例に係るログファイルのプロセス概略図である。
図３に示すように、データソース３１０からログファイル３００を収集し、データソース３１０は、Ｋｕｂｅｒｎｅｔｅｓクラスタ、ホストマシン、容器、アプリケーション、データベースおよびクラウドホストなどを含むことができる。例えば、各データソース３１０に収集ノード３２０を配置し、収集ノード３２０が各データソース３１０のログファイル３００を収集し、収集ノード３２０に規定された所定のフォーマットに従って配列し、例えばサービス、アプリケーション、ホスト、データセンターなどの毎に欄を分けて配列する。
収集ノード３２０は、収集されたログファイル３００をカフカメッセージキュー３３０に送信し、カフカメッセージキュー３３０は、ログファイルがカフカメッセージキューに到達する時間に基づいて、ログファイルをカフカメッセージキュー３３０に配列する。
カフカメッセージキュー３３０において、キューにおけるソースログファイル３００’を第１のデータベース３４０に記憶するとともに、フィールドが抽出されたログファイル３００’’を第２のデータベース３５０に記憶する。
また、第２のデータベース３５０に記憶された、フィールドが抽出されたログファイル３００’’を弾性検索エンジン３６０に送信して、弾性検索エンジン３６０によって、フィールドが抽出されたログファイル３００’’から、所定のフィールドを有するログファイルを検索することができる。例えば、ある物理デバイスからのログファイル、特定の日付のログファイル、あるネットワークアドレスからのログファイルなどである。
分散処理エンジン３７０は、第２のデータベース３５０に記憶されたログファイル３００’’の各フィールドを読み取って、各フィールドに対して統計および関連付けを行うことができる。例えば、ある物理デバイスからの過去一週間の日平均ログ量と該物理デバイスの当日のログ量とを比較し、又は、例えば、前の１０分間に処理された１分毎の平均ログ量と最近１分間に処理されたログ量とを比較する。そして、統計および関連付けの結果に基づいて、異常なログフィールド情報を特定する。
最後に、第１の表示モジュール３８０は、第１のデータベース３４０にアクセスして、そのうちのソースログファイル３００’を表示することができ、例えば、収集ノード３２０に規定された所定のフォーマットに従って配列されたログファイルを表示し、例えばソースログファイルをサービス、アプリケーション、ホスト、データセンターなどの毎に欄を分けて配列する。第２の表示モジュール３９０は、分散処理エンジン３７０にアクセスして、関連付けられたログファイルを表示することができる。例えば、グラフィカル表示、レポート表示、セキュリティイベント警報などの方式で表示する。第２の表示モジュール３９０は、さらに弾性検索エンジン３６０にアクセスして、フィールドが抽出されたログファイル３００’’に対して、入力された検索フィールドに基づいて検索することができる。
図４は、本開示の実施形態に係るログ監査装置４００の概略図である。
図４に示すように、ログ監査装置４００は、送信モジュール４１０、記憶モジュール４２０および分散処理エンジン４３０を含む。
送信モジュール４１０は、収集されたログファイルをカフカメッセージキューに送信して、ログファイルをカフカメッセージキューに配列するために用いられる。いくつかの実施例において、ログファイルは、様々なデータソース、例えばＫｕｂｅｒｎｅｔｅｓクラスタ、ホストマシン、容器、アプリケーション、データベースおよびクラウドホストなどに由来することができる。
カフカ（Ｋａｆｋａ）メッセージキューは、高スループットの分散配信購読型メッセージシステムであり、ウェブサイトでのユーザの全ての動作フローデータ、例えばユーザがアクセスしたコンテンツ、ユーザが検索したコンテンツなどを処理することができる。カフカメッセージキューは、ログおよびログ集合を処理することで、これらのデータのスループットに対する要求を解決する。いくつかの実施例において、各データソースからログファイルを収集し、かつ、所定のルール、例えばログファイルがカフカメッセージキューに到達する時間、名称、タイプなどに基づいて、これらのログファイルをカフカメッセージキューに配列する。
記憶モジュール４２０は、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつカフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信するために用いられる。
いくつかの実施例において、ソースログファイルへの遡りとログファイルに対する検索、およびログファイルに対する段階的な保護を実現するために、ソースログファイルとフィールドが抽出されたログファイルとをそれぞれ２つのデータベースに記憶する。
例えば、カフカメッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、第１のデータベースによりソースログファイルを記憶することができる。第１のデータベースは、Ｈｂａｓｅデータベースを含んでもよく、Ｈｂａｓｅは、分散型かつカラム指向型の構造化データベースである。ソースログファイルを、システムメモリでないＨｂａｓｅデータベースに記憶することで、システムの再起動時にメモリにおけるログファイルが紛失することを防止することができる。
また、ユーザのアクセスレベル、例えば管理者レベル、保守員レベルおよび一般ユーザレベルを設定することができる。管理者レベルは、第１のデータベースにアクセスしてソースログファイルを閲覧する権限を有する。異常ログ情報が発生した場合、管理者レベルを有するユーザは、第１のデータベースに戻り、その中に記憶されたソースログファイルを閲覧して問題を遡ることができる。
さらに、ログファイルは、様々なフィールド、例えばログを作成する時間、物理デバイスアドレス、ネットワークｉｐアドレスなどを含む。特定のフィールドを検索し易くするために、カフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに弾性検索エンジンに送信することができる。弾性検索エンジン（ＥｌａｓｔｉｃＳｅａｒｃｈ）は、カフカメッセージキューにおけるログファイルを受信し、単語分割コントローラにより、対応するログファイルについて単語分割を行って、カフカメッセージキューにおけるログファイルの複数のフィールドを抽出し、かつ各フィールドの重みを計算し、計算された重みと抽出されたフィールドとの両方に基づいて、ログファイルにインデックスを確立し、さらに、確立されたインデックスに基づいてログファイルを検索する。
保守員レベルを有するユーザは、第２のデータベースにおけるログファイルを閲覧して、各データソースの動作状態を監視することができる。一般ユーザレベルを有するユーザは、自分の機器や使用するアプリケーションなどに関するログファイルのみを閲覧することができる。
いくつかの実施例において、さらに、弾性検索エンジンに身元認証モジュールを設置して、データソースの身元を認証することができる。認証に失敗したデータソース、例えば信用できないデータソースまたは登録されていないデータソースに対して、該データソースからのログファイルを第２のデータベースに記憶しない。
分散処理エンジン４３０は、第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定する。
いくつかの実施例において、分散処理エンジン４３０は、Ｆｌｉｎｋを含み、データ並列およびパイプライン方式で各フィールドに対する統計を実行する。Ｆｌｉｎｋは、オープンソース技術スタックであり、バッチ処理、フロー式計算、グラフ計算、対話型照会、機械学習などの機能を提供することができる。例えば、Ｆｌｉｎｋは、各フィールドに関連する様々なデータ、例えば１分毎に処理されるログファイル量、各物理デバイスからのログ量などを統計することができる。Ｆｌｉｎｋは、さらにログファイルの各フィールドを関連付けることができ、例えば、同じフィールドを有するログファイルを統合するなどである。
さらに、Ｆｌｉｎｋは、統計された各フィールドに関連するデータを関連付けることもできる。例えばある物理デバイスからの過去一週間の日平均ログ量と該物理デバイスの当日のログ量とを比較し、又は、例えば前の１０分間に処理された１分毎の平均ログ量と最近１分間に処理されたログ量とを比較し、さらに関連や比較されたフィールドに基づいて異常なログフィールド情報を特定する。例えば、ある物理デバイスの過去一週間の日平均ログ量が１００００である一方、当日のログ量が１００だけであれば、該ログフィールド情報に異常が発生したと判定し、さらに該物理デバイスに対して故障を遡ることができる。また、例えば、前の１０分間に処理された１分毎の平均ログ量が２３０００である一方、最近１分間に処理されたログ量が５０００だけであれば、異常が発生したと判定し、さらにソースログファイルを遡って、故障が発生する可能性のある物理デバイス、アプリケーションなどをさらにチェックする。
また、Ｆｌｉｎｋは、関連付けたデータを遠隔辞書サーバＲｅｄｉｓに送信して、遠隔辞書サーバＲｅｄｉｓにより異常監視を行うことができる。
ソースログファイルとフィールドが抽出されたログファイルとをそれぞれ２つのデータベースに記憶することにより、フィールドが抽出されたログファイルの間に関連付けを確立して異常フィールド情報を特定し、そして、第１のデータベースに戻ってソースログファイルに基づいて異常の原因を遡ることができ、これにより、各種類のアプリケーションからの異なるフォーマットのログファイルに対して、速くてリアルタイムなログ監査を行うことができる。
図５は、本開示の実施例を実施できる例示的な電子機器５００のブロック図を示す概略図である。電子機器は、様々な形式のデジタルコンピュータを示すことを意図し、例えば、ラップトップ型コンピュータ、デスクトップコンピュータ、作業台、パーソナル・デジタル・アシスタント、サーバ、ブレードサーバ、大型コンピュータおよび他の適宜なコンピュータがある。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器および他の類似の計算装置がある。本明細書に示された部材、それらの接続と関係、および、それらの機能は、例示に過ぎず、本明細書に記述されたおよび／または要求された本開示の実現を限定するものではない。
図５に示すように、機器５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム又は記憶手段５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラムに基づいて、様々な適宜な動作および処理を実行できる計算手段５０１を含む。ＲＡＭ５０３において、機器５００の操作に必要な様々なプログラムおよびデータをさらに記憶してもよい。計算手段５０１、ＲＯＭ５０２およびＲＡＭ５０３は、バス５０４を介して相互に接続されている。バス５０４には、さらに、入力／出力（Ｉ／Ｏ）インタフェース５０５が接続されている。
機器５００における複数の部品は、Ｉ／Ｏインタフェース５０５に接続されており、例えばキーボード、マウスなどの入力手段５０６と、例えば様々なタイプのディスプレイ、スピーカなどの出力手段５０７と、例えば磁気ディスク、光ディスクなどの記憶手段５０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段５０９と、を含む。通信手段５０９は、機器５００がインターネットのようなコンピュータネットワークおよび／または様々な電気通信網を介して他の機器と情報／データをやり取りすることを可能にする。
計算手段５０１は、処理および計算能力を有する様々な汎用および／または専用の処理モジュールであってもよい。計算手段５０１のいくつかの例示としては、中央処理手段（ＣＰＵ）、画像処理手段（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々なデバイス学習モデルアルゴリズムを実行する計算手段、デジタルシグナルプロセッサ（ＤＳＰ）、任意の適宜なプロセッサ、コントローラ、マイクロコントローラなどが挙げられるが、これらに限られない。計算手段５０１は、上記の各方法および処理、例えば方法１００または２００を実行する。例えば、いくつかの実施例において、上記方法は、有形のものとしてデバイス読み取り可能な媒体、例えば記憶手段５０８に含まれるコンピュータソフトウェアプログラムとして実現される。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ５０２および／または通信手段５０９を介して機器５００にロードおよび／またはインストールされる。コンピュータプログラムがＲＡＭ５０３にロードされかつ計算手段５０１により実行される場合、上記方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例において、計算手段５０１は、他の任意の適宜な方式（例えばファームウェアによる方式）により方法を実行するように構成されてもよい。
本明細書における上記のシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システム・オン・チップのシステム（ＳＯＣ）、負荷プログラマブルロジック機器（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組合せにおいて実現することができる。これらの各種実施形態は、１つ又は複数のコンピュータプログラムで実行されることを含んでもよく、この１つ又は複数のコンピュータプログラムが、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上に実行および／または解釈されてもよく、このプログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであり、記憶システムと、少なくとも１つの入力装置と、少なくとも１つの出力装置とから、データおよび命令を受信し、データおよび命令をこの記憶システムと、この少なくとも１つの入力装置と、この少なくとも１つの出力装置とに転送してもよい。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組合せによって書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供され、プログラムコードがプロセッサ又はコントローラにより実行される時にフローチャートおよび／またはブロック図に規定された機能・操作が実施されるようにしてもよい。プログラムコードは、完全にデバイスに実行されてもよく、部分的にデバイスに実行されてもよく、独立ソフトウェアパックとして部分的にデバイスに実行されかつ部分的に遠隔デバイスに実行され、或いは完全に遠隔デバイス又はサーバに実行されてもよい。
本開示のコンテキストにおいて、デバイス読み取り可能な媒体は、命令実行システム、装置又は機器に使用される或いは命令実行システム、装置又は機器と組合せて使用されるプログラムを含むか記憶する有形の媒体であってもよい。デバイス読み取り可能な媒体は、デバイス読み取り可能な信号媒体又はデバイス読み取り可能な記憶媒体であってもよい。デバイス読み取り可能な媒体は、電子、磁気的、光学的、電磁気的や赤外のもの、又は半導体システム、装置又は機器、或いは上記内容の任意の適宜な組合せを含むが、これらに限られない。デバイス読み取り可能な記憶媒体のより具体的な例示は、１つ又は複数のラインによる電気接続、携帯コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、携帯コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学的記憶機器、磁気的記憶機器、又は上記内容の任意の適宜な組合せを含む。
ユーザとの対話を提供するために、コンピュータでここで記述したシステムおよび技術を実施してもよく、このコンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードおよびポインティング装置（例えば、マウス又はトラックボール）とを有し、ユーザは、このキーボードおよびこのポインティング装置によって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとの対話を提供するためのものであってもよく、例えば、ユーザに提供するフィードバックは、任意の形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（声入力、語音入力、又は触覚入力を含む）でユーザからの入力を受信してもよい。
ここで記述されたシステムおよび技術は、バックグラウンド部品を含む計算システム（例えば、データサーバとする）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含む計算システム（例えば、グラフィカル・ユーザ・インターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザはこのグラフィカル・ユーザ・インターフェース又はこのネットワークブラウザを介してここで説明したシステムおよび技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、或いはフロントエンド部品の任意の組合せを含む計算システムで実施されてもよい。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムの部品を相互に接続してもよい。通信ネットワークの例示は、ローカルエリアネットワーク（ＬＡＮ）と、広域ネットワーク（ＷＡＮ）と、インターネットを含む。
コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバとは、一般的に互いに離れて、且つ通常に通信ネットワークを介して対話する。相応するコンピュータで実行されるとともに、互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係を形成する。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのうちの一つのホスト製品であり、それにより、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）に存在する管理難度が大きく、サービス拡張性が弱いという欠陥を解決している。サーバは、分散システムのサーバであってもよく、又はブロックチェーンを結合したサーバであってもよい。
以上に示した様々な形式のフローを利用して、ステップを並び替え、追加又は削除することができると理解すべきである。例えば、本開示に記載された各ステップは、並行に実行されてもよいし、順に実行されてもよいし、異なる順序で実行されてもよく、本開示が開示した技術案が所望する結果を実現できる限り、本明細書はここで限定しない。
上述した具体的な実施形態は、本開示の保護範囲に対する限定を構成しない。当業者は、設計要求や他の要因に応じて、様々な修正、組合、サブ組合および置換を行うことができると理解すべきである。本開示の趣旨および原則の範囲内になされた任意の修正、等価な置換、改進などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (12)

  1. 収集されたログファイルを分散配信購読型メッセージキューに送信して、前記ログファイルを前記分散配信購読型メッセージキューに配列することと、
    分散配信購読型メッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつ分散配信購読型メッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された前記複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに検索エンジンに送信することと、
    分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定することと、を含む
    ログ監査方法。
  2. クライアントおよび／または仮想マシンに収集ノードを配置することと、
    前記収集ノードを利用してログファイルを収集することと、をさらに含む
    請求項１に記載の方法。
  3. 前記収集されたログファイルを分散配信購読型メッセージキューに送信して、前記ログファイルを前記分散配信購読型メッセージキューに配列することは、
    ログファイルが分散配信購読型メッセージキューに到達する時間に基づいて、前記ログファイルを前記分散配信購読型メッセージキューに配列することを含む
    請求項１に記載の方法。
  4. 前記第１のデータベースは、分散型かつカラム指向型の構造化データベースを含む
    請求項１に記載の方法。
  5. 前記分散配信購読型メッセージキューにおけるログファイルの複数のフィールドを抽出することは、
    ログファイルにおけるネットワークアドレスフィールド、ホスト名フィールドのうちの少なくとも一つを抽出することと、
    抽出されたネットワークアドレスフィールド、ホスト名フィールドのうちの少なくとも一つに基づいて、ログファイルを第２のデータベースに記憶するとともに検索エンジンに送信して、検索エンジンによって第２のデータベースにおける各フィールドを検索することと、を含む
    請求項１に記載の方法。
  6. 前記分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計することは、
    ログファイルの統計データを生成することと、
    前記統計データを遠隔辞書サーバに送信することと、を含む
    請求項１に記載の方法。
  7. 分散処理エンジンによって第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定することは、
    第２のデータベースに記憶されたログファイルの各フィールドを関連付けることと、
    関連付けたフィールドが所定のルールを満たしているか否かを判定することと、
    所定のルールを満たしていない関連付けたフィールドを異常なログフィールド情報と特定することと、を含む
    請求項１に記載の方法。
  8. 異常なログフィールド情報に対して表示および警報を行うことをさらに含む
    請求項７に記載の方法。
  9. 収集されたログファイルを分散配信購読型メッセージキューに送信して、前記ログファイルを前記分散配信購読型メッセージキューに配列する送信モジュールと、
    分散配信購読型メッセージキューにおけるログファイルを直接的に第１のデータベースに記憶し、かつ分散配信購読型メッセージキューにおけるログファイルの複数のフィールドを抽出し、抽出された前記複数のフィールドに基づいて、ログファイルを第２のデータベースに記憶するとともに検索エンジンに送信する記憶モジュールと、
    第２のデータベースに記憶されたログファイルの各フィールドを統計して、異常なログフィールド情報を特定する分散処理エンジンと、を含む
    ログ監査装置。
  10. 少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサと通信接続されたメモリとを、含み、
    前記メモリには、前記少なくとも一つのプロセッサに実行される命令が記憶されており、前記命令が前記少なくとも一つのプロセッサに実行されることで、前記少なくとも一つのプロセッサは請求項１～８のいずれか一項に記載の方法を実行可能となる
    電子機器。
  11. コンピュータに請求項１～８のいずれか一項に記載の方法を実行させるためのコンピュータ命令を記憶した非一時的なコンピュータ読み取り可能な記憶媒体。
  12. プロセッサに実行される時に請求項１～８のいずれか一項に記載の方法を実現するコンピュータプログラム。
JP2022096421A 2021-06-25 2022-06-15 ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム Active JP7373611B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110712632.0 2021-06-25
CN202110712632.0A CN113342564B (zh) 2021-06-25 2021-06-25 日志审计方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
JP2022118108A JP2022118108A (ja) 2022-08-12
JP7373611B2 true JP7373611B2 (ja) 2023-11-02

Family

ID=77478823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022096421A Active JP7373611B2 (ja) 2021-06-25 2022-06-15 ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム

Country Status (5)

Country Link
US (1) US20220309053A1 (ja)
EP (1) EP4099170B1 (ja)
JP (1) JP7373611B2 (ja)
KR (1) KR20220087408A (ja)
CN (1) CN113342564B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822519B2 (en) * 2021-11-30 2023-11-21 Bank Of America Corporation Multi-dimensional database platform including an apache kafka framework and an auxiliary database for event data processing and provisioning
CN114416685B (zh) * 2021-12-22 2023-04-07 北京百度网讯科技有限公司 日志处理方法、***和存储介质
CN114969083B (zh) * 2022-06-24 2024-06-14 在线途游（北京）科技有限公司 一种实时数据分析方法及***
CN115481166B (zh) * 2022-08-08 2024-06-18 永信至诚科技集团股份有限公司 一种数据存储方法、装置、电子设备及计算机存储介质
CN116302589A (zh) * 2022-11-30 2023-06-23 三一海洋重工有限公司 快速存储机械设备大数据的方法及机械设备自动化***
CN115629951B (zh) * 2022-12-20 2023-03-28 北京蔚领时代科技有限公司 一种任务全链路追踪方法、第一节点、链路***及介质
CN116028461B (zh) * 2023-01-06 2023-09-19 北京志行正科技有限公司 一种基于大数据的日志审计***
CN115794563B (zh) * 2023-02-06 2023-04-11 北京升鑫网络科技有限公司 一种***审计日记的降噪方法、装置、设备及可读介质
CN116991661A (zh) * 2023-07-20 2023-11-03 北京直客通科技有限公司 软件***的问题告警***及方法
CN117493162B (zh) * 2023-12-19 2024-06-21 易方达基金管理有限公司 一种接口测试的数据校验方法、***、设备及存储介质
CN117857182A (zh) * 2024-01-10 2024-04-09 江苏金融租赁股份有限公司 一种服务器异常访问的处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110102A (ja) 2007-10-26 2009-05-21 Chugoku Electric Power Co Inc:The ログ監視システムおよびログ監視方法
JP2016004297A (ja) 2014-06-13 2016-01-12 日本電信電話株式会社 ログ分類装置、ログ分類方法、及びログ分類プログラム
JP2016125837A (ja) 2014-12-26 2016-07-11 国立研究開発法人日本原子力研究開発機構 高速炉の制御棒案内管
CN109284251A (zh) 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6386593B2 (ja) * 2015-02-04 2018-09-05 日本電信電話株式会社 悪性通信パターン抽出装置、悪性通信パターン抽出システム、悪性通信パターン抽出方法、および、悪性通信パターン抽出プログラム
US11513480B2 (en) * 2018-03-27 2022-11-29 Terminus (Beijing) Technology Co., Ltd. Method and device for automatically diagnosing and controlling apparatus in intelligent building
CN108537544B (zh) * 2018-04-04 2020-06-23 中南大学 一种交易***实时监控方法及其监控***
CN110011962B (zh) * 2019-02-21 2021-10-01 国家计算机网络与信息安全管理中心 一种车联网业务数据的识别方法
CN109933505A (zh) * 2019-03-14 2019-06-25 深圳市珍爱捷云信息技术有限公司 日志处理方法、装置、计算机设备和存储介质
CN110245060A (zh) * 2019-05-20 2019-09-17 北京奇艺世纪科技有限公司 服务监控方法和设备、服务监控装置及介质
WO2020258290A1 (zh) * 2019-06-28 2020-12-30 京东方科技集团股份有限公司 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集***
US11354836B2 (en) * 2019-07-24 2022-06-07 Oracle International Corporation Systems and methods for displaying representative samples of tabular data
US11157514B2 (en) * 2019-10-15 2021-10-26 Dropbox, Inc. Topology-based monitoring and alerting
CN111597550A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 一种日志信息分析方法及相关装置
US20220131879A1 (en) * 2020-10-26 2022-04-28 Nutanix, Inc. Malicious activity detection and remediation in virtualized file servers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009110102A (ja) 2007-10-26 2009-05-21 Chugoku Electric Power Co Inc:The ログ監視システムおよびログ監視方法
JP2016004297A (ja) 2014-06-13 2016-01-12 日本電信電話株式会社 ログ分類装置、ログ分類方法、及びログ分類プログラム
JP2016125837A (ja) 2014-12-26 2016-07-11 国立研究開発法人日本原子力研究開発機構 高速炉の制御棒案内管
CN109284251A (zh) 2018-08-14 2019-01-29 平安普惠企业管理有限公司 日志管理方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
EP4099170A1 (en) 2022-12-07
US20220309053A1 (en) 2022-09-29
EP4099170B1 (en) 2024-02-07
CN113342564A (zh) 2021-09-03
CN113342564B (zh) 2023-12-12
JP2022118108A (ja) 2022-08-12
KR20220087408A (ko) 2022-06-24

Similar Documents

Publication Publication Date Title
JP7373611B2 (ja) ログ監査方法、装置、電子機器、媒体およびコンピュータプログラム
CN111984499B (zh) 一种大数据集群的故障检测方法和装置
US20210092160A1 (en) Data set creation with crowd-based reinforcement
CN108090351B (zh) 用于处理请求消息的方法和装置
CN112636957B (zh) 基于日志的预警方法、装置、服务器及存储介质
CN107506256B (zh) 一种崩溃数据监控的方法和装置
US11546380B2 (en) System and method for creation and implementation of data processing workflows using a distributed computational graph
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
CN109614319B (zh) 自动化测试方法、装置、电子设备及计算机可读介质
US9922116B2 (en) Managing big data for services
CN115033876A (zh) 日志处理方法、日志处理装置、计算机设备及存储介质
CN112182025A (zh) 日志分析方法、装置、设备与计算机可读存储介质
US11822578B2 (en) Matching machine generated data entries to pattern clusters
CN116089985A (zh) 一种分布式日志的加密存储方法、装置、设备及介质
US20220414095A1 (en) Method of processing event data, electronic device, and medium
CN110781232A (zh) 数据处理方法、装置、计算机设备和存储介质
CN113590447B (zh) 埋点处理方法和装置
CN115495587A (zh) 一种基于知识图谱的告警分析方法及装置
CN114444087A (zh) 一种越权漏洞检测方法、装置、电子设备及存储介质
US11025658B2 (en) Generating summaries of messages associated with assets in an enterprise system
CN112214497A (zh) 一种标签的处理方法、装置及计算机***
CN116244740B (zh) 一种日志脱敏方法、装置、电子设备及存储介质
CN110719260B (zh) 智能网络安全分析方法、装置及计算机可读存储介质
CN114996557B (zh) 服务稳定性确定方法、装置、设备以及存储介质
CN112527880B (zh) 大数据集群元数据信息的采集方法、装置、设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R150 Certificate of patent or registration of utility model

Ref document number: 7373611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150