CN107835080B - 一种分布式***数据收集方法及数据签名生成方法 - Google Patents

一种分布式***数据收集方法及数据签名生成方法 Download PDF

Info

Publication number
CN107835080B
CN107835080B CN201711095546.XA CN201711095546A CN107835080B CN 107835080 B CN107835080 B CN 107835080B CN 201711095546 A CN201711095546 A CN 201711095546A CN 107835080 B CN107835080 B CN 107835080B
Authority
CN
China
Prior art keywords
data
signature
splicing
spliced
character strings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711095546.XA
Other languages
English (en)
Other versions
CN107835080A (zh
Inventor
胡怀勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Guosheng Tianfeng Network Technology Co ltd
Original Assignee
Chengdu Guosheng Tianfeng Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Guosheng Tianfeng Network Technology Co ltd filed Critical Chengdu Guosheng Tianfeng Network Technology Co ltd
Priority to CN201711095546.XA priority Critical patent/CN107835080B/zh
Publication of CN107835080A publication Critical patent/CN107835080A/zh
Application granted granted Critical
Publication of CN107835080B publication Critical patent/CN107835080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3247—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving digital signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0643—Hash functions, e.g. MD5, SHA, HMAC or f9 MAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3297—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials involving time stamps, e.g. generation of time stamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2151—Time stamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种分布式***数据收集方法，对更新的文件内容，根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾。与现有技术相比，能够保证分布式的采集数据的同时，不会对***带宽造成过大压力，日志***最大保全，同时还能够提供一定程度的信息安全保障。

Description

一种分布式***数据收集方法及数据签名生成方法
技术领域
本发明涉及一种分布式***数据收集方法及数据签名生成方法，特别是涉及一种适用于大量数据进行收集的分布式***数据收集方法及数据签名生成方法。
背景技术
随着互联网企业规模的扩大，面临的数据量、数据源都会成几何级数的上升，***复杂度也急剧上升，对应的安全的收集数据的需求也会大大提高。
当今主流的监控数据采集框架或多或少都借鉴了Log4j库的设计理念。Log4j实现了一个基于Java的数据记录工具框架，其最初是由Ceki设计并开发，现在已经成为Apache的一个开放源代码项目。在Log4j中定义了3个重要概念，分别是Logger、Appender和Layout：Logger用于定义不同的数据采集对象；Appender描述输出流，如屏幕、文件、GUI组件、Socket服务器、NT事件记录器、syslog进程服务等，通过为Logger指定一个Appender，可以区分不同对象的输出目标；Layout用于指定监控信息的输出格式，通过为Appender来指定一个Layout，可以决定监控信息以何种格式输出，比如是否有带有时间戳，是否包含文件位置信息等。通过这三个组件协同的工作，Log4j为监控数据采集行为控制提供了极大的灵活性。此外，基于预定义的等级和过滤器，用户可以自由地选择需要记录的数据。目前Log4j的团队已经推出了Log4j 2.0，它通过提供一个插件架构，使得该库更具可扩展性。
Log4j虽然功能强大，但是该库只是面向Java语言的，因此基于Log4j机制的其他语言替代库相继应运而生。Log4c便是模仿Log4j原理的C语言实现。类似地，它通过定义Category，Appender和Layout三个属性唯一确定一个数据采集对象。Log4c不支持异步数据采集。
Log4g同样是C语言的一个实现，它基于glib的GObject开发，支持异步数据输出，此外Log4g还支持面向CouchDB的数据记录，便于日后利用基于NoSQL环境的大数据分析。Log4cplus和Log4cxx 是C++的Log4j实现，它们具有线程安全、灵活输出、以及多粒度控制的特点，但Log4cplus的移植性不高，而Log4cxx虽然通过使用APR增强了移植性，但是APR本身增加了用户***的依赖性。此外，Zlog作为一款比较新的数据采集库，通过定义不同的fsync阈值来实现记录监控数据落地请求和磁盘IO工作的异步处理。
可以看到，现有的各种数据采集模块虽然能够实现监控信息的输出，但是在设计上都比较简单。无法将分布式的信息采集到一起，也无法保证信息的安全可靠，更无法根据***的整体状况控制流量，因此在应用***实时运行中，如果突然出现大量数据写入请求，必然导致出现性能瓶颈，轻则数据丢失，重则***瘫痪。而且分布式***具有单台计算机无法比拟的复杂性，网络带宽资源也更加的重要，怎么帮助监控***在海量的服务器中，精准的找到故障现场，这些传统的数据收集方式，也是无法胜任。
综上，虽然目前有很多监控数据异步采集***，但是无法兼顾分布式***整体带宽、性能的基础上给出安全稳定的解决方案，缺陷很明显。
发明内容
本发明要解决的技术问题是提供一种能够保证分布式的采集数据的同时，不会对***带宽造成过大压力，日志***最大保全，同时还能够提供一定程度的信息安全保障的分布式***数据收集方法及数据签名生成方法。
本发明采用的技术方案如下：
一种分布式***数据收集方法，具体方法为：
应用***启动完成后，初始化一个单独的数据采集模块线程负责应用***的数据输出；应用***每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作***的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程。
所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
一种数据签名生成方法，具体方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名。
所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
与现有技术相比，本发明的有益效果是：通过流量控制、时间片安全校验的方法，保证分布式的采集数据的同时，不会对***带宽造成过大压力，日志***最大保全，同时还能够提供一定程度的信息安全保障。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本说明书（包括摘要）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
具体实施例1
一种分布式***数据收集方法，具体方法为：
应用***启动完成后，初始化一个单独的数据采集模块线程负责应用***的数据输出；应用***每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作***的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元（MTU），将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
应用***每次调用数据采集接口时，实际会调用一个写入线程，并立即返回写入请求，从而避免同步操作阻塞应用***的应用逻辑。在本具体实施例中，写入线程会调用linux操作***的文件读写接口，将数据写入到本地磁盘的/data/log（可任意配置，与数据上传处理匹配即可）目录中。在这里，并没有产生实际的网络请求。
Linux操作***启动后，通过配置启动项，将数据上传处理模块启动起来。数据上传处理模块会每隔一定时间通过linux文件***的操作接口，查询***的/data/log（可任意配置，与数据异步采集处理匹配即可）目录下的所有文件，如果文件中的内容有更新，就采用流量控制逻辑将数据按照配置拆分成多个部分，每个部分分别调用安全加密函数，将数据加密后发送上传。
时间戳的值根据实际情况配置，单位是秒，例如，如果是/3600，则表明为整小时时间戳，划分时间片时，如果当前时间为2点到3点之间，则前一个时间片为1点到2点，当前时间片为2点到3点，后一个时间片为3点到4点。
具体实施例2
在具体实施例1的基础上，所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程，能够避免并发带来的资源额外开销，同时能够避免并发可能导致的数据冲突。
具体实施例3
在具体实施例1或2的基础上，所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
具体实施例4
在具体实施例1到3之一的基础上，所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
具体实施例5
一种数据签名生成方法，具体方法步骤为：
方法一：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序（在本具体实施例中为ASCII码序），使用键值对的格式（即key1value1key2value2...）拼接成字符串para_str；
示例: para_str = apphardwarelogmessageStr23123
A2、在上述拼接成的字符串最后拼接上加密密钥；
即，在 para_str 最后拼接上appkey(找***管理员分配xxxxx)
para_str = apphardwarelogmessageStr23123xxxxx
A3、步骤二最后拼接成的字符串最后拼接上时间戳/3600（该值根据实际情况配置，单位是秒）得到 paraWithKey_str 字符串，完成数据的签名；
paraWithKey_str=apphardwarelogmessageStrtopichardwarelog23123xxxxx408510
或，
方法二
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；在方法一实施例的基础上，对 paraWithKey_str 进行 MD5 运算,再将得到的字符串所有字符转换为大写,得到 sign 值
sign=EBABAD9FFFE5F52A56307ECE563D3040
或，
方法三：
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名。
具体实施例6
在具体实施例5的基础上，所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
时间戳的值根据实际情况配置，单位是秒，例如，如果是/3600，则表明为整小时时间戳，划分时间片时，如果当前时间为2点到3点之间，则前一个时间片为1点到2点，当前时间片为2点到3点，后一个时间片为3点到4点。

Claims (5)

1.一种分布式***数据收集方法，具体方法为：
应用***启动完成后，初始化一个单独的数据采集模块线程负责应用***的数据输出；应用***每次调用数据采集接口时，调用一个写入线程，并立即返回写入请求；写入线程调用操作***的文件读写接口，将数据写入到配置的本地磁盘目录中；
每隔一定的设置时间通过文件的操作接口，查询所述配置的目的磁盘目录下的所有文件，如果文件中的内容有更新，则根据流量控制逻辑按照配置拆分为2个以上部分，每个部分分别调用加密函数，将数据加密后进行上报；
所述流量控制逻辑为：根据用户配置的最大传输单元，将需要上报的所有数据进行分段，然后针对每段分别调用签名函数，为数据生成签名，将签名追加到数据的末尾；
所述为数据生成签名的具体签名生成方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
接收到加密后的数据后，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
2.根据权利要求1所述的分布式***数据收集方法，所述方法还包括：通过单例模式初始化一个单独的数据采集模块线程。
3.根据权利要求1所述的分布式***数据收集方法，所述将数据加密后进行上报，为将数据加密后通过TCP网络通信协议将数据发送到中央数据总线。
4.根据权利要求1所述的分布式***数据收集方法，所述方法还包括：将签名追加到数据的末尾后，根据用户配置的每分钟最大网络发送数据限制，将具有签名的数据通过TCP网络通信协议将数据发送到中央数据总线。
5.一种数据签名生成方法，具体方法步骤为：
A1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
A2、在上述拼接成的字符串最后拼接上加密密钥；
A3、步骤二最后拼接成的字符串最后拼接上时间戳，完成数据的签名；
或，
B1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
B2、在上述拼接成的字符串最后拼接上加密密钥；
B3、步骤二最后拼接成的字符串最后拼接上时间戳；
B4、对步骤三最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
或，
C1、将所有要发送的非空参数值的参数按照参数名字典序排序，使用键值对的格式拼接成字符串；
C2、在上述拼接成的字符串最后拼接上加密密钥；
C3、对步骤二最后拼接成的字符串进行MD5运算，再将得到MD5值字符串所有字符转换为大写，得到 sign 值，完成数据的签名；
所述方法还包括：对签名后的数据进行验签时，将数据本身与签名进行分离，然后根据签名生成方法对数据的签名进行验签；其中，如果签名生成方法中，存在拼接时间戳的步骤，则获取当前服务器时间分别生成前一个时间片、当前时间片和后一个时间片对应的签名，与数据带来的签名进行对比，如果能够匹配上则接受数据并放到存放数据的地方，否则将数据直接丢弃；所述时间片的生成方法与时间戳的设置相对应。
CN201711095546.XA 2017-11-09 2017-11-09 一种分布式***数据收集方法及数据签名生成方法 Active CN107835080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711095546.XA CN107835080B (zh) 2017-11-09 2017-11-09 一种分布式***数据收集方法及数据签名生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711095546.XA CN107835080B (zh) 2017-11-09 2017-11-09 一种分布式***数据收集方法及数据签名生成方法

Publications (2)

Publication Number Publication Date
CN107835080A CN107835080A (zh) 2018-03-23
CN107835080B true CN107835080B (zh) 2021-01-05

Family

ID=61654833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711095546.XA Active CN107835080B (zh) 2017-11-09 2017-11-09 一种分布式***数据收集方法及数据签名生成方法

Country Status (1)

Country Link
CN (1) CN107835080B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109088736B (zh) * 2018-09-25 2023-10-03 平安科技（深圳）有限公司 一种基于数字签名的数据通信方法、***及装置
CN112313916B (zh) * 2018-09-30 2023-01-17 北京大学深圳研究生院 一种融合区块链技术拟态存储防篡改日志的方法及***
CN113904840A (zh) * 2021-09-30 2022-01-07 广州海鹚网络科技有限公司 基于签名的医院防篡改请求验证***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821499B2 (ja) * 2006-08-21 2011-11-24 ブラザー工業株式会社 コンテンツ分散保存システム、フレーム取得方法、及びノード装置等
CN101286895B (zh) * 2008-05-22 2010-08-18 上海交通大学 可动态配置的分布式网络数据监控***及方法
CN103138989B (zh) * 2013-02-25 2016-12-28 武汉华工安鼎信息技术有限责任公司 一种海量日志分析***及方法
CN104754021B (zh) * 2013-12-31 2018-04-13 伊姆西公司 用于促进对分布式存储***中的数据的访问的装置和方法
CN103973695A (zh) * 2014-05-16 2014-08-06 浪潮电子信息产业股份有限公司 一种与服务器验证的签名算法
CN104935568A (zh) * 2015-04-20 2015-09-23 成都康赛信息技术有限公司 一种面向云平台接口鉴权签名方法
CN105574205B (zh) * 2016-01-18 2019-03-19 国家电网公司 分布式计算环境的日志动态分析***
CN106951557B (zh) * 2017-03-31 2020-02-07 北京希嘉创智教育科技有限公司 日志关联方法、装置和应用其的计算机***

Also Published As

Publication number Publication date
CN107835080A (zh) 2018-03-23

Similar Documents

Publication Publication Date Title
JP7405745B2 (ja) ブロックチェーンをデジタルツインのセットにリンクするための、コンピュータにより実施されるシステム及び方法
CN109034993B (zh) 对账方法、设备、***及计算机可读存储介质
CN109039749B (zh) 一种远程日志采集和加密传输***及方法
US10114736B2 (en) Virtual service data set generation
US10339039B2 (en) Virtual service interface
CN107835080B (zh) 一种分布式***数据收集方法及数据签名生成方法
CN111694840A (zh) 数据同步方法、装置、服务器及存储介质
EP2769304B1 (en) Telemetry file hash and conflict detection
CN111694749A (zh) 接口自动测试方法、装置、计算机设备及可读存储介质
CN111563016A (zh) 日志采集分析方法、装置、计算机***及可读存储介质
US11989161B2 (en) Generating readable, compressed event trace logs from raw event trace logs
CN110764980A (zh) 日志处理方法和装置
US10775751B2 (en) Automatic generation of regular expression based on log line data
CN110830500A (zh) 网络攻击追踪方法、装置、电子设备及可读存储介质
US20150088958A1 (en) Information Processing System and Distributed Processing Method
US20180295145A1 (en) Multicomputer Digital Data Processing to Provide Information Security Control
CN116996408A (zh) 一种数据传输监控方法、装置、电子设备和存储介质
Barakat et al. Windows forensic investigations using powerforensics tool
CN111291001A (zh) 计算机文件的读取方法、装置、计算机***及存储介质
CN113778709B (zh) 接口调用方法、装置、服务器及存储介质
CN111078569B (zh) 光学字符识别应用的测试方法、装置及存储介质
CN114003737A (zh) 基于人工智能的双录审查辅助方法、装置、设备及介质
CN118138443B (zh) 日志采集方法、***及计算机可读存储介质
US20200210454A1 (en) Category information generating device, category information generating method, search device, search method, and recording medium
CN110569646B (zh) 文件识别方法及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant