CN108011966A - 一种自助终端日志压缩上传的优化方法 - Google Patents
一种自助终端日志压缩上传的优化方法 Download PDFInfo
- Publication number
- CN108011966A CN108011966A CN201711341883.2A CN201711341883A CN108011966A CN 108011966 A CN108011966 A CN 108011966A CN 201711341883 A CN201711341883 A CN 201711341883A CN 108011966 A CN108011966 A CN 108011966A
- Authority
- CN
- China
- Prior art keywords
- client
- compressed
- file
- server
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自助终端日志压缩上传的优化方法,方法包括:客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理;所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。服务器接收每一客户端上传的压缩后的日志文件;所述服务器将接收的压缩后的日志文件分配制文件保存队列,并向所述客户端返回正常接收响应;所述服务器检测所述压缩后的日志文件中是否有异常信息;若没有,则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。上述方法有效减少了客户端等待服务器的响应时间,提高了自助终端的功能体验。
Description
技术领域
本发明涉及计算机技术,特别是一种自助终端日志压缩上传的优化方法。
背景技术
自助终端典型的技术架构为客户端/服务端架构。自助终端客户端产生的日志上传至服务端有助于终端运维人员进行排查问题,但基于该架构下如果自助终端日志的并发量过大,直接影响了自助终端正常的正常流程。同时,由于上传客户端日志到服务端后,写入硬盘的操作时间一般较长,使得服务器存在大量的阻塞线程,若随着自助终端的台数不断增大,在不横向增加服务器资源的情况下,将会使得所有自助终端的功能请求缓慢,用户体验差。
发明内容
针对现有技术中的问题,本发明提供一种自助终端日志压缩上传的优化方法。
第一方面,本发明提供一种自助终端日志压缩上传的优化方法,包括:
客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理;
所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。
可选地,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后,得到的文件;
所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同。
可选地,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度;
所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同。
可选地,所述客户端在压缩处理的过程中将压缩的部分日志信息依序上传服务器,包括:
所述客户端将压缩的部分日志文件以HTTP协议的方式发送所述服务器。
可选地,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理;
所述空闲时间段为所述客户端依据预设时间段内使用信息统计得到的。
可选地,所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器,包括:
所述客户端在第一空闲时间段将压缩的部分日志文件上传服务器后,记录已经上传的部分日志文件的节点;在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。
第二方面,本发明提供一种自助终端日志压缩上传的优化方法,包括:
服务器接收每一客户端上传的压缩后的日志文件;
所述服务器将接收的压缩后的日志文件分配制文件保存队列,并向所述客户端返回正常接收响应;
所述服务器检测所述压缩后的日志文件中是否有异常信息;
若没有,则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。
可选地,所述客户端上传的压缩后的日志文件为所述客户端以熵编码为基础,采用位移的运算方式获取的压缩后的日志文件。
可选地,所述方法还包括:
所述服务器检测到所述压缩后的日志文件存在异常信息,则将所述压缩后的日志文件发送运维支撑***。
可选地,所述方法还包括:
所述服务器将压缩后的日志文件切割为多个压缩文件包,以及所述服务器基于切割的多个压缩文件包,通过线程池创建多个线程,采用创建的线程对每个压缩文件包进行解压缩,并将解压缩的文件合并,在线展示。
本发明具有的有益效果:
本发明实施例中自助终端日志压缩上传的优化方法,通过将客户端日志采用熵编码无分支算法的方式对待上传的日志文件进行压缩打包,并采用边压缩边上传的方式上传服务器,服务器端采用异步多线程的方式来进行日志文件存盘,这样就有效地减少了客户端等待服务器响应时间,同时提高了自助终端的功能体验。
附图说明
图1为本发明一实施例提供的自助终端日志压缩上传的优化方法的示意图;
图2为本发明另一实施例提供的自助终端日志压缩上传的优化方法的示意图;
图3为本发明一实施例提供的客户端与服务器交互的示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
如图1所示,图1示出了本发明一实施例提供的自助终端日志压缩上传的优化方法的示意图,本实施例的方法包括下述步骤:
101、客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理。
在本实施例中,客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理;
本实施例的空闲时间段可为客户端依据预设时间段内使用信息统计得到的。
102、客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。
本实施例中,客户端可将压缩的部分日志文件以HTTP协议的方式发送所述服务器。
举例来说,本实施例的客户端可在第一空闲时间段将压缩的部分日志文件上传服务器后,记录已经上传的部分日志文件的节点;在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。
也就是说,客户端可以分段传输压缩后的日志文件,在网络不通畅时,可暂停传输,在网络通畅且属于客户端的空闲时间段时,继续传输剩余的压缩后的日志文件。
需要说明的是,本实施例的客户端指的是自助终端的客户端。
本实施例的客户端采用商编码并采用位移的运算方式可有效提高压缩处理速度,以及减少压缩后的日志文件的比特数。
在一种可选的实现方式中,在上述的步骤101中,可理解的是,本实施例的客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后,得到的文件;
所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同。
另外,在另一可选的实现方式中,上述的步骤101,可理解为:本实施例的客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度;
所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同。
参照图2所示,图2示出了一实施例提供的自助终端日志压缩上传的优化方法的示意图,本实施例的方法包括下述步骤:
201、服务器接收每一客户端上传的压缩后的日志文件;
202、服务器将接收的压缩后的日志文件分配制文件保存队列,并向所述客户端返回正常接收响应;
203、服务器检测所述压缩后的日志文件中是否有异常信息;
204、若没有,则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。
205、服务器检测到所述压缩后的日志文件存在异常信息,则将所述压缩后的日志文件发送运维支撑***。
特别说明的是,本实施例中客户端上传的压缩后的日志文件为所述客户端以熵编码为基础,采用位移的运算方式获取的压缩后的日志文件。
可选地,在具体实现过程中,上述图2所示的方法还可包括下述的图中未示出的步骤206:
206、服务器将压缩后的日志文件切割为多个压缩文件包,以及所述服务器基于切割的多个压缩文件包,通过线程池创建多个线程,采用创建的线程对每个压缩文件包进行解压缩,并将解压缩的文件合并,在线展示。
本实施例的优化方法,通过将客户端日志采用熵编码无分支算法的方式对待上传的日志文件进行压缩打包,并采用边压缩边上传的方式上传服务器,服务器端采用异步多线程的方式来进行日志文件存盘,这样就有效地减少了客户端等待服务器响应时间,同时提高了自助终端的功能体验。
应说明的是,本实施例中每一客户端上传的压缩文件是携带有该客户端的标识,例如客户端编号或身份信息等。本实施例的客户端可为每一自助终端中的客户端。服务器端在存储压缩文件的过程中,可将相同编号的客户端上传的压缩形式的日志文件存储在同一区域。
为更好的理解本实施例的方法,以下进行详细说明。
一、客户端优化
1)客户端日志压缩优化
客户端日志压缩通过使用了有限状态熵,并以熵编码非对称数字***(ANS)为基础,避免在压缩速度和压缩率之间进行取舍。
在压缩算法上尽量减少分支,从而将因为分支预测错误而导致的、开销很高的管道清理最小化。下面算法说明了如何在不使用分支的情况下重写终端日志压缩的while循环:
传统压缩分支算法:
while(P(x)>=8){
K<<=8;
K+=*byte++;
P(x)-=8;
}
本实施例中优化后,无分支算法:
P(x)=P(x)>>3;
P(x)&=7;
ptr+=P(x);
K=read64(ptr);
其中P(x)为压缩字节流,K为最终的压缩文件流。
本实施例中修改压缩过程,采用位移的运算方式,在压缩比率(提及压缩率)相同的情况下,它的速度快大约3到5倍。
另外,本实施例中修改压缩过程,采用位移的运算方式,在压缩速度相同的情况下,它生成的文件小10%到15%。
另外,本实施例中不管压缩比率多大,服务器端解压缩的速度都要快2倍;最大压缩比率(即体积压缩率)要高许多(大约为4比3.15)。
2)压缩和上传是同时进行的,客户端在压缩的过程中把压缩过的数据流发送HTTP协议发送至服务端。
3)执行日志压缩上传的时间点优化
客户端将统计自己的使用情况,分析出终端机(即自助终端)
通常在什么时间段空闲,选出几个空闲时间段,该参数将随着用户群使用该终端的习惯而变化,日志压缩上传的任务将会在这几个被选择的时间段执行。
算法:
For(i=1;i<=${当日所有使用时间点}.size();i++){
${时间段集合}.add(abs($(当日所有使用时间点[i]-$(当日所有使用时间点[i-1])));
}
For(j=0;j<${设置任务执行的次数};j++){
${能够执行日志压缩上传的任务的时间段集合}.add(${时间段集合}.remove(Max(${时间段集合})));
}。
二、服务器端优化
1、优化接收客户端文件方式
1)如图3所示,在服务器端部署压缩文件的HTTP服务应用,响应客户端HTTP请求,等待HTTP请求的字节数据输入流传输压缩文件并写入字节数据输出流。
2)当服务器端接收到客户端请求文件流后,把该文件流分配至文件保存队列中,同时同步返回客户端正常接收状态。
3)检测压缩的日志文件中的日志是否含有异常,如果含有异常信息,将会发送消息到运维支撑***。
本实施例中服务器是针对压缩文件进行检测,并不解压缩检测。另外,服务器端可将携带有异常信息的此次上传的整个压缩包日志文件发送到运维支撑***。
4)服务器端通过线程池将文件保存队列中的字节数据输入流通过异步I/O写入磁盘的相应位置。
也就是说,服务器端根据压缩包文件的客户端标识存入该客户端所属磁盘的位置。通常压缩包的头部会携带客户端标识。
服务器端通过线程池创建文件保存线程,创建的文件保存线程根据终端的身份信息(压缩包对应的客户端的标识)将文件保存队列中的字节数据输入流通过异步I/O写入磁盘的相应位置。
在该过程中,检测到异常时,将整个压缩包另外保存。
2、优化服务器端读取压缩文件方式
1)在服务器端通过应用使用该压缩文件时,传统的方法一般是先在服务器端解压该日志文件组,然后逐份日志读入到应用***中查看。本实施例优化后,若在服务端中将压缩文件读入内存,然后将其根据解压缩切割设置的切割文件个数的多少,分别切割出相应的压缩文件包,并在服务器端生成相应的线程,对每个文件包进行解压。
服务器根据压缩文件的数量生成设定的线程,服务器中存储有数量和线程的对应表。
最后将解压的文件部分集成。并展示在服务器端应用***中。
本实施例的方法利用CPU多核特性,自定义解压的线程数,对压缩文件进行解压并合成后在线展示。增加了读取文件的速度和阅读难度。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种自助终端日志压缩上传的优化方法,其特征在于,包括:
客户端以熵编码算法为基础,采用位移的运算方式对待上传的日志进行压缩处理;
所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。
2.根据权利要求1所述的方法,其特征在于,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后,得到的文件;
所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同。
3.根据权利要求1所述的方法,其特征在于,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理,压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度;
所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同。
4.根据权利要求1或2所述的方法,其特征在于,所述客户端在压缩处理的过程中将压缩的部分日志信息依序上传服务器,包括:
所述客户端将压缩的部分日志文件以HTTP协议的方式发送所述服务器。
5.根据权利要求1所述的方法,其特征在于,所述客户端以熵编码为基础,采用位移的运算方式对待上传的日志进行压缩处理,包括:
所述客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理;
所述空闲时间段为所述客户端依据预设时间段内使用信息统计得到的。
6.根据权利要求1至5任一所述的方法,其特征在于,所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器,包括:
所述客户端在第一空闲时间段将压缩的部分日志文件上传服务器后,记录已经上传的部分日志文件的节点;在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。
7.一种自助终端日志压缩上传的优化方法,其特征在于,包括:
服务器接收每一客户端上传的压缩后的日志文件;
所述服务器将接收的压缩后的日志文件分配制文件保存队列,并向所述客户端返回正常接收响应;
所述服务器检测所述压缩后的日志文件中是否有异常信息;
若没有,则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。
8.根据权利要求7所述的方法,其特征在于,
所述客户端上传的压缩后的日志文件为所述客户端以熵编码为基础,采用位移的运算方式获取的压缩后的日志文件。
9.根据权利要求7或8所述的方法,其特征在于,所述方法还包括:
所述服务器检测到所述压缩后的日志文件存在异常信息,则将所述压缩后的日志文件发送运维支撑***。
10.根据权利要求7或8所述的方法,其特征在于,所述方法还包括:
所述服务器将压缩后的日志文件切割为多个压缩文件包,以及所述服务器基于切割的多个压缩文件包,通过线程池创建多个线程,采用创建的线程对每个压缩文件包进行解压缩,并将解压缩的文件合并,在线展示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711341883.2A CN108011966B (zh) | 2017-12-14 | 2017-12-14 | 一种自助终端日志压缩上传的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711341883.2A CN108011966B (zh) | 2017-12-14 | 2017-12-14 | 一种自助终端日志压缩上传的优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108011966A true CN108011966A (zh) | 2018-05-08 |
CN108011966B CN108011966B (zh) | 2021-07-06 |
Family
ID=62058875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711341883.2A Active CN108011966B (zh) | 2017-12-14 | 2017-12-14 | 一种自助终端日志压缩上传的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108011966B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321330A (zh) * | 2019-05-23 | 2019-10-11 | 深圳市金泰克半导体有限公司 | 文件压缩、解压缩方法、装置及计算机设备 |
CN110362548A (zh) * | 2019-06-12 | 2019-10-22 | 深圳市奥克多普科技有限公司 | 日志提取方法及相关设备 |
CN111258962A (zh) * | 2020-01-15 | 2020-06-09 | 湖北畅风通行信息技术有限公司 | 一种交管日志实时上传引导方法 |
CN112600941A (zh) * | 2021-01-20 | 2021-04-02 | 广东金赋科技股份有限公司 | 自动更新传输数据大小优化的方法、装置及存储介质 |
CN112738124A (zh) * | 2020-08-24 | 2021-04-30 | 英韧科技(上海)有限公司 | 硬件友好的数据压缩 |
CN113672574A (zh) * | 2021-07-12 | 2021-11-19 | 国网河北省电力有限公司营销服务中心 | 日志处理方法、电子设备和计算机可读存储介质 |
CN113963458A (zh) * | 2021-11-17 | 2022-01-21 | 常州新途软件有限公司 | 一种车载日志的管理方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000054385A1 (en) * | 1999-03-10 | 2000-09-14 | Preview Systems, Inc. | User transparent software malfunction detection and reporting |
CN101594252A (zh) * | 2009-06-01 | 2009-12-02 | 中兴通讯股份有限公司 | 一种海量日志存储管理***和方法 |
CN102547268A (zh) * | 2010-12-30 | 2012-07-04 | 深圳华强数码电影有限公司 | 一种流媒体播放方法及播放设备 |
CN102622267A (zh) * | 2012-03-14 | 2012-08-01 | 深圳市紫金支点技术股份有限公司 | 一种日志采集方法及*** |
CN104244320A (zh) * | 2014-09-01 | 2014-12-24 | 上海大唐移动通信设备有限公司 | 一种自动路测***中的日志上传方法及装置 |
CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和*** |
CN105912455A (zh) * | 2016-04-27 | 2016-08-31 | 努比亚技术有限公司 | 业务执行方法及服务器 |
US20160292166A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for parameterizing log file location assignments for a log analytics system |
CN106161066A (zh) * | 2015-04-13 | 2016-11-23 | ***通信集团福建有限公司 | 一种日志采集方法及服务器 |
CN106991134A (zh) * | 2017-03-13 | 2017-07-28 | 人和未来生物科技(长沙)有限公司 | 一种基于对象存储的大型数据云存储方法 |
CN107040515A (zh) * | 2016-12-28 | 2017-08-11 | 北京安天网络安全技术有限公司 | 一种atm安全防御检测***及方法 |
CN107172174A (zh) * | 2017-06-01 | 2017-09-15 | 重庆高略启达智慧城市信息技术有限公司 | 在客户端和服务器之间实现文件的快速上传 |
US20170330398A1 (en) * | 2016-05-16 | 2017-11-16 | Wi-Tronix, Llc | Real-Time Data Acquisition and Recording System Viewer |
-
2017
- 2017-12-14 CN CN201711341883.2A patent/CN108011966B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000054385A1 (en) * | 1999-03-10 | 2000-09-14 | Preview Systems, Inc. | User transparent software malfunction detection and reporting |
CN101594252A (zh) * | 2009-06-01 | 2009-12-02 | 中兴通讯股份有限公司 | 一种海量日志存储管理***和方法 |
CN102547268A (zh) * | 2010-12-30 | 2012-07-04 | 深圳华强数码电影有限公司 | 一种流媒体播放方法及播放设备 |
CN102622267A (zh) * | 2012-03-14 | 2012-08-01 | 深圳市紫金支点技术股份有限公司 | 一种日志采集方法及*** |
CN104244320A (zh) * | 2014-09-01 | 2014-12-24 | 上海大唐移动通信设备有限公司 | 一种自动路测***中的日志上传方法及装置 |
US20160292166A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for parameterizing log file location assignments for a log analytics system |
CN106161066A (zh) * | 2015-04-13 | 2016-11-23 | ***通信集团福建有限公司 | 一种日志采集方法及服务器 |
CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和*** |
CN105912455A (zh) * | 2016-04-27 | 2016-08-31 | 努比亚技术有限公司 | 业务执行方法及服务器 |
US20170330398A1 (en) * | 2016-05-16 | 2017-11-16 | Wi-Tronix, Llc | Real-Time Data Acquisition and Recording System Viewer |
CN107040515A (zh) * | 2016-12-28 | 2017-08-11 | 北京安天网络安全技术有限公司 | 一种atm安全防御检测***及方法 |
CN106991134A (zh) * | 2017-03-13 | 2017-07-28 | 人和未来生物科技(长沙)有限公司 | 一种基于对象存储的大型数据云存储方法 |
CN107172174A (zh) * | 2017-06-01 | 2017-09-15 | 重庆高略启达智慧城市信息技术有限公司 | 在客户端和服务器之间实现文件的快速上传 |
Non-Patent Citations (2)
Title |
---|
余兆明: "《数字电视原理习题及解答》", 28 February 2009, 西安电子科技大学出版社 * |
段娟: "基于Web应用安全日志审计***的研究与设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110321330A (zh) * | 2019-05-23 | 2019-10-11 | 深圳市金泰克半导体有限公司 | 文件压缩、解压缩方法、装置及计算机设备 |
CN110362548A (zh) * | 2019-06-12 | 2019-10-22 | 深圳市奥克多普科技有限公司 | 日志提取方法及相关设备 |
CN110362548B (zh) * | 2019-06-12 | 2023-11-14 | 深圳市圣麾科技有限公司 | 日志提取方法及相关设备 |
CN111258962A (zh) * | 2020-01-15 | 2020-06-09 | 湖北畅风通行信息技术有限公司 | 一种交管日志实时上传引导方法 |
CN112738124A (zh) * | 2020-08-24 | 2021-04-30 | 英韧科技(上海)有限公司 | 硬件友好的数据压缩 |
CN112600941A (zh) * | 2021-01-20 | 2021-04-02 | 广东金赋科技股份有限公司 | 自动更新传输数据大小优化的方法、装置及存储介质 |
CN112600941B (zh) * | 2021-01-20 | 2023-04-18 | 广东金赋科技股份有限公司 | 自动更新传输数据大小优化的方法、装置及存储介质 |
CN113672574A (zh) * | 2021-07-12 | 2021-11-19 | 国网河北省电力有限公司营销服务中心 | 日志处理方法、电子设备和计算机可读存储介质 |
CN113963458A (zh) * | 2021-11-17 | 2022-01-21 | 常州新途软件有限公司 | 一种车载日志的管理方法 |
CN113963458B (zh) * | 2021-11-17 | 2023-11-21 | 常州新途软件有限公司 | 一种车载日志的管理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108011966B (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108011966A (zh) | 一种自助终端日志压缩上传的优化方法 | |
US10901950B2 (en) | Efficient data compression and analysis as a service | |
CN106991134B (zh) | 一种基于对象存储的大型数据云存储方法 | |
CN103944744B (zh) | 日志采集方法和*** | |
CN104219229B (zh) | 虚拟桌面数据的传输方法和装置 | |
CN113220715B (zh) | 一种数据处理方法、***、计算机及可读存储介质 | |
CN110535869A (zh) | 一种基于压缩算法的数据传输方法、终端设备及存储介质 | |
CN106603605A (zh) | 数据传输方法和*** | |
US7397962B2 (en) | Automatic method of identifying image subregions for reuse during datastream transmission | |
CN106888385A (zh) | 客户端在虚拟化环境下的视频播放方法及*** | |
US20030146857A9 (en) | Input data conversion method, input data conversion program, and input data conversion system | |
CN113452630B (zh) | 数据合流方法、数据拆分方法、装置、设备及存储介质 | |
WO2000045274A1 (fr) | Procede de transmission de donnees, support lisible par un ordinateur et appareil de transmission de donnees | |
CN110019347A (zh) | 一种区块链的数据处理方法、装置及终端设备 | |
CN109584889B (zh) | 音频传输方法和装置及存储介质 | |
CN110958212B (zh) | 一种数据压缩、数据解压缩方法、装置及设备 | |
JP2006100973A (ja) | データ圧縮装置、及びデータ伸長装置 | |
WO2002089486A2 (en) | Method and system for video compression and distribution | |
CN107295485B (zh) | 彩信附件管理方法、装置及通信*** | |
CN103034702B (zh) | 用于数据压缩/解压缩的装置、方法和*** | |
JP5546951B2 (ja) | 分散メディア処理装置及び方法及びプログラム | |
US6795880B2 (en) | System and method for processing high speed data | |
EP4283486A1 (en) | Storing high volume, low frequency ingest time series data and retrieving same with sub-second latencies | |
US11025969B1 (en) | Video packaging system using source encoding | |
CN116932494A (zh) | 文件处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An optimized method for compressing and uploading logs on self-service terminals Effective date of registration: 20230518 Granted publication date: 20210706 Pledgee: Guangdong Nanhai rural commercial bank Limited by Share Ltd. Guicheng branch Pledgor: GUANGDONG KAMFU TECHNOLOGY Co.,Ltd. Registration number: Y2023980040910 |
|
PE01 | Entry into force of the registration of the contract for pledge of patent right |