CN113590624A - 一种数据处理方法及电子装置 - Google Patents

一种数据处理方法及电子装置 Download PDF

Info

Publication number
CN113590624A
CN113590624A CN202110862844.7A CN202110862844A CN113590624A CN 113590624 A CN113590624 A CN 113590624A CN 202110862844 A CN202110862844 A CN 202110862844A CN 113590624 A CN113590624 A CN 113590624A
Authority
CN
China
Prior art keywords
data
hash table
data file
file
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110862844.7A
Other languages
English (en)
Inventor
李永生
张黎元
郭勇生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202110862844.7A priority Critical patent/CN113590624A/zh
Publication of CN113590624A publication Critical patent/CN113590624A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2255Hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明提供了一种数据处理方法及电子装置,所述数据处理方法,包括:确定服务端中数据文件的更新信息;基于所述更新信息及所述数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理所述数据文件,所述数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;基于处理后的数据建立哈希表;存储所述哈希表至缓存代理服务器。本发明实施例的数据处理方法用于保证数据代码安全,实现主动防御。

Description

一种数据处理方法及电子装置
技术领域
本发明实施例涉及计算机技术领域,特别涉及一种数据处理方法及电子装置。
背景技术
当前大多数防护***都采用被动防护攻击方式(获取事件、规则匹配、事件拦截告警)对网站进行防护同时还要维护规则库的升级,相对于黑客不断滋生出来的多种多样的攻击方案存在一定劣势。
与此同时市场上对Javascript(JavaScript(简称“JS”)是一种具有函数优先的轻量级,解释型或即时编译型的编程语言)混淆方案因开源或时间久远导致有反混淆工具及手段的攻击难度大大降低。
为了提高主动防御的能力,现有技术根据抽象语法树将Javascript文件分解成若干节点,并根据不同的节点类型将Javascript文件的代码重新组合,其中在组合过程中利用***无用代码的方式随机生成一段代码***到Javascript文件的原代码的任意位置中,再进行代码重新组合;或同时利用函数参数去除的方式将Javascript文件的代码重新组合,实现Javascript混淆。
但是现有技术中采用的方法虽能够基本实现“大幅度降低源文件代码的可读性的同时,保证代码运行效率和运行正确性”,但是当javascript代码原始文件体积较大时,如大量***无用代码时,该种方式会导致加密后的文件大小成倍增加,导致前端加载时产生较大性能的消耗。而按照现有技术提及的方案,假设javascript代码动态处理,客户端每次请求javascript代码时均需要进行一次混淆处理,这样如果涌入大量请求时会极大地消耗服务端性能;而假设javascript代码静态处理,每次客户端请求返回内容不会动态变换,因此当javascript代码做出改变时还须人为处理。
故综上可知根据现有方案,可通过JSDetox、jsbeautifier等工具进行反混淆,虽然依旧存在一定加密混淆后的内容,但对调试、分析代码等防护能力还是及其有限的。
发明内容
本发明提供了一种数据处理方法及电子装置,用于保证数据代码安全,实现主动防御。
为了解决上述技术问题,本发明实施例提供了一种数据处理方法,包括:
确定服务端中数据文件的更新信息;
基于所述更新信息及所述数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理所述数据文件,所述数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
基于处理后的数据建立哈希表;
存储所述哈希表至缓存代理服务器。
作为一实施例,所述基于所述更新信息及所述数据文件的格式确定数据处理策略,包括:
确定所述数据文件被更新的情况下,确定采用第一数据处理策略;
基于所述数据文件的格式从所述第一数据处理策略中确定第一子策略,;或
确定所述数据文件未被更新的情况下,确定采用第二数据处理策略;
基于所述数据文件的格式从所述第二数据处理策略中确定第二子策略。
作为一实施例,当所述数据文件格式为脚本语言格式时,所述第一子策略包括:
拆解所述数据文件,形成多条语句;
对所述多条语句中的每条语句随机进行前端可识别编码的转换处理;
对于转换处理后的每条语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于所述多条语句中的每条语句及对应所述每条语句的压缩数据构建所述哈希表。
作为一实施例,当所述数据文件格式为超文本标记语言格式时,所述第一子策略包括:
将所述数据文件按照dom层级进行拆解;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建所述哈希表。
作为一实施例,当所述数据文件格式为脚本语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过拆解所述数据文件得到的语句;
对所述语句随机进行前端可识别编码的转换处理;
对于转换处理后的所述语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于每条所述语句及对应所述每条语句的压缩数据构建新的哈希表。
作为一实施例,当所述数据文件格式为超文本标记语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过按照dom层级拆解所述数据文件得到的层数据;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建新的哈希表。
作为一实施例,还包括:
定时异步获取存储的所述哈希表,并基于所述哈希表中的数据进行文件构建;
存储构建后的数据至所述缓存代理服务器中的缓存目录中,以实现数据同步处理。
作为一实施例,还包括:
当所述服务端获得数据请求时,保存所述数据请求的请求文件,同时修改所述服务端的网站数据,所述网站数据包括网站指纹。
作为一实施例,还包括:
当所述服务端获得数据请求时,将所述数据请求反向代理至目标缓存代理服务器上,以通过所述目标缓存代理服务器到达目标网站。
本发明另一实施例同时提供一种电子装置,包括:
确定模块,用于确定服务端中数据文件的更新信息;
处理模块,用于根据所述更新信息及所述数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理所述数据文件,所述数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
建立模块,用于根据处理后的数据建立哈希表;
存储模块,用于存储所述哈希表至缓存代理服务器。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明实施例中的数据处理方法的方法流程图。
图2为本发明实施例中的数据处理方法的实际应用流程图。
图3为本发明实施例中的数据处理方法的数据流图。
图4为本发明实施例中的数据处理方法的另一实际应用图。
图5为本发明实施例中的电子装置的结构框图。
图6为本发明实施例中的客户端、电子装置及服务端的连接关系图。
具体实施方式
下面,结合附图对本发明的具体实施例进行详细的描述,但不作为本发明的限定。
应理解的是,可以对此处公开的实施例做出各种修改。因此,下述说明书不应该视为限制,而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例,并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述,本发明的这些和其它特性将会变得显而易见。
还应当理解,尽管已经参照一些具体实例对本发明进行了描述,但本领域技术人员能够确定地实现本发明的很多其它等效形式,它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时,鉴于以下详细说明,本公开的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本公开的具体实施例;然而,应当理解,所公开的实施例仅仅是本公开的实例,其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此,本文所公开的具体的结构性和功能性细节并非意在限定,而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”,其均可指代根据本公开的相同或不同实施例中的一个或多个。
如图1、图2及图3所示,本发明实施例提供一种数据处理方法,包括:
确定服务端中数据文件的更新信息;
基于更新信息及数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理数据文件,数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
基于处理后的数据建立哈希表;
存储哈希表至缓存代理服务器。
例如,服务端接收到客户端请求后,会反馈对应的数据文件给客户端。而为了避免数据文件在服务端内部传输过程中,或者在服务端内部未进行传输时就被爬虫等恶意程序暴力破解,导致文件被损坏,篡改,本实施例则利用一种数据处理方法来对服务端中的数据文件,如服务端上的网站数据文件等,进行处理,以实现主动防御,避免数据文件遭到破坏。例如,本实施例中的方法应用于前端代码异构混淆的主动防御***中,该***从服务端获取网站数据文件,然后确定服务端中数据文件的更新信息,如确定数据文件是否被更新等。获得更新信息后,***则基于更新信息以及数据文件的格式确定用于对数据文件进行处理的数据处理策略,并基于该数据处理策略来处理数据文件。本实施例中的数据处理策略包括拆解数据文件,对拆解得到的语句进行前端可识别编码的转换处理,以用于实现数据异构(数据的异构性指不同数据结构组合在一起成为一个整体)。当***经处理得到处理后的数据后,基于该处理后的数据建立哈希表(Hash表也称散列表,也有直接称为哈希表,是一种根据关键字值(key-value)而直接进行访问的数据结构。它是通过把关键字映射到数组的下标来加快查找速度),以为处理后的数据进行加密,最终将哈希表存储至缓存代理服务器中(代理服务器作为一种既是服务器又是客户机的中间程序,主要用于转发客户***的网络访问请求。但是,代理服务器不只是简单地向真正的因特网服务器转发请求,它还可以控制用户的行为,对接收到的客户请求进行决策,并根据过滤规则对用户请求进行过滤)。
作为一实施例,基于更新信息及数据文件的格式确定数据处理策略,包括:
确定数据文件被更新的情况下,确定采用第一数据处理策略;
基于数据文件的格式从第一数据处理策略中确定第一子策略,;或
确定数据文件未被更新的情况下,确定采用第二数据处理策略;
基于数据文件的格式从第二数据处理策略中确定第二子策略。
具体地,当数据文件格式为脚本语言格式时,第一子策略包括:
拆解数据文件,形成多条语句;
对多条语句中的每条语句随机进行前端可识别编码的转换处理;
对于转换处理后的每条语句随机***调试码;
压缩***调试码的语句;
基于处理后的数据建立哈希表,包括:
基于多条语句中的每条语句及对应每条语句的压缩数据构建哈希表。
例如,继续结合图2所示,当数据文件为javascript代码(文件)时,可以基于AST语法树对javascript代码进行拆解,对拆解得到的每条语句随机进行前端可识别编码的转换处理。对于编码后的每条语句随机***debugger调试码/调试程序,以提高数据的调试难度。接着,对上一步骤处理后的***了debugger的每条语句进行压缩。最后,基于压缩后的数据以及原javascript代码拆解得到的语句构建哈希表,实现结果以字典形式存在的,并包含一一对应的拆解语句、压缩语句的哈希表,并将该哈希表存入哈希库中。该哈希库独立于缓存代理服务器,也可位于缓存代理服务器内。
进一步地,本实施例中对哈希表的数据还可通过多种编码包括但不限于二进制、八进制、十进制、十六进制、base64、小语种等前端代码可识别方式混和编码到数据文件中,以实现数据异构。
作为另一实施例,当数据文件格式为超文本标记语言格式时,第一子策略包括:
将数据文件按照dom层级进行拆解;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使链接被点击触发时完成解密;
基于处理后的数据建立哈希表,包括:
基于层数据及与层数据对应的加密数据构建哈希表。
例如,当数据文件为html文件时,可以将对html文件按照dom层级进行拆解,得到多条dom结构语句。按层处理数据,将对应每层的form表单参数名称进行可逆算法加密。接着,继续按层处理,进而对所有链接的url数据进行加密,并***js代码,使只有点击该链接,即点击事件时才可实现解密。最后,利用将当前经加密得到的数据以及原始拆解得到的dom结构语句构建哈希表,实现结果以字典形式存在的,并包含dom层级原始数据及对应的加密数据的哈希表,并将该哈希表存入哈希库中。该哈希库独立于缓存代理服务器,也可位于缓存代理服务器内。
进一步地,继续结合图2所示,作为另一实施例,当数据文件格式为脚本语言格式时,第二子策略包括:
获得当前存储的对应数据文件的历史哈希表;
从历史哈希表中获得通过拆解数据文件得到的语句;
对语句随机进行前端可识别编码的转换处理;
对于转换处理后的语句随机***调试码;
压缩***调试码的语句;
基于处理后的数据建立哈希表,包括:
基于每条语句及对应每条语句的压缩数据构建新的哈希表。
例如,当确定数据文件未更新时,同时当数据文件为javascript代码(文件)时,可以从哈希库中获得基于AST语法树对javascript代码进行拆解而得到的语句,接着对拆解得到的每条语句随机进行前端可识别编码的转换处理。对于编码后的每条语句随机***debugger调试码/调试程序,以提高数据的调试难度。接着,对上一步骤处理后的***了debugger的每条语句进行压缩。最后,基于压缩后的数据以及原javascript代码拆解得到的语句构建哈希表,实现结果以字典形式存在的,并包含一一对应的拆解语句、压缩语句的哈希表,并将该新的哈希表存入哈希库中,完成哈希表的更新。该哈希库独立于缓存代理服务器,也可位于缓存代理服务器内。
作为另一实施例,当数据文件格式为超文本标记语言格式时,第二子策略包括:
获得当前存储的对应数据文件的历史哈希表;
从历史哈希表中获得通过按照dom层级拆解数据文件得到的层数据;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使链接被点击触发时完成解密;
基于处理后的数据建立哈希表,包括:
基于层数据及与层数据对应的加密数据构建新的哈希表。
例如,当数据问价未更新时,同时当数据文件为html文件时,可以从哈希库中获得对应的哈希表,并从该哈希表中获得通过对html文件按照dom层级进行拆解而得到的多条dom结构语句。接着按层处理数据,将对应每层的form表单参数名称进行可逆算法加密。接着,继续按层处理,进而对所有链接的url数据进行加密,并***js代码,使只有点击该链接,即点击事件时才可实现解密。最后,利用将当前经加密得到的数据以及原始拆解得到的dom结构语句构建哈希表,实现结果以字典形式存在的,并包含dom层级原始数据及对应的加密数据的哈希表,并将该新的哈希表存入哈希库中,完成哈希表的更新。该哈希库独立于缓存代理服务器,也可位于缓存代理服务器内。
进一步地,在确定数据文件是否被更新时,可以定期对服务端进行遍历请求,确定数据文件的MD5值,以基于MD5值来确定文件是否更新。而对于对静态文件,如音视频文件、图片及其他静态资源等文件,也可通过MD5值判断是否存在文件更新,如果更新,则直接存入缓存目录中。
进一步地,作为另一实施例,还包括:
定时异步获取存储的哈希表,并基于哈希表中的数据进行文件构建;
存储构建后的数据至缓存代理服务器中的缓存目录中,以实现数据同步处理。
例如,定时异步通过哈希库中的哈希表获取javascript、html等数据进行文件构建,并在构建完毕后存入缓存目录中,本实施例的异步操作是与上述建立处于数据前端异构化的操作异步运行的,并不是同时操作。
继续结合图2所示,作为另一实施例,还包括:
当服务端获得数据请求时,保存数据请求的请求文件,同时修改服务端的网站数据,网站数据包括网站指纹。
例如,当有客户端进行访问时,保存返回缓存目录中的请求文件,并同时动态修改网站指纹,如***型号、框架名称和版本、库版本、编辑器版本等。
进一步,作为另一实施例,还包括:
当服务端获得数据请求时,将数据请求反向代理至目标缓存代理服务器上,以通过目标缓存代理服务器到达目标网站。
例如,如图4所示,***在处理大量触发事件的任务时,可以利用Nginx反向代理,将代理服务器设置到Nginx上,以实现负载均衡。具体为浏览器请求数据直接通过Nginx反向代理到不同的代理服务器上,最后到达目标网站。
采用本实施例中的上述方法,使得***在对数据文件进行处理时,整体处理流程均采用异步处理方式,同时可以通过后台管理界面设定文件更新时间、更新及时推送/通知***,以达到保证时效性的目的,在不影响访问效率的情况下降低服务端压力。而且,本实施例中对用于形成哈希表的数据,即哈希表中的数据通过多种编码包括但不限于二进制、八进制、十进制、十六进制、base64、小语种等前端代码可识别方式混和编码到数据文件中,以实现数据异构,增加数据安全性,避免恶意程序损坏数据文件。同时,本实施例中在处理数据文件时,只是随机增加调试程序,减少甚至不使用随机代码的***,从而显著降低因混淆过后出现大体积文件的现象发生,提高服务端的数据处理速度。而对于哈希库中的哈希表数据动态请求替换,不与前端请求同步进行,且定时请求扫描服务器数据进行缓存更新,从而降低大量请求事件并发时原始服务器的压力。
另外,***异步从哈希库中提取与数据文件相应的哈希表而生成缓存文件,解决同步处理可能出现性能消耗较多、阻塞等问题。所有数据存储与提取均采用哈希操作方式,基于哈希结构可大大提高数据处理时的速度。另外,对于html文件中form表单字段、url内容进行混淆处理可有效对爬虫、暴力破解等恶意操作进行防护。而通过设置代理服务端处理客户端请求内容,对网站指纹,如***型号、框架名称和版本、库版本、编辑器版本等进行混淆,可对自动化攻击有较好地防护效果。本实施例通过上述方式可有效保护数据文件安全,且不会影响服务端对数据请求的处理效率。
如图5和图6所示,本发明实施例同时提供一种电子装置,包括:
确定模块,用于确定服务端中数据文件的更新信息;
处理模块,用于根据更新信息及数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理数据文件,数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
建立模块,用于根据处理后的数据建立哈希表;
存储模块,用于存储哈希表至缓存代理服务器。
本实施例中的电子装置,即相当于前端代码异构混淆的主动防御***。该***与代理服务器形成一个整体,以提供代理转发,同时***采用异步更新配合哈希库的方式进行处理加快访问速度。
作为一实施例,所述基于所述更新信息及所述数据文件的格式确定数据处理策略,包括:
确定所述数据文件被更新的情况下,确定采用第一数据处理策略;
基于所述数据文件的格式从所述第一数据处理策略中确定第一子策略,;或
确定所述数据文件未被更新的情况下,确定采用第二数据处理策略;
基于所述数据文件的格式从所述第二数据处理策略中确定第二子策略。
作为一实施例,当所述数据文件格式为脚本语言格式时,所述第一子策略包括:
拆解所述数据文件,形成多条语句;
对所述多条语句中的每条语句随机进行前端可识别编码的转换处理;
对于转换处理后的每条语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于所述多条语句中的每条语句及对应所述每条语句的压缩数据构建所述哈希表。
作为一实施例,当所述数据文件格式为超文本标记语言格式时,所述第一子策略包括:
将所述数据文件按照dom层级进行拆解;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建所述哈希表。
作为一实施例,当所述数据文件格式为脚本语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过拆解所述数据文件得到的语句;
对所述语句随机进行前端可识别编码的转换处理;
对于转换处理后的所述语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于每条所述语句及对应所述每条语句的压缩数据构建新的哈希表。
作为一实施例,当所述数据文件格式为超文本标记语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过按照dom层级拆解所述数据文件得到的层数据;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建新的哈希表。
作为一实施例,还包括:
获取模块,用于定时异步获取存储的所述哈希表,并基于所述哈希表中的数据进行文件构建;
第一存储模块,存储构建后的数据至所述缓存代理服务器中的缓存目录中,以实现数据同步处理。
作为一实施例,还包括:
第二存储模块,用于在所述服务端获得数据请求时,保存所述数据请求的请求文件,同时修改所述服务端的网站数据,所述网站数据包括网站指纹。
作为一实施例,还包括:
反向代理模块,用于在所述服务端获得数据请求时,将所述数据请求反向代理至目标缓存代理服务器上,以通过所述目标缓存代理服务器到达目标网站。
本申请另一实施例还提供一种电子设备,包括:
一个或多个处理器;
存储器,配置为存储一个或多个程序;
当该一个或多个程序被该一个或多个处理器执行时,使得该一个或多个处理器实现上述数据处理方法。
本申请一实施例还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的处理方法。应理解,本实施例中的各个方案具有上述方法实施例中对应的技术效果,此处不再赘述。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可读指令,所述计算机可执行指令在被执行时使至少一个处理器执行诸如上文所述实施例中的数据处理方法。
应理解,本实施例中的各个方案具有上述方法实施例中对应的技术效果,此处不再赘述。
需要说明的是,本申请的计算机存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输配置为由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、天线、光缆、RF等等,或者上述的任意合适的组合。
应当理解,虽然本申请是按照各个实施例描述的,但并非每个实施例仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
以上实施例仅为本发明的示例性实施例,不用于限制本发明,本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内,对本发明做出各种修改或等同替换,这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
确定服务端中数据文件的更新信息;
基于所述更新信息及所述数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理所述数据文件,所述数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
基于处理后的数据建立哈希表;
存储所述哈希表至缓存代理服务器。
2.根据权利要求1所述的方法,其特征在于,所述基于所述更新信息及所述数据文件的格式确定数据处理策略,包括:
确定所述数据文件被更新的情况下,确定采用第一数据处理策略;
基于所述数据文件的格式从所述第一数据处理策略中确定第一子策略,;或
确定所述数据文件未被更新的情况下,确定采用第二数据处理策略;
基于所述数据文件的格式从所述第二数据处理策略中确定第二子策略。
3.根据权利要求2所述的方法,其特征在于,当所述数据文件格式为脚本语言格式时,所述第一子策略包括:
拆解所述数据文件,形成多条语句;
对所述多条语句中的每条语句随机进行前端可识别编码的转换处理;
对于转换处理后的每条语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于所述多条语句中的每条语句及对应所述每条语句的压缩数据构建所述哈希表。
4.根据权利要求2所述的方法,其特征在于,当所述数据文件格式为超文本标记语言格式时,所述第一子策略包括:
将所述数据文件按照dom层级进行拆解;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建所述哈希表。
5.根据权利要求2所述的方法,其特征在于,当所述数据文件格式为脚本语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过拆解所述数据文件得到的语句;
对所述语句随机进行前端可识别编码的转换处理;
对于转换处理后的所述语句随机***调试码;
压缩***所述调试码的语句;
所述基于处理后的数据建立哈希表,包括:
基于每条所述语句及对应所述每条语句的压缩数据构建新的哈希表。
6.根据权利要求2所述的方法,其特征在于,当所述数据文件格式为超文本标记语言格式时,所述第二子策略包括:
获得当前存储的对应所述数据文件的历史哈希表;
从所述历史哈希表中获得通过按照dom层级拆解所述数据文件得到的层数据;
对每层数据对应的表单参数名称进行可逆加密;
将对应每层链接的资源定位符进行加密,并***脚本语言格式的代码,以使所述链接被点击触发时完成解密;
所述基于处理后的数据建立哈希表,包括:
基于所述层数据及与所述层数据对应的加密数据构建新的哈希表。
7.根据权利要求1所述的方法,其特征在于,还包括:
定时异步获取存储的所述哈希表,并基于所述哈希表中的数据进行文件构建;
存储构建后的数据至所述缓存代理服务器中的缓存目录中,以实现数据同步处理。
8.根据权利要求1所述的方法,其特征在于,还包括:
当所述服务端获得数据请求时,保存所述数据请求的请求文件,同时修改所述服务端的网站数据,所述网站数据包括网站指纹。
9.根据权利要求1所述的方法,其特征在于,还包括:
当所述服务端获得数据请求时,将所述数据请求反向代理至目标缓存代理服务器上,以通过所述目标缓存代理服务器到达目标网站。
10.一种电子装置,其特征在于,包括:
确定模块,用于确定服务端中数据文件的更新信息;
处理模块,用于根据所述更新信息及所述数据文件的格式确定数据处理策略,并基于确定的数据处理策略处理所述数据文件,所述数据处理策略包括拆解数据文件、对拆解得到的语句随机进行前端可识别编码的转换处理;
建立模块,用于根据处理后的数据建立哈希表;
存储模块,用于存储所述哈希表至缓存代理服务器。
CN202110862844.7A 2021-07-29 2021-07-29 一种数据处理方法及电子装置 Pending CN113590624A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862844.7A CN113590624A (zh) 2021-07-29 2021-07-29 一种数据处理方法及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862844.7A CN113590624A (zh) 2021-07-29 2021-07-29 一种数据处理方法及电子装置

Publications (1)

Publication Number Publication Date
CN113590624A true CN113590624A (zh) 2021-11-02

Family

ID=78251712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862844.7A Pending CN113590624A (zh) 2021-07-29 2021-07-29 一种数据处理方法及电子装置

Country Status (1)

Country Link
CN (1) CN113590624A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512521A (zh) * 2015-12-25 2016-04-20 北京奇虎科技有限公司 一种软件安装包的加固保护方法和***
CN105608346A (zh) * 2015-12-25 2016-05-25 北京奇虎科技有限公司 基于arm指令虚拟化的elf文件保护方法及***
CN107209830A (zh) * 2014-11-13 2017-09-26 克丽夫有限公司 用于识别并抵抗网络攻击的方法
CN108345773A (zh) * 2017-07-27 2018-07-31 江苏通付盾信息安全技术有限公司 基于虚拟机的代码保护方法及装置、电子设备、存储介质
CN109784009A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 代码混淆方法、***、计算机装置及计算机可读存储介质
CN110196718A (zh) * 2018-05-10 2019-09-03 腾讯科技(深圳)有限公司 脚本混淆方法
CN110826032A (zh) * 2019-11-05 2020-02-21 浪潮卓数大数据产业发展有限公司 一种基于AST的Javascript混淆方法
CN112182614A (zh) * 2020-09-29 2021-01-05 北京天云海数技术有限公司 一种动态Web应用防护***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209830A (zh) * 2014-11-13 2017-09-26 克丽夫有限公司 用于识别并抵抗网络攻击的方法
CN105512521A (zh) * 2015-12-25 2016-04-20 北京奇虎科技有限公司 一种软件安装包的加固保护方法和***
CN105608346A (zh) * 2015-12-25 2016-05-25 北京奇虎科技有限公司 基于arm指令虚拟化的elf文件保护方法及***
CN108345773A (zh) * 2017-07-27 2018-07-31 江苏通付盾信息安全技术有限公司 基于虚拟机的代码保护方法及装置、电子设备、存储介质
CN110196718A (zh) * 2018-05-10 2019-09-03 腾讯科技(深圳)有限公司 脚本混淆方法
CN109784009A (zh) * 2018-12-15 2019-05-21 深圳壹账通智能科技有限公司 代码混淆方法、***、计算机装置及计算机可读存储介质
CN110826032A (zh) * 2019-11-05 2020-02-21 浪潮卓数大数据产业发展有限公司 一种基于AST的Javascript混淆方法
CN112182614A (zh) * 2020-09-29 2021-01-05 北京天云海数技术有限公司 一种动态Web应用防护***

Similar Documents

Publication Publication Date Title
US10652275B2 (en) Management of calls to transformed operations and objects
US10834101B2 (en) Applying bytecode obfuscation techniques to programs written in an interpreted language
JP5624686B1 (ja) ウェブクローラアクセスを阻止するためのシステム及び方法
US9438625B1 (en) Mitigating scripted attacks using dynamic polymorphism
US10027628B2 (en) Client/server security by an intermediary rendering modified in-memory objects
US10216488B1 (en) Intercepting and injecting calls into operations and objects
CN102915363B (zh) 网址收藏方法和***
WO2013091709A1 (en) Method and apparatus for real-time dynamic transformation of the code of a web document
CN113660250B (zh) 基于web应用防火墙的防御方法、装置、***和电子装置
CN111881337B (zh) 一种基于Scrapy框架的数据采集方法、***及存储介质
CN114282233A (zh) Web性能优化方法、装置、计算机设备和存储介质
CN113590624A (zh) 一种数据处理方法及电子装置
CN111309765B (zh) 一种直接查询结构化数据的方法及装置
CN115834254B (zh) 网络内容安全防护方法、装置、存储介质及电子设备
Frühwirt Automated discovery of secure website domains

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination