CN111291070B - 一种异常sql检测方法、设备及介质 - Google Patents
一种异常sql检测方法、设备及介质 Download PDFInfo
- Publication number
- CN111291070B CN111291070B CN202010065684.9A CN202010065684A CN111291070B CN 111291070 B CN111291070 B CN 111291070B CN 202010065684 A CN202010065684 A CN 202010065684A CN 111291070 B CN111291070 B CN 111291070B
- Authority
- CN
- China
- Prior art keywords
- fingerprint
- sql
- sample
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种异常SQL检测方法、设备及介质。其中,异常SQL检测方法,包括:获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果。本发明实施例的技术方案,实现了通过将SQL指纹特征向量与指纹模型进行比对,判定是否存在异常SQL,提高了异常SQL检测的准确性。
Description
技术领域
本发明实施例涉及数据库安全防护技术,尤其涉及一种异常SQL检测方法、设备及介质。
背景技术
随着互联网技术的发展,人们对于数据安全防护的意识越来越强,对于数据库安全防护来说,检测异常SQL(Structured Query Language,结构化查询语言)是一个关键技术。
在应用软件研发过程中,一方面,开发工具会辅助自动生成部分相关的SQL语句,而这些自动生成的SQL语句具备严格的规范性和模式性;另一方面,即使是开发人员手动开发SQL,由于存在相关的代码编程规范,例如,阿里Java代码规范和书写习惯,也会形成一些特定的模式。而攻击者通过SQL注入或渗透越权成功直接查询数据库时,其在编写相关SQL语句时,很难根据原有的SQL模式进行数据的查询和窃取,因此,可以根据SQL模式进行异常SQL检测。
目前,开放式Web应用程序安全项目(OWASP,Open Web Application SecurityProject)或安全厂商在该类问题上解决方案一般是通过统一的方式定义特征码,并通过对特征码的检测来完成异常SQL的判定。这种方式存在一定的局限性:首先,这种特征码方式是针对常见的攻击方式,不能覆盖特定的方式;其次,这种正则匹配的方式鲁棒性差,当攻击方式发生细微变化时,很可能会导致***失效;最后,由于特征码是公开的,存在被攻击者故意绕过的风险,安全对抗性较差。
发明内容
本发明实施例提供一种异常SQL检测方法、设备及介质,通过将SQL指纹特征向量与指纹模型进行比对,判定是否存在异常SQL,提高了异常SQL检测的准确性。
第一方面,本发明实施例提供了一种异常SQL检测方法,所述方法包括:
获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;
从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
第二方面,本发明实施例还提供了一种计算机设备,包括处理器和存储器,存储器用于存储指令,当指令执行时使得处理器执行以下操作:
获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;
从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
第三方面,本发明实施例还提供了一种存储介质,存储介质用于存储指令,指令用于执行:
获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;
从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
本发明实施例的技术方案,首先获取与待检测的SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量,然后从指纹模型库中,获取与目标实体信息匹配的目标指纹模型,最终将目标指纹特征向量与目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果,解决了现有技术中通过特征码进行异常SQL检测,只能覆盖常见异常类型,鲁棒性差的问题,实现了将信息安全与人工智能进行融合进行异常SQL检测,提升异常SQL检测的准确性,降低误判率。
附图说明
图1a是本发明实施例一中的一种异常SQL检测方法的流程图;
图1b是本发明实施例一中的正常SQL语句和异常SQL语句示例图;
图1c是本发明实施例一中的一种指纹特征向量提取思路的示意图;
图2a是本发明实施例二中的一种异常SQL检测方法的流程图;
图2b是本发明实施例二中的一种SQL日志数据的示意图;
图2c是本发明实施例二中的一种SQL日志数据解析思路示意图;
图2d为是本发明实施例二中的一种指纹模型训练思路的示意图;
图3是本发明实施例三中的一种异常SQL检测方法的流程图;
图4是本发明实施例四中的一种异常SQL检测装置的结构示意图;
图5是本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本文使用的术语“SQL指纹字典”是为SQL语句的指纹特征向量提取提供相应特征模式的特征集合,表示SQL语句的特征关注点,以字典配置的方式进行特征关注点的维护和管理。
本文使用的术语“指纹特征向量”是对SQL语句书写模式的一种特点征抽象,用来完成具体实体(用户、IP等)在代码规范或编程习惯的不同维度上的特征刻画,可以区分不同人或不同组织的SQL语句模式或风格。
本文使用的术语“指纹特征熵”是表示信息(事物)混乱程度的一种度量指标。熵值越大,则信息变化越大(混乱),反之,则变化越小(单一)。通过计算“指纹特征向量”的混乱程度,来标识每一维度特征的规范性,熵值越大,则越无规范性,熵值越小,则越规范。
本文使用的术语“指纹特征权重”表示指纹特征向量中每一维特征的重要程度,度量指纹特征向量中某一维特征的贡献度、重要性,作为指纹得分计算的权重系数。
本文使用的术语“调整因子”是异常概率计算过程中依赖的一种自适应参数,可以根据指定时序范围内的数据分布动态计算得到,用来提升判定的准确度。
本文使用的术语“相似度概率”是单条SQL语句通过指纹比对,得到的与全部SQL语句相似的概率值。
本文使用的术语“置信度阈值”是对SQL指纹特征向量相似度概率的总体区间估计,即最大可容忍相似度概率的阈值估计,用以限定指纹比对过程中的最小可接受阈值。
为了便于理解,将本发明实施例的主要发明构思进行简述。
首先,对SQL日志数据进行解析,获取SQL日志数据中包含的至少一条样本SQL语句和至少一条样本SQL语句分别对应的实体信息,根据SQL指纹字典,生成与各样本SQL语句分别对应的样本指纹特征向量,将样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各实体信息分别对应的指纹模型,构成指纹模型库;在此基础上,获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量,然后从指纹模型库中,获取与目标实体信息匹配的目标指纹模型,最终将目标指纹特征向量与目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果,实现了通过将SQL指纹特征向量与指纹模型进行比对,判定是否存在异常SQL,提高了异常SQL检测的准确性。
实施例一
图1a为本发明实施例一中的一种异常SQL检测方法的流程图,本实施例的技术方案适用于通过将SQL指纹特征向量与SQL指纹模型对比进行异常SQL检测的情况,该方法可以由异常SQL检测装置执行,该装置可以由软件和/或硬件来实现,并可以集成在各种通用计算机设备中。
数据库管理***(Database Management System,DBMS)是一种操纵和管理数据库的大型软件,一般而言,数据库管理***会将所有请求的SQL语句记录下来,为数据库安全审计提供数据来源。在数据安全审计领域中,恶意SQL的来源***,比如:SQL语句注入、账号外泄、内网管理员不合规操作等,异常SQL的识别已经成为数据安全审计领域一个重要分支。
如图1b所示,实施例二中提供的一种指纹模型训练思路的示意图正常SQL语句一般是应用程序发起的数据库操作,因此具备固定的模式、规范性、语法准确等特点,但攻击者写入的异常SQL,一般会出现随意、杂乱、无规范、拼写错误等问题。本实施例提供的方法主要通过将SQL语句的指纹特征向量与指纹模型进行对比实现异常SQL检测,具体包括如下步骤:
步骤110、获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量。
其中,目标指纹特征向量是包含了待检测SQL语句的多个特征的向量,可以表征待检测SQL语句在各维度上的特征;SQL指纹字典由与SQL语句的多个特征关注点分别对应的特征定义项组成,其中,特征定义项是指具体的特征计算规则,各特征定义项与指纹特征向量中各元素分别对应。
SQL指纹字典一般需要结合实际应用场景,根据特定代码开发规范或者开发人员的SQL语句使用习惯自行约定,示例性的,特征定义项可以是以下几种形式:
1)关键字大小写规范,例如,关键字是否全部大写、是否全部小写、是否为大小写混杂或者大小写各自的占比等;
2)空格使用规范,例如,是否全部为单空格、连续多空格占比、是否存在空格和Tab键混合等;
3)\t的使用次数和占比等;
4)别名定义规范;
5)关键字错误规范等。
本实施例中,首先需要获取与待检测的SQL语句及其对应的目标实体信息,然后根据SQL指纹字典,生成与待检测SQL语句对应的目标指纹特征向量。具体如图1c中提供的一种指纹特征向量提取思路的示意图,首先读取***当前的SQL日志数据,并对该SQL日志数据进行解析,获取其中包含的待检测SQL语句及其对应的目标实体信息,其中,目标实体信息标识了该条SQL语句是从哪个客户端IP用哪个数据库用户发起的数据库操作,进一步的,提取SQL指纹字典中包含的特征定义项,根据各特征定义项对待检测SQL语句进行分析统计,得到与待检测SQL语句对应的目标指纹特征向量。
示例性的,读取当前的SQL日志数据,过滤出包含SQL语句的数据行,然后将该数据行进行数据切分,获取待检测的SQL语句及其对应的目标实体信息,进一步的,获取SQL指纹字典中包含的特征定义项,例如,共包含5个特征定义项,分别为关键字是否全部大写、是否全部使用单空格、\t的使用次数、别名的定义规范以及关键字的错误次数,则可以对上述待检测SQL语句进行统计,分别得到与上述5个特征定义项对应的指纹特征向量元素,最终得到一个包含5维特征的指纹特征向量:f(x)={f1,f2,f3,f4,f5},称为目标指纹特征向量。
步骤120、从指纹模型库中,获取与目标实体信息匹配的目标指纹模型;
其中,指纹模型库存储有与实体信息匹配的指纹模型,指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
需要注意的是,不同的数据库用户可能有不同的数据库操作习惯,因此,需要以目标实体信息对应的指纹模型为依据,进行待检测SQL语句的异常检测,其中,目标指纹模型是与目标实体信息对应的指纹模型,指纹数据库中的各指纹模型是与各实体信息分别对应的。
本实施例中,根据目标实体信息,从指纹模型库中提取与目标实体信息匹配的目标指纹模型。示例性的,当目标实体信息是客户端IP 10.64.96.31,则需要从指纹模型库中提取与客户端IP 10.64.96.31对应的指纹模型,作为目标指纹模型。
步骤130、将目标指纹特征向量与目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果。
本实施例中,为了对待检测的SQL语句进行异常检测,将目标指纹特征向量和目标指纹模型进行比对,示例性的,计算目标指纹特征向量和目标指纹模型的相似度概率,当相似度概率大于设定的阈值时,确定SQL语句不存在异常,当相似度概率小于设定阈值时,确定SQL语句存在异常。
可选的,在将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果之后,还包括:
根据传统检测结果,对所述异常检测结果进行校准处理,其中,所述传统检测结果是通过传统异常SQL检测方法确定的检测结果。
本可选的实施例中,为了降低误判率,在根据本实施例中的异常SQL检测方法确定待检测的SQL语句的异常检测结果后,还通过传统方法对应的检测结果对异常检测结果进行校准处理,其中,传统方法可以是通过敏感词库、正则匹配或者专家规则等方式进行异常SQL检测的方法,在此不做详细解释。具体校准方式可以是将本实施例中的异常检测结果和传统方法得到的异常检测结果进行综合计算,例如,与运算、或运算,以及比例分配等方式。
本发明实施例的技术方案,首先获取与待检测的SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量,然后从指纹模型库中,获取与目标实体信息匹配的目标指纹模型,最终将目标指纹特征向量与目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果,解决了现有技术中通过特征码进行异常SQL检测,只能覆盖常见异常类型,鲁棒性差的问题,实现了将信息安全与人工智能进行融合进行异常SQL检测,提升异常SQL检测的准确性,降低误判率。
实施例二
图2a为本发明实施例二中的一种异常SQL检测方法的流程图,本实施例在上述实施例的基础上进一步细化,提供了获取待检测的结构化查询语言SQL语句之前的具体步骤。下面结合图2a对本发明实施例二提供的一种异常SQL检测方法进行说明,包括以下步骤:
步骤210、对SQL日志数据进行解析,获取SQL日志数据中包含的至少一条样本SQL语句和至少一条样本SQL语句分别对应的实体信息。
其中,SQL日志数据是在数据库执行用户指定操作时产生的记录数据,如图2b所示,SQL日志数据中包括SQL语句,以及发起数据库操作的实体信息(客户端IP以及具体数据库用户)等信息。
本实施例中,为了获取SQL日志数据中包含的至少一条样本SQL语句以及各样本SQL语句对应的实体信息,需要对SQL日志数据进行解析。示例性的,首先根据关键字信息,从SQL日志数据中筛选包含SQL语句的数据行,然后对该数据行进行数据切分,获取具体的样本SQL语句,及其对应的实体信息。
可选的,对SQL日志数据进行解析,获取SQL日志数据中包含的至少一条样本SQL语句和至少一条样本SQL语句分别对应的实体信息,包括:
逐行读取SQL日志数据,并通过设定数据过滤规则,过滤出有效日志数据;
通过设定数据切分规则,对有效日志数据进行切分,获取至少一条样本SQL语句和至少一条样本SQL语句分别对应的实体信息。
本可选的实施例中,提供了一种通过解析日志数据获取样本SQL语句及其对应的实体信息的方式,具体如图2c所示,逐行读取SQL日志数据,通过设定的数据过滤规则对日志数据进行过滤,获取有效日志数据,然后通过设定的数据切分规则对有效日志数据进行切分,最终得到SQL日志数据中包含的至少一条样本SQL语句和至少一条样本SQL语句分别对应的实体信息,其中,数据过滤规则可以是正则过滤规则或者关键字过滤规则,数据切分规则可以是通过K-V切分规则或者正则切分规则。
示例性的,逐行读取SQL日志数据,通过预设的关键字规则,将包含特定关键字的数据行(例如,包含:cmd=ExecuteStatement关键字的数据行)过滤出来,作为有效日志数据,然后通过K-V切分规则,将有效日志数据中的关键字以及关键字对应值进行切分,最终提取出样本SQL语句以及样本SQL语句对应的实体信息,其中,实体信息包括数据库用户、客户端IP地址等信息。
步骤220、根据SQL指纹字典,生成与各样本SQL语句分别对应的样本指纹特征向量。
本实施例中,根据SQL指纹字典中包含的特征定义项,对样本SQL语句进行计算统计,生成与各样本SQL语句分别对应的样本指纹特征向量。示例性的,生成样本指纹特征向量的过程具体可以为:获取SQL指纹字典中包含的特征定义项,例如,共包含N个特征定义项,包括关键字是否全部大写、是否全部使用单空格、\t的使用次数、别名的定义规范以及关键字的错误次数等,则可以对获取到的样本SQL语句进行统计,得到与各特征定义项对应的指纹特征向量元素,最终得到一个包含N维特征的指纹特征向量:f(x)={f1,f2,f3,...,fn},即为样本指纹特征向量,其中,SQL指纹字典的具体定义方式详见实施例一,在此不再赘述。
步骤230、将样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各实体信息分别对应的指纹模型,构成指纹模型库。
本实施例中,由于不同实体对应的数据库操作习惯不同,在对样本指纹特征向量进行训练时,需要将样指纹特征向量按照其对应的实体信息进行分类,分别对每一类样本指纹特征向量进行训练,以获取每一类实体信息对应的指纹模型,最终将各类实体信息对应的指纹模型共同构成指纹模型库。
示例性的,按照数据库的用户将样本指纹特征进行分类,得到分别与用户A、用户B以及用户C对应的三类样本指纹特征向量,然后分别对这三类样本指纹特征向量进行训练,最终得到分别与上述三个用户对应的指纹模型,并由上述三个指纹模型共同构成指纹模型库。
可选的,将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,包括:
将样本指纹特征向量按照实体信息进行分类,获取与各类实体信息对应的各样本指纹特征矩阵;
对样本指纹矩阵中的各元素进行特征变换,获取目标指纹特征矩阵;
根据目标指纹特征矩阵中的每一维特征数据,计算每一维特征数据的指纹特征熵,其中,目标指纹特征矩阵中的每一列数据为一个维度的特征数据;
根据每一维特征数据的指纹特征熵,计算每一维特征数据的指纹特征权重;
根据指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率;
根据相似度概率,计算置信度阈值;
由指纹特征熵、指纹特征权重以及置信度阈值,构成指纹模型。
本可选的实施例中,提供了一种对样本指纹特征向量进行训练,获取指纹模型的方式,图2d为本实施例提供的一种指纹模型训练思路的示意图。首先,将样本指纹特征向量按照实体信息进行分类,并由每一类指纹特征向量构成与对应实体信息对应的样本指纹特征矩阵Am*n,其中,m为一类指纹特征向量的数据量,n为指纹特征向量的特征维度,也就是说,样本指纹特征矩阵的每一行表示一条样本SQL语句的指纹特征向量,每一列表示指纹特征向量中的一个特征维度;由于样本指纹特征矩阵中各元素中包含连续性变量或者字符变量等不同变量形式,不方便后续统计,因此需要对样本指纹特征矩阵中的元素进行特征变换,一般包括下列几种情况:
1)、对于连续性变量元素,例如,次数、占比以及累加值等,可以通过卡方分箱或者分位数分箱等方式进行分箱,最终将连续性变量归一化成N类数据分布;
2)、对于字符类元素,例如,特殊字符以及关键字等,可以通过one-hot算法进行归一化编码;
3)、对于枚举类元素,例如,真假、存在或者不存在等,可以直接转化为0或1进行表示。
最终,将通过上述方式进行特征变换后的样本指纹特征矩阵称为目标指纹特征矩阵。
在得到目标指纹特征矩阵的基础上,计算目标指纹特征矩阵中每一维特征矩阵的指纹特征熵,具体的,首先计算每一维特征数据中,各行特征数据在所有行中出现的概率,然后根据各行特征数据在所有行中出现概率,确定每一维特征数据的指纹特征熵。
在计算得到单维数据的指纹特征熵后,根据各特征维度的指纹特征熵计算各特征维度的指纹特征权重,一般而言,越杂乱无规律的特征,越不具备代表性,贡献度也越低,反之,贡献度越高,具体的指纹特征权重计算方式如下:
其中,ω=1/Hi为指纹特征熵Hi的倒数;
W(xi)是第i维特征的指纹特征权重。
进一步的,根据指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率,循环递归计算,最终计算出与每个实体信息对应的每一个SQL语句的相似度概率。
在得到每一条样本SQL语句与全部样本SQL语句的相似度概率的基础上,根据相似度概率计算置信度阈值,为后续SQL相似度比对设置动态阈值,设置置信度系数越大,表示任意SQL语句的相似度概率落在设定相似度区间的概率越低,即异常SQL的检测越严格。示例性的,可以将相似度概率的平均值作为置信度阈值。
最终由上述计算得出的指纹特征熵、指纹特征权重以及置信度阈值,构成指纹模型。
可选的,根据所述目标指纹特征矩阵中的每一维特征数据,计算每一维特征数据的指纹特征熵,包括:
计算每一维特征数据中,各行特征数据在所有行中出现的概率;
将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵;
根据所述指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率,包括:
计算单维特征数据在总样本中的出现概率,循环递归计算所有维度,得到各维度特征数据出现概率;
将所述各维度特征数据出现概率进行加权求和,得到单条样本SQL语句较全部样本SQL语句的相似度概率,其中,加权求和时的权值为所述指纹特征权重。
本可选的实施例中,提供了计算指纹特征熵和每一条样本SQL语句与全部样本SQL语句相似度概率的具体方式。具体的,指纹特征熵的计算方式为:首先计算每一维特征数据中,各行特征数据在所有行中出现的概率,然后将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵,以单维数据Am*1为例,通过下述公式计算单维数据的指纹特征熵:
其中,H(X)是单维数据的指纹特征熵;
b一般取为自然常数e。
进一步的,具体计算单条样本SQL语句的相似度概率的方式为:首先,计算同一维度中,单维特征数据在全部样本数据中出现的概率,并循环递归计算所有维度,获取各单条样本SQL语句的指纹特征向量中各维度特征数据在全部样本数据中出现的概率{θ(i)},然后将各维度特征数据在全部样本数据中的出现概率进行加权求和,得到单条SQL语句较全部样本SQL语句的相似度概率,计算方式如下:
其中,W(xi)是的第i维特征的指纹特征权重。
可选的,根据所述相似度概率,计算置信度阈值,包括:
计算所述相似度概率的均值和标准差;
根据所述均值和标准差,计算所述置信度阈值。
本可选的实施例中,提供了一种计算置信度阈值的方式,具体计算方式如下:
首先,计算每一条样本SQL语句与总体样本SQL语句相似度概率的平均值和标准差,根据平均值和标准差计算置信度阈值,具体计算方式如下:
u±n*σ
其中,u是相似度概率的平均值;
n是置信度系数;
σ是相似度概率的标准差。
置信度系数可以根据实际情况进行设定,例如,设置为2-5区内的任意值,也可以是根据契比雪夫不等式定理确定的,具体确定公式如下:
其中,σ是相似度概率的标准差;
ε是任意值;
μ是数学期望。
步骤240、获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量。
步骤250、从指纹模型库中,获取与目标实体信息匹配的目标指纹模型。
步骤260、将目标指纹特征向量与所述目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果。
本发明实施例的技术方案,首先根据样本SQL语句生成样本指纹特征模型,然后将样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取指纹模型,最终将目标指纹特征向量与指纹模型进行比对,获取待检测的SQL语句的异常检测结果,通过对样本指纹特征向量进行训练,获取指纹模型,解决了现有技术中通过特征码进行异常SQL检测,只能覆盖常见异常类型,鲁棒性差的问题,实现了将信息安全与人工智能进行融合进行异常SQL检测,提升异常SQL检测的准确性,降低误判率。
实施例三
图3为本发明实施例三提供的一种异常SQL检测方法的流程图,本实施例在上述实施例的基础上,进一步进行细化,提供了将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果的具体步骤,以及根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量的具体步骤。下面结合图3对本发明实施例三提供的一种异常SQL检测方法进行说明,还包括以下步骤:
步骤310、获取待检测的SQL语句以及与待检测的SQL语句对应的目标实体信息。
本实施例中,通过对SQL日志数据进行解析,获取待检测SQL语句以及待检测SQL语句对应的目标实体信息。示例性的,当数据库执行某一用户发起的数据库操作指令,产生SQL日志数据时,将该SQL日志数据通过预设正则过滤规则进行过滤,得到包含待检测的SQL语句及其对应的目标实体信息的SQL日志数据,然后根据设定K-V切分规则对其进行切分,最终提取出待检测SQL语句及其对应的目标实体信息。
步骤320、查询SQL指纹字典,获取与指纹特征向量中的各元素分别对应的特征定义项。
本实施例中,为了生成与待检测的SQL语句对应的目标指纹特征向量,需要查询SQL指纹字典,获取与指纹特征向量中各元素分别对应的特征定义项,这里的SQL指纹字典即实施例一中为了生成与样本SQL语句对应的样本指纹特征向量所查询的SQL指纹字典,其中包含了表示SQL语句特征关注点的特征定义项。
步骤330、根据特征定义项,对待检测的SQL语句进行分析统计,获取与待检测的SQL语句对应的目标指纹特征向量。
本实施例中,根据从SQL指纹字典中查询到的特征定义项,对待检测的SQL语句进行分析统计,获取与待检测的SQL语句对应的目标指纹特征向量,生成目标指纹特征向量的具体方式与实施例二中生成样本指纹特征向量的方式相同,在此不再赘述。
步骤340、从指纹模型库中,获取与目标实体信息匹配的目标指纹模型。
步骤350、计算目标指纹特征向量与目标指纹模型的目标相似度概率。
本实施例中,计算目标指纹特征向量与目标指纹模型的目标相似度概率,具体方式与实施例二中计算每一条样本SQL语句与全部样本SQL语句的相似度概率方式相同,包括:首先计算目标指纹特征向量中各维度数据在样本指纹特征向量中出现的概率;然后将各维度特征数据在全部样本数据中的出现概率进行加权求和,其中该权重即为实施例二中计算得到的特征权重。
步骤360、根据目标相似度概率和置信度阈值,确定待检测的SQL语句的异常检测结果。
本实施例中,根据目标相似度概率和置信度阈值,来确定异常检测结果。示例性的,当目标相似度概率大于置信度阈值,则确定待检测的SQL语句不存在异常SQL,反之,则认为存在异常SQL。
可选的,根据相似度概率和置信度阈值,确定待检测的SQL语句的异常检测结果,包括:
根据待检测SQL语句在设定时间出现的概率,确定调整因子;
判断目标相似度概率是否大于置信度阈值;
若是,则确定不存在异常SQL;
若否,则根据目标相似度概率和所述置信度阈值,计算目标相似度概率偏离置信度阈值的偏离度;
判断偏离度是否小于调整因子;
若是,则确定不存在异常SQL;
若否,则确定存在异常SQL。
本可选的实施例中,提供了一种更加具体的确定是否存在异常SQL的方式,为了降低误判率,计算待检测SQL语句在设定时间,例如,1天内出现的概率,将其作为调整因子σ,然后判断目标相似度概率是否大于置信度阈值,若是,则确定不存在异常SQL,否则,根据目标相似度概率和置信度阈值,计算目标相似度概率偏离置信度阈值的偏离度,当偏离度满足下述不等式,则确定存在异常SQL:
其中,P为偏离度;
X为相似度概率;
μ为置信度阈值;
σ为调整因子。
本发明实施例的技术方案,首先获取与待检测的SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量,然后从指纹模型库中,获取与目标实体信息匹配的目标指纹模型,最终将目标指纹特征向量与目标指纹模型进行比对,并结合调整因子,获取待检测的SQL语句的异常检测结果,解决了现有技术中通过特征码进行异常SQL检测,只能覆盖常见异常类型,鲁棒性差的问题,实现了将信息安全与人工智能进行融合进行异常SQL检测,提升异常SQL检测的准确性,降低误判率。
实施例四
图4为本发明实施例四提供的一种异常SQL检测装置的结构示意图,该异常SQL检测装置,包括:目标指纹特征向量生成模块410、目标指纹模型获取模块420和异常检测结果获取模块430。
其中,目标指纹特征向量生成模块410,用于获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;
目标指纹模型获取模块420,用于从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
异常检测结果获取模块430,用于将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
本发明实施例的技术方案,首先获取与待检测的SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与待检测的SQL语句对应的目标指纹特征向量,然后从指纹模型库中,获取与目标实体信息匹配的目标指纹模型,最终将目标指纹特征向量与目标指纹模型进行比对,获取待检测的SQL语句的异常检测结果,解决了现有技术中通过特征码进行异常SQL检测,只能覆盖常见异常类型,鲁棒性差的问题,实现了将信息安全与人工智能进行融合进行异常SQL检测,提升异常SQL检测的准确性,降低误判率。
可选的,所述异常SQL检测装置,还包括:
样本SQL语句获取模块,用于在获取待检测的结构化查询语言SQL语句之前,对SQL日志数据进行解析,获取所述SQL日志数据中包含的至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息;
样本指纹特征向量生成模块,用于根据所述SQL指纹字典,生成与各所述样本SQL语句分别对应的样本指纹特征向量;
指纹模型库构建模块,用于将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,构成指纹模型库。
可选的,所述样本SQL语句获取模块,包括:
有效日志数据获取单元,用于逐行读取所述SQL日志数据,并通过设定数据过滤规则,过滤出有效日志数据;
样本SQL语句获取单元,用于样本SQL通过设定数据切分规则,对所述有效日志数据进行切分,获取所述至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息。
可选的,所述目标指纹特征向量生成模块410,包括:
特征定义项获取单元,用于查询所述SQL指纹字典,获取与指纹特征向量中的各元素分别对应的特征定义项;
目标指纹特征向量生成单元,用于根据所述特征定义项,对所述待检测的SQL语句进行分析统计,获取与所述待检测的SQL语句对应的目标指纹特征向量。
可选的,所述指纹模型库构建模块,包括:
样本指纹特征矩阵获取单元,用于将所述样本指纹特征向量按照实体信息进行分类,获取与各类实体信息对应的各样本指纹特征矩阵;
目标指纹特征矩阵获取单元,用于对所述样本指纹矩阵中的各元素进行特征变换,获取目标指纹特征矩阵;
指纹特征熵计算单元,用于根据所述目标指纹特征矩阵中的每一维特征数据,计算每一维特征数据的指纹特征熵,其中,所述目标指纹特征矩阵中的每一列数据为一个维度的特征数据;
指纹特征权重计算单元,用于根据所述每一维特征数据的指纹特征熵,计算所述每一维特征数据的指纹特征权重;
相似度概率计算单元,用于根据所述指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率;
置信度阈值计算单元,用于根据所述相似度概率,计算置信度阈值;
由所述指纹特征熵、所述指纹特征权重以及所述置信度阈值,构成所述指纹模型。
可选的,所述指纹特征熵计算单元,包括:
特征数据概率计算子单元,用于计算每一维特征数据中,各行特征数据在所有行中出现的概率;
指纹特征熵计算子单元,用于将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵;
可选的,所述相似度概率计算单元,包括:
特征数据概率计算子单元,用于计算单维特征数据在总样本中的出现概率,循环递归计算所有维度,得到各维度特征数据出现概率;
相似度概率计算子单元,用于将所述各维度特征数据出现概率进行加权求和,得到单条样本SQL语句较全部样本SQL语句的相似度概率,其中,加权求和时的权值为所述指纹特征权重。
可选的,所述置信度阈值计算单元,包括:
均值计算子单元,用于计算所述相似度概率的均值和标准差;
置信度阈值计算子单元,用于根据所述均值和标准差,计算所述置信度阈值。
可选的,所述异常检测结果获取模块430,包括:
目标相似度概率计算单元,用于计算所述目标指纹特征向量与所述目标指纹模型的目标相似度概率;
异常检测结果确定单元,用于根据所述目标相似度概率和所述置信度阈值,确定所述待检测的SQL语句的异常检测结果。
可选的,所述异常检测结果确定单元,具体用于:
根据所述待检测SQL语句在设定时间出现的概率,确定调整因子;
判断所述目标相似度概率是否大于所述置信度阈值;
若是,则确定不存在异常SQL;
若否,则根据所述目标相似度概率和所述置信度阈值,计算所述目标相似度概率偏离所述置信度阈值的偏离度;
判断所述偏离度是否小于所述调整因子;
若是,则确定不存在异常SQL;
若否,则确定存在异常SQL。
可选的,所述异常SQL检测装置,还包括:
异常检测结果校准模块,用于根据传统检测结果,对所述异常检测结果进行校准处理,其中,所述传统检测结果是通过传统异常SQL检测方法确定的检测结果。
本发明实施例所提供的异常SQL检测装置可执行本发明任意实施例所提供的异常SQL检测方法,具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备512的框图。图5显示的计算机设备512仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机设备512以通用计算设备的形式表现。计算机设备512的组件可以包括但不限于:一个或者多个处理器516,存储器528,连接不同***组件(包括存储器528和处理器516)的总线518。
总线518表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机设备512典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机设备512访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器528用于存储指令。存储器528可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)530和/或高速缓存存储器532。计算机设备512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***534可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540,可以存储在例如存储器528中,这样的程序模块542包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信,还可与一个或者多个使得用户能与该计算机设备512交互的设备通信,和/或与使得该计算机设备512能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且,计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白,尽管图5中未示出,可以结合计算机设备512使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器516通过运行存储在存储器528中的指令,从而执行各种功能应用以及数据处理,例如执行以下操作:获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到。
在上述各实施例的基础上,处理器516是设置为通过以下方式构成指纹模型库:对SQL日志数据进行解析,获取所述SQL日志数据中包含的至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息;根据所述SQL指纹字典,生成与各所述样本SQL语句分别对应的样本指纹特征向量;将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,构成指纹模型库。
在上述各实施例的基础上,处理器516是设置为通过以下方式获取样本SQL语句和样本SQL语句分别对应的实体信息:逐行读取所述SQL日志数据,并通过设定数据过滤规则,过滤出有效日志数据;通过设定数据切分规则,对所述有效日志数据进行切分,获取所述至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息。
在上述各实施例的基础上,处理器516是设置为通过以下方式获取目标指纹特征向量:查询所述SQL指纹字典,获取与指纹特征向量中的各元素分别对应的特征定义项;根据所述特征定义项,对所述待检测的SQL语句进行分析统计,获取与所述待检测的SQL语句对应的目标指纹特征向量。
在上述各实施例的基础上,处理器516是设置为通过以下方式获取指纹模型:将所述样本指纹特征向量按照实体信息进行分类,获取与各类实体信息对应的各样本指纹特征矩阵;对所述样本指纹矩阵中的各元素进行特征变换,获取目标指纹特征矩阵;根据所述目标指纹特征矩阵中的每一维特征数据,计算每一维特征数据的指纹特征熵,其中,所述目标指纹特征矩阵中的每一列数据为一个维度的特征数据;根据所述每一维特征数据的指纹特征熵,计算所述每一维特征数据的指纹特征权重;根据所述指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率;根据所述相似度概率,计算置信度阈值;由所述指纹特征熵、所述指纹特征权重以及所述置信度阈值,构成所述指纹模型。
在上述各实施例的基础上,处理器516是设置为通过以下方式计算每一维特征数据的指纹特征熵:计算每一维特征数据中,各行特征数据在所有行中出现的概率;将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵。
在上述各实施例的基础上,处理器516是设置为通过以下方式计算每一条样本SQL语句与全部样本SQL语句的相似度概率:计算单维特征数据在总样本中的出现概率,循环递归计算所有维度,得到各维度特征数据出现概率;将所述各维度特征数据出现概率进行加权求和,得到单条样本SQL语句较全部样本SQL语句的相似度概率,其中,加权求和时的权值为所述指纹特征权重。
在上述各实施例的基础上,处理器516是设置为通过以下方式计算置信度阈值:计算所述相似度概率的均值和标准差;根据所述均值和标准差,计算所述置信度阈值。
在上述各实施例的基础上,处理器516是设置为通过以下方式获取待检测的SQL语句的异常检测结果:计算所述目标指纹特征向量与所述目标指纹模型的目标相似度概率;根据所述目标相似度概率和所述置信度阈值,确定所述待检测的SQL语句的异常检测结果。
在上述各实施例的基础上,处理器516是设置为通过以下方式获取异常检测结果:根据所述待检测SQL语句在设定时间出现的概率,确定调整因子;判断所述目标相似度概率是否大于所述置信度阈值;若是,则确定不存在异常SQL;若否,则根据所述目标相似度概率和所述置信度阈值,计算所述目标相似度概率偏离所述置信度阈值的偏离度;判断所述偏离度是否小于所述调整因子;若是,则确定不存在异常SQL;若否,则确定存在异常SQL。
在上述各实施例的基础上,处理器516是设置为通过以下方式校准异常检测结果:根据传统检测结果,对所述异常检测结果进行校准处理,其中,所述传统检测结果是通过传统异常SQL检测方法确定的检测结果。
实施例六
本发明实施例六还提供一种存储计算机程序的计算机存储介质,所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的异常SQL检测方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory,ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory,EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、射频(Radio Frequency,RF)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (21)
1.一种异常SQL检测方法,其特征在于,包括:
获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;所述待检测SQL语句是对SQL日志数据解析得到的;所述目标实体信息包括发起所述待检测SQL语句的客户端IP地址和数据库用户;
从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到;所述SQL指纹字典是根据特定代码开发规范或者开发人员的SQL语句使用习惯约定得到。
2.根据权利要求1所述的方法,其特征在于,在获取待检测的结构化查询语言SQL语句之前,还包括:
对SQL日志数据进行解析,获取所述SQL日志数据中包含的至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息;
根据所述SQL指纹字典,生成与各所述样本SQL语句分别对应的样本指纹特征向量;
将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,构成指纹模型库。
3.根据权利要求2所述的方法,其特征在于,对SQL日志数据进行解析,获取所述SQL日志数据中包含的至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息,包括:
逐行读取SQL日志数据,并通过设定数据过滤规则,过滤出有效日志数据;
通过设定数据切分规则,对所述有效日志数据进行切分,获取所述至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息。
4.根据权利要求1所述的方法,其特征在于,根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量,包括:
查询所述SQL指纹字典,获取与指纹特征向量中的各元素分别对应的特征定义项;
根据所述特征定义项,对所述待检测的SQL语句进行分析统计,获取与所述待检测的SQL语句对应的目标指纹特征向量。
5.根据权利要求2所述的方法,其特征在于,将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,包括:
将所述样本指纹特征向量按照实体信息进行分类,获取与各类实体信息对应的各样本指纹特征矩阵;
对所述样本指纹矩阵中的各元素进行特征变换,获取目标指纹特征矩阵;
在所述目标指纹特征矩阵的每一维特征数据中,计算各行特征数据在所有行中出现的概率,并根据所述概率和信息熵计算方法,计算每一维特征数据的指纹特征熵,其中,所述目标指纹特征矩阵中的每一列数据为一个维度的特征数据;
根据所述每一维特征数据的指纹特征熵,计算所述每一维特征数据的指纹特征权重;
计算每一条样本SQL语句的指纹特征向量中各维度特征数据在总样本中的出现概率,并根据所述概率和指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率;
根据所述相似度概率,计算置信度阈值;
由所述指纹特征熵、所述指纹特征权重以及所述置信度阈值,构成所述指纹模型。
6.根据权利要求5所述的方法,其特征在于,根据所述概率和信息熵计算方法,计算每一维特征数据的指纹特征熵,包括:
将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵;
根据所述概率和指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率,包括:
将所述各维度特征数据出现概率进行加权求和,得到单条样本SQL语句较全部样本SQL语句的相似度概率,其中,加权求和时的权值为所述指纹特征权重。
7.根据权利要求6所述的方法,其特征在于,根据所述相似度概率,计算置信度阈值,包括:
计算所述相似度概率的均值和标准差;
根据所述均值和标准差,计算所述置信度阈值。
8.根据权利要求7所述的方法,其特征在于,将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果,包括:
计算所述目标指纹特征向量与所述目标指纹模型的目标相似度概率;
根据所述目标相似度概率和所述置信度阈值,确定所述待检测的SQL语句的异常检测结果。
9.根据权利要求8所述的方法,其特征在于,根据所述相似度概率和所述置信度阈值,确定所述待检测的SQL语句的异常检测结果,包括:
根据所述待检测SQL语句在设定时间出现的概率,确定调整因子;
判断所述目标相似度概率是否大于所述置信度阈值;
若是,则确定不存在异常SQL;
若否,则根据所述目标相似度概率和所述置信度阈值,计算所述目标相似度概率偏离所述置信度阈值的偏离度;
判断所述偏离度是否小于所述调整因子;
若是,则确定不存在异常SQL;
若否,则确定存在异常SQL。
10.根据权利要求9所述的方法,其特征在于,在将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果之后,还包括:
根据传统检测结果,对所述异常检测结果进行校准处理,其中,所述传统检测结果是通过传统异常SQL检测方法确定的检测结果;
其中,所述传统异常SQL检测方法包括通过敏感词库、正则匹配或者专家规则方式进行异常SQL检测的方法中的至少一种。
11.一种计算机设备,包括处理器和存储器,所述存储器用于存储指令,当所述指令执行时使得所述处理器执行以下操作:
获取与待检测的结构化查询语言SQL语句对应的目标实体信息,并根据SQL指纹字典,生成与所述待检测的SQL语句对应的目标指纹特征向量;所述待检测SQL语句是对SQL日志数据解析得到的;所述目标实体信息包括发起所述待检测SQL语句的客户端IP地址和数据库用户;
从指纹模型库中,获取与所述目标实体信息匹配的目标指纹模型;
将所述目标指纹特征向量与所述目标指纹模型进行比对,获取所述待检测的SQL语句的异常检测结果;
其中,所述指纹模型库存储有与实体信息匹配的指纹模型,所述指纹模型通过使用与实体信息匹配的多个样本SQL语句的样本指纹特征向量训练得到;所述SQL指纹字典是根据特定代码开发规范或者开发人员的SQL语句使用习惯约定得到。
12.根据权利要求11所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到指纹模型库:
对SQL日志数据进行解析,获取所述SQL日志数据中包含的至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息;
根据所述SQL指纹字典,生成与各所述样本SQL语句分别对应的样本指纹特征向量;
将所述样本指纹特征向量按照实体信息进行分类,并对每一类样本指纹特征向量进行训练,获取与各所述实体信息分别对应的指纹模型,构成指纹模型库。
13.根据权利要求12所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到样本SQL语句和样本SQL语句分别对应的实体信息:
逐行读取所述SQL日志数据,并通过设定数据过滤规则,过滤出有效日志数据;
通过设定数据切分规则,对所述有效日志数据进行切分,获取所述至少一条样本SQL语句和所述至少一条样本SQL语句分别对应的实体信息。
14.根据权利要求11所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到目标指纹特征向量:
查询所述SQL指纹字典,获取与指纹特征向量中的各元素分别对应的特征定义项;
根据所述特征定义项,对所述待检测的SQL语句进行分析统计,获取与所述待检测的SQL语句对应的目标指纹特征向量。
15.根据权利要求12所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到指纹模型:
将所述样本指纹特征向量按照实体信息进行分类,获取与各类实体信息对应的各样本指纹特征矩阵;
对所述样本指纹矩阵中的各元素进行特征变换,获取目标指纹特征矩阵;
在所述目标指纹特征矩阵的每一维特征数据中,计算各行特征数据在所有行中出现的概率,并根据所述概率和信息熵计算方法,计算每一维特征数据的指纹特征熵,其中,所述目标指纹特征矩阵中的每一列数据为一个维度的特征数据;
根据所述每一维特征数据的指纹特征熵,计算所述每一维特征数据的指纹特征权重;
计算每一条样本SQL语句的指纹特征向量中各维度特征数据在总样本中的出现概率,并根据所述概率和指纹特征权重,计算每一条样本SQL语句与全部样本SQL语句的相似度概率;
根据所述相似度概率,计算置信度阈值;
由所述指纹特征熵、所述指纹特征权重以及所述置信度阈值,构成所述指纹模型。
16.根据权利要求15所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到每一维特征数据的指纹特征熵,以及每一条样本SQL语句与全部样本SQL语句的相似度概率:
将各行特征数据在所有行中出现概率与所述概率的对数的乘积进行求和,获取每一维特征数据的指纹特征熵;
将所述各维度特征数据出现概率进行加权求和,得到单条样本SQL语句较全部样本SQL语句的相似度概率,其中,加权求和时的权值为所述指纹特征权重。
17.根据权利要求16所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到置信度阈值:
计算所述相似度概率的均值和标准差;
根据所述均值和标准差,计算所述置信度阈值。
18.根据权利要求17所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到待检测的SQL语句的异常检测结果:
计算所述目标指纹特征向量与所述目标指纹模型的目标相似度概率;
根据所述目标相似度概率和所述置信度阈值,确定所述待检测的SQL语句的异常检测结果。
19.根据权利要求18所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式得到异常检测结果:
根据所述待检测SQL语句在设定时间出现的概率,确定调整因子;
判断所述目标相似度概率是否大于所述置信度阈值;
若是,则确定不存在异常SQL;
若否,则根据所述目标相似度概率和所述置信度阈值,计算所述目标相似度概率偏离所述置信度阈值的偏离度;
判断所述偏离度是否小于所述调整因子;
若是,则确定不存在异常SQL;
若否,则确定存在异常SQL。
20.根据权利要求19所述的计算机设备,其特征在于,所述处理器是设置为通过以下方式校准异常检测结果:
根据传统检测结果,对所述异常检测结果进行校准处理,其中,所述传统检测结果是通过传统异常SQL检测方法确定的检测结果;
其中,所述传统异常SQL检测方法包括通过敏感词库、正则匹配或者专家规则方式进行异常SQL检测的方法中的至少一种。
21.一种存储介质,所述存储介质用于存储指令,所述指令用于执行如权利要求1-10中任一所述的异常SQL检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065684.9A CN111291070B (zh) | 2020-01-20 | 2020-01-20 | 一种异常sql检测方法、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010065684.9A CN111291070B (zh) | 2020-01-20 | 2020-01-20 | 一种异常sql检测方法、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111291070A CN111291070A (zh) | 2020-06-16 |
CN111291070B true CN111291070B (zh) | 2021-03-30 |
Family
ID=71017613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010065684.9A Active CN111291070B (zh) | 2020-01-20 | 2020-01-20 | 一种异常sql检测方法、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111291070B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112100617B (zh) * | 2020-09-15 | 2023-11-24 | 全球能源互联网研究院有限公司 | 一种异常sql检测方法及装置 |
CN112069498B (zh) * | 2020-09-21 | 2023-11-21 | 全球能源互联网研究院有限公司 | 一种sql注入检测模型构建方法及检测方法 |
CN112019574B (zh) * | 2020-10-22 | 2021-01-29 | 腾讯科技(深圳)有限公司 | 异常网络数据检测方法、装置、计算机设备和存储介质 |
CN112286761B (zh) * | 2020-10-29 | 2023-07-07 | 山东中创软件商用中间件股份有限公司 | 一种数据库状态检测方法、装置、电子设备及存储介质 |
CN112767107A (zh) * | 2021-01-14 | 2021-05-07 | 中国工商银行股份有限公司 | 检测黑名单的方法、装置、设备、介质和程序产品 |
US11886468B2 (en) | 2021-12-03 | 2024-01-30 | International Business Machines Corporation | Fingerprint-based data classification |
CN114640499A (zh) * | 2022-02-11 | 2022-06-17 | 深圳昂楷科技有限公司 | 一种对用户行为进行异常识别的方法及其装置 |
CN116107816B (zh) * | 2023-04-13 | 2023-08-01 | 山东捷瑞数字科技股份有限公司 | 一种mysql数据库回档云平台 |
CN116578583B (zh) * | 2023-07-12 | 2023-10-03 | 太平金融科技服务(上海)有限公司 | 异常语句识别方法、装置、设备、存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101312393B (zh) * | 2007-05-24 | 2011-08-31 | 北京启明星辰信息技术股份有限公司 | 一种sql注入漏洞检测方法及*** |
CN101388763B (zh) * | 2007-09-12 | 2011-02-02 | 北京启明星辰信息技术股份有限公司 | 一种支持多种数据库类型的sql注入攻击检测*** |
CN103607391B (zh) * | 2013-11-19 | 2017-02-01 | 北京航空航天大学 | 一种基于K‑means的SQL注入攻击检测方法 |
US11625569B2 (en) * | 2017-03-23 | 2023-04-11 | Chicago Mercantile Exchange Inc. | Deep learning for credit controls |
CN108549814A (zh) * | 2018-03-24 | 2018-09-18 | 西安电子科技大学 | 一种基于机器学习的sql注入检测方法、数据库安全*** |
KR101949338B1 (ko) * | 2018-11-13 | 2019-02-18 | (주)시큐레이어 | 기계 학습 모델에 기반하여 페이로드로부터 sql 인젝션을 탐지하는 방법 및 이를 이용한 장치 |
-
2020
- 2020-01-20 CN CN202010065684.9A patent/CN111291070B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111291070A (zh) | 2020-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111291070B (zh) | 一种异常sql检测方法、设备及介质 | |
US20240126734A1 (en) | Generating rules for data processing values of data fields from semantic labels of the data fields | |
US11250137B2 (en) | Vulnerability assessment based on machine inference | |
US11243923B2 (en) | Computing the need for standardization of a set of values | |
Bell et al. | Matching records in a national medical patient index | |
US11403465B2 (en) | Systems and methods for report processing | |
CN113609261B (zh) | 基于网络信息安全的知识图谱的漏洞信息挖掘方法和装置 | |
CN110019474B (zh) | 异构数据库中的同义数据自动关联方法、装置及电子设备 | |
US11533373B2 (en) | Global iterative clustering algorithm to model entities' behaviors and detect anomalies | |
CN112364637B (zh) | 一种敏感词检测方法、装置,电子设备及存储介质 | |
Zhang et al. | EX‐Action: Automatically Extracting Threat Actions from Cyber Threat Intelligence Report Based on Multimodal Learning | |
CN114756607A (zh) | 参数配置方法及装置 | |
US8650180B2 (en) | Efficient optimization over uncertain data | |
US9881078B2 (en) | Providing known distribution patterns associated with specific measures and metrics | |
Li et al. | Detection of SQL injection attacks based on improved TFIDF algorithm | |
CN108021595A (zh) | 检验知识库三元组的方法及装置 | |
CN115589339A (zh) | 网络攻击类型识别方法、装置、设备以及存储介质 | |
CN111507878B (zh) | 一种基于用户画像的网络犯罪嫌疑人侦查方法及*** | |
CN115310514A (zh) | 海量数据中识别目标类型数据的方法及装置 | |
CN117786121B (zh) | 一种基于人工智能的档案鉴定方法以及*** | |
CN111930545B (zh) | Sql脚本处理方法、装置和服务器 | |
CN116108430A (zh) | 网站入侵检测方法及装置 | |
CN115510228A (zh) | 基于审计数据的数据库表分类方法及*** | |
CN115269636A (zh) | 一种基于行为词嵌入的用户分类方法及*** | |
CN114461866A (zh) | 一种数据规范化的处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |