CN113704306A - 数据库的数据处理方法、装置、存储介质及电子设备 - Google Patents
数据库的数据处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113704306A CN113704306A CN202111013843.1A CN202111013843A CN113704306A CN 113704306 A CN113704306 A CN 113704306A CN 202111013843 A CN202111013843 A CN 202111013843A CN 113704306 A CN113704306 A CN 113704306A
- Authority
- CN
- China
- Prior art keywords
- information
- sensitive
- virtual
- data
- virtual table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 7
- 230000035945 sensitivity Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种数据库的数据处理方法、装置、存储介质及电子设备,该方法首先获取数据库的全部流量数据及全部查询语句;然后根据每个所述流量数据及查询语句,构建虚拟表;再对所述虚拟表进行分级分类处理。该方法基于数据流量及查询语句,将在一定时间内被查找的数据信息构建成虚拟表,从而去除掉在一定时间内没有被查找的数据信息,即冷数据,这样在对虚拟表进行分级分类时,就不会对冷数据进行分级分类,从而降低了数据分级分类的繁复性,并且提高了数据分级分类的效果。
Description
技术领域
本发明涉及计算机技术领域,具体而言涉及一种数据库的数据处理方法、装置、存储介质及电子设备。
背景技术
目前,数据库应用已深入到各个领域,沉淀的数据越来越多。随之而来的海量数据在采集、存储、使用和外发等各环节稍不慎都会造成敏感数据的泄漏甚至是篡改。引入数据分类分级策略可以对数据库、表、字段实现自动分类分级,进而针对不同类别或者级别的数据实行不同的存储、审计和安全管控策略,做到对数据精准安全管理同时也提高数据安全管理的效率。
但是,数据库中存在一些冷数据,即在长时间内不被查找的数据,现有的数据分级分类方法仍对这些冷数据进行分级分类,而对冷数据的分级分类是无效的处理,从而增加了数据分级分类的繁复性,并且影响数据分级分类的效果。
发明内容
有鉴于此,本发明实施例提供了一种数据库的数据处理方法、装置、存储介质及电子设备,主要解决现有的数据分级分类方法仍对这些冷数据进行分级分类,而对冷数据的分级分类是无效的处理,从而增加了数据分级分类的繁复性,并且影响数据分级分类的效果的问题。
第一方面,本发明实施例提供了一种数据库的数据处理方法,包括:
获取数据库的全部流量数据及全部查询语句;
根据每个所述流量数据及查询语句,构建虚拟表;
对所述虚拟表进行分级分类处理。
在一种可能的实现方式中,所述根据每个所述数据流量及查询语句,构建虚拟表,包括:
对每个所述查询语句进行解析,得到目标表信息及目标字段信息,所述目标表信息为所述查询语句所查找的表的信息,所述目标字段信息为所述查询语句所查找的字段的信息;
基于每个流量数据,获得每个所述流量数据所传输的数据信息;
根据所有所述目标表信息、目标字段信息及数据信息,构建虚拟表。
在一种可能的实现方式中,所述对所述虚拟表进行分级分类处理,包括:
判断每个所述虚拟表的数据信息是否为敏感表,若所述虚拟表为敏感表,则确定所述敏感表的类型;若所述虚拟表不为敏感表,则确定所述虚拟表为非敏感表。
在一种可能的实现方式中,所述判断每个所述虚拟表是否为敏感表,包括:
判断每个所述虚拟表的目标字段信息是否为敏感信息,若所述虚拟表的目标字段信息为敏感信息,则确定所述虚拟表为敏感表;若所述虚拟表的所有目标字段信息均不为敏感信息,则确定所述虚拟表不为敏感表。
在一种可能的实现方式中,所述确定所述虚拟表为敏感表之后还包括:
确定所述敏感表的敏感信息的位置及所述敏感信息的类型;
基于所述敏感信息的位置及所述敏感信息的类型,查找到所述敏感信息并标记所述类型对应的标签。
在一种可能的实现方式中,所述确定所述敏感表的敏感信息的位置,包括:
根据每个所述流量数据,生成对应的镜像流量数据;
对每个镜像流量数据进行识别,得到数据库资产信息;
建立每个所述数据库资产信息、目标表信息及目标字段信息之间的关联关系;
基于每个所述数据库资产信息、目标表信息及目标字段信息之间的关联关系,确定所述敏感表的敏感信息的位置。
在一种可能的实现方式中,对所述虚拟表进行分级分类处理,包括:
获取各虚拟表之间的关联关系;
根据各虚拟表之间的关联关系,确定与第一虚拟表有关联的关联表,所述第一虚拟表为所有虚拟表中的任一虚拟表;
根据所述第一虚拟表及关联表的目标字段信息,确定所述第一虚拟表的类型。
第二方面,本发明实施例提供了一种数据库的数据处理装置,包括:
获取模块,用于获取数据库的全部流量数据及查询语句;
生成模块,用于根据每个流量数据,生成对应的镜像流量数据;
构件模块,用于根据每个流量数据、镜像流量数据及查询语句,构建虚拟表;
分级分类模块,用于对所述虚拟表进行分级分类处理。
第三方面,本发明实施例提供了一种计算机可读存储介质,所述计算机存储介质中存储有至少一种可执行指令,所述可执行指令使处理器执行上述任一方案的数据库的数据处理方法对应的操作。
第四方面,本发明实施例提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一种可执行指令,所述可执行指令使所述处理器执行上述任一方案的数据库的数据处理方法对应的操作。
根据本发明实施例所提供的数据库的数据处理方法、装置、存储介质及电子设备,该方法基于数据流量及查询语句,将在一定时间内被查找的数据信息构建成虚拟表,从而去除掉在一定时间内没有被查找的数据信息,即冷数据,这样在对虚拟表进行分级分类时,就不会对冷数据进行分级分类,从而降低了数据分级分类的繁复性,并且提高了数据分级分类的效果。
附图说明
本发明的下列附图在此作为本发明实施例的一部分用于理解本发明。附图中示出了本发明的实施例及其描述,用来解释本发明的原理。
附图中:
图1为根据本发明的一个可选实施例的数据库的数据处理方法的流程图;
图2为根据本发明的一个可选实施例的步骤S102的流程图;
图3为根据本发明的一个可选实施例的步骤S103的流程图;
图4为判断每个虚拟表是否为敏感表的流程图;
图5为步骤S402之后的流程图;
图6为确定敏感表的敏感信息的位置的流程图;
图7为根据本发明的另一个可选实施例的步骤S103的流程图;
图8为根据本发明的一个可选实施例的数据库的数据处理装置的结构示意图。
具体实施方式
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应予以注意的是,这里所使用的术语仅是为了描述具体实施例,而非意图限制根据本发明的示例性实施例。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式。此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
现在,将参照附图更详细地描述根据本发明的示例性实施例。然而,这些示例性实施例可以多种不同的形式来实施,并且不应当被解释为只限于这里所阐述的实施例。应当理解的是,提供这些实施例是为了使得本发明的公开彻底且完整,并且将这些示例性实施例的构思充分传达给本领域普通技术人员。
第一方面,如图1所示,本发明实施例提供了一种数据库的数据处理方法,包括:
步骤S101:获取数据库的全部流量数据及全部查询语句。
流量数据是指在数据库服务器响应于用户发起的查找请求,并通过网络与用户端建立会话后,数据库服务器与用户端之间形成的数据流。其中,用户发起的查找请求是通过用户在某一种计算机***进行可识别操作而生成的,网络包括但不限于无线网络、Internet等。
数据库的全部流量数据是指在指定时间内的所有流量数据,指定时间可以为从数据库建立完成的时间至当前时间,也可以为用户指定的一段时间,如一年或一个月等,本实施例对该指定时间不做严格限定。
当用户有查询需求时,可以通过计算机设备中运行的数据查询***所提供的用户接口组件输出查询语句。用户数据的查询语句的类型可以为结构化查询语言(StructuredQuery Language,SQL)语句,还可以为其他类型的语句,本实施例对此不作限定,在实际应用中,可以根据数据查询***所支持的语言而定。同样地,全部查询语句是指在指定时间内的所有查询语句,指定时间可以为从数据库建立完成的时间至当前时间,也可以为用户指定的一段时间,如一年或一个月等,本实施例对该指定时间不做严格限定。
步骤S102:根据每个流量数据及查询语句,构建虚拟表。
本实施例中,通过对每个流量数据及查询语句进行解析,就可构建虚拟表,而并不需要通过获取用户的用户名及密码来访问数据库,从而避免了复杂的访问过程,也避免了因账号泄漏导致的数据泄漏的风险,而且对数据库没有侵入性,提高了数据库的安全。
步骤S103:对虚拟表进行分级分类处理。
根据本发明实施例所提供的数据库的数据处理方法,该方法基于数据流量及查询语句,将在一定时间内被查找的数据信息构建成虚拟表,从而去除掉在一定时间内没有被查找的数据信息(即冷数据),这样在对虚拟表进行分级分类时,就不会对冷数据进行分级分类,从而降低了数据分级分类的繁复性,并且提高了数据分级分类的效果。
在一种可能的实现方式中,如图2所示,步骤S102具体包括:
步骤S201:对每个查询语句进行解析,得到目标表信息及目标字段信息,目标表信息为查询语句所查找的表的信息,目标字段信息为查询语句所查找的字段的信息。
目标表信息包括但不限于查询语句所查找的表的表名,目标字段信息包括但不限于查询语句所查找的字段的字段名。表名和字段名均可采用文字的形式表示,例如,表名为“客户信息表”,字段名为“姓名”。当然,所述表名和字段名还可以采用其他形式进行表示,本发明对此不做限制。
在查询语句为SQL语句时,可适用正则表达式或其他第三方SQL语句解析,从而得到目标表信息及目标字段信息。在查询语句采用其他语句的情况下,也可采用相应的解析方式进行解析,以得到相应的目标信息及目标字段信息。
步骤S202:基于每个流量数据,获得每个流量数据所传输的数据信息。
对每个流量数据进行解析,得到每个流量数据所传输的数据信息,也就是用户查询得到的结果数据。
步骤S203:根据所有目标表信息、目标字段信息及数据信息,构建虚拟表。
基于所有目标表信息、目标字段信息及数据信息,利用每个目标表信息、目标字段信息及数据信息之间的对应关系,就可构建形成相应的虚拟表。
示例性的,目标表信息包括“客户信息表”及“销售业绩表”,其中,“客户信息表”的目标字段信息包括“客户姓名”、“性别”,“客户姓名”的数据信息包括“张三”、“李四”,相应的“性别”的数据信息包括“女”、“男”;“销售业绩表”的目标字段信息包括“销售员姓名”、“销售金额”,“销售员姓名”的数据信息包括“小明”、“小红”,相应的“销售金额”的数据信息包括“100元”、“150元”,从而构建得到“客户信息表”的虚拟表1以及“销售业绩表”对应的虚拟表2。
虚拟表1客户信息表
客户姓名 | 性别 |
张三 | 女 |
李四 | 男 |
虚拟表2销售业绩表
客户姓名 | 销售业绩 |
小明 | 100元 |
小红 | 150元 |
在本实施例中,通过对每个查询语句、流量数据的解析,获得相应的目标表信息、目标字段信息及数据信息,以构建相应的虚拟表,而并不需要通过获取用户的用户名及密码来访问数据库,从而避免了复杂的访问过程,也避免了因账号泄漏导致的数据泄漏的风险,而且对数据库没有侵入性。同时,该虚拟表中也不会出现在特定时间内没有被查询的数据,即冷数据,这样在后续对虚拟表进行分级分类处理时,也不会对冷数据进行分级分类处理,从而降低了数据分级分类的繁复性,并且提高了数据分级分类的效果。
在另一种可能的实现方式中,如图3所示,步骤S103包括:
步骤S301:判断每个虚拟表是否为敏感表,若虚拟表为敏感表,则执行步骤S302;若虚拟表不为敏感表,则执行步骤S303。
步骤S302:确定敏感表的类型。
步骤S303:确定虚拟表为非敏感表。
在本实施例中,首先判断虚拟表是否为敏感表,若虚拟表为敏感表,则对该表进行分类并确定敏感级别;若虚拟表不为敏感表,则直接确定该表为非敏感表即可,之后可形成分级分类报告展现给用户,以便于用户查看。
在上述实施例中,如图4所示,判断每个虚拟表是否为敏感表具体包括:
步骤S401:判断每个虚拟表的目标字段信息是否为敏感信息,若虚拟表的目标字段信息为敏感信息,则执行步骤S402;若虚拟表的所有目标字段信息均不为敏感信息,则执行步骤S403。
步骤S402:确定虚拟表为敏感表。
步骤S403:确定虚拟表不为敏感表。
具体地,在处理***中可预选存储敏感词典,敏感词典可存储有全部的敏感词,可将每个虚拟表的每个目标字段信息与敏感词典内的敏感词逐一匹配,如果该虚拟表的其中一个或几个目标字段信息与敏感词匹配成功,则确定该虚拟表为敏感表,如果该虚拟表的所有目标字段信息与敏感词典的所有敏感词都不匹配,则确定该虚拟表不为敏感表。其中,敏感词典内的敏感词可由用户根据实际需求进行添加或删减。
示例性的,假设敏感词典的敏感词为“用户姓名”及“用户手机”,那么上述例子中的虚拟表1中的目标字段信息“用户姓名”与敏感词“用户姓名”匹配成功,则确定虚拟表1为敏感表,虚拟表2的目标字段信息没有与“用户姓名”及“用户手机”相匹配的,则确定虚拟表2不为敏感表。
进一步地还可根据敏感信息的数量,确定敏感表的敏感级别,也就是敏感表包含的敏感信息的数量越多,敏感级别越高。每个敏感级别对应一定数量的敏感信息的数量阈值,如果敏感表包括的敏感信息到达该其中一个敏感级别的敏感信息的数量阈值,则可确定该敏感表的敏感级。示例性的,假设第一敏感级对应的敏感信息的数量阈值是3,第二敏感级对应的敏感信息的数量阈值是6,如果敏感表1共包含4个敏感信息,则敏感表1为第一敏感级。
在又一种可能的实现方式中,如图5所示,步骤S402之后还包括:
步骤S501:确定敏感表的敏感信息的位置及敏感信息的类型。
敏感词典还储存有每个敏感词对应的敏感词类型,在虚拟表的字段信息与敏感词匹配成功的情况下,则将敏感词的类型确定为敏感信息的类型。例如,假设敏感词“用户手机”对应的类型为“用户联系方式”,虚拟表中的敏感信息包括“用户手机”,则字段信息“用户手机”的类型确定为“用户联系方式”。
步骤S502:基于敏感信息的位置及敏感信息的类型,查找到敏感信息并标记类型对应的标签。
其中,标签可以为与类型相同的文字,也可以是相应的特定符号,本申请不做严格限定。示例性的,类型“用户联系方式”的标签可为“用户联系方式”,也可为“A”。
具体地,如图6所示,确定敏感表的敏感信息的位置,包括:
步骤S601:根据每个流量数据,生成对应的镜像流量数据。
镜像流量数据是指流经某个设备的流量数据基于预设条件按需完整复制或截取部分信息,并输送到其他指定接收设备上做流量处理的流量数据。比如,可以从端口、VLAN等维度对流量数据进行复制或截取而得到镜像流量数据。
步骤S602:对每个镜像流量数据进行识别,得到数据库资产信息。
数据库资产信息主要包括但不限于数据库资产IP、端口和数据库类型等,由此本申请无需事先梳理数据库资产信息,通过解析镜像流量信息便可梳理出数据库资产信息。
步骤S603:建立每个数据库资产信息、目标表信息及目标字段信息之间的关联关系。
每个数据库资产信息跟相应的数据库内的目标表信息和目标字段信息之间建立关联关系。
步骤S604:基于每个数据库资产信息、目标表信息及目标字段信息之间的关联关系,确定敏感表的敏感信息的位置。
基于每个数据库资产信息、目标表信息及目标字段信息之间的关联关系,就可查找到敏感表的目标表信息、敏感信息及相应的数据库资产信息,从而根据数据库资产信息可以查询到敏感表所在的数据库,然后根据敏感表的目标表信息,找到敏感表,再根据敏感表的目标表信息与敏感信息的对应关系,在敏感表内查找到敏感信息,从而确定敏感信息的位置。
在上述实施例中,如图7所示,步骤S103的步骤还包括:
步骤S701:获取各虚拟表之间的关联关系。
其中,可通过预设算法获取各虚拟表之间的关联关系,所述预设算法可采用join算法,把两个或者多个虚拟表通过虚拟表之间的目标字段信息关系关联起来。
示例性的,虚拟表A、虚拟表B及虚拟表C如下所示,通过“编号”可确定虚拟表A及虚拟表B具有关联关系,通过“地址编号”可确定虚拟表B与虚拟表C具有关联关系。
虚拟表A产品表
编号 | 产品名称 | 价格 |
12 | 笔记本 | 18999.00 |
13 | 手机 | 1899.00 |
虚拟表B业务订购信息表
编号 | 订单时间 | 地址编号 |
12 | 2020/12/11 15:32 | 1000 |
13 | 2020/12/11 15:32 | 1000 |
虚拟表C地址表
地址编号 | 地址 | 姓名 |
1000 | 上海市浦东新区 | 王武 |
1000 | 上海市虹口区 | 李佳 |
该步骤通过目标字段信息来确定各虚拟表之间的关联关系,与现有的通过表的主外键来确定关联关系相比,得到的关联关系更加准确。当然,在其他实施例中,还可通过其他算法实现各虚拟表之间的关联,以获取其关联关系,本申请对此不做限制。
步骤S702:根据各虚拟表之间的关联关系,确定与第一虚拟表有关联的关联表,第一虚拟表为所有虚拟表中的任一虚拟表。
第一虚拟表的关联表包括与第一虚拟表具有直接关联关系的虚拟表,以及与第一虚拟包有间接关联关系的虚拟表。
示例性的,继续以步骤S701中的例子为例,假设虚拟表A为第一虚拟表,则虚拟表B为与虚拟表A有直接关联关系的虚拟表,虚拟表C为与虚拟表A有间接关联关系的虚拟表,这样虚拟表A的关联表为虚拟表B及虚拟表C。
步骤S703:根据第一虚拟表及关联表的目标字段信息,确定第一虚拟表的类型。
该步骤通过第一虚拟表的目标字段信息结合关联表的目标字段信息来确定第一虚拟表的类型,与仅通过第一虚拟表内的目标字段信息来确定第一虚拟表的类型相比,分类的更加准确。
示例性的,继续以步骤S702中的例子为例,第一虚拟表(虚拟表A)包括目标字段信息“产品名称”、“价格”,虚拟表B包括目标字段信息“订单时间”、“地址编号”,虚拟表C包括目标字段信息“地址”、“姓名”。在现有技术中,仅凭第一虚拟表的“产品名称”、“价格”,无法准确确定第一虚拟表是产品表,还是业务订购信息表。而在本步骤中,通过结合第一虚拟表的关联表虚拟表B的“订单时间”、“地址编号”,就可以确定第一虚拟表为产品表,从而得到准确的类型。
第二方面,本发明实施例提供了一种数据库的数据处理装置,如图8所示,所述装置包括:
获取模块801,用于获取数据库的全部流量数据及查询语句;
构建模块802,用于根据每个流量数据及查询语句,构建虚拟表;
分级分类模块803,用于对虚拟表进行分级分类处理。
根据本发明实施例所提供的数据库的数据处理装置,该装置基于数据流量及查询语句,将在一定时间内被查找的数据信息构建成虚拟表,从而去除掉在一定时间内没有被查找的数据信息,即冷数据,这样在对虚拟表进行分级分类时,就不会对冷数据进行分级分类,从而降低了数据分级分类的繁复性,并且提高了数据分级分类的效果。同时,通过构建虚拟表的方式进行分类分级,不需要对原数据库进行处理,避免了对原数据库的侵入性,从而提高了数据库的安全性。
第三方面,本发明实施例提供了一种计算机可读存储介质,计算机存储介质中存储有至少一种可执行指令,可执行指令使处理器执行上述任一方案的数据库的数据处理方法对应的操作。
第四方面,本发明实施例提供了一种电子设备,包括:处理器、存储器、通信接口和通信总线、处理器、存储器和通信接口通过通信总线完成相互间的通信;存储器用于存放至少一种可执行指令,可执行指令使处理器执行上述任一方案的数据库的数据处理对应的操作。
具体地,程序可以包括程序代码,该程序代码包括计算机操作指令。
处理器可能是中央处理器CPU,或者是特定集成电路ASIC(Application SpecificIntegrated Circuit),或者是被配置成本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器,用于存放程序。存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
本发明已经通过上述实施例进行了说明,但应当理解的是,上述实施例只是用于举例和说明的目的,而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是,本发明并不局限于上述实施例,根据本发明的教导还可以做出更多种的变型和修改,这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。
Claims (10)
1.一种数据库的数据处理方法,其特征在于,包括:
获取数据库的全部流量数据及全部查询语句;
根据每个所述流量数据及查询语句,构建虚拟表;
对所述虚拟表进行分级分类处理。
2.根据权利要求1所述的方法,其特征在于,所述根据每个所述数据流量及查询语句,构建虚拟表,包括:
对每个所述查询语句进行解析,得到目标表信息及目标字段信息,所述目标表信息为所述查询语句所查找的表的信息,所述目标字段信息为所述查询语句所查找的字段的信息;
基于每个流量数据,获得每个所述流量数据所传输的数据信息;
根据所有所述目标表信息、目标字段信息及数据信息,构建虚拟表。
3.根据权利要求2所述的方法,其特征在于,所述对所述虚拟表进行分级分类处理,包括:
判断每个所述虚拟表是否为敏感表,若所述虚拟表为敏感表,则确定所述敏感表的类型;若所述虚拟表不为敏感表,则确定所述虚拟表为非敏感表。
4.根据权利要求3所述的方法,其特征在于,所述判断每个所述虚拟表是否为敏感表,包括:
判断每个所述虚拟表的目标字段信息是否为敏感信息,若所述虚拟表的目标字段信息为敏感信息,则确定所述虚拟表为敏感表;若所述虚拟表的所有目标字段信息均不为敏感信息,则确定所述虚拟表不为敏感表。
5.根据权利要求4所述的方法,其特征在于,所述确定所述虚拟表为敏感表之后还包括:
确定所述敏感表的敏感信息的位置及所述敏感信息的类型;
基于所述敏感信息的位置及所述敏感信息的类型,查找到所述敏感信息并标记所述类型对应的标签。
6.根据权利要求5所述的方法,其特征在于,所述确定所述敏感表的敏感信息的位置,包括:
根据每个所述流量数据,生成对应的镜像流量数据;
对每个镜像流量数据进行识别,得到数据库资产信息;
建立每个所述数据库资产信息、目标表信息及目标字段信息之间的关联关系;
基于每个所述数据库资产信息、目标表信息及目标字段信息之间的关联关系,确定所述敏感表的敏感信息的位置。
7.根据权利要求1所述的方法,其特征在于,所述对所述虚拟表进行分级分类处理,包括:
获取各虚拟表之间的关联关系;
根据各虚拟表之间的关联关系,确定与第一虚拟表有关联的关联表,所述第一虚拟表为所有虚拟表中的任一虚拟表;
根据所述第一虚拟表及关联表的目标字段信息,确定所述第一虚拟表的类型。
8.一种数据库的数据处理装置,其特征在于,包括:
获取模块,用于获取数据库的全部流量数据及查询语句;
构建模块,用于根据每个流量数据及查询语句,构建虚拟表;
分级分类模块,用于对所述虚拟表进行分级分类处理。
9.一种存储介质,其特征在于,所述存储介质中存储有至少一种可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据库的数据处理方法对应的操作。
10.一种电子设备,其特征在于,包括:处理器、存储器、通信接口和通信总线、所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一种可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据库的数据处理方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111013843.1A CN113704306B (zh) | 2021-08-31 | 2021-08-31 | 数据库的数据处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111013843.1A CN113704306B (zh) | 2021-08-31 | 2021-08-31 | 数据库的数据处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113704306A true CN113704306A (zh) | 2021-11-26 |
CN113704306B CN113704306B (zh) | 2024-01-30 |
Family
ID=78658105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111013843.1A Active CN113704306B (zh) | 2021-08-31 | 2021-08-31 | 数据库的数据处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113704306B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168345A (zh) * | 2022-06-27 | 2022-10-11 | 天翼爱音乐文化科技有限公司 | 数据库分级分类方法、***、装置及存储介质 |
CN116610714A (zh) * | 2023-07-14 | 2023-08-18 | 北京数巅科技有限公司 | 一种数据查询方法、装置、计算机设备及存储介质 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1556482A (zh) * | 2003-12-31 | 2004-12-22 | 中兴通讯股份有限公司 | 一种用于实现数据库多表查询的数据处理方法 |
US20050091198A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Context sensitive term expansion with dynamic term expansion |
CN101458613A (zh) * | 2008-12-31 | 2009-06-17 | 成都市华为赛门铁克科技有限公司 | 一种混合分级阵列的实现方法、混合分级阵列和存储*** |
US20170286454A1 (en) * | 2014-11-19 | 2017-10-05 | Informex, Inc. | Data retrieval apparatus, program and recording medium |
CN107391739A (zh) * | 2017-08-07 | 2017-11-24 | 北京奇艺世纪科技有限公司 | 一种查询语句生成方法、装置及电子设备 |
CN109637602A (zh) * | 2018-11-23 | 2019-04-16 | 金色熊猫有限公司 | 医疗数据存储和查询方法、装置、存储介质及电子设备 |
CN109829327A (zh) * | 2018-12-15 | 2019-05-31 | 中国平安人寿保险股份有限公司 | 敏感信息处理方法、装置、电子设备及存储介质 |
CN109918369A (zh) * | 2017-12-13 | 2019-06-21 | 中兴通讯股份有限公司 | 数据存储方法及装置 |
CN110019328A (zh) * | 2017-07-26 | 2019-07-16 | 环球智达科技(北京)有限公司 | 一种基于移动终端应用类的数据处理方法及装置 |
CN111142794A (zh) * | 2019-12-20 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种数据分类存储的方法、装置、设备及存储介质 |
CN111209296A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司企业服务分公司 | 数据库访问方法、装置、电子设备及存储介质 |
CN111475525A (zh) * | 2020-03-05 | 2020-07-31 | 平安科技(深圳)有限公司 | 基于结构化查询语言的脱敏方法、及其相关设备 |
CN111767573A (zh) * | 2020-06-28 | 2020-10-13 | 北京天融信网络安全技术有限公司 | 数据库安全管理方法、装置、电子设备及可读存储介质 |
CN112380236A (zh) * | 2020-11-11 | 2021-02-19 | 浪潮商用机器有限公司 | 一种db2/400数据库访问方法、装置、设备 |
CN112765658A (zh) * | 2021-01-15 | 2021-05-07 | 杭州数梦工场科技有限公司 | 一种数据脱敏方法、装置及电子设备和存储介质 |
CN112905595A (zh) * | 2021-03-05 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 一种数据查询方法、装置及计算机可读存储介质 |
CN112925859A (zh) * | 2021-03-31 | 2021-06-08 | 中国建设银行股份有限公司 | 数据存储方法和装置 |
CN112989412A (zh) * | 2021-03-18 | 2021-06-18 | 城云科技(中国)有限公司 | 一种基于sql语句解析的数据脱敏方法及装置 |
-
2021
- 2021-08-31 CN CN202111013843.1A patent/CN113704306B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050091198A1 (en) * | 2003-10-22 | 2005-04-28 | International Business Machines Corporation | Context sensitive term expansion with dynamic term expansion |
CN1556482A (zh) * | 2003-12-31 | 2004-12-22 | 中兴通讯股份有限公司 | 一种用于实现数据库多表查询的数据处理方法 |
CN101458613A (zh) * | 2008-12-31 | 2009-06-17 | 成都市华为赛门铁克科技有限公司 | 一种混合分级阵列的实现方法、混合分级阵列和存储*** |
US20170286454A1 (en) * | 2014-11-19 | 2017-10-05 | Informex, Inc. | Data retrieval apparatus, program and recording medium |
CN110019328A (zh) * | 2017-07-26 | 2019-07-16 | 环球智达科技(北京)有限公司 | 一种基于移动终端应用类的数据处理方法及装置 |
CN107391739A (zh) * | 2017-08-07 | 2017-11-24 | 北京奇艺世纪科技有限公司 | 一种查询语句生成方法、装置及电子设备 |
CN109918369A (zh) * | 2017-12-13 | 2019-06-21 | 中兴通讯股份有限公司 | 数据存储方法及装置 |
CN109637602A (zh) * | 2018-11-23 | 2019-04-16 | 金色熊猫有限公司 | 医疗数据存储和查询方法、装置、存储介质及电子设备 |
CN109829327A (zh) * | 2018-12-15 | 2019-05-31 | 中国平安人寿保险股份有限公司 | 敏感信息处理方法、装置、电子设备及存储介质 |
CN111142794A (zh) * | 2019-12-20 | 2020-05-12 | 北京浪潮数据技术有限公司 | 一种数据分类存储的方法、装置、设备及存储介质 |
CN111209296A (zh) * | 2019-12-31 | 2020-05-29 | 航天信息股份有限公司企业服务分公司 | 数据库访问方法、装置、电子设备及存储介质 |
CN111475525A (zh) * | 2020-03-05 | 2020-07-31 | 平安科技(深圳)有限公司 | 基于结构化查询语言的脱敏方法、及其相关设备 |
CN111767573A (zh) * | 2020-06-28 | 2020-10-13 | 北京天融信网络安全技术有限公司 | 数据库安全管理方法、装置、电子设备及可读存储介质 |
CN112380236A (zh) * | 2020-11-11 | 2021-02-19 | 浪潮商用机器有限公司 | 一种db2/400数据库访问方法、装置、设备 |
CN112765658A (zh) * | 2021-01-15 | 2021-05-07 | 杭州数梦工场科技有限公司 | 一种数据脱敏方法、装置及电子设备和存储介质 |
CN112905595A (zh) * | 2021-03-05 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 一种数据查询方法、装置及计算机可读存储介质 |
CN112989412A (zh) * | 2021-03-18 | 2021-06-18 | 城云科技(中国)有限公司 | 一种基于sql语句解析的数据脱敏方法及装置 |
CN112925859A (zh) * | 2021-03-31 | 2021-06-08 | 中国建设银行股份有限公司 | 数据存储方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115168345A (zh) * | 2022-06-27 | 2022-10-11 | 天翼爱音乐文化科技有限公司 | 数据库分级分类方法、***、装置及存储介质 |
CN115168345B (zh) * | 2022-06-27 | 2023-04-18 | 天翼爱音乐文化科技有限公司 | 数据库分级分类方法、***、装置及存储介质 |
CN116610714A (zh) * | 2023-07-14 | 2023-08-18 | 北京数巅科技有限公司 | 一种数据查询方法、装置、计算机设备及存储介质 |
CN116610714B (zh) * | 2023-07-14 | 2023-10-31 | 北京数巅科技有限公司 | 一种数据查询方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113704306B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230350959A1 (en) | Systems and methods for improved web searching | |
JP5575902B2 (ja) | クエリのセマンティックパターンに基づく情報検索 | |
JP5255055B2 (ja) | クエリ統計プロバイダ | |
US8458198B1 (en) | Document analysis and multi-word term detector | |
US8326817B2 (en) | Computer-implemented system and method for analyzing search queries | |
CN109165975B (zh) | 标签推荐方法、装置、计算机设备及存储介质 | |
CN113704306A (zh) | 数据库的数据处理方法、装置、存储介质及电子设备 | |
CN112711705B (zh) | 舆情数据处理方法、设备及存储介质 | |
CN109885773A (zh) | 一种文章个性化推荐方法、***、介质及设备 | |
WO2015117560A1 (en) | Web page recognizing method and apparatus | |
WO2016078533A1 (zh) | 搜索方法、装置、设备及非易失性计算机存储介质 | |
US20130198240A1 (en) | Social Network Analysis | |
CN112966181A (zh) | 服务推荐方法、装置、电子设备及存储介质 | |
Juarez et al. | “You Can’t Fix What You Can’t Measure”: Privately Measuring Demographic Performance Disparities in Federated Learning | |
CN111930949B (zh) | 搜索串处理方法、装置、计算机可读介质及电子设备 | |
CN105389714B (zh) | 一种从行为数据识别用户特性的方法 | |
CN111222032B (zh) | 舆情分析方法及相关设备 | |
CN110674383B (zh) | 舆情查询方法、装置及设备 | |
CN112559526A (zh) | 数据表导出方法、装置、计算机设备及存储介质 | |
WO2020119533A1 (zh) | 基于循环神经网络算法的舆情预警方法、装置、终端及介质 | |
CN116089732A (zh) | 基于广告点击数据的用户偏好识别方法及*** | |
JP2017167829A (ja) | 検出装置、検出方法及び検出プログラム | |
Zhou et al. | Butterfly counting and bitruss decomposition on uncertain bipartite graphs | |
CN114254112A (zh) | 用于敏感信息预分类的方法、***、装置和介质 | |
CN110827101A (zh) | 一种店铺推荐的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |