CN111221917B

CN111221917B - 智能分区存储方法、装置及计算机可读存储介质

Info

Publication number: CN111221917B
Application number: CN201910975760.7A
Authority: CN
Inventors: 沈阳; 张帆
Original assignee: Ping An Property and Casualty Insurance Company of China Ltd
Current assignee: Ping An Property and Casualty Insurance Company of China Ltd
Priority date: 2019-10-12
Filing date: 2019-10-12
Publication date: 2023-05-26
Anticipated expiration: 2039-10-12
Also published as: CN111221917A

Abstract

本发明涉及一种云存储技术，揭露了一种智能分区存储方法，包括：接收用户操作信息，分析所述用户操作信息是存储信息、控制信息还是日志信息；当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，基于所述控制文件创建面向用户的接口；当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中得到用户操作信息集；所述缓存空间依次将所述用户操作信息集输入至数据库中；所述数据库包括不同的分区表，并基于聚类算法将所述用户操作信息集存储至不同的分区表，完成智能分区存储。本发明还提出一种智能分区存储装置以及一种计算机可读存储介质。本发明可以实现快速高效的智能分区存储功能。

Description

智能分区存储方法、装置及计算机可读存储介质

技术领域

本发明涉及云存储技术领域，尤其涉及一种判断用户操作信息后对所述用户操作信息进行智能分区存储的方法、装置及计算机可读存储介质。

背景技术

近年来，随着科技技术的快速发展，使得网上各种信息数据量变的异常庞大，如股票数据、人员登记信息、个人理财数据、车险房贷数据等，而其中关于对所述信息数据的存储面临重大挑战。目前针对数据存储的技术有很多，较为常用的有采用MPP架构的数据库集群存储技术，即采用MPP架构，通过列存储、粗粒度索引等多项大数据处理技术存储大量数据；还有基于大数据一体机，是一种专为大数据的分析处理而设计的软、硬件结合的产品，由一组集成的服务器、存储设备、操作***、数据库管理***以及为数据查询、处理、分析用途而特别预先安装及优化的软件组成。所述技术存储速度都较快，但MPP架构的数据库集群存储技术稳定性较差，但存储大量数据时容易造成存储崩溃，所述大数据一体机随时稳定性较高，但所述大数据一体机造价很高，投入成本很大。因此，一种存储稳定且廉价的高性价比存储技术有待进一步研究。

发明内容

本发明提供一种智能分区存储方法、装置及计算机可读存储介质，其主要目的在于判断用户操作信息后对所述用户操作信息进行智能分区存储。

为实现上述目的，本发明提供的一种智能分区存储方法，包括：

接收用户操作信息，分析所述用户操作信息的信息种类，其中所述信息种类包括存储信息、控制信息及日志信息；

当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，并基于所述控制文件创建面向用户的接口；

当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中，所述缓存空间接收所述用户操作信息后，在预设时间内继续等待接收用户操作信息，并得到用户操作信息集；

所述预设时间过后，所述缓存空间依次将所述用户操作信息集输入至数据库中；

所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储。

可选地，所述存储信息包括用户相关操作的信息，所述控制信息包括用户通过点击相关页面按钮，以达到操作目的的操作信息，以及所述日志信息包括用户删除、修改数据库中已存有用户的相关操作信息。

可选地，所述不同的分区表包括信息分区表和场景分区表，用于所述数据库存储不同的内容；

其中，所述信息分区表存储用户基本信息表、用户详细信息表；

所述场景分区表根据不同的场景功能存储商品信息表、社交论坛表、经济股票记录表。

可选地，所述数据库基于聚类算法将所述用户操作信息集存储至不同的分区表，包括：

接收所述用户操作信息集，并根据所述用户操作信息集的数量m，随机确定n个簇心，其中n不大于m；

计算所述用户操作信息集内每个数据x_i与所述数据库中不同分区表中其他数据之间的凝聚度a(x_i)；

遍历其他簇心的所有用户操作信息，并计算所述其他簇心的所有数据与所述数据x_i的分离度，并排序得到分离度最小值b(x_i)；

根据所述凝聚度a(x_i)与所述分离度最小值b(x_i)计算得出所述平均轮廓系数s(x_i)；

对所述平均轮廓系数s(x_i)的值进行排序，并选择所述平均轮廓系数s(x_i) 最大的值所对应的数据库分区表，达到对所述用户操作信息属于哪个分区表的判断，完成所述智能分区存储。

可选地，所述根据所述凝聚度a(x_i)与所述分离度最小值b(x_i)计算得出所述平均轮廓系数s(x_i)的方法包括：

其中，max{a(x_i)，b(x_i)}表示所述凝聚度a(x_i)与所述分离度最小值b(x_i) 之间的最大值。

此外，为实现上述目的，本发明还提供一种智能分区存储装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的智能分区存储程序，所述智能分区存储程序被所述处理器执行时实现如下步骤：

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有智能分区存储程序，所述智能分区存储程序可被一个或者多个处理器执行，以实现如上所述的智能分区存储方法的步骤。

本发明首先分析用户操作信息的信息种类是存储信息、控制信息还是日志信息，并根据不同的信息种类选择不同的存储方式，因此有效改善了因不同存储信息种类而带来的存储压力，同时基于聚类算法将所述用户操作信息集存储至不同的分区表，通过将数据库进行合理划分，可解决存储空间不足的问题。因此本发明提出的智能分区存储方法、装置及计算机可读存储介质，可以实现精准高效且智能的分区存储。

附图说明

图1为本发明一实施例提供的智能分区存储方法的流程示意图；

图2为本发明一实施例提供的智能分区存储装置的内部结构示意图；

图3为本发明一实施例提供的智能分区存储装置中智能分区存储程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种智能分区存储方法。参照图1所示，为本发明一实施例提供的智能分区存储方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。

在本实施例中，智能分区存储方法包括：

S1、接收用户操作信息，分析所述用户操作信息的信息种类，其中所述信息种类包括存储信息、控制信息及日志信息。

本发明较佳实施例可由HTML或JSP等页面接收包括所述用户操作信息的用户数据，所述页面按照种类可分为订单查询页面、新闻浏览页面、社交论坛页面等。进一步地，本发明还可以接收包括用户登录账户的用户数据，如订单查询页面接收用户登录账户的账户名及密码，并判断所述账户名及密码是否正确，若所述账户名及密码正确，则继续等待并接收用户查询相关商品订单信息等操作信息。因此，所述页面接收登录账户信息，所述登录账户信息主要用来判断用户是否有权利权继续操作所述页面，所述用户操作信息是用户获取操作权利后，在所述页面进行一系列点击、搜索等操作。

进一步地，所述存储信息是存储用户相关操作的信息，如用户在所述社交论坛页面中写了一篇散文诗，并操作页面进行保存，则所述操作页面进行保存即为存储信息。

所述控制信息是用户通过点击相关页面按钮，以达到某个目的的操作信息。如在所述订单查询页面中查询所买商品的物流信息，则只需要点击所述订单查询页面的订单查询按钮，即可完成查询目的。

所述日志信息是用户删除、修改数据库中已存有用户的相关操作信息。如用户已在上述社交论坛页面中写了一篇散文诗并保存在数据库中，需要重新修改所述散文诗的部分用词，则所述操作为日志信息。

S2、当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，并基于所述控制文件创建面向用户的接口。

本发明较佳地，所述页面接收所述用户操作信息，如用户点击所述页面的查询按钮查询自己所购买商品的物流信息，并判断出所述用户操作为控制信息，则所述页面接收所述查询按钮后，自动创建一个查询的文本文件并编译，所述编译是计算机内部自动执行的操作程序，目的是将所述文本文件前 255字节以内的字符转换成相应的AscII码值的二进制表示，即得到控制文件信息。

较佳地，本发明得到所述控制文件信息后，所述控制文件信息包括有访问数据库的访问地址，故基于所述控制文件信息可访问数据库的物流信息，同时将所述二进制存储形式的物流信息进行反编译，并以接口的形式反馈给用户。如物流查询，首先基于所述控制文件信息中访问数据库的访问地址进入到所述数据库中，所述数据库存储了此次商品订单的物流信息，并将所述物流信息以二进制形式拷贝出来，基于反编译得到文本信息反馈给用户查看。

优选地，所述反编译同样也是计算机内部自动执行的操作程序，其目的是将相应的AscII码值的二进制转化为255字节以内的字符串，即将二进制信息转化为字符串信息。

进一步地，所述接口可为文本信息，如物流文字信息、可为提示按钮，如提示用户账号与密码不一致，是否找回密码，有是或否两个按钮、可为搜索框，如社交论坛上相关关键字搜索框。

S3、当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中，所述缓存空间接收所述用户操作信息后，在预设时间内继续等待接收用户操作信息，并得到用户操作信息集。

本发明较佳地，设置预设时间是为了最大化利用计算资源，保证存储稳定的有效措施之一。如用户在所述社交论坛页面中写了一篇散文诗，并操作页面进行保存，同时保存完后，觉得所述散文诗中有部分用词需要修改，因此立即进行修改，因此当所述保存与所述修改的操作在所述预设时间内，则所述缓存空间只需要根据两次用户操作信息是否相同，并最后只需要保存修改后的散文诗至数据库即可，所述预设时间一般设置为15分钟。

进一步地，所述缓存空间也是为了最大化利用计算资源，保证存储稳定的有效措施之一。如用户在所述社交论坛页面中写了一篇散文诗，并操作页面进行保存，若直接将所述散文诗存储至数据库中时，当用户觉得所述散文诗文笔水平不够或其他原因，想立即删除，则还需访问数据库进行删除操作。由于大型数据库每天服务很多用户，当同时访问数据库时，很容易造成数据库瘫痪，因此设置缓存空间，当在所述预设时间内，用户所有的操作都在所述缓存空间中进行，不会影响到数据库。

S4、所述预设时间过后，所述缓存空间依次将所述用户操作信息集输入至数据库中。

较佳地，所述数据库可为oracle数据库或mysql数据库等，所述数据库按照存储内容的不同，分为信息分区表和场景分区表。进一步地，所述信息表包括用户基本信息表、用户详细信息表等，所述场景分区表根据不同的场景功能可包括商品信息表、社交论坛表、经济股票记录表等。如所述用户基本信息表包括用户名、用户密码等；所述用户详细信息表包括用户联系方式、用户住址、用户毕业学校等相关信息；如所述商品信息表包括商品基本信息表、商品详细信息表、订单基本信息表、订单详细信息表，所述商品基本信息表存储各类商品的购进时间、库存量、相应的订购员等基本信息，所述商品详细信息表可存储各商品的详细信息，包括商品种类、有效期、商品生产商等信息。因此，根据不同的分区表存储不同的用户操作信息，可进一步提高存储稳定性。

S5、所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储。

较佳地，本发明将所述用户操作信息集存储至所述数据库，所述用户操作信息集为所述日志信息或存储信息为前提下，并根据聚类算法判断所述用户操作信息属于所述数据库中哪个分区表并存储，假设所述数据库中有K个分区表。

优选地，接收所述用户操作信息集，并根据所述用户操作信息集的大小m，随机确定n个簇心，其中n不大于m。若所述用户操作信息集内每个数据为x_i，并计算所述数据x_i与所述数据库中不同分区表中其他少部分数据之间的凝聚度a(x_i)；同时进一步地，遍历其他簇心的所有用户操作信息，并计算所述其他簇心的所有数据与所述数据x_i的分离度，并排序得到分离度最小值b(x_i)；

本发明较佳实施例中，根据所述凝聚度a(x_i)与所述分离度最小值b(x_i)计算得出所述平均轮廓系数s(x_i)：

发明还提供一种智能分区存储装置。参照图2所示，为本发明一实施例提供的智能分区存储装置的内部结构示意图。

在本实施例中，所述智能分区存储装置1可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。该智能分区存储装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是智能分区存储装置1的内部存储单元，例如该智能分区存储装置1的硬盘。存储器11在另一些实施例中也可以是智能分区存储装置1的外部存储设备，例如智能分区存储装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括智能分区存储装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于智能分区存储装置1的应用软件及各类数据，例如智能分区存储程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器 11中存储的程序代码或处理数据，例如执行智能分区存储程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器 (Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在智能分区存储装置1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-14以及智能分区存储程序01的智能分区存储装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对智能分区存储装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，存储器11中存储有智能分区存储程序01；处理器12执行存储器11中存储的智能分区存储程序01时实现如下步骤：

步骤一、接收用户操作信息，分析所述用户操作信息的信息种类，其中所述信息种类包括存储信息、控制信息及日志信息。

步骤二、当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，并基于所述控制文件创建面向用户的接口。

步骤三、当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中，所述缓存空间接收所述用户操作信息后，在预设时间内继续等待接收用户操作信息，并得到用户操作信息集。

步骤四、所述预设时间过后，所述缓存空间依次将所述用户操作信息集输入至数据库中。

步骤五、所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储。

可选地，在其他实施例中，智能分区存储程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器 (本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述智能分区存储程序在智能分区存储装置中的执行过程。

例如，参照图3所示，为本发明智能分区存储装置一实施例中的智能分区存储程序的程序模块示意图，该实施例中，所述智能分区存储程序可以被分割为数据接收模块10、数据分析模块20、数据存储及分区模块30：

所述数据接收模块10用于：接收用户操作信息，分析所述用户操作信息的信息种类，其中所述信息种类包括存储信息、控制信息及日志信息。

所述数据分析模块20用于：当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，并基于所述控制文件创建面向用户的接口，当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中，所述缓存空间接收所述用户操作信息后，在预设时间内继续等待接收用户操作信息，并得到用户操作信息集。

所述数据存储及分区模块30用于：所述预设时间过后，所述缓存空间依次将所述用户操作信息集输入至数据库中，所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储。

上述数据接收模块10、数据分析模块20、数据存储及分区模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有智能分区存储程序，所述智能分区存储程序可被一个或多个处理器执行，以实现如下操作：

接收用户操作信息，分析所述用户操作信息的信息种类，其中所述信息种类包括存储信息、控制信息及日志信息。

当所述用户操作信息为控制信息时，将所述用户操作信息转化为控制文件，并基于所述控制文件创建面向用户的接口，当所述用户操作信息为存储信息或日志信息时，将所述用户操作信息存储至缓存空间中，所述缓存空间接收所述用户操作信息后，在预设时间内继续等待接收用户操作信息，并得到用户操作信息集。

所述预设时间过后，所述缓存空间依次将所述用户操作信息集输入至数据库中，所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种智能分区存储方法，其特征在于，所述方法包括：

所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，完成智能分区存储；

其中，所述数据库基于聚类算法将所述用户操作信息集存储至所述数据库的不同的分区表，包括：接收所述用户操作信息集，并根据所述用户操作信息集的数量m，随机确定n个簇心，其中n不大于m；计算所述用户操作信息集内每个数据x_i与所述数据库中不同分区表中其他数据之间的凝聚度a(x_i)；遍历其他簇心的所有用户操作信息，并计算所述其他簇心的所有数据与所述数据x_i的分离度，并排序得到分离度最小值b(x_i)；根据所述凝聚度a(x_i)与所述分离度最小值b(x_i)计算得出平均轮廓系数s(x_i)；对所述平均轮廓系数s(x_i)的值进行排序，并选择所述平均轮廓系数s(x_i)最大的值所对应的数据库分区表，达到对所述用户操作信息属于哪个分区表的判断，完成所述智能分区存储；

所述根据所述凝聚度a(x_i)与所述分离度最小值b(x_i)计算得出所述平均轮廓系数s(x_i)的方法包括：

其中，max{a(x_i)，b(x_i)}表示所述凝聚度a(x_i)与所述分离度最小值b(x_i)之间的最大值。

2.如权利要求1所述的智能分区存储方法，其特征在于，所述存储信息包括用户相关操作的信息，所述控制信息包括用户通过点击相关页面按钮，以达到操作目的的操作信息，以及所述日志信息包括用户删除、修改数据库中已存有用户的相关操作信息。

3.如权利要求2所述的智能分区存储方法，其特征在于，所述不同的分区表包括信息分区表和场景分区表，用于所述数据库存储不同的内容；

4.一种智能分区存储装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的智能分区存储程序，所述智能分区存储程序被所述处理器执行时实现如下步骤：

5.如权利要求4所述的智能分区存储装置，其特征在于，所述存储信息包括用户相关操作的信息，所述控制信息包括用户通过点击相关页面按钮，以达到操作目的的操作信息，以及所述日志信息包括用户删除、修改数据库中已存有用户的相关操作信息。

6.如权利要求5所述的智能分区存储装置，其特征在于，所述不同的分区表包括信息分区表和场景分区表，用于所述数据库存储不同的内容；

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有智能分区存储程序，所述智能分区存储程序可被一个或者多个处理器执行，以实现如权利要求1至3中任一项所述的智能分区存储方法的步骤。