CN111813783A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents
数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111813783A CN111813783A CN202010730402.2A CN202010730402A CN111813783A CN 111813783 A CN111813783 A CN 111813783A CN 202010730402 A CN202010730402 A CN 202010730402A CN 111813783 A CN111813783 A CN 111813783A
- Authority
- CN
- China
- Prior art keywords
- data
- power data
- power
- memory space
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 144
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000001960 triggered effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Human Resources & Organizations (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据处理方法、装置、计算机设备和存储介质。通过在获取用户在***中触发的数据处理指令后，从用户对应的私有的第一内存空间中获取待处理的电力数据的数据标识，并根据数据标识，从第二内存空间的文件***中确定待处理的电力数据对应的目标数据表，其中第二内存空间为用于存储上述电力数据的公共内存空间，最后根据数据处理指令中的处理方式信息，对上述目标数据表中的电力数据进行处理。相较于传统的利用开源内存库等方式对电力数据进行处理，本方案通过数据表以及分离内存空间的方式，实现对电力数据的快速简便处理，提高了电力数据处理的效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于映射的文件处理方法、装置、计算机设备和存储介质。
背景技术
电力是保障人们生活正常运转的重要能源之一，随着电力行业的发展，电力***中的电力设备逐渐增多，例如用户的用电信息采集的数据项和密度正在逐渐增加，在电力***运行过程中，通常需要对电力数据进行相关处理，目前对于电力数据的处理方式通常是在数据库进行处理，例如sqlite等，然而，由于电力数据的数据是源源不断地生产，数据量较大，目前的数据库缺乏专业服务支持，性能满足不了要求。
因此，目前数据处理方式存在处理效率低的缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据处理方法、装置、计算机设备和存储介质。
一种数据处理方法，所述方法包括：
响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；所述数据处理指令中包括针对所述待处理的电力数据的处理方式信息；所述第一内存空间为所述用户对应的私有内存空间；
根据所述数据标识，从文件***中确定所述待处理的电力数据对应的目标数据表；所述文件***设置于第二内存空间中，所述文件***中包括多个所述数据表；所述第二内存空间为用于存储所述电力数据的公共内存空间；
根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理。
在其中一个实施例中，所述第一内存空间中包括标识表，所述数据标识存储于所述标识表中，所述标识表中包括至少一个所述数据标识；
所述响应于用户触发的数据处理指令，从与所述用户对应的第一内存空间中获取待处理的电力数据的数据标识之前，还包括：
检测所述标识表中是否存在所述待处理的电力数据对应的数据标识；
若否，在所述标识表中创建所述待处理的电力数据对应的数据标识，建立所述数据标识与所述待处理的电力数据的关联关系。
在其中一个实施例中，所述***中包括多个进程，所述进程与所述用户一一对应；
所述方法还包括：
响应于用户在***中触发的数据处理指令，向所述用户对应的当前进程添加进程锁，并切换所述目标数据表的状态为使用中状态，以阻止其他用户对应的进程对所述目标数据表中的所述电力数据进行处理；
所述根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理之后，还包括：
解除所述进程锁，将所述目标数据表的状态切换为未使用状态。
在其中一个实施例中，所述处理方式信息包括：增加数据、删除数据以及修改数据中至少一种；
所述根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理，包括：
若所述处理方式信息为增加数据，在所述目标数据表中的末端增加待增加的电力数据；所述待增加的电力数据由所述用户确定；
若所述处理方式信息为删除数据，将所述目标数据表中的所述电力数据替换为空数据；
若所述处理方式信息为修改数据，根据所述数据标识以及待修改的电力数据，确定需要修改的内容；所述待修改的电力数据由所述用户确定。
在其中一个实施例中，所述若所述处理方式信息为增加数据，在所述目标数据表中的末端增加待增加的电力数据之前，还包括：
判断所述待增加的电力数据的大小是否大于所述第二内存空间的剩余空间；
若是，增加所述第二内存空间的大小，以存储所述待增加的电力数据。
在其中一个实施例中，所述若所述处理方式信息为删除数据，将所述目标数据表中的所述电力数据替换为空数据，包括：
将所述目标数据表的末端位置的空数据与所述电力数据替换，以将所述电力数据存储至所述末端位置；
将所述电力数据对应的数据标识与所述末端位置关联，删除所述电力数据对应的数据标识。
在其中一个实施例中，所述根据所述数据标识以及待修改的电力数据，确定需要修改的内容，包括：
判断所述待修改的电力数据是否为所述数据标识对应的电力数据；
若否，确定需要修改的内容为所述待修改的电力数据；
若是，确定需要修改的内容为所述待修改的电力数据以及所述待修改的电力数据对应的数据标识。
一种数据处理装置，所述装置包括：
获取模块，用于响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；所述数据处理指令中包括针对所述待处理的电力数据的处理方式信息；所述第一内存空间为所述用户对应的私有内存空间；
确定模块，用于根据所述数据标识，从文件***中确定所述待处理的电力数据对应的目标数据表；所述文件***设置于第二内存空间中，所述文件***中包括多个所述数据表；所述第二内存空间为用于存储所述电力数据的公共内存空间；
处理模块，用于根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
上述数据处理方法、装置、计算机设备和存储介质，通过在获取用户在***中触发的数据处理指令后，从用户对应的私有的第一内存空间中获取待处理的电力数据的数据标识，并根据数据标识，从第二内存空间的文件***中确定待处理的电力数据对应的目标数据表，其中第二内存空间为用于存储上述电力数据的公共内存空间，最后根据数据处理指令中的处理方式信息，对上述目标数据表中的电力数据进行处理。相较于传统的利用开源内存库等方式对电力数据进行处理，本方案通过数据表以及分离内存空间的方式，实现对电力数据的快速简便处理，提高了电力数据处理的效率。
附图说明
图1为一个实施例中数据处理方法的应用环境图；
图2为一个实施例中数据处理方法的流程示意图；
图3为一个实施例中数据表的结构示意图；
图4为一个实施例中数据表表头的结构示意图；
图5为一个实施例中数据表表体的结构示意图；
图6为一个实施例中数据标识与数据表关联关系的结构示意图；
图7为一个实施例中多进程处理步骤的流程示意图；
图8为一个实施例中数据处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的数据处理方法，可以应用于如图1所示的应用环境中。终端102中可以包括内存，终端102可以获取用户在***中触发的数据处理指令，并从第一内存空间中获取待处理的电力数据的数据标识，并根据该数据标识，从位于第二内存空间的文件***中确定待处理的电力数据对应的目标数据表，并根据上述数据处理指令中的处理方式信息，对目标数据表中的电力数据进行处理。在一个实施例中，还可以包括一服务器104，上述第一内存空间和第二内存空间也可以设置于服务器的内存中，终端102可以从服务器104中获取上述数据表以及其中的电力数据，并在终端102中对上述电力数据进行处理。其中，终端102通过网络与服务器104进行通信，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤S202，响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；数据处理指令中包括针对待处理的电力数据的处理方式信息；第一内存空间为用户对应的私有内存空间。
其中，用户可以是使用上述***的用户，上述***可以是电力***，第一内存空间可以是基于上述***中的内存创建的空间，例如从内存中单独分割一部分内存作为第一内存空间，第一内存空间可以是用户对应的私有内存空间。用户可以在上述***中触发数据处理指令，例如点击***中相应数据处理按钮等，终端102可以响应用户在***中触发的数据处理指令，并从上述第一内存空间中获取待处理的电力数据的数据标识，上述数据处理指令中可以包括待处理电力数据的处理方式信息。其中，数据标识可以存储上述第一内存空间中，数据标识可以是用于指示对应的待处理的电力数据的标识，具体地，数据标识可以是索引，索引中可以包括待处理的电力数据的存储位置，例如存储于某个数据表。
另外，索引还可以支持缺省哈希算法及自定义算法，计算索引对应字段集的哈希值，可以由外部用户自定义算法确定，自定义算法根据业务特点定义，比如索引字段是终端地址，而终端地址前面几位是业务信息的固定值，而后4位是递增的序号，所以就可以直接拿终端地址的后4位作为哈希值，实现高效率的索引算法。没有特殊指定算法的情况下，采用默认的哈希算法，方便使用。
步骤S204，根据数据标识，从文件***中确定待处理的电力数据对应的目标数据表；文件***设置于第二内存空间中，文件***中包括多个数据表；第二内存空间为用于存储电力数据的公共内存空间。
其中，数据标识可以是上述步骤S202中，存储于第一内存空间中的，与待处理的电力数据对应的数据标识，文件***中可以存储有多个数据表，还可以用于对数据表进行管理，例如增加数据、删除数据或修改数据等；文件***可以存储于上述第二内存空间中，第二内存空间可以是存储电力数据的公共内存空间，例如可以利用上述文件***中的数据表存储电力数据。其中，数据表中可以存储多个电力数据。终端102可以根据上述数据标识，从上述文件***中确定待处理的电力数据对应的目标数据表，即上述待处理的电力数据所在的数据表。
具体地，如图3所示，图3为一个实施例中数据表的结构示意图。文件***中的数据表的内部结构可以分为表头数据和表体数据，表头数据是定长结构，表体数据区可按实际的记录电力数据，并可以动态扩展。其中，如图4所示，图4为一个实施例中数据表表头的结构示意图。数据表的表头的数据结构可以包括多个字段，每个字段可以包括多个字节，表名支持别名结构，表名和别名之间可以用“：”隔开，若没有定义别名，则默认别名为表名。如图5所示，图5为一个实施例中数据表表体的结构示意图。表体中可以包括多个记录中的电力数据，每个记录中可以包括多个字段，并且字段类型可以包括多种定义，例如可以是指定长度的字符串、数字(支持1,2,4,8长度)、浮点(支持单精度和双精度)、日期型和二进制型(支持位图信息和任意结构)等。上述数据表可以按紧凑结构化存储在上述第二内存空间中的文件***中，并且可以记录表头开始地址，表体开始地址以及每条记录的长度。另外，上述数据表的数据物理载体时文件，可以方便的搬迁移动，方便地实现电力***的安全分区要求，实现档案数据的安全跨区；并且在数据表的电力数据文件中，终端102可以通过多个crc校验码保证文件的可靠性和完整性。
在一个实施例中，如图6所示，图6为一个实施例中数据标识与数据表关联关系的结构示意图。上述数据标识可以是索引，上述***中可以包括多个索引，索引可以以松散map形式存储在私有内存中，即存储在上述第一内存空间中。其中每个索引中可以包括多个哈希值，每个哈希值可以指向不同的记录数据，每条记录数据中可以包括多个字段，字段数据存储可以按空标识指示符(2字节)+长度指示符(2字节)+数据(由长度指定)的结构存储；并且字段类型以及字段数据存储和整个记录的存储可以通过OCCI(Open Cloud ComputingInterface，开放云计算接口)实现高效的批量入库以及批量加载。
步骤S206，根据处理方式信息，对目标数据表中的电力数据进行处理。
其中，处理方式信息可以是上述数据处理指令中的信息，该信息可以用于指示终端102对电力数据进行相应的处理。终端102可以根据上述处理方式信息，对上述目标数据表中的电力数据进行处理。例如可以是增加数据、删除数据和修改数据等。其中每种处理可以采用不同的处理方式。
上述数据处理方法中，通过在获取用户在***中触发的数据处理指令后，从用户对应的私有的第一内存空间中获取待处理的电力数据的数据标识，并根据数据标识，从第二内存空间的文件***中确定待处理的电力数据对应的目标数据表，其中第二内存空间为用于存储上述电力数据的公共内存空间，最后根据数据处理指令中的处理方式信息，对上述目标数据表中的电力数据进行处理。相较于传统的利用开源内存库等方式对电力数据进行处理，本方案通过数据表以及分离内存空间的方式，实现对电力数据的快速简便处理，提高了电力数据处理的效率。
在一个实施例中，响应于用户触发的数据处理指令，从与用户对应的第一内存空间中获取待处理的电力数据的数据标识之前，还包括：检测标识表中是否存在待处理的电力数据对应的数据标识；若否，在标识表中创建待处理的电力数据对应的数据标识，建立数据标识与待处理的电力数据的关联关系。
本实施例中，第一内存空间可以是上述终端102的内存中的私立空间，第一内存空间中可以包括标识表，上述数据标识可以存储于标识表中，标识表中包括至少一个数据标识；具体地，标示表可以是索引表，索引表中可以包括多个索引。终端102可以按需创建数据标识，终端102可以在响应用户触发的数据处理指令前，检测上述标示表中是否存在待处理的电力数据对应的数据标识，若是，则可以根据该数据标识得到待处理的电力数据所在的数据表；若否，终端102可以在上述标识表中创建上述待处理的电力数据对应的数据标识，并建立该新创建的数据标识与待处理的电力数据的关联关系。
具体地，数据标识可以是索引，终端102支持多个索引，每个索引可以是单独的字段，也可以是多个联合字段，在查询记录时，终端102可以根据查询的字段条件，匹配最合适的索引，例如查询的字段和索引的字段重合度最高，若索引数据之前没有，则终端102可以创建增加索引数据，即索引数据是需要使用到时才进行创建。
通过本实施例，终端102可以在需要用到索引时，按需生成索引，从而减少了上述标识表中的冗余度，并提高了处理电力数据的效率。
在一个实施例中，还包括：响应于用户在***中触发的数据处理指令，向用户对应的当前进程添加进程锁，并切换目标数据表的状态为使用中状态，以阻止其他用户对应的进程对目标数据表中的电力数据进行处理。
本实施例中，上述***中可以包括多个进程，每个进程可以与用户一一对应；即每个进程中可以有相应的第一内存空间，上述电力数据存储在映射文件中，索引不在文件中保存，用户可以建立在私立内存中，每个用户都可以在进程中建立自己的索引。因此，在多个进程的情况下，需要避免多个进程同时处理电力数据。终端102可以响应用户在***中触发的数据处理指令，并向该用户对应的当前进程添加进程锁，切换数据处理指令对应的目标数据表的状态为使用中状态，从而阻止其他用户对应的进程对目标数据表中的电力数据进行处理。其中，目标数据表可以是待处理的电力数据所在的数据表。
在一个实施例中，根据处理方式信息，对目标数据表中的电力数据进行处理之后，还包括：解除进程锁，将目标数据表的状态切换为未使用状态。
本实施例中，终端102可以在当前进程对数据处理完成后，解除上述进程锁，从而将目标数据表的状态切换为未使用状态，处于未使用状态的数据表可以被其他进程进行处理。
具体地，如图7所示，图7为一个实施例中多进程处理步骤的流程示意图。进程1可以通过文件映射方式创建内存库表，即上述数据表，然后可以在进程1的私有内存中按需创建索引数据，进程2可以通过文件映射方式打开对应表名的文件，实现电力数据的共享，且进程2也可以在其私有内存中按需创建索引数据，每个进程的索引数据可以不一样，互相之间不影响。任意一个进程在处理电力数据时，终端102可以以文件锁方式加上进程锁，同时修改数据表的状态值，避免多个进程同时处理电力数据，并可以在处理完成后解除进程锁以及修改状态值。
通过上述实施例，终端102可以在多个进程的情况下，利用进程锁以及修改状态值，实现对数据表修改的互斥处理，避免多个进程同时处理电力数据，提高了电力数据的安全性。
在一个实施例中，根据处理方式信息，对目标数据表中的电力数据进行处理，包括：若处理方式信息为增加数据，在目标数据表中的末端增加待增加的电力数据；待增加的电力数据由用户确定；若处理方式信息为删除数据，将目标数据表中的电力数据替换为空数据；若处理方式信息为修改数据，根据数据标识以及待修改的电力数据，确定需要修改的内容；待修改的电力数据由用户确定。
本实施例中，处理方式信息可以是上述数据处理指令中的信息，上述处理方式信息可以包括：增加数据、删除数据以及修改数据中至少一种。终端102可以根据处理方式信息的不同，对待处理的电力数据进行不同的处理。若处理方式信息为增加数据，终端102可以在上述目标数据表的末端增加待增加的电力数据，其中待增加的电力数据可以由用户确定。具体地，终端102可以由当前位置指针得到新增内存位置，即新增位置是在原来末尾，直接在进行记录的内存，即上述目标数据表中，进行待新增的电力数据的拷贝，从而完成电力数据的增。若处理方式为删除信息，终端102可以将上述目标数据表中的电力数据替换为空数据，从而实现对电力数据的删除。具体地，可以是利用目标数据表中不同位置的数据进行替换，实现对电力数据的删除。
若处理方式信息为修改数据，终端102可以根据上述数据标识以及待修改的电力数据，确定需要修改的内容，其中待修改的电力数据可以由用户确定。具体地，在一个实施例中，根据数据标识以及待修改的电力数据，确定需要修改的内容，包括：判断待修改的电力数据是否为数据标识对应的电力数据；若否，确定需要修改的内容为待修改的电力数据；若是，确定需要修改的内容为待修改的电力数据以及待修改的电力数据对应的数据标识。终端102可以根据数据标识与待修改的电力数据是否相关，确定需要仅修改电力数据还是电力数据及其对应的数据标识都要修改。终端102可以根据需要修改的内容，定位到需要修改的对应的数据表中的相应位置，然后按照上述待修改的电力数据，修改相应的字段，若修改的字段不是索引，即上述数据标识，对应的字段，则无需处理，若存在某些索引涉及到修改的字段，则重新构造当前索引记录。
通过上述实施例，终端102可以根据处理方式信息的不同，利用数据标识以及数据表，对待处理的电力数据进行相应的处理，从而提高了电力数据处理的效率。
在一个实施例中，若处理方式信息为增加数据，在目标数据表中的末端增加待增加的电力数据之前，还包括：判断待增加的电力数据的大小是否大于第二内存空间的剩余空间；若是，增加第二内存空间的大小，以存储待增加的电力数据。
本实施例中，终端102可以在增加电力数据前，对第二内存空间的剩余大小进行判断，从而确定是否需要增加内存。终端102可以判断上述待增加的电力数据的大小是否大于第二内存空间的剩余空间，若否，则终端102可以直接将待增加的电力数据添加至数据表中；若否，终端102可以增加第二内存空间的大小，从而可以存储上述待增加的电力数据。具体地，终端102可以按照二分法增加第二内存空间的大小，二分法可以是当存储不足需要重新扩大内存时，中心分配的内存大小可以为当前大小的2倍。
通过本实施例，终端102可以在内存空间不足时，利用相应方法增加第二内存空间的大小，使得终端102可以增加待增加的电力数据至数据表中，从而提高了电力数据的处理效率。
在一个实施例中，若处理方式信息为删除数据，将目标数据表中的电力数据替换为空数据，包括：将目标数据表的末端位置的空数据与电力数据替换，以将电力数据存储至末端位置；将电力数据对应的数据标识与末端位置关联，删除电力数据对应的数据标识。
本实施例中，终端102可以通过替换数据的方式对目标数据表中的数据进行删除。终端102可以将上述目标数据表的末端位置的空数据与上述电力数据进行替换，从而将电力数据存储至目标数据表中的末端位置，并将电力数据对应的数据标识与末端位置关联，删除电力数据对应的数据标识，从而删除该电力数据。具体地，终端102可以根据数据标识定位到需要删除的对应的电力数据，然后使用替换法，将末尾的记录替换成要删除的记录，期间不涉及到记录内存的移动，然后修改对应索引，即数据标识的值，从而将要删除的电力数据对应的索引值更改为末尾记录。
通过本实施例，终端102可以利用替换法对电力数据进行删除，提高了电力数据删除的效率，从而提高了电力数据的处理效率。
在一个实施例中，上述多个数据表还可以进行合并，具体地，内存库表，即上述数据表中可以集成简单的计算引擎，终端102可以通过api接口实现多个数据表之间的简单操作，例如加、减、乘、除等，的合并。合并记录以主键作为同一条记录的识别的基础，目标表按主键建立索引，源表不需要索引，依次扫描源记录，对每条源记录使用索引定位到目标表的记录，然后对目标记录和源记录的操作字段按表达式进行计算合并，最终完成2张表的合并。
通过本实施例，终端102可以将多个数据表进行合并，在合并后的数据表中对电力数据进行处理，从而可以提高电力数据的处理效率。
应该理解的是，虽然图2和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种数据处理装置，包括：获取模块500、确定模块502和处理模块504，其中：
获取模块500，用于响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；数据处理指令中包括针对待处理的电力数据的处理方式信息；第一内存空间为用户对应的私有内存空间。
确定模块502，用于根据数据标识，从文件***中确定待处理的电力数据对应的目标数据表；文件***设置于第二内存空间中，文件***中包括多个数据表；第二内存空间为用于存储电力数据的公共内存空间。
处理模块504，用于根据处理方式信息，对目标数据表中的电力数据进行处理。
在一个实施例中，上述装置还包括：检测模块，用于检测标识表中是否存在待处理的电力数据对应的数据标识；若否，在标识表中创建待处理的电力数据对应的数据标识，建立数据标识与待处理的电力数据的关联关系。
在一个实施例中，上述装置还包括：添加模块，用于响应于用户在***中触发的数据处理指令，向用户对应的当前进程添加进程锁，并切换目标数据表的状态为使用中状态，以阻止其他用户对应的进程对目标数据表中的电力数据进行处理。
在一个实施例中，上述装置还包括：解除模块，用于解除进程锁，将目标数据表的状态切换为未使用状态。
在一个实施例中，上述处理模块504，具体用于若处理方式信息为增加数据，在目标数据表中的末端增加待增加的电力数据；待增加的电力数据由用户确定；若处理方式信息为删除数据，将目标数据表中的电力数据替换为空数据；若处理方式信息为修改数据，根据数据标识以及待修改的电力数据，确定需要修改的内容；待修改的电力数据由用户确定。
在一个实施例中，上述装置还包括：判断模块，用于判断待增加的电力数据的大小是否大于第二内存空间的剩余空间；若是，增加第二内存空间的大小，以存储待增加的电力数据。
在一个实施例中，上述处理模块504，具体用于将目标数据表的末端位置的空数据与电力数据替换，以将电力数据存储至末端位置；将电力数据对应的数据标识与末端位置关联，删除电力数据对应的数据标识。
在一个实施例中，上述处理模块504，具体用于判断待修改的电力数据是否为数据标识对应的电力数据；若否，确定需要修改的内容为待修改的电力数据；若是，确定需要修改的内容为待修改的电力数据以及待修改的电力数据对应的数据标识。
关于数据处理装置的具体限定可以参见上文中对于数据处理方法的限定，在此不再赘述。上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现如上述的数据处理方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述的数据处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据处理方法，其特征在于，所述方法包括：
响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；所述数据处理指令中包括针对所述待处理的电力数据的处理方式信息；所述第一内存空间为所述用户对应的私有内存空间；
根据所述数据标识，从文件***中确定所述待处理的电力数据对应的目标数据表；所述文件***设置于第二内存空间中，所述文件***中包括多个所述数据表；所述第二内存空间为用于存储所述电力数据的公共内存空间；
根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理。
2.根据权利要求1所述的方法，其特征在于，所述第一内存空间中包括标识表，所述数据标识存储于所述标识表中，所述标识表中包括至少一个所述数据标识；
所述响应于用户触发的数据处理指令，从与所述用户对应的第一内存空间中获取待处理的电力数据的数据标识之前，还包括：
检测所述标识表中是否存在所述待处理的电力数据对应的数据标识；
若否，在所述标识表中创建所述待处理的电力数据对应的数据标识，建立所述数据标识与所述待处理的电力数据的关联关系。
3.根据权利要求1所述的方法，其特征在于，所述***中包括多个进程，所述进程与所述用户一一对应；
所述方法还包括：
响应于用户在***中触发的数据处理指令，向所述用户对应的当前进程添加进程锁，并切换所述目标数据表的状态为使用中状态，以阻止其他用户对应的进程对所述目标数据表中的所述电力数据进行处理；
所述根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理之后，还包括：
解除所述进程锁，将所述目标数据表的状态切换为未使用状态。
4.根据权利要求1所述的方法，其特征在于，所述处理方式信息包括：增加数据、删除数据以及修改数据中至少一种；
所述根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理，包括：
若所述处理方式信息为增加数据，在所述目标数据表中的末端增加待增加的电力数据；所述待增加的电力数据由所述用户确定；
若所述处理方式信息为删除数据，将所述目标数据表中的所述电力数据替换为空数据；
若所述处理方式信息为修改数据，根据所述数据标识以及待修改的电力数据，确定需要修改的内容；所述待修改的电力数据由所述用户确定。
5.根据权利要求4所述的方法，其特征在于，所述若所述处理方式信息为增加数据，在所述目标数据表中的末端增加待增加的电力数据之前，还包括：
判断所述待增加的电力数据的大小是否大于所述第二内存空间的剩余空间；
若是，增加所述第二内存空间的大小，以存储所述待增加的电力数据。
6.根据权利要求4所述的方法，其特征在于，所述若所述处理方式信息为删除数据，将所述目标数据表中的所述电力数据替换为空数据，包括：
将所述目标数据表的末端位置的空数据与所述电力数据替换，以将所述电力数据存储至所述末端位置；
将所述电力数据对应的数据标识与所述末端位置关联，删除所述电力数据对应的数据标识。
7.根据权利要求4所述的方法，其特征在于，所述根据所述数据标识以及待修改的电力数据，确定需要修改的内容，包括：
判断所述待修改的电力数据是否为所述数据标识对应的电力数据；
若否，确定需要修改的内容为所述待修改的电力数据；
若是，确定需要修改的内容为所述待修改的电力数据以及所述待修改的电力数据对应的数据标识。
8.一种数据处理装置，其特征在于，所述装置包括：
获取模块，用于响应于用户在***中触发的数据处理指令，从第一内存空间中获取待处理的电力数据的数据标识；所述数据处理指令中包括针对所述待处理的电力数据的处理方式信息；所述第一内存空间为所述用户对应的私有内存空间；
确定模块，用于根据所述数据标识，从文件***中确定所述待处理的电力数据对应的目标数据表；所述文件***设置于第二内存空间中，所述文件***中包括多个所述数据表；所述第二内存空间为用于存储所述电力数据的公共内存空间；
处理模块，用于根据所述处理方式信息，对所述目标数据表中的所述电力数据进行处理。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010730402.2A CN111813783B (zh) | 2020-07-27 | 2020-07-27 | 数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010730402.2A CN111813783B (zh) | 2020-07-27 | 2020-07-27 | 数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111813783A true CN111813783A (zh) | 2020-10-23 |
| CN111813783B CN111813783B (zh) | 2024-03-26 |
Family
ID=72862636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010730402.2A Active CN111813783B (zh) | 2020-07-27 | 2020-07-27 | 数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111813783B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800047A (zh) * | 2021-03-03 | 2021-05-14 | 百果园技术(新加坡)有限公司 | 用户关联数据处理方法、装置、设备和存储介质 |
| WO2023185401A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 一种数据处理方法、编解码加速器和相关设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050096787A1 (en) * | 2003-11-05 | 2005-05-05 | Kim Jun H. | Tablet cassette control method of medication dispensing and packaging system |
| CN101089857A (zh) * | 2007-07-24 | 2007-12-19 | 中兴通讯股份有限公司 | 一种内存数据库事务管理方法及*** |
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| CN105868023A (zh) * | 2016-03-24 | 2016-08-17 | 联想(北京)有限公司 | 一种分布式***中的数据处理方法及计算节点 |
| US20170117719A1 (en) * | 2015-10-23 | 2017-04-27 | Chicony Power Technology Co., Ltd. | Power supply system with identification code updating capability and method for charging an electronic device |
| CN106899772A (zh) * | 2017-02-21 | 2017-06-27 | 深圳市彬讯科技有限公司 | 一种呼叫服务的分布式均衡负载控制方法及呼叫*** |
| CN107004195A (zh) * | 2014-09-29 | 2017-08-01 | 加拿大皇家银行 | 数据的安全处理 |
| CN107665233A (zh) * | 2017-07-24 | 2018-02-06 | 上海壹账通金融科技有限公司 | 数据库数据处理方法、装置、计算机设备和存储介质 |
| CN107943846A (zh) * | 2017-11-01 | 2018-04-20 | 内蒙古科电数据服务有限公司 | 数据处理方法、装置及电子设备 |
| CN108829727A (zh) * | 2018-05-09 | 2018-11-16 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN109886025A (zh) * | 2019-01-04 | 2019-06-14 | 平安科技（深圳）有限公司 | 用户标识的管理方法、装置、计算机设备及存储介质 |
| CN110046202A (zh) * | 2019-03-07 | 2019-07-23 | 中国人民解放军海军工程大学 | 基于内存键值数据库的综合电力***实时数据管理方法 |
| CN110276002A (zh) * | 2019-06-26 | 2019-09-24 | 浙江大搜车软件技术有限公司 | 搜索应用数据处理方法、装置、计算机设备和存储介质 |
| CN110795395A (zh) * | 2018-07-31 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 文件部署***和文件部署方法 |
-
2020
- 2020-07-27 CN CN202010730402.2A patent/CN111813783B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050096787A1 (en) * | 2003-11-05 | 2005-05-05 | Kim Jun H. | Tablet cassette control method of medication dispensing and packaging system |
| CN101089857A (zh) * | 2007-07-24 | 2007-12-19 | 中兴通讯股份有限公司 | 一种内存数据库事务管理方法及*** |
| CN102685221A (zh) * | 2012-04-29 | 2012-09-19 | 华北电力大学（保定） | 一种状态监测数据的分布式存储与并行挖掘方法 |
| CN107004195A (zh) * | 2014-09-29 | 2017-08-01 | 加拿大皇家银行 | 数据的安全处理 |
| US20170117719A1 (en) * | 2015-10-23 | 2017-04-27 | Chicony Power Technology Co., Ltd. | Power supply system with identification code updating capability and method for charging an electronic device |
| CN105868023A (zh) * | 2016-03-24 | 2016-08-17 | 联想(北京)有限公司 | 一种分布式***中的数据处理方法及计算节点 |
| CN106899772A (zh) * | 2017-02-21 | 2017-06-27 | 深圳市彬讯科技有限公司 | 一种呼叫服务的分布式均衡负载控制方法及呼叫*** |
| CN107665233A (zh) * | 2017-07-24 | 2018-02-06 | 上海壹账通金融科技有限公司 | 数据库数据处理方法、装置、计算机设备和存储介质 |
| CN107943846A (zh) * | 2017-11-01 | 2018-04-20 | 内蒙古科电数据服务有限公司 | 数据处理方法、装置及电子设备 |
| CN108829727A (zh) * | 2018-05-09 | 2018-11-16 | 上海陆家嘴国际金融资产交易市场股份有限公司 | 数据存储方法、装置、计算机设备和存储介质 |
| CN110795395A (zh) * | 2018-07-31 | 2020-02-14 | 阿里巴巴集团控股有限公司 | 文件部署***和文件部署方法 |
| CN109886025A (zh) * | 2019-01-04 | 2019-06-14 | 平安科技（深圳）有限公司 | 用户标识的管理方法、装置、计算机设备及存储介质 |
| CN110046202A (zh) * | 2019-03-07 | 2019-07-23 | 中国人民解放军海军工程大学 | 基于内存键值数据库的综合电力***实时数据管理方法 |
| CN110276002A (zh) * | 2019-06-26 | 2019-09-24 | 浙江大搜车软件技术有限公司 | 搜索应用数据处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| MICHAEL BADAMO等: "Identifying Power-Efficient Multicore Cache Hierarchies via Reuse Distance Analysis", 《HTTPS://DL.ACM.ORG/DOI/ABS/10.1145/2851503》, pages 1 - 30 * |
| 陈升: "统一时空电网数据模型与访问技术", 《计算机***应用 》, pages 210 - 214 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112800047A (zh) * | 2021-03-03 | 2021-05-14 | 百果园技术(新加坡)有限公司 | 用户关联数据处理方法、装置、设备和存储介质 |
| CN112800047B (zh) * | 2021-03-03 | 2024-04-05 | 百果园技术(新加坡)有限公司 | 用户关联数据处理方法、装置、设备和存储介质 |
| WO2023185401A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 一种数据处理方法、编解码加速器和相关设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111813783B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10101937B2 (en) | Apparatus and method for referencing dense and sparse information in multi-dimensional to linear address space translation | |
| CN110018998B (zh) | 一种文件管理方法、***及电子设备和存储介质 | |
| CN106610790B (zh) | 一种重复数据删除方法及装置 | |
| CN106708825B (zh) | 一种数据文件处理方法及*** | |
| CN105468642A (zh) | 数据的存储方法及装置 | |
| CN111813783B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| CN111177143B (zh) | 键值数据存储方法、装置、存储介质与电子设备 | |
| CN111381779A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN113282799B (zh) | 节点的操作方法、装置、计算机设备和存储介质 | |
| CN114625696A (zh) | 文件恢复方法、装置、电子设备及存储介质 | |
| CN113672162A (zh) | 数据存储方法、装置及设备 | |
| CN115964002A (zh) | 一种电能表终端档案管理方法、装置、设备及介质 | |
| CN115113798B (zh) | 一种应用于分布式存储的数据迁移方法、***及设备 | |
| CN115421648A (zh) | 内存垃圾回收方法、装置、设备、存储介质和程序产品 | |
| CN114265828A (zh) | 行迁移消除方法、装置、计算机设备和存储介质 | |
| CN112783866A (zh) | 数据读取方法、装置、计算机设备和存储介质 | |
| CN112835886A (zh) | 数据表字段添加方法和装置 | |
| CN113411395B (zh) | 访问请求路由方法、装置、计算机设备和存储介质 | |
| CN117290302B (zh) | 目录分离方法、装置、计算机设备和存储介质 | |
| CN117540056B (zh) | 数据查询的方法、装置、计算机设备和存储介质 | |
| CN116821102B (zh) | 数据迁移方法、装置、计算机设备和存储介质 | |
| CN114385630A (zh) | 血缘关系梳理方法、装置、设备、存储介质和程序产品 | |
| US20240134837A1 (en) | Index entry generating methods, apparatuses, and devices for large object data block index | |
| CN111046241B (zh) | 用于流式图处理的图存储方法及装置 | |
| US20240232155A9 (en) | Index entry generating methods, apparatuses, and devices for large object data block index |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Address before: 511458 Room 1301, Chengtou Building, 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled 1301-12159) Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |