CN110659295B - 一种基于hawq记录有效数据的方法、装置和介质 - Google Patents

一种基于hawq记录有效数据的方法、装置和介质 Download PDF

Info

Publication number
CN110659295B
CN110659295B CN201910911896.1A CN201910911896A CN110659295B CN 110659295 B CN110659295 B CN 110659295B CN 201910911896 A CN201910911896 A CN 201910911896A CN 110659295 B CN110659295 B CN 110659295B
Authority
CN
China
Prior art keywords
hawq
field
data
source data
reference table
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910911896.1A
Other languages
English (en)
Other versions
CN110659295A (zh
Inventor
谭博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN201910911896.1A priority Critical patent/CN110659295B/zh
Publication of CN110659295A publication Critical patent/CN110659295A/zh
Application granted granted Critical
Publication of CN110659295B publication Critical patent/CN110659295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种基于HAWQ记录有效数据的方法、装置和介质，调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。对源数据设置对应的字段标识，有效的记录了哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。由于HAWQ基准表只能添加数据，不支持数据的修改和删除，导致HAWQ基准表存在很多无效数据，为了提升数据的调用效率，可以根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，解决了HAWQ基准表不能删除和修改历史记录的问题。

Description

一种基于HAWQ记录有效数据的方法、装置和介质
技术领域
本发明涉及数据存储技术领域，特别是涉及一种基于HAWQ记录有效数据的方法、装置和计算机可读存储介质。
背景技术
HAWQ是Hadoop原生SQL查询引擎，结合了MPP数据库的关键技术优势和Hadoop的可扩展性和便捷性。HAWQ从HDFS本地读取数据并将数据写入HDFS。因为目前HDFS文件中的数据只能添加，不允许修改或删除，所以HAWQ基准表中的数据只允许添加模式，不允许修改和删除模式。
但现实应用中往往一些数据记录需要被多次修改或者是删除。由于HAWQ基准表中数据只允许添加，当需要对HAWQ基准表中的某项数据进行修改时，只能在HAWQ表中添加新的数据，对于用户而言，并不能清楚的区分新添加的数据属于独立的新数据，还是属于原有数据的修改数据或者删除数据，不利于数据的查询调用。
可见，如何解决HAWQ基准表不能删除和修改历史记录的问题，是本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种基于HAWQ记录有效数据的方法、装置和计算机可读存储介质，可以解决HAWQ基准表不能删除和修改历史记录的问题。
为解决上述技术问题，本发明实施例提供一种基于HAWQ记录有效数据的方法，包括：
调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；
根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识；
将所述源数据及其对应的字段标识作为一条记录添加至所述HAWQ基准表；
根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据，并将所述有效数据存储至所述HAWQ视图中，以便于直接从所述HAWQ视图中调用有效数据。
可选地，所述字段标识包括版本字段和删除字段。
可选地，所述根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识包括：
当源数据对应的操作类型为数据添加操作或数据修改操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为无效删除标识；
当源数据对应的操作类型为数据删除时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为有效删除标识。
可选地，所述根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据包括：
从所述HAWQ基准表中查询目标键值对应的所有目标记录；其中，同一个对象所对应的各条记录具有相同的键值；目标键值为所有键值中的任意一个键值；
根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录；
当所述最新的目标记录的删除字段为有效删除标识时，则从所述HAWQ基准表中查询下一个键值对应的所有记录；
当所述最新的目标记录的删除字段为无效删除标识时，则将所述最新的目标记录作为所述目标键值的有效数据，直至遍历完所述HAWQ基准表中的所有记录，则结束操作。
可选地，所述根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录包括：
按照目标记录的字段值，对所有目标记录进行降序排列；
将排列后的第一条目标记录作为所述目标键值所对应的最新的目标记录。
可选地，所述调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图包括：
根据项目个数需求，调用HAWQ基准表生成脚本程序，批量生成HAWQ基准表；
根据项目个数需求，调用HAWQ视图生成脚本程序，批量生成HAWQ基准表。
本发明实施例还提供了一种基于HAWQ记录有效数据的装置，包括生成单元、设置单元、添加单元和筛选单元；
所述生成单元，用于调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；
所述设置单元，用于根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识；
所述添加单元，用于将所述源数据及其对应的字段标识作为一条记录添加至所述HAWQ基准表；
所述筛选单元，用于根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据，并将所述有效数据存储至所述HAWQ视图中，以便于直接从所述HAWQ视图中调用有效数据。
可选地，所述字段标识包括版本字段和删除字段。
可选地，所述设置单元包括第一更新子单元和第二更新子单元；
所述第一更新子单元，用于当源数据对应的操作类型为数据添加操作或数据修改操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为无效删除标识；
所述第二更新子单元，用于当源数据对应的操作类型为数据删除时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为有效删除标识。
可选地，所述筛选单元包括查询子单元、选取子单元和作为子单元；
所述查询子单元，用于从所述HAWQ基准表中查询目标键值对应的所有目标记录；其中，同一个对象所对应的各条记录具有相同的键值；目标键值为所有键值中的任意一个键值；
所述选取子单元，用于根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录；
当所述最新的目标记录的删除字段为有效删除标识时，则触发所述查询子单元从所述HAWQ基准表中查询下一个键值对应的所有记录；
所述作为子单元，用于当所述最新的目标记录的删除字段为无效删除标识时，则将所述最新的目标记录作为所述目标键值的有效数据，直至遍历完所述HAWQ基准表中的所有记录，则结束操作。
可选地，所述选取子单元具体用于按照目标记录的字段值，对所有目标记录进行降序排列；将排列后的第一条目标记录作为所述目标键值所对应的最新的目标记录。
可选地，所述生成单元包括第一调用子单元和第二调用子单元；
所述第一调用子单元，用于根据项目个数需求，调用HAWQ基准表生成脚本程序，批量生成HAWQ基准表；
所述第二调用子单元，用于根据项目个数需求，调用HAWQ视图生成脚本程序，批量生成HAWQ基准表。
本发明实施例还提供了一种基于HAWQ记录有效数据的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述任意一项所述基于HAWQ记录有效数据的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于HAWQ记录有效数据的方法的步骤。
由上述技术方案可以看出，调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。操作类型可以有多种，包括数据的添加、修改和删除，字段标识反映了源数据所属的操作类型。针对于每个源数据设置对应的字段标识，实现了在HAWQ基准表只允许添加记录的特点下，有效的记录了哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。每条记录有其对应的键值，同一个对象所对应的各条记录具有相同的键值。由于HAWQ基准表只能添加数据，不支持数据的修改和删除，导致HAWQ基准表会存在很多无效数据，为了提升数据的调用效率，可以根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，以便于直接从HAWQ视图中调用有效数据，解决了HAWQ基准表不能删除和修改历史记录的问题。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于HAWQ记录有效数据的方法的流程图；
图2为本发明实施例提供的一种基于HAWQ记录有效数据的装置的结构示意图；
图3为本发明实施例提供的一种基于HAWQ记录有效数据的装置的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来，详细介绍本发明实施例所提供的一种基于HAWQ记录有效数据的方法。图1为本发明实施例提供的一种基于HAWQ记录有效数据的方法的流程图，该方法包括：
S101：调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图。
在本发明实施例中，可以预先设定好HAWQ基准表生成脚本程序以及HAWQ视图生成脚本程序。
在实际应用中，可以根据项目个数需求，调用HAWQ基准表生成脚本程序，批量生成HAWQ基准表；根据项目个数需求，调用HAWQ视图生成脚本程序，批量生成HAWQ基准表。
HAWQ基准表用于记录接收到的源数据，包括添加源数据、修改源数据以及删除源数据等。
由于HAWQ基准表只允许添加模式，因此，HAWQ基准表会存在大量的重复或者无效数据，在本发明实施例中，HAWQ视图用于记录HAWQ基准表排除重复以及无效数据之后的有效数据。
S102：根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。
源数据对应的操作类型可以包括添加、修改和删除操作。为了区分不同的操作类型，可以针对每种操作类型设置相应的字段标识。
字段标识的具体形式可以有多种，例如，可以采用不同形式的字符串表示不同的操作类型。
在本发明实施例中，字段标识可以采用版本字段和删除字段的形式表示。
其中，版本字段用于表示源数据的版本信息，在本发明实施例中，可以采用数字表示版本字段的字段值。
删除字段用于表示源数据是否执行的是删除操作，删除字段可以包括无效删除标识和有效删除标识两种形式。
在具体实现中，当源数据对应的操作类型为数据添加操作或数据修改操作时，则将源数据的版本字段的字段值加1，源数据的删除字段更新为无效删除标识。当源数据对应的操作类型为数据删除时，则将源数据的版本字段的字段值加1，源数据的删除字段更新为有效删除标识。
初始状态下，版本字段的字段值可以设置为0。当需要添加新的源数据时，此时该源数据对应的版本字段的字段值记录为1。
以一个源数据为例，通过查询HAWQ基准表中已经记载的源数据，可以获知该源数据当前最新的字段值，当需要修改该源数据时，则可以将当前最新的字段值加1作为待修改源数据的字段值。
例如，当HAWQ基准表中对于同一个源数据已经记载了2条记录时，此时该源数据对应的版本字段的字段值为2，当接收到该源数据的修改操作时即获取到待修改源数据时，此时待修改源数据对应的版本字段的字段值记录为3。
S103：将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。
每个源数据有其对应的字段标识，在发明实施例中，在将源数据添加至HAWQ基准表时，可以一并将其对应的字段标识添加至HAWQ基准表中。
根据每条记录中包含的字段标识，可以清楚的获知哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。
S104：根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，以便于直接从HAWQ视图中调用有效数据。
对于同一个源数据而言，其在HAWQ基准表中可能存在多条记录，造成HAWQ基准表存在数据的冗余，为了便于后续数据的调用，可以对HAWQ基准表中有效数据进行提取。
同一个源数据所对应的多条记录具有相同的键值。因此，在本发明实施例中，可以依赖于键值从HAWQ基准表中提取出该源数据对应的所有记录。
每个源数据的处理方式类似，在本发明实施例中以所有键值中的任意一个键值即目标键值为例展开介绍。在具体实现中，可以从HAWQ基准表中查询目标键值对应的所有目标记录，根据各目标记录的字段值，从所有目标记录中选取出目标键值所对应的最新的目标记录。
在本发明实施例中，可以将目标键值对应的记录称作目标记录。每条记录所对应的字段值反映了该条记录的版本，结合上述源数据的添加、修改或删除操作，会将字段值依次加1。因此，所有目标记录中字段值取值最大的一条目标记录即为目标键值所对应的最新的目标记录。
在具体实现中，可以按照目标记录的字段值，对所有目标记录进行降序排列；将排列后的第一条目标记录作为目标键值所对应的最新的目标记录。
当最新的目标记录的删除字段为有效删除标识时，则说明该源数据所对应的最新操作为删除操作，HAWQ基准表中关于该源数据的所有记录均为无效数据，此时可以对下一个源数据进行处理，即从HAWQ基准表中查询下一个键值对应的所有记录。
当最新的目标记录的删除字段为无效删除标识时，则说明该源数据所对应的最新操作为添加或修改操作，此时可以将最新的目标记录作为目标键值的有效数据，将该有效数据添加至HAWQ视图中，直至遍历完HAWQ基准表中的所有记录，则结束操作。
由上述技术方案可以看出，调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。操作类型可以有多种，包括数据的添加、修改和删除，字段标识反映了源数据所属的操作类型。针对于每个源数据设置对应的字段标识，实现了在HAWQ基准表只允许添加记录的特点下，有效的记录了哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。每条记录有其对应的键值，同一个对象所对应的各条记录具有相同的键值。由于HAWQ基准表只能添加数据，不支持数据的修改和删除，导致HAWQ基准表会存在很多无效数据，为了提升数据的调用效率，可以根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，以便于直接从HAWQ视图中调用有效数据，解决了HAWQ基准表不能删除和修改历史记录的问题。
图2为本发明实施例提供的一种基于HAWQ记录有效数据的装置的结构示意图，包括生成单元21、设置单元22、添加单元23和筛选单元24；
生成单元21，用于调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；
设置单元22，用于根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识；
添加单元23，用于将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表；
筛选单元24，用于根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，以便于直接从HAWQ视图中调用有效数据。
可选地，字段标识包括版本字段和删除字段。
可选地，设置单元包括第一更新子单元和第二更新子单元；
第一更新子单元，用于当源数据对应的操作类型为数据添加操作或数据修改操作时，则将源数据的版本字段的字段值加1，源数据的删除字段更新为无效删除标识；
第二更新子单元，用于当源数据对应的操作类型为数据删除时，则将源数据的版本字段的字段值加1，源数据的删除字段更新为有效删除标识。
可选地，筛选单元包括查询子单元、选取子单元和作为子单元；
查询子单元，用于从HAWQ基准表中查询目标键值对应的所有目标记录；其中，同一个对象所对应的各条记录具有相同的键值；目标键值为所有键值中的任意一个键值；
选取子单元，用于根据各目标记录的字段值，从所有目标记录中选取出目标键值所对应的最新的目标记录；
当最新的目标记录的删除字段为有效删除标识时，则触发查询子单元从HAWQ基准表中查询下一个键值对应的所有记录；
作为子单元，用于当最新的目标记录的删除字段为无效删除标识时，则将最新的目标记录作为目标键值的有效数据，直至遍历完HAWQ基准表中的所有记录，则结束操作。
可选地，选取子单元具体用于按照目标记录的字段值，对所有目标记录进行降序排列；将排列后的第一条目标记录作为目标键值所对应的最新的目标记录。
可选地，生成单元包括第一调用子单元和第二调用子单元；
第一调用子单元，用于根据项目个数需求，调用HAWQ基准表生成脚本程序，批量生成HAWQ基准表；
第二调用子单元，用于根据项目个数需求，调用HAWQ视图生成脚本程序，批量生成HAWQ基准表。
图2所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；根据接收到的源数据对应的操作类型，对源数据设置相应的字段标识。将源数据及其对应的字段标识作为一条记录添加至HAWQ基准表。操作类型可以有多种，包括数据的添加、修改和删除，字段标识反映了源数据所属的操作类型。针对于每个源数据设置对应的字段标识，实现了在HAWQ基准表只允许添加记录的特点下，有效的记录了哪一条记录是添加的，哪一条记录是修改的，哪一条记录是被删除的。每条记录有其对应的键值，同一个对象所对应的各条记录具有相同的键值。由于HAWQ基准表只能添加数据，不支持数据的修改和删除，导致HAWQ基准表会存在很多无效数据，为了提升数据的调用效率，可以根据每条记录所对应的键值以及字段标识，从HAWQ基准表筛选出有效数据，并将有效数据存储至HAWQ视图中，以便于直接从HAWQ视图中调用有效数据，解决了HAWQ基准表不能删除和修改历史记录的问题。
图3为本发明实施例提供的一种基于HAWQ记录有效数据的装置30的硬件结构示意图，包括：
存储器31，用于存储计算机程序；
处理器32，用于执行计算机程序以实现如上述任意一项基于HAWQ记录有效数据的方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项基于HAWQ记录有效数据的方法的步骤。
以上对本发明实施例所提供的一种基于HAWQ记录有效数据的方法、装置和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (7)

1.一种基于HAWQ记录有效数据的方法，其特征在于，包括：
调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；
根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识；
将所述源数据及其对应的字段标识作为一条记录添加至所述HAWQ基准表；
根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据，并将所述有效数据存储至所述HAWQ视图中，以便于直接从所述HAWQ视图中调用有效数据；
所述字段标识包括版本字段和删除字段；
所述根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识包括：
当源数据对应的操作类型为数据添加操作或数据修改操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为无效删除标识；
当源数据对应的操作类型为数据删除操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为有效删除标识。
2.根据权利要求1所述的方法，其特征在于，所述根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据包括：
从所述HAWQ基准表中查询目标键值对应的所有目标记录；其中，同一个对象所对应的各条记录具有相同的键值；目标键值为所有键值中的任意一个键值；
根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录；
当所述最新的目标记录的删除字段为有效删除标识时，则从所述HAWQ基准表中查询下一个键值对应的所有记录；
当所述最新的目标记录的删除字段为无效删除标识时，则将所述最新的目标记录作为所述目标键值的有效数据，直至遍历完所述HAWQ基准表中的所有记录，则结束操作。
3.根据权利要求2所述的方法，其特征在于，所述根据各目标记录的字段值，从所有目标记录中选取出所述目标键值所对应的最新的目标记录包括：
按照目标记录的字段值，对所有目标记录进行降序排列；
将排列后的第一条目标记录作为所述目标键值所对应的最新的目标记录。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图包括：
根据项目个数需求，调用HAWQ基准表生成脚本程序，批量生成HAWQ基准表；
根据项目个数需求，调用HAWQ视图生成脚本程序，批量生成HAWQ基准表。
5.一种基于HAWQ记录有效数据的装置，其特征在于，包括生成单元、设置单元、添加单元和筛选单元；
所述生成单元，用于调用预先设定的脚本程序，生成HAWQ基准表和HAWQ视图；
所述设置单元，用于根据接收到的源数据对应的操作类型，对所述源数据设置相应的字段标识；
所述添加单元，用于将所述源数据及其对应的字段标识作为一条记录添加至所述HAWQ基准表；
所述筛选单元，用于根据每条记录所对应的键值以及字段标识，从所述HAWQ基准表筛选出有效数据，并将所述有效数据存储至所述HAWQ视图中，以便于直接从所述HAWQ视图中调用有效数据；
所述字段标识包括版本字段和删除字段；
所述设置单元包括第一更新子单元和第二更新子单元；所述第一更新子单元，用于当源数据对应的操作类型为数据添加操作或数据修改操作时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为无效删除标识；所述第二更新子单元，用于当源数据对应的操作类型为数据删除时，则将所述源数据的版本字段的字段值加1，所述源数据的删除字段更新为有效删除标识。
6.一种基于HAWQ记录有效数据的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至4任意一项所述基于HAWQ记录有效数据的方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于HAWQ记录有效数据的方法的步骤。
CN201910911896.1A 2019-09-25 2019-09-25 一种基于hawq记录有效数据的方法、装置和介质 Active CN110659295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911896.1A CN110659295B (zh) 2019-09-25 2019-09-25 一种基于hawq记录有效数据的方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911896.1A CN110659295B (zh) 2019-09-25 2019-09-25 一种基于hawq记录有效数据的方法、装置和介质

Publications (2)

Publication Number Publication Date
CN110659295A CN110659295A (zh) 2020-01-07
CN110659295B true CN110659295B (zh) 2023-03-24

Family

ID=69039117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911896.1A Active CN110659295B (zh) 2019-09-25 2019-09-25 一种基于hawq记录有效数据的方法、装置和介质

Country Status (1)

Country Link
CN (1) CN110659295B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797108A (zh) * 2020-07-17 2020-10-20 西安数据如金信息科技有限公司 一种更新分析数据库的方法及装置
CN115544048B (zh) * 2022-11-29 2023-03-21 福建慧政通信息科技有限公司 一种监督数据变化的方法及终端

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427684A (zh) * 2017-02-14 2018-08-21 华为技术有限公司 数据查询方法、装置及计算设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300069A1 (en) * 2008-05-29 2009-12-03 O'sullivan Michael Patrick Method and system for the logical deletion of relational database records
CN104317963B (zh) * 2014-11-14 2017-10-24 中国建设银行股份有限公司 一种数据处理方法及装置
US20160364655A1 (en) * 2016-04-07 2016-12-15 Shahzad Muhammad System to generate Logical Design for MPP Clusters using self-learning model
CN108932286B (zh) * 2018-05-23 2022-04-22 北京奥星贝斯科技有限公司 一种数据查询方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427684A (zh) * 2017-02-14 2018-08-21 华为技术有限公司 数据查询方法、装置及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAWQ: a massively parallel processing SQL engine in hadoop;Lei C;《ACM》;20141231;全文 *
不依赖日志文件的Oracle数据库综合检验工具开发;徐国天;《网络安全技术与应用》;20141115(第11期);全文 *

Also Published As

Publication number Publication date
CN110659295A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN107832406B (zh) 海量日志数据的去重入库方法、装置、设备及存储介质
US7117294B1 (en) Method and system for archiving and compacting data in a data storage array
CN108875077B (zh) 数据库的列存储方法、装置、服务器及存储介质
US20220179642A1 (en) Software code change method and apparatus
KR101740271B1 (ko) 온라인 상에서 실시간으로 업데이트되는 대규모 오디오 핑거프린트 데이터베이스의 구축 방법 및 장치
CN108536745B (zh) 基于Shell的数据表提取方法、终端、设备及存储介质
CN110659295B (zh) 一种基于hawq记录有效数据的方法、装置和介质
CN105488050A (zh) 一种数据库多索引方法、装置及***
CN111752925B (zh) 一种可视化数据管理方法
CN108415998B (zh) 应用依赖关系更新方法、终端、设备及存储介质
CN111914020A (zh) 数据同步方法及装置、数据查询方法及装置
CN107145538B (zh) 表格数据查询方法、装置与***
CN114281779A (zh) 数据同步方法、装置、计算机设备及存储介质
CN111046106A (zh) 缓存数据同步方法、装置、设备及介质
CN108038253B (zh) 一种日志查询的处理方法及装置
CN106503186A (zh) 一种数据管理方法、客户端及***
CN110362540B (zh) 一种数据存储、访客数获取方法及装置
CN109660587B (zh) 基于随机数的数据推送方法、装置、存储介质及服务器
CN105893445A (zh) 数据处理的方法、服务器和终端设备
CN106372121B (zh) 服务器及数据处理方法
JP6646754B2 (ja) ジョブスケジューリングシステム、ジョブスケジューリング方法、およびジョブスケジューリング装置
CN109740762A (zh) 特征选择方法、装置、存储介质及电子设备
CN114780536A (zh) 一种SQL Server数据库索引创建的方法、装置、电子设备及存储介质
JP2015176407A (ja) 検索装置、検索方法、検索用プログラムおよび検索用データ構造
CN105740131B (zh) 软件用户行为回退处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant