CN111400521A - 一种图数据处理方法、装置、设备、介质 - Google Patents

一种图数据处理方法、装置、设备、介质 Download PDF

Info

Publication number
CN111400521A
CN111400521A CN202010131165.8A CN202010131165A CN111400521A CN 111400521 A CN111400521 A CN 111400521A CN 202010131165 A CN202010131165 A CN 202010131165A CN 111400521 A CN111400521 A CN 111400521A
Authority
CN
China
Prior art keywords
data
graph data
target
graph
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010131165.8A
Other languages
English (en)
Other versions
CN111400521B (zh
Inventor
王媛丽
梅国强
王江为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010131165.8A priority Critical patent/CN111400521B/zh
Publication of CN111400521A publication Critical patent/CN111400521A/zh
Priority to US17/797,876 priority patent/US20230334094A1/en
Priority to PCT/CN2020/126349 priority patent/WO2021169386A1/zh
Application granted granted Critical
Publication of CN111400521B publication Critical patent/CN111400521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Complex Calculations (AREA)
  • Image Generation (AREA)

Abstract

本申请公开了一种图数据处理方法、装置、设备、介质，该方法包括：获取待处理的目标图数据；按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。这样在图计算过程中便可利用所述边界值和所述权重对所述目标图数据进行调度，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。

Description

一种图数据处理方法、装置、设备、介质
技术领域
本申请涉及图数据处理技术领域，特别涉及一种图数据处理方法、装置、设备、介质。
背景技术
在诸如万维网、社会网络、基因组分析和医学信息学等新兴应用中，图形对于表示真实的网络数据变得越来越重要。由于图数据需要存储在内存中，所以存储会受限于内存资源和图的规模，一般对于规模大的图通常需要分割成若干个子图进行存储，这样往往会出现由于图数据调度效率低而导致的图计算性能下降问题，所以在图计算中如何准确、快速地调度到目标子图块，以便完成图计算就成了一个重要问题。
发明内容
有鉴于此，本申请的目的在于提供一种图数据处理法、装置、设备、介质，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。其具体方案如下：
第一方面，本申请公开了一种图数据处理方法，应用于FPGA，包括：
获取待处理的目标图数据；
按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；
按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
可选的，所述按照第一预设规则对所述目标图数据进行统计之前，还包括：
将所述目标图数据按照从小到大的顺序进行排列；
或，将所述目标图数据按照从大到小的顺序进行排列。
可选的，所述按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：
按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志值；
根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
可选的，按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中任一数据对应的标志值，包括：
将该数据和与该数据相邻的下一个数据进行比较，以判断该数据和与该数据相邻的下一个数据是否相同；
如果该数据和与该数据相邻的下一个数据相同，则将第一预设标志值确定为该数据对应的标志值；
如果该数据和与该数据相邻的下一个数据不相同，则将第二预设标志值确定为该数据对应的标志值。
可选的，所述将该数据和与该数据相邻的下一个数据进行比较的过程中，还包括：
如果该数据为所述目标图数据的最后一个数据，则将0确定为与该数据相邻的下一个数据，以便将该数据和与该数据相邻的下一个数据进行比较。
可选的，所述根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：
判断当前标志值是否为所述第二预设标志值；
如果当前标志值未所述第二预设标志值，则将当前标志值确定为第一位置标志值，并确定出当前标志值之前，且与当前标志值最近的所述第二预设标志值，以便确定出第二位置标志值；
将与所述第二位置标志值相邻的下一个标志值到所述第一位置标志值的当前标志值对应的目标图数据分为一个图数据块，并将当前标志值对应的目标图数据确定为当前图数据块的边界值；
将当前图数据块中的数据个数确定为当前图数据块的权重。
可选的，所述按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，包括：
将所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以便将各个所述图数据块的边界值和权重存储到内存中。
第二方面，本申请公开了一种图数据处理装置，应用于FPGA，包括：
数据获取模块，用于获取待处理的目标图数据；
数据统计模块，用于按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；
数据存储模块，用于按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
第三方面，本申请公开了一种图数据处理设备，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述公开的图数据处理方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的图数据处理方法。
可见，本申请先获取待处理的目标图数据，然后按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。由此可见，本申请将获取到的待处理的目标图数据按照第一预设规则进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则对所述图数据块的边界值和权重进行存储，这样在图计算过程中便可利用所述边界值和所述权重对所述目标图数据进行调度，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种图数据处理方法流程图；
图2为本申请公开的一种具体的图数据处理方法流程图；
图3为本申请公开的一种具体的图数据标志值和权重确定流程图；
图4为本申请公开的一种图数据处理装置结构示意图；
图5为本申请公开的一种图数据处理设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，由于图数据需要存储在内存中，所以存储会受限于内存资源和图的规模，一般对于规模大的图通常需要分割成若干个子图进行存储，这就面临在图计算中如何准确、快速地调度到目标子图块，以解决由图数据调度效率低而导致的图计算性能下降问题。有鉴于此，本申请提出了一种图数据处理方法，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。
参见图1所示，本申请实施例公开了一种图数据处理方法，应用于FPGA，该方法包括：
步骤S11：获取待处理的目标图数据。
在具体的实施过程中，需要先获取待处理的目标图数据，以便对所述目标图数据进行相应的后续处理。
所述按照第一预设规则对所述目标图数据进行统计之后，还包括：将所述目标图数据按照从小到大的顺序进行排列；或，将所述目标图数据按照从大到小的顺序进行排列。也即，将所述目标图数据按照一定的顺序进行排列，以便进行后续分块，其中，按照一定的顺序进行排列包括：按照由小到大的顺序排列或按照由大到小的顺序排列。
步骤S12：按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
可以理解的是，在获取到所述目标图数据之后，还需要按照第一预设规则对所述目标图数据进行处理，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。具体的，所述按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志值；根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。也即，先按照第一预设规则对所述目标图书据进行统计，确定出所述目标图数据中各个数据对应的标志值，再根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
步骤S13：按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
在得到各个图数据块的边界值和权重之后，还需要按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
在第一种具体的实施方式中，所述按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，包括：将所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以便将各个所述图数据块的边界值和权重存储到内存中。具体的，就是将各个所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以完成将各个所述图数据块的边界值和权重存储到内存中。
在第二种具体的实施方式中，所述按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，包括：将所述图数据块的边界值作为第一目标地址，将各个所述图数据块的权重存入对应的第一目标地址下；从所述第一目标地址下读出所述权重值和所述边界值，并将所述权重值作为第二目标地址，将各个图数据块的边界值和权重存储到相应的第二目标地址下，完成将各个所述图数据块对应的所述边界值和所述权重存入到内存中。若有的图数据块的边界值不相同，但是权重相同，则按照读取时间的先后顺序确定对应的第二目标地址。以权重作为第二目标地址进行存储，使得相邻图数据块之间的权重差值不会太大，从而节约图数据处理时间。
可见，本申请先获取待处理的目标图数据，然后按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。由此可见，本申请将获取到的待处理的目标图数据按照第一预设规则进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则对所述图数据块的边界值和权重进行存储，这样在图计算过程中便可利用所述边界值和所述权重对所述目标图数据进行调度，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。
参见图2所示，本申请实施例公开了一种具体的图数据处理方法，应用于FPGA，该方法包括：
步骤S21：获取待处理的目标图数据。
步骤S22：按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志值。
在具体的实施过程中，可以先将所述目标数据由大到小或由小到大的顺序进行排列，得到排列后的目标图数据，然后按照第一预设规则对排列后的所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志位。按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中任一数据对应的标志值，包括：将该数据和与该数据相邻的下一个数据进行比较，以判断该数据和与该数据相邻的下一个数据是否相同；如果该数据和与该数据相邻的下一个数据相同，则将第一预设标志值确定为该数据对应的标志值；如果该数据和与该数据相邻的下一个数据不相同，则将第二预设标志值确定为该数据对应的标志值。将该数据和与该数据相邻的下一个数据进行比较的过程中，还包括：如果该数据为所述目标图数据的最后一个数据，则将0确定为与该数据相邻的下一个数据，以便将该数据和与该数据相邻的下一个数据进行比较。具体的，所述目标图数据中任一数据对应的标志值是通过将该数据与和该数据相邻的下一个数据比较得到的，如果该数据与和该数据相邻的下一个数据相等，则该数据对应的标志值为第一预设标志值，如果该数据与和该数据相邻的下一个数据不相等，则该数据对应的标志值为第二预设标志值。由于FPGA中一个时钟周期内能处理的数据量和总线位宽相关，所以当前时钟周期内处理的数据的标志值需要先进行寄存，等下一个时钟周期的数据读取之后，将当前时钟周期的最后一个数据与下一个时钟周期的第一个数据比较才能得到当前时钟周期的最后一个数据的标志值。
步骤S23：根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
在确定出所述目标图数据中各个数据的标志值之后，需要根据所述标志值将所述目标图数据分成不同的图数据块，并确定出各个所述图数据块的边界值和权重。其中，所述根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：判断当前标志值是否为所述第二预设标志值；如果当前标志值未所述第二预设标志值，则将当前标志值确定为第一位置标志值，并确定出当前标志值之前，且与当前标志值最近的所述第二预设标志值，以便确定出第二位置标志值；将与所述第二位置标志值相邻的下一个标志值到所述第一位置标志值的当前标志值对应的目标图数据分为一个图数据块，并将当前标志值对应的目标图数据确定为当前图数据块的边界值；将当前图数据块中的数据个数确定为当前图数据块的权重。参见图3所示，为图数据标志值和权重确定流程图。第一预设标志值为0，第二预设标志值为1，总线位宽为8个图数据，以两个时钟周期内的图数据为例，且将各个时钟周期内的数据相应的记号data_0到data_7表示8个数据。将时钟周期1中的data_0与data_1比较，得到data_0＝data_1＝1，则data_0的标志值flag[0]＝0，以此类推，得到flag[1]＝0，flag[2]＝0，data_3＝1，data_4＝3，data_3与data_4不相等，则flag[3]＝1，以此类推，得到其余数据的标志值，时钟周期1的data_7与时钟周期2的data_0比较，得到时钟周期1中的flag[7]＝0，假设时钟周期2的data_7是所述目标图数据的最后一个数据，则时钟周期2的data_7不等于0，则时钟周期2中的flag[7]＝1，根据以上标志值，将时钟周期1中的data_0到data_3的4个数据分为一个图数据块，相应的权重为4，边界值为1；将时钟周期1中的data_4到时钟周期2中的data_0的5个数据分为一个图数据块，相应的权重为5，边界值为3；将时钟周期2中的data_1的1个数据分为一个图数据块，相应的权重为1，边界值为10；将时钟周期2中的data_2到data_4的3个数据分为一个图数据块，相应的权重为3，边界值为23；将时钟周期2中的data_5的1个数据分为一个图数据块，相应的权重为1，边界值为59；将时钟周期2中的data_6到data_7的2个数据分为一个图数据块，相应的权重为2，边界值为60。
步骤S24：将所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以便将各个所述图数据块的边界值和权重存储到内存中。
参见图4所示，本申请实施例公开了一种图数据处理装置，应用于FPGA，包括：
数据获取模块11，用于获取待处理的目标图数据；
数据统计模块12，用于按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；
数据存储模块13，用于按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
可见，本申请先获取待处理的目标图数据，然后按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。由此可见，本申请将获取到的待处理的目标图数据按照第一预设规则进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则对所述图数据块的边界值和权重进行存储，这样在图计算过程中便可利用所述边界值和所述权重对所述目标图数据进行调度，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。
进一步的，参见图5所示，本申请实施例还公开了一种图数据处理设备，包括：处理器21和存储器22。
其中，所述存储器22，用于存储计算机程序；所述处理器21，用于执行所述计算机程序，以实现前述实施例中公开的图数据处理方法。
其中，关于上述图数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现以下步骤：
获取待处理的目标图数据；按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
可见，本申请先获取待处理的目标图数据，然后按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。由此可见，本申请将获取到的待处理的目标图数据按照第一预设规则进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，再按照第二预设规则对所述图数据块的边界值和权重进行存储，这样在图计算过程中便可利用所述边界值和所述权重对所述目标图数据进行调度，能够快速、准确调度到目标图数据块，节约图数据调度时间，提高图数据处理的效率。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将所述目标图数据按照从小到大的顺序进行排列；或，将所述目标图数据按照从大到小的顺序进行排列。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志值；根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将该数据和与该数据相邻的下一个数据进行比较，以判断该数据和与该数据相邻的下一个数据是否相同；如果该数据和与该数据相邻的下一个数据相同，则将第一预设标志值确定为该数据对应的标志值；如果该数据和与该数据相邻的下一个数据不相同，则将第二预设标志值确定为该数据对应的标志值。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：如果该数据为所述目标图数据的最后一个数据，则将0确定为与该数据相邻的下一个数据，以便将该数据和与该数据相邻的下一个数据进行比较。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：判断当前标志值是否为所述第二预设标志值；如果当前标志值未所述第二预设标志值，则将当前标志值确定为第一位置标志值，并确定出当前标志值之前，且与当前标志值最近的所述第二预设标志值，以便确定出第二位置标志值；将与所述第二位置标志值相邻的下一个标志值到所述第一位置标志值的当前标志值对应的目标图数据分为一个图数据块，并将当前标志值对应的目标图数据确定为当前图数据块的边界值；将当前图数据块中的数据个数确定为当前图数据块的权重。
本实施例中，所述计算机可读存储介质中保存的计算机子程序被处理器执行时，可以具体实现以下步骤：将所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以便将各个所述图数据块的边界值和权重存储到内存中。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得一系列包含其他要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种图数据处理方法、装置、设备、介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图数据处理方法，其特征在于，应用于FPGA，包括：
获取待处理的目标图数据；
按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；
按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
2.根据权利要求1所述的图数据处理方法，其特征在于，所述按照第一预设规则对所述目标图数据进行统计之前，还包括：
将所述目标图数据按照从小到大的顺序进行排列；
或，将所述目标图数据按照从大到小的顺序进行排列。
3.根据权利要求1所述的图数据处理方法，其特征在于，所述按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：
按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中各个数据对应的标志值；
根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重。
4.根据权利要求3所述的图数据处理方法，其特征在于，按照第一预设规则对所述目标图数据进行统计，确定出所述目标图数据中任一数据对应的标志值，包括：
将该数据和与该数据相邻的下一个数据进行比较，以判断该数据和与该数据相邻的下一个数据是否相同；
如果该数据和与该数据相邻的下一个数据相同，则将第一预设标志值确定为该数据对应的标志值；
如果该数据和与该数据相邻的下一个数据不相同，则将第二预设标志值确定为该数据对应的标志值。
5.根据权利要求4所述的图数据处理方法，其特征在于，所述将该数据和与该数据相邻的下一个数据进行比较的过程中，还包括：
如果该数据为所述目标图数据的最后一个数据，则将0确定为与该数据相邻的下一个数据，以便将该数据和与该数据相邻的下一个数据进行比较。
6.根据权利要求4所述的图数据处理方法，其特征在于，所述根据所述标志值将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重，包括：
判断当前标志值是否为所述第二预设标志值；
如果当前标志值未所述第二预设标志值，则将当前标志值确定为第一位置标志值，并确定出当前标志值之前，且与当前标志值最近的所述第二预设标志值，以便确定出第二位置标志值；
将与所述第二位置标志值相邻的下一个标志值到所述第一位置标志值的当前标志值对应的目标图数据分为一个图数据块，并将当前标志值对应的目标图数据确定为当前图数据块的边界值；
将当前图数据块中的数据个数确定为当前图数据块的权重。
7.根据权利要求1所述的图数据处理方法，其特征在于，所述按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，包括：
将所述图数据块的边界值作为目标地址，将各个所述图数据块的边界值和权重存入对应的目标地址下，以便将各个所述图数据块的边界值和权重存储到内存中。
8.一种图数据处理装置，其特征在于，应用于FPGA，包括：
数据获取模块，用于获取待处理的目标图数据；
数据统计模块，用于按照第一预设规则对所述目标图数据进行统计，以便将所述目标图数据分成不同的图数据块以及确定出各个所述图数据块的边界值和权重；
数据存储模块，用于按照第二预设规则将各个所述图数据块的边界值和权重存储到相应的内存中，以便在图计算过程中利用所述边界值和所述权重对所述目标图数据进行调度。
9.一种图数据处理设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序，以实现权利要求1至7任一项所述的图数据处理方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图数据处理方法。
CN202010131165.8A 2020-02-28 2020-02-28 一种图数据处理方法、装置、设备、介质 Active CN111400521B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010131165.8A CN111400521B (zh) 2020-02-28 2020-02-28 一种图数据处理方法、装置、设备、介质
US17/797,876 US20230334094A1 (en) 2020-02-28 2020-11-04 Graph data processing method, apparatus, and device, and medium
PCT/CN2020/126349 WO2021169386A1 (zh) 2020-02-28 2020-11-04 一种图数据处理方法、装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010131165.8A CN111400521B (zh) 2020-02-28 2020-02-28 一种图数据处理方法、装置、设备、介质

Publications (2)

Publication Number Publication Date
CN111400521A true CN111400521A (zh) 2020-07-10
CN111400521B CN111400521B (zh) 2022-06-07

Family

ID=71430441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010131165.8A Active CN111400521B (zh) 2020-02-28 2020-02-28 一种图数据处理方法、装置、设备、介质

Country Status (3)

Country Link
US (1) US20230334094A1 (zh)
CN (1) CN111400521B (zh)
WO (1) WO2021169386A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169386A1 (zh) * 2020-02-28 2021-09-02 苏州浪潮智能科技有限公司 一种图数据处理方法、装置、设备、介质
CN114282073A (zh) * 2022-03-02 2022-04-05 支付宝(杭州)信息技术有限公司 数据存储方法及装置、数据读取方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240037150A1 (en) * 2022-08-01 2024-02-01 Qualcomm Incorporated Scheduling optimization in sequence space

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN108681482A (zh) * 2018-05-16 2018-10-19 腾讯科技（深圳）有限公司 基于图数据的任务调度方法和装置
CN109508413A (zh) * 2018-10-22 2019-03-22 中国银行股份有限公司 作业调度展示方法及装置、存储介质及电子设备
CN110188099A (zh) * 2019-05-17 2019-08-30 深圳前海微众银行股份有限公司 一种数据管理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970879B (zh) * 2014-05-16 2017-05-24 中国人民解放军国防科学技术大学 一种调整数据块存储位置的方法及***
CN110019400B (zh) * 2017-12-25 2021-01-12 深圳云天励飞技术有限公司 数据存储方法、电子设备及存储介质
CN110688055B (zh) * 2018-07-04 2020-09-04 清华大学 一种大图计算中数据访问方法及***
CN109492131B (zh) * 2018-09-18 2021-01-08 华为技术有限公司 一种图数据存储方法及装置
CN111400521B (zh) * 2020-02-28 2022-06-07 苏州浪潮智能科技有限公司 一种图数据处理方法、装置、设备、介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016195455A1 (ko) * 2015-06-04 2016-12-08 엘지전자(주) 그래프 기반 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
CN108681482A (zh) * 2018-05-16 2018-10-19 腾讯科技（深圳）有限公司 基于图数据的任务调度方法和装置
CN109508413A (zh) * 2018-10-22 2019-03-22 中国银行股份有限公司 作业调度展示方法及装置、存储介质及电子设备
CN110188099A (zh) * 2019-05-17 2019-08-30 深圳前海微众银行股份有限公司 一种数据管理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021169386A1 (zh) * 2020-02-28 2021-09-02 苏州浪潮智能科技有限公司 一种图数据处理方法、装置、设备、介质
CN114282073A (zh) * 2022-03-02 2022-04-05 支付宝(杭州)信息技术有限公司 数据存储方法及装置、数据读取方法及装置

Also Published As

Publication number Publication date
US20230334094A1 (en) 2023-10-19
WO2021169386A1 (zh) 2021-09-02
CN111400521B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111400521B (zh) 一种图数据处理方法、装置、设备、介质
CN110764898B (zh) 一种任务分配方法、装置、可读存储介质及终端设备
WO2012018694A1 (en) Predicting a user behavior number of a word
CN109002544B (zh) 一种数据处理方法、装置和计算机可读介质
CN111680085A (zh) 数据处理任务分析方法、装置、电子设备和可读存储介质
CN113465734B (zh) 一种结构振动的实时估计方法
CN111488278A (zh) 一种测试方法及装置
CN108197347B (zh) 连续不规则区域采样点的地理空间分布均匀度检测方法
CN110766232A (zh) 动态预测方法及其***
CN110704535A (zh) 数据分箱方法、装置、设备及计算机可读存储介质
CN107395447B (zh) 模块检测方法、***容量预估方法及相应的设备
CN113553175A (zh) 面向交通数据流的最优排序算法选择方法
CN112001116A (zh) 一种云资源容量预测方法及装置
CN110390160B (zh) 一种时序信号的周期检测方法、装置及相关设备
CN105589683B (zh) 样本抽取方法和装置
CN113836130B (zh) 数据质量评估方法、装置、设备及存储介质
CN110580265B (zh) Etl任务的处理方法、装置、设备及存储介质
CN112381214A (zh) 网络模型生成方法、装置及电子设备
CN108804640B (zh) 基于最大化iv的数据分组方法、装置、储存介质及设备
CN113191674A (zh) 一种安全风险评估方法、装置、存储介质及电子设备
CN112115158A (zh) Sql语句执行时间记录方法、装置、设备及可读存储介质
CN111046337A (zh) 数据区间值处理方法与装置和设备及存储介质
CN114372212B (zh) 一种基于超级计算机的数值气象预报方法和装置
CN111008525B (zh) 一种关注度的计算方法及***
CN115470598B (zh) 基于多线程的三维轧件模型分块数据快速继承方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant