CN116450890A - 图数据处理方法、装置、***、电子设备及存储介质 - Google Patents
图数据处理方法、装置、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116450890A CN116450890A CN202310293916.XA CN202310293916A CN116450890A CN 116450890 A CN116450890 A CN 116450890A CN 202310293916 A CN202310293916 A CN 202310293916A CN 116450890 A CN116450890 A CN 116450890A
- Authority
- CN
- China
- Prior art keywords
- data
- graph
- data source
- query
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims abstract description 210
- 238000013500 data storage Methods 0.000 claims abstract description 52
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000007726 management method Methods 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 230000001960 triggered effect Effects 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013481 data capture Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种图数据处理***，属于数据处理技术领域。所述***包括：数据源管理引擎、图数据库处理引擎、图数据存储后端、索引存储后端和查询应用，该***通过数据源管理引擎管理:数据源信息、图数据结构和构建的图实例、输入数据源和图实例的图数据结构的字段映射配置信息等处理配置信息，使得图数据库处理引擎可以根据处理配置信息获取数据源信息，采集离线数据和实时数据，并合并为一条数据流，并根据字段映射配置信息转换成图数据存储在图数据存储后端，这样，查询应用可以根据接收到的查询语句查询图数据存储后端，图数据存储后端基于离线数据和实时数据合并生成的图数据返回查询结果，提升了图数据查询结果的全面性和完整性。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及图数据处理方法、装置、***、电子设备及计算机可读存储介质。
背景技术
图数据处理是指对数据源进行处理，并以图的形式输出。现有技术中，图数据处理时，数据的存储和使用采用经典的lambda架构(一种常用的大数据架构)，离线数据和实时数据分别进行处理并使用。即实时处理的方式结合实时数据处理引擎，从消息队列中读取流式数据，实时数据处理结果存储到实时库中提供实时的图数据服务，离线数据处理主要是使用批量加载数据文件的方式，批量时间点再将批量离线数据导入离线库中，将原有的图数据进行扩充和下一步分析，提供图数据服务。在进行图数据检索分析的时候，无论是在离线数据或者实时数据上进行，都不能够实时的使用全部数据，导致数据的实时性和准确性都不是最完善的。并且，现有技术中使用两套数据处理逻辑进行图数据处理，维护成本大。
发明内容
本申请实施例提供一种图数据处理方法、装置、***、电子设备及计算机可读存储介质，有助于提升输出的图数据分析结果的全面性和完整性，并且，可以降低图数据处理***的维护成本。
第一方面，本申请实施例公开了一种图数据处理方法，包括：
根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；
根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
存储所述图数据和所述图实例对应的索引；
响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
第二方面，本申请实施例公开了一种图数据处理装置，所述装置包括：
配置管理模块，用于根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
数据流采集模块，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
数据流合并模块，用于根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；
图数据生成模块，用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
图数据和索引存储模块，用于存储所述图数据和所述图实例对应的索引；
查询输出模块，用于响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
第三方面，本申请实施例公开了一种图数据处理***，所述***包括：数据源管理引擎、图数据库处理引擎、图数据存储后端、索引存储后端，以及，查询应用，其中，
所述数据源管理引擎，用于管理进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、预先配置的图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
所述图数据库处理引擎，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
所述图数据库处理引擎，还用于对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果；
所述图数据库处理引擎，还用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
所述图数据存储后端，用于存储所述图数据；
所述索引存储后端，用于存储所述图实例对应的索引；
所述查询应用，用于基于用户触发的查询请求查询所述图数据存储后端，以获取所述查询请求对应的查询结果；
所述图数据存储后端，还用于响应于所述查询应用的所述查询，根据所述索引存储后端存储的索引，在本地存储的所述图数据中检索满足所述查询请求的所述查询结果。
第四方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图数据处理方法。
第五方面，本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图数据处理方法的步骤。
本申请实施例公开的图数据处理***，包括：数据源管理引擎、图数据库处理引擎、图数据存储后端、索引存储后端，以及，查询应用，所述***通过数据源管理引擎管理配置信息，包括：数据源信息、图数据结构和构建的图实例、输入数据源和图实例的图数据结构的字段映射配置信息，之后，图数据库处理引擎可以根据所述数据源信息采集离线数据和实时数据，并合并为一条数据流，然后，转换成图数据存储在图数据存储后端，这样，查询应用可以根据接收到的查询语句查询图数据存储后端，图数据存储后端可以基于离线数据和实时数据合并生成的图数据返回查询结果，提升了输出的图数据查询结果的全面性和完整性。由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时候，总是能够获取到完整的数据，有利于全局性的遍历查询。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本申请实施例公开的图数据处理***结构示意图；
图2是本申请实施例公开的图数据处理方法流程示意图；
图3是本申请实施例公开的图数据处理***中数据流转图；
图4是本申请实施例公开的图数据处理装置结构示意图；
图5示意性地示出了用于执行根据本申请的方法的电子设备的框图；以及
图6示意性地示出了用于保持或者携带实现根据本申请的方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开的一种图数据处理***，如图1所示，所述***包括：数据源管理引擎110、图数据库处理引擎120、图数据存储后端130、索引存储后端140，以及，查询应用150。
下面分别对图数据处理***的各组成部分的具体实施方式进行进一步举例说明。
所述数据源管理引擎110，用于管理进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、预先配置的图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息。
本申请的一些实施例中，所述数据源管理引擎110用于管理整个图数据加工的数据输入输出目标的信息，包括但不限于数据格式、数据类型、schema(结构)、数据源连接地址、驱动类、约束条件、表关联关系、字段映射关系等基础元数据。其中，作为输入数据源的图数据来源的可以是关系型数据库、数据文件，或者其他图数据库。所述数据源管理引擎中的元数据，提供给图数据库处理引擎查询和使用，用于数据源信息的获取、数据约束和映射关系获取，以及数据字段规范化等操作。可选的，所述数据源管理引擎110中可以包括：离线数据管理模块和实时数据管理模块。
本申请的一些实施例中，所述数据源管理引擎110还用于：获取配置人员通过所述图数据处理***的配置界面输入的图数据结构，其中，所述图数据结构包括：节点、边，以及所述节点的属性和所述边的属性；根据所述图数据结构，构建所述图实例。例如，在定义设备欺诈网络图的图模型时，可以定义设备的MAC地址、IP地址、GPS定位、IMEI号、身份证号、企业同一社会信用代码等属性作为节点，定义公司与MAC地址、公司与IP地址、公司与IMEI号、公司与GPS定位、个人与IMEI号、个人与MAC地址、个人与GPS定位等作为边，并定义边的起点、终点和方向，以及，定义各属性的数据类型、属性名称等图数据结构。
根据定义的图数据结构，图数据处理***可以创建图实例。
本申请的一些实施例中，所述数据源管理引擎110还用于：根据配置人员通过所述图数据处理***的配置界面执行的目标图实例的输入数据源配置操作，存储输入数据源的数据源信息。例如，配置人员可以在所述图数据处理***的配置界面配置某个图实例的输入数据源的数据库类型、数据源连接地址、表关联关系等信息。相应的，所述数据源管理引擎110在配置人员确认配置后，存储配置人员配置的输入数据源相关的信息。
相应的，所述数据源管理引擎110还用于，在处理信息配置阶段，响应于配置人员通过对输入数据源的选择操作，确定所述目标图实例对应的输入数据源；根据所述配置人员配置的所述输入数据源的数据字段与所述目标图实例的所述图数据结构的映射关系，存储字段映射配置信息；根据所述目标图实例对应的输入数据源、所述存储字段映射配置信息，生成处理配置信息。
例如，在处理信息配置阶段，所述数据源管理引擎110可以展示输入数据源选择界面，配置人员可以通过上述选择界面选择当前配置的图实例的输入数据源，以及，通过配置界面选择该输入数据源的字段名称，将该名称的字段映射到对应的图数据结构(即Schema)中，从而确定字段->点或边的属性的映射关系，并可以配置该字段是否需要做类型转换，该字段是否建立索引，是否排序等。之后，所述数据源管理引擎110将配置人员配置的所述图数据结构的映射关系，存储为字段映射配置信息，并根据配置人员选择的输入数据源、所述字段映射配置信息，作为处理配置信息进行存储。
可选的，图数据库处理引擎120可以通过所述数据源管理引擎110读取数据源信息和处理配置信息。之后，图数据库处理引擎120将从输入数据源中读取的数据进行合流处理，并映射转换成图模型适配的数据格式，加载写入到图数据存储后端(如图数据库)中。下面对图数据库处理引擎120的功能和实现方案进行举例说明。
所述图数据库处理引擎120，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流。
可选的，所述离线数据源包括：第一数据库，所述根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，包括：通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库中的全量数据写入第一消息队列，得到第一数据流；或者，通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的全量数据，并将读取的全量数据写入第一消息队列，得到第一数据流。
本申请的实施例中，图数据库处理引擎120可以根据所述数据源信息描述的离线数据源的数据源连接地址，与所述离线数据源建立数据库连接，之后，将所述离线数据源中的离线数据通过CDC(Change Data Capture，变更数据获取)工具全量写入图数据处理***的消息队列中，将消息队列中的数据作为批量写入的数据流。例如，该可以采用FLINK-CDC工具获取所述数据源信息对应的所述离线数据源中的全量离线数据，并将获取的数据写入到指定消息队列中(本文中记为“第一消息队列”)。
可选的，对于不支持Fl ink CDC工具的数据库类型，可以通过JDBC(JavaDatabase Connect ivity，Java数据库连接)读取数据库，之后，调用消息队列应用接口的方式将读取的数据写入到消息队列中(本文中记为“第一消息队列”)。
可选的，所述第一消息队列为与离线数据对应的消息队列，即批量数据流对应的消息队列。
可选的，所述实时数据源包括：第二数据库和消息队列，所述根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流，包括：通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据流；或者，读取所述实时数据源的数据源信息指定的所述消息队列中的实时数据，得到第二数据流。
本申请的一些实施例中，实时数据的来源有多种渠道。例如，图数据库处理引擎120可以通过消息队列(例如Kafka)渠道获取外部***写入的实时数据，作为第二数据流。又例如，有些实时数据没有实时写入消息队列，而是直接落库，此时，图数据库处理引擎120可以通过CDC数据采集工具来捕获数据库中变化的数据，得到第二数据流。
CDC(change data capture)，即变化数据捕捉，是数据库进行备份的一种方式，常用于大量数据的备份工作。Mysql数据库基于日志的CDC就是要开启Mysql binary log。而要实时获取源数据库中图的数据来源的变化，可以通过CDC技术来实现。目前，现有技术中的各种类型的数据库进本上都有很多成熟的CDC技术和对应的组件。本申请实施例中，采用CDC数据采集工具采集关系型数据库(RDBMS)的数据变化，传入到实时计算框架中，使用Flink实时计算，将数据实时入图。
所述图数据库处理引擎120，还用于对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果。
可选的，所述对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果，包括：根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果。
例如，数据流合并算子对来源于不同数据源中的数据，根据映射规则和转换规则进行计算，将源数据中的字段数据按照配置的规则进行转换和封装。可选的，所述映射规则和转换规则可以为在多种数据流之间指定的关联方式，例如，所述映射规则可以为字段映射配置信息中指定的字段映射关系，所述转换规则可以为字段匹配即转换。
可选的，根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果，包括：确定所述第一数据流中与所述字段映射配置信息匹配的第一字段，以及确定所述第二数据流中与所述字段映射配置信息匹配的第二字段；将所述第一数据流中所述第一字段对应的数据与所述第二数据流中所述第二字段对应的数据进行合并，得到合并结果。例如：A流的字段A1,A2和B流的字段B1，B2在字段映射配置信息中映射为同一条边，则可以将A流和B流合并，转换为指定格式的C流，其中，C流将携带A流和B流的字段信息。
可选的，可以将第一数据流和第二数据流中，与所述图数据结构之间存在字段映射关系的流数据，进行合并。
可选的，根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果，包括：调用Fl ink(一种开源的流处理框架)的数据流合并算子(如Fl inkStream API)对所述第一数据流和所述第二数据流进行合并处理，得到一条实时数据流，作为合并处理结果。
在一个实施例中，可以采用Fl inkStreamAPI的Join类算子，将第一数据流和第二数据流进行合并。
本申请的实施例中，所述图数据库处理引擎120，还用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据。
如前所述，所述处理配置信息包括：所述离线数据源和所述实时数据源的字段与所述图实例的点和边之间的字段映射配置信息，可选的，所述根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据，包括：根据所述字段映射配置信息对所述合并处理结果进行拆解处理，将所述合并处理结果拆分为点和边分别对应的数据；将所述点和边分别对应的所述数据，写入所述图实例，生成点和边分别对应的数据。
本申请的一些实施例中，合并处理结果为实时流数据，其中包括图实例中关注的字段的数据。为了便于后续进行图数据的检索和分析，所述图数据存储后端中存储的图数据是基于点或边进行索引的数据，因此，需要所述图数据库处理引擎将所述合并处理结果转换成所述图数据存储后端对应的数据格式。
可选的，所述图数据库处理引擎需要根据配置的功能，按照指定的转换规则进行数据转换。例如，根据所述字段映射配置信息，对与图实例的点、边、属性存在映射关系的字段信息进行抽取，输出单个边或单个节点的属性转换后的值。在写入所述图数据存储后端时，点或边的数据会被封装成点和边的对象。例如，所述图数据存储后端存储的数据结构如下：点V1(属性1＝值1，属性2＝值2，属性3＝值3,…)、点V2(属性1＝值1，属性2＝值2，属性3＝值3,…)、边E1(起点V1的标识，终点V2的标识，属性4＝值4，属性5＝值5，属性6＝值6,…)等。其中，点V1和V2边E1都会在所述图数据存储后端中存放全局唯一标识。点和边的属性为针对所述图实例预先定义的属性。例如，在设备欺诈图模型中，当边E1对应个人与IP地址时，起点V1的标识可以为个人1的身份证号，终点V2的标识为个人2的IP地址，属性可以为：交易时间、交易地点、交易金额预先定义的各属性。
本申请的实施例中，所述图数据存储后端130，用于存储所述图数据。
可选的，所述图数据存储后端130可以为数据库。所述图数据存储后端130用于存储图数据库的数据，包括点、边、点和边的属性。不同的图数据库提供不同方式的图数据存储。
本申请的一些实施例中，所述索引存储后端140，用于存储所述图实例对应的索引。
可选的，所述索引根据所述图数据结构生成，包括：包括：点的索引、边的索引、点和边属性的索引，以及，超级点的中心点索引。索引存储后端的作用是用于存储索引的，该索引数据独立于所述图数据存储后端130，为所述图数据存储后端130提供服务。其中，所述索引存储后端140中存储的索引是基于所述图数据存储后端130存储的数据和所述图实例的数据结构、字段映射配置信息产生的索引数据，主要作用是用于加速查询和图遍历。
在数据库查询应用中，索引直接决定了查询语句能不能高效执行计算出结果，如果没有索引，后端将会及其低效的运行查询语句，甚至无法遍历出结果而一直被阻塞，直到超时。本申请实施例中，所述索引存储后端140可以采用现有技术中图数据库支持的主流索引后端实现，如：Elast icSeach，Apache Solr以及Apache Lucene。
本申请的实施例中，所述查询应用150，用于基于用户触发的查询请求查询所述图数据存储后端130，以获取所述查询请求对应的查询结果。
所述查询应用150包括：查询前端和查询服务端，所述基于用户触发的查询请求查询所述图数据存储后端，以获取所述查询请求对应的查询结果，包括：所述查询前端基于用户编辑的查询语句，向查询服务端发送查询请求，其中，所述查询请求中携带所述查询语句，所述查询语句根据用户选择的查询语法和待查询图实例生成；所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语句进行语法转换处理，得到所述图数据存储后端支持的目标查询语句；所述查询服务端基于所述目标查询语句查询所述图数据存储后端，并获取所述图数据存储后端输出的查询结果。
例如，查询服务端接收来自查询前端的图查询语法，例如Greml in或者Cypher语法，根据图数据存储后端的实现和支持的查询语法，将Greml in或Cypher语法相互转换成图数据存储后端支持的语法，并执行相应的图查询语句，或者执行图遍历算法，返回查询结果给查询前端。通过进行语法转换处理，可以兼容跟多查询语法，方便用户进行图数据查询。
在本申请的一个实施例中，用户可以在查询应用的前端页面端选择用户偏好的查询语法，或者该图数据存储后端支持的查询语法，选择要查询的图实例，编辑查询语句，通过http请求传入到查询服务端进行处理。查询服务端根据图数据存储后端支持的查询语法判断是否需要进行语法转换，如果需要转换，则调用预设的语法转换代码，将查询前端发送的查询语句转换成可在图数据存储后端可执行的语句。之后，将转换后的查询语句，根据图实例名称进行实例初始化连接(第一次查询需要首次获取数据库连接，后面可以直接从缓存中获取连接)，根据图数据存储后端提供的查询应用接口，执行查询语句，等待查询结果返回，并将查询结果反馈给查询前端。
可选的，查询服务端可以将查询结果，封装成前端页面渲染可视化图形的时候组件需要的格式，然后返回给查询前端。
查询前端通过用户选定的或者***默认的可视化方式将查询结果渲染成可视化图形。
所述图数据存储后端130，还用于响应于所述查询应用的所述查询，根据所述索引存储后端存储的索引，在本地存储的所述图数据中检索满足所述查询请求的所述查询结果。
例如，所述图数据存储后端130响应于所述查询应用接口被调用，获取所述查询应用接口中携带的查询参数；之后，根据所述查询参数，通过所述索引存储后端140进行索引加速查询，获取索引信息；最后，根据所述索引信息检索所述图数据存储后端130存储的图数据，得到满足所述查询请求的所述查询结果。
本申请的实施例中还公开的图数据处理***，通过设置数据源管理引擎，用于管理进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、预先配置的图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；设置图数据库处理引擎，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；并对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果，之后，根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；设置图数据存储后端，用于存储所述图数据；设置索引存储后端，用于存储所述图实例对应的索引；在用户通过查询应用进行图数据查询时，可以基于离线数据和实时数据返回查询结果，提升了输出的图数据查询结果的全面性和完整性。由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时候，总是能够获取到完整的数据，有利于全局性的遍历查询。
现有技术中，离线数据处理架构为：将离线数据于次日统一抽取，当日新增数据，通过批量方式统一加工，然后写入到数据库中，由于每天更新数据，导致查询时只能查到昨日的数据，当天的实时数据，还在源数据库中，而未被处理到图数据库中，离线数据和实时数据需要分别存储，且不能统一入图。本申请实施例中公开的图数据处理***则将离线数据和实时数据合并为数据流统一存储，从而实现同一入图，提升数据完整性、全面性。
另一方面，由于通过图数据库处理引擎将离线数据和实时数据首先进行合并，使得后续对离线数据和实时数据采用一套代码逻辑进行后续处理，可以降低图数据处理***的维护成本。
另一方面，本申请的实施例中还公开了一种图数据处理方法，下面图2所述的流程图和图3所示的数据流转图，对所述图数据处理方法的实施方式进行举例说明。其中，图3是图1所示的图数据处理***的数据流转图。
如图2所示，本申请实施例中公开的图数据处理方法包括：步骤210至步骤260。
步骤210，根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息。
如图3所示，数据源管理引擎110内置的离线数据配置管理、实时数据配置管理，以及图实例配置管理等功能模块，分别用于进行离线数据源的配置管理、实时数据源的配置管理、图数据结构定义、图实例构建，以及，字段映射配置。
例如，所述图数据处理***的数据源管理引擎110可以根据配置人员通过所述图数据处理***的配置界面执行的目标图实例的输入数据源配置操作，存储输入数据源的数据源信息。
又例如，在处理信息配置阶段，所述数据源管理引擎110可以响应于配置人员通过对输入数据源的选择操作，确定所述目标图实例对应的输入数据源；根据所述配置人员配置的所述输入数据源的数据字段与所述目标图实例的所述图数据结构的映射关系，存储字段映射配置信息；根据所述目标图实例对应的输入数据源、所述存储字段映射配置信息，生成处理配置信息。
根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息的具体实施方式，参见前文中对所述数据源管理引擎的具体实施方式的相关描述，此处不再赘述。
步骤220，根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流。
在完成基础配置之后，所述数据源管理引擎110对数据源信息、创建的图实例，以及，针对每个图实例配置的字段映射配置信息等处理配置信息进行存储和管理，提供给图数据库处理引擎120、索引存储后端140使用。如图3所示，所述数据源管理引擎110中包括离线数据读取转换、实时数据读取转换，以及，合流计算等功能模块，分别用于执行第一数据流采集、第二数据流采集，以及，数据流合并处理等操作。
在需要生成图数据时，图数据库处理引擎120从所述数据源管理引擎110处读取处理配置信息，并根据处理配置信息连接离线数据源和实时数据源，进行数据采集。图数据库处理引擎120对所述离线数据进行采集，得到第一数据流，以及，对所述实时数据源进行采集，得到第二数据流。
可选的，所述离线数据源包括：第一数据库，所述根据所述离线数据源的数据源信息对所述数据库进行读取，得到第一数据流，包括：通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库中的全量数据写入第一消息队列，得到第一数据流；或者，通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的全量数据，并将读取的全量数据写入第一消息队列，得到第一数据流。
可选的，所述实时数据源包括：第二数据库和消息队列，所述根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流，包括：通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据流；或者，读取所述实时数据源的数据源信息指定的所述消息队列中的实时数据，得到第二数据流。
图数据库处理引擎120根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流的具体实施方式，参见前文对图数据库处理引擎120的具体实施方式的相关描述，此处不再赘述。
步骤230，根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果。
接下来，图数据库处理引擎120对所述第一数据流和所述第二数据流进行合并处理，实现离线数据和实时数据合并为一条数据流，进行统一处理。
可选的，根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果，包括：确定所述第一数据流中与所述字段映射配置信息匹配的第一字段，以及确定所述第二数据流中与所述字段映射配置信息匹配的第二字段；将所述第一数据流中所述第一字段对应的数据与所述第二数据流中所述第二字段对应的数据进行合并，得到合并结果。
根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果的具体实施方式，参见前文对图数据库处理引擎120的具体实施方式的相关描述，此处不再赘述。
步骤240，根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据。
之后，图数据库处理引擎120将由离线数据和实时数据合并得到的数据流进行格式化处理，转换成图数据存储后端130需要的数据格式，即图数据格式。
可选的，所述处理配置信息包括：所述离线数据源和所述实时数据源的字段与所述图实例的点和边之间的字段映射配置信息，所述根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据，包括：根据所述字段映射配置信息对所述合并处理结果进行拆解处理，将所述合并处理结果拆分为点和边分别对应的数据；将所述点和边分别对应的所述数据，写入所述图实例，生成点和边分别对应的数据。
根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据的具体实施方式，参见前文对图数据库处理引擎120的具体实施方式的相关描述，此处不再赘述。
步骤250，存储所述图数据和所述图实例对应的索引。
图数据库处理引擎120将转换得到的图数据发送至图数据存储后端130进行存储。
图实例对应的索引的生成和存储方法参见前文中对索引存储后端140的具体实施方式的描述，此处不再赘述。
至此，图数据存储后端130中存储了图实例的每个点的数据和每条边的数据，索引存储后端140中存储了图实例的点、边的索引。
步骤260，响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
当用户通过图数据处理***的查询应用150输入查询语句，查询目标图实例中的信息时，查询应用150将基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
可选的，所述查询应用包括：查询前端和查询服务端，所述响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果，包括：所述查询前端基于用户编辑的查询语句，向查询服务端发送查询请求，其中，所述查询请求中携带所述查询语句，所述查询语句根据用户选择的查询语法和待查询图实例生成；所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语句进行语法转换处理，得到所述图数据存储后端支持的目标查询语句；所述查询服务端基于所述目标查询语句查询所述图数据存储后端，并获取所述图数据存储后端输出的查询结果。
查询应用150响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果的具体实施方式，参见前文中对所述查询应用150的具体实施方式的相关描述，此处不再赘述。
本申请实施例公开的图数据处理方法，通过根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述数据源信息对所述实时数据源进行读取，得到第二数据流；根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；之后，存储所述图数据和所述图实例对应的索引；在用户触发查询请求时，基于所述索引查询存储的包含离线数据和实时数据的所述图数据，获取所述查询请求对应的查询结果，提升了输出的图数据查询结果的全面性和完整性。
由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时候，总是能够获取到完整的数据，有利于全局性的遍历查询。
现有技术中，离线数据处理架构为：将离线数据于次日统一抽取，当日新增数据，通过批量方式统一加工，然后写入到数据库中，由于每天更新数据，导致查询时只能查到昨日的数据，当天的实时数据，还在源数据库中，而未被处理到图数据库中，离线数据和实时数据需要分别存储，且不能统一入图。本申请实施例中公开的图数据处理方法则将离线数据和实时数据合并为数据流统一存储，从而实现同一入图，提升数据完整性、全面性。
另一方面，由于通过图数据库处理引擎将离线数据和实时数据首先进行合并，使得后续对离线数据和实时数据采用一套代码逻辑进行后续处理，可以降低图数据处理***的维护成本。
相应的，本申请实施例还公开了一种图数据处理装置，如图4所示，所述装置包括：
配置管理模块410，用于根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
数据流采集模块420，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
数据流合并模块430，用于根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；
图数据生成模块440，用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
图数据和索引存储模块450，用于存储所述图数据和所述图实例对应的索引；
查询输出模块460，用于响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
可选的，所述数据流合并模块430，进一步用于：
根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果。
可选的，所述处理配置信息包括：所述离线数据源和所述实时数据源的字段与所述图实例的点和边之间的字段映射配置信息，所述图数据生成模块，进一步用于：
根据所述字段映射配置信息对所述合并处理结果进行拆解处理，将所述合并处理结果拆分为点和边分别对应的数据；
将所述点和边分别对应的所述数据，写入所述图实例，生成点和边分别对应的数据。
可选的，所述离线数据源包括：第一数据库，所述根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，包括：
通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库中的全量数据写入第一消息队列，得到第一数据流；或者，
通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的全量数据，并将读取的全量数据写入第一消息队列，得到第一数据流。
可选的，所述实时数据源包括：第二数据库和消息队列，所述根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流，包括：
通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据流；或者，
读取所述实时数据源的数据源信息指定的所述消息队列中的实时数据，得到第二数据流。
可选的，所述查询应用包括：查询前端和查询服务端，所述查询输出模块460，进一步用于：
所述查询前端基于用户编辑的查询语句，向查询服务端发送查询请求，其中，所述查询请求中携带所述查询语句，所述查询语句根据用户选择的查询语法和待查询图实例生成；
所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语句进行语法转换处理，得到所述图数据存储后端支持的目标查询语句；
所述查询服务端基于所述目标查询语句查询所述图数据存储后端，并获取所述图数据存储后端输出的查询结果。
本申请实施例公开的图数据处理装置，用于实现本申请实施例中所述的图数据处理方法，装置的各模块的具体实施方式不再赘述，可参见方法实施例相应步骤的具体实施方式。
本申请实施例公开的一种图数据处理装置，通过根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；之后，存储所述图数据和所述图实例对应的索引；在用户触发查询请求时，基于所述索引查询存储的包含离线数据和实时数据的所述图数据，获取所述查询请求对应的查询结果，提升了输出的图数据查询结果的全面性和完整性。
由于离线数据和实时数据使用共同的存储位置，所以在进行图分析和遍历的时候，总是能够获取到完整的数据，有利于全局性的遍历查询。
另一方面，由于通过图数据库处理引擎将离线数据和实时数据首先进行合并，使得后续对离线数据和实时数据采用一套代码逻辑进行后续处理，可以降低图数据处理***的维护成本。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种图数据处理方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其一种核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的电子设备中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图5示出了可以实现根据本申请的方法的电子设备。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。该电子设备传统上包括处理器510和存储器520及存储在所述存储器520上并可在处理器510上运行的程序代码530，所述处理器510执行所述程序代码530时实现上述实施例中所述的方法。所述存储器520可以为计算机程序产品或者计算机可读介质。存储器520可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器520具有用于执行上述方法中的任何方法步骤的计算机程序的程序代码530的存储空间5201。例如，用于程序代码530的存储空间5201可以包括分别用于实现上面的方法中的各种步骤的各个计算机程序。所述程序代码530为计算机可读代码。这些计算机程序可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。所述计算机程序包括计算机可读代码，当所述计算机可读代码在电子设备上运行时，导致所述电子设备执行根据上述实施例的方法。
本申请实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例所述的图数据处理方法的步骤。
这样的计算机程序产品可以为计算机可读存储介质，该计算机可读存储介质可以具有与图5所示的电子设备中的存储器520类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩存储在所述计算机可读存储介质中。所述计算机可读存储介质通常为如参考图6所述的便携式或者固定存储单元。通常，存储单元包括计算机可读代码530’，所述计算机可读代码530’为由处理器读取的代码，这些代码被处理器执行时，实现上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本申请的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种图数据处理***，其特征在于，所述***包括：数据源管理引擎、图数据库处理引擎、图数据存储后端、索引存储后端，以及，查询应用，其中，
所述数据源管理引擎，用于管理进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、预先配置的图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
所述图数据库处理引擎，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
所述图数据库处理引擎，还用于对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果；
所述图数据库处理引擎，还用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
所述图数据存储后端，用于存储所述图数据；
所述索引存储后端，用于存储所述图实例对应的索引；
所述查询应用，用于基于用户触发的查询请求查询所述图数据存储后端，以获取所述查询请求对应的查询结果；
所述图数据存储后端，还用于响应于所述查询应用的所述查询，根据所述索引存储后端存储的索引，在本地存储的所述图数据中检索满足所述查询请求的所述查询结果。
2.根据权利要求1所述的***，其特征在于，所述对所述第一数据流和所述第二数据流进行合并处理，得到合并处理结果，包括：
根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果。
3.根据权利要求1所述的***，其特征在于，所述处理配置信息包括：所述离线数据源和所述实时数据源的字段与所述图实例的点和边之间的字段映射配置信息，所述根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据，包括：
根据所述字段映射配置信息对所述合并处理结果进行拆解处理，将所述合并处理结果拆分为点和边分别对应的数据；
将所述点和边分别对应的所述数据，写入所述图实例，生成点和边分别对应的数据。
4.根据权利要求1所述的***，其特征在于，所述离线数据源包括：第一数据库，所述根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，包括：
通过变更数据获取工具将所述离线数据源的数据源信息对应的所述第一数据库中的全量数据写入第一消息队列，得到第一数据流；或者，
通过数据库连接读取所述离线数据源的数据源信息对应的所述第一数据库中的全量数据，并将读取的全量数据写入第一消息队列，得到第一数据流。
5.根据权利要求1所述的***，其特征在于，所述实时数据源包括：第二数据库和消息队列，所述根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流，包括：
通过变更数据获取工具获取所述实时数据源的数据源信息对应的所述第二数据库中的变化数据，得到第二数据流；或者，
读取所述实时数据源的数据源信息指定的所述消息队列中的实时数据，得到第二数据流。
6.根据权利要求1所述的***，其特征在于，所述查询应用包括：查询前端和查询服务端，所述基于用户触发的查询请求查询所述图数据存储后端，以获取所述查询请求对应的查询结果，包括：
所述查询前端基于用户编辑的查询语句，向查询服务端发送查询请求，其中，所述查询请求中携带所述查询语句，所述查询语句根据用户选择的查询语法和待查询图实例生成；
所述查询服务端根据所述图数据存储后端支持的查询语法对所述查询请求中携带的所述查询语句进行语法转换处理，得到所述图数据存储后端支持的目标查询语句；
所述查询服务端基于所述目标查询语句查询所述图数据存储后端，并获取所述图数据存储后端输出的查询结果。
7.一种图数据处理方法，其特征在于，所述方法包括：
根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；
根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
存储所述图数据和所述图实例对应的索引；
响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
8.一种图数据处理装置，其特征在于，所述装置包括：
配置管理模块，用于根据配置人员的配置操作，获取进行图数据处理时作为输入数据源的离线数据源的数据源信息和实时数据源的数据源信息、图实例的图数据结构，以及，所述输入数据源与所述图数据结构关联的处理配置信息；
数据流采集模块，用于根据所述离线数据源的数据源信息对所述离线数据源进行读取，得到第一数据流，以及，根据所述实时数据源的数据源信息对所述实时数据源进行读取，得到第二数据流；
数据流合并模块，用于根据所述第一数据流和所述第二数据流中各字段之间的关联关系，对所述第一数据流和所述第二数据流进行关联合并，得到合并处理结果；
图数据生成模块，用于根据所述处理配置信息对所述合并处理结果进行拆解处理，生成与所述图实例匹配的图数据；
图数据和索引存储模块，用于存储所述图数据和所述图实例对应的索引；
查询输出模块，用于响应于用户触发查询请求，基于所述索引查询存储的所述图数据，以获取所述查询请求对应的查询结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的程序代码，其特征在于，所述处理器执行所述程序代码时实现权利要求7所述的图数据处理方法。
10.一种计算机可读存储介质，其上存储有程序代码，其特征在于，该程序代码被处理器执行时实现权利要求7所述的图数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310293916.XA CN116450890A (zh) | 2023-03-23 | 2023-03-23 | 图数据处理方法、装置、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310293916.XA CN116450890A (zh) | 2023-03-23 | 2023-03-23 | 图数据处理方法、装置、***、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116450890A true CN116450890A (zh) | 2023-07-18 |
Family
ID=87123016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310293916.XA Pending CN116450890A (zh) | 2023-03-23 | 2023-03-23 | 图数据处理方法、装置、***、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116450890A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628274A (zh) * | 2023-07-25 | 2023-08-22 | 浙江锦智人工智能科技有限公司 | 一种针对图数据库的数据写入方法、设备及介质 |
| CN117591564A (zh) * | 2024-01-11 | 2024-02-23 | 支付宝(杭州)信息技术有限公司 | 一种针对图数据库的图数据查询方法及相关设备 |
-
2023
- 2023-03-23 CN CN202310293916.XA patent/CN116450890A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116628274A (zh) * | 2023-07-25 | 2023-08-22 | 浙江锦智人工智能科技有限公司 | 一种针对图数据库的数据写入方法、设备及介质 |
| CN116628274B (zh) * | 2023-07-25 | 2023-09-22 | 浙江锦智人工智能科技有限公司 | 一种针对图数据库的数据写入方法、设备及介质 |
| CN117591564A (zh) * | 2024-01-11 | 2024-02-23 | 支付宝(杭州)信息技术有限公司 | 一种针对图数据库的图数据查询方法及相关设备 |
| CN117591564B (zh) * | 2024-01-11 | 2024-05-28 | 支付宝(杭州)信息技术有限公司 | 一种针对图数据库的图数据查询方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108519967B (zh) | 图表可视化方法、装置、终端和存储介质 | |
| CN111611458B (zh) | 大数据治理中基于元数据和数据分析技术实现***数据架构梳理的方法 | |
| CN110162544B (zh) | 异构数据源数据获取方法及装置 | |
| CN116450890A (zh) | 图数据处理方法、装置、***、电子设备及存储介质 | |
| CN111241177B (zh) | 数据采集方法、***及网络设备 | |
| JP5624674B2 (ja) | データベースの検索のための照会の改善方法 | |
| CN114049927A (zh) | 疾病数据处理方法、装置、电子设备及可读介质 | |
| US10901811B2 (en) | Creating alerts associated with a data storage system based on natural language requests | |
| CN113268500B (zh) | 业务处理方法、装置及电子设备 | |
| CN111723161A (zh) | 一种数据处理方法、装置及设备 | |
| JP2008537827A (ja) | 階層データベースのリレーショナル・クエリ | |
| CN104199978A (zh) | 基于NoSQL实现元数据缓存与分析的***及方法 | |
| CN112685446A (zh) | 通过Elasticsearch数据库的复杂SQL查询方法、装置、处理器及存储介质 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| WO2017107130A1 (zh) | 数据查询方法和数据库*** | |
| CN114168616A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
| CN112487075B (zh) | 一种集成关系型和非关系型数据库数据转换算子的方法 | |
| CN111125045B (zh) | 一种轻量级etl处理平台 | |
| CN110309206B (zh) | 订单信息采集方法及*** | |
| CN111666302A (zh) | 用户排名的查询方法、装置、设备及存储介质 | |
| CN115114297A (zh) | 数据轻量存储及查找方法、装置、电子设备及存储介质 | |
| CN115658680A (zh) | 数据存储方法、数据查询方法和相关装置 | |
| CN112199426B (zh) | 微服务架构下的接口调用管理方法、装置、服务器及介质 | |
| CN112464049B (zh) | 号码详单下载方法、装置和设备 | |
| CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |