CN115495498A - 数据关联方法、***、电子设备及存储介质 - Google Patents
数据关联方法、***、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115495498A CN115495498A CN202211165189.0A CN202211165189A CN115495498A CN 115495498 A CN115495498 A CN 115495498A CN 202211165189 A CN202211165189 A CN 202211165189A CN 115495498 A CN115495498 A CN 115495498A
- Authority
- CN
- China
- Prior art keywords
- data
- time sequence
- sequence data
- tables
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 48
- 230000000875 corresponding effect Effects 0.000 claims abstract description 41
- 238000012163 sequencing technique Methods 0.000 claims abstract description 12
- 230000002596 correlated effect Effects 0.000 claims abstract description 7
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000005059 dormancy Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24564—Applying rules; Deductive queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据关联方法、***、电子设备及存储介质，属于数据处理的技术领域；所述方法包括针对不同待关联对象的数据表中的文本内容进行识别得到相对应的待关联数据表，其中待关联数据表中至少存在具有时间属性的时序数据；基于时序数据按照预设规则进行排序以获取时序数据列表；将时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；将待筛查时序数据中隶属于同一待关联数据表的时序数据剔除以筛选出目标时序数据；判断目标时序数据所对应的待关联数据表中是否存在相同数值数据；根据判断结果做出或者结束当前场次数据的关联处理。通过本申请实现高效、简洁的互通性数据关联处理，降低数据关联成本及提升应用价值。
Description
技术领域
本发明属于数据处理的技术领域，具体地涉及一种数据关联方法、***、电子设备及存储介质。
背景技术
数据关联，即发现存在于大量数据中的关联性或相关性，进而将相关的数据关联起来，为数据分析提供条件。例如：数据类A包括学生的学号、姓名以及年龄等内容，数据类B中包括学生的学号、成绩等内容，通过数据类A和数据类B都包括的学号，将数据类A和数据类B进行关联，进而可以将学生的姓名、年龄、以及成绩等信息结合起来。现有技术中，多方参与的数据关联方法主要分为两种：一种是以其中一方的中间数据库作为关联媒介，数据所属双方将需要关联的数据统一导入指定的数据库中，在数据库中执行相应逻辑(或执行相应关联查询语句)，并将关联结果告知数据所属双方；另一种是数据持有的一方索要对方数据，在自己的平台进行数据关联操作。
现有数据关联技术可以基于相同的特征进行各数据的相互关联。然而，针对不同行业之间的数据之间需要关联，往往各数据之间并不存在相同的特征，通常需要借助各数据之间的相关联特征以及关联关系进行程序转换代码的编写实现不同行业数据的关联，导致消耗资源较大、占用时间长，影响关联的效率及可靠性。
因此，如何开发一种高效、简洁的互通性数据关联处理程序，是亟待解决的研究课题。
发明内容
为了解决上述技术问题，本发明提供了一种数据关联方法、***、电子设备及存储介质，通过以具有时间特性的时序数据为关联基础，在不同待关联对象之间建立联系，实现不同行业间的待关联对象之间的数据连通，并达到高效、简洁的互通性数据关联，降低数据关联的成本，提升数据互通关联的应用价值。
第一方面，该发明提供一种数据关联方法，包括：
获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
基于所述时序数据按照预设规则进行排序以获取时序数据列表；
将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
若是，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理；
若否，则结束当前场次的数据关联处理并进入休眠状态。
较佳地，所述获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表的步骤具体包括：
针对当前场次的不同待关联对象的数据表进行截取形成图片信息；
基于所述图片信息进行灰度处理及图像增强处理以获取预处理图像；
识别处理所述预处理图像以获取所述数据表所需的待关联数据表。
较佳地，所述基于所述时序数据按照预设规则进行排序以获取时序数据列表的步骤具体包括：
从不同的所述待关联数据表中抽取所述时序数据；
将抽取出来的所述时序数据转换成预设模型的标准时序数据；
采用冒泡排序法针对所述标准时序数据进行排序以得到时序数据列表。
较佳地，所述将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据的步骤具体包括：
逐一计算相邻两所述时序数据之间的数据差值，判断所述数据差值是否处于预设差值范围；
若是，则将处于预设差值范围内的相邻两所述时序数据标记为待筛查时序数据。
较佳地，所述判断所述数据差值是否处于预设差值范围的步骤之后，所述方法还包括：
若判断所述数据差值未处于预设差值范围，则将两所述相邻时序数据中的前一时序数据删除，且后一时序数据保留并与下一相邻时序数据继续进行相邻时序数据的筛查。
较佳地，所述判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据的步骤具体包括：
基于所述目标时序数据通过所述序数据列表的查询出在所述待关联数据表中的时序数据；
基于查询出的所述时序数据获取在所述待关联数据表中与其关联的相关数据；
判断所述相关数据中是否存在相同数值数据。
较佳地，所述相关数据是指同一所述待关联对象下的所述待关联数据表中与所述目标时序数据所衍射相关的其它数据。
第二方面，该发明提供一种数据关联***，包括：
识别模块，用于获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
排序模块，用于基于所述时序数据按照预设规则进行排序以获取时序数据列表；
标记模块，用于将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
筛选模块，用于将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断模块，用于判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
第一处理模块，用于若判断所述目标时序数据所对应的所述待关联数据表中存在相同数值数据，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理；
第二处理模块，用于若判断所述目标时序数据所对应的所述待关联数据表中不存在相同数值数据，则结束当前场次的数据关联处理并进入休眠状态。
较佳地，所述识别模块包括：
截取单元，用于针对当前场次的不同待关联对象的数据表进行截取形成图片信息；
预处理单元，用于基于所述图片信息进行灰度处理及图像增强处理以获取预处理图像；
识别单元，用于识别处理所述预处理图像以获取所述数据表所需的待关联数据表。
较佳地，所述排序模块包括：
抽取单元，用于从不同的所述待关联数据表中抽取所述时序数据；
转换单元，用于将抽取出来的所述时序数据转换成预设模型的标准时序数据；
排序单元，用于采用冒泡排序法针对所述标准时序数据进行排序以得到时序数据列表。
较佳地，所述标记模块包括：
计算单元，用于逐一计算相邻两所述时序数据之间的数据差值，判断所述数据差值是否处于预设差值范围；
标记单元，用于若判断所述数据差值处于预设差值范围，则将处于预设差值范围内的相邻两所述时序数据标记为待筛查时序数据。
较佳地，所述标记模块还包括：
重复单元，若判断所述数据差值未处于预设差值范围，则将两所述相邻时序数据中的前一时序数据删除，且后一时序数据保留并与下一相邻时序数据继续进行相邻时序数据的筛查。
较佳地，所述判断模块包括：
查询单元，用于基于所述目标时序数据通过所述序数据列表的查询出在所述待关联数据表中的时序数据；
获取单元，用于基于查询出的所述时序数据获取在所述待关联数据表中与其关联的相关数据；
判断单元，用于判断所述相关数据中是否存在相同数值数据。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的数据关联方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据关联方法。
相比现有技术，本发明的有益效果为：通过对不同待关联对象的数据表的识别得到各对应的待关联数据表，且该待关联数据表至少具有时间属性的时序数据；将各待关联数据表中的时序数据进行排序得到时序数据列表；基于时序数据列表中相邻时序数据处于预设差值范围内进行标记得到待筛查时序数据；将待筛查时序数据中隶属与同一待关联数据表中的时序数据剔除而筛选出目标时序数据；根据目标时序数据所对应的待关联数据表中是否存在相同数值数据的情况，选择进行当前场次的相关数据关联，或者结束当前场次的关联处理且进入休眠。通过上述步骤，本申请以具有时间特性的时序数据为关联基础，在不同待关联对象之间建立联系，实现不同行业间的待关联对象之间的数据连通，并达到高效、简洁的互通性数据关联，降低数据关联的成本，提升数据互通关联的应用价值。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的数据关联方法的流程图；
图2为本发明实施例1提供的数据关联方法步骤S101的具体流程图；
图3为本发明实施例1提供的数据关联方法步骤S102的具体流程图；
图4为本发明实施例1提供的数据关联方法步骤S103的具体流程图；
图5为本发明实施例1提供的数据关联方法步骤S105的具体流程图；
图6是本发明实施例2提供的与实施例1方法对应的数据关联***结构框图；
图7是本发明实施例4提供的与实施例3方法对应的数据关联***结构框图；
图8是本发明实施例5提供的电子设备的硬件结构示意图。
附图标记说明：
10-识别模块、11-截取单元、12-预处理单元、13-识别单元；
20-排序模块、21-抽取单元、22-转换单元、23-排序单元；
30-标记模块、31-计算单元、32-标记单元；
40-筛选模块；
50-判断模块、51-查询单元、52-获取单元、53-判断单元；
60-第一处理模块；
70-第二处理模块；
80-总线、81-处理器、82-存储器、83-通信接口。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请的具体应用场景为：手机运营商的数据或者第三方支付软件的数据都没有完整的银行***信息，而银行等金融机构提供的交易数据没有手机号码、支付软件账号等信息。因此需要在银行数据与手机运营商、第三方支付软件的数据之间进行数据打通，建立起银行***与手机号码、支付软件账号之间的关联关系。银行的交易数据与手机运营商的消费通知数据基于消费短信通知时间而具有内在逻辑关系，因此可以通过双方具有的相同消费通知时间的数据进行相关数据的打通，建立关联。
实施例1
具体而言，图1所示为本实施例提供的一种数据关联方法的流程示意图。
如图1所示，本实施例的数据关联方法包括以下步骤：
S101，获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据。
具体地，本实施例所述及的不同待关联对象具体为手机运营商、第三方支付软件及金融机构，通常该三类行业所公布的相关数据均为不可编辑形式的文件，因此，需要针对此类不可编辑形式的公布文件进行所公布数据的摘取并形成可以具体编辑的格式，这样便于后续针对该三类行业所公布的数据进行关联处理。需要说明的是，需要关联的手机运营商、第三方支付软件及金融机构通常是指在消费的场合，这种消费场合所生成的数据，至少存在具有时间属性的时序数据，本实施例正是基于银行的交易数据与手机运营商的消费通知数据基于消费短信通知时间而具有内在逻辑关系，通过双方具有的相同消费通知时间的数据进行相关数据的打通。
进一步地，如图2所示，步骤S101的具体步骤包括：
S1011，针对当前场次的不同待关联对象的数据表进行截取形成图片信息。
具体地，针对不同待关联对象所需关联的数据表按照预设的方向摆设好，逐一将其所展现的数据类信息进行拍照并截取形成图片进行保存。或者说，不同待关联对象所需关联的数据表以PDF格式存在于电脑里面，则仅需逐一将所展示的数据类信息直接截取，形成图片的样式保存。
S1012，基于所述图片信息进行灰度处理及图像增强处理以获取预处理图像。
具体地，所述预处理包括灰度处理及图像增强处理。具体地，对所拍摄的图片进行灰度处理，即将其转化为黑白图片，目的在于将其中包含的色彩信息去除，然后通过改变对比度、调节亮度等图像增强处理方式，调整图片中文字的清晰度，方便识别。
S1013，识别处理所述预处理图像以获取所述数据表所需的待关联数据表。
其中，所述识别处理是指采用连续识别以对所含文字及数字进行区分及确定文字与数字之间的相对位置关系。具体地，对预处理图像进行文字识别时采用连续识别，并对文字与数字进行区分；通过先记录文字的位置，并在记录时确定文字的中心位置，该中心位置即作为该文字的位置；进而确定该文字后方跟随的数字内容，记录文字内容与数字内容之间的相对位置关系。
S102，基于所述时序数据按照预设规则进行排序以获取时序数据列表。
具体地，具体实践中，本实施例的手机运营商、第三方支付软件及金融机构的这三类行业所公布的相关数据中的时序数据可能存在表示时间的格式不一样，根据不同地区有不同地区的时间表示方式，因此，需要针对具有时间属性的时序数据需要进行相关的处理。
进一步地，如图3所示，步骤S102的具体步骤包括：
S1021，从不同的所述待关联数据表中抽取所述时序数据。
S1022，将抽取出来的所述时序数据转换成预设模型的标准时序数据。
具体地，所述预设模型是指时间属性的时序数据需要按照统一的格式进行展示，便于时序数据的统一化处理。诸如时间格式“上午9:00”、“下午3:00”，“9:00”、“15:00”，或者“AM9:00”、“PM3:00”格式等等。本实施例以“AM9:00”、“PM3:00”格式为预设模型。
S1023，采用冒泡排序法针对所述标准时序数据进行排序以得到时序数据列表。
具体地，所述述及的冒泡排序法是指重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来；走访数列的工作是重复地进行直到没有再需要交换，意味着该数列已经排序完成。
S103，将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据。
具体地，所述及的预设差值范围的目的在于考虑到消费通知的即时性，正是因为消费信息在不同待关联对象的时间上的差异性，势必存在时间上的微小差异性。本实施例将预设时间范围设为60秒，以提高不同待关联对象之间的关联程序。
进一步地，如图4所示，步骤S103的具体步骤包括：
S1031，逐一计算相邻两所述时序数据之间的数据差值，判断所述数据差值是否处于预设差值范围；
S1032，若是，则将处于预设差值范围内的相邻两所述时序数据标记为待筛查时序数据。
需要说明的是，其它实施例中，若判断所述数据差值未处于预设差值范围，则将两所述相邻时序数据中的前一时序数据删除，且后一时序数据保留并与下一相邻时序数据继续进行相邻时序数据的筛查。
S104，将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据。
具体地，具体实践中，由于同一时间或者在预设范围内的同一时段内存在多批消费通知时间，势必待筛查时序数据中会存在处于同一待关联数据表中的情况，为了避免后续关联出错，因此需要在关联之前提出隶属于同一所述待关联数据表的时序数据，从而达到筛选出目标时序数据的目的。
S105，判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据。
具体地，具体实践中，所述及的相同数值数据是指在同一时间或者在预设范围内的同一时段内，该目标时序数据在不同待关联数据表中对应的其它数据；诸如，消费金额数据。
进一步地，如图5所示，步骤S105的具体步骤包括：
S1051，基于所述目标时序数据通过所述序数据列表的查询出在所述待关联数据表中的时序数据。
S1052，基于查询出的所述时序数据获取在所述待关联数据表中与其关联的相关数据。
其中，所述相关数据是指同一所述待关联对象下的所述待关联数据表中与所述目标时序数据所衍射相关的其它数据。
S1053，判断所述相关数据中是否存在相同数值数据。
S106，若是，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理。
综上所述，通过对不同待关联对象的数据表的识别得到各对应的待关联数据表，且该待关联数据表至少具有时间属性的时序数据；将各待关联数据表中的时序数据进行排序得到时序数据列表；基于时序数据列表中相邻时序数据处于预设差值范围内进行标记得到待筛查时序数据；将待筛查时序数据中隶属与同一待关联数据表中的时序数据剔除而筛选出目标时序数据；根据目标时序数据所对应的待关联数据表中存在相同数值数据的情况，选择进行当前场次的相关数据关联。通过上述步骤，可以实现不同行业间的待关联对象之间的数据连通，并达到高效、简洁的互通性数据关联。
实施例2
本实施例提供了与实施例1所述方法相对应的***的结构框图。图6是根据本实施例的数据关联***的结构框图，如图6所示，该***包括：
识别模块10，用于获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
排序模块20，用于基于所述时序数据按照预设规则进行排序以获取时序数据列表；
标记模块30，用于将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
筛选模块40，用于将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断模块50，用于判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
第一处理模块60，用于若判断所述目标时序数据所对应的所述待关联数据表中存在相同数值数据，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理。
较佳地，所述识别模块10包括：
截取单元11，用于针对当前场次的不同待关联对象的数据表进行截取形成图片信息；
预处理单元12，用于基于所述图片信息进行灰度处理及图像增强处理以获取预处理图像；
识别单元13，用于识别处理所述预处理图像以获取所述数据表所需的待关联数据表。
较佳地，所述排序模块20包括：
抽取单元21，用于从不同的所述待关联数据表中抽取所述时序数据；
转换单元22，用于将抽取出来的所述时序数据转换成预设模型的标准时序数据；
排序单元23，用于采用冒泡排序法针对所述标准时序数据进行排序以得到时序数据列表。
较佳地，所述标记模块30包括：
计算单元31，用于逐一计算相邻两所述时序数据之间的数据差值，判断所述数据差值是否处于预设差值范围；
标记单元32，用于若判断所述数据差值处于预设差值范围，则将处于预设差值范围内的相邻两所述时序数据标记为待筛查时序数据。
较佳地，所述判断模块50包括：
查询单元51，用于基于所述目标时序数据通过所述序数据列表的查询出在所述待关联数据表中的时序数据；
获取单元52，用于基于查询出的所述时序数据获取在所述待关联数据表中与其关联的相关数据；
判断单元53，用于判断所述相关数据中是否存在相同数值数据。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例3
具体而言，本实施例提供的一种数据关联方法的流程示意图，具体包括以下步骤：
S201，获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
S202，基于所述时序数据按照预设规则进行排序以获取时序数据列表；
S203，将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
S204，将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
S205，判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
S206，若否，则结束当前场次的数据关联处理并进入休眠状态。
综上所述，通过对不同待关联对象的数据表的识别得到各对应的待关联数据表，且该待关联数据表至少具有时间属性的时序数据；将各待关联数据表中的时序数据进行排序得到时序数据列表；基于时序数据列表中相邻时序数据处于预设差值范围内进行标记得到待筛查时序数据；将待筛查时序数据中隶属与同一待关联数据表中的时序数据剔除而筛选出目标时序数据；根据目标时序数据所对应的待关联数据表中不存在相同数值数据的情况，选择结束当前场次的关联处理且进入休眠。
实施例4
本实施例提供了与实施例3所述方法相对应的***的结构框图。图7是根据本实施例的数据关联***的结构框图，如图7所示，该***包括：
识别模块10，用于获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
排序模块20，用于基于所述时序数据按照预设规则进行排序以获取时序数据列表；
标记模块30，用于将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
筛选模块40，用于将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断模块50，用于判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
第二处理模块70，用于若判断所述目标时序数据所对应的所述待关联数据表中不存在相同数值数据，则结束当前场次的数据关联处理并进入休眠状态。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
实施例5
结合图1所描述的数据关联方法可以由电子设备来实现。图8为根据本实施例的电子设备的硬件结构示意图。
电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例1、实施例3的数据关联方法。
在其中一些实施例中，设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、***组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该设备可以基于获取到数据关联***，执行本申请实施例1、实施例3的数据关联方法。
另外，结合上述实施例1、实施例3中的数据关联方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例1、实施例3的数据关联方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据关联方法，其特征在于，包括：
获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
基于所述时序数据按照预设规则进行排序以获取时序数据列表；
将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
若是，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理；
若否，则结束当前场次的数据关联处理并进入休眠状态。
2.根据权利要求1所述的数据关联方法，其特征在于，所述获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表的步骤具体包括：
针对当前场次的不同待关联对象的数据表进行截取形成图片信息；
基于所述图片信息进行灰度处理及图像增强处理以获取预处理图像；
识别处理所述预处理图像以获取所述数据表所需的待关联数据表。
3.根据权利要求1所述的数据关联方法，其特征在于，所述基于所述时序数据按照预设规则进行排序以获取时序数据列表的步骤具体包括：
从不同的所述待关联数据表中抽取所述时序数据；
将抽取出来的所述时序数据转换成预设模型的标准时序数据；
采用冒泡排序法针对所述标准时序数据进行排序以得到时序数据列表。
4.根据权利要求1所述的数据关联方法，其特征在于，所述将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据的步骤具体包括：
逐一计算相邻两所述时序数据之间的数据差值，判断所述数据差值是否处于预设差值范围；
若是，则将处于预设差值范围内的相邻两所述时序数据标记为待筛查时序数据。
5.根据权利要求4所述的数据关联方法，其特征在于，所述判断所述数据差值是否处于预设差值范围的步骤之后，所述方法还包括：
若判断所述数据差值未处于预设差值范围，则将两所述相邻时序数据中的前一时序数据删除，且后一时序数据保留并与下一相邻时序数据继续进行相邻时序数据的筛查。
6.根据权利要求1所述的数据关联方法，其特征在于，所述判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据的步骤具体包括：
基于所述目标时序数据通过所述序数据列表的查询出在所述待关联数据表中的时序数据；
基于查询出的所述时序数据获取在所述待关联数据表中与其关联的相关数据；
判断所述相关数据中是否存在相同数值数据。
7.根据权利要求6所述的数据关联方法，其特征在于，所述相关数据是指同一所述待关联对象下的所述待关联数据表中与所述目标时序数据所衍射相关的其它数据。
8.一种数据关联***，其特征在于，包括：
识别模块，用于获取当前场次的不同待关联对象的数据表，针对不同的所述数据表中的文本内容进行识别得到相对应的待关联数据表，其中，所述待关联数据表中至少存在具有时间属性的时序数据；
排序模块，用于基于所述时序数据按照预设规则进行排序以获取时序数据列表；
标记模块，用于将所述时序数据列表中处于预设差值范围内的相邻时序数据标记为待筛查时序数据；
筛选模块，用于将所述待筛查时序数据中隶属于同一所述待关联数据表的时序数据剔除以筛选出目标时序数据；
判断模块，用于判断所述目标时序数据所对应的所述待关联数据表中是否存在相同数值数据；
第一处理模块，用于若判断所述目标时序数据所对应的所述待关联数据表中存在相同数值数据，则将所述待关联数据表中含有所述目标时序数据的数据进行关联处理；
第二处理模块，用于若判断所述目标时序数据所对应的所述待关联数据表中不存在相同数值数据，则结束当前场次的数据关联处理并进入休眠状态。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据关联方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的数据关联方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211165189.0A CN115495498B (zh) | 2022-09-23 | 2022-09-23 | 数据关联方法、***、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211165189.0A CN115495498B (zh) | 2022-09-23 | 2022-09-23 | 数据关联方法、***、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115495498A true CN115495498A (zh) | 2022-12-20 |
| CN115495498B CN115495498B (zh) | 2023-06-16 |
Family
ID=84470214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211165189.0A Active CN115495498B (zh) | 2022-09-23 | 2022-09-23 | 数据关联方法、***、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115495498B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116578602A (zh) * | 2023-06-15 | 2023-08-11 | 深圳计算科学研究院 | 一种时序排序方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016199183A1 (ja) * | 2015-06-08 | 2016-12-15 | 株式会社日立製作所 | 計算機システム、及び、ストリームデータを処理するデータ処理システムの制御方法 |
| CN106796618A (zh) * | 2014-10-21 | 2017-05-31 | 株式会社日立制作所 | 时序预测装置和时序预测方法 |
| CN107015554A (zh) * | 2011-12-06 | 2017-08-04 | 比特有限责任公司 | 用于捕获自动化数据的方法和*** |
| CN112102950A (zh) * | 2020-11-04 | 2020-12-18 | 平安科技（深圳）有限公司 | 一种数据处理***、方法、装置及存储介质 |
| CN112200308A (zh) * | 2020-11-17 | 2021-01-08 | 上海优扬新媒信息技术有限公司 | 一种时序数据的处理方法、装置及电子设备 |
| CN113469461A (zh) * | 2021-07-26 | 2021-10-01 | 北京沃东天骏信息技术有限公司 | 生成信息的方法和装置 |
| CN113934595A (zh) * | 2021-10-14 | 2022-01-14 | 泰康保险集团股份有限公司 | 数据分析方法及***、存储介质及电子终端 |
| CN114463976A (zh) * | 2022-02-09 | 2022-05-10 | 超级视线科技有限公司 | 一种基于3d车辆轨迹的车辆行为状态判定方法及*** |
| CN114911830A (zh) * | 2022-05-12 | 2022-08-16 | 平安科技（深圳）有限公司 | 基于时序数据库的索引缓存方法、装置、设备及存储介质 |
| CN114969061A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业时序数据分布式存储方法、装置 |
-
2022
- 2022-09-23 CN CN202211165189.0A patent/CN115495498B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107015554A (zh) * | 2011-12-06 | 2017-08-04 | 比特有限责任公司 | 用于捕获自动化数据的方法和*** |
| CN106796618A (zh) * | 2014-10-21 | 2017-05-31 | 株式会社日立制作所 | 时序预测装置和时序预测方法 |
| WO2016199183A1 (ja) * | 2015-06-08 | 2016-12-15 | 株式会社日立製作所 | 計算機システム、及び、ストリームデータを処理するデータ処理システムの制御方法 |
| CN112102950A (zh) * | 2020-11-04 | 2020-12-18 | 平安科技（深圳）有限公司 | 一种数据处理***、方法、装置及存储介质 |
| WO2021190661A1 (zh) * | 2020-11-04 | 2021-09-30 | 平安科技（深圳）有限公司 | 一种数据处理***、方法、装置及存储介质 |
| CN112200308A (zh) * | 2020-11-17 | 2021-01-08 | 上海优扬新媒信息技术有限公司 | 一种时序数据的处理方法、装置及电子设备 |
| CN113469461A (zh) * | 2021-07-26 | 2021-10-01 | 北京沃东天骏信息技术有限公司 | 生成信息的方法和装置 |
| CN113934595A (zh) * | 2021-10-14 | 2022-01-14 | 泰康保险集团股份有限公司 | 数据分析方法及***、存储介质及电子终端 |
| CN114463976A (zh) * | 2022-02-09 | 2022-05-10 | 超级视线科技有限公司 | 一种基于3d车辆轨迹的车辆行为状态判定方法及*** |
| CN114911830A (zh) * | 2022-05-12 | 2022-08-16 | 平安科技（深圳）有限公司 | 基于时序数据库的索引缓存方法、装置、设备及存储介质 |
| CN114969061A (zh) * | 2022-08-01 | 2022-08-30 | 浙江木链物联网科技有限公司 | 一种工业时序数据分布式存储方法、装置 |
Non-Patent Citations (3)
| Title |
|---|
| ZHE CHEN 等: "Data mining algorithm and framework for identifying HVAC control strategies in large commercial buildings", BUILDING SIMULATION, vol. 14, pages 63, XP037304143, DOI: 10.1007/s12273-019-0599-0 * |
| 章杰鑫 等: "基于时序关联规则的商品需求预测", 计算机工程, vol. 35, no. 22, pages 65 - 67 * |
| 贾若雨 等: "面向在线交易日志的用户购买行为可视化分析", 软件学报, vol. 28, no. 09, pages 2450 - 2467 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116578602A (zh) * | 2023-06-15 | 2023-08-11 | 深圳计算科学研究院 | 一种时序排序方法及装置 |
| CN116578602B (zh) * | 2023-06-15 | 2024-03-12 | 深圳计算科学研究院 | 一种时序排序方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115495498B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348294A (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
| CN111191568B (zh) | 翻拍图像识别方法、装置、设备及介质 | |
| CN102880726B (zh) | 一种图像过滤方法及*** | |
| CN104809464A (zh) | 一种指纹信息处理方法 | |
| WO2019062081A1 (zh) | 业务员画像形成方法、电子装置及计算机可读存储介质 | |
| CN111583180B (zh) | 一种图像的篡改识别方法、装置、计算机设备及存储介质 | |
| CN109471853A (zh) | 数据降噪方法、装置、计算机设备和存储介质 | |
| CN112836756A (zh) | 图像识别模型训练方法、***和计算机设备 | |
| CN113837151A (zh) | 表格图像处理方法、装置、计算机设备及可读存储介质 | |
| CN115495498B (zh) | 数据关联方法、***、电子设备及存储介质 | |
| CN112668640A (zh) | 一种文本图像质量评估方法、装置、设备及介质 | |
| CN115631494A (zh) | 财务数据处理方法、***、电子设备及存储介质 | |
| CN109710628B (zh) | 信息处理方法及装置、***、计算机及可读存储介质 | |
| CN113762303B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN113780116A (zh) | ***分类方法、装置、计算机设备和存储介质 | |
| CN112801923A (zh) | 文字处理方法、***、可读存储介质及计算机设备 | |
| CN113378609B (zh) | 代理商代签名的识别方法及装置 | |
| CN111178365A (zh) | 图片文字的识别方法、装置、电子设备及存储介质 | |
| CN116097242A (zh) | 知识图谱构建方法和装置 | |
| CN111598099A (zh) | 图像文本识别性能的测试方法、装置、测试设备及介质 | |
| CN111047657A (zh) | 图片压缩方法、装置、介质及电子设备 | |
| CN111753722B (zh) | 一种基于特征点类型的指纹识别方法及装置 | |
| CN111324732B (zh) | 模型训练方法、文本处理方法、装置及电子设备 | |
| CN104182396A (zh) | 终端、版式文档内容描述优化装置和方法 | |
| CN113468379A (zh) | 数据源的处理方法、装置及智能分析平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |