CN112783972A - 图像特征值数据的同步方法及*** - Google Patents
图像特征值数据的同步方法及*** Download PDFInfo
- Publication number
- CN112783972A CN112783972A CN202011624983.8A CN202011624983A CN112783972A CN 112783972 A CN112783972 A CN 112783972A CN 202011624983 A CN202011624983 A CN 202011624983A CN 112783972 A CN112783972 A CN 112783972A
- Authority
- CN
- China
- Prior art keywords
- data
- characteristic value
- image characteristic
- storage table
- value storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 claims abstract description 49
- 238000000605 extraction Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 230000000977 initiatory effect Effects 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Facsimiles In General (AREA)
Abstract
本发明提供一种图像特征值数据的同步方法，存储***与提取***进行数据交互时，先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理；按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；事件驱动机制支持相关联模块快速扩展。本发明增加自检步骤，并增加图像特征值缓冲表，提高数据同步的稳定性。
Description
技术领域
本发明属于图像特征值提取***的交互和数据同步，具体涉及一种图像特征值数据的同步方法及***。
背景技术
随着人工智能的快速发展，作为支撑的图像处理技术得到广泛应用，其过程中产生大量图像特征值数据，对于这些特征值数据存储、筛选和同步方式的研究有助于特征选择和算法评估。存储***与提取***进行交互的流程包括：存储***请求拉取提取***数据，然后对比拉取数据和图像特征值存储表数据进行数据标志变更、禁用、更新、新增等操作。
具体流程为：对拉取数据比图像特征值存储表数据多的数据进行新增操作，对拉取数据和图像特征值存储表数据共有的数据按最后更新时间进行更新操作，对图像特征值存储表数据比拉取数据多的数据进行禁用操作；当拉取的图像特征值涉及到其他新增使用该特征值模块时，在数据同步模块增加相应同步代码。
但是现有的存储***与提取***交互和同步时，存在以下缺陷：
存储***拉取的图像特征值直接同步到业务***，由于提取***对客户端来说是不可控的，当提取***的数据发生错误时，存储***在拉取数据后未经过自检直接同步到业务***势必会造成***原有功能的紊乱。
此外，存储***拉取的图像特征值直接同步到图像特征值存储表中，未在存储***做缓冲备份，当图像特征值发生错误并造成存储***紊乱时无法快速定位***紊乱的原因是来自存储***自身还是错误的图像特征值。
同时，存储***拉取的图像特征值和图像特征值存储表数据之间的更新、禁用、新增缺乏唯一的比对标准，导致每次同步都会出现数据问题，需要人工手动修正数据，效率低下，增加研发团队的负担。
最后，当拉取的图像特征值涉及到其它新增业务模块时，需要修改原有的数据交互代码，会影响已上线的功能的稳定性。
发明内容
本发明要解决的技术问题是：提供一种图像特征值数据的同步方法及***，提高数据同步的稳定性。
本发明为解决上述技术问题所采取的技术方案为：一种图像特征值数据的同步方法，本方法包括以下步骤：
S1、存储***与提取***进行数据交互时，存储***先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理；
S2、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
按上述方法，所述的S1具体包括：
S101、存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据；
S102、自检所述拉取的数据：
比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值；
S103、根据自检结果进行判断：
若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，终止本次数据交互业务，待下次数据交互业务时间触发，转到S101；
若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步；
S104、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理：
以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据；
S105、终止本次数据交互业务：
记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到S101。
按上述方法，所述的S103通过发送带有告警信息的邮件或短信给***管理员发出告警。
按上述方法，所述的S2中的事件驱动机制具体为：
当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；
当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；
当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
按上述方法，事件驱动机制还用于解耦***功能，禁用、更新、新增事件的监听者模块用于根据实际业务发展进行快速扩展。
一种图像特征值数据的同步***，本***包括：
设置于存储***上的图像特征值同步模块，用于在存储***与提取***进行数据交互时，先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理；
同步特征值的事件驱动模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
按上述***，所述的图像特征值同步模块具体包括：
开始及唤醒模块，用于存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据；
拉取数据的自检模块，用于比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值；
根据自检结果的数据判断模块，用于若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，终止本次数据交互业务，待下次数据交互业务时间触发，转到开始及唤醒模块；还用于若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步；
数据同步处理模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理，具体处理如下：
以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据；
终止模块，用于记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到开始及唤醒模块。
按上述***，所述的事件驱动机制具体包括：
当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；
当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；
当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
按上述***，所述的同步特征值的事件驱动模块，还用于解耦***功能，禁用、更新、新增事件的监听者模块用于根据实际业务发展进行快速扩展。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种图像特征值数据的同步方法的步骤。
本发明的有益效果为：通过在拉取图像特征值后增加自检步骤，自检失败会终止该次数据交互业务，并发送告警通知，自检成功才能进行后续的数据同步业务，从而在一定程度上能够规避图像特征值异常对存储***造成的不利影响，保证存储***的稳定性；在自检成功后将数据存入图像特征值缓冲表，然后再进行数据的同步业务，当存储***发生数据异常时能快速定位是***自身异常还是拉取图像特征值的异常；对数据进行禁用、更新、新增等操作后会发布相应的事件，传递数据到监听者，监听者对相关联的业务数据进行同步。当涉及到新增业务模块时可以快速扩展新的监听者程序，而不需要修改已上线数据同步代码，保证了数据同步的稳定性。
附图说明
图1为本发明一实施例的方法流程图。
图2为本发明一实施例的同步方法流程图。
具体实施方式
下面结合具体实例和附图对本发明做进一步说明。
本发明提供一种图像特征值数据的同步方法，如图1和图2所示，本方法包括以下步骤：
S1、存储***与提取***进行数据交互时，存储***先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理。
S2、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
其中S1可以定时执行，每当S1执行一次，都会触发S2业务流程的执行。
下面通过六个实施案例详细说明本发明的方法。
实施例一：
S1中存储***与提取***进行交互时，首先对拉取数据进行自检，包括以下步骤：
S101、存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据。
S102、自检所述拉取的数据：比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值。
S103、根据自检结果进行判断：若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，例如发送带有告警信息的邮件或短信等；终止本次数据交互业务，待下次数据交互业务时间触发，转到S101。若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步。
在记录下异常信息并发送告警信息后，运维人员会联系提取***提供方核实接口数据的正确性与否，若提取***提供方数据体量确实发生了变化，则根据实际情况修正存储***同步***的自检阈值。
S104、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理：以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据。
S105、终止本次数据交互业务：记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到S101。
S106：将拉取的正常数据存储到图像特征值缓冲表（B）。
其中，在S105中记录下异常信息并发送告警信息后，运维人员会联系提取***提供方核实接口数据的正确性与否，若提取***提供方数据体量确实发生了变化，则根据实际情况修正存储***同步***的自检阈值。
实施例二：
在案例一的基础上，拉取的图像特征值自检通过，并将数据存储到图像特征值缓冲表后，开始执行数据同步业务，包括以下步骤：
S107：以图像特征值缓冲表（B）中数据为基准，处理图像特征值存储表（A）中标记为手动创建的数据（A1），在图像特征值存储表中将A1^B部分数据重新标记为接口自动获取，转到S108；
S108：比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，在图像特征值存储表中将A-B部分数据状态改为禁用，转到S109；
S109：比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该集合数据，转到S110；
S110：比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，在图像特征值存储表中新增B-A部分数据。
实施例三：
在实施案例二基础上，S1中存储***对拉取数据进行禁用、更新、新增操作后，将禁用、更新、新增的数据条数作为日志记录到数据库中，然后终止该次数据交互业务；记录的日志方便***运维人员直观的监控数据同步的状况，方便快速定位问题。同时，可以设定定时任务每隔一段时间拉取一次图像特征值，以保证业务***数据都是接近最新的状态。
实施例四：
在实施案例二基础上，事件驱动机制具体为：当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
按照S2中所述事件驱动机制，当S1中执行完数据同步业务后，可以发布一个事件，传递同步的数据给监听程序，由监听程序执行相关联业务数据同步。比如，当按S108所述执行完禁用业务后，会发布一个禁用事件，传递禁用的数据集合到对应的监听者程序，监听者程序接受到禁用数据后执行相应数据禁用业务；S109、S110同理可以发布更新事件和新增事件。
实施案例五：
在实施例一的基础上，基于S1、S2业务流程，当客户端业务***新增的功能模块涉及到拉取图像特征值的同步时，可以非常方便的扩展监听者程序来处理新增模块的业务数据同步，而不会影响已上线功能的正常使用。
实施案例六：
本发明还提供一种图像特征值数据的同步***，本***包括：
设置于存储***上的图像特征值同步模块，用于在存储***与提取***进行数据交互时，先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理。
同步特征值的事件驱动模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
所述的图像特征值同步模块具体包括：
开始及唤醒模块，用于存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据；
拉取数据的自检模块，用于比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值；
根据自检结果的数据判断模块，用于若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，终止本次数据交互业务，待下次数据交互业务时间触发，转到开始及唤醒模块；还用于若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步；
数据同步处理模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理，具体处理如下：
以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据；
终止模块，用于记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到开始及唤醒模块。
所述的事件驱动机制具体包括：当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
存储***为企业一卡通管理***，提取***为车牌图像识别***，为了保证企业一卡通能应用到员工车辆入园检测，需要在存储***定时同步车牌图像识别***的数据。
在存储***建立定时任务，每整点，拉取一次图像特征值，对拉取图像特征值的处理***包括设置于存储***上的图像特征值同步模块和同步特征值的事件驱动模块。
图像特征值同步模块用于：存储***与提取***交互时，先在代码中自检获取的数据，自检通过则将数据存储到对应图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理。
同步特征值事件驱动模块用于：当对图像特征值存储表数据进行禁用、更新、新增三个维度操作时，采用事件驱动的机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联业务快速扩展。
存储***与提取***进行交互时，将配置的提取***地址封装网络请求对象，进入业务交互流程：
业务交互流程为：存储***向提取***发起拉取数据的请求，并记录拉取的数据信息，自检拉取的数据，比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取数据与图像特征值存储表数据差值，差值大于***设置的阈值，则代表提取***返回的数据发生异常，记录此次数据交互的异常信息，并发送告警通知，然后终止该次数据交互业务；若差值小于等于***设置的阈值，则代表提取***返回数据正常，将正常数据存入到图像特征值缓冲表中。
将拉取正常数据存储到图像特征值缓冲表（B）后，进入数据同步流程：
数据同步流程在于：以图像特征值缓冲表（B）中数据为基准，处理图像特征值存储表（A）中标记为手动创建的数据（A1），在图像特征值存储表中将A1^B部分数据重新标记为接口自动获取；比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，在图像特征值存储表中将A-B部分数据状态改为禁用；比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该集合数据；比较图像特征值存储表（A）数据和图像特征值缓冲表（B）数据，在图像特征值存储表中新增B-A部分数据；记录禁用、更新、新增的数据条数，然后终止该次数据同步业务。
同步特征值的事件驱动模块，在执行完数据禁用、更新、新增业务后，会发布相应的事件，传递数据集合到对应的监听者程序，监听者程序接受到数据后执行相应数据禁用、更新、新增业务。
需要说明的是：本发明实施案例中提到的自检方法仅在该实例中适用，实际应用中，可以根据需要自定义自检方法来扩充自检逻辑。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述的一种图像特征值数据的同步方法的步骤。
在此基础上，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述图像特征值数据的同步方法的步骤。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (10)
1.一种图像特征值数据的同步方法，其特征在于：本方法包括以下步骤：
S1、存储***与提取***进行数据交互时，存储***先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理；
S2、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
2.根据权利要求1所述的同步方法，其特征在于：所述的S1具体包括：
S101、存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据；
S102、自检所述拉取的数据：
比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值；
S103、根据自检结果进行判断：
若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，终止本次数据交互业务，待下次数据交互业务时间触发，转到S101；
若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步；
S104、按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理：
以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据；
S105、终止本次数据交互业务：
记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到S101。
3.根据权利要求2所述的同步方法，其特征在于：所述的S103通过发送带有告警信息的邮件或短信给***管理员发出告警。
4.根据权利要求1所述的同步方法，其特征在于：所述的S2中的事件驱动机制具体为：
当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；
当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；
当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
5.根据权利要求1所述的同步方法，其特征在于：事件驱动机制还用于解耦***功能，禁用、更新、新增事件的监听者模块用于根据实际业务发展进行快速扩展。
6.一种图像特征值数据的同步***，其特征在于：本***包括：
设置于存储***上的图像特征值同步模块，用于在存储***与提取***进行数据交互时，先自检获取的数据，自检通过则将数据存储到对应的图像特征值缓冲表；对比图像特征值存储表和图像特征值缓冲表数据，按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理；
同步特征值的事件驱动模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理过程中，采用事件驱动机制将变更数据同步到其它使用该特征值模块中；同时，该事件驱动机制支持相关联模块快速扩展。
7.根据权利要求6所述的同步***，其特征在于：所述的图像特征值同步模块具体包括：
开始及唤醒模块，用于存储***按照配置的提取***地址，封装网络请求对象；向提取***发起拉取数据的请求，并记录拉取的数据；
拉取数据的自检模块，用于比较存储***拉取的数据和图像特征值存储表数据，计算存储***拉取的数据与图像特征值存储表数据的差值；
根据自检结果的数据判断模块，用于若存储***拉取的数据与图像特征值存储表数据的差值大于设置的阈值，则代表提取***返回的数据发生异常；记录此次数据交互的异常信息到数据表中，同时给***管理员发出告警，终止本次数据交互业务，待下次数据交互业务时间触发，转到开始及唤醒模块；还用于若存储***拉取的数据与图像特征值存储表数据的差值小于或等于设置的阈值，则代表提取***返回数据正常；将拉取的数据存储到图像特征值缓冲表B，并继续下一步；
数据同步处理模块，用于按照禁用、更新、新增三个维度对图像特征值存储表数据进行处理，具体处理如下：
以图像特征值缓冲表B中数据为基准，处理图像特征值存储表A中标记为手动创建的数据A1，将A1^B部分数据重新标记为提取***自动获取；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表A中将A-B部分数据状态改为禁用；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，计算出A^B部分且最后更新时间不一致的数据集合，在图像特征值存储表中更新该数据集合；
比较图像特征值存储表A和图像特征值缓冲表B中的数据，在图像特征值存储表中新增B-A部分数据；
终止模块，用于记录禁用、更新或新增的数据条数，然后终止本次数据交互业务；等到下次数据交互业务时间触发，转到开始及唤醒模块。
8.根据权利要求6所述的同步***，其特征在于：所述的事件驱动机制具体包括：
当进行禁用处理后，发布禁用事件，传递禁用的数据集合到对应的监听者模块，监听者模块接收到禁用的数据集合后执行相应的数据禁用业务；
当进行更新处理后，发布更新事件，传递更新的数据结合到对应的监听者模块，监听者模块接收到更新的数据后执行相应的数据更新业务；
当进行新增处理后，发布新增事件，传递新增的数据集合到对应的监听者模块，监听者模块接收到新增的数据后执行相应的数据新增业务。
9.根据权利要求6所述的同步***，其特征在于：所述的同步特征值的事件驱动模块，还用于解耦***功能，禁用、更新、新增事件的监听者模块用于根据实际业务发展进行快速扩展。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5中任意一项所述的一种图像特征值数据的同步方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624983.8A CN112783972A (zh) | 2020-12-31 | 2020-12-31 | 图像特征值数据的同步方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624983.8A CN112783972A (zh) | 2020-12-31 | 2020-12-31 | 图像特征值数据的同步方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112783972A true CN112783972A (zh) | 2021-05-11 |
Family
ID=75754451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011624983.8A Pending CN112783972A (zh) | 2020-12-31 | 2020-12-31 | 图像特征值数据的同步方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112783972A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409225A (zh) * | 2023-10-31 | 2024-01-16 | 深圳市大满包装有限公司 | 一种基于人机交互的金属罐智能感知方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012119547A1 (zh) * | 2011-03-07 | 2012-09-13 | ***通信有限公司 | 一种数据同步的方法、***及设备 |
| CN106021494A (zh) * | 2016-05-19 | 2016-10-12 | ***股份有限公司 | 一种主数据同步方法及装置 |
| CN106484560A (zh) * | 2015-08-25 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 数据同步方法及装置 |
| CN108021580A (zh) * | 2016-11-04 | 2018-05-11 | 广东亿迅科技有限公司 | 一种数据同步更新方法及其*** |
| CN110378793A (zh) * | 2019-06-17 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 数据管理方法、装置、计算机设备和存储介质 |
| CN110727733A (zh) * | 2019-09-25 | 2020-01-24 | 许昌许继软件技术有限公司 | 一种主备服务器***及数据同步方法 |
| CN111147560A (zh) * | 2019-12-18 | 2020-05-12 | 河北远东通信***工程有限公司 | 基于http协议高速度、高稳定以及断点续传的数据同步方法 |
| CN111159139A (zh) * | 2019-12-30 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种数据处理方法、装置、存储介质及监视设备 |
| CN112084056A (zh) * | 2020-08-25 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 异常检测方法、装置、设备及存储介质 |
-
2020
- 2020-12-31 CN CN202011624983.8A patent/CN112783972A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012119547A1 (zh) * | 2011-03-07 | 2012-09-13 | ***通信有限公司 | 一种数据同步的方法、***及设备 |
| CN106484560A (zh) * | 2015-08-25 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 数据同步方法及装置 |
| CN106021494A (zh) * | 2016-05-19 | 2016-10-12 | ***股份有限公司 | 一种主数据同步方法及装置 |
| CN108021580A (zh) * | 2016-11-04 | 2018-05-11 | 广东亿迅科技有限公司 | 一种数据同步更新方法及其*** |
| CN110378793A (zh) * | 2019-06-17 | 2019-10-25 | 深圳壹账通智能科技有限公司 | 数据管理方法、装置、计算机设备和存储介质 |
| CN110727733A (zh) * | 2019-09-25 | 2020-01-24 | 许昌许继软件技术有限公司 | 一种主备服务器***及数据同步方法 |
| CN111147560A (zh) * | 2019-12-18 | 2020-05-12 | 河北远东通信***工程有限公司 | 基于http协议高速度、高稳定以及断点续传的数据同步方法 |
| CN111159139A (zh) * | 2019-12-30 | 2020-05-15 | 浪潮电子信息产业股份有限公司 | 一种数据处理方法、装置、存储介质及监视设备 |
| CN112084056A (zh) * | 2020-08-25 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 异常检测方法、装置、设备及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409225A (zh) * | 2023-10-31 | 2024-01-16 | 深圳市大满包装有限公司 | 一种基于人机交互的金属罐智能感知方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3117349B1 (en) | System and method for massively parallel processing database | |
| US10747745B2 (en) | Transaction execution commitment without updating of data row transaction status | |
| US20220245173A1 (en) | Blockchain-based data synchronization method, apparatus, and computer-readable storage medium | |
| CA2375376A1 (en) | Collision avoidance in bidirectional database replication | |
| EP4064152A1 (en) | Data synchronization method and device for databases, and storage medium | |
| CN112131286B (zh) | 一种基于时间序列的数据处理方法、装置及存储介质 | |
| CN109117314B (zh) | 一种防误操作的数据快速恢复方法及*** | |
| US20220269568A1 (en) | Blockchain-based data snapshot method and apparatus, and computer-readable storage medium | |
| CN111538519A (zh) | 一种版本升级方法及装置 | |
| CN112783972A (zh) | 图像特征值数据的同步方法及*** | |
| WO2019019701A1 (zh) | 一种空白***的回收处理方法、存储介质和服务器 | |
| CN112800060A (zh) | 数据处理方法、装置、计算机可读存储介质及电子设备 | |
| CN111680106A (zh) | 一种多应用***数据同步的方法及装置 | |
| CN116302652A (zh) | ***报警信息的处理方法、装置及电子设备 | |
| EP3955127A1 (en) | Automatic database schema updater | |
| CN112181926A (zh) | 一种配置更新同步方法及装置 | |
| CN106354830A (zh) | 一种数据库集群节点间数据同步的方法及装置 | |
| CN112463887A (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN112381650A (zh) | 跨链互操作的交易处理方法、装置、电子设备和存储介质 | |
| CN106375354B (zh) | 数据处理方法及装置 | |
| WO2019019712A1 (zh) | 一种空白***的分发处理方法、存储介质和服务器 | |
| JP2001306380A (ja) | 二相コミット回避方式およびそのプログラム記録媒体 | |
| CN117763052B (zh) | 面向计费多中心内存数据库的数据同步方法及*** | |
| CN112818059B (zh) | 一种基于容器发布平台的信息实时同步方法及装置 | |
| CN116594749A (zh) | 一种任务管控方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210511 |