CN109670027B - 一种影像查询、缓存、留存方法及*** - Google Patents

Abstract

本发明公开了一种影像查询、缓存、留存方法及***，涉及银行影像留存领域，影像留存方法，包括：获取每个机构业务信息对应的缓存配置策略；若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至预设数据库。本发明将客户端上传至服务器的数据先缓存，在空闲时再上传至预设数据库，实现数据的读写分离，优化交易体系，提高响应速度。

Description

一种影像查询、缓存、留存方法及***

技术领域

本发明涉及银行影像留存领域，尤其涉及一种影像查询、缓存、留存方法及***。

背景技术

近年来，随着银行业务的不断发展，业务数据大幅增加，在交易过程中，往往会调取、存储录音、录像、图片为主的非结构化数据进行身份认证等，传统留存模式为将非结构化数据和结构化数据(例如：流水号、文件名等)均保存在SAN存储或NAS存储中，从存储中读写数据同时进行，完成交易过程。

相比于结构化数据，非结构化数据往往比结构化数据大，随着存量数据不断增长，由于传统留存模式的架构限制，在高并发的数据访问中非结构化数据的响应速度较慢，且现有同时进行读写数据的方式会对互相造成一定干扰，进一步降低了非结构化数据的存取速度，从而降低了交易的响应速度。

发明内容

本发明的目的是提供一种影像查询、缓存、留存方法及***，在数据高并发状态下，实现非结构化数据的高效存取，改善交易响应速度，提高客户使用体验。

本发明提供的技术方案如下：

一种影像留存方法，包括：获取每个机构业务信息对应的缓存配置策略；若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至预设数据库。

在上述技术方案中，采用了大数据技术，支持高并发的数据访问，在指定时间上传缓存的影像数据至预设数据库，避免读写干扰，优化交易体系。

进一步，所述的上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：将所述影像数据中的结构化数据上传至预设第一数据库；将所述影像数据中的非结构化数据根据预设筛选标准，上传至所述预设第一数据库或预设第二数据库。

在上述技术方案中，将不同的非结构化数据存储到不同的预设数据库中，保证高速的传输速度。

进一步，还包括：若当前时间超过一缓存配置策略中的上传时间区间时，停止上传该缓存配置策略对应的机构业务信息对应的影像数据。

在上述技术方案中，只在指定时间上传数据至预设数据库，避免影响正常时间段的业务处理效率。

进一步，还包括：接收各机构发送的批次信息组装报文；根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述预设数据库。

在上述技术方案中，将指定的业务类型对应的影像数据缓存在本地，避免同时出现大量数据的读写现象，实现读写分离。

进一步，还包括：接收机构发送的信息查询报文；根据信息查询报文中的业务类型，判断是否查询到对应的缓存服务；当未查询到对应的所述缓存服务时，从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；当查询到对应的所述缓存服务时，从本地缓存中查询所述批次信息和/或业务类型对应的影像数据。

在上述技术方案中，将开启缓存服务的业务类型对应的影像数据先在本地缓存中查询，查不到再去预设数据库中查询，提高查询效率。

本发明还提供一种影像缓存方法，包括：接收各机构发送的批次信息组装报文；根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述预设数据库。

在上述技术方案中，将指定的业务类型对应的影像数据缓存在本地，避免同时出现大量数据的读写现象，实现读写分离。

本发明还提供一种影像查询方法，包括：接收机构发送的信息查询报文；根据信息查询报文中的业务类型，判断是否查询到对应的缓存服务；当未查询到对应的所述缓存服务时，从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；当查询到对应的所述缓存服务时，从本地缓存中查询所述批次信息和/或业务类型对应的影像数据。

在上述技术方案中，将开启缓存服务机构业务信息对应的影像数据先在本地缓存中查询，查不到再去预设数据库中查询，提高查询效率。

本发明还提供一种影像留存***，包括：服务器集群；所述服务器集群包括：策略获取模块，用于获取每个机构业务信息对应的缓存配置策略；数据上传模块，用于若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至存储数据库。

在上述技术方案中，在指定时间上传缓存的影像数据至预设数据库，实现读写分离，优化交易体系。

进一步，还包括：存储数据库；所述存储数据库包括：第一存储模块，用于存储所述影像数据中的结构化数据；以及，根据预设筛选标准，存储所述影像数据中的结构化数据；第二存储模块，用于根据预设筛选标准，存储所述影像数据中的结构化数据。

进一步，所述服务器集群还包括：报文接收模块，用于接收各机构发送的批次信息组装报文；判断模块，用于根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；缓存模块，用于当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；数据上传模块，进一步用于当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述存储数据库。

与现有技术相比，本发明的影像查询、缓存、留存方法及留存***有益效果在于：

本发明将客户端上传至服务器的数据先缓存，在空闲时再上传至预设数据库，实现数据的读写分离，优化交易体系，提高响应速度。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种影像查询、缓存、留存方法及***的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明影像留存方法一个实施例的流程图；

图2是本发明影像缓存方法一个实施例的流程图；

图3是本发明影像查询方法一个实施例的流程图；

图4是本发明影像留存***一个实施例的结构示意图；

图5是本发明非结构化数据和结构化数据分别存储的一个实施例的结构示意图；

图6是本发明非结构化数据和结构化数据存储在Hbase的一个实施例的结构示意图。

附图标号说明：

100.服务器集群，110.策略获取模块，120.数据上传模块，130.报文接收模块，140.服务查询模块，150.判断模块，160.缓存模块，170.信息查询模块，200.存储数据库，210.第一存储模块，220.第二存储模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明是基于大数据技术实现的影像留存、缓存和查询，具有高吞吐量，响应速度快、成本低廉的优点。

图1示出了本发明的一个实施例，一种影像留存方法，包括：

S101服务器集群获取每个机构业务信息(机构业务信息包括：机构号和业务类型)对应的缓存配置策略。

S102(服务器集群循环遍历各缓存配置策略)若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库(预设数据库为分布式数据库)；

S103若当前时间超过一缓存配置策略中的上传时间区间时，停止上传该缓存配置策略对应的机构业务信息对应的影像数据。

具体的，机构号是指机构(例如：一个银行网点)的唯一标识，用于对具体的机构进行身份认证。业务类型是指具体办理的业务，例如：个人贷款、企业现金业务、个人现金业务等。每个机构支持的业务类型可相同，也可不同，例如：可自助办理发卡、查询账户信息等。

影像数据包括结构化数据和非结构化数据，结构化数据包括：机构号、业务类型、批次信息、交易时间等，非结构化数据包括：该次交易的图片文件、视频文件等。

每个机构号和业务类型对应的缓存配置策略可能存在差异，例如：业务比较繁忙的机构的缓存配置策略为：属于此机构的所有业务类型的影像数据为在本地缓存3天后，晚上10点至早上8点才上传；业务比较空闲的机构(下午3点后基本没有客户)的缓存配置策略为：属于此机构的所有业务类型的影像数据在本地缓存7天后，下午3点至早上8点进行上传。

服务器集群循环遍历所有的缓存配置策略，根据当前时间来确认是否需要上传影像数据至预设数据库；若当前时间不在上传时间区间内，无论影像数据是否上传完，都不再上传，以免影响机构中各交易的正常运行。

例如：机构A是一个银行网点，银行工作时间为9:00-16:30分，周一至周六，在这个时间段内，机构A的客户比较多，查询信息、上传信息至服务器集群的频率较高，若在这个时候服务器集群把机构A上传的影像数据直接上传至预设数据库，读写同时进行，会在一定程序上影响交易过程中调取、存储影像数据的响应速度，导致机构A给用户的使用体验较差。服务器集群中机构A的机构号对应的缓存配置策略可以为每天晚上7点到早上8点上传至预设数据库，其他时间点机构A上传的影像数据先缓存在服务器集群的本地。当然，机构A的每个业务类型可配置不同的缓存配置策略，满足不同的使用需求。

因此，根据不同的使用需求、实际情况服务器集群中的缓存配置策略与机构业务信息对应，一个服务器集群对应若干个机构，一个机构有若干个业务类型，会存在多个缓存配置策略。

服务器集群循环遍历各缓存配置策略，若当前时间处在一个缓存配置策略的上传时间区间时，则上传该缓存配置策略对应的机构业务信息对应的影像数据；若当前时间处在多个缓存配置策略的上传时间区间时，则调用多个线程上传各缓存配置策略对应的机构业务信息对应的影像数据。若当前时间位于上传时间区间时，但没有影像数据需要上传时，则线程休眠，直到有需要上传的影像数据、且当前时间位于某一缓存配置策略中的上传时间区间。

优选地，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：获取该缓存配置策略对应的机构业务信息的批次信息，并将该批次信息对应的影像数据上传至预设数据库。

具体的，批次信息包括：批次流水号，是每笔数据的唯一信息标识；姓名、性别等。

可选地，获取批次信息时可批量获取，上传时即可实现批量上传。例如：一次获取10个批次信息，同时上传这10个批次信息对应的影像数据。

需要注意的是，一份影像数据中的非结构化数据可同时包括多个图片、视频文件。例如：用户想办理开卡，此次交易的批次信息对应的非结构化数据有身份证的正、反面图片，用户的人脸识别过程的视频文件等。

上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库的过程中采用控制策略；控制策略包括以下任意一种或多种：流量控制、数据压缩、优选级控制、断点续传。

流量控制是指，对每种业务类型的影像数据上传时进行流量控制，由服务器根据实际使用情况进行动态或静态调整。

数据压缩是指，对一个或几个文件类型在迁移至预设数据库时进行图像压缩，由服务器配置。

优先级控制是指，对服务器上存在的业务类型，按照优先级进行排列上传(指同时需要上传时)，优先级由工程师进行配置。

断点续传是指，当传输多影像文件时，遇到传输失败需要重新传输时，只对前一次上传失败的文件再进行传输，提高传输效率。

控制策略的设备提高了服务器集群上传数据的效率，且优先级较高的数据会被优先迁移，保护重要数据的安全性。

优选地，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：

将影像数据中的结构化数据上传至预设第一数据库；

将影像数据中的非结构化数据根据预设筛选标准，上传至预设第一数据库或预设第二数据库。

预设筛选标准包括以下任意一种或多种：业务类型、影像类型、格式、大小等配置参数。

具体的，预设第一数据库为HBASE、Hive等分布式列数据库(大数据技术的特有数据存储模式，支持高并发的数据访问)；预设第二数据库为HDFS(Hadoop分布式文件***)，它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。将影像文件这种比较大的文件数据存储至HDFS，一来文件传输速度较高，二来用户在客户端查询时，调取速度更快，响应速度更快，使用户有良好的使用体验。

结构化数据比较小，直接存储于HBASE即可，不采用HDFS存储结构化数据等较小的数据是因为它的存储块的最小单位较大，若存储小文件，会存在大量的冗余和浪费，造成效率低下；而非结构化数据则需要根据预设筛选标准进行选择存储，提高各数据库的使用效率。

各预设筛选标准在实际使用时的例子如下：

业务类型：某些业务类型一般都是视频文件(例如：录制用户做的动作)，非常大，可直接根据业务类型确认是否存储于HDFS。

影像类型：某些非结构化数据的影像类型为视频，则可让其存储于HDFS，若为图片，则根据后续的格式、大小再进行判断。

格式：某些格式是高清图片，某些格式是视频文件，格式的不同代表了这些数据的大小不同，因此，可根据格式筛选存储至相应的预设数据库。

大小：划分一个界限，大于这个界限的就存储至预设第二数据库，小于等于的就存储至预设第一数据库。

预设筛选标准根据实际情况由工程师自行设置。

如图5所示，是将结构化数据存储至Hbase，将非结构化数据存储至HDFS的情况；如图6所示，是将结构化数据和非结构化数据都存储至Hbase的情况。

可选地，当影像数据上传至预设数据库后，修改该影像数据在本地缓存中对应的缓存状态。

具体的，使用缓存数据列表对本地缓存中的数据进行管理，查询它们的缓存状态，包括：已缓存、已迁移(或已上传)等，根据需求调整。

本实施例中，采用了大数据技术对影像数据进行存储，支持高并发的数据访问，实现了非结构化数据的高效存储，且也为快速读取打下了基础。另外，服务器集群根据缓存配置策略在空闲时再上传缓存在本地的影像数据，避免了读写干扰的问题，相比于现有传统留存模式下，影像类业务存在大量同时读写的现象，在本实施例的大数据分布式***下，对影像交易进行读写分离，优化交易过程，提高响应速度。

图2示出了本发明影像缓存方法的一个实施例，包括：

S201服务器集群接收各机构发送的批次信息组装报文；

S203服务器集群根据各批次信息组装报文中的业务类型，分别判断是否查询到对应的缓存服务(判断是否启用缓存服务)；

S204当查询到对应的缓存服务时，服务器集群将相应的批次信息组装报文中的影像数据缓存至本地(缓存服务中设置有缓存目录，将该影像数据缓存至此缓存目录中)；

S205当未查询到对应的缓存服务时，服务器集群将相应的批次信息组装报文中的影像数据上传至预设数据库。

具体的，工程师在服务器集群上根据实际需求，为每个业务类型配置对应的缓存服务(开启/关闭，若开启，缓存目录是哪个)，当然，也可根据各机构业务信息配置对应的缓存服务。

批次信息组装报文包括：批次信息、业务类型、机构号、文件大小、影像文件等关键业务信息。

可选地，S201和S203之间还包括：S201服务器集群根据各机构业务信息(即业务类型和机构号)分别查询对应的机构的状态，若未查询到或机构的状态为异常状态，则向该机构返回异常信息，并丢弃对应的批次信息组装报文；当状态为正常状态时，执行S203。

机构号查询对应的机构下此业务类型的状态是否正常，即判断该机构是否有执行此业务类型的权限，若正常的话，才会确认缓存服务，以执行缓存或上传的操作。

若根据机构号和/或业务类型查询到启用了缓存服务，则将该批次信息组装报文中的影像数据缓存至本地对应的缓存目录下，待后续到达上传时间区间，再上传至预设服务器。

若根据机构号和/或业务类型查询到未启用缓存服务，则将该批次信息组装报文中的影像数据直接上传预设数据库。

优选地，将影像数据中的结构化数据上传至预设第一数据库；将影像数据中的非结构化数据根据预设筛选标准，上传至预设第一数据库或预设第二数据库。

预设筛选标准包括以下任意一种或多种：业务类型、影像类型、格式、大小等配置参数。与上述影像留存方法的实际中相同，在此不再赘述。

本实施例中，服务器集群在接收到机构发送的影像数据后，根据缓存服务的配置先缓存在本地，待后续空闲时再上传至预设数据库，对影像类业务交易进行读写分离，优化交易体系，提高响应速度。

图3示出了本发明影像查询方法的一个实施例，包括：

S301服务器集群接收机构发送的信息查询报文。

S303服务器集群根据信息查询报文中的业务类型，判断是否查询到对应的缓存服务(判断是否启用缓存服务)；当然，也可根据各机构业务信息配置对应的缓存服务，再通过机构业务信息判断是否有对应的缓存服务。

S304当未查询到对应的缓存服务时，服务器集群从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据。

S305当查询到对应的缓存服务时，服务器集群从本地缓存中查询批次信息和/或业务类型对应的影像数据。

S306当本地缓存中不存在批次信息和/或业务类型对应的影像数据，从预设数据库中查询批次信息和/或业务类型对应的影像数据。

具体的，信息查询报文包括：批次信息、机构号和业务类型等。

可选地，S301和S302之间还包括：S302根据信息查询报文中的机构业务信息(即机构号和业务类型)查询对应的机构的状态，若未查询到或机构的状态为异常状态，则向该机构返回异常信息，并丢弃信息查询报文；当状态为正常状态时，执行S303。

具体的，机构号查询对应的机构下此业务类型的状态是否正常，即判断机构是否有执行此业务类型的权限，若正常的话，才会确认缓存服务，以执行缓存或查询的操作。

若根据机构号和/或业务类型查询到启用了缓存服务，则说明本地缓存中会存在一定的影像数据，可先查本地缓存，调用相关的结构化或非结构化数据，若没有，再查预设数据库；若根据机构号和/或业务类型(在其他实施例中，也可仅根据批次流水号和机构号查询)查询到未启用缓存服务，则说明只能从预设数据库中查询。

采用业务类型和/或批次信息查询，能够实现跨机构的数据查询。

可选地，在本地缓存查询时，可从缓存数据列表中查询各数据的状态，确定是否还存储在本地缓存中，提高查询效率。

本实施例中，若交易过程中需要调用存储的影像数据、且其存储于本地，查询到的速度远快于从预设数据库查询，在一定程序上提高了交易的响应速度。且整个***采用了大数据技术，支持高并发的数据访问，在交易过程中具有较快的响应速度和处理效率，大大提高了客户的使用体验。

在本发明的另一个影像留存方法的实施例中，包括：

服务器集群接收各机构发送的批次信息组装报文；

服务器集群根据各机构业务信息(即业务类型和机构号)分别查询对应的客户端的状态，若未查询到或机构的状态为异常状态，则向该机构返回异常信息，并丢弃批次信息组装报文；

当状态为正常状态时，服务器集群根据相应的批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务(判断是否启用缓存服务)；

当查询到对应的缓存服务时，服务器集群将相应的批次信息组装报文中的影像数据缓存至本地(缓存服务中设置有缓存目录，将该影像数据缓存至此缓存目录中)；

当未查询到对应的缓存服务时，服务器集群将相应的批次信息组装报文中的影像数据上传至预设数据库。

服务器集群接收(各)机构发送的信息查询报文；

服务器集群根据(各)信息查询报文中的机构业务信息分别查询对应的机构的状态，若未查询到或机构的状态为异常状态，则向该机构返回异常信息，并丢弃对应的信息查询报文；

当状态为正常状态时，服务器集群根据各对应的信息查询报文中的业务类型，判断是否查询到对应的缓存服务(判断是否启用缓存服务)；

当未查询到对应的缓存服务时，服务器集群从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；

当查询到对应的缓存服务时，服务器集群从本地缓存中查询批次信息和/或业务类型对应的影像数据；

当本地缓存中不存在批次信息和/或业务类型对应的影像数据，从预设数据库中查询批次信息和/或业务类型对应的影像数据。

服务器集群获取每个机构业务信息(机构业务信息包括：机构号和业务类型)对应的缓存配置策略。

服务器集群循环遍历各缓存配置策略，若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库；

若当前时间超过一缓存配置策略中的上传时间区间时，服务器集群停止上传该缓存配置策略对应的机构业务信息对应的影像数据。

优选地，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：获取该缓存配置策略对应的机构业务信息的批次信息，并将该批次信息对应的影像数据上传至预设数据库。

可选地，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库的过程中采用控制策略；控制策略包括以下任意一种或多种：流量控制、数据压缩、优选级控制、断点续传。

优选地，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：将影像数据中的结构化数据上传至预设第一数据库；将影像数据中的非结构化数据根据预设筛选标准，上传至预设第一数据库或预设第二数据库。预设筛选标准包括以下任意一种或多种：业务类型、影像类型、格式、大小等配置参数。

可选地，当影像数据上传至预设数据库后，修改该影像数据在本地缓存中对应的缓存状态。

本实施例与上述各方法实施例相同的部分其实施过程相同，具体请参见上述各实施例，在此不再赘述。

本实施例在大数据分布式***下，将机构上传至服务器集群的数据先缓存，在空闲时再上传至预设数据库，实现数据的读写分离，优化交易体系；根据不同需求，为每个机构及其业务类型配置不同的缓存配置策略、开启/关闭缓存服务，为提高数据传输打下基础；查询时，若开启了缓存服务，则先在本地缓存中查询，避免大批量数据写入、查询相互影响，提高响应速度。

图4示出了本发明一个影像留存***的实施例，包括：服务器集群100；

服务器集群100包括：

策略获取模块110，用于获取每个机构业务信息(包括：机构号和业务类型)对应的缓存配置策略；

数据上传模块120，用于(循环遍历各缓存配置策略)若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至存储数据库(即上述方法实施例中所说的预设数据库，预设数据库为分布式数据库)；以及，若当前时间超过一缓存配置策略中的上传时间区间时，停止上传该缓存配置策略对应的机构业务信息对应的影像数据。

具体的，机构号是指机构(例如：一个银行网点)的唯一标识，用于对具体的机构进行身份认证。业务类型是指具体办理的业务，例如：个人贷款、企业现金业务、个人现金业务等。每个机构支持的业务类型可相同，也可不同，例如：可自助办理发卡、查询账户信息等。

影像数据包括结构化数据和非结构化数据，结构化数据包括：机构号、业务类型、批次信息、交易时间等，非结构化数据包括：该次交易的图片文件、视频文件等。

每个机构号和业务类型对应的缓存配置策略可能存在差异，服务器集群循环遍历所有的缓存配置策略，根据当前时间来确认是否需要上传影像数据至预设数据库；若当前时间不在上传时间区间内，无论影像数据是否上传完，都不再上传，以免影响机构中各交易的正常使用体验。

具体的例子可参见影像留存方法中的例子，在此不再赘述。

根据不同的使用需求、实际情况服务器集群中的缓存配置策略与机构业务信息对应，一个服务器集群对应若干个机构，一个机构有若干个业务类型，会存在多个缓存配置策略。

服务器集群循环遍历各缓存配置策略，若当前时间处在一个缓存配置策略的上传时间区间时，则上传该缓存配置策略对应的机构业务信息对应的影像数据；若当前时间处在多个缓存配置策略的上传时间区间时，则调用多个线程上传各缓存配置策略对应的机构业务信息对应的影像数据。即时位于上传时间区间时，但没有影像数据需要上传时，则线程休眠，直到有需要上传的影像数据、且当前时间位于某一缓存配置策略中的上传时间区间。

优选地，数据上传模块120，上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至存储数据库具体为：

数据上传模块120，获取该缓存配置策略对应的机构业务信息的批次信息，并将该批次信息对应的影像数据上传至存储数据库。

具体的，批次信息包括：批次流水号，是每笔数据的唯一信息标识；姓名、性别等。

可选地，获取批次信息时可批量获取，上传时即可实现批量上传。例如：一次获取10个批次信息，同时上传这10个批次信息对应的影像数据。

需要注意的是，一份影像数据中的非结构化数据可同时包括多个图片、视频文件。例如：用户想办理开卡，此次交易的批次信息对应的非结构化数据有身份证的正、反面图片，用户的人脸识别过程的视频文件等。

上传本地缓存中的缓存配置策略对应的机构业务信息对应的影像数据至预设数据库的过程中采用控制策略；控制策略包括以下任意一种或多种：流量控制、数据压缩、优选级控制、断点续传。具体的解释参见影像留存方法实施例，在此不再赘述。

控制策略的设备提高了服务器上传数据的效率，且优先级较高的数据会被优先迁移，保护重要数据的安全性。

优选地，影像留存***，还包括：存储数据库200。存储数据库包括：

第一存储模块210，用于存储影像数据中的结构化数据；以及，根据预设筛选标准，存储影像数据中的结构化数据；

第二存储模块220，用于根据预设筛选标准，存储影像数据中的结构化数据。

预设筛选标准包括以下任意一种或多种：业务类型、影像类型、格式、大小等配置参数。

具体的，预设第一数据库为HBASE、Hive等分布式列数据库(大数据技术的特有数据存储模式，支持高并发的数据访问)；预设第二数据库为HDFS，它能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。将影像文件这种比较大的文件数据存储至HDFS，一来文件传输速度较高，二来用户在客户端查询时，调取速度更快，响应速度更快，使用户有良好的使用体验。

结构化数据比较小，直接存储于HBASE即可，不采用HDFS存储结构化数据等较小的数据是因为它的存储块的最小单位较大，若存储小文件，会存在大量的冗余和浪费，造成效率低下；而非结构化数据则需要根据预设筛选标准进行选择存储，提高各数据库的使用效率，预设筛选标准根据实际情况由工程师自行设置。各预设筛选标准在实际使用时的例子请参见影像留存方法实施例，在此不再赘述。

可选地，当影像数据上传至存储数据库后，修改该影像数据在本地缓存中对应的状态。

具体的，使用缓存数据列表对本地缓存中的数据进行管理，查询它们的缓存状态，包括：已缓存、已迁移(或已上传)等，根据需求调整。

可选地，服务器集群100还包括：

报文接收模块130，用于接收各机构发送的批次信息组装报文；

服务查询模块140，用于根据各批次信息组装报文中的机构业务信息查询机构的状态，若未查询到或机构的状态为异常状态，则向机构返回异常信息，并丢弃批次信息组装报文；

判断模块150，用于当状态为正常状态时，根据批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务(判断是否启用缓存服务)；

缓存模块160，用于当查询到对应的缓存服务时，将相应的批次信息组装报文中的影像数据缓存至本地(缓存服务中设置有缓存目录，将该影像数据缓存至此缓存目录中)；

数据上传模块120，进一步用于当未查询到对应的缓存服务时，将相应的批次信息组装报文中的影像数据上传至存储数据库。

具体的，工程师在服务器上根据实际需求，为每个业务类型配置对应的缓存服务(开启/关闭，若开启，缓存目录是哪个)，当然，也可根据各机构业务信息配置对应的缓存服务。

批次信息组装报文包括：批次信息、业务类型、机构号、文件大小、影像文件等关键业务信息。

机构号查询对应的机构下此业务类型的状态是否正常，即判断该机构是否有执行此业务类型的权限，若正常的话，才会确认缓存服务，以执行缓存或上传的操作。

若根据机构号和/或业务类型查询到启用了缓存服务，则将该批次信息组装报文中的影像数据缓存至本地对应的缓存目录下，待后续到达上传时间区间，再上传至预设服务器。

若根据机构号和/或业务类型查询到未启用缓存服务，则将该批次信息组装报文中的影像数据直接上传预设数据库。

可选地，报文接收模块130，进一步用于接收各机构发送的信息查询报文；

服务查询模块140，用于根据各批次信息组装报文中的机构业务信息分别查询对应的机构的状态，若未查询到或机构的状态为异常状态，则向该机构返回异常信息，并丢弃批次信息组装报文；

判断模块150，用于当状态为正常状态时，根据信息查询报文中的业务类型和/或机构号，判断是否查询到对应的缓存服务(判断是否启用缓存服务)。

服务器集群还包括：信息查询模块170，用于当未查询到对应的缓存服务时，从存储数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；以及，当查询到对应的缓存服务时，从本地缓存中查询批次信息和/或业务类型对应的影像数据；以及，当本地缓存中不存在批次信息和/或业务类型对应的影像数据，从预设数据库中查询批次信息和/或业务类型对应的影像数据。

具体的，信息查询报文包括：批次信息、机构号和业务类型等。

具体的，机构号查询对应的机构下此业务类型的状态是否正常，即判断机构是否有执行此业务类型的权限，若正常的话，才会确认缓存服务，以执行缓存或上传的操作。

若根据机构号和/或业务类型查询到启用了缓存服务，则说明本地缓存中会存在一定的影像数据，可先查本地缓存，调用相关的结构化或非结构化数据，若没有，再查预设数据库；若根据机构号和/或业务类型(在其他实施例中，也可仅根据批次流水号和机构号查询)查询到未启用缓存服务，则说明只能从预设数据库中查询。

采用业务类型和/或批次信息查询，能够实现跨机构的数据查询。

可选地，在本地缓存查询时，可从缓存数据列表中查询各数据的状态，确定是否还存储在本地缓存中，提高查询效率。

本实施例在大数据分布式***下，将各机构上传至服务器集群的数据先缓存，在空闲时再上传至预设数据库，实现数据的读写分离，优化交易体系；根据不同需求，为每个机构及其业务类型配置不同的缓存配置策略、开启/关闭缓存服务，为提高数据传输打下基础；查询时，若开启了缓存服务，则先在本地缓存中查询，避免大批量数据写入、查询相互影响，提高响应速度。

上述影像留存***在实际使用中具体实现方式为采用大数据平台，实现对影像数据的非结构化数据进行高效存储、提取。大数据影像平台包含三层架构，底层为数据存储层，其可根据不同的参数、不同业务自动选取不同存储模型(即存储至HDFS还是Hbase，现有的是只采用一个SAN存储，将所有非结构化数据和结构化数据都存储在SAN存储中)，并对索引数据和影像文件进行统一的存储和管理，为上层应用提供统一的服务支撑。

中间层为应用服务层，包含配置管理模块、缓存模块、API接口模块等，其中缓存模块可根据配置实现大数据下针对不同业务、不同时间业务数据读写分离。

最上层为业务接入层，由统一接入平台模块管理，各***应用根据各自业务需要、技术条件，可分别实现控件加载、页面嵌入及API直连等不同连接模式，完成扫描录入、删除、更新、查询、展示、批注等业务功能。

本发明的大数据平台进行了数据和服务整合，改变了原有的影像数据接入模式，简化了***业务***接入流程、难度。新架构下存储模型统一交由数据存储层创建、维护和管理，采用通用的影像存储模型，像影像批次流水号、业务类型、交易时间等结构化数据统一存放至HBASE、HIVE等分布式列数据库(SQL语言体系)，像影像文件这类非结构化数据依据性能测试结果，可以根据业务类型、影像类型、格式、大小等配置参数自动选择保存至HBASE或者HDFS(Hadoop分布式文件***，此模式下需2层访问，适合大文件)中，并对外提供透明服务。

以智能柜员机(作为一个机构下的一个客户端)相关业务为例，其交易的公共流程如下：

1、客户申请

客户***借记卡或金融服务卡，验证密码后选择需要办理的业务，勾选办理内容。

2、身份认证

客户提供身份证原件，由***自动联网核查及留存影像，客户签电子签名进行业务确认。

3、审核业务

***将证件影像、核查影像、现场正面照片及办理的业务类型推送至大堂经理手持PAD上，由大堂经理审核确认，确认成功后提交交易。(可根据业务风险程度进行设置授权模式：无需授权、PAD授权、现场审核授权)。

4、结果返回

***在交易成功后，返回结果至智能柜员机，打印相应回单或凭条。

5、后续业务

如客户需后续办理其他柜面业务，可选择叫号功能进行排队等候。

其中身份认证环节涉及影像上传交易，审核环节涉及影像查询交易，具体流程如下：

身份认证：客户在办理业务时，身份证自动读取，进行联网核查，留存证件影像，并拍摄现场客户正面照片，由智能柜员机进行人脸识别进行比对，将对比结果、办理的业务类型及证件影像、核查影像、现场正面照片等影像数据上传至影像留存***。

审核业务：智能柜员机推送身份认证相关信息至大堂经理手持PAD(即另一个客户端)上，PAD从影像留存***获取相关影像图片，结合***识别度指标执行不同审核标准，如果***识别度低于一定比例可由大堂经理进行当场进行审核指纹确认，高于一定比例可以在PAD上进行非现场审核。

同时，客户仅需对第一次办理业务时拍摄的现场照片进行留存，供后续办理业务时进行身份认证提供参照，后续审核仅需查询现有影像留存数据。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种影像留存方法，其特征在于，包括：

获取每个机构业务信息对应的缓存配置策略；

若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至预设数据库；

其中，所述的上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至预设数据库具体为：

将所述影像数据中的结构化数据上传至预设第一数据库；

将所述影像数据中的非结构化数据根据预设筛选标准，上传至所述预设第一数据库或预设第二数据库；

还包括：

接收各机构发送的批次信息组装报文；

根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；

当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；

当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述预设数据库。

2.如权利要求1所述的影像留存方法，其特征在于，还包括：

若当前时间超过一缓存配置策略中的上传时间区间时，停止上传该缓存配置策略对应的机构业务信息对应的影像数据。

3.如权利要求1所述的影像留存方法，其特征在于，还包括：

接收机构发送的信息查询报文；

根据信息查询报文中的业务类型，判断是否查询到对应的缓存服务；

当未查询到对应的所述缓存服务时，从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；

当查询到对应的所述缓存服务时，从本地缓存中查询所述批次信息和/或业务类型对应的影像数据。

4.一种基于权利要求1-3任一所述的影像留存方法的影像缓存方法，其特征在于，包括：

接收各机构发送的批次信息组装报文；

根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；

当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；

当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述预设数据库。

5.一种基于权利要求1-3任一所述的影像留存方法的影像查询方法，其特征在于，包括：

接收机构发送的信息查询报文；

根据信息查询报文中的业务类型，判断是否查询到对应的缓存服务；

当未查询到对应的所述缓存服务时，从预设数据库中根据信息查询报文中的批次信息和/或业务类型查询对应的影像数据；

当查询到对应的所述缓存服务时，从本地缓存中查询所述批次信息和/或业务类型对应的影像数据。

6.一种影像留存***，其特征在于，包括：服务器集群；

所述服务器集群包括：

策略获取模块，用于获取每个机构业务信息对应的缓存配置策略；

数据上传模块，用于若当前时间位于一缓存配置策略中的上传时间区间时，上传本地缓存中的所述缓存配置策略对应的机构业务信息对应的影像数据至存储数据库；

所述存储数据库包括：

第一存储模块，用于存储所述影像数据中的结构化数据；以及，根据预设筛选标准，存储所述影像数据中的结构化数据；

第二存储模块，用于根据预设筛选标准，存储所述影像数据中的结构化数据；

所述服务器集群还包括：

报文接收模块，用于接收各机构发送的批次信息组装报文；

判断模块，用于根据各所述批次信息组装报文中的业务类型，判断是否查询到对应的缓存服务；

缓存模块，用于当查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据缓存至本地；

数据上传模块，进一步用于当未查询到对应的所述缓存服务时，将相应的所述批次信息组装报文中的影像数据上传至所述存储数据库。

Images