CN109840160A - 一种基于数据迁移的异常供数检测方法、装置及终端设备 - Google Patents

Abstract

本发明涉及云存储技术领域，揭示了一种基于数据迁移的异常供数检测方法、装置及终端设备。所述方法包括：通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表；以及当存在变更表时，将变更表对应的目标表作为待同步目标表，将待同步目标表关联的供数进程作为异常供数进程，并对异常供数进程执行挂起操作，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。实施该方法可以达到保证供数准确性的目的。

Description

一种基于数据迁移的异常供数检测方法、装置及终端设备

技术领域

本发明涉及云存储技术领域，特别涉及一种基于数据迁移的异常供数检测方法、装置及终端设备。

背景技术

目前，将公司的业务数据交付于第三方平台的流程大体包括：数据管理***接收第三方平台的数据需求，并根据数据需求对公司的业务数据进行抽取，以及将所抽取的业务数据提供给第三方平台。在实践中发现，当某些源表变更(如增加和/或删除表字段)时，若未及时通知到相关总业务数据员，往往会使得数据抽取依然按照之前的源表结构，从而直接影响第三方平台获得的业务数据的准确性。

发明内容

为了解决现有数据管理***中供数不准确的技术问题，本发明提供了一种基于数据迁移的异常供数检测方法、装置及终端设备。

一种基于数据迁移的异常供数检测方法，所述方法包括：

通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；

将所述待同步目标表关联的供数进程作为异常供数进程；

对所述异常供数进程执行挂起操作；

向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

一种异常供数检测装置，包括：

扫描单元，用于通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

确定单元，用于当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；以及将所述待同步目标表关联的供数进程作为异常供数进程；

控制单元，用于对所述异常供数进程执行挂起操作；

发送单元，用于向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

一种终端设备，所述终端设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。

本发明的实施例提供的技术方案可以包括以下有益效果：

本发明所提供的基于数据迁移的异常供数检测方法包括如下步骤，通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表，以及当存在变更表时，将变更表对应的目标表作为待同步目标表，以及将待同步目标表关联的供数进程作为异常供数进程，以及对异常供数进程执行挂起操作，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。

此方法下，通过扫描源表和每一源表对应的hive表对源表的变更进行监控，以及在源表发生变更的情况下，及时暂停有关供数进程，可以保证供数进程中数据的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种异常供数检测装置的示意图；

图2是根据一示例性实施例示出的一种基于数据迁移的异常供数检测方法的流程图；

图3是根据另一示例性实施例示出的一种基于数据迁移的异常供数检测方法的流程图；

图4是根据一示例性实施例示出的一种异常供数检测装置的框图；

图5是根据另一示例性实施例示出的一种异常供数检测装置的框图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的实施环境可以是便携终端设备，例如智能手机、平板电脑、台式电脑。图1是根据一示例性实施例示出的一种异常供数检测装置的示意图。异常供数检测装置100可以是上述便携终端设备。如图1所示，异常供数检测装置100可以包括以下一个或多个组件：处理组件102，存储器104，电源组件106，多媒体组件108，音频组件110，传感器组件114以及通信组件116。

处理组件102通常控制异常供数检测装置100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件102可以包括一个或多个处理器118来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件102可以包括一个或多个模块，用于便于处理组件102和其他组件之间的交互。例如，处理组件102可以包括多媒体模块，用于以方便多媒体组件108和处理组件102之间的交互。

存储器104被配置为存储各种类型的数据以支持在异常供数检测装置100的操作。这些数据的示例包括用于在异常供数检测装置100上操作的任何应用程序或方法的指令。存储器104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器104中还存储有一个或多个模块，用于该一个或多个模块被配置成由该一个或多个处理器118执行，以完成如下所示方法中的全部或者部分步骤。

电源组件106为异常供数检测装置100的各种组件提供电力。电源组件106可以包括电源管理***，一个或多个电源，及其他与为异常供数检测装置100生成、管理和分配电力相关联的组件。

多媒体组件108包括在异常供数检测装置100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。屏幕还可以包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。

音频组件110被配置为输出和/或输入音频信号。例如，音频组件110包括一个麦克风(Microphone，简称MIC)，当异常供数检测装置100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器104或经由通信组件116发送。在一些实施例中，音频组件110还包括一个扬声器，用于输出音频信号。

传感器组件114包括一个或多个传感器，用于为异常供数检测装置100提供各个方面的状态评估。例如，传感器组件114可以检测到异常供数检测装置100的打开/关闭状态，组件的相对定位，传感器组件114还可以检测异常供数检测装置100或异常供数检测装置100一个组件的位置改变以及异常供数检测装置100的温度变化。在一些实施例中，该传感器组件114还可以包括磁传感器，压力传感器或温度传感器。

通信组件116被配置为便于异常供数检测装置100和其他设备之间有线或无线方式的通信。异常供数检测装置100可以接入基于通信标准的无线网络，如WiFi(Wireless-Fidelity，无线保真)。在一个示例性实施例中，通信组件116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，通信组件116还包括近场通信(Near Field Communication，简称NFC)模块，用于以促进短程通信。例如，在NFC模块可基于射频识别(Radio Frequency Identification，简称RFID)技术，红外数据协会(Infrared Data Association，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，异常供数检测装置100可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图2是根据一示例性实施例示出的一种基于数据迁移的异常供数检测方法的流程图。如图2所示，此方法包括以下步骤。

步骤201，通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表，如果是，执行步骤202～步骤205；如果否，结束本流程。

在本发明实施例中，变更表的表结构和变更表对应的hive表所指示的表结构不一致。具体描述如下：每一源表对应的hive表中存储有源表的表结构(表名、字段信息、记录以及索引等)，通过扫描源表和源表对应的hive表可以判断出源表中是否存在变更表。其中，通过扫描源表和源表对应的hive表判断源表中是否存在变更表的具体实现方式可以是，当源表中存在表结构与其对应的hive表所存储的表结构不一致的源表时，将该源表作为变更表，即表结构与其对应的hive表所存储的表结构不一致的源表，继续执行步骤202～步骤205；以及当源表中每一源表与其对应的hive表所存储的表结构一致时，确定源表中不存在变更表，则结束本流程。

步骤202，将上述变更表对应的目标表作为待同步目标表。

需要说明的是，本发明实施例是基于kettle实现数据抽取的，在进行数据抽取之前，通常需要创建每一源表对应的目标表，其中，源表与目标表的对应关系可以是一对一的关系，也可以是多对一的关系，即一个源表可以对应一个目标表，也可以是多个源表对应一个目标表。目标表中存储有其对应的源表的部分或者全部字段信息，kettle可以通过自动匹配源表和目标表的字段信息实现源表数据的迁移。

步骤203，将待同步目标表关联的供数进程作为异常供数进程。

可选的，在一示例性实施例中，在执行步骤203之前，还可以判断是否接收到第三方平台发送的供数请求；当接收到该供数请求时，开启与该供数请求对应的供数进程。

其中，将上述待同步目标表关联的供数进程作为异常供数进程，可以包括：在与该供数请求对应的供数进程中查找与上述待同步目标表关联的供数进程；将查找出的与上述待同步目标表关联的供数进程作为异常供数进程。该示例性实施例基于接收到的第三方平台的供数请求，对异常供数进程进行查找，可以提高异常供数进程的查找效率。

步骤204，对异常供数进程执行挂起操作。

步骤205，向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。

通过执行步骤201～步骤205，在源表中存在变更表的情况下，将变更表对应的目标表作为待同步目标表，以及暂停待同步目标表关联的供数进程，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息。通过实施该方法可以保证供数进程中数据的准确性。

需要说明的是，步骤201可以是周期性执行，也可以是实时执行，本发明实施例不做限定。可选的，周期性或者实时扫描源表和每一源表对应的hive表判断源表中是否存在变更表，以及当判断出源表中存在变更表时，对变更表对应的目标表进行标记，以及在接收到第三方平台的供数请求时，判断与该供数请求对应的目标表是否带有标记，以及当与该供数请求对应的目标表带有标记时，将用于指示该供数请求对应的供数进程开启失败的信息输出；以及当与该供数请求对应的目标表没有带有标记时，将用于指示该供数请求对应的供数进程开启成功的信息输出。基于该可选的示例性实施例，在源表中存在变更表时，还可以通过比对变更表和其对应的hive表获得扫描结果。其中，用于指示该供数请求对应的供数进程开启成功的信息中可以包含该扫描结果。通过实施该示例性实施例可以通过预先标记变更表对应的目标表，快速确定是否响应接收到的供数请求，杜绝异常供数进程运行。

进一步可选的，在另一示例性实施例中，还可以在接收到第三方平台发送的供数请求时，将与该供数请求关联的目标表作为供数表，以及将与供数表对应的源表和hive表分别作为待扫描源表和待扫描hive表，以及通过对待扫描源表和待扫描hive表进行扫描，判断待扫描源表中是否存在变更表，以及在待扫描源表中存在变更表时，通过比对待扫描源表和待扫描hive表生成针对变更表的变更信息，以及将该变更信息输出，以使总业务数据员可以依据变更信息对待扫描源表中变更表对应的目标表进行更新。通过实施该示例性实施例，可以依据第三方平台发送的供数请求的指示有针对性地对待扫描源表和待扫描hive表进行扫描，不仅可以提高扫描速度，还可以减轻***负担。

图3是根据另一示例性实施例示出的一种基于数据迁移的异常供数检测方法的流程图。如图3所示，除图2所示步骤外，在步骤204之后，以及步骤205之前，此实施例中基于数据迁移的异常供数检测方法还包括以下步骤：

步骤305，根据当前时间点从总业务数据员登记表中确定目标工号；其中，总业务数据员登记表中记录有每一总业务数据员的工作时段和工号。

步骤306，获取目标工号对应的总业务数据员的登记信息，该登记信息至少包括目标工号对应的总业务数据员的联系方式。

步骤307，根据上述联系方式确定目标账号。

其中，针对步骤301～步骤304，以及步骤308的详细描述，请参照图2所示的基于数据迁移的异常供数检测方法中步骤201～步骤204，以及步骤205的描述，本发明实施例不再赘述。

本发明实施例中，目标工号对应的上述联系方式可以是一种也可以是多种，本发明实施例不做限定。若目标工号对应的联系方式为多种，且每一种联系方式的优先级等级不同，可选的，在一示例性实施例中，根据上述联系方式确定目标账号，可以包括：获取上述联系方式中每种联系方式的优先级等级；将上述联系方式中优先级等级最高的联系方式对应的账号确定为目标账号。基于该示例性实施例，进一步可选的，向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息之后，还可以判断在预设时长内是否检测到目标账号所有者针对待同步目标表的更新操作，以及当判断出未检测到目标账号所有者针对待同步目标表的更新操作时，按照预设规则对目标账号进行更新。在本发明实施例中，按照预设规则对目标账号进行更新的具体实现方式如下：将上述联系方式中优先级等级仅次于最高优先级等级的联系方式作为第一目标联系方式，以及利用第一目标联系方式对应的账号更新目标账号，以及当本次目标账号更新结束，且在预设时长内未检测到目标账号所有者针对待同步目标表的更新操作时，将上述联系方式中优先级等级仅次于第一目标联系方式的联系方式作为第二目标联系方式，以及利用第二目标联系方式对应的账号更新目标账号，依次类推直至遍历完上述联系方式中的所有联系方式。通过实施该示例性实施例，当在预设时长内未检测到目标账号所有者针对待同步目标表的更新操作时，可以基于上述联系方式的优先级的等级对上述联系方式中包含的所有联系方式进行遍历，能够最大限度的保证目标账号所有者对待同步目标表的及时更新。

需要说明的是，上述联系方式可以是邮件、QQ、微信或者短信等等，那么，上述联系方式对应的账号可以为邮箱账号、QQ账号、微信账号或者手机号码等等。

步骤309，根据上述变更表和上述变更表对应的hive表生成针对待同步目标表的更表信息。

在本发明实施例中，根据上述变更表和上述变更表对应的hive表生成的针对待同步目标表的更表信息用于表述变更表相较于其对应的hive表所指示的表结构的变更。举例来说，若上述变更表相较于其对应的hive表所指示的表结构增加了字段，那么，更表信息可以为增加的字段信息，若上述变更表相较于其对应的hive表所指示的表结构删除了字段，那么，更表信息可以为删除的字段信息。

步骤310，根据上述更表信息，更新上述变更表对应的hive表。

步骤311，向上述目标账号发送生成的上述更表信息。

在一示例性实施例中，步骤311在执行完之后，还可以对待同步目标表中与上述变更表匹配的字段进行标记，以及根据上述变更信息和所标记的待同步目标表中的字段获得目标变更信息。其中，该目标变更信息可以包括待同步目标表的变更字段信息。实施该示例性实施例上述目标账号的所有者可以基于目标变更信息实现对待同步目标表的快速更表操作，进一步提高供数进程的效率和准确率。

执行步骤309～步骤311，可以依据生成的针对待同步目标表的更表信息自动更新上述变更表对应的hive表，还可以向上述目标账号发送生成的上述更表信息，以用于目标账号所有者在对待同步目标表执行更新操作时参考，可以提高待同步目标表的更新效率和准确度。

可选的，在一示例性实施例中，步骤311执行完之后，还可以检测是否接收到上述目标账号所有者发送的终止更新指令，以及当检测接收到该终止更新指令时，控制上述异常供数进程由挂起状态转变为执行状态。进一步可选的，当检测接收到该终止更新指令时，控制上述异常供数进程由挂起状态转变为执行状态，可以包括：当检测接收到终止更新指令时，获取更新后的待同步目标表的表结构；判断更新后的待同步目标表的表结构是否与变更表的表结构匹配；当更新后的待同步目标表的表结构与变更表的表结构匹配时，控制上述异常供数进程由挂起状态转变为执行状态。具体的，判断更新后的待同步目标表的表结构是否与变更表的表结构匹配的实现方式可以是，判断更新后的待同步目标表的表结构中变更表所对应的字段是否与变更表中的字段吻合，若吻合，则更新后的待同步目标表的表结构与变更表的表结构匹配，若不吻合，则更新后的待同步目标表的表结构与变更表的表结构不匹配。通过实施该示例性实施例，可以在接收到上述目标账号所有者发送的终止更新指令时，对更新后的待同步目标表的表结构和变更表的表结构进行比对，可以进一步保证供数进程中数据的准确性。

以下是本发明公开的异常供数检测装置实施例。

图4是根据一示例性实施例示出的一种异常供数检测装置的框图。如图4所示，该异常供数检测装置可以包括：

扫描单元401，用于通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表。

在本发明实施例中，变更表的表结构和变更表对应的hive表所指示的表结构不一致。具体描述如下：每一源表对应的hive表中存储有源表的表结构(表名、字段信息、记录以及索引等)，扫描单元401通过扫描源表和源表对应的hive表可以判断出源表中是否存在变更表。在扫描单元401判断出源表中存在表结构与其对应的hive表所存储的表结构不一致的源表时，将该源表作为变更表，即表结构与其对应的hive表所存储的表结构不一致的源表，在扫描单元401判断出源表中每一源表与其对应的hive表所存储的表结构一致时，确定源表中不存在变更表。

确定单元402，用于当存在上述变更表时，将上述变更表对应的目标表作为待同步目标表；以及将待同步目标表关联的供数进程作为异常供数进程。

可选的，在一示例性实施例中，确定单元402，还可以用于在将待同步目标表关联的供数进程作为异常供数进程之前，判断是否接收到第三方平台发送的供数请求，以及当接收到该供数请求时，开启与该供数请求对应的供数进程。

其中，确定单元402用于将上述待同步目标表关联的供数进程作为异常供数进程的方式具体可以为：上述确定单元402，用于在与该供数请求对应的供数进程中查找与上述待同步目标表关联的供数进程，以及将查找出的与上述待同步目标表关联的供数进程作为异常供数进程。该示例性实施例基于接收到的第三方平台的供数请求，对异常供数进程进行查找，可以提高异常供数进程的查找效率。

控制单元403，用于对异常供数进程执行挂起操作。

发送单元404，用于向目标账号发送用于指示目标账号所有者更新上述待同步目标表的提示信息。

通过实施上述异常供数检测装置，在源表存在变更表的情况下，将变更表对应的目标表作为待同步目标表，以及暂停待同步目标表关联的供数进程，以及向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息，可以保证供数进程中数据的准确性。

需要说明的是，扫描单元401通过扫描源表和每一源表对应的hive表，判断源表中是否存在变更表可以是周期执行，也可以是实时执行，本发明实施例不做限定。

扫描单元401周期性或者实时扫描源表和每一源表对应的hive表判断源表中是否存在变更表，以及当判断出源表中存在变更表时，对变更表对应的目标表进行标记，以及在接收到第三方平台的供数请求时，判断与该供数请求对应的目标表是否带有标记，以及当与该供数请求对应的目标表带有标记时，将用于指示该供数请求对应的供数进程开启失败的信息输出；以及当与该供数请求对应的目标表没有带有标记时，将用于指示该供数请求对应的供数进程开启成功的信息输出。基于该可选的示例性实施例，在源表中存在变更表时，还可以通过比对变更表和其对应的hive表获得扫描结果。其中，用于指示该供数请求对应的供数进程开启成功的信息中可以包含该扫描结果。通过实施该示例性实施例可以通过预先标记变更表对应的目标表，快速确定是否响应接收到的供数请求，杜绝异常供数进程运行。

可选的，在一示例性实施例中，扫描单元401可以在接收到第三方平台发送的供数请求时，将与该供数请求关联的目标表作为供数表，以及将与供数表对应的源表和hive表分别作为待扫描源表和待扫描hive表，以及通过对待扫描源表和待扫描hive表进行扫描，判断待扫描源表中是否存在变更表，以及在待扫描源表中存在变更表时，通过比对待扫描源表和待扫描hive表生成针对变更表的变更信息，以及将该变更信息输出，以使总业务数据员可以依据变更信息对待扫描源表中变更表对应的目标表进行更新。通过实施该示例性实施例，可以依据第三方平台发送的供数请求的指示有针对性地对待扫描源表和待扫描hive表进行扫描，不仅可以提高扫描速度，还可以减轻***负担。

图5是根据另一示例性实施例示出的一种异常供数检测装置的框图。如图5所示的异常供数检测装置是由图4所示的异常供数检测装置优化得到，上述控制单元403，还可以用于对异常供数进程执行挂起操作之后，以及上述发送单元405向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息之前，根据当前时间点从总业务数据员登记表中确定目标工号；其中，总业务数据员登记表中记录有每一总业务数据员的工作时段和工号；以及获取目标工号对应的总业务数据员的登记信息，该登记信息至少包括目标工号对应的总业务数据员的联系方式；以及根据该联系方式确定目标账号。

本发明实施例中，目标工号对应的上述联系方式可以是一种也可以是多种，本发明实施例不做限定。若目标工号对应的联系方式为多种，每一种联系方式的优先级等级不同，可选的，在一示例性实施例中，上述控制单元403用于根据上述联系方式确定目标账号的方式具体可以为：上述控制单元403，用于获取上述联系方式中每种联系方式的优先级等级；以及将上述联系方式中优先级等级最高的联系方式对应的账号确定为目标账号。

进一步可选的，上述发送单元404在向目标账号发送用于指示目标账号所有者更新待同步目标表的提示信息之后，还可以判断在预设时长内是否检测到目标账号所有者针对待同步目标表的更新操作，以及当判断出未检测到目标账号所有者针对待同步目标表的更新操作时，按照预设规则对目标账号进行更新。在本发明实施例中，发送单元404按照预设规则对目标账号进行更新的具体实现方式如下：发送单元404将上述联系方式中优先级等级仅次于最高优先级等级的联系方式作为第一目标联系方式，以及利用第一目标联系方式对应的账号更新目标账号，以及当本次目标账号更新结束，且在预设时长内未检测到目标账号所有者针对待同步目标表的更新操作时，将上述联系方式中优先级等级仅次于第一目标联系方式的联系方式作为第二目标联系方式，以及利用第二目标联系方式对应的账号更新目标账号，依次类推直至遍历完上述联系方式中的所有联系方式。通过实施该示例性实施例，当在预设时长内未检测到目标账号所有者针对待同步目标表的更新操作时，可以基于上述联系方式的优先级的等级对上述联系方式中包含的所有联系方式进行遍历，能够最大限度的保证目标账号所有者对待同步目标表的及时更新。

需要说明的是，上述联系方式可以是邮件、QQ、微信或者短信等等，那么，上述联系方式对应的账号可以为邮箱账号、QQ账号、微信账号或者手机号码等等。

图5所示的异常供数检测装置还可以包括：

更新单元405，用于根据上述变更表和上述变更表对应的hive表生成针对待同步目标表的更表信息，以及根据更表信息，更新上述变更表对应的hive表，以及向上述目标账号发送该更表信息。

在本发明实施例中，针对上述更表信息的描述请参照图3所示的基于数据迁移的异常供数检测方法中步骤309下面的描述，本发明实施例不再赘述。

更新单元405可以依据生成的针对待同步目标表的更表信息自动更新上述变更表对应的hive表，还可以向上述目标账号发送生成的上述更表信息，以使目标账号所有者在对待同步目标表执行更新操作时参考，可以提高待同步目标表的更新效率和准确度。

在一示例性实施例中，更新单元405还可以对待同步目标表中与上述变更表匹配的字段进行标记，以及根据上述变更信息和所标记的待同步目标表中的字段获得目标变更信息。其中，该目标变更信息可以包括待同步目标表的变更字段信息。实施该示例性实施例上述目标账号所有者可以基于目标变更信息实现对待同步目标表的快速更表操作，进一步提高供数进程的效率和准确率。

可选的，上述控制单元403，还可以用于检测是否接收到上述目标账号所有者发送的终止更新指令，以及当检测接收到该终止更新指令时，控制上述异常供数进程由挂起状态转变为执行状态。

需要说明的是，在本发明实施例中，更新单元405还可以用于向上述目标账号发送该更表信息之后，向上述控制单元403发送启动指令，以启动上述控制单元403。

进一步可选的，上述控制单元403用于当检测接收到该终止更新指令时，控制上述异常供数进程由挂起状态转变为执行状态的方式具体可以为：上述控制单元，用于当检测接收到终止更新指令时，获取更新后的待同步目标表的表结构；判断更新后的待同步目标表的表结构是否与变更表的表结构匹配；当更新后的待同步目标表的表结构与变更表的表结构匹配时，控制上述异常供数进程由挂起状态转变为执行状态。具体的，判断更新后的待同步目标表的表结构是否与变更表的表结构匹配的实现方式可以是，判断更新后的待同步目标表的表结构中变更表所对应的字段是否与变更表中的字段吻合，若吻合，则更新后的待同步目标表的表结构与变更表的表结构匹配，若不吻合，则更新后的待同步目标表的表结构与变更表的表结构不匹配。通过实施该示例性实施例，上述控制单元403可以在接收到上述目标账号所有者发送的终止更新指令时，对更新后的待同步目标表的表结构和变更表的表结构进行比对，可以进一步保证供数进程中数据的准确性。

本发明还提供一种终端设备，该终端设备包括：

处理器；

存储器，该存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时，实现如前所示的基于数据迁移的异常供数检测方法。

该终端设备可以是图1所示的异常供数检测装置100。

在一示例性实施例中，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如前所示的基于数据迁移的异常供数检测方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种基于数据迁移的异常供数检测方法，其特征在于，所述方法包括：

通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；

将所述待同步目标表关联的供数进程作为异常供数进程；

对所述异常供数进程执行挂起操作；

向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

2.根据权利要求1所述的方法，其特征在于，所述向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息之后，所述方法还包括：

根据所述变更表和所述变更表对应的所述hive表生成针对所述待同步目标表的更表信息；

根据所述更表信息，更新所述变更表对应的所述hive表；

向所述目标账号发送所述更表信息。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述异常供数进程执行挂起操作之后，以及所述向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息之前，所述方法还包括：

根据当前时间点从总业务数据员登记表中确定目标工号；其中，所述总业务数据员登记表中记录有每一总业务数据员的工作时段和工号；

获取所述目标工号对应的总业务数据员的登记信息，所述登记信息至少包括所述目标工号对应的总业务数据员的联系方式；

根据所述联系方式确定目标账号。

4.根据权利要求3所述的方法，其特征在于，所述根据所述联系方式确定目标账号，包括：

获取所述联系方式中每种联系方式的优先级等级；

将所述联系方式中优先级等级最高的联系方式对应的账号确定为目标账号。

5.根据权利要求1所述的方法，其特征在于，所述向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息之后，所述方法还包括：

检测是否接收到所述目标账号所有者发送的终止更新指令；

当检测接收到所述终止更新指令时，控制所述异常供数进程由挂起状态转变为执行状态。

6.根据权利要求5所述的方法，其特征在于，所述当检测接收到所述终止更新指令时，控制所述异常供数进程由挂起状态转变为执行状态，包括：

当检测接收到所述终止更新指令时，获取更新后的待同步目标表的表结构；

判断所述更新后的待同步目标表的表结构与所述变更表的表结构是否匹配；

当所述更新后的待同步目标表的表结构与所述变更表的表结构匹配时，控制所述异常供数进程由挂起状态转变为执行状态。

7.根据权利要求1所述的方法，其特征在于，所述将所述待同步目标表关联的供数进程作为异常供数进程之前，所述方法还包括：

判断是否接收到第三方平台发送的供数请求；

当接收到所述供数请求时，开启与所述供数请求对应的供数进程；

所述将所述待同步目标表关联的供数进程作为异常供数进程包括：

在与所述供数请求对应的供数进程中查找所述待同步目标表关联的供数进程；

将查找到的所述待同步目标表关联的供数进程作为异常供数进程。

8.一种异常供数检测装置，其特征在于，包括：

扫描单元，用于通过扫描源表和每一所述源表对应的hive表，判断所述源表中是否存在变更表；其中，所述变更表的表结构和所述变更表对应的所述hive表所指示的表结构不一致；

确定单元，用于当存在所述变更表时，将所述变更表对应的目标表作为待同步目标表；以及将所述待同步目标表关联的供数进程作为异常供数进程；

控制单元，用于对所述异常供数进程执行挂起操作；

发送单元，用于向目标账号发送用于指示所述目标账号所有者更新所述待同步目标表的提示信息。

9.一种计算机可读存储介质，其特征在于，其存储计算机程序，所述计算机程序使得计算机执行权利要求1～7任一项所述的基于数据迁移的异常供数检测方法。

10.一种终端设备，其特征在于，所述终端设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1～7任一项所述的基于数据迁移的异常供数检测方法。