CN109684367B - 一种动态调整多数据源数据集成处理方法与装置 - Google Patents

Abstract

本发明公开了一种动态调整多数据源数据集成处理方法与装置，属于网络应用技术领域，解决现有技术中多数据源和多场景频繁变动的情况下，造成多数据源数据集成处理的效率低、资源浪费且***开发与维护的时间成本与资源成本高等问题。本发明对N个不同***执行数据调取命令，返回N个数据源的数据项；判断应用场景是否发生变化；若应用场景未变化，继续判断是否存在数据源数据项调取失败的情况；若应用场景变化或数据源调取失败，遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系；基于所有数据源数据项，进行加权计算，得到用于决策的关键性数据项Y。用于适用于多应用场景的多数据源数据的集成。

Description

一种动态调整多数据源数据集成处理方法与装置

技术领域

一种动态调整多数据源数据集成处理方法与装置，用于适用于多应用场景的多数据源数据的集成，属于网络应用技术领域。

背景技术

目前随着可收集的数据维度日益增加和分布式数据存储的推广，大部分用户决策都需要基于多个数据源进行开展。而不同数据源由于采集方式、存储方式、传输方式等的不同，分布于不同的数据***中。如何协调分布于不同***的数据源的传输、处理会直接影响到业务决策的时效性与正确性。一种典型的技术场景是：一个用于用户决策的关键数据项Y的具体数值，依赖于N个不同数据源数据项(X₁、X₂、…、X_N)的具体数值的集成计算，而这N个数据源分布于不同的数据***中。

现有的技术方案，对于多数据源数据的传输和集成处理方法，主要步骤如下：

步骤1：对N个不同***执行数据调取命令，返回N个数据源的数据项(X₁、X₂、…、X_N)；

步骤2：对返回的N个数据项(X₁、X₂、…、X_N)的具体数值传输进计算模块，进行集成处理，一般方法是对所有N个数据项进行固定权重的加权相加，返回用户决策所需的关键数据项Y的具体数值；

步骤3：根据返回的关键数据项Y进行用户决策；

使用上述方法的缺点如下：

1.不同数据源由于采集方式不同，以及数据存储的数据库不同，造成各数据源的维护方式不一致。上述方法中，一旦某一个数据源数据项(X_i)发生调取错误，将导致用于决策的关键性数据项(Y)无法计算，同时造成其他正常调取数据源数据项的传输资源浪费和计算资源浪费，尤其在数据源数量很多(比如N＞50)的情况下，因某一个数据源发生调取错误而导致整个关键数据项Y无法返回的中断风险和***资源浪费会极大增加；

2.上述方法中，在处理各数据源数据项集成计算时，采用对所有N个数据项进行固定权重的加权相加方法得到用于决策的关键性数据项。对于特定的场景，设定固定的权重。一旦业务场景发生变化或新增数据源，权重需要重新调整，步骤1、步骤2的计算代码需要重新编写，多数据源的数据传输、集成处理的程序需要重新开发与部署。因此，现有技术方案对于多数据源的传输、集成处理方式无法满足多场景所需的稳定性要求，增加了***开发与维护的时间成本和***资源浪费，降低了多数据源数据传输与集成处理的效率。

综上所述，多数据源数据传输、集成处理的技术难点在于：

1.由于多数据源和多场景的频繁变动导致的开发、维护成本上升；

2.由于某一个数据源失效导致的其他正常数据源调取资源浪费；

3.由于多场景变动，各数据源数据权重重新计算且计算程序重新编写部署的效率低下问题。

发明内容

针对上述研究的问题，本发明的目的在于提供一种动态调整多数据源数据集成处理方法与装置，解决现有技术中多数据源和多场景频繁变动的情况下，造成多数据源数据集成处理的效率低、资源浪费且***开发与维护的时间成本与资源成本高等问题。

为了达到上述目的，本发明采用如下技术方案：

一种动态调整多数据源数据集成处理方法，其特征在于，如下步骤：

步骤1、对N个不同***执行数据调取命令，返回N个数据源的数据项(X₁、X₂、…、X_N)；

步骤2、判断应用场景是否发生变化，若未发生变化，则转到步骤3，若发生变化，则转到步骤4；

步骤3、判断是否存在数据源数据项调取失败的情况，若存在，则进入步骤4，若不存在，则转到步骤5；

步骤4、遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系；

步骤5、基于所有数据源数据项(X₁、X₂、…、X_N)，进行加权计算，得到用于决策的关键性数据项Y，返回关键性数据项的具体数值。

进一步，所述步骤2中，根据人工传输的应用场景变化标识信号判断应用场景是否发生变化，其中1为应用场景发生变化，0为应用场景未发生变化。

进一步，所述步骤3中，数据源数据项调取失败，***会返回空值，则通过判断数据源数据项是否为空值来确定数据源数据项是否调取失败。

进一步，所述步骤4中重新确定各数据源数据项的权重关系的具体步骤如下：

步骤4.1、遍历各数据源数据项的权重关系组合(a₁，a₂，…，a_N)的取值，并行地计算各权重关系组合下得到的用于决策的关键性数据项(Y₁，Y₂，…，Y_N)；其中，数据源数据项调取失效时，该数据源数据项的权重a将自动设置为0；

步骤4.2、基于关键性数据项(Y₁，Y₂，…，Y_N)，计算对应的信息价值指标IV的E_Y，得到各权重关系组合下的信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)；

步骤4.3、基于信息价值指标IV的E_Y与关键性数据项Y之间存在的映射关系E_Y＝f(Y)和得到的信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)，取最优的信息价值指标IV数值E_Y所对应的数据源数据的权重关系(a₁，a₂，…，a_N)，作为最新的各数据源数据项的权重关系，进行权重关系的更新。

进一步，所述步骤5中关键性数据项的计算公式为：Y＝a₁X₁+a₂X₂+…+a_NX_N，其中，(a₁，a₂，…，a_N)为各数据源数据项的权重关系组合。

一种动态调整多数据源数据集成处理装置，其特征在于，包括：

N个数据源数据项获取模块：用于对N个不同***执行数据调取命令，得到N个数据源的数据项(X₁、X₂、…、X_N)；

场景变化指标判断模块：用于判断应用场景是否发生变化；

数据源缺失判断模块：用于在场景未发生变化时，判断是否存在数据源数据项调取失败的情况；

自动化数据源数据项权重关系计算模块：用于在场景发生变化或存在数据源数据项调取失败时，遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系。

关键性数据项计算模块：用于基于所有数据源数据项(X₁、X₂、…、X_N)，进行加权计算，得到用于决策的关键性数据项，并返回关键性数据项的具体数值。

进一步，所述场景变化指标判断模块根据人工传输的应用场景变化标识信号判断应用场景是否发生变化，其中1为应用场景发生变化，0为应用场景未发生变化。

进一步，所述数据源缺失判断模块根据数据源数据项调取失败，***会返回空值，则通过判断数据源数据项是否为空值来确定数据源数据项是否调取失败。

进一步，所述自动化数据源数据项权重关系计算模块的实现包括步骤为：

遍历各数据源数据项的权重关系组合(a₁，a₂，…，a_N)的取值，并行地计算各权重关系组合下得到的用于决策的关键性数据项(Y₁，Y₂，…，Y_N)；其中，数据源数据项调取失效时，该数据源数据项的权重α将自动设置为0；

基于关键性数据项(Y₁，Y₂，…，Y_N)，计算对应的信息价值指标IV的E_Y，得到各权重关系组合下的信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)；

基于信息价值指标IV的E_Y与关键性数据项Y之间存在的映射关系E_Y＝f(Y)和得到的信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)，取最优的信息价值指标IV数值E_Y所对应的数据源数据的权重关系(a₁，a₂，…，a_N)，作为最新的各数据源数据项的权重关系，进行权重关系的更新。

本发明同现有技术相比，其有益效果表现在：

一、本发明中，在进行多数据源数据集成前判断是否存在数据源数据项调取失败情况，一旦发现存在某一数据源调取失败的情况，***将自动进入重新调整多数据源数据集成的权重关系更新环节，同时将调取失败的数据源数据项的权重赋值为0，由此避免了因为某一数据源调取失败而导致的其他数据源调取成功但无法计算关键性数据项Y所产生的调取资源浪费和计算资源浪费问题，总数据源数据项数量越多，本发明所能够节省的资源也越多。

二、本发明中，能适用各种不同的应用场景，应用场景间的切换将自动进入重新调整多数据源数据集成的权重关系更新环节。同时，引入信息价值指标IV，并行计算各数据源数据项间权重关系组合下的关键性数据项Y(即关键性指标项Y)的决策效果，可以自动寻找到使决策达到最优的权重关系，从而避免了现有技术中每当应用场景切换就要重新人工确定各数据源数据项的权重关系、重新编写计算代码与程序等的开发维护问题，极大程度地降低了维护成本，节省了大量***开发时间，提高了应用场景切换下***的运行效率。

附图说明

图1为现有技术中的多数据源数据集成方法流程示意图；

图2为本发明中的动态调整多数据源数据集成方法的流程示意图；

图3为本发明中的实施例的流程示意图。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

一种动态调整多数据源数据集成处理方法，如下步骤：

步骤1、对N个不同***执行数据调取命令，返回N个数据源的数据项(X₁、X₂、…、X_N)；

步骤2、判断应用场景是否发生变化，若未发生变化，则转到步骤3，若发生变化，则转到步骤4；根据人工传输的应用场景变化标识信号判断应用场景是否发生变化，其中1为应用场景发生变化，0为应用场景未发生变化。

步骤3、判断是否存在数据源数据项调取失败的情况，若存在，则进入步骤4，若不存在，则转到步骤5；数据源数据项调取失败，***会返回空值，则通过判断数据源数据项是否为空值来确定数据源数据项是否调取失败。

步骤4、遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系；

重新确定各数据源数据项的权重关系的具体步骤如下：

步骤4.1、遍历各数据源数据项的权重关系组合(a₁，a₂，…，a_N)的取值，并行地计算各权重关系组合下得到的用于决策的关键性数据项(Y₁，Y₂，…，Y_N)；其中，数据源数据项调取失效时，该数据源数据项的权重α将自动设置为0；

步骤4.2、基于关键性数据项(Y₁，Y₂，…，Y_N)，计算对应的信息价值指标IV的E_Y，得到各权重关系组合下地信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)；

步骤4.3基于信息价值指标IV的E_Y与关键性数据项Y之间存在的映射关系E_Y＝f(Y)和得到的信息价值指标IV组合(E_Y1，E_Y2，…，E_YN)，取最优的信息价值指标IV数值E_Y所对应的数据源数据的权重关系(a₁，a₂，…，a_N)，作为最新的各数据源数据项的权重关系，进行权重关系的更新。

其中，Py_i为第i组根据关键性数据项Y决策正确的个数，Pn_i为第i组根据关键性数据项Y决策错误的个数，y_T为决策正确的个数总数，n_T为决策错误的个数总数。

步骤5、基于所有数据源数据项(X₁、X₂、…、X_N)，进行加权计算，得到用于决策的关键性数据项Y，返回关键性数据项的具体数值。

关键性数据项的计算公式为：Y＝a₁X₁+a₂X₂+…+a_NX_N，其中，(a₁，a₂，…，a_N)为各数据源数据项的权重关系组合。

一种动态调整多数据源数据集成处理装置，包括：

N个数据源数据项获取模块：用于对N个不同***执行数据调取命令，得到N个数据源的数据项(X₁、X₂、…、X_N)；

场景变化指标判断模块：用于判断应用场景是否发生变化。该模块需向***传输业务场景变化标识信号，1为变化，0为未发生变化；

数据源缺失判断模块：用于在场景未发生变化时，判断是否存在数据源数据项调取失败的情况；

自动化数据源数据项权重关系计算模块：用于在场景发生变化或存在数据源数据项调取失败时，遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系。

关键性数据项计算模块：用于基于所有数据源数据项，进行加权计算，得到用于决策的关键性数据项，并返回关键性数据项的具体数值。

实施例

在本发明的优选实施例中，设定技术应用场景为从应用场景A切换到新的应用场景B“预测用户信用水平”。该新的应用场景B用于决策的关键性数据项为用户信用水平Y，而关键性数据项Y依赖于3个分别存储于数据***DA、数据***DB、数据***DC中的数据源数据项X₁、X₂、X₃。其中，X₁为“用户近1年***逾期次数”，X₂为“用户近1年贷款逾期次数”，X₃为“用户近1年***申请次数”。此时，由于新应用场景B的出现，X₁、X₂、X₃3个数据源数据项原先适用于应用场景A的数据集成的权重关系将不再适用于新的应用场景B。针对该应用场景，一种动态调整的多数据源数据传输、数据集成方法的具体实施步骤如下：

1、对3个不同***DA、DB、DC执行数据调取命令，返回3个数据源的数据项(X₁、X₂、X₃)；

2、应用场景A变化为了应用场景B；

3、引入信息价值指标IV，该指标用于评价数据集成处理产生的用于决策的关键性数据项Y的决策效果。该优选例中，引入信息价值指标IV(Information Value)作为关键性数据项“用户信用水平”Y的决策效果的评价指标。IV值越高，表示关键性数据项Y的决策效果越好。遍历寻找IV值能达到最优的各数据源权重关系，更新为最新的各数据源数据的权重关系。

具体步骤为：

步骤3.1确定衡量关键性数据项Y的决策效果的信息价值指标IV。信息价值指标IV与关键性数据项Y之间存在映射关系，IV＝f(Y)；

步骤3.2因为Y由3个数据源数据项通过数据集成产生，这里的数据集成公式为Y＝α₁X₁+α₂X₂+α₃X₃，其中(α₁，α₂，α₃)为3各数据源数据项X₁、X₂、X₃的权重关系组合。由此，遍历3个数据源数据项的权重关系组合(α₁，α₂，α₃)的所有可能取值，例如(0.1，0.1，0.8)、(0.1，0.2，0.7)、...，得到K组可能得取值组合，并行地计算每个权重关系组合下得到的K个关键性数据项“用户信用水平”(Y₁，Y₂，...，Y_K)；

步骤3.3针对并行计算K个权重关系组合下得到的K个关键性数据项(Y₁，Y₂，...，Y_K)，计算对应的信息价值指标IV的IV_Y，得到各权重关系组合下的K个IV值(IV_Y1，IV_Y2，...，IV_YK)；

步骤3.4针对K个信息价值指标IV的IV值(IV_Y1，IV_Y2，...，IV_YK)，取最优的IV值所对应的各数据源数据的权重关系(α₁，α₂，α₃)，作为最新的各数据源数据的权重关系，进行权重关系的更新。

4、针对3个数据源数据项(X₁、X₂、X₃)，利用已经确定的各数据源数据项的权重关系，进行加权计算，得到“用户信用水平”Y。其中，加权相加的权重关系由步骤3确定；

5、根据计算得到的“用户信用水平”Y进行最终决策。

本发明通过解决现有技术中多数据源数据的传输和集成处理的问题，解决了各应用场景应用中所遇到的多数据源数据的传输和集成处理的问题，得到我们所要的集成数据，以便作为后续处理的依据，本发明还可以用于根据获取的资料或信息有优有劣的情况下，应用本方法可以得到综合的资料或信息优劣情况。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (3)

1.一种动态调整多数据源数据集成处理方法，其特征在于，如下步骤：

步骤1、对N个不同***执行数据调取命令，返回N个数据源的数据项(X₁、X₂、…、X_N)；

步骤2、判断应用场景是否发生变化，根据人工传输的应用场景变化标识信号判断应用场景是否发生变化，其中1为应用场景发生变化，0为应用场景未发生变化,若未发生变化，则转到步骤3，若发生变化，则转到步骤4；

步骤3、判断是否存在数据源数据项调取失败的情况，数据源数据项调取失败，***会返回空值，则通过判断数据源数据项是否为空值来确定数据源数据项是否调取失败,若存在，则进入步骤4，若不存在，则转到步骤5；

步骤4、遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系，具体步骤如下：

步骤4.1、遍历各数据源数据项的权重关系组合(a₁,a₂,…,a_N)的取值，并行地计算各权重关系组合下得到的用于决策的关键性数据项(Y₁,Y₂,…,Y_N)；其中，数据源数据项调取失效时，该数据源数据项的权重a将自动设置为0；

步骤4.2、基于关键性数据项(Y₁,Y₂,…,Y_N)，计算对应的信息价值指标IV的E_Y，得到各权重关系组合下的信息价值指标IV组合(E_Y1,E_Y2,…,E_YN)；

步骤4.3、基于信息价值指标IV的E_Y与关键性数据项Y之间存在的映射关系E_Y＝f(Y)和得到的信息价值指标IV组合(E_Y1,E_Y2,…,E_YN)，取最优的信息价值指标IV数值E_Y所对应的数据源数据的权重关系(a₁,a₂,…,a_N)，作为最新的各数据源数据项的权重关系，进行权重关系的更新；

步骤5、基于所有数据源数据项(X₁、X₂、…、X_N)，进行加权计算，得到用于决策的关键性数据项Y，返回关键性数据项的具体数值。

2.根据权利要求1所述的一种动态调整多数据源数据集成处理方法，其特征在于，所述步骤5中关键性数据项的计算公式为：Y＝a₁X₁+a₂X₂+…+a_NX_N,其中，(a₁,a₂,…,a_N)为各数据源数据项的权重关系组合。

3.一种动态调整多数据源数据集成处理装置，其特征在于，包括：

N个数据源数据项获取模块：用于对N个不同***执行数据调取命令，得到N个数据源的数据项(X₁、X₂、…、X_N)；

场景变化指标判断模块：用于根据人工传输的应用场景变化标识信号判断应用场景是否发生变化，其中1为应用场景发生变化，0为应用场景未发生变化；

数据源缺失判断模块：用于根据数据源数据项调取失败，***会返回空值，则通过判断数据源数据项是否为空值来确定数据源数据项是否调取失败，在场景未发生变化时，判断是否存在数据源数据项调取失败的情况；

自动化数据源数据项权重关系计算模块：用于在场景发生变化或存在数据源数据项调取失败时，遍历寻找能达到决策效果最优的各数据源数据项权重关系，更新为最新的各数据源数据项的权重关系；

关键性数据项计算模块：用于基于所有数据源数据项(X₁、X₂、…、X_N)，进行加权计算，得到用于决策的关键性数据项，并返回关键性数据项的具体数值，实现包括步骤为：

遍历各数据源数据项的权重关系组合(a₁,a₂,…,a_N)的取值，并行地计算各权重关系组合下得到的用于决策的关键性数据项(Y₁,Y₂,…,Y_N)；其中，数据源数据项调取失效时，该数据源数据项的权重α将自动设置为0；

基于关键性数据项(Y₁,Y₂,…,Y_N)，计算对应的信息价值指标IV的E_Y，得到各权重关系组合下的信息价值指标IV组合(E_Y1,E_Y2,…,E_YN)，所述信息价值指标IV为信息价值指标IV；

基于信息价值指标IV的E_Y与关键性数据项Y之间存在的映射关系E_Y＝f(Y)和得到的信息价值指标IV组合(E_Y1,E_Y2,…,E_YN)，取最优的信息价值指标IV数值E_Y所对应的数据源数据的权重关系(a₁,a₂,…,a_N)，作为最新的各数据源数据项的权重关系，进行权重关系的更新。

Images