CN102024010A - 数据处理***及其处理方法 - Google Patents

Abstract

一种数据处理***，包括独立设置的更新数据子单元和查询数据子单元，其中所述更新数据子单元用以在所获得的应用服务数据发生改变时，对其所存储的对应数据进行即时更新；所述查询数据子单元用以对所述经更新的数据进行备份，并在获得查询请求后，以备份数据响应该查询请求。本发明采用独立设置的两个数据存储子单元即更新数据子单元和查询数据子单元对存储数据分别进行更新和查询，一方面，很好的解决数据在被更新和查询过程中产生的冲突问题；另一方面，有效保证了数据被更新的实时性和查询的准确性或有效性。

Description

数据处理***及其处理方法

技术领域

本发明涉及一种数据处理***及其处理方法，尤其涉及一种用于大宗产品交易***的数据处理***及其处理方法。

背景技术

随着社会信息化及网络化的深入发展，越来越多的商品交易可以基于电子商务等大宗产品交易***完成。电子商务***可以将服务使用者(交易双方)以及服务提供者(例如金融、物流服务等)的信息一并整合，这种整合了多方资源、信息的平台有效促进了商品交易的信息沟通，给服务使用者带来了极大的便利。

数据处理***(如数据库，Database)，在电子商务***中扮演着重要的角色。事实上，我们每天与之交互的任何大型***，其核心都有一个数据处理***用来进行数据处理。当今的数据处理从实现方式上大致可以分成两大类***：联机事务处理(On-Line Transaction Processing，OLTP)***及联机分析处理(On-Line Analytical Processing，OLAP)***。OLTP***主要是基本的、日常的事务处理，例如银行交易。OLAP***则支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

通常情况下，数据处理***主要任务包括对数据的记录、查询、更新、存储、删除等操作。如中国专利公开第CN101158976A揭示了数据库的记录查询方法，而CN101216789A号则揭示了一种数据库的更新方法。目前，由于数据处理***所需处理的数据量较为庞大，往往会涉及到数据的查询和更新同时进行的情况，在此过程中发现，查询操作和更新操作时常会发生读写冲突。当源***的数据变化过于频繁，数据处理***中的查询次数比较多时，这种冲突将更加突显，甚至可能使整个数据处理***发生阻塞，无法对外提供服务。

是以，确有必要对现有技术中的数据处理***进行改进，以弥补现有的数据处理***的不足或缺陷。

发明内容

本发明的目的是提供一种数据处理***，可很好的解决数据在被更新和查询过程中产生的冲突问题。

本发明的另一目的是提供一种数据处理***的处理方法，可很好的解决数据在被更新和查询过程中产生的冲突问题。

为解决上述问题，本发明提供一种数据处理***，包括独立设置的更新数据子单元和查询数据子单元，其中

所述更新数据子单元用以在所获得的应用服务数据发生改变时，对其所存储的对应数据进行即时更新；

所述查询数据子单元用以对所述经更新的数据进行备份，并在获得查询请求后，以备份数据响应该查询请求。

为解决上述问题，本发明还提供一种数据处理***的处理方法，其包括：

获取应用服务数据；

在应用服务数据发生改变时，即时更新所存储的相应数据；

备份更新后的数据；

以所述备份数据响应查询请求。

与现有技术相比，本发明具有以下优点：

本发明采用独立设置的两个数据存储子单元即更新数据子单元和查询数据子单元对存储数据分别进行更新和响应查询请求，一方面，很好的解决数据在被更新和查询过程中产生的冲突问题；另一方面，有效保证了数据被更新的实时性和查询的准确性或有效性。

附图说明

图1是具有本发明数据处理***的交易***的一实施例结构示意图；

图2是图1所示的本发明数据处理***的一实施例结构示意图；

图3是图1所示的本发明数据处理***的另一实施例结构示意图；

图4是本发明的数据处理***的处理方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。

现有技术的数据处理***在数据的查询和更新同时进行时，会发生读写冲突。当源***的数据变化过于频繁，数据处理***中的查询次数比较多时，这种冲突将更加突显，甚至可能使***发生阻塞，无法对外提供服务。比如说，当数据处理***在更新内部数据时，用户是无法查询数据的，如果查询，就会产生更新查询操作冲突。

本发明的数据处理***采用独立设置的两个数据子单元即更新数据子单元和查询数据子单元分别实现数据更新以及以更新后数据响应查询的功能。本发明的数据处理***一方面，很好的解决数据在被更新和查询过程中产生的冲突问题；另一方面，有效保证了数据被更新的实时性和查询的准确性或有效性。

需说明的是，本发明的数据处理***除了应用于大宗产品交易***外，还可以应用于客户关系管理(Customer Relationship Management，CRM)、企业资源计划(Enterprise Resource Planning，ERP)及办公自动化(OfficeAutomation，OA)等基础信息化***。

如图1所示，其为具有本发明数据处理***的交易***的一实施例结构示意图。该交易***包括：客户端10，服务整合平台11，应用服务单元12及数据处理***13。

所述客户端10提供所述交易***的用户与服务整合平台11的数据通信。所述用户可以通过客户端10向服务整合平台11发出交易消息。所述用户可以是买方，也可以是卖方。所述交易消息可以是合约交易，也可以是现货交易。所述交易***可以包括多个客户端。

所述服务整合平台11在获得所述客户端10的交易消息后，基于该交易消息向应用服务单元12发出调用相应服务的请求。

所述应用服务单元12用来响应来自服务整合平台11的调用请求，进而对所述客户端10发出的交易消息进行响应处理。具体地说，所述应用服务单元12通过其中一个或多个与调用请求对应的应用服务对所述交易消息进行处理，以对所述调用请求进行响应。所述应用服务由相应的服务提供者提供。例如在大宗生产资料的交易中，涉及的具体处理和操作相关的应用服务可以分别由银行、物流、仓储等提供。所述应用服务单元12中与调用请求对应的应用服务在处理所述交易消息时需要从所述数据处理***13中获取相关的已存储的应用服务数据，如银行账户相关的用户信用、积分、往来、交易限制、交易内容或仓储相关的库存情况等，在处理过程中产生相应的应用服务数据，如银行账户相关的用户信用、积分、往来、交易限制、交易内容或仓储相关的库存情况等的变更。

所述数据处理***13向所述应用服务单元12提供相应的已存储应用服务数据，并接收所述应用服务单元12产生的新处理的应用服务数据以对其内部相应的已存储应用服务数据进行更新。

所述用户也可通过客户端10直接向所述数据处理***13发出查询请求，以从所述数据处理***13中获取交易另一方相关的已存储的应用服务数据，如银行账户相关的用户信用、积分、往来、交易限制、交易内容或仓储相关的库存情况等，在查询过程中产生相应的应用服务数据，如银行账户相关的用户信用、积分、往来、交易限制、交易内容或仓储相关的库存情况等的变更。

图2示出图1所示的本发明数据处理***的第一实施例结构示意图。

在该实施例中，所述数据处理***13包括独立设置的更新数据子单元131、查询数据子单元132、时间控制器133以及标准化处理单元134。

所述更新数据子单元132向所述应用服务单元12和/或客户端10提供相应的已存储应用服务数据，并接收所述应用服务单元12和/或客户端10产生的新处理的应用服务数据，所述更新数据子单元131在接收到新处理的应用服务数据即所获得的应用服务数据发生改变时，对其所存储的对应数据进行即时更新。

所述更新数据子单元131包括：更新单元1311和存储单元1312。具体的说，所述更新单元1311比较所获得的新处理的应用服务数据及存储单元1312中相应的已存储应用服务数据，在所述应用服务数据与所述存储数据不同时，以所述应用服务数据替换所述存储单元1312中的所述存储数据。所述更新数据子单元131更新后的应用服务数据具有较好的完整性，比如，其可包含买卖双方的所有交易记录及因该交易产生的积分、信用等的变更，并且所述更新数据子单元中的数据仅记录累加值，即最新数据覆盖原有数据。以积分为例，当买方因交易其个人积分由100分增加到150分时，更新数据子单元131中仅记录“积分150”。

所述标准化处理单元134用以将所述更新数据子单元131中经更新的应用服务数据进行格式化处理，例如以方便用户查询的信息条格式进行处理，从而使得备份于查询数据子单元132的数据为信息条格式，该信息条可以包括如何人，何时，做了何事等信息。而且，该信息条在查询时可显示买卖双方的具体交易引起的因素变更幅度，比如，当买方因交易其个人积分由100分增加到150分时，信息条内可显示“积分+50”。

所述查询数据子单元132用以对所述经更新数据子单元131更新的数据进行备份，并在获得所述应用服务单元12的查询请求后，以备份数据响应该查询请求，即向所述应用服务单元12提供备份后相应的应用服务数据。所述查询数据子单元132备份的数据为经标准化处理单元134格式化处理后的数据。当然，包括买方或者卖方也均可通过所述客户端10向所述查询数据子单元132提出查询请求，并得到相应。所述查询数据子单元132备份时可以备份更新数据子单元131中已更新的数据；或者，也可直接将更新数据子单元131中所有数据备份。

所述时间控制器133用以控制所述查询数据子单元132每隔特定时间从所述更新数据子单元131中获取经更新的数据并对其进行备份。具体的说，所述时间控制器133可以设置间隔时间的长短，其可控制所述查询数据子单元132每隔特定时间访问更新数据子单元131。从而，所述查询数据子单元132每隔特定时间后，从所述更新数据子单元131中获取更新后的应用服务数据并对其进行备份。

如图3所示，其为图1所示的本发明数据处理***的第二实施例结构示意图。

在该第二实施例中，所述数据处理***13’包括独立设置的更新数据子单元131’、查询数据子单元132’、时间控制器133’。其中，所述查询数据子单元132’还包括标准化处理单元134’。

所述更新数据子单元131’向所述应用服务单元12和/或客户端10提供相应的已存储应用服务数据，并接收所述应用服务单元12和/或客户端10产生的新处理的应用服务数据，所述更新数据子单元131’在接收到新处理的应用服务数据即所获得的应用服务数据发生改变时，对其所存储的对应数据进行即时更新。

所述更新数据子单元131’包括：更新单元1311’和存储单元1312’。具体的说，所述更新单元1311’比较所获得的新处理的应用服务数据及存储单元1312’中相应的已存储应用服务数据，在所述应用服务数据与所述存储数据不同时，以所述应用服务数据替换所述存储单元1312’中的所述存储数据。

所述标准化处理单元134’用以将所述更新数据子单元131’中经更新的应用服务数据进行格式化处理，例如以方便用户查询的信息条格式进行处理，从而使得备份于查询数据子单元132’的数据为信息条格式，该信息条可以包括如何人，何时，做了何事等信息。而且，该信息条在查询时可显示买卖双方的具体交易引起的因素变更幅度，比如，当买方因交易其个人积分由100分增加到150分时，信息条内可显示“积分+50”。

所述查询数据子单元132’用以对所述经更新数据子单元131’更新的数据进行备份，并在获得所述应用服务单元12的查询请求后，以备份数据响应该查询请求，即向所述应用服务单元12提供备份后相应的应用服务数据。所述查询数据子单元132’备份的数据为经标准化处理单元134’格式化处理后的数据。当然，包括买方或者卖方也均可通过所述客户端10向所述查询数据子单元132’提出查询请求，并得到相应。所述查询数据子单元132’备份时可以有选择地备份已更新的数据，也可直接将更新数据子单元131’中所有数据备份。

所述时间控制器133’用以控制所述查询数据子单元132’每隔特定时间从所述更新数据子单元131’中获取经更新的数据并对其进行备份。具体的说，所述时间控制器133’可以设置间隔时间的长短，其可控制所述查询数据子单元132’每隔特定时间访问更新数据子单元131’。从而，所述查询数据子单元132’每隔特定时间后，从所述更新数据子单元131’中获取更新后的应用服务数据并对其进行备份。

很显然，所述第二实施例与第一实施例不同之处在于，前者所述标准化处理单元134设置于更新数据子单元131和查询数据子单元132之间，而后者所述标准化处理单元134’直接设置于查询数据子单元132’内。

可选的，上述两种实施例中，所述更新数据子单元131/131’和查询数据子单元132/132’可以使用分布式的数据库***实现，例如，所述更新数据子单元131/131’可以通过OLTP***实现，所述查询数据子单元132/132’可以通过操作数据存储(Operational Data Store，ODS)***实现。

下面举一交易实例，假设用户甲(买方)欲通过例如图1所示交易***实现与用户乙(卖方)的交易。其中，会涉及到应用服务单元中相应服务对用户甲即买方的信用的更改(该相应服务可由银行提供)，同时还可能涉及用户乙即卖方对所述用户甲的信用进行查询以保证用户甲信用额度足够用于相关交易。现有技术会因更新和查询的冲突而无法顺利进行。本发明的数据处理***将更新数据子单元和查询数据子单元分别独立设置，当甲方信用更改时，该更改会被实时的记录并存储于所述数据处理***的更新数据子单元中，这些数据会在很短的间隔时间内再被备份到查询数据子单元内。当用户乙查询用户甲信用额度时，可直接通过查询数据子单元来响应该查询，而更新数据子单元则继续进行更新操作，二者互不影响，不会发生冲突。由于此时查询获取的数据来自所述查询数据子单元，为对更新后的数据的备份数据，保证了在所述交易活动的后期相关操作中，查询获得的用户甲的信用为真实的数据，避免误交易。

因此，上述更新数据子单元和查询数据子单元相结合保证了处理过程中相应数据更新的实时性和查询的有效性，并很好地解决了查询和更新冲突问题。

本发明还提供一种数据处理***的处理方法，结合上述数据处理***的说明，该方法包括：

S101，获取应用服务数据；所述应用服务数据由应用服务单元处理或执行客户端的请求而产生，该应用服务数据包括用户即买卖双方的信用、积分、往来、交易限制、交易内容或仓储相关的库存情况等信息。

S102，在应用服务数据发生改变时，即时更新所存储的相应数据；

当产生新的应用服务数据即应用服务数据改变后，所述更新数据子单元即接收所述应用服务单元产生的新处理的应用服务数据以对其内部相应的已存储应用服务数据进行更新。

进一步的，所述即时更新所存储的相应数据通过OLTP***实现，所述备份更新后的数据系通过ODS***实现。

S103，备份更新后的数据；

进一步的，在备份之前，对更新后的数据进行格式化处理。

当更新数据子单元更新数据产生新的应用服务数据后，以预设的信息条格式对更新后的数据进行处理。比如，可以信息条的格式进行数据标准化处理，从而方便查询者查询解读信息。该信息条可以包括信息如何人，何时，做了何事等。而且，该信息条在查询时可显示买卖双方的具体交易引起的因素变更幅度，比如，当买方因交易其个人积分由100分增加到150分时，信息条内可显示“积分+50”。通过格式化处理的数据进而备份到查询数据子单元。

进一步的，所述即时更新所存储的相应数据通过OLTP***实现，所述备份更新后的数据系通过ODS***实现。

S104，以所述备份数据响应查询请求。

经步骤S103产生的备份数据可提供客户端的买卖双方或者应用服务单元进行查询。

进一步的，所述备份更新后的数据系以特定时间间隔进行。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (14)

1.一种数据处理***，其特征在于，包括独立设置的更新数据子单元和查询数据子单元，其中

所述更新数据子单元用以在所获得的应用服务数据发生改变时，对其所存储的对应数据进行即时更新；

所述查询数据子单元用以对所述经更新的数据进行备份，并在获得查询请求后，以备份数据响应该查询请求。

2.根据权利要求1所述的数据处理***，其特征在于，所述数据处理***还包括时间控制器，用以控制所述查询数据子单元每隔特定时间从所述更新数据子单元中获取经更新的数据并对其进行备份。

3.根据权利要求1所述的数据处理***，其特征在于，所述更新数据子单元通过OLTP***实现，所述查询数据子单元通过ODS***实现。

4.根据权利要求1所述的数据处理***，其特征在于，所述更新数据子单元包括：更新单元和存储单元；

所述更新单元比较所获得的应用服务数据及存储单元中相应的存储数据，在所述应用服务数据与所述存储数据不同时，以所述应用服务数据替换所述存储单元中的所述存储数据。

5.根据权利要求1所述的数据处理***，其特征在于，所述应用服务数据包括用户信用、积分、往来、交易限制或交易内容。

6.根据权利要求1所述的数据处理***，其特征在于，所述查询数据子单元还包括标准化处理单元，用以将所述更新数据子单元中经更新的数据进行格式化处理。

7.根据权利要求1所述的数据处理***，其特征在于，所述数据处理***还包括标准化处理单元，用以将所述更新数据子单元中经更新的数据进行格式化处理；

所述查询数据子单元将所述格式化处理后的数据进行备份。

8.根据权利要求6或7所述的数据处理***，其特征在于，所述格式化处理后的数据为信息条格式。

9.一种数据处理***的处理方法，其特征在于，包括：

获取应用服务数据；

在应用服务数据发生改变时，即时更新所存储的相应数据；

备份更新后的数据；

以所述备份数据响应查询请求。

10.根据权利要求9所述的数据处理***的处理方法，其特征在于，还包括：在备份之前，对更新后的数据进行格式化处理。

11.根据权利要求10所述的数据处理***的处理方法，其特征在于，对更新后的数据进行格式化处理包括：将更新后的数据转换成信息条格式。

12.根据权利要求9所述的数据处理***的处理方法，其特征在于，所述即时更新所存储的相应数据通过OLTP***实现，所述备份更新后的数据系通过ODS***实现。

13.根据权利要求9所述的数据处理***的处理方法，其特征在于，所述备份更新后的数据系以特定时间间隔进行。

14.根据权利要求9所述的数据处理***的处理方法，其特征在于，所述应用服务数据包括用户信用、积分、往来、交易限制或交易内容。

Images