CN102393839A - 并行数据处理***及方法 - Google Patents

并行数据处理***及方法 Download PDF

Info

Publication number
CN102393839A
CN102393839A CN2011103918488A CN201110391848A CN102393839A CN 102393839 A CN102393839 A CN 102393839A CN 2011103918488 A CN2011103918488 A CN 2011103918488A CN 201110391848 A CN201110391848 A CN 201110391848A CN 102393839 A CN102393839 A CN 102393839A
Authority
CN
China
Prior art keywords
pond
parallel processing
parallel
loss
internal memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103918488A
Other languages
English (en)
Other versions
CN102393839B (zh
Inventor
王玥婷
叶宗睿
蔡海清
朱佳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201110391848.8A priority Critical patent/CN102393839B/zh
Publication of CN102393839A publication Critical patent/CN102393839A/zh
Application granted granted Critical
Publication of CN102393839B publication Critical patent/CN102393839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种并行数据处理***和方法。该***包括:终端装置,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;主控单元,根据所述请求数据,将***当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;行业相关性系数生成单元,用于生成计算池的池内相关性系数;并行处理控制单元,用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元,用于根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。利用本发明的***和方法能够减少计算时间,提高时效性。

Description

并行数据处理***及方法
技术领域
本发明涉及数据处理技术领域,具体涉及一种并行数据处理装置及方法。
背景技术
随着经济的发展,银行的业务无论是种类和还是数量都在急剧增加,使得银行的各种数据处理***都面临巨大的挑战,有些***急需进行改进以适应处理海量数据的需求。
例如,传统的信用风险计量数据处理***包括数据存储装置、各类计量用数据生成单元、串行处理单元、各类计量处理单元和终端装置。
该***的特点是采用莫顿理论设计的违约模型,并使用蒙特卡罗模拟法计量组合经济资本,其计量方法是将信贷组合划分成若干个统计分池,然后根据统计分池的违约风险敞口、违约损失率、违约概率、客户数、信用等级、分池类型等信息,以及行业相关性(包括行业间相关性和行业内相关性),计量出信贷组合所需占用的经济资本。
蒙特卡罗模拟法又称计算机随机模拟法,是以概率和统计理论方法为基础的一种计算方法,它将所求解的问题同一定的概率模型相联系,用计算机实现统计模拟或抽样,以获得问题的近似解。该方法是一种随机模拟方法,要得到较为准确的结果必须进行非常多次的抽样模拟计算,对于上述信贷组合经济资本计量,如果要得到一个可信的结果,至少要进行上百万次甚至上千万次的模拟,计算量非常大。
因此,目前的信用风险计量数据处理***的处理速度很慢,效率很低,既浪费了***资源,长时间的计算使得获得计算结果太长,时效性很差。
发明内容
为了克服现有技术的上述缺陷,本发明提供一种并行数据处理装置及方法,通过在***中设置多个抽样、排序单元,运用针对于信用风险组合管理问题设计的排序方法和策略,利用多进程、多CPU并行执行,从而减少计算时间,提高时效性。
本发明提供了一种并行数据处理***,该***包括:终端装置,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;主控单元,根据从终端装置接收的所述请求数据,将***当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;并行处理控制单元,用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元,用于计算违约损失计量。
本发明还提供了一种并行数据处理方法,该方法包括步骤:输入信用风险计量所需参数,开始计量信用风险的请求数据;根据所述请求数据,将***当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,如果小于,则生成计算池的池内相关性系数;判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元;并行处理单元根据所述池内相关性系数以及数据存储装置中存储的相关参数计算违约损失计量。
利用本发明的并行数据处理***和方法,大大提高了信用风险组合管理计量经济资本的处理速度和效率,节省了***资源,缩短了处理时间,能很好满足风险组合管理计量经济资本的要求。其中,计量组合经济资本的时间可成倍缩短,时效性大大提高。例如:对于使用如下软硬件环境的计算***:
Figure BDA0000114674270000021
完成一次包含100万次模拟的经济资本计量,在没有使用本发明的情况下需耗时约16.5小时;使用本发明的***和方法后,在配置8个并行单元的情况下耗时仅约2.5小时。
附图说明
图1为传统的信用风险计量数据处理***图;
图2为本发明并行数据处理***结构图;
图3为本发明违约损失计量并行处理单元结构图;
图4为本发明并行数据处理方法流程图;
图5为本发明并行处理单元的违约损失计量处理方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
在介绍本发明的技术方案之前,首先了解以下术语的含义。
违约风险敞口(EAD):EAD是违约风险敞口(Exposure at default)的简称。当客户未违约时,表内业务的EAD等于资产账面价值,表外业务的EAD通过信用转换系数(credit conversion factor,CCF)进行转换,客户违约时,EAD等于债项融资余额。
违约损失率(LGD):LGD是违约损失率(Loss given default)的简称,违约损失率度量的是借款人违约后贷款损失金额占违约风险敞口的比例。
违约概率(PD):PD是违约概率(Probability of default)的简称,指未来一段时间内借款人发生违约的可能性,与信用评级相关。
预期信用损失:预期信用损失即为平均信用损失,投资组合的价值必须能够弥补预期信用损失。银行预期信用损失的大小取决于违约概率、违约损失率、违约后信用风险敞口。
信用风险经济资本:在银行目标评级所代表的置信水平下预期信用损失以上的信用风险损失部分。
集中度风险:由于对单一债务人或相关的一群债务人的风险暴露过大而使资产组合额外承担的风险。
图2为本发明并行数据处理***结构图。
本发明的并行数据处理***主要运用针对于信用风险组合管理问题设计的排序方法和策略,采用了多进程、多CPU并行执行的技术手段,实现了减少运算时间,提高时效性的技术效果。
参照图2,该并行数据处理***包括数据存储装置1、并行数据处理装置2和终端装置3。并行数据处理装置2与数据存储装置1和终端装置3相连接。其中并行数据处理装置2进一步包括主控单元10、行业相关性系数生成单元11、并行处理控制单元12、归并处理单元13、经济资本计量处理单元14和并行处理单元20。
数据存储装置1基于Teradata数据库,其存储了一系列股票、GDP、工业增加值等用于计算的历史市场数据、评级***的数据以及在整个计量过程中所产生的数据,数据存储装置1可以是Teradata服务器或者普通PC。
并行数据处理装置2根据用户设定的并行数,多任务并行计算违约损失。该装置可以是PC或者服务器等。
并行数据处理装置2中,主控单元10负责整个装置内部的控制和调度。当接收到终端装置3的启动数据请求后,主控单元10查询当时的CPU和内存使用状况,并从数据存储装置1读取CPU使用的百分比上限、内存使用的百分比上限,同时查看整个***的空闲资源的使用情况,如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限,则调用行业相关性系数生成单元11开始执行。反之,则等待资源满足CPU和内存使用百分比要求再提交任务。当装置11执行完毕后,顺序调用装置12,装置13,装置14。
行业相关性系数生成单元11从数据存储装置1读取股票市场数据或GDP市场数据或工业增加值市场数据,以一个计算池代表一个行业类型,计算两两计算池间的相关性系数,得到计算池间相关性系数。并且按如下步骤生成计算池内相关性系数:
1)对于“计算池”i,记第z个市场数据项在t时刻的数据为value(i,z,t)。
计算“计算池”i的第z个市场数据项在t时刻的数值指数
V ( i , z , t ) = ln ( value ( i , z , t ) value ( i , z , t - 1 ) )
2)计算t时刻“计算池”i的行业指数V(i,t)。
V ( i , t ) = 1 s i Σ z = 1 s i ln ( value ( i , z , t ) value ( i , z , t - 1 ) )
si表示数据项数目。
3)计算时间序列{V(i,t)}与{V(i,z,t)}的相关性系数为ρ(i,z)。
ρ ( i , z ) = Σ t = 1 T ( V ( i , t ) - V ‾ ( i ) ) · ( V ( i , z , t ) - V ‾ ( i , z ) ) Σ t = 1 T ( V ( i , t ) - V ‾ ( i ) ) 2 · Σ t = 1 T ( V ( i , z , t ) - V ‾ ( i , z ) ) 2
其中,T是时间序列{V(i,t)}中元素的个数,
Figure BDA0000114674270000053
是时间序列{V(i,t)}的均值,
Figure BDA0000114674270000054
是时间序列{V(i,z,t)}的均值。
4)生成“计算池”i的池内相关性系数ρi
ρ i = 1 s i Σ z = 1 s i ρ ( i , z )
计算完成后,将每个计算池i的池内相关性系数ρi写入数据存储装置1中。
并行处理控制单元12从数据存储装置1中读取并行任务的并发个数N,并查看当时的CPU和内存状况,判断当时的CPU和内存空闲状况是否可以满足并行任务的个数需求,如果当时的CPU和内存使用百分比小于CPU使用的百分比上限和内存使用的百分比上限,则将资源平均分配给N个并行处理单元20,调用并行处理单元20开始进行并行处理;如果不满足,则根据实际资源情况,计算当前***CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元20,调用其开始并行处理。
并行处理单元20中任务的分配按如下规则:假设总的抽样次数为Cases次,总的统计池数为m,当时***资源允许n个并行处理单元20同时并行。由于信用风险组合管理模型中的抽样是相互独立的,所以***将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元20上去完成,即每个并行单元完成m个行业的Cases/n次抽样及相关操作。
并行处理单元20负责违约损失计量的主要计算。根据用户参数的设定,会有多个该单元并行处理。对于其中的每个单元而言,一旦接收到并行处理控制单元12的调用请求,并获得相应***资源后,则开始进行违约损失计量,图3是对该单元的内部介绍。
归并处理单元13从数据存储装置1中读取n个并行处理单元20排序所获得的前n(Cases·tol+1)个违约损失、n个均值(即预期信用损失),对n(Cases·tol+1)个违约损失从小到大排序,取第Cases·(1-tol)个值,其中tol为风险容忍度,从数据存储装置1中读取;对n个均值累加再除以n,求得信贷组合的最终预期信用损失,并将结果存入数据存储装置1。
经济资本计量处理单元14从数据存储装置1读取组合的模拟违约损失、风险容忍度后,将风险容忍度对应的分位数减去均值得到组合的经济资本,并将结果存入数据存储装置1中。
终端装置3负责和用户进行交互。用户通过该装置输入信用风险计量所需要的参数数据,在本发明中,优选地输入违约损失计量所需要的参数数据,包括股票的市场数据、GDP的市场数据、工业增加值的市场数据、计算池对应的EAD、LGD、违约概率、计算池客户信息、客户个数、计算池属性、并行任务的并发个数、CPU使用的百分比上限、内存使用的百分比上限、抽样次数,并输入开始计量风险的请求数据。终端装置3将用户输入的参数存入数据存储装置1,并将启动请求数据传送给并行数据处理装置2的主控单元10。当计量结束时,终端装置3接收到主控单元10任务执行完毕的信息,从数据存储装置1读取计算结果,将计算结果输出给用户进行查看。该终端装置3可以是PC或者移动终端等。
图3为本发明违约损失计量并行处理单元结构图。
参照图3,并行处理单元20进一步包括控制单元200、随机数生成处理单元201、条件违约概率生成处理单元202、分池违约损失模拟处理单元203、分池违约损失加总处理单元204和排序与求均值处理单元205。
控制单元200用于当接收到并行处理控制单元12的并行调用请求以及相关数据,即抽样次数Cases后,负责调用行业***性收益随机数生成处理单元201,并传递抽样次数Cases给随机数处理单元201,当单元201执行完毕后,顺序调用单元202,单元203,单元204。当单元204计算完成后,将信息传递给并行处理控制单元12。
随机数生成处理单元201用于接收到控制单元200的调用请求以及抽样次数Cases后,负责从数据存储装置1中读取用户输入的行业个数n,以及这n个行业的相关性系数矩阵ρ。经过***随机抽样生成这n个行业的***性收益随机数。
对每个行业进行编号,将第i个行业与第j个行业的行业间相关系数记为ρij,这n个行业的相关系数矩阵形式为:
ρ = ρ 11 ρ 12 · · · ρ 1 n ρ 21 ρ 22 · · · ρ 2 n · · · · · · · · · · · · ρ n 1 ρ n 2 · · · ρ nn
将第i个行业的***性收益记为ai。根据模型假设,[a1,...,an]T是满足均值为[0,...,0]T,标准差为[1,...,1]T,相关系数矩阵为ρ的多元正态分布随机向量。
将n、Cases、ρ、[0,...,0]T、[1,...,1]T作为输入数据,随机抽样Cases次,得到这n个行业的Cases个***性收益随机数a1,k,...,an,k,其中k=1,2,...,Cases,ai,k表示第i个行业第k次抽样得到的***性收益随机数。并将a1,k,...,an,k存入数据存储装置1中。
条件违约概率生成处理单元202根据行业内的相关系数,在各行业的***性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率。
从数据存储装置1中读取第i个行业的行业内相关系数ri,第i个行业第k次抽样得到的***性收益随机数ai,k,从数据存储装置1中读取信用评级q的违约概率记为PDq。对i=1,...,n,k=1,...,Cases,计算第i个行业第k次抽样对应于各信用评级的条件违约概率
Figure BDA0000114674270000081
R i , q = r i × 1 - exp ( - 50 × PD q ) 2 × [ 1 - exp ( - 50 ) ] + [ 1 - 1 - exp ( - 50 × PD q ) 1 - exp ( - 50 ) ]
P i , q k = Φ ( Φ - 1 ( PD q ) - R i , q × a i , k 1 - R i , q 2 )
其中Φ是标准正态分布函数,Φ-1是标准正态分布反函数。
并将
Figure BDA0000114674270000084
存入数据存储装置1中,其中i=1...n,k=1...Cases,q=1...t。
分池违约损失模拟处理单元203,将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失。
对于统计分池j,从数据存储装置1中读取违约风险敞口EADj,违约概率LGDj,客户数θj,信用等级qj,所属行业的编号Numj
对每个统计分池计算每次模拟的违约损失包括以下三种情况:
第一种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若统计池j的属性为大敞口统计分池,则按如下方法计算第k次模拟的违约损失
i)产生服从[0,1]均匀分布的随机数
Figure BDA0000114674270000086
ii)计算违约标识
Figure BDA0000114674270000087
其中在装置202中得到,其中
Figure BDA0000114674270000089
是第j个统计池第k次抽样的条件违约概率。
iii)通过下式获得第k次模拟的违约损失
Figure BDA0000114674270000091
loss j k = EAD j × LGD j × Default j k
第二种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若统计池j的属性为小敞口统计分池且客户数θj≥1000,则按如下方法计算第k次模拟的违约损失
Figure BDA0000114674270000093
i)产生服从[0,1]均匀分布的随机数
Figure BDA0000114674270000094
ii)计算统计池中违约客户的数目
Figure BDA0000114674270000095
N j k = min { θ j , max { 0 , θ j p j k ( 1 - p j k ) · Φ - 1 ( ϵ j k ) + θ j p j k } }
其中Φ-1是标准正态分布反函数,查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率
Figure BDA0000114674270000097
根据分池违约损失模拟处理单元203中提到的计算池与统计池的对应关系,对应得到
Figure BDA0000114674270000098
为j个统计池第k次抽样的条件违约概率,其中θj为客户数;
Figure BDA0000114674270000099
为产生服从[0,1]均匀分布的随机数。。
iii)通过下式获得第k次模拟的违约损失
Figure BDA00001146742700000910
loss j k = EAD j θ j × LGD j × N j k
第三种情况,从数据存储装置1读取统计池j所在的计算池属性即为统计池j的属性,若j的属性为小敞口统计分池且客户数θj<1000,则按如下方法计算第k次模拟的违约损失
Figure BDA00001146742700000912
i)产生服从[0,1]均匀分布的随机数
ii)计算统计池中违约客户的数目
N j k = B - 1 ( ϵ j k ; θ j , p j k )
其中B-1是二项分布反函数,查询装置202得到第i个计算池第k次抽样对应于信用评级q的条件违约概率
Figure BDA0000114674270000101
根据分池违约损失模拟处理单元203中提到的计算池与统计池的对应关系,对应得到
Figure BDA0000114674270000102
为j个统计池第k次抽样的条件违约概率。
iii)通过下式获得第k次模拟的违约损失
Figure BDA0000114674270000103
loss j k = EAD j θ j × LGD j × N j k
将所得到的违约损失存入数据存储装置1中。
分池违约损失加总处理单元204,负责从数据存储装置1中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失,并将其存储在数据存储装置1中。
对于k=1,...,Cases,第k次抽样的信贷组合违约损失为:
loss _ portfolio k = Σ j = 1 m loss j k , 其中m为统计池数目。
排序与求均值处理单元205,负责在每个并行处理单元20内部对信贷组合的违约损失排序。将单元204得到的抽样组合损失loss_portfolio1,...,loss_portfolioCases从小到大排序。并对组合的违约损失求均值
Figure BDA0000114674270000107
该均值即为预期信用损失,该均值通过下式获取:
loss _ portfolio ‾ = 1 Cases Σ k = 1 Cases loss _ portfolio k
图4为本发明并行数据处理方法流程图。
参照图4,在步骤100计算池间相关性系数和池内相关性系数,并将其存入数据存储装置1中。在步骤101,从数据存储装置1中读取市场数据、评级类数据、并行任务的并发个数,并查看当时的CPU和内存状况,判断当时的资源状况是否可以满足并行任务的个数需求,如果满足需求,则提交任务并且发起并行任务,如果不满足,则根据实际资源情况,计算最大满足资源要求的并发数,提交相应个数的并发任务。启动违约损失的计量。
执行了步骤101之后,在步骤102开始进行违约损失的计量处理。假设总的抽样次数为Cases次,***中设置了n个并行处理单元。经过内部排序后,每个并行处理单元单独找出最大的Cases·tol+1个值,存入数据存储装置1,在所有并行任务都结束后设置并行完成标志,并启动违约归并处理。当该步骤启动后,n个并行处理单元同时运行执行相同的步骤,独立进行排序和取分位数,且独自使用各自的CPU,互不干扰。
在步骤103进行违约损失归并处理。当步骤102全部完成后,步骤103将步骤102计算得到的n(Cases·tol+1)个违约损失进行统一归并。步骤103将n(Cases·tol+1)个违约损失从小到大排序。取第Cases·(1-tol)个值,其中tol为风险容忍度,从数据存储装置1中读取,并启动经济资本计量处理。
在步骤104进行经济资本计量处理。其中将步骤103取得的分位数进行计算取得组合的经济资本。
图5为上述步骤102的违约损失计量处理过程的流程图。
参照图5,假设总的抽样次数为Cases次,***中设置了n个并行处理单元。由于信用风险组合管理模型中的抽样是相互独立的,所以***将Cases次抽样及相关操作平均分配到各并行单元上去完成,即每个并行单元完成Cases/n次抽样及相关操作,n个并行单元同时执行,对于每个并行处理单元,执行以下操作:
在步骤110,从数据存储装置1中读取股票、GDP、工业增加值等市场数据、标准评级信息以及行业间和行业内的相关性系数。经过随机抽样Cases次,生成Cases/n组***性收益随机数,存入数据存储装置1,完成后启动条件违约概率生成处理步骤。
在步骤111进行条件违约概率生成处理。具体地,读取数据存储装置1中的***性收益随机数,根据从数据存储装置1中读取的行业内相关系数,生成Cases/n组条件违约概率,将结果存入数据存储装置1中,完成后启动分池违约损失模拟处理。
在步骤112进行分池违约损失模拟处理。读取数据存储装置1中的条件违约概率并从数据存储装置1中读取的各统计池的EAD、LGD、客户数等信息,对各统计分池的违约损失进行模拟,得到Cases/n组违约损失,存入数据存储装置1,并启动分池违约损失加总处理。
在步骤113进行分池违约损失加总处理。读取数据存储装置1中的各统计分池的违约损失,并进行加总,得到Cases/n个组合损失,存入数据存储装置1,并启动排序与求均值处理。
在步骤114进行排序与求均值处理。读取数据存储装置1中的组合损失,对Cases/n个组合损失进行排序,找出最大的Cases·tol+1个值,其中tol为风险容忍度,从数据存储装置1中读取。再对Cases/n个组合损失计算均值。将结果存入数据存储装置1。
利用本发明的数据处理装置和方法,大大提高了信用风险组合管理计量经济资本的处理速度和效率,节省了***资源,缩短了处理时间,能很好满足风险组合管理计量经济资本的要求。其中,计量组合经济资本的时间可成倍缩短,时效性大大提高。例如:对于使用如下软硬件环境的计算***:
Figure BDA0000114674270000121
完成一次包含100万次模拟的经济资本计量,在没有使用本发明的情况下需耗时约16.5小时;使用本发明后,在配置8个并行单元的情况下耗时仅约2.5小时。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种并行数据处理***,该***包括:
终端装置(3),与主控单元相连接,用于输入信用风险计量所需参数,以及开始计量信用风险的请求数据;
主控单元(10),根据从终端装置(3)接收的所述请求数据,将***当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,根据比较结果执行相应处理;
并行处理控制单元(12),用于判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给n个并行处理单元(20);
n个并行处理单元(20),用于计算违约损失计量;
数据存储装置(1),与主控单元相连接,用于存储数据;
行业相关性系数生成单元(11),用于生成计算池的池内相关性系数;
其中,如果比较结果为***当前CPU和内存使用百分比小于CPU使用百分比上限以及内存使用百分比上限,则调用行业相关性系数生成单元(11)执行相应处理,并行处理单元(20)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量。
2.根据权利要求1所述的数据处理***,其特征在于,
并行处理控制单元(12)从数据存储装置(1)中读取并行任务的并发个数N,如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求,则根据实际资源情况,计算当前***CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元(20),调用其开始并行处理。
3.根据权利要求2所述的数据处理***,其特征在于,
并行处理单元(20)中按如下规则分配任务:假设总的抽样次数为Cases次,总的统计池数为m,当前***资源允许n个并行处理单元(20)同时执行并行处理,则***将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元(20)上去完成,每个并行处理单元,一旦接收到并行处理控制单元(12)的调用请求,并获得相应***资源后,则开始进行违约损失计量。
4.根据权利要求1~3任一项所述的数据处理***,其特征在于,该***还包括:
归并处理单元(13),用于生成信贷组合的最终预期信用损失;
经济资本计量处理单元(14),用于生成组合的经济资本,并将其存入数据存储装置(1)中。
5.根据权利要求4所述的数据处理***,其特征在于,并行处理单元(20)进一步包括:
控制单元(200),用于当接收到并行处理控制单元(12)的并行调用请求以及抽样次数Cases后,调用行业***性收益随机数生成处理单元(201),并传递抽样次数Cases给随机数生成处理单元(201);
随机数生成处理单元(201),用于为n个行业随机抽样生成这n个行业的***性收益随机数;
条件违约概率生成处理单元(202),用于根据行业内的相关系数,在各行业的***性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率;
分池违约损失模拟处理单元(203),将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失;
分池违约损失加总处理单元(204),负责从数据存储装置(1)中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失。
6.一种并行数据处理方法,该方法包括步骤:
输入违约计量所需参数和开始计量违约损失的请求数据;
根据所述请求数据,将***当前CPU和内存使用百分比与CPU使用百分比上限以及内存使用百分比上限进行比较,如果小于,则生成计算池的池内相关性系数;
判断当前的CPU和内存空闲状况是否能够满足N个并行任务的需求,如果能满足,则将资源平均分配给N个并行处理单元(20);
并行处理单元(20)根据所述池内相关性系数以及数据存储装置(1)中存储的相关参数计算违约损失计量。
7.根据权利要求6所述的方法,其特征在于,还包括:
从数据存储装置(1)中读取并行任务的并发个数N,如果判断当前的CPU和内存空闲状况不满足并行任务的个数需求,则根据实际资源情况,计算当前***CPU和内存的空闲资源最大能满足的并发数,将资源平均分配给相应个数的并行处理单元(20),调用其开始并行处理。
8.根据权利要求7所述的方法,其特征在于,
并行处理单元(20)中按如下规则分配任务:假设总的抽样次数为Cases次,总的统计池数为m,当前***资源允许n个并行处理单元(20)同时执行并行处理,则***将对m个统计池的Cases次抽样及相关操作平均分配到各并行处理单元(20)上去完成,每个并行处理单元,一旦接收到调用请求,并获得相应***资源后,则开始进行违约损失计量。
9.根据权利要求8所述的方法,其特征在于,该方法还包括:
为n个行业随机抽样生成这n个行业的***性收益随机数;
根据行业内的相关系数,在各行业的***性收益给定的情况下,计算各行业在各个信用等级下的条件违约概率;
将每个计算池按照信用评级个数分成相应个数的统计池,按照统计分池的类型及客户数多少,对于每个统计分池计算每次模拟的违约损失;
从数据存储装置1中读取每个统计池的条件违约概率,对其进行累加,得到整个信贷组合的违约损失。
10.根据权利要求9所述的方法,其特征在于,
对Cases/n个组合损失进行排序,找出最大的Cases·tol+1个值,其中tol为风险容忍度,,再对Cases/n个组合损失计算均值。
CN201110391848.8A 2011-11-30 2011-11-30 并行数据处理***及方法 Active CN102393839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110391848.8A CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110391848.8A CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理***及方法

Publications (2)

Publication Number Publication Date
CN102393839A true CN102393839A (zh) 2012-03-28
CN102393839B CN102393839B (zh) 2014-05-07

Family

ID=45861167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110391848.8A Active CN102393839B (zh) 2011-11-30 2011-11-30 并行数据处理***及方法

Country Status (1)

Country Link
CN (1) CN102393839B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN104216684A (zh) * 2013-06-04 2014-12-17 阿里巴巴集团控股有限公司 一种多核并行***及其数据处理方法
CN105224856A (zh) * 2014-07-02 2016-01-06 腾讯科技(深圳)有限公司 计算机***检测方法及装置
CN105320555A (zh) * 2014-06-17 2016-02-10 腾讯科技(深圳)有限公司 在终端上执行任务的方法及装置
CN105893138A (zh) * 2014-12-19 2016-08-24 伊姆西公司 基于配额的资源管理方法和装置
CN106649723A (zh) * 2016-12-23 2017-05-10 河海大学 一种基于改进的水塘抽样的大数据集多遍随机抽样方法
CN106971338A (zh) * 2017-04-26 2017-07-21 北京趣拿软件科技有限公司 数据评估的方法和装置
CN107402939A (zh) * 2016-05-20 2017-11-28 平安科技(深圳)有限公司 保单处理方法和装置
CN110287018A (zh) * 2019-07-04 2019-09-27 中国工商银行股份有限公司 批量任务编排方法及装置
CN111523931A (zh) * 2020-04-21 2020-08-11 广东智源机器人科技有限公司 资源分配方法、装置、计算机设备和存储介质
CN113296964A (zh) * 2021-07-28 2021-08-24 阿里云计算有限公司 数据处理方法及装置
US11320997B2 (en) 2019-10-29 2022-05-03 EMC IP Holding Company LLC Method, device, and computer program for storage management

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131007A1 (ja) * 2008-04-22 2009-10-29 日本電気株式会社 Simd型並列計算機システム、simd型並列計算方法及び制御プログラム
CN202838322U (zh) * 2011-11-30 2013-03-27 中国工商银行股份有限公司 并行数据处理***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009131007A1 (ja) * 2008-04-22 2009-10-29 日本電気株式会社 Simd型並列計算機システム、simd型並列計算方法及び制御プログラム
CN202838322U (zh) * 2011-11-30 2013-03-27 中国工商银行股份有限公司 并行数据处理***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
亓慧艳: "《面向金融风险管理的构件技术及应用研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077188A (zh) * 2013-03-29 2014-10-01 西门子公司 一种用于任务调度的方法和装置
CN104216684A (zh) * 2013-06-04 2014-12-17 阿里巴巴集团控股有限公司 一种多核并行***及其数据处理方法
CN105320555B (zh) * 2014-06-17 2019-05-24 腾讯科技(深圳)有限公司 在终端上执行任务的方法及装置
CN105320555A (zh) * 2014-06-17 2016-02-10 腾讯科技(深圳)有限公司 在终端上执行任务的方法及装置
CN105224856A (zh) * 2014-07-02 2016-01-06 腾讯科技(深圳)有限公司 计算机***检测方法及装置
CN105893138A (zh) * 2014-12-19 2016-08-24 伊姆西公司 基于配额的资源管理方法和装置
CN107402939A (zh) * 2016-05-20 2017-11-28 平安科技(深圳)有限公司 保单处理方法和装置
CN106649723A (zh) * 2016-12-23 2017-05-10 河海大学 一种基于改进的水塘抽样的大数据集多遍随机抽样方法
CN106971338A (zh) * 2017-04-26 2017-07-21 北京趣拿软件科技有限公司 数据评估的方法和装置
CN110287018A (zh) * 2019-07-04 2019-09-27 中国工商银行股份有限公司 批量任务编排方法及装置
CN110287018B (zh) * 2019-07-04 2021-08-13 中国工商银行股份有限公司 批量任务编排方法及装置
US11320997B2 (en) 2019-10-29 2022-05-03 EMC IP Holding Company LLC Method, device, and computer program for storage management
CN111523931A (zh) * 2020-04-21 2020-08-11 广东智源机器人科技有限公司 资源分配方法、装置、计算机设备和存储介质
CN113296964A (zh) * 2021-07-28 2021-08-24 阿里云计算有限公司 数据处理方法及装置
CN113296964B (zh) * 2021-07-28 2022-01-04 阿里云计算有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN102393839B (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN102393839B (zh) 并行数据处理***及方法
Wu et al. Two-stage network structures with undesirable intermediate outputs reused: a DEA based approach
Cao et al. Early warning of enterprise decline in a life cycle using neural networks and rough set theory
Xiao et al. Dynamic multi-attribute evaluation of digital economy development in China: A perspective from interaction effect
CN111667090A (zh) 一种基于深度置信网络与权值共享的负荷预测方法
CN111091245A (zh) 一种参与有序用能企业的确定方法及装置
Chen et al. Dynamic monitoring of green credit risk using a hybrid gray correlation degree-TOPSIS method
CN103605493A (zh) 基于图形处理单元的并行排序学习方法及***
CN109800138A (zh) 一种cpu测试方法、电子装置及存储介质
Zhou et al. Regional credit, technological innovation, and economic growth in China: a spatial panel analysis
CN202838322U (zh) 并行数据处理***
Ilich et al. Modeling of employment structural transformations
CN111898901A (zh) 一种基于LightGBM的量化投资计算方法、存储介质及设备
CN111027799A (zh) 一种国企产能分析***
CN115391047A (zh) 资源调度方法及装置
Hlushko et al. Effective methodological tools for forecasting financial and economic stability
CN114168635A (zh) 证券组合投资的交易策略挖掘方法、***、设备及存储介质
Lu Measuring the capital charge for operational risk of a bank with the large deviation approach
Assani et al. Estimating and decomposing most productive scale size in parallel DEA networks with shared inputs: A case of China's Five-Year Plans
Wang On Operating Efficiency of Advanced Manufacturing Industry Based on Three-Stage DEA Model--Taking Wuxi as an Example
CN105335799A (zh) 一种基于混合多属性评价的错峰用电预案编制方法
Ma et al. A new parallel framework algorithm for solving large-scale DEA models
Wang et al. Research on Credit Decision Issues of the Small and Medium-Sized Enterprises Based on TOPSIS and Hierarchical Cluster Analysis
CN110246026A (zh) 一种数据转移的输出组合设定方法、装置及终端设备
Yu et al. The study of the development of Chinese stock market based on factor analysis

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant