CN105843829A - 一种基于分层模型的大数据可信性度量方法 - Google Patents

一种基于分层模型的大数据可信性度量方法 Download PDF

Info

Publication number
CN105843829A
CN105843829A CN201510632818.XA CN201510632818A CN105843829A CN 105843829 A CN105843829 A CN 105843829A CN 201510632818 A CN201510632818 A CN 201510632818A CN 105843829 A CN105843829 A CN 105843829A
Authority
CN
China
Prior art keywords
data
credibility
data source
source
trust
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510632818.XA
Other languages
English (en)
Other versions
CN105843829B (zh
Inventor
程晓荣
李天琦
赵惠兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China Electric Power University
Original Assignee
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China Electric Power University filed Critical North China Electric Power University
Priority to CN201510632818.XA priority Critical patent/CN105843829B/zh
Publication of CN105843829A publication Critical patent/CN105843829A/zh
Application granted granted Critical
Publication of CN105843829B publication Critical patent/CN105843829B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于面向大数据的数据信任评估的领域,具体涉及一种基于分层模型的大数据可信性度量方法。该发明在传统数据可信分析理论的基础上,通过增加时间因子与惩罚因子等权重参数,计算数据源之间的可信度、数据源的可信度、数据的可信度,动态地构建了层次化的大数据可信分析网络。本发明与现有模型相比,克服了传统数据可信分析方法对于大数据可信计算的不适用性,从更加综合的层面上分析了影响大数据可信度计算的因素,同时,在数据源提供的数据量越多的情况下,越能对所提供数据的可信性度量进行准确分析,较好地满足了大数据的可信需求。

Description

一种基于分层模型的大数据可信性度量方法
技术领域
本发明属于面向大数据的数据信任评估的领域,具体涉及一种基于分层模型的大数据可信性度量方法。
背景技术
近年来,随着物联网、云计算等技术的迅猛发展,“人-机-物”三元世界高度融合,并且造成数据规模的***式增长和数据模式的高度复杂化,促使当前的信息社会步入大数据(Big Data)时代。大数据的产生,为信息科学及控制与决策领域提供了丰富的数据源基础,但数据的真实性在信息融合、智能决策等方面具有重要的作用。
目前,针对数据的可信度量与信任管理,已有一些研究方法和经典算法,主要分为两大类,一类是客观信任分析,这类信任分析是基于证据的,严格的定义信任关系,精确地描述、验证。另一类是主观信任分析,这类信任分析是基于信念的,具有模糊性、不确定性,无法精确地描述、验证。具体包括基于证据和概率统计理论、基于模糊集合理论、基于信息熵的理论、基于多属性决策理论等。虽然这些算法对于普通数据的可信度量问题做出了一定的贡献,但是在大数据时代,数据具有典型的“4V”特征(即海量的数据规模(Volume)、快速的数据流转(Velocity)、多样的数据类型(Variety)、巨大的数据价值(Value))和典型“HDC”属性(即数据的异构性(Heterogeneous)、动态的数据体系(Dynamic)、数据的复杂性(Complexity)),这就决定了大数据具有多源分布性、异构性、时空关联性、社会性及高噪声等特点,使得传统的数据可信分析方法无法满足大数据的需求。对于大数据而言,人们对其可信性的需求更加迫切,需要研究新形势下大数据的可信度量与评估方法,若能对原始数据进行可信度的评估,那么就会有效降低风险,提高数据的可信性。
发明内容
本发明目的是:提出基于大数据可信网络的构建方法、基于分层模型的大数据可信性度量方法,从而提高数据可信度计算可靠性。
本发明的技术方案是在传统数据可信分析理论的基础上,本发明通过增加时间因子与惩罚因子等权重参数,构建了层次化的动态大数据可信分析网络模型,该模型将大数据的可信性分析问题归结为数据源、数据源之间及数据传播网络路径的组合问题,即通过计算数据源之间的可信度、数据源的可信度、数据的可信度,动态地构建大数据的可信性分析网络,最后通过所构建的可信性分析网络计算出数据的可信度。
本发明主要分三部分:数据源之间的可信度量模型、数据源可信度量模型、数据可信度量模型。数据源之间的可信度受数据源的可信度制约,数据源的可信度受数据可信度和数据源之间的可信度双重制约,数据的可信度受数据源可信度和数据源之间的可信度的双重制约,它们之间相互关联、相互制约,构成一个完整的整体。
本发明由层次化的可信网络结构组成。在初始时刻,该分析网络由分散的数据源或专家经验预先得到的数据源构成,且网络拓扑结构是动态变化的;然后,在计算数据源之间的关联可信度时,构建了该模型的可信性分析网络;最后,基于该可信性网络分析模型,进行大数据的可信性度量,具体过程如下文所述。
步骤1:对于采集到的数据利用Hadoop技术进行预处理,提取关键属性。
步骤2:计算数据源之间的本地可信度,动态构建由数据源构成的可信网络。当t=0时,可信度的初始值一般是随机数或者0;当任意t时刻时,若数据源之间没有上下文交互,就对其t-1时刻的可信度值进行时间惩罚,以作为t时刻的本地可信度值,若存在上下文交互时,t时刻的可信度就由数据源之间直接进行上下文交互的可信度与两个数据源之间的相似度组合而成,但当计算的t时刻的可信度值小于t-1时刻的可信度值,那么就需要对其加以系数惩罚。当计算本地可信度超过预先规定的阀值时,它们之间就会建立了一条有向链路,这样就能逐渐地构建可信网络。计算本地可信度的方法如公式1所示:
公式(1)
说明:
a)初始值为一个随机数或0,表示数据源A对数据源B有一些信任或没有信任。
b)μ(t)表示在t时刻时,时间衰减系数。当数据源A对数据源B在t时刻与t-1时刻时,若本地可信度值相同,则就对它加以时间衰减惩罚。其中,0≤μ(t)<1。
其中Δt是指两次计算时间的差值,t0是指当前计算的起始时间,t为当前时刻。
c)ΔContext(A,B,t)表示在t时刻时,数据源A和数据源B之间是否有新增的上下文直接交互。
ΔContext(A,B,t)=Context(A,B,t)-Context(A,B,t-1)。
d)DirTrust(A,B,Context(A,B,t),t)表示在t时刻时,数据源A对数据源B在上下文交互条件Context(A,B,t)下的可信值。
e)Accept(A,B,t)表示在t时刻时,数据源A对数据源B的相似程度的认可度。
A c c e p t ( A , B , t ) = Σ data a ∈ D a r a ( A ) data b ∈ D a r a ( B ) S i m ( data a , data b ) D a t a ( A ) ∩ D a t a ( B )
其中,Data(A)为数据源A提供的所有数据集合,dataa表示数据集合中的任何一条数据,Sim(dataa,datab)是指数据dataa与datab的相似程度。Data(A)∩Data(B)是指数据源A所提供的数据集合与数据源B所提供的数据集合有相同的主题的数据的个数。
f)λ(t)表示在t时刻时,本模型对本地可信度的惩罚系数。
&lambda; ( t ) = 1 , &Delta;LocalTrust A ( B , t ) &GreaterEqual; 0 0 &le; &lambda; ( t ) < 1 , &Delta;LocalTrust A ( B , t ) < 0
其中,ΔLocalTrustA(B,t)表示在t时刻时,数据源A对目的数据源B本地可信度是否发生了变化。ΔLocalTrustA(B,t)=LocalTrustA(B,t)-LocalTrustA(B,t-1)。
g)α+β=1,这里的α与β的值和上面的不同。
步骤3:计算数据源之间的全局可信度。这里的可信度值是目标数据源的可信度,所以全局可信度受数据源可信度的限制。计算方法如公式2所示:
GlobalTrustA(B,t)=Trust(B,t) 公式(2)
步骤4:计算数据源之间的可信度。它是由数据源之间的本地可信度与全局可信度组合而成。数据源之间的可信度的计算公式,即数据源A对数据源B的可信度计算方法,如公式3所示:
TrustA(B,t)=α·LocalTrustA(B,t)+β·GlobalTrustA(B,t) 公式(3)
其中,α+β=1。
步骤5:计算数据源的可信度。当t=0时,可信度的初始值一般是随机数或者0;当t时刻时,若数据源的信任值在t与t-1时刻的差值是等于0,就对其t-1时刻的可信度值进行时间惩罚,以作为t时刻的数据源可信度值,若数据源的信任值在t与t-1时刻的差值是大于或小于0,数据源的可信度为数据源提供的所有历史数据的可信度期望值与整个可信网络中各层对数据源的推荐可信度的综合可信度,但当计算的t时刻的可信度值小于t-1时刻的可信度值,那么就需要对其加以系数惩罚。数据源的可信度计算公式,即对数据源A的可信度的计算方法,如公式4所示:
T r u s t ( A , t ) = R a n d o m ( ) o r 0 , t = 0 T r u s t ( A , t - 1 ) &CenterDot; &mu; ( t ) , &Delta; T r u s t ( A , t ) = 0 &lsqb; &alpha; &CenterDot; &Sigma; data a &Element; D a t a ( A ) T r u s t ( data a , t ) S u m ( D a t a ( A ) ) + &beta; &CenterDot; ( &gamma; n &CenterDot; Recommend n ( A , t ) ) &rsqb; &CenterDot; &lambda; ( t ) , o t h e r 公式(4)
说明:
a)初始值为一个随机数或0,表示数据源A有一些信任或没有信任。
b)μ(t)表示在t时刻时,时间衰减系数。当对于数据源A在t时刻与t-1时刻时,若可信度相同,则就对它加以时间衰减惩罚。取值范围0≤μ(t)<1。
c)λ(t)表示在t时刻时,本模型对数据源的可信度的惩罚系数。
d)ΔTrust(A,t)表示在t时刻时,对于数据源A的信任值在t与t-1时刻的差值。ΔTrust(A,t)=Trust(A,t)-Trust(A,t-1)。
e)Trust(dataa,t)表示在t时刻时,对数据dataa的信任度。
f)Sum(Data(A))表示求数据源A提供数据的总数量。
g)γn表示在可信网络中,以所求信任值的数据源为圆心,每一层对目标数据源(圆心数据源)信任权重。它是一个1*n维向量,第一个元素的值为第一层对圆心数据源的信任权重,以此类推,每个向量元素为所对应层次的信任权重,且权重值是个常数,根据专家设定,由内向外逐层递减,取值范围[0,1]之间。
h)Recommendn(A,t)表示在t时刻时,每层数据源对目标数据源(圆心数据源)A的推荐可信度,其中它是一个n×1维向量,第一个元素的值为第一层所有数据源对目标数据源(圆心数据源)A的推荐可信度期望值,以此类推,每个向量元素为所对应层次的推荐可信度期望值。一般层数是根据精确度和需求设置的,层数越大,计算量越大,相应的得到的数据就越准确。
i.第i层的某个数据源对目标数据源(圆心数据源)A的推荐可信度计算公式,如公式5所示:
Re c o m m e n d ( X i , A , t ) = T r u s t ( X i , t ) &CenterDot; Trust X i ( Neighbor m a x ( X i - > A ) , t ) 公式(5)
其中,Xi表示第i层数据源X,Neighbormax(Xl->A)表示朝向A的方向上,第i-1层上与Xi相邻的可信度最大的数据源。
ii.第i层的所有数据源对目标数据源(圆心数据源)A的推荐可信度期望值为
Re c o m m e n d ( A , t ) ( i ) = &Sigma; X &Element; Circle i ( A ) Re c o m m e n d ( X , A , t ) S u m ( Circle i ( A ) )
其中,Circlel(A)表示在可信网络中,以A为圆心的第i层上的所有数据源,Sum(Circlel(A))表示第i层上的所有数据源的数量。
步骤6:计算直接可信度。数据源对所提供的数据的直接可信度值就是数据源在整个可信网络中自身的可信度值,如公式6所示:
DirTrust(A,data,t)=Trust(A,t) 公式(6)
步骤7:计算间接可信度。计算与数据源相邻接有限的n个可信度高的数据源组合成这条数据真实的推荐可信度,即数据源A对数据data的间接可信度计算,如公式7所示:
I n D i r T r u s t ( A , d a t a , t ) = &Sigma; X &Element; Neighbor n ( A ) T r u s t ( A , X , t ) &CenterDot; T r u s t ( X , d a t a , t ) n 公式(7)
其中,Neighborn(A)与A相邻的可信度高的n个数据源。
步骤8:计算数据源对数据的可信度。一个数据源对所提供的某条数据真实的可信度计算公式,即数据源A对数据data的可信度计算,如公式8所示:
Trust(A,data,t)=α·DirTrust(A,data,t)+β·InDirTrust(A,data,t) 公式(8)
其中,α+β=1。
步骤9:计算数据的可信度。计算方法是求所有的直接提供这条数据的数据源或有直接关系的数据源在历史记录中都提供不可靠数据的对立事件的概率,即对数据data的可信度计算,如公式9所示:
T r u s t ( d a t a , t ) = 1 - &Pi; d a t a &Element; D a t a ( X ) ( 1 - T r u s t ( X , d a t a , t ) ) 公式(9)
本发明步骤1-9是在不断反复迭代计算的,如果需要查看某一时刻数据的可信度状态,可以采用数据快照的方式查看。
附图说明
图1数据源间、数据源及数据的可信度定义关联关系图
图2可信度量方法的程序流程图
具体实施方式
参考图1,本发明针对大数据“4V”特征和“HDC”属性,给出了一种动态构建大数据可信性度量的模型。该模型主要分三部分:数据源之间的可信度量模型、数据源可信度量模型、数据可信度量模型。数据源之间的可信度受数据源的可信度制约,数据源的可信度受数据的可信度和数据源之间的可信度双重制约,数据的可信度受数据源的可信度和数据源之间的可信度双重制约,它们之间相互关联、相互制约,构成一个整体。
给出本发明所提方法的相关定义,来阐述大数据可信性分析方面的基本问题。
数据源:是指在大数据环境下,数据的提供者。
可信网络:是指由数据源实体以及它们之间的有向链路组成的网络。
定义1数据源间的可信度:由数据源之间的本地可信度与全局可信度组合而成。其符号记作:TrustA(B,t),表示在t时刻时,本地数据源A对目的数据源B的综合可信度。
定义2本地可信度(LocalTrust):当数据源之间有直接的上下文交互时,或者两个数据源之间所提供的数据或行为的相似度超过一定的阀值时,称此时的数据源之间具有本地可信度。它是由数据源之间直接进行上下文交互的可信度与两个数据源之间的相似度(相似度也可以指相互的认可度)组合而成。符号记作:LocalTrustA(B,t),表示在t时刻时,本地数据源A对目的数据源B的本地可信度。
定义3全局可信度(GlobalTrust):它是指目的数据源在整个可信网络中的可信度,即数据源的可信度。符号记作:GlobalTrustA(B,t),表示在t时刻时,本地数据源A对目的数据源B的全局可信度。
定义4数据源的可信度:它是指数据源提供的所有历史数据的可信度期望值与整个可信网络中各层对数据源的推荐可信度的综合可信度。符号记作:Trust(A,t),表示在t时刻,数据源A的可信度。
定义5推荐可信度(Recommend):它是指本数据源从最佳路径到目的数据源,对目的数据源的可信度。符号记作:Recommend(A,B,t),表示在t时刻时,数据源A对数据源B以最佳路径得到推荐可信度。
定义6数据源所提供的某条数据的真实可信度:是指由数据源对所有提供数据的直接可信度与间接可信度的综合得到的。符号记作:Trust(A,data,t),表示在t时刻时,数据源A对所提供的数据data的真实的可信度。
定义7某数据源所提供数据的直接可信度(DirTrust):是指数据源在整个可信网络中的可信度,符号记作:DirTrust(A,data,t),表示在t时刻时,数据源A对所提供的数据data的真实可信度。
定义8某数据源所提供数据的间接可信度(InDirTrust):一般选出有限的n个邻接可信度高的数据源组合成这条数据真实的推荐可信度,符号记作:InDirTrust(A,data,t),表示在t时刻,与数据源A邻接的数据源对这条数据的真实推荐可信度。
由此可以得到,
定义9数据的可信度:它是指对于这条数据,所有的直接提供这条数据的数据源或有直接关系的数据源在历史记录中都提供不可靠数据的对立事件的概率。符号记作:Trust(data,t),表示在t时刻时,对数据data的可信度。
由上面的定义可得数据源间、数据源及数据的可信度定义之间关联关系。
参考图2,本发明在进行大数据可信度计算方法步骤为:
数据源是指可信网络中某一个实体,记作entity;数据是指对应的实体(数据源)关于某个主题提供的数据,记作data;主题是指数据的附属主体,记作theme。一个数据源的行为可以认为是在一定的时间内,针对一个主题提供的数据,则存在这条数据属于数据源,记作data∈entity,这条数据附属对应的主题,记作data∈theme,这个主题属于数据源,记作theme∈entity。一个数据源提供的所有的数据集合记作Data(entity)={data|data∈entity},一个数据源与所有有联系的主题集合记作Theme(entity)={theme|theme∈entity},一个主题所包含的数据集合记作Data(theme)={data|data∈theme}。
首先从公式(1)计算数据源间的可信度开始,计算任意一个entity对其他entities的可信度,其中,需要根据公式(2)和公式(3)计算两方面的内容,一方面,需要对其他的entities计算本地可信度,如果数据源之间有上下文交互(条件1)或出现新的行为(条件2),那么需要更新本地可信度,如果没有新的行为,那么就按时间惩罚因子对其进行时间惩罚。其中,如果满足上述条件1任意两个数据源之间有联系,或者满足上述条件2在对数据源间本地可信度计算中,如果任意两个数据源对于同一主题提供的数据相似度超过***设定的阀值μ,那么他们之间就建立了一条有向链路,其中链路上的权值就是数据源间可信度的值。另一方面,需要对这个entity计算全局可信度。
再次,利用公式(4)计算entity可信度,其中,如果entity提供的所有历史数据的可信度期望值或在整个可信网络中各层对entity的推荐可信度发生变化,那么就更新entity可信度,如果可信度没有发生变化,同样也要对其进行时间惩罚。
最后,根据公式(6)利用对立事件概率来计算某个entity对一个theme提供data的可信度,其中,公式(7)给出了entity对提供的data的真实的可信度,公式(8)和公式(9)分别给出entity对data的直接可信度和相邻entities对data的间接可信度。在实验验证中,如果某个entity提供了某种恶意的、不真实的data时,本模型会对其进行严厉惩罚,使其在可信网络中可信值瞬间变的很低,但如果在后期行为正常情况下,可信度也会随着自己信用的提升而缓慢提升。

Claims (4)

1.基于分层模型的大数据可信性度量方法,其特征在于:包括以下步骤:
步骤1:对于采集到的数据利用Hadoop技术进行预处理,提取关键属性。
步骤2:计算数据源之间的本地可信度,动态构建由数据源构成的可信网络。当t=0时,可信度的初始值一般是随机数或者0;当任意t时刻时,若数据源之间没有上下文交互,就对其t-1时刻的可信度值进行时间惩罚,以作为t时刻的本地可信度值,若存在上下文交互时,t时刻的可信度就由数据源之间直接进行上下文交互的可信度与两个数据源之间的相似度组合而成,但当计算的t时刻的可信度值小于t-1时刻的可信度值,那么就需要对其加以系数惩罚。当计算本地可信度超过预先规定的阀值时,它们之间就会建立了一条有向链路,这样就能逐渐地构建可信网络。计算本地可信度的方法如公式1所示:
公式(1)
说明:
a)初始值为一个随机数或0,表示数据源A对数据源B有一些信任或没有信任。
b)μ(t)表示在t时刻时,时间衰减系数。当数据源A对数据源B在t时刻与t-1时刻时,若本地可信度值相同,则就对它加以时间衰减惩罚。其中,0≤μ(t)<1。
其中Δt是指两次计算时间的差值,t0是指当前计算的起始时间,t为当前时刻。
c)ΔContext(A,B,t)表示在t时刻时,数据源A和数据源B之间是否有新增的上下文直接交互。
ΔContext(A,B,t)=Context(A,B,t)-Context(A,B,t-1)。
d)DirTrust(A,B,Context(A,B,t),t)表示在t时刻时,数据源A对数据源B在上下文交互条件Context(A,B,t)下的可信值。
e)Accept(A,B,t)表示在t时刻时,数据源A对数据源B的相似程度的认可度。
A c c e p t ( A , B , t ) = &Sigma; data a &Element; D a t a ( A ) data b &Element; D a t a ( B ) S i m ( data a , data b ) D a t a ( A ) &cap; D a t a ( B )
其中,Data(A)为数据源A提供的所有数据集合,dataa表示数据集合中的任何一条数据,Sim(dataa,datab)是指数据dataa与datab的相似程度。Data(A)∩Data(B)是指数据源A所提供的数据集合与数据源B所提供的数据集合有相同的主题的数据的个数。
f)λ(t)表示在t时刻时,本模型对本地可信度的惩罚系数。
&lambda; ( t ) = 1 , &Delta;LocalTrust A ( B , t ) &GreaterEqual; 0 0 &le; &lambda; ( t ) < 1 , &Delta;LocalTrust A ( B , t ) < 0
其中,ΔLocalTrustA(B,t)表示在t时刻时,数据源A对目的数据源B本地可信度是否发生了变化。ΔLocalTrustA(B,t)=LocalTrustA(B,t)-LocalTrustA(B,t-1)。
g)α+β=1,这里的α与β的值和上面的不同。
步骤3:计算数据源之间的全局可信度。这里的可信度值是目标数据源的可信度,所以全局可信度受数据源可信度的限制。计算方法如公式2所示:
GlobalTrustA(B,t)=Trust(B,t) 公式(2)
步骤4:计算数据源之间的可信度。它是由数据源之间的本地可信度与全局可信度组合而成。数据源之间的可信度的计算公式,即数据源A对数据源B的可信度计算方法,如公式3所示:
TrustA(B,t)=α·LocalTrustA(B,t)+β·GlobalTrustA(B,t) 公式(3)
其中,α+β=1。
步骤5:计算数据源的可信度。当t=0时,可信度的初始值一般是随机数或者0;当t时刻时,若数据源的信任值在t与t-1时刻的差值是等于0,就对其t-1时刻的可信度值进行时间惩罚,以作为t时刻的数据源可信度值,若数据源的信任值在t与t-1时刻的差值是大于或小于0,数据源的可信度为数据源提供的所有历史数据的可信度期望值与整个可信网络中各层对数据源的推荐可信度的综合可信度,但当计算的t时刻的可信度值小于t-1时刻的可信度值,那么就需要对其加以系数惩罚。数据源的可信度计算公式,即对数据源A的可信度的计算方法,如公式4所示:
T r u s t ( A , t ) = R a n d o m ( ) o r 0 , t = 0 T r u s t ( A , t - 1 ) &CenterDot; &mu; ( t ) , &Delta; T r u s t ( A , t ) = 0 &lsqb; &alpha; &CenterDot; &Sigma; data a &Element; D a t a ( A ) T r u s t ( data a , t ) S u m ( D a t a ( A ) ) + &beta; &CenterDot; ( &gamma; n &CenterDot; Recommend n ( A , t ) ) &rsqb; &CenterDot; &lambda; ( t ) , o t h e r 公式(4)
说明:
a)初始值为一个随机数或0,表示数据源A有一些信任或没有信任。
b)μ(t)表示在t时刻时,时间衰减系数。当对于数据源A在t时刻与t-1时刻时,若可信度相同,则就对它加以时间衰减惩罚。取值范围0≤μ(t)<1。
c)λ(t)表示在t时刻时,本模型对数据源的可信度的惩罚系数。
d)ΔTrust(A,t)表示在t时刻时,对于数据源A的信任值在t与t-1时刻的差值。
ΔTrust(A,t)=Trust(A,t)-Trust(A,t-1)。
e)Trust(dataa,t)表示在t时刻时,对数据dataa的信任度。
f)Sum(Data(A))表示求数据源A提供数据的总数量。
g)γn表示在可信网络中,以所求信任值的数据源为圆心,每一层对目标数据源(圆心数据源)信任权重。它是一个1*n维向量,第一个元素的值为第一层对圆心数据源的信任权重,以此类推,每个向量元素为所对应层次的信任权重,且权重值是个常数,根据专家设定,由内向外逐层递减,取值范围[0,1]之间。
h)Recommendn(A,t)表示在t时刻时,每层数据源对目标数据源(圆心数据源)A的推荐可信度,其中它是一个n×1维向量,第一个元素的值为第一层所有数据源对目标数据源(圆心数据源)A的推荐可信度期望值,以此类推,每个向量元素为所对应层次的推荐可信度期望值。一般层数是根据精确度和需求设置的,层数越大,计算量越大,相应的得到的数据就越准确。
i.第i层的某个数据源对目标数据源(圆心数据源)A的推荐可信度计算公式,如公式5所示:
Re c o m m e n d ( X i , A , t ) = T r u s t ( X i , t ) &CenterDot; Trust X i ( Neighbor m a x ( X i - > A ) , t ) 公式(5)
其中,Xi表示第i层数据源X,Neighbormax(Xi->A)表示朝向A的方向上,第i-1层上与Xi相邻的可信度最大的数据源。
ii.第i层的所有数据源对目标数据源(圆心数据源)A的推荐可信度期望值为
Re c o m m e n d ( A , t ) ( i ) = &Sigma; X &Element; Circle i ( A ) Re c o m m e n d ( X , A , t ) S u m ( Circle i ( A ) )
其中,Circlei(A)表示在可信网络中,以A为圆心的第i层上的所有数据源,Sum(Circlei(A))表示第i层上的所有数据源的数量。
步骤6:计算直接可信度。数据源对所提供的数据的直接可信度值就是数据源在整个可信网络中自身的可信度值,如公式6所示:
DirTrust(A,data,t)=Trust(A,t) 公式(6)
步骤7:计算间接可信度。计算与数据源相邻接有限的n个可信度高的数据源组合成这条数据真实的推荐可信度,即数据源A对数据data的间接可信度计算,如公式7所示:
I n D i r T r u s t ( A , d a t a , t ) = &Sigma; X &Element; Neighbor n ( A ) T r u s t ( A , X , t ) &CenterDot; T r u s t ( X , d a t a , t ) n 公式(7)
其中,Neighborn(A)与A相邻的可信度高的n个数据源。
步骤8:计算数据源对数据的可信度。一个数据源对所提供的某条数据真实的可信度计算公式,即数据源A对数据data的可信度计算,如公式8所示:
Trust(A,data,t)=α·DirTrust(A,data,t)+β·InDirTrust(A,data,t) 公式(8)
其中,α+β=1。
步骤9:计算数据的可信度。计算方法是求所有的直接提供这条数据的数据源或有直接关系的数据源在历史记录中都提供不可靠数据的对立事件的概率,即对数据data的可信度计算,如公式9所示:
T r u s t ( d a t a , t ) = 1 - &Pi; d a t a &Element; D a t a ( X ) ( 1 - T r u s t ( X , d a t a , t ) ) 公式(9)
本发明步骤1-9是在不断反复迭代计算的,如果需要查看某一时刻数据的可信度状态,可以采用数据快照的方式查看。
2.如权利要求1所述的基于分层模型的大数据可信性度量方法,其特征在于:所述步骤2、3、4中,提出一种新的方法计算数据源之间的本地可信度和全局可信度,来得到数据源之间的综合可信度,建立数据源间的可信网络。
3.如权利要求1所述的基于分层模型的大数据可信性度量方法,其特征在于:所述步骤5中,提出一种新的方法计算数据源的可信度。
4.如权利要求1所述的基于分层模型的大数据可信性度量方法,其特征在于:所述步骤6、7、8、9中,提出一种新的方法计算数据源对所提供的数据的直接可信度和间接可信度,来得到数据源对所提供的某条数据真实的可信度,然后利用对立事件来计算数据的可信度。
CN201510632818.XA 2015-09-30 2015-09-30 一种基于分层模型的大数据可信性度量方法 Expired - Fee Related CN105843829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510632818.XA CN105843829B (zh) 2015-09-30 2015-09-30 一种基于分层模型的大数据可信性度量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510632818.XA CN105843829B (zh) 2015-09-30 2015-09-30 一种基于分层模型的大数据可信性度量方法

Publications (2)

Publication Number Publication Date
CN105843829A true CN105843829A (zh) 2016-08-10
CN105843829B CN105843829B (zh) 2019-04-26

Family

ID=56580342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510632818.XA Expired - Fee Related CN105843829B (zh) 2015-09-30 2015-09-30 一种基于分层模型的大数据可信性度量方法

Country Status (1)

Country Link
CN (1) CN105843829B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354995A (zh) * 2016-08-24 2017-01-25 华北电力大学(保定) 一种基于拉格朗日插值与时间序列的预测方法
CN106383984A (zh) * 2016-08-30 2017-02-08 南京邮电大学 基于mmtd的大数据数据质量有效性评价方法
CN107506919A (zh) * 2017-08-17 2017-12-22 苏州浦瑞融网络科技有限公司 一种用于企业管理***的数据风险管理方法
CN111523038A (zh) * 2020-04-27 2020-08-11 重庆邮电大学 应用于推荐***中的自然噪声模糊管理方法及存储介质
CN112615845A (zh) * 2020-12-11 2021-04-06 辽宁电力能源发展集团有限公司 一种能源互联网的边缘可信装置及大数据处理方法
CN113034173A (zh) * 2021-03-03 2021-06-25 北京电解智科技有限公司 用于生成信息的方法和装置
CN113591148A (zh) * 2021-07-31 2021-11-02 郑州轻工业大学 基于区块链的食品安全上链数据可信性度量方法
CN113836106A (zh) * 2021-09-29 2021-12-24 北京创安恒宇科技有限公司 一种多元异构数据共享行为的可信度动态度量的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0790563A2 (en) * 1995-12-20 1997-08-20 Tandem Computers Incorporated Computer system data I/O by reference among CPUs and multiple memory units
CN102333307A (zh) * 2011-09-28 2012-01-25 北京航空航天大学 一种基于主观信念的无线传感器网络信任评估方法
CN103384384A (zh) * 2013-07-19 2013-11-06 哈尔滨工程大学 一种基于动态演化的认知中继网络信任管理装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0790563A2 (en) * 1995-12-20 1997-08-20 Tandem Computers Incorporated Computer system data I/O by reference among CPUs and multiple memory units
CN102333307A (zh) * 2011-09-28 2012-01-25 北京航空航天大学 一种基于主观信念的无线传感器网络信任评估方法
CN103384384A (zh) * 2013-07-19 2013-11-06 哈尔滨工程大学 一种基于动态演化的认知中继网络信任管理装置及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354995A (zh) * 2016-08-24 2017-01-25 华北电力大学(保定) 一种基于拉格朗日插值与时间序列的预测方法
CN106383984A (zh) * 2016-08-30 2017-02-08 南京邮电大学 基于mmtd的大数据数据质量有效性评价方法
CN107506919A (zh) * 2017-08-17 2017-12-22 苏州浦瑞融网络科技有限公司 一种用于企业管理***的数据风险管理方法
CN111523038A (zh) * 2020-04-27 2020-08-11 重庆邮电大学 应用于推荐***中的自然噪声模糊管理方法及存储介质
CN111523038B (zh) * 2020-04-27 2022-12-27 重庆邮电大学 应用于推荐***中的自然噪声模糊管理方法及存储介质
CN112615845A (zh) * 2020-12-11 2021-04-06 辽宁电力能源发展集团有限公司 一种能源互联网的边缘可信装置及大数据处理方法
CN112615845B (zh) * 2020-12-11 2022-11-18 辽宁电力能源发展集团有限公司 一种能源互联网的边缘可信装置及大数据处理方法
CN113034173A (zh) * 2021-03-03 2021-06-25 北京电解智科技有限公司 用于生成信息的方法和装置
CN113034173B (zh) * 2021-03-03 2022-12-02 北京电解智科技有限公司 用于生成信息的方法和装置
CN113591148A (zh) * 2021-07-31 2021-11-02 郑州轻工业大学 基于区块链的食品安全上链数据可信性度量方法
CN113591148B (zh) * 2021-07-31 2023-09-01 郑州轻工业大学 基于区块链的食品安全上链数据可信性度量方法
CN113836106A (zh) * 2021-09-29 2021-12-24 北京创安恒宇科技有限公司 一种多元异构数据共享行为的可信度动态度量的方法

Also Published As

Publication number Publication date
CN105843829B (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN105843829A (zh) 一种基于分层模型的大数据可信性度量方法
CN108280553B (zh) 基于gis-神经网络集成的山洪灾害风险区划及预测方法
Chen et al. Regional disaster risk assessment of China based on self-organizing map: clustering, visualization and ranking
CN105760649B (zh) 一种面向大数据的可信度量方法
CN111582386A (zh) 一种基于随机森林的地质灾害多灾种综合风险评价方法
Shu et al. Homogeneous pooling group delineation for flood frequency analysis using a fuzzy expert system with genetic enhancement
CN111079860B (zh) 基于情景相似度的突发事件多粒度响应模型构建方法
CN112580902B (zh) 对象数据处理方法、装置、计算机设备和存储介质
CN114186641B (zh) 一种基于深度学习的滑坡易发性评价方法
Fan et al. Modeling temporal effectiveness for context-aware web services recommendation
CN107122887A (zh) 多维工业企业诚信评价方法
CN110334286A (zh) 一种基于信任关系的个性化推荐方法
CN105825430A (zh) 一种基于异构社会网络的检测方法
Supatmi et al. Study of hybrid neurofuzzy inference system for forecasting flood event vulnerability in Indonesia
CN109492076A (zh) 一种基于网络的社区问答网站答案可信评估方法
CN111445087A (zh) 基于极限学习机的洪水预测方法
CN110459292A (zh) 一种基于聚类和pnn的药品风险分级方法
CN108320504A (zh) 基于监测数据的动态od矩阵估计方法
Coppola Jr et al. Fuzzy rule-based methodology for estimating monthly groundwater recharge in a temperate watershed
CN110442800A (zh) 一种融合节点属性和图结构的半监督社区发现方法
CN103413027B (zh) 一种社会网络重叠社区发现方法的评价方法
CN116258279B (zh) 基于综合赋权的滑坡易发性评价方法和装置
CN115906669A (zh) 一种顾及负样本选取策略的密集残差网络滑坡易发性评价方法
Bond et al. An unsupervised machine learning approach for ground‐motion spectra clustering and selection
Zhang et al. A novel hybrid model based on EMD-BPNN for forecasting US and UK stock indices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190426

Termination date: 20210930

CF01 Termination of patent right due to non-payment of annual fee