基于区块链的数据处理方法及***
【技术领域】
本发明涉及区块链技术领域,尤其涉及基于区块链的数据处理方法及***。
【背景技术】
目前,视频直播行业迎来了火爆发展。视频直播通过主播与观众真实、实时、互动的交流的方式,营造出强烈的现场感,吸引观众眼球,达成印象深刻、记忆持久的传播效果。因此,在视频直播行业中拥有巨大的商机,而广告的投放则是视频直播行业面临的一个重要课题。
现有的视频直播中广告投放形式单一,是通过弹窗进行广告视频播放,干扰用户正常观看直播,容易引起用户反感,而且用户很少会观看广告内容,广告视频效果不佳,广告投放效果较差。
【发明内容】
有鉴于此,本发明实施例提供了基于区块链的数据处理方法及***。
第一方面,本发明实施例提供了基于区块链的数据处理方法,所述方法包括:
S1、服务器获取待投放的广告视频数据,并将视广告频数据进行预处理后生成广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
S2、节点根据预设的约束规则从区块链获取一个子任务,节点通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
S3、服务器获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,服务器通过预设的分类规则对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;
S4、服务器计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述S1将视广告频数据进行预处理具体包括:
S11、服务器获取的广告视频数据,对所述广告视频数据进行音频分离,获得广告视频和广告音频;
S12、对所述广告视频进行抽帧处理,获得广告视频帧图像。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述通过对文字广告特征提取任务进行处理生成文字特征弹幕,具体包括:
S21、对广告视频帧图像的字幕进行提取;
S22、对提取的字幕进行重复度判断,并将重复次数大于次数阈值的选定字幕生成文字特征弹幕;
S23、若重复次数不大于次数阈值,则对提取的字幕分别进行特征值Q判断,将特征值大于预设阈值的的选定字幕生成文字特征弹幕,其中,特征值Q通过如下公式进行计算:
f
1是选定字幕在的提取的字幕中出现的频率,f
0是选定字幕在的标准语料库中出现的频率;
所述通过对语音广告特征提取任务进行处理生成语音特征弹幕具体包括:
S24、将广告音频进行文字转换;
S25、对文字进行重复度判断,并将重复次数大于次数阈值的选定文字所对应的语音生成语音特征弹幕;
S26、若重复次数不大于次数阈值,则对文字进行特征值Q判断,将特征值大于预设阈值的选定文字所对应的语音生成语音特征弹幕,其中,特征值Q通过如下公式进行计算:
f
1是选定文字在转换文字中出现的频率,f
0是选定文字在的标准语料库中出现的频率;
所述通过对图像广告特征提取任务进行处理生成图像特征弹幕具体包括:
S27、获取广告视频帧图像集合;
S28、获取广告视频帧图像的灰度图像,使用Prewitt边缘检测算子对所述灰度图像进行边缘检测,生成广告视频帧图像的对象轮廓图像;
S29、对对象轮廓图像进行二值化处理,生成二值化图像,并进行形态学闭运算处理,生成广告视频帧图像的闭运算处理图像;
S30、获取闭运算处理图像的多个初始曲线;
S31、将初始曲线的信息代入总能量泛函E,总能量泛函E公式如下:
其中,f表示图像强度,a和b表示空间变量,Ω代表初始曲线的内部,
代表初始曲线的外部,χ代表以b为中心的局部圆;
S32、通过最速下降法求解总能量泛函E的最小值,得到水平集函数的演化方程;
S33、通过有限差分法对演化方程进行不断迭代直到水平集函数达到稳定状态,选取零水平集上的点组成对象轮廓;
S34、提取广告视频帧图像集合中对象轮廓,根据对象轮廓判断对象是否相同,选取数量大于数量阈值同一对象进行对象图像分割,基于对象图像生成图像特征弹幕。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述S21具体包括:
S211、对每个广告视频帧图像进行预处理提取字幕投放区域,其中,预处理包括:
通过如下公式对每个广告视频帧图像进行亮度转换:
Pm(x,y)=0.3·CR(x,y)+0.59·CG(x,y)+0.11·CB(x,y);
其中,R,G和B是红色分量、绿色分量、蓝色分量,Pm(x,y)是亮度图像,x和y是每个图像中的像素位置;
然后,通过如下公式进行噪声处理得到去噪图像Pn(x,y):
然后,通过如下公式创建提取图像:
P1(x,y)=Pn(x,y)-Pn(x-1,y+1)
P2(x,y)=Pn(x,y)-Pn(x,y+1)
P3(x,y)=Pn(x,y)-Pn(x+1,y+1)
P4(x,y)=Pn(x,y)-Pn(x-1,y)
P5(x,y)=Pn(x,y)-Pn(x+1,y)
P6(x,y)=Pn(x,y)-Pn(x-1,y-1)
P7(x,y)=Pn(x,y)-Pn(x,y-1)
P8(x,y)=Pn(x,y)-Pn(x+1,y-1)
然后,将提取图像垂直投影到字幕串获得字幕投放区域;
S212、逐帧判断的字幕投放区域与前一广告视频帧图像的字幕投放区域是否相同,若相同且当前广告视频帧图像与前一广告视频帧图像的像素值差的绝对值小于特定值,则归为同一字幕帧组;
S213、通过如下公式计算同一字幕帧组中每个广告视频帧图像的简化分数:
其中,K为简化分数,f
i为广告视频帧图像中第i个取样点的像素值,m为广告视频帧图像的取样点总数;
S214、对简化分数最低的广告视频帧图像的字幕投放区域的图像进行提取,去除背景后进行字符识别,得到字幕文本。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述约束规则具体包括:
根据节点数量M0,为文字广告特征提取任务设定分配次数阈值M1,为语音广告特征提取任务设定分配次数阈值M2,为图片广告特征提取任务设定分配次数阈值M3,其中M1<M2<M3且M1+M2+M3=M0;
节点随机获取一个子任务,且对应子任务被分配次数达到阈值,则节点选择获取其他子任务;
在节点完成任一子任务后,在区块链中广播,按比例更新其他子任务的分配次数阈值,完成任务节点随机获取一个其他子任务,且对应其他子任务被分配次数达到阈值,则节点选择获取剩余子任务;
在节点完成两个子任务后,在区块链中广播,更新剩余子任务的分配次数阈值,完成任务节点获取剩余子任务,直至剩余子任务被完成。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述服务器通过预设的分类规则对用户进行分类,具体包括:
用户特征数据包括用户注册信息、用户弹幕历史数据和用户付费数据,服务器根据用户注册信息对用户进行一级分类,分为新用户和老用户;
根据用户付费数据对老用户进行二级分类,分为会员用户和非会员用户;
根据弹幕数据和用户弹幕历史数据计算用户活跃分数G,通过与活跃分数阈值比较对非会员用户进行三级分类,分为非会员高活跃度用户和非会低活跃度用户,其中,用户活跃分数G的计算公式如下:
其中,x1为弹幕数据中文字弹幕的数量,y1为弹幕数据中语音弹幕的数量,z1为弹幕数据中语音弹幕的数量,x2为用户弹幕历史数据中文字弹幕的数量,y2为用户弹幕历史数据中语音弹幕的数量,z2为用户弹幕历史数据中图片弹幕的数量,a1为弹幕数据中文字弹幕的重复数量,b1为弹幕数据中语音弹幕的重复数量,c1为弹幕数据图片字弹幕的重复数量,a2为用户弹幕历史数据中文字弹幕的重复数量,b2为用户弹幕历史数据中语音弹幕的重复数量,c2为用户弹幕历史数据中图像弹幕的重复数量,A为文字弹幕的权重,B为语音弹幕的权重,C为图片弹幕的权重,W1为第一修正参数,W2为第二修正参数,W3为第一修正参数,W4为第四修正参数;
所述广告弹幕输出策略,具体包括:
针对新用户,进行文字特征弹幕、语音特征弹幕和图像特征弹幕输出;
针对会员用户,不进行广告弹幕输出;
针对非会员高活跃度用户,进行文字特征弹幕和语音特征弹幕输出;
针对非会低活跃度用户,进行文字特征弹幕和图像特征弹幕输出。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述直播活跃分数H的计算公式如下:
其中,α(t)为t时刻发布过弹幕的用户数量,γ(t)为t时刻用户总数量,Gγ为第γ个用户的活跃分数,T0(t)为t时刻直播总时长,T1(t)为t时刻主播沉默总时长。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述通过预测模型对直播视频的下一突变帧进行预测,具体包括:
获取视频数据视频帧的DC图像的直方图按如下公式进行归一化处理,按照比例分为训练数据和测试数据,
其中,
为归一化处理后的第i个时间序列对应的真实视频帧的DC图像的直方图,x
i为第i个时间序列对应的真实视频帧的DC图像的直方图,u为真实视频帧的DC图像的直方图的均值,σ为标准差;
构建基于预测模型的LSTM神经网络,并通过训练数据进行训练;
通过训练完成的LSTM神经网络预测t时刻视频帧的突变状态,从而完成对下一突变帧的预测;
其中,所述LSTM神经网络包括一个输入层、一个LSTM细胞层、一个输出层;所述LSTM细胞层的内部设置有若干门限,包含遗忘门f(t)、输入门i(t)、输出门o(t);并且LSTM神经网络的前向传播在每个序列索引位置的过程为:
更新遗忘门输出:
f(t)=σ(W(fx)x(t)+W(fh)h(t-1)+b(f));
更新输入门两部分输出:
i(t)=σ(W(ix)x(t)+W(ih)h(t-1)+b(i)),g(t)=tanh(W(gx)x(t)+W(gh)h(t-1)+b(g));
更新细胞状态:
更新输出门输出:
o(t)=σ(W(ox)x(t)+W(oh)h(t-1)+b(o)),
引入入时间注意力机制:
定义LSTM神经网络的损失函数如下:
其中,σ表示sigma函数,⊙表示Hadamard乘积,W
(fx)、W
(fh)、W
(ix)、W
(ih)、W
(gx)、W
(gh)、W
(ox)、W
(oh)、W
(cc)、W
(ch)表示权重,b
(f)、b
(i)、b
(g)、b
(o)、
表示偏置,
为t时刻细胞状态,h
(t)为t时刻隐藏状态,N为训练样本的数量,y
t为t时刻真实突变信息,
为t时刻预测突变信息,
通过
计算,W
(s)表示权重,b
(s)表示偏置,T
(n)为第n个突变预测训练样本所选择的位置数。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,通过如下公式对损失函数进行扩充以进行持续学习:
其中,i为神经网络参数,θi为神经网络参数集合,θA,i为前一任务权重,LB(θ)为后一任务损失函数,λ为折扣因子,Fi为Fisher信息矩阵。
第二方面,本发明实施例提供了基于区块链的数据处理***,所述***包括:
服务器,服务器包括:
接收单元,用于获取待投放的广告视频数据;
处理单元,用于将视广告频数据进行预处理,用于获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,根据弹幕数据、用户标识和用户特征数据通过深度学习模型对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;用于根据视频数据和弹幕数据计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对下一重点帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出;
发布单元,用于将广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
主播端,用于视频直播,发送和接收弹幕,并与服务器进行数据交互;
用户端,用于观看视频直播,发送和接收弹幕,并与服务器进行数据交互;
多个节点,所述节点包括:
获取模块,用于根据预设的约束规则从区块链获取一个子任务;
处理模块,用于通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
发送模块,用于文字特征弹幕、语音特征弹幕和图像特征弹幕发送至服务器;
区块链,所述区块链包括:
存储层,用于记录节点数据和服务器数据;
交互层,用于和节点、服务器进行数据交互;
处理层,用于节点达成共识,基于约束层进行奖励区块的生成、交易与记录;
约束层,用于建立区块链约束规则。
上述技术方案中的一个技术方案具有如下有益效果:
本发明实施例的方法中提出了基于区块链的数据处理方法及***,该方法首先通过获取待投放的广告视频数据,生成广告特征提取任务发布至区块链中,处理生成文字特征弹幕、语音特征弹幕和图像特征弹幕,然后生成针对不同类别用户的广告弹幕输出策略,最后在直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。本发明实施例将广告视频以弹幕的形式***直播视频中,不会干扰用户正常观看直播视频,广告通过弹幕使得内容也更容易引起用户注意而进行浏览,因此,针对直播视频广告投放效果更佳。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例所提供的基于区块链的数据处理方法的流程示意图;
图2为本发明实施例所提供的预处理的流程示意图;
图3为本发明实施例所提供的生成文字特征弹幕的流程示意图;
图4为本发明实施例所提供的S21的流程示意图;
图5为本发明实施例所提供的生成语音特征弹幕的流程示意图;
图6为本发明实施例所提供的生成图像特征弹幕的流程示意图;
图7为本发明实施例所提供的约束规则的流程示意图;
图8为本发明实施例所提供的用户分类和弹幕输出的流程示意图;
图9为本发明实施例所提供的突变帧预测的流程示意图;
图10为本发明实施例所提供的***的结构示意图;
图11为本发明实施例所提供的服务器的模块示意图;
图12为本发明实施例所提供的节点的模块示意图;
图13为本发明实施例所提供的区块链的***构架图;
图14为本发明实施例所提供的***的硬件示意图。
【具体实施方式】
为使本发明的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,其为本发明实施例所提供的基于区块链的数据处理方法的流程示意图,如图所示,该方法包括以下步骤:
S1、服务器获取待投放的广告视频数据,并将视广告频数据进行预处理后生成广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
S2、节点根据预设的约束规则从区块链获取一个子任务,节点通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
S3、服务器获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,服务器通过预设的分类规则对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;
S4、服务器计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。
本发明实施例的方法中提出了基于区块链的数据处理方法及***,该方法首先通过获取待投放的广告视频数据,生成广告特征提取任务发布至区块链中,处理生成文字特征弹幕、语音特征弹幕和图像特征弹幕,然后生成针对不同类别用户的广告弹幕输出策略,最后在直播活跃分数H大于阈值,则通过预测模型对直播视频的下一突变帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出。本发明实施例将广告视频转换成以弹幕的形式***直播视频中,不会干扰用户正常观看直播视频,广告通过弹幕使得内容也更容易引起用户注意而进行浏览,因此,针对直播视频广告投放效果更佳;通过区块链进行多任务同步处理,提高了任务处理效率,降低了服务器产生的冗余,减少了服务器负担;通过预设的分类规则对用户进行分类,生成针对不同类别用户的广告弹幕输出策略,实现最优的广告投放效果;根据直播活跃分数进行广告投放,增加了广告的曝光率,而同时,通过预测模型对直播视频的下一突变帧预测,可预测接下来一段直播视频的场景中是否存在着视频突变,避免了因广告投放干扰了精彩的直播内容。
请参考图2,所述S1将视广告频数据进行预处理具体包括:
S11、服务器获取的广告视频数据,对所述广告视频数据进行音频分离,获得广告视频和广告音频;
S12、对所述广告视频进行抽帧处理,获得广告视频帧图像。
进一步地,图3为本发明实施例所提供的生成文字特征弹幕的流程示意图,参考图3,所述通过对文字广告特征提取任务进行处理生成文字特征弹幕,具体包括:
S21、对广告视频帧图像的字幕进行提取;
S22、对提取的字幕进行重复度判断,并将重复次数大于次数阈值的选定字幕生成文字特征弹幕;
S23、若重复次数不大于次数阈值,则对提取的字幕分别进行特征值Q判断,将特征值大于预设阈值的的选定字幕生成文字特征弹幕,其中,特征值Q通过如下公式进行计算:
f
1是选定字幕在的提取的字幕中出现的频率,f
0是选定字幕在的标准语料库中出现的频率。
本发明实施例通过对提取的字幕进行重复度判断,若存在重复次数大于次数阈值的字幕,则说明该重点强调的字幕为关键广告词或者关键广告语,因此,可将重复次数大于次数阈值的选定字幕生成文字特征弹幕。而若重复次数不大于次数阈值,则对提取的字幕分别进行特征值Q判断,通过特征值Q进行广告词或者广告语筛选,进而转换成文字特征弹幕。通过上述方法提高了字幕提取广告词或者广告语的准确性。
其中,图4为本发明实施例所提供的S21的流程示意图,参照图4,所述S21具体包括:
S211、对每个广告视频帧图像进行预处理提取字幕投放区域,其中,预处理包括:
通过如下公式对每个广告视频帧图像进行亮度转换:
Pm(x,y)=0.3·CR(x,y)+0.59·CG(x,y)+0.11·CB(x,y);
其中,R,G和B是红色分量、绿色分量、蓝色分量,Pm(x,y)是亮度图像,x和y是每个图像中的像素位置;
然后,通过如下公式进行噪声处理得到去噪图像Pn(x,y):
然后,通过如下公式创建提取图像:
P1(x,y)=Pn(x,y)-Pn(x-1,y+1)
P2(x,y)=Pn(x,y)-Pn(x,y+1)
P3(x,y)=Pn(x,y)-Pn(x+1,y+1)
P4(x,y)=Pn(x,y)-Pn(x-1,y)
P5(x,y)=Pn(x,y)-Pn(x+1,y)
P6(x,y)=Pn(x,y)-Pn(x-1,y-1)
P7(x,y)=Pn(x,y)-Pn(x,y-1)
P8(x,y)=Pn(x,y)-Pn(x+1,y-1)
本发明是通过罗伯茨边缘提取方法创建提取图像,即方向边缘图像;
然后,将提取图像垂直投影到字幕串获得字幕投放区域;
S212、逐帧判断的字幕投放区域与前一广告视频帧图像的字幕投放区域是否相同,若相同且当前广告视频帧图像与前一广告视频帧图像的像素值差的绝对值小于特定值,则归为同一字幕帧组;
S213、通过如下公式计算同一字幕帧组中每个广告视频帧图像的简化分数:
其中,K为简化分数,f
i为广告视频帧图像中第i个取样点的像素值,m为广告视频帧图像的取样点总数;
S214、对简化分数最低的广告视频帧图像的字幕投放区域的图像进行提取,去除背景后进行字符识别,得到字幕文本。
本发明实施例通过上述方法对广告视频帧图像的字幕进行提取,获得字幕投放区域,基于字幕投放区域将广告视频帧图像分组,对同一字幕帧组中简化分数最低的广告视频帧图像的字幕投放区域的图像进行提取,避免了大量运算,因此,字幕提取高效且准确率高。
进一步的,图5为本发明实施例所提供的生成语音特征弹幕的流程示意图,参照图5,所述通过对语音广告特征提取任务进行处理生成语音特征弹幕具体包括:
S24、将广告音频进行文字转换;
S25、对文字进行重复度判断,并将重复次数大于次数阈值的选定文字所对应的语音生成语音特征弹幕;
S26、若重复次数不大于次数阈值,则对文字进行特征值Q判断,将特征值大于预设阈值的选定文字所对应的语音生成语音特征弹幕,其中,特征值Q通过如下公式进行计算:
f
1是选定文字在转换文字中出现的频率,f
0是选定文字在的标准语料库中出现的频率。
进一步地,图6为本发明实施例所提供的生成图像特征弹幕的流程示意图,请参考图6,所述通过对图像广告特征提取任务进行处理生成图像特征弹幕具体包括:
S27、获取广告视频帧图像集合;
S28、获取广告视频帧图像的灰度图像,使用Prewitt边缘检测算子对所述灰度图像进行边缘检测,生成广告视频帧图像的对象轮廓图像;
S29、对对象轮廓图像进行二值化处理,生成二值化图像,并进行形态学闭运算处理,生成广告视频帧图像的闭运算处理图像;
S30、获取闭运算处理图像的多个初始曲线;
S31、将初始曲线的信息代入总能量泛函E,总能量泛函E公式如下:
AIl(b)=∫a∈Ωχ(a,b)dA,AEl(b)=∫a∈Ω=χ(a,b)dA,
其中,f表示图像强度,a和b表示空间变量,Ω代表初始曲线的内部,
代表初始曲线的外部,χ代表以b为中心的局部圆;
S32、通过最速下降法求解总能量泛函E的最小值,得到水平集函数的演化方程;
S33、通过有限差分法对演化方程进行不断迭代直到水平集函数达到稳定状态,选取零水平集上的点组成对象轮廓;
S34、提取广告视频帧图像集合中对象轮廓,根据对象轮廓判断对象是否相同,选取数量大于数量阈值同一对象进行对象图像分割,基于对象图像生成图像特征弹幕。
本发明实施例通过上述方法提取广告视频帧图像集合中对象轮廓,高效准确,根据对象轮廓判断对象是否相同,选取数量大于数量阈值同一对象进行对象图像分割,从而将广告对象准确的提取出来,用于生成图像特征弹幕。
其中,本发明的约束规则具体包括:
根据节点数量M0,为文字广告特征提取任务设定分配次数阈值M1,为语音广告特征提取任务设定分配次数阈值M2,为图片广告特征提取任务设定分配次数阈值M3,其中M1<M2<M3且M1+M2+M3=M0;
节点随机获取一个子任务,且对应子任务被分配次数达到阈值,则节点选择获取其他子任务;
在节点完成任一子任务后,在区块链中广播,按分配次数阈值比例更新其他子任务的分配次数阈值,完成任务节点随机获取一个其他子任务,且对应其他子任务被分配次数达到阈值,则节点选择获取剩余子任务;
在节点完成两个子任务后,在区块链中广播,更新剩余子任务的分配次数阈值,完成任务节点获取剩余子任务,直至剩余子任务被完成。
本发明实施例区块链节点通过上述方法进行多任务同步处理,为不同任务设定不同分配阈值,从而使得根据任务难易相应分配不同数量的节点进行处理,使得多任务尽可能接近同步被完成,而在任一子任务被完成后,其他未完成任务会被再次分配,充分发挥了各个节点的算力,提高了任务完成的效率。
图8为本发明实施例所提供的用户分类和弹幕输出的流程示意图,参照图8,所述服务器通过预设的分类规则对用户进行分类,具体包括:
用户特征数据包括用户注册信息、用户弹幕历史数据和用户付费数据,服务器根据用户注册信息对用户进行一级分类,分为新用户和老用户;
根据用户付费数据对老用户进行二级分类,分为会员用户和非会员用户;
根据弹幕数据和用户弹幕历史数据计算用户活跃分数G,通过与活跃分数阈值比较对非会员用户进行三级分类,分为非会员高活跃度用户和非会低活跃度用户,其中,用户活跃分数G的计算公式如下:
其中,x1为弹幕数据中文字弹幕的数量,y1为弹幕数据中语音弹幕的数量,z1为弹幕数据中语音弹幕的数量,x2为用户弹幕历史数据中文字弹幕的数量,y2为用户弹幕历史数据中语音弹幕的数量,z2为用户弹幕历史数据中图片弹幕的数量,a1为弹幕数据中文字弹幕的重复数量,b1为弹幕数据中语音弹幕的重复数量,c1为弹幕数据图片字弹幕的重复数量,a2为用户弹幕历史数据中文字弹幕的重复数量,b2为用户弹幕历史数据中语音弹幕的重复数量,c2为用户弹幕历史数据中图像弹幕的重复数量,A为文字弹幕的权重,B为语音弹幕的权重,C为图片弹幕的权重,W1为第一修正参数,W2为第二修正参数,W3为第一修正参数,W4为第四修正参数;
所述广告弹幕输出策略,具体包括:
针对新用户,进行文字特征弹幕、语音特征弹幕和图像特征弹幕输出;
针对会员用户,不进行广告弹幕输出;
针对非会员高活跃度用户,进行文字特征弹幕和语音特征弹幕输出;
针对非会低活跃度用户,进行文字特征弹幕和图像特征弹幕输出。
本发明实施例通过通过预设的分类规则对用户进行分类,根据分类结果生成针对不同用户的广告弹幕输出策略,实现最大的广告投放效果。针对新用户,进行文字特征弹幕、语音特征弹幕和图像特征弹幕输出,无论用户观看不显眼的文字弹幕还是显眼的图像弹幕,或者出于好奇心点击语音弹幕,从而实现最大的广告曝光度;针对会员用户,不进行广告弹幕输出,实现会员用户更好的体验;针对非会低活跃度用户,进行文字特征弹幕和图像特征弹幕输出,使得广告可以更直接进行曝光;针对非会员高活跃度用户,进行文字特征弹幕和语音特征弹幕输出,因为非会员高活跃度用户会基于主播与观众之间,观众与观众之间的交流,会主动浏览文字特征弹幕和语音特征弹幕,而且频率较高,因此,通过文字特征弹幕和语音特征弹幕即可实现广告充分曝光,而且避免因图像弹幕体验存在而影响弹幕交流。
需要说明的是,所述直播活跃分数H的计算公式如下:
其中,α(t)为t时刻发布过弹幕的用户数量,γ(t)为t时刻用户总数量,Gγ为第γ个用户的活跃分数,T0(t)为t时刻直播总时长,T1(t)为t时刻主播沉默总时长。
图9为本发明实施例所提供的突变帧预测的流程示意图,参照图9,所述通过预测模型对直播视频的下一突变帧进行预测,具体包括:
获取视频数据视频帧的DC图像的直方图按如下公式进行归一化处理,按照比例分为训练数据和测试数据,
其中,
为归一化处理后的第i个时间序列对应的真实视频帧的DC图像的直方图,x
i为第i个时间序列对应的真实视频帧的DC图像的直方图,u为真实视频帧的DC图像的直方图的均值,σ为标准差;
构建基于预测模型的LSTM神经网络,并通过训练数据进行训练;
通过训练完成的LSTM神经网络预测t时刻视频帧的突变状态,突变状态满足要求时则认定为突变帧,从而完成对下一突变帧的预测;
其中,所述LSTM神经网络包括一个输入层、一个LSTM细胞层、一个输出层;所述LSTM细胞层的内部设置有若干门限,包含遗忘门f(t)、输入门i(t)、输出门o(t);并且LSTM神经网络的前向传播在每个序列索引位置的过程为:
更新遗忘门输出:
f(t)=σ(W(fx)x(t)+W(fh)h(t-1)+b(f));
更新输入门两部分输出:
i(t)=σ(W(ix)x(t)+W(ih)h(t-1)+b(i)),g(t)=tanh(W(gx)x(t)+W(gh)h(t-1)+b(g));
更新细胞状态:
更新输出门输出:
o(t)=σ(W(ox)x(t)+W(oh)h(t-1)+b(o)),
引入入时间注意力机制:
定义LSTM神经网络的损失函数如下:
其中,σ表示sigma函数,⊙表示Hadamard乘积,W
(fx)、W
(fh)、W
(ix)、W
(ih)、W
(gx)、W
(gh)、W
(ox)、W
(oh)、W
(cc)、W
(ch)表示权重,b
(f)、b
(i)、b
(g)、b
(o)、
表示偏置,
为t时刻细胞状态,h
(t)为t时刻隐藏状态,N为训练样本的数量,y
t为t时刻真实突变信息,
为t时刻预测突变信息,
通过
计算,W
(s)表示权重,b
(s)表示偏置,T
(n)为第n个突变预测训练样本所选择的位置数。
另外,本发明通过如下公式对损失函数进行扩充以进行持续学习:
其中,i为神经网络参数,θi为神经网络参数集合,θA,i为前一任务权重,LB(θ)为后一任务损失函数,λ为折扣因子,Fi为Fisher信息矩阵。
本发明实施例通过基于时间序列的预测模型对直播视频的下一突变帧进行预测,可以充分利用之前的剩余信息来提高预测性能,预测准确,模型鲁棒性好。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图10,其为本发明实施例所提供的一种基于区块链的数据处理***的结构示意图,所述***包括:服务器,主播端,用户端、多个节点和区块链。
图11为本发明实施例所提供的服务器的模块示意图,参照图11,服务器包括:
接收单元,用于获取待投放的广告视频数据;
处理单元,用于将视广告频数据进行预处理,用于获取视频直播数据,所述直播视频数据包括视频数据、弹幕数据、用户标识和用户特征数据,根据弹幕数据、用户标识和用户特征数据通过深度学习模型对用户进行分类,生成针对不同类别用户的广告弹幕输出策略;用于根据视频数据和弹幕数据计算直播活跃分数H,若直播活跃分数H大于阈值,则通过预测模型对下一重点帧进行预测,若预测时间间隔大于弹幕显示时间,则根据广告弹幕插播策略对不同用户进行广告弹幕输出;
发布单元,用于将广告特征提取任务发布至区块链中,其中,广告特征提取任务包括三个子任务:文字广告特征提取任务、语音广告特征提取任务以及图像广告特征提取任务;
主播端,用于视频直播,发送和接收弹幕,并与服务器进行数据交互;
用户端,用于观看视频直播,发送和接收弹幕,并与服务器进行数据交互;
图12为本发明实施例所提供的节点的模块示意图,参照图12,所述节点包括:
获取模块,用于根据预设的约束规则从区块链获取一个子任务;
处理模块,用于通过对文字广告特征提取任务进行处理生成文字特征弹幕,通过对语音广告特征提取任务进行处理生成语音特征弹幕,通过对图像广告特征提取任务进行处理生成图像特征弹幕;
发送模块,用于文字特征弹幕、语音特征弹幕和图像特征弹幕发送至服务器。
图13为本发明实施例所提供的区块链的***构架图,参照图13,所述区块链包括:
存储层,用于记录节点数据和服务器数据;
交互层,用于和节点、服务器进行数据交互;
处理层,用于节点达成共识,基于约束层进行奖励区块的生成、交易与记录;
约束层,用于建立区块链约束规则。
由于本实施例中的各单元模块能够执行图1所示的方法,本实施例未详细描述的部分,可参考对图1的相关说明。图14是本发明的一个实施例***的硬件示意图。请参考图14,在硬件层面,该***包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该***还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图14中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
在一种可能实现的方式中,处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,也可从其它设备上获取相应的计算机程序,以在逻辑层面上形成对应的装置。处理器,执行存储器所存放的程序,以通过执行的程序实现本发明任一实施例中提供的广告***方法。
本发明实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的***执行时,能够使该***执行本发明任一实施例中提供的广告***方法。
上述如本发明图实施例提供的***执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
本发明实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的***执行时,能够使该***执行本发明任一实施例中提供的***工作方法。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。
为了描述的方便,描述以上装置时以功能分为各种单元或模块分别描述。当然,在实施本发明时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。