CN111582654B - 基于深度循环神经网络的服务质量评价方法及其装置 - Google Patents
基于深度循环神经网络的服务质量评价方法及其装置 Download PDFInfo
- Publication number
- CN111582654B CN111582654B CN202010288649.3A CN202010288649A CN111582654B CN 111582654 B CN111582654 B CN 111582654B CN 202010288649 A CN202010288649 A CN 202010288649A CN 111582654 B CN111582654 B CN 111582654B
- Authority
- CN
- China
- Prior art keywords
- client
- neural network
- video information
- frame
- service quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 54
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 22
- 241000282414 Homo sapiens Species 0.000 claims abstract description 51
- 238000011156 evaluation Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 230000006399 behavior Effects 0.000 claims abstract description 13
- 230000008921 facial expression Effects 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 230000000306 recurrent effect Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 17
- 230000008451 emotion Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于深度循环神经网络的服务质量评价方法及其装置，通过客户端获取记录服务过程的视频信息，将视频信息的每一帧输入至训练好的人体目标检测跟踪网络中，实现对视频信息中的人体进行了检测和识别，并提取出与人体特征有关的特征图，将所述特征图输入至预先训练好的深度循环神级网络中，通过语义分割能够获取人体行为和面部表情等语义信息，再将所述语义信息通过LSTM网络获取每一帧的单帧评价值，通过求平均值的方式获取服务质量评价值，能够在客户服务完成后立刻获取对应的视频信息，通过用户的面部表情和人体行为获取用户评价，及时有效地获取服务质量评价。
Description
技术领域
本申请涉及数据处理技术领域，特别是基于深度循环神经网络的服务质量评价方法及其装置。
背景技术
对于服务行业和政府服务机构而言，客户的评价是服务质量最直观的体现，是提升和改进服务水平的重要依据。为了获取客户的评价，传统的方式主要是人工问卷调查、员工观察反馈等，但是消耗的人力较多，虽然市面上出现了很多种类的电子服务评价设备，解决了依赖人工的问题，但依然是在服务完成后由客户在电子设备中填写，因此采用现有的方法获取的服务质量的评价比较滞后，参考价值较低。
发明内容
为了克服现有技术的不足，本申请的目的在于提供一种基于深度循环神经网络的服务质量评价方法及其装置，能够及时有效地获取服务质量的评价。
本申请解决其问题所采用的技术方案是：第一方面，本申请提供了一种基于深度循环神经网络的服务质量评价方法，包括以下步骤：
客户端获取记录服务过程的视频信息,将所述视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
所述客户端将所述特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将所述语义信息输入至预先训练好的LSTM网络，获取单帧评价值；
所述客户端获取所述视频信息的所有帧所对应的所述单帧评价值，通过计算平均值得出服务质量评价值。
进一步，所述获取输出的特征图后，还包括以下步骤：
所述客户端获取当前帧通过所述人体目标检测跟踪网络输出的四维坐标；
所述客户端根据所述四维坐标在所述特征图中截取特征子图，若截取失败，则将所述当前帧舍弃，若成功截取到至少一个特征子图，保留所述当前帧。
进一步，还包括：若成功截取的所述特征子图的数量大于2，所述客户端对所述当前帧的所有所述特征子图进行ROI-Pooling处理，以使所有的所述特征子图的尺寸一致。
进一步，所述语义信息包括人体行为和面部表情。
进一步，所述单帧评价值的获取具体包括以下步骤：
所述客户端获取所述LSTM网络经过softmax非线性函数映射后输出的两个概率值；
所述客户端将所述两个概率值转化为第一参考值和第二参考值；
所述客户端根据所述第一参考值和所述第二参考值计算出所述单帧评价值。
进一步，所述得出所述单帧评价值后，还包括：将所述第一参考值和所述第二参考值输入预先设定的容错函数，若所计算出的容错率小于或等于预先设定的阈值，则对所述视频信息进行标记。
进一步，所述对所述视频信息进行标记后，还包括：将所述视频信息加入到所述LSTM的训练集中进行训练。
进一步，所述视频信息为RGB视频。
第二方面，本申请提供了一种用于执行基于深度循环神经网络的服务质量评价方法的装置，包括CPU单元，所述CPU单元用于执行以下步骤：
客户端获取记录服务过程的视频信息,将所述视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
所述客户端将所述特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将所述语义信息输入至预先训练好的LSTM网络，获取单帧评价值；
所述客户端获取所述视频信息的所有帧所对应的所述单帧评价值，通过计算平均值得出服务质量评价值。
第三方面，本申请提供了一种用于执行基于深度循环神经网络的服务质量评价方法的设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的基于深度循环神经网络的服务质量评价方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的基于深度循环神经网络的服务质量评价方法。
第五方面，本申请还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的基于深度循环神经网络的服务质量评价方法。
本申请实施例中提供的一个或多个技术方案，至少具有如下有益效果：本申请通过客户端获取记录服务过程的视频信息，将视频信息的每一帧输入至训练好的人体目标检测跟踪网络中，实现对视频信息中的人体进行了检测和识别，并提取出与人体特征有关的特征图，将所述特征图输入至预先训练好的深度循环神级网络中，通过语义分割能够获取人体行为和面部表情等语义信息，再将所述语义信息通过LSTM网络获取每一帧的单帧评价值，通过求平均值的方式获取服务质量评价值，能够在客户服务完成后立刻获取对应的视频信息，通过用户的面部表情和人体行为获取用户评价，及时有效地获取服务质量评价。
附图说明
下面结合附图和实例对本申请作进一步说明。
图1是本申请一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图2是本申请另一个实施例的深度循环神经网络的结构示意图；
图3是本申请另一个实施例的LSTM网络的结构示意图；
图4是本申请另一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图5是本申请另一个实施例的建议框生成示意图；
图6是本申请另一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图7是本申请另一个实施例的ROI-Pooling处理示意图；
图8是本申请另一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图9是本申请另一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图10是本申请另一个实施例的基于深度循环神经网络的服务质量评价方法的流程图；
图11是本申请另一个实施例提供的用于执行基于深度循环神经网络的服务质量评价方法的装置示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，如果不冲突，本申请实施例中的各个特征可以相互结合，均在本申请的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
参考图1，本申请的一个实施例提供了一种基于深度循环神经网络的服务质量评价方法，包括以下步骤：
步骤S110，客户端获取记录服务过程的视频信息,将视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
步骤S120，客户端将特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将语义信息输入至预先训练好的LSTM网络，获取单帧评价值；
步骤S130，客户端获取视频信息的所有帧所对应的单帧评价值，通过计算平均值得出服务质量评价值。
在一实施例中，视频信息的获取可以通过现有技术中常见的能够实现动态监测的摄像头获取，例如在客户进入摄像头范围时启动拍摄，在客户离开摄像头后停止拍摄，具体的视频信息获取方法并非本申请作出的改进，在此不再赘述。
在一实施例中，人体目标检测跟踪网络可以是预先训练好，例如可以将获取到的视频信息以16毫秒为时间步长划分为连续的视频帧，并调整它们的分辨率，将该视频帧流作为人体目标检测跟踪的训练集，其输入维度为1×w×h×c大小，其中，1是批量，即本实施例中的一帧，h和w是视频帧的高度和宽度，c是通道数，经多次迭代梯度下降得到训练好的人体目标检测跟踪网络。
在一实施例中，当客户进入摄像头捕捉范围时，从人体目标检测跟踪网络中获取四维坐标框，按池化层对图像的缩放比例进行放大，在原图像上进行截取，对第一时间捕捉到的人采用HOG(Histogram of Oriented Gradients，方向梯度直方图)算法检测人体轮廓，对后期捕捉到的人体图像起到筛选作用，从而达到人体目标检测跟踪的效果。具体的HOG算法可以采用现有技术中任意的方法，以下通过一个具体示例进行说明：
获取到图像后，对图像进行Gamma校正，把图像整体亮度提高，以改善图像灰度较暗的情况。执行完Gamma校正后，对计算图像每个像素位置的梯度，采用中心对称梯度算子[-1,0,1]，按下列公式求图像中像素点(x,y)的横向和纵向梯度，分别设为Gx(x,y)和Gy(x,y)，且满足以下公式：Gx(x,y)＝H(x+1,y)-H(x-1,y)，Gy(x,y)＝＝H(x,y+1)-H(x,y-1)，其中，H(x,y)为像素点(x,y)的像素值。同时，计算图像每个像素位置的梯度幅值和方向按下列公式求图像中像素点(x,y)的梯度幅值和方向，分别设为G(x,y)和θ(x,y)，且满足以下公式：
将图像分成小的细胞单元，在每个细胞单元中独立做梯度方向统计，形成局部方向梯度直方图。直方图以梯度方向为横轴，将0°～180°的梯度方向划分为k个均匀的区间，每个方向角度范围都会对应一个直方柱。每个细胞单元内相同梯度方向的频数按照梯度幅值加权，为了调整细胞单元内梯度大小的权重，可以采用高斯函数进行，用像素邻域的加权均值来代替该点的像素值，距离越近的点权重越大，距离越远的点权重越小。高斯核函数的计算公式如下所示：
其中，xc为核函数中心；x为xc像素邻域中的其他像素点；δ为核函数的宽度参数，控制了函数的径向作用范围。为了提高精确度，还包括区间内归一化局部直方图，把局部直方图在图像的更大区间中进行归一化，归一化函数采用L2范数。最后将图片中所有区间进行HOG特征的收集，并将各个区间的直方图首尾相连形成最终的特征向量。
在一实施例中，语义分割可以通过任意现有的深度循环神经网络完成，也可以是如图2所示的RNN(Recurrent Neural Network,循环神经网络)网络结构，在本实施例中，RNN网络使用门控循环单元GRU对输入的坐标进行操作，其具有批量归一化、随机丢失的功能。RNN网络包括两个双向门控循环层，前项传播层、反向传播层和一个softmax模型的输出层，线性整流函数ReLU函数作为激活函数，并使用了dropout机制将运动特征映射到人体行为以及人脸表情类别，得到训练好的循环神经网络RNN。
基于上述实施例，得到较好的RNN网络模型之后，对LSTM(Long Short-TermMemory，长短期记忆)网络进行训练，LSTM网络结构如图3所示，其具体原理以一个具体实施例进行说明：
将RNN网络中得到的大小为L×size的数据输入至LSTM网络，其中L为语义识别出的字的数量、size为总体字的数量，即可能出现的字的数量。LSTM网络含有输入门it、遗忘门ft以及输入门ot三个门和一个内部记忆单元Ct。输入门控制当前计算的新状态以一定程度更新到记忆单元中；遗忘门控制前一步记忆单元中的信息有一定程度被遗忘掉；输出门控制当前的输出有多大程度上取决于当前的记忆单元。LSTM模型中，第t层的更新计算公式为：
输入门：it＝σ(Wixt+Uiht-1+bi)，遗忘门：ft＝σ(Wfxt+Ufht-1+bf)
输出门：ot＝σ(Woxt+Uoht-1+bo)，归一化：
/>
输出记忆信息：
隐藏层：ht＝ot⊙Tanh(ct)
其中输入的Xt是经RNN网络处理得出的人体行为及人脸表情的语义分割，Wi、Ui两个矩阵和向量bi为输入门的参数，在训练过程中学习得到，遗忘门ft和输出门ot的计算方式与输入门类似，有各自的参数W、U和b。
在一实施例中，由于图像处理针对的是视频信息中的每一帧图像，因此在获取到每一帧图像对应的单帧评价值后，可以通过求算术平均值的方式得出整个视频的服务质量平均值，以平均值的形式能够更好地体现整个过程的服务质量。
在本申请的另一个实施例中还提供了一种基于深度循环神经网络的服务质量评价方法，如图4所示，图4是图1中步骤S120的细化流程的另一个实施例，该步骤S120还包括但不限于：
步骤S410，客户端获取当前帧通过人体目标检测跟踪网络输出的四维坐标；
步骤S420，客户端根据四维坐标在特征图中截取特征子图，若截取失败，则将当前帧舍弃，若成功截取到至少一个特征子图，保留当前帧。
在一实施例中，四维坐标(x,y,w,h)的四个坐标轴可以是如下示例：x轴为与人体的竖直方向垂直且正轴指向人体右侧的方向，y轴为人体的竖直方向且正轴由人体头部指向人体脚部方向，则坐标(x,y)为特征图上人体对应框的左上角点坐标，w对应于该框的宽度，h对应于该框的高度。可以理解的是，四维坐标还可以用于人体标注图片的数据标注，以使人体标注图片可以用于人体目标检测跟踪网络的训练。
参考图5，以一个具体实施例对步骤S420进行举例说明：
在得到的特征图上取建议框，特征图上每一个像素点视作为一个锚点，以一个锚点为中心可生成若干个个建议框，例如图5中所示的9个建议框，即总共生成w×h×9个建议框。将特征图分别经过两个卷积核大小为1×1的卷积后得到尺寸大小为1×w×h×36和1×w×h×18的特征图，其中36为每个锚点生成9个框，每个框的信息由4个数字组成；18为每个锚点生成9个框，每个框框住的物体是否为人体由2个数字表示。在获取建议框后，还包括对建议框的筛选，例如去除超过特征图的边界的建议框，
在本申请的另一个实施例中还提供了一种基于深度循环神经网络的服务质量评价方法，如图6所示，图6是图4中步骤S420的细化流程的另一个实施例，该步骤S420还包括但不限于：
步骤S610，若截取的特征子图的数量大于2，客户端对当前帧的所有特征子图进行ROI-Pooling处理，以使所有的特征子图的尺寸一致。
在一实施例中，ROI-Pooling(Region of interest pooling,感兴趣区池化)处理可以通过以下方式完成：如图7所示，输入的固定大小的特征图，将预测框投影之后位置，例如左上角和右下角坐标，即(x，y)、(x+w，y+h)，将其划分为(n×n)个区域(需要输出大小为n×n)，对每个区域做最大池化，即可得到固定大小的特征图。进行ROI-pooling可以达到重用多层卷积后的特征图、加快了训练和测试时间、end-to-end(端到端)训练等效果
在本申请的另一个实施例中，语义信息包括人体行为和面部表情。
在一实施例中，语义信息可以的任意人体特征，例如可以是本实施例的人体行为和面部表情，人体行为可以是动作人体的动作幅度、动作频率等，根据实际需求选取即可；面部表情能够用于对客户的情绪进行判断，例如识别出微笑时可以判断用户的满意度较高。本实施例结合人体行为和面部表情可以用作用户满意度和重视程度的判断依据，例如，若因接电话、与朋友聊天等服务外因素而产生较大的情绪波动，且此波动结束而得到客户的情绪与离开时的情绪基本一致时，则本次服务重视程度呈较低水平，若不一致则呈现较高水平；又如，若未产生上述情况，则依据客户进入与离开摄像范围时的情绪进行判断，若两次情绪变化较大则本次服务重视程度呈较高水平，若一致则呈现较低水平。
在本申请的另一个实施例中还提供了一种基于深度循环神经网络的服务质量评价方法，如图8所示，图8是图1中步骤S120的细化流程的另一个实施例，该步骤S120还包括但不限于：
步骤S810，客户端获取LSTM网络经过softmax非线性函数映射后输出的两个概率值；
步骤S820，客户端将两个概率值转化为第一参考值和第二参考值；
步骤S830，客户端根据第一参考值和第二参考值计算出单帧评价值。
基于上述实施例，LSTM网络隐藏层到输出层可以采用全连接方式，经过softmax非线性函数映射后输出两个概率值，在本实施例中，两个概率值可以转化为服务评分及重视程度两个向量。将服务评分及重视程度两个向量与人工标注one-hot标签做分类损失计算，得出偏差值，将偏差值及RNN网络中得出的偏差值相加后使用优化器进行梯度下降实现网络的优化。
在一实施例中，还可以将服务评分和重视程度通过具体的数值表示，以下以一个具体示例进行说明：
将服务评分和对本次服务的重视程度分为三个等级
服务评分：f1(较好，值为1)、f2(正常，值为0)、f3(较低，值为-1)；对1次服务的重视程度：d1(重视，值为2)、d2(正常，值为1)、d3(轻视，值为0.5)；重视程度与服务质量得分形成的关系为：scorei＝fp×dq，p、q∈{1，2，3}，据此，不同等级组合形成服务质量得分可以为下表1：
| 服务评分 | 服务评分重视度 | 服务质量得分 |
| f1 | d1 | 2 |
| f1 | d2 | 1 |
| f1 | d3 | 0.5 |
| f2 | d1 | 0 |
| f2 | d2 | 0 |
| f2 | d3 | 0 |
| f3 | d1 | -2 |
| f3 | d2 | -1 |
| f3 | d3 | -0.5 |
表1
在本申请的另一个实施例中还提供了一种基于深度循环神经网络的服务质量评价方法，如图9所示，图9是图1中步骤S120的细化流程的另一个实施例，该步骤S120还包括但不限于：
步骤S910，将第一参考值和第二参考值输入预先设定的容错函数，若所计算出的容错率小于或等于预先设定的阈值，则对视频信息进行标记。
在一实施例中，容错率满足以下表达式计算得出：
其中a为向量，amax、amin分别为其中的最大最小值，p为向量a中第二大的值，在本实施例中，向量分别为第一参考值和第二参考值。当容错值小于或等于k时，视频信息的偏差较小，将视频信息进行标记，并用于后续训练，有利于提高LSTM网络的准确性。
在本申请的另一个实施例中还提供了一种基于深度循环神经网络的服务质量评价方法，如图10所示，图10是图9中步骤S910的细化流程的另一个实施例，该步骤S910还包括但不限于：
步骤S1010，将视频信息加入到LSTM的训练集中进行训练。
在一实施例中，步骤S1010能够实现增量学习，即在每当新增数据时，并不需要重建所有的知识库，而是在原有知识库的基础上，仅做由于新增数据所引起的更新，这更加符合人的思维原理。
在一实施例中，增量学习可以采用以下方式：将上述实施例中标记好的视频信息加入训练集中，调用训练好的模型M0，冻结LSTM网络模型前面的网络模型，仅对LSTM网络模型进行样本增量训练，即在模型M0的参数做初始值的情况下训练。为保持原训练数据不受增量样本数据的影响，将原训练数据一起输入进网络，更新网络模型参数，得到更新好的网络模型M1，将M1覆盖M0做为新的网络模型。训练达标标准为训练集分类均正确且均在容错范围内。
在本申请的另一个实施例中，视频信息为RGB视频。
在一实施例中，视频信息可以为任意类型的视频，例如可以是本实施例的RGB视频，更利于特征的提取。
参照图11，本申请的第二实施例还提供了一种用于执行基于深度循环神经网络的服务质量评价方法的装置，该装置为智能设备，例如智能手机、计算机和平板电脑等，实施例以计算机为例加以说明。
在该用于执行基于深度循环神经网络的服务质量评价方法的计算机1100中，包括CPU单元1110，CPU单元1110用于执行以下步骤：
客户端获取记录服务过程的视频信息，将视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
客户端将特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将语义信息输入至预先训练好的LSTM网络，获取单帧评价值；
客户端获取视频信息的所有帧所对应的单帧评价值，通过计算平均值得出服务质量评价值。
其中，在本实施例中，智能装置中安装有用于执行上述基于深度循环神经网络的服务质量评价方法的客户端，基于深度循环神经网络的服务质量评价方法在本实施例中不需要通过用户操作完成，而是在计算机1100启动时，通过CPU单元初始化时自动完成。
进一步，本申请的另一个实施例中，CPU单元1110还用于执行以下步骤：
客户端获取当前帧通过人体目标检测跟踪网络输出的四维坐标；
客户端根据四维坐标在特征图中截取特征子图，若截取失败，则将当前帧舍弃，若成功截取到至少一个特征子图，保留当前帧。
进一步，本申请的另一个实施例中，CPU单元1110还用于执行以下步骤：
若成功截取的特征子图的数量大于2，客户端对当前帧的所有特征子图进行ROI-Pooling处理，以使所有的特征子图的尺寸一致。
进一步，本申请的另一个实施例中，CPU单元1110还用于执行以下步骤：
客户端获取LSTM网络经过softmax非线性函数映射后输出的两个概率值；
客户端将两个概率值转化为第一参考值和第二参考值；
客户端根据第一参考值和第二参考值计算出单帧评价值。
进一步，本申请的另一个实施例中，CPU单元1110还用于执行以下步骤：
将第一参考值和第二参考值输入预先设定的容错函数，若所计算出的容错率小于或等于预先设定的阈值，则对视频信息进行标记。
进一步，本申请的另一个实施例中，CPU单元1110还用于执行以下步骤：将视频信息加入到LSTM的训练集中进行训练。
计算机1100和CPU单元1110之间可以通过总线或者其他方式连接，计算机1100中还包括存储器，存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本申请实施例中的用于执行基于深度循环神经网络的服务质量评价方法的设备对应的程序指令/模块。计算机1100通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而控制CPU单元1110执行用于执行基于深度循环神经网络的服务质量评价方法的各种功能应用以及数据处理，即实现上述方法实施例的基于深度循环神经网络的服务质量评价方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据CPU单元1110的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于CPU单元1110远程设置的存储器，这些远程存储器可以通过网络连接至该计算机1100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器中，当被CPU单元1110执行时，执行上述方法实施例中的基于深度循环神经网络的服务质量评价方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被CPU单元1110执行，实现上述的基于深度循环神经网络的服务质量评价方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的装置可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络装置上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
需要说明的是，由于本实施例中的用于执行基于深度循环神经网络的服务质量评价方法的装置与上述的基于深度循环神经网络的服务质量评价方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本装置实施例，此处不再详述。
通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上是对本申请的较佳实施进行了具体说明，但本申请并不局限于上述实施方式，熟悉本领域的技术人员在不违背本申请精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种基于深度循环神经网络的服务质量评价方法，其特征在于，包括以下步骤：
客户端获取记录服务过程的视频信息,将所述视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
所述客户端将所述特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将所述语义信息输入至预先训练好的LSTM网络，所述语义信息包括人体行为和面部表情；
所述客户端获取所述LSTM网络经过softmax非线性函数映射后输出的两个概率值；
所述客户端将所述两个概率值转化为第一参考值和第二参考值；
所述客户端根据所述第一参考值和所述第二参考值计算出单帧评价值；
所述客户端获取所述视频信息的所有帧所对应的所述单帧评价值，通过计算所有帧所对应的所述单帧评价值的平均值得出服务质量评价值。
2.根据权利要求1所述的一种基于深度循环神经网络的服务质量评价方法，其特征在于，所述获取输出的特征图后，还包括以下步骤：
所述客户端获取当前帧通过所述人体目标检测跟踪网络输出的四维坐标；
所述客户端根据所述四维坐标在所述特征图中截取特征子图，若截取失败，则将所述当前帧舍弃，若成功截取到至少一个特征子图，保留所述当前帧。
3.根据权利要求2所述的一种基于深度循环神经网络的服务质量评价方法，其特征在于,还包括：若成功截取的所述特征子图的数量大于2，所述客户端对所述当前帧的所有所述特征子图进行ROI-Pooling处理，以使所有的所述特征子图的尺寸一致。
4.根据权利要求1所述的一种基于深度循环神经网络的服务质量评价方法，其特征在于，所述得出所述单帧评价值后，还包括：将所述第一参考值和所述第二参考值输入预先设定的容错函数，若所计算出的容错率小于或等于预先设定的阈值，则对所述视频信息进行标记。
5.根据权利要求4所述的一种基于深度循环神经网络的服务质量评价方法，其特征在于，所述对所述视频信息进行标记后，还包括：将所述视频信息加入到所述LSTM的训练集中进行训练。
6.根据权利要求1所述的一种基于深度循环神经网络的服务质量评价方法，其特征在于：所述视频信息为RGB视频。
7.一种用于执行基于深度循环神经网络的服务质量评价方法的装置，其特征在于，包括CPU单元，所述CPU单元用于执行以下步骤：
客户端获取记录服务过程的视频信息,将所述视频信息的一帧输入至预先训练好的人体目标检测跟踪网络，获取输出的特征图；
所述客户端将所述特征图输入至训练好的深度循环神经网络中，通过语义分割获取语义信息，并将所述语义信息输入至预先训练好的LSTM网络，所述语义信息包括人体行为和面部表情；
所述客户端获取所述LSTM网络经过softmax非线性函数映射后输出的两个概率值；
所述客户端将所述两个概率值转化为第一参考值和第二参考值；
所述客户端根据所述第一参考值和所述第二参考值计算出单帧评价值；
所述客户端获取所述视频信息的所有帧所对应的所述单帧评价值，通过计算所有帧所对应的所述单帧评价值的平均值得出服务质量评价值。
8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-6任一项所述的一种基于深度循环神经网络的服务质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010288649.3A CN111582654B (zh) | 2020-04-14 | 2020-04-14 | 基于深度循环神经网络的服务质量评价方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010288649.3A CN111582654B (zh) | 2020-04-14 | 2020-04-14 | 基于深度循环神经网络的服务质量评价方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111582654A CN111582654A (zh) | 2020-08-25 |
| CN111582654B true CN111582654B (zh) | 2023-03-28 |
Family
ID=72113004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010288649.3A Active CN111582654B (zh) | 2020-04-14 | 2020-04-14 | 基于深度循环神经网络的服务质量评价方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111582654B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784698B (zh) * | 2020-12-31 | 2024-07-02 | 杭州电子科技大学 | 基于深层次时空信息的无参考视频质量评价方法 |
| CN112990105B (zh) * | 2021-04-19 | 2021-09-21 | 北京优幕科技有限责任公司 | 对用户评价的方法、装置、电子设备和存储介质 |
| CN113921098A (zh) * | 2021-10-14 | 2022-01-11 | 江苏木盟智能科技有限公司 | 一种医疗服务评价方法和*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW550481B (en) * | 2000-06-20 | 2003-09-01 | Jun Gu | Method for searching information on TV using graphics and the network servicing system |
| CN102186098A (zh) * | 2011-05-05 | 2011-09-14 | 西北工业大学 | 视频序列编码质量客观评价方法 |
| WO2019037498A1 (zh) * | 2017-08-25 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 主动跟踪方法、装置及*** |
| WO2019127273A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、***及存储介质 |
| WO2019184124A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9807473B2 (en) * | 2015-11-20 | 2017-10-31 | Microsoft Technology Licensing, Llc | Jointly modeling embedding and translation to bridge video and language |
| US11409791B2 (en) * | 2016-06-10 | 2022-08-09 | Disney Enterprises, Inc. | Joint heterogeneous language-vision embeddings for video tagging and search |
-
2020
- 2020-04-14 CN CN202010288649.3A patent/CN111582654B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW550481B (en) * | 2000-06-20 | 2003-09-01 | Jun Gu | Method for searching information on TV using graphics and the network servicing system |
| CN102186098A (zh) * | 2011-05-05 | 2011-09-14 | 西北工业大学 | 视频序列编码质量客观评价方法 |
| WO2019037498A1 (zh) * | 2017-08-25 | 2019-02-28 | 腾讯科技（深圳）有限公司 | 主动跟踪方法、装置及*** |
| WO2019127273A1 (zh) * | 2017-12-28 | 2019-07-04 | 深圳市锐明技术股份有限公司 | 一种多人脸检测方法、装置、服务器、***及存储介质 |
| WO2019184124A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111582654A (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN110889672B (zh) | 一种基于深度学习的学生打卡及上课状态的检测*** | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN111582654B (zh) | 基于深度循环神经网络的服务质量评价方法及其装置 | |
| US20200026910A1 (en) | Gesture identification, control, and neural network training methods and apparatuses, and electronic devices | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、***、设备和介质 | |
| US8792722B2 (en) | Hand gesture detection | |
| US8750573B2 (en) | Hand gesture detection | |
| WO2019237567A1 (zh) | 基于卷积神经网络的跌倒检测方法 | |
| CN111709497B (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
| CN104778481A (zh) | 一种大规模人脸模式分析样本库的构建方法和装置 | |
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111507334B (zh) | 一种基于关键点的实例分割方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
| CN109902613A (zh) | 一种基于迁移学习和图像增强的人体特征提取方法 | |
| CN112861718A (zh) | 一种轻量级特征融合人群计数方法及*** | |
| CN113065379B (zh) | 融合图像质量的图像检测方法、装置、电子设备 | |
| CN109740527B (zh) | 一种视频帧中图像处理方法 | |
| CN105631410B (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
| CN107633527A (zh) | 基于全卷积神经网络的目标追踪方法及装置 | |
| US20160140395A1 (en) | Adaptive sampling for efficient analysis of ego-centric videos | |
| US20230290118A1 (en) | Automatic classification method and system of teaching videos based on different presentation forms | |
| CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |