CN115862151B - 基于游戏预测老年人反应能力的数据处理***及方法 - Google Patents

Abstract

公开了一种基于游戏预测老年人反应能力的数据处理***及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

Description

基于游戏预测老年人反应能力的数据处理***及方法

技术领域

本申请涉及智能数据处理技术领域，且更为具体地，涉及一种基于游戏预测老年人反应能力的数据处理***及方法。

背景技术

近年来，慢性疾病正在慢慢威胁着老年人健康。

根据研究表明，阿尔茨海默症(Alzheimer’s disease，AD)俗称老年性痴呆，已成为中老年人继心脏病，癌症之后的第三大“疾病杀手”之一。轻度认知功能损害(MildCognition Impairment，MCI)是AD的早期状态，由于AD具有不可逆性，且患病人数逐年上升，因此对MCI的早期评估预防和训练尤为重要。

目前，大多数的早期评估预防和训练方案都是依靠传统的方法来进行，传统的方法不仅方式复杂，需要耗费大量的人力物力，而且需要去正规的医院且训练的结果也难以达到预期的效果。现今出现了一种通过以游戏来预测老年人反应能力的方法，其可以通过游戏来对老年人反应进行评估，同时促进老年人的反应能力。

但是，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。

因此，期望一种优化的基于游戏预测老年人反应能力的数据处理***。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于游戏预测老年人反应能力的数据处理***及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

相应地，根据本申请的一个方面，提供了一种基于游戏预测老年人反应能力的数据处理***，其包括：

监控数据采集模块，用于获取待评估老年人的游戏监控视频；

采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；

监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；

图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；

第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；

第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；

多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及

评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

在上述基于游戏预测老年人反应能力的数据处理***中，所述采样模块，用于以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。

在上述基于游戏预测老年人反应能力的数据处理***中，所述监控帧图像特征提取模块，进一步用于：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。

在上述基于游戏预测老年人反应能力的数据处理***中，所述第一尺度关联特征提取模块，进一步用于：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理***中，所述第二尺度关联特征提取模块，进一步用于：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理***中，所述多尺度融合模块，进一步用于：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：

其中，F_d为所述分类特征图，F_a为所述第一游戏动作理解特征图，F_b为所述第二游戏动作理解特征图，

表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，α和β为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。/>

在上述基于游戏预测老年人反应能力的数据处理***中，所述特征分布校正模块，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：

其中f_i和f_j是所述分类特征图的各个位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，f_i′是所述校正后分类特征图的各个位置的特征值。

在上述基于游戏预测老年人反应能力的数据处理***中，所述评估结果生成模块，包括：展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，还提供了一种基于游戏预测老年人反应能力的数据处理方法，其包括：

获取待评估老年人的游戏监控视频；

从所述游戏监控视频提取多个游戏监控关键帧；

将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；

将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；

将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；

将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；

融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及

将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，包括：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图，包括：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图，包括：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：

其中，F_d为所述分类特征图，F_a为所述第一游戏动作理解特征图，F_b为所述第二游戏动作理解特征图，

表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，α和β为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。

在上述基于游戏预测老年人反应能力的数据处理方法中，所述对所述分类特征图进行特征分布校正以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：

其中f_i和f_j是所述分类特征图的各个位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，f_i′是所述校正后分类特征图的各个位置的特征值。/>

在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签，包括：将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于游戏预测老年人反应能力的数据处理方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于游戏预测老年人反应能力的数据处理方法。

与现有技术相比，本申请提供的基于游戏预测老年人反应能力的数据处理***及方法，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***的框图。

图2为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***的架构示意图。

图3为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***中评估结果生成模块的框图。

图4为根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法的流程图。

图5为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上述背景技术所言，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。因此，期望一种优化的基于游戏预测老年人反应能力的数据处理***。

目前，深度学***。

近年来，深度学习以及神经网络的发展为老年人的反应能力评估提供了新的解决思路和方案。

相应地，考虑到在对于老年人的反应能力与游戏的适配性进行评估判断时，最关键的在于对游戏中老年人的反应能力进行等级评估检测，这可以通过对于待评估老年人的游戏监控视频进行分析处理得到。但是，由于在所述监控视频中具有较多的信息数据，并且每个老年人具有不同的习惯动作，这导致对于视频中老年人的动作语义理解信息也难以掌握。

基于此，在本申请的技术方案中，通过采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。

具体地，在本申请的技术方案中，首先，通过摄像头获取待评估老年人的游戏监控视频。接着，考虑到在所述游戏监控视频中，老年人的动作变化特征可以通过所述游戏监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示老年人的动作变化情况。但是，考虑到所述游戏监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述游戏监控视频进行关键帧采样，以从所述游戏监控视频提取多个游戏监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

然后，使用在图像的局部隐含关联特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来进行所述多个游戏监控关键帧的特征挖掘，以分别提取出所述多个游戏监控关键帧中的各个游戏监控关键帧关于老年人动作的局部隐含关联特征分布信息，从而得到多个游戏动作特征矩阵。

进一步地，由于老年人的动作在时序上具有着动态性的变化特征，并且考虑到其在时间维度上的动作变化特征具有不同尺度的关联性，也就是说，所述老年人的动作动态特征在不同的时间周期跨度下具有不同的动作语义理解。因此，为了能够充分地对于所述待评估老年人的动作进行时间维度上的动作语义理解，进而来准确地进行老年人反应能力的评估，在本申请的技术方案中，进一步将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量，以整合所述各个关键帧下的关于所述待评估老年人的动作特征在时序上的特征分布信息。然后，再使用具有不同尺度的三维卷积核的卷积神经网络模型来进行所述三维特征张量的特征提取，以提取出所述三维特征张量中关于所述待评估老年人的动作动态变化特征在不同时间跨度下的多尺度动作语义理解特征信息。也就是，具体地，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，并将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。

接着，再融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图来表示所述待评估老年人的动作动态变化特征在时序上的多尺度动作语义理解特征信息，并以此作为分类特征图通过分类器中进行分类处理，以得到用于表示待评估老年人的反应能力的等级标签的分类结果。这样，能够对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

特别地，在本申请的技术方案中，通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型和具有第二尺度的三维卷积核的第三卷积神经网络模型，可以从所述多个游戏动作特征矩阵沿着通道维度排列为的所述三维特征张量提取不同尺度下的所述多个游戏动作特征矩阵的图像语义沿通道的关联特征，从而使得所述分类特征图的特征分布充分表达不同尺度下的图像维度和通道维度的交叉关联特征。

但是，由于所述分类特征图的特征分布需要包含表达多个不同维度-尺度下的特征关联的特征分布，使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。

因此，本申请的申请人对所述分类特征图进行类表征平展化，具体表示为：

f_i和f_j是所述分类特征图的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，即宽度乘以高度乘以通道数。

这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。

基于此，本申请提供了一种基于游戏预测老年人反应能力的数据处理***，其包括：监控数据采集模块，用于获取待评估老年人的游戏监控视频；采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性***

图1为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***的框图。如图1所示，根据本申请实施例的基于游戏预测老年人反应能力的数据处理***100，包括：监控数据采集模块110，用于获取待评估老年人的游戏监控视频；采样模块120，用于从所述游戏监控视频提取多个游戏监控关键帧；监控帧图像特征提取模块130，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；图像特征聚合模块140，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；第一尺度关联特征提取模块150，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；第二尺度关联特征提取模块160，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；多尺度融合模块170，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；特征分布校正模块180，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，评估结果生成模块190，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

图2为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***的架构示意图。如图2所示，首先，获取待评估老年人的游戏监控视频。接着，从所述游戏监控视频提取多个游戏监控关键帧。然后，将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵。进一步地，将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量。然后，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，同时，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。接着，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图。然后，对所述分类特征图进行特征分布校正以得到校正后分类特征图。进而，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述监控数据采集模块110，用于获取待评估老年人的游戏监控视频。如上述背景技术所言，虽然有研究表明通过游戏可以提高老年人的反应能力，但游戏水平与老年人之间的反应能力之间的量性评估却没有方案，导致无法为老年人提供适配的游戏活动，也就无法最大化地适配于老年人的反应能力和身体机能。因此，期望一种优化的基于游戏预测老年人反应能力的数据处理***。

基于此，在本申请的技术方案中，通过采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中关于老年人动作的隐含特征分布信息，并在对于关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。具体地，在本申请的技术方案中，首先，通过摄像头获取待评估老年人的游戏监控视频。

在一个具体示例中，在游戏机器人做动作游戏的开始时刻，检测被测老年人做相应动作的应对时间，通过多次检测到的应对时间作为上述基于游戏预测老年人反应能力的数据处理***100的输入，用来判断待评估老年人的反应能力。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述采样模块120，用于从所述游戏监控视频提取多个游戏监控关键帧。相应地，考虑到在对于老年人的反应能力与游戏的适配性进行评估判断时，最关键的在于对游戏中老年人的反应能力进行等级评估检测，这可以通过对于待评估老年人的游戏监控视频进行分析处理得到。但是，由于在所述监控视频中具有较多的信息数据，并且每个老年人具有不同的习惯动作，这导致对于视频中老年人的动作语义理解信息也难以掌握。

基于此，将老年人的动作变化特征通过所述游戏监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示老年人的动作变化情况。但是，考虑到所述游戏监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计量算，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述游戏监控视频进行关键帧采样，以从所述游戏监控视频提取多个游戏监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述监控帧图像特征提取模块130，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵。也就是，使用在图像的局部隐含关联特征提取方面具有优异表现的作为特征提取器的第一卷积神经网络模型来进行所述多个游戏监控关键帧的特征挖掘，以分别提取出所述多个游戏监控关键帧中的各个游戏监控关键帧关于老年人动作的局部隐含关联特征分布信息，从而得到多个游戏动作特征矩阵。

在一个具体示例中，所述第一卷积神经网络模型包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述第一卷积神经网络模型的编码过程中，所述第一卷积神经网络模型的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理，其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。这里，所述第一卷积神经网络模型的各层都可以输出特征图。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述图像特征聚合模块140，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量。由于老年人的动作在时序上具有着动态性的变化特征，并且考虑到其在时间维度上的动作变化特征具有不同尺度的关联性，也就是说，所述老年人的动作动态特征在不同的时间周期跨度下具有不同的动作语义理解。因此，为了能够充分地对于所述待评估老年人的动作进行时间维度上的动作语义理解，进而来准确地进行老年人反应能力的评估，在本申请的技术方案中，进一步将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量，以整合所述各个关键帧下的关于所述待评估老年人的动作特征在时序上的特征分布信息。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述第一尺度关联特征提取模块150，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图。在本申请的技术方案中，使用具有不同尺度的三维卷积核的卷积神经网络模型来进行所述三维特征张量的特征提取，以提取出所述三维特征张量中关于所述待评估老年人的动作动态变化特征在不同时间跨度下的多尺度动作语义理解特征信息。也就是，具体地，首先将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图。

具体地，在本申请实施例中，所述第一尺度关联特征提取模块150，进一步用于：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述第二尺度关联特征提取模块160，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。也就是，在将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图的同时，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图。

具体地，在本申请实施例中，所述第二尺度关联特征提取模块160，进一步用于：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述多尺度融合模块170，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图。也就是，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图来表示所述待评估老年人的动作动态变化特征在时序上的多尺度动作语义理解特征信息，并以此作为分类特征图。

具体地，在本申请实施例中，所述多尺度融合模块170，进一步用于：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：

其中，F_d为所述分类特征图，F_a为所述第一游戏动作理解特征图，F_b为所述第二游戏动作理解特征图，

表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，α和β为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述特征分布校正模块180，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图。特别地，在本申请的技术方案中，通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型和具有第二尺度的三维卷积核的第三卷积神经网络模型，可以从所述多个游戏动作特征矩阵沿着通道维度排列为的所述三维特征张量提取不同尺度下的所述多个游戏动作特征矩阵的图像语义沿通道的关联特征，从而使得所述分类特征图的特征分布充分表达不同尺度下的图像维度和通道维度的交叉关联特征。

但是，由于所述分类特征图的特征分布需要包含表达多个不同维度-尺度下的特征关联的特征分布，使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。因此，本申请的申请人对所述分类特征图进行类表征平展化。

具体地，在本申请实施例中，所述特征分布校正模块180，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：

其中f_i和f_j是所述分类特征图的各个位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，即宽度乘以高度乘以通道数，exp(·)表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，f_i′是所述校正后分类特征图的各个位置的特征值。

这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。

在上述基于游戏预测老年人反应能力的数据处理***100中，所述评估结果生成模块190，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。也就是，以所述分类器对所述分类特征图的高维数据流形进行类边界划分和确定以得到所述分类结果。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估，以使得所述游戏能够最大化地适配于老年人的反应能力和身体机能。

图3为根据本申请实施例的基于游戏预测老年人反应能力的数据处理***中评估结果生成模块的框图。如图3所示，所述评估结果生成模块190，包括：展开单元191，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元192，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元193，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的基于游戏预测老年人反应能力的数据处理***100被阐明，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

如上所述，根据本申请实施例的基于游戏预测老年人反应能力的数据处理***100可以实现在各种终端设备中，例如用于基于游戏预测老年人反应能力的数据处理的服务器等。在一个示例中，根据本申请实施例的基于游戏预测老年人反应能力的数据处理***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于游戏预测老年人反应能力的数据处理***100可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于游戏预测老年人反应能力的数据处理***100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于游戏预测老年人反应能力的数据处理***100与该终端设备也可以是分立的设备，并且该基于游戏预测老年人反应能力的数据处理***100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图4为根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法的流程图。如图4所示，根据本申请实施例的基于游戏预测老年人反应能力的数据处理方法，包括：S110，获取待评估老年人的游戏监控视频；S120，从所述游戏监控视频提取多个游戏监控关键帧；S130，将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；S140，将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；S150，将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；S160，将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；S170，融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；S180，对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及，S190，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵，包括：使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图，包括：使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图，包括：使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图，包括：以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；其中，所述公式为：

其中，F_d为所述分类特征图，F_a为所述第一游戏动作理解特征图，F_b为所述第二游戏动作理解特征图，

表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，α和β为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述对所述分类特征图进行特征分布校正以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；其中，所述公式为：

其中f_i和f_j是所述分类特征图的各个位置的特征值，且

是所述分类特征图的所有特征值的均值，且N是所述分类特征图的尺度，exp(·)表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，f_i′是所述校正后分类特征图的各个位置的特征值。

在一个示例中，在上述基于游戏预测老年人反应能力的数据处理方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签，包括：将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

综上，本申请实施例的基于游戏预测老年人反应能力的数据处理方法被阐明，其采用基于机器视觉的人工智能检测技术，以提取出所述待评估老年人的游戏监控视频中各个关键帧的关于老年人动作的隐含特征分布信息，并在对于所述各个关键帧下的关于老年人的动作特征进行时序排列后，进一步提取出其在时间维度上的多尺度动作关联的语义理解特征，并以此来进行所述待评估老年人的反应能力等级评估。这样，能够精准地对于老年人的反应能力进行检测评估，进而准确地对其与游戏的适配性进行评估。

示例性电子设备

下面，参考图5来描述根据本申请实施例的电子设备。图5为根据本申请实施例的电子设备的框图。如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于游戏预测老年人反应能力的数据处理方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如游戏监控视频等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于游戏预测老年人反应能力的数据处理方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于游戏预测老年人反应能力的数据处理方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种基于游戏预测老年人反应能力的数据处理***，其特征在于，包括：

监控数据采集模块，用于获取待评估老年人的游戏监控视频；

采样模块，用于从所述游戏监控视频提取多个游戏监控关键帧；

监控帧图像特征提取模块，用于将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；

图像特征聚合模块，用于将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；

第一尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；

第二尺度关联特征提取模块，用于将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；

多尺度融合模块，用于融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

特征分布校正模块，用于对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及评估结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签；

所述多尺度融合模块，进一步用于：

以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

其中，所述公式为：

其中，/>

为所述分类特征图，/>

为所述第一游戏动作理解特征图，/>

为所述第二游戏动作理解特征图，“/>

”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>

和/>

为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数；

所述特征分布校正模块，进一步用于：以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；

其中，所述公式为：

其中/>

是所述分类特征图的第/>

个位置的特征值，

是所述分类特征图的第/>

个位置的特征值，且/>

是所述分类特征图的所有特征值的均值，且/>

是所述分类特征图的尺度，/>

表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>

是所述校正后分类特征图的各个位置的特征值。

2.根据权利要求1所述的基于游戏预测老年人反应能力的数据处理***，其特征在于，所述采样模块，用于以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。

3.根据权利要求2所述的基于游戏预测老年人反应能力的数据处理***，其特征在于，所述监控帧图像特征提取模块，进一步用于：

使用所述第一卷积神经网络模型的各层在层的正向传递中分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述第一卷积神经网络模型的最后一层的输出为所述游戏动作特征矩阵，所述第一卷积神经网络模型的第一层的输入为所述游戏监控关键帧。

4.根据权利要求3所述的基于游戏预测老年人反应能力的数据处理***，其特征在于，所述第一尺度关联特征提取模块，进一步用于：

使用所述具有第一尺度的三维卷积核的第二卷积神经网络模型在层的正向传递中对输入数据分别进行：

基于所述具有第一尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述第二卷积神经网络模型的最后一层的输出为所述第一游戏动作理解特征图，所述第二卷积神经网络模型的第一层的输入为所述三维特征张量。

5.根据权利要求4所述的基于游戏预测老年人反应能力的数据处理***，其特征在于，所述第二尺度关联特征提取模块，进一步用于：

使用所述具有第二尺度的三维卷积核的第三卷积神经网络模型在层的正向传递中对输入数据分别进行：

基于所述具有第二尺度的三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述第三卷积神经网络模型的最后一层的输出为所述第二游戏动作理解特征图，所述第三卷积神经网络模型的第一层的输入为所述三维特征张量。

6.根据权利要求5所述的基于游戏预测老年人反应能力的数据处理***，其特征在于，所述评估结果生成模块，包括：

展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；

全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

7.一种基于游戏预测老年人反应能力的数据处理方法，其特征在于，包括：

获取待评估老年人的游戏监控视频；

从所述游戏监控视频提取多个游戏监控关键帧；

将所述多个游戏监控关键帧分别通过作为特征提取器的第一卷积神经网络模型以得到多个游戏动作特征矩阵；

将所述多个游戏动作特征矩阵沿着通道维度排列为三维特征张量；

将所述三维特征张量通过使用具有第一尺度的三维卷积核的第二卷积神经网络模型以得到第一游戏动作理解特征图；

将所述三维特征张量通过使用具有第二尺度的三维卷积核的第三卷积神经网络模型以得到第二游戏动作理解特征图；

融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

对所述分类特征图进行特征分布校正以得到校正后分类特征图；以及将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示待评估老年人的反应能力的等级标签；

以如下公式来融合所述第一游戏动作理解特征图和所述第二游戏动作理解特征图以得到分类特征图；

其中，所述公式为：

其中，/>

为所述分类特征图，/>

为所述第一游戏动作理解特征图，/>

为所述第二游戏动作理解特征图，“/>

”表示所述第一游戏动作理解特征图和所述第二游戏动作理解特征图相对应位置处的元素相加，/>

和/>

为用于控制所述分类特征图中所述第一游戏动作理解特征图和所述第二游戏动作理解特征图之间的平衡的加权参数；

以如下公式对所述分类特征图进行特征分布校正以得到所述校正后分类特征图；

其中，所述公式为：

其中/>

是所述分类特征图的第/>

个位置的特征值，

是所述分类特征图的第/>

个位置的特征值，且/>

是所述分类特征图的所有特征值的均值，且/>

是所述分类特征图的尺度，/>

表示数值的指数运算，所述数值的指数运算表示以数值为幂的自然指数函数值，/>

是所述校正后分类特征图的各个位置的特征值。

8.根据权利要求7所述的基于游戏预测老年人反应能力的数据处理方法，其特征在于，所述从所述游戏监控视频提取多个游戏监控关键帧，包括：以预定采样频率从所述游戏监控视频中提取多个游戏监控关键帧。

Images