CN102657526A - 观看3d影像致不适感的脑电信号功率谱与r值评价方法 - Google Patents

Abstract

一种观看3D影像致不适感的脑电信号功率谱与R值评价方法：设置实验环境和条件，安排受试者的实验顺序；解说实验流程，安置脑电电极，采集受试者观影前脑电信号2min，进行第一次问卷调查；观看整部影片并采集脑电信号，影片结束后进行第二次问卷调查；受试者在结束观影阶段后，休息10～20min后，采集脑电信号5min，进行第三次问卷调查；对所采集的脑电信号进行预处理；针对预处理所得脑电信号的频率范围，进行多个波段的功率谱分析；R值分析，进行两种实验条件2D和3D的统计学t-检验。本发明可以进行2D和3D影像的对比，从能量角度分析脑电信号的集中脑区，为后续的研究提供实验基础，从而为评价3D影像的技术标准提供思路。

Description

观看3D影像致不适感的脑电信号功率谱与R值评价方法

技术领域

本发明涉及一种脑电信号的采集和特征提取方法。特别是涉及一种观看3D影像致不适感的脑电信号功率谱与R值评价方法

背景技术

3D电视是三维立体影像电视的简称。三维立体影像电视利用人的双眼观察物体的角度略有差异，因此能够辨别物体远近，产生立体的视觉这个原理，把左右眼所看到的影像分离，从而令用户无需借助立体眼镜即可裸眼体验立体感觉。3D电视的产生不仅是对图像质量的改进，更是对图像中形象的变革。立体显示技术虽然具有立体感和沉浸感很强的优点，但如果长时间观看立体影像(30分钟以上)，就很可能产生视觉疲劳、晕眩等不舒适症状，这在一定程度上影响了立体显示技术的普及与发展。健康和安全也是3D立体显示急需攻克的难题。研究结果显示，观众在观看立体影像时，由于眼睛会迅速地来回移动，因而容易造成眼睛疲劳等不适感。

Li等人用背景脑电波和事件相关电位来评价视觉疲劳，结果表明背景脑电波的频谱和P700潜伏期的延迟都取决于双眼视差和观影时间，这一点也在主观性的测量方法中得到验证。因此，用脑电波测量视觉信息在传输过程中的延迟是一种评价视觉疲劳的有效方法。针对观看三维影像引起的视觉疲劳等不适感，相应的研究工作开展得还比较少。

对于一项新的技术产物，自由观看需要得到保证，因此，图像质量和视觉上的舒适感都要比传统电视机具有优势。如果能够找到一种三维立体显示技术，可以大大降低现有的立体显示设备成本的同时，又能简单易用、占据空间有限，最为重要的是能极大的缓解或解决现在立体显示技术给人们所带来的众多生理和心理上的问题，那必然会推动立体显示技术的发展，让三维立体显示科技服务于大众生活。

发明内容

本发明所要解决的技术问题是，提供一种根据观看2D、3D影像时所引起人体脑电信号的异同，从而提供一种评估视觉疲劳的方法，促进3D影像技术发展的观看3D影像致不适感的脑电信号功率谱与R值评价方法。

本发明所采用的技术方案是：一种观看3D影像致不适感的脑电信号功率谱与R值评价方法，包括如下步骤：

(1)设置实验环境和条件，安排受试者的实验顺序；

(2)解说实验流程，安置脑电电极，采集受试者观影前脑电信号2min，并进行第一次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(3)观看整部影片并采集脑电信号，影片结束后进行第二次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(4)受试者在结束观影阶段后，休息10～20min后，采集脑电信号5min，进行第三次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(5)对所采集的脑电信号进行预处理，包括：

(a)对采集的脑电信号进行重设参考、滤波消噪和归一化处理；

(b)利用ICA方法去除眼电，即将信号分解成各个独立的分量并对分量进行分析；

(6)针对预处理所得脑电信号的频率范围，进行多个波段的功率谱分析：

对采集到的实验数据，在MATLAB 7.11平台上进行处理；首先，对脑电数据进行平均功率谱求解，选取相应的数据点进行傅里叶变换，然后取频谱与该频谱共轭的乘积，得到功率谱的估计，计算各个波段占总功率谱的百分比值，并对整个实验时长共85～100min进行直线拟合，寻求整体变化趋势；其次，在SPSS18.0平台上，分别对功率谱数值和百分比值进行单因素方差分析，用以判断2D和3D两种实验条件下的差异；

(7)R值分析，并进行两种实验条件2D和3D的统计学t-检验；

步骤1)包括：设置房间内的背景光照度为2.5～3.5Lux，选择受试者必须是初次观看将要放映的影片，3D电视机位于受试者2.5～3.5m的正前方，在观看3D影像时，佩戴场频120场/秒的主动快门式3D眼镜，整个实验时间为85～100min。

步骤1)还包括：将受试者分为两组，一组先观看3D影像模式，后观看2D影像模式，另一组先观看2D模式，后观看3D模式。

步骤2)所述的采集观影前脑电信号2min，是采集受试者实验前静息状态下的脑电信号，闭眼1min，睁眼1min，脑电信号的采样保证电极阻抗小于5000欧姆。

步骤3)所述的观看影片要求每个受试者观看2D和3D两个影像实验的间隔要在10天以上。

步骤5)所述的利用ICA方法去除眼电，具体是：

在未知源信号S及该未知源信号S混叠特性A的情况下，仅从接收到的混合信号X＝A·S中提取出源信号，即：一组独立的源信号s(t)＝[s₁(t)，…，s_n(t)]^T经过混合***A混合在一起，得到观测信号x(t)＝[x₁(t)，…，x_n(t)]^T，表示如下：

$\left(\begin{array}{c}{x}_1\left(t\right)\\ x_2\left(t\right)\\ \·\\ \·\\ \·\\ x_n\left(t\right)\end{array}\right)=A\left(\begin{array}{c}{s}_1\left(t\right)\\ s_2\left(t\right)\\ \·\\ \·\\ \·\\ s_n\left(t\right)\end{array}\right)$

其中，源信号s(t)和混合***A都是未知的，只有混合后的x(t)可以观测到，ICA的任务是在A和S未知的前提下，找到解混矩阵W，使输出矩阵

U＝W·X＝W·A·S

其中，x(t)＝[x₁(t)，…，x_n(t)]^T为观测信号，s(t)＝[s₁(t)，…，s_n(t)]^T为源信号，A为混合***，S为源信号，U为输出矩阵，W为解混矩阵，X为混合信号

步骤7)使用alpha为10-13Hz和beta为18-22Hz两个频带的平均功率谱比值作为3D影像致不适感的一个指标，设信号在频带h的平均功率谱密度为：

$G\left(h\right)=\frac{{\∫}_{f_d}^{f_u}p\left(f\right)\mathrm{df}}{f_u-f_d}$

$R=\frac{G\left(h_1\right)}{G\left(h_2\right)}$

其中，G为平均功率谱密度，h为信号的频带，f_u为频带h的上限，f_d为频带h的下限，p(f)为信号的功率谱密度，h₁和h₂为脑电信号的不同频带，R为计算结果定义的比值；

对所有受试者进行R值的计算，并对0～10min和35～45min的R值进行t-检验。

本发明的观看3D影像致不适感的脑电信号功率谱与R值评价方法，可以进行2D和3D影像的对比，从能量角度分析脑电信号的集中脑区，为后续的研究提供实验基础，从而为评价3D影像的技术标准提供思路，促进3D影像技术的发展。

附图说明

图1是本发明中实验所采用导联图；

图2是本发明方法的流程图；

图3是FP2导联delta波段的平均功率谱比值图；

图4是2D和3D两种实验条件下，Oz导联处alpha波段的平均功率谱；

图5(a)是2D实验组的gamma波段的功率谱比值图；

图5(b)是3D实验组的gamma波段的功率谱比值图；

图6是3D条件下0-10min与35-45min后的R值做t-检验结果图。

具体实施方式

下面结合实施例和附图对本发明的观看3D影像致不适感的脑电信号功率谱与R值评价方法做出详细说明。

本发明的观看3D影像致不适感的脑电信号功率谱与R值评价方法，如图2所示，包括如下步骤：

(1)设置实验环境和条件，安排受试者的实验顺序；

包括：设置房间内的背景光照度为2.5～3.5Lux，选择受试者必须是初次观看将要放映的影像，3D电视机位于受试者2.5～3.5m的正前方，在观看3D影像时，佩戴场频120场/秒的主动快门式3D眼镜，整个实验时间为85～100min。

还包括：将受试者分为两组，一组先观看3D模式，后观看2D模式，另一组先观看2D模式，后观看3D模式。

本实施例采用美国Neuroscan公司生产的64导数字脑电记录仪来采集脑电数据。受试者被安排在一个电磁屏蔽良好、隔音效果良好、温度湿度适宜的房间内进行实验。通过不透光的窗帘遮挡外部光源，房间内的背景光照度为3Lux。受试者以感觉舒适但不影响数据采集的姿势坐在扶手椅中。距离实验对象3m左右的正前方是一台三星55C8000XF 55英寸3D电视，观看的影像为3D动画：《Monster Aliens》和《Megamind》。在观看3D影像时，受试者佩戴场频120场/秒的主动快门式3D眼镜。整个实验时间为95min左右。本实验中受试者为10人，5人先观看3D模式，后观看2D模式，5人先观看2D模式，后观看3D模式。

(2)解说实验流程，安置脑电电极，采集受试者观影前脑电信号2min，并进行第一次问卷调查，所述的问卷包括视觉不适感、身体部位不适等方面的问题；

所述的采集观影前脑电信号2min，是采集受试者实验前静息状态下的脑电信号，闭眼1min，睁眼1min，脑电信号的采样保证电极阻抗小于5000欧姆。

这一时段为实验前准备阶段，此时段由实验人员向受试者介绍实验流程。

电极的放置位置采用国际10/20***标准，如图1所示。

电极采用Ag/AgCl电极，并以左耳垂(M1)和右耳垂(M2)作为双极参考，脑电信号的采样频率为1000Hz，并采用50Hz陷波器去除工频干扰。实验中，保证电极阻抗小于5000欧姆。

(3)观看整部影像并采集脑电信号，影像结束后进行第二次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

所述的观看影像要求每个受试者观看2D和3D两个影像实验的间隔要在10天以上。

这一时段为观影时段，本实施例该时段持续时间80min，要求受试者安静坐在扶手椅上，观看影像。按照实验进度，分别观看2D或3D模式的影像，影像结束时，进行第二次问卷调查。在整个观影实验期间，受试者必须是初次观看影像，不具有先验知识，实验过程中要求受试者保持放松状态，不允许有任何的实际动作。整个实验方案要求每个受试者完成2D和3D两种实验，两种实验之间，保证每个受试者间隔10天以上，以便进行疲劳恢复。

(4)受试者在结束观影阶段后，休息10～20min后，采集脑电信号5min，进行第三次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

这一时段为恢复期，本实施例中，受试者在结束观影阶段后，休息15min，再次进行问卷调查，并采集休息后的脑电数据，时长5min。

(5)对所采集的脑电信号进行预处理，包括：

(a)对采集的脑电信号进行重设参考、滤波消噪和归一化处理；

数据采集完毕后，为保证后期数据分析的准确性，采用了重设参考、滤波消噪和归一化处理。

(b)利用ICA方法去除眼电，即将信号分解成各个独立的分量并对分量进行分析；

独立分量分析(ICA)是对信号进行分解，将其分解成各个独立的分量并对分量进行分析。在未知源信号S及该未知源信号S混叠特性A的情况下，仅从接收到的混合信号X＝A·S中提取出源信号。即：一组独立的源信号s(t)＝[s₁(t)，…，s_n(t)]^T经过线性***A混合在一起，得到观测信号x(t)＝[x₁(t)，…，x_n(t)]^T。表示如下：

$\left(\begin{array}{c}{x}_1\left(t\right)\\ x_2\left(t\right)\\ \·\\ \·\\ \·\\ x_n\left(t\right)\end{array}\right)=A\left(\begin{array}{c}{s}_1\left(t\right)\\ s_2\left(t\right)\\ \·\\ \·\\ \·\\ s_n\left(t\right)\end{array}\right)---\left(1\right)$

其中，源信号s(t)和混合***A都是未知的，只有混合后的x(t)可以观测到。ICA的任务是在A和S未知的前提下，找到解混矩阵W，使输出矩阵

U＝W·X＝W·A·S    (2)

式中，x(t)＝[x₁(t)，…，x_n(t)]^T为观测信号，s(t)＝[s₁(t)，…，s_n(t)]^T为源信号，A为混合***，S为源信号，U为输出矩阵，W为解混矩阵，X为混合信号

实验中所采集的脑电信号，因多次眨眼，明显影响平均功率谱值的计算。我们运用ICA方法分离预处理的脑电信号，找到与眨眼信号相关性最强的分量和噪声分量，去除这两个分量，对已保存的解混矩阵W和去除分量后的数据进行求逆，从而重构出去除眼电的脑电信号，为后续对能量的分析打下基础。

(6)针对预处理所得脑电信号的频率范围，进行多个波段的功率谱分析：

对采集到的实验数据，在MATLAB 7.11平台上进行处理；首先，对脑电数据进行平均功率谱求解，选取相应的数据点进行傅里叶变换，然后取频谱与该频谱共轭的乘积，得到功率谱的估计，计算各个波段占总功率谱的百分比值，并对整个实验时长共85～100min进行直线拟合，寻求整体变化趋势；其次，在SPSS18.0平台上，分别对功率谱数值和百分比值进行单因素方差分析，用以判断3D和2D两种实验条件下的差异；

由于实验持续时间较长，本实施例中采用的方法是对信号进行分段处理，每隔20min取10s数据，对alpha(8-13Hz)、beta(13-30Hz)、delta(1-4Hz)、theta(4-8Hz)四个波段进行功率谱分析，从功率谱分析结果看，被试者的不适感在大约50-60min后比较明显，具体结果如图3至图5中所示。

图3中显示了观影过程中对FP2导联记录数据进行分析的结果，从各个波段在该导联处的平均功率谱比值可以看到，对FP2导联数据特征量进行直线拟合后，delta波段的功率谱比值表明3D影像实验组呈现上升趋势；2D影像实验组呈现缓慢上升趋势。由于delta波段显示成人出现极度疲劳和昏睡，该结果说明相比较于观看2D影像，观看3D影像的受试者在额区脑电表现出更为明显的不适感。

对于功率谱随时间的变化情况，用均值轮廓图来进行比较。图4所示为对实验过程中记录的脑电信号每10分钟分段计算平均功率谱密度值，进行重复测量的方差分析，横坐标时间的坐标点分别代表0、10、20、30、40、50、60、70、80min。在进行平均功率谱的计算中，Oz导联处的alpha波段，在观影开始后，2D和3D两种模式的影像的情况均出现增加趋势，而且3D影像的增长速度明显高于2D影像。

对两个实验组的gamma波段进行对比，从图5可以看到，额叶的2个导联FPz、FP2波形变化趋势一致，而枕叶的3个导联POz、Oz、O1波形变化趋势一致；3D影像实验组比2D影像实验组变化更为明显，在观影50min后达到峰值。

人在感到压力的状况下，高频段脑电信号(如gamma波)易于观察，图5(a)中是2D影像实验组的gamma波段的功率谱比值图，图5(b)是3D影像实验组的gamma波段的功率谱比值图，对gamma波段分析结果表明在较长时间观影后，被试出现精神紧张、感到压力增大的情况。

(7)R值分析，并进行两种实验条件2D和3D的统计学t-检验；

使用alpha(10-13Hz)和beta(18-22Hz)两个频带的平均功率谱比值作为3D影像致不适感的一个指标，设信号在频带h的平均功率谱密度为：

$G\left(h\right)=\frac{{\∫}_{f_d}^{f_u}p\left(f\right)\mathrm{df}}{f_u-f_d}---\left(3\right)$

$R=\frac{G\left(h_1\right)}{G\left(h_2\right)}---\left(4\right)$

其中，G为平均功率谱密度，h为信号的频带，f_u为频带h的上限，f_d为频带h的下限，p(f)为信号的功率谱密度，h₁和h₂为脑电信号的不同频带，R为计算结果定义的比值。

对10名受试者进行R值的计算，并对0～10min和35～45min的R值进行t-检验，结果如图6所示，其中，为了简化分析，本实施例只采用了标准导联中的21个导联。在观影30min后，额区(1-3号导联)出现了R值的明显差异。

最终结果表明，在其他实验条件相同的情况下，随观看3D影像时间延长，容易引起被试者产生疲劳状态。观看2D和3D两种影像所引起脑电信号的差异，以枕叶和额叶两个脑区的反应较为明显。3D影像致不适感的脑电信号功率谱和R值评价方法可以作为一个研究方向深入探讨，为进一步讨论3D影像的评价指标奠定了有力的基础。

Claims (7)

1.一种观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，包括如下步骤：

(1)设置实验环境和条件，安排受试者的实验顺序；

(2)解说实验流程，安置脑电电极，采集受试者观影前脑电信号2min，并进行第一次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(3)观看整部影片并采集脑电信号，影片结束后进行第二次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(4)受试者在结束观影阶段后，休息10～20min后，采集脑电信号5min，进行第三次问卷调查，所述的问卷包括视觉不适感、身体部位不适的问题；

(5)对所采集的脑电信号进行预处理，包括：

(a)对采集的脑电信号进行重设参考、滤波消噪和归一化处理；

(b)利用ICA方法去除眼电，即将信号分解成各个独立的分量并对分量进行分析；

(6)针对预处理所得脑电信号的频率范围，进行多个波段的功率谱分析：

对采集到的实验数据，在MATLAB 7.11平台上进行处理；首先，对脑电数据进行平均功率谱求解，选取相应的数据点进行傅里叶变换，然后取频谱与该频谱共轭的乘积，得到功率谱的估计，计算各个波段占总功率谱的百分比值，并对整个实验时长共85～100min进行直线拟合，寻求整体变化趋势；其次，在SPSS18.0平台上，分别对功率谱数值和百分比值进行单因素方差分析，用以判断2D和3D两种实验条件下的差异；

(7)R值分析，并进行两种实验条件2D和3D的统计学t-检验。

2.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，步骤1)包括：设置房间内的背景光照度为2.5～3.5Lux，选择受试者必须是初次观看将要放映的影片，3D电视机位于受试者2.5～3.5m的正前方，在观看3D影像时，佩戴场频120场/秒的主动快门式3D眼镜，整个实验时间为85～100min。

3.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，步骤1)还包括：将受试者分为两组，一组先观看3D影像模式，后观看2D影像模式，另一组先观看2D模式，后观看3D模式。

4.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，步骤2)所述的采集观影前脑电信号2min，是采集受试者实验前静息状态下的脑电信号，闭眼1min，睁眼1min，脑电信号的采样保证电极阻抗小于5000欧姆。

5.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，步骤3)所述的观看影片要求每个受试者观看2D和3D两个影像实验的间隔要在10天以上。

6.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其 特征在于，步骤5)所述的利用ICA方法去除眼电，具体是：

在未知源信号S及该未知源信号S混叠特性A的情况下，仅从接收到的混合信号X＝A·S中提取出源信号，即：一组独立的源信号s(t)＝[s₁(t)，…，s_n(t)]^T经过混合***A混合在一起，得到观测信号x(t)＝[x₁(t)，…，x_n(t)]^T，表示如下：

其中，源信号s(t)和混合***A都是未知的，只有混合后的x(t)可以观测到，ICA的任务是在A和S未知的前提下，找到解混矩阵W，使输出矩阵

U＝W·X＝W·A·S

其中，.x(t)＝[x₁(t)，…，x_n(t)]^T为观测信号，s(t)＝[s₁(t)，…，s_n(t)]^T为源信号，A为混合***，S为源信号，U为输出矩阵，W为解混矩阵，X为混合信号。

7.根据权利要求1所述的观看3D影像致不适感的脑电信号功率谱与R值评价方法，其特征在于，步骤7)使用alpha为10-13Hz和beta为18-22Hz两个频带的平均功率谱比值作为3D影像致不适感的一个指标，设信号在频带h的平均功率谱密度为：

其中，G为平均功率谱密度，h为信号的频带，f_u为频带h的上限，f_d为频带h的下限，p(f)为信号的功率谱密度，h₁和h₂为脑电信号的不同频带，R为计算结果定义的比值；

对所有受试者进行R值的计算，并对0～10min和35～45min的R值进行t-检验。 

Images