CN114296589A - 一种基于影片观看体验的虚拟现实交互方法及装置 - Google Patents
一种基于影片观看体验的虚拟现实交互方法及装置 Download PDFInfo
- Publication number
- CN114296589A CN114296589A CN202111523881.1A CN202111523881A CN114296589A CN 114296589 A CN114296589 A CN 114296589A CN 202111523881 A CN202111523881 A CN 202111523881A CN 114296589 A CN114296589 A CN 114296589A
- Authority
- CN
- China
- Prior art keywords
- user
- data
- role
- ending
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003993 interaction Effects 0.000 title claims abstract description 22
- 230000008921 facial expression Effects 0.000 claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008451 emotion Effects 0.000 claims description 25
- 238000013515 script Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 230000001815 facial effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及VR技术领域，具体涉及一种基于影片观看体验的虚拟现实交互方法及装置，包括以下步骤：S1根据人物设定制作N个结局，同时设置不同结局对应的达成条件，其中N为正整数；S2采集用户观看影片时的面部表情数据和语音数据，分析处理后生成用户对不同角色理解的数据库；S3对S2数据库中的用户理解数据进行相似度分析，生成用户理解的结局相似度分析；S4用户选择是否更改角色结局，不更改则结束播放，更改则自动进行预设结局匹配并播放重制后的结局片段。本发明将用户放到首位，充分考虑观众观看电影的体验感，改变传统电影制作行业单向输出的方式，让观众可以参与到电影制作的过程中，实现观众观影体验对电影制作方的反馈。
Description
技术领域
本发明涉及VR技术领域，具体涉及一种基于影片观看体验的虚拟现实交互方法及装置。
背景技术
传统的电影制作从拍摄前期的构想剧本到中期的拍摄工作，再到拍摄后期的剪辑和配乐，整个过程中观众很难参与其中，难以在电影拍摄和制作的过程中充分考虑到观众的观看体验。根据此状况，需要设计一种基于影片观看体验的虚拟现实交互方法及装置。
现有电影制作主要是前期准备(创作剧本、工作计划)、影片拍摄(拍摄录音)、后期制作(剪辑、字幕、特效等)三个阶段。前期准备工作包括提构想、写故事、分场大纲、签导演、列预算、编剧本、看外景、找演员，以及决定制作小组的成员。影片拍摄需要在导演的指挥下采密集作业方式进行，并由执行制片监督经费开销、拍片进度和一切行政事宜。后期制作工作包括剪接、配音、配乐、设计字幕、制作预告片，以及展开上片前宣传等。
不同的用户对于电影等影视作品的理解不同，他们所期待结局也不同。但传统电影行业的制作流程都是单向输出的集体影院观影模式，不可能根据用户的反馈做出调整。随着虚拟现实技术的发展，本文意图改变这一现状，通过VR观影设备结合VR影片制作，收集到的用户观看数据，分析与原剧情的差异，从而重新生成角色和剧情，通过VR沉浸式重新定义角色及结局，再次通过VR设备进行体验观影，可以为每个人定义专属结局，同时也为剧本剧情提供数据参考。
综上本文要解决的技术问题是从观众观看影片的体验出发，提出一种可以提升观看体验的虚拟现实交互方法及装置
发明内容
针对现有技术的不足，本发明公开了一种基于影片观看体验的虚拟现实交互方法及装置，用于解决上述问题。
本发明通过以下技术方案予以实现：
第一方面，本发明提供了一种基于影片观看体验的虚拟现实交互方法，包括以下步骤：
S1根据人物设定制作N个结局，同时设置不同结局对应的达成条件，其中N为正整数；
S2采集用户观看影片时的面部表情数据和语音数据，分析处理后生成用户对不同角色理解的数据库；
S3对S2数据库中的用户理解数据进行相似度分析，生成用户理解的结局相似度分析；
S4用户选择是否更改角色结局，不更改则结束播放，更改则自动进行预设结局匹配并播放重制后的结局片段。
更进一步的，所述方法中，S1包括以下子步骤：
S11根据人物设定编写N个结局；
S12设定达成结局一的条件；
S13根据第一个结局剧本制作男一号A角色和女一号B角色的结局，并预留好男一号和女一号的造型素材数据库和骨骼模型数据库；
S14设定达成其他结局的条件，并根据该结局剧本进行制作，重复S11-S13，得到其他结局的用户观看体验情感数据库。
更进一步的，所述方法中，S2包括以下子步骤：
S21输入用户观看A角色和B角色之间对手戏片段时采集到的面部表***，将其转换为视频图像序列，并进行人脸识别和图像的旋转校正、人脸定位、图像尺度归一、灰度化处理；
S22利用LBP算子提取表情特征；
S23输入用户观看A角色和B角色之间对手戏片段时采集到的音频，对音频进行预处理；
S24计算每一帧的短时傅里叶变换，将时域数据转换为频域数据；
S25将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库；
S26输入用户观看不同角色对手戏片段时采集到的面部表情数据和语音数据进行分析，再录入到用户理解结局面部数据库和语音数据库，重复S21到S25，生成用户理解结局数据库及数据集合。
更进一步的，所述方法中，利用LBP算子提取表情特征，以中心像素为标准，将相邻的周围8像素的灰度值与中心点相比较，若周围像素的值大于中心像素，则标记为1，若小于中心像素，则标记为0；
LBP计算公式为：
其中(XC,YC)是中心像素，ic是中心像素的灰度值，in是相邻像素的灰度值，S是符号函数，即；
利用上述公式得到表情图像的LBP特征直方图，并根据LBP特征直方图对表情图像进行分类，包括高兴、悲伤、愤怒、恐惧、惊讶、厌恶及中性。
更进一步的，所述方法中，计算每一帧的短时傅里叶变换，将时域数据转换为频域数据，计算公式为X(i,k)＝FFT[Xi(t)]，其中i表示第i帧语音，k为对应信号在频域中的第k条谱线；
在频域数据的基础上取绝对值和平方获得谱线能量E(i,k)＝[X(i,k)]2，然后将谱线能量通过由多个带宽不等的三角滤波器组成的梅尔频率滤波器组进行滤波以模拟人耳对不同频段声音的感知能力，计算公式为,
其中M为滤波器的个数，N表示帧长；
最后求得梅尔频率倒谱系数
2，…,M.其中m是第m个滤波器，M为滤波器总数，q为DCT后的谱线，并根据梅尔频率倒谱系数对音频进行分类。
更进一步的，所述方法中，将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库；将用户观看第一个片段时的面部数据记为ab1 1，将用户观看第一个片段时的语音数据记为ab2 1；将用户观看第二个片段时的面部数据记为ab1 2，将用户观看第二个片段时的语音数据记为ab2 2；将用户观看第三个片段时的面部数据记为ab3 1，将用户观看第三个片段时的面部数据记为ab3 1，即A角色面部数据集合AB1＝{ab1 1,ab1 2,ab1 3,……,ab1 n}，A角色语音数据集合AB2＝{ab2 1,ab2 2,ab2 3,……,ab2 n}。
更进一步的，所述方法中，S3包括以下子步骤：
S31将用户观看A角色和B角色之间对手戏片段时的面部表情数据即数据集合AB1与结局一设定的观看体验情感数据库即数据集合AB进行比较；
S32将用户观看A角色和B角色之间对手戏片段时的语音数据即数据集合AB2与结局一设定的观看体验情感数据库即数据集合AB进行比较；
S33若S1中值为0的表示用户理解与剧本原设定不存在差异；若S1中值不为0的则表示用户理解与剧本原设定存在差异；
S34若S2中值为0的表示用户理解与剧本原设定不存在差异；若S2中值不为0的则表示用户理解与剧本原设定存在差异；
S35将用户观看A角色和B角色之间对手戏片段时的面部数据相似度和语音数据相似度进行整合；
S36将用户观看不同角色对手戏片段时的面部数据和语音数据与设定的达成其他结局观看体验情感数据进行对比，重复S31到S35，得出用户理解结局二相似度、用户理解结局三相似度、……。
更进一步的，所述方法中，AB1与AB之间的差异度记为S1，计算公式为
用户理解结局观看体验与结局一的差异度集合为S1＝{S1 1,S1 2,S1 3,……,S1 n}；
AB2与AB之间的差异度记为S2，计算公式为
用户理解与原剧本的差异度集合为S2＝{S2 1,S2 2,S2 3,……,S2 n}；
统计S1中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的面部数据相似度y1 1；
统计S2中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的语音数据相似度y1 2；
将面部数据相似度y1 1和语音数据相似度y1 2加权求和，y1＝αy1 1+βy1 2，其中α和β的值视具体情况而定，得到用户理解结局一相似度y1。
更进一步的，所述方法中，S4包括以下子步骤：
S41用户选择是否更改角色结局，选择不更改则结束播放，选择更改则进入新结局制作页面；
S42将采集到的用户观看不同角色对手戏片段的面部数据和语音数据与其他八个结局设定的观看体验情感数据进行对比；
其中y值越高，用户理解与条件设定相似度越高；y值越低，用户理解与条件设定相似度越低；
将用户理解不同结局相似度y1、y2、y3、……值进行排序，为用户匹配相似度分析最高的结局；
S43在预设结局匹配完成后，进入人物形象创建页面。用户可以选择扮演匹配结局中的某个角色，并通过角色造型素材数据库对两个角色的造型进行个性化设计；
S44MR设备播放用户匹配结局，同时通过外设设备对用户进行实时动作捕捉，获取用户动作骨骼模型运动轨迹，用户运动数据，使用采集到的用户运动数据驱动角色骨骼模型以达到用户扮演角色的效果。
第二方面，本发明提供了一种基于影片观看体验的虚拟现实交互装置，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行第一方面所述的基于影片观看体验的虚拟现实交互方法。
本发明的有益效果为：
本发明将用户放到首位，充分考虑观众观看电影的体验感，改变传统电影制作行业单向输出的方式，让观众可以参与到电影制作的过程中，实现观众观影体验对电影制作方的反馈。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的技术流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参照图1所示，本实施例提供一种基于影片观看体验的虚拟现实交互方法，包括以下步骤：
S1根据人物设定制作N个结局，同时设置不同结局对应的达成条件，其中N为正整数；
S2采集用户观看影片时的面部表情数据和语音数据，分析处理后生成用户对不同角色理解的数据库；
S3对S2数据库中的用户理解数据进行相似度分析，生成用户理解的结局相似度分析；
S4用户选择是否更改角色结局，不更改则结束播放，更改则自动进行预设结局匹配并播放重制后的结局片段。
本实施例通过提取MR设备所采集到用户观看VR影片时的数据，对用户的观看体验进行判定。之后结合用户观看体验，重新生成并输出用户所满意的故事情节。
本实施例结合VR技术的影片制作应该体现出VR技术所独有的互动性、沉浸感、构想性三大特性，可以很好地体现构想性，影片的故事情节发展由专业的电影从业人员决定，观众的想法能被考虑其中，用户体验度较现有技术而言有质的提升。
实施例2
在具体实施层面，本实施例提供了一种电影制作前期设置埋点的方法，本实施例制作N个结局并设置好不同结局的达成条件，具体如下：
步骤(1)：根据人物设定编写N个结局。本实施例优选为9个结局，男一A角色、男二C角色、男三E角色和女一B角色、女二D角色、女三F角色之间两两配对。
本实施例更进一步优选时，如结局一是男一和女一的故事、结局二是男一和女二的故事。
步骤(2)：设定达成结局一的条件。选取男一号A角色和女一号B角色之间的n个对手戏片段，并预先设定观众若想达成男一号A角色和女一号B角色的圆满结局所应该表现的情绪。
本实施例更进一步优选时，如男一号A角色和女一号B角色之间出现了争执则观众应该表现为悲伤、厌恶等负面情绪，得到结局一设定的用户观看体验情感数据库即数据集合AB。
步骤(3)：根据第一个结局剧本制作男一号A角色和女一号B角色的结局，同时预留好男一号和女一号的造型素材数据库和骨骼模型数据库。
步骤(4)：设定达成其他结局的条件，并根据该结局剧本进行制作，重复步骤(1)到步骤(3)，得到其他结局的用户观看体验情感数据库。
本实施例可以得到结局二用户观看体验情感数据集合AD、结局三用户观看体验情感数据集合AF、结局四用户观看体验情感数据集合CB、结局五用户观看体验情感数据集合CD、结局六用户观看体验情感数据集合CF、结局七用户观看体验情感数据集合EB、结局八用户观看体验情感数据集合ED、结局九用户观看体验情感数据集合EF。
实施例3
在具体实施层面，本实施例提供了一种采集并分析用户观看影片时的面部表情数据和语音数据，生成用户对不同角色理解的数据库时的具体实施，如下：
步骤(1)：输入用户观看A角色和B角色之间对手戏片段时采集到的面部表***，将其转换为视频图像序列。
本实施例对视频图像序列进行人脸识别和预处理，主要包括图像的旋转校正、人脸定位、图像尺度归一、灰度化处理。
步骤(2)：利用LBP算子提取表情特征。以中心像素为标准，将相邻的周围一圈8个像素的灰度值与中心点相比较，若周围像素的值大于中心像素，则标记为1，若小于中心像素，则标记为0。然后在这个九宫格中，就产生了8位二进制数，顺时针取值，就得到了一个二进制数，再将它转化成十进制数即可。
LBP计算公式为
其中(XC,YC)是中心像素，ic是中心像素的灰度值，in是相邻像素的灰度值，S是一个符号函数，即。
本实施例利用上述公式得到表情图像的LBP特征直方图。根据上述LBP特征直方图对表情图像进行分类，包括高兴、悲伤、愤怒、恐惧、惊讶、厌恶、中性七种。
步骤(3)：输入用户观看A角色和B角色之间对手戏片段时采集到的音频，对音频进行预处理，主要包括语音降噪、预加重、语音分帧、逐帧加窗。
步骤(4)：计算每一帧的短时傅里叶变换，将时域数据转换为频域数据，计算公式为X(i,k)＝FFT[Xi(t)](i表示第i帧语音，k为对应信号在频域中的第k条谱线)。
本实施例在频域数据的基础上取绝对值和平方获得谱线能量E(i,k)＝[X(i,k)]2。然后将谱线能量通过由多个带宽不等的三角滤波器组成的梅尔频率滤波器组进行滤波以模拟人耳对不同频段声音的感知能力
计算公式为，
(M为滤波器的个数通常取26，N表示帧长)。最后求得梅尔频率倒谱系数，
(m是第m个滤波器，M为滤波器总数，q为DCT后的谱线)。根据上述梅尔频率倒谱系数对音频进行分类。
步骤(5)：将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库。
本实施例将用户观看第一个片段时的面部数据记为ab1 1，将用户观看第一个片段时的语音数据记为ab2 1；将用户观看第二个片段时的面部数据记为ab1 2，将用户观看第二个片段时的语音数据记为ab2 2；将用户观看第三个片段时的面部数据记为ab3 1，将用户观看第三个片段时的面部数据记为ab3 1，即A角色面部数据集合AB1＝{ab1 1,ab1 2,ab1 3,……,ab1 n}，A角色语音数据集合AB2＝{ab2 1,ab2 2,ab2 3,……,ab2 n}。
步骤(6)：输入用户观看不同角色对手戏片段时采集到的面部表情数据和语音数据进行分析，再录入到用户理解结局面部数据库和语音数据库，重复步骤(1)到步骤(5)，生成用户理解结局数据库及数据集合AD1、AD2、AF1、AF2、……。
实施例4
在具体实施层面，本实施例提供了一种用户理解数据相似度分析，生成并上传用户理解的结局相似度分析时的具体实施，如下：
步骤(1)：将用户观看A角色和B角色之间对手戏片段时的面部表情数据即数据集合AB1与结局一设定的观看体验情感数据库即数据集合AB进行比较。
本实施例AB1与AB之间的差异度记为S1，计算公式为
即用户理解结局观看体验与结局一的差异度集合为S1＝{S1 1,S1 2,S1 3,……,S1 n}。
步骤(2)：将用户观看A角色和B角色之间对手戏片段时的语音数据即数据集合AB2与结局一设定的观看体验情感数据库即数据集合AB进行比较。
本实施例AB2与AB之间的差异度记为S2；
计算公式为
即用户理解与原剧本的差异度集合为S2＝{S2 1,S2 2,S2 3,……,S2 n}。
步骤(3)：若S1中值为0的表示用户理解与剧本原设定不存在差异；若S1中值不为0的则表示用户理解与剧本原设定存在差异。
本实施例统计S1中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的面部数据相似度y1 1。
步骤(4)：若S2中值为0的表示用户理解与剧本原设定不存在差异；若S2中值不为0的则表示用户理解与剧本原设定存在差异。
本实施例统计S2中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的语音数据相似度y1 2。
步骤(5)：将用户观看A角色和B角色之间对手戏片段时的面部数据相似度和语音数据相似度进行整合。
本实施例将面部数据相似度y1 1和语音数据相似度y1 2加权求和，y1＝αy1 1+βy1 2(α和β的值视具体情况而定)，得到用户理解结局一相似度y1。
步骤(6)：将用户观看不同角色对手戏片段时的面部数据和语音数据与环节1设定的达成其他结局观看体验情感数据进行对比，重复步骤(1)到步骤(5)，得出用户理解结局二相似度y2、用户理解结局三相似度y3、……。
实施例5
在具体实施层面，本实施例提供了一种制作和播放重制结局片段时的具体实施，如下：
步骤(1)：用户选择是否更改角色结局，选择不更改则结束播放，选择更改则进入新结局制作页面。
步骤(2)：将采集到的用户观看不同角色对手戏片段的面部数据和语音数据与其他八个结局设定的观看体验情感数据进行对比。
本实施例中，y值越高，用户理解与条件设定相似度越高；y值越低，用户理解与条件设定相似度越低。
本实施例将用户理解不同结局相似度y1、y2、y3、……值进行排序，为用户匹配相似度分析最高的结局。
步骤(3)：在预设结局匹配完成后，进入人物形象创建页面。
本实施例中，用户可以选择扮演匹配结局中的某个角色，并通过角色造型素材数据库对两个角色的造型进行个性化设计。
步骤(4)：MR设备播放用户匹配结局，同时通过外设设备对用户进行实时动作捕捉，获取用户动作骨骼模型运动轨迹。
本实施例用户运动数据，使用采集到的用户运动数据驱动角色骨骼模型以达到用户扮演角色的效果。
综上，本发明从观众观看影片的体验出发，将用户放到首位，充分考虑观众观看电影的体验感，改变传统电影制作行业单向输出的方式，让观众可以参与到电影制作的过程中，实现观众观影体验对电影制作方的反馈。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于影片观看体验的虚拟现实交互方法，其特征在于，包括以下步骤：
S1根据人物设定制作N个结局，同时设置不同结局对应的达成条件，其中N为正整数；
S2采集用户观看影片时的面部表情数据和语音数据，分析处理后生成用户对不同角色理解的数据库；
S3对S2数据库中的用户理解数据进行相似度分析，生成用户理解的结局相似度分析；
S4用户选择是否更改角色结局，不更改则结束播放，更改则自动进行预设结局匹配并播放重制后的结局片段。
2.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S1包括以下子步骤：
S11根据人物设定编写N个结局；
S12设定达成结局一的条件；
S13根据第一个结局剧本制作男一号A角色和女一号B角色的结局，并预留好男一号和女一号的造型素材数据库和骨骼模型数据库；
S14设定达成其他结局的条件，并根据该结局剧本进行制作，重复S11-S13，得到其他结局的用户观看体验情感数据库。
3.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S2包括以下子步骤：
S21输入用户观看A角色和B角色之间对手戏片段时采集到的面部表***，将其转换为视频图像序列，并进行人脸识别和图像的旋转校正、人脸定位、图像尺度归一、灰度化处理；
S22利用LBP算子提取表情特征；
S23输入用户观看A角色和B角色之间对手戏片段时采集到的音频，对音频进行预处理；
S24计算每一帧的短时傅里叶变换，将时域数据转换为频域数据；
S25将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库；
S26输入用户观看不同角色对手戏片段时采集到的面部表情数据和语音数据进行分析，再录入到用户理解结局面部数据库和语音数据库，重复S21到S25，生成用户理解结局数据库及数据集合。
4.根据权利要求3所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，利用LBP算子提取表情特征，以中心像素为标准，将相邻的周围8像素的灰度值与中心点相比较，若周围像素的值大于中心像素，则标记为1，若小于中心像素，则标记为0；
LBP计算公式为：
其中(XC,YC)是中心像素，ic是中心像素的灰度值，in是相邻像素的灰度值，S是符号函数，即；
利用上述公式得到表情图像的LBP特征直方图，并根据LBP特征直方图对表情图像进行分类，包括高兴、悲伤、愤怒、恐惧、惊讶、厌恶及中性。
5.根据权利要求3所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，计算每一帧的短时傅里叶变换，将时域数据转换为频域数据，计算公式为X(i,k)＝FFT[Xi(t)]，其中i表示第i帧语音，k为对应信号在频域中的第k条谱线；
在频域数据的基础上取绝对值和平方获得谱线能量E(i,k)＝[X(i,k)]2，然后将谱线能量通过由多个带宽不等的三角滤波器组成的梅尔频率滤波器组进行滤波以模拟人耳对不同频段声音的感知能力，计算公式为,
其中M为滤波器的个数，N表示帧长；
最后求得梅尔频率倒谱系数，
2，…,M.其中m是第m个滤波器，M为滤波器总数，q为DCT后的谱线，并根据梅尔频率倒谱系数对音频进行分类。
6.根据权利要求3所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，将A角色和B角色之间对手戏片段的用户观看时的面部数据和语音数据录入到用户理解的结局一数据库；将用户观看第一个片段时的面部数据记为ab1 1，将用户观看第一个片段时的语音数据记为ab2 1；将用户观看第二个片段时的面部数据记为ab1 2，将用户观看第二个片段时的语音数据记为ab2 2；将用户观看第三个片段时的面部数据记为ab3 1，将用户观看第三个片段时的面部数据记为ab3 1，即A角色面部数据集合AB1＝{ab1 1,ab1 2,ab1 3,……,ab1 n}，A角色语音数据集合AB2＝{ab2 1,ab2 2,ab2 3,……,ab2 n}。
7.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S3包括以下子步骤：
S31将用户观看A角色和B角色之间对手戏片段时的面部表情数据即数据集合AB1与结局一设定的观看体验情感数据库即数据集合AB进行比较；
S32将用户观看A角色和B角色之间对手戏片段时的语音数据即数据集合AB2与结局一设定的观看体验情感数据库即数据集合AB进行比较；
S33若S1中值为0的表示用户理解与剧本原设定不存在差异；若S1中值不为0的则表示用户理解与剧本原设定存在差异；
S34若S2中值为0的表示用户理解与剧本原设定不存在差异；若S2中值不为0的则表示用户理解与剧本原设定存在差异；
S35将用户观看A角色和B角色之间对手戏片段时的面部数据相似度和语音数据相似度进行整合；
S36将用户观看不同角色对手戏片段时的面部数据和语音数据与设定的达成其他结局观看体验情感数据进行对比，重复S31到S35，得出用户理解结局二相似度、用户理解结局三相似度、……。
8.根据权利要求7所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，AB1与AB之间的差异度记为S1，计算公式为
用户理解结局观看体验与结局一的差异度集合为S1＝{S1 1,S1 2,S1 3,……,S1 n}；
AB2与AB之间的差异度记为S2，计算公式为
用户理解与原剧本的差异度集合为S2＝{S2 1,S2 2,S2 3,……,S2 n}；
统计S1中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的面部数据相似度y1 1；
统计S2中值为0的元素个数占全部元素个数的百分比，记为用户观看A角色和B角色之间对手戏片段时的语音数据相似度y1 2；
将面部数据相似度y1 1和语音数据相似度y1 2加权求和，y1＝αy1 1+βy1 2，其中α和β的值视具体情况而定，得到用户理解结局一相似度y1。
9.根据权利要求1所述的基于影片观看体验的虚拟现实交互方法，其特征在于，所述方法中，S4包括以下子步骤：
S41用户选择是否更改角色结局，选择不更改则结束播放，选择更改则进入新结局制作页面；
S42将采集到的用户观看不同角色对手戏片段的面部数据和语音数据与其他八个结局设定的观看体验情感数据进行对比；
其中y值越高，用户理解与条件设定相似度越高；y值越低，用户理解与条件设定相似度越低；
将用户理解不同结局相似度y1、y2、y3、……值进行排序，为用户匹配相似度分析最高的结局；
S43在预设结局匹配完成后，进入人物形象创建页面。用户可以选择扮演匹配结局中的某个角色，并通过角色造型素材数据库对两个角色的造型进行个性化设计；
S44MR设备播放用户匹配结局，同时通过外设设备对用户进行实时动作捕捉，获取用户动作骨骼模型运动轨迹，用户运动数据，使用采集到的用户运动数据驱动角色骨骼模型以达到用户扮演角色的效果。
10.一种基于影片观看体验的虚拟现实交互装置，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1至9中任一所述的基于影片观看体验的虚拟现实交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523881.1A CN114296589A (zh) | 2021-12-14 | 2021-12-14 | 一种基于影片观看体验的虚拟现实交互方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111523881.1A CN114296589A (zh) | 2021-12-14 | 2021-12-14 | 一种基于影片观看体验的虚拟现实交互方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114296589A true CN114296589A (zh) | 2022-04-08 |
Family
ID=80968714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111523881.1A Pending CN114296589A (zh) | 2021-12-14 | 2021-12-14 | 一种基于影片观看体验的虚拟现实交互方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114296589A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106604014A (zh) * | 2016-12-07 | 2017-04-26 | 惠州Tcl移动通信有限公司 | 一种基于移动终端vr观影多人互动的方法及其*** |
| CN107610708A (zh) * | 2017-06-09 | 2018-01-19 | 平安科技（深圳）有限公司 | 识别声纹的方法及设备 |
| CN109508071A (zh) * | 2018-10-31 | 2019-03-22 | 大连今晨科技有限公司 | 虚拟现实显示器与kinect相结合的应用方法 |
| CN110677707A (zh) * | 2019-09-26 | 2020-01-10 | 林云帆 | 交互视频的生成方法、生成装置、设备及可读介质 |
| CN110809175A (zh) * | 2019-09-27 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 视频推荐方法及装置 |
| CN112190949A (zh) * | 2020-10-29 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 互动剧情跳转方法、互动剧情界面显示方法、装置及设备 |
| CN113539243A (zh) * | 2021-07-06 | 2021-10-22 | 上海商汤智能科技有限公司 | 语音分类模型的训练方法、语音分类方法及相关装置 |
-
2021
- 2021-12-14 CN CN202111523881.1A patent/CN114296589A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106604014A (zh) * | 2016-12-07 | 2017-04-26 | 惠州Tcl移动通信有限公司 | 一种基于移动终端vr观影多人互动的方法及其*** |
| CN107610708A (zh) * | 2017-06-09 | 2018-01-19 | 平安科技（深圳）有限公司 | 识别声纹的方法及设备 |
| CN109508071A (zh) * | 2018-10-31 | 2019-03-22 | 大连今晨科技有限公司 | 虚拟现实显示器与kinect相结合的应用方法 |
| CN110677707A (zh) * | 2019-09-26 | 2020-01-10 | 林云帆 | 交互视频的生成方法、生成装置、设备及可读介质 |
| CN110809175A (zh) * | 2019-09-27 | 2020-02-18 | 腾讯科技（深圳）有限公司 | 视频推荐方法及装置 |
| CN112190949A (zh) * | 2020-10-29 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 互动剧情跳转方法、互动剧情界面显示方法、装置及设备 |
| CN113539243A (zh) * | 2021-07-06 | 2021-10-22 | 上海商汤智能科技有限公司 | 语音分类模型的训练方法、语音分类方法及相关装置 |
Non-Patent Citations (4)
| Title |
|---|
| 徐海峰;吕锋;李明月;: "基于虚拟现实技术在当代电影中的应用分析与探究" * |
| 施徐敢等: "人脸表情识别研究的新进展" * |
| 李丹丹;吕威;: "虚拟现实技术在互动电影中的应用" * |
| 马骏: "基于特征融合的人脸表情识别" * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | What comprises a good talking-head video generation?: A survey and benchmark | |
| CN108804578B (zh) | 基于一致性片段生成的无监督视频摘要方法 | |
| CN110832583A (zh) | 用于从多个图像帧生成概要故事板的***和方法 | |
| JP2010010780A (ja) | 電子機器、映像コンテンツ編集方法及びプログラム | |
| CN108305308A (zh) | 虚拟形象的线下展演***及方法 | |
| US11144764B1 (en) | Systems, methods, and storage media for selecting video portions for a video synopsis of streaming video content | |
| CN104320670A (zh) | 一种网络视频的摘要信息提取方法及*** | |
| JP2020127714A (ja) | ビデオゲーム映像からオーディオビジュアルコンテンツを生成する方法およびシステム | |
| US20240054711A1 (en) | Method for Audio-Driven Character Lip Sync, Model for Audio-Driven Character Lip Sync and Training Method Therefor | |
| CN115578512A (zh) | 语音播报视频的生成模型训练和使用方法、装置及设备 | |
| KR20210066206A (ko) | 딥러닝을 이용한 맞춤형 광고 제작 장치 | |
| EP4345814A1 (en) | Video-generation system | |
| CN111615008B (zh) | 基于多设备体验的智能摘要生成和字幕阅读*** | |
| CN114296589A (zh) | 一种基于影片观看体验的虚拟现实交互方法及装置 | |
| Chen et al. | Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss | |
| KR102177854B1 (ko) | 개인화된 하이라이트 동영상 생성 시스템 | |
| US20070242161A1 (en) | System and method to insert a person into a movie clip | |
| CN115225962B (zh) | 视频生成方法、***、终端设备及介质 | |
| US11461948B2 (en) | System and method for voice driven lip syncing and head reenactment | |
| KR102369620B1 (ko) | 다중 시구간 정보를 이용한 하이라이트 영상 생성 장치 및 방법 | |
| US10998006B1 (en) | Method and system for producing binaural immersive audio for audio-visual content | |
| KR102293073B1 (ko) | 비디오 영상의 맥락을 고려한 핵심 영상 생성 장치 및 방법 | |
| Torrejon et al. | Rotoscope automation with deep learning | |
| Neri et al. | Unsupervised video orchestration based on aesthetic features | |
| Maningo et al. | A Smart Space with Music Selection Feature Based on Face and Speech Emotion and Expression Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220408 |