CN109690450B - Vr场景下的角色模拟方法和终端设备 - Google Patents

Vr场景下的角色模拟方法和终端设备 Download PDF

Info

Publication number
CN109690450B
CN109690450B CN201780054152.1A CN201780054152A CN109690450B CN 109690450 B CN109690450 B CN 109690450B CN 201780054152 A CN201780054152 A CN 201780054152A CN 109690450 B CN109690450 B CN 109690450B
Authority
CN
China
Prior art keywords
scene
virtual
prop
role
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780054152.1A
Other languages
English (en)
Other versions
CN109690450A (zh
Inventor
张弘毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of CN109690450A publication Critical patent/CN109690450A/zh
Application granted granted Critical
Publication of CN109690450B publication Critical patent/CN109690450B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1081—Input via voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

一种VR场景下的角色模拟方法和终端设备，其中，一种VR场景下的角色模拟方法，包括：获取手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；根据所述角色获取指令从所述VR场景中确定出虚拟角色；根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；通过VR显示器显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。

Description

VR场景下的角色模拟方法和终端设备
技术领域
本发明实施例涉及通信领域，尤其涉及一种虚拟现实(Virtual Reality，VR)下的角色模拟方法和终端设备。
背景技术
目前点唱机应用广泛，点唱机的点歌***可以支持玩家在曲库内选择想要演唱的歌曲，可实现玩家与点歌***的简单交互。但是目前这样的点歌***主要都是单机版，每个玩家只能自娱自乐，只能像“对牛弹琴”一样面对一台机器唱歌，没有身临其境的氛围。
卡拉OK如今已经成为人们最基本的社交体验之一了，亲朋好友之间总会选择轰趴KTV这样的娱乐场所包间中进行聚会，但是受限于地理位置，对于相隔很远的两个人来说，无法体验到真实KTV的感觉。
根据以上分析可以看出，传统的点唱机和卡拉OK，并不能给玩家很好的演唱体验，都无法给玩家带来沉浸式的角色体验。
发明内容
本发明实施例提供了一种VR场景下的角色模拟方法和终端设备，能够实现VR场景的角色模拟，给玩家带来沉浸式的角色体验。
第一方面，本发明实施例提供一种VR场景下的角色模拟方法，包括：
获取手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；
根据所述角色获取指令从所述VR场景中确定出虚拟角色；
根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
通过VR显示器显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。
第二方面，本发明实施例提供一种终端设备，包括：
获取模块，用于获取手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；
角色确定模块，用于根据所述角色获取指令从所述VR场景中确定出虚拟角色；
道具调整模块，用于根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
显示模块，用于通过VR显示器显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。
第三方面，本发明实施例还提供一种终端设备，所述终端设备包括：处理器、存储器、交互控制器和VR显示器；所述处理器、所述存储器通过总线相互的通信，所述处理器通过无线网络与所述交互控制器和所述VR显示器相互的通信；
所述交互控制器，用于控制手部模型的移动；
所述存储器用于存储程序、指令和数据；
所述处理器，调用所述存储器中的程序、指令和数据，用于：
获取手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；根据所述角色获取指令从所述VR场景中确定出虚拟角色；并根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
所述VR显示器，用于在所述处理器的控制下，显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。
在本发明的第三方面中，终端设备的组成模块还可以执行前述第一方面以及各种可能的实现方式中所描述的步骤，详见前述对第一方面以及各种可能的实现方式中的说明。
本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先获取手部模型在VR场景下触发的角色获取指令，该手部模型在VR场景下的移动由交互控制器控制，然后根据角色获取指令从VR场景中确定出虚拟角色，接下来根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，最后通过VR显示器显示VR场景下的虚拟角色，并显示动态调整后的虚拟道具。通过本发明实施例中根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，使得在VR场景下的虚拟道具可以实现动态调整，当玩家听到VR场景下播放的音乐文件时，再通过眼睛察觉到虚拟道具伴随音乐文件的动态调整，能够实现VR场景的角色模拟，给玩家带来沉浸式的角色体验。
附图说明
图1为本发明实施例提供的一种VR场景下的角色模拟方法的流程方框示意图；
图2为本发明实施例提供的虚拟演唱会场景下的演唱者角色演唱歌曲的处理流程示意图；
图3为本发明实施例提供的虚拟演唱会场景下的K歌场景的示意图；
图4为本发明实施例提供的歌词屏、舞台灯、观众席表现与演唱者角色进行交互的示意图；
图5为本发明实施例提供的用于控制灯光运动和闪动的时间轴界面图；
图6为本发明实施例提供的动态遮罩的处理流程示意图；
图7-a为本发明实施例提供的交互道具为沙锤的的一种实现场景示意图；
图7-b为本发明实施例提供的沙锤的多个状态之间的切换过程示意图；
图8-a为本发明实施例提供的交互道具为荧光棒的一种实现场景示意图；
图8-b为本发明实施例提供的荧光棒与泡泡之间碰撞的处理过程示意图；
图9-a为本发明实施例提供的一种终端设备的组成结构示意图；
图9-b为本发明实施例提供的另一种终端设备的组成结构示意图；
图10为本发明实施例提供的另一种终端设备的组成结构示意图。
具体实施方式
本发明实施例提供了一种VR场景下的角色模拟方法和终端设备，能够实现VR场景的角色模拟，给玩家带来沉浸式的角色体验。
下面结合附图，对本发明的实施例进行描述。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本发明的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
虚拟现实(Virtual Reality，VR)技术是一种可以创建和体验虚拟世界的计算机仿真***，它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的***仿真，使用户沉浸到该环境中。目前的VR技术主要应用在VR游戏中，而本发明实施例可以基于VR场景实现角色的模拟，使得在VR场景中玩家可以使用手部模型进行角色控制，从而通过虚拟角色来代表玩家进行体验，还可以在VR场景显示角色和虚拟道具，这些虚拟道具可以根据VR场景下播放的音乐文件进行动态调整，通过VR的体验和操作方式，赋予玩家很大的自由度，较普通的K歌***而言有无可比拟的强沉浸感。现有技术中，对于相隔很远的两个人来说，一起体验真实KTV的感觉就很难了。本发明实施例提供的VR场景下的角色模拟方案，可以帮助用户用双眼看到虚拟场景，且可以提供虚拟的卡拉OK体验。
本发明VR场景下的角色模拟方法的一个实施例，具体可以应用于VR场景下使用手部模型对用户使用交互控制器进行真实感体验的场景中，本发明实施例中VR场景具体可以指的是VR游戏场景，也可以指的是应用程序的VR操作场景，例如办公软件的VR应用操作场景、角色的VR应用操作场景等。请参阅图1所示，本发明一个实施例提供的VR场景下的角色模拟方法，可以包括如下步骤：
101、获取手部模型在VR场景下触发的角色获取指令，手部模型在VR场景下的移动由交互控制器控制。
在本发明实施例中，交互控制器是VR设备厂商生产的控制设备，例如，用户可以使用左右手各手持一个交互控制器，交互控制器是VR设备配套的手部操控设备，可以追踪双手的位置、旋转和输入，通过真实空间的手部移动，转为手部模型在VR中的动作，将获取到的相关数据在VR场景中使用。交互控制器的定位可以通过对测量空间中的测量数据进行实时统计得到，测量空间是由VR硬件设备厂商生产的定位***所标定的真实物理空间，通常为几平米到几十平米，测量空间用于获取交互控制器在该真实物理空间中的旋转和移动。例如交互控制器可以是VR游戏中常用的操作手柄，例如Oculus Touch。
本发明实施例中，交互控制器可以由用户手持操作，用户可以握起交互控制器下发控制指令，例如用户操作交互控制器，通过该交互控制器控制手部模型在VR场景下触发角色获取指令。其中，在VR场景的显示之前，玩家都可以进行角色的选择，本发明实施例中在VR场景下可以设置多种不同的虚拟角色，每个玩家可以控制一个或多个虚拟角色，每个玩家在进入到VR场景的房间之后，都可以通过各自的交互控制器来选择本玩家相应的角色，即每个玩家都会使用交互控制器来控制手部模型触发一个角色选择指令。对于不同的VR场景，所需要设置的角色种类和角色模型都不相同，例如VR场景为演唱会的角色模拟场景，则可以设置有观众角色和演唱者角色(例如明星角色)。又如VR场景为游戏对战的角色模拟场景，则可以设置有多个战队的角色，可包括：友方战队和敌方战队等。
需要说明的是，本发明实施例中，交互控制器由用户的手持控制进行指令的触发，交互控制器的指令触发控制手部模型在VR场景下进行移动操作，交互控制器的移动可以由用户来控制，另外本发明实施例中手部模型可以属于虚拟角色的一部分，也可以独立于虚拟角色。手部模型在VR场景的移动用于模拟交互控制器进行的触发操作，手部模型在VR场景下可以先显示为一个手部的造型，也可以是代替手部进行触发操作的一个游戏道具，例如手套或者手指等。
102、根据角色获取指令从VR场景中确定出虚拟角色。
在本发明实施例中，玩家操作交互控制器，交互控制器可以控制手部模型的移动，该手部模型可以触发角色获取指令，通过该角色获取指令的要求可以从VR场景中确定出虚拟角色，例如该角色获取指令携带有角色下拉菜单中被玩家选中的角色名称和角色标识，则可以根据该角色名称和角色标识确定出在该VR场景下需要显示的虚拟角色，另外，还可以根据角色获取指令所携带的参数信息来输入玩家所要求的文件信息，通过该文件信息可以确定出在该VR场景下需要显示的虚拟角色。
需要说明的是，在本发明实施例中，VR场景下选择出的角色模型可以不出现在VR场景中，角色模型上挂载的相机镜头是用户头戴VR显示器时观看VR场景的视角，随着手部模型的移动相机镜头也需要时刻移动，从而使用户体验到手部模型移动过程中的角色模型的移动。
在本发明的一些实施例中，前述步骤101获取手部模型在VR场景下触发的角色获取指令，包括：
A1、检测手部模型在VR场景下选取的待演唱歌曲，并将待演唱歌曲加入到点歌列表中；
A2、根据手部模型的选取操作确定角色获取指令。
其中，VR场景可以为演唱会的角色模拟场景，玩家可以操作交互控制器，通过该交互控制器控制手部模型选择出待演唱歌曲，其中，待演唱歌曲可以是一首或者多个歌曲，玩家选择出歌曲之后，将该待演唱歌曲加入到点歌列表中。通过点歌列表的扩充可以确定出有新的待演唱歌曲加入进来，此时根据手部模型对歌曲的选取操作确定玩家发出了角色获取指令。
进一步的，在前述执行步骤A1和步骤A2的实现场景下，步骤102根据角色获取指令从VR场景中确定出虚拟角色，包括：
B1、根据点歌列表确定虚拟角色的演唱顺序；
B2、若按照演唱顺序轮到虚拟角色演唱歌曲时，确定虚拟角色的当前角色状态是演唱者角色，并激活麦克风；
B3、若按照演唱顺序没有轮到虚拟角色演唱歌曲时，确定虚拟角色的当前角色状态是观众角色。
其中，多个玩家都可以进入相同的VR场景，则多个玩家可以实现在VR场景下的虚拟交互，每个玩家在VR场景下都可以看到点歌列表，例如通过VR显示器的屏幕上观看到点歌列表，该点歌列表中包括有多个玩家中每个玩家所点的待演唱歌曲，则在点歌列表中可以点歌的时间或者虚拟角色的优先权确定出演唱顺序，例如虚拟角色扮演的明星所属地区与待演唱歌曲的榜单所属地区相一致时，该虚拟角色具有高的优先权，由此可以排在演唱顺序的前列。其中演唱顺序是多个虚拟角色的角色状态切换依据，若按照演唱顺序轮到虚拟角色演唱歌曲时，确定虚拟角色的当前角色状态是演唱者角色，并激活麦克风。若按照演唱顺序没有轮到虚拟角色演唱歌曲时，确定虚拟角色的当前角色状态是观众角色。举例说明如下，玩家可以操作终端设备，例如VR客户端，每个玩家通过终端设备的应用程序界面进入房间后会看到虚拟演唱会场景，该虚拟演唱会场景中加载有手部模型，玩家可以操作该手部模型在观众席的位置上进行自由探索，通过手部模型触发点歌操作，从而可以呼出菜单点歌，当歌单轮到该玩家操作的虚拟角色时，终端设备的麦克风会被激活，终端设备将上一位演唱者的虚拟角色自动传送到观众席上，此时上一玩家的虚拟角色的角色状态是观众角色，接下来终端设备再将当前玩家的虚拟角色传送到舞台上开始表演，此时该虚拟角色的当前角色状态是演唱者角色。
在本发明的一些实施例中，本发明实施例除了执行前述的各个步骤之外，本发明实施例提供的方法还可以执行如下场景来生成音乐文件，具体的，该方法还包括如下步骤：
C1、从歌曲数据库中获取待演唱歌曲的伴奏文件和歌词文件；
C2、通过麦克风采集演唱者角色演唱的声音文件；
C3、根据伴奏文件、歌词文件和声音文件确定VR场景下播放的音乐文件。
其中，VR场景可以为演唱会的角色模拟场景，在歌曲数据库中可以存储多个歌曲的伴奏文件和歌词文件，当玩家确定需要演唱哪首歌曲时，可以从歌曲数据库中获取待演唱歌曲的伴奏文件和歌词文件，通过麦克风采集演唱者角色演唱的声音文件，则根据伴奏文件、歌词文件和声音文件确定VR场景下播放的音乐文件。例如，可以识别当前演唱者是否正在演唱，如果正在演唱，则采集该演唱者角色的声音情况，得到声音文件，如果当前演唱者不在演唱，则可以采集伴奏文件和歌词文件。
103、根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具。
在本发明实施例中，为了满足玩家在该VR场景下的沉浸感的需求，可以根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，其中，动态调整可以是在预先拟定的播放顺序时间轴上按照VR场景下播放的音乐文件的播放进展情况实时调整，例如动态调整VR场景下的虚拟道具，可以是动态更好虚拟道具，或者动态调整虚拟道具的各方面参数，例如颜色显示参数、方向指向参数、振动频率参数等等。通过本发明实施例中根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，使得在VR场景下的虚拟道具可以实现动态调整，当玩家听到VR场景下播放的音乐文件时，再通过眼睛察觉到虚拟道具伴随音乐文件的动态调整，从而可以为用户带来更强的沉浸感。
需要说明的是，本发明实施例中VR场景下播放的音乐文件可以是玩家输入到的音乐文件，也可以是VR场景下的***自配置音乐文件，也可以是从玩家实时采集到的音乐文件，此处不做限定。其中，VR场景下播放的音乐文件可以是一段有音符的音乐信息，或者是只有旋律的一段音乐数据，或者是从玩家处采集到的一段连续语音数据等，此处不做限定。
本发明实施例中在VR场景下的虚拟道具可以有多种，例如虚拟道具可以是VR场景下的场景道具，即用于装饰场景以及辅助场景的道具，该虚拟道具还可以是多个玩家在同一个VR场景进行交互的交互道具。以VR场景可以为演唱会的角色模拟场景为例，例如场景道具可以是VR场景下显示的舞台、灯光、气球等，交互道具可以是手部模型所操作的荧光棒、沙锤、锣鼓等。
在本发明的一些实施例中，步骤103根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，包括：
D1、根据音乐文件的音乐节奏快慢确定全局倍率参数；
D2、使用全局倍率参数动态调整VR场景下的虚拟道具。
其中，获取到VR场景下播放的音乐文件之后，对该音乐文件进行解析，确定音乐文件的音乐节奏快慢，以音乐节奏快慢作为参考，可以生成全局倍率参数。举例说明，通过音乐文件可以获取每首歌的每一分钟的节拍数量(Beat Per Minute，BPM)，读入该BPM之后，根据音乐文件的BPM确定出全部倍率参数，然后通过数值转换计算出该虚拟道具的动态调整周期。其中，全局倍率参数用于表示在预先拟定的播放顺序时间轴上按照VR场景下播放的音乐文件的播放进展情况，通过全局维护的一个静态指针可以获取到该全局倍率参数，通过该全局倍率参数可以动态调整VR场景下的虚拟道具。举例说明如下，为了保证全局统一，在游戏状态中添加了一个全局倍率参数，该全局倍率参数可用于控制虚拟道具，玩家戴上VR显示器和耳机之后，就如同进入了一个全新的世界一般，眼睛看到的风光与耳朵听到的声音是互相匹配的，视觉和听觉会得到很大程度的满足，为玩家提供较强的沉浸感体验。本发明实施例中可以使用全局倍率参数控制虚拟道具，使得虚拟道具的添加与运行都实现动态可控，便于虚拟场景下的虚拟道具设置。
在本发明的一些实施例中，步骤D2使用所述全局倍率参数动态调整所述VR场景下的虚拟道具，包括：
将所述全局倍率参数传入循环播放时间轴；
根据所述循环播放时间轴的播放周期设置所述虚拟道具的道具属性参数。
其中，全局倍率参数可表示在预先拟定的播放顺序时间轴上按照VR场景下播放的音乐文件的播放进展情况，通过全局维护的一个静态指针可以获取到该全局倍率参数，通过该全局倍率参数方便地控制VR场景内虚拟道具的道具属性参数，该道具属性参数可以包括道具的运动参数或者材质，将全局倍率参数传入一个循环播放的时间轴，就可以设置时间轴的播放周期与道具属性参数相吻合，从而得到充满节奏感的动态环境效果。举例说明，虚拟道具具体可以是VR场景下的交互道具，通过该全局倍率参数可以控制交互道具产生的数量和频率，例如控制VR场景下的泡泡数量和产生频率。
进一步的，在本发明的一些实施例中，虚拟道具，包括：VR场景下的场景道具。在这种实现场景下，步骤D2使用全局倍率参数动态调整VR场景下的虚拟道具，包括：
D21、使用全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图；
D22、将动态遮罩纹理贴图和场景道具的原始颜色纹理贴图进行相乘运算，得到场景道具的实际颜色纹理贴图。
其中，场景道具需要显示在VR场景下，对该场景道具可以使用纹理贴图的方式来显示场景道具，例如为场景道具分别配置原始遮罩纹理贴图和原始颜色纹理贴图，原始遮罩纹理贴图和原始颜色纹理贴图都可以通过具体像素的UV坐标来表示。原始颜色纹理贴图可以提供场景道具的全局颜色，例如该原始颜色纹理贴图可以包含多种颜色的纹理贴图，原始遮罩纹理贴图可以对场景道具提供部分颜色的遮罩处理，例如该原始遮罩纹理贴图可以是黑白纹理图。首先根据该全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图，该动态遮罩纹理贴图可以根据全局倍率参数进行局部纹理的变换，得到动态遮罩纹理贴图之后，再将动态遮罩纹理贴图和场景道具的原始颜色纹理贴图进行相乘运算，得到场景道具的实际颜色纹理贴图，该实际颜色纹理贴图可最终显示在VR场景下的实际颜色，通过动态遮罩纹理贴图和原始颜色纹理贴图的叠加，可以使得场景道具在VR场景下显示不同的颜色，而动态遮罩纹理贴图又是通过全局倍率参数对原始遮罩纹理贴图进行处理得到，因此场景道具的实际颜色纹理贴图可以实现动态调整。举例说明，可以使用虚幻引擎的最新版本UE4进行纹理贴图的渲染，该款引擎为游戏开发者提供强大的图形渲染、物理碰撞、资源管理功能。本发明实施例中纹理贴图的遮罩可以通过遮罩mask来控制动态材质的表现模式。
104、通过VR显示器显示VR场景下的虚拟角色，并显示动态调整后的虚拟道具。
在本发明实施例中，VR显示器是VR设备厂商生产的显示设备，例如VR显示器可以是HTC VIVE，这是HTC公司与Valve公司联合开发的一款虚拟现实头戴式显示器产品。
在本发明实施例中，通过前述步骤102确定出VR场景下所需要显示的虚拟角色之后，以及通过前述步骤103将VR场景下所需要显示的虚拟道具进行动态调整之后，可以通过VR显示器向玩家显示VR场景下的虚拟角色，并在显示虚拟角色的过程中，通过该VR显示器显示动态调整后的虚拟道具，通过步骤103可知，这些虚拟道具可以根据VR场景下播放的音乐文件动态调整，从而通过VR显示器就可以实现根据该音乐文件动态显示虚拟道具。
在本发明的一些实施例中，由前述举例说明可知，虚拟道具具体可以包括：VR场景下的交互道具。在这种实现场景下，步骤104显示动态调整后的虚拟道具，包括：
E1、通过交互控制器的移动控制交互道具在VR场景下的移动；
E2、采集交互道具的移动信息，移动信息包括如下信息中的至少一种：速度、角速度、加速度和角加速度；
E3、根据移动信息控制交互道具在VR场景下是否发出声音。
其中，若虚拟道具具体为VR场景下的交互道具，则玩家通过交互控制器可以控制交互道具的移动，例如在交互控制器上设置有传感器，可以采集到交互控制器的移动信息作为交互道具的移动信息，该移动信息包括如下信息中的至少一种：速度、角速度、加速度和角加速度，最后可以根据移动信息控制交互道具在VR场景下是否发出声音，其中，控制声音的发出需要根据交互道具的移动信息来确定，具有多种实现策略，例如可以根据速度的取值快慢来确定是否发出声音，以及发出什么样的声音，或者考虑角速度的取值带下来确定是否发出声音，或者上述几种移动信息可相互结合共同用于确定是否发出声音。举例说明如下，以VR场景为演唱会的角色交互场景为例，该交互道具可以是演唱者角色所采用的沙锤或者锣鼓等，以锣鼓伴奏为例，锣鼓伴奏需要解决的关键问题是动作和声音之间的匹配，完全通过速度、角速度、加速度和角加速度这四个变量来模拟碰撞。
在本发明的一些实施例中，步骤E3根据所述移动信息控制所述交互道具在所述VR场景下是否发出声音，包括：
根据预置的发声判断条件，所述发声判断条件包括如下阈值条件中的至少一种：速度阈值条件、角速度阈值条件、加速度阈值条件和角角速度阈值条件；
根据所述移动信息是否满足所述发声判断条件；
当所述移动信息满足所述发声判断条件时，控制所述交互道具在所述VR场景下发出声音；
当所述移动信息不满足所述发声判断条件时，控制所述交互道具在所述VR场景下不发出声音。
其中，针对交互道具的移动参数不同可以分别设置相应的阈值条件，通过不同移动参数是否满足对应的阈值条件来触发是否发出声音。例如可以执行如下步骤中至少一个：判断交互道具的速度是否满足速度阈值条件，判断交互道具的加速度是否满足加速度阈值条件，判断交互道具的角速度是否满足角速度阈值条件，判断交互道具的角加速度是否满足角加速度阈值条件。可以理解的是，上述的至少阈值条件是否满足都可以用于判断是否触发交互道具发出声音。例如可以引入状态机来控制锣鼓发声，当高速运动的锣鼓的速度降低到一定阈值以下，且加速度超过某个加速度阈值，则锣鼓发声一次。
在本发明的一些实施例中，由前述举例说明可知，虚拟道具具体可以包括：VR场景下的交互道具。在这种实现场景下，步骤104显示动态调整后的虚拟道具，包括：
F1、通过交互控制器的移动控制交互道具在VR场景下的移动；
F2、对交互道具在VR场景下与另一个虚拟道具的碰撞是否命中进行预判；
F3、在预判出交互道具被另一个虚拟道具碰撞命中时，按照预置的提前量获取碰撞特效信息，并根据碰撞特效信息播放碰撞声音。
其中，与该交互道具进行碰撞的可以是另一个虚拟道具，该另一个虚拟道具可以由玩家通过手部模型来操作，另一个虚拟道具与该交互道具可以进行打击碰撞，在碰撞成功时可以碰撞特效信息播放碰撞声音，具体的碰撞声音可以根据场景来灵活配置。
进一步的，在本发明的一些实施例中，步骤104显示动态调整后的所述虚拟道具，除了包括前述步骤F1至步骤F3之外，还可以包括：
F4、在碰撞特效信息显示之后，通过交互控制器发送碰撞成功的振动反馈消息。
其中，玩家通过手部模型触碰并抓取交互道具，在成功碰撞之后，可以通过交互控制器内置马达的力学振动给予玩家成功碰撞的反馈，使得玩家能够通过交互控制器的振动确定手部模型已经抓取到交互道具，可以进行交互道具的移动操作。
在本发明的上述实施例中，若虚拟道具具体为VR场景下的交互道具，则玩家通过交互控制器可以控制交互道具的移动，以VR场景为演唱会的角色交互场景为例，该交互道具可以是观众角色所采用的荧光棒等，在使用荧光棒应援的小游戏中，可以使用全局倍率参数来控制冒出泡泡的数量和频率。调整手感是最棘手的问题，要获得优秀的打击感，就要添加合适的触发特效和声效，还有手柄的震动反馈，如果玩家的操作和表现不一致，就会产生不适感，因此用于触发效果的碰撞时间点非常重要，但是泡泡在不停变大的同时，还会因为菲涅尔效应产生一些不规则的变化，于是本发明实施例中可以采用动态碰撞的方法来保证挥击手感，泡泡边缘部分是不稳定的，因此任意一次荧光棒命中的判断都会有一个时间上的提前量，在预判出交互道具的碰撞命中时，按照预置的提前量获取碰撞特效信息，并根据碰撞特效信息播放碰撞声音。
通过前述实施例对本发明的举例说明可知，本发明实施例中，首先获取手部模型在VR场景下触发的角色获取指令，该手部模型在VR场景下的移动由交互控制器控制，然后根据角色获取指令从VR场景中确定出虚拟角色，接下来根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，最后通过VR显示器显示VR场景下的虚拟角色，并显示动态调整后的虚拟道具。通过本发明实施例中根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，使得在VR场景下的虚拟道具可以实现动态调整，当玩家听到VR场景下播放的音乐文件时，再通过眼睛察觉到虚拟道具伴随音乐文件的动态调整，从而可以为用户带来更强的沉浸感。
为便于更好的理解和实施本发明实施例的上述方案，下面举例相应的应用场景来进行具体说明。
请参阅如图2所示，为本发明实施例提供的虚拟演唱会场景下的演唱者角色演唱歌曲的处理流程示意图，以VR场景具体为虚拟演唱会的角色交互场景为例，该虚拟演唱会可以理解为虚拟的三维(3D)场景，虚拟演唱会是模拟演唱会的舞台、观众席等物件建立的真实感模型组合。其中，虚拟演唱会场景下的虚拟角色可以为Avatar，广泛应用于3D游戏和虚拟现实中。
本发明实施例提出了一种全新的社交体验，在VR中模拟演唱会，每个玩家都拥有自己的Avatar，他们可以扮演大明星在聚光灯下尽情K歌，也可以扮演小粉丝与心中的偶像亲密互动，虚拟场景会根据当前的音乐节奏和演唱者的歌声来进行表现，给予玩家强烈的代入感和沉浸感。
现有技术中点唱机并不能给玩家很好的演唱体验，没有沉浸式的虚拟舞台，也没有其他人的互动和反馈。本发明实施例中引入VR的体验和操作方式，因此会赋予玩家很大的自由度，较普通的K歌游戏而言有无可比拟的强沉浸感；交互物件趣味性十足，能够吸引玩家积极参与游戏；有非常多的个性化方案，足够支持玩家对自定义服装、场景、动作、甚至声音模板的需求。
如图2所示，为虚拟演唱会场景下的演唱者角色演唱歌曲的处理流程，主要包括如下步骤：
1)、玩家操作手部模型进入虚拟房间。
2)、玩家操作手部模型选择歌曲。
3)、终端设备播放伴奏。
4)、终端设备播放歌词。
5)、演唱者角色演唱歌曲。
6)、和别的玩家互动道具。
7)、演唱结束，播放得分。
8)、玩家操作手部模型进行浏览回放或者继续唱歌。
9)、若选择继续唱歌，需要判断歌单是否为空，如果歌单为空，触发步骤2)重新选择歌曲，若歌单不为空，重新触发步骤5)演唱歌曲。
10)、若选择浏览回放，玩家可以退出房间。
玩家在进入房间后会看到虚拟演唱会场景，并在观众席的位置上进行自由探索，呼出菜单点歌，当歌单轮到自己时，麦克风会被激活，虚拟角色会被传送到舞台上开始表演，上一位演唱者会被自动传送到观众席上。
交互道具，是指演唱者和观众互动的道具，可以包括演出装束、场景内的物件。玩家可以自由变换虚拟角色的演出装束、挑选喜欢的场景及简单地更换场景内的某些物件，还可以对虚拟角色的舞蹈、交互动作(交互动作是指演唱者与观众互动采用的动作)进行选择，最大程度地满足玩家的个性化需求。
如图3所示，为本发明实施例提供的虚拟演唱会场景下的K歌场景的示意图，每个玩家使用一个虚拟角色，例如图3中共有三个虚拟角色，角色名称分别为：kreiner、Jarad、Caputto。在虚拟演唱会场景下具有多种场景道具，例如虚拟舞台、虚拟灯光等，需要说明的是，在本发明实施例中以图3为黑白图为例进行说明，不限定的是，在实际应用中还可以根据场景需要配置图中每个虚拟角色、场景各自的颜色。对于虚拟演唱会场景下的K歌场景，多人交互的方式非常丰富，主舞台、观众席、灯光会通过丰富的表现与演唱者进行互动，玩家可交互的道具包括荧光棒、沙锤、麦克风等等。在任意的一个时刻，舞台上只有一个演唱者。但是所有虚拟角色都可以通过点歌来成为演唱者，演唱顺序是根据当前点歌列表来决定。
如图4所示，为本发明实施例提供的歌词屏、舞台灯、观众席表现与演唱者角色进行交互的示意图。若玩家的虚拟角色为演唱者角色，在玩家的眼前可以看到麦克风，同时显示有歌词屏，玩家可以看到台下观众手持荧光棒，从而给玩家带来沉浸感。作为观众，可以在荧光棒传送到荧光棒架子附近，拿起荧光棒之后，观众面前会出现泡泡，玩家可以用荧光棒进行打击，这些泡泡是按照当前歌曲的节奏出现的，例如得到每首歌的每一分钟的节拍数量BPM，程序会读入BPM，然后通过数值转换算出泡泡出现的间隔时间。而且对于演唱者来说是不可见泡泡的，因此演唱者看到的画面是台下的观众会根据节奏挥舞着荧光棒为自己应援，而观众们也能体会到在VR中打击泡泡的乐趣。
为了实现优秀的VR演唱会图形表现力，本发明实施例使用UE4内置的框架编写着色器，借助引擎(即游戏引擎，也就是虚幻引擎)多线程渲染的特性，能够兼顾效果和效率。此外，本发明实施例尽可能地希望整个舞台的表现是可以与背景音乐的节奏交相辉映的，这就需要对演唱曲目的音乐和演唱者的声音进行分析，首先在中央处理器(CentralProcessing Unit，CPU)提取数据，该数据是玩家麦克风的采样数据。随后传入图形处理器(Graphics Processing Unit，GPU)进行渲染处理，为了保证全局统一，本发明实施例在游戏状态中添加了一个全局倍率参数，该游戏状态可以通过全局维护的一个静态指针获取，全局倍率参数可用于控制这些动态材质，其中控制这些动态材质是在GPU中实现的，玩家戴上HTC VIVE和耳机之后，就如同进入了一个全新的世界一般，眼睛看到的风光与耳朵听到的声音是互相匹配的，视觉和听觉会得到很大程度的满足。
如图5所示，为本发明实施例提供的用于控制灯光运动和闪动的时间轴界面图。图5中用于控制灯光运动和闪动的时间轴，这里是指灯光闪动，灯光按照固定的频率开启和关闭，或者光强发生变化。UE4是通过时间变化来控制变量数值的工具，这里控制的是一个三维向量(x,y,z)，x、y、z可以分别对应红色、绿色、蓝色代表的数值，这个三维向量表示的是灯光的运动参数，图5中上半部分通过调整x轴曲线和z轴曲线，从而可以控制灯光位置，图5中下半部分通过调整y轴曲线和z轴曲线，从而可以控制灯光的旋转。
本发明实施例设计了一些自定义时间轴，图5可以是UE4引擎的时间轴界面图，如图5所示，可以很方便地控制场景内物件的运动或是材质参数，将全局倍率参数传入一个循环播放的时间轴，就可以让时间轴的播放周期与道具属性参数相吻合，从而得到充满节奏感的动态环境效果。
本发明实施例中，大多数动态材质都是通过纹理偏移实现的，在演唱会的虚拟场景中，几乎所有的模型都是通过Surface Shader着色器进行渲染的。其中，Surface Shader是UE4封装的基于物理的着色器，可以在材质编辑器中实现自定义效果。基于物理着色是计算机图形学中一种为了突出真实感的渲染方式，广泛应用于现在的高品质游戏中。其基本原理是引入微表面模型，近似计算光照在微表面上的反射，从而模拟物体的粗糙度、透明度等数据，最关键的信息是法线分布。每个模型都有UV坐标，与纹理颜色值一一映射，UV坐标在图形渲染中用于采样纹理贴图颜色值的二维向量。最终这些采样得到的颜色值会决定屏幕上渲染目标的效果。渲染算法需要采样，对纹理数据进行采样。
为了有效地得到动态灯光的效果，本发明实施例需要改变的就是这些颜色值，追根溯源就是要重构原来的纹理贴图。本发明实施例通常会在着色器中引入Mask遮罩来控制这些贴图，为了实时匹配音乐节奏，本发明实施例实现了一种创建动态Mask的方法，可以非常简单且有效地实现舞台上所有的自定义纹理偏移效果。如图6所示，为本发明实施例提供的动态遮罩的处理流程示意图。使用全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图；将动态遮罩纹理贴图和场景道具的原始颜色纹理贴图进行相乘运算，得到场景道具的实际颜色纹理贴图。
其中，场景道具的材质实现的是虚拟演唱会场景中舞台地灯随着情绪高涨逐一亮起的效果。其中，本发明实施例可以识别当前演唱者是否正在演唱，如果正在演唱，则该情绪可代表演唱者的声音情况，如果不在演唱，则该情况可代表伴奏，原始颜色纹理贴图是美术给出的原始数据，是一个完整的带贴图的模型，在模型上的表现就是灯光全亮，模型的UV坐标是不变的，所以要实现部分灯亮、部分灯暗的霓虹灯效果，就需要使得暗灯UV对应的颜色值归零，通过纹理采样相乘来可以完成遮罩操作。给出一张半黑半百的原始纹理，本发明实施例可以巧妙地计算出任意比例的遮罩，例如通过百分比参数来控制UV偏移量，动态得到动态遮罩纹理贴图，再将动态遮罩纹理贴图与原始颜色纹理贴图相乘，得到对应的实际纹理，假设偏移量为B，百分比为p，B＝(u–p)/2，其中u为u坐标。
虚拟角色互动主要是通过沙锤伴奏和荧光棒打泡泡这两个小游戏来实现的。玩家可以通过Oculus Touch或者Vive Controller这样的VR手柄来进行操作，大多数的交互也都是通过手柄完成的，本发明实施例借助UE4中的输入控制***建立了完整的输入映射抽象，从而保证了多平台的统一性。在VR场景中，玩家手持的游戏手柄会映射为两只虚拟手，同时它们在虚拟空间中的位置和朝向也会被传感器捕捉，并实时绘制在头戴显示器屏幕上，这对虚拟手的最重要作用是抓取物件，并通过手势和按键来控制物件。图7-a和8-a展现的沙锤和荧光棒是实现演唱者与观众交互的主要载体。
首先对图7-a中沙锤交互进行举例说明，如图7-b所示，沙锤伴奏需要解决的关键问题是动作和声音之间的匹配，实际上沙锤乐器能够发出声音是因为物件内部的沙子与内壁发生了碰撞，如果要完全实时模拟内部的粒子运动，这些开销并不是本发明实施例的轻量游戏所能承载的。因此，本发明实施例放弃了UE4内置的Physics物理引擎，重新设计了一套轻量的碰撞发声方法，完全通过速度、角速度、加速度和角加速度这四个变量来模拟碰撞。本发明实施例引入状态机来控制沙锤发声，如图7-b所示，沙锤的发声状态机具有多种状态：高速运动、高加速度运动、静止或者低速运动，这些运动状态可以自动有切换，例如当高速运动的沙锤的速度降低到一定阈值以下，且加速度较大，则沙锤发声一次。角速度、角加速度同理，只是与速度、加速度分开进行计算，再进行叠加，共同用于控制沙锤的发声。
如图8-b所示，在使用荧光棒应援的小游戏中，本发明实施例用前文提到的全局倍率参数来控制冒出泡泡的数量和频率。调整手感是最棘手的问题，要获得优秀的打击感，就要添加合适的触发特效和声效，还有手柄的震动反馈，如果玩家的操作和表现不一致，就会产生不适感，因此用于触发效果的碰撞时间点非常重要，但是泡泡在不停变大的同时，还会因为菲涅尔效应产生一些不规则的变化，于是本发明实施例设计了一种动态碰撞的方法来保证挥击手感，泡泡边缘部分是不稳定的，因此任意一次荧光棒命中的判断都会有一个时间上的提前量。泡泡的材质是通过菲涅尔反射实现的，从视觉上看会忽大忽小，玩家击中泡泡又是通过碰撞检测判断的，如果没有提前量，那么玩家击中泡泡的手感会与实际表现不符。在提前预判出碰撞命中之后，调用特效，在该特效持续播放之后，可以执行回调销毁，最后在统计命中率时将本次命中更新到命中率中，将已有的命中率加1。其中，回调销毁是指玩家击中泡泡或者泡泡存在的时间超过了预设的生命周期，会通知这个回调销毁执行泡泡的销毁流程。
本发明实施例提出的表现和交互方案解决了在VR中模拟演唱会的问题，能够让玩家在享受视听盛宴的同时，通过VR社交拉近与他人之间的距离。一个用户模拟演唱者，另一个用户模拟观众，从而两者会产生交互，所以拉近与他人的距离。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
为便于更好的实施本发明实施例的上述方案，下面还提供用于实施上述方案的相关装置。
请参阅图9-a所示，本发明实施例提供的一种终端设备900，可以包括：获取模块901、角色确定模块902、道具调整模块903、显示模块904，其中，
获取模块901，用于获取手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；
角色确定模块902，用于根据所述角色获取指令从所述VR场景中确定出虚拟角色；
道具调整模块903，用于根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
显示模块904，用于通过VR显示器显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。
在本发明的一些实施例中，所述获取模块901，具体用于检测所述手部模型在所述VR场景下选取的待演唱歌曲，并将所述待演唱歌曲加入到点歌列表中；根据所述手部模型的选取操作确定所述角色获取指令。
进一步的，在本发明的一些实施例中，所述角色确定模块902，具体用于根据所述点歌列表确定所述虚拟角色的演唱顺序；若按照所述演唱顺序轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是演唱者角色，并激活麦克风；若按照所述演唱顺序没有轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是观众角色。
在本发明的一些实施例中，请参阅图9-b所示，所述终端设备900，还包括：音乐文件获取模块905，用于从歌曲数据库中获取待演唱歌曲的伴奏文件和歌词文件；通过所述麦克风采集所述演唱者角色演唱的声音文件；根据所述伴奏文件、所述歌词文件和所述声音文件确定所述VR场景下播放的音乐文件。
在本发明的一些实施例中，所述道具调整模块903，具体用于根据所述音乐文件的音乐节奏快慢确定全局倍率参数；使用所述全局倍率参数动态调整所述VR场景下的虚拟道具。
在本发明的一些实施例中，所述道具调整模块903，具体用于将所述全局倍率参数传入循环播放时间轴；根据所述循环播放时间轴的播放周期设置所述虚拟道具的道具属性参数。
进一步的，在本发明的一些实施例中，所述虚拟道具，包括：所述VR场景下的场景道具；
所述道具调整模块903，具体用于使用所述全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图；
将所述动态遮罩纹理贴图和所述场景道具的原始颜色纹理贴图进行相乘运算，得到所述场景道具的实际颜色纹理贴图。
在本发明的一些实施例中，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示模块904，具体用于通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；采集所述交互道具的移动信息，所述移动信息包括如下信息中的至少一种：速度、角速度、加速度和角加速度；根据所述移动信息控制所述交互道具在所述VR场景下是否发出声音。
在本发明的一些实施例中，所述显示模块904，具体用于根据预置的发声判断条件，所述发声判断条件包括如下阈值条件中的至少一种：速度阈值条件、角速度阈值条件、加速度阈值条件和角角速度阈值条件；根据所述移动信息是否满足所述发声判断条件；当所述移动信息满足所述发声判断条件时，控制所述交互道具在所述VR场景下发出声音；当所述移动信息不满足所述发声判断条件时，控制所述交互道具在所述VR场景下不发出声音。
在本发明的一些实施例中，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示模块904，具体用于通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；对所述交互道具在所述VR场景下与另一个虚拟道具的碰撞是否命中进行预判；在预判出所述交互道具被所述另一个虚拟道具碰撞命中时，按照预置的提前量获取碰撞特效信息，并显示所述碰撞特效信息。
在本发明的一些实施例中，所述显示模块904，还用于根据所述碰撞特效信息播放碰撞声音之后，通过所述交互控制器发送碰撞成功的振动反馈消息。
通过前述实施例对本发明的举例说明可知，本发明实施例中，首先获取手部模型在VR场景下触发的角色获取指令，该手部模型在VR场景下的移动由交互控制器控制，然后根据角色获取指令从VR场景中确定出虚拟角色，接下来根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，最后通过VR显示器显示VR场景下的虚拟角色，并显示动态调整后的虚拟道具。通过本发明实施例中根据VR场景下播放的音乐文件动态调整VR场景下的虚拟道具，使得在VR场景下的虚拟道具可以实现动态调整，当玩家听到VR场景下播放的音乐文件时，再通过眼睛察觉到虚拟道具伴随音乐文件的动态调整，从而可以为用户带来更强的沉浸感。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明前述所示的方法实施例中的叙述，此处不再赘述。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储有程序，该程序执行包括上述方法实施例中记载的部分或全部步骤。
本发明实施例还提供一种终端设备，如图10所示，所述终端设备1000包括：处理器1010、存储器1020、交互控制器1030和VR显示器1040；所述处理器1010、所述存储器1020通过总线相互的通信，处理器1010通过无线网络与所述交互控制器1030和所述VR显示器1040相互的通信；
所述交互控制器1030，用于控制手部模型的移动；
所述存储器1020用于存储程序、指令和数据；
所述处理器1010，调用所述存储器中的程序、指令和数据，用于执行如前述方法实施例中所述的方法；
所述VR显示器1040，用于在所述处理器1010的控制下，显示所述VR场景下的所述虚拟角色，并显示动态调整后的所述虚拟道具。
具体的，存储器1020可用于存储软件程序以及模块，处理器1010通过运行存储在存储器1020的软件程序以及模块，从而执行终端设备1000的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1010是终端设备1000的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
在本发明实施例中，该终端设备1000所包括的处理器1010还具有控制执行以上由终端执行的VR场景下的角色模拟方法。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本发明而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

Claims (24)

1.一种虚拟现实VR场景下的角色模拟方法，其特征在于，包括：
获取用户使用手部模型在所述VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；所述角色获取指令用于选择代表所述用户的虚拟角色；
根据所述角色获取指令从所述VR场景中确定出代表所述用户的虚拟角色；
根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
通过VR显示器显示所述VR场景下的所述代表所述用户的虚拟角色，并显示动态调整后的所述虚拟道具。
2.根据权利要求1所述的方法，其特征在于，所述获取用户使用手部模型在所述VR场景下触发的角色获取指令，包括：
检测所述手部模型在所述VR场景下选取的待演唱歌曲，并将所述待演唱歌曲加入到点歌列表中；
根据所述手部模型的选取操作确定所述角色获取指令。
3.根据权利要求2所述的方法，其特征在于，所述根据所述角色获取指令从所述VR场景中确定出虚拟角色，包括：
根据所述点歌列表确定所述虚拟角色的演唱顺序；
若按照所述演唱顺序轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是演唱者角色，并激活麦克风；
若按照所述演唱顺序没有轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是观众角色。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
从歌曲数据库中获取待演唱歌曲的伴奏文件和歌词文件；
通过所述麦克风采集所述演唱者角色演唱的声音文件；
根据所述伴奏文件、所述歌词文件和所述声音文件确定所述VR场景下播放的音乐文件。
5.根据权利要求1所述的方法，其特征在于，所述根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具，包括：
根据所述音乐文件的音乐节奏快慢确定全局倍率参数；
使用所述全局倍率参数动态调整所述VR场景下的虚拟道具。
6.根据权利要求5所述的方法，其特征在于，所述使用所述全局倍率参数动态调整所述VR场景下的虚拟道具，包括：
将所述全局倍率参数传入循环播放时间轴；
根据所述循环播放时间轴的播放周期设置所述虚拟道具的道具属性参数。
7.根据权利要求5所述的方法，其特征在于，所述虚拟道具，包括：所述VR场景下的场景道具；
所述使用所述全局倍率参数动态调整所述VR场景下的虚拟道具，包括：
使用所述全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图；
将所述动态遮罩纹理贴图和所述场景道具的原始颜色纹理贴图进行相乘运算，得到所述场景道具的实际颜色纹理贴图。
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示动态调整后的所述虚拟道具，包括：
通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；
采集所述交互道具的移动信息，所述移动信息包括如下信息中的至少一种：速度、角速度、加速度和角加速度；
根据所述移动信息控制所述交互道具在所述VR场景下是否发出声音。
9.根据权利要求8所述的方法，其特征在于，所述根据所述移动信息控制所述交互道具在所述VR场景下是否发出声音，包括：
根据预置的发声判断条件，所述发声判断条件包括如下阈值条件中的至少一种：速度阈值条件、角速度阈值条件、加速度阈值条件和角加速度阈值条件；
根据所述移动信息是否满足所述发声判断条件；
当所述移动信息满足所述发声判断条件时，控制所述交互道具在所述VR场景下发出声音；
当所述移动信息不满足所述发声判断条件时，控制所述交互道具在所述VR场景下不发出声音。
10.根据权利要求1至7中任一项所述的方法，其特征在于，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示动态调整后的所述虚拟道具，包括：
通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；
对所述交互道具在所述VR场景下与另一个虚拟道具的碰撞是否命中进行预判；
在预判出所述交互道具被所述另一个虚拟道具碰撞命中时，按照预置的提前量获取碰撞特效信息，并根据所述碰撞特效信息播放碰撞声音。
11.根据权利要求10所述的方法，其特征在于，所述显示动态调整后的所述虚拟道具，还包括：
在根据所述碰撞特效信息播放碰撞声音之后，通过所述交互控制器发送碰撞成功的振动反馈消息。
12.一种终端设备，其特征在于，所述终端设备，包括：
获取模块，用于获取用户使用手部模型在VR场景下触发的角色获取指令，所述手部模型在所述VR场景下的移动由交互控制器控制；所述角色获取指令用于选择代表所述用户的虚拟角色；
角色确定模块，用于根据所述角色获取指令从所述VR场景中确定出代表所述用户的虚拟角色；
道具调整模块，用于根据所述VR场景下播放的音乐文件动态调整所述VR场景下的虚拟道具；
显示模块，用于通过VR显示器显示所述VR场景下的所述代表所述用户的虚拟角色，并显示动态调整后的所述虚拟道具。
13.根据权利要求12所述的终端设备，其特征在于，所述获取模块，具体用于检测所述手部模型在所述VR场景下选取的待演唱歌曲，并将所述待演唱歌曲加入到点歌列表中；根据所述手部模型的选取操作确定所述角色获取指令。
14.根据权利要求13所述的终端设备，其特征在于，所述角色确定模块，具体用于根据所述点歌列表确定所述虚拟角色的演唱顺序；若按照所述演唱顺序轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是演唱者角色，并激活麦克风；若按照所述演唱顺序没有轮到所述虚拟角色演唱歌曲时，确定所述虚拟角色的当前角色状态是观众角色。
15.根据权利要求14所述的终端设备，其特征在于，所述终端设备，还包括：音乐文件获取模块，用于从歌曲数据库中获取待演唱歌曲的伴奏文件和歌词文件；通过所述麦克风采集所述演唱者角色演唱的声音文件；根据所述伴奏文件、所述歌词文件和所述声音文件确定所述VR场景下播放的音乐文件。
16.根据权利要求12所述的终端设备，其特征在于，所述道具调整模块，具体用于根据所述音乐文件的音乐节奏快慢确定全局倍率参数；使用所述全局倍率参数动态调整所述VR场景下的虚拟道具。
17.根据权利要求16所述的终端设备，其特征在于，所述道具调整模块，具体用于将所述全局倍率参数传入循环播放时间轴；根据所述循环播放时间轴的播放周期设置所述虚拟道具的道具属性参数。
18.根据权利要求17所述的终端设备，其特征在于，所述虚拟道具，包括：所述VR场景下的场景道具；
所述道具调整模块，具体用于使用所述全局倍率参数对原始遮罩纹理贴图进行相乘运算，得到动态遮罩纹理贴图；将所述动态遮罩纹理贴图和所述场景道具的原始颜色纹理贴图进行相乘运算，得到所述场景道具的实际颜色纹理贴图。
19.根据权利要求12至18中任一项所述的终端设备，其特征在于，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示模块，具体用于通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；采集所述交互道具的移动信息，所述移动信息包括如下信息中的至少一种：速度、角速度、加速度和角加速度；根据所述移动信息控制所述交互道具在所述VR场景下是否发出声音。
20.根据权利要求19所述的终端设备，其特征在于，所述显示模块，具体用于根据预置的发声判断条件，所述发声判断条件包括如下阈值条件中的至少一种：速度阈值条件、角速度阈值条件、加速度阈值条件和角加速度阈值条件；根据所述移动信息是否满足所述发声判断条件；当所述移动信息满足所述发声判断条件时，控制所述交互道具在所述VR场景下发出声音；当所述移动信息不满足所述发声判断条件时，控制所述交互道具在所述VR场景下不发出声音。
21.根据权利要求12至18中任一项所述的终端设备，其特征在于，所述虚拟道具，包括：所述VR场景下的交互道具；
所述显示模块，具体用于通过所述交互控制器的移动控制所述交互道具在所述VR场景下的移动；对所述交互道具在所述VR场景下与另一个虚拟道具的碰撞是否命中进行预判；在预判出所述交互道具被所述另一个虚拟道具碰撞命中时，按照预置的提前量获取碰撞特效信息，并根据所述碰撞特效信息播放碰撞声音。
22.根据权利要求21所述的终端设备，其特征在于，所述显示模块，还用于在根据所述碰撞特效信息播放碰撞声音之后，通过所述交互控制器发送碰撞成功的振动反馈消息。
23.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-11任意一项所述的方法。
24.一种终端设备，其特征在于，所述终端设备包括：处理器、存储器、交互控制器和VR显示器；所述处理器、所述存储器通过总线相互的通信，所述处理器通过无线网络与所述交互控制器和所述VR显示器相互的通信；
所述交互控制器，用于控制手部模型的移动；
所述存储器用于存储程序、指令和数据；
所述处理器，调用所述存储器中的程序、指令和数据，用于执行所述存储器中的所述指令，执行如权利要求1至11中任一项所述的方法。
CN201780054152.1A 2017-11-17 2017-11-17 Vr场景下的角色模拟方法和终端设备 Active CN109690450B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/111519 WO2019095250A1 (zh) 2017-11-17 2017-11-17 Vr场景下的角色模拟方法和终端设备

Publications (2)

Publication Number Publication Date
CN109690450A CN109690450A (zh) 2019-04-26
CN109690450B true CN109690450B (zh) 2020-09-29

Family

ID=66184336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780054152.1A Active CN109690450B (zh) 2017-11-17 2017-11-17 Vr场景下的角色模拟方法和终端设备

Country Status (5)

Country Link
US (1) US10953336B2 (zh)
JP (1) JP6925589B2 (zh)
KR (1) KR102354274B1 (zh)
CN (1) CN109690450B (zh)
WO (1) WO2019095250A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264393B (zh) * 2019-05-15 2023-06-23 联想（上海）信息技术有限公司 一种信息处理方法、终端和存储介质
US11297366B2 (en) * 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
CN110297684B (zh) * 2019-06-28 2023-06-30 腾讯科技（深圳）有限公司 基于虚拟人物的主题显示方法、装置及存储介质
CN110493642B (zh) * 2019-07-23 2023-11-17 北京拉近众博科技有限公司 一种虚拟互动观赛方法、***、装置和存储介质
CN110322741A (zh) * 2019-07-24 2019-10-11 广东校园卫士网络科技有限责任公司 一种学生的学能和心智测评***
CN110705063A (zh) * 2019-09-20 2020-01-17 深圳市酷开网络科技有限公司 一种模拟震动方法、***及存储介质
CN111324334B (zh) * 2019-11-12 2023-07-28 天津大学 一种基于叙事油画作品开发虚拟现实体验***的设计方法
CN111408137A (zh) * 2020-02-28 2020-07-14 苏州叠纸网络科技股份有限公司 一种基于增强现实的场景交互方法、装置、设备和介质
CN111589148B (zh) * 2020-05-15 2023-02-24 腾讯科技（深圳）有限公司 用户界面的显示方法、装置、终端及存储介质
CN111784850B (zh) * 2020-07-03 2024-02-02 深圳市瑞立视多媒体科技有限公司 基于虚幻引擎的物体抓取仿真方法及相关设备
CN112203114B (zh) * 2020-09-07 2022-07-12 佛山创视嘉科技有限公司 协同演奏方法、***、终端设备及存储介质
CN112121410B (zh) * 2020-10-22 2024-04-12 深圳市瑞立视多媒体科技有限公司 一种基于vr游戏的装备入柜的方法
EP4326410A1 (en) * 2021-04-20 2024-02-28 Quill & Quaver Associates Pty. Ltd. System and method for performance in a virtual reality environment
CN113689256A (zh) * 2021-08-06 2021-11-23 江苏农牧人电子商务股份有限公司 一种虚拟物品推送方法和***
CN113934347B (zh) * 2021-09-17 2022-08-26 完美世界(北京)软件科技发展有限公司 模型切换方法、设备及存储介质
CN114020978B (zh) * 2021-09-28 2024-06-11 北京市农林科学院信息技术研究中心 基于多源信息融合的园区数字化漫游展示方法及***
CN114115534B (zh) * 2021-11-12 2023-12-22 山东大学 一种基于房间式互动投影的关系增强***及方法
CN114168044A (zh) * 2021-11-30 2022-03-11 完美世界(北京)软件科技发展有限公司 虚拟场景的交互方法及装置、存储介质、电子装置
CN114625466B (zh) * 2022-03-15 2023-12-08 广州歌神信息科技有限公司 线上歌厅交互执行、控制方法及装置、设备、介质、产品
CN115509360B (zh) * 2022-10-11 2023-10-20 云宝宝大数据产业发展有限责任公司 基于元宇宙虚拟现实vr交互***
KR102679307B1 (ko) * 2023-07-26 2024-06-28 주식회사 스테이시스필드 가상현실 기반 컨텐츠를 위한 입체 음향 제공 장치 및 방법
CN116896608B (zh) * 2023-09-11 2023-12-12 山东省地震局 一种虚拟地震场景演播***
CN118245136A (zh) * 2024-05-21 2024-06-25 北京天平地成信息技术服务有限公司 基于机器学习的vr物理引擎调优方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229318B2 (ja) * 2003-05-12 2009-02-25 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
CN101414322A (zh) * 2007-10-16 2009-04-22 盛趣信息技术（上海）有限公司 虚拟角色的展示方法及***
CN103050114A (zh) * 2011-10-17 2013-04-17 上海渐华科技发展有限公司 一种网络卡拉ok***的构建方法
CN202929567U (zh) * 2012-11-19 2013-05-08 深圳市数虎图像科技有限公司 虚拟角色动画表演***
CN104102146A (zh) * 2014-07-08 2014-10-15 苏州乐聚一堂电子科技有限公司 虚拟伴舞通用控制***

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006871A (ja) * 2000-06-26 2002-01-11 Shinichiro Ohora インターネット・カラオケ・システム
JP5302516B2 (ja) * 2007-07-03 2013-10-02 任天堂株式会社 音再生プログラム、音再生装置、音再生システムおよび音再生方法
US20090258700A1 (en) * 2008-04-15 2009-10-15 Brian Bright Music video game with configurable instruments and recording functions
JP2013231951A (ja) * 2012-04-06 2013-11-14 Yamaha Corp 音響データ処理装置および音響データ通信システム
CN103093665A (zh) * 2013-01-09 2013-05-08 湖州电力局 配网运检协同仿真培训装置及方法
JP6244219B2 (ja) * 2014-02-17 2017-12-06 Ｐｉｏｎｅｅｒ ＤＪ株式会社 再生装置及び方法、並びにコンピュータプログラム
JP6315568B2 (ja) * 2014-04-25 2018-04-25 株式会社第一興商 通信カラオケシステム及びサーバ
US9272418B1 (en) * 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
KR102639118B1 (ko) * 2015-09-08 2024-02-22 소니그룹주식회사 정보 처리 장치, 방법 및 컴퓨터 프로그램
JP6769697B2 (ja) * 2015-09-16 2020-10-14 株式会社バンダイナムコエンターテインメント プログラム及びゲーム装置
CN106681479A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 基于虚拟现实的用户交互方法及***
CN105425955A (zh) * 2015-11-06 2016-03-23 中国矿业大学 多用户沉浸式全互动虚拟现实工程培训***
JP6832061B2 (ja) * 2015-12-29 2021-02-24 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
JP6515057B2 (ja) * 2016-03-31 2019-05-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム、シミュレーション装置及びプログラム
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106604014A (zh) * 2016-12-07 2017-04-26 惠州Tcl移动通信有限公司 一种基于移动终端vr观影多人互动的方法及其***
CN107103801B (zh) * 2017-04-26 2020-09-18 北京大生在线科技有限公司 远程三维场景互动教学***及控制方法
US10228760B1 (en) * 2017-05-23 2019-03-12 Visionary Vr, Inc. System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4229318B2 (ja) * 2003-05-12 2009-02-25 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
CN101414322A (zh) * 2007-10-16 2009-04-22 盛趣信息技术（上海）有限公司 虚拟角色的展示方法及***
CN103050114A (zh) * 2011-10-17 2013-04-17 上海渐华科技发展有限公司 一种网络卡拉ok***的构建方法
CN202929567U (zh) * 2012-11-19 2013-05-08 深圳市数虎图像科技有限公司 虚拟角色动画表演***
CN104102146A (zh) * 2014-07-08 2014-10-15 苏州乐聚一堂电子科技有限公司 虚拟伴舞通用控制***

Also Published As

Publication number Publication date
JP2020521208A (ja) 2020-07-16
KR20200003022A (ko) 2020-01-08
US20200047074A1 (en) 2020-02-13
KR102354274B1 (ko) 2022-01-20
WO2019095250A1 (zh) 2019-05-23
JP6925589B2 (ja) 2021-08-25
US10953336B2 (en) 2021-03-23
CN109690450A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109690450B (zh) Vr场景下的角色模拟方法和终端设备
US11039267B2 (en) Head pose mixing of audio files
US11978171B2 (en) Mixed reality musical instrument
US10963140B2 (en) Augmented reality experience creation via tapping virtual surfaces in augmented reality
JP2018094326A (ja) イベント制御システム、イベント通知システム及びプログラム
EP3960258A1 (en) Program, method and information terminal
Schiavoni et al. From virtual reality to digital arts with mosaicode
JP6832381B2 (ja) ゲームプログラム、ゲーム方法、および情報端末装置
Thorn Learn unity for 2d game development
CN115631287A (zh) 一种虚拟舞台人物数字化展现***
de Lima Costa et al. Songverse: a digital musical instrument based on virtual reality
CN112587915B (zh) 光照效果呈现方法、装置、存储介质及计算机设备
JP7412613B1 (ja) 情報処理システムおよびプログラム
JP7354466B1 (ja) 情報処理システムおよびプログラム
US12051141B2 (en) Live venue performance sensor capture and visualization over game network
US20230062315A1 (en) Live venue performance sensor capture and visualization over game network
JP7412617B1 (ja) 情報処理システムおよびプログラム
de Carvalho S+ V+ M: Relationships between the sound, visual and movement domains in interactive systems
JPH11133987A (ja) 振り付け動画表示に特徴を有するカラオケ装置
CN116828248A (zh) 场景调整方法、装置、设备和存储介质
Ranaweera et al. Gestural Interface for Conducting Virtual Concerts
JP2021062311A (ja) ゲームプログラム、ゲーム方法、および情報端末装置
Challis et al. Defining digital-Foley for live performance
JP5981095B2 (ja) カラオケ装置、端末および本体装置
Wozniewski A framework for interactive three-dimensional sound and spatial audio processing in a virtual environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant