CN105797366A - 一种基于声源定位的头戴式交互音频游戏终端 - Google Patents

一种基于声源定位的头戴式交互音频游戏终端 Download PDF

Info

Publication number
CN105797366A
CN105797366A CN201610172004.7A CN201610172004A CN105797366A CN 105797366 A CN105797366 A CN 105797366A CN 201610172004 A CN201610172004 A CN 201610172004A CN 105797366 A CN105797366 A CN 105797366A
Authority
CN
China
Prior art keywords
head
game
wear
game terminal
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610172004.7A
Other languages
English (en)
Inventor
孙象然
魏昀赟
石东新
蔡娟娟
王颜颜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201610172004.7A priority Critical patent/CN105797366A/zh
Publication of CN105797366A publication Critical patent/CN105797366A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/0001—Games specially adapted for handicapped, blind or bed-ridden persons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/0001—Games specially adapted for handicapped, blind or bed-ridden persons
    • A63F2009/0003—Games specially adapted for blind or partially sighted people

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

本发明提供一种基于声源定位的头戴式交互音频游戏终端，包括头戴式立体声耳机、麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元。将麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元固定在头戴式立体声耳机上。使用者通过佩戴头戴式立体声耳机，结合音频游戏的三维立体声的游戏内容，使用双手或其他物体在身体四周发出声音，对游戏做出相应的反应，该游戏终端将麦克风阵列单元捕获到的前述发出的声音进行声源定位的处理，使用得到的声源的三维数据对游戏进行控制，从而实现使用者和音频游戏之间的互动功能。

Description

一种基于声源定位的头戴式交互音频游戏终端
技术领域
本发明属于电子游戏领域，尤其涉及在只有音频内容的电子游戏中使用的一种基于声源定位的头戴式交互音频游戏终端。
背景技术
随着电子游戏产业的快速发展，越来越多的电子游戏产品和游戏内容被开发出来，特别是基于视频的游戏终端和外部设备的迅猛发展，游戏终端和外部设备已经日益成为人们休闲娱乐必不可少的工具。但是大部分的游戏都是基于视觉方式与用户进行交互的电子游戏，音频内容通常辅助视频内容作为电子游戏的一部分。因此，对于盲人或视障人群无法享受到传统电子游戏带来的视听娱乐效果。
近年来的技术发展为盲人和视障人群的生活娱乐带来了极大的改善，在市场上已经开发出针对盲人或视障人群的改进的传统电子游戏产品，其基本的方法是采用读屏软件，将屏幕显示的游戏内容信息转换成语音信息，游戏者根据语音信息的提示，通过传统的游戏外部设备进行互动。但是在游戏交互的过程中，广大视障人群仍然不能和视力正常人一样享受到电子游戏带来的便捷的交互过程和丰富的视觉体验。因此，社会上需要一种只有音频内容没有视频内容的电子游戏类型，即音频游戏，来为盲人和视障人群提供娱乐服务。
三维立体声合成技术可以为玩家真实还原出立体的声音场景，大部分的音频游戏都是基于这种技术来进行游戏设计和互动的。目前，在市场上音频游戏的游戏设备和游戏内容非常少，主要应用在听觉治疗或训练听觉感知等方面。游戏设备也是基于现有的电脑设备，并没有专门针对盲人或视障人群开发的交互式音频游戏终端和外部设备。
因此，在音频游戏领域，需要针对盲人和视障人群提供一种具有友好交互体验的三维立体声音频游戏终端。
发明内容
本发明提供了一种基于声源定位的头戴式交互音频游戏终端，能够实现音频游戏的三维立体声合成和友好的游戏交互体验，丰富盲人和视障人群的娱乐生活。
该发明实例包括头戴式立体声耳机、麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元。
头戴式立体声耳机的输入端连接嵌入式处理器单元的数据输出端，麦克分阵列单元的输出端连接嵌入式处理器单元的数据输入端，头部运动传感器单元的数据输出端连接嵌入式处理器单元的数据输入端。
本发明的硬件由连接到嵌入式处理器单元的头戴式立体声耳机、麦克风阵列单元和头部运动传感器单元组成，将麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元固定在头戴式立体声耳机的头带部分，使用者通过佩戴立体声耳机，结合音频游戏的三维立体声的游戏内容，使用双手或其他物体在身体四周发出声音，对游戏做出相应的反应，游戏终端将麦克风阵列捕获到的前述发出的声音进行声源定位的处理，使用得到的声源的三维数据对游戏进行控制，从而实现使用者和音频游戏之间的互动功能。
本发明的技术方案是：一种基于声源定位的头戴式交互音频游戏终端，包括硬件单元和软件处理模块；所述的硬件单元包括头戴式立体声耳机、麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元；所述的软件处理模块由嵌入式处理器单元完成运算处理功能，包括声音信号采集模块、声源定位计算模块、头部运动数据采集模块、头部姿势识别模块、三维立体声合成模块和游戏处理模块。
本发明具有的优点是：
1、本发明通过声源定位的方式实现音频游戏的交互。
2、本发明中声源定位的数据为立体空间的三维数据，并且计算速度快。
3、本发明应用领域广泛，不仅适用于电子游戏的娱乐领域，还适用于听觉治疗或听觉感知训练等方面。
附图说明
图1为本发明的***框图；
图2为本发明的配置示意图；
图3为本发明的嵌入式处理器单元及外连接示意图，嵌入式处理器单元包含微处理器、存储器、电源、音频立体声输出端口及四路模拟音频输入端口，本***使用的头戴式立体声耳机通过音频立体声输出端口连接到嵌入式处理器单元，麦克风阵列单元中的四个麦克风通过四路麦克风输入端口连接到嵌入式处理器单元，头部运动传感器单元的数据输出端口连接到嵌入式处理器单元，此图为行业技术公知图示，仅为说明本***原理，不对本发明进行限制和保护
具体实施方式
如图1所示，本发明一种基于声源定位的头戴式交互音频游戏终端；该***所包含的麦克风阵列单元获取的外部声音信号送入嵌入式处理器单元，依次经过声音信号采集模块、声源定位计算模块，得到声源的三维数据；该***所包含的头部运动传感器单元获取的头部运动数据送入嵌入式处理器单元，依次经过头部运动数据采集模块、头部姿势识别模块，得到头部姿势数据；声源数据和头部姿势数据经过游戏处理模块和三维立体声合成模块的处理后，输出到头戴式立体声耳机，实现音频游戏的交互功能。
所述的麦克风阵列单元为四路麦克风固定在头戴式耳机的头带部分，并构成有一定空间距离的四边形的四个位置上，同时采集四路声音。
所述的头部运动传感器单元，包括一个加速度传感器和一个角速度传感器，得到头部的运动状态数据。
所述的声音信号采集模块，是指将四路麦克风信号通过四个麦克风输入端口采集到嵌入式处理器单元，转换成具有一定数字音频格式的音频数据。
所述的声源定位计算模块，是指将四路音频数据进行去噪声、分段、基于MUSIC算法的定位计算等运算处理过程。
所述的头部运动数据采集模块，是指将加速度传感器和角速度传感器的数据采集到嵌入式处理器单元。
所述的头部姿势识别模块，是指将加速度传感器和角速度传感器得到的数据，进行处理得到头部在竖直和水平方向的运动信息。
所述的游戏处理模块，是指运行游戏内容、选择音频内容、处理外部声音和游戏音频的空间关系和处理头部姿势和游戏音频的空间关系等处理。
所述的三维立体声合成模块，是指将游戏模块选择的音频内容，结合头部姿势和人体头部相关传递函数，合成输出三维立体声。
如图2所示，嵌入式处理器单元2被固定在头戴式立体声耳机1的头带顶部，接收来自麦克风阵列单元的四个麦克风4～7的输出信号，经过处理将合成的立体声输出给头戴式立体声耳机。
如图2所示，头部运动传感器单元3被固定连接在嵌入式处理器单元2中。
再如图2所示，四个麦克风4～7分别固定在头戴式立体声耳机1的头带部分的外侧，构成有一定空间距离的四边形，共同组成麦克风阵列单元。
以上对本发明的一个具体实施例进行了描述和说明，但所述内容应被认为其只是示例性的，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (3)

1.一种基于声源定位的头戴式交互音频游戏终端，其特征是：包括头戴式立体声耳机、麦克风阵列单元、头部运动传感器单元和嵌入式处理器单元；所述嵌入式处理器单元完成运算处理功能，包括声音信号采集模块、声源定位计算模块、头部运动数据采集模块、头部姿势识别模块、三维立体声合成模块和游戏处理模块。
2.根据权利要求1所述的一种基于声源定位的头戴式交互音频游戏终端，其特征还在于所述麦克风固定在头戴式立体声耳机的头带部分，且保持一定空间距离的四边形的位置上。
3.根据权利要求1所述的一种基于声源定位的头戴式交互音频游戏终端，其特征还在于所述头部运动传感器单元由加速度传感器和角速度传感器构成，通过嵌入式处理器单元的运算和处理得到使用者头部姿势的信息。
CN201610172004.7A 2016-03-25 2016-03-25 一种基于声源定位的头戴式交互音频游戏终端 Pending CN105797366A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610172004.7A CN105797366A (zh) 2016-03-25 2016-03-25 一种基于声源定位的头戴式交互音频游戏终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610172004.7A CN105797366A (zh) 2016-03-25 2016-03-25 一种基于声源定位的头戴式交互音频游戏终端

Publications (1)

Publication Number Publication Date
CN105797366A true CN105797366A (zh) 2016-07-27

Family

ID=56453734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610172004.7A Pending CN105797366A (zh) 2016-03-25 2016-03-25 一种基于声源定位的头戴式交互音频游戏终端

Country Status (1)

Country Link
CN (1) CN105797366A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331977A (zh) * 2016-08-22 2017-01-11 北京时代拓灵科技有限公司 一种网络k歌的虚拟现实全景声处理方法
CN106959752A (zh) * 2017-03-16 2017-07-18 王昇洋 利用立体声引导和评估头部运动的头戴装置
CN108479056A (zh) * 2018-03-05 2018-09-04 成都看客网络技术有限公司 一种盲人用网上抓娃娃机
CN109791441A (zh) * 2016-08-01 2019-05-21 奇跃公司 具有空间化音频的混合现实***
CN112951236A (zh) * 2021-02-07 2021-06-11 北京有竹居网络技术有限公司 一种语音翻译设备及方法
WO2023226161A1 (zh) * 2022-05-25 2023-11-30 歌尔股份有限公司 音源位置确定方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201426153Y (zh) * 2009-05-27 2010-03-17 中山佳时光电科技有限公司 用于视频会议智能摄像头控制***
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
CN203074707U (zh) * 2012-10-15 2013-07-24 四川旭康医疗电器有限公司 基于远程信息交互的头戴式训练器
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN103890836A (zh) * 2010-09-20 2014-06-25 寇平公司 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
CN204864894U (zh) * 2015-08-19 2015-12-16 天津先驱领域科技有限公司 一种用于虚拟现实游戏的头盔
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201426153Y (zh) * 2009-05-27 2010-03-17 中山佳时光电科技有限公司 用于视频会议智能摄像头控制***
CN102111697A (zh) * 2009-12-28 2011-06-29 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
CN103890836A (zh) * 2010-09-20 2014-06-25 寇平公司 用于头戴式显示器的具有电源管理的蓝牙或其他无线接口
US20130194164A1 (en) * 2012-01-27 2013-08-01 Ben Sugden Executable virtual objects associated with real objects
CN203074707U (zh) * 2012-10-15 2013-07-24 四川旭康医疗电器有限公司 基于远程信息交互的头戴式训练器
CN105359063A (zh) * 2013-06-09 2016-02-24 索尼电脑娱乐公司 利用追踪的头戴式显示器
CN204864894U (zh) * 2015-08-19 2015-12-16 天津先驱领域科技有限公司 一种用于虚拟现实游戏的头盔

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791441A (zh) * 2016-08-01 2019-05-21 奇跃公司 具有空间化音频的混合现实***
CN106331977A (zh) * 2016-08-22 2017-01-11 北京时代拓灵科技有限公司 一种网络k歌的虚拟现实全景声处理方法
CN106959752A (zh) * 2017-03-16 2017-07-18 王昇洋 利用立体声引导和评估头部运动的头戴装置
CN108479056A (zh) * 2018-03-05 2018-09-04 成都看客网络技术有限公司 一种盲人用网上抓娃娃机
CN108479056B (zh) * 2018-03-05 2021-12-31 江苏嘉尚环保科技有限公司 一种盲人用网上抓娃娃机
CN112951236A (zh) * 2021-02-07 2021-06-11 北京有竹居网络技术有限公司 一种语音翻译设备及方法
WO2023226161A1 (zh) * 2022-05-25 2023-11-30 歌尔股份有限公司 音源位置确定方法、设备及存储介质

Similar Documents

Publication Publication Date Title
CN105797366A (zh) 一种基于声源定位的头戴式交互音频游戏终端
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
JP4921550B2 (ja) ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
EP3427103B1 (en) Virtual reality
CN205563457U (zh) 一种虚拟现实的便携主机、虚拟现实头盔及***
CN104801039A (zh) 一种虚拟现实的游戏装置及场景实现方法
CN106205245A (zh) 沉浸式在线教学***、方法和装置
CN104615243A (zh) 一种头戴式多通道交互***及多通道交互方法
US20120207308A1 (en) Interactive sound playback device
CN204360325U (zh) 一种头戴式多通道交互***
JP2018129035A (ja) 選択ハプティックメタデータによるハプティックブロードキャスト
CN106464995A (zh) 用于体育活动的独立多功能耳机
JP6147486B2 (ja) ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム
CN108353244A (zh) 差分头部追踪装置
CN106464996A (zh) 用于体育活动的多功能耳机***
JP6055651B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
US20190384404A1 (en) Virtual reality
CN105325014A (zh) 基于用户跟踪的声场调节
CN103999021A (zh) 受手势控制的音频用户接口
CN107465972A (zh) 一种移动终端的音频播放控制方法及无线耳机
CN205451066U (zh) 一种儿童自闭症vr康复***
CN102929386A (zh) 一种动感重现虚拟现实的方法及***
CN204666958U (zh) 虚拟现实眼镜
CN103167145A (zh) 一种手机体感游戏实现***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160727

RJ01 Rejection of invention patent application after publication