CN102568535A - 互动式声音录放装置 - Google Patents

Abstract

本发明是有关于一种互动式声音录放装置，其包括有二扬声器、二麦克风、一动作感测器及一影音处理装置，其中二扬声器及二麦克风皆分别设置于互动式声音录放装置的两侧，而影音处理装置则电性连接于二扬声器、二麦克风及动作感测器，且影音处理装置具有一录制模式及一播放模式，在录制模式下，影音处理装置是接收由动作感测器的一动作感测信号及二麦克风的一第一声音信号，并储存第一声音信号及将动作感测信号储存为一位置信息，而在播放模式下，影音处理装置即通过一第一路径直接输出第一声音信号至二扬声器播放，或者通过一第二路径参考动作感测信号及位置信息而调整一第二声音信号后再输出至二扬声器播放。

Description

互动式声音录放装置

技术领域

本发明涉及一种互动式声音录放装置，特别是涉及一种利用动作感知建构而成的，并且可以随着配戴者头部的转动，同步调整所能感受到的立体声音的互动式声音录放装置。

背景技术

在虚拟实境的实践技术中，目前较为广泛的应用有所谓的扩增实境(Augmented reality(AR))与浸入式虚拟实境(Immersion virtualreality)。所谓的扩增实境，就是指使用者在头部穿戴一种透明的显示设备，能够让真实世界的场景与电脑产生的影像直接合成，本质上仍属于某种特殊形式的虚拟实境。真实场景的融入，主要的目的是在提升感知的效果，扩增实境***中有两大要素，是与虚拟实境大不相同的，一是真实场景的物件，因为其复杂而无法完全用电脑来建构模拟，而其主要目的是在于提升真实世界中相关任务的执行效果，另一个则是真实与虚拟的复合互动。总结而言，扩增实境具有三大特色：1.它结合虚拟与真实世界；2.能够做到即时性互动；3.在3D立体环境中运作。

而浸入式虚拟实境与扩增实境的差异性就在于融入性的程度。所谓的浸入式虚拟环境，其必须能提供一个完全融入的环境，让使用者在虚拟的空间中，感受到仿佛真实中的环境。因此若要达到浸入式虚拟实境，除了创造使用者接受的感觉信号，如视觉、听觉、触觉等，必须也要同时考虑到心理学，让使用者产生幻觉，无法分清楚是虚拟还是真实的环境。***需要能够涵盖这种输入，创造出拟真的人造世界，在技术上是一个复杂的课题。

1980年代，美国的国家航空航天局(NASA)，执行一个虚拟互动的平台(Virtual Interactive Environment Workstation)的计划，也开始了虚拟互动相关技术的研发，过去的虚拟互动技术，主要是以感应人体动作与3D视觉为主，而搭配声音的输出，则以声音的定位、方向性、双耳立体音效的技术为主。而在1980～1990年代，相关3D音效技术的开发，则随着电影娱乐、音响技术、3C消费产品等应用，将过去空间声学与听觉的研究，应用于实际的产品上，如Dolby Laboratory、DTS、SRS等。而这些技术，也可应用于虚拟实境的多媒体播放，结合3D显示技术与5.1声道、7.1声道甚至是最新的11.1声道，使用者可在具有这些设备的播放环境中，体验虚拟实境的3D音场感受。然而通过这样技术所实践的虚拟环境，仍然属于被动式的感受，使用者虽有身历其境的感官感受，但还无法与其进行互动。

在互动的技术上，虽然已有多家游戏机大厂推出了互动式的游戏机，而可通过感应使用者的动作来实践藉由人体动作与游戏互动的感觉，不过在其应用的声场环境建置上，即使可连结多声道的输出，但仍属于实际的环境立体声，其所输出的声音，还无法跟着使用者的头部方向转动进而调整3D音场的成像，使用者还是可以区隔真实环境与互动游戏的音场环境，因此还无法非常拟真的融入于游戏当中。

由此可见，上述现有的互动式装置在结构与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。为了解决上述存在的问题，相关厂商莫不费尽心思来谋求解决之道，但长久以来一直未见适用的设计被发展完成，而一般产品又没有适切的结构能够解决上述问题，此显然是相关业者急欲解决的问题。因此如何能创设一种新型结构的互动式声音录放装置，实属当前重要研发课题之一，亦成为当前业界极需改进的目标。

发明内容

本发明的目的在于，克服现有的互动式装置存在的缺陷，而提供一种新型结构的互动式声音录放装置，所要解决的技术问题是使其随着配载者头部的转动，而能够同步调整配载者所能感受到的立体声音，非常适于实用。

本发明的目的及解决其技术问题是采用以下技术方案来实现的。依据本发明提出的一种互动式声音录放装置，其包括有二扬声器、二麦克风、一动作感测器及一影音处理装置，其中二扬声器及二麦克风皆设置于互动式声音录放装置的两侧，而影音处理装置是电性连接于二扬声器、二麦克风及动作感测器，且影音处理装置具有一录制模式及一播放模式，在录制模式下，影音处理装置是接收由动作感测器的一动作感测信号及二麦克风的一第一声音信号，并储存第一声音信号及将动作感测信号储存为一位置信息，而在播放模式下，影音处理装置即直接通过一第一路径输出第一声音信号至二扬声器播放，或者通过一第二路径参考动作感测信号及位置信息而调整一第二声音信号后再输出至二扬声器播放。

本发明的目的及解决其技术问题还可采用以下技术措施进一步实现。

前述的互动式声音录放装置，其中所述的第二声音信号是由一外部装置产生而输入至该影音处理装置。

前述的互动式声音录放装置，其中所述的外部装置还提供一外部位置信息以取代录制模式下产生的该位置信息。

前述的互动式声音录放装置，其中所述的影音处理装置接收该第一声音信号后，分别解析并储存为一左声道声音信号及一右声道声音信号。

前述的互动式声音录放装置，还包括有一比较器电性连接在该影音处理装置及该动作感测器之间，其是在比较该动作感测信号及该位置信息后输出一比较信号至一数字信号处理器，且该数字信号处理器同时接收由该影音处理装置输出的该第二声音信号，经与该比较信号处理后调整输出。

前述的互动式声音录放装置，其中所述的数字信号处理器包括加入头部相关传递函数运算处理器、时间差运算处理器或音量差运算处理器。

前述的互动式声音录放装置，其中所述的数字信号处理器包括一动作感测电路以即时更新一动作感测参考值。

前述的互动式声音录放装置，其中所述的影音处理装置还电性连接有一摄影机及一显示屏，在该录制模式下藉由该摄影机录制的影像，可在该播放模式下由该影音处理装置产生一立体画面并显示于该显示屏上。

前述的互动式声音录放装置，其中所述的影音处理装置还电性连接有一摄影机及一微型投影机，在该录制模式下藉由该摄影机录制的影像，可在该播放模式下由该影音处理装置产生一立体画面，并藉由该微型投影机将该立体画面投射出。

前述的互动式声音录放装置，其中所述的动作感测器为一三轴加速度计或一陀螺仪。

本发明的互动式声音录放装置由于包括有一摄影机并电性连接于影音处理装置，因而得以应用于浸入式虚拟实境***。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明互动式声音录放装置至少具有下列优点及有益效果：本发明与现有习知技术相比较，其在使用者两耳处设置有麦克风以直接储存声音，因此可以在一第一模式下录制环境声音，并在第二模式下重现该声音至两耳旁的扬声器，且甚至可以依据两模式下使用者头部位置的不同而调整重现的声音，且若是再搭配包括了摄影机的扩增实境***而整合于一装置上，那么即可针对扩增实境的处理技术提升至浸入式虚拟实境，同时显示立体影像及感受立体声音效果，而能提供给使用者最佳的拟真实境。

综上所述，本发明是有关于一种互动式声音录放装置，其包括有二扬声器、二麦克风、一动作感测器及一影音处理装置，其中二扬声器及二麦克风皆分别设置于互动式声音录放装置的两侧，而影音处理装置则电性连接于二扬声器、二麦克风及动作感测器，且影音处理装置具有一录制模式及一播放模式，在录制模式下，影音处理装置是接收由动作感测器的一动作感测信号及二麦克风的一第一声音信号，并储存第一声音信号及将动作感测信号储存为一位置信息，而在播放模式下，影音处理装置即通过一第一路径直接输出第一声音信号至二扬声器播放，或者通过一第二路径参考动作感测信号及位置信息而调整一第二声音信号后再输出至二扬声器播放。本发明在技术上有显著的进步，并具有明显的积极效果，诚为一新颖、进步、实用的新设计。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1是本发明互动式声音录放装置应用的示意图。

图2是本发明互动式声音录放装置在录制模式的动作说明图。

图3是本发明互动式声音录放装置在播放模式的动作说明图。

图4是本发明互动式声音录放装置中数字信号处理器的内部电路的示意图。

10：眼镜                    11：鼻架

12：镜框                    13：镜脚

14：镜片                    20：扬声器

30：麦克风                  40：动作感测器

50：摄影机                  60：影音处理装置

70：模拟数字转换器          71：放大器

80：切换器                  81：放大器

90：数字信号处理器          91：模拟数字转换器

92：数字模拟转换器          93：比较器

94：滤波器                  95：时间差运算处理器

96：音量差运算处理器        97：人头权函数运算处理器

98：动作感测电路            99：加法器

100：显示屏                 110：外部装置

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的互动式声音录放装置其具体实施方式、结构、特征及其功效，详细说明如后。

有关本发明的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例的详细说明中将可清楚呈现。通过具体实施方式的说明，当可对本发明为达成预定目的所采取的技术手段及功效获得一更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。

请参阅图1所示，是本发明互动式声音录放装置应用的示意图。在此应用例当中，互动式声音录放装置是实施为主体为一眼镜10的结构，眼镜10包括有一鼻架11，以及由鼻架11两侧延伸出的二镜框12，以及由二镜框12延伸出的二镜脚13，且二镜框12上分别嵌入有一镜片14。

互动式声音录放装置另外包括有二扬声器20、二麦克风30、一动作感测器40及一影音处理装置，二扬声器20与二麦克风30分别自二镜脚13的中段延伸设置，而动作感测器40嵌设于鼻架11上，影音处理装置可实施为一芯片结构而组设于镜脚13或鼻架11内部，且分别电性连接于二扬声器20、二麦克风30及动作感测器40，影音处理装置的设计具有两种操作模式，当在一录制模式时，接收来自动作感测器40的一动作感测信号及二麦克风30的一第一声音信号，并储存第一声音信号及将动作感测信号储存为一位置信息，而当在一播放模式时，影音处理装置是直接输出第一声音信号至二扬声器20播放，或者通过一第二路径参考动作感测信号及位置信息而调整一第二声音信号后再输出至该二扬声器20播放。

上述动作感测器40例如可以实施为三轴加速度计或是陀螺仪等感测元件。

上述第二声音信号可以是由一外部装置产生而输入至影音处理装置，或者是原本即内建于影音处理装置中。

上述影音处理装置除了内建于眼镜10的实施方式外，也可单独设置于一控制盒内，而眼镜10上扬声器20、麦克风30及动作感测器40等构件所产生的信号，皆可藉由无线技术来与控制盒互作传输。

本发明互动式声音录放装置另外还包括有一摄影机50设置于鼻架11上，藉由摄影机50所摄录的影像，通过有线传输或无线传输的方式将档案传送至具有扩增实境处理功能的电脑或数字处理器后，经处理产生一立体画面而呈现在镜片14朝眼睛的一面，且此处镜片14非为透明的。另外，通过扩增实境处理的技术，也可以是在半透明的镜片14上显示与所视目标相关的信息，如此一来即可与所视目标的画面叠加在一起。

在此另外要补充说明的是，本发明互动式声音录放装置除了如图1般整合在眼镜10上以外，另外也可以是整合在例如智能型手机、个人数字助理或个人摄影机等装置上，而二扬声器20、二麦克风30及动作感测器40可以整合在一耳机上以与该些装置连接，且使用者将耳机载上时，二扬声器20及二麦克风30乃是位于使用者的耳朵旁，而动作感测器40则设计在头顶的正中央处或是额头的正中央处。

接着，请参阅图2所示，是本发明互动式声音录放装置在录制模式的动作说明图。图中，当使用者将图1中的眼镜10戴起时，人耳两旁的麦克风30分别接收外部环境的声音，而此种收音方式，即包含有头部相关传递函数(Head-related transfer function，HRTF)的效应在内，而此时左、右耳的麦克风30所接收的声音信号是分别通过一放大器71传送至影音处理装置60，且解析储存为一左声道声音信号及一右声道声音信号，于此同时，动作感测器40所感知产生的一动作感测信号传送至一模拟数字转换器70(D/A)，而经由模拟数字转换器70转换后的动作感测信号将直接传送至影音处理装置60，且在影音处理装置60中将感测信号解析储存为一位置信息。在此另外须要说明的是，摄影机50此时也同步摄录影像，并将信号直接传送至影音处理装置60解析储存，以方便再通过有线传输或无线传输的方式将档案传送至具有扩增实境处理功能的电脑或数字处理器。

此处另外须要说明的是，在录制模式下，使用者可能会随着环境的感知而使得身体及头部的位置有所改变，因此在录制时，麦克风30与动作感测器40两者所产生的信号叠加储存于影音处理装置60当中，且同时记录下每一次使用者位置改变时的位置信息，以便于拟真且忠实地记录下当时环境中所感受到的音场感受。

接着，请参阅图3所示，是本发明互动式声音录放装置在播放模式的动作说明图。图中，在播放模式下，若使用者欲还原播放录制模式下所录到的立体音效，那么影音处理装置60可以选择通过切换器80将左声道声音信号及右声道声音信号直接藉由一第一路径而传送至一放大器81作放大处理后，再传送至左、右耳的扬声器20，此时因为原本左声道声音信号及右声道声音信号本身即为已包含有头部相关传递函数(HRTF)效应的声音信号，因此使用者从扬声器20中所听到的即为立体的声音。

另外，影音处理装置60也可选择播放一第二声音信号，而此处第二声音信号例如可以是由一外部装置110所产生，或者是由影音处理装置60所内建，此处影音处理装置60可以选择通过切换器80将左声道声音信号及右声道声音信号先藉由一第二路径而传送到一模拟数字转换器91(A/D)转换为数字信号，再送至数字信号处理器90处理，而后再送至数字模拟转换器92(D/A)转换为模拟声音信号，经放大器81放大处理后，再传送至左、右耳的扬声器20，此模式之下，数字信号处理器90更接收一比较信号，此比较信号是藉由连接在动作感测器40与影音处理装置60之间的比较器93所送出，且此处比较器93是分别接受来自动作感测器40在播放模式下所侦测的动作感测信号，以及来自影音处理装置60由外部装置110所送入的一位置信息，当数字信号处理器90接收比较信号后，可调整来自影音处理装置60所输出的声音信号，最后再传送至左、右耳的扬声器20。

举例来说，当使用者身处于眼前有汽车驶过的环境时，可以先藉由二麦克风30将汽车经过时的声音录制起来，由于记录在影音处理装置60中的左声道声音信号及右声道声音信号本身即为已包含有头部相关传递函数(HRTF)效应的声音信号，因此使用者可以直接通过第一路径从扬声器20中重现汽车经过的立体声音；另一方面，影音处理装置60可以接收例如是电子游乐器的外部装置所送入的声音信号及位置信息，在游戏当中本身即已具有不同位置下所对应的声音信号，而当数字信号处理器90接收使用者头部转动后产生的动作感测信号后，即可对应变更声音信号的空间感，让使用者能更融入于游戏的空间感受当中，因此使用者从第二路径下所听到的声音信号将有更为拟真的感受。

另外，在此播放模式下，摄影机50所摄录的影像即可由影音处理装置60产生一立体画面至一显示屏100，或是通过影音处理装置60传送至具有扩增实境处理功能的电脑或数字处理器后，再传送至显示屏100，在此显示屏100可以是例如图1中的镜片，或者是智能型手机的荧幕，若显示于手机荧幕上，那么使用者即可直接从荧幕上看到扩增实境的立体画面，并同时从二扬声器20中听到立体音效。然而，如果是选择将显示屏100实施为笔记型电脑荧幕时，那么立体音效可选择由笔记型电脑内建的扬声器作为输出，其产生立体音效的效果是由笔记型电脑内部程序另外作运算，在此即不另作赘述。

另外须要补充的是，本发明互动式声音录放装置上可以另外增设一微型投影机，例如安装在图1的眼镜上，如此一来，上述立体画面也可通过微型投影机而投射至墙面或幕布上，而有较大画面的显示。

接着，请参阅图4所示，是本发明互动式声音录放装置中数字信号处理器的内部电路的示意图。图中，数字信号处理器90中包括有多个数字滤波器94、多个时间差运算处理器95、多个音量差运算处理器96、多个头部相关传递函数运算处理器97、一动作感测电路98及多个加法器99，其中左声道声音信号及右声道声音信号传送到一模拟数字转换器91转换后，分别送入至该些数字滤波器94作滤波处理，例如左声道声音信号就传送到对应的两个数字滤波器94，且其中一个数字滤波器94所处理后的信号传送至一加法器99，另一个数字滤波器94所处理后的信号则传送至另一加法器99，而每一个叠加左、右声道声音信号的加法器99可将信号再传送至对应的时间差运算处理器95、音量差运算处理器96、头部相关传递函数运算处理器97，另外，比较器93依据当下使用者头部转动所传来的动作感测信号及影音处理装置60所输出的位置信息所产生的比较信号传送至动作感测电路98，经动作感测电路98处理更新一动作感测参考值后，再分别传送至时间差运算处理器95、音量差运算处理器96、头部相关传递函数运算处理器97，因此得以调整来自影音处理装置60所输出的声音信号，而能调整左、右声道声音信号的时间相位及音量大小，并且能加入头部相关传递函数的计算处理，而使得最后输出的左、右声道声音信号在使用者左、右耳扬声器20播放时，能具有立体拟真效果。

综合上述，本发明互动式声音录放装置藉由在使用者两耳设置有麦克风以直接储存声音，因此可以在一第一模式下录制当时的环境声音，并在第二模式下重现该声音至两耳旁的扬声器，且甚至可以依据两模式下使用者头部位置的不同而调整重现的声音，随着使用者头部的摆动而模拟调整声音音场的变化，因而具有立体拟真的效果，若搭配包括摄影机的扩增实境***而整合于一装置上，那么即可针对扩增实境的处理技术提升至浸入式虚拟实境，不仅在画面上具有立体影像，也可以整合加入立体声音效果，而提供给使用者最佳的拟真实境。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种互动式声音录放装置，其特征在于其包括有：

二扬声器，设置于该互动式声音录放装置的两侧；

二麦克风，设置于该互动式声音录放装置的两侧，并录制一第一声音信号；

一动作感测器，侦测使用者身体移动而产生的一动作感测信号；

一影音处理装置，电性连接于该二扬声器、该二麦克风及该动作感测器，且该影音处理装置具有两种操作模式：

一录制模式，接收由该动作感测信号及该第一声音信号，并储存该第一声音信号及将该动作感测信号储存为一位置信息；

一播放模式，由该影音处理装置通过一第一路径直接输出该第一声音信号至该二扬声器播放，或者通过一第二路径参考该动作感测信号及该位置信息而调整一第二声音信号后再输出至该二扬声器播放。

2.根据权利要求1所述的互动式声音录放装置，其特征在于其中所述的第二声音信号是由一外部装置产生而输入至该影音处理装置。

3.根据权利要求2所述的互动式声音录放装置，其特征在于其中所述的外部装置还提供一外部位置信息以取代录制模式下产生的该位置信息。

4.根据权利要求1所述的互动式声音录放装置，其特征在于其中所述的影音处理装置接收该第一声音信号后，分别解析并储存为一左声道声音信号及一右声道声音信号。

5.根据权利要求1所述的互动式声音录放装置，其特征在于其中还包括有一比较器电性连接在该影音处理装置及该动作感测器之间，其是在比较该动作感测信号及该位置信息后输出一比较信号至一数字信号处理器，且该数字信号处理器同时接收由该影音处理装置输出的该第二声音信号，经与该比较信号处理后调整输出。

6.根据权利要求5所述的互动式声音录放装置，其特征在于其中所述的数字信号处理器包括加入头部相关传递函数运算处理器、时间差运算处理器或音量差运算处理器。

7.根据权利要求5所述的互动式声音录放装置，其特征在于其中所述的数字信号处理器包括一动作感测电路以即时更新一动作感测参考值。

8.根据权利要求1所述的互动式声音录放装置，其特征在于其中所述的影音处理装置还电性连接有一摄影机及一显示屏，在该录制模式下藉由该摄影机录制的影像，可在该播放模式下由该影音处理装置产生一立体画面并显示于该显示屏上。

9.根据权利要求1所述的互动式声音录放装置，其特征在于其中所述的影音处理装置还电性连接有一摄影机及一微型投影机，在该录制模式下藉由该摄影机录制的影像，可在该播放模式下由该影音处理装置产生一立体画面，并藉由该微型投影机将该立体画面投射出。

10.根据权利要求1所述的互动式声音录放装置，其特征在于其中所述的动作感测器为一三轴加速度计或一陀螺仪。

Images