CN110944085B

CN110944085B - 一种晃动智能手机产生音乐的方法

Info

Publication number: CN110944085B
Application number: CN201911099612.XA
Authority: CN
Inventors: 林巧民; 法安琪; 陶海; 谢强; 苏娟娟; 潘敏; 徐康; 叶宁; 王汝传
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2019-11-12
Filing date: 2019-11-12
Publication date: 2021-10-29
Anticipated expiration: 2039-11-12
Also published as: CN110944085A

Abstract

本发明揭示了一种晃动智能手机产生音乐的方法，包括步骤：选择智能手机中对应晃动感应的传感器；开发智能手机应用，并通过安装APP在智能手机中构建传感器管理对象和传感监听管理对象，通过访问传感器、获得原始感知数据并根据空间参数分类数据处理；定义动作与音阶，将处理后的数据分别与晃动智能手机的动作相关联，并分别映射到各个音阶，创建声音池及音频播放对象；根据检测所得智能手机晃动动作，播放对应一个动作的一个音阶声音。应用本发明的技术解决方案，利用智能手机自带的传感器，通过简单开发的APP读取传感器感知的数据并转化为对应的音阶发声，有利于用户在挥动智能手机时激发音乐的感知和掌控能力，增进兴趣并获得创作乐趣。

Description

一种晃动智能手机产生音乐的方法

技术领域

本发明涉及一种智能手机应用开发中体感交互技术，尤其涉及一种通过晃动智能手机产生音乐的方法。

背景技术

体感交互技术最早走进公众视野是在任天堂2007年推出的Wii Remote和微软2010年推出的Kinect中，伴随着这两款商业化产品出现了“体感游戏（Exgergame）”这一游戏的新玩法，并且取得了非常不错的口碑与销量，从此广大电玩玩家们终于可以告别手握游戏手柄呆坐在屏幕前“激情澎湃地”玩游戏的时代。而在这些基于体感交互技术的商业产品中，微软的Kinect因其优良的性能（同时跟踪多人、人脸追踪及多语言语音识别等）和微软提供的强大技术支持（开放Windows平台的SDK、推出专门的开发版Kinect），也在诸如医疗、健身、零售行业、教育培训及科研等领域得到了较为广泛的应用。

现在的智能手机往往配备了不少传感器，如气压测量、陀螺仪、光线感应、红外遥控、GPS/A-GPS、北斗、霍尔感应器、距离传感器和加速度传感器等，各传感器功能各不相同，而有一部分是与智能手机短距离的空间运动息息相关的。

发明内容

本发明所要解决的技术问题在于发挥孩子的好动性的同时激发对音乐的兴趣，提出了一种晃动智能手机产生音乐的方法，扩展智能手机体感交互应用功能。

为实现上述目的，本发明具体采用的技术方案为：一种晃动智能手机产生音乐的方法，其特征在于包括以下步骤：

步骤一：选择智能手机中对应晃动感应的传感器；

步骤二：开发智能手机应用，并通过安装APP在智能手机中构建传感器管理对象和传感监听管理对象，智能手机的处理器通过调用两个对象访问传感器、获得原始感知数据并根据空间参数分类数据处理；

步骤三：定义动作与音阶，将处理后的数据分别与晃动智能手机的动作相关联，并将动作分别映射到各个音阶上，创建声音池及音频播放对象；

步骤四：在APP中预设传感器数据发送的锁及状态切换的第一阈值，根据检测所得智能手机晃动动作及锁的状态，播放对应一个动作的一个音阶声音。

进一步地，步骤一之前还包括选择智能手机类型及对应智能手机操作***的应用开发环境。

进一步地，步骤一中所选传感器至少为加速度传感器或陀螺仪。

进一步地，所选传感器为加速度传感器，步骤二中所获得的原始感知数据包含重力分量，所述数据处理中还包括设置低通滤波器消除重力分量。

进一步地，所选传感器为加速度传感器，步骤三中处理后的数据分别对应空间三轴及各轴的两个方向，并通过设置加速度的第二阈值定义一轴复用，通过比较三个轴向线性加速度的绝对值最大者及其方向判定晃动智能手机的动作，并对应匹配一个音阶。

进一步地，步骤四中当加速度达到发音值时便会发送数据、播放对应音阶，当加速度达到发音值且已发送数据后，锁置位暂停数据发送，当加速度降至第一阈值，锁置位允许数据发送。

进一步地，用户将智能手机手持或绑接于腕带，并通过挥动手臂带动智能手机晃动发声，连成音乐。

进一步地，将单列式加速度传感器佩戴于鞋袜或绑接于踝部，且通过蓝牙与智能手机建立数据传输通道，对应单列式加速度传感器扩展步骤二及步骤三的设置，使之与智能手机内的加速度传感器协同感应；用户将智能手机手持或绑接于腕带后，通过手舞足蹈带动智能手机晃动发声，连成音乐。

进一步地，所选传感器为陀螺仪，通过步骤二及步骤三建立角度变化与晃动智能手机的动作相关联，并将动作分别映射到各个音阶上；用户将智能手机绑接于腰部，并通过各向弯腰、扭胯带动智能手机晃动发声，连成音乐。

进一步地，在足部佩戴单列式加速度传感器，在腰部配装单列式陀螺仪，且均通过蓝牙与智能手机建立数据传输通道，对应增设的单列式加速度传感器或单列式陀螺仪扩展步骤二及步骤三的设置，使之与智能手机内的加速度传感器协同感应；用户将智能手机手持或绑接于腕带后，通过手舞、足蹈、挺腰、扭胯的动作组合带动智能手机晃动发声，连成音乐。

应用本发明的技术解决方案，具有以下显著的技术效果：该方法充分利用智能手机自带的传感器或通过蓝牙选配扩展传感硬件，通过简单开发的APP读取传感器感知的数据并转化为对应的音阶发声，有利于用户在挥动智能手机时激发音乐的感知和掌控能力，增进兴趣并获得创作乐趣。

附图说明

图1为本发明方法中以智能手机为中心的空间坐标系示意图。

图2为本发明以加速度传感器为例的三轴晃动动作所对应的音阶分布示意图。

图3为本发明方法中智能手机APP的功能流程示意图。

图4为本发明方法中开发应用的数据通讯示意图。

图5为本发明应用实例中简谱与智能手机晃动动作的配对示意图。

具体的实施方式

下面结合说明书附图对本发明的实施方式进行描述。

根据组合创新原理，本发明考虑将智能手机同体感交互相结合，提出了一种晃动智能手机产生音乐的方法。与一般手势识别技术基于拍摄图像处理不同，本发明的手势识别是基于智能手机自带的传感器数据采集和处理来实现的。融入了智能手机持有者的肢体活动，感知晃动的不同方位，映射为不同音阶，播放相应音阶声音；基于歌曲简谱可晃动成曲，如图5所示。

从技术概述来看，本创新方法的实现过程包括。步骤一：选择智能手机中对应晃动感应的传感器；步骤二：开发智能手机应用，并通过安装APP在智能手机中构建传感器管理对象和传感监听管理对象，智能手机的处理器通过调用两个对象访问传感器、获得原始感知数据并根据空间参数分类数据处理；步骤三：定义动作与音阶，将处理后的数据分别与晃动智能手机的动作相关联，并将动作分别映射到各个音阶上，创建声音池及音频播放对象；步骤四：在APP中预设传感器数据发送的锁及状态切换的第一阈值，根据检测所得智能手机晃动动作及锁的状态，播放对应一个动作的一个音阶声音。

更具体的实例结合图示并进一步分步骤详述如下。

步骤一之前还包括选择智能手机类型及对应智能手机操作***的应用开发环境。如对应Android9.0的智能手机，以Android Studio为开发环境。当然，满足足够开放度条件下的iOS的智能手机亦可适用本方法。同时，步骤一中传感器选择至少为加速度传感器或陀螺仪，主要考虑反映智能手机方位变化精度高、速度快的感测硬件，而与定位相关的GPS/A-GPS、北斗或其它光感性传感器皆不予考虑。其中尤以加速度传感器优选，如图1所示其是用来测量三轴加速度的传感器，此加速度是根据牛顿第二定律，分别是X、Y、Z轴各方向上的瞬时加速度。要注意的是，此传感器测量的三轴加速度是包含了重力加速度，用简例说明就是，将手机平放在水平桌面上，X、Y轴的加速度为0，而Z轴加速度约等于9.8m²/s，即为当地的重力加速度。

上述步骤二开发智能手机应用来看，需要首先关注的是获取传感器。在Android开发中，如果要访问硬件传感器，那么首先需要的是一个SensorManager对象，也就是传感器管理者。获取该对象的方法是，用getSystemService()，并且传入参数SENSOR_SERVICE。代码如下：MyManager =(SensorManager) getSystemService(SENSOR_SERVICE)。

由于有了管理者，那么就可以用它来调用想要访问的各类传感器。通过调用SensorManager对象的方法getDefaultSensor()，同时将表明传感器类型的TYPE_PROXIMITY常量传给该方法，以此创建出所要的传感器对象，以此类推如下：

Mysensor1=MyManager.getDefaultSensor(Sensor.TYPE_GYROSCOPE)；

Mysensor2=MyManager.getDefaultSensor(Sensor.TYPE_ACCELERATION)。

接着注册听众，为了得到传感器收集到的原始数据，创建SensorEventListener对象，并且用SensorManager对象的方法registerListener()来与***相连接，在该方法里，可以定义传感器的灵敏度，不同灵敏度，其反应速度不同，即每秒钟读取数据的频率不一样，一般情况下，越精准，耗电量越高，这里使用最快的读取频率，主要是考虑到人体手臂摆动可能会比较快，防止无反应，代码如下：

MyManger.registerListener(this,Mysensor1,SensorManager.SENSOR_DELAY_FASTEST)；

MyManger.registerListener(this,Mysensor2,SensorManager.SENSOR_DELAY_FASTEST)。

而后获得原始数据，前面创建的SensorEventListener对象里有两个方法，分别是onSensorChanged(SensorEvent event)以及onAccuracyChanged(Sensor sensor, intaccuracy)，本实例采用前一个，后一个是用于高精度数据监听。SensorEvent对象记录了传感器数据的变化，加速度传感器的原始数据是三元的，由三个float值组成，分别代表X，Y和Z轴上的相关参数，它们存储在数组中，通过event.values[]来访问。

继而数据处理，由于加速度传感器生成的数据中，包含了重力加速度的影响，而本发明只需采集人肢体施加给手机的加速度，为此设计一个低通滤波器，消除重力加速度的影响。低通滤波器具体实现如下：

t为滤波器的时间常量，代表传感器采集一次的时间，T代表传感器采集数据的频率，由t / (t +T)求得滤波系数α。

先求出重力影响下产生的三轴加速度，低通滤波：

gravity[0] =α * gravity[0] + (1 - α) * event.values[0];

gravity[1] = α* gravity[1]+ (1 - α) * event.values[1];

gravity[2] = α * gravity[2] + (1 - α) * event.values[2]。

然后将原始数据扣除重力加速度，可得三轴上线性加速度：

linear_acceleration[0] = event.values[0] - gravity[0];

linear_acceleration[1] = event.values[1] - gravity[1];

linear_acceleration[2] = event.values[2] - gravity[2]。

三轴即X、Y、Z轴有正负之分，可正方向代表一个音阶，负方向代表一个音阶，三个轴即可表示六个，剩下两个音阶与其中一条轴如Y轴共用，并通过加速度值大小来加以区分，实施例中阀值设定为19。比较前面计算得到的三个轴向线性加速度值，绝对值最大的即为手机晃动的轴向，正值为正向，负值为负向，具体实施中通过设置加速度的第二阈值（19）定义Y轴复用并分布了四个音阶，对应实时加速度数据值>19、19>数据值>0、0>数据值>-19、-19>数据值，四种情况，具体音阶分布如附图2所示。

创建SoundPool实例，指定容量为8，对应8个音阶，前七个为基本音阶Do、Re、Mi、Fa、So、La、Si，第8个为重音Do，加载声音类型为流式音频，并使用Map记载音频资源名称及ID。编写一个函数InitMusic（）将音频资源加载入声音池，并为每个资源标明键值，为了保证所有的音阶音频已经加载完毕，使用监听事件以及提示框来确保和表明加载完成，接着写音频播放函数playMusic(int index,float speed)，其参数表示音阶音频的标识以及播放速度，速度设为默认值，并可通过UI界面调整。

以上智能手机应用开发的细节过程为本行业开发者所熟悉，采用现有开发环境易于实现，故不再具体展开每个编程开发环节的细节过程。经测试，本发明可准确演奏每个音阶且自然有趣。

为避免出现连音状况。完善设计了“连音”处理。经调试分析，只要加速度达到15，便会允许发送数据，由于传感器每秒会检测加速度非常多次，而当加速度达到发音值15后，它这个状态会持续一小段时间，之后加速度才降到15之下，在这加速度很高的时间里都是符合发送数据要求的，因此便持续地发送数据给音频模块，出现连音。借鉴操作***进程管理中的“PV操作”，设置一个“锁”，用布尔类型来表示，开始时“锁”值为true，当加速度达到15且已向音频模块发送数据后，便把“锁”置为False，暂停传感器模块的数据发送，当加速度值小于第一阈值（本实施例中定值为5）即停止晃动后，“锁”值又置为True，等待下一次晃动，如此，实现了“一挥一音”。具体模块间通信及APP架构可见附图3、附图4。

在上述原理性技术实现的基础上，从本发明方法的具体应用实例来看，促使智能手机晃动的方式具有多样性，而肢体中可活动的部位也不仅限于手臂，且适用于各年龄层，乃至部分残障人士，因此实用性广泛。

最基础的原理性应用来看，用户将智能手机手持或绑接于腕带，并通过挥动手臂带动智能手机晃动发声，连成音乐，尤其适合对乐理知识出于懵懂状态的孩童在玩耍中激发兴趣。

在四肢活动力充分或仅下肢活动灵活的情况下，可以选择将单列式加速度传感器佩戴于鞋袜或绑接于踝部，且通过蓝牙与智能手机建立数据传输通道，对应单列式加速度传感器扩展步骤二及步骤三的设置，使之与智能手机内的加速度传感器协同感应；用户将智能手机手持或绑接于腕带后，通过手舞足蹈带动智能手机晃动发声，连成音乐。

除四肢驱动智能手机晃动外，所选传感器还可以是陀螺仪，通过步骤二及步骤三参照加速度传感器的实例建立角度变化与晃动智能手机的动作相关联，并将动作分别映射到各个音阶上。用户将智能手机绑接于腰部，并通过各向弯腰、扭胯带动智能手机晃动发声，连成音乐。

作为更进阶的应用实例，对于音乐作曲能力较强的用户，还可以在足部佩戴单列式加速度传感器，在腰部配装单列式陀螺仪，且均通过蓝牙与智能手机建立数据传输通道，对应增设的单列式加速度传感器或单列式陀螺仪扩展步骤二及步骤三的设置，使之与智能手机内的加速度传感器协同感应，并大幅度扩展音域范围；用户将智能手机手持或绑接于腕带后，通过手舞、足蹈、挺腰、扭胯的动作组合带动智能手机晃动发声，连成音乐。

综上对于本发明晃动智能手机产生音乐的方法，从技术原理、具体实现方法和应用案例多方面作了详细介绍，可见本发明的技术方案，具有突出的实质性特点和显著的进步性：该方法充分利用智能手机自带的传感器或通过蓝牙选配扩展传感硬件，通过简单开发的APP读取传感器感知的数据并转化为对应的音阶发声，有利于用户在挥动智能手机时激发音乐的感知和掌控能力，增进兴趣并获得创作乐趣。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims

1.一种晃动智能手机产生音乐的方法，其特征在于包括以下步骤：

步骤一：选择智能手机中对应晃动感应的传感器，所选传感器为加速度传感器和陀螺仪，将智能手机手持或绑接于腰部，将单列式加速度传感器佩戴于鞋袜或绑接于踝部，或者将单列式陀螺仪配装于腰部，且通过蓝牙将单列式陀螺仪、单列式加速度传感器与智能手机建立数据传输通道；

步骤二：开发智能手机应用，并通过安装APP在智能手机中构建传感器管理对象和传感监听管理对象，智能手机的处理器通过调用两个对象访问传感器及单列式陀螺仪、单列式加速度传感器协同感应，获得原始感知数据并根据空间参数分类数据处理；

步骤三：定义动作与音阶，将处理后的数据分别对应空间三轴及各轴的两个方向，并通过设置加速度的第二阈值定义一轴复用，通过比较三个轴向线性加速度的绝对值最大者及其方向判定晃动智能手机的动作，并对应匹配一个音阶；并且建立角度变化与晃动智能手机的动作相关联，将动作分别映射到各个音阶上，创建声音池及音频播放对象；

步骤四：在APP中预设传感器数据发送的锁及状态切换的第一阈值，根据检测所得智能手机晃动动作及锁的状态，当加速度达到发音值时便会发送数据、播放对应音阶，当加速度达到发音值且已发送数据后，锁置位暂停数据发送，当加速度降至第一阈值，锁置位允许数据发送。

2.根据权利要求1所述晃动智能手机产生音乐的方法，其特征在于：步骤一之前还包括选择智能手机类型及对应智能手机操作***的应用开发环境。

3.根据权利要求1所述晃动智能手机产生音乐的方法，其特征在于：所选传感器为加速度传感器，步骤二中所获得的原始感知数据包含重力分量，所述数据处理中还包括设置低通滤波器消除重力分量。

4.根据权利要求1所述晃动智能手机产生音乐的方法，其特征在于：用户将智能手机手持或绑接于腕带，并通过挥动手臂带动智能手机晃动发声，连成音乐。