CN110189733B

CN110189733B - 基于mqtt协议的钢琴陪练穿戴设备

Info

Publication number: CN110189733B
Application number: CN201910529665.4A
Authority: CN
Inventors: 孔世明
Original assignee: Sichuan Changhong Electric Co Ltd
Current assignee: Sichuan Changhong Electric Co Ltd
Priority date: 2019-06-18
Filing date: 2019-06-18
Publication date: 2022-05-03
Anticipated expiration: 2039-06-18
Also published as: CN110189733A

Abstract

本发明公开了基于MQTT协议的钢琴陪练穿戴设备，包括辅助穿戴设备、智能钢琴设备及MQTT服务器端，采用“将智能化模块集成到一种针对性穿戴设备”及“与主体智能电钢琴处理单元”通过MQTT订阅发布相结合的方案，及“外在约束”和“内在纠错”的模式，达到解决指法训练的目的；本发明可以通过外在辅助设备帮助初学者在前期学习过程中，保证手型、手臂达到标准的姿势，并且在长久积累中逐渐形成大脑记忆，基本功更扎实，另外，对于特定的乐谱，学习者在初次练习时，结合智能钢琴识谱单元及穿戴设备的帮助，十指触键顺序可准确定位，大大降低练习的错误率。

Description

基于MQTT协议的钢琴陪练穿戴设备

技术领域

本发明涉及乐器陪练技术领域，尤其涉及基于MQTT协议的钢琴陪练穿戴设备。

背景技术

目前，音乐启蒙教育在文化传播普及方面的速度越来越快，以分频模拟电路作为核心技术的电子琴诞生，降低了真钢琴的购买成本，随后人们又基于没有击弦触感的电子琴，采用数字采样技术对击弦进行物理采样并数字处理加以回放，模拟钢琴配重的力度、速度及击弦节奏，将电子琴上升为数码钢琴的高仿机械钢琴的产品。这一举措虽然在一定程度上保证电子钢琴演奏技巧和击弦手感向机械钢琴靠拢，但是从智能钢琴的概念角度出发，仍不具备智能训练的特点。直到2008年智能钢琴的智能处理单元出现，其主要依赖于将基本功能的数码钢琴作为智能载体形成感知层，原来的复杂模拟电路单元集成网络驱动单元，共享同一网络环境而形成网络层，应用层可通过操作者的智能手持设备(平板、手机等)进行应用操作，从而实现纠错、识谱、曲目分析等智能处理操作。这虽然在一定程度上解决了智能交互，但是对于基本的钢琴演奏指法、手型等基本功的约束仍然无法满足。与此同时，更多服务于人机交互的传感器技术及网络交互的MQTT通讯技术也日趋成熟。在这种背景下，如何结合基于基本的智能钢琴单元，打造一种智能辅助设备，帮助完成对练习者的钢琴基本功的外在约束，彻底摆脱人为不间断的监守，从而形成高效、实时的练习便成为亟待解决的问题。

发明内容

针对上述问题，本发明提出了基于MQTT协议的钢琴陪练穿戴设备，解决了通过创建script标签实现动态加载js资源时可能出现的重复请求的问题。

本发明通过以下技术方案来实现上述目的：

基于MQTT协议的钢琴陪练穿戴设备，包括：

MQTT Client1-辅助穿戴设备，所述辅助穿戴设备包括：

<1>穿戴设备：根据各个年龄段的人群，按照贴合手部的尺寸，采用高弹力网眼纤维材质制作手部佩戴模块，同时在左右手十指的每个关节处，附加机械张力较大的补丁；

手臂处采用带软性护垫的固体支撑装置，水平拖住练习者前臂，并且在末端延伸出可调节的绑带，分别可用于固定手臂及腰部；

<2>触键传感器：在双手八指的指肚上安装触键传感器；

<3>智能处理单元：练***衡输出，用32位嵌入式CPU，作为控制、辅助***运行的微处理硬件单元，通过芯片集成接收此输出信号并到达存储器，嵌入式***需要存储器来存放和执行代码；嵌入式***的存储器包含Cache、主存和辅助存储器，在需要进行数据读取操作时，微处理器从Cache中读取数据；

<4>震动反馈装置：在双手穿戴手套下方集成十组小型震动反馈装置，该装置由穿戴设备供电，并由智能处理单元驱动工作，用来对指法练习中出现的错误及时提醒；

<5>发布订阅曲谱信息：辅助穿戴设备的智能处理单元，安装钢琴练习的应用程序，该应用程序订阅来自智能钢琴发布的特定曲谱的正确指法演奏表，该表是根据曲谱的节拍和小节，生成的特定击键手指序号；若弹奏者没有按照正确的序列，即没有使用正确的音符-指法对应关系进行击键，则压阻传感器传输过来的击键信息生成的指法序列与对比序列不吻合，将会驱动震动反馈装置对错误的指法产生震动反应，使练习者能及时感知并且加以纠正；

MQTT Client2-智能钢琴设备，所述智能钢琴设备包括：

<1>识谱单元：该单元包括曲谱库和交互录入两部分，对于音乐启蒙及钢琴考级多个阶段的曲谱信息一一做指法标注，并将每一首曲谱的音符-指法对应信息进行存储，同时，对于相对较偏的曲目，或者是练习者自己作曲，本单元设有录入模式，录入模式开启，练习者可使用穿戴设备，将该曲目的音符信息通过演奏录入，且本单元会存储通过订阅穿戴设备发送的指法序列消息、音符信息以及节拍信息，最终根据这些信息生成标准的音符指法谱表，最终存储至曲谱库，供练习者后续使用；

<2>纠错单元：通过穿戴设备演奏指定曲目时，该单元会首先调取此曲目的音符-指法对应序列信息，智能处理单元订阅穿戴设备发布的指法击键消息，解析成相同格式的击键序列，然后相比较，对产生的错误指法击键，在屏幕上对该处音符做出红色标注；

<3>发布订阅曲谱信息：本环节与穿戴设备订阅发布互为逆过程，由智能处理单元所集成的应用程序定义发布主题Topic为音符指法序列，该序列被穿戴设备智能处理单元订阅，练习者使用时，钢琴智能设备应用程序通过代理服务器与穿戴设施建立网络连接，发布曲谱指法消息，穿戴设备订阅接收此消息产生后续反馈；

MQTT服务器端搭建：

采用轻量级的mosquitto开源项目搭建一个MQTT服务器，具体步骤如下；

第一步：安装一台linux主机，可以使用真机安装也可以使用虚拟机安装；

第二步：下载mosquitto需要的支持：

第三步：下载mosquitto并解压；

第四步：编译；

第五步：启动mosquitto；

进一步方案为，所述MQTT服务器使用发布/订阅消息模式，提供一对多的消息发布，使用TCP/IP提供网络连接。

本发明的有益效果在于：

本发明的设备不仅内置相应的智能处理单元驱动程序与钢琴主体通信，提供读谱、实时练习、调整节拍、节奏、变调等基础操作，同时也对外发布当前曲目的正确指法信息，更加智能化；在电钢琴内部合理部署智能单元，使得钢琴主体成为必要的辅助学习智能应用的载体；

现有技术的智能钢琴集成方案，无法针对习琴者所共有的手型、坐姿等基础要求进行约束，而必须通过培训机构或私人教练人工纠正，局限性较大，而本套穿戴设备，即是在保证对内智能驱动的基础上，对外加以约束，可使得每一个独立练习的习琴者脱离人工束缚，以时间累积跨度作为基本功的养成条件；本发明实现了与人体工学相适应的、高效精确的矫正手型、坐姿的外部穿戴设备；

每一次钢琴练习都是一个连续性的过程，现有智能钢琴方案，仅仅是依赖习琴者自身去主动发现错误，无法做到在快速击键的过程中，及时发现指法错误。而本套设备的基于MQTT订阅发布的软件方案，可在局域网内，针对每一个音符进行实时记录反馈，完成指法纠正、外部设备反馈的实时性和低延迟，做到“即错即纠”减少弹奏错误。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

在任一实施例中，如图1所示，本发明的基于MQTT协议的钢琴陪练穿戴设备，包括：

MQTT Client1-辅助穿戴设备，所述辅助穿戴设备包括：

<1>穿戴设备：根据各个年龄段的人群，按照贴合手部的尺寸，采用高弹力网眼纤维材质制作手部佩戴模块，方便长期佩戴，以及进行长时间的高抬指触键练习，同时在左右手十指的每个关节处，附加机械张力较大的补丁，这样防止在钢琴练习中，练琴者频繁出现塌指的错误手势；

手臂处采用带软性护垫的固体支撑装置，水平拖住练***，防止钢琴练习中双臂带动手腕下垂至琴键下方的错误姿势出现；

<2>触键传感器：在双手八指的指肚(两大拇指除外，因拇指是用外侧击键)上安装触键传感器(压阻式传感器)，采用集成工艺将电阻条集成在单晶硅膜片上，制成硅压阻芯片，并将此芯片的周边固定封装于双手穿戴手套下方，这样可直接通过硅膜片感受学琴者击键时的压力变化，压阻式传感器是根据半导体材料的压阻效应在半导体材料的基片上经扩散电阻而制成的器件；其基片可直接作为测量传感元件，扩散电阻在基片内接成电桥形式，当基片受到外力作用而产生形变时，各电阻值将发生变化，电桥就会产生相应的不平衡输出，最后通过与嵌入式智能处理单元(下面所述)紧密结合，实时收集这种输出信息，判断击键的指法顺序以及强弱；

<3>智能处理单元：练***衡输出，用32位嵌入式CPU，作为控制、辅助***运行的微处理硬件单元，通过芯片集成接收此输出信号并到达存储器，嵌入式***需要存储器来存放和执行代码；嵌入式***的存储器包含Cache、主存和辅助存储器，在需要进行数据读取操作时，微处理器从Cache中读取数据，而不是从主存中读取，这样就大大改善了***的性能，提高了微处理器和主存之间的数据传输速率。主存是嵌入式微处理器能直接访问的寄存器，用来存放***和用户的程序及数据。辅助存储器用来存放大数据量的程序代码或信息，它的容量大、但读取速度与主存相比就慢的很多，用来长期保存用户的信息。考虑到实际钢琴练习时，需要实时将击键顺序、力度和速度与主体电钢琴通讯，故本套设备从击键传感器接收来的信息仍然采用Cache存储器读写，以备后续与智能钢琴主体智能模块通讯；

<5>发布订阅曲谱信息：辅助穿戴设备的智能处理单元，安装钢琴练习的应用程序，该应用程序订阅来自智能钢琴发布的特定曲谱的正确指法演奏表，该表是根据曲谱的节拍和小节，生成的特定击键手指序号；若弹奏者没有按照正确的序列，即没有使用正确的音符指法对应关系进行击键，则压阻传感器传输过来的击键信息生成的指法序列与对比序列不吻合，将会驱动震动反馈装置对错误的指法产生震动反应，使练习者能及时感知并且加以纠正；例如，对于某曲谱的do-re-mi三个音符，若规定该小节依次使用右手拇指、食指与中指击键，则会产生1-2-3数字序列(左手采用负数记录)，该序列被作为最终定制的主题负载，被智能钢琴的智能处理单元发布，通过MQTT代理服务器桥接，订阅该主题的穿戴设备智能处理单元将其接收并解析、存储，形成对比序列。此时若弹奏者没有按照正确的序列，即没有使用正确的音符-指法对应关系进行击键，则压阻传感器传输过来的击键信息生成的指法序列与对比序列不吻合，将会驱动震动反馈装置对错误的指法产生震动反应，使练习者能及时感知并且加以纠正；

MQTT Client2-智能钢琴设备，基于传统的电钢琴内部构造，需集成新型的嵌入式微处理器，该处理器需为钢琴演奏过程中产生的数据记录特殊定制，支持应用程序的安装达到曲谱处理、错误纠正和与穿戴设备进行演奏信息通讯的目的；

所述智能钢琴设备包括：

<1>识谱单元：该单元包括曲谱库和交互录入两部分，对于音乐启蒙及钢琴考级多个阶段的曲谱信息一一做指法标注，并将每一首曲谱的音符-指法对应信息进行存储，练习者可以快速检索指定的曲目进行练习，同时，对于相对较偏的曲目，或者是练习者自己作曲，本单元设有录入模式，录入模式开启，练习者可使用穿戴设备，将该曲目的音符信息通过演奏录入，且本单元会存储通过订阅穿戴设备发送的指法序列消息、音符信息以及节拍信息，最终根据这些信息生成标准的音符-指法谱表，最终存储至曲谱库，供练习者后续使用；

<2>纠错单元：通过穿戴设备演奏指定曲目时，该单元会首先调取此曲目的音符-指法对应序列信息，智能处理单元订阅穿戴设备发布的指法击键消息，解析成相同格式的击键序列，然后相比较，对产生的错误指法击键，在屏幕上对该处音符做出红色标注，方便练习者及时纠正；

MQTT服务器端搭建：

MQTT协议是广泛应用的物联网协议，使用测试MQTT协议需要MQTT的代理。有两种方法使用MQTT服务，一是租用现成的MQTT服务器，如阿里云，百度云，华为云等公用的云平台提供的MQTT服务，使用公用的MQTT服务器的好处是省事，但如果仅仅用于测试学***台还需要付费。另一方法是自己使用开源的MQTT组件来搭建。MQTT服务器非常多，如apache的ActiveMQ，emtqqd，HiveMQ，Emitter，Mosquitto，Moquette等等。本申请采用轻量级的mosquitto开源项目搭建一个MQTT服务器，所述MQTT服务器使用发布/订阅消息模式，提供一对多的消息发布，使用TCP/IP提供网络连接，具体步骤如下；

第二步：下载mosquitto需要的支持：

sudo apt-get install libssl-dev；

sudo apt-get install uuid-dev；

sudo apt-get install cmake；

第三步：下载mosquitto并解压；

第四步：编译；

cd mosquitto-1.5.4/；

make；

make install；

第五步：启动mosquitto；

mosquitto-v；

1535473957：mosquitto version 1.5.1starting；

1535473957：Using default config.

1535473957：Opening ipv4 listen socket on port 1883.

1535473957：Opening ipv6 listen socket on port 1883.

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims

1.基于MQTT协议的钢琴陪练穿戴设备，其特征在于，包括：

MQTT Client1—辅助穿戴设备，所述辅助穿戴设备包括：

<1>穿戴设备：根据各个年龄段的人群，按照贴合手部的尺寸，采用高弹力网眼纤维材质制作手部佩戴模块，同时在左右手十指的每个关节处，附加用于增加机械张力的补丁；

手臂处采用带软性护垫的固体支撑装置，水平拖住练习者前臂，用于固定手臂；并且固体支撑装置在末端延伸出可调节的绑带，用于固定腰部；

<2>触键传感器：在双手八指的指肚上安装触键传感器；

MQTT Client2—智能钢琴设备，所述智能钢琴设备包括：

<1>识谱单元：该单元包括曲谱库和交互录入两部分，对于音乐启蒙及钢琴考级多个阶段的曲谱信息一一做指法标注，并将每一首曲谱的音符-指法对应信息进行存储，同时，对于相对较偏的曲目，或者是练习者自己作曲，本单元设有录入模式，录入模式开启，练习者可使用穿戴设备，将该曲目的音符信息通过演奏录入，且本单元会存储通过订阅穿戴设备发送的指法序列消息、音符信息以及节拍信息，最终根据这些信息生成标准的音符-指法谱表，最终存储至曲谱库，供练习者后续使用；

MQTT服务器端：

第一步：安装一台linux主机，使用真机安装或使用虚拟机安装；

第二步：下载mosquitto需要的支持：

第三步：下载mosquitto并解压；

第四步：编译；

第五步：启动mosquitto。

2.如权利要求1所述基于MQTT协议的钢琴陪练穿戴设备，其特征在于，所述MQTT服务器使用发布/订阅消息模式，提供一对多的消息发布，使用TCP/IP提供网络连接。