CN113805835A - 一种用于存储和自定义播放声音文件的笔式协同交互*** - Google Patents
一种用于存储和自定义播放声音文件的笔式协同交互*** Download PDFInfo
- Publication number
- CN113805835A CN113805835A CN202110999661.XA CN202110999661A CN113805835A CN 113805835 A CN113805835 A CN 113805835A CN 202110999661 A CN202110999661 A CN 202110999661A CN 113805835 A CN113805835 A CN 113805835A
- Authority
- CN
- China
- Prior art keywords
- pen
- audio
- playing
- recording
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009133 cooperative interaction Effects 0.000 title claims abstract description 13
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 2
- 230000006870 function Effects 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 9
- 238000012800 visualization Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910002804 graphite Inorganic materials 0.000 description 1
- 239000010439 graphite Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用于存储和自定义播放声音文件的笔式协同交互***，该***将用户用笔所画线段的电阻值作为控制音频播放的变量，通过计算笔尖在线段上的接触点和用户自定义的开始点与结束点之间的电阻差值比例实现跳读功能。同时通过内置音频编解码模块，可以实现录音，并将声音文件实时存储。该***借助Arduino开源电子原型平台，在整合现有例程和语言公式基础上开发出新的Arduino库，运用ArduinoMega2560、音频编解码模块(VS1053)及其他配件，实现将触摸和语音输入相结合的多模输入方式，支持可视化声音播放模式和录音功能。创造了一种新的信息存储和播放方式，让声音信息以最简单的形式被保存，以最直观的方式得到展示，而且能够被快速解读。
Description
技术领域
本发明属于针对声音可视化相关的智能硬件领域，涉及交互设计、数字技术和声音可视化的实践研究，借助Arduino开源电子原型平台，在整合现有例程和语言公式基础上开发出新的Arduino库，运用Arduino Mega 2560、音频编解码模块(VS1053)及其他配件，实现将触摸和语音输入相结合的多模输入方式，开发出一款支持可视化声音播放模式和录音功能的交互式记忆笔。通过产品设计实践及软硬件开发，为声音可视化与工业设计领域的结合提供新思路，为未来人们对于声音可视化的深入探索抛砖引玉。
背景技术
当下是一个以视觉文化元素为导向的信息社会，新的视觉文化最显著的特点是将非视觉性的东西图像化，即所有可触可见的事物视像化，强调视觉形式的表现经验。20世纪以来，电影、电视等视听媒体的发展造成了人类文化从以文字为中心到以图像为中心的“图像转向”。互联网及信息技术的迅猛发展让人们不再单纯的被动接受信息，而是逐渐向信息创造者、信息发布者、信息传播者等等身份转化。
如今虚拟现实技术炙手可热，AI、VR等交互技术一直是人们热议的话题，并渐渐被应用于各种领域，智能声音处理技术的发展更为声音素材提供了更宽广的价值拓展空间，并已经成为重要的基础研发方向。“看和听，应该成为未来’可视化’市场最重要的数据来源”。业内认为，从传感器角度看，音频和视频技术的整合一体化，原始数据智能化处理、数据自身的结构化、机构化数据的传输切换成为行业大势。这为音频技术企业，特别是音频处理技术厂商，提供了一个在交互时代深度融合进智慧视听产业的窗口。
发明内容
本发明基于Arduino开源电子原型平台，将声音和图像融合形成声音可视化，结合交互技术，尽可能地体现声音传播与沟通方式的丰富，设计了一种用于存储和自定义播放声音文件的笔式协同交互***。本发明支持操作者自定义绘制声音文件播放的进度条，线条的形态和长度任意。本发明的不同之处在于，当现实生活中人们在把信息向移动媒体、向云端发送再进行编辑时，该***在把需要电子设备进行控制和编辑的事情回归到纸张，同时可以做到实时控制并自定义创建和编辑，具有便利性、自然性和可控性的特点。
本发明采用的技术方案为一种用于存储和自定义播放声音文件的笔式协同交互***，该笔式协同交互***包括笔式交互产品、控制模块、操作端和声音文件存储端。
笔式交互产品由笔式外壳、电源、开关、显示屏(3)、麦克风(8)、耳机孔、按键和接触点(7)组成。按键包括菜单键(4)、选择键(5)、退出键(6)；
电源与开关连接；
开关、显示屏(3)、耳机孔、按键、接触点(7)均设置在产品外壳上，接触点(7)和笔芯连接；产品外壳的两端通过卡扣连接，显示屏(3)设置在产品外壳上侧，耳机孔设置在外壳下侧，按键设置在外壳左右两侧，与用户持笔手的手指接触，接触点(7)通过内部导线与笔芯连接。
控制模块由控制板(1)、音频编解码模块(2)、显示屏(3)连接端口、菜单键(4、5、6)连接端口组成；控制板选用Arduino Mega主板，为该笔式协同交互***的核心控制单元，音频编解码模块选用Arduino MP3 Shield with TF Card模块；控制板(1)通过板载串口与音频编解码模块(2)连接；控制板通过显示屏连接端口与显示屏(3)连接，控制板通过菜单键连接端口与菜单键(4、5、6)连接；
控制板(1)通过音频编解码模块(2)与操作端、接触端和声音文件存储端进行数据交互；
操作端由显示屏(3)、菜单键(4、5、6)和接触点(7)组成。
***主程序采用典型的Arduino程序包括初始化函数(setup())和循环函数(loop())。循环体中检测的输入为菜单键和选择键，主菜单有两个子项为播放(Play)和录制(Record)，使用的程序库包括SdFat：记忆卡驱动、ssd1306：显示屏驱动、Bounce2：按键去抖动，以及vs1053_SdFat：Arduino MP3 Shield驱动(有修改)。原驱动不支持录音，经修改增加录音支持。
本***将检测到的输入通过铜线发送至控制板(1)，当输入为笔尖(7)和非持笔手之间的电压值时，***利用检测到的电压值(模数转换的输出)来判断笔尖(7)在设定的两点之间的位置。此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的ADC输入引脚(A0)组成闭合回路。此回路电流极小，所以对人体无害；当输入的笔尖(7)位置变化时，控制板(1)将外界的模拟信号(电压)转换成数字信号，判断电压值改变后对应的音频位置，输出给音频编解码模块(2)，音频由后者解码后，移动至音频相应位置后输出播放；当输入为声音时，由板载麦克风(8)直接将声音输入到音频编解码模块(2)，模块将数据发送给控制板(1)，后者将音频保存到SD卡内，格式为.ogg。
显示屏(3)用以对当前状态进行显示，以便用户进行功能选择，包括播放界面和录制界面。用户通过按键(4、5、6)对***进行操作，如“播放”被选中，则即时生成并显示播放列表菜单，选项为记忆卡根目录中所有后缀名为“.ogg”的音频文件。当某一音频被选中，则显示播放界面并开始播放该音频。如“录制”被选中，则显示录制界面并开始录制音频。
本技术的实现过程是启动音频播放模式前，用户在纸张上画出任意形态或走向的线条作为进度条，并在线条上标记相隔一定距离的点作为手指接触点、音频播放起点和终点。在启动音频播放模式时，需要笔尖(7)和用户非持笔手同时介入。
播放音频时，播放界面显示播放状态(PLAY)、记录(音频文件)名称、当前播放位置和记录长度。用户选择播放(PLAY)，非持笔手按住起始点不动，笔尖(7)在所画线条上移动位置后点击，音频便移动至相应音频位置后输出播放。按退出键(6)则退出播放程序。
录制音频时，录制界面显示录制状态(RECORD)、记录(音频文件)名称、当前录制长度和音量柱。用户选择录制(RECORD)，***开始录音，用户停止录音后，***将音频保存到SD卡内。
本发明的技术创新点在于控制音频播放的变量为笔画下的线段的电阻值。如铅笔中所含的石墨具有导电性，当用铅笔在电池和LED小灯之间画一条线，线条将两端连接后小灯会亮。首先，用户在播放音频时，需要将非持笔手的食指按在线条的起点，同时将笔尖(7)接触开始点和结束点之间的线段上才能够形成回路，启动音频播放。控制音频播放位置的电阻变量为笔尖和非持笔手之间的距离所产生的电阻值，距离越大电阻越大。其次，实现跳读也是通过计算和开始点与结束点之间的电阻差值比例实现。假设音频长度为L，在线段上定义一个起点(电阻值为S)，定义一个终点(电阻值为E)，假设S<E。当笔点在线段的起点和终点间的某个位置，电阻值为X，S<X<E，此时音频应当从当前播放位置跳到(X-S)/(E-S)*L点位置开始播放。
附图说明
图1为本***的电路原型。
图2为本***的主程序流程图。
图3为本***的播放音频程序流程图。
图4为本***的录制音频程序流程图。
具体实施方式
下面结合附图1-4给出本发明的具体实施方式。
一种用于存储和自定义播放声音文件的笔式协同交互***，该***包括ArduinoMega模块(1)、Arduino MP3 Shield with TF Card模块(2)、显示屏(3)和三个菜单键(4、5、6)。
下面重点介绍关键部分的使用及实现方法：
1、硬件设置与连接
接线说明如图1所示，输入单元有菜单键(4)为数字输入(D3)、选择键(5)为数字输入(D4)、退出键(6)为数字输入(D5)、笔尖(7)输入为模拟输入(A0)以及Arduino MP3Shield上的麦克风(8)。
记忆笔中的元器件模块分为两大类：
(一)输入，具体到本次设计主要包括：ADC输入，将外界的模拟信号(电压)，转换成数字信号；SD卡，控制板(1)直接读取并输出给音频编解码模块(2)；录音时，声音为模拟输入，由麦克风(8)直接输入到音频编解码模块(2)。
(二)输出，控制板(1)将输入模块传回的信息进行处理，控制输出元器件。具体到本次设计主要包括：显示屏模块(3)，由控制板(1)直接控制；音频，由音频编解码模块(2)解码后输出。
2、笔尖输入原理
本发明利用检测到的电压值(模数转换的输出)来判断笔尖(7)在设定的起始点和结束点中间的位置。此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的ADC输入引脚(A0)组成闭合回路。此回路电流极小，所以对人体无害。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (6)
1.一种用于存储和自定义播放声音文件的笔式协同交互***，其特征在于：该笔式协同交互***包括笔式交互产品、控制模块、操作端和声音文件存储端；
笔式交互产品由笔式外壳、电源、开关、显示屏(3)、麦克风(8)、耳机孔、按键(4、5、6)和接触点组成；按键包括菜单键(4)、选择键(5)、退出键(6)；
电源与开关连接；
开关、显示屏(3)、耳机孔、按键(4、5、6)、接触点(7)均设置在产品外壳上，接触点(7)和笔芯连接；
控制模块由控制板(1)、音频编解码模块(2)、显示屏(3)连接端口、按键模块(4、5、6)连接端口组成；控制板选用Arduino Mega主板，音频编解码模块选用Arduino MP3 Shieldwith TF Card模块；控制板(1)通过板载串口与音频编解码模块(2)连接；控制板通过显示屏连接端口与显示屏(3)连接，控制板通过按键模块连接端口与按键模块(4、5、6)连接；
控制板(1)通过音频编解码模块(2)与操作端、接触端和声音文件存储端进行数据交互；
操作端由显示屏(3)、按键模块(4、5、6)和接触点(7)组成；
***主程序采用典型的Arduino程序包括初始化函数(setup())和循环函数(loop())；循环体中检测的输入为菜单键和选择键，主菜单有两个子项为播放(Play)和录制(Record)使用的程序库包括SdFat：记忆卡驱动、ssd1306：显示屏驱动、Bounce2：按键去抖动，以及vs1053_SdFat：Arduino MP3 Shield驱动(有修改)；原驱动不支持录音，经修改增加录音支持。
2.根据权利要求1所述的一种用于存储和自定义播放声音文件的笔式协同交互***，其特征在于：启动音频播放模式前，用户在纸张上画出任意形态或走向的线条作为进度条，并在线条上标记相隔一定距离的点作为手指接触点、音频播放起点和终点。
3.根据权利要求1所述的一种用于存储和自定义播放声音文件的笔式协同交互***，其特征在于：笔试交互产品外壳上的接触点与用户持笔手接触，另一端与铅笔芯连接；在启动音频播放模式时，需要笔尖(7)和用户非持笔手同时介入；笔尖(7)和非持笔手之间的电压值通过铜线发送至控制板(1)；本***利用检测到的电压值(模数转换的输出)来判断笔尖(7)在设定的起始点和结束点中间的位置；此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的ADC输入引脚(A0)组成闭合回路。
4.根据权利要求1所述的一种用于存储和定义播放声音文件的笔式协同交互***，其特征在于：播放音频程序中，播放界面显示播放状态(PLAY)、记录(音频文件)名称、当前播放位置和记录长度；程序检测的输入有笔尖(7)和退出键(6)；选择播放(PLAY)后，笔尖(7)移动位置发生的电阻变化会导致电压改变，控制板(1)将外界的模拟信号(电压)转换成数字信号进行处理后输出，控制板(1)与音频编解码模块(2)连接，音频由音频编解码模块(2)解码后，移动至相应音频位置后输出播放；按退出键(6)则退出播放程序。
5.根据权利要求1所述的一种用于存储和定义播放声音文件的笔式协同交互***，其特征在于：录制音频程序中，录制界面显示录制状态(RECORD)、记录(音频文件)名称、当前录制长度和音量柱；录制程序检测的输入为退出键(6)；用户点击录制(RECORD)时，声音是模拟输入，由板载麦克风(8)直接将声音输入到音频编解码模块(2)，模块将数据发送给控制板(1)，后者将音频保存到SD卡内，格式为.ogg。
6.根据权利要求1所述的一种用于存储和定义播放声音文件的笔式协同交互***，其特征在于：显示屏(3)用以对当前状态进行显示，以便用户进行功能选择；用户通过按键(4、5、6)对***进行操作，如“播放”被选中，则即时生成并显示播放列表菜单；选项为记忆卡根目录中所有后缀名为“.ogg”的音频文件；当某一音频被选中，则显示播放界面并开始播放该音频；如“录制”被选中，则显示录制界面并开始录制音频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999661.XA CN113805835B (zh) | 2021-08-29 | 2021-08-29 | 一种用于存储和自定义播放声音文件的笔式协同交互*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110999661.XA CN113805835B (zh) | 2021-08-29 | 2021-08-29 | 一种用于存储和自定义播放声音文件的笔式协同交互*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113805835A true CN113805835A (zh) | 2021-12-17 |
| CN113805835B CN113805835B (zh) | 2024-02-06 |
Family
ID=78894311
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110999661.XA Active CN113805835B (zh) | 2021-08-29 | 2021-08-29 | 一种用于存储和自定义播放声音文件的笔式协同交互*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113805835B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070292825A1 (en) * | 2006-05-31 | 2007-12-20 | Sun Yu | Simulative form audio player |
| CN202934994U (zh) * | 2012-09-19 | 2013-05-15 | 汪日风 | 一种多功能录音笔 |
| CN203004718U (zh) * | 2012-12-21 | 2013-06-19 | 张般若 | 具有录音功能的铅笔 |
| CN105389099A (zh) * | 2014-08-29 | 2016-03-09 | 三星电子株式会社 | 用于语音记录和回放的方法和设备 |
| CN106412705A (zh) * | 2016-09-13 | 2017-02-15 | 努比亚技术有限公司 | 一种调节文件进度的方法及终端 |
| CN112925426A (zh) * | 2021-02-08 | 2021-06-08 | 维沃移动通信有限公司 | 触控笔的处理方法、装置和电子设备 |
-
2021
- 2021-08-29 CN CN202110999661.XA patent/CN113805835B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070292825A1 (en) * | 2006-05-31 | 2007-12-20 | Sun Yu | Simulative form audio player |
| CN202934994U (zh) * | 2012-09-19 | 2013-05-15 | 汪日风 | 一种多功能录音笔 |
| CN203004718U (zh) * | 2012-12-21 | 2013-06-19 | 张般若 | 具有录音功能的铅笔 |
| CN105389099A (zh) * | 2014-08-29 | 2016-03-09 | 三星电子株式会社 | 用于语音记录和回放的方法和设备 |
| CN106412705A (zh) * | 2016-09-13 | 2017-02-15 | 努比亚技术有限公司 | 一种调节文件进度的方法及终端 |
| CN112925426A (zh) * | 2021-02-08 | 2021-06-08 | 维沃移动通信有限公司 | 触控笔的处理方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113805835B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100368969C (zh) | 用于加速滚动的方法及装置 | |
| CN101887315B (zh) | 电子智能笔 | |
| US20170109127A1 (en) | Tactilated electronic music systems for sound generation | |
| CN102792248A (zh) | 输入输出装置、信息输入输出*** | |
| CN101766022A (zh) | 输入用户命令的方法以及使用该方法的视频设备和输入设备 | |
| US20070208770A1 (en) | Music content playback apparatus, music content playback method and storage medium | |
| WO2011158701A1 (ja) | 端末装置 | |
| JP2010134908A (ja) | 端末装置、画像表示方法、およびプログラム | |
| JP5474669B2 (ja) | 端末装置 | |
| CN112835456A (zh) | 触控笔及控制方法 | |
| CN105137819B (zh) | 一种音乐播放的方法及智能手表 | |
| JP2021103580A (ja) | スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体 | |
| CN1307529C (zh) | 具显示文字内容功能的音响播放器 | |
| CN203338371U (zh) | 一种多功能扫描笔 | |
| CN113805835B (zh) | 一种用于存储和自定义播放声音文件的笔式协同交互*** | |
| JP5570881B2 (ja) | 端末装置 | |
| WO2023206907A1 (zh) | 信息显示方法及装置、计算机可读存储介质、电子设备 | |
| KR100366243B1 (ko) | 컴퓨터 음악파일 데이터의 기록 및 재생방법과 그 장치 | |
| CN114840075A (zh) | 手写笔及终端设备 | |
| CN104415554A (zh) | 智能互动玩具故事板定制演绎方法 | |
| KR102525276B1 (ko) | 로봇시스템 및 그에 대한 스마트 코딩방법 | |
| CN100583184C (zh) | 带有可插拔语音播放器的电子点读书以及该语音播放器 | |
| KR102654973B1 (ko) | 로봇시스템 및 그에 대한 rc카모드 운행제어방법 | |
| CN109040823A (zh) | 一种书签展示的方法及装置 | |
| US20020147048A1 (en) | Program distribution system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |