CN107135578A - 基于TonaLighting调节技术的智能音乐和弦‑氛围灯*** - Google Patents
基于TonaLighting调节技术的智能音乐和弦‑氛围灯*** Download PDFInfo
- Publication number
- CN107135578A CN107135578A CN201710429403.1A CN201710429403A CN107135578A CN 107135578 A CN107135578 A CN 107135578A CN 201710429403 A CN201710429403 A CN 201710429403A CN 107135578 A CN107135578 A CN 107135578A
- Authority
- CN
- China
- Prior art keywords
- music
- chord
- color
- control
- tonalighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 9
- 201000010099 disease Diseases 0.000 claims abstract description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 9
- 230000008859 change Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 20
- 239000003086 colorant Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 13
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000000051 music therapy Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 229910052744 lithium Inorganic materials 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims description 2
- 208000006011 Stroke Diseases 0.000 abstract description 6
- 238000002560 therapeutic procedure Methods 0.000 abstract description 6
- 206010008190 Cerebrovascular accident Diseases 0.000 abstract description 4
- 230000006931 brain damage Effects 0.000 abstract description 3
- 231100000874 brain damage Toxicity 0.000 abstract description 3
- 208000029028 brain injury Diseases 0.000 abstract description 3
- 230000002490 cerebral effect Effects 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 6
- 210000003710 cerebral cortex Anatomy 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 230000000638 stimulation Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000001225 therapeutic effect Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000037452 priming Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001050985 Disco Species 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 208000019553 vascular disease Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Anesthesiology (AREA)
- Hematology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
本发明属于无线灯控技术领域，具体为基于“TonaLighting”调节技术的智能音乐和弦‑氛围灯***。该***包括硬件灯控和软件分析两个部分，硬件灯控包括：控制器、LED灯；软件分析部分为“TonaLighting”程序***，该程序***首先对和弦音进行自动识别和分类，并对和弦音出现的时刻进行标记；然后根据“TonalColor”方案，确定与标记的和弦音相对应的RGB组合，同时读取音乐片段、和弦出现时刻列表和音乐和弦‑RGB组合列表，获得灯控指令，传输给灯控部分控制器，控制灯光颜色随音乐变化而实时改变；并根据控制命令改变LED灯光颜色。本发明可应用于不同的娱乐场景、娱乐教学以及对自闭症、脑卒中、脑损伤、植物人等其他神经疾病患者的音乐治疗。
Description
技术领域
本发明属于无线灯控技术领域，具体涉及一种智能音乐和弦-氛围灯***。
背景技术
音乐可视化是将色-听结合在一起，从物理角度，二者相辅相成，具有共通性。将音乐与灯光结合在一起，使音乐表现形式更加丰富，智能音乐-灯光调节设备使音乐具有可视化功能。在智能灯光调节方面，成熟的产品有飞利浦HUE***。它通过路由器连接到家庭网络形成网桥，实现与HUE***匹配的灯的无线遥控。该灯光控制***包括智能灯光控制、离家管制、灯光计划、舒适的亮度控制、唤醒功能。
HUE***本身只能动态调节灯光。为了实现音乐与灯光的结合，市场上有几款基于HUE平台的应用程序能够根据正在播放的音乐实现对色调或氛围灯光的控制，多数适用于iOS。[1]
一些应用程序利用音频处理器，例如“Ambify”应用程序[2]的“Realtime Light FX”算法以动态补偿和灯光随机变化实时地将音乐可视化。HUE的“Disco”应用程序[3]具有“自适应灯光”（“Adaptive lighting”）、“情绪”（“Mood”）、“闪光灯”（“Strobe”）特点，利用手机麦克风识别外部音频输出，根据正在播放的音乐选择灯光情绪并产生闪光效果的功能。基于iOS***的“Beat Bulb”应用软件[4]利用智能节拍检测算法来访问iPod音乐库，并根据音乐节奏改变五种灯光颜色。而“Huegasm”应用程序[5]控制并同步飞利浦HUE灯光和音乐节奏。“MagicHue”应用程序[6]利用麦克风将输入的音乐或声音转化为各种灯光效果。
另一些应用程序为用户提供了可以预设的各种灯光效果，例如“dancing-hue-light”[7]，该应用程序利用十五种灯光效果，根据用户或iTunes播放列表中的音乐音调、低音和高音与HUE灯的色调、色彩饱和度和明暗同步。适用于iOS的“Hue Music”应用程序[8]根据音乐改变房间氛围。而“Hue Fun”应用程序[9]具有多种可能性，例如选择颜色范围、色彩饱和度、转换速度和明暗、独立或分组控制灯光、选择灯光并在屏幕上进行控制，使用派对模式并让音乐控制灯光，以及“淡入淡出”功能使灯光从一种颜色淡化到另一种颜色。“HouseParty”应用程序[10]具有创建完全可自定义的颜色模式，10种预设颜色组合，超过十亿种可能的自定义颜色组合。“HueMUSE”应用程序[11]可供用户选择音频以及灯光样式。“Hue Party”应用程序[12]具有伴随音乐的灯光展示、亮度控制、饱和度和转换时间、闪光、烛光摇曳、流动和运动模式的特点。“Hue SPA LITE”应用程序[13]提供五种模式，可以将氛围灯光和从个人音乐库中的歌曲交互。“Light DJ Pro”应用程序[14]可以通过界面控制飞利浦HUE和LIFX照明，包括为用户提供快速访问照明效果的效果按键，并有多达11种的自定义颜色，专为LIFX增加Pro控制器附加功能。“muesic”应用程序具有自动调整灯光效果以适应歌曲类型和动感，供用户选择的多种效果创造了放松或娱乐的氛围。“Splyce”应用程序具有多种供用户选择的灯光效果。“Ultimate Party Button”应用程序使用户可以通过按键选择灯光效果。
上述提到的所有应用程序中只能通过音乐节拍来控制飞利浦HUE灯光***。此外，这些应用软件中都不是根据音乐和弦或其他复杂的音乐特征来发送命令控制灯光变化。利用音乐-灯光的联合作用，可以改善人的情绪，达到心理治疗的目的，并且根据不同应用场景，智能音乐-灯光设备发挥不同的功能与作用。
参考文献：
[1]http://www.makeuseof.com/tag/8-fabulous-apps-philips-hue-lights/
[2]http://getambify.com/iOS.html
[3]https://itunes.apple.com/us/app/hue-disco/id581258186 mt=8
[4]http://apps4hue.com/product/beat-bulb/
[5]http://apps4hue.com/product/huegasm/
[6]http://apps4hue.com/product/magichue-the-disco-effect-and-color-fading-app-for-philips-hue/
[7]http://apps4hue.com/product/dancing-hue-light/
[8]http://apps4hue.com/product/hue-music/
[9]http://apps4hue.com/product/hue-fun/
[10] http://apps4hue.com/product/houseparty-light-pattern-programmer-for-lifx-hue/
[11] http://apps4hue.com/product/huemuse/
[12] http://apps4hue.com/product/hue-party-for-philips-hue-and-lifx/
[13] http://apps4hue.com/product/hue-spa-lite-for-philips-hue/
[14] http://apps4hue.com/product/light-dj-pro-light-show-creator-for-lifx-philips-hue/
[15] http://ebooks.iospress.nl/volumearticle/45193
[16] WORLDSEMI, 28085-WS2812B-RGB-LED Datasheet。
发明内容
本发明的目的在于提供一种具有自动识别和弦功能的新型智能音乐和弦-氛围灯***。
本发明提出的智能音乐和弦-氛围灯***，包括硬件灯控部分和软件分析部分，其结构框图如图1所示。软件分析部分为“TonaLighting”程序***，该程序***，首先通过音乐检索技术和机器学习算法对音乐片段中和弦结构进行预分析，自动识别和弦音，并对和弦音出现的时刻进行标记；然后根据“TonalColor”方案，确定与标记的和弦音相对应的RGB组合，同时读取音乐片段、和弦出现时刻列表和音乐和弦-RGB组合列表，获得灯控指令，传输给灯控部分，控制LED灯光颜色随音乐变化而实时改变；硬件灯控部分包括：控制器、蓝牙模块、电源模块、环形LED灯组、OLED显示屏、SD存储模块、扬声器，其结构框图如图5所示。控制器主要通过核心处理器驱动蓝牙模块，以无线方式接收软件分析部分发送的控制命令，并根据控制命令改变LED灯光颜色；上位机在发送控制命令的同时，将音频信息同步传送，灯控***中的蓝牙模块将接收的音频信息、控制信息存储至SD卡中，便于用户后续对该***的直接应用；当用户第二次播放同一首音乐时，可通过OLED屏幕中的提示，利用按键选择已存储的音乐信息，直接控制灯控***。
该***利用音乐检索技术及机器学习算法对音乐片段中的特殊和弦进行自动识别和分类，进而产生灯控命令实现氛围灯色彩的变化，最终达到具有娱乐效果的视听感受或对具有神经***疾病患者音乐治疗的目的。当应用于对患者的音乐治疗时，根据对患者脑电信号的分析，对该***进行反馈，调整治疗方案，从而实现对患者的个性化治疗。
本发明中，“TonaLighting”程序***替代了现有音乐-灯光技术中根据音乐节拍随机控制灯光变化的应用程序，以基于音乐理论的结构化方式改变灯光，并且遵循一个更加复杂的音乐和弦分析方法，以及个性化的音乐和弦-灯光组合方案。
“TonaLighting”程序***的执行，首先需要完成对和弦的自动识别和分类。具体过程为：
首先，通过音乐专家对大量音乐片段进行预分析，音乐片段类型包括流行乐、古典乐、爵士乐等，以及不同乐器演奏的音乐。手动提取音乐和弦，得到一系列样本作为机器学习数据集。
其次，提取数据集中和弦的特征参数，主要包括时域特征、频域特征和声谱特征。
最后，利用机器学习算法对数据集进行训练，得到训练模型，将待识别的歌曲输入到已训练好的分类器中，从而得到该歌曲的和弦信息。
本发明中，“TonaLighting”程序***完成和弦的自动识别和分类后，对和弦出现的时刻进行标注，得到和弦时刻列表。
本发明中，“TonaLighting”程序***，根据“TonalColor”关系方案，获取和弦-RGB组合列表。它以独特的方式将音乐和弦和光谱颜色进行关联。与传统音调-光谱关系不同，“Tonallighting”程序弥补了将一种颜色严格限定与指定音调相关联的不足，将音调和音乐关联的选择更加个性化，它根据音调与主音（即基调）的距离来分配相应的颜色。具体来说，一段音乐的基调可以被分配为基本颜色，而相对于音阶的第五音（即属音）被赋予与主音调互补的颜色，这归因于色谱相反的位置也反映了音调中基调与属音相反的功能。和弦-光谱关系如图2所示。另外，在满足色谱图颜色分配的基础上，基调与基本颜色的初始对应关系可由用户自定义，因此根据用户喜好可实现灯光颜色变化的个性化设计。
本发明中，“TonaLighting”程序***根据音乐片段以及运行该程序时生成的两个文件列表，即和弦出现时刻列表、和弦-RGB颜色组合列表，结合程序内部的RGB光谱图，生成控制灯光命令，利用PC端蓝牙，向灯控***发送控制命令。
本发明中，软件部分在PC端的“TonaLighting”程序中执行，硬件部分由灯控***实现。
本发明中，灯控***的电源模块为灯控***提供两种供电方式，一种是5V电源供电，一种为3.7V充电式锂电池供电。
本发明中，环形LED灯组件选用WS2812智能外控集成光源[16]，其结构见附图6。LED灯采用混合光模型，以圆环排列结构方式展现（参见图7），分别采用红、绿、蓝三色LED灯各16个，共48个LED灯，即16个智能外控LED光源，其排列结构方式如图4所示。每一红、绿、蓝LED单色灯组成一个LED RGB单元，实现256中颜色变化；对三种基色进行不同比例的相加混合，实现不同的混色效果；***采用脉冲宽度调制调光，利用调节脉冲信号的占空比来调节电流大小，从而实现LED灯光强度的变化。另外，RGB颜色变化范围均为0-255，对三种基色进行不同比例的相加混合，即可实现不同的混色结果，从而实现混合光效果（参见图8）。
本发明中，SD卡实现了对已播放音乐的记忆功能，通过将蓝牙模块接收的音频信息和控制信息存储，便于用户的再次访问。
本发明中， 核心控制器驱动OLED显示模块，显示音乐信息，通过提示信息指导用户选择播放的音乐。
本发明中，通过读取SD卡中存储的音频信息及控制信息，通过模拟信号输出口外接扬声器实现音乐播放功能，并控制LED灯光颜色变化。
本发明从流行音乐或电子音乐扩展到具有复杂结构的音乐，例如古典音乐或复杂和弦占主要成分的音乐。由于和声的结构性音乐元素也能传达一个复杂的音乐语义内容，因此选用氛围灯使和声视觉化产生更加复杂的认知刺激。由于该特性，该***可以应用于音乐对影响神经功能的研究，因为丰富的语义和结构内容的音乐提供了更加复杂的神经认知刺激，进而产生更加复杂的脑部处理过程，从而激活大脑皮层中更多的处理音乐内容的功能区域，其主要表现在大脑皮层电活动的变化。利用脑电图（EEG）作为神经生理学检测手段对其进行监测[15]，其研究结果证明受试者大脑皮层不同区域的电活动发生改变，负责特殊功能区域的电活动频率范围发生明显的变化。另外，个性化的音乐和弦-氛围灯***可应用于景观、舞台灯光、汽车内饰等。因此，本发明可应用于不同的娱乐场景以及对自闭症（ASD）、脑卒中（Stroke）、脑损伤（TBI）、植物人（VS）等其他神经疾病患者的音乐治疗。
本发明的技术效果：
1、该***是首款基于灯光颜色变化来反映音乐和弦变化的方案，并且从流行音乐或电子音乐扩展到具有复杂结构的音乐，如古典音乐或复杂和弦占主要成分的音乐；
2、应用音乐信息检索技术和机器学习算法，自动实现将音乐分析中和弦的识别和分类；
3、“TonalColor”关系方案使和弦与光谱的对应关系变得更加灵活，不再局限于特定音调严格限定与指定光谱颜色；
4、由于和声的结构性音乐元素也能传达一个复杂的音乐语义内容，因此利用氛围灯使和弦视觉化，产生了更加复杂的认知刺激，从而激活大脑皮层中处理听觉和视觉的功能区域，达到音乐治疗的效果，因此可用于制备各种疾病（如康复治疗）的音乐辅助治疗器件。例如，用于对自闭症（ASD）、脑卒中（Stroke）、脑损伤（TBI）、植物人（VS）等其他神经疾病患者的音乐辅助治疗。
附图说明
图1为智能音乐和弦-氛围灯应用于音乐治疗情境的结构框图。
图2为根据“TonalColor”关系方案和弦位置在光谱中的可视化表示。
图3为“TonalLighting”程序利用机器学习算法自动实现音乐-光关系方案框架结构。
图4为测试环境及效果图。
图5为灯控***的结构框图。
图6 为WS2812智能外控集成光源结构。
图7为 LED灯混合光模型--圆环排列结构方式。
图8为 LED混合光效果。
具体实施方式
本发明提供的智能音乐和弦-氛围灯***，通过独特的音乐和弦检索方式，获取音乐片段中的信息，由“TonaLighting”程序自动识别和弦，并利用“TonalColor”方案获取音乐和弦-光谱组合列表，同时读取音乐片段、时刻列表及音乐和弦-光谱关系组合列表产生控制命令，通过蓝牙无线传输方式向灯控***发送控制命令，由硬件***接收控制命令，并控制灯光亮度及色彩变化，最终实现音乐与灯光的一致变化。上位机在发送控制命令的同时，将音频信息同步传送，灯控***中的蓝牙模块将接收的音频信息、控制信息存储至SD卡中，便于用户后续对该***的直接应用。当用户第二次播放同一首音乐时，可通过OLED屏幕中的提示，利用按键选择已存储的音乐信息，直接控制灯控***。其中包含两部分内容的实现：软件分析***和硬件控制***。
软件分析***的实现首先需要完成对音乐片段的预分析。不同类型的音乐和不同乐器演奏的音乐产生的和弦效果不同，通过音乐专家对大量音乐片段进行预分析，音乐片段类型包括流行乐、古典乐、爵士乐等，以及不同乐器演奏的音乐。
首先，对包含音乐片段的MP3文件进行节奏检测（beat detect），获得音乐片段基本的拍号及速度信息，由于和弦变化出现在小节之间或部分拍与拍之间，并且将时间-整幅音乐片段映射到节拍-高音的表达方式有利于对和弦分析，因此需要按照节拍对音乐片段进行小节划分。
其次，按照节拍重新划分的音乐片段，进行和弦的分析，获取特殊的和弦组合。
然后，对获取的和弦组合根据乐音的音乐学理论和物理特性进行音乐特征的提取，主要包括时域特征和频域特征。将各音乐片段进行预处理以及离散傅里叶变换后映射到频域，提取声谱矩心（Spectral Centroid）、声谱衰减（Spectral roll-off）、谱平度（Spectral Flatness Measure）、峰均比（Peak-to-average ratio）、谱通量（SpectralFlux）等特征参数。
最后，利用机器学习算法对数据集进行训练，得到训练模型，本发明中利用支持向量机（SVM）分类方法对和弦进行判别和分类，将待识别的歌曲输入到已训练好的分类器中，从而得到该歌曲的和弦识别率。
当“TonaLighting”程序完成和弦的自动识别和分类后，对和弦出现的时刻进行标注，得到和弦时刻列表。
TonaLighting”程序中包含“TonalColor”关系方案，根据该方案可以获取和弦-RGB组合列表，它以独特的方式将音乐和弦与光谱颜色进行关联。与传统音调-光谱关系不同，“Tonallighting”程序弥补了将一种颜色严格限定与指定音调相关联的不足，将音调和音乐关联的选择更加个性化，它根据音调与主音（即基调）的距离来分配相应的颜色。具体来说，一段音乐的基调可以被分配为基本颜色，而相对于音阶的第五音（即属音）被赋予与主音调互补的颜色，这归因于色谱相反的位置也反映了音调中基调与属音相反的功能。假设基调对应橘色，属音则对应与橘色互补的蓝色，而其他音级则根据其自身功能以及与基调的相对距离来分配不同颜色。该方案是“TonalLighting”程序中将不同颜色分配给不同音级的基础。另外，在满足色谱图颜色分配的基础上，基调与基本颜色的初始对应关系可由用户自定义，例如用户甲偏好初始颜色为红色，则基调颜色与红色对应，其余颜色和音级依次一一对应；用户乙偏好初始颜色为蓝色，则基调颜色与蓝色对应，其余颜色和音级依次一一对应，因此根据用户喜好可实现灯光颜色变化的个性化设计。
“TonaLighting”程序根据音乐片段以及运行该程序时生成的两个文件列表，即和弦出现时刻列表、和弦-RGB组合列表，结合程序内部的RGB光谱图，生成控制灯光命令，利用PC端蓝牙，向灯控***发送控制命令。
软件部分在PC端的“TonaLighting”程序中执行，硬件部分由灯控***实现。其中，灯控***由主控芯片控制，驱动蓝牙模块及LED灯，以无线方式接收软件控制不等发送的控制命令，并根据命令控制灯光颜色变化。R、G、B分别表示红光、光和蓝光，通过控制R、G、BLED混光模型采用圆环排列结构，分别采用红、绿、蓝三色LED灯各16个，共48个LED灯。***采用脉冲宽度调制调光，利用调节脉冲信号的占空比来调节电流大小，从而实现LED灯光强度的变化。另外，RGB颜色变化范围均为0-255，对三种基色进行不同比例的相加混合，即可实现不同的混色结果，从而实现不同的混光效果。
“TonalLighting”程序的主要是为各种医疗情况的康复治疗而设计的音乐辅助治疗方案，同样它也可以用于音乐视听体验以及视听教学。该***应用于对受试者进行视听刺激的科学领域的研究，利用EEG和其他生理参数的检测获得其治疗效果。受试者包括健康个体以及患有脑血管疾病（中风）、自闭症（ASD），以及术后康复的患者等，根据对病人脑电信号的分析，获取病人，对***进行反馈，及时调整治疗方案，达到个性化治疗的目的。
Claims (8)
1.一种基于“TonaLighting”调节技术的智能音乐和弦-氛围灯***，包括硬件灯控部分和软件分析部分，其特征在于，软件分析部分为“TonaLighting”程序***，该程序***，首先通过音乐检索技术和机器学习算法对音乐片段中和弦结构进行预分析，对和弦音进行自动识别和分类，并对和弦音出现的时刻进行标记；然后根据“TonalColor”方案，确定与标记的和弦音相对应的RGB组合，同时读取音乐片段、和弦出现时刻列表和音乐和弦-RGB组合列表，获得灯控指令，以无线方式传输给硬件灯控部分，控制LED灯光颜色随音乐变化而实时改变；硬件灯控部分包括：控制器、蓝牙模块、电源模块、环形LED灯组、OLED显示屏、SD存储模块、扬声器，控制器主要通过核心处理器驱动蓝牙模块，以无线方式接收软件分析部分发送的控制命令，并根据控制命令改变LED灯光颜色；上位机在发送控制命令的同时，将音频信息同步传送，灯控***中的蓝牙模块将接收的音频信息、控制信息存储至SD卡中，便于用户后续对该***的直接应用；当用户第二次播放同一首音乐时，通过OLED屏幕中的提示，利用按键选择已存储的音乐信息，直接控制灯控***。
2.根据权利要求1所述的智能音乐和弦-氛围灯***，其特征在于，“TonaLighting”程序***对和弦音进行自动识别和分类的具体过程为：
首先，通过音乐专家对大量音乐片段进行预分析，音乐片段类型包括流行乐、古典乐、爵士乐等，以及不同乐器演奏的音乐；手动提取音乐和弦，得到一系列样本作为机器学习数据集；
其次，提取数据集中和弦的特征参数，主要包括时域特征、频域特征和声谱特征；
最后，利用机器学习算法对数据集进行训练，得到训练模型，将待识别的歌曲输入到已训练好的分类器中，从而得到该歌曲的和弦信息。
3.根据权利要求1或2所述的智能音乐和弦-氛围灯***，其特征在于，“TonaLighting”程序***完成和弦的自动识别和分类后，对和弦出现的时刻进行标注，得到和弦时刻列表。
4.根据权利要求3所述的智能音乐和弦-氛围灯***，其特征在于，“TonaLighting”程序***，根据“TonalColor”关系方案，获取和弦-RGB组合列表；其中，它以独特的方式将音乐和弦和光谱颜色进行关联；即一段音乐的基调可以被分配为基本颜色，而相对于音阶的第五音即属音被赋予与主音调互补的颜色，这归因于色谱相反的位置也反映了音调中基调与属音相反的功能；另外，在满足色谱图颜色分配的基础上，基调与基本颜色的初始对应关系由用户自定义，根据用户喜好实现灯光颜色变化的个性化设计。
5.根据权利要求1、2或4所述的智能音乐和弦-氛围灯***，其特征在于，“TonaLighting”程序***根据生成的两个文件列表，即和弦出现时刻列表、和弦-RGB颜色组合列表，结合程序内部的RGB光谱图，生成控制灯光命令，利用PC端蓝牙，向灯控***发送控制命令。
6.根据权利要求5所述的智能音乐和弦-氛围灯***，其特征在于，灯控***的电源模块为灯控***提供两种供电方式，一种是5V电源供电，一种为3.7V充电式锂电池供电。
7. 根据权利要求1、2、4或6所述的智能音乐和弦-氛围灯***，其特征在于，所述环形LED灯组件采用WS2812智能外控集成光源，LED灯采用混合光模型，以圆环排列结构方式展现，分别采用红、绿、蓝三色LED灯各16个，共48个LED灯；每一红、绿、蓝LED单色灯组成一个LED RGB单元，实现256中颜色变化，对三种基色进行不同比例的相加混合，实现不同的混色效果；***采用脉冲宽度调制调光，利用调节脉冲信号的占空比来调节电流大小，从而实现LED灯光强度的变化。
8.如权利要求1-7之一所述的智能音乐和弦-氛围灯***在制备疾病的音乐辅助治疗器件中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710429403.1A CN107135578B (zh) | 2017-06-08 | 2017-06-08 | 基于TonaLighting调节技术的智能音乐和弦-氛围灯*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710429403.1A CN107135578B (zh) | 2017-06-08 | 2017-06-08 | 基于TonaLighting调节技术的智能音乐和弦-氛围灯*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107135578A true CN107135578A (zh) | 2017-09-05 |
| CN107135578B CN107135578B (zh) | 2020-01-10 |
Family
ID=59733902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710429403.1A Active CN107135578B (zh) | 2017-06-08 | 2017-06-08 | 基于TonaLighting调节技术的智能音乐和弦-氛围灯*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107135578B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107890234A (zh) * | 2017-11-01 | 2018-04-10 | 宿州市宜美家具有限公司 | 一种沙发 |
| CN108009262A (zh) * | 2017-12-11 | 2018-05-08 | 北京骑骑智享科技发展有限公司 | 基于大数据分析炫轮的显示方法和装置 |
| CN110503992A (zh) * | 2019-08-28 | 2019-11-26 | 常州市小先信息技术有限公司 | 一种多模态交互的智能音乐播放器设备及其实现方法 |
| CN111477200A (zh) * | 2020-04-03 | 2020-07-31 | 深圳市人工智能与机器人研究院 | 乐谱文件生成方法、装置、计算机设备和存储介质 |
| CN112396918A (zh) * | 2020-11-24 | 2021-02-23 | 辽东学院 | 一种基于五条线视觉显示技术的声乐教学用黑板及方法 |
| CN112634814A (zh) * | 2020-12-01 | 2021-04-09 | 黑龙江建筑职业技术学院 | 一种跟随音乐的led三维立体显示器的节奏控制方法 |
| CN113050915A (zh) * | 2021-03-31 | 2021-06-29 | 联想(北京)有限公司 | 一种电子设备及处理方法 |
| CN113365385A (zh) * | 2021-07-25 | 2021-09-07 | 深圳市迈捷物联光电有限公司 | 灯光音乐无线互动智能***及灯光音乐无线互动控制方法 |
| CN114422846A (zh) * | 2021-12-31 | 2022-04-29 | 深圳市智岩科技有限公司 | 灯效控制方法、***、装置、电子设备及存储介质 |
| CN114501742A (zh) * | 2021-12-31 | 2022-05-13 | 深圳市爱图仕影像器材有限公司 | 基于运动状态识别的光效控制方法及装置、灯具 |
| TWI827195B (zh) * | 2022-08-10 | 2023-12-21 | 南臺學校財團法人南臺科技大學 | 智能音樂聲光處理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842236A (zh) * | 2005-04-01 | 2006-10-04 | 英华达(上海)电子有限公司 | 来电和弦灯光的控制模块及其控制方法 |
| CN102187386A (zh) * | 2008-10-15 | 2011-09-14 | 缪西卡股份公司 | 分析数字音乐音频信号的方法 |
| CN103793010A (zh) * | 2014-02-28 | 2014-05-14 | 苏州三星电子电脑有限公司 | 随韵律动态变换外壳色彩的多媒体播放设备及其控制方法 |
| CN105810226A (zh) * | 2016-03-08 | 2016-07-27 | 惠州市金能量科技有限公司 | 一种控制音乐表现效果的方法和*** |
-
2017
- 2017-06-08 CN CN201710429403.1A patent/CN107135578B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842236A (zh) * | 2005-04-01 | 2006-10-04 | 英华达(上海)电子有限公司 | 来电和弦灯光的控制模块及其控制方法 |
| CN102187386A (zh) * | 2008-10-15 | 2011-09-14 | 缪西卡股份公司 | 分析数字音乐音频信号的方法 |
| CN103793010A (zh) * | 2014-02-28 | 2014-05-14 | 苏州三星电子电脑有限公司 | 随韵律动态变换外壳色彩的多媒体播放设备及其控制方法 |
| CN105810226A (zh) * | 2016-03-08 | 2016-07-27 | 惠州市金能量科技有限公司 | 一种控制音乐表现效果的方法和*** |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107890234A (zh) * | 2017-11-01 | 2018-04-10 | 宿州市宜美家具有限公司 | 一种沙发 |
| CN108009262A (zh) * | 2017-12-11 | 2018-05-08 | 北京骑骑智享科技发展有限公司 | 基于大数据分析炫轮的显示方法和装置 |
| CN110503992A (zh) * | 2019-08-28 | 2019-11-26 | 常州市小先信息技术有限公司 | 一种多模态交互的智能音乐播放器设备及其实现方法 |
| CN111477200A (zh) * | 2020-04-03 | 2020-07-31 | 深圳市人工智能与机器人研究院 | 乐谱文件生成方法、装置、计算机设备和存储介质 |
| CN112396918A (zh) * | 2020-11-24 | 2021-02-23 | 辽东学院 | 一种基于五条线视觉显示技术的声乐教学用黑板及方法 |
| CN112634814B (zh) * | 2020-12-01 | 2022-04-08 | 黑龙江建筑职业技术学院 | 一种跟随音乐的led三维立体显示器的节奏控制方法 |
| CN112634814A (zh) * | 2020-12-01 | 2021-04-09 | 黑龙江建筑职业技术学院 | 一种跟随音乐的led三维立体显示器的节奏控制方法 |
| CN113050915A (zh) * | 2021-03-31 | 2021-06-29 | 联想(北京)有限公司 | 一种电子设备及处理方法 |
| CN113050915B (zh) * | 2021-03-31 | 2023-12-26 | 联想(北京)有限公司 | 一种电子设备及处理方法 |
| CN113365385A (zh) * | 2021-07-25 | 2021-09-07 | 深圳市迈捷物联光电有限公司 | 灯光音乐无线互动智能***及灯光音乐无线互动控制方法 |
| CN114422846A (zh) * | 2021-12-31 | 2022-04-29 | 深圳市智岩科技有限公司 | 灯效控制方法、***、装置、电子设备及存储介质 |
| CN114501742A (zh) * | 2021-12-31 | 2022-05-13 | 深圳市爱图仕影像器材有限公司 | 基于运动状态识别的光效控制方法及装置、灯具 |
| TWI827195B (zh) * | 2022-08-10 | 2023-12-21 | 南臺學校財團法人南臺科技大學 | 智能音樂聲光處理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107135578B (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107135578A (zh) | 基于TonaLighting调节技术的智能音乐和弦‑氛围灯*** | |
| CN101428163B (zh) | 考试、竞技、运动状态调节仪 | |
| CN102441220B (zh) | 基于计算机的音乐色光物理因子身心保健*** | |
| CN104606763B (zh) | 一种基于脑电波诱导和音频可视化技术的视听统合训练器 | |
| WO2017000794A1 (zh) | 一种音乐灯光律动***及方法 | |
| US20170098350A1 (en) | Vibrotactile control software systems and methods | |
| US10319395B2 (en) | System and method for predictive generation of visual sequences | |
| CN102436801A (zh) | 一种健康音乐的制作方法及其选择聆听方法 | |
| CN103607823B (zh) | 一种led发光装置 | |
| CN103381280B (zh) | 基于可视脑电波诱导技术的视听统合康复训练***及方法 | |
| CN101989086A (zh) | 一种基于互联网的音乐色光环境控制中心 | |
| US11508393B2 (en) | Controller for real-time visual display of music | |
| CN108200703A (zh) | 一种与音频互动的灯光的控制方法、装置及电子设备 | |
| CN103997810A (zh) | 一种多模式房间顶灯 | |
| CN109287053A (zh) | 灯光闪烁控制方法、提醒方法、提醒***及照明设备 | |
| CN201887798U (zh) | 一种基于互联网的音乐彩光环境控制中心 | |
| KR19980083350A (ko) | 감성조명 오디오 시스템 | |
| CN201223621Y (zh) | 考试、竞技、运动状态调节仪 | |
| CN104099749B (zh) | 一种音乐控制水流的洗衣机及控制方法 | |
| CN105611693B (zh) | 音响与调光灯的控制方法及装置 | |
| CN207219088U (zh) | 智能音乐和弦‑氛围灯***的灯控装置 | |
| US11369016B2 (en) | Method and system for producing a sound-responsive lighting effect | |
| JP6485943B2 (ja) | 音楽同期型照明制御装置 | |
| CN106303833A (zh) | 一种具有装饰灯组的扬声器***及方法 | |
| CN112232118A (zh) | 一种自适应音律变换的混光调节方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |