CN106571149A - 电子装置及电子装置的音乐内容可视化方法 - Google Patents
电子装置及电子装置的音乐内容可视化方法 Download PDFInfo
- Publication number
- CN106571149A CN106571149A CN201610861773.8A CN201610861773A CN106571149A CN 106571149 A CN106571149 A CN 106571149A CN 201610861773 A CN201610861773 A CN 201610861773A CN 106571149 A CN106571149 A CN 106571149A
- Authority
- CN
- China
- Prior art keywords
- visualization
- effect
- information
- music content
- audio feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007794 visualization technique Methods 0.000 title abstract description 5
- 238000012800 visualization Methods 0.000 claims abstract description 337
- 230000000694 effects Effects 0.000 claims abstract description 272
- 230000000875 corresponding effect Effects 0.000 claims description 124
- 230000008859 change Effects 0.000 claims description 119
- 230000000007 visual effect Effects 0.000 claims description 114
- 238000000034 method Methods 0.000 claims description 87
- 238000009434 installation Methods 0.000 claims description 86
- 238000009472 formulation Methods 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 21
- 230000036651 mood Effects 0.000 claims description 21
- 230000002123 temporal effect Effects 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000000622 irritating effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241001413866 Diaphone Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 201000004428 dysembryoplastic neuroepithelial tumor Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B33/00—Constructional parts, details or accessories not provided for in the other groups of this subclass
- G11B33/10—Indicating arrangements; Warning arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/008—Visual indication of individual signal levels
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J17/00—Apparatus for performing colour-music
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/021—Indicator, i.e. non-screen output user interfacing, e.g. visual or tactile instrument status or guidance information using lights, LEDs, seven segments displays
- G10H2220/081—Beat indicator, e.g. marks or flashing LEDs to indicate tempo or beat positions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Electrophonic Musical Instruments (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
公开了一种电子装置以及电子装置的音乐内容可视化方法,该方法包括:接收再现音乐内容的命令的输入;确定与音乐内容有关的音频特征信息以及与再现音乐内容的环境有关的状况信息;以及显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果,并且再现音乐内容。
Description
相关申请的交叉引用
本申请要求于2015年10月7日提交至韩国知识产权局的第10-2015-0140874号韩国专利申请的优先权,该韩国专利申请公开的内容通过引用以其整体并入本文。
技术领域
根据本公开的设备和方法涉及电子装置及电子装置的音乐可视化方法,并且更具体地,涉及配置为显示使音乐内容可视化的可视化效果的电子装置、以及电子装置的音乐可视化方法。
背景技术
在听音乐时,近来的音乐听众不仅寻求听觉享受,而且还寻求反映音乐的特征的视觉享受,并且为了满足这种需求,传统的音乐再现设备提供与音乐的特征匹配的视觉效果,从而在听音乐时提供娱乐元素。
例如,传统的音乐再现设备通过信号处理在声源数据的时间域或频率域中提取诸如节拍、节奏、起始等的特征,并且在再现音乐时,使用这些提取的特征来提供诸如使LED与强拍同步地闪烁或使动画的运动与强拍同步地改变的视觉效果。
然而,由于音乐再现设备的这种视觉效果仅使用音乐本身的特征,当听相同的音乐或具有类似气氛的音乐时,总是提供相同或非常类似的视觉效果,并且视觉效果本身的颜色或运动可能容易变得单调。
发明内容
其它的方面和/或优点将在随后的描述中部分地阐述,并且将部分地根据描述显而易见,或者可以通过实施方式的实践而习得。
本公开的目的是解决现有技术的上述问题,即提供电子装置以及电子装置的音乐内容可视化方法,其中,电子装置将再现音乐内容的环境反映在使音乐内容可视化的视觉效果中。
根据本公开的实施方式,提供了电子装置的音乐内容可视化方法,该方法包括:接收再现音乐内容的命令的输入;确定与音乐内容有关的音频特征信息和与再现音乐内容的环境有关的状况信息;以及显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果,并且再现音乐内容。
此外,再现可视化效果的显示可包括:确定与音频特征信息对应的可视化效果;基于状况信息改变所确定的可视化效果;以及将改变的可视化效果作为使音乐内容可视化的可视化效果显示。
此外,与音频特征信息对应的可视化效果可以是某一主题的基本图像根据音频特征信息而改变的图像效果,以及基于状况信息改变所确定的可视化效果可基于状况信息改变与音频特征信息对应的可视化效果的基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
此外,与音频特征信息对应的可视化效果可以是至少一个LED(发光二极管)灯的光发射根据音频特征信息而改变的视觉效果,以及基于状况信息改变所确定的可视化效果可基于状况信息改变与音频特征信息对应的可视化效果的颜色、亮度、色度、对比度、变化速度和变化范围中的至少一个。
此外,音频特征信息可包括音乐内容的节拍信息、心情信息和强调信息中的至少一个,并且状况信息可包括天气信息、日期信息、时间信息、与电子装置周围区域的亮度有关的信息和与再现列表的属性有关的信息中的至少一个。
此外,该方法还可包括显示模式选择UI(用户接口),模式选择UI用于选择简单可视化模式和智能可视化模式中的一个,简单可视化模式仅使用音频特征信息,智能可视化模式使用音频特征信息和状况信息,其中,当从模式选择UI中选择简单可视化模式时,可显示仅使用音频特征信息使音乐内容可视化的可视化效果,以及当选择智能可视化模式时,可显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果。
此外,本方法可包括:将通过简单可视化设定UI设定的可视化效果确定为与音频特征信息对应的可视化效果,简单可视化设定UI用于设定与音频特征信息对应的可视化效果;以及使用通过智能可视化设定UI选择的状况信息来改变与音频特征信息对应的可视化效果,智能可视化设定UI用于选择用于改变与音频特征信息对应的可视化效果的状况信息。
此外,本方法还可包括从外部装置接收与通过简单可视化设定UI设定的可视化效果有关的信息以及与通过智能可视化设定UI选择的状况信息有关的信息。
此外,确定状况信息可包括:在再现音乐内容时实时地确定状况信息,并且改变可视化效果可包括在音频特征信息对应的可视化效果中反映实时确定的状况信息以改变与音频特征信息对应的可视化效果。
此外,确定状况信息可包括:确定再现音乐内容的命令被输入的时间点处的状况信息,以及改变可视化效果可包括:从用于根据状况信息匹配可视化效果改变方法的预存储的表格中选择与再现音乐内容的命令被输入的时间点处的状况信息对应的可视化效果改变方法,并且将选择的可视化效果改变方法应用于确定的可视化效果。
根据本公开的另一实施方式,提供了一种电子装置,该电子装置包括输入部、音频输出部、可视化效果显示器以及处理器,其中,输入部配置为接收用户的命令,音频输出部配置为再现音乐内容,可视化效果显示器配置为显示使音乐内容可视化的可视化效果,处理器配置为:在再现音乐内容的命令通过输入部输入时,确定与音乐内容有关的音频特征信息以及与再现音乐内容的环境有关的状况信息,控制可视化效果显示器显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果,以及控制音频输出部再现音乐内容。
此外,处理器可确定与音频特征信息对应的可视化效果、基于状况信息改变确定的可视化效果以及控制可视化效果显示器将改变的可视化效果作为使音乐内容可视化的可视化效果显示。
此外,可视化效果显示器可包括显示器,并且与音频特征信息对应的可视化效果是某一主题的基本图像根据音频特征信息而改变的图像效果,以及处理器可基于状况信息改变与音频特征信息对应的图像效果的基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
此外,可视化效果显示器可包括至少一个LED(发光二极管)灯,与音频特征信息对应的可视化效果可以是至少一个LED灯的光发射根据音频特征信息而改变的视觉效果,并且处理器可基于状况信息改变与音频特征信息对应的可视化效果的颜色、亮度、色度、对比度、变化速度和变化范围中的至少一个。
此外,音频特征信息可包括音乐内容的节拍信息、心情信息和强调信息中的至少一个,并且状况信息可包括天气信息、日期信息、时间信息、与电子装置周围区域的亮度有关的信息和与再现列表的属性有关的信息中的至少一个。
此外,处理器可控制可视化效果显示器在仅使用音频特征信息的简单可视化模式以及使用音频特征信息和状况信息的智能可视化模式中的简单可视化模式中显示仅使用音频特征信息使音乐内容可视化的可视化效果,以及在仅使用音频特征信息的简单可视化模式以及使用音频特征信息和状况信息的智能可视化模式中的智能可视化模式中显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果。
此外,处理器可将通过简单可视化设定UI设定的可视化效果确定为与音频特征信息对应的可视化效果,以及使用通过智能可视化设定UI选择的状况信息来改变与音频特征信息对应的可视化效果,其中,简单可视化设定UI用于设定与音频特征信息对应的可视化效果,智能可视化设定UI用于选择用于改变与音频特征信息对应的可视化效果的状况信息。
此外,电子装置还可包括配置为与外部装置通信的通信器,其中,当从外部装置接收到与通过简单可视化设定UI设定的可视化效果有关的信息以及与通过智能可视化设定UI选择的状况信息有关的信息时,处理器控制可视化效果显示器显示使用接收到的信息使音乐内容可视化的可视化效果。
此外,处理器可在再现音乐时实时地确定状况信息,并且在与音频特征信息对应的可视化效果中反映实时确定的状况信息以改变与音频特征信息对应的可视化效果。
此外,处理器可确定再现音乐内容的命令被输入的时间点处的状况信息,从用于根据状况信息匹配可视化效果改变方法的预存储的表格中选择与再现音乐内容的命令被输入的时间点处的状况信息对应的可视化效果改变方法,并且将选择的可视化效果改变方法应用于确定的可视化效果。
根据本公开的另外的实施方式,提供了存储方法的非暂时性计算机可读介质,所存储的方法包括电子装置的音乐内容可视化方法,该电子装置的音乐内容可视化方法包括:接收再现音乐内容的命令的输入;确定音乐内容的音频特征信息和再现音乐内容的环境中的状况信息;以及显示使用音频特征信息和状况信息使音乐内容可视化的可视化效果,并且再现音乐内容。
根据本公开的上述多个实施方式,使音乐内容可视化的可视化效果可根据再现音乐内容的环境而改变。因此,用户即使在听相同的音乐内容或类似气氛的音乐内容时也可体验不同的音乐内容可视化效果。
附图说明
通过参照附图描述本公开的某些实施方式,本实施方式的以上和/或其它方面将更加显而易见,在附图中:
图1是根据本公开实施方式的电子装置的框图;
图2A和图2B是根据本公开实施方式的电子装置的详细框图;
图3A、图3B和图3C是根据本公开实施方式的、为说明使音乐内容可视化的可视化效果而提供的示例性视图;
图4是根据本公开实施方式的、用于根据状况信息匹配可视化效果改变方法的表格的示例性视图;
图5A、图5B和图5C是根据本公开实施方式的模式选择UI、简单可视化设定UI和智能可视化设定UI的示例性视图;
图6A和图6B是根据本公开另一实施方式的、将状况信息反映在使音乐内容可视化的可视化效果中的示例性视图;
图7是示出了根据本公开实施方式的、电子装置的音乐内容可视化方法的流程图;以及
图8是示出了根据本公开另一实施方式的、电子装置的音乐内容可视化方法的流程图。
具体实施方式
现将详细参考实施方式,实施方式的示例在附图中示出,其中,在说明书全文中,相同的附图标记表示相同的元件。下文通过参照附图描述实施方式以说明本公开。
在说明本公开时,当认为与相关的公知技术有关的具体说明会不必要地使本公开的主要观点不清楚时,将省略该相关的公知技术的详细说明。而且,在下文中的说明中,元件的后缀“单元”用于便于撰写说明的目的,并且因此,后缀“单元”本身不具有不同的含义或作用。
在下文中,“单元”表示软件元件或诸如FPGA和ASIC的硬件元件,并且执行某些功能。然而,“单元”不限于软件或硬件。“单元”可包括具有地址的存储介质,并且可配置为由一个或多个处理器执行。因此,“单元”包括诸如软件元件、面向对象的软件元件、类元件和操作元件的元件、以及处理功能、属性、进程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、表格、阵列和变量。由元件和单元提供的功能可合并成较小数量的元件和单元,并且可划分成更大数量的元件和单元。
在下文中,将参照附图说明本公开的多个实施方式。图1是示出了根据本公开实施方式的电子装置的配置的框图。参照图1,电子装置100包括输入部110、音频输出部120、可视化效果显示器130和处理器140。
输入部110是用于接收用户的、用于操纵电子装置100的命令的配置,例如,键盘或触摸屏。具体地,输入部110可接收用户的再现音乐内容的命令。此外,如下文将说明的,输入部110可接收用户的、用于在显示于显示器130上的模式选择UI上选择模式的命令,并且接收用户的用于作出各种设定(例如,简单可视化设定UI和智能可视化设定UI)的命令。
为此,输入部110可包括设置在电子装置100中的按钮、触摸面板(在显示器130被实现为触摸屏的情况下)或远程控制信号接收器(在电子装置100通过外部远程控制进行控制的情况下,未显示)等。
诸如扬声器***的音频输出部120输出音频信号。具体地,音频输出部120可根据处理器140的控制来再现音乐内容。为此,音频输出部120可包括扬声器和音频输出终端等。这里,音乐内容可以从多个源获得,其中,多个源诸如存储在外部存储装置(例如,USB、CD播放器、DVD播放器等)中或存储在电子装置100的存储器(未示出)中的声源或者从由内容供应商(CP)运行的声源服务器提供的声源。
可视化效果显示器130可显示使音乐内容可视化的可视化效果。
这里,使音乐内容可视化的可视化效果表示可视地表达某些音乐内容的效果,其中,该效果由处理器140使用音乐内容的音频特征以及与再现音乐内容的环境有关的状况信息中的至少一个产生。
为此,可视化效果显示器130可实现成多种类型的显示器,例如,LCD(液晶显示器)、OLED(有机发光二极管)、PDP(等离子显示面板)或实现成包括触摸面板的触摸屏。
在这种情况中,可视化效果显示器130可根据处理器140的控制来显示模式选择UI、简单可视化设定UI和智能可视化设定UI,其中,模式选择UI用于选择简单可视化模式和智能可视化模式中的一个,简单可视化设定UI用于设定与音乐内容的音频特征信息对应的图像效果,智能可视化设定UI用于选择用来改变与音频特征信息对应的图像效果的状况信息。
这里,简单可视化模式表示显示仅使用音乐内容的音频特征来使音乐内容可视化的图像效果的模式,以及智能可视化模式表示显示使用与再现音乐内容的环境有关的状况信息以及音频特征来使音乐内容可视化的图像效果的模式。
同时,根据实施方式,可视化效果显示器130可实现为至少一个LED(发光二极管)灯。这里,该至少一个LED灯可布置成靠近音频输出部120,但是对此无限制。
处理器140控制电子装置100的全部操作。具体地,当再现音乐内容的命令通过输入部110被输入时,处理器140可确定与音乐内容有关的音频特征信息以及与再现音乐内容的环境有关的状况信息。
例如,当再现音乐内容的命令被输入时,处理器140可检查输入的再现命令所针对的音乐内容,并且在与音乐内容有关的多个预存储的音频特征信息之中确定与输入的再现命令所针对的音乐内容有关的音频特征信息。这里,与音乐内容有关的多个预存储的音频特征信息可以是从提供与音乐内容有关的音频特征信息的外部装置(例如,服务器)获得的信息。
此外,根据实施方式,当再现音乐内容的命令被输入时,处理器140可分析对应的音乐内容并且确定与该音乐内容有关的音频特征信息。在这种情况中,处理器140可首先确定与音乐内容有关的音频特征信息,然后再现音乐内容,或者在再现音乐内容时实时地确定音频特征信息。
此外,根据本公开的另一实施方式,即使在再现音乐内容的命令被输入之前,处理器140也可预先分析音乐内容并且获得与对应的音乐内容有关的音频特征信息,然后,当用户的再现音乐内容的命令被输入时,处理器140可确定与输入的再现命令所针对的音乐内容有关的音频特征信息。也就是说,例如,在再现列表中包括至少一个音乐内容的情况下,处理器140可分析包括在再现列表中的该至少一个音乐内容的声源,并且获得并存储与每个音乐内容有关的音频特征信息,并且此后,当再现某些音乐内容的命令被输入时,处理器140可在所获得的与至少一个音乐内容有关的音频特征信息之中确定与输入的用户的再现命令所针对的音乐内容有关的音频特征信息。
这里,与音乐内容有关的音频特征信息可包括与音乐内容有关的节拍信息、心情信息和强调信息中的至少一个。但是,对此无限制,并且因此,音频特征信息可以是任何音频特征信息,例如,节奏信息、起奏信息等,只要该音频特征信息可用于使音乐内容可视化以及显示音乐内容。
此外,当再现音乐内容的命令被输入时,处理器140可确定与再现音乐内容的环境有关的状况信息。具体地,当再现音乐内容的命令被输入时,处理器140可确定在再现音乐内容的命令被输入时的时间点处的、与再现音乐内容的环境有关的状况信息。而且,根据实施方式,处理器140可在再现音乐内容时实时地确定状况信息。
这里,与再现音乐内容的环境有关的状况信息可包括天气信息、日期信息、时间信息、与电子装置周围区域的亮度有关的信息以及与再现列表的属性有关的信息。但是,对此无限制,并且因此,根据本公开实施方式,与电子装置用户的情况有关的信息等也可包括在状况信息中。
具体地,处理器140可从诸如服务器、移动装置等的外部装置、设置在电子装置100中的各种传感器(未示出)和时钟(未示出)等获得状况信息。而且,处理器140可存储或更新如前文所述获得的状况信息。因此,当再现音乐内容的命令被输入时,处理器140可指定再现音乐内容的命令被输入的时间点,并且从电子装置100中存储或更新的状况信息中确定该特定时间点的状况信息。
此外,处理器140可从外部装置、传感器、时钟等实时地获得状况信息。因此,处理器140可在音乐内容根据用户的再现音乐内容命令而再现时实时地确定状况信息。
同时,处理器140可显示使用如上所述确定的音频特征信息和状况信息来使输入的再现命令所针对的音乐内容可视化的可视化效果,并且再现对应的音乐内容。这里,显示使音乐内容可视化的可视化效果和再现音乐内容可以是同步的并且可同时执行。
具体地,处理器140可确定对应于与音乐内容有关的音频特征信息的可视化效果、基于状况信息改变所确定的可视化效果以及控制可视化效果显示器130将改变的可视化效果作为使对应的音乐内容可视化的可视化效果显示。这里,与音频特征信息对应的可视化效果可以是某一主题的基本图像根据可视化效果显示器130的形式而改变的图像效果或者可以是至少一个LED灯的光发射根据音频特征信息而改变的可视化效果。
例如,在可视化效果显示器130包括显示器的情况中,当在柱状图图像被设定成某一主题的基本图像的状态下输入再现音乐内容的命令时,处理器140可将其中针对对应音乐内容确定的音频特征信息被反映在柱状图中的图像效果确定为与音频特征信息对应的可视化效果。
更具体地,处理器140可在柱状图中反映与对应的音乐内容对应的声源的每个频率带的能量水平,并且将用柱状图的变化表示的、再现声源时每个频率带的能量水平根据时间的变化确定为与关于对应的音乐内容的音频特征信息对应的可视化效果。
因此,处理器140可基于状况信息改变所确定的图像效果。具体地,处理器140可基于状况信息改变被确定成与音频特征信息对应的可视化效果的图像效果的基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
具体地,在柱状图图像效果的上述示例中,处理器140可例如根据天气信息改变柱状图图像的环境,或根据时间信息改变柱状图的长度或颜色的变化范围。
同时,根据本公开的另一实施方式,在可视化效果显示器130包括至少一个LED灯的情况中,当再现音乐内容的命令被输入时,处理器140可确定与关于对应音乐内容的音频特征信息对应的可视化效果,例如,根据对应音乐内容的节拍信息、心情信息和强调信息中的至少一个改变至少一个LED的光发射的可视化效果。而且,处理器140可使用状况信息改变所确定的可视化效果的颜色、亮度、色度、对比度、变化速度和变化范围中的至少一个。
例如,在可视化效果显示器130以六(6)个LED围绕圆形扬声器的形式实现的情况中,当再现音乐内容的命令被输入时,处理器140可确定LED的光发射根据与对应音乐内容有关的音频特征信息而改变的可视化效果。更具体地,例如,处理器140可根据对应的音乐内容的心情信息和节拍信息来确定使红色LED按照节拍闪烁的可视化效果。
因此,处理器140可基于状况信息改变所确定的可视化效果。具体地,例如,处理器140可改变所确定的可视化效果使得LED的颜色根据天气信息在蓝色、黄色和绿色之间连续地改变,或者使得颜色的亮度或色度根据与周围区域亮度有关的信息改变,或者使得颜色的变化范围或变化速度根据时间信息而改变。
然而,用于基于与音乐内容有关的音频特征信息或基于状况信息来改变与音频特征信息对应的可视化效果的方法当然不限于上述示例。
同时,根据本公开的另一实施方式,处理器140可从用于根据状况信息匹配可视化效果改变方法的表格中选择与再现命令被输入的时间点处的状况信息对应的可视化效果改变方法,并且将所选的可视化效果改变方法应用于改变与音频特征信息对应的可视化效果。
图4是用于根据状况信息匹配可视化效果改变方法的表格的示例。图4中的预设置1 400-1至预设置N 400-N表示根据诸如天气、时间、日期、亮度和列表属性的状况信息的组合来匹配不同的可视化效果改变方法的表格。
因此,例如,在确定再现音乐内容的命令被输入的时间点处的天气信息为多云、时间信息是夜晚、日期信息是周末、亮度信息是户外以及由用户设定的再现列表的属性是心情1的情况中,处理器140可选择预设置1 400-1,预设置1 400-1是与确定的状况信息对应的可视化效果改变方法,并且将设定成预设置1 400-1的可视化效果改变方法应用于改变与音频特征信息对应的可视化效果。
如果确定在再现相同的音乐内容的命令被输入的时间点处的天气信息为晴天、时间信息是下午、日期信息是周末、亮度信息是黑暗以及由用户设定的再现列表的属性是心情2且是强调的情况中,处理器140将选择预设置N 400-N,预设置N 400-N是与确定的状况信息对应的可视化效果改变方法,并且将设定成预设置N 400-N的可视化效果改变方法应用于改变与音频特征信息对应的可视化效果。
例如,预设置1 400-1可以是降低背景颜色的色度、减小光的闪烁速度以及增大与音频特征信息对应的可视化效果的颜色变化范围的可视化效果改变方法,并且预设置N400-N可以是增加可视化效果的整体亮度以及增加包括在可视化效果中的物体的运动速度的可视化效果改变方法。然而,这仅是示例,并且因此,与音频特征信息对应的任何可视化效果改变方法通过结合状况信息可以与预设置400-1至400-N中的每个匹配。
这里,设定到每个预设置的可视化效果改变方法可由制造公司在制造电子装置100时预先设定,但是对此无限制,并且因此,可显示用于根据状况信息设定可视化效果改变方法的IU,使得用户可通过对应的UI来设定可视化效果改变方法。
此外,根据在再现命令被输入的时间点处确定的状况信息从表格中选择的可视化效果改变方法可以在对应的音乐内容再现时一次性全部应用于改变可视化效果。
同时,根据本公开的另一实施方式,处理器140可在再现音乐内容时实时地确定状况信息,并且因此,在状况信息在音乐内容再现时变化的情况中,可反映变化的状况信息并且改变可视化效果。
例如,当状况信息在再现音乐时变化时,可再次从表格中选择与变化的状况信息对应的可视化效果改变方法,并且将选择的可视化效果改变方法应用于改变与当前再现的音乐内容的音频特征信息对应的可视化效果。
然而,对此无限制,并且根据本公开的另一实施方式,单独的可视化效果改变方法可以与每个状况信息匹配,并且处理器140可使用所确定的与每个状况信息对应的可视化效果改变方法来改变与音频特征信息对应的可视化效果。
表格1示出了使用与每个状况信息匹配的可视化效果改变方法来改变可视化效果的示例。如表格1的示例中所示,改变背景的亮度可以与天气信息匹配,改变颜色的变化范围可以与时间信息匹配,改变光的闪烁速度可以与天气信息匹配,改变光的强度可以与亮度信息匹配,以及改变色度和效果可以与和再现列表属性有关的信息匹配。
在表格1的示例中,当心情是“安静”时,与对应于音乐内容的音频特征信息对应的可视化效果是显示蓝色类型的背景图像并且包括在图像中的活动物体缓慢移动的图像效果或是使LED灯缓慢闪烁的视觉效果。
这里,在表格1的示例中,处理器140可由于天气信息是“晴天”而通过增加蓝色背景图像的亮度并且将蓝色背景图像改变成明亮且干净以改变与“安静心情”对应的可视化效果、由于时间信息是“夜晚”而通过减少颜色的变化以改变与“安静心情”对应的可视化效果、由于日期信息是“周末”而通过不对LED灯的闪烁速度作出改变、由于亮度信息是“黑暗”而通过抑制光的强度(例如,通过减小颜色的对比度)以改变与“安静心情”对应的可视化效果、以及由于由用户设定的再现列表的属性是“兴奋属性”而通过增大背景图像的色度并且应用富有刺激性的效果以改变与“安静心情”对应的可视化效果。
(表格1)
心情 | 安静 | 蓝色类型,缓慢移动/闪烁 |
天气 | 晴朗 | 明亮且干净的背景 |
时间 | 夜晚 | 减少颜色的变化 |
日期 | 周末 | 不改变效果 |
亮度 | 黑暗 | 抑制光的强度 |
再现列表的属性 | 兴奋属性 | 增大色度、应用富有刺激性的效果 |
表格1仅是一个示例,并且因此按照状况信息来匹配可视化效果改变方法不限于表格1的示例,并且因此,当然可存在将每个状况信息作为一种的可视化效果改变参数的多种可视化效果改变方法。
同时,根据实施方式,当基于状况信息改变图像效果时,可通过为每个状况信息设置不同的权重来改变图像效果。
因此,处理器140可控制可视化效果显示器130将如上所述地改变的可视化效果作为使对应的音乐内容可视化的可视化效果显示。
因为相同声源的音乐内容具有相同音频特征信息,所以,不管再现对应的音乐内容的环境如何,与音频特征信息对应的可视化效果通常也都相同。然而,通过考虑与再现对应音乐内容的环境有关的状况信息来改变可视化效果,听音乐内容的用户变得能够根据状况来体验更优化且更多样化的音乐内容可视化效果。
同时,上述电子装置100是能够再现音乐内容、确定状况信息并且显示使音乐内容可视化的图像效果的装置,例如,智能电话、平板PC、笔记本、PMP、平板手机、PDA(个人数字助理)、台式PC、电子相框和智能TV等,但是不限于此。电子装置100可不必是以一种形式配置的装置。例如,具有TV和连接至其的声音棒的多媒体再现***可包括在根据本公开的电子装置100的范畴内,其中,TV通过TV的屏幕来显示使音乐内容可视化的图像效果并且声音棒再现音乐内容。
图2A是根据本公开实施方式的电子装置的配置的详细框图。在说明图2A时,将省略与上文参照图1所述的内容重叠的内容。根据图2A,电子装置100'可包括输入部110、音频输出部120、可视化效果显示器130、处理器140、通信器150、存储器160、音频处理器170、视频处理器180和照度传感器190。
可视化效果显示器130可包括显示器131和至少一个LED 132中的至少一个。
具体地,显示器131可显示从多个源输入的多个图像。显示器131可显示从广播站、外部服务器和外部装置(CD和DVD播放器等)获得的各种图像。具体地,显示器131可根据处理器140的控制来显示使音乐内容可视化的图像效果、由视频处理器180处理的图像、模式选择UI、简单可视化设定UI、智能可视化设定UI等。
通信器150根据多种类型的通信方法执行与外部装置的通信。具体地,通信器150通过诸如因特网的网络连接至外部服务器并且收发各种信息。例如,通信器150可执行与服务器的通信,该服务器提供与音乐内容对应的音频特征信息。
此外,通信器150可以以短距离通信方法连接至外部装置,并且可接收与通过简单可视化设定UI设定的可视化效果有关的信息和与通过外部装置上显示的智能可视化设定UI选择的状况信息有关的信息。因此,处理器140可使用接收到的信息来确定和改变可视化效果。
为此,通信器150可包括短距离无线通信模块(未示出)和无线LAN通信模块(未示出)中的至少一个通信模块。这里,短距离通信模块(未示出)是用于执行与定位在短距离内的外部装置无线数据通信的通信模块,例如,蓝牙模块、ZigBee模块和NFC模块等。
此外,无线LAN通信模块(未示出)是配置为可根据诸如Wifi、IEEE等的无线通信协议连接至外部网络以执行通信的模块。除上述通信模块外,通信器150还可包括配置为可根据诸如3G(第三代)、3GPP(第三代合作伙伴项目)、LTE(长期演进)等的各种移动通信标准连接至移动通信网络以执行通信的移动通信模块。
此外,通信器150可包括诸如HDMI(高清晰度多媒体接口)、USB(通用串行总线)、IEEE(电气与电子工程师协会)1394和RS-232等的至少一个有线通信模块(未显示)。
照度传感器190感测光的亮度,并且将感测到的亮度输出为电信号。处理器140可根据输出信号强度来映射亮度级,并且获得与电子装置100'周围区域的亮度有关的信息。
存储器160可存储操作电子装置100'所需的各种程序和数据。而且,存储器160可执行暂时存储电子装置100'工作期间产生或获得的数据的功能。
具体地,存储器160可存储多种数据和信息,诸如,音乐内容的声源、与音频特征信息对应的可视化效果的数据、用于根据状况信息匹配可视化效果改变方法的表格、为每个状况信息匹配单独的可视化效果改变方法的信息、与音乐内容对应的音频特征信息以及各种状况信息等。
此外,如图2B中所示,存储器160可存储用于驱动电子装置100'的多种模块。根据图2B,存储器160可存储基础模块160-1、通信模块160-2、服务模块160-3、音频特征信息确定模块160-4、状况信息确定模块160-5、可视化效果确定模块160-6和可视化UI模块160-7等。
基础模块160-1表示用于处理从包括在电子装置100'中的每个硬件传输的信号并且将信号传输至上层模块的基本模块。基础模块160-1可包括存储模块、安全模块和网络模块(未示出)等。存储模块(未示出)是管理数据库(DB)或注册表的程序模块。安全模块(未示出)是支持硬件的验证、许可、安全存储等的程序模块,以及网络模块(未示出)是用于支持网络连接的模块。网络模块包括DNET模块和UPnP模块等。
通信模块160-2是用于执行与外部的通信的模块。通信模块160-2可包括消息模块(未示出)和电话模块(未示出)。
服务模块160-3是包括用于提供各种服务的多个应用的模块。
音频特征信息确定模块160-4是确定与音乐内容有关的音频特征信息的模块。具体地,音频特征信息确定模块160-4可确定与对应的音乐内容有关的音频特征信息。例如,音频特征信息确定模块160-4可使用多种算法来在时间域或频率域上分析输入的再现命令所针对的音乐内容的声源样本数据或框架单元中的再现列表内的音乐内容的声源样本数据,并且提取诸如能量、MFCC(梅尔倒谱系数)、形心(centroid)、音量、子带能量、低短时间能量比、过零率、频率重心、频率带宽、频谱通量、倒谱通量和响度等的音频特征。
因此,音频特征信息确定模块160-4可对提取的音频特征执行算法操作或者将机器学习方法等应用至提取的音频特征来计算并且确定诸如节拍信息、心情信息、强调信息、起奏信息和节奏信息等的音频特征信息。
此外,音频特征信息确定模块160-4可通过在与从外部服务器获得的或存储在存储器160中的音乐内容对应的音频特征信息之中识别与输入的再现命令所针对的音乐内容有关的音频特征信息并且然后从存储器160提取识别的音频特征信息,来确定与对应的音乐内容对应的音频特征信息。
当再现音乐内容的命令被输入时,状况信息确定模块160-5可确定状况信息,其中,状况信息包括天气信息、日期信息、时间信息、与电子装置周围区域的亮度有关的信息以及与再现列表的属性有关的信息中的至少一个。具体地,状况信息确定模块160-5可通过用户、传感器或因特网来收集与用于再现音乐内容的情况、周围状况以及关于环境的状况有关信息,并且可确定与用于再现音乐内容的条件、周围状况以及关于环境的状况有关信息。
例如,天气信息可通过与提供天气信息的外部服务器同步来获得天气信息而确定。日期信息(与假日有关的日期)和时间信息可通过与电子装置100'中的用户设定同步或通过因特网时间服务器来获得日期和时间信息而确定。亮度信息可通过读取设置在电子装置100'中的照度传感器190的值以及根据该值映射亮度级而确定。再现列表的属性可在用户获得与从音乐内容播放器选择的再现列表的属性有关的信息时确定。
可视化UI模块160-7是产生并且显示用于选择音乐内容可视化方法或/和用于设定使音乐内容可视化的可视化效果的多个UI的模块。
具体地,可视化UI模块160-7可产生并且显示用于选择简单可视化模式和智能可视化模式中的一个的模式选择UI,其中,简单可视化模式显示仅使用音乐内容的音频特征使音乐内容可视化的可视化效果,智能可视化模式显示即使用与音乐内容有关的音频特征信息又使用与再现音乐内容的环境有关的状况信息来使音乐内容可视化的可视化效果。
此外,可视化UI模块160-7可产生并且显示简单可视化设定UI和智能可视化设定UI,其中,简单可视化设定UI用于设定与音频特征信息对应的可视化效果,智能可视化设定UI用于选择可用于改变可视化效果的状况信息。每个UI的示例如图5A-5C中所示。
可视化效果确定模块160-6是显示使用由音频特征信息确定模块160-4确定的、与音乐内容有关的音频特征信息以及由状况信息确定模块160-5确定的、与再现音乐内容的环境有关的状况信息来使音乐内容可视化的可视化效果的模块。
具体地,可视化效果确定模块160-6可确定与音频特征信息对应的可视化效果、根据状况信息改变确定的可视化效果以及将改变的可视化效果作为使音乐内容可视化的可视化效果显示。
此外,可视化效果确定模块160-6可根据用户的设定或在多个UI上的选择确定音乐内容的可视化方法或可视化效果,其中,多个UI通过可视化UI模块160-7产生并且显示。具体地,如上所述,当从模式选择UI中选择简单可视化模式时,可视化效果确定模块160-6可显示仅使用音频特征信息来使音乐内容可视化的可视化效果,并且当选择智能可视化模式时,可视化效果确定模块160-6可将即使用音频特征信息又使用状况信息而最终改变的可视化效果作为使音乐内容可视化的可视化效果显示。
而且,可视化效果确定模块160-6可将通过简单可视化设定UI设定的图像效果确定为与音频特征信息对应的可视化效果,并且使用通过智能可视化设定UI选择的状况信息来改变确定的可视化效果。
在下文中,将参照图5A-5C详细描述根据通过多个UI的用户操纵的电子装置100'的操作。
这里,存储器160可实现为诸如闪速存储器和硬盘等的多种电子装置。根据实施方式,网络上的虚拟存储装置也可以包括在存储器160的范畴中。
处理器140可使用存储在存储器160中的多个模块来控制电子装置100'的全部操作。如图2A中所示,处理器140包括RAM 142、ROM 143、GUI 144、主CPU 141、第一至第n接口145-1~145-n以及总线146。
这里,RAM 142、ROM 143、GUI 144、主CPU 141、第一至第n接口145-1~145-n等可通过总线146互相连接。
在ROM 143中,可存储用于***启动的命令集等。当关于电子装置100'的打开命令被输入且电力被供应时,主CPU 141复制存储在存储器160中的O/S,并且根据ROM 143中存储的命令来执行O/S,以启动***。当启动完成时,主CPU 141将存储器160中存储的各种程序复制到RAM 142,并且执行复制到RAM 142的程序以执行各种操作。具体地,主CPU 141可使用存储器160中存储的多个程序模块、数据等来执行各种操作。
当电子装置100'的启动完成时,GPU 144显示图像。具体地,GPU 144可使用算法操作单元(未示出)和渲染单元(未示出)来产生包括诸如图标、图像、文本等的各种对象的屏幕。算法操作单元(未示出)根据屏幕的布局对诸如每个待显示的对象的属性值(诸如坐标值、形式、尺寸、颜色等)执行算法操作。渲染单元(未示出)基于由算法操作单元(未示出)运算的属性值产生包括对象的各种布局的屏幕。在渲染单元(未示出)中产生的屏幕被提供至显示器131并且在显示区域内显示。
第一至第n接口145-1至145-n连接至多个上述元件110、120、130以及150至190。接口中的一个可以是通过网络连接至外部装置的网络接口。
音频处理器170执行音频数据的处理,并且将处理过的音频数据输出至音频输出部120。具体地,音频处理器170可对音乐内容的音频数据执行各种处理操作,诸如,解码、放大、噪声过滤和补偿等。
视频处理器180执行待通过显示器131显示的图像的图像处理。具体地,视频处理器180可对使音乐内容可视化的图像效果执行图像处理。具体地,视频处理器180可对使音乐内容可视化的图像效果执行多种图像处理操作,诸如,解码、缩放、噪声过滤、帧速率转换以及分辨率转换等。
图3A-3C是根据本公开实施方式的、为说明使音乐内容可视化的可视化效果而提供的示例性视图。
具体地,图3A示出了根据本公开实施方式的电子装置100'的音频输出部120和至少一个LED灯132-1至132-6。
如上所述,在可视化效果显示器130包括至少一个LED灯的情况中,当再现音乐内容的命令被输入时,处理器140可确定与关于对应音乐内容的音频特征信息对应的可视化效果,例如,根据对应的音乐内容的节拍信息、心情信息和强调信息中的至少一个改变至少一个LED的光发射的可视化效果。
因此,在电子装置100'以简单可视化模式操作时,处理器140可控制至少一个LED灯132,以使确定的可视化效果与对应音乐内容的再现同步,并且控制至少一个LED灯132来显示确定的可视化效果。例如,如图3A中所示,红色的LED灯132-1至132-6可以以根据节拍而闪烁的方法工作。
然而,在电子装置100'以智能可视化模式工作的情况下,处理器140可使用状况信息来改变确定的可视化效果的颜色、亮度、色度、对比度、变化的速度和变化的范围中的至少一个,并且控制至少一个LED灯132来将改变后的可视化效果作为对应音乐内容的可视化效果显示。例如,与图3A中不同,处理器140可根据状况信息改变可视化效果,并且可控制LED灯132-1至132-6发光,使得红色的LED灯与音乐内容的节拍同步并且在从左侧顺序地旋转时发光。然而,这仅是示例,并且因此,处理器140当然可使用状况信息以其它不同的方法来改变可视化效果。同时,根据本公开实施方式,可视化效果显示器130可包括显示器131。在这种情况中,与音乐内容的音频特征信息对应的可视化效果可以是某一主题的基本图像根据音频特征信息而改变的图像效果。图3B示出了显示器131上显示的与音频特征信息对应的图像效果的示例。例如,如图3B中所示,在某一主题的基本图像是每个频带的柱状图的情况中,柱状图可根据节拍信息而改变,并且,柱状图的颜色根据心情信息而确定的柱状图的图像效果可被确定为与音频特征信息对应的图像效果。
如图3B中所示,如果电子装置100'以简单可视化模式工作,则处理器140可控制显示器131将绿色柱状图根据节拍信息而改变的图像效果作为使音乐内容可视化的图像效果显示。
然而,在电子装置100'以智能可视化模式工作的情况中,处理器140根据状况信息来改变与音频特征信息对应的图像效果,并且显示改变后的与音频特征信息对应的图像效果。因此,与图3B中的图示不同,处理器140可控制显示器131根据电子装置100'周围的亮度的信息来增加柱状图的整体的亮度、或者根据日期信息改变在柱状图周围的背景、或例如通过根据时间信息改变柱状图的颜色或通过增大颜色的变化范围来反映状况信息,并且显示图像效果。
同时,图3C示出了可根据音频特征信息的强调信息而应用的图像效果的示例。强调信息是与音乐内容的强调部分有关的信息。处理器140可将更强调的图像效果应用至强调部分。例如,如图3C中所示,除强调部分之外的部分可显示呈一个颜色的图像效果,而强调部分发射两个或更多颜色的光。当然,在这种情况下,也可使用状况信息在音乐内容的强调部分上显示其它强调效果。
同时,与音频特征信息对应的可视化效果当然不限于上述示例。例如,当然,可存在颜色改变的转变时间根据心情信息而不同的可视化效果、包括在基本图像中的图案或动画的运动速度与节拍的时间点同步的可视化效果、以及使LED灯的闪烁或图案或者动画运动在欢快的心情下更快但是在安静的心情下更慢的可视化效果。
图5A-5C示出了根据本公开实施方式的多个UI的示例。具体地,图5A示出了模式选择UI的示例。根据本公开的实施方式,处理器140可在显示器131上显示模式选择UI,其中,模式选择UI用于选择简单可视化模式和智能可视化模式中的一个,并且当从所显示的模式选择UI选择简单可视化模式时,处理器140可控制可视化效果显示器130显示仅使用音频特征信息使音乐内容可视化的图像效果。在这种情况中,处理器140可不确定状况信息。
然而,如图5A的示例中所示,当从模式选择UI中选择智能可视化模式时,处理器140可根据上述多个方法确定状况信息,并且控制可视化效果显示器130在与音频特征信息对应的可视化效果中反映确定的状况信息并且显示使音乐内容可视化的可视化效果。
同时,根据本公的开实施方式,如图5B中所示,处理器140可控制显示器131显示简单可视化设定UI,简单可视化设定UI用于设定与音频特征信息对应的可视化效果。根据图5B,用户可根据心情设定可视化效果的颜色并且通过简单可视化设定UI来调整LED灯的闪烁周期。而且,用户可调整转变时间,并且还可以选择是否应用强调效果。
因此,处理器140可将用户通过简单可视化设定UI设定的可视化效果确定为与音频特征信息对应的可视化效果。在简单可视化模式中,如上述确定的可视化效果将按照原样显示,并且在智能可视化模式中,如上述确定的可视化效果将被根据状况信息改变并且被显示。
此外,根据本公开的实施方式,如图5C中所示,处理器140可控制显示器131来显示智能可视化设定UI,智能可视化设定UI用于选择待用于改变可视化效果的状况信息。参照图5C,可看到用户通过智能可视化设定UI选择了使用多个状况信息之中的天气信息、时间信息和亮度信息来改变与音频特征信息对应的可视化效果。
因此,处理器140可仅使用由用户从确定的多个状况信息之中选择的天气信息、时间信息和亮度信息来改变与音频特征信息对应的可视化效果。
同时,根据本公开的实施方式,简单可视化设定UI和智能可视化设定UI可在外部装置上显示。这里,外部装置可以有线地或无线地连接至电子装置100'的任何显示装置。
因此,随着用户从在外部装置上显示的简单可视化设定UI设定可视化效果,并且从智能可视化设定UI选择状况信息,当与设定可视化效果有关的信息以及与状况信息有关的信息从外部装置传输时,通信器150可接收如上所述的那些信息。
因此,处理器140可使用接收到的信息来确定和改变可视化效果。
此外,上述的模式选择UI还可在显示装置上显示,并且当通过通信器150接收到与所选择的模式有关的信息时,处理器140可根据接收到的与模式有关的信息以简单可视化模式或以智能可视化模式工作。
同时,根据本公开的另一实施方式,根据智能可视化设定UI选择的状况信息可以以直接显示对应的状况信息的方法被反映在图像效果中。图6A、图6B示出了这样的示例。
例如,当在智能可视化设定UI上选择天气信息并且天气信息被确定为“下雨”时,处理器140可控制显示器131在雨滴落下的图像中反映与状况信息(天气信息)对应的图像效果并且显示该图像。更具体地,在图6A的示例中,处理器140可控制显示器131通过使随雨滴落下而在水表面上传播的波与节拍信息同步的方法来显示直接示出天气信息的图像效果。
此外,如图6B中所示,当在智能可视化设定UI上选择时间信息时并且时间信息被确定为“夜晚”时,时间信息当然可以通过使夜景图像作为主题、使光的闪烁与节拍信息同步的方法而被直接地显示。
但是,在图像效果中直接显示状况信息的方法不限于上述方法。例如,也可在与音频特征信息对应的图像效果中以直接表达状况信息的文本反应状况信息,并且将该图像效果作为使音乐内容可视化的图像效果显示。具体地,例如,根据时间信息以文本表达时间、以及改变时间中的每个数字的颜色或使每个数字的闪烁速度与音乐内容的节拍同步的实施方式也是可行的。
在上文中,基于这样的示例作出说明,在该示例中,处理器140首先确定与关于音乐内容的音频特征信息对应的可视化效果,然后使用状况信息改变确定的可视化效果,但是这是为了便于说明,因此,对此没有限制。也就是说,处理器140当然可控制可视化效果显示器130来同时确定和应用状况信息和音频特征信息并且显示使音乐内容可视化的可视化效果。
因此,可向用户提供使音乐内容可视化的可视化效果,同时用户可直观地识别与再现音乐内容的环境有关的状况信息。
图7是示出了根据本公开实施方式的电子装置的音乐内容可视化方法的流程图。根据图7,当再现音乐内容的命令被输入时(S710),电子装置100、100'可确定与音乐内容有关的音频特征信息以及与再现音乐内容的环境有关的状况信息(S720)。
这里,音频特征信息可包括音乐内容的节拍信息、心情信息和强调信息中的至少一个,以及状况信息可包括天气信息、日期信息、时间信息、与电子装置100、100'的周围区域的亮度有关的信息以及与由用户设定的再现列表的属性有关的信息中的至少一个。
同时,电子装置100、100'可从外部服务器或通过直接分析音乐内容来获得与音乐内容有关的音频特征信息。此外,电子装置100、100'可从外部装置或从多个传感器获得状况信息。因此,当再现音乐内容的命令被输入时,电子装置100、100'可确定音频特征信息以及在再现音乐内容的命令被输入的时间点处的或再现音乐内容时的状况信息。
因此,电子装置100、100'可显示使用所确定的音频特征信息和状况信息来使音乐内容可视化的可视化效果并且再现音乐内容(S730)。具体地,电子装置100、100'可确定与音频特征信息对应的可视化效果、基于状况信息改变确定的可视化效果、以及将改变的可视化效果作为使音乐内容可视化的可视化效果显示。
这里,根据本公开的实施方式,与音频特征信息对应的可视化效果可以是某一主题的基本图像根据音频特征信息而改变的图像效果。因此,电子装置100、100'可基于状况信息改变与音频特征信息对应的可视化效果的基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
此外,根据本公开的另一实施方式,与音频特征信息对应的可视化效果可以是至少一个LED灯的光发射根据音频特征信息而改变的视觉效果。在这种情况中,电子装置100、100'可基于状况信息改变与音频特征信息对应的可视化效果的颜色、亮度、色度、变化速度和变化范围中的至少一个。
同时,根据本公开的实施方式,电子装置100、100'可确定在再现命令被输入的时间点的状况信息。在这种情况中,电子装置100、100'可从匹配可视化效果改变方法的预存储的表格中选择与再现命令被输入的时间点的状况信息对应的可视化效果改变方法、应用选择的可视化效果改变方法、以及改变与音频特征信息对应的可视化效果。
此外,电子装置100、100'可在再现音乐内容时实时地确定状况信息、反映实时地确定的状况信息以及改变与音频特征信息对应的可视化效果。
图8是示出了根据本公开另一实施方式的、电子装置的音乐内容可视化方法的流程图。根据图8,电子装置100、100'显示模式选择UI(S810)。这里,模式选择UI是用于选择简单可视化模式和智能可视化模式中的一个的UI,其中,简单可视化模式用于仅使用音频特征信息,智能可视化模式用于即使用音频特征信息又使用状况信息。
因此,当用户选择简单可视化模式并且输入再现音乐内容的命令时(S820),电子装置100、100'确定与输入的再现命令所针对的音乐内容有关的音频特征信息(S830),并且显示使用确定的音频特征信息使音乐内容可视化的可视化效果,同时再现音乐内容(S840)。
同时,当用户选择智能可视化模式并且输入再现音乐内容的命令时(S850),电子装置100、100'确定与音乐内容有关的音频特征信息和再现音乐内容的环境的状况信息(S860),并且,显示使用确定的音频特征信息和状况信息使音乐内容可视化的可视化效果,同时再现音乐内容(S870)。
同时,根据本公开的另一实施方式,电子装置100、100'显示简单可视化设定UI和智能可视化设定UI中的至少一个,其中,简单可视化设定UI用于用户设定与音频特征信息对应的可视化效果,智能可视化设定UI用于用户设定用于改变可视化效果的状况信息。因此,当用户通过简单可视化设定UI设定可视化效果时,电子装置100、100'将设定的可视化效果确定为与音频特征信息对应的可视化效果。而且,当用户通过智能可视化设定UI选择状况信息时,电子装置100、100'使用选择的状况信息改变与音频特征信息对应的可视化效果。
此外,根据本公开的另一实施方式,外部装置可显示模式选择UI、简单可视化设定UI和智能可视化设定UI中的至少一个。
因此,电子装置100、100'可根据通过在外部装置上显示的模式选择UI选择的模式以简单可视化模式或智能可视化模式中的至少一个工作。
此外,当可视化效果通过在外部装置上显示的简单可视化设定UI设定并且与设定的可视化效果有关的信息被接收时,电子装置100、100'可将接收到的可视化效果确定为与音频特征信息对应的可视化效果。
此外,当状况信息通过在外部装置上显示的智能可视化设定UI被选择并且与选择的状况信息有关的信息被接受时,电子装置100、100'可使用与接收到的状况信息有关的信息来改变与音频特征信息对应的可视化效果。
根据上述多个实施方式,使音乐内容可视化的效果可根据再现音乐内容的环境而改变。因此,即使在听相同的音乐内容或类似气氛的音乐内容时,用户也可体验不同的音乐内容可视化效果。
同时,根据上述多个实施方式的电子装置100的处理器140的操作或电子装置的音乐内容可视化方法可生成为软件并且安装到电子装置100上,并且可由处理器140执行。
例如,可安装非暂时性计算机可读介质,该介质存储用于执行音乐内容可视化方法的程序,其中,音乐内容可视化方法包括以下步骤:输入再现音乐内容的命令、确定与音乐内容有关的音频特征信息和与再现音乐内容的环境有关的状况信息、以及显示使用音频特征信息和状况信息来使音乐内容可视化的可视化效果并且再现音乐内容。
这里,可由处理器140执行的非暂时性计算机可读介质不表示以短时间周期存储数据的、诸如寄存器、缓存器、存储器等的介质,而是表示可由装置读取并且半永久地存储数据的介质。具体地,上述各种中间件或程序可存储在诸如CD、DVD、硬盘、蓝光光碟、USB、存储卡、ROM等的非暂时性计算机可读介质中,并且可被提供。
上述示例性实施方式和优点仅是示例性的,并且不应被理解为限制本文的实施方式。本教导可被容易地应用于其它类型的设备。此外,本发明的示例性实施方式的描述旨在是说明性的,并且不旨在限制权利要求的范围,并且多种替代、修改和改变将对本领域技术人员显而易见。
Claims (15)
1.电子装置的音乐内容可视化方法,所述方法包括:
接收再现音乐内容的命令的输入;
确定所述音乐内容的音频特征信息和在再现所述音乐内容的环境中的状况信息;以及
显示使用所述音频特征信息和所述状况信息使所述音乐内容可视化的可视化效果,并且再现所述音乐内容。
2.根据权利要求1所述的方法,
其中,所述可视化效果的显示包括:
确定与所述音频特征信息对应的可视化效果;
基于所述状况信息来改变所确定的可视化效果以产生改变的可视化效果;以及
将所述改变的可视化效果作为使所述音乐内容可视化的可视化效果显示。
3.根据权利要求2所述的方法,
其中,所述与所述音频特征信息对应的可视化效果是主题的基本图像根据所述音频特征信息而改变的图像效果,以及
所述基于所述状况信息来改变所确定的可视化效果包括:基于所述状况信息来改变与所述音频特征信息对应的可视化效果的所述基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
4.根据权利要求2所述的方法,
其中,所述与所述音频特征信息对应的可视化效果是至少一个发光二极管灯的光发射根据所述音频特征信息而改变的视觉效果,以及
所述基于所述状况信息来改变所确定的可视化效果包括:基于所述状况信息改变与所述音频特征信息对应的可视化效果的颜色、亮度、色度、对比度、变化速度和变化范围中的至少一个。
5.根据权利要求1所述的方法,其中,所述音频特征信息包括所述音乐内容的节拍信息、心情信息和强调信息中的至少一个,以及
所述状况信息包括天气信息、日期信息、时间信息、与所述电子装置周围区域的亮度有关的信息以及与再现列表的属性有关的信息中的至少一个。
6.根据权利要求1所述的方法,还包括:
显示模式选择用户接口,所述模式选择用户接口用于选择简单可视化模式和智能可视化模式中的一个,所述简单可视化模式仅使用所述音频特征信息,所述智能可视化模式使用所述音频特征信息和所述状况信息,
其中,当从所述模式选择用户接口中选择所述简单可视化模式时,显示仅使用所述音频特征信息使所述音乐内容可视化的可视化效果,以及当选择所述智能可视化模式时,显示使用所述音频特征信息和所述状况信息使所述音乐内容可视化的可视化效果。
7.根据权利要求2所述的方法,包括:
将通过简单可视化设定用户接口设定的可视化效果确定为所述与所述音频特征信息对应的可视化效果,所述简单可视化设定UI用于设定与所述音频特征信息对应的可视化效果,以及
使用通过智能可视化设定用户接口选择的所述状况信息来改变所述与所述音频特征信息对应的可视化效果,所述智能可视化设定用户接口用于选择用于改变所述与所述音频特征信息对应的可视化效果的状况信息。
8.根据权利要求7所述的方法,还包括:
从外部装置接收与所述通过所述简单可视化设定用户接口设定的可视化效果有关的信息以及与通过所述智能可视化设定用户接口选择的所述状况信息有关的信息。
9.根据权利要求2所述的方法,其中,
所述确定所述状况信息包括:在再现所述音乐内容时实时地确定所述状况信息,以及
所述改变所述可视化效果包括:在与所述音频特征信息对应的可视化效果中反映所述实时确定的状况信息,以改变与所述音频特征信息对应的可视化效果。
10.根据权利要求2所述的方法,其中,
所述确定所述状况信息包括:确定在再现所述音乐内容的所述命令被输入的时间点处的状况信息,以及
所述改变所述可视化效果包括:从用于根据所述状况信息匹配可视化效果改变方法的预存储的表格中选择与再现所述音乐内容的所述命令被输入的时间点处的所述状况信息对应的可视化效果改变方法,并且将所选择的可视化效果改变方法应用于所确定的可视化效果。
11.一种电子装置,包括:
输入部,配置为接收用户的命令;
音频输出部,配置为再现音乐内容;
可视化效果显示器,配置为显示使所述音乐内容可视化的可视化效果;以及
处理器,配置为:在再现所述音乐内容的命令通过所述输入部输入时,确定所述音乐内容的音频特征信息以及再现所述音乐内容的环境的状况信息,控制所述可视化效果显示器显示使用所述音频特征信息和所述状况信息使所述音乐内容可视化的所述可视化效果;以及控制所述音频输出部再现所述音乐内容。
12.根据权利要求11所述的电子装置,其中,
所述处理器确定与所述音频特征信息对应的可视化效果、基于所述状况信息改变所确定的可视化效果以及控制所述可视化效果显示器将改变的可视化效果作为所述使所述音乐内容可视化的可视化效果显示。
13.根据权利要求12所述的电子装置,其中,
所述可视化效果显示器包括显示器,以及
所述与所述音频特征信息对应的可视化效果是主题的基本图像根据所述音频特征信息而改变的图像效果,以及
所述处理器基于所述状况信息改变所述与所述音频特征信息对应的图像效果的所述基本图像、背景、颜色、亮度、色度、变化速度和变化范围中的至少一个。
14.根据权利要求12所述的电子装置,其中,
所述可视化效果显示器包括至少一个发光二极管灯,
所述与所述音频特征信息对应的可视化效果是所述至少一个发光二极管灯的光发射根据所述音频特征信息而改变的视觉效果,以及
所述处理器基于所述状况信息改变所述与所述音频特征信息对应的可视化效果的颜色、亮度、色度、对比度、变化速度和变化速度中的至少一个。
15.根据权利要求11所述的电子装置,其中,
所述音频特征信息包括所述音乐内容的节拍信息、心情信息和强调信息中的至少一个,以及
所述状况信息包括天气信息、日期信息、时间信息、与所述电子装置周围区域的亮度有关的信息以及与再现列表的属性有关的信息中的至少一个。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210954026.4A CN115312086A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
CN202011326972.1A CN112434181A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150140874A KR102358025B1 (ko) | 2015-10-07 | 2015-10-07 | 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법 |
KR10-2015-0140874 | 2015-10-07 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954026.4A Division CN115312086A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
CN202011326972.1A Division CN112434181A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106571149A true CN106571149A (zh) | 2017-04-19 |
CN106571149B CN106571149B (zh) | 2022-08-30 |
Family
ID=57348437
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954026.4A Pending CN115312086A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
CN202011326972.1A Pending CN112434181A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
CN201610861773.8A Active CN106571149B (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954026.4A Pending CN115312086A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
CN202011326972.1A Pending CN112434181A (zh) | 2015-10-07 | 2016-09-28 | 电子装置及电子装置的音乐内容可视化方法 |
Country Status (4)
Country | Link |
---|---|
US (5) | US10237669B2 (zh) |
EP (3) | EP4213101A1 (zh) |
KR (4) | KR102358025B1 (zh) |
CN (3) | CN115312086A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107343085A (zh) * | 2017-06-08 | 2017-11-10 | 广东欧珀移动通信有限公司 | 音乐播放方法及相关产品 |
CN107464572A (zh) * | 2017-08-16 | 2017-12-12 | 重庆科技学院 | 多模式交互音乐感知***及其控制方法 |
CN109495767A (zh) * | 2018-11-29 | 2019-03-19 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
CN111488091A (zh) * | 2020-04-16 | 2020-08-04 | 深圳传音控股股份有限公司 | 移动终端的界面显示方法、移动终端及存储介质 |
CN112395530A (zh) * | 2019-08-19 | 2021-02-23 | 北京字节跳动网络技术有限公司 | 数据内容的输出方法、装置、电子设备及计算机可读介质 |
CN113971013A (zh) * | 2021-10-25 | 2022-01-25 | 北京字节跳动网络技术有限公司 | 音乐的音效播放方法及设备 |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD839893S1 (en) * | 2016-05-12 | 2019-02-05 | Sap Se | Display screen or portion thereof with graphical user interface for time sheet data presentation |
US9763021B1 (en) * | 2016-07-29 | 2017-09-12 | Dell Products L.P. | Systems and methods for display of non-graphics positional audio information |
CN107221021B (zh) * | 2017-05-19 | 2021-07-13 | 北京酷我科技有限公司 | 一种音频频谱动画的绘制算法 |
CN107329980B (zh) * | 2017-05-31 | 2022-04-12 | 福建星网视易信息***有限公司 | 一种基于音频的实时联动显示方法及存储设备 |
US20190066607A1 (en) * | 2017-08-25 | 2019-02-28 | Soweto Abijah Mitchell | Visual Representation of Electromagnetic Signals Utilizing Controlled Electrostatic and Electromagnetic Vibration Energy within Transparent Conductive Enclosures |
KR102614048B1 (ko) | 2017-12-22 | 2023-12-15 | 삼성전자주식회사 | 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법 |
USD879138S1 (en) * | 2018-03-16 | 2020-03-24 | Magic Leap, Inc. | Display panel or portion thereof with a transitional graphical user interface |
KR102579452B1 (ko) | 2018-09-05 | 2023-09-15 | 삼성전자주식회사 | 영상 표시 장치 및 그 동작방법 |
EP3644616A1 (en) | 2018-10-22 | 2020-04-29 | Samsung Electronics Co., Ltd. | Display apparatus and operating method of the same |
US11138714B2 (en) * | 2019-09-04 | 2021-10-05 | International Business Machines Corporation | Augmented reality pattern overlays to facilitate waste reduction |
USD918262S1 (en) * | 2020-02-05 | 2021-05-04 | Slack Technologies, Inc. | Display screen or portion thereof with animated graphical user interface |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
KR102343675B1 (ko) * | 2020-09-14 | 2021-12-29 | 뉴튠(주) | 음악 정보 시각화 서비스 제공 방법과 장치 및 이를 포함하는 내비게이션 시스템 |
CN112259062B (zh) * | 2020-10-20 | 2022-11-04 | 北京字节跳动网络技术有限公司 | 特效展示方法、装置、电子设备及计算机可读介质 |
US11694590B2 (en) * | 2020-12-21 | 2023-07-04 | Apple Inc. | Dynamic user interface with time indicator |
CN112954481B (zh) | 2021-02-07 | 2023-12-12 | 脸萌有限公司 | 特效处理方法和装置 |
CN112995628B (zh) * | 2021-03-05 | 2022-10-04 | 深圳市火乐科技发展有限公司 | 投影控制方法、装置、存储介质及投影设备 |
WO2022243554A1 (en) * | 2021-05-20 | 2022-11-24 | Soclip! | Automatic display modulation based on audio artifact composition |
US11354845B1 (en) * | 2021-06-01 | 2022-06-07 | Royal Caribbean Cruises Ltd. | Multi-location disc jockey |
US20220405982A1 (en) * | 2021-06-21 | 2022-12-22 | Lemon Inc. | Spectrum algorithm with trail renderer |
CN113721821A (zh) * | 2021-09-04 | 2021-11-30 | 北京字节跳动网络技术有限公司 | 音乐播放方法及设备 |
US11924944B1 (en) * | 2021-10-12 | 2024-03-05 | Fourstar Group Inc. | System and method for voice-activated lighting control |
KR20230090921A (ko) * | 2021-12-15 | 2023-06-22 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US20230236547A1 (en) | 2022-01-24 | 2023-07-27 | Apple Inc. | User interfaces for indicating time |
USD1018565S1 (en) * | 2022-05-20 | 2024-03-19 | Robert Allen | Display panel or portion thereof with a graphical user interface |
US20240070941A1 (en) * | 2022-08-31 | 2024-02-29 | Sonaria 3D Music, Inc. | Frequency interval visualization education and entertainment system and method |
KR102668251B1 (ko) | 2023-04-05 | 2024-05-24 | (주)리뉴스 | 3d 홀로그램 오디오북 디바이스를 이용한 컨텐츠 제공 시스템 |
KR102636480B1 (ko) * | 2023-11-28 | 2024-02-13 | 윤주희 | 인공지능 영상생성 시스템 |
CN117428782A (zh) * | 2023-12-04 | 2024-01-23 | 南开大学 | 一种微纳目标声波操纵方法及声波操纵平台 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050275626A1 (en) * | 2000-06-21 | 2005-12-15 | Color Kinetics Incorporated | Entertainment lighting system |
US20070109291A1 (en) * | 2005-11-11 | 2007-05-17 | Kabushiki Kaisha Toshiba | Portable electronic apparatus and portable music-reproducing apparatus |
JP2008209641A (ja) * | 2007-02-26 | 2008-09-11 | Sony Computer Entertainment Inc | オーディオ再生装置、情報処理装置およびオーディオ再生方法 |
US20090067605A1 (en) * | 2006-02-21 | 2009-03-12 | Holm Jukka A | Video Sequence for a Musical Alert |
CN101489195A (zh) * | 2008-01-14 | 2009-07-22 | Lg电子株式会社 | 能够提供天气信息的移动终端及控制该终端的方法 |
CN101496389A (zh) * | 2006-07-31 | 2009-07-29 | 索尼爱立信移动通讯有限公司 | 配合音乐来调节移动无线终端的可视用户界面的方法及相应的移动无线终端 |
CN101853668A (zh) * | 2010-03-29 | 2010-10-06 | 北京中星微电子有限公司 | 一种将midi音乐生成动画的方法和*** |
CN101916569A (zh) * | 2010-08-03 | 2010-12-15 | 北京中星微电子有限公司 | 一种显示声音的方法和装置 |
US20110015765A1 (en) * | 2009-07-15 | 2011-01-20 | Apple Inc. | Controlling an audio and visual experience based on an environment |
US20110096073A1 (en) * | 2009-10-23 | 2011-04-28 | Sony Corporation, A Japanese Corporation | Music-visualizer system and methods |
CN102483944A (zh) * | 2009-09-21 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于处理音频数据的方法和设备 |
US8306969B2 (en) * | 2008-09-23 | 2012-11-06 | Microsoft Corporation | Linking search queries to rich media themes |
KR20120129337A (ko) * | 2011-05-19 | 2012-11-28 | 인하대학교 산학협력단 | 오디오 신호의 시각화 장치 |
US20130151249A1 (en) * | 2011-12-12 | 2013-06-13 | Honda Motor Co., Ltd. | Information presentation device, information presentation method, information presentation program, and information transmission system |
CN103489464A (zh) * | 2012-06-13 | 2014-01-01 | 索尼公司 | 效果控制装置、效果控制方法和程序 |
US20140129235A1 (en) * | 2011-06-17 | 2014-05-08 | Nokia Corporation | Audio tracker apparatus |
CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001099475A1 (en) * | 2000-06-21 | 2001-12-27 | Color Kinetics Incorporated | Method and apparatus for controlling a lighting system in response to an audio input |
US7297860B2 (en) | 2004-11-12 | 2007-11-20 | Sony Corporation | System and method for determining genre of audio |
JP2006330624A (ja) | 2005-05-30 | 2006-12-07 | Fujifilm Holdings Corp | 音声可視化装置、音声可視化方法及び音声可視化プログラム |
JP2007004404A (ja) * | 2005-06-22 | 2007-01-11 | Matsushita Electric Ind Co Ltd | コンテンツ再生システム |
KR100852196B1 (ko) | 2007-02-12 | 2008-08-13 | 삼성전자주식회사 | 음악 재생 시스템 및 그 방법 |
JP2010139946A (ja) | 2008-12-15 | 2010-06-24 | Roland Corp | 電子楽器 |
KR20100114247A (ko) | 2009-04-15 | 2010-10-25 | 엘지전자 주식회사 | 이동 단말기 및 그 디스플레이 방법 |
KR20120051343A (ko) | 2010-11-12 | 2012-05-22 | 한국전자통신연구원 | 음악 시각화 방법을 이용한 음악 재생 시스템 및 방법 |
US20130083060A1 (en) * | 2011-09-29 | 2013-04-04 | Richard James Lawson | Layers of a User Interface based on Contextual Information |
JP6294238B2 (ja) * | 2012-02-10 | 2018-03-14 | エルジー エレクトロニクス インコーポレイティド | 映像表示装置及びその動作方法 |
KR20150055262A (ko) | 2013-11-13 | 2015-05-21 | 서원영 | 모바일기기를 이용한 소리의 시각화 표시방법 |
TWI486904B (zh) * | 2013-12-04 | 2015-06-01 | Inst Information Industry | 律動影像化方法、系統以及電腦可讀取記錄媒體 |
KR101520572B1 (ko) | 2014-01-09 | 2015-05-18 | 중앙대학교 산학협력단 | 음악에 대한 복합 의미 인식 방법 및 그 장치 |
KR102226817B1 (ko) * | 2014-10-01 | 2021-03-11 | 삼성전자주식회사 | 콘텐츠 재생 방법 및 그 방법을 처리하는 전자 장치 |
US10289654B2 (en) * | 2016-03-31 | 2019-05-14 | Google Llc | Smart variable expressive text or graphics for electronic communications |
-
2015
- 2015-10-07 KR KR1020150140874A patent/KR102358025B1/ko active IP Right Grant
-
2016
- 2016-09-28 CN CN202210954026.4A patent/CN115312086A/zh active Pending
- 2016-09-28 CN CN202011326972.1A patent/CN112434181A/zh active Pending
- 2016-09-28 CN CN201610861773.8A patent/CN106571149B/zh active Active
- 2016-10-05 US US15/285,834 patent/US10237669B2/en active Active
- 2016-10-05 EP EP23158643.9A patent/EP4213101A1/en active Pending
- 2016-10-05 EP EP20176952.8A patent/EP3719791A1/en not_active Ceased
- 2016-10-05 EP EP16192477.4A patent/EP3154051A1/en not_active Ceased
-
2019
- 2019-02-06 US US16/268,556 patent/US10645506B2/en active Active
-
2020
- 2020-04-06 US US16/840,643 patent/US11128970B2/en active Active
-
2021
- 2021-08-25 US US17/411,703 patent/US11812232B2/en active Active
-
2022
- 2022-01-26 KR KR1020220011807A patent/KR102427898B1/ko active IP Right Grant
- 2022-07-27 KR KR1020220093526A patent/KR102575013B1/ko active IP Right Grant
-
2023
- 2023-08-31 KR KR1020230115700A patent/KR20230132744A/ko active Application Filing
- 2023-10-05 US US18/376,929 patent/US20240031753A1/en active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050275626A1 (en) * | 2000-06-21 | 2005-12-15 | Color Kinetics Incorporated | Entertainment lighting system |
US20070109291A1 (en) * | 2005-11-11 | 2007-05-17 | Kabushiki Kaisha Toshiba | Portable electronic apparatus and portable music-reproducing apparatus |
US20090067605A1 (en) * | 2006-02-21 | 2009-03-12 | Holm Jukka A | Video Sequence for a Musical Alert |
CN101496389A (zh) * | 2006-07-31 | 2009-07-29 | 索尼爱立信移动通讯有限公司 | 配合音乐来调节移动无线终端的可视用户界面的方法及相应的移动无线终端 |
JP2008209641A (ja) * | 2007-02-26 | 2008-09-11 | Sony Computer Entertainment Inc | オーディオ再生装置、情報処理装置およびオーディオ再生方法 |
CN101489195A (zh) * | 2008-01-14 | 2009-07-22 | Lg电子株式会社 | 能够提供天气信息的移动终端及控制该终端的方法 |
US8306969B2 (en) * | 2008-09-23 | 2012-11-06 | Microsoft Corporation | Linking search queries to rich media themes |
US20110015765A1 (en) * | 2009-07-15 | 2011-01-20 | Apple Inc. | Controlling an audio and visual experience based on an environment |
CN102483944A (zh) * | 2009-09-21 | 2012-05-30 | 皇家飞利浦电子股份有限公司 | 用于处理音频数据的方法和设备 |
US20110096073A1 (en) * | 2009-10-23 | 2011-04-28 | Sony Corporation, A Japanese Corporation | Music-visualizer system and methods |
CN101853668A (zh) * | 2010-03-29 | 2010-10-06 | 北京中星微电子有限公司 | 一种将midi音乐生成动画的方法和*** |
CN101916569A (zh) * | 2010-08-03 | 2010-12-15 | 北京中星微电子有限公司 | 一种显示声音的方法和装置 |
KR20120129337A (ko) * | 2011-05-19 | 2012-11-28 | 인하대학교 산학협력단 | 오디오 신호의 시각화 장치 |
US20140129235A1 (en) * | 2011-06-17 | 2014-05-08 | Nokia Corporation | Audio tracker apparatus |
US20130151249A1 (en) * | 2011-12-12 | 2013-06-13 | Honda Motor Co., Ltd. | Information presentation device, information presentation method, information presentation program, and information transmission system |
CN103489464A (zh) * | 2012-06-13 | 2014-01-01 | 索尼公司 | 效果控制装置、效果控制方法和程序 |
CN104732983A (zh) * | 2015-03-11 | 2015-06-24 | 浙江大学 | 一种交互式音乐可视化方法和装置 |
Non-Patent Citations (3)
Title |
---|
FLORIAN KLEEDORFER: "Making Large Music Collections Accessible using Enhanced Metadata and Lightweight Visualizations", 《THIRD INTERNATIONAL CONFERENCE ON AUTOMATED PRODUCTION OF CROSS MEDIA CONTENT FOR MULTI-CHANNEL DISTRIBUTION (AXMEDIS"07)》 * |
成蒙: "从音乐到图形 ——音乐信息的可视化研究", 《中国优秀硕士学位论文全文数据库中国优秀硕士学位论文全文数据库哲学与人文科学辑》 * |
陈苗: "背景音乐在广告可视化中的运用", 《青年记者》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107343085A (zh) * | 2017-06-08 | 2017-11-10 | 广东欧珀移动通信有限公司 | 音乐播放方法及相关产品 |
CN107464572A (zh) * | 2017-08-16 | 2017-12-12 | 重庆科技学院 | 多模式交互音乐感知***及其控制方法 |
CN107464572B (zh) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | 多模式交互音乐感知***及其控制方法 |
CN109495767A (zh) * | 2018-11-29 | 2019-03-19 | 百度在线网络技术(北京)有限公司 | 用于输出信息的方法和装置 |
CN112395530A (zh) * | 2019-08-19 | 2021-02-23 | 北京字节跳动网络技术有限公司 | 数据内容的输出方法、装置、电子设备及计算机可读介质 |
CN111488091A (zh) * | 2020-04-16 | 2020-08-04 | 深圳传音控股股份有限公司 | 移动终端的界面显示方法、移动终端及存储介质 |
CN113971013A (zh) * | 2021-10-25 | 2022-01-25 | 北京字节跳动网络技术有限公司 | 音乐的音效播放方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
KR102575013B1 (ko) | 2023-09-06 |
US10237669B2 (en) | 2019-03-19 |
CN112434181A (zh) | 2021-03-02 |
US20240031753A1 (en) | 2024-01-25 |
EP3154051A1 (en) | 2017-04-12 |
US20210385599A1 (en) | 2021-12-09 |
KR102358025B1 (ko) | 2022-02-04 |
US11812232B2 (en) | 2023-11-07 |
US20190174242A1 (en) | 2019-06-06 |
US20170105081A1 (en) | 2017-04-13 |
KR102427898B1 (ko) | 2022-08-02 |
US11128970B2 (en) | 2021-09-21 |
CN106571149B (zh) | 2022-08-30 |
KR20230132744A (ko) | 2023-09-18 |
EP4213101A1 (en) | 2023-07-19 |
KR20220018996A (ko) | 2022-02-15 |
EP3719791A1 (en) | 2020-10-07 |
KR20220113647A (ko) | 2022-08-16 |
KR20170041447A (ko) | 2017-04-17 |
US20200236484A1 (en) | 2020-07-23 |
CN115312086A (zh) | 2022-11-08 |
US10645506B2 (en) | 2020-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106571149A (zh) | 电子装置及电子装置的音乐内容可视化方法 | |
CN105159639B (zh) | 音频封面显示方法及装置 | |
CN107113226A (zh) | 用于识别周边设备的电子装置及其方法 | |
JP5780259B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2017030013A1 (ja) | 制御装置、制御方法及び制御システム | |
US11232306B2 (en) | Display apparatus and control method thereof | |
CN104320735A (zh) | 内置投影模块及投影幕布的音箱 | |
CN108476258A (zh) | 用于电子设备控制对象的方法以及电子设备 | |
CN105721904B (zh) | 显示装置和控制显示装置的内容输出的方法 | |
WO2022115743A1 (en) | Real world beacons indicating virtual locations | |
US20220390910A1 (en) | Systems and methods for pairing smart devices based on user interactions | |
WO2020234939A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN107102726A (zh) | 一种基于ar的学前教育*** | |
KR20210049582A (ko) | 전자 장치 및 그 제어 방법 | |
US11537210B2 (en) | Gesture-controlled electronic apparatus and operating method thereof | |
WO2024077437A1 (zh) | 壁纸的显示方法、装置、设备、存储介质及程序产品 | |
CN118295620A (zh) | 一种显示设备、服务器及数字人交互方法 | |
CN117062283A (zh) | 一种氛围灯智能控制***及方法 | |
KR20210147840A (ko) | 제스쳐 기반 제어 전자 장치 및 그 동작 방법 | |
JP2024527474A (ja) | インタラクション方法、装置、媒体および電子機器 | |
CN114489310A (zh) | 虚拟现实设备以及手柄定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |