CN101211643A - 音乐编辑装置、方法及程序 - Google Patents
音乐编辑装置、方法及程序 Download PDFInfo
- Publication number
- CN101211643A CN101211643A CNA2007103070947A CN200710307094A CN101211643A CN 101211643 A CN101211643 A CN 101211643A CN A2007103070947 A CNA2007103070947 A CN A2007103070947A CN 200710307094 A CN200710307094 A CN 200710307094A CN 101211643 A CN101211643 A CN 101211643A
- Authority
- CN
- China
- Prior art keywords
- melody
- sound
- audio mixing
- sound material
- beat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008929 regeneration Effects 0.000 claims abstract description 161
- 238000011069 regeneration method Methods 0.000 claims abstract description 161
- 230000033764 rhythmic process Effects 0.000 claims abstract description 79
- 238000002156 mixing Methods 0.000 claims description 323
- 239000000463 material Substances 0.000 claims description 230
- 230000014509 gene expression Effects 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000001172 regenerating effect Effects 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003860 storage Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 36
- 238000005070 sampling Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 19
- 230000005055 memory storage Effects 0.000 description 12
- 238000006467 substitution reaction Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000009467 reduction Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000035807 sensation Effects 0.000 description 5
- 235000019615 sensations Nutrition 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 208000012195 Reunion island Larsen syndrome Diseases 0.000 description 4
- 101150071434 BAR1 gene Proteins 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 241001342895 Chorus Species 0.000 description 2
- 241001269238 Data Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100026979 Exocyst complex component 4 Human genes 0.000 description 1
- 102100022357 GATOR complex protein NPRL3 Human genes 0.000 description 1
- 101000911699 Homo sapiens Exocyst complex component 4 Proteins 0.000 description 1
- 101000692872 Homo sapiens Regulator of microtubule dynamics protein 1 Proteins 0.000 description 1
- 101000667643 Homo sapiens Required for meiotic nuclear division protein 1 homolog Proteins 0.000 description 1
- 241000283986 Lepus Species 0.000 description 1
- 101150066297 NPR3 gene Proteins 0.000 description 1
- 102100026432 Regulator of microtubule dynamics protein 1 Human genes 0.000 description 1
- 101000882406 Staphylococcus aureus Enterotoxin type C-1 Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 201000002636 rippling muscle disease 1 Diseases 0.000 description 1
- 101150050201 sec11 gene Proteins 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
- G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/081—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for automatic key or tonality recognition, e.g. using musical rules or a knowledge base
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/101—Music Composition or musical creation; Tools or processes therefor
- G10H2210/125—Medley, i.e. linking parts of different musical pieces in one single piece, e.g. sound collage, DJ mix
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/375—Tempo or beat alterations; Music timing control
- G10H2210/391—Automatic tempo adjustment, correction or control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本发明提供了音乐编辑装置、音乐编辑方法及音乐编辑程序,其中,音乐编辑装置用于以组合形式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,包括再生模式控制部、再生速度控制部、和音调控制部。通过本发明,可相互调整声音素材的节奏和基调。此外,可将多个声音素材容易组合以制作高完整性的乐曲。
Description
相关申请的交叉参考
本发明包含于2006年12月28日向日本专利局提交的日本专利申请JP 2006-354334所涉及的主题,其全部内容结合于此作为参考。
技术领域
本发明涉及音乐编辑装置、方法以及程序,更具体地,涉及将多个声音素材以组合形式混音(remix)再生的音乐编辑装置、方法以及程序。
背景技术
近年来,已经广泛使用音乐数据被存储在诸如闪存或硬盘的存储器中并被再生的存储器型音频装置,并且已经成为用户日常生活的一部分来携带大量的音乐数据。存储器型音频装置允许用户连续不断地再生大量乐曲而不必交换存储介质。因此,用户不仅可以以现有方式以专辑为单位欣赏乐曲,而且还容易地以用户在扰乱顺序的专辑中欣赏存储在存储器中的乐曲的方式以任意顺序欣赏用户想要欣赏的乐曲或者只欣赏注册在播放列表中的喜欢乐曲。
然而,利用现有的存储器型音频装置,用户只能够以乐曲为单位照原样再生各个乐曲,而不能照原样欣赏所给定的音乐内容。
同时,那些欣赏混音乐曲的人近年来在不断增加。这种混音音乐由音乐主持人(DJ)等制作,其中,将由乐曲的部分或整体形成的声音素材与另一个声音素材连接使得声音素材可以作为单独连续的乐曲来被再生和欣赏。最近,随着混音音乐需求的增加,已经出现只制作混音音乐的唱片公司。此外,近年来,将多个声音素材混合来重造通常不同的乐曲的称作混合(mash-up)的方法作为一种混音技术而取得较大的进步。
因此,进来已经开发了允许普通用户使用个人计算机等执行乐曲混音的技术。例如,在日本专利公开第2006-84748号中公开了所述类型的再生装置。
发明内容
附图的图1示出了使用个人计算机执行混音工作的过程实例。参照图1,从以预定的采样频率所采样的数字音乐数据11中提取节拍(beat),并截取音乐数据11的期望范围作为声音素材并组合。然后,当操作者利用其耳朵实际确认声音时,执行各个声音素材再生速度的调整(时间伸缩:时间扩展或收缩)以调整声音素材相互之间的节奏(tempo)。此外,执行声音素材的声音音调(pitch)的调整(音调偏移)以调整声音素材相互之间的基调(key),由此再生声音素材。
以这种方式,混音工作要求深厚的音乐知识以及需要非常多的时间和劳动。此外,由于工作难度很高,所以所得到的乐曲常常完整性很低,以致给听者不自然和不熟悉的感觉。
因此,期望提供音乐编辑装置、方法以及程序,通过其可以容易地组合多个声音素材以制作高完整性的乐曲。
根据本发明的一个实施例,提供了一种音乐编辑装置,用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,其包括:再生模式控制部,被配置为基于包括声音素材的组合和与声音素材相关的信息的混音模式数据,来控制声音素材的原始乐曲的音乐数据被再生的位置和时间,使得声音素材以由混音模式数据表示的组合再生;再生速度控制部,被配置为基于由混音模式数据表示的声音素材的原始乐曲中的节奏即原始节奏的值来控制声音素材的再生速度,使得将声音素材的节奏调整为预定的主节奏;以及音调控制部,被配置为基于由混音模式数据表示的声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及再生速度的控制量来控制声音素材的声音音调,使得将声音素材的基调调整为主基调。
可将音乐编辑装置配置为:每个乐曲的元数据都包括表示相应音乐数据中乐曲的小节(bar)的位置的节拍信息,而混音模式数据包括表示混音再生时声音素材的小节和节拍设置在时间轴上的位置的信息,并且再生模式控制部基于节拍信息和混音模式数据控制音乐数据将被再生的位置和时间,使得包括时间轴上每个声音素材的开始点的小节的开头和包括音乐数据中的声音素材的开始点的小节的开头彼此同步。
在这种情况下,可将音乐编辑装置配置为:节拍信息包括表示音乐数据中乐曲的节拍位置的信息,并且再生模式控制部基于节拍信息和混音模式数据,从包括时间轴上声音素材的开始点的小节开头到声音素材开始点处的节拍减弱音乐数据的再生声音的音量。
可将音乐编辑装置配置为:每个乐曲的元数据都包括表示乐曲的和弦进行(progression)和相应音乐数据中和弦的位置的和弦信息,该音乐编辑装置还包括相似度计算部,被配置为基于和弦信息计算两个声音素材之间的和弦进行之间的相似度。
在这种情况下,音乐编辑装置还可以包括搜索部,被配置为基于相似度搜索适合以与声音素材中的指定一个的重叠关系再生的任何一个声音素材或者搜索适合以与声音素材的指定一个的连接关系再生的任何一个声音素材。
或者,可基于和弦的根音相对于声音素材的音阶的主音的相对位置来表示由和弦信息表示的每个和弦。
或者,元数据还可以包括表示音乐数据中乐曲的节拍位置的节拍信息,以及相似度计算部可基于定义不同和弦之间的相似度的相似度矩阵以节拍为单位将两个声音素材的和弦相互比较,从而计算相似度。在这种情况下,可将相似度矩阵配置为:在两个和弦彼此一致或者彼此具有替代和弦的关系的情况下,和弦之间的相似度被设定得高于两个和弦彼此不一致或者彼此不具有替代和弦的关系情况下的相似度。
或者,可将音乐编解装置配置为:在两个声音素材都是大调或者小调的情况下,相似度计算部基于和弦的根音相对于声音素材的音阶主音的相对位置计算相似度,但是在两个声音素材中的一个是大调而另一个声音素材是小调的情况下,相似度计算部基于和弦实际声音的音调计算相似度。
根据本发明的另一个实施例,提供了一种音乐编辑方法,用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,以及用于使计算机执行用于以组合方式混音再生多个声音素材的音乐编辑处理的程序,每个声音素材都由乐曲的一部分或整体形成,包括以下步骤:基于包括声音素材的组合和与声音素材相关的信息的混音模式数据来控制声音素材的原始乐曲的音乐数据被再生的位置和时间,使得声音素材以由混音模式数据表示的组合进行再生;基于由混音模式数据表示的声音素材的原始乐曲中的节奏即原始节奏的值来控制声音素材的再生速度,使得将声音素材的节奏调整为预定的主节奏;以及基于由混音模式数据表示的声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及再生速度的控制量来控制声音素材的声音音调,使得将声音素材的基调调整为主基调。
在音乐编辑装置、方法以及程序中,基于包括声音素材的组合和与声音素材相关的信息的混音模式数据,控制声音素材的原始乐曲的音乐数据被再生的位置和时间,使得声音素材以由混音模式数据表示的组合再生。然后,基于由混音模式数据表示的声音素材的原始乐曲中的节奏即原始节奏的值来控制声音素材的再生速度,使得将声音素材的节奏调整为预定的主节奏。此外,基于由混音模式数据表示的声音素材原始乐曲中的基调即原始基调与预定的主基调之间的差别以及再生速度的控制量来控制声音素材的声音音调,使得将声音素材的基调调整为主基调。
通过音乐编辑装置、方法以及程序,可相互调整声音素材的节奏和基调。此外,可将多个声音素材容易组合以制作高完整性的乐曲。
通过以下结合附图的描述和所附权利要求,本发明的上述和其它特征以及优点将变得显而易见,其中,由相似参考标号表示相似部分或元件。
附图说明
图1是示出现有混音工作的过程实例的示图;
图2是示出应用本发明的音乐编辑***的框图;
图3是示出混音线的实例的示意图;
图4是示出时间伸缩的波形图;
图5是示出音调偏移的示图;
图6是示出图2所示同步再生装置的结构细节的框图;
图7是示出音乐编辑***的功能结构的框图;
图8是示出节拍信息、和弦信息和旋律信息的波形图;
图9是示出相对基调和绝对基调的示图;
图10是示出元数据的数据结构实例的示图;
图11是示出元数据的具体实例的示图;
图12是示出节拍信息的显示实例的示图;
图13是示出了和弦(chord)信息的显示实例的示图;
图14是示出了旋律信息的显示实例的示图;
图15是示出混音模式数据的数据结构实例的示图;
图16是示出混音编辑处理的流程图;
图17是示出编辑画面图像的实例的示意图;
图18是图17所示编辑画面图像的显示部分的混音区域中的声道的放大图;
图19是图17所示音乐扩展图的放大图;
图20是选择旋律块的音乐扩展图的示图;
图21是选择和弦的音乐扩展图的示图;
图22是示出旋律块的强调显示的示意图;
图23是示出和弦的强调显示的示意图;
图24是示出混音编辑工作的示意图;
图25是示出改变包括在声音块中的范围的操作的示意图;
图26是示出执行重叠声音素材搜索的操作的示意图;
图27是示出执行连接声音素材搜索的操作的示意图;
图28是示出声音素材搜索处理的流程图;
图29是示出得分计算处理的流程图;
图30是示出用于大调的相似度矩阵实例的示图;
图31是示出用于小调的相似度矩阵实例的示图;
图32是示出音阶不同的相似度矩阵实例的示图;
图33是示出搜索对象区间的移动的示图;
图34是示出声音素材搜索的搜索结果的显示图像实例的示意图;
图35是示出声音素材搜索的搜索结果的显示图像的另一个实例的示意图;
图36是示出混音模式作品实例的示意图;
图37是示出混音再生处理的流程图;
图38、图39和图40是示出混音再生控制处理的流程图;
图41是示出声道再生处理的流程图;
图42是示出声音块将被再生的时间周期的示意图;以及
图43是示出个人计算机的结构实例的框图。
具体实施方式
在详细描述本发明的优选实施例之前,描述在附图中引用的几个特征和在下文描述的优选实施例的具体元件之间的对应关系。但是,该描述只是为了确认支持如权利要求中所引用的本发明的具体元件在本发明实施例的描述中被公开。因此,即使在实施例描述中引用的一些具体元件在以下描述中没有被描述为特征之一,也不表示该具体元件不与该特征相对应。相反,即使一些具体元件被描述为与特征之一相对应的元件,也不表示该元件不与除该元件之外的任何其他特征相对应。
根据本发明的实施例,提供了一种音乐编辑装置(例如,图2的音乐编辑***101),用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,该音乐编辑装置包括:再生模式控制部(例如,图7的再生模式控制部263),被配置为基于包括声音素材的组合和与声音素材相关的信息的混音数据模式,控制声音素材的原始乐曲的音乐数据再生的位置和时间,使得声音素材以由混音模式数据表示的组合再生;再生速度控制部(例如,图7的再生速度控制部261),被配置为基于由混音模式数据表示的声音素材的原始乐曲中的节奏即原始节奏的值,控制声音素材的再生速度,使得将声音素材的节奏调整为预定的主节奏;以及音调控制部(例如,图7的音调控制部262),被配置为基于由混音模式数据表示的声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别和再生速度的控制量,控制声音素材的声音音调,使得将声音素材的基调调整为主基调。
可将音乐编辑装置(例如,图2的音乐编辑***101)配置为:每个乐曲的元数据都包括表示乐曲的和弦进行和相应音乐数据中和弦的位置的和弦信息,并且还可以包括相似度计算部(例如,图7的相似度计算部241),被配置为基于和弦信息计算两个声音素材中之间的和弦进行之间的相似度。
音乐编辑装置(例如,图2的音乐编辑***101)还可以包括搜索部(例如,图7的得分计算部242),被配置为基于相似度搜索适合以与声音素材中的指定一个的重叠关系再生的声音素材的任何一个或者搜索适合以与声音素材的指定一个的连接关系再生的声音素材的任何一个。
根据本发明的另一个实施例,提供了一种音乐编辑方法,用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,以及用于使计算机执行用于以组合形式混音再生多个声音素材的音乐编辑处理的程序,每个声音素材都由乐曲的一部分或整体形成,包括步骤:基于包括声音素材的组合和与声音素材相关的信息的混音模式数据,控制声音素材的原始乐曲的音乐数据被再生的位置和时间,使得声音素材以由混音模式数据表示的组合再生(例如,图37的步骤S132至S134以及S137至S142,图39的步骤S145和S151以及图40的步骤S155至S162);基于由混音模式数据表示的声音素材的原始乐曲中的节奏即原始节奏的值来控制声音素材的再生速度,使得将声音素材的节奏调整为预定的主节奏(例如,图38的步骤S135和图39的步骤S143);以及基于由混音模式数据表示的声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及再生速度的控制量来控制声音素材的声音音调,使得将声音素材的基调调整为主基调(例如,图38的步骤S136和图39的步骤S144)。
接下来,将参照附图描述本发明的优选实施例。
图2示出了应用本发明的音乐编辑***101。
参照图2,音乐编辑***101被形成为执行混音编辑和混音再生的装置,其中,混音编辑将多个声音素材组合以生成用于制作一首乐曲(下文中称作混音乐曲)的模式(下文中称作混音模式)以及混音再生基于混音模式以组合方式再生声音素材。
通过将声音素材设定在由多个声道形成的混音线的声道上来执行混音编辑,以及通过沿着相同的时间轴同时再生声道并合成声道的声音来执行混音再生。图3示出了由声道1至声道j的j个声道形成的混音线的实例。参照图3,横坐标轴表示时间轴,即,混音再生时的时间轴,并且以在图3中从左开始的顺序再生设定在相同声道上的声音素材,而同时再生不同声道上、时间轴方向上的相同位置处设置的多个声音素材。
上述混音模式表示设置在混音线上的声音素材的模式,即,时间轴方向和声道方向上的声音素材的组合,或者换句话说,表示声音素材被重叠和/或连接的模式。此外,换句话说,混音模式表示声音素材再生中的顺序和定时。
注意,设定在混音线的每个声道上的声音素材在下文中还具体被称作声音块。在图3中,块BLK1-1至BLKj-kj对应于声音块。
此外,在下面的描述中,不仅完整的乐曲,而且用作声音素材的、由再生效果声音、短帧等整体或部分形成的素材(例如,循环素材)都被称作乐曲。
当音乐编辑***101执行混音再生时,其执行声音素材的再生速度的调整,即,时间伸缩,使得将从彼此具有不同节奏的乐曲A至C中提取的声音素材的节奏调整为在混音线的时间轴上的节奏(最后提到的节奏在下文中称作主节奏)。然而,即使利用调整其节奏的再生声音素材,根据声音素材的和弦进行的组合,也可能产生不和谐以及有时可能听起来不舒服。因此,如图5所示,除时间伸缩之外,音乐编辑***101还执行声音的音调调整,即,音调偏移,使得具有不同基调的多个声音素材的基调被调整为用户等设定的基调(最后提到的基调在下文中称作主基调)。
以这种方式,音乐编辑***101制作混音乐曲,使得多个声音素材的节拍和基调被调整,从而可使混音乐曲听上去感觉很自然,而不会产生不熟悉的感觉,就好像它们最初就是一首乐曲一样。
返回参照图2,音乐编辑***101包括中央处理单元(CPU)111、同步再生装置112、用户操作界面(I/F)装置113、用户界面(U/I)显示装置114、ROM(只读存储器)115、RAM(随机存取存储器)116、存储装置117和网络通信装置118。CPU 111、同步再生装置112、用户操作界面装置113、用户界面显示装置114、ROM115、RAM 116、存储装置117和网络通信装置118通过总线119彼此连接。
基于通过用户操作界面装置113输入其中的用户指令等,CPU111执行预定程序以控制音乐编辑***101各个部分的处理。
在CPU 111的控制下,同步再生装置112执行存储在音乐存储装置141中的音乐数据的再生处理。同步再生装置112包括同步再生控制装置131、声音混合设备132、数/模转换装置(D/A)133和声音输出装置134。
在CPU 111的控制下,同步再生控制装置131并行再生与混音线的声道相对应的、存储在音乐存储装置141中的音乐数据,并将不同***(声道)的多个声音信号提供给声音混合设备132。此外,同步再生控制装置131将表示混音线的时间轴上的音乐数据的再生位置的信息提供给CPU 111。
在CPU 111的控制下,声音混合设备132合成来自同步再生控制装置131的不同***的多个声音信号,并将得到的声音信号提供给数/模转换装置133。
数/模转换装置133将由声音混合设备132提供给其的数字声音信号转换为模拟声音信号,并将模拟声音信号提供给声音输出装置134。
声音输出装置134放大来自数/模转换装置133的模拟声音信号,并将模拟声音信息输出给诸如扬声器或耳机的输出装置。
用户操作界面装置113由例如按键、按钮、鼠标、键盘等构成,并接收来自用户的处理指令,以及将表示指令的信息提供给音乐编辑***101的相关部件。
例如,用户界面显示装置114由诸如LCD(液晶显示器)单元和LED(发光二极管)的显示装置构成。在CPU 111的控制下,用户界面显示装置114显示音乐编辑***101的操作画面图像、处理情况等,例如混音编辑时的编辑画面图像或混音再生时的再生画面图像。
ROM 115已经在其中存储了将由CPU 111执行的各种控制程序和各种数据。
RAM 116被用作CPU 111等的工作区。
存储单元117包括音乐存储装置141、音乐元数据存储装置142和混音模式存储装置143。
例如,音乐存储装置141由诸如闪存或硬盘的存储装置或记录装置构成,并存储各种乐曲的音乐数据。例如,音乐数据是利用预定的采样频率所采样的PCM(脉冲编码调制)类型的数字声音数据并以按照情况需要根据预定方法压缩的形式存储。
例如,音乐元数据存储装置142由诸如闪存或硬盘的存储装置或记录装置构成,并存储乐曲的元数据。注意,将参照图8至图14在下文中描述元数据的详细内容。
注意,例如,使用唯一指定每首乐曲的乐曲ID或类似信息,对应于相同乐曲的音乐数据和元数据彼此相关联。或者,在音乐数据是例如MP3(音频动态压缩第三层)格式的情况下,附加(fringe)数据(元数据)可作为ID3标签存储在相同的文件中。
例如,混音模式存储装置143由诸如闪存或硬盘的存储装置构成并存储混音模式文件,其中记录了包括混音线上声音素材的组合和关于每个声音素材的信息的混音模式数据。注意,将参照图15在下文中描述混音模式数据的细节。
注意,音乐存储装置141、音乐元数据存储装置142和混音模式存储装置143可分别由彼此不同的存储装置构成或者可由涉及三个存储装置的两个或一个存储装置构成。
网络通信装置118通过诸如互联网102的网络与不同的装置进行通信,以传送和接收各种数据。例如,网络通信装置118可从连接至互联网102的服务器或另一个用户的***下载音乐数据、这种音乐数据的元数据以及混音模式文件,并可将使用音乐编辑***101由用户制作的混音模式文件传送给连接至互联网102的不同服务器或***。
图6示出了同步再生装置112的同步再生控制装置131和声音混合设备132的详细结构。
同步再生控制装置131包括主节拍产生装置161、解码器162-1至162-j、以及时间伸缩/音调偏移装置163-1至163-j。同时,声音混合设备132包括效果处理部171-1至171-j、音量调整装置172-1至172-j、以及声音混合装置173。
解码器162-1至162-j、时间伸缩/音调偏移装置163-1至163-j、效果处理部171-1至171-j以及音量调整装置172-1至172-j以一一对应的关系协作,以形成对声道中的对应一个执行处理的组。例如,解码器162-1、时间伸缩/音调偏移装置163-1、效果处理部171-1以及音量调整装置172-1协作形成执行与一个声道相对应的处理的组。因此,配置图6的同步再生装置112以同时再生j***(声道)的音乐数据(声音素材)并合成再生的音乐数据。
注意,在下文所给出的描述中,在不必将解码器162-1至162-j彼此区别的情况下,它们中的每一个都只被称作解码器162。类似地,在不必将时间伸缩/音调偏移装置163-1至163-j彼此区别的情况下,它们中的每一个都只被称作时间伸缩/音调偏移装置163。此外,在不必将效果处理部171-1至171-j彼此区别的情况下,它们中的每一个都只被称作效果处理部171。此外,在不必将音量调整装置172-1至172-j彼此区别的情况下,它们中的每一个都只被称作音量调整装置172。
主节拍产生装置161基于由用户等设定的主节奏产生作为时钟信号的主节拍,并将产生的主节拍提供给同步再生装置112的相应部件。主节拍产生装置161基于由用户等设定的混音线的节拍产生小节信号并将产生的小节信号提供给同步再生装置112的相应部件,其中,小节信号是被调整为混音线的小节开头的定时的时钟信号。例如,在混音线的节奏被设定为简单的四节拍的情况下,每当以四个时钟(四个节拍)输出主节拍时,主节拍产生装置161就输出一个小节信号。此外,主节拍产生装置161提供表示当前混音线再生于哪一节拍哪一小节的信息。
形成一个组的解码器162和时间伸缩/音调偏移装置163形成声音信号产生部,其在CPU 111的控制下利用乐曲的元数据,根据由主节拍表示的混音线上的时间轴上的小节和节拍的位置以及小节信号,执行存储在音乐存储装置141中的音乐数据的再生。
在CPU 111的控制下,利用乐曲的元数据,解码器162-1至162-j各自从音乐存储装置141中获取音乐数据并解码音乐数据,该音乐数据是根据诸如MP3(音频动态压缩第三层)方法或者ATRAC(声学自适应转换编码)的预定方法所压缩的格式。然后,解码器162-1至162-j将解码的音乐数据作为PCM***的声音信号分别提供给时间伸缩/音调偏移装置163-1至163-j。
在CPU 111的控制下,时间伸缩/音调偏移装置163-1至163-j各自对分别来自解码器162-1至162-j的声音信号执行时间伸缩和音调偏移处理,以改变声音信号的再生速度和声音音调。然后,时间伸缩/音调偏移装置163-1至163-j将得到的声音信号分别提供给效果处理部171-1至171-j。
在CPU 111的控制下,效果处理部171-1至171-j各自对分别来自时间伸缩/音调偏移装置163-1至163-j的声音信号执行如低通滤波器、高通滤波器、带通滤波器、歌声消除、混响、延迟、失真和最大化处理这样的效果处理。然后,效果处理部171-1至171-j将得到的声音信号分别提供给音量调整装置172-1至172-j。
在CPU 111的控制下,音量调整装置172-1至172-j各自调整分别来自效果处理部171-1至171-j的声音信号的音量,并将得到的声音信号提供给声音混合装置173。
声音混合装置173合成来自音量调整装置172-1至172-j的声音信号,并将合成的声音信号提供给数/模转换装置133。
注意,同步再生装置112的一些或全部功能可以由软件执行。
图7示出了音乐编辑***101的功能结构的实例。参照图7,在从功能观点来看音乐编辑***101的情况下,音乐编辑***101包括用户界面处理部211、混音处理部212和同步再生部213。音乐编辑***101还包括操作部214、显示部215、网络通信部216、乐曲元数据存储部217、混音模式存储部218和乐曲存储部219。
用户界面处理部211通过CPU 111执行的预定控制程序来实现,并且执行关于音乐编辑***101的用户界面的处理。用户界面处理部211包括声音素材搜索部231和显示控制部232。
如下文中参照图28和图29等所描述的,声音素材搜索部231搜索适合以与指定声音素材重叠关系再生的声音素材或者适合以与指定声音素材连接关系再生的声音素材。声音素材搜索部231包括相似度计算部241和得分计算部242。
如下文中参照图28和图29等所描述的,相似度计算部241基于乐曲的元数据计算两个声音素材之间的和弦进行中的相似度。然后,相似度计算部241将表示所计算相似度的信息提供给得分计算部242。
如下文中参照图28和图29等所描述的,得分计算部242基于由相似度计算部241计算的相似度搜索适合以与指定声音素材重叠关系再生的声音素材或者适合以与指定声音素材连接关系再生的声音素材。然后,得分计算部242计算表示关于搜索到的声音素材的一致性程度的得分。得分计算部242将表示搜索到的声音素材的信息和计算的得分存储在乐曲元数据存储部217中。
混音处理部212通过由CPU 111执行的预定控制程序来实现,并且执行关于混音编辑和混音再生的处理。混音处理部212包括混音模式读取部251、混音模式产生部252和混音再生控制部253。
混音模式读取部251从混音模式存储部218读取混音模式文件,使读取的混音模式数据成形以具有预定格式,并将预定格式的混音模式数据提供给RAM 116。
如下文中参照图16等所描述的,混音模式产生部252根据由用户执行混音编辑所产生的混音模式和各个乐曲的元数据产生混音模式数据。混音模式产生部252将产生的混音模式数据存储在混音模式存储部218中。
混音再生控制部253基于乐曲的元数据和混音模式数据实时地控制同步再生部213,使得基于由混音模式数据表示的混音模式执行混音再生。混音再生控制部253包括再生速度控制部261、音调控制部262、再生模式控制部263和声道产生部264。
如下文中参照图38至图40等所描述的,再生速度控制部261基于混音模式数据控制来自声音信号产生部282-1至282-j的声音素材的再生速度,使得基于原始节奏将声音素材的速度调整为主节奏,其中,原始节奏是提取声音素材的原始乐曲的节奏。
如下文中参照图38至图40等所描述的,音调控制部262基于混音模式数据控制来自声音信号产生部282-1至282-j的声音素材的再生声音的音调,使得基于声音素材的原始乐曲的原基调和主基调之间的差别以及再生速度控制部261的再生速度的控制量将音乐声音的基调调整为主基调。
再生模式控制部263将音乐数据和元数据提供给声音信号产生部282-1至282-j,并基于乐曲的元数据和混音模式数据控制来自声音信号产生部282-1至282-j的声音素材的原始乐曲的音乐数据的再生定时的再生位置,使得根据由混音模式数据表示的混音模式再生声音素材。
声道产生部264产生与混音再生中使用的声道数相同的多个声音信号产生部282。更具体地,声道产生部264开始例如与混音再生中使用的声道数相同的多个解码器162和时间伸缩/音调偏移装置163的处理。
同步再生部213由图2所示的同步再生装置112来实现,并包括同步再生控制部271、声音混合部272和声音输出部273。同步再生控制部271由图2所示的同步再生控制装置131来实现,并包括主节拍产生部281和声音信号产生部282-1至282-j。主节拍产生部281由图6所示的主节拍产生装置161来实现,而声音信号产生部282-1至282-j分别由图6所示的解码器162-1至162-j和时间伸缩/音调偏移装置163-1至163-j来实现。声音混合部272由图2所示的声音混合设备132来实现,并包括效果处理部291和声音混合单元292。效果处理部291由图6所示的效果处理装置171-1至171-j和音量调整装置172-1至172-j来实现,而声音混合单元292由图6所示的声音混合装置173来实现。声音输出部273由图2所示的数/模转换装置133和声音输出装置134来实现。
操作部214、显示部215、网络通信部216、乐曲元数据存储部217、混音模式存储部218和乐曲存储部219分别由图2所示的用户操作界面装置113、用户界面显示装置114、网络通信装置118、音乐元数据存储装置142、混音模式存储装置143和音乐存储装置141来实现。
注意,当描述音乐编辑***101的处理时,将参照图7的框图来给出描述。
现在,将参照图8至图14描述元数据的细节。元数据是表示乐曲特性、音乐数据和乐曲结构之间的对应关系等的数据,并包括节拍信息、和弦信息和旋律信息。这里,将参照图8描述节拍信息、和弦信息和旋律信息。注意,图8中下部的波形图表示音乐数据的波形,并且在由所有采样表示的范围内由有效采样表示的范围是乐曲数据被实际记录的范围。
节拍信息表示音乐数据中的小节和节拍的位置。更具体地,节拍信息表示音乐数据中的乐曲的每个小节开头处的节拍(这种节拍在下文中也称作小节开头)和每个小节的中间节拍等的采样位置等。在图8中,由文字“节拍信息”左侧所示的垂直长线来表示音乐数据中每个小节开头的位置,而由垂直短线来表示除小节开头节拍之外的每一个节拍的位置。注意,图8示出了简单的四拍乐曲的节拍信息的实例,并且每四位出现一个小节开头。
通过节拍信息,音乐数据中的小节开头和每个节拍的位置可以以采样单位指定,并且音乐数据的任意区间都可以以小节或节拍单位来指定。此外,根据下面的表达式(1),可以利用节拍信息以确定平均BPM(节拍每分钟),其是音乐数据的任意区间内的平均节奏:
平均BPM=Bn×Fs÷Sn×60 ...(1)
其中,Bn表示区间内的节拍号,Fs表示音乐数据的采样率,以及Sn表示区间内的采样号。
和弦信息表示乐曲的和弦进行,并且还表示音乐数据中每个和弦的位置。更具体地,如图8所示,和弦信息表示在乐曲中出现的每个和弦的类型、乐曲中每个和弦的采样位置等。通过和弦信息,乐曲中和弦的位置可以以采样单位来指定,并且音乐数据的任意区间可以以和弦为单位来指定。此外,基于和弦信息和节拍信息,乐曲中和弦的位置可以以节拍为单位来指定。
注意,由和弦信息表示的和弦类型不是由和弦名称来表示,而是由和弦的根音相对于乐曲音阶的主音的相对位置来表示。更具体地,每个和弦都由和弦名称来表示,其中,例如,基于音阶的主音以及和弦根音之间的相对位置的音调等级,其根音的音调名称的部分被重写入诸如I、I#(或IIb)、II、II#(或IIIb)、III、III#(或IVb)、IV、IV#(或Vb)、V、V#(或VIb)、VI、VI#(或VIIb)、VII或VII#(或Ib)(以及根据情况需要的#或b)的数值。
例如,在和弦类型由其和弦名称表示的情况下,在调整基调时,难以分辨在图9上侧主音为C的C大调的基调中C、F、G和Am的和弦进行与在图9下侧主音为E的E大调的基调中E、A、B和C#m的和弦进行是否彼此相似。
另一方面,如果基于音阶的主音与和弦根音之间的相对位置来表示和弦类型,则两个和弦进行被表示为相同的I、IV、V和VIm。因此,容易理解的是,如果上侧和弦的音调被提高四个半音以转换到E大调的基调或者下侧的和弦的音调被降低四个半音以转换到C大调的基调,则和弦进行彼此一致。换句话说,彼此具有不同声调的声音素材之间的和弦进行的关系变得明确,并且当改变基调时两个声音素材的和弦进行是否彼此相似也变得明确。因此,在计算机等的处理中,在改变基调的情况下,变得容易确定两个声源之间的和弦进行的相似度。
注意,为了彼此区分由和弦名称表示的和弦和基于和弦根音与音阶主音的相对位置所表示的和弦,前者有时候被称作绝对和弦,而后者有时候称作相对和弦。此外,绝对和弦中的和弦类型的表示被称作绝对表示,而相对和弦中的和弦类型的表示被称作相对表示。此外,在下面的描述中,由表示相对和弦的根音与音阶主音的相对位置的数字表示的值以及根据情况需要添加到该数字的#或b在下文中称作频率。
返回参照图8,旋律信息表示乐曲的旋律扩展,以及表示在音乐数据中构造乐曲的每个旋律的元素的位置(下文中称作旋律块)。更具体地,如图8所示,旋律信息表示出现在乐曲中的每个旋律块的类型(例如序曲(Intro)、A旋律(Verse A)、B旋律(Verse B)、易记部分(Chorus)、间奏(Interlude)、独奏(Solo)或尾声(Outro))、乐曲中每个旋律块的采样位置等。通过旋律信息,音乐数据中每个旋律块的位置可以以采样单位指定,以及音乐数据的任意区间可以以旋律块单位指定。此外,基于旋律信息和节拍信息,乐曲中每个旋律块的位置可以以节拍单位指定。
图10示出了元数据的数据结构的实例,以及图11示出了元数据的具体实例。在图11所示的实例中,元数据包括小节/节拍号、属性和采样位置。
对于小节/节拍号,设定表示乐曲中节拍位置的值。例如,在第n小节的第m节拍的情况下,将n和m的值设定为小节/节拍号。例如,在图11所示的实例中,第一行表示第一小节的第一节拍的数据,以及最低行表示第二小节的第二节拍的数据。注意,n是等于或大于1的整数,并且在简单二拍子的乐曲的情况下,m是从1至k的范围内的整数。
对于属性,设定节拍信息、旋律信息或和弦信息的属性类型以及关于该类型的详细数据。例如,在属性表示和弦信息的情况下,设定表示属性类型是和弦信息的数值以及表示由采样位置表示的位置处的和弦类型的数值。
对于采样位置,设定元数据对应的音乐数据的采样单位的位置。
注意,关于旋律信息,只有每个旋律块的开始位置被注册在元数据中,但是关于和弦信息,只有每个和弦的开始位置被注册。然而,每个节拍的关于旋律块类型和和弦类型的信息可被注册在元数据中。
此外,除上述信息之外,诸如采样频率和量化位数的在时间轴上不改变的信息也作为整个乐曲的信息注册在元数据中。此外,乐曲的基调和音阶的信息也被注册在元数据中。注意,在基调和音阶或韵律(rhythm)在乐曲的中间改变的情况下,发生改变的采样位置、以及基调和音阶或者韵律类型的信息被注册在元数据中。
图12至图14示出了元数据的显示图像的实例。
图12示出了显示节拍信息的显示图像的实例。在图12的实例中,每一个均表示小节头位置的线BH1至BH4和每一个均表示除小节头之外的节拍位置的线BM1至BM12以与音乐数据的波形WV11的重叠关系示出。为了可以将小节头的位置和其它节拍的位置相互区别,线BH1至BH4显示得比线BM1至BM12更长。
图13示出了显示和弦信息的显示图像的实例。在图13的实例中,每一个均表示和弦开始位置的标记CD1至CD8以与音乐数据的波形WV21的重叠关系显示。在每个标记的上侧,表示和弦的相对和弦类型,以及在每个标记的下侧,显示由基调的频率、音阶和相对和弦确定的和弦的绝对和弦的类型。
图14示出了显示旋律信息的显示图像的实例。在图14的实例中,每一个均表示旋律块的开始位置的标记ML1至ML4以与音乐数据的波形WV31的重叠关系显示。在每个标记处,显示表示旋律块类型的文字或标志。标记ML1表示A旋律的开始位置,标记ML2表示B旋律的起始位置,以及标记ML3和ML4的每一个均表示易记部分的开始位置。
现在,参照图15描述混音模式数据的细节。
图15示出了混音模式数据的数据结构的实例。参照图15,示出的混音模式数据包括表示被使用的声道数量的声道数和等于该声道数的多个声道数据。每个声道数据均包括表示包括声道中的声音块的数量的块数,以及等于块数的多个块数据。此外,每个块数据均包括乐曲ID(IDs)、声音块的原始节奏(BPMo)、声音块的韵律(Bt)、声音块的基调和音阶(ks)、音乐数据中声音块的开始/结束采样位置(SPs/SPe)、开始点节拍数(BCs)、结束点节拍号(BCe)、表示开始点紧前的小节开头的采样位置(SPBs)、表示结束点紧后的小节开头的采样位置(SPBe)、混音线上的开始采样位置(RLSs)、混音线上的结束采样位置(RLSe)、混音线上的开始小节号(RLBs)以及混音线上的结束小节号(RLBe)。
IDs表示唯一指定声音块的提取源的乐曲(即,原始乐曲)的ID。
BPMo表示原始乐曲中的声音块内的平均BPM(节拍每分钟)。
Bt表示原始乐曲中声音块中的韵律。例如,将如4/4(四-四拍)或3/4(三-四拍)这样的信息设定为Bt。
Ks表示原始乐曲中的声音块中的基调和音阶。例如,如C大调或A小调这样的信息被设定为ks。这种信息可用于将在声音块中的相对和弦转换为绝对和弦。
SPs表示原始乐曲的音乐数据中的声音块的开始点处的采样位置。SPe表示原始乐曲的音乐数据中的声音块的结束点处的采样位置。
BCs表示原始乐曲中的声音块的开始点处的节拍位置。具体地,BCs表示开始声音块的原始乐曲的小节和节拍。BCs是具有小节和节拍作为构件的结构的变量,并将原始乐曲中的声音块的开始点的小节号设定为BCs.Bar,而将原始乐曲中的声音块的开始点的节拍号设定为BCs.Beat。
BCe表示原始乐曲中的声音块的结束点处的节拍位置。具体地,BCe表示开始下一个声音块的原始乐曲的小节和节拍。因此,从由BCs表示的节拍到由BCe表示的节拍紧前的另一个节拍的范围是原始乐曲中声音块的范围。BCe是具有小节和节拍作为构件的结构的变量,并将原始乐曲中的声音块的结束点紧后的节拍的小节号设定为BCe.Bar,而将原始乐曲中的声音块的结束点紧后的节拍的节拍号设定为BCe.Beat。
SPBs表示音乐数据中的、包括原始乐曲中声音块的开始点的小节开头的采样位置。例如,在BCs.Bar的值被设定为1的情况下,即,在声音块从小节开头开始的情况下,由BCs.Bar和BCs.beat表示的节拍的采样位置被设定为SPBs。另一方面,在BCs.Bar的值被设定为2的情况下,即,在声音块从小节的第二节拍开始的情况下,由BCs.Bar表示的小节的第一节拍的采样位置被设定为SPBs。
SPBe表示音乐数据中的、位于原始乐曲中的声音块的结束点紧后的小节开头的采样位置。换句话说,设定包括声音块的结束点的小节的下一个小节开头的采样位置。
RLSs表示混音线上声音块开始采样的位置。注意,对于RLSs,设定在将混音线上的每个声音块时间伸缩地与主节奏符合之后的采样位置。
RLSe表示混音线上声音块结束采样的位置。注意,对于RLSe,设定在将混音线上的每个声音块时间伸缩地与主节奏符合之后的采样位置。
RLBs表示混音线上声音块开始的小节的小节号。
RLBe表示混音线上声音块结束的小节的小节号。
现在,参照图16至图42描述音乐编辑***101的处理。
首先,参照图16的流程图描述由音乐编辑***101执行的混音编辑处理。注意,例如当用户通过操作部214输入混音编辑处理的开始指令时,开始这种处理。
在步骤S1中,在显示控制部232的控制下,显示部215显示编辑画面。
图17示出了用于执行混音编辑的编辑画面图像的实例。在图17所示窗口401的最上端,除用于执行窗口401的操作的按钮之外,还显示了列表框411至415、按钮416至421以及文字框422和423。
如下文所述,列表框411至415用于指定在搜索旋律块或和弦时的搜索条件。按钮416用于复位列表框411至415的内容。
按钮417至419用于增加、降低或恢复乐曲列表区域ARm中乐曲扩展图MC1至MC3的显示尺寸。
按钮420用于基于显示在混音区域ARr中的混音线执行混音再生,以及按钮421用于停止混音再生。
按钮422用于输入用于混音线的主节奏的设定值。
按钮423用于输入用于混音线的主基调的设定值。
窗口401包括两个区域,包括混音区域ARr和乐曲列表区域ARm。
混音区域ARr是用于执行混音编辑工作的区域,并且混音线真实地显示在混音区域ARr中。更具体地,包括在混音线中的声道在垂直方向上以并列关系显示。声道的横坐标轴表示时间轴方向,并且时间朝向右侧消逝。
图17示出了混音线由两个声道形成的实例,并且在混音区域ARr中显示包括声道TR1和另一个声道TR2的两个声道。注意,在声道数太大以致所有声道不能同时显示在混音区域ARr中的情况下,混音区域ARr中的显示图像被滚读以使所有声道可被显示。
图18是由框F1包围的图17所示混音区域ARr的区域的放大图。参照图18,在所示的每个声道中,设置在声道中的声音块以从左到右的时序以并列关系显示。在每个声音块中,显示声音块的原始乐曲的乐曲名称和声音块的旋律块的类型。此外,每个声音块以表示其旋律块类型的色彩显示。注意,在图18中,旋律块的各个类型由其中的模式表示。
每个声音块的水平宽度被设定为与包括在声音块中的节拍数相对应的长度。具体地,即使原始乐曲中声音块的再生时间周期不同,但如果声音块之间的节拍数相等,则也以相同的宽度显示声音块。因此,即使声音块之间原始节奏不同,但也可以清楚地掌握在根据主节奏再生声音块的情况下声音块的时间轴方向上的位置关系。此外,在最低的声道下面,显示表示混音线上的小节位置的等级SCb。
在等级SCb下面,显示表示当前混音线的再生位置的指示器424(图17)。
返回参照图17,在乐曲列表区域ARm中,显示关于应用元数据的乐曲的信息表。在乐曲列表区域ARm中,与各个乐曲相对应的乐曲区域在垂直方向上并列。在图17中,显示包括乐曲区域AS1至AS3的三个乐曲区域。注意,在乐曲的数量太大以致与乐曲相对应的所有乐曲区域不能同时显示在乐曲列表区域ARm中的情况下,滚读乐曲列表区域ARm中乐曲的显示以便与所有乐曲相对应的乐曲区域可被显示。
在每个乐曲区域中,显示与乐曲相对应的信息,例如,乐曲名称、艺术家名字、平均节奏(BPM)、小节号、基调和音阶等。此外,在每个乐曲区域中,显示表示乐曲的旋律扩展和和弦进行的乐曲扩展图。在图17中,乐曲扩展图MC1显示在乐曲区域AS1中,乐曲扩展图MC2显示在乐曲区域AS2中,而乐曲扩展图MC3显示在乐曲区域AS3中。乐曲扩展图的轴表示时间轴方向,并且时间朝向右侧消逝。
图19以放大的比例示出了乐曲扩展图的一部分。参照图19,在乐曲扩展图上端的旋律块区域CLm中,基于对应乐曲的元数据,以出现存储块的顺序从左到右时序地以并列关系显示形成乐曲的旋律块。在旋律块区域CLm的每个块中,表示旋律块的类型,并且对于不同类型的旋律块使用不同的颜色。注意,在图19中,各种类型的旋律块由其中的模式表示。此外,旋律块区域CLm的每一块的水平宽度被设定为与包括在旋律块中的节拍数相对应的长度。
在乐曲扩展图的下端的和弦进行区域CLc中,基于对应乐曲的元数据,从左到右时序地以并列关系显示形成乐曲的和弦。在和弦进行区域CLc的每一块中,显示相对和弦的类型以及由相对和弦和声音块的基调所确定的绝对和弦的类型。此外,和弦进行区域CLc各块的相对和弦的不同类型使用不同的颜色。注意,在图19中,各种类型的相对和弦由其中的模式来表示。此外,和弦进行区域CLc的每一块的水平宽度被设定为与包括在和弦区间中的节拍数相对应的长度。
此外,可以利用图20所述的指针CS选择旋律块区域CLm中的期望块,或者可以利用图21所示的指针CS选择和弦进行区域CLc中的期望块。
此外,如果使用如图22所示的列表框411以指定旋律块的期望类型,则与指定类型的旋律块相对应的块被强调显示在乐曲扩展图上。注意,Chrous(易记部分)被指定为旋律块的类型,并且在音乐扩展图MC11至MC13中,旋律块类型是Chorus的块被强调显示。
此外,如果使用如图23所示的列表框412至415以指定期望的相对和弦,则与指定类型的相对和弦相对应的块被强调显示在乐曲扩展图上。例如,在图23中,Im7被指定作为相对和弦的类型,则和弦类型是Im7的块被强调显示在音乐扩展图MC21至MC23上。
注意,在图22的音乐扩展图MC11至MC13和图23的音乐扩展图MC21至MC23上,类似于图19等,对于不同类型的旋律块以及不同类型的相对和弦使用不同的颜色,在图22和图23中,示出了块中的模式但不以分类状态示出,以清楚地表示每个被强调的块。
此外,强调每个搜索到的块的方法不特别限为预定方法,而是可以使用各种方法,例如以较深或较亮的颜色显示搜索到的块,以比搜索到的块弱或暗的颜色显示其它块,改变搜索到的块的颜色或者用框线围绕搜索到的块。此外,可以使用AND条件、OR条件等,使得可以组合形式搜索多种类型的旋律块或和弦。
以这种方式,可通过利用元数据的信息以旋律块或和弦为单位简单地处理音乐数据。因此,当与利用耳朵实际听到声音或者根据预定算法分析音乐数据的波形来执行搜索的现有方法相比时,可以更加简单和精确地搜索与期望的和弦或旋律块相对应的音乐数据的范围。
返回参照图16,在步骤S2中,音乐编辑***101开始对应于混音编辑的处理。具体地,用户可观看显示在显示部215上的编辑画面图像,并操作操作部214来选择每首乐曲的期望部分以及将所选部分设置在混音线的声道的期望位置上。基于来自操作部214的信息,显示部215响应于用户的操作更新编辑画面图像的显示内容。
例如,如图24所示,用户可从音乐扩展图MC31和MC32的每一个中的旋律块区域内选择期望的旋律块作为声音素材,并将选择的旋律块放置在混音区域ARr中的声道TR1和TR2的期望位置处。注意,在声道TR1和TR2上放置的每个声音块中,显示与声音块相对应的旋律块的类型和声音块的原始乐曲的乐曲名称。此外,如图25所示,用户可缩小或加宽放置在每个声道上的每个声音块中所包括的范围。
返回参照图16,在步骤S3中,相似度计算部241判定是否发布了用于搜索优选声音素材的请求。例如,如图26所示,如果用户操作了操作部214以指定放置在声道TR1上的声音块BK1,则指定在时间轴方向上位于与声音块BK1相同位置处的声道TR2的区间RMD1以及发布指令以在指定区间(下文中称作搜索区间)内搜索优选声音素材,并且相似度计算部241从操作部214获取该指令,然后相似度计算部241判定发布了搜索优选声音素材的请求。在这种情况下,处理进行到步骤S4。在这种情况下,如下文所描述的,执行声音素材的搜索,其在与声音块BK1同时再生时提供与声音块BK1自然协调的声音而不会有不熟悉的感觉。这种搜索在下文中被称为重叠声音素材搜索。
此外,例如,如图27所示,如果用户操作了操作部214以指定放置在声道TR1上的声音块,则指定紧接着声音块BK1的区间RMD11并发布指令以在指定搜索区间内搜索优选声音素材,并且相似度计算部241从操作部214获取指令,然后相似度计算部241判定发布了搜索优选声音素材的请求。在这种情况下,处理进行到步骤S4。在这种情况下,如下文所描述的,执行声音素材的搜索,当其连续声音块BK1再生时具有听起来很自然的和弦进行而不会提供不熟悉的感觉。这种搜索在下文中称作连接声音素材搜索。
注意,在步骤S3中指定的声音块BK1在下文中称作指定块。
返回参照图16,在步骤S4中,用户界面处理部211执行声音素材搜索处理。这里,将参照图28的流程图描述声音素材搜索处理的细节。
在步骤S21中,相似度计算部241确定参考块的节拍号n。更具体地,当要执行重叠声音素材搜索时,相似度计算部241设定指定块作为参考块,并从乐曲元数据存储部217获取参考块的原始乐曲(下文中称作参考乐曲)的元数据。然后,相似度计算部241基于获取的元数据确定参考块的节拍号n。另一方面,当要执行连接声音素材搜索时,相似度计算部241设定紧接着指定块的原始乐曲中的指定块的旋律块作为参考块,并从乐曲元数据存储部217获取参考乐曲的元数据。然后,相似度计算部241基于获取的元数据确定参考块的节拍号n。
在步骤S22中,相似度计算部241以节拍粒度(granularity)的阵列a[]扩展参考块中的相对和弦。更具体地,相似度计算部241基于参考乐曲的元数据确定参考块的节拍处的相对和弦,并将确定的相对和弦代入长度n的阵列a[]中。具体地说,将参考块的开头节拍处的相对和弦代入a[0],并将第二节拍处的相对和弦代入a[1]。此外,类似地执行代入直到将最后的第n节拍处的相对和弦代入a[n-1]。
在步骤S23中,相似度计算部241将0代入变量s。
在步骤S24中,相似度计算部241从乐曲元数据存储部217获取第s+1首乐曲(下文中称作搜索对象乐曲)的元数据。
在步骤S25中,相似度计算部241判定第s+1首乐曲是否应当从搜索对象中排除。当第s+1首乐曲(即,搜索对象乐曲)不满足预定的排除条件时,相似度计算部241判定第s+1首乐曲不应当从搜索对象中排除。在这种情况下,处理进行到步骤S26。
在步骤S26中,相似度计算部241将第s+1首乐曲的相对和弦扩展到节拍粒度的阵列b[]。更具体地,相似度计算部241基于第s+1首乐曲(即,搜索对象乐曲)的元数据确定与搜索对象乐曲的节拍相对应的相对和弦,并将确定的相对和弦代入阵列b[]。具体地,在搜索对象乐曲的节拍号是m的情况下,将与搜索对象乐曲的开头节拍相对应的相对和弦代入b[0],以及将与第二节拍相对应的相对和弦代入b[1]。此外,类似地执行代入直到将与最后的第m节拍相对应的相对和弦代入b[m-1]。
在步骤S27中,声音素材搜索部231执行得分计算处理。这里,将参照图29描述得分计算处理的细节。
在步骤S51中,相似度计算部241将0代入变量p。
在步骤S52中,相似度计算部241判定音阶是否相等。这里,参考区间是阵列a[]的要素a[0]至a[n-1]的区间,以及搜索对象区间是阵列b[]的要素b[p]到b[p+n-1]的区间。如果相似度计算部241基于参考乐曲和搜索对象乐曲的元数据判定参考区间和搜索对象区间中的一个展示为大调而另一个展示为小调,则判定两首乐曲的音阶彼此不相等。在这种情况下,处理进行到步骤S53。
在步骤S53中,相似度计算部241将阵列a[]的值转换为绝对和弦。
在步骤S54中,相似度计算部241将阵列b[]的值转换为绝对和弦。
另一方面,如果在步骤S52中参考区间和搜索对象区间都展示为大调或者小调,则相似度计算部241判定两首乐曲的音阶彼此相等。在这种情况下,跳过步骤S53和S54中的处理,并且处理直接进行到步骤S55。
在步骤S55中,相似度计算部241确定参考区间和搜索区间之间的相似度。相似度计算部241根据以下表达式(2)和(3)判定参考区间和搜索对象区间之间的相似度Rab:
在相对和弦的频率或绝对和弦的根音相同并且当两个区间都展示出大调和弦和小调和弦的关系的情况下,f(x,y)=0,但是在其他情况下
f(x,y)=MatrixR[x][y] ...(3)
其中,MatrixR[x][y]表示定义和弦之间相似度的预定相似度矩阵的第y列的第x行处的要素的值。相似度矩阵是定义和弦之间相似度的矩阵,并在矩阵的每个位置处设定基于和弦之间相似度的点数(point)。这里,将描述相似度矩阵的几个实例。
图30示出了在参考区间和搜索对象区间都展示大调的情况下所使用的相似度矩阵的实例。注意,图30的相似度矩阵的行数和列数由相对和弦的频率来表示。因此,在要素a[i]和要素b[i+p]的相对和弦的频率彼此相等的情况下,设置最高点数,即,点数10。此外,考虑提供相似声音的替代和弦的存在,在要素a[i]和要素b[i+p]的相对和弦具有彼此替代和弦关系的情况下,即,在要素之一是相对和弦而另一个要素是相对和弦的替代和弦的情况下,或者更严格地说在参考区间和搜索对象区间中的基调被彼此调整时要素a[i]和要素b[i+p]具有彼此替代和弦关系的情况下,设置点数5。例如,在要素a[i]的相对和弦的频率为I以及要素b[i+p]的相对和弦的频率为III的情况下,设置点数5。在对应于图30的矩阵中空白位置的任何其它情况下,设置点数0。
图31示出了在参考区间和搜索对象区间都表示小调的情况下所使用的相似度矩阵的实例。注意,图31的相似度矩阵的行数和列数由与图30的相似度矩阵类似的相对和弦的频率来表示。此外,在图31的相似度矩阵中,在要素a[i]和要素b[i+p]的相对和弦的频率彼此相等的情况下,类似于图30的相似度矩阵,设置最高点数10。此外,在要素a[i]和要素b[i+p]的相对和弦具有彼此替代和弦的关系的情况下,设置点数5。在对应于图31的矩阵中的空白位置的任何其它情况下,设置点数0。但是,注意,由于大调和小调的替代和弦彼此不同,所以图30和图31的矩阵彼此不同。
图32示出了在参考区间和搜索对象区间中的音阶彼此不同的情况下所使用的相似度矩阵的实例。图32的相似度矩阵的行数和列数由绝对和弦的根音的音名来表示。在图32的相似度矩阵中,在要素a[i]和要素b[i+p]的绝对和弦的根音相同的情况下,设置点数10,但是在对应于图32的矩阵中的空白位置的任何其它情况下,设置点数0。以这种方式,在要素a[i]和要素b[i+p]中的音阶彼此不同的情况下,基于绝对和弦确定相似度。这是因为在要素a[i]和要素b[i+p]中的音阶彼此不同的情况下,即使相对和弦的类型相同,但如果将相对和弦转换为绝对和弦,则由于音阶的差别和弦的类型也变得彼此不同,相反,即使相对和弦的类型彼此不同,但如果将相对和弦转换为绝对和弦,则和弦的类型有时会变得彼此相同。
以这种方式,在参考区间和搜索对象区间都展示大调或小调的情况下,基于和弦的根音相对于区间音阶的主音的相对位置计算相似度等级。相比之下,在两个区间中的一个表示大调而另一个区间表示小调的情况下,基于和弦的实际声音的音调计算两个区间之间的相似度。
注意,如上文所给表达式(3)所表示的,在参考区间和搜索对象区间中的音阶相同的情况下,如果要素a[i]和要素b[i+p]的相对和弦的频率相等并且和弦具有大调和弦和小调和弦之间的关系,或者在参考区间和搜索对象区间中的音阶彼此不同的情况下,如果要素a[i]和要素b[i+p]的绝对和弦的根音相同并且和弦具有大调和弦和小调和弦之间的关系,则将点数设定为0。这是因为例如即使相对和弦是相同的和弦I,如果相对和弦中的一个是和弦I而另一个相对和弦是和弦Im,那么前者的第三音将从根音变为比根音大三度的音,以及后者的第三音变为比根音小三度的音,并且由于两个音相差一个半音,如果两个和弦同时发声,则它们听起来不和谐。注意,在要素a[i]和要素b[i+p]的相对和弦的频率或者绝对和弦的根音彼此不同的情况下,即使两个和弦具有大调和弦和小调和弦之间的关系,它们也可能不必要地产生不和谐,由此,基于相似度矩阵确定点数。
注意,图30至图32示出了相似度矩阵的实例,但相似度矩阵不限于这些实例。例如,可基于和弦的组合更加具体地对将设置的点数进行分类。或者,可基于诸如旋律小调音阶、和声小调音阶或自然小调音阶的音阶进一步细分用于小调的相似度矩阵。注意,即使相似度矩阵的类型增加,但如果相似度矩阵被一次准备,那么可根据上面给出的相同表达式(2)和(3)确定相似度。
返回参照图29,在步骤S56中,相似度计算部241判定相似度是否超出阈值T。如果判定相似度超出阈值T,即,如果参考区间和搜索对象区间之间的和弦进行中的相似度很高,则处理进行到步骤S57。
在步骤S57中,得分计算部242计算得分。具体地,相似度计算部241将由此计算的相似度提供给得分计算部242。得分计算部242基于例如预定条件将接收的相似度与权重相乘以计算得分。例如,如果参考乐曲和搜索对象乐曲具有表示相似度等级很低的要素,例如,如果参考乐曲和搜索对象乐曲之间的节奏差高于预定阈值或者参考乐曲和搜索对象乐曲的音阶彼此不同,则相似度与低于1的权重相乘以降低相似度。
在步骤S58中,得分计算部242注册搜索的结果。具体地,得分计算部242将计算得分的搜索对象区间和用于各个乐曲的得分分类并将它们存储在乐曲元数据存储部217中。
另一方面,如果在步骤S56中判定相似度不超出预定阈值,即,如果参考区间和搜索对象区间之间的和弦进行的相似度很低,则跳过步骤S57和S58中的处理,并且处理直接进行到步骤S59。换句话说,搜索对象区间的得分保持设定为0。
在步骤S59中,相似度计算部241将变量p的值加1。
在步骤S60中,相似度计算部241判定p+n是否超出阵列b[]的大小m。如果判定p+n没有超出阵列b[]的大小m,即,如果搜索对象乐曲的从第p个节拍到最后的节拍的区间比参考区间中的节拍号n长,则处理返回到步骤S55。
此后,步骤S55至S60中的处理被重复执行,直到在步骤S60中判定p+n超出阵列b[]的大小m。具体地,当如图33所示搜索对象区间(从b[p]到b[p+n-1]的区间)从阵列b[]的开头开始相继偏移一个节拍时,计算基于每个搜索对象区间和参考区间(丛a[0]到a[n]的区间)之间的相似度的得分。这样,搜索显示出对于参考区间的和弦进行的高相似度的搜索对象乐曲的区间。
如果在步骤S60中判定p+n的值超出阵列b[]的大小,即,如果搜索对象乐曲的从第p个节拍到最后的节拍的区间变得低于参考区间中的节拍号n,则结束得分计算处理。
返回参照图28,在步骤S28中,相似度计算部241将n的值减1。
在步骤S29中,相似度计算部241判定n是否等于或高于阈值L。如果判定n等于或高于阈值L,则处理返回步骤S27。
此后,重复执行步骤S27到S29中的处理,直到在步骤S29中判定n低于阈值L。具体地,当参考区间的长度相继减1个节拍直到n的值变得小于阈值L,重复执行对于参考区间的和弦进行具有高相似度的区间的搜索。
另一方面,如果在步骤S29中判定n低于阈值L,则处理进行到步骤S30。
此外,如果搜索对象乐曲满足预定的排除条件,则相似度计算部241在步骤S25中判定第s+1首乐曲应当从搜索对象中排除,处理进行到步骤S30而跳过步骤S26至S29中的处理。注意,根据情况需要由用户设定应当从搜索对象中排除的乐曲的条件,例如,为与参考乐曲相同的乐曲、具有不同于参考乐曲的韵律的乐曲、以及与参考乐曲的节奏差等于或大于预定阈值的的乐曲。
在步骤S30中,相似度计算部241将s的值加1。
在步骤S31中,相似度计算部241判定s的值是否等于总乐曲数。如果判定s的值不等于总乐曲数,即,如果还没有对元数据存储在乐曲元数据存储部217中的所有乐曲完成处理,则处理进行到步骤S32。
在步骤S32中,相似度计算部241将n的值返回到参考块的节拍号。
此后,处理返回到步骤S24,使得步骤S24至S31中的处理被重复执行,直到在步骤S31中判定s的值等于总乐曲数。
另一方面,如果在步骤S31中判定s的值等于总乐曲数,即,如果已经对元数据存储在乐曲元数据存储部217中的所有乐曲执行了处理,则处理进行到步骤S33。
在步骤S33中,显示部215以得分的降序分类和显示乐曲,然后接收声音素材搜索处理。具体地,显示控制部232从乐曲元数据存储部217读取所有乐曲的得分,并总计各个乐曲的得分。在显示控制部232的控制下,显示部215在乐曲列表区域ARm中以得分的降顺重新排列乐曲,并显示重新排列顺序的乐曲。
这时,如图34所示,在乐曲扩展图的和弦进行区域中,得分等于或高于预定阈值的区间SEC1至SEC8被强调显示。此外,在乐曲扩展图的左下部,显示对应乐曲得分的总数。此外,如图35所示,为了将基于绝对和弦计算得分的那些区间与基于相对和弦计算得分的那些区间区别开来,例如,在强调显示的区间SEC11内显示下划线。
如上所述,可以简单地从大量乐曲中搜索适合于以与指定块的重叠关系再生的声音素材或者适合于以与指定块的连接关系再生的声音素材,而不必执行用耳朵实际确认的这种工作。此后,例如,通过在声道上实际设置候选以及利用耳朵听它们用于确认,用户可从减少的候选中搜索到具有用户期望表现的声音的声音素材。
此外,由于如上所述考虑替代和弦的存在来计算相似度,所以即使搜索对象区间的和弦进行与参考区间的和弦进行不一致,也可以确定具有类似于参考区间中的声音的声音素材。
此外,由于各个声道的声音块利用其调整的节拍位置进行再生,所以可通过以节拍为单位比较和弦进行来确定参考区间和搜索对象区间之间的和弦进行的相似度,而不必考虑每个区间中乐曲的再生时间。
注意,在上述实施例中,当和弦进行以节拍为单位彼此进行比较时,通过以八分音符、十六分音符等为单位比较和弦进行,还可以提高比较精度。在这种情况下,基于元数据的每个和弦的采样位置,利用诸如八分音符或十六分音符的单位的解析度可确定和弦进行。
返回参照图16,如果在步骤S3中判定没有发布搜索优选声音素材的请求,则跳过步骤S4中的处理,处理进行到步骤S5。
在步骤S5中,混音模式产生部252判定是否发布存储混音模式的请求。例如,如果用户想要存储在混音区域ARr中产生的混音模式,并输入指令以通过操作部214将混音模式存储在混音模式产生部252中,则混音模式产生部252判定发布了存储混音模式的指令,并且处理进行到步骤S6。
在步骤S6中,混音模式产生部252产生混音模式数据。具体地,基于混音区域ARr中产生的混音模式以及以混音模式设置的声音块的原始乐曲的原数据,混音模式产生部252产生具有参照图15在上文中描述的数据结构的混音模式数据。
例如,在产生从三个乐曲中提取的声音素材被设置在如图36所示混音区域ARr中的声道TR1和TR2上的混音模式的情况下,图15的混音模式数据的声道数被设定为2,并且产生与声道TR1和TR2相对应的声道数据。此外,声道TR1上的声道数据的声道数被设定为9,其是设置在声道TR1上的声音块的数量,并且产生9个声音块数据。声道TR2上的声道数据的声道数被设定为6,其是设置在声道TR2上的声音块的数量,并产生6个块数据。然后,在块数据的每一项中,设定每个声音块的原始乐曲的原数据和位于混音线上每个声音块的位置上的数值等。
混音模式产生部252产生记录产生的混音模式数据的混音模式文件,并将产生的混音模式数据存储在混音模式存储部218中。
返回参照图16,如果在步骤S5中判定没有发布存储混音模式的请求,则跳过在步骤S6中的处理,处理进行到步骤S7。
在步骤S7中,显示控制部232判定是否发布了结束编辑处理的请求。如果判定没有发布结束编辑处理的请求,则处理返回步骤S3,使得步骤S3至S7中的处理被重复执行,直到在步骤S7中判定发布了结束编辑的请求。
例如,如果用户在步骤S7中通过操作部214将结束编辑处理的指令输入显示控制部232,则显示控制部232判定发布了结束编辑处理的请求,并结束混音编辑处理。
以这种方式,通过将不同乐曲的期望部分设置在混音区域ARr的各个声道的期望位置处,用于可以简单地产生混音乐曲。注意,当用户执行混音编辑时,基于在混合线上产生的混音模式,通过执行下文所述的混音再生,用户可实际确认混音乐曲的声音。
现在,将参照图37的流程图描述由音乐编辑***101执行的混音再生处理。注意,例如,当用户操作操作部214以指定存储在混音模式存储部218中的混音模式文件中期望的一个并基于记录在指定混音模式文件中的混音模式输入用于混音再生的指令时,开始混音再生处理。
在步骤S101中,同步再生控制部271和声音混合部272执行初始化处理。从而,同步再生控制部271和声音混合部272的状态被初始化。
在步骤S102中,混音模式读取部251读取由用户指定的混音模式文件。注意,例如,在混音模式文件没有被用户指定的情况下,混音模式读取部251选择存储在混音模式存储部218中的混音模式文件中合适的一个并读取所选择的混音模式文件。
在步骤S103中,声道产生部264产生等于所要求的声道数的多个声音信号产生部282。换句话说,声道产生部264产生等于由存储在读取的混音模式文件中的混音模式数据表示的声道数的多介声音信号产生部282。
在步骤S104中,混音模式读取部251将混音模式扩展进存储器。例如,混音模式读取部251使读取的混音模式数据成形以具有预定格式,并将混音模式数据扩展进RAM 116。
在步骤S105中,混音再生控制部253设定主基调和主节奏。例如,用户可操作操作部214以设定主基调和主节奏的值。操作部214通知混音再生控制部253主基调和主节奏的设定值。
再生速度控制部261对主节拍产生部281设定主节奏的值。从而,主节拍产生部281以设定的主节奏开始产生主节奏。
音调控制部262对声音信号产生部282设定主基调的值。
注意,主基调和主节奏可以不由用户设定,而是例如,可将设置在混音线上的声音块的原始乐曲中主要乐曲(例如,由用户指定的乐曲或者混音线的第一声道的第一声音块的原始乐曲)的基调和速度分别设定为主基调和主节奏。或者,例如,混音线的预定声道(例如,第一声道)的乐曲块中的原始节奏的平均值可用作主节奏。
混音模式读取部251基于主节奏和相应声音块的原始节奏(BPMo)之间的比率计算混音模式数据的块数据的混音线上的开始采样位置(RLSs)和混音线上的结束采样位置(RLSe)的值。然后,混音模式读取部251利用由此计算的值重写上述值。
在步骤S106中,混音处理部212执行混音再生控制处理,然后结束混音再生处理。这里,将参照图38至图40的流程图描述混音再生控制处理的细节。
注意,图38至图40的流程图示出了对一个声道执行的处理,而实际上,图38至图40所示的处理是对混音线的多个声道并行执行的。此外,在下文参照图38至图40所给出的描述中,声音信号产生部282是与参照流程图在下文给出的描述中处理对象相对应的声音信号产生部中的一个。
首先参照图38,在步骤S131中,再生模式控制部263将Pc.Bar的值设定为-1,将Pc.Beat的值设定为0,将Fc的设定值为false,将Con的值设定为-1,将Coff.Bar的值设定为-1,以及将Coff.Beat的值设定为-1。
Pc是将小节和节拍作为其构件的结构的变量。每当主节拍产生部281产生主节拍时,当Pc.Beat的值低于混音线的韵律数时,主节拍产生部281将Pc.Beat的值加1且将Pc.Bar的值加1。因此,Pc是表示当前混音线的再生位置是哪个小节号的变量。
Fc表示指出是否应当执行声音块切换的标记。如果将Fc的值设定为ture,则这表示应当在混音线的再生位置前进到下一小节的时间处执行声音块的切换,但是如果将Fc的值设定为false,则这表示在混音线的再生位置前进到下一小节的时间处不执行声音块的切换。
Con表示设定声音块的开始点的节拍号的变量,注意,在Con的值被设定为-1的情况下,这表示Con处于初始化状态并且没有设定在其中的特定值。
Coff是将小节和节拍作为其构件的结构的变量,以及将混音线中紧接着声音块的结束点的节拍位置设定为Coff。具体地,将紧接着声音块的结束点的节拍的小节号设定为Coff.Bar,以及将紧接着声音块的结束点的节拍的节拍号设定为Coff.Beat。注意,在将Coff.Bar和Coff.Beat复位为-1的情况下,这表示Coff处于初始化状态并且没有设定在其中的特定值。
此外,再生模式控制部263对主节拍产生部281设定混音线的韵律。注意,混音线的韵律例如可由用户设定或者可预先注册在混音线数据中。或者可设定混音线的第一声道的第一声音块的韵律。
在步骤S132中,再生模式控制部263基于混音模式数据判定新的声音块是否存在于比当前再生位置落后2小节之后。换句话说,再生模式控制部263判定新的声音块是否存在于Pc.Bar+2小节之后。如果判定新的声音块存在于比当前再生位置落后2小节之后,则处理进行到步骤S133。
在步骤S133中,再生模式控制部263获取与落后当前再生位置2小节之后的当前再生位置最接近的声音块的信息。换句话说,再生模式控制部263获取与最接近比当前再生位置落后2小节之后的当前再生位置的声音块相对应的混音模式数据的块数据。
在步骤S134中,再生模式控制部263将获取信息的声音块的开始位置设定为Pn。Pn是类似于Pc的、将小节和节拍作为其构件的结构的变量。注意,在Pn.Bar和Pn.Beat的值被设定为-1的情况下,这表示Pn处于初始化状态并且没有设定在其中的特定值。
再生模式控制部263将混音线上的获取信息的声音块的开始小节号(RLBs)设定为Pn.Bar以及将获取信息的声音块的开始点节拍数的节拍号(BCs.Beat)设定为Pn.Beat。
在步骤S135中,再生速度控制部261确定获取信息的声音块的时间伸缩值。具体地,再生速度控制部261根据以下表达式(4)计算接收信息的声音块的时间伸缩值Vt:
Vt=BPMm÷BPMo ...(4)
注意,时间伸缩值Vt是通过将作为对象节奏的主节奏BPMm除以声音块的原始节奏BPMo所获得的值。
在步骤S136中,音调控制部262确定获取信息的声音块的音调偏移值。具体地,音调控制部262根据以下表达式(5)计算获取信息的声音块的音调偏移值Vp:
其中,Ds表示将被移调声音块的频率,即,主基调和获取信息的声音块的基调的频率之间的差。此外,常数是目前平均律中的半音的频率比。换句话说,基于声音块的基调与主基调之间的差别和作为声音块的再生速度的控制量的时间伸缩值Vt计算作为声音快的再生音调的控制量的音调偏移值Vp。
在表达式(5)中,通过将原始音调偏移值()与时间伸缩值Vt的倒数相乘,确定减去由时间伸缩生成的声音音调中的变差的音调偏移值。因此,当获取信息的声音块将被再生时,通过将节奏乘以Vt可将声音块的再生声音的节奏调整为主节奏,以及通过将频率乘以Vp可将声音块的再生声音的基调调整为主基调。
注意,用于时间伸缩和音调偏移的方法不限于上述方法,而是也可以使用其它方法。
此后,处理进行到步骤S138。
另一方面,如果在步骤S132中判定没有新的声音块存在于比当前再生位置落后2小节之后,则处理进行到步骤S137。
在步骤S137中,再生模式控制部263将Pn.Bar的值设定为-1以及将Pn.Beat的值设定为-1。
在步骤S138中,再生模式控制部263读入Pc的值,以获取当前再生位置(Pc)。
在步骤S139中,再生模式控制部263判定是否发布了停止再生的请求。如果判定没有发布停止再生的请求,则处理进行到步骤S140。
在步骤S140中,再生模式控制部263判定节拍是否前进。如果Pc.Beat的值没有在上次获取再生位置之后显示出改变,则再生模式控制部263判定节拍不进行下去,并且处理返回步骤S138。
此后,步骤S138至S140中的处理被重复执行,直到在步骤S139中判定发布了停止再生的请求或者在步骤S140中判定节拍进行。
另一方面,例如,如果用户在步骤S139中操作操作部214以将停止混音再生的指令输入再生模式控制部263,则再生模式控制部263判定发布了停止再生的请求,并且混音再生控制处理结束。
此外,在步骤S140中,当Pc.Beat的值在最后获取再生位置之后显示出改变时,再生模式控制部263判定节拍进行,并且处理进行到步骤S141。
在步骤S141中,再生模式控制部263判定小节是否前进。如果Pc.Bar的值在最后获取再生位置之后显示出改变,则再生模式控制部263判定小节前进,并且处理进行到步骤S142。
在步骤S142中,再生模式控制部263判定Pc.Bar和Pn.Bar-1的值是否彼此相等。如果判定Pc.Bar和Pn.Bar-1的值彼此相等,即,如果混音线的再生位置进行到将执行声音块的切换的小节紧前的小节,则处理进行到步骤S143。
现在参照图39,在步骤S143中,再生速度控制部261设定时间伸缩值。具体地,再生速度控制部261将在步骤S135中确定的时间伸缩值存储在等待区域中,其中,等待区域是用于存储声音信号产生部282中下一个再生的声音块的信息的区域。从而,为声音信号产生部282设定下一个再生的声音块的时间伸缩值。
在步骤S144中,音调控制部262设定音调偏移值。具体地,音调控制部262将在步骤S136中确定的音调偏移值存储在音调控制部262中的等待区域中。从而,对声音信号产生部282设定下一个再生的声音块的音调偏移值。
在步骤S145中,再生模式控制部263设定在再生下一个声音块时所要再生的音乐数据的范围。具体地,再生模式控制部263基于混音模式数据,将表示下一个要再生的声音块的开始点处的小节开头的采样位置(SPBs)和表示紧接开始点的小节开头的采样位置(SPBe)的值存储在音调控制部262的等待区域中。结果,在声音信号产生部282中将从包括声音块开始点的小节开头到位于紧接声音块的结束点的小节开头的音乐数据的采样范围设定为再生下一声音块时将被再生的音乐数据的值。
在步骤S146中,再生模式控制部263记录将被下一个再生的声音块的原始乐曲的音乐数据。具体地,再生模式控制部263基于混音模式数据确定将被下一个再生的声音块的原始乐曲的乐曲ID(IDs)。再生模式控制部263从乐曲存储部219获取与音乐ID相对应的音乐数据以及从乐曲元数据存储部217获取与音乐数据相对应的元数据。混音模式控制部263将获取的音乐数据和元数据存储在声音信号产生部282的等待区域中。
在步骤S147中,再生模式控制部263将BCs.Beat的值设置为ConNext。具体地,再生模式控制部263基于混音模式数据将下一个再生的声音块的开始点节拍数的节拍号(BCs.Beat)的值设定为ConNext。换句话说,再生模式控制部263将表示在原始乐曲的小节中从哪个节拍开始下一个再生声音块的值设定为ConNext。
在步骤S148中,再生模式控制部263判定BCe.Beat的值是否等于1。如果再生模式控制部263基于混音模式数据判定下一个将被再生的声音块的结束点节拍数的节拍号(BCe.Beat)的值等于1,即,如果下一个将被再生的声音块以原始乐曲中小节末端处的节拍结束,则程序进行到步骤S149。
在步骤S149中,混音模式控制部263将RLBe+1的值设定为CoffNext.Bar以及将BCe.Beat的值设定为CoffNext.Beat。CoffNext是将小节和节拍作为其构件的结构的变量。因此,再生模式控制部263基于混音模式数据将下一个被再生的声音块的混音线上的结束小节号(RLBe)+1的值设定为CoffNext.Bar,以及将下一个被再生的声音块的结束点节拍数的节拍号(BCe.Beat)的值设定为CoffNext.Beat。从而,将表示紧接声音块的结束点的节拍的哪个小节在混音线上被下一个再生的数据设定为CoffNext。此后,处理进行到步骤S151。
另一方面,如果在步骤S148中判定BCe.Beat的值不等于1,即,如果下一个被再生的声音块在原始乐曲中小节的中间结束,则处理进行到步骤S150。
在步骤S150中,再生模式控制部263将RLBe的值设定为CoffNext.Bar以及将BCe.Beat的值设定为Coffnext.Beat。再生模式控制部263基于混音模式数据将下一个被再生的声音块的混音线上的结束小节号(RLBe)的值设定为CoffNext.Bar以及将下一个被再生的声音块的结束点节拍数的节拍号(BCe.Beat)的值设定为CoffNext.Beat。从而,将表示紧接声音块的结束点的节拍的哪个小节哪个节拍在混音线上被下一个再生的数据设定为CoffNext。
在步骤S151中,再生模式控制部263将Fc的值设定为ture。
此后,处理返回到步骤132,使得执行从步骤S132开始的步骤中的处理。
另一方面,如果在步骤S142中判定Pc.Bar的值和Pn.Bar-1的值彼此不相等,即,如果混音线上的再生位置不进行到执行声音块切换的小节紧前的小节,则处理进行到图40所示的步骤S152。
参照图40,在步骤S152中,再生模式控制部263判定Fc的值是否为ture。如果判定Fc的值为ture,即,如果在混音线的当前再生位置的小节处执行声音块的切换,则处理进行到步骤S153。
在步骤S153中,再生模式控制部263将ConNext的值设定为Con以及将CoffNext.Bar的值设定为Coff.Bar,然后将CoffNext.Beat的值设定为Coff.Beat。
在步骤S154中,再生模式控制部263将Fc的值设定为false。此后,处理进行到步骤155。
另一方面,如果在步骤152中判定Fc的值不为ture,即,如果不在混音线的当前再生位置的小节处执行声音块的切换,则跳过步骤S153和S154中的处理,并且处理进行到步骤S155。
此外,如果在步骤S141中判定小节不进行,则跳过步骤S141和S152至S154中的处理,并且处理进行到步骤S155。
在步骤S155中,再生模式控制部263判定Pc.Beat的值是否等于Con的值。如果Pc.Beat的值等于Con的值,即,如果当前混音线上的再生位置是下一个被再生的声音块的开始点,则处理进行到步骤S156。
在步骤S156中,再生模式控制部263取消消音(mute)。具体地,再生模式控制部263发布指令给效果处理部291以取消由声音产生部282产生的声音的消音。效果处理部291将由声音信号产生部282产生的音量返回到初始状态中的音量。注意,如果声音不是最初处于消音,则音量不被改变而是被保持。
然后,在步骤S157中,再生模式控制部263将Con的值设定为-1。此后,处理进行到步骤S160。
另一方面,如果在步骤S155中判定Pc.Beat的值不等于Con的值,即,如果混音线上的当前再生位置不是下一个被再生的声音块的开始点,则处理进行到步骤S158。
在步骤S158中,再生模式控制部263判定Pc.Beat的值是否是1以及Con的值是否不等于-1。如果Pc.Beat的值是1且Con的值不等于-1,即,如果混音线上的当前再生位置是将执行声音块切换的小节开头,而在小节的中间执行声音块的切换,则处理进行到步骤S159。
在步骤S159中,再生模式控制部263设定消音。具体地,再生模式控制部263将设定由声音信号产生部282产生的声音的消音的指令发布给效果处理部291D效果处理部291将由声音信号产生部285产生的声音的声音值消音。
另一方面,如果在步骤S158中判定Pc.Beat的值不是1或者Con的值是1,即,如果混音线的当前再生位置不是小节开头或者没有设定下一个被再生的声音块的开始位置,则跳过步骤S159中的处理,并且处理进行到步骤S160。
在步骤S160中,再生模式控制部263判定Pc.Bar的值是否等于Coff.Bar的值以及此外Pc.Beat的值是否等于Coff.Bar的值。如果Pc.Bar的值等于Coff.Bar的值以及此外Pc.Beat的值等于Coff.Beat的值,即,如果混音线的当前再生位置是紧接当前再生的再生块的结束位置的节拍,则处理进行到步骤S161。
在步骤S161中,类似上文所述步骤S159中的处理来设定消音。
在步骤S162中,再生模式控制部263将Coff.Bar的值设定为-1以及将Coff.Beat的值设定为-1。
此后,处理返回步骤S138,使得执行从步骤S138开始的步骤中的处理。
另一方面,如果在步骤S160中判定Pc.Bar的值不等于Coff.Bar的值或者Pc.Beat的值不等于Coff.Beat的值,即,如果混音线上的当前再生位置不是紧接当前再生的声音块的结束点的节拍,则跳过步骤S161和S162中的处理,并且处理返回步骤S138。从而,执行从步骤S138开始的步骤中的处理。
现在,将参照图41的流程图描述以与上文参照图38至图40描述的混音再生控制处理相对应的关系由声音信号产生部282执行的声道再生处理。
注意,图41的流程图示出了对一个声道执行的处理,实际上,对混音线的多个声道并行执行图41所示的处理。此外,在下文参照图41给出的描述中,声音信号产生部282表示与流程图的描述中的处理对象的声道相对应的一个声音信号产生部。
在步骤S201中,声音信号产生部282判定小节是否已经进行。如果声音信号产生部282基于来自混音模式读取部251的信息判定小节已经进行,则处理进行到步骤S202。
在步骤S202中,声音信号产生部282判定下一个被再生的声音块的信息是否被设定。如果下一个被再生的声音块的信息被存储在等待区域中,则声音信号产生部282判定下一个被再生的声音块的信息被设定,并且处理进行到步骤S203。
在步骤S203中,声音信号产生部282将等待区域的信息移动到当前区域。具体地,声音信号产生部282将均存储在等待区域中的下一个被再生的声音块的信息、时间伸缩值Vt和音调偏移值Vp复制到用于存储当前再生的声音块的信息的当前区域中,然后删除等待区域的在前信息。
在步骤S204中,声音信号产生部282开始下一个声音块的原始乐曲的音乐数据的再生。具体地,声音信号产生部282从表示当前区域中设定的再生声音块的开始点紧前的小节开头的采样位置(SBPs)开始下一个声音块的原始乐曲的音乐数据的再生。
声音信号产生部282以等于Vt乘以再生速度的速度再生音乐数据,以基于上文所述在图39的步骤S143中设定的时间伸缩值Vt,即,基于在步骤S203中设定在当前区域中的时间伸缩值Vt,将声音块的节奏调整为主节奏。此外,声音信号产生部282以等于Vp乘以音乐数据频率的频率输出音乐数据的再生声音,以基于上文所述图39的步骤S144中设定的音调偏移值Vp,即,基于在步骤S203中设定在当前区域中的音调偏移值Vp,将声音块的基调调整为主基调。
从而,包括时间轴上的混音线上的声音块的开始点的小节开头和包括音乐数据的声音块的开始点的小节开头彼此被同时再生,而不论声音块是否从小节开头开始。此外,由于声音块的节奏被调整为主节奏,所以混音线上的节拍位置和声音块的节拍位置彼此同步。此外,在设定给混音线的韵律和声音块的韵律彼此一致的情况下,混音线上的小节位置和声音块的小节位置也彼此同步。
另一方面,如果在步骤S202中判定没有设定下一个被再生的声音块的信息,则处理进行到步骤S205。
在步骤S205中,声音信号产生部282判定包括声音块结束点的小节是否被再生直到最后结束。具体地,如果音乐数据的再生被执行直到采样位置(SPBe),则声音信号产生部282判定包括声音块结束点的小节被再生直到最后结束,其中,采样位置表示紧接当前再生的声音块的开始点的小节开头。然后,处理进行到步骤S206。
在步骤S206中,声音信号产生部282停止音乐数据的再生,然后处理进行到步骤S207。从而,即使声音块在小节的中间结束,音乐数据被再生直到小节的最后结束。
另一方面,如果在步骤S205中判定包括声音块结束点的小节没有被再生直到最后结束,则跳过步骤S206中的处理,并且处理进行到步骤S207。
另一方面,如果在步骤S201中判定小节没有进行,则跳过步骤S202至S206中的处理,并且处理进行到步骤S207。
在步骤S207中,类似上文所述图38的步骤S139中的处理判定是否发布停止再生的请求。如果判定没有发布停止再生的请求,则处理返回步骤S201,使得步骤S201至S207中的处理被重复执行直到在步骤S207中判定发布了停止再生的请求。
另一方面,如果在步骤S207中判定发布了停止再生的请求马则声道再生处理结束。
以这种方式,类似图42所示声道2的声音块B,在声音块从小节的中间部分开始并且在该小节或另一个小节的中间部分结束的情况下,音乐数据的再生从与混音线上小节的开头同步的、包括声音块开始点的小节开头Bs开始,然后声音块被再生直到包括声音块的结束点的小节的下一个小节的开头Be。此外,由于声音块B的节奏被调整为上文所述的主节奏,所以在再生过程中混音线的节拍位置(即,主节拍的节拍位置)与声音块B的节拍位置彼此同步。
此外,由于通过上文所述图像40的步骤S155至S162中的处理在从小节开头Be到声音块的开始点Ss的周期内以及从声音块的结束点Se到小节开头Be的周期内将声音块B的再生声音消音,所以从开始点Ss到结束点Se的区间基本为声音块B的再生周期。
如果在观察编辑画面图像时用户执行简单操作,则可以容易地组合多个声音素材以上述方法产生混音乐曲。此外,由于可以容易地找到适合与期望声音素材重叠或连接的声音素材,所以可快速地完成高等级的混音乐曲。此外,过去要求专用于直接编辑波形数据的较深的音乐知识和工具、软件等以调整不同声音素材的节奏、基调和节拍位置,并且需要额外的非常大量的时间和劳动力。根据本发明的实施例,由于不同声音素材的节奏、基调和节拍位置可被自动调整而不必设定和调整,所以多个声音素材可容易被组合以产生完成度高、自然以及没有不熟悉感觉的混音乐曲。
因此,不具有太多音乐知识的普通用户也可以容易地制作和欣赏符合用户自身品味的混音乐曲。此外,通过积极地创作音乐,用户可以感到只是被动地听音乐所不能获得的快乐,创造符合个人品味的音乐的享乐方式以及满足个人表现欲望和创作爱好。此外,除通过卡拉ok演唱或需要高技术的演奏乐器的现有方法之外,可以提供通过音乐自我表现的新方法。
此外,在实际编辑音乐数据以制作混音乐曲的情况下,考虑乐曲的版权问题,制作的混音乐曲在没有艺术家等允许的情况下不能发送给其他人。此外,类似于已有乐曲的情况,这种混音乐曲所传送的用户只允许被动地听和欣赏混音音乐。
另一方面,利用本发明实施例制作的混音模式数据能够发送给与乐曲版权问题无关的其他人。此外,这种混音模式数据所发送的用户可通过获取声音素材的原始乐曲的音乐数据在用户自身环境下再生相同的混音乐曲。此外,用户可再编辑获取的混音模式数据以制作符合用户品味的混音乐曲。注意,即使用户本身欣赏混音乐曲,制作新音乐或编辑原始乐曲的音乐数据的这种情形也不会如上述那样发生,但是在再生时实时地再生混音乐曲。
此外,在本发明的实施例中,通过将混音模式数据公开放置在互联网上等从而与其他人共享混音模式数据或者通过与多个用户合作编辑一个作品或在用户中评价多个用户的不同人的作品,可以创建新的音乐通信形式。因此,考虑扩展性、兼容性等利用诸如XML(可扩展标记语言)的结构描述语言完美地描述混音模式数据。
此外,在上述实施例中,可以实现将诸如指定曲集中的乐曲或注册在诸如播放列表的预定文件夹中的乐曲的指定组中的再生乐曲的时间混音再生功能,使得通过改变乐曲的节奏或者通过只提取诸如乐曲的易记部分的指定部分并执行提取部分的混音再生,它们可在预定周期内适合。尽管组中的乐曲过去仅在诸如交通时间的有限时间内被部分地享受,但上述功能允许用户在有限时间内以完整形式享受组中的乐曲。此外,可以随着结束时间的接近逐渐放慢节奏或叠加声音效果(SE),使得例如创造正在接近目的地的气氛。
注意,在前面的描述中,虽然混音线包括多个声道,但根据本发明实施例,例如通过限制混音方法可使声道数降低为一个,使得声音素材只是彼此连接而不必有任何重叠。
此外,在连接声音素材搜索中,也可以搜索适合连接至指定块前面的声音素材。在这种情况下,将指定块的原始乐曲中的指定块紧前的旋律块设定为参考块。
虽然上述一系列处理可由硬件执行,但也可由软件执行。在一系列处理由软件执行的情况下,构造软件的程序也可以从程序记录介质安装到并入专用硬件的计算机或者例如通过安装各种程序可执行各种功能的通用计算机上。
图43示出了根据程序执行上述一系列处理的计算机的硬件结构的实例。
参照图43,CPU(中央处理单元)501、ROM(只读存储器)和RAM(随机存取存储器)503通过总线504彼此相连。
此外,输入/输出接口505连接至总线504。包括键盘、鼠标、麦克风等的输入部506、包括显示单元、扬声器等的输出部507、由硬件和非易失性存储器等形成的存储部208连接至输入/输出接口505。由网络接口等形成的通信部509和用于驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可移动介质511的驱动器510连接至输入/输出接口505。
在具有上述结构的计算机中,典型地,CPU 501通过输入/输出接口505和总线504将记录在存储部208中的程序加载到RAM 503并执行程序来执行上述一系列处理。
通过以封装介质形式的可移动介质511提供由计算机(CPU501)执行的程序,封装介质可以是例如记录程序的磁盘(包括软盘)、光盘(包括CD-ROM(压缩光盘-只读存储器)和DVD(数字通用盘))、磁光盘或半导体存储器。或者,通过诸如局域网、互联网或数字卫星广播的有线或无线通信介质提供程序。
然后,通过将移动介质511加载到驱动器510上可将程序通过输入/输出接口505安装到存储部508。或者程序可通过有线或无线通信介质被通信部509接收并安装到存储部508。或者,程序可以预先安装在RAM 502或存储部508中。
注意,计算机执行的程序可被构造以根据在本发明中描述的顺序时序地执行处理或者并行或者在它们被调用的必要时间处执行处理。
注意,在本说明书中,术语“***”用于表示由多个设备、装置等构成的整个装置。
虽然使用特定术语描述了本发明的优选实施例,但这样的描述只是用于解释的目的,应该明白,在不背离以下权利要求的精神或范围的情况下,可以进行各种修改和变更。
Claims (11)
1.一种音乐编辑装置,用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,包括:
再生模式控制部,被配置为基于包括所述声音素材的组合和与所述声音素材相关的信息的混音模式数据,来控制所述声音素材的原始乐曲的音乐数据被再生的位置和时间,使得所述声音素材以由所述混音模式数据表示的组合进行再生;
再生速度控制部,被配置为基于由所述混音模式数据表示的所述声音素材的原始乐曲中的节奏即原始节奏的值,来控制所述声音素材的再生速度,使得将所述声音素材的节奏调整为预定的主节奏;以及
音调控制部,被配置为基于由所述混音模式数据表示的所述声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及所述再生速度的控制量,来控制所述声音素材的声音音调,使得将所述声音素材的基调调整为主基调。
2.根据权利要求1所述的音乐编辑装置,其中,每个乐曲的元数据都包括表示相应音乐数据中所述乐曲的小节的位置的节拍信息,而所述混音模式数据包括表示混音再生时所述声音素材的小节和节拍设置在时间轴上的位置的信息,以及
所述再生模式控制部基于所述节拍信息和所述混音模式数据控制所述音乐数据将被再生的位置和时间,使得包括所述时间轴上每个声音素材的开始点的小节的开头和包括所述音乐数据中的所述声音素材的开始点的小节的开头彼此同步。
3.根据权利要求2所述的音乐编辑装置,其中,所述节拍信息包括表示所述音乐数据中所述乐曲的节拍位置的信息,以及所述再生模式控制部基于所述节拍信息和所述混音模式数据,从包括所述时间轴上所述声音素材的开始点的小节的开头到所述声音素材的开始点处的节拍减弱所述音乐数据的再生声音的音量。
4.根据权利要求1所述的音乐编辑装置,其中,每个乐曲的元数据都包括表示所述乐曲的和弦进行和相应音乐数据中和弦的位置的和弦信息,
所述音乐编辑装置还包括:
相似度计算部,被配置为基于所述和弦信息计算两个所述声音素材之间的和弦进行之间的相似度。
5.根据权利要求4所述的音乐编辑装置,还包括
搜索部,被配置为基于所述相似度搜索适合以与所述声音素材中的指定一个的重叠关系再生的任何一个声音素材或者搜索适合以与所述声音素材的指定一个的连接关系再生的任何一个声音素材。
6.根据权利要求4所述的音乐编辑装置,其中,基于所述和弦的根音相对于所述声音素材的音阶的主音的相对位置来表示由所述和弦信息表示的每个和弦。
7.根据权利要求4所述的音乐编辑装置,其中,所述元数据还包括表示所述音乐数据中所述乐曲的节拍位置的节拍信息,以及所述相似度计算部基于定义不同和弦之间的相似度的相似度矩阵以节拍为单位将两个所述声音素材的和弦相互比较,以计算相似度。
8.根据权利要求7所述的音乐编辑装置,其中,所述相似度矩阵被配置为:当两个和弦彼此一致或者彼此具有替代和弦的关系的情况下,所述和弦之间的相似度被设定得高于两个和弦彼此不一致或者彼此不具有替代和弦的关系情况下的相似度。
9.根据权利要求4所述的音乐编辑装置,其中,当两个所述声音素材都是大调或小调的情况下,所述相似度计算部基于和弦的根音相对于所述声音素材的音阶主音的相对位置来计算所述相似度,但是在所述两个声音素材的一个是大调而另一个声音素材是小调的情况下,所述相似度计算部基于和弦的实际声音的音调来计算所述相似度。
10.一种音乐编辑方法,用于以组合方式混音再生多个声音素材,每个声音素材都由乐曲的一部分或整体形成,包括以下步骤:基于包括所述声音素材的组合和与所述声音素材相关的信息的混音模式数据,控制所述声音素材的原始乐曲的音乐数据被再生的位置和时间,使得所述声音素材以由所述混音模式数据表示的组合进行再生;
基于由所述混音模式数据表示的所述声音素材的原始乐曲中的节奏即原始节奏的值,控制所述声音素材的再生速度,使得将所述声音素材的节奏调整为预定的主节奏;以及
基于由所述混音模式数据表示的所述声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及再生速度的控制量,控制所述声音素材的声音音调,使得将所述声音素材的基调调整为主基调。
11.一种用于使计算机执行以组合方式混音再生多个声音素材的音乐编辑处理的程序,每一个音乐素材都由乐曲的一部分或整体形成,所述程序包括以下步骤:
基于包括所述声音素材的组合和与所述声音素材相关的信息的混音模式数据,控制所述声音素材的原始乐曲的音乐数据被再生的位置和时间,使得所述声音素材以由所述混音模式数据表示的组合进行再生;
基于由所述混音模式数据表示的所述声音素材的原始乐曲中的节奏即原始节奏的值,控制所述声音素材的再生速度,使得将所述声音素材的节奏调整为预定的主节奏;以及
基于由所述混音模式数据表示的所述声音素材的原始乐曲中的基调即原始基调与预定主基调之间的差别以及再生速度的控制量,控制所述声音素材的声音音调,使得将所述声音素材的基调调整为主基调。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006354334A JP5007563B2 (ja) | 2006-12-28 | 2006-12-28 | 音楽編集装置および方法、並びに、プログラム |
JP2006-354334 | 2006-12-28 | ||
JP2006354334 | 2006-12-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101211643A true CN101211643A (zh) | 2008-07-02 |
CN101211643B CN101211643B (zh) | 2010-10-13 |
Family
ID=39611598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007103070947A Expired - Fee Related CN101211643B (zh) | 2006-12-28 | 2007-12-27 | 音乐编辑装置、方法及程序 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7626112B2 (zh) |
JP (1) | JP5007563B2 (zh) |
CN (1) | CN101211643B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568482A (zh) * | 2010-11-12 | 2012-07-11 | 索尼公司 | 信息处理设备,乐曲片段提取方法和程序 |
CN103262157A (zh) * | 2010-12-07 | 2013-08-21 | Jvc建伍株式会社 | 乐曲顺序决定装置、乐曲顺序决定方法以及乐曲顺序决定程序 |
CN103677797A (zh) * | 2012-09-06 | 2014-03-26 | 索尼公司 | 音频处理装置、音频处理方法和程序 |
CN104040618A (zh) * | 2011-07-29 | 2014-09-10 | 音乐策划公司 | 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的***和方法 |
WO2018059342A1 (zh) * | 2016-09-27 | 2018-04-05 | 腾讯科技(深圳)有限公司 | 一种双音源音频数据的处理方法及装置 |
CN108550361A (zh) * | 2018-06-26 | 2018-09-18 | 宗仁科技(平潭)有限公司 | 一种仿声电路 |
CN108549675A (zh) * | 2018-03-31 | 2018-09-18 | 陈振奎 | 一种基于大数据及神经网络的钢琴教学方法 |
CN108831425A (zh) * | 2018-06-22 | 2018-11-16 | 广州酷狗计算机科技有限公司 | 混音方法、装置及存储介质 |
CN109545249A (zh) * | 2018-11-23 | 2019-03-29 | 广州酷狗计算机科技有限公司 | 一种处理音乐文件的方法及装置 |
CN110867174A (zh) * | 2018-08-28 | 2020-03-06 | 努音有限公司 | 自动混音装置 |
CN111404808A (zh) * | 2020-06-02 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 一种歌曲的处理方法 |
CN112019993A (zh) * | 2019-05-29 | 2020-12-01 | 诺基亚技术有限公司 | 音频处理 |
CN113411663A (zh) * | 2021-04-30 | 2021-09-17 | 成都东方盛行电子有限责任公司 | 一种用于非编工程中的音乐节拍提取方法 |
CN114501109A (zh) * | 2022-02-25 | 2022-05-13 | 深圳火山视觉技术有限公司 | 一种打碟机声音特效及视频特效处理方法 |
Families Citing this family (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10164686B4 (de) * | 2001-01-13 | 2007-05-31 | Native Instruments Software Synthesis Gmbh | Automatische Erkennung und Anpassung von Tempo und Phase von Musikstücken und darauf aufbauender interaktiver Musik-Abspieler |
KR20080074975A (ko) * | 2005-12-09 | 2008-08-13 | 소니 가부시끼 가이샤 | 음악 편집 장치, 음악 편집 정보의 작성 방법, 및 음악편집 정보가 기록된 기록 매체 |
US7842874B2 (en) * | 2006-06-15 | 2010-11-30 | Massachusetts Institute Of Technology | Creating music by concatenative synthesis |
US20080065925A1 (en) * | 2006-09-08 | 2008-03-13 | Oliverio James C | System and methods for synchronizing performances of geographically-disparate performers |
JP5259075B2 (ja) * | 2006-11-28 | 2013-08-07 | ソニー株式会社 | マッシュアップ装置およびコンテンツの作成方法 |
JP5259083B2 (ja) * | 2006-12-04 | 2013-08-07 | ソニー株式会社 | マッシュアップ用データの配布方法、マッシュアップ方法、マッシュアップ用データのサーバ装置およびマッシュアップ装置 |
JP4367662B2 (ja) * | 2007-03-23 | 2009-11-18 | ソニー株式会社 | 情報処理システム、端末装置、情報処理方法、プログラム |
JP4933932B2 (ja) | 2007-03-23 | 2012-05-16 | ソニー株式会社 | 情報処理システム、情報処理装置、情報処理方法、プログラム |
JP4311467B2 (ja) * | 2007-03-28 | 2009-08-12 | ヤマハ株式会社 | 演奏装置およびその制御方法を実現するプログラム |
US8097801B2 (en) * | 2008-04-22 | 2012-01-17 | Peter Gannon | Systems and methods for composing music |
JP5153517B2 (ja) * | 2008-08-26 | 2013-02-27 | 株式会社河合楽器製作所 | コード名検出装置及びコード名検出用コンピュータ・プログラム |
JP4816699B2 (ja) * | 2008-09-03 | 2011-11-16 | ソニー株式会社 | 楽曲処理方法、楽曲処理装置、及びプログラム |
US7915512B2 (en) * | 2008-10-15 | 2011-03-29 | Agere Systems, Inc. | Method and apparatus for adjusting the cadence of music on a personal audio device |
JP5282548B2 (ja) * | 2008-12-05 | 2013-09-04 | ソニー株式会社 | 情報処理装置、音素材の切り出し方法、及びプログラム |
JP5532659B2 (ja) * | 2009-04-08 | 2014-06-25 | ヤマハ株式会社 | 音検索装置およびプログラム |
US8286081B2 (en) | 2009-04-30 | 2012-10-09 | Apple Inc. | Editing and saving key-indexed geometries in media editing applications |
WO2010137074A1 (ja) * | 2009-05-28 | 2010-12-02 | パイオニア株式会社 | 調性検出方法、調性検出装置、ミキサー装置およびプログラム |
JP5506002B2 (ja) * | 2010-06-04 | 2014-05-28 | パイオニア株式会社 | 演奏データ提示システム |
US8458221B2 (en) | 2010-10-13 | 2013-06-04 | Sony Corporation | Method and system and file format of generating content by reference |
US8805697B2 (en) | 2010-10-25 | 2014-08-12 | Qualcomm Incorporated | Decomposition of music signals using basis functions with time-evolution information |
JP6078729B2 (ja) * | 2011-11-29 | 2017-02-15 | 株式会社アクセル | 音声処理装置 |
EP2602786B1 (en) | 2011-12-09 | 2018-01-24 | Yamaha Corporation | Sound data processing device and method |
WO2013114421A1 (ja) * | 2012-01-30 | 2013-08-08 | パイオニア株式会社 | 表示システム、表示制御装置、音響機器、表示方法およびプログラム |
US9099150B2 (en) * | 2012-05-04 | 2015-08-04 | Adobe Systems Incorporated | Method and apparatus for phase coherent stretching of media clips on an editing timeline |
US9405501B2 (en) * | 2012-06-01 | 2016-08-02 | Songalbum, Llc | System and method for automatic synchronization of audio layers |
CN104412320B (zh) * | 2012-06-26 | 2017-11-17 | 雅马哈株式会社 | 使用音频波形数据的自动演奏技术 |
JP2014010275A (ja) * | 2012-06-29 | 2014-01-20 | Sony Corp | 情報処理装置、情報処理方法及びプログラム |
US9185387B2 (en) * | 2012-07-03 | 2015-11-10 | Gopro, Inc. | Image blur based on 3D depth information |
US9459828B2 (en) | 2012-07-16 | 2016-10-04 | Brian K. ALES | Musically contextual audio advertisements |
US20140018947A1 (en) * | 2012-07-16 | 2014-01-16 | SongFlutter, Inc. | System and Method for Combining Two or More Songs in a Queue |
US9230528B2 (en) * | 2012-09-19 | 2016-01-05 | Ujam Inc. | Song length adjustment |
US9508329B2 (en) * | 2012-11-20 | 2016-11-29 | Huawei Technologies Co., Ltd. | Method for producing audio file and terminal device |
JP6020134B2 (ja) * | 2012-12-19 | 2016-11-02 | ヤマハ株式会社 | 演奏データセット編集プログラム及び装置 |
US9883284B2 (en) * | 2013-05-30 | 2018-01-30 | Spotify Ab | Systems and methods for automatic mixing of media |
US9257954B2 (en) * | 2013-09-19 | 2016-02-09 | Microsoft Technology Licensing, Llc | Automatic audio harmonization based on pitch distributions |
US9372925B2 (en) | 2013-09-19 | 2016-06-21 | Microsoft Technology Licensing, Llc | Combining audio samples by automatically adjusting sample characteristics |
US9280313B2 (en) * | 2013-09-19 | 2016-03-08 | Microsoft Technology Licensing, Llc | Automatically expanding sets of audio samples |
US9798974B2 (en) | 2013-09-19 | 2017-10-24 | Microsoft Technology Licensing, Llc | Recommending audio sample combinations |
JP2015087436A (ja) * | 2013-10-29 | 2015-05-07 | パイオニア株式会社 | 音声処理装置、音声処理装置の制御方法およびプログラム |
JP6255960B2 (ja) * | 2013-12-10 | 2018-01-10 | ヤマハ株式会社 | 音楽データ生成方法を実現するためのプログラムおよび音楽データ生成装置 |
TWI539331B (zh) * | 2014-03-03 | 2016-06-21 | 宏碁股份有限公司 | 電子裝置以及使用者介面控制方法 |
US9984293B2 (en) | 2014-07-23 | 2018-05-29 | Gopro, Inc. | Video scene classification by activity |
US9685194B2 (en) | 2014-07-23 | 2017-06-20 | Gopro, Inc. | Voice-based video tagging |
US9734870B2 (en) | 2015-01-05 | 2017-08-15 | Gopro, Inc. | Media identifier generation for camera-captured media |
CN104778216B (zh) * | 2015-03-20 | 2017-05-17 | 广东欧珀移动通信有限公司 | 一种预设风格歌曲处理的方法及装置 |
US9570059B2 (en) | 2015-05-19 | 2017-02-14 | Spotify Ab | Cadence-based selection, playback, and transition between song versions |
GB2539875B (en) | 2015-06-22 | 2017-09-20 | Time Machine Capital Ltd | Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content |
US9817557B2 (en) * | 2015-07-22 | 2017-11-14 | Enthrall Sports LLC | Interactive audience communication for events |
US9639560B1 (en) | 2015-10-22 | 2017-05-02 | Gopro, Inc. | Systems and methods that effectuate transmission of workflow between computing platforms |
US9787862B1 (en) | 2016-01-19 | 2017-10-10 | Gopro, Inc. | Apparatus and methods for generating content proxy |
US10078644B1 (en) | 2016-01-19 | 2018-09-18 | Gopro, Inc. | Apparatus and methods for manipulating multicamera content using content proxy |
US9871994B1 (en) | 2016-01-19 | 2018-01-16 | Gopro, Inc. | Apparatus and methods for providing content context using session metadata |
US10129464B1 (en) | 2016-02-18 | 2018-11-13 | Gopro, Inc. | User interface for creating composite images |
US9972066B1 (en) | 2016-03-16 | 2018-05-15 | Gopro, Inc. | Systems and methods for providing variable image projection for spherical visual content |
JP6648586B2 (ja) * | 2016-03-23 | 2020-02-14 | ヤマハ株式会社 | 楽曲編集装置 |
US10402938B1 (en) | 2016-03-31 | 2019-09-03 | Gopro, Inc. | Systems and methods for modifying image distortion (curvature) for viewing distance in post capture |
US9838730B1 (en) | 2016-04-07 | 2017-12-05 | Gopro, Inc. | Systems and methods for audio track selection in video editing |
US10229719B1 (en) | 2016-05-09 | 2019-03-12 | Gopro, Inc. | Systems and methods for generating highlights for a video |
US9953679B1 (en) | 2016-05-24 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a time lapse video |
US9967515B1 (en) | 2016-06-15 | 2018-05-08 | Gopro, Inc. | Systems and methods for bidirectional speed ramping |
US9922682B1 (en) | 2016-06-15 | 2018-03-20 | Gopro, Inc. | Systems and methods for organizing video files |
US10045120B2 (en) | 2016-06-20 | 2018-08-07 | Gopro, Inc. | Associating audio with three-dimensional objects in videos |
US10395119B1 (en) | 2016-08-10 | 2019-08-27 | Gopro, Inc. | Systems and methods for determining activities performed during video capture |
US9953224B1 (en) | 2016-08-23 | 2018-04-24 | Gopro, Inc. | Systems and methods for generating a video summary |
US10282632B1 (en) | 2016-09-21 | 2019-05-07 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video |
US10268898B1 (en) | 2016-09-21 | 2019-04-23 | Gopro, Inc. | Systems and methods for determining a sample frame order for analyzing a video via segments |
US10044972B1 (en) | 2016-09-30 | 2018-08-07 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US10397415B1 (en) | 2016-09-30 | 2019-08-27 | Gopro, Inc. | Systems and methods for automatically transferring audiovisual content |
US11106988B2 (en) | 2016-10-06 | 2021-08-31 | Gopro, Inc. | Systems and methods for determining predicted risk for a flight path of an unmanned aerial vehicle |
US10002641B1 (en) | 2016-10-17 | 2018-06-19 | Gopro, Inc. | Systems and methods for determining highlight segment sets |
US20180189828A1 (en) * | 2017-01-04 | 2018-07-05 | Criteo Sa | Computerized generation of music tracks to accompany display of digital video advertisements |
US10339443B1 (en) | 2017-02-24 | 2019-07-02 | Gopro, Inc. | Systems and methods for processing convolutional neural network operations using textures |
US9916863B1 (en) | 2017-02-24 | 2018-03-13 | Gopro, Inc. | Systems and methods for editing videos based on shakiness measures |
JP6800053B2 (ja) * | 2017-03-06 | 2020-12-16 | 株式会社第一興商 | カラオケ装置 |
US10360663B1 (en) | 2017-04-07 | 2019-07-23 | Gopro, Inc. | Systems and methods to create a dynamic blur effect in visual content |
US10395122B1 (en) | 2017-05-12 | 2019-08-27 | Gopro, Inc. | Systems and methods for identifying moments in videos |
US10453434B1 (en) * | 2017-05-16 | 2019-10-22 | John William Byrd | System for synthesizing sounds from prototypes |
US10614114B1 (en) | 2017-07-10 | 2020-04-07 | Gopro, Inc. | Systems and methods for creating compilations based on hierarchical clustering |
US10402698B1 (en) | 2017-07-10 | 2019-09-03 | Gopro, Inc. | Systems and methods for identifying interesting moments within videos |
JP7157377B2 (ja) * | 2018-10-03 | 2022-10-20 | カシオ計算機株式会社 | 演奏情報表示装置及び演奏情報表示方法、演奏情報表示プログラム、並びに、電子楽器 |
US10446126B1 (en) * | 2018-10-15 | 2019-10-15 | Xj Music Inc | System for generation of musical audio composition |
JP7375002B2 (ja) * | 2019-05-14 | 2023-11-07 | AlphaTheta株式会社 | 音響装置および楽曲再生プログラム |
US11188605B2 (en) | 2019-07-31 | 2021-11-30 | Rovi Guides, Inc. | Systems and methods for recommending collaborative content |
CN112347300A (zh) * | 2019-08-08 | 2021-02-09 | 哈曼国际工业有限公司 | 用于实现节奏型曲目智能匹配与添加的方法和*** |
JP7397090B2 (ja) * | 2019-09-25 | 2023-12-12 | AlphaTheta株式会社 | 音響装置、音響システム、画像生成方法及び画像生成プログラム |
EP4115628A1 (en) * | 2020-03-06 | 2023-01-11 | algoriddim GmbH | Playback transition from first to second audio track with transition functions of decomposed signals |
JP6736196B1 (ja) * | 2020-03-06 | 2020-08-05 | 株式会社マスターマインドプロダクション | 音声再生方法、音声再生システム、およびプログラム |
US11086586B1 (en) * | 2020-03-13 | 2021-08-10 | Auryn, LLC | Apparatuses and methodologies relating to the generation and selective synchronized display of musical and graphic information on one or more devices capable of displaying musical and graphic information |
US20210303618A1 (en) * | 2020-03-31 | 2021-09-30 | Aries Adaptive Media, LLC | Processes and systems for mixing audio tracks according to a template |
CN113571030B (zh) * | 2021-07-21 | 2023-10-20 | 浙江大学 | 一种基于听感和谐度评估的midi音乐修正方法和装置 |
WO2024034117A1 (ja) * | 2022-08-12 | 2024-02-15 | AlphaTheta株式会社 | 音声データ処理装置、音声データ処理方法およびプログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07104745A (ja) * | 1993-10-01 | 1995-04-21 | Kawai Musical Instr Mfg Co Ltd | 自動演奏装置 |
JP2970396B2 (ja) * | 1994-04-22 | 1999-11-02 | ヤマハ株式会社 | 波形処理装置 |
US5496962A (en) * | 1994-05-31 | 1996-03-05 | Meier; Sidney K. | System for real-time music composition and synthesis |
JPH10134549A (ja) * | 1996-10-30 | 1998-05-22 | Nippon Columbia Co Ltd | 楽曲検索装置 |
JP3620409B2 (ja) * | 2000-05-25 | 2005-02-16 | ヤマハ株式会社 | 携帯通信端末装置 |
US6888999B2 (en) * | 2001-03-16 | 2005-05-03 | Magix Ag | Method of remixing digital information |
US6683241B2 (en) * | 2001-11-06 | 2004-01-27 | James W. Wieder | Pseudo-live music audio and sound |
US7030311B2 (en) * | 2001-11-21 | 2006-04-18 | Line 6, Inc | System and method for delivering a multimedia presentation to a user and to allow the user to play a musical instrument in conjunction with the multimedia presentation |
US6740803B2 (en) * | 2001-11-21 | 2004-05-25 | Line 6, Inc | Computing device to allow for the selection and display of a multimedia presentation of an audio file and to allow a user to play a musical instrument in conjunction with the multimedia presentation |
AU2002334362A1 (en) * | 2002-09-12 | 2004-04-30 | Musicraft Ltd | Computer-generated expression in music production |
JP4199097B2 (ja) * | 2003-11-21 | 2008-12-17 | パイオニア株式会社 | 楽曲自動分類装置及び方法 |
JP4412128B2 (ja) | 2004-09-16 | 2010-02-10 | ソニー株式会社 | 再生装置および再生方法 |
JP4626376B2 (ja) * | 2005-04-25 | 2011-02-09 | ソニー株式会社 | 音楽コンテンツの再生装置および音楽コンテンツ再生方法 |
EP1959429A4 (en) * | 2005-12-09 | 2011-08-31 | Sony Corp | MUSIC EDITING DEVICE AND MUSIC EDITING PROCEDURE |
KR20080074975A (ko) * | 2005-12-09 | 2008-08-13 | 소니 가부시끼 가이샤 | 음악 편집 장치, 음악 편집 정보의 작성 방법, 및 음악편집 정보가 기록된 기록 매체 |
-
2006
- 2006-12-28 JP JP2006354334A patent/JP5007563B2/ja not_active Expired - Fee Related
-
2007
- 2007-12-18 US US11/958,702 patent/US7626112B2/en not_active Expired - Fee Related
- 2007-12-27 CN CN2007103070947A patent/CN101211643B/zh not_active Expired - Fee Related
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102568482A (zh) * | 2010-11-12 | 2012-07-11 | 索尼公司 | 信息处理设备,乐曲片段提取方法和程序 |
CN103262157B (zh) * | 2010-12-07 | 2015-05-06 | Jvc建伍株式会社 | 乐曲顺序决定装置以及乐曲顺序决定方法 |
CN103262157A (zh) * | 2010-12-07 | 2013-08-21 | Jvc建伍株式会社 | 乐曲顺序决定装置、乐曲顺序决定方法以及乐曲顺序决定程序 |
CN104040618A (zh) * | 2011-07-29 | 2014-09-10 | 音乐策划公司 | 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的***和方法 |
CN104040618B (zh) * | 2011-07-29 | 2016-10-26 | 音乐策划公司 | 用于制作更和谐音乐伴奏以及用于将效果链应用于乐曲的***和方法 |
CN103677797B (zh) * | 2012-09-06 | 2017-07-07 | 索尼公司 | 音频处理装置、音频处理方法 |
CN103677797A (zh) * | 2012-09-06 | 2014-03-26 | 索尼公司 | 音频处理装置、音频处理方法和程序 |
WO2018059342A1 (zh) * | 2016-09-27 | 2018-04-05 | 腾讯科技(深圳)有限公司 | 一种双音源音频数据的处理方法及装置 |
US10776422B2 (en) | 2016-09-27 | 2020-09-15 | Tencent Technology (Shenzhen) Company Limited | Dual sound source audio data processing method and apparatus |
CN108549675A (zh) * | 2018-03-31 | 2018-09-18 | 陈振奎 | 一种基于大数据及神经网络的钢琴教学方法 |
CN108549675B (zh) * | 2018-03-31 | 2021-09-24 | 河南理工大学 | 一种基于大数据及神经网络的钢琴教学方法 |
CN108831425A (zh) * | 2018-06-22 | 2018-11-16 | 广州酷狗计算机科技有限公司 | 混音方法、装置及存储介质 |
US11315534B2 (en) | 2018-06-22 | 2022-04-26 | Guangzhou Kugou Computer Technology Co., Ltd. | Method, apparatus, terminal and storage medium for mixing audio |
CN108831425B (zh) * | 2018-06-22 | 2022-01-04 | 广州酷狗计算机科技有限公司 | 混音方法、装置及存储介质 |
CN108550361B (zh) * | 2018-06-26 | 2024-03-19 | 宗仁科技(平潭)股份有限公司 | 一种仿声电路 |
CN108550361A (zh) * | 2018-06-26 | 2018-09-18 | 宗仁科技(平潭)有限公司 | 一种仿声电路 |
CN110867174A (zh) * | 2018-08-28 | 2020-03-06 | 努音有限公司 | 自动混音装置 |
CN109545249B (zh) * | 2018-11-23 | 2020-11-03 | 广州酷狗计算机科技有限公司 | 一种处理音乐文件的方法及装置 |
CN109545249A (zh) * | 2018-11-23 | 2019-03-29 | 广州酷狗计算机科技有限公司 | 一种处理音乐文件的方法及装置 |
CN112019993A (zh) * | 2019-05-29 | 2020-12-01 | 诺基亚技术有限公司 | 音频处理 |
CN111404808B (zh) * | 2020-06-02 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 一种歌曲的处理方法 |
CN111404808A (zh) * | 2020-06-02 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 一种歌曲的处理方法 |
CN113411663A (zh) * | 2021-04-30 | 2021-09-17 | 成都东方盛行电子有限责任公司 | 一种用于非编工程中的音乐节拍提取方法 |
CN114501109A (zh) * | 2022-02-25 | 2022-05-13 | 深圳火山视觉技术有限公司 | 一种打碟机声音特效及视频特效处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US7626112B2 (en) | 2009-12-01 |
US20090019995A1 (en) | 2009-01-22 |
CN101211643B (zh) | 2010-10-13 |
JP5007563B2 (ja) | 2012-08-22 |
JP2008164932A (ja) | 2008-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101211643B (zh) | 音乐编辑装置、方法及程序 | |
US6528715B1 (en) | Music search by interactive graphical specification with audio feedback | |
JP5243042B2 (ja) | 音楽編集装置及び音楽編集方法 | |
US8710343B2 (en) | Music composition automation including song structure | |
Huber | The MIDI manual: a practical guide to MIDI in the project studio | |
CN1106001C (zh) | 用于改变音频信号音质和/或进行音调控制的方法和装置 | |
WO2007066813A1 (ja) | 音楽編集装置、音楽編集情報の作成方法、並びに音楽編集情報が記録された記録媒体 | |
US6392135B1 (en) | Musical sound modification apparatus and method | |
CN1750116B (zh) | 自动表演风格确定设备和方法 | |
CN103443848B (zh) | 伴奏数据产生设备 | |
CN107301857A (zh) | 一种给旋律自动配伴奏的方法及*** | |
JP2000056773A (ja) | 波形形成装置及び方法 | |
US11087727B2 (en) | Auto-generated accompaniment from singing a melody | |
CA3093744A1 (en) | Method and system for generating an audio or midi output file using a harmonic chord map | |
WO2015154159A1 (en) | Systems and methods for musical analysis and determining compatibility in audio production | |
JP2001092464A (ja) | 楽音生成方法、楽音生成用データ記録方法および楽音生成用データを記録した記録媒体 | |
McGuire et al. | Audio sampling: a practical guide | |
Huber | The Midi manual: A practical guide to Midi within Modern Music production | |
JP2000276194A (ja) | 波形圧縮方法及び波形生成方法 | |
JP4413643B2 (ja) | 楽曲検索再生装置 | |
JP3744247B2 (ja) | 波形圧縮方法及び波形生成方法 | |
RU2808611C2 (ru) | Способ и система для генерирования выходного звукового файла или файла midi посредством гармонической карты аккордов | |
US20240194173A1 (en) | Method, system and computer program for generating an audio output file | |
Cann | How to make a noise: a comprehensive guide to synthesizer programming | |
JP3788096B2 (ja) | 波形圧縮方法及び波形生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20101013 Termination date: 20151227 |
|
EXPY | Termination of patent right or utility model |