CN1879163A - 利用重叠来促进平滑交叉渐变的基于帧的音频传输/存储 - Google Patents

利用重叠来促进平滑交叉渐变的基于帧的音频传输/存储 Download PDF

Info

Publication number
CN1879163A
CN1879163A CNA2004800334492A CN200480033449A CN1879163A CN 1879163 A CN1879163 A CN 1879163A CN A2004800334492 A CNA2004800334492 A CN A2004800334492A CN 200480033449 A CN200480033449 A CN 200480033449A CN 1879163 A CN1879163 A CN 1879163A
Authority
CN
China
Prior art keywords
frame
pcm audio
order
diminuendo
crescendo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800334492A
Other languages
English (en)
Other versions
CN1879163B (zh
Inventor
迈克尔·J·史密斯尔斯
肯尼思·J·甘德瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN1879163A publication Critical patent/CN1879163A/zh
Application granted granted Critical
Publication of CN1879163B publication Critical patent/CN1879163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/008Means for controlling the transition from one tone waveform to another
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/24Signal processing not specific to the method of recording or reproducing; Circuits therefor for reducing noise
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/038Cross-faders therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/025Envelope processing of music signals in, e.g. time domain, transform domain or cepstrum domain
    • G10H2250/035Crossfade, i.e. time domain amplitude envelope control of the transition between musical sounds or melodies, obtained for musical purposes, e.g. for ADSR tone generation, articulations, medley, remix

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

用于通过向每个帧或者附加相邻先前帧的一部分,或者附加相邻跟随帧的一部分来拼接PCM音频帧以形成修改帧的方法。根据第一方案,通过仅在拼接点渐强和渐弱帧的结束处以及帧的附加,并且在该拼接处重叠并联合以提供交叉渐变来获得拼接。可选地,每个帧的结束处以及帧的附加都是渐强和渐弱、已重叠和相关联的。提供一种互补的渐强和渐弱减法方法来减少舍入误差。

Description

利用重叠来促进平滑 交叉渐变的基于帧的音频传输/存储
技术领域
本发明涉及音频信号处理,其中音频信息流以信息帧来放置。特别地,本发明涉及改善通过拼接基于帧的音频信息流所形成的音频信息流的质量。
背景技术
成帧的音频
数字音频的使用倾向于使得更难于编辑音频材料而不产生可听见的失真。这部分是因为数字音频频繁地被封装成必须被同时处理的数字采样的帧或块来而引起的。许多音频传输***将信号采样的帧转换成已打包的或已编码的信息的帧,其必须被解包或解码以恢复原始信号的复制。至少音频信号的编辑必须在帧边界实现;否则,由剩余部分的帧所表示的音频信息不能适当地恢复。
在本讨论的其余部分,术语″帧″是指一个或多个连续的数字音频采样的组或块,术语″流″是指帧序列。术语″帧边界″表示一对连续相邻帧之间的划分。同样,术语诸如″打包″是指用于打包(例如用于传输或存储的)音频帧的各种方法和装置,并且术语诸如″被打包的″是指那些方法的结果。打包可以包括下列任何方法:非音频信息(一般称为元数据)的添加、时间压缩、以及不相干或冗余信息的删除(一般称为数据压缩)。最后,术语″渐变(fade)″是指对一个音频采样序列应用调制包络。
打包音频的编辑变得日益重要,由于音频经常与其它基于多媒体内容的″帧″,例如视频,一起被打包。在这种情况下,在普通区间或帧边界处同时编辑音频和视频二者,这是有利的。
典型地,帧的长度对于一个给定的应用是确定的。例如,当将48kHz采样率的音频分成24帧每秒(用于电影放映的普通帧频)时,每个帧的长度是2002个采样。
在某些情况下,帧的长度需要相对于彼此来变化。一个例子是当将48kHz的音频分成29.97帧每秒的NTSC电视帧频时,其需要一个1601.6个采样每帧的非整数的帧长。这种情况可以或者通过将该音频安排成超帧(其具有整数个采样),或者通过允许该音频帧的大小在帧间稍微地变化来调节。在本发明中的音频帧可以或者是固定的长度,或者是可变的长度。
经常在流中的帧序列的编辑或操作,可以采用各种形式,包括:从流中删除帧或帧序列(例如从一个电视节目中删除一个场景以缩短其长度),将帧或帧序列***流中(例如将一个场景***到一个电影中),以及将帧或流连接起来以产生一个更大的流。
谱干扰(spectral splatter)
音频信息的编辑可以在音频信号中造成不连续点,即导致虚假的谱分量或听得见的失真,通常表征为谱干扰,″滴答声″或″砰砰声″。因此当编辑流时,通过解包该帧序列所重建的音频信号可能在对应于发生编辑的帧边界处的位置上包含听得见的失真。
谱干扰可以通过在拼接位置之前将该音频信号平滑地渐变到接近无声,并且在拼接边界之后再平滑地增强回去。这通常称为″V渐变″。虽然v渐变将听得见的滴答声减到最小,但是当在该拼接位置的任一边有显著的信号电平时,在音频信号电平上听得见的下降(dip)可能变得明显。这个听得见的电平下降可以正如不希望的那样成为听得见的谱干扰。
发明内容
根据本发明的一个***方面,用于处理一个或多个PCM音频帧的有序序列的方法,包括:
向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
将所述已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧赋予一个另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加的之后或之前不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供一个另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
根据本发明的另一个***方面,一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
将所述已修改帧,或将该渐强和渐弱的已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧,或该渐强和渐弱的已修改帧赋予一个另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在具有与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同的有序顺序,或者具有所述另外的有序顺序的渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,在PCM音频帧的另外的顺序中的连续对具有已相关联的PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
根据本发明的一个传送器方面,
一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
仅仅向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,以及
传送、存储、或传送并存储所述已修改帧。
根据本发明的另一个传送器方面,一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
仅仅向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者仅向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将已修改帧的开始处的PCM音频渐强,以及
传送、存储、或传送并存储该渐强和渐弱的已修改帧。
根据本发明的接收器方面,一种用于处理PCM音频数据的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,
将所述已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或是向所述已修改帧赋予一个另外的有序顺序,其中有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加之后或之前处不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
根据本发明的另一个接收器方法,一种用于处理PCM音频数据的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,并且
所述已修改的帧具有有序顺序,该有序顺序与所述一个或多个该PCM音频帧的有序序列中的一个的顺序相同,或是具有另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加的之后或之前不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供一个另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
根据本发明的另一个接收器方法,一种用于处理PCM音频的方法,包括:
接收渐强和渐弱的已修改PCM音频帧,其中该渐强和渐弱的已修改帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:
向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,以及
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
将该渐强和渐弱的已修改帧维持一个有序顺序,该有序顺序与所述一个或多个该PCM音频帧的有序序列中的一个的顺序相同,或是向该渐强和渐弱的已修改帧赋予另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中,PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
根据本发明的另一个接收器方法,一种用于处理PCM音频的方法,包括:
接收渐强和渐弱的已修改PCM音频帧,其中该渐强和渐弱的已修改帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:
向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或是向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,以及
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
其中该渐强和渐弱的已修改帧具有有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者具有另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
根据本发明的另一个接收器方法,一种用于处理PCM音频的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
将所述已修改的帧,或将所述渐强和渐弱的已修改帧维持有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧,或渐强和渐弱的已修改帧赋予另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在具有与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同的有序顺序,或者具有所述另外的有序顺序的、渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供了另外的PCM音频帧的有序序列,其中,PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
根据本发明的另一个接收器方法,一种用于处理PCM音频的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧
是通过处理一个或多个PCM音频帧的有序序列来产生的,其通过向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或是向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,并且
该已修改的帧具有有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者具有一个另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,以及
将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
附图说明
图1是示出使用根据第一方案的本发明的方面的整体***的功能块框图。
图2是数字音频采样流的一部分的理想化、示意性和概念性的例子。图2是一个时域的表示。
图3是随机地存储在存储器空间中的三个音频帧的理想化、示意性和概念性的例子。图3是一个空间域的表示。
图4是已修改PCM音频帧的理想化、示意性和概念性的例子,该已修改PCM音频帧由在其开始处具有附加的PCM音频帧组成,该附加是相邻的先前帧的结束处的复制。
图5是已修改PCM音频帧的理想化、示意性和概念性的例子,该已修改PCM音频帧由在其结束处具有附加的PCM音频帧组成,该附加是相邻的跟随帧的开始处的复制。
图6a是在它们的开始处具有附加的两个已修改帧的理想化、示意性和概念性的例子,其关于彼此具有一个不连续点。即,当将帧应用到***时,它们不具有相同的有序顺序。
图6b是将图6a中的两个已修改帧进行重叠并联合,以使得在所述已修改帧中的一个中具有交叉渐变部分的理想化、示意性和概念性的例子。
图7a是在它们的结束处具有附加的两个已修改帧的理想化、示意性和概念性的例子,其关于彼此具有一个不连续点。即,当将帧应用到***时,它们不具有相同的有序顺序。
图7b是将图7a中的两个已修改帧进行重叠并联合,以使得在所述已修改帧中的一个具有交叉渐变部分的理想化、示意性和概念性的例子。
图8是具有相同的序列作为附加到该***的帧的一对已修改帧的理想化、示意性和概念性的例子。该图概念性地示出了从有序帧之间的已修改帧中移除附加。
图9a是示出使用根据第二方案的第一变化的本发明的方面的全部***的功能块框图。
图9b是示出使用根据第二方案的第二变化的本发明的方面的全部***的功能块框图。
图10a是在它们的开始处具有附加的三个已修改帧的理想化、示意性和概念性的例子,其中在一个连续对之间而不是在另一个之间有一个不连续点。
图10b是将图10a中的三个已修改帧进行重叠并联合,以使得在所述已修改帧中的连续帧中具有交叉渐变部分的理想化、示意性和概念性的例子。
图11a是在它们的结束处具有附加的三个已修改帧的理想化、示意性和概念性的例子,其中在一个连续对之间而不是在另一个之间有一个不连续点。
图11b是将图11a中的三个已修改帧进行重叠并联合,以使得在所述已修改帧中的连续帧中具有交叉渐变部分的理想化、示意性和概念性的例子。
图11c是将图11a中的三个已修改帧从存储器空间中进行接收、进行时间压缩、进行时间扩展、以及进行重叠并联合,以使得在所述已修改帧中的连续帧中具有交叉渐变部分的理想化、示意性和概念性的例子。
图12是方框图,是示出如何可以将如图1、9a和9b中的例子所示的、本发明的第一和第二方案的***的装置或功能分离成一个“传送器”功能或装置、一个可选的“编辑”功能或装置、以及一个“接收器”功能或装置的功能块框图。该传送器和接收器也构成本发明的方面。
具体实施方式
图1是示出使用根据第一方案的本发明的方面的全部***的功能块框图。需要将该***全部放置在相同的地方。如下所述,可以使用传送、存储、或传送和存储的联合,以允许该***元件的确定的分离。另外,如下所述,可以与传送、存储、或传送和存储的联合有关的来使用时间压缩/解压缩以及数据编码二者中的任一个或两个。
参考图1,通过“附加”功能或装置2来接收可以不但包括PCM音频采样而且还包括其它信息和/或元数据的一个或多个PCM音频帧的有序序列(固定或可变长度的)。在本发明的这个和其它实施例中,该PCM音频帧是在它们具有概念性有序顺序的意义上的“有序序列”,所述有序顺序典型地由已分配帧的编号或其它适当的序列标识符来指示。同样,在这个和其它实施例中,例如可以通过附加2来接收有序序列,该附加2或者位于PCM音频帧的流中(以图2的方式),或者其可以从其中存储了PCM音频帧的有序序列的存储器空间中进行接收(以图3的方式),在可以随机地存储该PCM音频帧的情况下,它们的顺序仅仅由诸如帧编号的唯一的标识符来进行指示。
在图2中,数字音频采样的流20的一部分的例子显示为包括3个PCM音频帧n-1、n和n+1。所述帧具有有序序列,并且在该流内部的序列中。参考数字22、24、26和28指示帧的边界。
在图3中,该3个PCM音频帧n-1、n和n+1显示为随机地存储在存储器空间30中。在图3的例子中,虽然该帧可以随机地位于该存储器中,但是它们也具有如同由它们的帧编号所指示的有序顺序。
为了解释本发明及其各种方面,在图2和图3以及其它附图中,该PCM音频帧被理想化、示意性以及并不按比例地来进行显示,各个音频采样未被示出。图2是时域表示,其中水平尺度表示时间。图3是空间域的表示,其中面积表示数据量。
在本发明特别感兴趣的实际环境中,可以在流中接收PCM音频帧的有序序列,其中该流具有与有关的视频信号流的帧边界相一致的帧边界。数字音频常常与基于诸如视频的其它基于“帧”的多媒体内容一起被打包,这有利于在公共帧边界处既编辑音频又编辑视频。
再次参考图1,附加2通过向每一个所接收帧的开始处附加PCM音频的片段来产生已修改的PCM音频帧,该PCM音频的片段基本上是在所接收帧的有序序列中相邻的先前帧的结束处的PCM音频的复制。(应该了解的是“PCM音频的片段”以及类似的语言是PCM音频采样的片段的简化表述。)优选地以及有利地,由于下面所阐述的理由,音频片段仅仅附加到每一个所接收帧的一个结束处。例如,如图4所示,示出了已修改的PCM音频帧40,其中帧n在其开始处具有附加an-1,该附加是相邻的先前帧n-1的结束处的复制。当没有相邻的先前帧时,可以向该附加填充任何音频信息,最合适的是静音。
在帧的开始处进行附加的优点在于,当将一个流的结束处与另一个的开始处拼接在一起时,来自于第二个流的开始处的音频信息在完整水平上进行重建。即,该音频信息不渐强,这是音频被附加到帧的结束处的情况,如下面连同图5的描述所讨论的。例如,如果将电视广告的结束处与电视节目的开始处拼接在一起,那么更加期望的是该电视广告的结束处先于该电视节目的开始处渐弱,而不是将该节目的开始处渐强(同时该广告的结束处不改变)。
可选地,附加2通过向每一个所接收帧的结束处附加PCM音频的片段来产生已修改的PCM音频帧,该PCM音频的片段基本上是在所接收帧的有序序列中相邻的跟随帧的开始处的PCM音频的复制。例如,如图5所示,示出了已修改的PCM音频帧50,其中帧n在其结束处具有附加an+1,其是相邻的跟随帧n+1的开始处的复制。当没有相邻的跟随帧时,可以向该附加填充任何音频信息,最合适的是静音。
在帧的结束处进行附加的优点在于,交叉渐变部分与杜比E(Dolby E)知觉编码音频的的帧到帧交叉渐入对齐地出现。因此有助于共同编辑PCM音频和杜比E(Dolby E)编码音频。杜比(Dolby)和杜比E(Dolby E)是杜比实验室许可公司(Dolby LaboratoriesLicensing Corporation)的商标。
当已修改的PCM音频帧被打包以存储或传送时,如下所讨论的,结果信息将具有比输入的PCM音频帧更高的数据率。通常,数据率的增加是不期望的,但是,与本发明的各种方面相一致,平滑的交叉渐变和减少失真的好处在以数据率为代价下是优选的。如下所述,可以使用数据压缩来减轻该数据率的增加。
将已修改的PCM音频帧应用于“维持或重排序”功能或装置4,其可以或者将该已修改的PCM帧维持在一个有序顺序,该有序顺序与一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧赋予一个另外的有序顺序,该有序顺序与一个或多个PCM音频帧的有序序列中的一个的顺序不同,在此情况下,相对于一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点。例如,如果有一个应用于图1的***中的音频帧的有序序列具有,例如,帧n,n+1,n+2,n+3,和n+4,那么可以维持相同的有序序列。可选地,作为一个例子,可以移除帧,以产生另外的有序序列n,n+1,n+3,n+4,其中在帧n+1和n+3之间具有不连续点。另一个例子是重新排列该帧,以产生另外的有序序列n+3,n+4,n,n+1,n+2,其中在帧n+4和n之间具有不连续点。还一个例子是将两个音频帧的有序序列应用于图1的***中:第一有序序列n,n+1,n+2,n+3和第二有序序列n+20,n+21,n+22,n+23。该两个有序序列可以结合在一起,以产生另外的有序序列n,n+1,n+2,n+3,n+20,n+21,n+22,n+23,其中在帧n和n+20之间具有不连续点。
“检测不连续性”功能或装置6接收已修改的PCM音频帧,其可能具有或可能不具有一个或多个不连续点。功能或装置6检测不连续点,并且在检测到不连续点后,将合适的信号或其指示提供给如下所述的其它功能或装置。
“渐强和渐弱”功能或装置8也接收该已修改的PCM音频帧,其可能具有或可能不具有一个或多个不连续点。当附加2将片段附加到帧的开始处,并且由“检测不连续点”功能或装置6检测到不连续点时,功能或装置8将附加到跟随该不连续点之后的已修改帧的开始处的PCM音频渐强,并且将该不连续点之前的已修改帧的结束处的PCM音频渐弱。这连同图6a的例子进行解释。当附加2将片段附加给帧的结束处,并且检测到不连续点时,功能或装置8将附加到该不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随该不连续点之后的已修改帧的开始处的PCM音频渐强。这连同图7a的例子进行解释。已修改帧的渐强和渐弱部分的长度应该是基本相同,下面讨论用于选择适当长度的标准。
“渐强和渐弱”功能或装置可以是分开的功能或装置,并且可以分开使得一个功能或装置执行渐强,而另一个(或许与另一个远程地放置)执行渐弱,或者相反。
图6a示出了相对于彼此具有不连续点的两个已修改帧例子。即,当将帧应用到***时,它们不具有相同的有序顺序。维持或重排序功能或装置4已经产生包括关于原始序列的不连续点的另外的序列。在检测到来自于功能或装置4的有序帧之间的不连续点(如通过功能或装置6)后,渐强和渐弱功能或装置在一对不连续帧上运行。在图6a中,渐强的附加an’示为附加到第(n+1)帧的开始处,以提供具有附加60的帧。该渐强示为线性渐强。其它渐强函数也是可能的,如下面所讨论的。帧n-1是曾经移除的相邻的先前帧。其结束处被渐弱,并且附加an-2,即相邻的先前帧n-2的结束处的片段的复制,被附加到其开始处,以提供具有附加62的渐变帧。渐弱显示为线性渐弱。其它渐弱函数也是可能的,如下面所讨论的。在根据第一方案的本发明中所使用的渐强和渐弱函数可以但并不必需的是互补的。因为只有当有拼接时才产生渐强和渐弱,所以不需要完全的互补。下面讨论用于交叉渐变以及获得互补的技术。
图7a与图6a的不同在于其示出了,对于其中将附加附加到帧的结束处的情况,相对于彼此具有不连续点的两个已修改的PCM音频帧的例子。
在图7a中,渐弱的附加an’示为附加到第(n-1)帧的结束处,以提供具有渐变附加70的帧。该渐弱示为线性渐弱。其它渐弱函数也是可能的,如下面所讨论的。帧n+1是曾经移除的相邻的跟随帧,其中其开始处被渐强,并且附加an+2,即相邻的先前帧n+2的开始处的片段的复制被附加,以提供具有附加72的渐变帧。该渐强显示为线性渐强。其它渐强函数也是可能的,如下面所讨论的。如上所述,在根据第一方案的本发明中所使用的渐强和渐弱函数可以但并不必需的是互补的。
在不连续点处被渐强和渐弱的已修改的PCM音频帧,如图6a和7a中所示,被应用于“重叠和联合”功能或装置12,当由“检测不连续点”功能或装置6检测到不连续点时,该“重叠和联合”功能或装置12将不连续点之前和之后的渐强和渐弱的PCM音频片段对进行重叠和加性联合,以提供交叉渐变部分,其中该渐强和渐弱片段重叠并联合。
图6a的示出的例子在图6b中进行重叠和联合,以使得在已修改帧中的一个中具有交叉渐变部分64。在这个例子中,重叠和联合可以在***输出处最终导致在帧边界处66的以前的不连续帧n-1和n+1的串联。该交叉渐变部分提供从帧n-1中的PCM音频到帧n+1中的PCM音频的平滑的交叉渐变。该交叉渐变是在帧n-1的结束处的音频和帧n的结束处的音频之间,正好在帧n+1之前,并且出现在帧n-1的结束处内。被附加到帧n-1的开始处的附加,诸如附加an-2,或者可以用于另一个交叉渐变,如果它与另一个不连续点相关联,或者可以移除它,如果它不与另一个不连续点相联系,如下所述。包含来自于帧n-1的音频和交叉渐变部分64但是不包括附加an-2的帧68,优选地作为模块被“组合”功能或装置14用作构建块,以产生***输出,即另外的PCM音频帧的有序序列,如下所述。
类似地,图7a的示出的例子在图7b中进行重叠和联合,以使得在该已修改PCM音频帧中的一个中具有交叉渐变部分74。另外,在这个例子中,重叠和联合可以在***输出处最终导致在帧边界处76的以前的不连续帧n-1和n+1的串联。该交叉渐变部分提供从帧n-1中的PCM音频到帧n+1中的PCM音频的平滑的交叉渐变。该交叉渐变是在正好在帧n-1之后的帧n的开始处的音频和帧n+1的开始处的音频之间,并且出现在帧n+1内。被附加到帧n+1的结束处的附加,诸如附加an+2,或者可以用于另一个交叉渐变,如果它与另一个不连续点相关联,或者可以移除它,如果它不与另一个不连续点相关联,如下所述。包含来自于帧n+1的音频和交叉渐变部分74但是不包括附加an+2的帧78,优选地作为构建块被组合14所使用,以产生***输出,即另外的PCM音频帧的有序序列,如下所述。
“移除附加”功能或装置10也接收该已修改PCM音频帧,其或者具有或者不具有一个或多个不连续点。当已修改帧的连续对在该附加之后或之前没有包含不连续点时(因此,检测不连续点6没有检测到不连续点),功能或装置10移除在所述已修改帧对的一个中的附加。例如,在图8中,具有相同序列(n,n+1)的已修改帧对作为帧被应用于图1所显示的***中。功能或装置10从具有帧n的已修改帧中移除附加an+1,以提供结果,帧80,在图8中所示。在这个例子中,被附加到相邻的连续已修改帧中的附加,诸如附加an+2,或者可以用于交叉渐变,如果它与不连续点相关联,或者也可以移除,如果它不与不连续点相联系。与被应用于图1的***中的PCM帧相同的帧80,也优选地作为构建块被组合14所使用,以产生***输出。
作为由“渐强和渐弱”8和“重叠和联合”12,以及“移除附加”10处理的结果,产生具有交叉渐变的PCM音频帧(例如图6b中的帧68和图7b中的帧78),以及与应用于该***的PCM音频帧相对应的PCM音频帧(例如帧80)。由“组合”功能或装置14选择这样的PCM音频帧,并组合成另外的PCM音频帧的有序序列。因此,在***输出处提供另外的PCM音频帧的有序序列,其具有与一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个序列都具有与一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有已相关联的PCM音频交叉渐变部分,其中渐强和渐弱的PCM音频重叠并联合。换句话说,该输出信号可以与输入信号相等或相同-当发生拼接并执行交叉渐变时,该输出信号与输入信号不相同。
图9a和9b是示出使用根据第二方案的本发明的方面的全部***的功能块框图。根据这个第二方案,每一个已修改帧的开始处和结束处都渐变(即应用渐强和渐弱调制包络),并且重叠和联合每一个已渐变的已修改帧,以提供交叉渐变。这个第二方案的优点包括消除了任何对在所述已修改帧序列中确定不连续点的存在的需要,其次,在接收器中需要更少的处理(见下面关于“接收器”)-在接收器中只需要加法(没有乘法)。但是这个方案的缺点在于即使所使用的调制包络是互补的,即渐弱和渐强包络相加为一,也可能在交叉渐变区域的重建音频中存在舍入误差,因为许多计算装置的乘法引入了舍入误差。为了克服这个缺点,下面描述了一种提供互补性渐强和渐弱调制包络的减法方法。
如同在图1的方案中的情况,图9a和9b的***不需要全部位于相同的地方。如下所述,可以使用传送、存储、或传送和存储的联合来允许***元件的某种分离。另外,如下所述,可以与传送、存储、或传送和存储的联合相关地来使用时间压缩/解压缩以及数据编码二者中的任一个或两个。
图9a和9b的方案可以用任一彼此顺序的“维持或重排序”功能或装置94和“渐强和渐弱”功能或装置96来实现。图9a示出了一个选择,其中该“维持或重排序”功能或装置94在渐强和渐弱功能或装置96之前。图9b示出了另一个选择,其中该“渐强和渐弱”功能或装置96在“维持或重排序”功能或装置94之前。在这两个选择中,通过“附加”功能或装置92来接收可以不但包括PCM音频采样而且也包括其它信息和/或元数据的一个或多个PCM音频帧的有序序列,其中功能或装置可以是与图1的方案中相同的。如同在图1的方案中,该PCM音频帧是在它们具有概念性有序顺序的意义上的“有序序列”,所述概念性有序顺序典型地由已分配帧的编号或其它适当的序列标识符来指示。同样,与图1中的方案一样,可以通过例如附加92来接收有序序列,该附加2或者位于PCM音频帧的流中(以图2的方式),或者其可以从其中存储了PCM音频帧的有序序列的存储器空间中进行接收(以图3的方式),在此情况下,可以随机地存储该PCM音频帧它们的顺序仅仅由诸如帧编号的唯一的标识符来进行指示。与图1中的方案一样,该音频帧可以是固定或可变长度的。
与图1中的方案的情况一样,在本发明特别有感兴趣的实际环境中,可以在流中接收PCM音频帧的有序序列,其中该流具有与相关的视频信号流的帧边界相一致的帧边界。数字音频常常与诸如视频的其他基于“帧”的多媒体内容一起被打包。在这种情况下,这有利于在公共帧边界处既编辑音频又编辑视频。
再次参考图9a和9b,附加92以与图1中的附加2相同的方式来操作,即,其通过向每一个所接收帧的开始处附加PCM音频的片段来产生已修改的PCM音频帧,该PCM音频的片段基本上是在所接收帧的有序序列中相邻的先前帧的结束处的PCM音频的复制,或是通过向每一个所接收帧的结束处附加PCM音频的片段,该PCM音频的片段基本上是在所接收帧的有序序列中相邻的跟随帧的开始处的PCM音频的复制。图4和图5中的例子也应用于由图9a和9b中的附加92所产生的已修改帧。
根据图9a的选择,将该已修改音频帧应用于“维持或重排序”功能或装置94,其可以或者将所述已修改帧维持在一个有序顺序,该有序顺序与一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧赋予一个另外的有序顺序,其中有序顺序与一个或多个PCM音频帧的有序序列中的一个的顺序不同,在此情况下,该另外的有序顺序相对于一个或多个PCM音频帧的有序序列中的一个的顺序,在其顺序中具有至少一个不连续点。功能或装置94以与图1中的“维持或重排序”功能或装置4相同的方式来操作。例如,与图1中一样,如果有一个应用于图9a的***中的音频帧的有序序列具有,例如,帧n,n+1,n+2,n+3,和n+4,那么可以维持相同的有序序列。可选地,作为一个例子,可以移除帧,以产生另外的有序序列n,n+1,n+3,n+4,其中在帧n+1和n+3之间具有不连续点。另一个例子是重新排列帧,以产生另外的有序序列n+3,n+4,n,n+1,n+2,其中在帧n+4和n之间具有不连续点。还有另一个例子是将两个音频帧的有序序列应用于图9a的***中:第一有序序列n,n+1,n+2,n+3和第二有序序列n+20,n+21,n+22,n+23。该两个有序序列可以结合在一起,以产生另外的有序序列n,n+1,n+2,n+3,n+20,n+21,n+22,n+23,其中在帧n和n+20之间具有不连续点。
还参考图9a的选择,“渐强和渐弱”功能或装置96也接收该已修改的PCM音频帧,其可能具有或可能不具有一个或多个不连续点。当附加92将片段附加到帧的开始处,功能或装置96将附加到已修改帧的开始处的PCM音频渐强(不仅仅是那些跟随不连续点之后的),并且将已修改帧的结束处的PCM音频渐弱(不仅仅是那些在不连续点之前的)。因此,不同于图1中的“渐强和渐弱”功能或装置8,该功能或装置96的渐强和渐弱动作并不局限于对不连续点之前和之后的已修改帧起作用,而是无论是否存在不连续点都起作用。这连同图10a的例子进行解释。当附加92将片段附加给帧的结束处时,功能或装置96将附加到已修改帧的结束处的PCM音频渐弱,并且将已修改帧的开始处的PCM音频渐强。这连同图11a的例子进行解释。已修改帧的渐强和渐弱部分的长度应该是基本相同的,下面讨论用于选择适当长度的标准。
“渐强和渐弱”功能或装置可以是分开的功能或装置,并且可以分开使得一个功能或装置执行渐强,而另一个(或许与另一个远程地放置)执行渐弱,或者反之亦然。
图10a示出了三个已修改帧例子。一个连续对不具有不连续点,而另一个对具有不连续点。即,一对与具有应用到***的帧相同的有序顺序,而另一对不具有。维持或重排序功能或装置94产生包括关于原始序列的不连续点的另外的序列。渐强和渐弱功能或装置无论一对是否不连续,都在每一帧上操作。在图10a中,渐强的附加an-2’示为附加到第(n-1)帧的开始处,并且第(n-1)帧的结束处是渐弱的,以提供具有附加102的帧。在这个例子中,相邻的连续帧,帧n,具有附加到其开始处的渐强附加an-1’,并且其结束处被渐弱,以提供具有附加104的帧。在这个例子中,相邻的连续帧,帧n+2,具有附加到其开始处的渐强附加an+1’,并且其结束处被渐弱,以提供具有附加106的帧。因此,将每一个已修改帧都进行渐强和渐弱,不管是否存在不连续点。该渐强示为线性渐强。其它渐强函数也是可能的,如下面所讨论的。该渐弱显示为线性渐弱。其它渐弱函数也是可能的,如下面所讨论的。该渐强和渐弱函数优选地可以是互补的,但并不是必需的,如同下面也进一步讨论的。
图11a与图10a的不同在于,对于其中附加被附加到帧的结束处的情况,其示出了三个已修改的PCM音频帧的例子,一个连续对不具有不连续点,而另一个对具有不连续点。即,一对具有与被施加到***的帧相同的有序顺序,而另一对不具有。维持或重排序功能或装置94产生包括关于原始序列的不连续点的另外的序列。渐强和渐弱功能或装置无论一对是否是不连续的,都在每一帧上操作。在图11a中,已渐弱的附加an’示为附加到(n-1)st帧的结束处,并且第(n-1)帧的开始处是渐强的,以提供具有附加108的帧。在这个例子中,相邻的连续帧,帧n,具有附加到其结束处的已渐弱附加an+1’,并且其开始处被渐弱,以提供具有附加110的帧。在这个例子中,相邻的连续帧,帧n+2,具有附加到其结束处的已渐弱附加an+3’,并且其开始处被渐弱,以提供具有附加112的帧。因此,将每一个已修改帧都进行渐强和渐弱,不管是否存在不连续点。该渐强示为线性渐强。其它渐强函数也是可能的,如下面所讨论的。该渐弱显示为线性渐弱。其它渐弱函数也是可能的,如下面所讨论的。该渐强和渐弱函数优选地可以是互补的,如同下面也进一步讨论的。
在图9b的选择的情况中,通过“渐强和渐弱”功能或装置96来将渐强和渐弱应用于由附加92所产生的每一个已修改帧。这样的渐强和渐弱的修改帧随后受维持或重排序94的可能的重排序。图10a和11a的例子可应用于图9b中的维持或重排序94的输出。图9b的“渐强和渐弱”96的输出的例子与图10a和11a中的例子相同,除了修改帧的顺序与应用于附加92的有序序列的顺序相同以外。
在图9a、9b二者中,将已维持或重排序的渐强和渐弱的修改帧应用于“重叠和联合”功能或装置98,其重叠并加性联合了渐强和渐弱的PCM音频片段的每一个连续对,无论是否存在不连续点。因此,每一个结果帧都具有交叉渐变部分。当连续帧的对与应用于该***的帧具有相同的顺序时,该交叉渐变部分与应用于该***的帧的对应部分基本相同。如果渐强和渐弱是互补的,并且通过减法方法获得该互补的渐变函数,如下所讨论的,那么该交叉渐变部分与应用于该***的帧的对应部分是本质上一样的。当通过乘法方法获得该互补的渐变函数时,可以获得称不上本质上一样的,但是仍然是基本上一样的对应。当连续帧的对具有不连续点时,那么该交叉渐变部分提供从一个帧中的PCM音频到跟随帧中的PCM音频的平滑的交叉渐变,与图1中的***当存在不连续点时一样。
图10a示出的例子在图10b中进行重叠和联合,以使得在所述已修改帧中的连续帧中具有交叉渐变部分114和116。在这个例子中,重叠和联合导致在帧边界处118和120处的帧的串联。由不具有不连续点的一对连续已修改帧的导致的交叉渐变114,是在帧n-1的结束处的音频和它本身之间,因此取决于该渐强和渐弱互补性的精确度,将与在帧n-1的结束处的原始音频相同。交叉渐变116在帧n的结束处的音频和帧n-1的结束处的音频之间,正好在帧n+2之前,并且出现在帧n的结束处内。交叉渐变116提供从帧n中的PCM音频到帧n+2中的PCM音频的平滑的交叉渐变。附加到帧n-1的开始处的附加,例如渐强的附加an-2’,可以用于另一个交叉渐变,其没有示出。类似地,在帧n+2的结束处的渐弱可以用于另一个交叉渐变,其没有示出。
类似地,图11a示出的例子在图11b中进行重叠和联合,以使得在所述已修改帧中的连续帧具有交叉渐变部分122和124。在这个例子中,重叠和联合导致在帧边界处126和128处的帧的串联。由不具有不连续点的一对连续已修改帧导致的交叉渐变122,是在帧n的开始处的音频和它本身之间,因此取决于该渐强和渐弱互补性的精确度,将与在帧n的开始处的原始音频相同。交叉渐变122在帧n内。交叉渐变124在帧n+1的开始处的音频和帧n+2的开始处的音频之间,并且出现在帧n+2的开始处内。交叉渐变124提供从帧n中的PCM音频到帧n+2中的PCM音频中的平滑的交叉渐变。附加到帧n-1的开始处的附加,例如渐强的附加an-2’,可以用于另一个交叉渐变,其没有示出。类似地,在帧n-1的开始处的渐强可以用于另一个交叉渐变,其没有示出。
图11c与图11b相似,但是也示出了在已修改帧上使用时间压缩和时间扩展的例子。在图11c中,所示出的三个已修改帧108、110和112存储在存储器空间100中。每一个随后都被时间压缩,以使得它们每一个都适合于一个帧周期内(帧边界表示为125、126、128和129,已时间压缩的已修改帧表示为108’,110’和112’)为了在单一的流中传送所述已修改帧,将所述已修改帧时间压缩,以使得每一个都适合于一个帧周期内。虽然它们可以具有与帧长度相等的持续时间,以使得结果是连续的数据流,但是它们也可以是短于帧长度的,与图11c中的例子一样,其中它们示为短于帧周期,并且任意地放置在帧内。在实践上,已时间压缩的帧可以具有一个非常高的传送率(例如,跨SPDIF或AES-EBU传送),以使得它们只占据在帧边界之间的一小部分空间。该已时间压缩的帧随后被时间解压缩、重叠并相加,以产生在序列帧n-1,n和n+2中具有交叉渐变区域122和124的数据流,与图11b的例子一样。
因此,在图9a和9b二者的变化中,在***输出处提供另外的PCM音频帧的有序序列,其具有与一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个序列都具有与一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,在PCM音频帧的另外的顺序中的连续对具有已相关联的PCM音频交叉渐变部分,其中已经重叠并联合了渐强和渐弱的PCM音频。
实践中,可以将图1、9a和9b中的***的功能或装置分离成,例如,如图12所示,“传送器”功能或装置130、可选择的“编辑”功能或装置134(这里可以是多重编辑功能或装置,如上所述),以及“接收器”功能或装置138。三个功能或装置中的每一个都可以彼此远程地放置。如下所述,编辑134和接收器138可以彼此集成。该传送器和接收器也构成本发明的方面。
传送器130的输出可以由编辑134通过使用任何合适技术传送、存储、或传送并存储的可选的“传送/存储”功能或装置132来接收。编辑134的输出可以由接收器138通过使用任何合适技术传送、存储、或传送并存储的另外可选的“传送/存储”功能或装置136来接收。传送/存储132和136中的传送或存储可以是单一串行数据流、并行数据流或是存储器空间中的数据。
传送器130可以包括使用有损编码(例如,知觉编码类型)、无损编码(例如,霍夫曼(Huffman)编码或Meridian无损封装(MLP))或有损编码和无损编码的联合(例如,知觉编码和霍夫曼编码)来编码传送器输出的编码装置或功能。当传送器130提供已编码输出时,在接收器138中可以包括合适的解码器。编辑134可以包括合适的解码器,并且可以编码它自己的输出。可选择地,编码和解码可以通过从传送器130、编辑134和接收器138中分离的功能或装置来应用。该编码对减轻所增加的数据率是有用的,数据率的增加是来自于比原始帧大它们附加的量的已修改帧的结果。例如,如果PCM音频帧具有与NTSC视频帧相同的长度,即33.37毫秒,并且如果该附加是5毫秒,那么所述已修改帧增加了(33.37+5)/33.37的系数,或是关于输入帧大约15%。为了恢复数据率,将需要100%/(100%+15%)或大约87%的压缩率。其对于无损压缩***十分实际的。
传送器130可以包括时间压缩器,以使得包括附加的已修改帧可以在的不大于来自于它们起源的帧的时间间隔内进行传送。当该传送器130输出串行数据流时,该时间压缩是必需的。当传送器130提供已时间压缩的输出时,在接收器138中可以包括合适的时间解压缩器。编辑134可以包括时间解压缩器,并且可以再压缩它自己的输出(最有可能当该编辑功能或装置包括本地接收器)。可选择地,时间压缩和解压缩可以通过从传送器130、编辑134和接收器138中分离的功能或装置来应用。
根据本发明第一方案的传送器130,图1中所示包括该附加2。根据图1的第一方案的编辑134包括该维持或重排序4。根据图1的第一方案的接收器138可以包括图1中所示的剩余装置和功能,或是不但有图1中所示的剩余装置和功能,而且也有维持和重排序4,在此情况下,没有单独的编辑134(该编辑功能或装置是接收器138的一部分)。这些变化在下面标题为“图1”的表中进行总结。可以有多个编辑134,并且一个或多个编辑134可以包括它自己的本地接收器。
图1
  传送器130   编辑134   接收器138
  2   4   6,8,10,12,14
  2   --   4,6,8,10,12,14
根据本发明第二方案的第一变化的传送器130,如图9a中所示包括附加92。根据图9a的第二方案的第一变化的编辑134可以包括维持或重排序94,或者维持或重排序94和渐强和渐弱96二者。根据图9a的第二方案的第一变化的接收器138包括重叠和联合98,并且如果渐强和渐弱96没有包括在编辑134中,那么可以包括该渐强和渐弱98。或者不但有渐强和渐弱96,而且还有维持或重排序94,在此情况下,没有单独的编辑134(该编辑功能或装置是接收器138的一部分)。包括重叠和联合98的接收器138也可以包括另外的维持或重排序功能或装置。多个编辑134装置或功能或者可以从接收器128中分离,或者它们中的一个或多个可以是接收器138的一部分(在此情况下,接收器138包括维持或重排序94、渐强和渐弱96以及重叠和联合98)。这些变化在下面标题为“图9a”的表中进行总结。可以有多个编辑134,并且一个或多个编辑134可以包括它自己的本地接收器。
图9a
  传送器120   编辑124   接收器128
  92   --   94,96,98
  92   94   96,98
  92   94,96   98
根据本发明第二方案的第二变化的传送器130,如图9b中所示可以包括附加装置或功能92,或是该附加装置或功能92和渐强和渐弱96二者。根据图9b的第二方案的第二变化的编辑134可以包括维持或重排序94。根据图9b的第二方案的第二变化的接收器138包括重叠和联合98,并且如果该编辑功能或装置是该接收器的一部分,那么可以包括维持或重排序94,或是维持或重排序94和渐强和渐弱98两者。包括重叠和联合98的接收器138也可以包括另外的维持或重排序功能或装置。多个编辑134装置或功能或者可以从接收器138中分离,或者它们中的一个或多个可以是接收器138的一部分。这些变化在下面标题为“图9b”的表中进行总结。可以有多个编辑134,并且一个或多个编辑134可以包括它自己的本地接收器。
图9b
  传送器120   编辑124   接收器128
  92   --   96.94,98
  92,96   94   98
  92,96   --   94,98
调制包络
渐强和渐弱的调制包络以及交叉渐变区域的长度都在可听见的拼接编辑或交叉渐变上具有直接的影响。
调制包络是增益形状或外形,其中当应用于音频采样时,典型地将音频从一(增益=1.0)转换到静音(增益=0.0),或相反。存在用于产生这个调制包络的各种函数,并且每一个都提供不同的谱扩散由交叉渐变引起的失真的方式。通常所使用的交叉渐变函数包括线性倾斜(Linear ramp)(如在这里各种图中所示的)、log、汉宁(Hanning)、汉明(Hamming)和正弦(sine)。
交叉渐变区域的长度是在完成该交叉渐变所需要的以采样或秒计量的时间量。如果交叉渐变区域的长度太小(例如小于5毫秒),那么该交叉渐变在抑制听得见的滴答声或砰砰声时并不有效。由于引入了交叉渐变并从零增加重叠,因此当重叠的长度增加时,滴答声变成砰砰声,随后变得越来越难以听见。当达到几ms或低的几十ms的时候,其基本上将该砰砰声减少到听不见(假设渐变函数有感觉地设计)。但是,使用更长的交叉渐变区域也有两个缺点。首先,它导致与每一帧相联系的冗余采样数量的增加(因此数据率开销增加),第二,收听者将开始注意到交叉渐变区域中的混合,这在某些环境中可能是不期望的。例如,如果将不同的音乐片段进行交叉渐变,那么该交叉渐变区域将具有不同的乐调和节奏的混合。如果该交叉渐变有足够长度(例如大于100毫秒),那么混合将变得明显,并且最有可能令人烦恼。
因此期望的是具有交叉渐变区域长度和调制包络函数,它们共同提供短的转换时间同时将听得见的失真最小化。实际上,已经发现了美国专利US.5,903,872所定义的、恺撒贝赛尔导出(Kaiser Besselderived(KBD))平方函数,具有设定为等于1的alpha系数和大约5毫秒的重叠长度是满意的。
在本发明中,特别是在本发明的第二方案中,图9a和9b中所示,渐强和渐弱调制包络函数典型地是对称的和互补的。“对称的”意思是渐弱包络和渐强包络是彼此时间反转等效的。“互补的”意思是渐弱包络和渐强包络经过交叉渐变总和为一。但是,本发明,特别是本发明的第二方案,并不排除不对称的和/或不互补的调制包络的使用。例如,它可以用于基于音频信号特性改变调制包络。如果要使用总和到大于一的、不互补的调制包络,那么可能交叉渐变音频的结果可以“剪切(clip)”-即采样值可以超过解打包装置的增益限制。
交叉渐变每一个帧边界和舍入误差
如上所述,本发明的第二方案,如图9a和9b中的例子所示,优选地使用不引入舍入误差的互补的调制包络。
考虑下面使用互补的调制包络的例子。S(n)是在范围0到1之间的8个音频采样(索引n=0到7)的随机值,并且被量化到3比特的精度(八分之一或0.125的步大小)。在下面的等式中,函数random(8)产生在范围0到8内的均匀概率的无穷精度值,并且函数round()将值舍入到最接近的整数。
S ( n ) = round ( random ( 8 ) ) 8 对于n=0到7(1)
W(n)是也量化到3比特精度的调制包络,在这个例子中,已经选择了四分之一正弦波,但是调制包络函数是任意的。 W ( n ) = round ( 8 - sin ( π - n 16 ) ) 8 对于n=0到7(2)
互补的调制包络是1减去窗口W(n),以使得调制包络和互补的调制包络的和是1。
W(n)+(1-W(n))-1    对于n=0到7(3)
下面的表示出了随机产生的采样和调制包络和互补的调制包络系数。
  n   S(n)   W(n)   1-W(n)
  0   0.875   0.000   1.000
  1   0.875   0.250   0.750
  2   0.250   0.375   0.625
  3   0.125   0.500   0.500
  4   0.750   0.750   0.250
  5   0.625   0.875   0.125
  6   0.125   0.875   0.125
  7   0.625   1.000   0.000
将每一个调制包络应用于该采样,并执行舍入到3比特的精度,产生下面两个数组,A(n)和B(n) A ( n ) = round ( 8 * S ( n ) * W ( n ) ) 8 对于n=0到7(4) B ( n ) = round ( 8 * S ( n ) * ( 1 - W ( n ) ) ) 8 对于n=0到7(5)
  n   A(n)   B(n)   误差[A(n)+B(n)-S(n)]
  0   0.000   0.875   0.000
  1   0.250   0.625   0.000
  2   0.125   0.125   0.000
  3   0.125   0.125   0.125
  4   0.625   0.250   0.125
理想地,A(n)和B(n)的和应该等于原始采样S(n),但是该原始采样和该和的比较显示对于某些采样(索引n=3和4)存在舍入误差。
互补的交叉渐变
如果代替用1-W(n)乘以S(n)来导出采样B(n),而通过减法来产生它们,则消除了舍入误差。这在本发明中定义为“互补的交叉渐变”。因此,新的采样B’(n)是由S(n)减去A(n)导出的。
B’(n)=S(n)-A(n)    对于n=0到7(7)
误差现在可以表示为A(n)+B’(n)-S(n),其简化为A(n)+S(n)-A(n)-S(n)=0(对于全部n)。
因此,如果互补的调制包络由该减法技术导出,那么对于不具有不连续点的连续帧对-即从相同的原始音频信息信号中产生的邻近连续帧,舍入误差将消除。
本发明及其各种方面可以用模拟电路来实现,或者更有可能地是由在数字信号处理器、编程多用途数字计算机、和/或特定用途数字计算机上所执行的软件功能来实现。模拟和数字信号流之间的接口可以以合适的硬件和/或作为在软件和/或固件中的功能来执行。虽然本发明及其各个方面可以包括模拟或数字信号,但是在实际的应用中,大部分或全部处理功能都很可能要在数字信号流上的数字领域中来执行,其中音频信号由采样来表示。
应该了解的是本发明和它各个方面的其它变化和修改的实现将对那些本领域技术人员来说是很清楚的,并且本发明并不由这些所述的具体实施例来限制。因此由本发明预期覆盖任意和所有修改、变化、或等价物,它们都落入下面的基本原理所公开的和这里所要求的真实的精神和范围内。

Claims (36)

1、一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
将所述已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧赋予一个另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加的之后或之前不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供一个另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
2、一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
仅仅向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,以及
传送、存储、或传送并存储所述已修改帧。
3、根据权利要求2的方法,还包括时间压缩所述已修改帧,并且其中所述传送、存储、或传送并存储的步骤将已时间压缩的已修改帧传送、存储、或传送并存储。
4、根据权利要求2的方法,还包括时间压缩并编码所述已修改帧,并且其中所述传送、存储、或传送并存储的步骤将已时间压缩和编码的已修改帧传送、存储、或传送并存储。
5、一种用于处理PCM音频数据的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,
将所述已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或是向所述已修改帧赋予一个另外的有序顺序,其中有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加之后或之前处不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
6、根据权利要求5的方法,其中该已接收的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的已修改PCM音频帧。
7、根据权利要求5的方法,其中该已接收的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的已修改PCM音频帧。
8、一种用于处理PCM音频数据的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧
是通过处理一个或多个PCM音频帧的有序序列来产生的,
所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,
该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,并且
所述已修改的帧具有有序顺序,该有序顺序与所述一个或多个该PCM音频帧的有序序列中的一个的顺序相同,或是具有另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到跟随不连续点之后的已修改帧的开始处的PCM音频渐强,并且将不连续点之前的已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到不连续点之前的已修改帧的结束处的PCM音频渐弱,并且将跟随不连续点之后的已修改帧的开始处的PCM音频渐强,
将在渐强和渐弱的已修改帧的序列中的不连续点之前和之后的渐强和渐弱的PCM音频进行重叠和加性联合,以及
当已修改帧的连续对在该附加的之后或之前不包含不连续点时,将附加到已修改帧的连续对中的已修改帧的PCM音频的片段移除,并且将得到的PCM音频帧进行结合,
由此提供一个另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,不连续点具有相关联的PCM音频交叉渐变部分,其中重叠并联合了所述渐强和渐弱的PCM音频。
9、根据权利要求8的方法,其中该已接收的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的已修改PCM音频帧。
10、根据权利要求8的方法,其中该已接收的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的已修改PCM音频帧。
11、根据权利要求8的方法还包括:
将所述已修改帧维持一个有序顺序,该有序顺序与接收它们的顺序相同,由此所述已修改帧可以具有有序顺序,相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该有序顺序在其顺序中具有至少一个不连续点,或者向所述已修改帧赋予一个另外的有序顺序,该另外的有序顺序与接收它们的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点。
12、一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
将所述已修改帧,或将该渐强和渐弱的已修改帧维持一个有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧,或该渐强和渐弱的已修改帧赋予一个另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在具有与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同的有序顺序,或者具有所述另外的有序顺序的渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其具有与所述一个或多个PCM音频帧的有序序列中的一个相同的顺序,或者在PCM音频帧的序列之间具有一个或多个不连续点,每一个所述序列都具有与所述一个或多个PCM音频帧的有序序列中的一个或它的一部分相同的顺序,在PCM音频帧的另外的顺序中的连续对具有已相关联的PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
13、一种用于处理一个或多个PCM音频帧的有序序列的方法,包括:
仅仅向帧的开始处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者仅向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,由此产生已修改的帧,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将已修改帧的开始处的PCM音频渐强,以及
传送、存储、或传送并存储该渐强和渐弱的已修改帧。
14、根据权利要求13的方法,还包括时间压缩该渐强和渐弱的已修改帧,并且其中所述传送、存储、或传送并存储的步骤将已时间压缩的渐强和渐弱的已修改帧传送、存储、或传送并存储。
15、根据权利要求13的方法,还包括时间压缩并编码该渐强和渐弱的已修改帧,并且其中所述传送、存储、或传送并存储的步骤将已时间压缩和编码的渐强和渐弱的已修改帧传送、存储、或传送并存储。
16、根据权利要求8的方法,其中该渐强和渐弱的已修改帧是通过由渐变函数乘以PCM音频的一部分,以及从PCM音频的另一部分减去由乘法得到的PCM音频的一部分的处理来产生的。
17、一种用于处理PCM音频的方法,包括:
接收渐强和渐弱的已修改PCM音频帧,其中该渐强和渐弱的已修改帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:
向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,以及
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM
音频渐强,
将该渐强和渐弱的已修改帧维持一个有序顺序,该有序顺序与所述一个或多个该PCM音频帧的有序序列中的一个的顺序相同,或是向该渐强和渐弱的已修改帧赋予另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中,PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
18、根据权利要求17的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的渐强和渐弱的已修改PCM音频帧。
19、根据权利要求17的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的渐强和渐弱的已修改PCM音频帧。
20、根据权利要求19的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是用无损编码来编码的。
21、根据权利要求17或20的方法,其中该渐强和渐弱的已修改帧是通过由渐变函数乘以PCM音频的一部分,并从PCM音频的另一部分减去由乘法得到的PCM音频的一部分的处理来产生的,并且其中该PCM音频帧的另外的序列具有与所接收的PCM音频帧的有序序列的至少一部分相同的顺序,由此该PCM音频帧的另外的序列组成所述所接收的PCM音频帧的有序序列的至少一部分的基本上相同的重建。
22、一种用于处理PCM音频的方法,包括:
接收渐强和渐弱的已修改PCM音频帧,其中该渐强和渐弱的已修改帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:
向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或是向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,以
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
其中该渐强和渐弱的已修改帧具有有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者具有另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
23、根据权利要求22的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的已修改PCM音频帧。
24、根据权利要求22的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的已修改PCM音频帧。
25、根据权利要求24的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是用无损编码来编码的。
26、根据权利要求22或25的方法,其中该渐强和渐弱的已修改帧是通过由渐变函数乘以PCM音频的一部分,以及从PCM音频的另一部分减去由乘法得到的PCM音频的一部分的处理来产生的,并且其中该PCM音频帧的另外的序列具有与所接收的PCM音频帧的有序序列的至少一部分相同的顺序,由此该PCM音频帧的另外的序列组成一个所述所接收的PCM音频帧的有序序列的至少一部分的基本上相同的重建。
27、根据权利要求22的方法还包括;
将所述已修改帧维持有序顺序,该有序顺序与接收它们的顺序相同,由此所述已修改帧可以具有有序顺序,相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该有序顺序在其顺序中具有至少一个不连续点,或者向所述已修改帧赋予另外的有序顺序,该另外的有序顺序与接收它们的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点。
28、一种用于处理PCM音频的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧是通过处理一个或多个PCM音频帧的有序序列来产生的,所述处理是通过以下步骤进行的:向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或者向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,
将所述已修改的帧,或将所述渐强和渐弱的已修改帧维持有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者向所述已修改帧,或渐强和渐弱的已修改帧赋予另外的有序顺序,该序列与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,以及
将在具有与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同的有序顺序,或者具有所述另外的有序顺序的、渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供了另外的PCM音频帧的有序序列,其中,PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
29、根据权利要求28的方法,其中该已接收的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的已修改PCM音频帧。
30、根据权利要求28的方法,其中该已接收的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的已修改PCM音频帧。
31、根据权利要求30的方法,其中该已接收的已修改PCM音频帧是用无损编码来编码的。
32、根据权利要求28或31的方法,其中渐强和渐弱的步骤包括由渐变函数乘以PCM音频的一部分,以及从PCM的另一部分减去由乘法得到的PCM音频的一部分,并且其中该PCM音频帧的另外的序列具有与所接收的PCM音频帧的有序序列的至少一部分相同的顺序,由此该PCM音频帧的另外的序列构成所述所接收的PCM音频帧的有序序列的至少一部分的基本上相同的重建。
33、一种用于处理PCM音频的方法,包括:
接收已修改的PCM音频帧,其中该已修改的帧
是通过处理一个或多个PCM音频帧的有序序列来产生的,其通过向帧的开始处附加PCM音频的片段,该PCM音频片段基本上是在有序序列中相邻的先前帧的结束处的PCM音频的复制,或是向帧的结束处附加PCM音频片段,该PCM音频片段基本上是在有序序列中相邻的跟随帧的开始处的PCM音频的复制,并且
该已修改的帧具有有序顺序,该有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序相同,或者具有一个另外的有序顺序,该另外的有序顺序与所述一个或多个PCM音频帧的有序序列中的一个的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点,
当将片段附加到帧的开始处时,将附加到已修改帧的开始处的PCM音频渐强,并且将在已修改帧的结束处的PCM音频渐弱,或者当将片段附加到帧的结束处时,将附加到已修改帧的结束处的PCM音频渐弱,并且将在已修改帧的开始处的PCM音频渐强,以及
将在渐强和渐弱的已修改帧的序列中的渐强和渐弱的PCM音频的连续对进行重叠和加性联合,
由此提供另外的PCM音频帧的有序序列,其中PCM音频帧的连续对具有PCM音频交叉渐变部分,其中重叠并联合了渐强和渐弱的PCM音频。
34、根据权利要求33的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩的,该方法还包括时间解压缩该已接收的已修改PCM音频帧。
35、根据权利要求33的方法,其中该已接收的渐强和渐弱的已修改PCM音频帧是已时间压缩和编码的,该方法还包括时间解压缩并解码该已接收的已修改PCM音频帧。
36、根据权利要求33的方法还包括;
将所述已修改帧维持有序顺序,该有序顺序与接收它们的顺序相同,由此所述已修改帧可以具有有序顺序,相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该有序顺序在其顺序中具有至少一个不连续点,或者向所述已修改帧赋予一个另外的有序顺序,其中有序顺序与接收它们的顺序不同,由此相对于所述一个或多个PCM音频帧的有序序列中的一个的顺序,该另外的有序顺序在其顺序中具有至少一个不连续点。
CN2004800334492A 2003-11-12 2004-11-04 利用重叠来促进平滑交叉渐变的基于帧的音频传输/存储 Active CN1879163B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/712,791 US7292902B2 (en) 2003-11-12 2003-11-12 Frame-based audio transmission/storage with overlap to facilitate smooth crossfading
US10/712,791 2003-11-12
PCT/US2004/036950 WO2005050651A1 (en) 2003-11-12 2004-11-04 Frame based audio transmission/storage with overlap to facilitate smooth crossfading

Publications (2)

Publication Number Publication Date
CN1879163A true CN1879163A (zh) 2006-12-13
CN1879163B CN1879163B (zh) 2012-03-21

Family

ID=34552701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800334492A Active CN1879163B (zh) 2003-11-12 2004-11-04 利用重叠来促进平滑交叉渐变的基于帧的音频传输/存储

Country Status (8)

Country Link
US (1) US7292902B2 (zh)
EP (1) EP1685565B1 (zh)
JP (1) JP4691504B2 (zh)
KR (1) KR101112557B1 (zh)
CN (1) CN1879163B (zh)
AU (1) AU2004292190B2 (zh)
CA (1) CA2545240C (zh)
WO (1) WO2005050651A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105764009A (zh) * 2016-04-29 2016-07-13 青岛海信电器股份有限公司 低音补偿自动切换方法和装置
CN106104679A (zh) * 2014-04-02 2016-11-09 杜比国际公司 利用沉浸式音频元数据中的元数据冗余
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867076B2 (ja) * 2001-03-28 2012-02-01 日本電気株式会社 音声合成用圧縮素片作成装置、音声規則合成装置及びそれらに用いる方法
TWI237806B (en) * 2004-11-03 2005-08-11 Sunplus Technology Co Ltd Audio decoding system with ring buffer and method thereof
US8032368B2 (en) * 2005-07-11 2011-10-04 Lg Electronics Inc. Apparatus and method of encoding and decoding audio signals using hierarchical block swithcing and linear prediction coding
US20080077262A1 (en) * 2006-09-08 2008-03-27 Apple Computer, Inc Distortion free stitching of digital media files
US20080226095A1 (en) * 2007-03-15 2008-09-18 Sifeon Knowledge Technology Internet radio system
US8069051B2 (en) * 2007-09-25 2011-11-29 Apple Inc. Zero-gap playback using predictive mixing
JP4924633B2 (ja) * 2009-02-27 2012-04-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8174761B2 (en) * 2009-06-10 2012-05-08 Universitat Heidelberg Total internal reflection interferometer with laterally structured illumination
WO2012122543A1 (en) * 2011-03-09 2012-09-13 Sirius XM Radio, Inc. System and method for increasing transmission bandwidth efficiency
JP6115308B2 (ja) * 2013-05-22 2017-04-19 富士通株式会社 情報処理システム、情報処理システムの制御方法、及び制御プログラム
JP5737357B2 (ja) * 2013-10-18 2015-06-17 オンキヨー株式会社 音楽再生装置及び音楽再生プログラム
US9607650B2 (en) * 2014-11-02 2017-03-28 W. Leo Hoarty Systems and methods for reducing audio distortion during playback of phonograph records using multiple tonearm geometries
GB2539875B (en) * 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content
WO2017019674A1 (en) * 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Audio discontinuity detection and correction
EP3342040B1 (en) 2015-08-24 2019-12-18 Dolby Laboratories Licensing Corporation Volume-levelling processing
US9977645B2 (en) * 2015-10-01 2018-05-22 Moodelizer Ab Dynamic modification of audio content

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3872503A (en) * 1974-01-23 1975-03-18 Westinghouse Electric Corp Elimination of transients in processing segments of audio information
DE3233287A1 (de) * 1982-09-08 1984-03-08 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zum speichern digital codierter bildsynchroner tonsignale
JPS6055566A (ja) * 1983-09-02 1985-03-30 Matsushita Electric Ind Co Ltd Pcm音声信号の高速再生方法
DE3424816A1 (de) * 1984-07-06 1986-01-16 Robert Bosch Gmbh, 7000 Stuttgart Verfahren zum speichern digital codierter, bildsynchroner tonsignale
JPS63246087A (ja) * 1986-11-19 1988-10-13 Pioneer Electronic Corp 記録方式
US5225945A (en) * 1988-02-24 1993-07-06 Sony Corporation Apparatus for editing pcm signals reproduced at different speeds from two memories
JP2737182B2 (ja) * 1988-11-29 1998-04-08 ソニー株式会社 オーディオデータの変速再生方法
US5109417A (en) * 1989-01-27 1992-04-28 Dolby Laboratories Licensing Corporation Low bit rate transform coder, decoder, and encoder/decoder for high-quality audio
JP2529455B2 (ja) * 1990-09-18 1996-08-28 松下電器産業株式会社 磁気記録再生装置
US6124895A (en) * 1997-10-17 2000-09-26 Dolby Laboratories Licensing Corporation Frame-based audio coding with video/audio data synchronization by dynamic audio frame alignment
US5913190A (en) * 1997-10-17 1999-06-15 Dolby Laboratories Licensing Corporation Frame-based audio coding with video/audio data synchronization by audio sample rate conversion
US5903872A (en) * 1997-10-17 1999-05-11 Dolby Laboratories Licensing Corporation Frame-based audio coding with additional filterbank to attenuate spectral splatter at frame boundaries
US5913191A (en) * 1997-10-17 1999-06-15 Dolby Laboratories Licensing Corporation Frame-based audio coding with additional filterbank to suppress aliasing artifacts at frame boundaries
JP2000207827A (ja) * 1999-01-11 2000-07-28 Sony Corp 信号生成装置及び方法、信号処理装置及び方法
US6952668B1 (en) * 1999-04-19 2005-10-04 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7117156B1 (en) * 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
JP3805929B2 (ja) 1999-07-05 2006-08-09 パイオニア株式会社 情報記録装置及び情報記録方法
US6407972B1 (en) 1999-10-20 2002-06-18 Sony Corporation Editing apparatus and editing method
US20020116178A1 (en) * 2001-04-13 2002-08-22 Crockett Brett G. High quality time-scaling and pitch-scaling of audio signals
GB2378873B (en) 2001-04-28 2003-08-06 Hewlett Packard Co Automated compilation of music
US7233832B2 (en) * 2003-04-04 2007-06-19 Apple Inc. Method and apparatus for expanding audio data
CA2483117C (en) * 2003-09-29 2013-10-29 Xianbin Wang Multi-symbol encapsulated ofdm system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104679A (zh) * 2014-04-02 2016-11-09 杜比国际公司 利用沉浸式音频元数据中的元数据冗余
CN106104679B (zh) * 2014-04-02 2019-11-26 杜比国际公司 利用沉浸式音频元数据中的元数据冗余
CN105764009A (zh) * 2016-04-29 2016-07-13 青岛海信电器股份有限公司 低音补偿自动切换方法和装置
CN105764009B (zh) * 2016-04-29 2019-03-12 青岛海信电器股份有限公司 低音补偿自动切换方法和装置
CN110349564A (zh) * 2019-07-22 2019-10-18 苏州思必驰信息科技有限公司 一种跨语言语音识别方法和装置

Also Published As

Publication number Publication date
AU2004292190A1 (en) 2005-06-02
JP4691504B2 (ja) 2011-06-01
KR20060120108A (ko) 2006-11-24
US20050102049A1 (en) 2005-05-12
EP1685565B1 (en) 2013-07-24
KR101112557B1 (ko) 2012-02-15
AU2004292190B2 (en) 2009-01-29
CA2545240A1 (en) 2005-06-02
US7292902B2 (en) 2007-11-06
CA2545240C (en) 2012-04-10
CN1879163B (zh) 2012-03-21
EP1685565A1 (en) 2006-08-02
WO2005050651A1 (en) 2005-06-02
JP2007512642A (ja) 2007-05-17

Similar Documents

Publication Publication Date Title
CN1879163A (zh) 利用重叠来促进平滑交叉渐变的基于帧的音频传输/存储
CN1154087C (zh) 提高低比特率音频编码***音质的方法、编码器和译码器
CN1267920C (zh) 信号处理方法与装置
CN1199179C (zh) 在帧边界处衰减频谱邻频干扰的音频编码
CN1310241C (zh) 声音编码方法和解码方法、声音传输方法
CN1288849C (zh) 音频译码装置
CN1233163C (zh) 多声道数字音频信号的压缩编码和解码设备及其方法
CN1233165C (zh) Mpeg编码装置和mpeg解码装置以及编码程序
CN101031959A (zh) 带有压缩侧面信息的多声道分级音频编码
CN101044550A (zh) 产生编码多通道信号的设备和方法、对编码多通道信号进行解码的设备和方法
CN1369092A (zh) 高质量音频的可缩放编码方法
CN1942931A (zh) 通过树型分层数据结构的有序横向结构描述比特流语法的音频比特流格式
CN1700757A (zh) 用于以高质量的可变速度播放视听媒体的***和方法
CN1486486A (zh) 用于编码和解码声学参数的方法、设备和程序及用于编码和解码语音的方法、设备和程序
CN1231890C (zh) 编码设备、解码设备和广播***
CN1795493A (zh) 用于采用子带滤波来嵌入水印的装置和方法
CN1901043A (zh) 立体声音频编码方法及装置,音频流解码方法及装置
CN1189863C (zh) 数字传送设备及方法
CN1568616A (zh) 文件生成装置及数据输出装置
CN1666572A (zh) 信号处理
CN1841499A (zh) 代码转换装置和方法
CN1893284A (zh) 声音再现装置
CN1126907A (zh) 信息编码方法和装置,信息译码方法和装置及记录载体
CN1148106C (zh) 压缩多声道音频位元流的解码装置及方法
CN1815880A (zh) 用于自动控制音频音量的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant