CN1249623A - 运动图象记录/再现装置 - Google Patents

Abstract

本发明通过利用压缩时间上在目标图象之前和之后的图象的图象压缩方法记录包括在记录开始事件被产生之前输入的比特流在内的比特流作为参考图象,可以自记录开始事件产生的那点起准确地记录运动图象。为了使上述MPEG2压缩***成为可能,本发明提供了信号处理器和摄影装置,它们能够搜索运动矢量从而恰当地改变目标搜索范围,为每个图象类型设定一个编码量分配值,允许优化参数在记录开始事件产生之前和产生之时分别设定。

Description

运动图象记录/再现装置

本发明涉及通过高效压缩数字运动图象来记录/再现这些图象的信号处理装置，更具体地说涉及利用参考数据压缩记录方法能够在记录开始指令被接收的时候记录高质量图象的运动图象记录/再现装置，所述参考数据压缩记录方法采用就时间而言在目标图象之前和之后输入的图象作为参考图象。

压缩运动图象和音频数据的标准H.262(通常被称为“MPEG 2”方法)是众所周知的压缩运动图象和音频数据方法。该标准描述于ITU-T***“Audio Visual/Multimedia related(H series)Recommendations”(1995年2月18日由Nihon ITU Kyokai(财团法人)发行)。

根据MPEG2方法，一幅图象被划分为被称为宏块的矩形块。每个块包括16×16个象素。然后根据就时间而言位置分别在与拟压缩的目标宏块之前和之后的图象提取作为与该目标图象具有紧密相似性的区(参考区域)，然后计算出关于此参考区的微分(differential)和相当于其所处的方位(运动矢量)以及此参考区与拟压缩区之间的差数据。然后将这些数据项经DCT(离散余弦变换)和可变长度编码处理技术压缩为比特流。这样的仅压缩运动矢量和差信息的方法比较压缩原始图象自身的其它方法而言在压缩数据时效率要高得多。换句话说，该方法可以在许可压缩失真条件同于所有其它方法的情况下将数据压缩成较少量的比特流。尽管如此，采用此类差数据压缩而成的图象在没有参考图象的情况下不能被解压缩。为避免此类问题，必须周期性提供未参照其它任何图象的图象，以便解决在数据流中间某点执行的每个数据解压缩问题(被称为随机访问)。这样的无参考的图象被称为“I帧”(帧内图象)。如此，这样的I图象被使用作为参考图象，进而压缩下一帧图象。然后被压缩的图象被使用作为压缩下一图象帧的另一参考图象帧，依此类推。

参照其它图象压缩的图象被归类为P图象(预测编码图象)和B图象(双向预测编码图象)。P图象仅采用在时间上位于目标图象之前的图象，而B图象既采用在时间上位于目标图象之前的图象，也采用在时间上位于目标图象之后的图象。与I图象相似，P图象可以被使用作为其它图象的参考图象。图17表示了采用I、P、B图象压缩的运动图象的构成。在图17中，参考标号121表示了按输入图象的递增顺序组成的一种图象类型构成。对于按递增顺序1、2、3、…、8输入的图象以4幅图象按B、I、B和P的顺序为单元确定图象类型。图象B参考时间上位于目标图象之前和之后的I和P图象。P图象参考时间上位于目标图象之前的I或P图象。这种参照关系于图17中用箭头表示。箭头起始点处的图象被用作为压缩处于箭头结束点的图象的参考图象。在本例子中，在2和6表示的每个I图象处开始数据扩展是可行的。根据MPEG方法，一个GOP(图象组)可以由包含一个I图象和其它直接与间接参照该I图象的其它图象的一系列图象组成。在每个GOP加入一个GOP头。该GOP按一个随机访问的单元使用。

由于数据压缩处理技术在采用B图象的情况下使用了在时间上位于目标图象之前的图象和在时间上位于目标图象之后的图象作为参考帧，故此输入图象的次序以及在压缩所得的每个比特流中各图象的次序都被改变了。

图17分别表示了在MPEG 2格式下记录的输入图象121的构成和比特流中压缩(记录)图象122的构成。在该例子中，例如拟压缩成B图象的图象3通过参考时间上位于目标图象之前和之后的图象而得到压缩。这样图象3在比特流中的图象4被压缩之后压缩。因此图象3被置于图象4之后。

由于对于包含I、P和B图象类型在内的运动图象而言不同的图象类型的压缩比有所不同，故此必须对这些图象进行控制使得对于每类图象有适当的编码，由此对这些图象按一致质量压缩。这样的编码量因输入图象的特性而明显变化。例如，对于正以一个整体并行移动的运动图象，如果采用一个运动矢量来参照某一图象，那么压缩比明显提高。这样有可能在对P和B图象分配的编码量较少而对I图象分配得较多的情况下按同样的质量压缩图象。如果目标运动图象存放在形状随时间改变的区域中，那么即使采用运动矢量来参照某一图象也不会增加压缩比。为了避免此类问题的发生，P和B图象必须用多得多的数据量编码。这样的编码方法披露于“ISO-IEC/JTC1/SC20/WG11CODED REPRESENTATION OF PICTURE AND AUDIO INFORMATION TESTMODEL 5”，它被表明是采用MPEG 2标准时的一种压缩方法。根据该模型，究竟有多少I、P和B图象被编码是在目标压缩开始之前临时决定的，此后根据每个GOP的实际压缩结果而得到的编码量和表明压缩程度的系数(量化系数)确定下一GOP的编码量。

由于不同类型的压缩方法按如此方式组合从而以高压缩比压缩图象，故此可以在即使是诸如硬盘之类的盘介质中长时间记录运动图象。例如，如果MPEG 2被用于压缩当前TV广播所用的NTSC信号，包含200Mbps数据的NTSC信号可以一直压缩到4Mbps。这种压缩数据可以在具有1吉比特容量的硬盘上存储达33分钟，但是此类数据在未压缩前仅可存储40秒。因此该方法可以将运动图象记录在盘介质，而不是目前记录数字运动图象所采用的磁带上。

MPEG 2可以自I图象起开始数据扩展。但是如果早于I图象输入的图象被压缩为B图象，那么该B图象在目标比特流中被放置于该I图象的后面。该B图象可以参考时间上位于其之前的I或P图象。如果对于在某事件之前的某部分采用了此类记录方法并且比特流由位于另一比特流中在该I图象之后分离的图象以及其位于比特流内的后续图象组成，那么在该比特流的开始处引入参考时间上位于其之前图象的图象是可能的。如果将图象记录在介质上的过程是在如此的B图象被取出的同时开始的，那么该比特流的第一个图象在再现处理过程中不被解压缩。

处于这样的氛围下，本发明的目的是提供一种运动图象记录装置，它可以在刚刚接收到指定的记录开始指令的时候非常准确地记录图象，其原因是采用了将时间上位于目标图象之前和之后的图象压缩为参考图象的压缩方法，对包括那些位于指定开始点之前的图象在内的比特流进行压缩。

本发明的另一目的是提供运动图象记录装置，它可以在压缩和记录运动图象信号所采用的运动记录/再现装置中的记录介质上记录在指定记录开始指令被接收之前输入的数据和指定记录开始指令被接收之后输入的数据。

本发明的又一目的是提供运动图象再现装置，它可以在压缩和记录运动图象信号的运动图象再现装置中，利用在记录开始指令被接收之前记录在记录介质上的数据再现在记录开始指令被接收之后记录的图象。

为了实现上述目的，本发明按照下文构成在记录介质上记录输入和编码的运动图象信号所采用的运动图象记录/再现装置。

在记录操作中，在从操作者或操作指示源接收到记录开始信号之前设置第一模式(暂时记录模式)和第二模式(真实记录模式)。第一模式被用于获取在此类记录开始信号被接收之前的图象，而第二模式被用于获取在记录开始信号被接收之后的图象。提供第一和第二模式的目的是分离在记录开始信号被接收之前所执行的操作和在记录开始信号被接收之后所执行的记录操作。记录类型可以在这些模式之间根据记录用意予以适当改变。当然，记录类型可以在这些模式之间保持不变。

根据本发明，在第一模式中当暂时记录开始指令被接收的时候所输入的运动图象数据被编码并记录在记录介质上。可以根据记录用意设定暂时记录开始的时序。编码数据可以记录在该装置所配置的各种记录介质，包括主存储器、高速缓冲存储器、半导体存储器、磁盘等等之上。

此后，在第二模式根据从操作者或操作指示源接收到的真实记录开始信号对所输入的运动图象数据编码。尽管对于此编码采用了MPEG方法，然而也可以采用其它的运动图象压缩方法。在第二模式下编码的图象然后被记录在记录介质上。正如第一模式一样，可以根据记录用意适当采用任何的记录介质。从第一模式移动到第二模式的时序被记录在记录介质的特定区域。这是因为操作者或操作指示源必须标明在再现操作下所要作的记录处理操作的开始处的记录数据。

图1是在本发明的一个实施例中具有运动图象压缩功能的信号处理器的框图；

图2是在本发明的一个实施例中表明GOP构成指示装置的操作的时序图；

图3表示了在本发明的一个实施例中诸如闭合GOP等等的图象类型的构成；

图4表示了在本发明的一个实施例中诸如闭合GOP等等的图象类型的另一构成；

图5是在本发明的一个实施例中表明GOP构成指示装置的操作的另一时序图；

图6是在本发明的一个实施例中的一个图象结构；

图7是在本发明的一个实施例中表明GOP构成指示装置的操作的另一时序图；

图8是在本发明的一个实施例中表明GOP构成指示装置的操作的另一时序图；

图9是伸缩式(TELESCOPIC)搜索操作的轮廓；

图10是在本发明的一个实施例中搜索范围的中心是如何在运动矢量搜索装置中移动的示例；

图11是在本发明的一个实施例中对于每个图象类型编码量是如何在编码量指示器所发出的指令的作用下改变的示例；

图12表示了压缩比在本发明的实施例中是如何改变的；对压缩比的改变是编码量指示器的一项操作；

图13是表明拟压缩的图象是如何在本发明的实施例的压缩器中改变的示例；

图14是表明图象是如何记录在本发明的实施例的记录介质中的示例；

图15是表明图象是如何记录在本发明的实施例的记录介质中的另一个示例；

图16是表明图象是如何记录在本发明的实施例的记录介质中并存储在缓冲存储器中的示例；

图17是GOP中图象类型的结构。

图18是MPEG摄像机的框图，它是摄影器材的一个例子；

图19A和图19B是在本发明实施例中如何记录运动图象的原理；

图20是表明在本发明实施例中记录运动图象的过程的流程图；

图21是表明再现在本发明实施例中记录的运动图象的过程的流程图。

首先参照图19A说明在本发明的实施例中运动图象或音频数据是如何记录的。在图19A，水平轴代表时间。当开始获取图象(193)时，本发明实施例中的运动图象记录/再现装置在第一模式下处理所输入的图象。由于用户并未直接指定在该模式下记录数据，故此在该模式对数据的记录在这里被称为“暂时记录”。该处理后的数据暂时存储在缓冲存储器中或者存储在记录介质上。此后如果接收到记录指令194，那么所输入的图象在第二模式下处理。由于在第二模式下记录数据是由用户直接指定的，故此在该模式对数据的记录在这里被称为“真实记录”。在第二模式，压缩处理条件可以与第一模式所设置的条件有所不同。在此情况下，重要的是在诸如MPEG之类的压缩处理期间不仅在第二模式下的图象(图19A的197)，而且在第一模式下记录开始指令194被接收之前刚刚输入的图象(图19A的196)都应当一起记录在记录介质上，所述的压缩处理是利用时间上在目标图象之前和之后输入的图象作为参考图象而执行的。图象196可以是图象191的一部分，或者整个图象191可以被记录。

与带式介质不同的是，盘介质可以在其任何位置读、写图象数据。利用盘介质的此类特性，有可能做到在表明记录图象的开始时间或者在该开始时间之前或之后的某时刻的事件(记录开始事件)被产生之前开始暂时记录，然后继续该记录操作同时数据相继值得注意地覆盖在较早的记录区，直到上述事件被产生。如果上述事件产生，那么盘介质可以继续对后续图象的真实记录同时被认定为在上述事件产生之前的具有预定长度的记录区保持原样。表明暂时记录开始的获取图象193开始点和真实记录开始命令194之间的关系是因所使用的装置而有所不同，如图19B所示。

例如，对于采用盘记录介质的视频摄像机来说，对图象的获取是在视频摄像机被接通或者设置在备用状态(即记录暂停状态)的时候开始的。当操作者按下记录按钮的时候，视频摄像机将记录按钮接通(ON)的时序看作为记录开始指令194。对于安全摄像机，对图象的获取可以在安全摄像机被加电或者开始监视的时候开始。当检测到任何事件的时候(当听到玻璃打碎声，红外线束检测到人的存在，或者检测到监视装置发生振动的时候)，该事件检测到的时序被定义为记录开始指令194。

对于安装在车辆上的监视摄像机，对图象的获取可以在该车辆的引擎发动的时候开始。在车辆上检测到的冲击或振动也可以被定义为记录开始指令。对于台式视频盘录像机，对图象的获取可以在该录像机被加电或者频道选定的时候开始。当视频盘录像机的开始按钮被使用者按下的时候，也可以将其定义为记录开始指令。

如上所述，本发明可以在表明记录开始时间或者在目标图象的该记录开始时间之前或之后的某时刻的事件(被称为“记录开始事件”)被产生之前开始在记录媒体上对图象的记录。如果这样的事件发生，本发明可以继续对后续图象的记录同时在该事件产生之前的具有预定长度的记录区保持原样。例如，可以在听到大的声音的同时记录安全摄像机所取得的图象。如果希望在该事件(大的声音)前、后10分钟的图象被记录下来，那么上述记录方法将是可行的，因为图象可以在从大的声音被听到的时刻到在此时刻之前的预定时刻之间都可以得到记录。下面，这样的记录将被称为“事件前记录”。

下面，参照图1描述本发明上述实施例中具备运动图象压缩功能的信号处理器的框图。其中采用了一个操作类型指令输入端1，来接收一个指示记录操作类型变化情况的信号。记录操作类型的改变意味着在开始有关获取图象操作(193)或在接收到记录开始指令194的时候获取有关操作类型的指令。利用一个编码量控制周期指令输入端2，接收一个指示在MPEG压缩处理期间有关编码量控制的周期的信号。采用一个运动矢量搜索周期指令输入端4来接收一个指示在MPEG压缩处理期间运动矢量搜索装置的操作周期的信号。

一个声音输入端5被用于接收模拟或数字形式的声音信号。编码量指示器6、GOP构成指示器7、和图象类型指示器8被分别用于在动态或静态图象压缩处理期间改变操作类型。记录/再现装置100是诸如包含DVD和CD-R/RW在内的光盘装置、磁盘存储装置、磁带装置、半导体存储器等等的数据记录装置。在图1，采用了光盘140。尽管在图1没有表示，记录/再现装置100包含了记录装置、记录数据管理类型控制装置、用来检测从暂时存储装置记录到记录装置中的故障情况的记录故障检测装置，用来在记录处理出现故障的情况下重复记录操作的记录重复装置。缓存器16被用于暂时存储压缩图象和声音数据。例如，缓存器16包括诸如RAM、闪存卡存储器等等的半导体存储器。输入缓存器19是被用于暂时存储所输入数字视频信号和/或数字声音信号的存储器。记录周期指令输入端18用于指示将数据记录到记录/再现装置100中。

接下来，对上述实施例中的信号处理器的操作作一描述。从声音输入端5输入的运动图象通过输入缓存器19被压缩成图象类型指示器8所指示的图象类型，并且构成为由GOP构成指示器7所确定的GOP。输入缓存器19是可以省略的。GOP构成指示器7根据来自GOP构成控制周期指令输入端3的信号和来自操作类型指令输入端1的信号构成下文所述的GOP。

图2是表明GOP构成指示器7的操作的时序图。参考标号21表示从GOP构成控制周期输入端3输入的信号，而22表示从操作类型指令输入端1输入的信号。参考标号23表示GOP构成指示器7输出的一个表明GOP构成的信号。在该时序图，在该记录开始事件输入之前图象被指示按闭合GOP形式压缩。在该记录开始事件输入之后，图象被指示按照与GOP构成无关的形式或按非GOP构成方式压缩。图象类型指示器8指示每个图象的类型，使得这些图象组成为一个GOP。

下文将参考图3描述图象类型指示器8的操作。在图3，图象类型组成为闭合GOP和非闭合GOP。在图3，参考标号31表示的是按照输入次序组合的图象类型构成。I、P、BB、和BD分别表示I图象类型、P图象类型、未参考时间上位于其前面的图象的B图象类型、参考了时间上位于其之前和之后的另一B图象类型。闭合GOP包括图象1到4。位置在该GOP的开始处的B图象并未参考时间上位于其自身之前的图象0，因此它可以成为闭合GOP。对于每个闭合GOP在GOP的头部分中设置了闭合GOP标记。该标记确保了位于GOP初始位置的B图象未参考置于其之前的图象。

另一方面，其构成与闭合GOP无关的一个GOP包括图象5到8。在该GOP中的第一图象5参考了时间上位于其自身之前的图象4，所以图象5不能成为闭合GOP。

图4是闭合GOP中的另一图象构成。参考标号I、P、BD等等在含义与图3所示相同。在该例子中，在按照输入次序放置的闭合GOP图象的第一个位置放置了一个I图象。由于包括图象2到4的该GOP未参考在此之前的GOP的任何图象，故此该GOP可以成为闭合GOP。如同前面例子所述，由于在真实记录开始事件指令被输入之前图象是以闭合GOP的形式压缩的，因此对这些图象的解压缩通常可以在任何GOP边界处开始。

图5是表明GOP构成指示器7的操作的另一时序图。图5的参考标号在含义与图2所示相同。在图5，图象类型作如此处置，使得在真实的记录开始指令被接收之前参考了时间上位于预定I图象之前的任何图象并未包含在目标比特流中，就如同闭合GOP一样。预定I图象是开始解压缩的图象。图6是在该周期中允许在任何中间位置进行图象解压缩的一种图象构成。图6的参考标号在含义上与图3所示相同。在图6，该构成(1)允许在中间位置进行数据解压缩，它包含B图象。但是B图象不在任何I图象之前。构成(1)的图象因此可以按通常方式解压缩，即使在其头部没有设置闭合GOP标记的时候。构成(2)允许在中间位置进行数据解压缩，它仅包含I图象。在这样的构成(2)中，对图象的解压缩可以从这些I图象的任何一个开始，即使在其GOP头没有设置闭合GOP标记的情况下。如果这些图象以一个由GOP头引导的GOP的形式构成，其中设置了闭合GOP标记，该构成就变得如同图4一样。下面，这些图象构成将统统被看作为允许在中间位置进行数据解压缩的一种构成。

图7是表明GOP构成指示器7操作的另一时序图。图7的参考标号在含义与图2所示相同。在图7，在真实记录开始事件指令被接收之前至少有一些GOP是闭合GOP。这些GOP通常是可以解压缩的，如果它是自这些闭合GOP中的任何一个开始的话。

图8是表明GOP构成指示器7操作的另一时序图。图8的参考标号在含义与图2所示相同。在图8，在真实记录开始事件指令被接收之前的图象构成中至少有一些能够用于在中间位置对数据解压缩，正如图5所示例子一样。该部分的图象构成与图6所示相同。图象通常是可以解压缩的，如果它在这个允许在中点解压缩的周期开始的话。

根据上文所确定的图象类型构成，运动矢量搜索装置9开始搜索类似于在参考图象处目标宏块的图象的图象区域。首先，压缩单元组合器10将输入图象分成为分别由16×16个象素构成的矩形区(宏块)。然后运动矢量搜索装置9从每个宏块中的参考图象当中搜索亮度与预定参考图象最接近的区域，并且将该区和目标宏块之间的空间间隔定义为运动矢量。通常，搜索范围是受到限制的，但是优选应当对所有参考图象进行搜索。这是因为对于这样的全程搜索需要许多处理工作量。由于图象中的重要目标通常是按均匀速率移动的，故此将搜索范围缩小，以便沿与上次搜索运动矢量相同的方向和用相同大小搜索目标区，以及沿与上次搜索运动矢量非常接近的方向和用相同大小搜索目标区。下面这样的运动矢量的搜索范围的中心将被称为搜索中心。

图9表示了这种伸缩搜索的轮廓。在图9，51、52、53表示相继压缩的运动图象。图象52在参考图象51的基础上压缩。图象53在参考图象52的基础上压缩。图象52内的区55具有与区54相似的数据。图象53内的区56具有与图象52内的区55相似的数据。如果区55要被压缩，首先在图象51内搜索与区55相似的区54，然后采用区54和55之间的数据差以及由于搜索而获得的运动矢量57对该区压缩。同样，采用区55和56之间的数据差以及来自区55的运动矢量57对区56压缩。由于运动中的重要目标通常以均匀速率移动，故此运动矢量57和58通常在方向和大小上是相似的。因此，如果运动矢量57已经搜索到，那么运动矢量58有可能仅仅在具有相同方向和相同大小的矢量的邻近区域59中正确搜索到；不必整屏去搜索运动矢量58。由于搜索范围作了如此限制，本发明可以明显降低该信号处理装置的电路规模和功耗。至于处理开始时的图象，搜索工作是在矢量长度为0的预定区域进行的，这是因为不存在上一图象的运动矢量。但是对于后续图象，下一搜索范围是根据上文所述的前一搜索结果确定的，由此缩小了搜索范围，从而便于正确地搜索目标矢量。

在该实施例中，对于放置在拟记录的目标图象之前的图象输入运动矢量搜索周期指令4，由此在记录处理之前开始对运动矢量进行搜索。图10表明在该实施例中运动矢量搜索装置9的搜索中心是如何移动的。在图10，61表示从运动矢量搜索周期指令输入端4输入的信号，而22表示从操作类型指令输入端1输入的信号。参考标号63表示运动矢量搜索装置9的搜索中心。参考标号64表示运动矢量搜索开始处的图象的搜索中心。标号65表示后续图象的搜索中心，标号66表示从记录周期指令输入端18输入的信号。在运动矢量搜索刚刚开始时，搜索中心矢量长度为0。但是此后，搜索中心变为根据上一次运动矢量搜索结果所得的矢量。这样搜索是在上面所确定的搜索中心附近进行的。根据本实施例，由于运动矢量搜索可以在真实记录开始事件之前开始，因此有可能在真实记录开始事件产生时在适当缩小的范围内搜索目标运动矢量。另外，即使当在真实记录开始事件之前即已经开始暂时记录的情况下，也有可能在适当的矢量附近搜索目标运动矢量，这是因为如果在从记录周期指令输入端18接收到信号之前从运动矢量搜索周期指令输入指令端4接收到信号的话，那么当记录处理开始的时候对运动矢量的搜索可以在适当矢量附近开始，如图10所示。

然后运动补偿器11利用由上述方法获得的运动矢量对该运动进行补偿。运动补偿意味着一种用来获得拟压缩的宏块与用于从中分离参考图象运动矢量所指定的区域的图象之间的亮度差值的处理。此外，压缩器12对该差值和运动矢量数据进行诸如正交变换、量化和可变长度编码等等的压缩处理。正交变换处理将一个宏块分割为分别由8×8个象素组成的区域，并对每个此类区域执行两维DCT处理，从而对空间频率分量执行正交变换。这一处理操作获得了具有一定幅度分布的信号串，使得空间频率分量的幅度小于自然图象特征的幅度，并且高空间频率分量的幅度较小。对于每个空间频率，量化处理操作将每个如此的信号串除以预定数值，然后将结果除以为每个宏块指定、被称为量化系数的一个常数，由此使目标信号的幅度最小。该量化系数可以被用于控制压缩比。增加该量化系数的结果是在除法运算之后降低了每个信号，并且提高了压缩比，这是因为在做除法运算的时候采用了较大的值。但是，量化也增加了失真程度。减小该量化系数降低了压缩比，而信号幅度保持为较大的数值，这是因为除法运算采用了较小的数值。但是，由量化引起的失真得到了降低。由于通过对经压缩的比特流解压缩而获得的图象是数据量通过在高空间频率分量附近量化而减少的图象，故此该图象与原始图象有所不同。由于该图象被用作为参考图象，故此压缩装置也必须产生因解压缩比特流而获得的图象。结果是，本地解码器14产生其比特流已经解压缩的图象。本地解码器14也可以采用可变长度编码的比特流或还未对其作可变长度编码的量化数据作为产生参考图象的数据。编码量的目标值由编码量指示器6指定。获得该编码量目标值的方法在上述文档中有所描述。根据该方法，在目标压缩开始之前确定对多少I、P和B图象要被编码，以及对下一GOP的编码量分配是根据实际压缩获得的编码量和表明每次压缩GOP时的压缩程度的系数(量化系数)确定的。

图11是表明在该实施例中编码量指示装置6的操作的时序图。在图11，70表示从编码量控制周期输入端2输入的信号，22表示从操作类型指令输入端1输入的信号。参考标号71表示从编码量指示器6输出的编码量分配信号。参考标号72表示刚刚接收了编码量控制周期指令之后在GOP内的I、P和B图象的编码量分配情况。参考标号73表明在后续GOP中的图象的编码量分配。参考标号66表示从记录周期指令输入端18输入的信号。在刚刚接收编码量控制周期指令之后，对I、P和B图象的编码量分配是分别由预定的初始值决定的。但是此后，压缩处理是根据在由编码量作预定算术运算找到的编码量分配和由实际压缩获得的量化系数进行的。根据该实施例，由于编码量控制可以在真实记录开始事件之前开始，所以对于在真实记录开始事件之前在暂时记录事件中执行的压缩处理可以分配该经过优化的编码量。另外，即使在真实记录开始事件之前执行了暂时记录处理的情况下，也可以在从记录周期指令输入端18输入信号之前开始进行编码量控制，由此在记录处理开始的时候以合适的编码量分配执行压缩处理。

图12是表明在该实施例中编码量指示装置6的操作的另一时序图。在图12，70表示从编码量控制周期输入端2输入的信号，22表示从操作类型指令输入端1输入的信号。参考标号74表示从所述编码量指示器输出的编码量表明的压缩比。参考标号75表示在输入真实记录开始事件之前所使用的压缩比。参考标号76表示在输入真实记录开始事件之后所使用的压缩比。在该例子中，对于在真实记录开始事件输入之前的压缩采用高压缩比。在真实记录开始事件输入之后，采用预定的压缩比进行压缩。编码量指示器6指明每个图象的编码量，使得压缩比在真实记录开始事件输入之前和之后分别按上述方式改变。接下来，当在真实记录开始事件输入之前数据必须长时间存储允许图象质量略有降低的时候总是可以采用优化压缩比进行压缩，而在真实记录开始事件输入之后必须在图象质量没有降低的条件下压缩数据。在这类情况下，由于在真实记录开始事件输入之前对于记录图象采用了大的压缩比，所以压缩处理可以根据设定的压缩比加以优化执行。这是因为MPEG1、H.261等等规定压缩要在较高的压缩比下进行。

图13是表明在该实施例中编码量指示装置6的另一操作的时序图。在图13，70表示从编码量控制周期输入端2输入的信号，22表示从操作类型指令输入端1输入的信号。参考标号77表示拟被压缩器12压缩的图象的特性。参考标号78表示在输入真实记录开始事件之前拟压缩图象的特性。参考标号79表示在输入真实记录开始事件之后拟压缩的图象的特性。在该例子中，在真实记录开始事件输入之前只有那些幅度随时间变化很大的图象才被以静态图象的形式压缩，而其它图象未经压缩即被丢弃。在真实记录开始事件输入之后，所有的图象均进行压缩。当在真实记录开始事件输入之前仅仅需要记录每个图象的大致运动趋势的情况之下，压缩处理可以优化执行，如果目标图象选择方法在真实记录开始事件输入之前、后如此改变的话。在这类情况下，也有可能将在真实记录开始事件输入之前记录的图象作为静态图象处理，所以如果采用了诸如JPEG等等的静态图象压缩方法进行压缩的话每个图象可以更容易地进行处理。

按上述方法产生的比特流在缓存器16中进行时序调整，并将它从输出端13输出或者记录在记录/再现装置100中。记录周期是从记录周期质量输入端18引入的。

另一方面，从声音输入端5输入的声音信号在音频压缩器17中按预先由MPEG确定的格式压缩。然后信号在缓存器16中进行时序调整，然后从输出端13输出或者记录在记录/再现装置100，就象图象信号一样。当在该声音压缩的过程中，也可以进行控制使得压缩比在真实记录开始事件输入之前和之后按结合图12所描述的那样加以改变。在本情况下获得与结合图12所描述的相同效果也是可能的。

记录/再现装置100根据真实记录开始事件指令在各分区中记录数据。图14是关于数据如何记录在记录/再现装置100内的一个例子。光盘介质140具有分布在内记录道与外记录道之间的多个记录区。在这些记录区中分配记录暂时数据用的第一记录区段141和记录真实数据的第二记录扇区142。参考标号81表示了第一和第二记录扇区141和142的一些细节情况。记录区名表示为A到C和Z。第一记录区段141包括三个区A、B、C(数据块或扇区)，而第二记录区段142包括一个连续的长区域Z。参考标号91到96表示这些区的时间序列记录处理。在该例子中，在真实记录开始事件输入之前，数据项1到5相继记录在预定区域中。在真实记录开始事件输入之后数据项6记录在预定区域。在图14，A到C是在真实记录开始事件输入之前分别记录比特流的区。Z是在真实记录开始事件输入之后记录比特流的区域。这些区域中每个区的大小是自由确定的。在图14，参考标号95表示以真实记录开始事件输入的时候所处的特定状态为例的数据布置情况。在真实记录开始事件输入之前，数据项循环写入区域A、B、C中。这时，每个区A、B、C是受到控制的，以便它们被单独改写，而数据项记录在这些区的每个区中，使得数据项可以以GOP为单元解压缩。在真实记录开始事件指令输入之后，比特流写入区Z中。这时比特流不必以GOP单元的形式写入。与区A到C不同，区Z不需要被改写。在执行了此类记录处理之后，比特流3到6留在记录介质上。具体地说，这些比特流是在真实记录开始事件指令输入之前写入的比特流3到5，以及在真实记录开始事件指令输入之后写入的比特流6。这些比特流是在对连续运动图象压缩之后获得的。

在该盘介质上还记录了表明介质内所存储的数据是如何放置的数据。该信息被称为例如FAT(文件分配表)或者TOG(目录表)，这样目标数据的名字、特征、访问权等等被记录在介质上的预定位置，例如记录在图14所示的区域143中。FAT 143包括暂时记录区、真实记录区、暂时记录区当中的重写区、记录次序等等。在记录的过程中，这些信息项可以利用来确定各个区的写入，而在再现过程中，它们可以用于确定再现的次序。

图15是关于数据如何记录在记录/再现装置100中的另一个例子。参考标号83表示A到Z所代表的记录区。这些记录区的数目可以自由确定。参考标号101到106是表示时间序列记录过程的图例。在该例子中，在真实记录开始事件指令输入之前比特流1到5顺序记录在预定区域，在真实记录开始事件指令输入之后比特流6写入预定区域之中。在图15中，当真实记录开始事件输入的时候数据按105所示的形式布置。在该例子中，在真实记录开始事件指令输入前后比特流分别顺序地写入区域A到Z；记录区并未分离。在在真实记录开始事件指令输入之前写入的比特流1到5当中，比特流1和2均包括比真实记录开始事件指令的输入早预定时间以上压缩的图象，它们不能被存储。比特流3到5的每一个都必须存储。在真实记录开始事件指令输入之后写入的比特流分别记录在可擦写区A和B，这些区在真实记录开始事件指令输入的时候是空的。如此记录的结果是，在介质上留下了比特流3到6。具体地说，比特流3到5分别是在真实记录开始事件输入之前写入的，而6是在真实记录开始事件输入之后写入的。这些比特流是作为对连续运动图象的压缩结果获得的。区A到Z可以以GOP为单元的形式写入。区A到Z内的信息以附加信息的形式记录在FAT 143内。当进行记录的时候，区域A、B和C是暂时记录区，有关事实记录在FAT 143内。区域Z是真实记录区，有关事实记录在FAT 143内。另外，数据再现次序也记录在FAT 143内。例如，数据顺序地写入次序为C、A、B和Z各区域，其状态如图14所示，这一事实也记录在FAT 143内。

图16是关于数据如何记录在记录/再现装置100中的另一个例子。参考标号84表示A到C和Z所代表的记录区。参考标号111到118表示时间序列的记录过程。在图16中，比特流1到5在真实记录开始事件指令接收到之前写入；比特流6和7在真实记录开始事件指令被接收之后写入，后续的数据顺序地记录在预定区域中。还是在图16，当真实记录开始事件指令被接收的时候，数据按115所示的形式放置。参考符号A到C表示设置在缓存器16内的记录区。在这些区中记录了在真实记录开始事件指令接收之前写入的比特流。区域Z设置在记录/再现装置100内，并且存储了在真实记录开始事件指令被接收到之后从缓存器16转移过来的数据。结果是，在真实记录开始事件指令接收之前写入的比特流1到5顺序地存储在缓存器之中。当在真实记录开始事件指令接收到的时候，比特流3到5留在缓存器中。比特流3到5，以及比特流6和7都记录在目标记录介质上。如果数据足够快速地从缓存器16转移到记录/再现装置100，那么有可能判断记录到记录/再现装置100的操作是否成功，如果记录失败的话则将同样的比特流再次传送到记录/再现装置100中并且在缓存器16的一个区域中改写新的比特流，如果记录成功则记录目标比特流。这样的处理将能够确保在记录/再现装置中记录数据。在该例子中，在FAT 143中存储了数据暂时存储在区域A到C中的有关事实，在暂时记录期间的再现次序信息和在真实记录期间区Z被用于真实记录的有关事实。

如上所述，尽管图16所示的缓存器被设置在图1所示的缓存器16中，但是通过将图1所示的输入缓存器19提供作为图16所示的缓存器使得未压缩的图象循环写入所示的缓存器，较早的数据被顺序地压缩并转移到记录/再现装置100中，以及将在真实记录开始事件指令被接收之后输入的数据存储到记录/再现装置100中，也可以获得同样的效果。

接下来，结合图20所示的流程图说明在该实施例中运动图象的记录过程。首先，当如结合图19A所描述的那样接收到一个图象获取开始指令193的时候，在第一模式(暂时记录模式)下设置图象记录条件。在此时拟设置的条件是编码量，GOP构成，图象类型指令，运动矢量搜索，压缩单位等等。还设定图象存储在暂时缓存器内或者在诸如光盘之类的介质上(步骤201)。然后，输入的图象在设定条件下被编码成MPEG数据，并存储在该介质上。另外，该记录为暂时性的有关事实记录在FAT 143中(步骤202)。此后，判断是否接收到上文参考图19A描述的记录开始指令194。如果没有，重复在步骤202所作的处理(步骤203)。如果指令194接收到，那么第二记录条件被设定(步骤204)。这里要设定的参数基本上与第一模式的相同。然后，输入的图象在该设定条件下编码成MPEG数据，并存储在诸如光盘之类的介质中。另外，记录行为是真实的有关事实记录在FAT 143(步骤205)。在步骤205中的处理被重复直到接收到记录结束指令195为止(步骤206)。例如，如果在一个象图3所示的输入图象#3一样的图象BD被记录的同时接收到记录结束指令195，那么该操作继续进行直到下一#4P图象被记录为止。该记录不总是在接收到记录结束指令195之后便立即结束。

接下来，参考图21说明运动图象是如何从记录介质中再现的。这里设定的前提是图象在第一和第二模式下均是记录在介质上的。首先，从FAT 143读出数据，使得在第一模式下记录的区和在第二模式下记录的区被各自识别出来。然后，根据所识别的信息读出在第一模式下记录的图象(步骤210)。正是参考了在第一模式下记录的图象才得以在第二模式下进行的操作中对数据进行压缩。然后所读的图象被解码(步骤211)。由于解码的图象是在第二模式下记录的图象所采用的参考图象，故此没有必要将其显示在显示装置上(如果使用者要求的话也可以将它们显示出来)。然后，判断是否检测到表明第二模式起始点的记录开始指令194。如果没有检测到，那么控制返回步骤210。如果检测到，那么在为第二模式设定的条件下从记录介质读出预定数据(步骤213)。被读图象经解码(步骤214)并显示在诸如CRT显示器之类的显示装置上(步骤215)。如此，继续再现过程直到最后一个记录图象为止或者(如果使用者要求的话)中途停止(步骤216)。

根据上文所述，在该实施例中在真实记录开始事件接收到之后比特流可以作为记录结果，留在记录介质上。

接下来，将介绍用于信号处理器的摄影装置(摄像机)。该摄影装置例如是日立M2多媒体录像机型号MP-EG10W(日立公司)。如图18所示，该摄影装置配备了CCD(电荷耦合器件)221、AD222、前期处理器223、视频编码器231、***多路复用编码器241、存储器251、***多路复用解码器261、视频解码器271、后期处理器281、DA291等等。***多路复用编码器241包括视频源编码器242、视频多路复用编码器243、和缓存器244。CCD221所获得的图象数据在AD222中从模拟数据变换为数字数据，然后在前期处理器223中对其格式进行转换使得其具备亮度(Y)和色差(Cr，Cb)。然后数据在视频编码器231中作压缩并在***多路复用编码器241中多路复用，从而在进行再现处理的时候彼此同步。接着数据存储在存储器251中。在进行再现处理的时候，在多路复用解码器261中，存储在存储器251中的图象被分离成各个图象，同时彼此保持同步。此后，在视频解码器271中图象被解压缩并在后期处理器281中进行变换，从而满足目标输出装置的规范要求，然后在DA291中从数字数据变换为模拟数据而成为图象数据。该摄影装置还配备了记录装置，使得摄影装置可以获得与在配有真实记录指示器的情况下上述信号处理器相同的效果。

如上所述，根据该实施例中的信号处理器和摄影装置，MPEG2有一个被称为闭合GOP的GOP构成。该GOP构成的特征是即使当在一个GOP内包含了输入次序上领先I图象的一个B图象的时候，该B图象也可以被压缩而无需参考时间上在前的图象。在GOP头设置了一个标记，它表明了讨论中的GOP是闭合GOP的这一事实。因而也有可能组成一个比特流而不必参考任何时间上在前的图象，即使当在真实记录开始事件被接收到之前记录的图象按闭合GOP的形式组合并且如果一个GOP构成被改变，即如果在真实记录开始事件发生时，(作为操作类型指示指令的)在一个压缩处理中图象之间的相关性的使用形式改变了因而该比特流在任何GOP边界不连续的时候。

由于通过在真实记录开始事件前后分别改变记录形式，进而进一步如此地改变记录数据的管理形式而将所产生的比特流记录在记录介质上，因此可以实现上述的事件前记录。更具体地说，根据来自操作类型指示器的指令在真实记录开始事件出现之前写入的比特流可以以预定大小为单元记录在记录介质上，使得所讨论的GOP可以被独立地重写，并且根据来自操作类型指示器的命令记录在真实记录开始事件发生之后写入的比特流，使得所讨论的GOP可以以更大尺寸的单元重写。

如果记录信息管理形式控制装置可以控制记录过程使得在真实记录开始事件出现之前写入的比特流按上述记录形式顺序记录，根据需要较早的数据在记录区域空间不足的时候被新的比特流覆盖，在真实记录开始事件出现的时候后续比特流记录在目标记录介质上，并且在这些区，写入时间早于在真实记录开始事件出现之前写入的其余比特流一个预定时间段的比特流可以被新的比特流改写，那么有可能获得由自早于真实记录开始事件预定时间段的时刻以来写入的图象组成的比特流。

另外，由于在这样的记录开始事件之前输入的音频和图象的压缩形式被改变了，所以针对这些图象和音频的各种使用目的对压缩处理进行了优化。例如，有可能容忍由压缩在真实记录开始事件之前输入的音频和图象而引起的轻微失真，从而对这些图象和音频数据采用高压缩比，由此这些图象和音频信号可以在记录介质上记录较长时间。如果讨论中的记录介质尺寸不太大的话，该记录将非常有效。另外，也有可能选择那些幅度与上述真实记录开始事件之前的图象相比变化较大的图象，将它们压缩并存储为静态图象，然后压缩在上述真实记录开始事件之后输入的所有图象和音频数据作为运动图象数据，使得事件前记录可以作较长时间。

在上文提及的真实记录开始事件之前开始压缩处理可以有下列优点。在上述文档2所讨论的常规记录方法中，采用固定数值作为每个I、P、B图象的编码量分配的初始数值。结果是，编码量分配对于输入运动图象来说不总是最优的。但是，根据本发明，由于采用了用于在记录开始之前获得每个I、P和B图象的编码量分配的输入图象的特性，可以按照甚至是刚刚开始记录之后的那些输入特性的图象帧以优化的编码量分配对图象压缩。

另外，可以按照同样方法进行运动矢量搜索。也有可用于搜索运动矢量的伸缩搜索方法。根据该伸缩搜索方法，下一图象将要运动的方向是根据前一图象的运动估计的，仅在该方向上和其周围搜索相关图象的运动；避免了对所有方向的搜索。该方法可以降低电路尺寸和相关装置的能耗。但是该方法不能判断搜索方向，因为在刚刚进行压缩处理之后没有运动矢量。因此该运动矢量必须在运动距离0附近搜索。但是，有可能根据拟压缩的第一图象设定搜索范围，如果对运动矢量的搜索在目标压缩开始之前已经开始的话。

附图

图1

6  编码量指示器  7  GOP构成  8  图象类型指示器  9  运动矢量搜索装置

14  本地解码器  10  缩单元组合器  11  运动补偿器  12压缩器

17  音频压缩器  16缓存器  100  记录/再现装置140光盘  19输入缓存器

图2

21  操作期间  22  事件  23  GOP构成闭合GOP集合  未闭合GOP集合

图3

31  输入图象未闭合GOP构成  时间

图4

31  输入图象  时间

图5

21  操作期间  22  事件  23 GOP构成在中点可扩展构成在中点可扩展构成集合未闭合GOP构成集合

图6

31  输入图象在中点可扩展构成(1)在中点可扩展构成(2)时间

图7

21  操作时间  22  事件  23 GOP构成包含了闭合GOP的构成集合未闭合GOP构成集合

图8

21  操作期间  22  事件  23 GOP构成25任何GOP在中点可扩展构成包含在中点可扩展构成的集合未闭合GOP构成集合

图9

参考图象  压缩图象参考图象压缩图象

图10

61 操作期间  66 记录期间  22 事件  63搜索中心64 1图象  65 上次搜索矢量

图11

70  操作期间  66  记录期间22事件  71  记录量  初始数值  72 1图象  73  从上次GOP编码量分配获得的编码量

图12

70  操作期间22事件  74  压缩比

图13

70  操作期间22事件  74  拟压缩图象    78  变化大的图象

79  所有图象

图

图14

空

图16

缓存器  记录介质空

图17

121  输入图象  122  在压缩后时间

图18

223  前期处理器  281  后期处理器  231  视频编码器  232  视频源编码器  233  视频多路复用编码器  234  缓存器  272  视频源解码器  273  视频多路复用解码器  274  缓存器  241  ***多路复用编码器  261  ***多路复用解码器  251  存储器

图19A

193  图象获取开始  194  记录开始指令  195  记录结束指令

191  暂时记录(第一模式)  197  真实记录(第二模式)

图19B

目的图象获取开始  193  记录开始指令  194

MPEG摄像机：接通或记录暂停：开始按钮或记录开始

监视摄像机；接通  时间检测

驱动车辆上的录像机：引擎发动来自驱动器的指令或者冲击检测

家用视频盘录像机；接通或频道选择：开始按钮***作者接通

图20

201  在第一模式设定记录条件  202  编码和记录图象  203在第二模式记录开始指令  204  在第二模式设定记录条件  205  编码和记录图象

图21

210  在第一模式读数据  211  解码读出数据  212  第二模式开始指令检测到？  213  在第二模式读数据  214  装置读出数据

215  输出图象

Claims (17)

1.适用于对输入运动图象信号编码和记录的运动图象记录/再现装置的数据记录方法，包括下列步骤：

根据所接收的暂时记录开始指令在第一模式下对输入运动图象数据编码并记录在记录介质上；

根据所接收的真实记录开始指令在第二模式下对输入运动图象数据编码；以及

在所述第二模式中编码的运动图象数据与从所述第一模式到第二模式的转移时序一起记录在记录介质上。

2.根据权利要求1所述的数据记录方法，其特征在于所述编码方法是MPEG。

3.根据权利要求2所述的数据记录方法，其特征在于所述第一和第二模式在操作形式、记录形式、和记录数据的管理形式方面是彼此不同的，在所述第二模式开始的记录处理过程中为数据编码而参考了在所述第一模式下编码的数据。

4.根据权利要求2所述的数据记录方法，其特征在于所述运动图象记录/再现装置的接通信号被用作在所述第一模式下开始记录的指令，从外部接收的启动指示信号被使用作为在所述第一模式下开始记录操作的指令。

5.根据权利要求4所述的数据记录方法，其特征在于在所述第一和第二模式下对数据编码并记录于其上的所述记录介质是光盘单元。

6.根据权利要求1所述的数据记录方法，其特征在于在所述第一模式下对数据编码并记录在其上的所述记录介质是半导体存储器，并且如果所述半导体存储器的记录区写满那么在所述记录介质上记录的较早数据相继被新的数据覆盖。

7.根据权利要求6所述的数据记录方法，其特征在于在所述第二模式下对数据编码并记录在其上的所述记录介质是光盘装置，并且如果所述真实记录开始指令被接收的话那么在所述暂时存放的存储器内存放的数据被记录在所述光盘上。

8.运动图象记录/再现方法，该方法压缩所输入的运动图象信号并将其记录在记录介质上，然后再现所述记录信号，其中

当记录数据时，

压缩所输入的运动图象数据，由此产生暂时记录数据并将所述暂时记录数据存放在所述记录介质上，

开始标识符记录在所述记录介质上，所输入的运动图象数据在所述第二模式下压缩，然后利用所述暂时记录信息再次压缩，并且如果真实记录开始指令被接收到的话所述压缩图象数据记录在所述记录介质上，以及

当再现记录在所述记录介质上的数据时，

所述第一模式下记录的所述数据被利用于对在所述第二模式下记录的数据解压缩，由此开始再现自所述开始标识符起的数据。

9.根据权利要求8所述的数据记录方法，其特征在于所述第一和第二压缩格式是MPEG，而所述压缩格式在所述第一和第二模式之间不同。

10.配备有记录装置、用来压缩和记录运动图象信号的信号处理器，包括：

用于指示真实记录的起始点的真实记录指示装置；

指示目标操作类型发生变化的操作类型指示装置；以及

根据从所述操作类型指示装置接收的指令改变压缩处理中的目标操作类型的操作类型改变装置，其中

所述记录装置记录在由所述真实记录指示装置所指示的真实记录开始的时刻前输入的数据，所述操作类型改变装置根据从所述操作类型指示装置所指示的操作类型对在所述记录开始时间之前输入的数据压缩。

11.根据权利要求10所述的信号处理器，其特征在于在所述真实记录开始时间之前输入的数据是于比所述真实记录开始时间提前预定时间的时刻和所述真实记录开始时间之间输入的。

12.根据权利要求11所述的信号处理器，其特征在于所述操作类型改变装置根据来自所述操作类型指示装置的指令在不利用与时间上提前的一个图象集合的相关性压缩一个图象集合的操作和利用与时间上提前的一个图象集合的相关性压缩一个图象集合的操作之间切换。

13.根据权利要求12所述的信号处理器，其特征在于所述操作类型改变装置根据从所述操作类型改变装置接收的指令在一个闭合GOP集合和一个不闭合GOP集合之间切换。

14.根据权利要求13所述的信号处理器，其特征在于所述信号处理器还包括：

图象运动距离估计装置，用于估算图象移动的距离；

记录图象传输装置，用于记录或传输其移动距离超过预定数值的图象；以及

估计阈值改变装置，用于根据从所述操作类型指令装置接收的指令改变估计阈值。

15.根据权利要求14所述的信号处理器，其特征在于所述信号处理器还包括：

运动矢量搜索装置，用于搜索运动矢量；以及

搜索周期指令装置，用于指示所述运动矢量搜索装置的操作周期。

16.根据权利要求15所述的信号处理器，其特征在于还包括：

编码量控制装置，用于控制编码量；以及

编码量控制周期指示装置，用于指示所述编码量控制装置的操作周期，其中

在将数据写满所述半导体存储器的记录区的时候较早的数据相继地被新数据覆盖。

17.其上存放运动图象的光记录介质，包括

用于在第一模式下以MPEG格式编码和记录运动图象信号的第一记录区段；

用于指明从所述第一模式转移到所述第二模式的开始点和再现开始点的文件分配区段；以及

用于在所述第二模式下以MPEG格式编码和记录运动图象信号的第二记录区段。

Images