CN1270514C - 图像生成设备和图像生成方法 - Google Patents

Abstract

为了充分利用拍摄的图像的特性例如高分辨率和高速摄取(高帧频)来生成动画图像数据，一种摄像设备包括一个摄像机装置，以按预定时间间隔对一个景物拍摄，并且生成摄像数据；和一个编码装置，以将摄像数据编码成具有一个基于预定时间间隔的图像速度的动画图像数据。按照摄像机装置中的拍摄像素数及图像速度，通过改变由编码装置所输出的编码动画图像数据的输出模式，输出一个最优动画流。

Description

图像生成设备和图像生成方法

技术领域

本发明涉及一种以可变帧频摄取动画图像，并生成已进行了压缩编码的图像数据的图像生成设备及其方法的技术。

背景技术

作为能够拍摄图像并进行记录再现的装置，具有数字照相机和数字摄像机。近年来，由先进的制造技术，推动了摄像元件的像素数的增加，从而使应用了这些摄像元件的数字照相机和数字摄像机所拍摄的图像质量(高分辨率)，得到极大的改进。

当使用上述照相机生成高分辨率的图像时，因为图像的数据量大，所以，拍摄能力、图像压缩能力、记录能力等受到极大影响，但是，通过限制处理时间和处理数据量，来进行对应于各装置及其模式的最佳的设置。

例如，在数字摄像机上，具有以下的装置：在记录动画的模式下，假定TV监视器为其输出端，以30帧/秒的速率在NTSC下记录处理480×720像素的摄像数据，或在PAL下记录处理576×720像素的摄像数据(相当于VGA下的方形像素640×480像素)，另一方面，在记录静止图像的模式下，进行123万像素(相当于SXVGA下的方形像素1280×960像素)的摄像数据的记录处理。

此外，在数字照相机上，具有以下的装置：作为普及设备实现300万像素(相当于QXGA下的2048×1536像素)或更多像素的静止图像记录，并且以约2帧/秒的速率实现连续拍摄。

然而，一般地，即使是具备了高像素的摄像元件的数字摄像机和数字照相机，也仅能固定在按照对应于摄像模式和用户设置的图像尺寸所唯一确定的像素范围内，来拍摄和记录图像，特别是关于动画，难以任选地获得高分辨率的摄影图像。

相反地，从用户的立场来看，对于数字摄像机，除希望增加像素数外，还希望以高速执行拍摄。例如，可以列举以下的情况：当正在拍摄动画时，将帧频变更为高速侧。然而，这样的高速化，不仅使各处理电路上的负载增加，而且，在变更帧频再生已记录的动画图像时，需要考虑在再生装置或显示装置上发上不可逆料的事态，因此，当产品化时必须解决上述课题。USP 5,640,202或USP 5,786,851等公开了一种动画拍摄***，通过由与摄像机等连接的主计算机进行控制，使以不同的帧频进行动画记录成为可能。

然而，动画的帧频，能够以满足TV监视器等方式的预定帧频进行记录，或如专利文献那样，通过主计算机的控制来设置帧频，不能说操作摄像机的用户具有变更的自由度。

如上所述，由于在现有技术中，是按照预先设定的图像尺寸来确定摄影图像的分辨率，进而，唯一地确定摄像元件的读出时间、图像压缩装置的处理时间，以及由记录装置等的数据传输速度等产生的每秒处理的帧数等，所以，成为在摄像机侧不能任意地选择分辨率和帧频的***。

发明内容

本发明的一个目的是解决上述问题。

本发明的另一个目的是提供一种图像生成设备和图像生成方法，能够以任意的分辨率或帧频生成图像，特别是动画图像。

作为实现上述目的的一个优选实施例，本发明的一种图像生成设备，包括：摄像装置，按能够设定的预定时间间隔摄取被拍摄物，并生成摄像数据；编码装置，将上述摄像数据编码成由基于上述预定时间间隔的图像速率构成的动画图像数据；输出装置，输出已编码的上述动画图像数据；以及控制装置，按照由上述摄像装置所摄取的上述摄像数据的像素数及图像速率，控制上述输出装置。

此外，本发明的一种图像生成方法，包括：摄影步骤，按能够设定的预定时间间隔摄取被拍摄物，并生成摄像数据；编码步骤，将上述摄像数据编码成由基于上述预定时间间隔的图像速率构成的动画图像数据；输出步骤，输出已编码的上述动画图像数据；以及控制步骤，按照在上述摄像步骤所摄取的上述摄像数据的像素数及上述图像速率，控制上述输出步骤。

以下，参照附图来详细说明本发明的实施例，本发明的上述以外的目的及其特征，将通过上述说明变得清楚。

附图说明

图1是作为本发明的图像生成设备的一个实施例的数字摄像机100的方框图；

图2说明CMOS摄像元件的读出；

图3是说明应用了本发明的摄像机单元10′的方框图；

图4A和图4B说明CCD摄像元件的读出；

图5A和图5B是CCD摄像元件的读出的时间图；

图6是说明应用了本发明的编码单元40的方框图；

图7说明像素数与帧处理时间之间的关系；

图8说明JPEG 2000的分波段；

图9是表示像素数与帧处理时间之间的关系；以及

图10是说明数字摄像机100的操作的流程图，它包括图10A和图10B。

具体实施方式

以下，参考附图详细地描述本发明的优选实施例。

图1表示数字摄像机100的整个***的方框图，作为本发明的图像生成设备的一例。

在图1中，标号1表示摄像元件，以将光信息转换成电信号；标号2表示读出处理单元，以从摄像元件1读出图像信号；标号3表示ACG和A/D转换单元，以使读出的图像信号经受增益校正，然后将图像信号转换成数字数据；标号4表示校正转换单元，对读出的数字数据进行γ校正等校正处理，并且将数字数据转换成亮度色差形式(Y，Cr，Cb)的图像数据；标号5表示效果合成单元，以对校正转换单元4处理过的图像数据进行算术运算，并添加图像效果；标号6表示由RAM等所组成的工作存储器，以暂时存储各个单元3～5的处理数据；标号10表示摄像机单元，由各个单元1～6和以下将要描述的ROM7的各块所组成。ROM7存储关于摄像机单元10的图像的处理能力(拍摄能力)的信息。

此外，标号30表示编码处理单元，以使对所输入的图像数据进行压缩编码处理；标号31表示由RAM等构成的工作存储器，其中，编码处理单元30暂时存储正在处理的数据。编码处理单元30使用JPEG 2000***(包括Motion-JPEG 2000)将图像压缩编码，JPEG 2000***是一种图像压缩格式。此外，标号40表示编码单元，由编码处理单元30、工作存储器31和以下将要描述的ROM32的各块所组成。ROM32存储关于编码处理单元30的图像的编码能力的信息。

此外，标号50表示输出单元，以输出在编码处理单元30中进行过压缩编码处理的压缩图像数据；标号51表示记录单元，以记录从输出单元50输出的压缩图像数据；标号52表示外部输入输出终端，以从外部输入和输出从输出单元50输出的压缩图像数据及其他必要信息等。在外部输入输出终端52上，连接有外部记录单元、监视器、个人计算机(PC)、服务器等。标号53表示状态检测单元，以检测记录单元51的状态和与外部输入输出终端52连接的外部记录单元等的状态。

标号60表示由微型计算机等组成的控制单元，以控制数字摄像机100的各单元；标号61表示操作单元，以输入各种命令。控制单元60按照从操作单元61输入的用户命令、从各ROM输入的信息，或者从状态检测单元53输入的信息等，控制各单元的操作。

其次，详细说明图1所示的数字摄像机100的操作。首先，用图1说明所生成的图像数据的处理流程。

首先，通过透镜(未示出)将被拍摄物的图像会聚在摄像元件1上，并且转换成电信号。此时，将来自所有摄像元件(传感器)的输入对各像素转换成电信号。其次，按照从控制单元60输入的指定像素数(P)和读出时间(T)的控制信号，读出处理单元2读出该电信号，从而生成图像信号。

其次，由ACG和A/D转换单元3对图像信号进行增益调整，并转换成数字数据。将转换成的数字数据暂时存储在工作存储器6中。

当在工作存储器6中存储了预定的数据量时(例如，一帧图像的数据量)，校正转换单元4开始校正并转换工作存储器6中所存储的数字数据。校正转换单元4，从工作存储器6中顺序地读出数字数据，对其实施光电压转换的校正(γ校正)，进而对数字数据进行图像数据转换，成为亮度和色差格式(Y、Cb、Cr)，并且，按基于读出处理单元2的读出时间的定时，输出数字数据。在由校正转换单元4进行了转换之后，随时将数字数据暂时存储在工作存储器6中。

效果合成单元5，根据校正转换单元4的输出定时开始操作。效果合成单元5，是通过对取自工作存储器6的图像数据(Y、Cb、Cr数据)实施数字算术运算，以提供更好看的图像数据的部分。当校正转换单元4中的处理完成时，效果合成单元5从工作存储器6中读出Y、Cb、Cr数据，对数据进行数字效果处理，以通过改变Y、Cb、Cr的比而使整幅图像的颜色为深褐色，或对其进行算术运算处理，以通过将数字数据与先前图像合成，对场景变化部分起到擦去效果，在进行了上述处理之后，将图像数据传送到编码单元40。效果合成单元5中的处理可以按照用户的选择和设置任选地执行。当效果合成单元5的处理没有执行时，将由校正转换单元4完成处理的图像数据，从工作存储器6中读出，使效果合成单元5中的处理旁路，并传送到编码单元40。

编码单元40中的编码处理单元30，按照从控制单元60供给的、指定分辨率和帧处理时间的控制信息，对已接收的图像数据进行压缩编码。在处理过程中生成的中间代码，暂时存储在工作存储器31中，但是，最后进行了压缩编码的图像数据，被传送到输出单元50，并记录在记录单元51中，或从外部输入输出终端52传送到外部单元。

此外，状态检测单元53是检测和监视记录单元51的记录状态，或与外部输入输出终端52连接的外部单元的接收/记录状态的块。将检测出的状态信号随时传送到控制单元60，用来控制各单元。

其次，将在以下说明本发明的特征操作。

首先，在本实施例的数字摄像机100中，能用操作单元61将拍摄模式设为“分辨率优先模式”或“高速摄取优先模式”。当用户指定分辨率优先模式或高速摄取优先模式中的任何一个时，将指示信息从操作单元61传送到控制单元60。

然后，控制单元60从存储摄像机单元10的能力信息的ROM7中读出摄像机单元10的性能。这里所述的摄像机单元10的性能，用能读出的最大像素数(Pmax)、读出最大像素数(Pmax)时的读出时间(Tmax)、在高速下执行读出时的读出时间(Tmin)、以及在高速读出下所能读出的像素数(Pmin)的信息来表示。

这里，用图2和图3来说明将CMOS传感器用作摄像元件1时的图像数据的读出方法。

图2说明摄像元件中的像素的布置。图3是摄像机单元10′的方框图，详细地表示图1的摄像机单元10的结构的一部分。首先，将用图3的方框图说明图像数据的读出方法。

摄像机单元10′，包括作为摄像元件的CMOS传感器1′；读出单元11，加法单元12，地址生成单元15，它们用作读出处理单元2的详细结构；AGC单元13，A/D转换单元14，它们用作AGC和A/D转换单元3的详细结构；像素指定单元16，读出速率指定单元17，它们用作控制单元60的详细结构；由其他控制***组成的控制单元60′；以及校正转换单元4。

说明图3的摄像机单元10′的操作。

当在控制单元60′的控制下，由像素指定单元16指定像素数时，将指定要读出的像素的信息传送到地址生成单元15。

这里，当指定以所能读出的最大像素数读出时，地址生成单元15生成地址，使得电信号从CMOS传感器1′的所有像素顺序地读出到读出单元11。此时，在图2中，如Pi，j；Pi，j+1；...；Pi+1，j；Pi+1，j+1；...所示，所有像素的电信号被顺序地读出。在这种情况下，由于所有像素被读出，所以，需要最大时间Tmax来读出一幅图像。

此外，当指定以最大时的四分之一的像素数读出时，地址生成单元15生成地址，使得按四个像素为单位将CMOS传感器1′的像素读出到读出单元11。此时，在图2中，按照对Pi，j；Pi，j+1；Pi+1，j；Pi+1，j+1所确定的规则，读出一个信号，使得从相邻的四个像素中读出一个像素(例如，从Pi，j；Pi，j+1；Pi+1，j；Pi+1，j+1中仅读出Pi，j)。也就是，由于按四个像素为单位读出一幅图像的所有像素，所以，读出时间能以Tmax/4左右的时间读出。

如上所述，读出单元11根据已指定的像素数读出电信号，所读出的电信号由加法单元12相加，在AGC单元13中进行增益调节，并由A/D转换单元14转换成数字数据。这里，由于电信号在加法单元12中相加，所以，与添加了半波段的低通过滤器的情况等价，从而消除了在偏移取样时所引起的混叠畸变的影响。

如上所述，由于当所读出的像素数(P)较少时，一幅图像的读出时间(T)就会缩短，所以，在控制单元60的控制下，还改变由读出速率指定单元17所指定的速率值。也就是，读出速率指定单元17生成与当前的一幅图像的读出时间相等的定时信号。A/D转换单元14接受该信号并执行处理，并且，将处理的开始定时通知给后面的校正转换单元4。

如上所述，像素数(P)和读出时间(速率)(T)近似具有以下的关系：

P×T＝常数……………………………………(1)

因此，当P或T由用户设定时，则相互成对的T或P能由摄像元件的最大能力确定。

例如，当用图9说明具有300万像素的摄像元件的像素数(P)和速率(T)时，在普通动画(VGA尺寸)下，速率为30帧/秒。然而，如上所述，当将4个像素一起读出时，由于像素数为1/4，所以，有可能以120帧/秒的速率读出像素。相反，如果是具有VGA的2倍的像素数的摄像元件，则能以7.5帧/秒的速率读出最大像素为130万像素(SXVGA)的图像。

如上所述，CMOS传感器具有最大读出像素(Pmax)和最大读出时间(Tmax)作为其性能，用户能在本***中任意地选择最大像素数和最大读出时间或中间像素数和中间读出时间中的任何一个。

其次，将参考图4A和图4B及图5A和图5B，说明当摄像元件1为CCD时的读出方法。

参考图4A，说明读出普通的整幅图像的操作。

在CCD摄像元件中累积的电荷，以定时发生器(TG)22所产生的定时，被垂直地通过作为摄像元件表面的CCD光接收单元20传送。垂直传送的电荷，以线单位由水平传送单元21，传送到ACG和A/D转换单元3。如上所述，CCD采用垂直传送所有像素后再水平传送的***。在例子中，整个CCD光接收单元20为读出区。

图5A按时间序列表示由定时发生器22生成的垂直同步信号(VD)、水平同步信号(HD)、像素读出信号(PD)、用作其基准信号的时钟信号(Clk)、读出能够按3Clk进行A/D读出的A/D转换的操作信号、A/D转换数据的定时(RD)。

如图4A所示，在与图5所示的VD和HD同步的定时PD，读出光接收单元20的像素(m×n)数据，在定时RD读出进行A/D转换的数据。图7表示所有画面102的数据在定时VD读出的图像。

其次，参考图4B说明CCD摄像元件的不同分辨率(像素数)的数据读出。在图4B中，当将在CCD光接收单元20中、由像素指定单元16所指定的像素数构成的区作为读出区(m′×n′)23时，则在以下说明如何读出该读出区(m′×n′)23的数据。图5B表示按时间序列执行处理的定时。

首先，在图4B中，对于垂直传送，位于读出区23之下的部分(在垂直方向上，k行的量)与时钟信号Clk同步地高速跳过(图5B中的PD1，2，...，k)。然后，当由水平传送单元21将包括读出区23的行数据(k+1)传送到ACG和A/D转换单元3时，最初的j像素高速跳过(图5B中的Clk1，2，...，j)，读出区23内的像素J+1至J+n′，与时钟Clk同步地进行A/D转换处理(图5B的PD1，2，...，n′)。剩余的i个像素，与j个像素相同地高速跳过(图5B的Clk1，...，i)。对m′行重复上述操作(图5B中的PDn′+1，n′+2，...，m′n′和Clk1，...，i)，剩余的h行像素的垂直传送，与k行时相同地高速跳过(图5B中的PD1，2，...，h)。图7表示由上述处理从所有画面102的数据中所读出的一部分像素区101，以比摄取所有像素的定时短的VD的定时读出的图像。

如上所述，在CCD摄像元件中，因为像素被部分地读出而不是稀疏读出，所以，不会引起由取样引起的混叠畸变。相反，进行高速跳过处理的部分，要求一点额外的处理时间。然而，通过对CCD摄像元件中除有效的读出区23以外的像素数据进行高速传送，如果读出像素数(P＝n×m)少，则一幅画面的读出时间(T)缩短，因此，与CMOS摄像元件相同，表达式(1)成立。

此外，由CCD摄像元件执行的部分读出的特征在于，与CMOS的各4倍的分辨率切换不同，所剪裁的像素(n×m)能够比较自由地设定。因此，可以构筑图9所示的能够比较任意地选择像素数的摄像机***。

由以上所述，不管摄像元件是CMOS还是CCD，用户能以使像素数和速率互补的关系，选择拍摄模式。以摄像元件的最大能力，实现图像读出。

其次，将参考图6具体地说明如上所述由图1的编码单元40，对从摄像元件读出的图像数据进行压缩和编码的结构。

在图6中，作为编码单元40的详细结构，包括工作存储器31、分时分波变换(DWT)电路33、量化电路34、熵编码电路35、代码流生成电路36、以及包控制电路37。上述33～37是构成上述编码处理单元30的处理块。

首先，设置编码单元40中的帧处理时间和处理像素数，以便按照已经说明的、用户是选择上述的分辨率优先模式还是高速读出模式，根据控制单元60所确定的像素数(P)和读出时间(T)，执行操作。

本实施例假定编码单元40能处理摄像机单元10的性能，即最大读出像素数(Pmax)和最短帧读出时间(Tmin)。也就是，编码单元40备有工作存储器31的尺寸和各块的算术运算能力，它们能实时处理按照摄像机单元10的性能根据表达式(1)唯一地设置的像素数(P)和帧读出时间(T)的帧图像。

在DWT33中，对所输入的图像数据按照所设置的像素数和处理时间进行分波段编码。按照这里所用的JPEG 2000方式的DWT33，将图像数据沿水平方向和垂直方向两维地分波段编码为L分量和H分量，并转换成LL、LH、HL和HH分波段系数。对于这些分量中的LL分量，再次实施二维DWT，从而获得2LL、2LH、2HL和HH分波段系数。此外，当对2LL分量连续进行预定次数的再次实施二维DWT那样的递归处理时，重要数据集中在LL分量，噪声分量集中在HH分量。当利用上述特征，由量化电路34适当地量化时，能压缩图像数据。

图8示意地表示当执行三次二维DWT时的分波段系数与图像之间的关系。如上所述，在JPEG 2000的DWT中，关于分辨率进行了编码的数据，按分辨率的可量测性的结构进行编码，以便对图像数据递归地编码。具体地，如

所有图像＞1LL＞2LL，...＞NLL

其中，(n-1)LL＝nLL+nHL+nLH+nHH

那样，生成各减少四分之一的像素数(分辨率)的编码数据。

其次，熵编码电路35进一步对该DWT的中间代码，压缩中间代码图像数据。这里没有详细地描述熵编码，但是，它将量化数据按相邻像素块(代码块)为单位分为位明码，对各位明码的二进制数据根据上下文模型算术编码。通过最优地设置编码序，由各位明码编码的数据，有助于改进所传输的再生图像的质量。也就是，将各代码块的编码数据分成多个层，这些层与所传输的再生图像的质量相关。

如上所述编码的数据，微小地分成多个代码块的层，并根据预定字符将这些编码数据成包安排，生成一个代码流。该字符将同一地方的相同图像质量的编码数据成包安排。这样的代码流的包，由代码流生成电路36生成。

此外，当使用JPEG 2000方式时，通过不同地安排代码流的包，能实现一些特有的功能。例如，当按较高层的次序(按SN良好的次序)优先地安排包时，顺序地解码的代码流，从粗糙质量图像(SN不良的图像)逐渐成为平滑的图像(SN优良的图像)。此外，当按上述DWT的分波段的层次次序优先地安排包时，顺序地解码的代码流，从模糊图像(分辨率不良的图像)成为清晰的图像(分辨率优良的图像)。将如上所述的可量测性功能，分别称为SN可量测性和分辨率可量测性。

在本实施例中，由代码流生成电路36按照由控制单元60设置的像素数和速率来改变上述可量测性。具体地，在动画的帧频小于等于30帧/秒的高分辨率(高像素密度)图像的情况下，将代码流的包按SN可量测性次序安排，并输出到包控制电路37，而在帧频超过30帧/秒的高速图像的情况下，将包按分辨率可量测性安排，并输出到包控制电路37。

包控制电路37，是在将如上所述生成的代码流输出到后级的输出单元50之前，控制该代码流的模式的电路。虽然包控制电路37通常以原来的模式输出所生成的代码流即可，但是，当从控制单元60输出按照记录状态的控制信号时，包控制电路37按照控制信息输出代码流。以下说明该结构。

如图1所示，本实施例的数字摄像机100，包括状态检测单元53，以检测和监视记录单元51或与外部输入输出终端52连接的外部单元的记录状态或接收状态；以及控制单元60，以按照这里检测的状态信息控制各单元的操作。例如，当记录单元51忙碌时，即使将由编码单元40所生成的代码流从输出单元50输出，也不能记录。因此，当记录状态检测单元53检测到记录单元51的忙碌状态时，将忙碌状态作为信息通知控制单元60。当控制单元60接收到这个状态信息时，包控制电路37停止按帧单位的代码流的包的传输，并且执行控制，以便执行预定的帧图像结束序列。也就是，当记录单元51忙碌时进行控制，以便不输出各帧的所有编码数据，而仅从开始输出预定个数的包，并停止大于等于预定个数的包的传送。

同样地，不限于记录单元51，还能对与外部输入输出终端52连接的外部的记录单元和显示单元进行相同的控制。当根据记录状态检测单元53通过命令通信，由外部输入输出终端52，接收到外部单元的接收和记录状态，并将该状态信息输出到控制单元60时，控制单元60，能按照外部单元的状态来控制包控制电路37的输出。

在本实施例中，由于按包的次序设置JPEG 2000的可量测性功能，因此，即使中途取消各帧的编码数据，也能将适当质量的图像解码。具体地，由于具有高图像质量和低速率的动画是SN可量测性，所以，即使中途取消，也能够恢复最优的图像质量，并使图像的质量的变劣最小化。相反，由于具有低像素密度和高速的动画为分辨率可量测性，所以，即使中途取消，也能够均匀地再生完整图像，并摄取几乎不能预测的被拍摄物的高速移动。

在本实施例中，控制单元60在内部的存储区中，存储并保持标题信息(Motion JPEG 2000文件格式的标题信息等)，标题信息是包括取消上述包的传送，在记录单元51中记录代码流之后执行的编排处理所必需的信息。在完成流信息的记录之后，将上述标题信息传送到记录单元51，生成文件格式，完成记录。当输出到外部的记录单元时，与之相同。

本发明描述在完成一系列动画记录操作之后，对记录单元51生成文件格式，但是，也能够利用Motion JPEG 2000的moor Box功能，在每个预定时间写入文件标题。

以上，是假定能处理摄像机单元10的性能，即最大读出像素数(Pmax)和最短帧读出时间(Tmin)编码单元40时所执行的处理，但是，以下将描述在其他情况下执行的处理。

这里，将描述当编码单元40的性能比摄像机单元10的性能差时所执行的处理。具体地，就是假定编码单元40没有具备工作存储器31的尺寸和算术运算处理能力的情况，该工作存储器31能够实时处理按照摄像机单元10的性能根据表达式(1)唯一地设置的像素数(P)和帧读出时间(T)的帧图像。

参考图1描述上述情况下的操作。

首先，当用户设置分辨率优先模式和高速摄取优先模式中的任何一个时，控制单元60接收这个信息，并且从ROM7中读出摄像机单元10的性能信息(Pmax，Tmax)。控制单元60还从ROM32中读出编码单元40的编码性能信息(P′max，T′min)。编码性能信息由编码单元40内的各块的处理速率、工作存储器31的容量等表示。

这里，当用户指定的拍摄模式是分辨率优先模式时，选择下列表达式(2)所表示的P。

P＝Min(Pmax，P′max)..................(2)

也就是，选择能由编码单元40和摄像机单元10两者所处理的像素数的最大值。然后，由表达式(1)计算T，并且对摄像机单元10和编码单元40设置像素数和速率。随后的操作与上述各块的操作相同。

相反，当用户选择高速摄取优先模式时，由下列表达式(3)选择处理速率T。

T＝Max(Tmin，T′min)..................(3)

也就是，选择能由编码单元40和摄像机单元10两者所处理的处理速率的最小值。根据表达式(1)选择像素数P，并对摄像机单元10和编码单元40设置像素数和处理速率。随后的操作，与上述各块的操作相同。

这样，在本实施例中，由于在ROM中分开地存储并保持摄像机单元10和编码单元40的处理能力，所以，当具有其他兼容摄像机单元时，以同样的方法比较其性能，作为***能够发挥最大的能力。

此外，在本实施例中，成为以下的***，由于摄像机单元10对应于部分读出等，所以，能够由用户选择拍摄模式。然而，当将未对应于部分读出的其他高像素密度摄像机单元与上述编码单元40结合时，则在分辨率优先模式下自动地生成代码流，相反地，当将能高速读出的低像素密度摄像机单元与上述编码单元40结合时，如果在高速摄取优先模式下自动地生成代码流，该***能按最优模式生成代码流，而无需用户来选择模式。

参考图10的流程图，说明上述操作。也就是，图10表示数字摄像机100的操作流程。

首先，在图10中，控制单元60确定摄像机单元10是否能从所有像素中部分地读出P像素，并且，还切换一帧(P像素)的读出时间(T)(步骤S1000)。

当在步骤S1000确定为“可变”时，即当切换读出像素数(P)和帧频(T)时，从ROM7中读出摄像机性能信息(Pmax，Tmax)，并且，从ROM32中读出编码性能信息(P′max，T′min)(步骤S1010)。

其次，控制单元60确定由用户用操作单元61所指定的拍摄模式是高像素密度的分辨率优先模式，还是高速摄取优先模式(步骤S1020)。

这里，当为“分辨率优先模式”时，根据表达式(2)确定能由摄像机单元10和编码单元40两者所处理的最大像素数，并根据表达式(1)计算与该像素数(P)对应的速率(T)(步骤S1030)。

相反，当为“高速摄取优先模式”时，根据表达式(3)确定能由摄像机单元10和编码单元40两者所处理的最小处理时间，并根据表达式(1)计算与该处理时间(T)对应的像素数(P)(步骤S1032)。

其次，对摄像机单元10和编码单元40设置如上所述由控制单元60所确定的像素数(P)和处理时间(T)(步骤S1040)。

上述处理是在像素数(P)和帧处理时间(T)为可变的情况下的处理，但是，当在步骤S1000为“固定”时，即，在像素数(P)和帧处理时间(T)中的任何一个为固定的摄像机单元10的情况下，控制单元60检测摄像机单元10的生能(步骤1002)。也就是，检测摄像机单元10的摄取像素数和处理时间，自动地确定像素数(P)和帧处理时间(T)。

在这种情况下，不是用户指定拍摄模式的处理，而是控制单元60设置自动地且唯一地确定高分辨率模式或高速摄取模式那样的参数。具体地，确定成为根据后述的编码单元40的高分辨率模式和高速摄取模式而改变的后处理的判断基准的帧处理时间(T)，当控制单元60确定摄像机单元10为分辨率优先时，将帧处理时间(T)设置为大于等于1/30秒，而当确定为摄像机单元10以低像素密度高速读出数据时，将帧处理时间(T)设置为小于1/30秒。应用上述设置，能自动地改变后处理。

其次，基于由摄像机单元10所自动设置的像素数(P)和帧处理时间(T)，控制单元60对编码单元40进行设置(步骤S1004)，从而完成摄像机单元10的设置处理。

如上所述，根据摄像机单元的性能是可变还是固定，来稍微改变像素数(P)和帧处理时间(T)的设定处理，但是，如上述那样设置的摄像机单元10，由摄像机单元用预定的像素数(P)和帧处理时间(T)读出帧图像，并由编码单元40执行图像压缩处理(步骤S1050)。

这里，在图像压缩处理的最后步骤，如下所述通过控制单元60的确定来再安排包。首先，确定帧处理时间(T)(步骤S1060)。当在步骤S1060为“NO”时，即当确定帧处理时间(T)大于等于1/30秒时，生成代码流，以便与SN可量测性相对应地安排JPEG 2000的包(步骤S1070)。相反，当在步骤1060为“YES”时，即当确定帧处理时间(T)小于1/30秒时，生成代码流，以便与分辨率可量测性相对应地安排JPEG的包(步骤S1072)。

其次，控制单元60按照状态检测单元53所检测的状态信息，确定接收和记录由上述处理所生成的代码流的记录单元51或与外部输入输出终端52上连接的外部单元的状态(步骤S1080)。具体地，确定是否在“忙碌”状态，作为忙碌状态的例子，考虑记录操作是否赶得上，传输通路是否忙碌，以及各种数据是否能被接收。以对其安装了本发明的图像生成设备及记录单元51的数字摄像机(或数字照相机)为例，重要的是检测记录单元51是否赶得上记录速度。

当在步骤S1080确定为“正常”时，即当确定记录单元51的接收/记录状态为正常时，将代码流按原样连续地输出(步骤S1090)，并且连续地监视接收状态，直到该帧完成为止(步骤S1100)，然后从步骤S1080重复该过程。

相反，当在步骤S1080确定接收/记录状态为“忙碌”时，代码流的输出立即停止，直到输出下一帧的代码流为止(步骤S1092)。然后，当下一帧开始时，只要没检测到摄像机单元10的处理结束，就再次从步骤S1050开始重复代码流生成的改变操作(步骤S1110)。

当在步骤S1110检测到由摄像机单元10执行的处理结束时，控制单元60传送标题信息等，完成记录操作，然后执行生成文件格式的处理(步骤S1120)，从而结束本流程。

以上描述了图10A和图10B的流程图。

如上所述，通过使摄像机单元10和编码单元40所执行的处理在分辨率优先模式与高速摄取优先模式之间改变，分辨率优先模式，能够生成尽可能高地保持与之相对应的图像质量的代码流，与之相对应地，高速摄取优先模式，能够生成可以尽可能整体地把握瞬间移动的代码流。

虽然已经在本实施中作为对其输出代码流的单元，主要说明了记录单元51，但是即使以外部输入输出终端52为例，也能以相同的结构来实现。此外，即使与外部输入输出终端52连接的设备是Internet那样的网络，通过TCP/IP协议来检测网络的忙碌状态，以控制代码流的输出，也能获得相同效果。

此外，如在数字摄像机和数字照相机中那样，即使构成本实施例的图像生成设备的摄像机单元10和编码单元40与记录单元51一起集成，或者即使摄像机单元10、编码单元40和记录单元51完全地或部分地由其他装置构成，也能同样地实现本发明。

记录单元51包括B1u-ray、DVD等盘状记录介质，SD卡、紧凑快闪卡等存储卡，硬盘，磁带等记录介质及其记录单元。此外，记录单元51可以具有重放功能。

此外，不用说本发明的目的也能这样实现，对***或设备供给一种记录了实现如上所述的本发明的实施例的功能的软件的程序代码记录介质，并由该***或设备的计算机(或CPU或MPU)，读出并执行记录介质中所存储的程序代码。

在这种情况下，上述实施例的功能由从记录介质读出的程序代码本身来实现，存储该程序代码的记录介质构成本发明。

此外，不用说本发明也包括这种情况，上述实施例的功能不仅通过执行计算机读出的程序代码来实现，还可以基于程序代码的指令，在计算机上运行的OS(操作***)等，执行实际处理的部分或全部，来实现上述实施例的功能。

如上所述，按照本发明，能够生成动画流，该动画流通过按照处理图像帧的时间间隔和图像帧的像素数改变流输出，来充分利用高分辨率或高速摄取这样的图像的特征。

Claims (13)

1.一种图像生成设备，包括：

摄像装置，按能够设定的预定时间间隔摄取被拍摄物，并生成摄像数据；

编码装置，将上述摄像数据编码成由基于上述预定时间间隔的图像速率构成的动画图像数据；

输出装置，输出已编码的上述动画图像数据；以及

控制装置，按照由上述摄像装置所摄取的上述摄像数据的像素数及图像速率，切换上述输出装置的上述动画图像数据的输出模式。

2.按照权利要求1所述的图像生成设备，包括：

检测装置，检测接受由上述输出装置所输出的上述动画图像数据的接收装置的状态，

上述控制装置，按照基于由上述检测装置检测到的上述接收装置的状态的状态信息，控制开始或停止上述输出装置的上述动画图像数据的输出。

3.按照权利要求1所述的图像生成设备，包括：

检测装置，检测接受由上述输出装置所输出的上述动画图像数据的接收装置的状态，

上述控制装置，按照基于由上述检测装置检测到的上述接收装置的状态的状态信息，对动画图像的每一画面控制上述输出装置的上述动画图像数据的输出。

4.按照权利要求2或3的任意一项所述的图像生成设备，

上述检测装置，检测上述接收装置的接收状态是否为忙碌状态。

5.按照权利要求2或3的任意一项所述的图像生成设备，

上述接收装置是记录装置，上述检测装置检测上述记录装置的记录状态。

6.按照权利要求1所述的图像生成设备，上述摄像装置具有：

读出装置，选择并读出所摄取的像素范围，

按照由上述读出装置所选择的像素范围内的像素数，设置上述时间间隔和上述编码装置的上述图像速率。

7.按照权利要求6所述的图像生成设备，

上述编码装置，用分波段编码***来执行编码，

上述输出装置，至少能将一种类型的可量测性选择为上述动画图像数据的输出模式。

8.按照权利要求7所述的图像生成设备，

上述输出装置，能将分辨率可量测性或SN可量测性选择为动画图像数据的输出模式。

9.按照权利要求1所述的图像生成设备，还包括：

第一存储装置，存储关于上述摄像装置的摄像能力的信息；

第二存储装置，存储关于上述编码装置的编码能力的信息；以及

设置装置，用在第一存储装置和第二存储装置中所存储的各信息中的至少一种，设置上述摄像装置和上述编码装置。

10.一种图像生成方法，包括：

摄影步骤，按能够设定的预定时间间隔摄取被拍摄物，并生成摄像数据；

编码步骤，将上述摄像数据编码成由基于上述预定时间间隔的图像速率构成的动画图像数据；

输出步骤，输出已编码的上述动画图像数据；以及

控制步骤，按照在上述摄像步骤所摄取的上述摄像数据的像素数及上述图像速率，切换上述输出步骤中的上述动画图像数据的输出模式。

11.按照权利要求10所述的图像生成方法，还包括：

检测步骤，检测接收在上述输出步骤所输出的上述动画图像数据的接收装置的状态，

上述控制步骤，按照基于在上述检测步骤所检测到的上述接收装置的状态的状态信息，控制开始或停止上述输出装置的上述动画图像数据的输出。

12.按照权利要求10所述的图像生成方法，还包括：

读出步骤，选择并读出在上述摄像步骤所摄取的像素范围，

按照在上述读出步骤所选择出的图像范围内的像素数，设置上述时间间隔和上述编码步骤的上述图像速率。

13.按照权利要求10所述的图像生成方法，还包括：

检测步骤，检测接收由上述输出步骤所输出的上述动画图像数据的接收装置的状态，

上述控制步骤，按照基于在上述检测步骤所检测到的上述接收装置的状态的状态信息，对动图像的每一画面控制上述输出装置的上述动画图像数据的输出。

Images