CN102387292B - 运动图像处理装置、运动图像再现装置、运动图像处理方法及运动图像再现方法 - Google Patents

Abstract

本发明提供一种运动图像处理装置，具备：拍摄单元(2)，其拍摄连续的多个图像帧来获得运动图像数据；声音数据添加单元(14)，其在由所述拍摄单元获得的所述运动图像数据中添加2种以上的声音数据；和再现信息添加单元(14)，其在由所述声音数据添加单元添加了2种以上的声音数据后的所述运动图像数据中添加再现信息，该再现信息表示与所述2种以上的声音数据的每一个相应的、再现所述运动图像文件时的再现模式，所述再现模式包括间除所述图像帧来再现的第1再现模式、和不间除所述图像帧来再现的第2再现模式。

Description

运动图像处理装置、运动图像再现装置、运动图像处理方法及运动图像再现方法

技术领域

本发明涉及运动图像处理装置、运动图像再现装置、运动图像处理方法以及运动图像再现方法。 

背景技术

以数码摄像机为代表，能同时记录运动图像和声音的拍摄装置得到普及。在这样的拍摄装置中，为了使运动图像和声音的再现定时一致，将经过压缩编码以及分组后的声音数据与运动图像数据复用，以将同步信息嵌入到该声音数据的头信息中的形式来进行文件化。另外，提出了如下的技术，在运动图像拍摄中能任意地变更帧频，配合该变更的帧频，也变更录音的声音的采样率，由此在再现时声音的听取不会产生不协调感(例如，JP特开2004-180289号公报)。 

但是，在上述现有技术中，由于配合变更的帧频来变更声音的采样率，在用通常的帧频(例如30fps(帧/秒))来对以高帧频(例如60fps)记录的带声音的运动图像进行再现时，会成为慢速再现(1/2倍速再现)，声音会变得难以听清。对于近年市场上出现的能以120fps的更高的帧频进行运动图像拍摄的机种，声音更难以听清。 

因此，提出了仅在以通常帧频来记录运动图像时记录声音，而在进行以高帧频记录运动图像的高速拍摄的情况下不记录声音的技术。但是，在这样的技术中，即使在对高速拍摄的部分的帧进行间除等从而以通常的帧频进行再现的情况下，也是再现无声的运动图像，对用户而言显得无聊。 

发明内容

本发明的目的在于，即使在对运动图像的帧进行间除来再现的情况下，也能适当地再现与运动图像同步的声音。 

根据本发明的第1形态，提供一种运动图像处理装置，具备：拍摄单元，其通过拍摄，获得由连续的多个图像帧构成的运动图像数据；声音数据添加单元，其在由所述拍摄单元获得的所述运动图像数据中添加2种以上的声音数据；和再现信息添加单元，其在由所述声音数据添加单元添加了2种以上的声音数据后的所述运动图像数据中添加再现信息，该再现信息表示与所述2种以上的声音数据的每一个相应的、再现所述运动图像数据时的再现模式，所述再现模式包括：第1再现模式，其间除所述运动图像数据的所述图像帧来再现所述运动图像数据；和第2再现模式，其不间除所述运动图像数据的所述图像帧来再现所述运动图像数据。 

根据本发明的第2形态，提供一种运动图像再现装置，再现运动图像文件，该运动图像文件包括由通过拍摄而获得的连续的多个图像帧构成的运动图像的数据、2种以上的声音数据、以及表示与所述2种以上的声音数据的每一个相应的再现模式的再现信息，所述运动图像再现装置具备：决定单元，其决定再现模式；声音数据确定单元，其根据所述再现信息来确定与由所述决定单元决定的所述再现模式对应的声音数据；和运动图像再现单元，其依照由所述决定单元决定的所述再现模式，将所述运动图像数据和由所述声音数据确定单元确定的声音数据一起再现。 

附图说明

图1是表示具备本发明的一实施方式的运动图像处理装置的功能的数码相机的电路构成的框图。 

图2是说明用Motion-JPEG形式形成的一般的AVI文件的概要的图。 

图3是表示通过图1的数码相机所拍摄的运动图像文件中所包含的帧图像数据和实际声音数据、以及仿真声音数据的关系的说明图。 

图4是表示不对用图1的数码相机以高帧频拍摄的运动图像文件进行间除来再现的情况、和以通常帧频间除来再现的情况的帧图像数据和实际声音数据、以及仿真声音数据的关系的说明图。 

图5是说明由图1的数码相机执行的运动图像拍摄处理的流程的流程图。 

图6是说明由图1的数码相机执行的运动图像再现处理的流程的流程 图。 

具体实施方式

下面，根据附图来说明用于实施本发明的方式。 

图1是表示作为本发明的一个实施方式的运动图像处理装置而发挥功能的数码相机100的电路构成的图。 

本实施方式的数码相机100进行运动图像的拍摄以及再现。下面将构成拍摄的运动图像的多个静止图像的每一个称为“帧”。即，1个运动图像由多个帧构成。因此，作为基本的动作模式，数码相机100具备用于拍摄运动图像的拍摄模式和用于再现所拍摄的运动图像的再现模式。其中，用于拍摄运动图像的拍摄模式除了通常的拍摄模式以外，还具备高速拍摄模式。在运动图像拍摄中，设定能在30fps(通常帧频)和120fps(高帧频)之间变更的拍摄模式，来作为该高速拍摄模式的其中之一。本实施方式即使在该拍摄模式下的运动图像拍摄中，帧频在30fps和120fps之间变更的情况下，也能保持图像和声音的同步，且不会再现听不清的声音。 

进而，在本实施方式中，作为用于再现运动图像的再现模式，除了通常再现模式以外，还具备慢速再现模式。在此，再现模式通过再现运动图像时的帧频即再现帧频相对于拍摄运动图像时的帧频即拍摄帧频的关系来决定。即，将用与拍摄帧频相等的再现帧频来再现运动图像的模式、或将对图像帧进行间除后的帧频作为与再现帧相等的帧频来再现运动图像的再现模式设为通常再现模式。另外，将再现帧频低于拍摄帧频的情况设为慢速再现模式。由于本实施方式的数码相机100将再现帧频设为30fps的帧频，因此，在再现30fps的拍摄帧频的运动图像的情况下，成为通常再现。另一方面，在将用120fps的拍摄帧频所拍摄的运动图像直接再现的情况下，成为慢速再现。关于本实施方式的数码相机100执行的通常再现和慢速再现的详细，在后面进行叙述。 

如图1所示，数码相机100具备：光学***1、拍摄部2、记录/再现数据创建部3、声音输入输出部4、运动图像临时存储器5、声音临时存储器6、存储卡7、液晶显示装置8、拍摄开始/停止按钮9、帧频切换按钮10、再现开始/停止按钮11、再现模式变更按钮12、各种操作部13、 控制部14。 

光学***1是用于将入射的被摄体的光在后述的拍摄部2上成像为光学像的光学镜头，由聚焦镜头、变焦镜头等构成。 

拍摄部2由CMOS(互补金属氧化物半导体)等图像传感器构成，配置于光学***1的光轴上。图像传感器接受通过光学***1而会聚的拍摄光，并且对在受光面成像的被摄体的光学像进行光电变换，将其作为模拟的拍摄信号而输出。拍摄部2在运动图像拍摄时，以规定的帧频来拍摄运动图像。如后所述，在本实施方式的拍摄模式中，用30fps或120fps的帧频来拍摄图像。 

另外，拍摄部2具备未图示的预处理部，该预处理部进行A/D变换，将从上述图像传感器输出的模拟的拍摄信号变换为数字的图像数据，进而，进行伽玛校正、白平衡校正、轮廓强调等图像处理，并将处理后的图像数据作为数字的图像数据输出。由该预处理部处理过的图像数据经记录/再现数据创建部3以及控制部14，存储于运动图像临时存储器5中。本实施方式中的光学***1以及拍摄部2作为本发明的拍摄单元发挥功能。 

记录/再现数据创建部3是对从拍摄部2输出的图像数据、或由后述的声音输入输出部4所采集的声音数据进行编码的电路。具体地，通过压缩编码处理来进行编码，该压缩编码处理使用了采用例如MPEG(运动图像专家组)方式的预测编码方式。存储于后述的运动图像临时存储器5中的图像数据(运动图像数据)以及存储于声音临时存储器6中的声音数据例如作为30fps的通常帧频的音频视频数据，按照拍摄的顺序被编码，且依次存储在存储卡7中。 

声音输入输出部4由在运动图像拍摄中采集周围的声音的话筒、和将声音数据输出为声音的扬声器等构成。在运动图像拍摄时通过声音输入输出部4采集的声音在控制部14被实施规定的信号处理，将处理后的声音作为声音数据存储于声音临时存储器6中。在本实施方式中，即使处于不在运动图像数据中添加实际声音的声音数据的期间，也将声音数据持续存储在声音临时存储器6中，因此，在运动图像拍摄中，话筒总是处于开启状态。 

运动图像临时存储器5是按每个帧来依次存储从拍摄部2输出的运动 图像数据的图像记录单元。另外，声音临时存储器6是依次存储由声音输入输出部4采集的声音数据的声音记录单元。 

在本实施方式中，首先，按每个帧在运动图像临时存储器5中存储运动图像数据，并在声音临时存储器6中存储声音数据。并且，在运动图像拍摄时的帧频为30fps的期间，在存储于运动图像临时存储器5的运动图像数据中添加存储于声音临时存储器6的声音数据，并将由此生成的数据作为运动图像文件存储于存储卡7中。 

另一方面，在运动图像拍摄时的帧频为120fps的情况下，将由声音输入输出部4采集的实际声音的声音数据(下面称为“实际声音数据”)和仿真声音(虚拟声音)的声音数据(下面称为“仿真声音数据”)一起添加到存储于运动图像临时存储器5中的运动图像数据中，并将由此生成的数据存储于存储卡7中。作为仿真声音可以是无声，也可以是规定的声音，例如“噼噼噼”等的效果音、“是慢速再现”等的消息、或者音乐等。或者，作为仿真声音数据，可以预先准备与运动图像关联的信息、多种的效果音或BGM(乐曲)等的声音数据，对它们进行适当选择，或将它们组合来进行录音。 

存储卡7是存储上述的运动图像数据以及声音数据的记录介质。若指示拍摄结束，则对存储于存储卡7的运动图像数据以及声音数据添加规定的头信息，并将由此生成的数据作为运动图像文件来文件化。 

液晶显示装置8具备未图示的VRAM、液晶监视器及其驱动电路等。在液晶显示装置8中显示拍摄待机中或拍摄中的取景(实时取景)图像、存储于存储卡7的运动图像等。在拍摄部2中使用于运动图像拍摄时的30fps的帧频也是液晶显示装置8的再现帧频。 

拍摄开始/停止按钮9是输入来自用户的拍摄开始以及拍摄结束的指示的部分。帧频切换按钮10是取得来自用户的运动图像拍摄中的帧频变更的指示的部分。再现开始/停止按钮11是输入来自用户的运动图像等的再现的开始或停止指示的部分。 

再现模式变更按钮12是在通常再现模式和慢速再现模式之间来变更运动图像再现时的再现模式的部分。另外，本实施方式中的再现模式变更按钮12作为本发明的再现模式决定单元发挥功能。 

各种操作部13是输入来自用户的对数码相机100的各种操作指示的部分。另外，作为各种操作部13，除了例如用于设定拍摄模式或再现模式的模式设定按钮、电源开关、调焦键以外，只要是在数码相机100的各种功能或动作内容的设定/变更时，由用户进行操作的操作部件即可。 

控制部14由未图示的CPU、ROM、RAM及其周边电路构成，控制包括运动图像拍摄和再现显示等的数码相机100的整体的动作。另外，在ROM中，存储有用于进行包括后述的实施方式的运动图像拍摄和运动图像的再现以及显示等的控制的程序。RAM在进行各种控制和运算处理时作为临时存储区域使用。本实施方式中的控制部14作为本发明的声音数据添加单元、再现信息添加单元以及声音数据确定单元发挥功能。另外，关于控制部14的作为拍摄单元以及运动图像再现单元的处理内容，参照后面的流程图来进行说明。 

在本实施方式中，记录/再现数据创建部3例如进行Motion-JPEG方式的数据压缩处理，以AVI(音频视频交织)形式将运动图像数据和声音数据文件化，并存储于存储卡7中。即，生成包含运动图像数据和声音数据的AVI形式的运动图像文件即AVI文件，并将其存储于存储卡7中。 

图2示出了以Motion-JPEG形式形成的一般的AVI文件的概要。 

如图2所示，AVI文件包含头部101、数据部102、索引部103。 

在头部101中，记录有运动图像数据的拍摄帧频、构成运动图像数据的帧的总数等的基本信息以及后述的再现信息。在数据部102中保存有构成运动图像数据的图像帧数据、以及声音数据。在索引部103中，指定保存于数据部102中的图像帧和声音数据的位置的索引数据按照再现的顺序排列。 

图3是表示构成具备本实施方式的运动图像处理装置的功能的数码相机100所拍摄的运动图像的图像数据(图像帧)和实际声音数据、以及仿真声音数据的关系的说明图。 

图3的上段(A)表示以通常帧频的30fps所拍摄的运动图像的图像帧数据和声音数据的关系。在数据部102中，包含构成运动图像的图像帧数据V和实际声音的实际声音数据AR，在索引部103中，按照再现顺序保存有对图像帧数据V的位置进行指定的图像索引数据VI和对实际声音 的实际声音数据AR的位置进行指定的声音索引数据AI。 

控制部14根据头部101(参照图2)来判定是用30fps来拍摄的运动图像数据的运动图像。接下来，控制部14按照保存于索引部103的图像索引数据VI和声音索引数据AI所示的顺序，进行数据部102的图像帧数据V和实际声音数据AR的再现，并经由液晶显示装置8以及声音输入输出部4输出上述的再现。 

图3的下段(B)表示不对构成以高帧频的120fps所拍摄的运动图像的图像帧进行间除而再现的情况下的、图像数据和声音数据的关系。在数据部102中，包含构成运动图像的图像帧数据V、实际声音数据AR、和表示无声或规定的声音的仿真声音的仿真声音数据AD，在索引部103中，按照再现顺序分别保存有对图像数据V的位置进行指定的图像索引数据VI、对实际声音数据AR或仿真声音数据AD的位置进行指定的声音索引数据AI。 

控制部14根据头部101来判定是以高帧频来拍摄运动图像数据的运动图像。接下来，控制部14按照再现模式来决定是将声音索引数据AI的对应目标设为实际声音数据AR，还是设为仿真声音数据AD。 

在本实施方式中，在不对以高帧频拍摄的运动图像的图像帧进行间除而再现的情况下，声音索引数据AI的对应目标成为仿真声音数据AD。因此，如图3的下段(B)所示，声音索引数据AI都指定仿真声音数据AD的位置，而不指定实际声音数据AR的位置。因此，在不对以高帧频拍摄的运动图像的图像帧进行间除而再现的情况下，再现仿真声音数据AD，而不再现实际声音数据。在不对以高帧频拍摄的运动图像的图像帧进行间除，而以通常帧频的30fps来再现的情况下，成为慢速再现。作为仿真声音，可以是无声，也可以是规定的声音，例如“噼噼噼”的效果音、“是慢速再现”的消息、或者音乐等。或者，预先准备与运动图像关联的信息、多种的效果音或BGM(乐曲)等的声音数据，对它们进行适当选择，或将它们组合。如此，通过使用效果音、音乐、与图像关联的信息或消息等作为仿真声音，即使在以低速长时间地慢速再现影像时，也会不让用户感到无聊而使其有效地度过时间。 

另一方面，在本实施方式中，在对以高速拍摄的运动图像的图像帧进 行间除，并用通常帧频进行再现的情况下，声音索引数据AI的对应目标成为实际声音的实际声音数据AR。关于这样的情况，参照图4进行说明。 

图4是表示不对用图1的数码相机100以高速拍摄的运动图像的图像帧进行间除来进行再现的慢速再现模式的情况、和按照成为通常的再现速度的方式来对运动图像的图像帧进行间除来进行再现的通常再现模式的情况下的图像数据(图像帧)和实际声音数据、以及仿真声音数据的关系的说明图。 

如图4的上段(A)所示，在慢速再现模式的情况下，数据部102的图像数据V的位置全部由索引部103的图像索引数据VI来指定，仿真声音数据AD的位置全部由索引部103的声音索引数据AI来指定。另一方面，无法通过任何声音索引数据AI来指定实际声音数据AR。因此，在不对以高帧频拍摄的运动图像的图像帧进行间除来进行再现的情况下，再现仿真声音数据AD，而不再现实际声音数据AR。 

图4的下段(B)是表示对以高帧频的120fps拍摄的运动图像的图像帧进行四分之三间除后，再以通常帧频的30fps进行再现的通常再现模式的情况下的图像帧数据和数据声音数据、以及仿真声音数据的关系的说明图。 

控制部14根据头部101(参照图2)来判定是以120fps来拍摄运动图像数据的运动图像。在由用户操作再现模式变更按钮12指定了通常再现模式的情况下，控制部14将对再现的图像帧数据V的位置进行指定的图像索引数据VI的个数间除为四分之一，对声音数据的位置进行指定的索引数据AI指定实际声音数据AR的位置，而不指定仿真声音数据AD。因此，以高帧频的120fps拍摄的运动图像被四分之三间除而以通常的速度再现。另外，再现实际声音数据AR，而不再现仿真声音数据AD。 

由此，在本实施方式中，在将以高帧频拍摄并记录的运动图像文件与录音的仿真声音数据或实际声音数据保持同步的同时，能不对图像帧进行间除来进行慢速再现，也能对图像帧进行四分之三间除，从而以通常的速度来进行再现。 

另外，实际声音数据不管在以通常帧频进行拍摄的情况下还是以高帧频进行拍摄的情况下，都能持续地存储于声音临时存储器6中。或者，也 可以使用声音输入输出部4来实时采集实际声音数据和仿真声音数据两者中的至少一者的声音。另外，经过规定时间后，依次删除该声音数据，在声音临时存储器6中总是仅存储一定量的最新的声音数据。这是为了防止在进行在运动图像数据中添加仿真声音数据的处理的期间，由于积累的实际声音数据而导致声音临时存储器6上溢。因此，在将仿真声音数据添加的运动图像数据的期间，也要在持续将实际声音数据存储于声音临时存储器6中的处理的同时，进行若经过规定时间则从旧的数据起依次删除存储的实际声音数据的处理(其中在图4中，仅示出了持续存储实际声音数据的情况)。另外，通过进行这样的处理，能保持拍摄帧频刚切换后的声音数据的匹配性。 

接下来，参照图5的流程图来说明本实施方式的数码相机100中的、运动图像拍摄时的控制部14的处理内容。图5是说明本实施方式的数码相机100执行的运动图像拍摄处理的流程的流程图。下面的处理通过图1所示的控制部14控制各部来执行。另外，本流程图的处理通过用户操作拍摄开始/停止按钮9从而开始运动图像拍摄，由此启动。 

首先，在步骤S101中，控制部14开始如下处理：将从拍摄部2输出的运动图像数据依次存储到运动图像临时存储器5中，另外，将由声音输入输出部4采集的声音数据依次存储到声音临时存储器6中。在步骤S102中，控制部14判定当前设定的拍摄帧频是否为30fps。若在拍摄中没有操作帧频切换按钮10，则不变更拍摄帧频。在拍摄帧频为30fps的情况下，前进到步骤S103(步骤S102：是)。若操作了帧切换按钮10等从而拍摄帧频从30fps发生变更的情况下，前进到步骤S107(步骤S102：否)。 

在步骤S103中，控制部14对记录/再现数据创建部3进行控制，将依次存储于运动图像临时存储器5以及声音临时存储器6中的运动图像数据以及实际声音数据依次压缩编码为30fps的拍摄帧频的数据，并且将实际声音数据添加到运动图像数据中，并依次存储于存储卡7中。 

在步骤S104中，控制部14判定是否检测出拍摄结束的指示。在此，若控制部14未检测出基于拍摄开始/停止按钮9的操作的拍摄结束的指示，则处理前进到步骤S105(步骤S104：否)，在控制部14检测出拍 摄结束的指示时，前进到步骤S111(步骤S104：是)。 

在步骤S105，控制部14判定是否检测出拍摄帧频的变更指示。在此，若控制部14判定为未检测出基于帧频切换按钮10的操作的拍摄帧频的变更指示，则返回步骤S103(步骤S105：否)，重复将实际声音数据添加到运动图像数据中并依次存储于存储卡7中的处理。另一方面，若判定为检测出拍摄帧频的变更指示，则前进到步骤S106(步骤S105：是)。在步骤S106中，控制部14将拍摄帧频变更为120fps，并返回步骤S102。 

另外，若步骤S104的判定为“是”，则处理前进到步骤S111，控制部14对到此为止的期间存储于存储卡7中的音频视频数据，添加包含文件名、拍摄日期时间、拍摄帧频等信息的头信息，在存储卡7内将由此生成的数据作为运动图像文件而文件化。由此，运动图像拍摄处理结束。 

另一方面，若步骤S102的判定为“否”，则在步骤S107中，控制部14对记录/再现数据创建部3进行控制，将依次存储于运动图像临时存储器5的运动图像数据依次压缩编码为120fps的拍摄帧频的数据，并且，将实际声音数据和仿真声音数据一起添加到运动图像数据中，并将由此生成的数据依次存储于存储卡7中。添加仿真声音数据的定时既可以是在刚要添加实际声音数据之前，也可以是在刚添加完实际声音数据之后。 

接下来，在步骤S108，控制部14判定是否检测出拍摄结束的指示。在此，若控制部14未检测出基于拍摄开始/停止按钮9的操作的拍摄结束指示，则处理前进到步骤S109(步骤S108：否)。另一方面，在控制部14检测出拍摄结束的指示时，处理前进到步骤S111(步骤S108：是)。在这种情况下，由于在前面的步骤S107中，将实际声音数据和仿真声音数据一起添加到运动图像数据中，并将由此生成的音频视频数据依次存储到存储卡7中，因此，在步骤S111中，针对在到此为止的期间存储于存储卡7中的音频视频数据，添加包含文件名、拍摄日期时间、拍摄帧频等信息的头信息，在存储卡7内将由此生成的数据作为运动图像文件而文件化。由此，运动图像拍摄处理结束。 

在步骤S109中，控制部14判定是否检测出拍摄帧频的变更指示。在此，若未检测出基于帧频切换按钮10的操作的拍摄帧频的变更指示，则处理返回到步骤S107(步骤S109：否)，重复在运动图像数据中添加 实际声音数据和仿真声音数据并将由此生成的数据依次存储于存储卡7中的处理。另一方面，若检测出拍摄帧频的变更指示，则处理前进到步骤S110(步骤S109：是)。在步骤S110中，控制部14将拍摄帧频变更为变更指示的帧频即变更为30fps，并返回到步骤S102。 

接下来，参照图6的流程图来说明如此生成的运动图像文件的再现时的控制部14的处理内容。图6是说明本实施方式的数码相机100执行的运动图像再现处理的流程的流程图。另外，下面的处理通过图1所示的控制部14控制各部来执行。另外，设在存储卡7中已经存储有通过参照图5的流程图所说明的运动图像拍摄处理而生成的本实施方式的运动图像文件。通过由用户操作再现开始/停止按钮11并开始存储于存储卡7中的运动图像文件的再现，而启动本流程图的处理。在此，为了简化说明，仅记载了通过参照图5的流程图所说明的运动图像拍摄处理而生成的运动图像文件的以高帧频的120fps进行拍摄的部分的再现。 

首先，在步骤S201中，控制部14判定当前设定的再现模式是否为通常再现模式。如在再现中未操作再现模式变更按钮12，则不变更再现模式。在再现模式为通常再现模式的情况下，前进到步骤S202(步骤S201：是)。若操作了再现模式变更按钮12等，再现模式从通常再现模式进行变更的情况下，前进到步骤S206(步骤S201：否)。 

在步骤S202中，控制部14对记录/再现数据创建部3进行控制，对存储于存储卡7的以120fps拍摄的运动图像的图像帧进行间除，从而以30fps进行通常再现，将实际声音和运动图像一起再现。具体地，如图4的下段(B)所示，控制部14对记录/再现数据创建部3进行控制，编辑运动图像文件的图像索引数据VI，并将表示图像帧数据的位置的图像索引数据VI的数据削减为四分之一。进而，控制部14对记录/再现数据创建部3进行控制，使得声音索引数据AI指定实际声音数据AR的位置。如此，控制部14对以120fps拍摄的运动图像的数据值进行间除，从而以30fps进行再现。即，控制部14如图4的下段(B)所示，按照图像索引数据VI和声音索引数据AI指定的顺序，以通常再现模式来再现图像数据V和实际声音数据AR，并从声音输入输出部4和液晶显示装置8输出。 

在步骤S203，控制部14判定是否检测出再现结束的指示。在此，若 未检测出基于再现开始/停止按钮11的操作的再现结束的指示，则处理前进到步骤S204(步骤S203：否)，在控制部14检测出再现结束的指示时，本运动图像再现处理结束(步骤S203：是)。 

在步骤S204中，控制部判定是否检测出再现模式的变更指示。在此，若判定为未检测出基于再现模式变更按钮12的再现模式的变更指示，则返回到步骤S202(步骤S204：否)，重复以通常再现模式来再现运动图像文件的处理。另一方面，若判定为检测出再现模式的变更指示，则前进到步骤S205(步骤S204：是)。在步骤S205中，控制部14将再现模式变更为慢速再现模式，并返回到步骤S201。 

另一方面，若在步骤S201的判定为否，则在步骤S206中，控制部14对记录/再现数据创建部3进行控制，不对存储于存储卡7的以120fps拍摄的运动图像的图像帧进行间除，而以30fps进行慢速再现，并将仿真声音和运动图像一起再现。具体地，如图3的下段(B)或图4的上段(A)所示，控制部14对记录/再现数据创建部3进行控制，使得声音索引数据AI指定仿真声音数据AD的位置。按照图像索引数据VI和声音索引数据AI所指定的顺序，来再现图像数据V和仿真声音数据AD，并从声音输入输出部4和液晶显示装置8输出。如此，控制部14不对以120fps拍摄的运动图像的图像帧进行间除而以30fps的帧频来将其再现。即，如图3的下段(B)或图4的上段(A)所示，控制部14按照图像索引数据VI和声音索引数据AI所指定的顺序，来慢速再现图像数据V和仿真声音数据AD，并从声音输入输出部4和液晶显示装置8输出。 

接下来，在步骤S207中，控制部14判定是否检测出再现结束的指示。在此，若控制部14未检测出基于再现开始/结束按钮11的操作的再现结束的指示，则处理前进到步骤S208(步骤S207：否)，在控制部14检测出再现结束的指示时，本运动图像再现处理结束(步骤S207：是)。 

在步骤S208中，控制部14判定是否检测出再现模式的变更指示。在此，若未检测出基于再现模式变更按钮12的操作的再现模式的变更指示，则处理返回到步骤S206(步骤S208：否)，重复再现处理。另一方面，若检测出再现模式的变更指示，则处理前进到步骤S209(步骤S208：是)。在步骤S209中，控制部14将再现模式变更为通常再现模式，并 返回步骤S201。 

如此，根据作为本实施方式的运动图像处理装置发挥功能的数码相机100，控制部14按照通过帧频切换按钮10所指定的拍摄帧频，在存储于运动图像临时存储器5的运动图像数据中添加存储于声音临时存储器6的实际声音数据以及仿真声音数据这2种声音数据，从而生成包含记录了运动图像数据的拍摄帧频的头部101、具有运动图像数据和实际声音数据以及仿真声音数据的数据部102、运动图像数据、和具有指示实际声音数据以及仿真声音数据的任一者的索引数据的索引部103的运动图像文件。 

控制部14在头部101中添加再现信息。再现信息使用索引部103的声音索引数据AI，表示与实际声音数据以及仿真声音数据的2种声音数据对应的再现模式。再现模式表示再现帧频相对于拍摄帧频的关系。通常再现模式是以与拍摄帧频相等的再现帧频来再现运动图像的再现模式、或对运动图像的图像帧进行间除从而使帧频与再现帧频相等来进行再现的再现模式。慢速再现模式是在以低于拍摄帧频的再现帧频来再现运动图像的情况下的再现模式。 

进而，尽管说明了将实际声音数据和仿真声音数据这2种声音数据添加到运动图像数据中的情况，但本发明并不限于此。也可以在运动图像数据中添加超过2种的声音数据。进而，和运动图像一起再现的声音可以按照再现模式而多样化。在添加超过2种的声音数据到运动图像数据中的情况下，能使用声音索引数据AI来指定适于各再现模式而再现的各种声音数据即可。 

例如，对于以高帧频拍摄的运动图像，例如在除了实际声音数据以外，还添加了效果音、音乐、与运动图像关联的信息等2种以上的仿真声音数据，并在以超慢速来再现运动图像的情况下，再现与运动图像关联的信息，在以稍慢速来再现运动图像的情况下，再现音乐，在快进再现的情况下，再现效果音，如此使用声音索引数据AI来指定适于各再现模式而再现的各种声音数据即可。这通过控制部14按照再现模式进行图像索引数据VI的间除，随之来适宜地变更指定声音数据的位置的声音索引数据AI，能容易地实现。 

因此，根据作为本实施方式的运动图像处理装置发挥功能的数码相机 100，控制部14作为在运动图像数据中添加2种以上的声音数据的声音数据添加单元发挥功能，并作为在文件中添加表示与2种以上的声音数据的每一个对应的再现模式的再现模式信息的再现信息添加单元发挥功能。拍摄被摄体2来生成运动图像数据的拍摄部2能在拍摄时变更拍摄帧频，作为声音数据添加单元而发挥功能的控制部14能在规定的拍摄帧频以外时，添加2种以上的声音数据。 

因此，根据本实施方式的数码相机100，由于能从添加于运动图像文件中的2种以上的声音数据中，使用声音索引数据AI来选择性地再现适当的种类的声音数据，因此，即使在对高速拍摄的运动图像的图像帧进行间除，并变更为通常再现的再现帧频来进行再现的情况下，也能以简单的构成来适当地再现声音。 

另外，本实施方式的数码相机100还具有作为对拍摄部2的拍摄中的声音进行采集的声音采集单元而发挥功能的声音输入输出部4，作为声音数据添加单元发挥功能的控制部14在规定的拍摄帧频以外，特别在高速的拍摄帧频时，能添加由声音输入输出部4采集的实际声音数据和成为实际声音的代替的仿真声音，来作为2种以上的声音数据。进而，控制部14能在实际声音数据中添加表示将通常再现作为对应的再现模式的再现信息，在仿真声音数据中添加表示将慢速再现作为对应的再现模式的再现信息。 

本实施方式的数码相机100作为再现运动图像文件的运动图像再现装置发挥功能，该运动图像文件包括运动图像数据、2种以上的声音数据、和头部101，该头部101中被添加了表示与2种以上的声音数据的每一个相应的再现模式的再现信息。作为这样的运动图像再现装置发挥功能的数码相机100包括：作为决定包括通常再现模式和慢速再现模式的再现模式的决定单元而发挥功能的再现模式变更按钮12；作为参照头部101来确定与由再现模式变更按钮12决定的再现模式对应的种类的声音数据的声音数据确定单元而发挥功能的控制部14；和作为按照由再现模式变更按钮12决定的再现模式，将包含于运动图像文件中的运动图像数据和由声音数据确定单元确定的种类的声音数据一起进行再现的运动图像再现单元而发挥功能的控制部14。 

如此构成的本实施方式的数码相机100至少具有如下的效果。 

(1)由于在以与再现帧频(30fps)相等的通常帧频(30fps)来进行拍摄时，在运动图像数据中添加实际声音数据，在以比再现帧频高的帧频(120fps)进行拍摄时，在运动图像数据中添加实际声音数据和仿真声音数据，因此，在通常再现以通常帧频拍摄的运动图像、或在对以高帧频拍摄的运动图像的图像帧进行间除并进行通常再现的情况下，再现实际声音，而在不对以高帧频拍摄的运动图像的图像帧进行间除而进行慢速再现时，再现仿真声音。因此，不管是在以再现帧频来通常再现通常帧频的运动图像的情况下，或在对高帧频的运动图像的图像帧进行间除并进行通常再现的情况下，还是在不对高帧频的运动图像的图像帧进行间除而以再现帧频来进行慢速再现的情况下，由于对实际声音或仿真声音进行再现，因此不会对听不清的声音进行再现。 

(2)由于运动图像拍摄中的声音的编码处理不需要在拍摄帧频的切换的定时停止或重启，而与通常的运动图像拍摄时相同即可，因此能减轻CPU的处理负担。 

(3)由于不仅在通常帧频下的拍摄时，而且在高帧频下的拍摄时也在运动图像数据中添加实际声音数据，因此，与再现时成为无声相比，按照拍摄帧频和再现帧频的关系来听到声音，能进行更有临场感的运动图像再现。 

(4)进而，由于在高帧频下的拍摄时，在运动图像数据中添加输出为“噼噼噼”的效果音、“是慢速再现”的消息、与运动图像相关的信息、音乐等的仿真声音，因此能提供给在慢速再现时长时间仅观看无声慢镜头的影像的用户除了影像以外的新的刺激或有益的信息。 

(5)另外，在从30fps到120fps、从120fps到30fps来变更拍摄帧频的期间也持续录制实际声音。因此，在刚要切换为不同的拍摄帧频的运动图像数据前和刚切换为不同的拍摄帧频的运动图像数据之后不久，能保持声音数据的匹配性。 

上面说明了本发明的实施方式，但本发明并不限于上述的实施方式。即，在本发明中也包含如下所示的在能达成本发明的目的的范围内的变形、改良等。 

在本实施方式中，作为在运动图像拍摄时能变更帧频的拍摄模式，以能在30fps和120fps之间变更为例进行了说明，但本发明并不限于此。也能应用于变更为更高帧频的拍摄模式中，进而，作为拍摄帧频或再现帧频，也可以使用30fps、120fps以外的帧频。另外，即使在运动图像拍摄中不变更帧频的情况下，在以高帧频来进行拍摄时，也可以如本实施方式那样在运动图像数据中添加实际声音和仿真声音的声音数据。 

另外，在本实施方式中说明了，在运动图像拍摄处理的步骤S101中，将从拍摄部2输出的运动图像数据依次存储于运动图像临时存储器5中，将由声音输入输出部4采集的声音数据依次存储于声音临时存储器6中，由此在运动图像数据中添加声音数据，但本发明并不限于此。 

例如，也可以对拍摄部2拍摄的运动图像数据以外的运动图像数据进行相同的处理，或对由声音输入输出部4所采集的声音数据以外的声音数据进行相同的处理。具体地，既可以控制未图示的通信部，来经由无线通信网络获得处理的对象的运动图像数据或声音数据，也可以经由存储卡7等的可移动存储介质来获得。 

进而，在运动图像再现处理的步骤S202中，控制部14控制记录/再现数据创建部3来再现存储于存储卡7中的运动图像文件。即，控制部14将实际声音和运动图像一起再现。具体地，如图4的下段(B)所示，说明了控制部14控制记录/再现数据创建部3，编辑索引部103，将再现的运动图像的图像帧间除为四分之一，并再现实际声音数据，但本发明并不限于此。例如，控制部14还可以控制记录/再现数据创建部3，编辑数据部102，作为结果，将再现的图像数据V削减为四分之一，并进一步削减仿真声音数据AD，对间除为四分之一的图像数据V和实际声音数据AR进行再现。 

本发明并不限于数码摄像机或数码相机，能一般应用于具备运动图像的拍摄以及再现功能的电子设备。具体地，例如带有数字静态相机或相机的便携式电话机、视频摄像机、便携式游戏机等。另外，对于仅能再现所拍摄的运动图像的其它的装置，例如具备一般的构成的通用的个人计算机，也能通过搭载与本发明相关的拍摄程序来应用本发明。 

关于上述的控制部14的功能的一部分或全部，也可以通过使与控制 部14并行动作的其它的控制部按照本发明的拍摄程序进行动作来实现。 

在通过软件来执行一系列的处理的情况下，从网络或记录介质等将构成该软件的程序安装在计算机等中。计算机也可以是嵌入在专用的硬件中的计算机。另外，计算机也可以是通过安装各种程序来执行各种功能的计算机，例如是通用的个人计算机。 

包括这样的程序的记录介质尽管未图示，但不仅可以由向用户提供程序的与装置主体分开发布的存储卡等可移动媒介构成，也可以由以预先嵌入到装置主体的状态来提供给用户的记录介质等构成。可移动媒介例如由磁盘(包括软盘)、光盘或磁光盘等构成。光盘例如由CD-ROM(只读光盘)、DVD(数字多功能光盘)等构成。磁光盘由MD(迷你磁光盘)等构成。另外，以预先嵌入到装置主体的状态来提供给用户的记录介质例如由记录了程序的图1的控制部14所具有的未图示的ROM、未图示的硬盘等构成。 

另外，在说明书中，对记录于记录介质的程序进行描述的步骤当然可以是在时间序列上沿着该顺序来进行的处理，但也不一定非得是时间序列上的处理，也可以包含并行或个别执行的处理。 

Claims (6)

1.一种运动图像处理装置，其特征在于，

具备：

拍摄单元，其通过拍摄，获得由连续的多个图像帧构成的运动图像数据；

声音数据添加单元，其在由所述拍摄单元获得的所述运动图像数据中添加2种以上的声音数据；

再现信息添加单元，其在由所述声音数据添加单元添加了2种以上的声音数据后的所述运动图像数据中添加再现信息，该再现信息表示与所述2种以上的声音数据的每一个相应的、再现所述运动图像数据时的再现模式；和

声音采集单元，其采集所述拍摄单元进行拍摄中的声音，

所述再现模式包括：

第1再现模式，其间除所述运动图像数据的所述图像帧来再现所述运动图像数据；和

第2再现模式，其不间除所述运动图像数据的所述图像帧来再现所述运动图像数据，

所述声音数据添加单元在以高于规定的拍摄帧频的帧频拍摄的运动图像数据中添加由所述声音采集单元采集的实际声音数据、以及成为实际声音数据的代替的虚拟声音数据，来作为所述2种以上的声音数据，

所述再现信息添加单元在所述实际声音数据中添加表示所述第1再现模式的信息，并在所述虚拟声音数据中添加表示所述第2再现模式的再现信息，

在所述第1再现模式以及所述第2再现模式中，以与所述规定的拍摄帧频相同的帧频来再现所述运动图像数据。

2.一种运动图像再现装置，再现运动图像文件，该运动图像文件包括由通过拍摄而获得的连续的多个图像帧构成的运动图像的数据、2种以上的声音数据、以及表示与所述2种以上的声音数据的每一个相应的再现模式的再现信息，

所述运动图像再现装置的特征在于，具备：

决定单元，其决定再现模式；

声音数据确定单元，其根据所述再现信息来确定与由所述决定单元决定的所述再现模式对应的声音数据；和

运动图像再现单元，其依照由所述决定单元决定的所述再现模式，将所述运动图像数据和由所述声音数据确定单元确定的声音数据一起再现，

所述再现模式包括：

第1再现模式，其间除所述运动图像数据的图像帧来再现所述运动图像数据；和

第2再现模式，其不间除所述运动图像数据的图像帧来再现所述运动图像数据，

所述声音数据包括在该运动图像的拍摄中采集的实际声音数据、以及成为实际声音数据的代替的虚拟声音数据，

在由所述决定单元决定为所述第1再现模式的情况下，所述声音数据确定单元将所述实际声音数据确定为对应的声音数据，而在由所述决定单元决定为所述第2再现模式的情况下，所述声音数据确定单元将所述虚拟声音数据确定为对应的声音数据。

3.一种运动图像再现装置，再现运动图像文件，该运动图像文件包括由通过拍摄而获得的连续的多个图像帧构成的运动图像的数据、2种以上的声音数据、以及表示与所述2种以上的声音数据的每一个相应的再现模式的再现信息，

所述运动图像再现装置的特征在于，具备：

决定单元，其决定再现模式；

声音数据确定单元，其根据所述再现信息来确定与由所述决定单元决定的所述再现模式对应的声音数据；和

运动图像再现单元，其依照由所述决定单元决定的所述再现模式，将所述运动图像数据和由所述声音数据确定单元确定的声音数据一起再现，

所述运动图像数据是在拍摄时切换了拍摄帧频的运动图像数据，在切换为高于规定的拍摄帧频的帧频来进行拍摄的期间的运动图像数据中，添加所述2种以上的声音数据，

所述运动图像再现单元以与所述规定的拍摄帧频相同的帧频来再现运动图像数据。

4.一种运动图像处理方法，其特征在于，

包括：

拍摄步骤，通过拍摄，获得由连续的多个图像帧构成的运动图像数据；

声音数据添加步骤，在由所述拍摄步骤获得的所述运动图像数据中添加2种以上的声音数据；

再现信息添加步骤，在添加了所述2种以上的声音数据后的所述运动图像数据中添加再现信息，该再现信息表示与所述2种以上的声音数据的每一个相应的、再现所述运动图像数据时的再现模式；和

声音采集步骤，采集由所述拍摄步骤进行拍摄中的声音，

所述再现模式包括：

第1再现模式，其间除所述运动图像数据的所述图像帧来再现所述运动图像数据，和

第2再现模式，其不间除所述运动图像数据的所述图像帧来再现所述运动图像数据，

所述声音数据添加步骤中，在以高于规定的拍摄帧频的帧频拍摄的运动图像数据中添加由所述声音采集步骤采集的实际声音数据、以及成为实际声音数据的代替的虚拟声音数据，来作为所述2种以上的声音数据，

所述再现信息添加步骤中，在所述实际声音数据中添加表示所述第1再现模式的信息，并在所述虚拟声音数据中添加表示所述第2再现模式的再现信息，

在所述第1再现模式以及所述第2再现模式中，以与所述规定的拍摄帧频相同的帧频来再现所述运动图像数据。

5.一种运动图像再现方法，是再现运动图像文件的运动图像再现装置的运动图像再现方法，该运动图像文件中包括由通过拍摄而获得的连续的多个图像帧构成的运动图像的数据、2种以上的声音数据、以及表示与所述2种以上的声音数据的每一个相应的再现模式的再现信息，

所述运动图像再现方法的特征在于，包括：

决定步骤，决定再现模式；

声音数据确定步骤，根据所述再现信息来确定与所决定的再现模式对应的声音数据；和

运动图像再现步骤，依照所述所决定的再现模式，将所述运动图像数据和由所述声音数据确定步骤确定的声音数据一起再现，

所述再现模式包括：

第1再现模式，其间除所述运动图像数据的图像帧来再现所述运动图像数据；和

第2再现模式，其不间除所述运动图像数据的图像帧来再现所述运动图像数据，

所述声音数据包括在该运动图像的拍摄中采集的实际声音数据、以及成为实际声音数据的代替的虚拟声音数据，

所述声音数据确定步骤中，在由所述决定步骤决定为所述第1再现模式的情况下，将所述实际声音数据确定为对应的声音数据，而在由所述决定步骤决定为所述第2再现模式的情况下，将所述虚拟声音数据确定为对应的声音数据。

6.一种运动图像再现方法，是再现运动图像文件的运动图像再现装置的运动图像再现方法，该运动图像文件中包括由通过拍摄而获得的连续的多个图像帧构成的运动图像的数据、2种以上的声音数据、以及表示与所述2种以上的声音数据的每一个相应的再现模式的再现信息，

所述运动图像再现方法的特征在于，包括：

决定步骤，决定再现模式；

声音数据确定步骤，根据所述再现信息来确定与所决定的再现模式对应的声音数据；和

运动图像再现步骤，依照所述所决定的再现模式，将所述运动图像数据和由所述声音数据确定步骤确定的声音数据一起再现，

所述运动图像数据是在拍摄时切换了拍摄帧频的运动图像数据，在切换为高于规定的拍摄帧频的帧频来进行拍摄的期间的运动图像数据中，添加所述2种以上的声音数据，

所述运动图像再现步骤中，以与所述规定的拍摄帧频相同的帧频来再现运动图像数据。

Images