CN107836114B - 数据记录设备及其控制方法、摄像设备和计算机可读存储介质 - Google Patents

数据记录设备及其控制方法、摄像设备和计算机可读存储介质 Download PDF

Info

Publication number
CN107836114B
CN107836114B CN201680038892.1A CN201680038892A CN107836114B CN 107836114 B CN107836114 B CN 107836114B CN 201680038892 A CN201680038892 A CN 201680038892A CN 107836114 B CN107836114 B CN 107836114B
Authority
CN
China
Prior art keywords
image data
data
image
file
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680038892.1A
Other languages
English (en)
Other versions
CN107836114A (zh
Inventor
高桥史明
山河可奈子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107836114A publication Critical patent/CN107836114A/zh
Application granted granted Critical
Publication of CN107836114B publication Critical patent/CN107836114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

数据记录设备在具有容器结构的数据文件中存储具有不同表现方法的多个图像数据，例如运动图像数据和静止图像数据以及与这些图像数据有关的元数据等，并且记录数据文件。该数据记录设备以相同的容器格式将具有不同表现方法的多个图像数据存储在数据文件中。因此，可以生成存储各种格式的数据并且具有通用性的数据文件。

Description

数据记录设备及其控制方法、摄像设备和计算机可读存储 介质
技术领域
本发明涉及数据记录设备及其控制方法和摄像设备，尤其涉及用于将数据存储在数据文件中的技术。
背景技术
近年来，数字照相机的类型及其功能已经变得多样化，并且记录数据的格式也同样变得多样化。已经以与诸如RAW或JPEG等的编码格式和诸如静止图像、运动图像或音频等的场景的表现形式(表现方法)的组合相对应的不同形式来生成和记录数据文件。
例如，对于允许在运动图像拍摄期间拍摄静止图像的数字照相机，利用不同的方式对表现相同场景的运动图像数据和静止图像数据进行编码以生成分开的数据文件，然后将这些数据文件记录到记录介质。
在将各个相关数据记录为单独文件的情况下，由于需要用于管理相关数据文件的***、用于搜索文件的处理等，导致有可能会删除或移动一部分数据文件。针对这个问题，已经定义了用于在同一文件中记录多个静止图像数据的多图片格式(multi-pictureformat)(2009年2月4日制定的CIPA DC-007-2009“多图片格式”，[online]，一般社团法人，日本影视器材工业协会，[2015年5月19日检索]，因特网 <URL:www.cipa.jp/std/documents/j/DC-007_J.pdf>)。
然而，多图片格式针对静止图像数据，并且不能用于除静止图像之外的表现方法的数据(例如，运动图像数据)的存储。因此，多画面格式不能用于将多个相关的运动图像数据存储在同一文件中，或者将相关的运动图像数据和静止图像数据存储在同一文件中。
发明内容
本发明是鉴于现有技术的上述问题而作出的，并且提供了能够生成可以存储各种格式的数据并具有通用性的数据文件的数据记录设备以及该数据记录设备的控制方法。
根据本发明的一个方面，提供了一种数据记录设备，包括：获得部件，用于获得第一图像数据和第二图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法；以及记录部件，用于将所述第一图像数据、所述第二图像数据、与所述第一图像数据有关的元数据和与所述第二图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，所述记录部件将所述第一图像数据和所述第二图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的另一方面，提供了一种数据记录设备，包括：获得部件，用于获得包括运动图像数据和通过降低所述运动图像数据的分辨率而获得的尺寸缩小的运动图像数据的多个图像数据；以及记录部件，用于将所述多个图像数据和与所述多个图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，所述记录部件将所述多个图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的又一方面，提供了一种数据记录设备，包括：获得部件，用于获得包括第一图像数据和具有与所述第一图像数据不同的表现方法的第二图像数据的多个图像数据；以及记录部件，用于将所述多个图像数据和与所述多个图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，所述记录部件将所述多个图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的另一方面，提供了一种摄像设备，包括：根据本发明的数据记录设备；以及图像传感器，用于获得所述第一图像数据和所述第二图像数据。
根据本发明的又一方面，提供了一种数据记录设备的控制方法，包括以下步骤：获得第一图像数据和第二图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法；以及存储步骤，用于将所述第一图像数据、所述第二图像数据、与所述第一图像数据有关的元数据和与所述第二图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，在所述存储步骤中，将所述第一图像数据和所述第二图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的另一方面，提供了一种数据记录设备的控制方法，包括以下步骤：获得包括运动图像数据和通过降低所述运动图像数据的分辨率而获得的尺寸缩小的运动图像数据的多个图像数据；以及存储步骤，用于将所述多个图像数据和与所述多个图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，在所述存储步骤中，将所述多个图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的又一方面，提供了一种数据记录设备的控制方法，包括以下步骤：获得包括第一图像数据和第二图像数据的多个图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法；以及存储步骤，用于将所述多个图像数据和与所述多个图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，在所述存储步骤中，将所述多个图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的另一方面，提供了一种用于使计算机用作根据本发明的数据记录设备的程序。
根据本发明的又一方面，提供了一种数据记录设备，包括：获得部件，用于获得RAW格式的运动图像数据和从所述运动图像数据所获得的静止图像数据；以及记录部件，用于将所述运动图像数据、所述静止图像数据、与所述运动图像数据有关的元数据和与所述静止图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，所述记录部件将所述运动图像数据和所述静止图像数据以相同的容器格式存储在所述数据文件中。
根据本发明的另一方面，提供了一种数据记录设备，包括：获得部件，用于获得由视差图像构成的运动图像数据以及从所述运动图像数据所获得的距离图像数据；以及记录部件，用于将所述运动图像数据、所述距离图像数据、与所述运动图像数据有关的元数据和与所述距离图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，其中，所述记录部件将所述运动图像数据和所述距离图像数据以相同的容器格式存储在所述数据文件中。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据实施例的数字照相机的功能结构的示例的框图。
图2是示意性地示出根据实施例的数字照相机的背面的外观的示例的图。
图3是示意性地示出根据实施例的数字照相机的存储器映射的图。
图4是示出根据实施例的数字照相机生成的数据文件的配置的示例的图。
图5是示意性地示出实施例中的示例性拍摄序列的图。
图6是示意性地示出实施例中的示例性数据记录操作的图。
图7A是示出根据实施例的数字照相机的一系列操作的流程图。
图7B是示出根据实施例的数字照相机的一系列操作的流程图。
图8是示出作为用于重放实施例中所生成的数据文件的重放设备的一个示例的智能电话的功能结构的示例的框图。
图9是示出根据实施例的智能电话的重放处理操作的流程图。
图10是示出图9的步骤S905中执行的下一帧获得处理的详情的流程图。
图11是用于描述实施例中的块偏移(chunk offset)获得操作的图。
图12是用于描述实施例中的块偏移获得操作的流程图。
图13是示意性地示出第二实施例中的示例性拍摄序列的图。
图14是示意性地示出第二实施例中的示例性数据记录操作的图。
图15是示意性地示出第三实施例中的示例性数据记录操作的图。
图16A是用于描述第三实施例中的操作的流程图。
图16B是用于描述第三实施例中的操作的流程图。
图17A是示意性地示出第四实施例中的图像传感器的配置的示例的图。
图17B是示意性地示出第四实施例中的图像传感器的配置的示例的图。
图17C是示意性地示出第四实施例中的图像传感器的配置的示例的图。
图17D是示意性地示出第四实施例中的图像传感器的配置的示例的图。
图17E是示意性地示出第四实施例中的图像传感器的配置的示例的图。
图18是用于描述第四实施例中的距离图像生成方法的图。
图19是示意性地示出第四实施例中的示例性拍摄序列的图。
图20是示意性地示出第四实施例中的示例性数据记录操作的图。
图21是示意性地示出第五实施例中的四视点运动图像数据记录操作的图。
图22是示出第五实施例中的数据文件的配置的示例的图。
具体实施方式
现在将根据附图详细描述本发明的示例性实施例。
第一实施例
下面描述将本发明应用于用作数据记录设备的示例的数字照相机的实施例，但是也可以在具有拍摄功能的任何电子装置或者可以操作图像数据文件的任何电子装置中执行本发明。这样的电子装置的示例包括摄像机、移动电话(例如，功能电话或智能电话)、平板终端、个人计算机(台式计算机、膝上式计算机、笔记本式计算机等)和游戏装置，但是这些仅仅是一些示例。
图1是示出根据本发明实施例的数字照相机100的功能结构的示例的框图，以及图2是示意性地示出数字照相机100的背面的外观的示例的图。摄像单元113包括摄像光学***1131和图像传感器1132。另外，如果数字照相机 100具有机械快门，则机械快门包括在摄像单元113中。机械快门可以是焦平面快门或者透镜快门。
摄像光学***1131在图像传感器1132的摄像面上形成被摄体光学图像。摄像光学***1131的视角(焦距)和聚焦距离(调焦透镜位置)由CPU 101来控制。图像传感器1132例如是CMOS图像传感器。图像传感器1132所执行的电荷累积操作和读出操作也由CPU 101来控制。注意，摄像单元113可以被配置为能够获得诸如立体图像等的视差图像。在这种情况下，摄像单元113可以具有包括摄像光学***1131和图像传感器1132的多个组合的所谓的多眼结构，或者可以具有设置一个摄像光学***1131和一个图像传感器1132并且可以通过图像传感器1132获得视差图像的结构。在后者的情况下，图像传感器 1132例如可以具有由多个光电转换部共用一个微透镜的结构。如果使用这样的图像传感器1132，则也可以执行摄像面相位差AF。注意，摄像光学***1131 可以如可更换镜头那样是可移除的。
CPU 101是数字照相机100的控制部，并且通过将存储在ROM 102中的程序加载到DRAM 103并执行这些程序，CPU 101控制数字照相机100的功能块并实现数字照相机100的功能。稍后描述的数据记录处理也通过由CPU 101 执行的控制来实现。
ROM 102是存储CPU 101所执行的程序、各种设置值、初始值和GUI数据等的非易失性存储器，并且至少一部分可以是可重写的。
DRAM 103是易失性存储器，并且用作诸如CPU 101的工作区域、缓冲存储器等的临时存储区域。
实时时钟104是数字照相机100的内部时钟，并且提供年、月、日、时、分、秒、星期几等。实时时钟104用于校准CPU 101的事件计时器和生成时间戳。
存储卡接口(IF)105是作为记录介质的一个示例的存储卡106的读写器，并且具有用于安装存储卡106的卡槽。经由存储卡IF 105相对于存储卡106读取和写入数据是由CPU101来控制的。
操作单元107是用户向数字照相机100提供各种指示并进行设置所用的输入装置组。操作单元107通常包括按钮、开关、触摸面板、拨盘等，但是不限于物理输入部件，并且还可以包括用于实现音频输入、视线输入等的配置。
在图1中，作为操作单元107的一部分，示出电源按钮108、各种菜单按钮109(菜单按钮、箭头键、确定/执行键等的组合)、释放按钮110、运动图像拍摄指示按钮111和重放模式按钮112。
通信单元114是数字照相机100与外部装置通信所用的有线和/或无线通信接口。通信单元114通常支持用于有线通信的USB和HDMI(注册商标)标准、以及用于无线通信的蓝牙(注册商标)和IEEE 802.11标准，但是不限于这些标准。
信号处理处理器118是专用于信号处理和图像处理的微处理器，并且在本实施例中实现图像处理单元119和压缩/解压缩单元(编解码器)120的功能。图像处理单元119执行数字照相机中的一般图像处理。该图像处理的具体示例包括A/D转换、噪声去除、去马赛克(颜色插值)处理、白平衡调整处理、光学畸变校正、色调校正、颜色空间转换，分辨率转换、被摄体检测(面部检测)和AF评价值计算，但是不限于这些示例。压缩/解压缩单元120对根据预定格式的数据执行编码处理和解码处理。对压缩/解压缩单元120所支持的编码格式没有限制，并且支持如下的一种或多种编码格式，其中该一种或多种编码格式支持用于诸如运动图像和静止图像等的场景的表现的不同方法。这种编码格式的示例包括H.264(或HPEG-4AVC)、H.265(或HEVC)和Motion JPEG，但是不限于这些示例。另外，压缩/解压缩单元120支持诸如JPEG格式等的数字照相机通常支持的编码格式、以及诸如RAW压缩格式等的制造商专有格式。
注意，尽管在图1中未示出，数字照相机100设置有声音收集装置(麦克风)，并且来自麦克风的音频输入也由图像处理单元119进行A/D转换，并由压缩/解压缩单元120进行编码处理和解码处理。
显示单元121例如是液晶显示器(LCD)，并且可以设置有触摸面板。构成操作单元107的一部分的软键和按钮可以通过组合触摸面板和显示单元121 上的GUI显示来实现。在拍摄待机期间和在运动图像拍摄期间，正在拍摄的运动图像被实时显示在显示单元121上，因此可以将显示单元121用作电子取景器。例如，显示单元121还显示用于执行设置的菜单画面，显示数字照相机100的状态和设置值，并且显示存储在存储卡106中的图像数据。
上述功能块经由总线122彼此连接，由此通过CPU 101进行控制并且可以在功能块之间进行通信。注意，在数字照相机100的功能块中，图1仅示意性地示出了描述实施例所需的功能块。
当通过在电源按钮108上执行的操作接通电源时，本实施例的数字照相机100进入静止图像拍摄待机状态。具体地，CPU 101控制摄像单元113和信号处理处理器118，并且开始运动图像拍摄和用于在显示单元121上实时显示所拍摄的运动图像的操作。相应地，显示单元121开始用作取景器。注意，这里拍摄的运动图像用于显示，因此具有与显示单元121的分辨率相对应的分辨率，其中该分辨率低于用于记录的运动图像的分辨率。
CPU 101还基于由图像处理单元119生成的AF评价值来驱动摄像光学***1131的调焦透镜，并且执行自动焦点检测(AF)，使得聚焦于屏幕的中央。 CPU 101还基于由图像处理单元119计算出的拍摄图像亮度信息来执行用于确定适当的曝光条件(累积时间段或电子快门速度、以及增益等)的自动曝光控制(AE)。
当输入诸如半按压释放按钮110等的拍摄准备指示时，CPU 101执行用于静止图像拍摄的AF处理和AE处理。具体而言，CPU 101将调焦透镜驱动到用于聚焦于所设置的焦点检测区域的位置，并且确定曝光条件(光圈值、快门速度、拍摄感光度)。注意，AF处理可以使用诸如对比度方法、相位差方法、对比度方法和相位差方法的组合等的已知方法来执行。在图像传感器 1132具有能够生成相位差焦点检测信号的结构的情况下，可以使用相位差方法。如果图像传感器1132具有一般配置，则可以使用对比度方法。可以单独设置用于实现相位差型AF(相位差AF)的传感器。这里，假定CPU 101通过基于由图像处理单元119计算出的AF评价值(对比度评价值或散焦量)确定调焦透镜位置并且将调焦透镜驱动到所确定的位置来执行AF处理。
AE处理也可以使用已知的方法来执行。例如，在由图像处理单元119执行面部检测的情况下，可以确定曝光条件，使得检测到的面部被适当地曝光。可选地，可以根据所设置的测光模式(例如中央重点测光或点测光等)来确定曝光条件。在任一种情况下，假定在本实施例中CPU 101基于图像处理单元 119计算出的亮度信息来确定曝光条件。
图3是示意性示出在数字照相机100的工作期间DRAM 103的存储器映射的图。当数字照相机100的电源接通时，CPU 101将程序从ROM 102加载到 DRAM 103，并且执行所加载的程序。在本实施例中，CPU 101通过执行基本控制程序301、拍摄控制程序302和容器程序303来实现数字照相机100的功能。
基本控制程序301实现与经由操作单元107执行的用户输入和输出有关的处理、基本用户接口处理、以及文件I/O处理等。另外，拍摄控制程序302 是用于实现与运动图像和静止图像的拍摄有关的各种功能的程序，并且主要与摄像单元113和信号处理处理器118的定时控制以及操作内容的控制有关。
容器程序303是用于实现用于将通过拍摄得到的图像数据和基于这样的图像数据所生成的数据(例如，距离图像)存储在具有后述的特定格式的数据文件中并且记录至存储卡106中的操作的程序。另外，根据在要执行重放时搜索数据的确定，容器程序303在数据文件中搜索期望的数据并搜索重放所需的元数据。容器程序也被称为解析器程序。
图3所示的工作存储区域304是不用于存储程序、而用于临时存储执行程序所需的变量等的存储空间。
图4是示出由本实施例的数字照相机100生成的数据文件的配置的示例的图。本实施例的数据文件具有通用性，而且具有符合具有容器结构的文件格式的配置，并且该配置允许诸如运动图像数据(第一图像数据)和静止图像数据(第二图像数据)等的具有不同场景表现方法的图像数据存储在一个文件中。具体地，该数据文件具有符合ISO基媒体文件格式(ISO/IEC 14496-12)或与ISO基媒体文件格式兼容的格式的容器结构。另一个特征是不同表现方法的数据可以以通用容器格式来存储。这意味着可以基于相同的确定来从一个数据文件获得不同表现方法的数据。
ISO基媒体文件格式具有由容器盒和存储在容器盒中的子盒组成的容器结构。在图4中，数据文件400是顶层的容器盒，并且存储文件类型盒(ftyp) 401、影片盒(moov)402和媒体数据盒(mdat)406。影片(movie)盒402存储轨道盒(trak)403～405。媒体数据盒406存储实际数据。
注意，在ISO基媒体文件格式中，实际数据以被称为样本、块和轨道的单位进行管理。轨道包括图像序列和音频序列，并且是样本的集合。样本是单独的视频帧、时间连续的视频帧组或时间连续的压缩音频部分。另外，块是用于一个轨道的连续样本集合，并且是存储在媒体数据盒406中的实际数据的管理单位。关于ISO基媒体文件格式的详情，参见ISO/IEC 14496-12规范。
相应地，图4中的媒体数据盒406中的运动图像数据流407、连续拍摄的静止图像数据流408和音频数据流409均是利用共同的时间单位进行管理的。某轨道的实际数据的各块的起始地址由相对于文件开头的绝对偏移(块偏移) 进行管理。注意，当不处于连续拍摄期间时，连续拍摄的静止图像数据流408 不具有数据，并且当处于连续拍摄期间时，其将静止图像数据存储为具有与每秒拍摄的图像数量相对应的帧频的运动图像帧。
文件类型盒401包含用于标识数据文件的类型的四字母标识符(标签)。标识符符合注册***，并国际地进行管理。
影片盒402是存储与存储在媒体数据盒406中的实际数据有关的元数据 (管理信息)的容器盒。
影片盒402包含以下内容。
-mvhd(影片头部)：创建时间、修改时间、时间标度、长度(持续时间)、重放速率、音量等。
-trak(轨道)：单个轨道的容器盒。
-各个轨道盒(trak)包含以下所示的盒，并存储与预定设置值相对应的值。这些盒和所存储的信息由标准来定义，因此这里不再详细描述。
-tkhd(轨道头部)：标志(启用或不启用等)、创建日期，修改日期、轨道 ID、长度(持续时间)、层、音量、轨道宽度和高度等。
-edts(编辑)：存储编辑列表的容器盒。
-elst(编辑列表)：存储时间线图。各个条目定义轨道时间线的一部分。条目数、轨道持续时间(编辑片段的持续时间)、媒体时间(编辑片段的开始时刻)、媒体速率(重放速率)。
-mdia(媒体)：存储与轨道中的媒体数据相关的盒的容器盒。
-mdhd(媒体头部)：不依赖于媒体的信息，其与轨道中的媒体的特征(创建日期、修改日期、时间标度、长度、语言等)相关。
-hdlr(处理程序参考(handler reference))：媒体处理程序类型(轨道类型)、轨道类型的人可读名称等。
-minf(媒体信息)：存储轨道中的媒体的特征信息的容器盒。
-vmhd/smhd/hmhd/nmhd(媒体信息头部)：针对各类型的轨道而设置一个。诸如版本等的独立于编码的信息。
-dinf(数据信息)：存储与轨道中的媒体信息的位置有关的盒的容器盒。
-dref(数据参考)：版本、实际条目数、条目格式版本、数据条目名称(URN) 或数据条目位置(URL)。
-stbl(样本表)：包含轨道中的媒体样本的所有时间和数据索引的样本表。
-stsd(样本描述)：与编码格式有关的详细信息和初始化信息。
-stts(解码时刻到样本)：从解码时刻到样本编号的转换表。
-stsc(样本到块)：用于基于样本查找包含该样本的块的信息(各个块的样本数量等)。
-stsz(样本大小)：各个样本的样本数和数据大小(以字节为单位)。
-stco(块偏移)：文件中的各个块的位置信息表。
注意，为了简化，图4仅示出了针对存储在媒体数据盒406中的各个数据流的轨道盒403～405。还要注意，除了上述盒以外的盒可以包含在影片盒402 和轨道盒403～405中。
在本实施例中，轨道盒403～405分别存储与存储在媒体数据盒406中的运动图像数据、静止图像数据和音频数据有关的元数据。
注意，轨道盒具有用于基本上应对时间序列的数据的配置，因此如上所述在用于静止图像数据的情况下调整表示帧频的参数。例如，在连续拍摄的用于静止图像的数据的情况下，将与连续拍摄速度(张或帧/秒)相对应的值设置为帧频参数值。
注意，针对各个块存储块偏移，并且将不具有实际数据的块的块偏移设置为不可信的值，从而使得可以在参考块偏移盒时识别为实际数据不存在。在所有媒体数据被存储在一个文件中的本实施例中，例如值“0”可以被用作不可信的块偏移。
数字照相机的工作流程
接下来，将参考图7A和7B中所示的流程图来描述数字照相机100的一系列拍摄相关操作。在通过对电源按钮108执行的操作而接通数字照相机100的电源时开始图7A和7B所示的处理，并且数字照相机100正在拍摄待机状态下工作。在下文中，为了方便起见，将会使用特定程序作为主体来描述通过CPU 101执行该程序所实现的处理。
在步骤S701中，基本控制程序301等待要对操作单元107执行的某种操作。当操作单元107***作时，在步骤S702中，基本控制程序301判断操作是否是电源断开操作，并且如果该操作是电源断开操作，则在步骤S703中执行预定的电源断开处理。
另一方面，如果操作不是电源断开操作，则在步骤S704中，基本控制程序301判断操作是否是对运动图像拍摄指示按钮111进行的操作(输入运动图像记录开始指示)。如果该操作不是对运动图像拍摄指示按钮111进行的操作，则基本控制程序301执行与操作相对应的处理(步骤S705)，然后将处理返回到步骤S701。另一方面，如果操作是对运动图像拍摄指示按钮111进行的操作，则在步骤S706中基本控制程序301将容器程序303加载到DRAM103并执行初始化处理。在本实施例中，静止图像、运动图像和音频以通用容器格式来进行处理，因此容器程序303的加载和初始化仅需要执行一次。
接下来，在步骤S707中，容器程序303生成数据文件头部信息，其中该数据文件头部信息具体是要存储在文件类型盒401和影片盒402中的信息。注意，这里不是生成所有的头部信息，而是仅生成能够生成的信息(诸如运动图像数据分辨率和速率等的静态信息)。基本控制程序301然后执行文件打开处理，并将头部信息写入存储卡106。
在步骤S708中，拍摄控制程序302执行用于运动图像的自动焦点检测(AF) 和自动曝光控制(AE)。注意，这里所涉及的AF和AE处理可以使用已知的方法来执行，因此将不会详细描述。
在步骤S709中，拍摄控制程序302执行用于拍摄基于步骤S708中所确定的曝光条件的运动图像(一个帧大小)的处理，并且将从图像传感器1132读出的图像信号提供给图像处理单元119。
在步骤S710中，图像处理单元119执行不依赖于压缩/解压缩单元120中的编码处理的图像处理，例如，A/D转换处理和分辨率转换处理。注意，除非要以RAW格式执行记录，否则这里还执行颜色插值处理(去马赛克处理)和白平衡调整处理。另外，在与运动图像一起记录音频的情况下，图像处理单元119对音频信号执行A/D转换、噪声降低处理等。
在步骤S711中，压缩/解压缩单元120对从图像处理单元119接收到的图像 (和音频)数据应用编码处理。对这里所应用的编码的类型没有限制，并且可以将不同的编码规范应用于运动图像、静止图像和音频。然而，通过应用共同的编码规范，使得能够减少重放装置的负担，并且使得重放期间的应答性良好。注意，这里提到的“共同”的编码规范是指可以由一个编码器程序处理的编码、或者由单个标准支持的编码方法的范围，并且在相同的标准内可能有差异。另外，注意，在应用帧间预测编码的情况下，步骤S711的处理不一定适用于紧接之前拍摄的运动图像帧。压缩/解压缩单元120将编码数据写入 DRAM 103的工作存储区域304。
在步骤S712中，容器程序303计算要存储在影片盒402中的轨道盒 403～405中的偏移信息。具体地，对于针对可以存储在媒体数据盒406中的各个类型的数据而设置的各个轨道盒，容器程序303计算解码时刻和样本之间的对应关系、样本大小、块偏移等。这里，容器程序303将不具有实际数据的轨道中的块偏移设置为诸如“0”等的特定偏移值，从而使得可以识别出实际数据不存在。
注意，针对不具有实际数据的轨道的类型，还计算(生成)偏移信息，使得具有相同编号的条目存储与同各轨道盒中存储的表中的相同块有关的数据相对应的信息。另外，预先确定在步骤S712中计算偏移信息的轨道，并且在例如开始运动图像拍摄的情况下，与在运动图像拍摄期间是否进行静止图像拍摄无关地，针对运动图像轨道、静止图像轨道和音频轨道计算偏移信息。
为了防止拍摄获得的数据丢失，期望将可写数据顺次写入记录介质。为了实现这一点，需要计算与媒体数据盒406中的实际数据有关的偏移信息。然而，管理信息中包含的偏移信息(块偏移)表示相对于文件开头的偏移，因此有必要确定在媒体数据盒406之前记录的文件类型盒401和影片盒402的大小。为此，在本实施例中，在计算偏移信息之前确保用于影片盒402的固定容量。
通常，在数字照相机100中可以记录在一个文件中的运动图像的长度受到文件***(例如，4GB)的限制或者受连续拍摄时间(例如29分59秒)的限制等。因此，基于每块的样本的数量和帧频，可以获得轨道盒403～405(特别是块偏移盒stco)所需的最大条目数。为此，在计算偏移信息之前，确保能够存储最大条目数的影片盒402的大小。注意，尽管影片盒402可以在符合标准的文件中的任何位置处，但是当考虑到文件内的数据移动处理等的负荷时，将影片盒402配置在文件中的所有可变长度盒的前面是有利的。
通过以这种方式预先确保用于管理信息的区域，存储卡106中将会确保的这个区域是比实际要记录的实际数据所需的管理信息区域大的区域。然而，如果确保了与比最大持续时间短的运动图像数据相对应的管理信息区域，并且所确保的区域变得不足，则将需要执行大量的数据读取/写入以将媒体数据盒406的开始位置向后移位。特别地，在诸如数字照相机、智能电话、或者平板终端等的存储容量小的装置中进行这样的大量数据移动(或复制)处理是耗时的，并且从功耗的角度来看也不是优选。针对管理信息确保的区域的大小与运动图像数据的大小相比足够小。因此，在本实施例中，首先针对作为用于存储管理信息的容器盒的影片盒402确保最大大小，然后将实际数据记录到媒体数据盒406。
注意，尽管为了方便使用了表述“静止图像轨道”，但是如上所述以轨道处理诸如运动图像等的时间序列数据为前提，因此也需要以与运动图像的帧图像类似的方式处理静止图像。因此，容器程序303生成要记录到影片盒402 中的各种类型的信息(管理信息)，使得在拍摄静止图像的情况下，可以使用运动图像管理信息来管理静止图像。
在步骤S713中，容器程序303接收存储在DRAM 103的工作存储区域304 中的预定写入单位的编码数据流，并将接收到的数据传送至基本控制程序 301。基本控制程序301将数据记录至存储卡106。
然后，在步骤S714中，容器程序303接收与步骤S713中写入的实际数据相对应的管理信息，并将该管理信息传送至基本控制程序301。基本控制程序301将该数据记录至存储卡106。这样，由于写入与所写入的实际数据相对应的管理信息，因而即使由于电源突然断开而导致记录操作异常结束，直至该时间点为止所拍摄的数据也可以处于正常记录在存储卡106上的状态。
在步骤S715中，拍摄控制程序302判断是否从基本控制程序301通知了检测到释放按钮110的按压(静止图像拍摄指示的输入)。拍摄控制程序302可以检测在拍摄操作期间对操作单元107执行的操作。如果输入了静止图像拍摄指示，则拍摄控制程序302使处理进入步骤S716。
如果没有输入静止图像拍摄指示，则在步骤S719中，拍摄控制程序302 判断是否按压了运动图像拍摄指示按钮111(输入了运动图像拍摄结束指示)，并且如果输入了运动图像拍摄结束指示，则结束拍摄操作。基本控制程序301 然后执行文件关闭处理等，然后将处理返回到步骤S701。另一方面，如果在步骤S719中没有输入运动图像记录结束指示，则处理返回到步骤S708，并且继续对下一帧进行处理。
在步骤S716中，拍摄控制程序302执行静止图像所用的自动焦点检测(AF) 和自动曝光控制(AE)。在静止图像拍摄中使用机械快门的情况下，此时中断运动图像记录处理，但是可以继续用于AF和AE处理的运动图像拍摄处理。注意，这里所涉及的AF和AE处理可以使用已知的方法来执行，因此将不会详细描述。
在步骤S717中，拍摄控制程序302执行用于拍摄基于在步骤S716中确定的曝光条件的静止图像(一帧)的处理。在针对静止图像拍摄使用机械快门的情况下，拍摄控制程序302结束运动图像拍摄处理，执行电荷复位处理等，由此驱动光圈和机械快门并拍摄静止图像。在针对静止图像拍摄不使用机械快门的情况下，继续运动图像拍摄和记录处理。拍摄控制程序302将从图像传感器1132读出的图像信号提供给图像处理单元119。
在步骤S718中，图像处理单元119执行诸如A/D转换处理和分辨率转换处理等的不依赖于压缩/解压缩单元120中的编码处理的图像处理，然后将处理进入到步骤S711。注意，除非要以RAW格式执行记录，否则这里还执行颜色插值处理(去马赛克处理)和白平衡调整处理。
图5和图6示意性地示出在运动图像拍摄期间使用机械快门执行静止图像的连续拍摄的情况下数字照相机100的操作和数据记录操作。
假定在数字照相机100处于拍摄待机状态的时刻t0，用户按压运动图像拍摄指示按钮111。因此，CPU 101(拍摄控制程序302)开始执行运动图像记录操作。这里，假定拍摄FHD(1920x 1080像素)60fps运动图像。拍摄操作与拍摄待机状态下的运动图像拍摄类似，但是添加了与同用于显示的运动图像分开的用于记录的运动图像有关的处理。用于记录的运动图像通常具有比用于显示的运动图像更高的分辨率，并且由压缩/解压缩单元120应用编码处理以减少数据量。不对编码格式进行限制，并且可以使用诸如Motion-JPEG、 MPEG-2、H.264等已知的方法。注意，可以以RAW格式按原样地(可能执行数据压缩)记录所拍摄的帧。
另外，如果在运动图像拍摄期间也设置了音频的记录，则也通过压缩/ 解压缩单元120对音频数据执行编码处理。压缩/解压缩单元120生成运动图像数据流和音频数据流，并将它们顺次存储到DRAM 103的工作存储区域304。
容器程序303然后开始进行用于从存储在工作存储区域304中的数据流生成具有参考图4描述的容器结构的数据文件的处理。基本控制程序301还开始进行用于经由存储卡接口105将所生成的数据文件记录到存储卡106的处理。拍摄和编码处理、数据文件生成处理以及数据文件记录处理可以并行执行。
在时刻t1，当检测到诸如释放按钮110的全按压等的静止图像拍摄执行指示时，拍摄控制程序302中断运动图像拍摄并执行静止图像拍摄处理。这里，因为在静止图像拍摄期间要使用机械快门，所以中断运动图像拍摄，但是使用电子快门的静止图像拍摄(稍后描述)等同于运动图像拍摄，因此在静止图像拍摄期间也获得运动图像数据。
在继续全按压释放按钮110的状态下，本实施例的数字照相机100重复执行静止图像拍摄处理(连续拍摄)。假设静止图像具有5472×3648像素，并且连续拍摄速度是10帧/秒(10fps)。在图5的示例中，从时刻t1到时刻t2完全按压释放按钮110，并且连续多次执行静止图像拍摄处理。该静止图像拍摄处理与用于一帧大小的运动图像拍摄的处理类似，除了压缩/解压缩单元120中使用的分辨率和编码方法可能与进行运动图像拍摄的情况不同以外。压缩/解压缩单元120生成静止图像数据流，并将其存储到DRAM 103的工作存储区域304。
当在时刻t2解除释放按钮110的全按压时，CPU 101(拍摄控制程序302) 恢复被中断的运动图像拍摄处理。之后，当在时刻t3检测到运动图像拍摄结束(或暂停)指示(例如，再次按压运动图像拍摄指示按钮111)时，CPU 101(拍摄控制程序302)结束(或暂停)运动图像拍摄处理。
图6示意性地示出对图5所示的拍摄序列中获得的数据执行的编码处理以及数据文件中数据的存储状态。这里示出如下：运动图像、音频和静止图像数据全部由压缩/解压缩单元120根据相同的编码方法(H.264)进行编码，并且被存储在数据文件中的相同容器(媒体数据盒(mdat)406)中。
在该图中，运动图像数据流407和音频数据流409被分成具有实际数据的从时刻t0到t1的区间和从时刻t2到t3的区间，但是实际上它们可以是连续的数据流。拍摄时间和数据流中的实际数据的位置在影片盒402中的轨道盒403和 405中被管理，因此可以存储仅将具有实际数据的区间连接在一起的数据流。应该注意的是，由于如上所述使用块作为媒体数据盒406中的实际数据的管理单位，所以可以调整样本数，使得组成数据流的采样的数量是每块的样本数量的倍数。
注意，以上描述了用于基于防止拍摄数据的丢失和利用小容量DRAM 103的处理的前提来将数据顺次记录到存储卡106的配置。然而，如果DRAM 103的容量足够大并且如果处理时间不是问题，则以下配置是可以的：将拍摄数据缓存在DRAM 103中直到记录结束为止，然后将数据全部一次写入数据文件。
另外，如下配置是可以的：记录具有不同分辨率的多个运动图像数据。例如，如下配置是可以的：将具有正常分辨率的运动图像和具有低分辨率(尺寸缩小)的运动图像都记录在相同的数据文件中。在这种情况下，图像处理单元119生成尺寸缩小的帧图像，并且压缩/解压缩单元120也对尺寸缩小的帧图像执行编码处理。另外，用于尺寸缩小的运动图像的轨道盒被添加到影片盒402中。用于尺寸缩小的运动图像数据的实际数据也被存储在媒体数据盒 406中。
如上所述，本实施例的数字照相机100将诸如运动图像数据和静止图像数据等的不同表现方法的图像数据记录在同一文件中。为此，可以一起处理诸如运动图像和在运动图像拍摄期间拍摄的静止图像等的不同表现方法的相关图像数据，并且可以容易地进行管理和使用。另外，使用通用容器结构使得可以方便记录和重放。
例如，存在如下情况：如使用图5所述，可以在运动图像拍摄期间执行静止图像拍摄，并且在静止图像拍摄期间中断运动图像记录。在这种情况下，运动图像数据仅存在于从时刻t0到t1的区间A和从时刻t2到t3的区间B。在这种情况下，在运动图像重放期间，可能需要执行如下处理：重放区间A直到其结束，然后显示从时刻t1到t2拍摄的静止图像，然后开始重放区间B。
传统上，在图5中所示的拍摄序列中获得的运动图像数据和静止图像数据被记录为单独的文件。为此，在重放期间，需要搜索在不具有运动图像数据的区间中要重放的静止图像文件。例如，在连续拍摄静止图像的情况下，文件数量与连续拍摄数量相对应地增加，并且管理变得麻烦，而且也增加了一些静止图像文件被移动或删除的可能性。然而，通过使用如本实施例中的以相同的容器格式存储运动图像数据和静止图像数据的数据文件结构，无需搜索静止图像文件。注意，容器格式是指将数据存储在文件中的方法，并且使用相同的容器格式使得可以基于相同的规则获得数据。
另外，通常使用的运动图像数据文件和静止图像数据文件具有完全不同的数据结构，因此在重放期间获得静止图像数据，这需要加载和初始化用于从静止图像文件检索数据的容器程序。然而，在本实施例中，运动图像数据和静止图像数据以相同的容器格式存储在数据文件中，从而使得可以使用相同的容器程序来搜索和检索文件中的数据。因此，不需要用于在重放装置中加载和初始化静止图像数据用的容器程序的资源和时间，并且使得能够实现运动图像重放和静止图像重放的平滑切换。
另外，如果静止图像和运动图像编码格式也相同，则只需要一个解码程序，从而与使用不同编码格式的情况相比，可以减少在重放装置中加载解码程序所需的资源量，并且减少初始化处理所需的时间量。如摄像设备或智能电话那样，与个人计算机相比，这些效果在重放装置在处理能力和存储器资源方面更受约束的情况下更为显著。
为了理解上述效果，下面描述根据本实施例的数据文件重放操作。
图8是示出作为重放设备的一个示例的智能电话800的功能结构的示例的框图。除了用于与移动电话网络进行通信的功能之外，其具有类似于具有较少资源的计算机装置的结构。
CPU 801通过将存储在作为非易失性存储设备的SSD 809中的各种程序 802加载到DRAM 803并执行程序来实现智能电话800的功能。在各种程序802 中包括控制程序(操作***)804、容器程序805、解码程序806、应用程序807 等。除了各种程序802之外，SSD 809还存储各种设置值、图像数据810等。这里，图像数据810是具有使用图4描述的配置的数据文件。注意，图像数据 810可以存储在诸如半导体存储卡或USB存储器等的可移除记录设备中。
显示单元812通常是触摸面板显示器。另外，输入单元813包括电源开关、音量按钮、静音模式按钮等。在显示单元812中设置的触摸面板也包括在输入单元813中。通信单元814例如具有用于经由WiFi或蓝牙(注册商标)或者利用移动电话网络等进行无线通信的发送器/接收器、以及用于经由USB等进行有线通信的连接器和接口。扬声器815输出音频、铃声等。
DRAM 803是易失性存储器，并且用于由CPU 801加载程序并用作工作区和缓冲存储器。在如图8所示的图像数据重放状态下，加载控制程序804、容器程序805、解码程序806和应用程序807，并将空闲区域的一部分用作工作存储区域808。
上述功能块经由总线816可通信地彼此连接。
接下来，将参考图9～12来描述重放期间的操作的详情。
这里，假设例如经由输入单元813在由应用程序807显示的用于显示可播放图像数据的列表等的画面上输入了针对特定数据文件的重放指示。在下面的描述中，也使用程序作为主体来描述由CPU 801执行程序所实现的处理步骤。注意，控制程序804是OS，并且其它程序使用控制程序804提供的基本功能来运行。
图9是示出智能电话800的重放处理操作的流程图。在步骤S901中，CPU 101(应用程序807)从SSD 808中读出容器程序805，并将容器程序805加载到 DRAM 803。CPU 101然后开始执行容器程序805。
在步骤S902中，CPU 101(容器程序805)执行容器程序805的初始化处理。在容器程序805的初始化处理中，从要重放的数据文件中获得诸如图像大小、位深度和帧频等的信息，在DRAM 803中确保缓冲区，并且设置重放时刻和重放帧编号的初始值。
在步骤S903中，CPU 101(应用程序807)从SSD 809读出解码程序806，并将解码程序806加载到DRAM 803。然后，CPU 101开始执行解码程序806。
使用容器程序，可以获得表示在数据文件中记录了什么类型的数据、记录了多少数据、数据记录在哪个区域等的信息。
这样，基于与记录在数据文件中的数据有关的信息，可以仅将重放处理所需的解码程序加载到DRAM 803并对其进行初始化。特别地，如本实施例那样在将不同格式的数据存储在一个文件中的配置的情况下，将各种格式的解码程序加载到DRAM 803并启动，这会对重放设备造成很大的负担。因此，对于能够通过使用一个容器程序来指定重放所需的解码程序，这具有特别显著的效果。另外，通过预先获得与数据数量、其大小等有关的信息，可以在随后的重放处理中使用它们。
在步骤S904中，CPU 101(解码程序806)执行解码程序806的初始化处理。在该初始化处理中，设置诸如图像大小、位深度和组件数量等的初始值，并且在DRAM803中确保缓冲区。
注意，多个容器程序和解码程序可以被存储在各种程序802中。在这种情况下，应用程序807可以例如参考要重放的数据文件的元数据(影片盒)，并且根据存储在文件中的数据的编码格式，确定(选择)在步骤S901和步骤S903 中要加载的程序。
在步骤S905中，容器程序805从数据文件获得帧数据。该操作的详情将在后面描述。
在步骤S906中，解码程序806对在步骤S905中获得的数据执行解码处理。
在步骤S907中，如果存在与帧相对应的音频数据，则容器程序805从数据文件获得这种音频数据。注意，在步骤S905中可以与帧数据(图像数据)一起获得音频数据。
在步骤S908中，解码程序806对音频数据执行解码处理，并等待到达重放定时。
在步骤S909中，应用程序807在显示单元812上显示步骤S906中解码的帧。
在步骤S910中，应用程序807再现步骤S907中解码的音频数据，并将其从扬声器815输出。
在步骤S911中，应用程序807检查是否从输入单元813接收到重放停止指示，并且如果已经接收到重放停止指示，则结束重放处理，或者如果尚未接收到重放停止指示，则处理进入步骤S912。
在步骤S912中，应用程序807检查作为重放对象的数据文件是否重放到了末尾，在数据文件重放到了末尾的情况下结束重放处理，或者在数据文件尚未重放到末尾的情况下使处理返回到步骤S905并重复下一帧的处理。
图10是示出在图9的步骤S905中执行的下一帧获得处理的详情的流程图。该处理由CPU 801执行容器程序805来实现。
在步骤S1000中，容器程序805检查是否已经重放了重放块中的所有帧，并且如果尚未重放所有帧，则在步骤S1010中使重放帧编号(帧索引)递增，并且使处理进入步骤S1011。
另一方面，如果已经重放了重放块中的所有帧，则容器程序805搜索下一重放块。首先，在步骤S1001中，容器程序805参考数据文件的影片盒(moov) 中的轨道盒(运动图像)，然后在步骤S1002中，获得与该重放时刻相对应的块的开头位置(块偏移)。稍后将详细描述块偏移获得处理。
在步骤S1003中，容器程序805检查在步骤S1002中获得的块偏移是否为0 (是否不存在与重放时刻相对应的运动图像数据)，并且如果块偏移是0，则将处理进入到步骤S1004，或者如果块偏移不是0，则将处理进入到步骤S1008。
在步骤S1008中，容器程序805将在步骤S1002中获得的块偏移处开始的块设置为重放块。然后，在步骤S1009中，容器程序805将初始值1设置为重放块中的重放帧编号(帧索引)，并使处理进入步骤S1011。
在步骤S1004中，容器程序805参考数据文件的影片盒(moov)中的轨道盒 (静止图像)，然后在步骤S1005中，获得与重放时刻相对应的块的开头位置(块偏移)。稍后将详细描述块偏移获得处理。
在步骤S1006中，容器程序805检查在步骤S1005中获得的块偏移是否为0 (是否不存在与重放时刻相对应的静止图像数据)，并且如果块偏移是0，则将处理进入到步骤S1011，或者如果块偏移不是0，则将处理进入步骤S1007。在步骤S1007中，容器程序805将步骤S1005中获得的块偏移处开始的块设置为重放块，然后使处理进入到步骤S1009。
在步骤S1011中，容器程序805例如获得与重放块中的帧索引相对应的帧的数据，并将所获得的数据存储在例如DRAM的工作存储区域808中。如上所述，在运动图像轨道中不存在要重放的数据的时间段中，参考静止图像轨道，并且如果存在重放数据，则重复重放静止图像轨道的相同帧(帧索引＝1)。注意，在图10的流程图中，在重复重放静止图像的情况下，也重复执行数据获得，但是不重复获得已经获得的数据的配置也可以。
以下将参考图11和12更详细地描述步骤S1002和步骤S1005中的块偏移获得操作。
这里，将存储了在图5所示的拍摄序列中获得的运动图像数据和静止图像数据的数据文件作为重放对象，并且每块的样本数(帧数)是4。
图11中的上部分示意性地示出存储在数据文件中的媒体盒(mdat)中的数据，以及下部分示意性地示出包含在相应轨道盒(trak)中的编辑列表(elst)的时间线图。
下面将进一步参考图12的流程图来描述用于获得与重放时刻t相对应的块偏移的方法的示例。
在步骤S1201中，容器程序805参考数据文件的影片盒402中的编辑盒 (elst)，并且判断对象轨道(运动图像或静止图像轨道)在重放时刻t是否是有效的。在图11的示例中，t1≤t<t2，因此容器程序805判断为对象轨道是有效轨道，并且使处理进入步骤S1202。在判断为对象轨道不是有效轨道的情况下，容器程序805将处理进入到步骤S1205，判断为不存在要重放的帧，将块偏移设置为0，并且结束该处理。
在步骤S1202中，容器程序805参考解码时刻到样本盒(decoding time-to-samplebox)(stts)。解码时刻到样本盒存储表格式的数据，其中该表格式的数据表示具有相同解码开始时刻间隔(sample-delta)的连续样本的数量。例如，在以解码时刻按时间标度上的10作为间隔的方式排列10个样本的情况下，表条目表示样本数为10且sample-delta为10。sample-delta值是在媒体头部盒(mdhd)中定义的时间标度的值。任何解码时刻的样本编号可以通过从第一个表条目开始依次累加sample-delta和样本数来获得。
具体地，容器程序805可以按照下面的方式从重放时刻t确定重放样本编号。媒体时间由t-t1获得，因此在例如t1＝10秒和t＝12.26秒的情况下，媒体时间是2.26秒。这里为了简便，在假设将sample-delta所表示的样本间隔固定为1/30秒的情况下，基于2.26/(1/30)＝67.8获得了67作为样本编号。
接着，在步骤S1203中，容器程序805参考样本到块盒(stsc)，获得每块的样本数量，并且获得存储步骤S1202中所获得的样本编号的块编号。这里，每块有四个样本，因此基于67/4＝16.25，容器程序805可以获得17作为块编号。
接着，在步骤S1204中，容器程序805参考块偏移盒(stco)。块偏移盒是块位置信息表，该块位置信息表使用文件偏移(相对于文件开头的偏移)来表示文件中的块的位置。因此，容器程序805参考与第17个块相对应的表条目，并且获得第17个块的开始位置(起始地址)。
以这种方式获得块偏移。
在步骤S1011中，在基于帧索引和块偏移获得帧数据的情况下，容器程序805首先参考样本大小盒(stco)，并获得包含在对象块中的样本的大小。第 67个样本是第17个块中的第3个样本(帧索引＝3)。
因此，在将stsz/table[65]和stsz/table[66]设为第65个和第66个样本的大小的情况下，可以获得如下所示的第67个样本的数据起始地址。
起始地址＝块偏移+stsz/table[65]+stsz/table[66]
然后，容器程序805从数据文件中获得具有从第67个样本的起始地址开始的stsz/table[67]的大小的数据作为重放帧数据。注意，音频数据也可以使用类似的过程来获得。
通常，诸如智能电话、平板终端等的移动电子装置具有较少的存储器资源，这导致，在将多个容器程序加载到DRAM中时由于抑制了存储器空闲空间，因而操作感下降等。例如，假定运动图像数据和在拍摄运动图像期间所拍摄的静止图像数据已经以不同容器格式(不同文件)记录。在这种情况下，如果要在运动图像数据的记录中断的区间中重放静止图像，则需要将用于搜索要重放的静止图像文件并从静止图像文件中获得重放数据的容器程序加载到DRAM。然而，在本实施例中，当记录数据文件时，运动图像数据和静止图像数据以相同的容器格式存储在数据文件中。为此，仅需要将一个容器程序805加载到DRAM 803，这对于在具有很少存储器资源的设备上的重放是有利的。另外，即使在从运动图像重放切换到静止图像重放的情况下，也不需要搜索静止图像数据。
注意，这同样适用于编码格式。因此，通过对要以相同容器格式存储在数据文件中的数据使用相同的编码格式，仅需要将一种类型的解码程序加载到DRAM，并且效果甚至更加显著。
另外，在本实施例中，使用一个容器程序，可以获得表示在数据文件中记录了什么类型的数据、记录了多少数据、数据记录在哪个区域等的信息，这对后续处理是有用的。
例如，基于与记录在数据文件中的数据有关的信息，可以仅将重放处理所需的解码程序加载到存储器并对其进行初始化。特别地，如本实施例那样在将不同格式的数据存储在一个文件中的配置的情况下，将所有可能格式的解码程序加载到存储器并进行启动，这对重放设备造成很大的负担。因此，对于能够通过使用一个容器程序指定重放所需的解码程序，这具有特别显著的效果。另外，通过预先获得与数据数量、其大小等有关的信息，可以在随后的重放处理中使用这些信息。
注意，为了简化在上述示例中的描述和理解，以记录的顺序来重放帧，但是本领域技术人员将理解，存在帧不一定以记录顺序重放的情况，例如重放经过帧间预测编码的运动图像数据的情况等。另外，静止图像不需要通过连续拍摄获得。另外，尽管智能电话被描述为具有有限资源的重放装置的示例，但是数字照相机100也被包括作为类似的重放装置。
第二实施例
接下来，将描述本发明的第二实施例。在第一实施例中作为示例给出的图5的拍摄序列中，机械快门用于静止图像拍摄，因此在静止图像拍摄期间 (从时刻t1到t2的区间)中断运动图像拍摄。与之相对地，本实施例涉及利用如图11所示通过使用电子快门进行静止图像拍摄而同样可以在静止图像拍摄区间中获得运动图像数据的拍摄序列所获得的数据的记录方法。
类似于图5和6，图13和图14示意性地示出在运动图像拍摄期间使用电子快门执行的静止图像的连续拍摄的情况下数字照相机100的操作和数据记录操作。以下描述与第一实施例的不同之处。
运动图像拍摄和静止图像拍摄的开始定时与第一实施例类似。在时刻 t1，当检测到静止图像拍摄执行指示时，拍摄控制程序302改变运动图像拍摄参数。具体地，将拍摄分辨率改变为静止图像拍摄分辨率。拍摄控制程序302 还改变信号处理处理器118的设置。具体地，拍摄控制程序302对图像处理单元119进行设置，以针对静止图像拍摄期间获得的各个帧图像来生成RAW格式数据和在尺寸缩小后经过显像处理的数据这两者。拍摄控制程序302还对压缩/解压缩单元120进行设置，以对RAW格式数据执行无损压缩处理，并将尺寸缩小图像作为静止图像拍摄期间的运动图像数据帧执行编码处理。这里，进行行程长度编码(run-length encoding)作为无损压缩处理，并且进行 H.264编码作为运动图像编码处理，但是这些仅仅是示例。注意，RAW格式数据可以进行有损编码，并且在将RAW格式用于运动图像数据等的情况下，可以对运动图像数据进行无损编码。
因此，在图13的示例中，从时刻t1到t2，按静止图像分辨率以每秒60帧进行拍摄。在此期间，图像处理单元119将RAW格式的拍摄图像输出到压缩/ 解压缩单元120，并且生成经过了尺寸缩小处理和显像处理的运动图像帧图像，并且还将它们输出到压缩/解压缩单元120。压缩/解压缩单元120对RAW 格式的拍摄图像执行行程长度编码并生成静止图像数据流，并将静止图像数据流存储在DRAM 103的工作存储区域304中。压缩/解压缩单元120还从时刻 t0对运动图像帧图像类似地进行H.264编码，将生成的运动图像数据流存储在DRAM 103的工作存储区域304中。
当在时刻t2解除释放按钮110的全按压时，CPU 101(拍摄控制程序302) 使运动图像拍摄处理参数返回到其原始值。因此，类似于从时刻t0到t1的时间段，将拍摄分辨率返回到运动图像拍摄分辨率，图像处理单元119的处理返回到显像处理，并且压缩/解压缩单元120的处理返回到运动图像数据流生成。之后，当在时刻t3检测到运动图像拍摄结束(或暂停)指示(例如，再次按压运动图像拍摄指示按钮111)时，CPU 101(拍摄控制程序302)结束(或暂停) 运动图像拍摄处理。
图14示意性地示出对图13所示的拍摄序列中获得的数据所执行的编码处理、以及数据文件中数据的存储状态。该图示出压缩/解压缩单元120对运动图像和音频执行H.264编码，对静止图像执行行程长度编码，并将编码数据存储在数据文件的相同容器(媒体数据盒(mdat)406)中。
注意，在本实施例中，如果DRAM 103的容量足够大，并且如果处理时间不是问题，则以下配置是可以的：在DRAM 103中缓存拍摄数据直到记录结束为止，然后将数据全部一次写入数据文件。
另外，如下配置是可以的：记录具有不同分辨率的多个运动图像数据。例如，如下配置是可以的：将具有正常分辨率的运动图像数据和通过降低运动图像的分辨率而获得的尺寸缩小的运动图像数据两者都记录在相同的数据文件中。在这种情况下，通过图像处理单元119生成尺寸缩小的帧图像，并且还通过压缩/解压缩单元120对尺寸缩小的帧图像执行编码处理。另外，将用于尺寸缩小的运动图像的轨道盒添加到影片盒402。还将尺寸缩小的运动图像数据的实际数据存储在媒体数据盒406中。
以这种方式，即使在运动图像拍摄期间进行静止图像拍摄的情况下，如果能够在运动图像数据不中断的情况下获得静止图像，则也不需要使得静止图像数据的编码格式与运动图像数据的编码格式相同。为此，可以分别针对静止图像数据和运动图像数据自由选择编码格式。例如，可以对运动图像使用高压缩率的有损压缩编码，并且对RAW格式的静止图像数据使用无损压缩编码，并且可以根据数据的类型和目的来执行适当的编码。另外，在本实施例中，静止图像和运动图像也以相同的容器格式存储在一个数据文件中，从而获得例如如下效果：便于管理相关数据，无需文件搜索，并且无需在重放装置中加载多个容器程序。
第三实施例
接下来，将描述本发明的第三实施例。在例如需要对运动图像拍摄期间拍摄的静止图像应用耗时的图像处理、并且在缓冲存储器容量和处理能力方面没有余地的情况下，可能会需要在对静止图像数据执行的图像处理已经结束之前记录运动图像数据。在这种情况下，如图15所示，将静止图像数据存储在缓冲存储器中直到运动图像数据的记录结束为止，在运动图像数据的记录结束之后应用必要的图像处理，并且将处理后的静止图像数据记录为与运动图像数据不同的文件。
然而，在如第一实施例那样当执行静止图像拍摄时(从时刻t1到t2的区间) 中断运动图像拍摄的情况下，从时刻t1到t2的区间的重放数据不会包括在首先记录的运动图像数据文件中。本实施例的特征在于，在记录运动图像数据文件之后添加静止图像数据，并且生成具有第一实施例中描述的配置的数据文件。
在这种情况下，例如，如图16A所示，改变参考图7A和7B描述的数据文件记录处理的一部分。具体地，在静止图像拍摄(步骤S717)之后，在步骤S1601 中，拍摄控制程序302判断是否将耗时的特定图像处理(例如，噪声降低处理) 应用于静止图像。例如，判断是否满足特定图像处理的应用条件(例如，拍摄模式或拍摄感光度)就足够了。
然后，在不应用特定图像处理的情况下，类似于第一实施例，拍摄控制程序302使处理进入步骤S718。然而，如果要应用特定图像处理，则在步骤 S1602中，拍摄控制程序302将所拍摄的静止图像数据存储到缓冲器(DRAM 103的工作存储区域304)。
然后，在步骤S1603中，拍摄控制程序302将与静止图像数据有关的固有信息存储在用于运动图像数据的轨道盒(trak)403的编辑盒(elst)中的与重放时刻相对应的条目中，然后处理进入步骤S715。尽管对于与静止图像数据有关的固有信息没有特别的限制，但是可以使用例如由摄像设备分配的图像固有 ID。
之后，如果在步骤S719中输入了运动图像拍摄结束指示，则拍摄控制程序302检查静止图像数据是否存储在缓冲器中。如果存储了静止图像数据，则拍摄控制程序302使图像处理单元119应用图像处理，使压缩/解压缩单元 120应用编码处理，然后将静止图像文件记录到存储卡106。注意，如果采用了在步骤S1602中设置标志的配置，则可以基于标志容易地判断静止图像数据是否存储在缓冲器中。
这里，压缩/解压缩单元120可以将与运动图像数据的标准相同的标准的编码应用于静止图像数据，或者可以应用与运动图像数据的标准不同的标准的编码。例如，如下配置是可以的：如果在后面描述的文件合并处理之后要删除静止图像数据文件，则将与运动图像数据的标准相同的标准的编码应用于静止图像数据，并且如果不删除静止图像数据文件，则应用与运动图像数据的标准不同的标准的编码。
接下来，将描述文件合并处理。例如，在与运动图像文件分开记录静止图像文件之后设备上的处理负荷立即变低的情况下，拍摄控制程序302在与用户指示等相对应的定时执行文件合并处理。文件合并处理是将在数据记录中断期间拍摄的静止图像数据添加到运动图像数据文件的处理。
下面将参考图16B所示的流程图来描述文件合并处理。在步骤S1611中，拍摄控制程序302分析存储卡106中的数据文件的影片盒402，并判断静止图像固有信息是否存储在用于运动图像数据的轨道盒403中。
如果存储了静止图像固有信息，则在步骤S1612中，拍摄控制程序302 执行文件合并处理。具体地，拍摄控制程序302从与运动图像轨道盒403中存储的固有信息相对应的静止图像文件中获得静止图像数据，并且将该静止图像数据作为静止图像数据流添加到媒体数据盒406的末尾。此时，如果需要，则压缩/解压缩单元120改变静止图像数据的编码格式。另外，将必要的元数据存储在相应的静止图像轨道盒404中。
此外，拍摄控制程序302删除存储在运动图像轨道盒403中的静止图像固有信息。如上所述，预先为静止图像轨道盒404确保区域，因此不需要为了扩大影片盒402的容量而执行用于移动媒体数据盒406的文件复制处理。因此，即使是诸如数字照相机100等的资源较少的设备也可以实现文件合并处理。注意，在静止图像文件记录之后立即执行文件合并处理的情况下，可以使用保留在缓冲器中的静止图像数据来执行合并处理。另外，在文件合并处理完成之后，可以删除静止图像文件。
根据本实施例，即使在拍摄期间数据不能被记录在相同的数据文件中的情况下，也可以通过在记录之后将数据合并到相同的数据文件中来实现类似于第一实施例的效果。
第四实施例
接下来，将描述本发明的第四实施例。在上述实施例中，将在运动图像拍摄期间拍摄的静止图像数据描述为存储在与运动图像数据相同的文件中的静止图像数据的示例。然而，在本发明中，可存储在与运动图像数据相同的文件中的静止图像数据不限于通过拍摄获得的图像数据。
在本实施例中，将描述用于将运动图像数据和距离图像数据记录在同一文件中的配置。距离图像是表示各个像素的亮度和各个像素的位置处的被摄体距离的信息，并且也被称为深度图、深度图像等。可以使用各种方法来生成距离图像数据，并且在本实施例中，假设图像处理单元119基于一对视差图像数据(立体图像数据)来生成距离图像数据。
可以通过使用诸如立体照相机等的多透镜照相机作为摄像单元113或者使用具有光瞳分割功能的图像传感器1132来获得立体图像。以下描述了使用具有光瞳分割功能的图像传感器1132的配置的示例。
首先，将参考图17A至17D描述图像传感器1132的配置的示例。图17A示意性地示出了从数字照相机100的前方和侧面观看图像传感器1132的状态。微透镜阵列141形成在图像传感器1132的像素组143的光接收面上。如图17B 和图17C所示，构成像素组143的像素各自由一个微透镜142和两个光电二极管(光电转换区域)143a和143b构成。以下，将光电二极管143a称为A图像光电二极管(A像素)，并将光电二极管143b称为B图像光电二极管(B像素)。
图17D概念性地示出了摄像光学***1131的出射光瞳144，并且由于微透镜142，A图像光瞳145a和A像素143a具有共轭关系，并且B图像光瞳145b和B 像素143b具有共轭关系。因此，图像传感器1132的各个像素具有光瞳分割功能，穿过作为出射光瞳144的右半部分的A图像光瞳145a的光束入射到A像素 143a上，并且穿过作为出射光瞳144的左半部分的B图像光瞳145b的光束入射到B像素143b上。因此，由A像素组构成的图像(A图像)和由B像素组构成的图像(B图像)构成了一对视差图像。另外，可以通过相加一对视差图像来获得正常的拍摄图像。
通过检测A图像和B图像之间的偏移量，可以检测摄像光学***1131的散焦量和散焦方向。因此，可以实现基于从图像传感器1132输出的信号使用相位差检测的自动焦点检测(AF)。
接下来，将参考图18描述从具有上述配置的图像传感器1132获得的视差图像获得距离图像的方法的示例。图18是示意性地示出用于计算某像素位置处的被摄体距离的方法的图。在假定在某像素行中获得了A图像151a和B图像151b的情况下，基于摄像光学***1131的焦距和表示调焦透镜和图像传感器1132之间的距离的距离信息，可以理解光束如实线所示被折射。因此，可以理解，聚焦的被摄体在152a所示的位置处。类似地，可以理解，在获得A 图像151a和B图像151c的情况下，聚焦的被摄体在位置152b处，并且在获得A 图像151a和B图像151d的情况下，聚焦的被摄体在位置152c处。如上所述，对于各个像素，可以基于包括该像素的A图像信号和相应的B图像信号中的相对位置来计算该像素位置处的被摄体距离信息。
例如，在图18中获得A图像151a和B图像151d的情况下，根据像素154的亮度范围(例如，0至255)，对从与图像偏移量的一半相对应的中点处的像素 154到被摄***置152c的距离153进行转换并进行存储。例如，在较长距离具有较小亮度的转换的情况下，距离图像具有暗背景部分。以这种方式，可以计算各个像素的位置处的被摄体距离信息，并且生成距离图像。
注意，尽管在上面的描述中生成了将距离信息转换成各个像素的亮度的图像，但是可以生成如下的图像：代替距离信息，将各个像素的图像偏移量转换为亮度。也可以通过基于偏移量执行预定计算来计算距离。
图像偏移量被转换为亮度的图像也包括作为本申请中的距离图像。
因此，在本实施例中，从图像传感器1132的A像素组和B像素组分别读出信号(视差图像信号)并将其提供给图像处理单元119。图像处理单元119然后使用构成一对视差图像的A图像和B图像来生成距离图像。图像处理单元 119还通过相加A图像和B图像来生成正常图像(运动图像帧或静止图像)。
注意，如果可以由图像处理单元119生成A图像和B图像，则无需针对A 像素组和B像素组分别执行从图像传感器1132的读出。例如，如下配置是可以的：从各像素读出A像素和B像素的相加信号(表示为A+B)，从各像素读出 A像素信号(表示为A)，并且通过计算(A+B)-A来获得B像素信号。可选地，为了减少数据量，可以读出(A+B)以及A像素和B像素的差信号(A-B)。可以通过计算{(A+B)+(A-B)}/2来获得A，并且可以通过计算{(A+B)-(A-B)}/2来获得B。
注意，在使用立体照相机获得视差图像的情况下，可以通过提取图像之间的对应点并使用三角测量原理来计算各个像素位置的距离信息。另外，可以通过对视差图像执行加权平均来获得正常图像。
例如，仅在特定拍摄模式下的运动图像拍摄中按压释放按钮110期间生成距离图像的配置是可以的，以及基于运动图像的帧(或者每次获得特定数量的帧时)生成距离图像的配置是可以的。可选地，在第一和第二实施例中在静止图像拍摄期间生成距离图像并且将其记录为静止图像的配置是可以的。这些仅是用于生成距离图像的定时的示例，并且使用其它触发来生成距离图像的配置也是可以。
作为一个示例，图19和20示意性地示出代替第二实施例中的静止图像而生成并记录距离图像的情况下的拍摄序列和数据记录操作。在这种情况下，从时刻t1到t2，与运动图像1701并行地生成距离图像1702。距离图像可以是与运动图像相同的分辨率，因此不需要在t1改变运动图像拍摄参数。另外，距离图像可能经过无损压缩，因此考虑到在重放期间的方便，压缩/解压缩单元120应用与图20的示例中的运动图像相同的编码。
例如，将距离图像1702作为与连续静止图像数据流408不同的运动图像数据流410记录在媒体数据盒406中。还单独地将轨道盒添加到影片盒402。可选地，代替第一实施例中的静止图像可以记录距离图像。
在重放装置重放数据文件中的运动图像数据的情况下，可以使用记录在与运动图像数据相同的容器中的距离图像来执行重放处理。可以应用任何类型的图像处理以使用距离图像来重放图像帧，并且例如可以应用用于使背景部分散焦的处理。在生成距离图像使得亮度随着距离变大而变小的情况下，可以重放运动图像1703，其中在运动图像1703中，通过对与距离图像中的亮度小于或等于阈值的区域相对应的运动图像帧中的区域应用用于进行散焦 (平滑化)的处理，来强调主被摄体。例如，可以控制散焦处理的强度，使得散焦随着距离的增大而增强。
检查是否存在可以用于重放帧的距离图像，并且可以在例如图9的重放处理中的步骤S906和步骤S907之间执行利用距离图像对重放帧进行的图像处理。可以通过参考用于运动图像的轨道盒以及用于距离图像的轨道盒中的相应条目来判断是否存在可以用于重放帧的距离图像。
变形例
注意，使用距离图像的重放不限于运动图像，并且对于静止图像也是有用的。因此，在静止图像拍摄期间生成距离图像并且将静止图像和距离图像存储在相同的数据文件中的配置是可以的。在这种情况下，对于静止图像和距离图像可以使用相同的编码格式(例如，JPEG格式)，或者可以使用不同的编码格式(例如，针对静止图像使用行程长度编码以及针对距离图像使用 JPEG格式)。注意，静止图像拍摄可以是连续拍摄或单图像拍摄，并且在连续拍摄的情况下，将连续拍摄的静止图像和多个相应的距离图像存储在同一文件中。
同样，在本实施例中，运动图像数据或静止图像数据和距离图像数据以相同的容器格式存储在同一文件中，因此不需要文件重放装置加载和初始化用于检索距离图像数据的容器程序。另外，通过对运动图像数据或静止图像数据和距离图像数据使用相同的编码格式，不需要对距离图像数据加载和初始化解码程序。为此，即使是具有很少资源的重放装置，也能够实现平滑的重放处理。
第五实施例
接下来，将描述本发明的第五实施例。在第四实施例中描述了从视差图像生成距离图像并记录距离图像的配置，但是视差图像可以存储在同一文件中。通过将视差图像存储在同一文件中，例如，不需要在执行立体显示的重放设备中搜索视差图像对。另外，诸如各个图像的拍摄视点的位置信息、会聚角度和基线长度等的立体显示所需的信息也作为元数据被存储在同一文件中。
这里，如图17E所示，假定图像传感器1132的各个像素在垂直和水平方向上被分成两个部分，以具有总共四个像素(A像素143a、B像素143b、C像素143c和D像素143d)。另外，将由A像素组构成的图像的拍摄视点位置用作用于定义由其它像素组构成的图像的拍摄视点位置的基准。
图21是示意性示出示例性四视点运动图像数据记录操作的图。分别从图像传感器1132的A(左上)像素组、B(左下)像素组、C(右上)像素组和D(右下) 像素组获得的四个视差图像作为分开的运动图像数据流而被存储在同一容器(媒体数据盒)406中。注意，虽然这里描述了用于记录各个视差图像的数据的配置以简化描述和理解，但是可以将其与其它图像数据(例如，部分是相加图像数据等)组合地进行记录，只要能够最终获得各个视差图像的数据即可。
另外，如图22所示，使用扩展类型盒(uuid)2101将用于在立体显示中使用四个视差图像的元数据存储在影片盒402中。扩展盒2101存储拍摄信息盒 2102和摄像方法盒2103。拍摄信息盒2102包含四个视差图像，并且存储诸如帧频和分辨率等的各个运动图像数据流共同的信息。另外，摄像方法盒2103 存储用于将与视差图像的视点位置有关的信息(例如，与基准视点与另一视点之间的位置关系有关的信息)和轨道标识符相关联的表2109。
轨道盒2104至2107类似于运动图像轨道盒403。注意，虽然未示出，但是音频轨道盒也存在。媒体数据盒406存储如图21所示的各个运动图像数据流。注意，尽管在图21中为了方便起见，在媒体数据盒406中针对各个视点独立地存储流，但是实际上顺次记录如图4所示在相同的时刻获得的各个视点的图像数据。
尽管在本实施例中描述了以相同的容器格式在同一文件中存储多个视点的运动图像数据的配置，但是可以以类似的方式记录多个视点的静止图像数据。同样，根据本实施例，不需要在重放装置中搜索图像数据，并且只需要加载和执行一个容器程序。另外，通过对视差图像使用相同的编码格式，重放设备仅需要加载和执行一个解码程序，并且可以抑制消耗的存储量。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行本发明的上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC)) 的***或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该***或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机***的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD) 或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，这些典型实施例不应被视为限制性的。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求于2015年6月29日提交的日本专利申请2015-130328的权益，其全部内容通过引用而包含于此。

Claims (12)

1.一种数据记录设备，包括：
获得部件，用于获得第一图像数据和第二图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法，其中，所述第一图像数据是运动图像数据并且所述第二图像数据是静止图像数据；以及
记录部件，用于将所述第一图像数据、所述第二图像数据、与所述第一图像数据有关的元数据和与所述第二图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，
其中，所述记录部件将所述第一图像数据和所述第二图像数据以相同的容器格式存储在所述数据文件中，以及
其中，所述数据文件中不存在与所述第二图像数据相对应的时间段中的第一图像数据。
2.根据权利要求1所述的数据记录设备，其中，还包括编码部件，
所述编码部件以相同的编码格式对所述第一图像数据和所述第二图像数据进行编码，以及
所述记录部件将所述编码部件编码后的所述第一图像数据和所述第二图像数据存储在所述数据文件中。
3.根据权利要求2所述的数据记录设备，其中，如果所述第一图像数据和所述第二图像数据不需要以连续的方式重放，则所述编码部件以不同的编码格式对所述第一图像数据和所述第二图像数据进行编码。
4.根据权利要求1所述的数据记录设备，其中，所述第一图像数据和所述第二图像数据至少之一是RAW格式。
5.根据权利要求1至4中任一项所述的数据记录设备，其中，所述数据文件具有符合ISO基媒体文件格式或与ISO基媒体文件格式兼容的格式的容器结构。
6.一种摄像部件，包括：
根据权利要求1至5中任一项所述的数据记录设备；以及
图像传感器，用于获得所述第一图像数据和所述第二图像数据。
7.一种数据记录设备的控制方法，包括以下步骤：
获得第一图像数据和第二图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法，其中，所述第一图像数据是运动图像数据并且所述第二图像数据是静止图像数据；以及
存储步骤，用于将所述第一图像数据、所述第二图像数据、与所述第一图像数据有关的元数据和与所述第二图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，
其中，在所述存储步骤中，将所述第一图像数据和所述第二图像数据以相同的容器格式存储在所述数据文件中，以及
其中，所述数据文件中不存在与所述第二图像数据相对应的时间段中的第一图像数据。
8.一种计算机可读存储介质，其存储用于使计算机执行数据记录设备的控制方法的程序，所述控制方法包括：
获得第一图像数据和第二图像数据，其中所述第二图像数据具有与所述第一图像数据不同的表现方法，其中，所述第一图像数据是运动图像数据并且所述第二图像数据是静止图像数据；以及
存储步骤，用于将所述第一图像数据、所述第二图像数据、与所述第一图像数据有关的元数据和与所述第二图像数据有关的元数据存储在具有容器结构的数据文件中，并且记录所述数据文件，
其中，在所述存储步骤中，将所述第一图像数据和所述第二图像数据以相同的容器格式存储在所述数据文件中，以及
其中，所述数据文件中不存在与所述第二图像数据相对应的时间段中的第一图像数据。
9.根据权利要求8所述的计算机可读存储介质，其中，所述控制方法还包括编码步骤，所述编码步骤用于以相同的编码格式对所述第一图像数据和所述第二图像数据进行编码，
在所述存储步骤中，将在所述编码步骤中编码后的所述第一图像数据和所述第二图像数据存储在所述数据文件中。
10.根据权利要求9所述的计算机可读存储介质，其中，如果所述第一图像数据和所述第二图像数据不需要以连续的方式重放，则在所述编码步骤中以不同的编码格式对所述第一图像数据和所述第二图像数据进行编码。
11.根据权利要求8所述的计算机可读存储介质，其中，所述第一图像数据和所述第二图像数据至少之一是RAW格式。
12.根据权利要求8至11中任一项所述的计算机可读存储介质，其中，所述数据文件具有符合ISO基媒体文件格式或与ISO基媒体文件格式兼容的格式的容器结构。
CN201680038892.1A 2015-06-29 2016-06-21 数据记录设备及其控制方法、摄像设备和计算机可读存储介质 Active CN107836114B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015130328A JP6576122B2 (ja) 2015-06-29 2015-06-29 データ記録装置およびその制御方法、撮像装置
JP2015-130328 2015-06-29
PCT/JP2016/002989 WO2017002328A1 (en) 2015-06-29 2016-06-21 Data recording apparatus and method of controlling the same, and image capture apparatus

Publications (2)

Publication Number Publication Date
CN107836114A CN107836114A (zh) 2018-03-23
CN107836114B true CN107836114B (zh) 2020-10-27

Family

ID=57608438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680038892.1A Active CN107836114B (zh) 2015-06-29 2016-06-21 数据记录设备及其控制方法、摄像设备和计算机可读存储介质

Country Status (4)

Country Link
US (1) US10362262B2 (zh)
JP (1) JP6576122B2 (zh)
CN (1) CN107836114B (zh)
WO (1) WO2017002328A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931968B2 (en) * 2017-07-31 2021-02-23 Nokia Technologies Oy Method and apparatus for encoding or decoding video content including regions having looping videos of different loop lengths
US10313579B2 (en) 2017-08-31 2019-06-04 Qualcomm Incorporated Dual phase detection auto focus camera sensor data processing
JP7328382B2 (ja) * 2018-05-30 2023-08-16 マクセル株式会社 装着型装置
JP7171331B2 (ja) * 2018-09-14 2022-11-15 キヤノン株式会社 撮像装置
US11527265B2 (en) * 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
JP7337526B2 (ja) * 2019-03-26 2023-09-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11849249B2 (en) * 2019-03-28 2023-12-19 Sony Group Corporation File generation device, file generation method, file reproduction device, file reproduction method, and program
WO2020262389A1 (ja) * 2019-06-28 2020-12-30 キヤノン株式会社 計測装置、撮像装置、計測システム、制御方法及びプログラム
CN115211105A (zh) * 2020-03-09 2022-10-18 索尼集团公司 文件处理设备、文件处理方法和程序
CN113824934B (zh) * 2021-09-23 2024-02-09 合肥埃科光电科技股份有限公司 线扫描相机色彩插值方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585982A (zh) * 2002-09-06 2005-02-23 Lg电子株式会社 具有用于管理记录在其上面的静止图像的再现的数据结构的记录介质以及记录和再现方法及装置
JP2014096194A (ja) * 2012-11-12 2014-05-22 Canon Inc 記録装置及び記録方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243907A (ja) * 2006-02-10 2007-09-20 Sony Corp 記録装置、記録方法、記録方法のプログラム、記録方法のプログラムを記録した記録媒体、再生装置、再生方法、再生方法のプログラム及び再生方法のプログラムを記録した記録媒体
KR20090088772A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
JP5542912B2 (ja) * 2009-04-09 2014-07-09 テレフオンアクチーボラゲット エル エム エリクソン（パブル） メディア・コンテナ・ファイル管理
JP5350928B2 (ja) * 2009-07-30 2013-11-27 オリンパスイメージング株式会社 カメラ及びカメラの制御方法
JP5600405B2 (ja) * 2009-08-17 2014-10-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20110102616A1 (en) * 2009-08-28 2011-05-05 Nikon Corporation Data structure for still image file, image file generation device, image reproduction device, and electronic camera
JP2011142585A (ja) 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
JP2012015830A (ja) * 2010-07-01 2012-01-19 Nikon Corp カメラ
US8358927B2 (en) * 2010-08-05 2013-01-22 Panasonic Corporation Imaging apparatus
JP5783737B2 (ja) * 2011-02-02 2015-09-24 キヤノン株式会社 撮像装置および動画記録装置の制御方法
JP6278353B2 (ja) * 2014-02-25 2018-02-14 キヤノン株式会社 記録装置、記録方法、プログラム、ならびに撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1585982A (zh) * 2002-09-06 2005-02-23 Lg电子株式会社 具有用于管理记录在其上面的静止图像的再现的数据结构的记录介质以及记录和再现方法及装置
JP2014096194A (ja) * 2012-11-12 2014-05-22 Canon Inc 記録装置及び記録方法

Also Published As

Publication number Publication date
WO2017002328A1 (en) 2017-01-05
US10362262B2 (en) 2019-07-23
JP2017017447A (ja) 2017-01-19
US20180152662A1 (en) 2018-05-31
CN107836114A (zh) 2018-03-23
JP6576122B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
CN107836114B (zh) 数据记录设备及其控制方法、摄像设备和计算机可读存储介质
US8599243B2 (en) Image processing device, image processing method, and program
JP5106335B2 (ja) 撮像装置及びその制御方法及びプログラム
EP1981272B1 (en) Image capturing apparatus, image processing apparatus and control methods thereof
JP2010136191A (ja) 撮像装置、記録装置、および、記録方法
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
KR101770298B1 (ko) 디지털 영상 촬영 장치 및 이의 제어 방법
WO2009136469A1 (ja) 動画像の記録並びに再生を行う装置
KR101385168B1 (ko) 화상 데이터 기록장치
JP2008301475A (ja) 撮像装置及びその制御方法
JP2014127882A (ja) 記録装置及びその制御方法
JP5773855B2 (ja) 画像処理装置
JP6278353B2 (ja) 記録装置、記録方法、プログラム、ならびに撮像装置
US10410674B2 (en) Imaging apparatus and control method for combining related video images with different frame rates
CN103905698A (zh) 摄像设备
JP2015192227A (ja) 撮像装置およびその制御方法、ならびにプログラム
JP7213657B2 (ja) 撮像装置及びその制御方法及びプログラム
JP7214538B2 (ja) 撮像装置及び記録制御方法
US20120069047A1 (en) Image display apparatus, image editing apparatus, image display program, and image editing program
JP2006093985A (ja) 撮像装置
JP2021129200A (ja) 動画再生装置
JP2021180396A (ja) 撮像装置および撮像装置の制御方法
JP6218489B2 (ja) 画像処理装置
JP2021180399A (ja) 撮像装置および撮像装置の制御方法
JP2021040217A (ja) 撮像装置及びその制御方法並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant