CN101686331A

CN101686331A - 摄像装置及其控制方法

Info

Publication number: CN101686331A
Application number: CN200910178083A
Authority: CN
Inventors: 工藤圭介
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-24
Filing date: 2009-09-24
Publication date: 2010-03-31
Anticipated expiration: 2029-09-24
Also published as: US20130038721A1; US20100073492A1; CN101686331B; JP2010081114A; US8314842B2; JP5106335B2; US9565362B2

Abstract

本发明提供一种摄像装置及其控制方法。所述摄像装置包括：图像捕获单元，其包括能够光电转换被摄体像的图像传感器，并且被构造成基于所述图像传感器的输出信号生成运动图像数据；存储单元，其被构造成存储异物信息，所述异物信息包括关于附着在设置于所述图像传感器的前侧的光学元件上的异物的至少位置和尺寸的信息；检测单元，其被构造成检测所述图像传感器的抖动量；控制单元，其被构造成根据由所述检测单元检测到的所述图像传感器的所述抖动量，控制所述图像传感器的整个画面上的图像裁剪位置；以及记录单元，其被构造成将所述异物信息和表示所述图像裁剪位置的信息与所述运动图像数据相关联地记录。

Description

摄像装置及其控制方法

技术领域

本发明涉及一种使用诸如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的图像传感器的摄像装置，更具体地，涉及一种能够抑制由于在图像传感器的前侧设置的光学低通滤波器的表面上附着的异物而使图像质量劣化的技术。本发明尤其涉及一种能够抑制在运动图像捕获操作中由于异物而使图像质量劣化的技术。

另外，本发明涉及一种包括通过基于相机抖动信息对捕获图像的一部分进行电子裁剪而执行抖动校正的电子图像稳定化***的摄像装置。

背景技术

在从数码相机的相机主体上取下可互换镜头的状态下，可能会有浮尘进入相机主体的内部空间。另外，快门机构或其他机械可操作的组件设置在相机主体中。因此，在这些机构组件操作时，在相机主体中可能会产生金属屑(slug)。

如果在图像传感器(其作为构成数码相机的摄像单元的光学元件)的前侧上设置的光学低通滤波器的表面上附着有这类异物(即，尘埃或金属屑)，则捕获图像可能会包括由所述异物产生的阴影。即，捕获图像的质量可能会劣化。

如果相机为使用卤化银胶片的类型，则每次进行图像捕获时，相机陆续按预定量给送胶片。因此，连续捕获的图像在相同位置包含同一异物的阴影的可能性很低。另一方面，数码相机没被构造成每次进行图像捕获时均给送胶片。因此，连续捕获的图像可能会在相同位置包含同一异物的阴影。

为了解决上述问题，存在一种用于基于周围像素的信号来校正对应于异物位置的缺陷像素的方法。例如，作为用于校正这类缺陷像素的技术，在日本特开平第6-105241号公报中论述的图像缺陷检测方法提出了一种校正图像传感器的像素缺陷的方法。

另外，如日本特开第2004-242158号公报所论述，为了简化像素缺陷位置信息的设置，在尘埃获取模式下捕获的图像文件的扩展名可以与正常捕获的图像的扩展名不同。在此情况下，个人计算机(即PC)基于扩展名自动识别尘埃信息图像，并根据获得的信息校正待校正的图像。

传统上，可用各种技术来校正数码摄像机的相机抖动。通常，相机抖动校正包括利用外部传感器或通过图像处理来检测摄像设备(例如数码摄像机)的相机抖动信息(例如，抖动量或抖动方向)，以及基于检测结果移动光学***的一部分以抵消相机抖动、或者对图像进行部分裁剪。

如日本特开平第06-98246号公报中所论述，可以使用以振动回转仪为代表的角速度传感器作为外部传感器来直接测量摄像设备的相机抖动量。另外，如日本特开平第05-7327号公报中所论述，可以使用图像处理以基于多个捕获图像来检测画面的运动向量并检测相机抖动量。

作为用于校正相机抖动的方法，在垂直于光轴的方向上移动摄像透镜***的一部分，以移动在图像传感器上形成的像。如日本特开平第6-105241号公报中所论述，在摄像透镜***的前侧上设置可变角棱镜，并且移动该可变角棱镜的顶角以移动在图像传感器上形成的像。

上述光学相机抖动校正技术虽然可以增大用于校正的动态范围，但是由于需要诸如致动器和光学元件等的机械构件，因此其在成本上具有缺点。

另一方面，如日本特开平第05-7327号公报中所论述，针对运动图像捕获操作准备相比实际需要的图像尺寸具有更大尺寸的图像传感器，并且可以通过根据检测到的相机抖动量来对图像传感器获得的图像的一部分进行裁剪以校正相机抖动(下文称为“电子图像稳定化”)。上述基于图像裁剪的相机抖动校正不需要任何机械构件，带来了降低成本的效果，因此被广泛使用。

在上述情况下，近来不仅小型数码相机而且可互换镜头的数码相机均需要记录具有较高分辨率的高精度运动图像。

然而，如上所述，可互换镜头的数码相机受到由于各种因素而附着在其图像传感器的表面上的尘埃或金属屑的影响。因此，如果在使用可互换镜头的数码相机的情况下执行运动图像记录，则可能会在捕获的运动图像的回放(即，再现)操作期间一直显示异物。

根据传统的用于可互换镜头的数码相机的尘埃去除方法，预先记录尘埃去除相关信息(例如，尘埃位置和尺寸信息)和图像数据。接着，个人计算机对捕获图像执行图像处理以消除尘埃的影响。在此情况下，记录图像数据包含尘埃部分。

当执行运动图像捕获操作时，可以使用电子图像稳定化***来校正由相机抖动产生的图像抖动。然而，当电子图像稳定化***执行校正时，由于图像裁剪位置视各帧而变，所以尘埃去除相关信息与尘埃在捕获图像上的实际位置之间的相对关系可能会改变。因此，电子图像稳定化***不能够精确执行尘埃校正处理。

发明内容

根据本发明的一个方面，提供一种摄像装置，包括：图像捕获单元，其包括能够光电转换被摄体像的图像传感器，并且被构造成基于所述图像传感器的输出信号生成运动图像数据；获取单元，其被构造成获取异物信息，所述异物信息包括关于附着在设置于所述图像传感器的前侧的光学元件上的异物的至少位置和尺寸的信息；检测单元，其被构造成检测所述图像传感器的抖动量；控制单元，其被构造成根据由所述检测单元检测到的所述图像传感器的所述抖动量，控制在所述图像传感器的整个画面上的图像裁剪位置；以及记录单元，其被构造成将表示所述图像裁剪位置的信息与所述运动图像数据相关联地记录。

根据以下参照附图对示例性实施例的详细描述，本发明的其他特征和方面将变得清楚。

附图说明

被并入说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征以及方面，并与文字描述一起用于说明本发明的原理。

图1是例示根据本发明的第一示例性实施例的具有图像处理功能的摄像装置的结构的示例的框图。

图2是例示由摄像装置(例如，根据本示例性实施例的数码相机)执行的用以获取尘埃信息的处理的示例的流程图。

图3例示了在尘埃信息的获取中要使用的设置参数的列表。

图4例示了尘埃区域尺寸计算的示例。

图5例示了尘埃信息概况的结构的示例。

图6是例示根据本发明的示例性实施例的在普通拍摄操作中的静止图像捕获处理的示例的流程图。

图7是例示尘埃去除处理的示例的流程图。

图8是例示插值过程的示例的流程图。

图9A、图9B以及图9C例示了由抖动校正单元执行的处理的示例。

图10例示了可以由抖动校正单元执行的存储图像裁剪处理的示例。

图11例示了根据MP4或类似文件格式的元数据和媒体数据的示例。

图12例示了分片电影(fragmented movie)的示例。

图13是例示运动图像捕获处理的示例的流程图。

图14是例示根据第一示例性实施例的记录过程的示例的流程图。

图15是例示尘埃去除处理过程的示例的流程图。

图16例示了在图像传感器的整个画面上记录图像裁剪位置的示例。

图17例示了基于相对于基准帧的差分量记录图像裁剪位置的示例。

图18例示了尘埃位置坐标变换的示例。

图19是例示根据第二示例性实施例的记录过程的示例的流程图。

具体实施方式

以下将参照附图详细描述本发明的各种示例性实施例、特征及方面。在这些实施例中描述的部件、数值表达式和数值的相对配置并不意图限制本发明的范围。

图1是例示根据本发明的第一示例性实施例的具有图像处理功能的摄像装置的示例结构的框图。

在本示例性实施例中，摄像装置是使用可互换镜头的单镜头反光式数码相机。本实施例还可以应用于能够用作摄像装置的使用可互换镜头的数码摄像机。

如图1所示，根据本示例性实施例的摄像装置包括相机主体100以及可互换镜头式镜头单元300。

镜头单元300包括具有两个或更多个透镜的摄像透镜310、光圈312以及机械地将镜头单元300连接到相机主体100的镜头座(lens mount)306。镜头座306具有用于将镜头单元300电连接到相机主体100的各种功能。

镜头座306上设置的接口320使得镜头单元300和相机主体100能够进行数据通信。连接器322可以将镜头单元300电连接到相机主体100。

连接器322使得相机主体100和镜头单元300能够发送控制信号、状态信号以及数据信号。连接器322还可以用作用于从相机主体100向镜头单元300提供电力的设备。连接器322并不限于电通信，其可以被构造成进行光通信和音频通信。

基于来自测光控制单元46的测光信息，光圈控制单元340可以与控制相机主体100的快门12的快门控制单元40相关联地控制光圈312。焦点控制单元342可以控制摄像透镜310的聚焦。变焦控制单元344可以控制摄像透镜310的变焦。

镜头***控制电路350可以控制由镜头单元300执行的各种操作。镜头***控制电路350包括存储操作常量、变量以及程序的存储器。镜头***控制电路350还包括存储识别信息(例如，镜头单元310独有的编号)、管理信息、功能信息(例如，满开光圈值(opened aperture value)、最小光圈值以及焦距)以及当前和过去的设定值的非易失性存储器。

以下描述相机主体100的结构的示例。

镜头座106可以机械地将相机主体100连接到镜头单元300。一对单镜头反光式的反光镜130和132可以将入射到摄像透镜310上的光导向光学取景器104。反光镜130可以是快速复原反光镜(quick return mirror)或半反光镜。

快门12是焦平面式快门。图像传感器14例如是能够光电转换被摄体像的CCD或CMOS传感器。诸如光学低通滤波器的光学元件14a设置在图像传感器14的前侧。如果诸如尘埃的异物附着在光学元件14a的表面，则由图像传感器14捕获的图像可能包含该异物。换句话说，光学元件14a上的异物使图像质量劣化。本示例性实施例旨在提供一种能够抑制图像质量劣化的技术。

经由用作单镜头反光式光学***的光圈312(即，光量限制元件)、镜头座306和106、反光镜130以及快门12将入射在摄像透镜310上的光导向其上形成光学像的图像传感器14。

模拟数字(A/D)转换器16可以将输出自图像传感器14的模拟信号转换成数字信号。定时产生电路18可以向图像传感器14、A/D转换器16以及数字模拟(D/A)转换器26提供时钟信号和控制信号。存储器控制电路22和***控制电路50可以控制定时产生电路18。

图像处理电路20对输出自A/D转换器16的数据或来自存储器控制电路22的数据执行预定的像素插值处理以及色彩转换处理。如有必要，图像处理电路20还对输出自A/D转换器16的图像数据执行预定的计算处理。

***控制电路50可以基于获得的计算结果执行通过透镜(through thelens，TTL)式自动聚焦(AF)处理、自动曝光(AE)处理以及闪光灯预闪(EF)处理，以控制快门控制单元40及调焦单元42。

图像处理电路20还使用输出自A/D转换器16的图像数据执行预定的计算处理，并且基于获得的计算结果执行TTL自动白平衡(即AWB)处理。

图1所示的根据本示例性实施例的摄像装置包括执行AF处理、AE处理及EF处理的调焦单元42和测光控制单元46。在此情况下，图像处理电路20不用于AF处理、AE处理及EF处理。

作为另一选择，当使用调焦单元42和测光控制单元46执行AF处理、AE处理以及EF处理时，还可以操作图像处理电路20来执行AF处理、AE处理以及EF处理。

存储器控制电路22可以控制A/D转换器16、定时产生电路18、图像处理电路20、图像显示存储器24、D/A转换器26、存储器30以及压缩/扩展电路32。

输出自A/D转换器16的图像数据经由图像处理电路20和存储器控制电路22或者只经由存储器控制电路22，被写入到图像显示存储器24或存储器30。

图像显示单元28包括TFT液晶显示器(LCD)。写入到图像显示存储器24中的待显示的图像数据经由D/A转换器26，被显示在图像显示单元28上。通过在图像显示单元28上相继显示捕获的图像数据能够实现电子取景器(EVF)功能。

图像显示单元28能够响应于来自***控制电路50的指令而打开或关闭其显示。当关闭图像显示单元28的显示时，能够大大降低相机主体100的电力消耗。

存储器30可以存储捕获的静止图像以及运动图像。存储器30具有足以用来存储预定数量的静止图像或预定量的运动图像的存储容量。因此，甚至在连续拍摄操作中或在全景拍摄操作中(其中，连续捕获多个静止图像)，数码相机也能够迅速地将大量图像写入到存储器30中。

另外，在运动图像捕获操作中，可以使用存储器30作为用于以预定速率连续写入的图像的帧缓冲器。此外，可以使用存储器30作为用于***控制电路50的工作区。

尘埃去除电路31参照存储在非易失性存储器56中的尘埃信息以及从镜头单元300获得的光学信息，能够执行用于从图像数据中去除尘埃的图像处理。

压缩/扩展电路32可以根据传统方法压缩并扩展图像数据。更具体来说，压缩/扩展电路32从存储器30读取图像，对所读取图像执行压缩或扩展处理，并将处理后的数据写入到存储器30。

另外，压缩/扩展电路32具有将运动图像数据压缩并编码成预定格式、或者由预定编码压缩数据扩展运动图像信号的功能。

音频信号处理电路33可以将从麦克风(未示出)输入的音频信号编码成预定编码格式，或者可以由预定编码数据解码音频信号。

根据本示例性实施例的数码相机具有经由扬声器(未示出)输出由音频信号处理电路33解码的音频数据的功能。

基于来自测光控制单元46的测光信息，快门控制单元40可以与控制光圈312的光圈控制单元340相关联地控制快门12。

调焦单元42可以执行自动聚焦(AF)处理。调焦单元42测量当入射在镜头单元300中的摄像透镜310上的光根据单镜头反光机制经由光圈312、镜头座306和106、反光镜130以及调焦子反光镜(未示出)传播时形成的光学像的聚焦状态。

测光控制单元46可以执行自动曝光(AE)处理。测光控制单元46测量当入射在镜头单元300中的摄像透镜310上的光根据单镜头反光机制经由光圈312、镜头座306和106、反光镜130以及测光子反光镜(未示出)传播时形成的光学像的曝光状态。

闪光灯48具有AF辅助光发射功能和闪光调节功能。测光控制单元46和闪光灯48可以协作执行闪光调节(EF)处理。

数码相机可以基于由调焦单元42获得的测量结果以及由对输出自A/D转换器16的图像数据进行处理的图像处理电路20获得的计算结果，来执行AF控制。

数码相机还可以基于由测光控制单元46获得的测量结果以及由对输出自A/D转换器16的图像数据进行处理的图像处理电路20获得的计算结果，来执行曝光控制。

包括传统上已知的中央处理单元(CPU)的***控制电路50可以控制要由相机主体100执行的各种操作。存储器52存储要在***控制电路50中使用的操作常量、变量以及程序。

抖动检测单元53可以检测相机主体100的相机抖动。例如，抖动检测单元53包括角速度传感器(例如，振动回转仪)。

通知单元54可以根据***控制电路50中程序的执行，利用文本、图像以及音频来通知操作状态和消息。通知单元54例如是被构造成执行视觉显示的显示设备(例如LCD或发光二极管(LED))或者是能够产生声音的音频设备。通知单元54可以被构造成上述设备的组合或它们中的至少一个。

通知单元54可以包括设置在相机主体100的操作单元70附近的一个或更多个容易可视的显示设备。通知单元54可以局部包括在光学取景器104中。

通知单元54可以在图像显示单元28(例如LCD)上显示以下内容。

经由通知单元54显示在图像显示单元28上的内容包括拍摄模式相关显示(诸如单张拍摄/连续拍摄操作显示、自拍显示(selftimer display)等)、记录相关显示(诸如压缩率显示、记录像素数显示、记录图像数显示、可记录图像数显示等)、以及拍摄条件相关显示(诸如快门速度显示、光圈值显示、曝光补偿显示、光调节校正显示、外部闪光发射量显示、红眼减轻显示等)。

另外，显示在图像显示单元28上的内容包括诸如微距拍摄显示(macroshooting display)、蜂鸣器设置显示、电池剩余电量显示、错误显示、多位信息显示、针对记录介质200和个人计算机(PC)210的安装/拆卸状态显示、针对镜头单元300的安装/拆卸状态显示、通信I/F操作显示、日期/时间显示、针对外部计算机的连接状态显示等的多种多样的显示。

经由通知单元54显示在光学取景器104上的显示内容包括，例如对焦显示、拍摄准备完成显示、相机抖动警告显示、闪光灯单元充电显示、闪光灯充电完成显示、快门速度显示、光圈值显示、曝光补偿显示以及记录介质写操作显示。

非易失性存储器56是存储程序的电子可擦除/记录存储器(例如，电子可擦除可编程只读存储器(EEPROM))。光学信息存储器58存储经由连接器122从镜头单元300获得的各种镜头信息。

模式盘开关60、快门开关SW162、快门开关SW264、回放开关66、单张/连续拍摄开关68以及操作单元70使得用户能够向***控制电路50输入各种操作指令。用于***控制电路50的操作输入单元可以被构造成开关、盘、触摸屏、视线检测指示设备以及音频识别设备，操作输入单元可以作为独立组件或多个组件的组合来使用。

以下将详细描述各操作输入单元。

可以操作模式盘开关60来设置诸如自动拍摄模式、编程拍摄模式、快门速度优先拍摄模式、光圈优先拍摄模式、手动拍摄模式或景深优先拍摄模式的功能拍摄模式。

还可以使用模式盘开关60来设置其它功能拍摄模式，诸如肖像拍摄模式、风景拍摄模式、特写拍摄模式、运动拍摄模式、夜景拍摄模式或全景拍摄模式。

如果将快门按钮(未示出)按下预定量(例如，半按下)，则接通快门开关SW162。可以操作快门开关SW1以指示开始关于AF处理、AE处理、AWB处理或EF处理的操作。

如果将快门按钮(未示出)全程完全按下，则接通快门开关SW264。可以操作快门开关SW264以指示开始包括曝光处理、显影处理和记录处理的顺次处理。

首先，在曝光处理中，数码相机将由图像传感器14读取的信号经由A/D转换器16和存储器控制电路22写入到存储器30。然后，数码相机利用由图像处理电路20和存储器控制电路22获得的计算结果执行显影处理。

另外，在记录处理中，压缩/扩展电路32对从存储器30读取的图像数据执行压缩，并且压缩数据被写入到记录介质200或发送给PC210。

可以操作回放开关66以指示开始回放操作，该回放操作用于从存储拍摄模式状态下捕获的图像的存储器30、记录介质200或PC210读取图像，并且将所读取的图像显示在图像显示单元28上。还可以使用回放开关66来设置诸如回放模式、多画面再现/删除模式或PC连接模式的功能模式。

可以操作单张/连续拍摄开关68来选择单张拍摄模式或连续拍摄模式，所述单张拍摄模式用于在快门开关SW2(64)被按下时捕获一帧图像并且保持待机状态等待下一拍摄操作，所述连续拍摄模式用于在快门开关SW2(64)被按下且保持时连续执行图像捕获操作。

操作单元70包括各种按钮和触摸屏。例如，操作单元70包括实时取景(live view)开始/停止按钮、运动图像记录开始/停止按钮、菜单按钮、设置按钮、多画面再现分页按钮、闪光灯设置按钮、单张拍摄/连续拍摄/自拍切换按钮、菜单移动+(加)按钮以及菜单移动-(减)按钮。

操作单元70还包括回放图像移动+(加)按钮、回放图像移动-(减)按钮、捕获图像质量选择按钮、曝光补偿按钮、光调节校正按钮、外部闪光发射量设置按钮以及日期/时间设置按钮。

如果针对上述加按钮和减按钮的各功能设置转盘开关，则能够容易地选择数值和功能。

操作单元70还包括图像显示开启/关闭开关和快速查看开启/关闭开关，可以操作该图像显示开启/关闭开关来设置图像显示单元28的开启/关闭，可以操作该快速查看开启/关闭开关来设置用于在捕获操作完成后立即自动再现捕获的图像数据的快速查看功能。操作单元70还包括压缩模式开关，可以操作该压缩模式开关来设置JPEG压缩的压缩率或者选择用于将图像传感器的信号作为数字信号直接记录到记录介质中的RAW模式。

操作单元70还包括AF模式设置开关，可以操作该AF模式设置开关来设置单次AF模式(one-shot AF mode)或伺服AF模式。在单次AF模式中，数码相机响应于快门开关SW162的接通，开始自动聚焦操作，并且如果实现对焦状态，则维持该对焦状态。在伺服AF模式中，当按下快门开关SW162时，数码相机连续执行自动聚焦操作。

此外，操作单元70包括设置开关，能够操作该设置开关来设置用于从捕获的尘埃检测图像中获取尘埃信息的尘埃信息获取模式。

可以操作电源开关72以在相机主体100的电源的接通与断开之间切换模式设置。还可以操作电源开关72以在连接到相机主体100的各种设备(例如，镜头单元300、外部闪光设备112、记录介质200以及PC210)的电源的接通与断开之间切换模式设置。

电源控制单元80包括电池检测电路、直流-直流(DC-DC)转换器、电源块开关电路。电源控制单元80检测附装到相机主体的电池、电池的类型以及电池的剩余电量。电源控制单元80根据检测结果和来自***控制电路50的指令，控制DC-DC转换器，使得能够向包括记录介质的各部分提供所需电压和所需时间段的电力。

包括一次电池(例如，碱性电池或锂电池)、二次电池(例如，镍镉电池、镍氢电池、锂离子电池或锂聚合物电池)以及AC适配器的电源单元86经由一对连接器82和84连接到相机主体100。

接口90经由连接器92可连接到记录介质200(例如，存储卡或硬盘)。接口94经由连接器96可连接到PC210。记录介质安装/拆卸检测电路98可以检测记录介质200或PC210是否附装到连接器92和/或连接器96。

在本示例性实施例中，提供了两组接口和连接器用来附装记录介质。然而，可以适当改变接口和连接器的总数。所述接口和连接器可以与任何其他类型的接口和连接器进行任意组合。

接口和连接器可以被构造成遵循各种存储介质的标准。例如，可以使用个人计算机存储卡国际协会(PCMCIA)卡或压缩闪存

卡或SD卡。如果接口90和94以及连接器92和96被构造成遵循PCMCIA卡或CF卡的标准，则各种通信卡均可以连接到数码相机。

可连接到相机主体100的通信卡包括局域网(LAN)卡、调制解调器卡、通用串行总线(USB)卡、电子电气工程师协会(IEEE)1394卡、P1284卡、小型计算机***接口(SCSI)卡以及PHS。数码相机可以经由上述通信卡中的任何一个向包括其他计算机和打印机的***设备传送图像数据及相关管理信息。

光学取景器104可以接收通过单镜头反光机构(即，光圈312、镜头座306和106以及反光镜130和132)导向的、入射在摄像透镜310上的光。可以在光学取景器104上显示光学像。因此，数码相机使得用户能够只使用光学取景器而不使用由图像显示单元28实现的电子取景器功能来执行拍摄操作。

可以通过光学取景器104实现通知单元54的至少部分功能，诸如关于对焦状态、相机抖动警告、闪光灯充电、快门速度、光圈值以及曝光补偿的显示。

外部闪光设备112经由附件插座(accessory shoe)110附装到相机主体100。

接口120将相机主体100连接到镜头座106中的镜头单元300。

连接器122将相机主体100电连接到镜头单元300。镜头安装/拆卸检测单元(未示出)可以检测镜头座106和连接器122上是否安装有镜头单元300。

控制信号、状态信号以及数据信号可以经由连接器122在相机主体100与镜头单元300之间发送。还可以经由连接器122从相机主体100向镜头单元300提供电力。

可以将经由连接器122发送的镜头单元300的光学信息(例如，光圈、变焦位置、光瞳(pupil)位置以及焦距)存储在相机主体100的光学信息存储器58中。相机主体侧和镜头单元侧均可以响应于信息的更新而请求开始通信。

连接器122可以被构造成执行光通信和音频通信。

记录介质200例如是存储卡或硬盘。记录介质200包括由半导体存储器或磁盘构成的记录单元202、用于与相机主体100通信的接口204以及用于与相机主体100连接的连接器206。

记录介质200可以由PCMCIA卡、压缩闪

微型数字音频磁带(DAT)、磁光盘、可记录压缩盘(CD-R)、可重写压缩盘(CD-RW)或其他类似的光盘、数字多功能盘(DVD)或其他类似的相变光盘构成。

PC210包括由磁盘(HD)、用于与相机主体100通信的接口214以及用于与相机主体100连接的连接器216构成的记录单元212。接口94可以是USB型或IEEE 1394型，但不限于特定类型。

具有上述结构的摄像装置可以执行以下用于消除附着在图像传感器前侧设置的光学元件(例如，低通滤波器或保护镜片)上的尘埃的影响的图像处理。

在本示例性实施例中，摄像装置捕获要用于获得尘埃信息的尘埃检测图像，所述尘埃信息(即，异物信息)表示尘埃(即，异物)的位置和尺寸。然后，摄像装置提取并生成尘埃数据。

期望尘埃检测图像是具有均匀亮度表面的物体的图像。然而，因为期望能够容易地获得尘埃检测图像，所以并不严格要求均匀性。例如，尘埃检测图像是蓝天或白墙壁面。

图2是例示在本示例性实施例中由摄像装置(例如，根据本示例性实施例的数码相机)执行的用于获取尘埃信息的处理的示例的流程图。

首先，在步骤S201中，摄像装置确定是否通过操作单元70选择了尘埃信息获取模式。如果步骤S201中的确定是“否”，则摄像装置重复步骤S201中的处理，直到选择了尘埃信息获取模式。如果确定选择了尘埃信息获取模式(步骤S201中的“是”)，则在步骤S202中，摄像装置确定快门开关SW162是否接通。如果确定快门开关SW162处于断开(OFF)状态(步骤S202中的“否”)，则处理返回到步骤S201以重复上述处理。

另一方面，如果确定快门开关SW162处于接通(ON)状态(步骤S202中的“是”)，则在步骤S203中，摄像装置设置光圈值、ISO值、快门速度以及其他拍摄相关参数。图3例示了设置参数的示例。

将光圈值设置为F22，根据该光圈值缩小光圈的孔径。例如，将缩小光圈的光圈值设置在连接到镜头座106的镜头单元300的可设置的范围内是有用的。

通常，尘埃附着在图像传感器14的防护玻璃(而非图像传感器14自身的表面)上或者附着在设置于图像传感器的被摄体侧的光学过滤器(即，光学元件14a)上。因此，图像形成状态根据镜头单元300的光圈值而变化。

如果光圈处于或接近满开状态，则尘埃的像可能是散焦的。不能够获得合适的尘埃检测图像。因此期望设置缩小光圈的光圈值。

返回到图2所示的流程图，摄影师将摄像装置对着白墙壁或另一均匀亮度表面并按下快门开关SW264。

在步骤S204中，摄像装置确定快门开关SW264是否接通。如果确定快门开关SW264处于断开状态(步骤S204中的“否”)，则处理返回到步骤S202以执行上述关于快门开关SW162的确定。如果确定快门开关SW264处于接通状态(步骤S204中的“是”)，则处理进行到步骤S205。

在步骤S205中，摄像装置捕获尘埃检测图像(例如，均匀亮度表面)并且将捕获的图像数据存储在存储器30中。接着，在步骤S206中，摄像装置从存储在存储器30中的图像数据获取尘埃信息。

摄像装置执行以下用于获取尘埃信息的处理。更具体来说，摄像装置从捕获的尘埃检测图像中获得尘埃区域的位置(即，坐标)和尺寸信息。

首先，摄像装置将捕获的尘埃检测图像的区域划分成多个块，计算各块中的最大亮度Lmax以及平均亮度Lave，并且根据以下公式计算块中的阈值T1。

T1＝Lave×0.6+Lmax×0.4

接着，摄像装置指定不超出阈值T1的像素作为尘埃像素，因为附着有尘埃的像素具有比周围像素的亮度值低的亮度值。然后，摄像装置识别由一个或多个尘埃像素构成的独立区域作为尘埃区域di(i＝0，1，...，n)。

图4例示了尘埃区域尺寸计算的示例。如图4所示，摄像装置针对构成各尘埃区域的像素的坐标值，获得水平方向上的最大值Xmax和最小值Xmin以及垂直方向上的最大值Ymax和最小值Ymin，并且根据以下公式计算表示尘埃区域di的尺寸的半径ri。

ri＝[√{(Xmax-Xmin)²+(Ymax-Ymin)²}]/2

在此情况下，可以由以下公式近似定义中心坐标值(Xdi，Ydi)。

Xdi＝(Xmax+Xmin)/2

Ydi＝(Ymax+Ymin)/2

摄像装置将获得的位置(即，坐标值)和半径作为尘埃信息概况进行记录。

由于非易失性存储器56的大小的限制，所以尘埃校正数据(即，尘埃信息概况)的数据量可能会受到限制。在这种情况下，摄像装置根据尘埃区域的尺寸或平均亮度值来对尘埃位置信息进行排序。

在本示例性实施例中，摄像装置按照半径ri的大小的降序对尘埃位置信息进行排序。如果两条或更多条尘埃位置信息在半径ri的大小上不能够被区分，则摄像装置按照平均亮度值的大小的升序对它们进行分类。通过上述处理，摄像装置可以使突出的尘埃在尘埃校正数据的登记中优先于其他尘埃。在本示例性实施例中，Di表示被排序的尘埃区域，Ri表示尘埃区域Di的半径。

如果目标尘埃区域具有比预定尺寸大的尺寸，则可以将该目标尘埃区域从待排序的候选对象中移除并且可以将其重新放置在排序后的尘埃区域列表的尾部。如果大的尘埃区域经过插值处理，则图像质量可能劣化。因此，期望在校正目标的优先级顺序上将大的尘埃区域排列在最低。

图5例示了尘埃信息概况的结构的示例。如图5所示，尘埃信息概况存储尘埃检测图像捕获操作中的镜头信息以及尘埃位置/尺寸信息。更具体来说，作为尘埃检测图像捕获操作中的镜头信息，尘埃信息概况存储尘埃检测图像捕获操作中的实际光圈值(即，F值(F-number))和相应的镜头光瞳位置。

接着，摄像装置将所检测的尘埃区域的数量(即，整数值)存储在存储区域中，然后反复存储代表各尘埃区域的参数。代表各尘埃区域的参数可以是三个数值的集合，例如尘埃的半径(例如，2字节)，有效图像区域的中心的X坐标(例如，2字节)和Y坐标(例如，2字节)。

在步骤S207中，摄像装置将获取的尘埃信息存储在非易失性存储器56中。然后，摄像装置结束尘埃信息获取处理。

尘埃信息获取模式下的拍摄操作的目的是获取尘埃信息。因此，在本示例性实施例中，摄像装置不对捕获图像进行压缩并且不将图像记录到记录介质200中。

上述处理有效地防止了摄影师不需要的图像数据无用地使用记录介质200的容量。然而，与普通图像类似，可以压缩该图像，然后将其存储在记录介质200中。另外，在此情况下，可以改变扩展名。

本示例性实施例涉及在捕获运动图像时要执行的校正方法，包括可以校正被尘埃劣化的图像质量的图像处理。在对运动图像处理进行详细描述之前，以下先描述静止图像处理的示例。

在执行普通拍摄操作(不同于尘埃检测图像捕获操作)的情况下，如果待处理图像是静止图像，则除了普通拍摄操作中的相机设置值之外，摄像装置还将图5所示的尘埃校正数据(即，尘埃信息概况)与图像数据相关联地记录在记录介质200中。

更具体来说，为了实现相关联的记录，摄像装置可以另外将尘埃校正数据写入到例如记录有拍摄操作中的相机设置值的图像文件的可交换图像文件格式(Exif)区域(即，头区域)中。

作为另一选择，为了实现相关联的记录，摄像装置可以独立于文件地记录尘埃校正数据，并且在图像数据中只记录尘埃校正数据文件的链接信息。

然而，如果分开记录图像文件和尘埃校正数据文件，则当传送图像文件时可能会丢失链接关系。因此，期望存储整合有图像数据的尘埃校正数据。

当将包含另外记录的尘埃校正数据的图像数据传送到外部图像处理装置以使得外部图像处理装置能够执行尘埃去除处理时，将尘埃校正数据与图像数据相关联地记录是有用的。

接着，以下参照图6和图7所示的流程图，描述使用如上所述的存储在非易失性存储器56中的尘埃信息的、普通拍摄操作中的尘埃去除处理的示例。

尽管以下描述涉及用于静止图像的尘埃去除处理的示例，但是可以对运动图像的各帧执行类似的尘埃去除处理。

图6是例示根据本示例性实施例的在普通拍摄操作中的静止图像捕获处理的示例的流程图。

在步骤S501中，摄像装置确定快门开关SW162是否接通。如果确定快门开关SW162处于断开状态(步骤S501中的“否”)，则摄像装置重复步骤S501中的处理。如果确定快门开关SW162处于接通状态(步骤S501中的“是”)，则在步骤S502中，摄像装置执行测光和调焦处理。

接着，在步骤S503中，摄像装置确定快门开关SW264是否接通。如果确定快门开关SW264处于断开状态(步骤S503中的“否”)，则处理返回到步骤S501以重复上述处理。如果确定快门开关SW264处于接通状态(步骤S503中的“是”)，则在步骤S504中，摄像装置执行拍摄操作。

如果摄像装置完成拍摄操作，则在步骤S505中，摄像装置确定在非易失性存储器56中是否存在任何有效的尘埃信息。如果确定存在尘埃信息(步骤S505中的“是”)，则处理进行到步骤S506中。如果确定不存在尘埃信息(步骤S505中的“否”)，则在步骤S507中，摄像装置将捕获的图像数据存储在记录介质200中。

在本示例性实施例中，摄像装置确定在非易失性存储器56中是否存在尘埃信息。然而，摄像装置可以使用任意其他方法来确定是否在上述尘埃信息获取模式下执行了拍摄操作。

例如，摄像装置评价当在尘埃信息获取模式下执行拍摄操作时设置的标记是有用的。

在步骤S506中，摄像装置将获取的尘埃信息嵌入到捕获的图像数据的头区域(例如，Exif区域)中。在步骤S507中，摄像装置将包含嵌入的尘埃信息的图像数据存储在记录介质200中。

以下参照图7描述尘埃去除处理的示例。

在步骤S601中，摄像装置确定所选择的图像是否包含嵌入的尘埃信息。如果确定所选择的图像包含嵌入的尘埃信息(步骤S601中的“是”)，则在步骤S602中，摄像装置获取尘埃信息。

在步骤S603中，摄像装置基于捕获的尘埃信息执行校正处理，以消除尘埃对图像数据的影响。例如，摄像装置可以执行应用于尘埃周围的***像素的像素插值处理。

更具体来说，摄像装置从提取的尘埃校正数据中获取一行坐标值Di(i＝1，2，...，n)、一行半径Ri(i＝1，2，...，n)、光圈值f1以及镜头光瞳位置L1。在本实施例中，Ri代表位于坐标Di的尘埃的尺寸，其最初可以在尘埃校正数据排序操作中获得。另外，f1代表在尘埃检测图像捕获操作中镜头的光圈值，L1代表在尘埃检测图像捕获操作中镜头的光瞳位置。

摄像装置还获取普通图像捕获操作中的光圈值f2和镜头光瞳位置L2，并根据以下公式转换Di。在本实施例中，d代表从图像中心到坐标位置Di的距离，H代表图像传感器14的表面与尘埃之间的距离。例如，以下公式能够定义转换后的坐标Di′以及转换后的半径Ri′。

Di′(x，y)＝(L2×(L1-H)×d/((L2-H)×L1))×Di(x，y)

Ri′＝(Ri×f1/f2+3) (1)

上述公式中的单位是“像素”。在上述关于Ri′的公式中，“+3”是容许量。

摄像装置检测由坐标Di′和半径Ri′识别的区域中的尘埃，并且如有必要，则如下所述对所识别的区域的像素执行插值处理。摄像装置对所有的坐标位置执行尘埃去除处理，如果尘埃去除处理完成，则处理进行到步骤S604。

在步骤S604中，摄像装置新记录校正处理后的图像(即，已经消除了尘埃影响的捕获图像)。然后，摄像装置结束尘埃去除处理。

在本示例性实施例中，通过在捕获的图像数据中嵌入尘埃信息来在相机主体100中执行记录，接着，执行尘埃影响消除校正处理。

作为另一选择，摄像装置可以在图像被捕获并记录在相机主体100中时执行尘埃影响消除校正处理而不嵌入尘埃信息，然后可以将校正处理后的图像记录在记录介质200中。

以下将更详细地描述尘埃区域插值处理的示例。图8是例示插值过程中的详细处理的流程图。

首先，在步骤S701中，摄像装置执行尘埃区域确定。在本示例性实施例中，尘埃区域是满足以下所有条件的区域：

(1)比由以下公式定义的阈值T2暗的区域，通过使用包含在中心坐标Di′和半径Ri′(根据公式(1)获得的Di′和Ri′)定义的圆中的像素的平均亮度Yave和最大亮度Ymax获得T2。

T2＝Yave×0.6+Ymax×0.4

(2)不接触由中心坐标Di′和半径Ri′定义的圆的区域。

(3)当根据上述方法对由通过条件(1)选择的低亮度像素构成的孤立区域计算半径值时，具有不小于X1且不大于X2的半径值的区域。

(4)包括圆的中心坐标Di的区域。

在本示例性实施例中，X1等于3个像素，X2等于30个像素。通过上述筛选，摄像装置能够只处理作为尘埃区域的小孤立区域。如果不能够精确获取镜头光瞳位置，则可以适当改变上述条件(4)。

例如，如果目标区域包括在X方向和Y方向上自坐标Di起正负3个像素的范围中的坐标，则摄像装置确定该目标区域为尘埃区域。

在步骤S702中，摄像装置确定图像信号是否包括上述尘埃区域(部分)。如果确定图像信号包括尘埃区域(步骤S702中的“是”)，则在步骤S703中，摄像装置执行尘埃区域插值处理。如果确定图像信号不包括尘埃区域(步骤S702中的“否”)，则摄像装置结束插值过程的处理。

摄像装置可以根据传统已知的缺陷区域插值方法执行步骤S703中的尘埃区域插值处理。例如，日本特开第2001-223894号公报中论述的图案置换可以用于缺陷区域插值。

根据日本特开第2001-223894号公报中论述的方法，利用红外线指定缺陷区域。在本示例性实施例中，摄像装置指定在步骤S701中检测的尘埃区域作为缺陷区域，并基于周围正常像素利用图案置换方法来对尘埃区域插值。

如果不能够利用图案置换方法来对任何像素进行插值，则摄像装置能够从与待插值的目标像素最接近的图案插值图像数据中选择预定数量的正常像素，并且能够基于所选择的像素的平均颜色执行插值。

在对静止图像应用尘埃去除处理的情况下，因为不需要识别尘埃校正图像数据与捕获的图像数据之间的关系，所以上述用于向图像数据附加尘埃校正数据的处理是有用的。

尘埃校正数据是由位置、尺寸以及转换数据(光圈值、镜头光瞳位置等)构成的压缩数据。因此，捕获图像的数据量不会变得很大。通过只对包含由尘埃校正数据指定的像素的区域执行插值处理，能够大大降低错误检测的概率。

摄像装置执行以下用于检测相机抖动并且根据相机抖动量来对图像传感器获得的图像的一部分进行裁剪来校正相机抖动的电子图像稳定化处理。

首先，以下描述用于检测相机抖动的方法。例如，附装到相机主体100的回转仪(即，角速度传感器)能够物理地检测相机的振动并且能够输出代表相机抖动的角速度信号。

用于截除直流(DC)的高通滤波器从输出自角速度传感器的角速度信号中去除DC分量，以使得只允许振动分量通过。另外，积分器对输出自高通滤波器的振动分量进行积分，计算振动分量的平均值，并且将角度变化信号作为代表相机抖动的评价值输出。

以下参照图9A、图9B和图9C来描述抖动校正单元。在图9A中，区域260表示图像传感器14的整个成像区域。由虚线围绕的区域261是在图像传感器的整个成像区域中定义的裁剪框。将该裁剪框中的图像转换成能够实际输出的标准视频信号。在此示例中，摄影师捕获主被摄体269。

图9C例示了使用标准视频信号显示的视频。如图9C所示，再现的主被摄体269′处于再现视频信号的监视器的显示区域265中。

为了实现监视器的显示区域265，摄像装置执行用于裁剪捕获图像的处理，以输出代表图像传感器14的除了其外周区的整个成像区域的标准视频信号。

图9B表示当摄影师按照箭头262、262′以及262″指示的方向(即左下方)移动照相机时图像发生的变化。在此情况下，被摄体269在图像传感器14的整个成像区域260上按照箭头264指示的方向(即，右上方)移动。

如果使用与图9A所示的裁剪框261位于相同位置的裁剪框261′来裁剪图像，则摄像装置生成代表移动了与箭头264对应的矢量量(vector amount)的被摄体的视频信号。

摄像装置可以通过基于由摄像装置的抖动量(即，抖动校正目标值)获得的图像移动量263将裁剪框从上述框位置261′移动到框位置261″，来获得图9C所示的视频。本示例性实施例基于上述原理实现了图像抖动校正。

以下参照图10描述根据本示例性实施例的由摄像装置执行的成像区域裁剪处理。

图像传感器14的整个区域360由多个像素(即，光电转换要素)361构成。摄像装置基于由定时产生器(未示出)生成的电子驱动脉冲来控制各像素的电荷积累和读取。

两个裁剪框362和363类似于图9A、图9B及图9C所示的裁剪框261。例如，摄像装置可以利用图10所示的裁剪框362以下述方式进行视频信号裁剪。

首先，摄像装置按照箭头365指示的方向，从由“S”表示的开始像素相继读取各像素的光电转换后的电荷量。摄像装置在输出视频信号的同步周期内开始读取处理，并在同步周期结束前在紧挨像素“A”之前的像素位置处结束读取处理。在上述读取处理中的传送速率比在普通读取处理中的传送速率高。

在实际视频周期(即，在同步周期结束后)，摄像装置以普通读取速度读取从像素“A”到像素“F”的各像素的电荷量，作为一行视频信号的图像信息。

另外，在下一行之前的水平同步周期，摄像装置以比普通读取速度高的传送速率读取从像素“F”之后的像素到位于紧挨像素“G”之前的像素的多个像素。然后，摄像装置等待下一视频周期的读取。

与上述用于从“A”到“F”的像素的读取处理类似，摄像装置开始从像素“G”的读取处理。

如上所述，摄像装置可以控制读取定时以从图像传感器的整个成像区域中选择性地提取任意部分(例如，中央部分)，并可以获得代表所提取的部分的视频信号。

如图9A、图9B和图9C所示，捕获图像沿与摄像装置的运动相对应的方向移动。以下参照图10描述裁剪位置的移动。

如果检测到被摄体在图像传感器表面的移动(＝摄像装置的抖动)并且移动量与箭头364相当，则摄像装置将裁剪框从位置362重定位到位置363，以获得不受被摄体的移动影响的裁剪后的视频。

在此情况下，为了改变裁剪位置，摄像装置将读取开始位置从“A”改变到“B”并且将读取结束位置从“C”改变到“D”，并且摄像装置以与上述从像素“A”开始的读取处理相同的方式，选择性地从图像传感器的整个成像区域360中提取图像的局部部分。

更具体来说，与上述使用裁剪框362的读取处理类似，摄像装置按照箭头365指示的方向从由“S”表示的开始像素起相继读取各像素的光电转换后的电荷量。

摄像装置在输出视频信号的同步周期内开始读取处理，并在同步周期结束前在紧挨像素“B”之前的像素位置处结束读取处理。在上述读取处理中的传送速率比在普通读取处理中的传送速率高。在实际视频周期，摄像装置以普通传送速率从像素“B”开始读取各像素的电荷量。

如上所述，摄像装置在未到实际视频周期的同步信号周期期间，初步读取图像传感器的成像区域中的、与抖动校正信息对应的量的***部分。摄像装置基于相机抖动信息选择性地读取图像传感器的一部分，并且能够获得排除相机抖动的不利影响的视频信号。

以下是通常称为“MP4”的运动图像文件格式，其能够用于在数码相机或数码摄像机中记录运动图像数据。

MP4文件格式(参见ISO/IEC 14496-14；“Information technology--Codingof audio-visual objects--Part 14：MP4 file format”；ISO/IEC；2003-11-24)是基于通常文件格式“ISO基媒体文件格式”(参见ISO/IEC 14496-12；“Informationtechnology--Coding of audio-visual objects--Part 12：ISO base media file format”；ISO/IEC；2004-01-23)扩展的文件格式，其被ISO/IEC JTC1/SC29/WG11(国际标准化组织/国际电工委员会)标准化以将MPEG或其他运动图像/音频内容数据记录在文件中。

本示例性实施例不限于MP4文件格式，并且可以应用于类似的文件格式。例如，诸如“运动JPEG 2000文件格式”(ISO/IEC 15444-3)和“AVC文件格式”(ISO/IEC 14496-15)的ISO文件格式标准具有类似于MP4文件格式的基本结构。

图11例示了根据MP4文件格式的数据结构的示例。

MP4文件1001包括表示视频/音频数据的物理位置、时间位置以及特征信息的元数据(即，头信息)1002以及表示编码视频/音频数据的实际状态的媒体数据1003。

在MP4格式中，整个内容的演示称为“电影”，构成内容的媒体流的演示称为“轨(track)”。元数据1002包括逻辑上处理运动图像数据的视频轨1004和逻辑上处理音频数据的音频轨1005。视频轨1004和音频轨1005在结构上类似。

也就是说，尽管各轨的内容视媒体数据的特性而变，但是它们可以记录实际媒体数据的各种元数据信息。

例如，视频轨1004存储对编码数据进行解码的解码器的结构信息以及关于运动图像的矩形尺寸的信息。

此外，视频轨1004存储表示实际记录媒体数据的文件位置的偏移1006、表示媒体数据的各帧数据(可以称为“图片”)的大小的样本尺寸1007，以及表示各帧数据的解码时间的时间戳1008。

另一方面，媒体数据1003记录运动图像数据和音频数据的实体。媒体数据1003的数据结构通常称为“块(chunk)”，该“块”连续记录表示编码数据的基本单元的“样本”。

根据元数据1002的轨，块包括视频块1009和音频块1010，视频块1009包括运动图像媒体数据，音频块1010包括音频媒体数据。

根据图11所示的结构，交替记录视频块1009和音频块1010。然而，可以任意改变这些块的记录位置和顺序。

所例示的示例是通常记录格式的示例。不过，因为要同时再现的运动图像和音频数据在位置上接近，所以上述交替布局(即，交错)带来了提高对文件中记录的数据的可访问性的效果。因此，上述交替布局得到广泛使用。

块包括单独媒体数据的一个或更多个样本。例如，如图11所示，视频块1009包括连续记录的多个视频样本(即，帧)。

通常，视频样本(即，帧)1011对应于单帧视频数据(即，图片)。各轨按照以下方式与块相关联。

例如，如果视频轨1004存储运动图像数据，则视频轨1004中包含的信息包括与媒体数据1003中包含的各视频块1009相关的信息。

偏移1006由表示各视频块1009在文件上的相对位置的信息表构成，使得能够通过参照该表上的各条目得知实际视频块的位置。

样本尺寸1007作为各块中包含的多个样本的尺寸表(即各视频帧的尺寸)被写入。更具体来说，视频轨1004存储表示各块中包含的样本的数量的信息，使得能够基于所存储的信息精确获取各视频块1009中包含的样本。

时间戳1008由将各样本的解码时间作为样本之间的差别而记录的表构成，使得可以通过参照该表计算累积时间来获得各样本的时间戳。

在音频轨1005与音频块1010之间类似地建立上述轨与块的关系。因此，在MP4文件格式和ISO基媒体文件格式下，利用诸如时间戳的附加信息，基于元数据1002和媒体数据1003可以从任意位置获取所需量的编码数据。

因为通过参照ISO/IEC 14496中的相应说明可以得知标准化定义的详细内容，所以本示例性实施例不对所有的标准化记录信息均进行描述。

以称为“包(BOX)”的数据结构对要记录在根据MP4文件格式的文件中的数据进行描述。BOX由以下字段构成：

尺寸：包括尺寸字段自身的整个BOX的尺寸。

类型：代表BOX类型的4字节标识符，通常用4个字母数字字符表示。

虽然以下不进行描述，但是各BOX可以包括其他字段作为选项。

要记录在文件中的数据视其类型而存储在不同类型的BOX中。例如，将媒体数据1003记录为存储编码数据的媒体数据包(Media Data BOX，类型字段的内容是“mdat”，并且在以下描述中，如果使用表示BOX类型的标识符，则该标识符表示具有所表示的类型的BOX)。将元数据1002记录为存储整个内容的元数据信息的影片包(Movie BOX，‘moov’)。

类似地，针对各轨，将上述关于块和样本的信息记录在作为具有唯一标识符的BOX的moov中。

MP4文件格式不仅允许将所有元数据记录在moov中，而且允许将元数据划分成多个区域并顺次记录划分后的数据区域。后者的格式称为“分片电影(Fragmented Movie)”。

图12例示了按照分片电影格式的文件结构。分片电影格式的内容(诸如媒体数据和元数据)可以按照任意时间单位划分成多个“片段(fragment)”，并且按照时间顺序从文件头开始记录。例如，根据图12所示的示例，moov 1101表示第一片段中的元数据并且存储关于包含在mdat 1102中的数据的信息。

类似地，moof 1103表示第二片段中的元数据并且存储关于包含在mdat1104中的数据的信息。在采用分片电影格式的情况下，添加表示在moov 1101中存在片段的影片扩展包(Movie Extends Box，‘mvex’)1105。mvex 1105中包含的信息例如是，包含所有片段的整个内容的持续期间(时间长度)。

如上所述，按照MP4文件格式的文件将与媒体数据相关的各种属性与媒体数据分开地存储在元数据区域中。因此，无需考虑媒体数据的物理存储状态而能够容易地访问期望的样本数据。

以下将描述用于在运动图像记录操作中将上述尘埃校正数据与视频样本(帧)1011相关联的方法的示例，其中根据本示例性实施例的用于记录运动图像和音频数据的运动图像文件格式是图12所示的分片电影格式(即，MP4文件格式)。

本示例性实施例还可以应用于上述“运动JPEG 2000文件格式”(ISO/IEC15444-3)和“AVC文件格式”(ISO/IEC 14496-15)标准以及任何其他采用与由MP4规范的文件格式和结构类似的标准，诸如作为针对以第三代便携电话为代表的无线终端规范的运动图像文件标准的第三代合作伙伴计划(3GPP)文件格式(参见3GPP TS 26.244“Technical Specification Group Services andSystem Aspects Transparent end-to-end packet switched streaming service(PSS)；3GPP file format(3GP)(Release 6)”3rd Generation Partnership Project；2003-02-28)。

以下描述根据本示例性实施例的由具有图像处理功能的摄像装置在运动图像捕获操作中执行的尘埃去除处理和文件记录操作。

图13是例示运动图像捕获处理的示例的流程图。

首先，在步骤S1401中，摄像装置确定是否经由操作单元70选择了实时取景开始。如果确定未选择实时取景开始(步骤S1401中的“否”)，则摄像装置重复步骤S1401中的确定处理。

如果确定选择了实时取景开始(步骤S1401中的“是”)，则摄像装置向上驱动反光镜130以打开快门12，从而在图像传感器14上形成光学像。

A/D转换器16以预定的帧速率将输出自图像传感器14的模拟信号转换成数字信号。图像处理电路20执行预定的像素插值处理和色彩转换处理，并将处理后的信号存储在存储器30的帧存储缓冲器中。

在此情况下，相机主体100请求镜头单元300根据帧速率发送各种光学信息(例如，光圈、变焦位置、光瞳位置以及焦距)。光学信息存储器58将经由连接器122从镜头单元300接收的各种光学信息与帧存储缓冲器中的各图像数据相关联地存储。

通过将读取的图像数据转换成显示图像数据(即，要用于显示的图像数据)的图像处理电路20再次读取帧存储缓冲器中存储的图像数据。图像显示存储器24存储显示图像数据。

图像显示单元28显示经由D/A转换器26从图像显示存储器24接收的显示图像数据。在此情况下，图像显示单元28处于实时取景显示状态。换句话说，图像显示单元28执行电子取景器操作。

在步骤S1402中，摄像装置确定是否通过操作单元70选择了运动图像记录开始。如果确定没有选择运动图像记录开始(步骤S1402中的“否”)，则处理返回到步骤S1401，摄像装置重复上述处理。如果确定选择了运动图像记录开始(步骤S1402中的“是”)，则在步骤S1403中，摄像装置开始运动图像记录。

当开始运动图像记录时，音频信号处理电路33对从麦克风(未示出)输入的音频数据进行编码，并且编码后的音频数据被暂时存储在存储器30的音频编码数据缓冲器中。

暂时存储的运动图像编码数据和音频编码数据的量随时间而增大。因此，将暂时存储的编码数据转换成预定的文件格式并且经由接口90不定期地写入到记录介质200中。

在步骤S1404中，摄像装置确定是否通过操作单元70选择了运动图像记录停止。如果确定没有选择运动图像记录停止(步骤S1404中的“否”)，则处理返回到步骤S1403中，摄像装置继续运动图像记录。如果确定选择了运动图像记录停止(步骤S1404中的“是”)，则在步骤S1405中，摄像装置确定是否选择了实时取景停止。

如果确定没有选择实时取景停止(步骤S1405中的“否”)，则处理返回到步骤S1402，摄像装置等待下一运动图像记录。如果确定选择了实时取景停止(步骤S1405中的“是”)，则摄像装置结束运动图像捕获处理过程。

接着，以下描述运动图像文件生成的示例。如果在运动图像捕获模式下开启了运动图像记录按钮，则摄像装置开始运动图像捕获处理。首先，摄像装置生成包括初始片段的moov(即，元数据BOX)和mdat(即，媒体数据BOX)的新文件。

接着，摄像装置生成尘埃位置校正数据。尘埃位置校正数据存储在运动图像捕获处理中使用的镜头的镜头信息，诸如图5所示的光圈值、镜头光瞳位置信息以及尘埃校正数据。

存储器52存储生成的尘埃位置校正数据。摄像装置从存储器52中读取尘埃位置校正数据并将读取的数据写入当前片段的元数据moov中。

图14是例示根据本示例性实施例的在运动图像捕获操作中要对各帧执行的记录处理的示例的流程图。***控制电路50执行可以从存储器52载入的运动图像捕获处理程序，以实现上述处理。

首先，在步骤S1501中，摄像装置确定在运动图像捕获操作中是否开启了电子图像稳定化功能。如果确定开启了电子图像稳定化功能(步骤S1501中的“是”)，则在步骤S1502中，摄像装置基于角速度传感器(例如，振动回转仪)的输出检测抖动量。

如果确定在运动图像捕获操作中关闭了电子图像稳定化功能(步骤S1501中的“否”)，则处理进行到步骤S1505。由于图像裁剪位置固定，所以摄像装置不执行在运动图像数据文件中对裁剪位置的记录。

在步骤S1503中，摄像装置计算裁剪位置校正量以消除抖动量，并且校正当由图像传感器14读取图像信号时的裁剪位置。

在步骤S1504中，摄像装置将校正后的图像裁剪位置信息记录在运动图像数据文件中。裁剪位置信息包括如图16所示的表示图像传感器14的整个画面上的裁剪位置的、相对于原点确定的X坐标值和Y坐标值，如图16所示。

作为另一选择，裁剪位置信息可以包括如图17所示的相对于基准帧的偏离(即，差分量)。更具体来说，在图17中，相对于原点确定基准帧的位置，并且相对于基准帧的位置确定当前帧的位置。为了执行文件记录，摄像装置将图像裁剪位置信息记录在当前片段的元数据moof中。

由于可以在一个片段中记录多个帧的图像数据，所以摄像装置将多条裁剪位置信息添加到一个片段的元数据moof中。因此，在写操作中，需要将帧与裁剪位置信息相关联。

在步骤S1505中，摄像装置执行图像编码处理以削减图像数据的数据量。在步骤S1506中，摄像装置将压缩图像数据记录在文件中。

步骤S1501到S1506的序列处理用于记录一帧图像。因此，摄像装置在运动图像记录操作期间重复执行上述序列处理。

在图14中，摄像装置对各帧确定电子图像稳定化功能的开启/关闭(参见步骤S1501)。作为另一选择，摄像装置可以只在其开始运动图像捕获操作时才进行上述确定，并且可以使用分支处理中获得的结果。

以下描述用于从通过电子图像稳定化***捕获的运动图像数据中消除尘埃的影响的图像处理的示例。

摄像装置使用与图像数据相关联地记录在记录介质200中的尘埃校正数据(即，尘埃信息)，针对各帧执行尘埃去除处理，虽然该处理的一部分与静止图像的处理类似。

将尘埃校正数据存储在运动图像文件的moov中。然而，由于尘埃信息的数量只有1条，所以对各帧转换尘埃信息。

图15是例示根据本示例性实施例的要对各帧执行的尘埃去除处理的流程图。

相机或单独提供的图像处理装置可以执行尘埃去除处理。

在本示例性实施例中，在步骤S1601中，摄像装置确定是否在电子图像稳定化开启状态下捕获了要经受尘埃去除处理的图像的帧。

如果确定在电子图像稳定化开启状态下捕获了图像(步骤S1601中的“是”)，则在步骤S1602中，摄像装置获取记录在元数据moof中的帧的裁剪位置信息。

如果确定在电子图像稳定化关闭状态下捕获了图像(步骤S1601中的“否”)，则摄像装置直接执行尘埃校正处理。

在步骤S1603中，如图18所示，摄像装置根据在步骤S1602中获取的裁剪位置信息转换尘埃位置坐标，以抵消裁剪位置的变化。

在步骤S1604中，摄像装置使用转换后的尘埃位置坐标执行尘埃校正处理。在步骤S1604中要执行的尘埃校正处理是图8所示的序列处理。

如上所述，在本示例性实施例中，当在电子图像稳定化开启状态下执行运动图像捕获操作时，摄像装置针对各帧将图像裁剪位置记录到运动图像文件中。另外，当摄像装置执行尘埃去除处理时，摄像装置基于在执行尘埃去除处理前针对各帧记录的裁剪位置来转换尘埃位置信息。

由此，当电子图像稳定化***在运动图像记录操作中抑制运动图像的相机抖动分量时，摄像装置可以对该运动图像执行尘埃去除处理。

根据第二示例性实施例的数码相机类似于根据第一示例性实施例的数码相机。以下将描述第一示例性实施例与第二示例性实施例在操作上的差异。

第二示例性实施例与第一示例性实施例的不同之处在于：当将图像裁剪位置信息记录在文件中时，摄像装置只有在裁剪位置的变化超出预定阈值(下文称为“TH”)的情况下才执行记录。

图19是例示在运动图像捕获操作中对各帧执行的、根据本示例性实施例的记录处理的示例的流程图。

如图8所示的插值过程所描述的，在尘埃区域确定中可以将包括圆心坐标Di的区域设置成具有适当的宽度。因此，如果图像裁剪位置的移动量小，则摄像装置可以执行尘埃去除处理而不记录移动量。

因此，如果确定图像裁剪位置的移动量比阈值TH大(步骤S1605中的“是”)，则在步骤S1504中，摄像装置将图像裁剪位置信息记录在运动图像文件中。

如果确定图像裁剪位置的变化等于或小于阈值TH(等于或小于预定值)(步骤S1605中的“否”)，则摄像装置不将图像裁剪位置信息记录在运动图像文件中。

然而，在并未对所有帧记录裁剪位置信息的情况下，各帧与裁剪位置信息相关联。因此，当在步骤S1504中摄像装置执行裁剪位置信息的记录时，信息也被记录成表示相应的帧(例如，按照从头起的顺序轨的位置)。

如上所述，本示例性实施例能够在相机抖动量小时减少数据量，并且能够在尘埃去除处理中减少尘埃位置坐标转换中的处理量。

可以利用以下方法实现上述示例性实施例。可以向***或装置提供存储用于实现上述示例性实施例的功能的软件程序代码的存储介质。程序代码包括用于实现本发明的实施例的计算机可执行指令。***或装置中的计算机(或CPU或微处理单元(MPU))可以执行存储在存储介质中的程序代码。

在此情况下，由计算机从存储介质中读出并执行的程序代码自身实现了上述示例性实施例的功能。存储程序代码的存储介质构成了本发明。上述示例性实施例的功能不仅可以通过执行所读取的程序代码的计算机来实现，而且本发明还可以例如通过以下情况来实现。

运行在计算机上的操作***(OS)或其他应用软件可以基于程序代码的指令执行部分或全部的实际处理，以实现上述示例性实施例的功能。

此外，可以将从存储介质读出的程序代码写入到***计算机的功能扩展卡的存储器中或写入到与计算机连接的功能扩展单元的存储器中。在此情况下，基于程序代码的指令，设置在功能扩展卡或功能扩展单元上的CPU可以执行部分或全部处理，以实现上述示例性实施例的功能。

当本发明应用于上述存储介质时，对应于上述过程的程序代码存储在存储介质中。

可以使用许多种存储介质来存储程序代码。存储介质例如可以是，软碟(软盘)、硬盘、光盘、磁光盘、压缩盘(CD)、数字多功能盘(DVD)、只读存储器(ROM)、可记录CD(R)、可重写CD、可记录DVD、可重写DVD、磁带、非易失性存储卡、闪存设备等等中的一种。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对以下权利要求的范围给予最宽泛的解释，以使其涵盖所有的变型例、等同结构和功能。

Claims

1.一种摄像装置，该摄像装置包括：

图像捕获单元，其包括能够光电转换被摄体像的图像传感器，并且被构造成基于所述图像传感器的输出信号生成运动图像数据；

第一获取单元，其被构造成获取异物信息，所述异物信息包括关于附着在设置于所述图像传感器的前侧的光学元件上的异物的至少位置和尺寸的信息；

检测单元，其被构造成检测所述图像传感器的抖动量；

控制单元，其被构造成根据由所述检测单元检测到的所述图像传感器的所述抖动量，控制在所述图像传感器的整个画面上的图像裁剪位置；以及

记录单元，其被构造成将表示所述图像裁剪位置的信息与所述运动图像数据相关联地记录。

2.根据权利要求1所述的摄像装置，其中所述表示图像裁剪位置的信息包括在所述图像传感器的整个画面上的X坐标及Y坐标。

3.根据权利要求1所述的摄像装置，其中所述表示图像裁剪位置的信息是相对于基准帧的图像裁剪位置的差分。

4.根据权利要求3所述的摄像装置，其中在所述图像裁剪位置的差分等于或小于预定值的情况下，所述记录单元不执行所述表示图像裁剪位置的信息的记录。

5.根据权利要求1所述的摄像装置，该摄像装置还包括：

第二获取单元，其被构造成获取与所述运动图像数据相关联地记录的所述异物信息以及所述表示图像裁剪位置的信息；以及

插值单元，其被构造成基于所述表示图像裁剪位置的信息转换所述异物信息，并且使用转换后的异物信息对与所述运动图像数据的异物相对应的像素执行插值处理。

6.一种摄像装置的控制方法，所述摄像装置包括图像捕获单元，所述图像捕获单元具有能够光电转换被摄体像的图像传感器并且被构造成基于所述图像传感器的输出信号生成运动图像数据，所述控制方法包括如下步骤：

存储异物信息，所述异物信息包括关于附着在设置于所述图像传感器的前侧的光学元件上的异物的至少位置和尺寸的信息；

检测所述图像传感器的抖动量；

根据检测到的所述图像传感器的所述抖动量，控制在所述图像传感器的整个画面上的图像裁剪位置；以及

将所述异物信息和表示所述图像裁剪位置的信息与所述运动图像数据相关联地记录。