CN101582989B - 摄影装置 - Google Patents
摄影装置 Download PDFInfo
- Publication number
- CN101582989B CN101582989B CN2009101390757A CN200910139075A CN101582989B CN 101582989 B CN101582989 B CN 101582989B CN 2009101390757 A CN2009101390757 A CN 2009101390757A CN 200910139075 A CN200910139075 A CN 200910139075A CN 101582989 B CN101582989 B CN 101582989B
- Authority
- CN
- China
- Prior art keywords
- camera
- imaging apparatus
- image
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 127
- 206010044565 Tremor Diseases 0.000 claims description 59
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000003786 synthesis reaction Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 abstract description 7
- 239000002131 composite material Substances 0.000 abstract 1
- 230000000977 initiatory effect Effects 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 42
- 230000003287 optical effect Effects 0.000 description 36
- 230000014509 gene expression Effects 0.000 description 31
- 210000003128 head Anatomy 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 238000005755 formation reaction Methods 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000002203 pretreatment Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 239000013256 coordination polymer Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
本发明提供一种摄影装置(100)，在发生了手抖的情况下进行连拍摄影时的各摄影开始时刻，根据在表示手抖补正信息的补正信号R中反映了表示像素偏移信息的偏移信号O的控制信号C，来使摄像元件(19)移动。由此，可几乎抵消手抖带来的摄像元件(19)的摄影范围变化，并且每当摄影时摄影范围仅变化1像素。从而即使在发生手抖的情况下，也能够在连拍摄影的各图像上合成特征部分(主要被摄体)和固定图形噪声之间的距离互不相同的图像。其结果是，即使在发生手抖的情况下也能够以特征部分为基准合成连拍摄影的各图像，由此可取得分散了固定图形噪声的合成图像。
Description
技术领域
本发明涉及采用了固体摄像元件的摄影装置。
背景技术
以往，在采用了固体摄像元件的摄像装置中，从摄像元件输出的图像信号和用于驱动摄像元件的脉冲在电路中混在一起。另外，在摄像装置内用于信号处理的各种脉冲混在一起。这些脉冲根据共用的基准时钟生成，且大多是相互同步的信号。当这些同步信号的高频分量经由配线图形间的电容耦合等混入到图像信号中时，在基于该图像信号的图像上有时会产生肉眼可见的线状或点状的固定图形噪声(pattern noise)，从而该固定图形噪声成为画面质量劣化的主要原因。
因此，以往提出了如下的摄像装置，在连续摄影时，使将被摄体像导入二维光检测元件的反射镜以规定角度逐步旋转，由此拍摄被摄体像位置以规定量逐步偏移的多张图像，并将各摄影图像上的特定被摄体像作为基准来合成这些各摄影图像，从而生成合成图像(例如，参照特开2007-214662号公报)。
根据该现有的摄像装置，利用反射镜的旋转使在各摄影图像中作为合成基准的特定被摄体像和固定图形噪声之间的位置关系相互不同，所以能够在合成图像上分散各摄影图像中产生的固定图形噪声，从而在合成图像上降低固定图形噪声的影响。
可是，在该现有的摄像装置中，如果在连续摄影时摄像装置的使用者发生手抖，则有可能由于该手抖而抵消了基于反射镜旋转的各摄影图像上被摄体像的位置偏移。在此情况下，导致在各摄影图像中作为合成基准的特定像和固定图形噪声之间的位置关系相同。即，在该现有的摄像装置中，当发生手抖时则有可能即使合成了各摄影图像也无法在合成图像上分散固定图形噪声。
发明内容
因此，本发明的目的在于即使在摄影中发生手抖的情况下也能够可靠地降低摄影图像上的固定图形噪声的影响。
本发明的摄影装置的一个形态具有：摄影单元，其利用摄像元件来对被摄体进行多次摄影，由此生成产生了固定图形噪声的多个图像；补正单元，其对由手抖引起的所述摄像元件摄影范围的偏移进行补正，且为了在每次摄影时所述摄像元件的摄影范围不同，而使所述摄像元件移动；以及合成单元，其以所述多个图像上的特定部分为基准平均地合成所述多个图像，由此来生成合成图像。
本发明的另一形态是计算机可读取的记录介质，其中，计算机具有摄影单元，其利用摄像元件来对被摄体进行多次摄影，由此生成产生了固定图形噪声的多个图像；和驱动单元，其使所述摄像元件移动，该记录介质存储有使计算机执行以下处理的程序：补正处理，其对由手抖引起的所述摄像元件摄影范围的偏移进行补正，且为了在每次摄影时所述摄像元件的摄影范围不同，而通过所述驱动单元使所述摄像元件移动；以及合成处理，其以所述多个图像上的特定部分为基准平均地合成所述多个图像，由此来生成合成图像。
根据本发明即使是在摄影中发生了手抖的情况下也能够可靠地降低摄影图像上的固定图形噪声的影响。
附图说明
图1是表示本发明实施方式的摄影装置的功能性结构的一例的框图。
图2是表示手抖补正***的详细结构的图。
图3是表示本发明实施方式的摄像装置执行的连拍合成模式的处理流程的一例的流程图。
图4是表示与摄影装置的光轴相对的主要被摄体、摄像元件的相对位置关系的一例的图。
图5是示意性地表示在偏航方向上从摄影装置的光轴到主要被摄体的中心的距离A(t)的图。
图6是示意性地表示在偏航方向上从摄影装置的光轴到摄像元件的中心的距离B(t)的图。
图7(A)是表示通过本实施方式所涉及的连拍摄影而取得的第一张图像的一例的图。
图7(B)是表示通过本实施方式所涉及的连拍摄影而取得的第二张图像的一例的图。
图7(C)是表示通过本实施方式所涉及的连拍摄影而取得的第三张图像的一例的图。
图8是表示排列着以主要被摄体为基准通过连拍摄影而取得的各图像的状况的图。
图9是表示通过本实施方式所涉及的摄影装置来生成的合成图像的一例的图。
图10是表示实施了平均化处理的合成图像的一例的图。
具体实施方式
以下，根据附图对本发明一实施方式的摄影装置100进行说明。
图1是表示本实施方式的摄影装置100的功能性结构的一例的框图。采用图1对本实施方式的摄影装置100的结构进行说明。摄影装置100可由数字照相机等来构成。
摄影装置100具有：控制部10、RAM11、ROM12、光学镜头装置13、光学***控制部14、光学***驱动部15、光圈16、光圈控制部17、光圈驱动部18、摄像元件19、驱动器20、手抖补正***21、前处理部22、图像输入控制器23、图像存储器24、图像处理部25、AF/AE评价部26、特征提取部27、图像合成部28、显示控制部29、显示部30、记录介质31以及操作部32。
控制部10对整个摄影装置100的动作进行控制。控制部10由CPU(Central Processing Unit)等构成。
RAM11在控制部10执行各处理时作为工作区域来发挥作用。RAM11由DRAM(Dynamic Random Access Memory)等构成。ROM12存储摄影装置100执行摄像元件移动式手抖补正控制用的程序及执行图4流程图所 示的各处理所需的程序等。ROM12由闪存等构成。控制部10将RAM11作为工作区域并通过与在ROM12中存储的程序协同动作来执行各处理。
光学镜头装置13由对焦镜头(focus lens)及变焦镜头(zoom lens)等构成。对焦镜头是用于使被摄体像在摄像元件19的受光面上成像的镜头。
光学***控制部14按照控制部10的控制来控制光学***驱动部15，由此通过光学***驱动部15使光学镜头装置13的对焦镜头在光轴方向上进退。从而使对焦镜头的位置变化以调节焦点。光学***驱动部15由步进电动机(stepping motor)等构成。光学***控制部14由控制光学***驱动部15的控制电路等构成。
光圈叶片16是作为对射入摄像元件19的被摄体像光量进行调节的光圈发挥作用的机构。光圈叶片16例如在F3.1～F8的范围内阶段性地切换光圈。
光圈控制部17按照控制部10的控制来控制光圈驱动部18，由此通过光圈驱动部18来驱动光圈叶片16。
摄像元件19是通过对从光学镜头装置13射入并成像到受光面上的被摄体像进行光电变换(摄影)来蓄积图像信号的元件。在摄像元件19的受光面上矩阵状地配置有作为光电变换元件的发光二极管。摄像元件19具有调节曝光时间的电子快门(shutter)功能。在摄影时通过该电子快门功能来调节作为曝光时间的快门速度。此外，摄影元件19的曝光时间可取代电子快门功能、通过机械式快门来进行控制。摄像元件19由CMOS(Complementary Metal-Oxide Semiconductor)型图像传感器等构成。此外，摄像元件19可由CCD(Charge Coupled Device)型图像传感器构成。
驱动器20根据控制部10的控制将积蓄在摄像元件19中的图像信号作为模拟信号按一定时间顺次输出。另外，摄像元件19的电子快门的快门速度可通过控制部10调节针对驱动器20设定的参数来在例如1/4秒～1/512秒的范围内变化。
手抖补正***21通过控制部10的摄像元件移动式手抖补正控制等，使摄像元件19在与摄影装置100的光轴正交的面内移动。由此，对摄像元件19的位置进行补正，以使即便发生手抖在摄像元件19上成像的被摄 体像的位置也几乎不变。此外，手抖补正的方法可以是使另外设置的手抖补正镜头在与光轴正交的面内移动的光学***移动式手抖补正控制。
图2是表示手抖补正***21的详细结构的图。如图2所示，手抖补正***21包括：手抖传感器211、手抖补正控制电路212、像素偏移控制电路213、加法电路214以及执行单元(actuator)215。
手抖传感器211在由于用户手持摄影装置100的姿势等发生变化而导致出现了手抖等的情况下，检测纵摇(pitch)方向以及偏航(yaw)方向上的摄影装置100的角速度。手抖传感器211将检测出的角速度变换为电信号，将该电信号作为检测信号D输出。手抖传感器211由角速度传感器等构成。
手抖补正控制电路212通过对手抖传感器211所提供的检测信号D所示的角速度进行时间性积分，来算出摄像装置100的抖动角即角位移量。然后，手抖补正控制电路212按照控制部10的摄像元件移动式手抖补正控制，根据算出的摄像元件19的角位移量和对焦镜头的焦点距离，以像素单位来算出手抖产生的摄像元件19的位置变化量。手抖补正控制电路212算出用于抵消已算出的位置变化量的手抖补正信息，输出表示已算出的手抖补正信息的补正信号R。
像素偏移控制电路213仅在后述的连拍合成模式下的各摄影开始时刻输出表示使摄像元件19在与光轴正交的面内移动规定距离的指示的偏移信号O。该偏移信号O是不受检测信号D所示的摄影装置100的角速度大小左右的恒定信号。
加法电路214将由手抖补正控制电路212提供的补正信号R和由像素偏移控制电路213提供的偏移信号O相加，将相加后的信号作为控制信号C输出。即，该控制信号C所示的补正信息相对于补正信号R所示的手抖补正信息，为反映了偏移信号O所示的像素偏移信息的补正信息。
执行单元215根据加法电路214所供给的控制信号C来驱动摄像元件19，由此在与摄影装置100的光轴正交的面内使摄像元件19移动。
返回图1，前处理部22对摄像元件19所提供的模拟信号实施相关二重采样处理、增益控制处理、A/D(Analog/Digital)变换处理等各信号前处理，来生成数字信号，并输出所生成的数字信号。前处理部22由A/D 变换器等构成。
图像输入控制器23将从前处理部22输出的数字信号存储到图像存储器24中。
图像存储器24临时存储由前处理部22生成的数字信号及由图像处理部25生成的图像数据。图像存储器24由DRAM(Dynamic Random AccessMemory)等构成。
图像处理部25读出在图像存储器24中存储的数字信号，对读出的数字信号施加白平衡控制处理、γ补正处理、RC变换处理等各种图像处理，生成亮度信号和色差信号重叠的图像数据。通过该图像数据来表现被摄体像。图像处理部25在全按操作快门按钮时，生成画质较高且大容量的摄影图像用的图像数据。另一方面，图像处理部25在显示实时取景(liveview)图像时，生成画质较低且小容量的实时取景图像用的图像数据。图像处理部25将所生成的图像数据再次存储到图像存储器24中。此外，图像处理部25通过规定的压缩方式对图像数据实施压缩处理。图像处理部25由DSP(Digital Signal Processor)等构成。
在本实施方式中，在摄像装置100内同步的时钟脉冲的高频分量由于配线图形间的电容耦合等而混入由摄像元件19输出的图像信号中。由此，在通过摄影动作生成的图像数据所表现的各图像的相同位置上生成例如纵线状的固定图形噪声。
AF/AE评价部26从顺次存储到图像存储器24中的实时取景图像用的各图像数据中提取高频分量即AF评价值，将提取出的AF评价值顺次提供给控制部10。另外，AF/AE评价部26运算在图像存储器24中存储的图像数据的亮度积分值，并将运算出的亮度积分值作为测光数据提供给控制部10。
特征提取部27从存储在图像存储器24内的图像数据中检测出与预先指定的被摄体种类对应的特征部分。该指定的被摄体种类是可变的。作为被指定的被摄体种类例如有人物的整体像或面部等。由特征提取部27检测出的被摄体种类可通过用户经由操作部32来设定，或者根据摄像装置100的摄影模式(风景摄影模式、人物摄影模式等)来设定。
然后，特征提取部27在由存储到图像存储器24内的图像数据所表现 的图像上的规定采样点进行与指定的被摄体种类对应的特征部分的提取。具体地说，特征提取部27通过在图像存储器24中存储的图像数据和模型数据(model data)的匹配处理来算出它们的相似度，并将算出的相似度为规定阈值以上的采样点处的图像成分作为特征部分进行提取。在ROM12中预先将多个被摄体种类的特征部分的信息作为模型数据进行存储。例如，作为与人物面部相关的模型数据有表现面部图像的图像数据以及面部的眼、口等局部的特征数据。依据指定的被摄体种类从ROM12中读出规定尺寸的模型数据。
作为特征提取部27进行的匹配处理例如可采用在特开平9-130714号公报中所记载的方法。该方法是在摄像图像内以例如4×4的块(block)像素单位对与被摄体距离相应的尺寸的模板图像(模型数据)进行扫描，并且计算标准化相关系数等，由此来算出摄像图像的局部部分和模型数据的块像素之间的相似度分布。此外，匹配处理不限于该方法，可以适当地利用公知的方法。
图像合成部28以特征提取部27所提取出的特征部分为基准、即在使各特征部分的位置一致的状态下合成由多个图像数据所表现的各图像，由此来生成表现合成图像的合成图像数据。
显示控制部29按照控制部10的控制来读出在图像存储器24中存储的图像数据，并将读出的图像数据变换为模拟信号后输出。显示控制部29可由VRAM(Video Random Access Memory)及D/A(Digital/Analog)变换器等构成。
显示部30显示由显示控制部29提供的通过模拟信号表现的图像等。显示部30由设置在摄影装置100的壳体背面的液晶显示器等构成。
记录介质31记录由图像处理部25生成的图像数据。记录介质31由在摄影装置100上可拆装的半导体存储卡等构成。
操作部32接受来自用户的各种按钮的操作。操作部32具有：电源按钮、快门按钮、变焦按钮、光标键、决定按钮、菜单按钮等。操作部32将从用户处接受的表示各种键操作的信号提供给控制部10。快门按钮是能够从用户处接受用于指示摄影准备(AF处理等)的半按操作和用于指示摄影的全按操作的机构。控制部10当从操作部32接收到这些信号时，执 行基于接收到的信号的处理。
图3是表示摄影装置100的本实施方式所涉及的连拍合成模式下的动作的流程图。采用图3对在本实施方式所涉及的连拍合成模式下执行摄影装置100的动作进行说明。在以下的实施方式中，纵线状的固定图形噪声的线幅作为相当于一个像素的线幅来进行说明。另外，在以下的说明中，将经由光学镜头装置13在摄像元件19的受光面上成像的被摄体像的范围称为“摄影范围”。
在本实施方式中，用户在通过自己的手来拿着摄影装置100的状态下对静止的主要被摄体进行拍摄。另外在本实施方式中，在拍摄时手抖经常发生，摄影装置100的姿势时常变化。
当用户对菜单按钮等进行操作来设定连拍合成模式时，控制部10读出在ROM12中存储的连拍合成模式用的程序，并通过与该程序的协同动作，开始图3的流程图所示的处理。
首先在步骤S1中，控制部10开始实时取景显示。具体地说，控制部10使图像处理部25生成实时取景图像用的图像数据。然后，控制部10将生成的实时取景图像用的图像数据提供给显示控制部29，由此，通过显示控制部29将实时取景图像显示到显示部30上。之后，控制部10将图像处理部25顺次生成的实时取景图像用的图像数据依次提供给显示控制部29，由此在显示部30上显示实时取景图像。
接着在步骤S2中，控制部10判断用户是否半按操作了快门按钮。具体地说，控制部10通过监视来自操作部32的与快门按钮半按操作相应的信号，来判断用户是否半按操作了快门按钮。控制部10当判断为没有半按操作快门按钮时(步骤S2；NO)，成为待机状态，直至检知来自操作部32的与快门按钮半按操作相应的信号为止。另一方面，控制部10在判断为半按操作了快门按钮时(步骤S2；YES)，进入步骤S3的处理。
接着在步骤S3中，控制部10进行AF处理。具体地说，控制部10经由光学***控制部14来控制光学***驱动部15，由此通过光学***驱动部15使对焦镜头在光轴方向上进退，在AF/AE评价部26所提供的AF评价值变为最高的镜头位置上使对焦镜头停止。
接着在步骤S4中，控制部10进行AE处理。具体地说，控制部10 根据从ROM12读出的程序线图和从AF/AE评价部26供给的测光数据来决定由快门速度、光圈值、ISO灵敏度组成的曝光条件。然后，控制部10通过将表示所决定的曝光条件的控制信号提供给各部来控制光圈控制部17等各部，以取得适当的曝光。
接着在步骤S5中，控制部10判断用户是否全按操作了快门按钮。具体地说，控制部10通过监视来自操作部32的与快门按钮全按操作相应的信号，来判断用户是否全按操作了快门按钮。控制部10在判断为用户没有全按操作快门按钮时(步骤S5；NO)，返回步骤S2的处理。另一方面，控制部10在判断为用户全按操作了快门按钮时(步骤S5；YES)，进入步骤S6的处理。摄影装置100对用户全按操作一次快门按钮作出响应，连续执行三次摄影。
接着在步骤S6中，控制部10执行第一次摄影。具体地说，控制部10利用驱动器20使摄像元件19以在步骤S4中决定的快门速度曝光，由此将图像信号蓄积到摄像元件19中。经过了曝光时间后，控制部10利用驱动器20将蓄积到摄像元件19内的图像信号作为模拟信号输出。前处理部22根据该模拟信号来生成数字信号并输出。图像输入控制器23将该数字信号存储到图像存储器24中。图像处理部25根据存储到图像存储器24内的数字信号来生成图像数据，并将所生成的图像数据再次存储到图像存储器24中。
另外，控制部10在第一次摄影中进行手抖补正控制。
图4是表示与摄影装置100的光轴相对的主要被摄体的相对位置关系和与摄影装置100的光轴相对的摄像元件19的相对位置关系的图。
在图4中，横轴是表示从第一次摄影开始时刻经过时间t的时间轴。原点O(经过时间t＝0)表示第一次的摄影开始时刻。该横轴上的1刻度的时间T是每一次摄影动作所需的时间。另外，纵轴表示偏航方向上的与摄影装置100的光轴相对的主要被摄体或摄像元件19的相对距离。纵轴被设定为以偏航方向中的右方向为正，以偏航方向中的左方向为负。该纵轴的单位是1个像素的距离。这里，所谓1个像素的距离是为了使摄像元件19在实际空间中移动以使摄像元件19的摄影范围移动1个像素所需的距离。
在图4中用虚线表示在偏航方向上的从摄影装置100的光轴到主要被摄体的中心的距离A(t)。图5是示意性地表示距离A(t)的图。在图5中符号40表示主要被摄体。因为伴随着手抖的发生而产生摄像装置100的姿势变化，所以在偏航方向上的从摄影装置100的光轴到主要被摄体的距离A(t)时时刻刻发生变化。在经过时间t中的主要被摄体的位置在偏航方向上相对于摄影装置100的光轴偏移A(t)个像素的距离。
在本实施方式中，在第一次摄影开始时刻(t＝0)，主要被摄体的位置处于光轴上。另外如上所述，主要被摄体静止。如图4所示，在偏航方向上的从摄影装置100的光轴到主要被摄体的中心的距离A(t)的值始终为正。因此，图4所示的例子表示由于手抖而导致摄影装置100的姿势发生变化，因此在连拍摄影中的摄影装置100的光轴从摄影开始时刻向左方向偏移A(t)个像素。换言之，意味着在连拍摄影中主要被摄体始终针对摄影装置100向右方向相对偏移。
在图4中利用实线来表示在偏航方向上的从摄影装置100的光轴到摄像元件19的中心的距离B(t)。图6是示意性地表示距离B(t)的图。因为伴随着手抖的发生而进行摄像元件移动式手抖补正控制，所以在偏航方向上的从摄影装置100的光轴到摄像元件19的中心的距离B(t)时时刻刻发生变化。在经过时间t中的摄像元件19的位置在偏航方向上相对于摄影装置100的光轴偏移B(t)个像素的距离。在第一次摄影开始时刻(t＝0)，摄影装置100内的摄像元件19的中心处于光轴上。
接着，对在第一次摄影中的手抖补正控制时手抖补正***21的处理状况进行说明。
在第一次摄影中，手抖传感器211按照一定时间来输出表示基于手抖的摄像装置100的角速度的检测信号D。
手抖补正控制电路212根据手抖传感器211供给的检测信号D来算出用于抵消手抖带来的摄像元件19的位置变化量的手抖补正信息(使摄像元件19移动的方向和移动量等)。然后，手抖补正控制电路212按一定时间来输出表示所算出的手抖补正信息的补正信号R。将摄像元件19上的任意像素的位置设为(n，m)。当摄影装置100的光轴相对于主要被摄体40向左方向偏移A(t)个像素的距离时，补正信号R所示的补正信息为 (A(t)，0)。因此，补正信号R表示“将各像素的位置(n，m)向(n+A(t)，m)移动”即“使摄像元件19向右方向移动A(t)个像素的距离”这样的指示。
另一方面，像素偏移控制电路213仅在第一次摄影开始时刻(t＝0)输出表示像素偏移信息(-3，0)的偏移信号O。在第一次摄影时刻输出的该偏移信号O表示“使摄像元件19向左方向移动与连拍摄影的摄影次数相同的像素数的距离”这样的指示。在本实施方式中，连拍摄影的摄影次数是3次。因此，该偏移信号O表示“使各像素的位置(n，m)向(n-3，m)移动”即“使摄像元件19向左方向移动3个像素的距离”这样的指示。
在第一次摄影开始时刻(t＝0)，加法电路214将反映补正信号R所示的手抖补正信息和偏移信号O所示的像素偏移信息的信号作为控制信号C输出。因此，在第一次摄影开始时刻的控制信号C所示的补正信息是(A(t)-3，0)。即，在第一次摄影开始时刻的控制信号C表示“使摄像元件19向右方向移动(A(t)-3)个像素的距离”这样的指示。
在第一次摄影开始时刻(t＝0)，执行单元215按照加法电路214所提供的控制信号C，在与光轴正交的面内使摄像元件19向右方向移动(A(t)-3)个像素的距离。
在第一次摄影开始时刻(t＝0)，因为还未发生手抖，所以补正信号R所示的补正信息为(0，0)。因此如图4所示，在第一次摄影开始时刻(t＝0)，由于偏移信号O的影响，而成为摄像元件19相对于摄影装置100的光轴向左方向偏移3个像素距离的状态。并且如上所述，在第一次摄影开始时刻(t＝0)，主要被摄体的位置处于光轴上，所以在该时刻成为摄像元件19相对于主要被摄体向左方向偏移3个像素距离的状态。
在从第一次摄影开始时刻(t＝0)到第二次摄影开始时刻的期间(0＜t＜T)，像素偏移控制电路213停止偏移信号O的输出。因此，根据手抖传感器211所提供的检测信号D由手抖补正控制电路212输出的补正信号R，直接作为控制信号C从加法电路214向执行单元215输入。并且在此期间，执行单元215根据控制信号C使摄像元件19移动，以抵消手抖带来的摄像元件19的位置变化量。由此，如图4所示，在从第一次摄影开始时刻(t＝0)到第二次摄影开始时刻的期间(0＜t＜T)，维持摄像元件 19相对于主要被摄体向左方向偏移3个像素距离的状态，摄像元件19的位置随动于主要被摄体的位置。
图7(A)表示经过第一次摄影而生成的图像数据所表现的第一张图像的一例即图像P1。在第一张图像P1中映现了所摄影的主要被摄体40和固定图形噪声51。该第一张图像P1成为后述的图像数据合成处理中的基准图像。
返回图3，在步骤S7中控制部10设定“1”来作为摄影次数n。具体地说，控制部10将表示摄影次数n为1的信息存储到RAM11中。
接着在步骤S8中，控制部10执行第二次摄影。第二次摄影的具体处理内容与第一次摄影的内容相同。另外，控制部10在第二次摄影中进行手抖补正控制。
对在第二次摄影中的手抖补正控制时手抖补正***21的处理状况进行说明。
在第二次摄影中，手抖传感器211按照一定时间来输出表示基于手抖的摄像装置100的角速度的检测信号D。
手抖补正控制电路212根据手抖传感器211供给的检测信号D来算出用于抵消手抖带来的摄像元件19的位置变化量的手抖补正信息。然后，手抖补正控制电路212按一定时间来输出表示已算出的手抖补正信息的补正信号R。
另一方面，像素偏移控制电路213在第二次摄影开始时刻(t＝T)输出表示像素偏移信息(1，0)的偏移信号O。在第二次摄影开始时刻像素偏移控制电路213产生的该偏移信号O表示“使各像素的位置(n，m)向(n+1，m)移动”即“使摄像元件19向右方向移动1个像素的距离”这样的指示。
在第二次摄影开始时刻(t＝T)，加法电路214将反映补正信号R所示的手抖补正信息和偏移信号O所示的像素偏移信息的信号作为控制信号C输出。因此，在第二次摄影开始时刻的控制信号C所示的补正信息是(A(t)+1，0)。即，在第二次摄影开始时刻的控制信号C表示“使摄像元件19向右方向移动(A(t)+1)个像素的距离”这样的指示。
在第二次摄影开始时刻(t＝T)，执行单元215按照加法电路214所提 供的控制信号C，在与光轴正交的面内使摄像元件19向右方向移动(A(t)+1)个像素的距离。
如图4所示，由于该偏移信号O的影响，摄像元件19的摄影范围从在第一次摄影中(0≤t＜T)与主要被摄***置相对的摄像元件19的位置偏移3像素距离的状态向在第二次摄影开始时刻(t＝T)与主要被摄***置相对的摄像元件19的位置偏移2像素距离的状态补正。
在从第二次摄影开始时刻到第三次摄影开始时刻的期间(T＜t＜2T)，像素偏移控制电路213停止偏移信号O的输出。因此，根据手抖传感器211所提供的检测信号D由手抖补正控制电路212输出的补正信号R，直接作为控制信号C从加法电路214向执行单元215输入。并且在此期间，执行单元215根据控制信号C使摄像元件19移动，以抵消手抖带来的摄像元件19的位置变化量。由此，如图4所示，在从第二次摄影开始时刻到第三次摄影开始时刻的期间(T＜t＜2T)，维持摄像元件19相对于主要被摄体向左方向偏移2个像素距离的状态，摄像元件19的位置随动于主要被摄体的位置。从而，第二次摄影中的摄影元件19的摄影范围与第一次摄影中的摄像元件19的摄影范围相比，始终偏移1个像素。
图7(B)表示经过第二次摄影而生成的图像数据所表现的第二张图像的一例即图像P2。因为图像P2的被摄体静止，所以与图像P1的被摄体相同。在第二张图像P2中映现了所摄影的主要被摄体40和固定图形噪声52。该第二张图像P2的摄影范围(第二次摄影的摄影范围)与第一张图像P1的摄影范围(第一次摄影的摄影范围)偏移1像素。因此，第二张图像P2内的主要被摄体40的位置与第一张图像P1内的主要被摄体40的位置偏移1像素。
另一方面，固定图形噪声51、52与摄像元件19的位置无关，都发生在摄像元件19内所规定的像素区域的规定区域上。因此，在摄影范围互不相同的第一张图像P1和第二张P2图像之间，固定图形噪声51、52发生的位置相同。从而，第一张图像P1中的主要被摄体40与固定图形噪声51之间的距离、与第二张图像P2中的主要被摄体40与固定图形噪声52之间的距离相差1像素。
返回图3，在步骤S9中控制部10判断在经过前一步骤S8的处理来 新摄影的图像中是否拍摄了主要被摄体。具体地说，控制部10判断在存储到图像存储器24内的新摄影的图像和基准图像(第一张摄影图像)中是否有近似的图像部分。控制部10在判断为有近似的图像部分时，可判断为在新摄影的图像中拍摄了主要被摄体。另一方面，控制部10在判断为没有近似的图像部分时，可判断为在新摄影的图像中没有拍摄主要被摄体。在该步骤S9中的判断为NO时可以考虑如下的情况，例如，摄影装置100的位置受到手抖的影响而发生了非常大的变化，因此即使利用手抖补正来使摄像元件19移动，也不能抵消手抖造成的摄像元件19的摄影范围变化。
控制部10判断在新摄影的图像和基准图像(第一张摄影图像)中是否有近似的图像部分的方法是任意的，例如可以考虑如下的方法。此外为了便于理解，将各摄影图像作为由640×480像素构成的图像来进行说明。首先，控制部10将图像分割为由4×4像素构成的200×125的块。然后，控制部10分别针对新摄影的图像和基准图像按照每个块来求出各块所包含的像素的亮度的总和。然后，控制部10按照每个块求出新摄影的图像亮度的总和与基准图像亮度的总和之差的绝对值。这里，控制部10将绝对值是规定值以下的块设定为近似块。然后，控制部10检测近似块密度高的图像部分。例如，控制部10判断是否有近似块在纵方向、横方向都四个以上连续的近似块群。控制部10在判断为没有近似块群时，可判断为没有近似的图像部分。另一方面，控制部10在判断为有近似块群时，可判断为有近似的图像部分，并将该近似块群设定为近似的图像部分。
控制部10当判断为在新摄影的图像中拍摄了主要被摄体时(步骤S9；YES)，进入步骤S11的处理。另一方面，控制部10当判断为在新摄影的图像中没有拍摄主要被摄体时(步骤S9；NO)，进入步骤S10的处理。
在步骤S10中，控制部10从图像存储器24中消去之前的步骤S8的处理所生成的图像数据。
在步骤S11中，控制部10使摄影次数n增加。具体地说，控制部10进行对存储在RAM11中的摄影次数n加1的处理。
在步骤S12中，控制部10判断摄影次数n是否是3以上。具体地说，控制部10通过确认在RAM11中存储的摄影次数n来判断摄影次数n是否 是3以上。控制部10当判断为摄影次数n小于3时，返回步骤S8的处理。另一方面，控制部10当判断为摄影次数n是3以上时，进入步骤S13的处理。
当摄影次数n是2的情况下返回步骤S8的处理时，控制部10执行第三次摄影。第三次摄影的具体处理内容与第一次摄影的内容相同。另外，控制部10在第三次摄影中进行手抖补正控制。
接着，对在第三次摄影中的手抖补正控制时手抖补正***21的处理状况进行说明。
在第三次摄影中，手抖传感器211按照一定时间来输出表示基于手抖的摄像装置100的角速度的检测信号D。
手抖补正控制电路212根据手抖传感器211供给的检测信号D来算出用于抵消手抖带来的摄像元件19的位置变化量的手抖补正信息。然后，手抖补正控制电路212按一定时间来输出表示已算出的手抖补正信息的补正信号R。
另一方面，像素偏移控制电路213在第三次摄影开始时刻(t＝2T)输出表示像素偏移信息(1，0)的偏移信号O。在第三次摄影开始时刻像素偏移控制电路213产生的该偏移信号O表示“使各像素的位置(n，m)向(n+1，m)移动”即“使摄像元件19向右方向移动1个像素的距离”这样的指示。
在第三次摄影开始时刻(t＝2T)，加法电路214将反映补正信号R所示的手抖补正信息和偏移信号O所示的像素偏移信息的信号作为控制信号C输出。因此，在第三次摄影开始时刻的控制信号C所示的补正信息是(A(t)+1，0)。即，在第三次摄影开始时刻的控制信号C表示“使摄像元件19向右方向移动(A(t)+1)个像素的距离”这样的指示。
在第三次摄影开始时刻(t＝2T)，执行单元215按照加法电路214所提供的控制信号C，在与光轴正交的画面内使摄像元件19向右方向移动(A(t)+1)个像素的距离。
如图4所示，由于该偏移信号O的影响，摄影范围从在第二次摄影中(T≤t＜2T)与主要被摄***置相对的摄像元件19的位置偏移2像素距离的状态向在第三次摄影开始时刻(t＝2T)与主要被摄***置相对的摄像元 件19的位置偏移1像素距离的状态补正。
在第三次摄影开始时刻以后(2T＜t)，像素偏移控制电路213停止偏移信号O的输出。因此，根据手抖传感器211所提供的检测信号D由手抖补正控制电路212输出的补正信号R，直接作为控制信号C从加法电路214向执行单元215输入。并且在此期间，执行单元215通过控制信号C使摄像元件19移动，以抵消手抖带来的摄像元件19的位置变化量。由此，如图4所示，在第三次摄影开始时刻以后(2T＜t)，维持摄像元件19相对于主要被摄体向左方向偏移1个像素距离的状态，摄像元件19的位置随动于主要被摄体的位置。从而，第三次摄影中的摄影元件19的摄影范围与第二次摄影中的摄像元件19的摄影范围相比，始终偏移1个像素。
图7(C)表示经过第三次摄影而生成的图像数据所表现的第三张图像的一例即图像P3。图像P3的被摄体与图像P1、P2的被摄体相同。在第三张图像P3中映现了所摄影的主要被摄体40和固定图形噪声53。该第三张图像P3的摄影范围(第三次摄影的摄影范围)与第二张图像P2的摄影范围(第二次摄影的摄影范围)偏移1像素。因此，第三张图像P3内的主要被摄体40的位置与第二张图像P2内的主要被摄体40的位置偏移1像素。另外，第三张图像P3内的主要被摄体40的位置与第一张图像P1内的主要被摄体40的位置偏移2像素。
另一方面，在摄影范围互不相同的第1～3张的图像数据P1、P2、P3中，固定图形噪声51、52、53发生的位置相同。因此，第二张图像P2中的主要被摄体40与固定图形噪声52之间的距离、和第三张图像P3中的主要被摄体40与固定图形噪声53之间的距离相差1像素。另外，第一张图像P1中的主要被摄体40与固定图形噪声51之间的距离、和第三张图像P3中的主要被摄体40与固定图形噪声53之间的距离相差2像素。
图8表示以主要被摄体40水平方向的中心位置为基准在时系列上排列上述三张图像P1、P2、P3的状况。由图8可知，从图像P1的主要被摄体40的位置到固定图形噪声51的位置之间的距离、从图像P2的主要被摄体40的位置到固定图形噪声52的位置之间的距离和从图像P3的主要被摄体40的位置到固定图形噪声53的位置之间的距离互不相同。
返回图3，当在步骤S12中判断为摄影次数是3以上时，在步骤S13 中，控制部10从存储到图像存储器24内的各图像数据所表现的图像中分别提取特征部分。具体地说，控制部10使特征提取部27利用存储到图像存储器24内的图像数据和存储到ROM12内的模型数据的匹配处理来算出相似度，并将算出的相似度为固定阈值以上的采样点处的图像成分作为特征部分提取。例如，在作为检测被摄体种类指定人物的面部时，提取面部的眼、口等局部的特征部分。
接着在步骤S14中，控制部10生成合成图像数据。具体地说，控制部10使图像合成部28在步骤S13中提取出的各特征部分的位置一致的状态下，合成由存储到图像存储器24内的各图像数据所表现的各图像，由此来生成合成图像数据。此时，图像合成部28为了使由各图像数据所表现的各图像的特征部分完全重合，而调整图像间的位置及大小，并在使特征部分位置一致的状态下合成各图像数据。例如，当从图像P1、P2、P3中分别提取主要被摄体40的眼、口等特征部分时，在使该特征部分一致的状态下合成图像P1、P2、P3。
图9是表示合成了图像P1、P2、P3的合成图像CP的图。如图9所示，因为在使主要被摄体40的特征部分一致的状态下合成各图像，所以在主要被摄体40完全一致的状态下重合，但固定图形噪声51、52、53在各偏移1像素的状态下重合。
图像合成部28暂时将合成图像中的各图像的亮度值和色差值作为合计了位于在原始各图像上对应的位置处的各像素的亮度值以及色差值而成的值。其结果是，例如在合成图像CP中构成主要被摄体40的区域的各像素的亮度值和色差值相比于原始图像P1、P2、P3的亮度值和色差值成为3倍的值。另一方面如图9所示，合成图像CP中的固定图形噪声51、52、53其构成像素的亮度值和色差值与合成前的固定图形噪声相比没有变化，成为分散其位置的状态。可是在这样的状态下，相比于原始图像P1、P2、P3，成为仅在合成图像CP上固定图形噪声的数量增加。
因此在步骤S15中，控制部10使合成图像数据平均化。具体地说，控制部10使图像合成部28实施对合成图像中的全部像素的亮度值和色差值进行平均化的处理。在该平均化处理时，图像合成部28将合成图像中的全部像素的亮度值和色差值除以3(合成的图像张数)而取得的值作为 合成图像中的全部像素的新亮度值和色差值。例如在合成图像CP的情况下，通过平均化处理使构成主要被摄体40的区域的各像素的亮度值和色差值成为与原始图像P1、P2、P3的亮度值和色差值相同的值。另一方面，固定图形噪声51、52、53的构成像素的亮度值和色差值相比于合成前的亮度值和色差值为1/3的值。
图10表示对合成图像CP实施了平均化处理的图像即合成图像CPa。如图10所示，因为固定图形噪声51、52、53的亮度值和色差值相比于合成前的亮度值和色差值为1/3的值，所以与原始图像P1、P2、P3相比，固定图形噪声51、52、53变得不明显。
返回图3，在步骤S16中，控制部10将实施了平均化处理的合成图像数据记录到记录介质31内。
以上，控制部10结束图3所示的连拍合成模式的处理。
如以上所说明的，本实施方式的摄影装置100在发生手抖的情况下进行连拍摄影时的各摄影开始时刻，根据在表示手抖补正信息的补正信号R中反映表示像素偏移信息的偏移信号O的控制信号C，来使摄像元件19移动。由此，可几乎抵消手抖带来的摄像元件19的摄影范围变化，并且每当摄影时摄影范围仅变化1像素。
此外为了简化说明，在该实施方式中仅在偏航方向上进行了手抖补正，不过当固定图形噪声在连拍各图像的纵摇方向的相同位置发生时，也同样采用来自手抖传感器211的检测信号来补正纵摇方向的手抖，并且可以同样使连拍的各图像的摄影范围在纵摇方向上移动。
这里，即使摄影范围不同，在摄影的各图像上固定图形噪声也发生在相同的位置处。因此，根据本实施方式的摄影装置100即使发生了手抖时，在连拍摄影的各图像上也能够使特征部分(主要被摄体)和固定图形噪声之间的距离互不相同。其结果是，即使在发生了手抖的情况下，也能够通过以特征部分为基准合成连拍摄影的各图像，来取得分散了固定图形噪声的合成图像。
并且，在本实施方式的摄影装置100中，对合成图像实施了平均化处理。因此，在合成图像中分散的各固定图形噪声的亮度值和色差值小于原始各图像的固定图形噪声的亮度值和色差值，所以在合成图像中可使固定 图形噪声不明显。
以上，根据本实施方式的摄影装置100，即使在摄影中发生了手抖的情况下，也能够可靠地降低在摄影图像上发生的固定图形噪声的影响。
另外，本实施方式的摄影装置100通过依照摄像元件移动式手抖补正控制的补正信号R来使摄像元件19移动以补正手抖。这样在连拍摄影的各图像中消除了主要由手抖造成的被摄体像的抖动，所以能够防止各图像画质的劣化。并且，在本实施方式的摄影装置100中，通过这些画质没有劣化的各图像数据的合成来生成合成图像数据。其结果是，消除了由合成图像数据所表现的合成图像的画质也劣化的情况。
另外，本实施方式的摄影装置100在连拍摄影中的第一次摄影开始时，通过偏移信号O使摄像元件19向左方向移动了与连拍摄影次数相同的像素数的距离。摄影元件19的位置不能超过执行单元215可使摄像元件19移动的界限位置。可是，通过连拍摄影中的第二次以后的各摄影的偏移信号O的影响，能够在使摄像元件19向右方向顺次移动时，在摄像装置100内部可使摄像元件19移动的范围内预先具有余量。即，摄像元件19在第二次以后的各摄影时向右方向顺次移动的过程中，可降低由于超过界限位置而无法进行手抖补正控制的可能性。这在连拍摄影的摄影次数多、摄像元件19的右方向移动量总和多的情况下是特别有效的。
本实施方式的摄影装置100消去了由连拍摄影取得的图像中没有拍摄到主要被摄体的图像。这样，可将没有拍摄到具有作为合成时基准的特征信息的主要被摄体的图像从合成对象中去除。其结果是，在合成中可仅采用适合的图像数据来生成合成图像数据。
本实施方式的摄影装置100将在第一次摄影时生成的偏移信号O所示的摄像元件19的移动方向设为左方向，将在第二次以后摄影时生成的偏移信号O所示的摄像元件19的移动方向设为右方向。但也可以与此相反，将在第一次摄影时生成的偏移信号O所示的摄像元件19的移动方向设为右方向，将在第二次以后摄影时生成的偏移信号O所示的摄像元件19的移动方向设为左方向。
本实施方式的摄影装置100在由连拍摄影生成的各图像的特征部分的位置一致的状态下合成这些各图像，由此来生成合成图像数据。可是，控 制部10使图像合成部28合成第一张图像、将第二张图像向右方向偏移1像素的图像、以及将第三张图像向右方向偏移2像素的图像，由此可生成合成图像。利用该方法也能够在各图像中使水平方向的主要被摄***置一致的状态下合成各图像。
本实施方式的摄影装置100将在第一次摄影时生成的偏移信号O所示的像素偏移信息设为3像素。可是，在第一次摄影时生成的偏移信号O所示的像素偏移信息也可以是4像素以上(例如，100像素)。
本实施方式的摄影装置100将在第二次以后摄影时生成的偏移信号O所示的像素偏移信息设为1像素。可是，在第二次以后的偏移信号O所示的像素偏移信息也可以是2像素以上。即，在固定图形噪声的线幅较宽的情况下，为了每次摄影时摄影范围都变化，可使摄影元件移动与该线幅对应的像素数。
本实施方式的摄影装置100作为连拍摄影进行了3次连续摄影。不过，连拍模式的摄影次数可以不是3次。即，生成合成图像数据所采用的图像数据的张数可以不是3张。
本实施方式的摄影装置100通过手抖传感器211的角速度传感器来检测出手抖引起的摄影装置100的姿势变化。不过，也可以通过摄影图像上的动态矢量来检测出摄影装置100的位置及姿势变化。动态矢量的检测方法可适当利用公知的方法。
本实施方式的摄影装置100在生成了合成图像数据后对合成图像数据实施平均化处理。但是也可以通过在生成1张图像数据的时刻实施使新生成的图像数据的各像素的亮度值和色差值成为1/3值的平均化处理之后，合成实施了平均化处理的各图像数据，来生成合成图像数据。
在本实施方式中，将由连拍摄影生成的第一张图像作为各图像数据合成中的基准图像。不过也可以将第二张以后的图像作为合成时的基准图像。
此外，当主要被摄体不是静止物体而是在连拍期间进行动作的情况下无法以其特征部分为基准进行合成，所以例如可在图像上形成如在连拍的各图像中与固定图形噪声相对的位置顺次偏移规定像素数这样的规定标记，并以该标记为基准来获得合成图像。
本发明还可以适用于带照相机的移动电话及带照相机的游戏机等内置电子照相机的设备。另外，本发明还可以适用于由多个设备(例如主计算机、接口设备、摄像头等)组成的***。
本发明的目的还可以按以下方式来实现。首先，对***或装置提供记录有可实现本实施方式功能的软件的程序代码的记录介质。然后，该***或装置的计算机读出在记录介质中存储的程序代码。此时，从记录介质中读出的程序代码自身可实现本实施方式的功能，记录有该程序代码的记录介质构成本发明。这里，作为记录程序代码的记录介质例如考虑了软盘、硬盘、ROM、RAM、磁带、非易失性存储卡、CD-ROM、CD-R、DVD、光盘、磁性光盘、MO等。另外，为了提供程序代码还可以采用LAN(局域网)或WAN(广域网)等计算机网络。
Claims (10)
1.一种摄影装置，具有：
摄影单元，其利用摄像元件摄影多个图像；
补正单元，其通过使所述摄像元件移动来补正由在每次所述摄影单元的摄影时所产生的手抖引起的摄影范围的偏移；以及
合成单元，其以由所述补正单元补正了摄影范围的偏移的多个图像中的共同的主要被摄体为合成基准，按照在像素级成为平均的值的方式合成所述多个图像，由此来生成合成图像。
2.根据权利要求1所述的摄影装置，其特征在于，
所述补正单元具有：
第1输出单元，检测出手抖后，输出用于补正由手抖引起的所述摄像元件的位置偏移的手抖补正信息；
第2输出单元，其输出用于使所述摄像元件的位置偏移的像素偏移信息；
算出单元，其根据由所述第1输出单元输出的手抖补正信息和由所述第2输出单元输出的像素偏移信息，算出所述摄像元件的移动信息；以及
移动控制单元，其根据由所述算出单元算出的移动信息，使所述摄像元件移动。
3.根据权利要求2所述的摄影装置，其特征在于，
所述第2输出单元在由所述摄像元件进行第一次摄影时输出使所述摄像元件向规定方向移动的像素偏移信息，并且在所述摄像元件进行第二次以后的各个摄影时输出使所述摄像元件向所述规定方向的逆方向移动的像素偏移信息。
4.根据权利要求3所述的摄影装置，其特征在于，
所述第2输出单元在所述摄像元件进行第一次摄影时输出使所述摄像元件向所述规定方向移动第1移动量的像素偏移信息，并且在所述摄像元件进行第二次以后的各个摄影时输出使所述摄像元件向所述逆方向移动比所述第1移动量小的第2移动量的像素偏移信息。
5.根据权利要求4所述的摄影装置，其特征在于，
所述第2输出单元仅在所述摄像元件开始各个摄影的时刻输出所述像素偏移信息。
6.根据权利要求1所述的摄影装置，其特征在于，
该摄影装置还具有提取单元，该提取单元分别从所述摄影单元所生成的多个图像中提取所述主要被摄体的特征部分，
所述合成单元通过以所述提取单元所提取的特征部分为所述主要被摄体的合成基准平均地合成所述多个图像，来生成合成图像。
7.根据权利要求1所述的摄影装置，其特征在于，
所述合成单元以所述多个图像上的主要被摄体为合成基准来合成所述多个图像，使所述合成图像的亮度值和色差值分别成为所述多个图像的亮度值的平均值和色差值的平均值。
8.根据权利要求6所述的摄影装置，其特征在于，
该摄影装置还具有消去单元，该消去单元消去由所述摄影单元生成的多个图像中没有拍摄到主要被摄体的图像，
所述合成单元通过以所述提取单元所提取的特征部分为所述主要被摄体的合成基准平均地合成在所述多个图像中没有被所述消去单元消去的图像，来生成合成图像。
9.根据权利要求2所述的摄影装置，其特征在于，
所述第2输出单元至少输出用于使所述摄像元件的位置偏移与所述图像的固定图形噪声的图像宽度对应的像素数的像素偏移信息。
10.一种摄影装置的图像合成方法，所述摄影装置具有：摄影部，其利用摄像元件摄影多个图像；和驱动部，其使所述摄像元件移动，该图像合成方法的特征在于，包括以下步骤：
补正步骤，其通过使所述摄像元件移动来补正由在每次所述摄影单元的摄影时所产生的手抖引起的摄影范围的偏移；以及
合成步骤，其以由所述补正步骤补正了摄影范围的偏移的摄像元件的摄影范围内由所述摄影部摄影的所述多个图像中的共同的主要被摄体为合成基准，按照在像素级成为平均的值的方式合成所述多个图像，由此来生成合成图像。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008-128987 | 2008-05-16 | ||
| JP2008128987 | 2008-05-16 | ||
| JP2008128987 | 2008-05-16 | ||
| JP2009027968A JP4900401B2 (ja) | 2008-05-16 | 2009-02-10 | 撮影装置およびプログラム |
| JP2009-027968 | 2009-02-10 | ||
| JP2009027968 | 2009-02-10 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101582989A CN101582989A (zh) | 2009-11-18 |
| CN101582989B true CN101582989B (zh) | 2011-12-28 |
Family
ID=40848447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009101390757A Expired - Fee Related CN101582989B (zh) | 2008-05-16 | 2009-05-15 | 摄影装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8711230B2 (zh) |
| EP (1) | EP2120450A3 (zh) |
| JP (1) | JP4900401B2 (zh) |
| KR (1) | KR101034109B1 (zh) |
| CN (1) | CN101582989B (zh) |
| HK (1) | HK1136725A1 (zh) |
| TW (1) | TWI399977B (zh) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8988661B2 (en) * | 2009-05-29 | 2015-03-24 | Microsoft Technology Licensing, Llc | Method and system to maximize space-time resolution in a time-of-flight (TOF) system |
| JP2012050073A (ja) * | 2010-07-30 | 2012-03-08 | Nikon Corp | 撮像装置及び画像合成プログラム |
| KR101700363B1 (ko) * | 2010-09-08 | 2017-01-26 | 삼성전자주식회사 | 적절한 밝기를 갖는 입체 영상을 생성하는 디지털 영상 촬영 장치 및 이의 제어 방법 |
| CN103621055B (zh) * | 2011-03-15 | 2017-09-19 | 日本电气株式会社 | 成像设备、信息处理设备以及存储程序的非临时性计算机可读介质 |
| JP5778469B2 (ja) * | 2011-04-28 | 2015-09-16 | 日本アビオニクス株式会社 | 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム |
| TWI427618B (zh) * | 2011-06-16 | 2014-02-21 | Hon Hai Prec Ind Co Ltd | 電子裝置及其螢幕資訊調整方法 |
| JP2013138413A (ja) * | 2011-11-28 | 2013-07-11 | Panasonic Corp | 撮像装置 |
| US8913141B2 (en) * | 2012-06-28 | 2014-12-16 | Gopro, Inc. | Edge-based electronic image stabilization |
| CN103565402A (zh) * | 2012-08-01 | 2014-02-12 | 华晶科技股份有限公司 | 眼底摄像装置及其成像方法 |
| JP6098874B2 (ja) * | 2012-09-04 | 2017-03-22 | パナソニックＩｐマネジメント株式会社 | 撮像装置および画像処理装置 |
| JP6128458B2 (ja) * | 2012-09-04 | 2017-05-17 | パナソニックＩｐマネジメント株式会社 | 撮像装置および画像処理方法 |
| US9282259B2 (en) | 2012-12-10 | 2016-03-08 | Fluke Corporation | Camera and method for thermal image noise reduction using post processing techniques |
| CN104427242B (zh) * | 2013-09-10 | 2018-08-31 | 联想(北京)有限公司 | 图像拼接方法、装置及电子设备 |
| JP6170395B2 (ja) * | 2013-09-26 | 2017-07-26 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| JP6128109B2 (ja) * | 2014-12-12 | 2017-05-17 | カシオ計算機株式会社 | 撮影装置、撮影方向の制御方法及びプログラム |
| US9426362B2 (en) * | 2015-01-16 | 2016-08-23 | Mems Drive, Inc. | Three-axis OIS for super-resolution imaging |
| JP2017046301A (ja) * | 2015-08-28 | 2017-03-02 | オリンパス株式会社 | 撮像装置 |
| CL2015003495A1 (es) * | 2015-11-30 | 2016-07-15 | Univ Concepcion | Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital. |
| KR102449354B1 (ko) * | 2016-02-04 | 2022-09-30 | 삼성전기주식회사 | 이미지 안정화 모듈 및 카메라 모듈 |
| US10306148B2 (en) | 2016-08-30 | 2019-05-28 | Microsoft Technology Licensing, Llc | Motion triggered gated imaging |
| JP6240301B1 (ja) * | 2016-12-26 | 2017-11-29 | 株式会社コロプラ | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| TWI692965B (zh) * | 2017-06-02 | 2020-05-01 | 宏達國際電子股份有限公司 | 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體 |
| CN110769146B (zh) * | 2018-07-25 | 2021-01-15 | 北京小米移动软件有限公司 | 拍摄方法及电子设备 |
| JP6944196B2 (ja) * | 2018-11-16 | 2021-10-06 | 株式会社ジェイエイアイコーポレーション | 撮像装置 |
| CN112073608B (zh) * | 2020-08-28 | 2021-08-27 | 中航测控(深圳)有限公司 | 一种基于机器视觉技术的智能相机 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067709A (zh) * | 2006-05-02 | 2007-11-07 | 三星Techwin株式会社 | 图像抖动校正设备和方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06141242A (ja) | 1992-10-26 | 1994-05-20 | Mitsubishi Electric Corp | 撮像装置 |
| JPH07177424A (ja) * | 1993-12-20 | 1995-07-14 | Konica Corp | 画像入力装置 |
| JPH0965219A (ja) * | 1995-08-24 | 1997-03-07 | Sony Corp | 撮像装置 |
| JP3774495B2 (ja) | 1995-11-01 | 2006-05-17 | キヤノン株式会社 | 画像情報抽出装置および方法 |
| US6429895B1 (en) * | 1996-12-27 | 2002-08-06 | Canon Kabushiki Kaisha | Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function |
| JP2002027300A (ja) | 2000-07-05 | 2002-01-25 | Minolta Co Ltd | デジタルカメラ |
| JP4097966B2 (ja) * | 2002-03-22 | 2008-06-11 | オリンパス株式会社 | 画像取得装置 |
| JP2004072371A (ja) | 2002-08-06 | 2004-03-04 | Sony Corp | カメラ装置およびその露光制御方法 |
| JP3804617B2 (ja) * | 2003-02-14 | 2006-08-02 | コニカミノルタフォトイメージング株式会社 | 画像処理装置及び方法 |
| JP2004343483A (ja) | 2003-05-16 | 2004-12-02 | Acutelogic Corp | 手振れ補正装置および方法、手振れ検出装置 |
| JP2005191987A (ja) * | 2003-12-26 | 2005-07-14 | Matsushita Electric Ind Co Ltd | 映像信号処理装置 |
| JP2007081682A (ja) | 2005-09-13 | 2007-03-29 | Canon Inc | 画像処理装置、画像処理方法、及び、情報処理装置が実行可能なプログラム |
| JP2007178708A (ja) | 2005-12-28 | 2007-07-12 | Samsung Techwin Co Ltd | 撮像装置および撮影方法 |
| JP2007214662A (ja) | 2006-02-07 | 2007-08-23 | Mitsubishi Electric Corp | 固体撮像装置 |
| JP2007243774A (ja) * | 2006-03-10 | 2007-09-20 | Olympus Imaging Corp | 電子的ぶれ補正装置 |
| EP2001220B1 (en) * | 2006-03-24 | 2015-01-14 | Nikon Corporation | Signal processing method, signal processing system, coefficient generating device, and digital camera |
| JP4662880B2 (ja) * | 2006-04-03 | 2011-03-30 | 三星電子株式会社 | 撮像装置，及び撮像方法 |
| JP4968885B2 (ja) | 2006-06-05 | 2012-07-04 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム、画像処理方法並びにプログラム |
| WO2008032392A1 (fr) | 2006-09-14 | 2008-03-20 | Fujitsu Limited | Procédé et dispositif de traitement d'image et programme connexe |
| US20080094481A1 (en) * | 2006-10-19 | 2008-04-24 | Barinder Singh Rai | Intelligent Multiple Exposure |
| KR100819301B1 (ko) * | 2006-12-20 | 2008-04-03 | 삼성전자주식회사 | 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치 |
| TWI351219B (en) * | 2007-09-28 | 2011-10-21 | Altek Corp | Image capturing apparatus with image-compensating function and method for compensating image thereof |
| TWI376942B (en) * | 2007-10-19 | 2012-11-11 | Altek Corp | Camera and method and system for stabilizing vibration and calibration method thereof |
| JP4501994B2 (ja) | 2007-11-19 | 2010-07-14 | ソニー株式会社 | 撮像装置 |
-
2009
- 2009-02-10 JP JP2009027968A patent/JP4900401B2/ja not_active Expired - Fee Related
- 2009-04-13 KR KR1020090031728A patent/KR101034109B1/ko active IP Right Grant
- 2009-04-16 US US12/424,769 patent/US8711230B2/en not_active Expired - Fee Related
- 2009-04-17 EP EP09005474.3A patent/EP2120450A3/en not_active Withdrawn
- 2009-05-15 CN CN2009101390757A patent/CN101582989B/zh not_active Expired - Fee Related
- 2009-05-15 TW TW098116090A patent/TWI399977B/zh not_active IP Right Cessation
-
2010
- 2010-02-24 HK HK10101950.4A patent/HK1136725A1/xx not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101067709A (zh) * | 2006-05-02 | 2007-11-07 | 三星Techwin株式会社 | 图像抖动校正设备和方法 |
Non-Patent Citations (4)
| Title |
|---|
| JP特开2001-86398A 2001.03.30 |
| JP特开2002-27300A 2002.01.25 |
| JP特开2006-237772A 2006.09.07 |
| JP特开2007-214662A 2007.08.23 |
Also Published As
| Publication number | Publication date |
|---|---|
| US8711230B2 (en) | 2014-04-29 |
| JP4900401B2 (ja) | 2012-03-21 |
| JP2009303196A (ja) | 2009-12-24 |
| KR101034109B1 (ko) | 2011-05-13 |
| CN101582989A (zh) | 2009-11-18 |
| HK1136725A1 (en) | 2010-07-02 |
| EP2120450A3 (en) | 2014-03-12 |
| TWI399977B (zh) | 2013-06-21 |
| EP2120450A2 (en) | 2009-11-18 |
| KR20090119687A (ko) | 2009-11-19 |
| US20090284609A1 (en) | 2009-11-19 |
| TW201004329A (en) | 2010-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101582989B (zh) | 摄影装置 | |
| CN101076997B (zh) | 照相机和用于照相机的图像处理方法 | |
| CN101419666B (zh) | 图像处理装置、图像捕获装置、图像处理方法及记录媒介 | |
| US7856174B2 (en) | Apparatus and method for image pickup | |
| EP1587031B1 (en) | Image pickup apparatus and image pickup method | |
| KR100840856B1 (ko) | 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을기록한 기록 매체, 및 촬상 장치 | |
| US9088721B2 (en) | Imaging apparatus and display control method thereof | |
| CN103339925B (zh) | 摄像装置、图像处理装置以及摄像方法 | |
| CN104243863B (zh) | 拍摄装置、拍摄方法 | |
| US8350918B2 (en) | Image capturing apparatus and control method therefor | |
| JP2007233247A (ja) | 焦点調節量決定装置、方法、およびプログラム、ならびに撮像装置 | |
| US8767096B2 (en) | Image processing method and apparatus | |
| CN101742101A (zh) | 成像设备和成像设备中的显示控制方法 | |
| CN110430370A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP2005215373A (ja) | 撮像装置 | |
| KR101046041B1 (ko) | 촬상 장치 | |
| US7116359B2 (en) | Image capture device and method of controlling blur in captured images | |
| JP5879831B2 (ja) | 電子カメラおよび画像処理プログラム | |
| TWI477887B (zh) | 影像處理裝置、影像處理方法及記錄媒體 | |
| JP2009272740A (ja) | 撮像装置、画像選択方法及び画像選択プログラム | |
| US8243154B2 (en) | Image processing apparatus, digital camera, and recording medium | |
| CN108351581B (zh) | 摄影装置及其控制方法 | |
| JP2010226623A (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| CN101658028A (zh) | 图像合成装置、图像合成方法、图像合成程序、集成电路、摄像***以及摄像方法 | |
| JP5613145B2 (ja) | 撮影装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1136725 Country of ref document: HK |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1136725 Country of ref document: HK |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111228 |