CN101783877A - 图像拍摄装置及频闪图像生成方法 - Google Patents

图像拍摄装置及频闪图像生成方法 Download PDF

Info

Publication number
CN101783877A
CN101783877A CN200911000262A CN200911000262A CN101783877A CN 101783877 A CN101783877 A CN 101783877A CN 200911000262 A CN200911000262 A CN 200911000262A CN 200911000262 A CN200911000262 A CN 200911000262A CN 101783877 A CN101783877 A CN 101783877A
Authority
CN
China
Prior art keywords
image
reference object
movement
frame
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200911000262A
Other languages
English (en)
Other versions
CN101783877B (zh
Inventor
佐佐木雅昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN101783877A publication Critical patent/CN101783877A/zh
Application granted granted Critical
Publication of CN101783877B publication Critical patent/CN101783877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本发明提供一种图像拍摄装置及频闪图像生成方法。如果由连续拍摄得到的多个图像的基准帧和目标帧之间的移动量小于表示难以受到遮挡影响的第1阈值，则通过通常的处理量的形态学计算而进行拍摄对象区域的平滑化处理。另一方面，如果由连续拍摄得到的多个图像的基准帧和目标帧之间的移动量为第1阈值以上，则通过增加比通常多的形态学计算的处理量而进行平滑化处理。

Description

图像拍摄装置及频闪图像生成方法
相关申请的交叉参考
本申请基于并要求于2008年12月18提交的在先日本专利申请NO.2008-322960和于2009年6月16日提交的NO.2009-143736号申请的优先权，该两申请包括说明书、权利要求书、附图、发明概要在内的全文内容通过参考而在这里援引。
技术领域
本发明涉及适合于生成频闪(strobo)图像的图像拍摄装置和频闪图像生成方法。
背景技术
图22所示的频闪图像(词汇“频闪”在美国表示为“频闪光(strobe light)”，在本申请说明书中的“频闪”、“频闪图像”在美国通常称为“闪光(flash)，闪光图像(flash image)”。其中还使用了频闪仪(stroboscopic)图像(使用频闪的图像)的例子。另外，虽然也还补充有多闪图像(multi-flash image)等含义，但是与频闪仪图像相比使用例却比较少。)，其采用固定移动的拍摄对象的相机进行摄影，在1个图像(照相)内表示移动经过的模样。在胶片相机(film camera)中，通过在长时间曝光期间对移动的拍摄对象多次频闪发光，生成频闪图像。在数码相机普及的今日，也可以在相机内通过计算机进行图像处理而生成频闪图像，例如日本专利第3793258号公报所记载的那样。
在频闪图像的生成中，通常是将数码相机的视角和方向置于固定状态下，通过连续拍摄对移动拍摄对象进行图像拍摄。在手持摄影的场合，因为数码相机存在微动，所以在所连续拍摄的帧图像之间视角将发生变动。这里，在拍摄对象(移动拍摄对象)的背景的景深大时，如果帧图像间的移动量大，则由于遮挡的影响，而使得原本不应在帧间移动的背景区域产生差异。如果该差异大，则将背景部分误认为成移动拍摄对象。其结果是，在所生成的频闪图像上重复(二重合成)背景部分。
发明内容
本发明鉴于所述问题而提出，本发明的目的在于提供一种能够生成更优质频闪图像的图像拍摄装置和频闪图像生成方法。
为实现所述目的，本发明第1方面的图像拍摄装置具有：图像拍摄单元，由图像拍摄生成连续的多个拍摄图像；拍摄对象提取单元，从所述图像拍摄单元生成的各拍摄图像中，提取表示移动的拍摄对象部分的多个图像；背景图像生成单元，根据所述图像拍摄单元生成的多个拍摄图像，生成背景图像；和频闪图像生成单元，对所述背景图像生成单元生成的背景图像和表示所述拍摄对象提取单元提取出的多个拍摄对象部分的图像进行合成，生成频闪图像，该图像拍摄装置的特征在于，还具有：移动量检测单元，检测所述多个拍摄图像中的规定的图像间的移动量；和图像平滑化单元，利用与所述移动量检测单元检测出的移动量相应的处理量，对所述图像进行平滑化处理。
为实现所述目的，本发明第2方面的频闪图像生成方法，在进行图像处理的装置中，由拍摄移动的拍摄对象的连续的多个图像生成频闪图像，该频闪图像生成方法的特征在于，所述装置执行如下步骤：拍摄对象提取步骤，从所述多个图像中提取表示移动的拍摄对象部分的多个图像；背景图像生成步骤，由所述多个图像生成背景图像；移动量检测步骤，检测所述多个图像中的规定图像间的移动量；图像平滑化步骤，利用与所述移动量检测步骤中检测出的移动量相应的处理量，对所述拍摄对象提取步骤中提取出的图像进行平滑化处理；和频闪图像生成步骤，对所述背景图像生成步骤中生成的背景图像和表示所述拍摄对象提取步骤中提取出的多个拍摄对象部分的图像进行合成，生成频闪图像。
附图说明
本发明所述的这些特点和其他的特点以及优点通过阅读下面的具体描述和附图，变得更加清晰，其中：
图1为表示本发明实施方式的数码相机结构的方框图；
图2为表示图1所示的控制部所实现的功能的功能方框图；
图3为用于说明本发明实施方式的“频闪图像生成处理”的流程图；
图4A为用于说明图3所示的“频闪图像生成处理”中显示的设定画面的显示例的图，表示用于指定相机方向的设定画面的显示例；
图4B为用于说明图3所示的“频闪图像生成处理”中显示的设定画面的显示例的图，表示用于指定拍摄对象移动方向的设定画面的显示例；
图5A为用于说明本发明实施方式的拍摄图像的图，例举频闪图像生成所需要的连续拍摄摄影的场面；
图5B为用于说明本发明实施方式的拍摄图像的图，表示图5A所示的连续拍摄摄影中得到的拍摄图像(连续拍摄图像)的例子；
图6为用于说明图3所示“频闪图像生成处理”中所执行的“位置对准处理”的流程图；
图7为表示图6所示的“位置对准处理”中作成的“帧信息表”中记录的信息的例子的图；
图8为用于说明图3所示的“频闪图像生成处理”中所执行的“一维数据生成处理”的流程图；
图9A为用于说明图8所示的“一维数据生成处理”的图，表示拍摄图像中的坐标和拍摄对象移动方向的关系；
图9B为用于说明图8所示的“一维数据生成处理”的图，图9(a)和图9(b)表示拍摄图像的投影和一维数据的例子。图9(c)为重复表示图9(a)和图9(b)所示的一维数据的图；
图10为用于说明图3所示的“频闪图像生成处理”中所执行的“拍摄对象区域检测处理”的流程图；
图11为用于说明图3所示的“频闪图像生成处理”中所执行的“拍摄对象区域检测处理”的流程图；
图12为用于说明图3所示的“频闪图像生成处理”中所执行的“拍摄对象区域检测处理”的流程图；
图13A为用于说明图10～图12所示的“拍摄对象区域检测处理”的图，表示拍摄对象的移动方向为X方向时检测出的拍摄对象区域的例子；
图13B为用于说明图10～图12所示的“拍摄对象区域检测处理”的图，表示拍摄对象的移动方向为Y方向时检测出的拍摄对象区域的例子；
图14为用于说明图3所示的“频闪图像生成处理”中所执行的“有效帧选择处理”的流程图；
图15为用于说明图3所示的“频闪图像生成处理”中所执行的“有效帧选择处理”的流程图；
图16为表示所选择的有效帧的例子的图；
图17为用于说明图3所示的“频闪图像生成处理”中所执行的“背景图像生成处理”的流程图；
图18为用于说明图3所示的“频闪图像生成处理”中所执行的“拍摄对象图像提取处理”的流程图；
图19为用于说明图3所示的“频闪图像生成处理”中所执行的“图像平滑化处理(1)”的流程图；
图20为用于说明遮挡的影响的图。图20(a)表示容易受到遮挡的影响的场景的例子。图20(b)表示背景部分产生移位的帧图像的例子。图20(c)表示本来的背景图像的例子。图20(d)表示为了位置对准而变形的背景图像的例子。图20(e)表示本来的背景图像和变形后的背景图像中产生的差异的例子。图20(f)为表示受到遮挡的影响的频闪图像的例子。图20(g)表示误识别为拍摄对象图像的不要的部分的例子；
图21为用于说明图3所示的“频闪图像生成处理”中所执行的“图像合成处理”的流程图；
图22为表示所生成的频闪图像的例子的图；
图23为用于说明本发明实施方式2的“图像平滑化处理(2)”的流程图；
图24为用于说明本发明实施方式3的“图像平滑化处理(3)”的流程图。
具体实施方式
(实施方式1)
下面参照附图对本发明实施方式进行说明。在本实施方式中，例举采用数码照相机(下称数码相机)实现本发明的场合。本实施方式的数码相机1具有普通数码相机所具有的功能，其中，至少含有所谓的连续拍摄功能。这里所述连续拍摄功能指的是能够在1次快门操作期间得到连续多个拍摄图像的功能。
另外，本实施方式的数码相机1具有通过适用本发明，从连续拍摄功能得到的拍摄图像，生成频闪图像(多频闪图像)的频闪图像生成功能。其中，“频闪图像”指的是，移动的拍摄对象移动过程中在1个图像内所表现出的图像。在本实施方式中，数码相机1为了生成频闪图像，是以连续拍摄功能对运动(移动)的拍摄对象进行图像拍摄的，此时，数码相机1的方向和视角在图像拍摄时不动。
图1为示出本发明实施方式的数码相机1的结构的方框图。如图1所示，本实施方式的数码相机1由图像拍摄部100、数据处理部200、接口(interface)(I/F)部300、传感器部400等构成。
图像拍摄部100为数码相机1进行图像拍摄操作的部分。如图1所示，由光学装置110和图像传感器120等构成。
光学装置110含有透镜、光圈机构、快门机构等，进行图像拍摄相关的光学操作。即，通过光学装置110的操作，在会聚入射光的同时，对焦距、光圈、快门速度等这样的、涉及视角、焦距、曝光等的光学要素进行调整。另外，光学装置110中所含的快门机构采用机械快门。在仅通过图像传感器操作进行快门操作的场合，光学装置110中也可以不含快门机构。另外，光学装置110通过后述的控制部210的控制而操作。
图像传感器部120生成对应于光学装置110所会聚的入射光的电信号。例如由CCD(Charge Coupled Device：电荷耦合元件)或CMOS(Complementally Metal Oxide Semiconductor：补偿金属氧化物半导体)等的图像传感器构成。图像传感器120通过光电转换，对应于感光的电信号，将其输出给数据处理部200。
数据处理部200对图像拍摄部100进行的图像拍摄操作所生成的电信号进行处理，生成表示拍摄图像的数字数据，同时对拍摄图像进行图像处理等。如图1所示，数据处理部200由控制部210、图像处理部220、图像存储器230、图像输出部240、存储部250、外部存储部260等构成。
控制部210由CPU(Central Processing Unit：中央处理器)等的处理器及RAM(Random Access Mmemory)等的主存储装置(存储器)等构成。控制部210通过执行存储在后述的存储部250等中的程序，对数码相机1的各部分进行控制。在本实施方式中，通过执行规定的程序，后述各处理的功能均由控制部210实现。
图像处理部220由例如，ADC(Analog-Digital Converter：模数转换器)、缓存器、图像处理用处理器(或图像处理引擎)等构成，基于图像拍摄部100所生成的电信号，生成表示拍摄图像的数字数据。
即，在图像传感部120输出的模拟电信号由ADC转换成数字信号，按照顺序存储在缓存器中时，通过对所缓冲的数字数据，图像处理引擎进行所谓的显影处理等，从而实现画质的调整和数据压缩等的效果。
图像存储器230由例如，RAM或闪存等的存储装置构成，将图像处理部220所生成的拍摄图像数据及控制部210所处理的图像数据等暂时存储。
图像输出部240由例如，RGB信号的生成电路等构成，将存储在图像存储器230中的图像数据转换呈RGB信号等，并输出给显示画面(后述的显示部310等)。
存储部250由ROM(只读存储器)或闪存等存储装置构成，存储数码相机1的运行所需要的程序和数据等。本实施方式中，控制部210等执行的操作程序和处理所必须的参数及计算式等存储在存储部250中。
外部存储器260由存储卡等这样的可插拔于数码相机1的存储装置构成，存储数码相机1所拍摄的图像数据等。
接口部300为用于连接数码相机1和其用户或外部装置的接口的结构。如图1所示，接口部300由显示部310、外部接口(I/F)部320、操作部330等构成。
显示部310由液晶显示装置等构成，显示输出操作数码相机1所需要的各种画面，及摄影时的现场图像、拍摄图像等。在本实施方式中，基于图像输出部240输出的图像信号(RGB信号)等，显示输出拍摄图像等。
外部接口部320由USB(Universal Serial Bus)连接器或视频输出端子等构成，向外部计算机装置输出图像数据，向外部显示装置显示输出拍摄图像等。
操作部330由位于数码相机1外面的各种按钮等构成，生成对应于数码相机1的用户的操作的输入信号，并将其输入控制部210，构成操作部330的按钮例如有用于指示快门操作的快门按钮、用于指定数码相机1所具有的操作模式的模式按钮、用于进行各种设定的十字键或功能按钮等。
传感器部400是在数码相机1具有手抖动补偿功能时所具有的结构，用于检测数码相机1所产生的运动。传感器部400由陀螺传感器等构成，用于检测由于按下快门按钮等时所产生的图像拍摄时数码相机1的运动，将检测值输入控制部210中。
这里，在本实施方式中，控制部210执行存储于存储部250中的操作程序，从而实现后述的各种处理。下面将参照图2对此时控制部210所实现的功能进行说明。
图2为示出控制部210所实现的功能的功能方框图。在这里，示出为了从使用连续拍摄功能所拍摄的图像中生成频闪图像的功能所需要的功能结构。此时，如图2所示，控制部210具有作为操作模式处理部211、图像拍摄控制部212、拍摄图像处理部213、拍摄对象检测部214、图像选择部215、背景图像生成部216、频闪图像生成部217等功能。
操作模式处理部211通过显示部310的协作，进行在由数码相机1的用户指定数码相机1具有的各种操作模式时所必需的画面显示及指定的操作模式的每一个模式的设定画面显示等。另外，操作模式处理部211在操作部330的协助下，识别用户指定的操作模式，将该操作模式执行所需要的程序及运计算式等从存储部250中读取出来，加载到控制部210的主存储装置(存储器)中。
在本实施方式中，频闪图像生成功能的操作模式(频闪图像生成模式)由用户进行指定，下面说明的控制部210的各功能结构，通过对应于频闪图像生成模式的指定，执行操作模式处理部211所加载的程序的方式实现。
图像拍摄控制部212通过控制图像拍摄部100，执行数码相机1中的图像拍摄操作。本实施方式中涉及的频闪图像生成功能因为从数码相机1的连续拍摄功能所得到的摄取图像中生成频闪图像，所以，本实施方式中的图像拍摄控制部212按照对图像拍摄部100进行连续拍摄操作的方式进行控制。此时，在操作部330快门按钮被按下的期间，图像拍摄部100所进行的图像拍摄操作连续不断地进行。图像拍摄控制部212的控制的连续拍摄操作所得到的拍摄图像(连续拍摄图像)经过图像处理部220的处理，依次存储在图像存储器230中。此时，对于存储在图像存储器230中的连续拍摄图像的每个，按照图像拍摄顺序给予帧序号。
拍摄图像处理部213将存储在图像存储器230中的连续拍摄图像按照对应于频闪图像相关处理的形式进行转换加工，一边采用拍摄图像进行各种处理。在本实施方式中，拍摄图像处理部213除了进行连续拍摄图像位置对准之外，还高速提取拍摄对象区域等，为此，向拍摄图像的一维数据进行转换等。拍摄图像处理部213所转换的数据存储在控制部210的主存储装置(存储器)中。其中，“一维数据”指的是，构成图像数据的像素值等信息投影到一维坐标轴上的值。例如，该投影值通过与所述一维坐标轴正交的方向的相加，计算RGB、YUB等像素值而得到。在本实施方式中，通过将图像数据投影在规定的1个方向上所得到的投影数据作为一维数据。此时投影图像数据的1方向基于作为目标体的拍摄对象的移动方向确定(后面将详述)。
拍摄对象检测部214通过比较各摄取图像间的一维数据，检测出各社区图像中表示拍摄对象的部分(区域)(文中“拍摄对象”“拍摄对象部分”“区域”等词语尽管都在用，但是它们也可以混用。后文中“图像内拍摄对象拍照的部分”和“该部分被检测出的区域”分别指的是“部分”和“区域”)。此时，拍摄对象检测部214检测出所检测的拍摄对象部分的位置信息(坐标信息)。另外，拍摄对象检测部214将针对图像选择部215所选择的图像的拍摄对象部分，从存储于图像存储器230中的拍摄图像(连续拍摄图像)中提取。
图像选择部215基于拍摄对象检测部214所检测出的拍摄对象部分的位置信息，选择不与拍摄对象部分重复的拍摄图像，从而从连续拍摄图像中选择出适合生成频闪图像的图像(帧)。
背景图像生成部216根据图像选择部215所选择的拍摄图像，生成背景图像。在这里，背景图像生成部216针对所选择的全部拍摄图像，获取同一坐标下的像素值，将像素值的中间值等作为该坐标的像素值，从而生成除拍摄对象之外的背景图像。
频闪图像生成部217通过在背景图像生成部216生成的背景图像上合成从所选择的拍摄图像中由拍摄对象检测部214提取的拍摄对象部分的图像，从而在1个背景图像内，生成不与移动拍摄对象重合的在多个地方展现的频闪图像。
以上为通过控制部210所实现的功能。在本实施方式中，通过控制部210执行程序的逻辑处理，从而实现所述的各种功能，但是，这些功能也可以由ASIC(Application Specific Integrated Circuit：特定用途集成电路)等硬件构成。此时，在图2所示的功能中，也可以是，图像处理相关功能部分或者整体通过图像处理部220实现。
如上所述的数码相机1的结构为实现本发明所必需的结构，数码相机的基本功能和各种附加功能结构根据需要也被包含在本发明中。
下面对这种结构的数码相机1的操作进行说明。在这里，在频闪图像生成模式指定的场合中，关于数码相机1执行的“频闪图像生成处理”，将参照图3所示的流程图进行说明。该频闪图像生成处理以通过数码相机1的用户对操作部330进行操作，指定频闪图像生成模式的操作为契机而开始。此时，操作模式处理部211通过从存储部250中加载频闪图像生成模式相关程序等，由图2所示个功能结构执行如下处理。
处理开始时，操作模式处理部211将用于设定执行频闪图像生成模式所需要的设定画面显示于显示部310(步骤S101)。在图4A和图4B中示出其中所显示的设定画面的例子。
在这里，首先，如图4A所示，显示用于设定相机方位(纵横)的设定画面。该设定画面用于用户选择在拍摄作为频闪图像的连续拍摄图像时，数码相机1是处于横向位置还是纵向位置。数码相机1的用户操作操作部330，指定连续拍摄图像时的相机方向。数码相机1在因具有加速度传感器等而具有纵向位置检测功能等场合，因为能够使用该检测结果，所以无需用户通过设定画面进行指定。
如图4B所示，如果相机方向指定，操作模式处理部211在显示部310显示用于设定拍摄对象移动方向的设定画面。即，在频闪图像生成模式中，因为将对所移动的拍摄对象进行摄影，所以，在这里设定其移动方向。如图4B所示，在设定拍摄对象移动方向的设定画面上，显示表示4个方向的箭头。用户通过操作操作部330的十字键等，设定摄影的拍摄对象的移动方向。
操作模式处理部211将进行如此设定的，相机方向及拍摄对象的移动方向，记录在控制部210的主存储装置(存储器)等之中，从而进行频闪图像生成模式相关设定(步骤S102)。
在这里，图5A例举在频闪图像生成模式下进行摄影的场合的数码相机1和拍摄对象之间的关系。此时，假定用数码相机1对从左向右移动的拍摄对象MV进行摄影。此时，数码相机1保持方向和视角不变进行摄影。在图5A例举的摄影的场合，步骤S102中设定的内容为“相机方向：横向位置”、“拍摄对象移动方向：→(右)”。即，设定成拍摄对象横向移动。
如上所述，因为在频闪图像生成模式中连续拍摄图像，所以，数码相机1的用户在进行所述设定之后，操作操作部330的快门按钮，开始进行摄影。因此，操作模式处理部211在指定频闪图像生成模式时，指示图像拍摄控制部212进行连续拍摄图像。
然后，如果数码相机1的用户(摄影者)操作(按下)快门按钮(操作部330)，对应于操作的输入信号从操作部330输入控制部210中。这样，图像拍摄控制部212判断对快门按钮操作(步骤S103：是)，控制图像拍摄部100进行连续拍摄图像(步骤S104)。该连续拍摄图像操作在用户按下快门按钮持续期间进行(步骤S105：否)。
快门按钮操作结束时(步骤S105：是)，图像拍摄控制部212指示图像拍摄部100图像拍摄操作结束。这样，连续拍摄图像操作结束，连续拍摄图像得到的图像(连续拍摄图像)依次经过图像处理部220的处理而存储在图像存储器230(步骤S106)中。
图5B列举在对图5A例示的场面进行连续拍摄图像时得到的连续拍摄图像的例子。如图5B所示，拍摄对象MV移动的样子用多个拍摄图像表示。如上所述，因为在数码相机1方向和视角不变的状态下进行摄影，所以，各连续拍摄图像中拍摄对象MV之外的部分(即背景)变化不大。
在这里，连续拍摄图像操作中得到的连续拍摄图像分别按照图像拍摄时的时间顺序给予编1～p的帧序号。在图5B的例子中，得到的是帧1～帧12(即p＝12)的图像。
如果以这样的方式进行连续拍摄图像，则依次进行使用得到的连续拍摄图像而生成频闪图像用的处理。此时，图像拍摄控制部212将连续拍摄图像结束信息通知给拍摄图像处理部213，从而通过拍摄图像处理部213执行用于进行连续拍摄图像位置对准的“位置对准处理”(步骤S200)。下面参照图6所示流程图对该“位置对准处理”进行说明。
在处理开始时，拍摄图像处理部213从存储于图像存储器230中的拍摄图像帧(1～p)中，设定在检测所连续拍摄的一系列拍摄图像间移动量时的作为基准的帧(以下称为基准帧N)(步骤S201)。在这里，例如，第1帧作为基准帧N。
然后，拍摄图像处理部213通过指定拍摄图像帧的指针n，指定步骤S201中设定的基准帧N的下一帧(即N+1)(步骤S202)。
拍摄图像处理部213检测出基准帧N和第n帧(以下称为帧n)之间的移动量VF(步骤S203)。此时，拍摄图像处理部213通过求得表示基准帧N上设定的特征点和帧n上的该特征点的位置偏移的矢量，求得帧间的移动量。
这里的帧间的移动量表示拍摄图像全体的晃动等。用于生成频闪图像的摄影是在所述数码相机1的方向和视角固定的状态下进行的。因此，最好，使用三脚架等用于固定数码相机1等而摄影，根据情形手持相机而摄影也可以。在手持的场合，在连续拍摄图像期间，数码相机1的晃动在所难免。此时，将产生帧间位置偏离。
此时，拍摄图像处理部213判断步骤S203中检测出的移动量VF是否小于第1阈值th1(步骤S204)。其中，频闪图像因为是通过在同一背景图像上合成表示移动拍摄对象的多个拍摄对象图像而生成的，所以，最好，背景部分在所拍摄的多个帧范围内基本保持固定。但是，如所述数码相机1的晃动导致帧间位置出现偏移的场合，帧间背景部分将会产生较大的差别。因此，在生成频闪图像时，背景部分会出现重复的现象。为了严格甄别该帧，对第1阈值th1，设定能够校正背景部分为固定的移动量VF的允许范围的上限值。
在基准帧N和帧n之间的移动量VF小于第1阈值th1时(步骤S204：时)，帧n相对基准帧N不会产生很大的位置偏离。此时，拍摄图像处理部213将帧n指定为能够用于频闪图像生成用帧(有效帧)(步骤S207)。
在本实施方式中，后级“有效帧选择处理”中，基于拍摄对象位置进行有效帧的选择。在这里，“位置对准处理”中所指定的“有效帧”为“帧级别的有效帧”。另外，将后述的“有效帧选择处理”中指定的“有效帧”作为“拍摄对象级别的有效帧”。
另一方面，在帧间移动量VF大于第1阈值th1的场合(步骤S204：否)，拍摄图像处理部213比较该移动量VF和第2阈值th2(th1＜th2)(步骤S205)。在这里，即使在检测出移动量VF在第1阈值th1以上时，进行使帧n的图像变形的图像处理，从而能够对位置偏移在允许范围内进行补偿。因此，对第2阈值th2，设定能够根据图像变形进行补偿的移动量VF的允许范围的上限值。
在检测出的移动量VF小于第2阈值th2时(步骤S205：是)，拍摄图像处理部213进行使帧n的图像进行变形的图像处理，从而进行位置对准(步骤S206)。
针对由于这样的图像变形而能够进行位置对准的帧n，因为与基准帧N的差别位于允许范围内，所以，拍摄图像处理部213将帧n指定为能够用于生成频闪图像的有效帧(帧级别)(步骤S207)。
另外，在帧间移动量VF大于第2阈值th2的场合(步骤S205：否)，即使进行图像变形，与基准帧N之间的差异也不能位于允许范围内。此时，由于拍摄图像处理部213从生成频闪图像时合成的目标中剔除该帧，所以将该帧n指定为无效帧(步骤S208)。
进行如上处理的拍摄图像处理部213，为了记录关于所拍摄的帧图像的信息，在例如，主存储装置(存储器)内生成如图7所示的“帧信息表”。如图7所示，该“帧信息表”中，制作将图像拍摄时的帧序号(1～p)作为密钥的记录，各记录中记录针对该帧的信息。
进行如所述各处理的拍摄图像处理部213，针对各帧，将表示是否为帧级别的有效帧的信息、和表示与基准帧N的差别的移动量VF和各阈值比较的信息，记录在“帧信息表”中。例如，针对步骤S207中指定为“有效帧”的帧，在“有效帧(帧级别)”一栏中记录为“OK”，对于在步骤S208中指定为“无效帧”的帧，则记录为“NG”。
如果对帧n进行如上的处理，则拍摄图像处理部213将指针n加1，从而指定下一帧(步骤S209)。进一步，拍摄图像处理部213在n的值为表示拍摄图像最终帧的p值以下时(步骤S210：否)，则进行步骤S203以后的处理，从而，针对各帧，依次指定在帧级别上为有效帧还是无效帧。
然后，如果对拍摄图像所有的帧都进行了如上处理(步骤S210：是)，则本处理结束，返回到“频闪图像生成处理”的流程(图3)
在数码相机1具有手抖动补偿功能的场合，数码相机1具有用于检测数码相机1自身产生运动的传感器部400(陀螺传感器等)。此时，对每一帧记录连续拍摄图像时检测出的传感器部400的检测值，基于该检测值能够求得帧间移动量VF。
在“位置对准处理”结束时，拍摄图像处理部213执行用于将连续拍摄图像一维数据化的“一维数据生成处理”(步骤S300)。下面参照图8对该一维数据生成处理进行说明。另外，为了容易理解，下面的说明中，相机方向设定为“横向位置”。
处理开始时，拍摄图像处理部213对指针n设定帧序号的初始值“1”(步骤S301)，选择存储在图像存储器230中的连续拍摄图像帧序号n的图像(帧n)作为处理对象(步骤S302)。
如果选择了处理对象图像，拍摄图像处理部213进行该图像调查坐标的初始化处理(步骤S303)。在这里，拍摄图像处理部213将x坐标和y坐标分别取值为“0”的坐标设为初始调查坐标。其中，针对图像上的坐标，参照图9A进行说明。在本实施方式中，因为相机方向为“横向位置”，所以，数码相机1得到的拍摄图像成图9A所示的横长图像。此时，图像的左右方向为“X方向”上下方向为“Y方向”。在这里，将该图像的左上端部作为坐标原点(0，0)。此时，X方向的像素数取为sizeX，x坐标的最大值为sizeX-1。同样，Y方向的像素数为sizeY，y坐标的最大值为sizeY-1。
接下来，拍摄图像处理部213判定所述频闪图像生成处理(图3)的步骤S102中设定的拍摄对象移动方向是图9A所定义的拍摄图像的坐标系中的X方向还是Y方向(步骤S304)。在这里，相机方向为横向位置的场合，如果指定为图4B所示的设定画面左右方向的任意方向，则拍摄对象的移动方向为X方向(横向)。另一方面，如果指定为上下方向的任意方向，则进行拍摄拍摄对象的移动方向为Y方向(纵向)。
在图5A例举的场面中，对横向移动的拍摄对象MV进行拍摄，所以，判定拍摄对象的移动方向为X方向(步骤S304：是)。拍摄对象移动方向为X方向时，拍摄图像处理部213在与拍摄对象移动方向正交的方向，即Y方向上进行投影图像处理。
此时，拍摄图像处理部213在处理对象图像的X方向的坐标的整个坐标中对Y方向的像素值进行相加，并投影在Y方向上(步骤S305、步骤S306、步骤S307：是)。因为在步骤S303中进行调查坐标的初始化处理，所以，首先，拍摄图像处理部213在步骤S305中，将对应x坐标0的y坐标的像素值相加，将其结果存储在控制部210的主存储装置(存储器)中。接着，拍摄图像处理部213在步骤S306中，将x坐标值+1，对下一个x坐标进行同样的计算。重复进行这种处理，x坐标即该图像在X方向的尺寸，即X方向的像素。
另一方面，拍摄对象移动方向为Y方向(上下方向)的场合(步骤S304：否)，采用同样的方法，在与移动方向正交的方向即X方向投影图像(步骤S308、步骤S309、步骤S310：是)。
在处理图像中的投影结束时(步骤S307：否或步骤S310：否)，拍摄图像处理部213将指针n加1(步骤S311)。如果与新的指针n对应的帧序号在最终帧的帧序号p以下(步骤S312：否)，则拍摄图像处理部213选择下一个连续拍摄图像作为处理对象(步骤S302)。
另一方面，针对所有的连续拍摄图像的摄影结束时(步骤S312：是)，则返回到频闪图像生成处理(图3)的流程。
这样，通过一维数据生成处理进行投影，连续拍摄图像分别转换呈图9B(a)或(b)所示的一维数据。这种一维数据生成可以用数学式1表示。
(数学式1)
fn(x)：像素值Fn(x，y)的Y方向投影
fn ( x ) = Σ y = 0 sizeY - 1 Fn ( x , y )
sizeY：Y方向像素数
fn(y)：像素值Fn(x，y)的X方向投影
fn ( y ) = Σ x = 0 sizeX - 1 Fn ( x , y )
sizeX：X方向像素数
这样，如果针对每一个连续拍摄图像，生成一维数据(投影数据)，则拍摄图像处理部213将所生成的一维数据与初始拍摄图像帧序号一一对应起来并依次存储在图像存储器230中。另外，拍摄图像处理部213将针对所有连续拍摄图像的一维数据所生成的指令通知给拍摄对象检测部214。在这里，拍摄对象检测部214根据来自拍摄图像处理部213的通知，执行利用转换的一维数据检测拍摄对象用的“拍摄对象区域检测处理”(步骤S400)。
首先，参照图9B(a)～(c)对从连续拍摄图像的一维数据中检测出拍摄对象部分的处理的概念进行说明。图9B(a)表示在如图5A所示的场面中，没有拍摄对象MV的状态下拍摄的拍摄图像的例子(上级)和该拍摄图像的一维数据的例子(下级)的图。另外，图9B(b)表示在有拍摄对象MV的状态下拍摄的拍摄图像的例子(上级)和该拍摄图像的一维数据的例子(下级)的图。
在本实施方式的数码相机1进行频闪图像生成时，因为所述数码相机1的方向和视角不变而进行连续拍摄图像，所以，在得到的多个连续拍摄图像间，拍摄对象MV之外的背景部分没太大的变化。因此，如果对各连续拍摄图像间的一维数据进行比较，则在拍摄对象MV的范围内将出现变化。在这里，为了便于理解，将没有拍拍摄对象MV的图像和拍摄了拍摄对象MV的图像的一维数据分别示出在图9B(a)和(b)中。如果比较各自的一维数据，图9B(b)中拍摄拍摄对象MV的地方的数据和(a)是不一样的，其他的部分的数据则相同。
即，如果将两图像的一维数据重合示出在图9B的(c)中，则存在不一致的地方。这种一维数据不一致的地方在于，拍摄对象MV拍摄的范围处(拍摄对象移动方向为X方向时为X方向的范围，移动方向为Y方向时为Y方向的范围)。因此，如果取时序顺序邻接的连续拍摄图像间一维数据的差别，即表明拍摄对象范围的变化。
拍摄对象检测部214基于这种原理进行处理，从而进行连续拍摄图像中的拍摄对象部分的检测。下面将参照图10～图12所示的流程图对其中所执行的拍摄对象区域检测处理(步骤S400)进行说明。
在处理开始时，首先，拍摄对象检测部214基于频闪图像生成处理(图3)的步骤S102中的设定内容，判别拍摄对象的移动方向为X方向还是Y方向(步骤S401)。下面以拍摄对象移动方向为X方向的场合(步骤S401：是)为中心进行说明。
此时，拍摄对象检测部214对调查目标的X方向的坐标进行初始化处理。如上所述，拍摄图像的坐标范围为(0，0)～(sizeX-1，sizeY-1)，所以，x坐标的初始值为“0”(步骤S402)。
接着，拍摄对象检测部214通过指定指针n为1～p以依次指定连续拍摄图像的帧，针对各帧，从图像存储器230中获取在“一位数据生成处理”(图8)中所生成的对应坐标x的一维数据，并存储在控制部210的主存储装置(存储器)中(步骤S403～步骤S406：否)。
如果获得全部帧的一维数据(步骤S406：是)，则拍摄对象检测部214对取得的一维数据进行排序(步骤S407)，将其中间值作为坐标x表示背景图像时的像素值fb(x)(步骤S408)。
该操作对x坐标的各点均实施(步骤S409，步骤S410：否)。如果针对所有帧的所有x坐标(0～sizeX-1)均得到了背景像素值fb(x)(步骤S410：是)，则进入步骤S411(图11)。
在这里，拍摄对象检测部214不但将指针n取为帧初始值“1”，并且使x坐标为坐标初始值“0”(步骤S411、步骤S412)。然后，拍摄对象检测部214计算第n帧的该x坐标中的像素值fn(x)，和步骤S408中求得的该坐标x的背景像素值fb(x)的差fd(x)(＝|fb(x)-fn(x)|)(步骤S413：是，步骤S414)。
拍摄对象检测部214通过判断计算出的差值fd(x)是否比规定的阈值DiffTh大，以判定该坐标x是否为表示拍摄对象的部分(步骤S415)。即，由于背景像素值fb(x)为坐标x表示背景图像时的像素值，所以，如果实际像素值fn(x)相对背景图像的像素值，有较大差异，则帧n的坐标x则表示除背景之外的部分即拍摄对象MV。因此，设定用于进行如此的判定的阈值DiffTh，在差值fd(x)比阈值DiffTh大时，则可以判定像素值fn(x)为表示拍摄对象部分像素值。
在这里，在像素值fd(x)为阈值DiffTh以下时(步骤S415：否)，则第n帧中的坐标x不是拍摄对象部分。此时，拍摄对象检测部214将x坐标+1(步骤S416)，如果为图像尺寸内的坐标(步骤S413：是)，则针对下一坐标x进行同样的判别(步骤S414，步骤S415)。
在这里，在步骤S412的初始化处理中，x坐标为作为图像的左端的“0”，所以，在判断为调查坐标的坐标x表示拍摄对象部分的像素(步骤S415：是)时，拍摄对象检测部214使该x坐标为与第n帧中的拍摄对象部分的左端对应的坐标L(n)(步骤S417).
即，从拍摄图像的左端的x＝0位置起，一边将x坐标+1一边进行判别，所以，步骤S412～S416的处理成为从图像的左端开始进行拍摄对象部分的探索。在这里，针对x坐标的拍摄对象范围存在宽度，所以，针对拍摄对象的范围的右端也需要进行具体设定。因此，如果指定拍摄对象部分的左端，则拍摄对象检测部214进行搜索拍摄对象部分的右端的操作。
此时，从拍摄图像的右端侧开始拍摄对象部分的搜索。所以，拍摄对象检测部214将调查坐标x取为表示拍摄图像右端的x坐标即sizeX-1(步骤S418)。其中，因为搜索拍摄对象的右端，所以，调查坐标x必须比步骤S417中拍摄对象部分的左端的坐标L(n)更靠右侧。因此，拍摄对象检测部214在调查坐标x比L(n)大时(步骤S419：是)，计算出针对该坐标x的fd(x)(步骤S420)，判断计算出的fd(x)是否比阈值DiffTh大(步骤S421).
在坐标x的fd(x)比阈值DiffTh小，不表示拍摄对象部分的时候(步骤S421：否)，拍摄对象检测部214将调查坐标x减1，向左移动1个坐标(步骤S422)，针对该坐标x进行同样的判断(步骤S419，步骤S420，步骤S421)。这样，在从拍摄图像的左端侧起开始搜索，在判断调查坐标x中的像素表示拍摄对象部分的场合(步骤S421：是)，拍摄对象检测部214使该坐标x为帧n中的拍摄对象部分的右端的坐标R(n)(步骤S423)。
在从图像的左端开始搜索而没有检测到拍摄对象部分时(步骤S413：否)或者在从右端侧开始设定的x坐标比拍摄对象左端L(n)还靠左侧的场合(步骤S419：否)，则在该帧n中没有拍摄对象部分，例如进行L(n)＝R(n)这样的数值设定，将调查目标移至下一帧(步骤S424)。
另外，同样在针对帧n检测出拍摄对象范围的场合，将下一帧作为调查目标，进行所述的处理(步骤S424，步骤S425：否)。然后，针对全部的帧检测拍摄对象区域(步骤S425：是)时，则返回到“频闪图像生成处理”(图3)的流程。
以上为拍摄对象移动方向为X方向的场合的拍摄对象区域检测的操作。此时，如图13A所示，依次求得各帧中出现的拍摄对象MV的X方向的范围。如此求得的拍摄对象范围的坐标(L(n)和R(n))对应于帧序号而存储在主存储装置(存储器)等中。
另一方面，在拍摄对象的移动方向为Y方向的场合，对Y方向进行和所述一样的处理。即，进行图10的步骤S426～步骤S434和图12的步骤S435～步骤S449，从而分别求得各帧中出现的拍摄对象图像的上端坐标T(n)和下端坐标B(n)(参照图13B)。
这样，如果检测出拍摄对象区域，则拍摄对象检测部214将该指令通知给图像选择部215。此时，图像选择部215基于所检测出的拍摄对象区域，执行“有效帧选择处理”(图3的步骤S500)，该处理用于选择频闪图像生成用拍摄图像(有效帧)。下面参照图14和图15所示的流程图对该有效帧选择处理进行说明。
处理开始时，图像选择部215首先判定拍摄对象移动方向时X方向还是Y方向(步骤S501)。在这里，图14的流程图表示时拍摄对象移动方向为X方向时的处理。另外，图15流程图表示Y方向时的处理。
在拍摄对象移动方向为X方向的场合(步骤S501：时)，图像选择部215将指针n作为帧初始值“1”(步骤S502)、然后，图像选择部215基于所述“位置对准处理”的处理结果，判断该第n帧(帧n)是否指定为帧级别的有效帧(步骤S503)。此时，图像选择部215参照在控制部210的主存储装置(存储器)中所生成的“帧信息表”(图7)，判断帧n是否指定为帧级别的有效帧。
其中，在指定为帧级别的“无效帧”的场合(步骤S503：否)，因为背景部分与基准帧N偏离很大，所以，如果将该帧n用于频闪图像生成，则具有背景部分会出现重复的危险。因此，图像选择部215在这里指定成无效帧(步骤S504)。
此时，如图7所示的“帧信息表”的例子中，例如，如帧序号“3”的记录那样，在“有效帧(帧级别)”和“无效帧(拍摄对象级别)”栏的两栏中均记录为“NG”。
另一方面，在帧n指定为帧级别“有效帧”的场合(步骤S503：是)，图像选择部215基于所述“拍摄对象区域检测处理”的检测结果，判断帧n是否存在拍摄对象区域(步骤S505)。在这里，针对帧n记录表示拍摄对象区域的范围的L(n)和R(n)(或者T(n)和B(n))，并且，如果为L(n)≠R(n)(或者T(n)≠B(n))，则判断从帧n检测到拍摄对象区域。
在这里，在从帧n中未检测出拍摄对象区域的场合(步骤S505：否)，图像选择部215将帧n指定为不用于频闪图像生成的无效帧(步骤S504)。
在步骤S504中将帧n指定为“无效帧”的场合，图像选择部215通过将指针n加1，从而指定下一帧(步骤S510)。在这里，如果n的值为最终帧p以下(步骤S511：否)，则进行步骤S503以后的处理。
这样，图像选择部215依次判断作为帧级别有效帧的帧中的拍摄对象区域的有无。然后，图像选择部215将判断存在拍摄对象区域的最初的帧选择成有效帧(步骤S505：是，步骤S506：否，步骤S508)。在这里，图像选择部215对于选择作为有效帧的帧(连续拍摄图像)给予与帧序号有别的有效帧序号。此时，图像选择部215对于步骤S508中选择作为最初有效帧的帧给予“1”的有效帧序号。进一步，图像选择部215对于用于指定有效帧的指针m，设定在步骤S508中所选择的帧的帧序号(步骤S509)。
该处理中，图像选择部215在“帧信息表”(图7)中记录表示是否为拍摄对象级别的有效帧的信息、和给予有效帧(拍摄对象级别)的有效帧序号。
首先，图像选择部215选择最初的有效帧，而且将该帧的帧序号设定为指针m。然后，图像选择部215将指针n加1以指定下一帧(步骤S510)、如果n值为最终帧p以下(步骤S511：否)，则进行步骤S503以后的处理。即，对下一用于频闪图像生成的帧进行搜索。
在选择了最初的有效帧之后(步骤S506：是)，图像选择部215通过在比较调查目标帧(第n帧)和之前选择的有效帧(指针m指定的帧)之间比较拍摄对象区域的位置，将前一有效帧和拍摄对象部分不重合的帧选择作为有效帧。
在这里，在拍摄对象的移动方向为X方向的场合，存在从左向右和从右向左移动两个情况。如果从左向右移动，则帧n中的拍摄对象区域需要比帧m中的拍摄对象区域更靠右侧。另一方面，如果从右向左移动，则帧n中的拍摄对象区域需要比帧m中的拍摄对象区域更靠左侧。
因此，图像选择部215在帧n的拍摄对象左端L(n)比帧m的拍摄对象右端R(m)大，帧n的拍摄对象右端R(n)比帧m的拍摄对象左端L(m)小时，判断帧n的拍摄对象部分与帧m的拍摄对象部分不重合(步骤S507)。
如果帧n的拍摄对象区域满足该条件(步骤S507：是)，则图像选择部215将该第n帧选择作为有效帧(步骤S508)。另一方面，如果条件不相符(步骤S507：否)，则图像选择部215使第n帧作为不用于频闪图像生成的无效帧(步骤S504)。
同样针对后面的连续拍摄图像，按照该条件判断进行有效帧的选择，调查所有的连续拍摄图像，进行有效帧的选择(步骤S511：是)，此时，如图16所示，甄别被给予了与帧序号不同的有效帧序号的有效帧和不用于频闪图像生成的无效帧。
如图16所示，有效帧序号对于所选择的有效帧按照时序顺序构成连续号码。此时，将所选择的有效帧数记为p`(p`≤p)。这样，通过给予表示所选择的有效帧的识别信息，从而能够从存储于图像存储器230中的连续拍摄图像中甄别有效帧。另外，也可通过将无效帧从图像存储器230中删除，在图像存储器230中仅留下有效帧。
以上为拍摄对象在X方向移动时选择有效帧的操作。在拍摄对象的移动方向为Y方向的场合(图14的步骤S501：否)，也可以进行同样的处理来选择有效帧。即，通过执行如图15所示的流程图的步骤S512～步骤S521，从而将沿Y方向移动的拍摄对象图像不重合的帧选择为有效帧。此时，选择最初有效帧之后的选择条件考虑拍摄对象从上向下移动的场合和从下向上移动的场合。
即，如果从上向下移动，则需要帧n的拍摄对象区域位于之前选择的有效帧m的拍摄对象区域的下游。另一方面，如果从下向上移动，则帧n的拍摄对象区域需要位于之前所选择的有效帧m的拍摄对象区域的上游。
因此，图像选择部215在帧n的拍摄对象上端T(n)比之前所选择的有效帧m的拍摄对象下端B(m)大，帧n的拍摄对象下端B(n)比之前所选择的有效帧m的拍摄对象上端T(m)小时，判断帧n的拍摄对象部分与之前所选择的有效帧m的拍摄对象部分不重合(图15的步骤S517)。
如上所述，从将拍摄图像投影在1个方向上的一维数据中进行拍摄对象区域的检测和不与拍摄对象部分重合的帧的选择。即，基于数据量的很少的一维数据，选择频闪图像生成用图像(有效帧)，与采用拍摄图像全部数据相比，至图像选择结束其处理量得到大幅削减。
这样，如果选择了频闪图像生成用图像(有效帧)，则在“频闪图像生成处理”(图3)中，利用所选择的帧图像数据，依次进行用于生成频闪图像的背景图像的“背景图像生成处理”(步骤S600)，和用于从有效帧中提取拍摄对象部分图像的“拍摄对象图像提取处理”(步骤S700)。
下面参照图17所示的流程图对“背景图像生成处理”进行说明。当图像选择部215将有效帧选择处理结束信息通知给背景图像生成部216时，该背景图像生成处理开始。
在处理开始时，背景图像生成部216对有效帧进行调查的坐标(x，y)进行初始化处理。在这里，x和y各自的初始值均为“0”，从而将有效帧的坐标原点(0，0)作为调查坐标(步骤S601)。
然后，背景图像生成部216用指定有效帧的指针n`依次指定1～p`，从而从存储于图像存储器230中的所有的有效帧(1～p`)中依次得到所设定的坐标(x，y)的像素值(步骤S602～步骤S604、步骤S605：否)
如果从全部有效帧中得到坐标(x，y)的像素值(步骤S605：是)，则背景图像生成部216对所获得的像素值进行排序(步骤S606)，将其中间值作为坐标(x，y)表示背景部分时的像素值(背景像素值fb`(x，y)(步骤S607)。
如果求得坐标(x，y)的背景像素值fb`(x，y)，则背景图像生成部216依次将有效帧的图像范围内的坐标作为调查坐标，求得该坐标(x，y)的背景像素值fb`(x，y)，(步骤S608、步骤S609：否，步骤S602～步骤S607)。在这里，针对同一y坐标的x坐标依次+1，如果x坐标到达图像的右端，则将y坐标+1，并且将坐标x归0，通过重复该操作，依次得到(0，0)到(sizeX-1，sizeY-1)的像素值，求得各坐标背景像素值fb`(x，y)。
如果根据求得所有的坐标而求出背景像素值fb`(x，y)(步骤S609：是)，则背景图像生成部216将求得的背景像素值fb`(x，y)作为各坐标的像素值，从而生成表示仅为有效帧表示的背景部分的背景图像(步骤S610)。背景图像生成部216在将所生成的背景图像存储在图像存储器230的同时，将生成背景图像的指令通知给拍摄对象检测部214，处理结束。
此时，处理返回到频闪图像生成处理(图3)，执行“拍摄对象图像提取处理”(步骤S700)。该拍摄对象图像提取处理在生成背景图像时，，通过拍摄对象检测部214而进行。下面参照图18所示的流程图，对该拍摄对象图像提取处理进行说明。
处理开始时，首先，拍摄对象检测部214进行坐标(x，y)的初始化处理(步骤S701)和目标帧的初始化处理(步骤S702)。然后，拍摄对象检测部214从有效帧1～p`中依次得到坐标(x，y)的像素值fn`(x，y)，计算与该坐标(x，y)的像素值fb`(x，y)的差fd`(x，y)(步骤S703～步骤S705、步骤S706：否).
如果根据所有有效帧，计算坐标(x，y)的差fd`(x，y)(步骤S706：是)，则拍摄对象检测部214计算出所计算的差fd`(x，y)的标准偏差fs(x，y)(步骤S707，在这里，拍摄对象检测部214通过计算数学式2计算出标准偏差fs(x，y)。
(数学式2)
fs ( x , y ) = Σ n ` p ` ( f d ` ( n ` , x , y ) 2 ) p ` - 1
其中，fd`(n`，x，y)为帧n`的坐标(x，y)的差fd`(x，y)。
当计算出坐标(x，y)的标准偏差fs(x，y)，拍摄对象检测部214使调查坐标在有效帧图像范围内移动，依次计算出各坐标中标准偏差fs(x，y)(步骤S708、步骤S709：否，步骤S702～步骤S707)。
当计算出各坐标的标准偏差fs(x，y)(步骤S709：是)，拍摄对象检测部214基于计算出的标准偏差fs(x，y)，设定各有效帧的拍摄对象部分判别用的变动阈值move(步骤S710)。在这里，通过计算数学式3，设定变动阈值move。
(数学式3)
over [ m ] = f d ` ( n ` , x , y ) fs ( x , y ) < f d ` ( n ` , x , y ) 1 &le; m &le; max m
move = &Sigma; m = 1 max m over [ m ] 2 max m - 1
maxm：满足fs(x，y)))＜fd`(n`，x，y)))的像素数
如果设定变动阈值move，拍摄对象检测部214从存储于图像存储器230中的有效帧(1～p`)中，分别获取fd`(x，y)≥变动阈值move的像素值(步骤S711，步骤S712)。
拍摄对象检测部214将构成这种条件的像素值作为帧n`中表示拍摄对象部分的像素值(步骤S713)，对由该像素值表示的拍摄对象部分，执行用于插补图像缺损的“图像平滑化处理”(步骤S900)。下面参照图19所示流程图对本实施方式“图像平滑化处理(1)”进行说明。
处理开始时，拍摄对象检测部214从控制部210的主存储装置(存储器)中生成的“帧信息表”(图7)中，参照该帧n`和基准帧N之间的移动量VF的信息(步骤S911)，判断移动量VF是否小于第1阈值th1(步骤S912)。
如上所述，由于第1阈值th1为帧间背景部分可视为不变的移动量VF的允许范围的上限值，所以，如果基准帧N的移动量VF小于第1阈值th1，则由于帧间差别微小，所以背景部分的差别也微小。
因此，此时(步骤S912：是)，为了进行对所提取的拍摄对象区域的缺损进行修复而平滑的处理，拍摄对象检测部214以常规的处理量进行所谓的形态学计算。在这里，例如，进行形态膨胀(dilation)(步骤S913)，之后进行2次形态收缩(erosion)(步骤S914)，之后又进行形态膨胀(dilation)(步骤S915)。
另一方面，如果移动量VF大于第1阈值th1(步骤S912：否)，针对帧n`，在所述的“位置对准处理”(图6)中，进行图像变形的位置对准。此时，因为图像发生变形，所以，对于背景部分，本来的图像和变形后的图像之间产生差异，将该差异部分误识别为拍摄对象MV。
特别是，如图20(a)例示，在拍摄景深大的场景的时候，由于所谓的遮挡(occlusion)的影响，在帧图像整体移动时的背景的差异容易变大。
例如，在图20(a)所示的帧图像的下一帧N+1为图20(b)所示的图像的场合，由于手持摄影导致的数码相机1的微动等，本来应该不变的背景部分发生移位，如果该移动量VF大于第1阈值th1，则通过所述“位置对准处理”(图6)，对帧N+1进行图像变形的位置对准。
此时，对于帧N，如图20(c)所示，示出了本来的背景图像的样子，但是，对于帧N+1，如图20(d)所示，示出了变形后的背景图像的样子。由于通过图像变形而进行位置对准，所以，即使帧N的背景图像和帧N+1的背景图像的位置相同，如图20(e)所示，对于背景图像的形状等也会产生差异。
在图20所示的景深大的场景的场合，这种背景部分的形状的不同由于遮挡的影响呈现大的差异。如果从这些图像中提取背景图像和拍摄对象区域，将它们合成为频闪图像，则如图20(f)所示，表现出背景部分的差异的一部分等。因为背景部分原本固定，所以，这些部分属于不需要的背景图像。
如果这种无用部分在帧图像上接近拍摄对象MV，则如图20(g)所示，该无用部分误识别为拍摄对象MV而提取。所述由形态学计算而进行的平滑化处理尽管修复插补拍摄对象图像的缺损，但是通过增加此时的计算量，能够抵消图20(g)所示的误识别的背景部分。
但是，如果一律地增加计算量，则处理负担将会加重，频闪图像生成处理时间加长。另外，在应该识别为本来的拍摄对象MV(运动体)的区域为比较小的场合等情况下，存在消除该区域的可能性。因此，如果改变对容易受到遮挡影响的帧和难以受到该影响的帧进行平滑化处理的权重情况，则可以有效除去背景部分误识别为拍摄对象(运动体)的区域。
因此，在本处理中，基于帧间的移动量VF，判断目标帧是否容易受到遮挡的影响，对应于该判定结果，形态学计算的处理量不同。
因此，在帧间移动量VF大于第1阈值th1时(步骤S912：否)，拍摄对象检测部214通过增加形态学计算的处理量，将拍摄对象MV附近产生的无用部分去除。此时，拍摄对象检测部214对目标帧n`进行相比常规处理量多一些的计算量的形态学计算。在这里，例如进行形态膨胀(dilation)(步骤S916)，之后进行4次形态收缩(erosion)(步骤S917)，之后又进行形态膨胀(dialation)(步骤S918)。
在该例子中，基于帧间的移动量VF，对于判别为容易受到遮挡的影响的帧，比普通形态学计算多2倍量的形态收缩。通过增加这种形态收缩(erosion)的处理量(次数)，能够增强剔除细微差异的倾向，即使在由于遮挡影响，将背景部分误识别为拍摄对象(动态)的情况下，也能够除去该区域。
这样，如果对应于帧间移动量VF而进行形态学计算，则拍摄对象检测部214将经平滑化处理的拍摄对象区域作为最终的拍摄对象图像而提取(步骤S919)。此时，拍摄对象检测部214生成将差fd`(x，y)≥变动阈值move的坐标记为“1”，将差fd`(x，y)＜变动阈值move的坐标记为“0”的数据。对于生成的0和1的数据，对每一个赋予“1”的值的连续的区域分配固有的号码并贴上标签。而且，在贴上标签的区域中，使最大大区域的像素值为该帧n`中表示拍摄对象部分的像素值。
在所述“图像平滑化处理(1)”中，基于与所述“位置对准处理”(图6)中所用的第1阈值th1的比较，使形态学计算的处理量不同。在这里，确定处理量的基准在于帧间的移动量，作为比较用的阈值并不限于第1阈值th1。即，也可以设定更多的阈值，通过它们与帧间移动量VF的比较，从而更加细致地区分处理量。不管是哪种情况，帧间移动量越大，越增加形态学计算的处理量，这样，能够有效除去容易受到遮挡影响的无用部分。
如果通过“图像平滑化处理(1)”除去了无用部分的拍摄对象图像从帧n中提取，则处理返回到“拍摄对象图像提取处理”(图18)。在这里，如果将指针n`加1，指定下一有效帧(步骤S714)，第n`有效帧为图像存储器230中存在的帧(步骤S715：否)，则进行步骤S712以后的处理。以这种方式，从各有效帧中提取拍摄对象图像。
通过进行这样的处理，如果从存储在图像存储器230中的所有的有效帧中提取拍摄对象图像，则拍摄对象检测部214将该指令通知给频闪图像生成部217。
然后，频闪图像生成部217在“频闪图像生成处理”(图3)中，将“背景图像生成处理”(步骤S600)中生成的背景图像和“拍摄对象图像提取处理”(步骤S700)中提取的各有效帧中的拍摄对象图像合成，执行图22所示的用于生成频闪图像的“图像合成处理”(步骤S800)。
下面参照图21所示的流程图对“图像合成处理”进行说明。该图像合成处理在拍摄对象检测部214将拍摄对象图像提取处理结束指令通知给频闪图像生成部217时开始。
在处理开始时，频闪图像生成部217进行目标帧的初始化处理(步骤S801)，通过使分别从“拍摄对象图像提取处理”(步骤S700)中提取的各有效帧1～p`提取的拍摄对象图像依次重合，从而将频闪图像的拍摄对象区域合成(步骤S802～S804)。
在对所有的频闪图像的拍摄对象区域进行合成时(步骤S802：是)，频闪图像生成部217通过使“背景图像生成处理”(步骤S600)中生成的背景图像重合，从而将频闪图像的背景区域合成(步骤S805)。另外，也可以通过重合各有效帧1～p`的任何一个图像，从而将频闪图像的背景区域合成。
在通过这种处理而生成频闪图像时，频闪图像生成部217不但将生成的频闪图像存储在图像存储器230中，而且将生成频闪图像的指令通知给拍摄对象检测部214，处理结束。
此时，返回到频闪图像生成处理(图3)，生成的频闪图像通过图像输出部240显示在显示部310上，另外，对应于数码相机1的用户通过操作操作部330的指示输入，存储在存储部250或外部存储部260中(步骤S107)，处理结束。
另外，在相机方向为纵向位置时，对拍摄图像在转动-90°或90°时的坐标系中进行所述处理，同样能够生成频闪图像。
(实施方式2)
下面对为从拍摄对象图像中除去无用部分所进行的“图像平滑化处理”(图18步骤S900)的其他的操作例进行说明。在所述实施方式1中的“图像平滑化处理(1)”中，通过比较帧间移动量VF和阈值，从而执行双值掩蔽处理，将形态学收缩执行次数切换为2次或4次。进一步，还可以对应移动量VF进一步精细地控制形态学收缩执行次数。下面参照图23所示流程图对此时执行的“图像平滑化处理(2)进行说明。
处理开始时，和实施方式1的“图像平滑化处理(1)”一样，拍摄对象检测部214访问控制部210的主存储装置(存储器)中生成的“帧信息表”(图7)，参照拍摄对象图像的提取目标帧的帧n`和基准帧N之间的移动量VF的信息(步骤S921).
参照移动量VF，拍摄对象检测部214基于该移动量VF而进行用于确定形态学收缩(erosion)的执行次数的计算(步骤S922)。在这里，通过用系数k(例如1以上的正整数)乘以移动量VF，从而计算出形态学收缩(erosion)的执行次数L(L＝VF×k)。
一旦计算出形态学收缩(erosion)的执行次数L，拍摄对象检测部214进行1次形态学膨胀(dilation)(步骤S923)。
如果进行1次形态学膨胀(dilation)，则拍摄对象检测部214执行形态学收缩(erosion)，次数为步骤S922中计算出的执行次数即L次(步骤S924)。
如果执行L次形态学收缩(erosion)，拍摄对象检测部214执行1次形态学膨胀(dilation)(步骤S925)，图像平滑化处理的形态学计算结束。
如果形态学计算结束，则拍摄对象检测部214将经平滑化处理的拍摄对象区域作为最终的拍摄对象图像而提取(步骤S926)，处理结束(返回到“拍摄对象图像提取处理”(图18)的流程)。
在该“图像平滑化处理(2)”中，通过对移动量VF乘以系数，从而计算出形态学收缩(erosion)的执行次数。因此，能够以与帧间移动量成比例的方式，增加形态学计算(形态学收缩)的处理量，能够更加有效除去容易受到遮挡影响的无用部分。
在“图像平滑化处理(1)”(实施方式1)和“图像平滑化处理(2)”(本实施方式)中，作为形态学计算的例子，示出了按照“形态学膨胀(dilation)→形态学收缩(erosion)→形态学膨胀(dilation)”的顺序进行计算的情况。另外，也可以按照“形态学收缩(erosion)→形态学膨胀(dilation)→形态学收缩(erosion)”的顺序进行计算。
即，作为定义形态学计算的内容的算子，即使在任意地设定“打开(Opening)”(执行顺序“膨胀→收缩→膨胀”)或“关闭(Closing)”(执行顺序为“收缩→膨胀→收缩”的情况下，通过对应于移动量VF使处理量(执行次数)不同，从而谋求受遮挡影响的不要部分的有效去除。
此时，无论对形态学收缩(erosion)的处理量(执行次数)适用哪个时间点的形态学收缩(erosion)均是任意的。例如，也可以为将所有形态学收缩(erosion)的执行次数执行得比形态学膨胀(dilation)多的处理，还可以为在“打开(Opening)”中进行的形态学收缩(erosion)刚好比形态学膨胀(dilation)多的处理等。
另外，在本实施方式中，为了强化排除细微差异的倾向，增加形态学收缩(erosion)的处理量(执行次数)。另外，通过增加形态学膨胀(dilation)的处理量(执行次数)，可以谋求不要部分的有效去除。即，基于帧间移动量使处理量不同的目标无论形态学收缩(erosion)，还是形态学膨胀(dilation)都可以。
(实施方式3)
在所述各实施方式中的“图像平滑化处理”中，例举对应于移动量VF，使形态学计算执行次数不同的场合。在这里，不同的处理量不只是限于次数。在这里，即使通过对应帧间的移动量，使形态学计算的效果(即收缩或膨胀量)不同，仍可谋求因遮挡影响而形成的无用部分的有效去除。
即，在形态学计算中，通过一边删去单纯形态的“结构分量(Structuring Element：结构分量)”中的目标图像，一边修复目标图像，从而进行收缩(erosion)或膨胀(dilation)，所以，通过改变该结构分量的尺寸，能够使收缩和膨胀量不同。
在本实施方式中，对采用这种方法除去无用部分的例子进行说明。下面参照图24所示流程图对此时执行的“图像平滑化处理(3)”进行说明。
处理开始时，和实施方式1的“图像平滑化处理(1)”一样，拍摄对象检测部214访问控制部210的主存储装置(存储器)中生成的“帧信息表”(图7)，参照拍摄对象图像的取出目标帧即帧n`和基准帧N之间的移动量VF的信息(步骤S931)。
在本实施方式中，和所述各实施方式一样，通过对应帧间移动量VF使形态学计算处理量不同，从而谋求不要部分的有效去除。此时，在本实施方式中，通过使形态学计算效果即膨胀或收缩的量不同，从而使得图像平滑化处理的处理量不同。
在这里，在本处理中，和所述各实施方式的场合一样，按照“形态学膨胀(dilation)→形态学收缩(erosion)→形态学膨胀(dilation)”的顺序进行计算。另外，为了强化排除细微差异的倾向，将处理量不同的目标作为形态学收缩(erosion)，即，增加一次形态学收缩(erosion)的图像收缩量。
为了进行这样的处理，在本实施方式中，使形态学膨胀(dilation)用的结构分量(以下记为“结构分量SEd”)的尺寸和形态学收缩(erosion)用的结构分量(以下记为“结构分量SEe”)的尺寸不同。
在这里，因为形态学膨胀(dilation)为通常处理量，所以，结构分量SEd的尺寸适用针对该结构分量的默认尺寸(以下记为“尺寸DS”)。此时，拍摄对象检测部214在定义形态学膨胀(dilation)的计算内容的算子中，设定尺寸DS作为结构分量SEd的尺寸(步骤S932)。
另一方面，由于形态学收缩(erosion)的处理量根据移动量VF的不同而不同，故拍摄对象检测部214基于步骤S931中参照的移动量VF计算出结构分量SEe的尺寸(步骤S933)。其中，通过结构分量的默认尺寸即尺寸DS乘以移动量VF，计算出扩展的结构分量的尺寸(以下记为“扩展尺寸LS”或“尺寸LS”)(LS＝VF ×DS)。
拍摄对象检测部214在定义形态学收缩(erosion)的计算内容的算子中，设定尺寸LS作为结构分量SEe的尺寸(步骤S934)。在这里，尺寸LS以正数表示，设定的数值越大，结构分量的尺寸越大。即，帧间移动量VF越大，则规定形态学计算用结构分量尺寸越大。
一旦在各计算的算子中设定结构分量的尺寸，则拍摄对象检测部214基于该算子，按照“形态学膨胀(dilation)→形态学收缩(erosion)→形态学膨胀(dilation)”的顺序进行计算(步骤S935，步骤S936，步骤S937)。
此时，由于设定为形态学收缩(erosion)中使用的结构分量SEe的尺寸DS，为对应于移动量VF使形态学膨胀所使用的结构分量SEd中设定的尺寸DS扩展的尺寸LS，所以，以比形态学膨胀(dilation)执行时的膨胀量大的方式进行图像收缩。
如果这种形态学计算结束，则拍摄对象检测部214将经平滑化处理的拍摄对象区域作为最终的拍摄对象图像而提取(步骤S938)，处理结束(返回到“拍摄对象图像提取处理”(图18)的流程)。
在该“图像平滑化处理(3)”中，通过对形态学计算中使用的结构分量的默认尺寸(尺寸DS)乘以移动量VF，从而计算出扩展尺寸LS，因此，能够以与帧间移动量成比例的方式，增加形态学计算的处理量(膨胀或收缩的量)，因此，能够更加有效除去容易受到遮挡影响的无用部分。
在本实施方式中，作为形态学计算的例子，表示了按照“形态学膨胀(dilation)→形态学收缩(erosion)→形态学膨胀(dilation)”的顺序进行计算的情况。另外，也可以按照“形态学收缩(erosion)→形态学膨胀(dilation)→形态学收缩(erosion)”的顺序进行计算。
即，在算子中任意设定“打开(Opening)”(执行顺序“膨胀→收缩→膨胀”)或“关闭”(执行顺序为“收缩→膨胀→收缩”)的场合，通过对应于移动量VF使处理量(结构分量尺寸)不同，从而可谋求受遮挡影响的不要部分的有效去除。
此时，无论对形态学收缩(erosion)的处理量(结构分量的尺寸变更)适用哪个时间点的形态学收缩(erosion)均是任意的。例如，也可以为将所有形态学收缩(erosion)用结构分量尺寸处理得比形态学膨胀(dilation)的多的处理，此外，还可以为在“打开(Opening)”中采用进行形态学收缩(erosion)刚好比形态学膨胀(dilation)多的尺寸的结构分量的处理等。
另外，在本实施方式中，为了强化排除细微差异的倾向，增加形态学收缩(erosion)的处理量(扩展结构分量的尺寸)。另外，通过增加形态学膨胀(dilation)的处理量(扩展结构分量的尺寸)，可以谋求不要部分的有效去除。即，基于帧间移动量使处理量不同的目标无论形态学收缩(erosion)，还是形态学膨胀(dilation)都可以。
如上所述，通过如所述实施方式适用本发明，从而在生成频闪图像时的平滑化处理中，能够降低由于遮挡的影响而使得背景相位变动的影响，能够防止背景部分重复的情况。
总之，背景景深大的图像用连续拍摄图像生成时，如果由于图像拍摄时相机的微动而产生的帧图像间移动量大，则受到遮挡的影响导致背景部分的差异增加，误识别为移动的拍摄对象。为此，在帧间移动量大时，通过增加由形态学计算进行的平滑化处理的处理量，从而能够除去可能被误识别为移动拍摄对象的区域。
另外，在帧间移动量小的场合，通过不增加平滑化处理的处理量，不但能够降低整个处理负荷，而且，即使在移动拍摄对象区域小的场合，也不用删除该区域而能够生成频闪图像。
即，通过移动量越大越增加平滑化处理的处理量，能够有效生成良好的频闪图像。通过进行对所检测出的移动量和阈值的比较而进行这种平滑化处理的处理量的切换，能够有效进行处理。
或者，通过移动量乘以系数使得平滑化处理执行次数不同，或者通过结构分量默认尺寸乘以移动量而使得平滑化处理的处理量不同，从而能够更有效生成良好的频闪图像。
另外，尽管针对拍摄图像中的背景部分以基本上不变地方式进行的位置对准，但是，在帧间移动量大到不能位置对准的场合，因为从频闪图像的合成对象中除去该帧，所以，能够防止由于遮挡的影响而生成背景重复的频闪图像。
另外，根据具有手抖动补偿功能等的图像拍摄装置中，因为能够根据手抖动补偿用传感器的检测值而求得帧间移动量，所以，能够减轻帧间移动量计算处理，能够更加高速生成频闪图像。
所述实施方式只是一个例子，本发明的适用范围并非仅限于此。
例如，在所述实施方式中，为了检测频闪图像中的拍摄对象及背景，进行将拍摄图像转换成一维数据的处理，但是，检测拍摄对象及背景的方法是任意的，并不限于所述的例子。
另外，在所述实施方式中，作为有效帧的基准，尽管以拍摄对象不重合为条件，但是，作为有效帧的基准的条件是任意的，并不限于所述例子。
另外，在所述实施方式中，在进行图像平滑化处理时，尽管检测基准帧和后续的各帧之间的移动量，但是，求得移动量的帧为哪一帧是任意的。例如，可以求得邻接帧彼此之间的移动量。
进一步，求得移动量的方法也是任意的，只要能够得到可以判别是否容易受到遮挡的影响的数值即可。
另外，在所述实施方式3中，尽管是通过使得结构分量的尺寸不同，从而使得平滑化处理的处理量不同，但是，只要是与平滑效果不产生冲突，使尺寸之外的要素不同也可以。例如，只要结构分量形状的不同对平滑效果产生影响，基于帧间的移动量，使得适用的结构分量的形状不同也可以。
另外，在通过所述实施方式中例举的数码相机1这样的图像拍摄装置实现本发明的场合，可以提供预先具备本发明相关结构及功能的图像拍摄装置，除此之外，通过适用实现与控制部210各功能相同的功能的程序，也能够使得现有图像拍摄装置具有本发明图像拍摄装置的功能。
此外，在所述实施方式中，作为图像拍摄装置的例子，示出的是数字照相机，但是图像拍摄装置的形态是任意的。本发明也可适用于单体数字照相机。还可以适用于具有与此相同的图像拍摄功能的各种电子设备(例如便携电话等)。
在所述实施方式中，示出的是从相机连续拍摄功能得到的图像中生成频闪图像的例子。另外，因为可以得到拍摄对象连续变化的帧图像，所以，还能够由动画数据生成频闪图像。因此，本发明即使适用于图像拍摄机、具有动画图像拍摄功能的各种图像拍摄装置，仍能够高速生成频闪图像。
进一步，只要能够获取拍摄移动的拍摄对象的连续的多张图像，不限于图像拍摄装置，对于能够进行图像处理的各种装置(例如个人电脑)等，通过执行和所述各处理相同的处理，能够生成缓和遮挡影响的频闪图像。
通过在这些场合中采用相关程序，能够使得现有装置具有本发明涉及的图像拍摄装置的功能。
这种程序的适用方法是任意的，能够使用存储在CD-ROM或存储卡等存储介质中，也能够通过互联网等通信介质适用。
另外，按照进行图像处理的装置，通过适用所述程序，从而能够生成高速频闪图像。即，并不限于图像拍摄装置，例如通过所述程序适用于个人电脑等中，可以从预先拍摄的图像中高速生成频闪图像。
上面参照一个或多个优选实施方式对本申请的原理进行了描述，显然，对于这些优选实施方式，在不脱离这里公开的原理情况下，对设置和细节做出修改，本申请应按照包含在不脱离这里公开的主题之精神和范围的修改或者改变的方式构成。

Claims (9)

1.一种图像拍摄装置，具有：
图像拍摄单元，由图像拍摄生成连续的多个拍摄图像；
拍摄对象提取单元，从所述图像拍摄单元生成的各拍摄图像中，提取表示移动的拍摄对象部分的多个图像；
背景图像生成单元，根据所述图像拍摄单元生成的多个拍摄图像，生成背景图像；和
频闪图像生成单元，对所述背景图像生成单元生成的背景图像和表示所述拍摄对象提取单元提取出的多个拍摄对象部分的图像进行合成，生成频闪图像，
该图像拍摄装置的特征在于，还具有：
移动量检测单元，检测所述多个拍摄图像中的规定的图像间的移动量；和
图像平滑化单元，利用与所述移动量检测单元检测出的移动量相应的处理量，对所述图像进行平滑化处理。
2.根据权利要求1所述的图像拍摄装置，其特征在于，
所述移动量检测单元检测出的移动量越大，所述图像平滑化单元进行所述平滑化处理的处理量越多。
3.根据权利要求1所述的图像拍摄装置，其特征在于，
所述图像平滑化单元，根据所述移动量检测单元检测出的移动量与阈值的比较，使所述平滑化处理的执行次数不同。
4.根据权利要求1所述的图像拍摄装置，其特征在于，
所述图像平滑化单元，根据所述移动量检测单元检测出的移动量乘以系数后得到的数值，使所述平滑化处理的执行次数不同。
5.根据权利要求1所述的图像拍摄装置，其特征在于，
所述图像平滑化单元，通过形态学计算进行所述平滑化处理，根据所述移动量检测单元检测出的移动量，通过使所述形态学计算中使用的结构分量不同，使所述平滑化处理的处理量不同。
6.根据权利要求5所述的图像拍摄装置，其特征在于，
所述图像平滑化单元根据所述移动量，使所述结构分量的尺寸不同。
7.根据权利要求1所述的图像拍摄装置，其特征在于，
所述移动量检测单元在进行所述拍摄图像的位置对准时求出所述移动量，
所述图像拍摄装置还具有：
图像选择单元，在所述移动量检测单元检测出的所述移动量为规定的阈值以上时，将检测出该移动量的图像，从基于所述频闪图像生成单元的合成对象中除去。
8.根据权利要求1所述的图像拍摄装置，其特征在于，
还具有：传感器单元，检测所述图像拍摄装置中产生的晃动，
所述移动量检测单元根据所述传感器单元的检测结果，检测帧间的移动量。
9.一种频闪图像生成方法，在进行图像处理的装置中，由拍摄移动的拍摄对象的连续的多个图像生成频闪图像，该频闪图像生成方法的特征在于，
所述装置执行如下步骤：
拍摄对象提取步骤，从所述多个图像中提取表示移动的拍摄对象部分的多个图像；
背景图像生成步骤，由所述多个图像生成背景图像；
移动量检测步骤，检测所述多个图像中的规定图像间的移动量；
图像平滑化步骤，利用与所述移动量检测步骤中检测出的移动量相应的处理量，对所述拍摄对象提取步骤中提取出的图像进行平滑化处理；和
频闪图像生成步骤，对所述背景图像生成步骤中生成的背景图像和表示所述拍摄对象提取步骤中提取出的多个拍摄对象部分的图像进行合成，生成频闪图像。
CN2009110002623A 2008-12-18 2009-12-16 图像拍摄装置及频闪图像生成方法 Active CN101783877B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008322960 2008-12-18
JP2008-322960 2008-12-18
JP2009-143736 2009-06-16
JP2009143736A JP4735742B2 (ja) 2008-12-18 2009-06-16 撮像装置、ストロボ画像生成方法、および、プログラム

Publications (2)

Publication Number Publication Date
CN101783877A true CN101783877A (zh) 2010-07-21
CN101783877B CN101783877B (zh) 2013-03-27

Family

ID=42265469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009110002623A Active CN101783877B (zh) 2008-12-18 2009-12-16 图像拍摄装置及频闪图像生成方法

Country Status (3)

Country Link
US (2) US8462217B2 (zh)
JP (1) JP4735742B2 (zh)
CN (1) CN101783877B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547103A (zh) * 2010-12-28 2012-07-04 华晶科技股份有限公司 电子装置、影像拍摄装置及其方法
CN104023172A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 动态影像的拍摄方法和拍摄装置
CN107451987A (zh) * 2016-05-30 2017-12-08 艾司科软件有限公司 用于图形图像中的细线的检测和移除的***和方法
CN108989698A (zh) * 2017-11-22 2018-12-11 漳州龙文区炼盛合信息技术有限公司 手机控制方法
CN113316804A (zh) * 2019-01-16 2021-08-27 索尼集团公司 图像处理装置、图像处理方法和程序

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418855B2 (ja) * 2008-02-26 2014-02-19 日本電気株式会社 点滅信号検出回路、点滅信号検出方法、物体検知装置、物体検知方法、及び撮像システム
JP4735742B2 (ja) * 2008-12-18 2011-07-27 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
JP2011139282A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置、撮像装置、画像処理方法およびプログラム
US9702695B2 (en) * 2010-05-27 2017-07-11 Hitachi High-Technologies Corporation Image processing device, charged particle beam device, charged particle beam device adjustment sample, and manufacturing method thereof
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
JP2012253713A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5803467B2 (ja) * 2011-09-14 2015-11-04 株式会社リコー 画像処理装置および撮像装置、ならびに画像処理方法
CN102523379B (zh) * 2011-11-09 2014-07-30 哈尔滨工业大学 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
CN104115487A (zh) * 2012-02-20 2014-10-22 索尼公司 图像处理装置、图像处理方法和程序
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
US8786767B2 (en) * 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
KR20140132568A (ko) * 2013-05-08 2014-11-18 삼성전자주식회사 움직이는 물체를 하나의 이미지에 합성하기 위한 장치 및 방법
US20150271381A1 (en) * 2014-03-20 2015-09-24 Htc Corporation Methods and systems for determining frames and photo composition within multiple frames
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN107360381A (zh) * 2017-07-03 2017-11-17 联想(北京)有限公司 数据处理方法及拍照设备
CN113469200A (zh) 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 数据处理方法和***、存储介质、计算设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3793258B2 (ja) * 1995-10-03 2006-07-05 日本放送協会 動画像処理装置および方法
JP3738087B2 (ja) * 1996-09-09 2006-01-25 富士写真フイルム株式会社 動画像のプリント方法及び画像処理方法
US7254279B2 (en) * 2003-10-17 2007-08-07 Hewlett-Packard Development Company, L.P. Method for image stabilization by adaptive filtering
CN100440944C (zh) * 2003-11-11 2008-12-03 精工爱普生株式会社 图像处理装置以及图像处理方法
JP4574185B2 (ja) * 2004-02-17 2010-11-04 キヤノン株式会社 撮像装置及び閃光装置の制御方法
JP4466261B2 (ja) * 2004-07-30 2010-05-26 カシオ計算機株式会社 撮像装置、明るさ補正方法及びプログラム
JP4433959B2 (ja) * 2004-09-21 2010-03-17 株式会社ニコン 携帯型情報機器
JP4735742B2 (ja) * 2008-12-18 2011-07-27 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547103A (zh) * 2010-12-28 2012-07-04 华晶科技股份有限公司 电子装置、影像拍摄装置及其方法
CN104023172A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 动态影像的拍摄方法和拍摄装置
CN107451987A (zh) * 2016-05-30 2017-12-08 艾司科软件有限公司 用于图形图像中的细线的检测和移除的***和方法
CN107451987B (zh) * 2016-05-30 2020-08-11 艾司科软件有限公司 用于图形图像中的细线的检测和移除的***和方法
CN108989698A (zh) * 2017-11-22 2018-12-11 漳州龙文区炼盛合信息技术有限公司 手机控制方法
CN108989698B (zh) * 2017-11-22 2021-01-01 深圳市宏图物联科技有限公司 手机控制方法
CN113316804A (zh) * 2019-01-16 2021-08-27 索尼集团公司 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
JP2010166545A (ja) 2010-07-29
US8462217B2 (en) 2013-06-11
JP4735742B2 (ja) 2011-07-27
US20130188873A1 (en) 2013-07-25
US20100157085A1 (en) 2010-06-24
US8633994B2 (en) 2014-01-21
CN101783877B (zh) 2013-03-27

Similar Documents

Publication Publication Date Title
CN101783877B (zh) 图像拍摄装置及频闪图像生成方法
US8345986B2 (en) Image processing apparatus, image processing method and computer readable-medium
EP3331231A1 (en) Image processing apparatus, image processing method, and imaging system
JP4578334B2 (ja) 撮像レンズの合焦位置決定装置およびその方法
CN104660900A (zh) 图像处理装置及图像处理方法
CN107787463B (zh) 优化对焦堆栈的捕获
US9811909B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
JP7223079B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN105376477B (zh) 检测装置以及检测方法
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
CN104755981B (zh) 图像处理装置、摄像装置及图像处理方法
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
CN102196166A (zh) 摄像装置及显示方法
JP2007003656A (ja) 撮像レンズの合焦位置決定装置およびその方法
CN107547789B (zh) 影像获取装置及其摄影构图的方法
JP5484129B2 (ja) 撮像装置
JP2020184669A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP6063680B2 (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
JP2011135227A (ja) 被写体追跡装置及びその制御方法
JP2015055988A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7458723B2 (ja) 画像処理装置、撮像装置、制御方法、およびプログラム
JP7324066B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP6827778B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5826309B2 (ja) 画像処理装置及び画像処理装置の制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant