CN101998058A - 摄像装置和图像处理装置 - Google Patents

摄像装置和图像处理装置 Download PDF

Info

Publication number
CN101998058A
CN101998058A CN2010102605636A CN201010260563A CN101998058A CN 101998058 A CN101998058 A CN 101998058A CN 2010102605636 A CN2010102605636 A CN 2010102605636A CN 201010260563 A CN201010260563 A CN 201010260563A CN 101998058 A CN101998058 A CN 101998058A
Authority
CN
China
Prior art keywords
image
certain objects
photography
images
field picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102605636A
Other languages
English (en)
Inventor
横畠正大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101998058A publication Critical patent/CN101998058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像装置和图像处理装置，摄像装置具备：摄像部，输出摄影所得图像的图像数据；和摄影控制部，使所述摄像部依次拍摄将特定物体包含在被摄物体中的多个对象图像。所述摄影控制部根据所述特定物体的移动速度，设定所述多个对象图像的摄影间隔。

Description

摄像装置和图像处理装置
技术领域
本发明涉及数码相机或数码摄像机等摄像装置、以及对图像实施图像处理的图像处理装置。
背景技术
如图19所示，将运动的特定被摄物体(被摄体)包含在摄影对象中进行连拍(连续摄影)，可以得到注重特定被摄物体的所谓单幅播放图像。此外，提出了一种方法，从得到的多个摄影图像中，分别切出并提取出特定被摄物体的图像部分进行合成，生成所谓的频闪图像。
这时，只要连拍间隔这个时间上相邻的摄影图像的摄影间隔适当，在摄影图像列上和频闪图像上，不同摄影时刻的特定被摄物体的像就会以适当的位置间隔配置。但是，在该连拍间隔过短的情况下，如图20所示，特定被摄物体在不同的摄影时刻间，位置变化会很小，相邻摄影图像间的特定被摄物体的位置变化很少，同时，在频闪图像上，不同摄影时刻的特定被摄物体的像会重合；反之，在该连拍间隔过长的情况下，如图21所示，特定被摄物体在不同的摄影时刻间，位置变化会很大，特定被摄物体会不包含在后来拍摄的图像中，或者最后描绘在频闪图像上的特定被摄物体的个数减少。
第1现有方法中，在显示部上显示将摄影区域分割为多个的细长框，在特定被摄物体进入各细长框内的时间点，使摄影者按下快门按钮，得到特定被摄物体的像以适当位置间隔配置的摄影图像列。然而，该现有方法中，需要摄影者自身判断特定被摄物体是否进入各细长框内，摄影者每次都要恰到好处地按下快门按钮，所以，摄影者负担重，往往错过按下快门按钮的时机。
另一方面，提供了一种以固定帧频拍摄帧图像列并保存在存储介质中，再现时从保存的帧图像列中提取出运动的被摄物体部分的图像进行合成的方法。
第2现有方法中，对于从各帧图像提取出的部分图像，按照解码顺序，仅合成与前面的帧图像相比存在一定变动的被摄物体部分的图像即部分图像。但是，在上述方法中，如果所要关注的特定被摄物体的运动速度较小，相邻帧图像间的特定被摄物体就会被判断为不存在一定的变动，这样特定被摄物体会被排除在合成对象之外(结果，不能生成注重特定被摄物体的频闪图像)。
此外，上述第1现有方法内的再现时所涉及的方法中，如图22所示，以保存的帧图像列的首个帧图像901为基准，生成首个帧图像901与其它帧图像902和903之间的差分图像，求出动态区域911和912这种产生差分的图像区域的位置。在图22和后述的图23中，差分图像中的黑色区域是动态区域。第1现有方法中判断帧图像902上的动态区域911内的图像是特定被摄物体图像，同时，判断帧图像903上的动态区域912内的图像是特定被摄物体图像。图22仅表示了基于3张帧图像的2个动态区域，实际上是根据多个帧图像求出2个以上动态区域的位置。然后，在合成图像上，设定多个细长框，选择进入各细长框的动态区域，在合成图像上依次覆盖所选择的动态区域内的图像，完成特定被摄物体被均等配置的合成图像。该方法在图22所示的状况下有效，也就是在“1个动态区域仅对应1个摄影时刻的特定被摄物体”这样的状况下有效。
第1现有方法内再现时所涉及的方法中，必须存在所谓的背景图像(帧图像901那样的图像)，该背景图像中不存在运动的特定被摄物体。
参照图23，说明不存在背景图像时的第1现有方法的动作。如图23所示，在保存的帧图像列的首个帧图像是包含特定被摄物体的图像921的情况下，基于该帧图像921与第2个帧图像922的差分的动态区域就会像图23的区域931那样；基于帧图像921与第3个帧图像923的差分的动态区域就会像图23的区域932那样。动态区域931相当于帧图像921上的特定被摄物体区域与帧图像922上的特定被摄物体区域结合起来的区域；动态区域932相当于帧图像921上的特定被摄物体区域与帧图像923上的特定被摄物体区域结合起来的区域。在得到动态区域931的情况下，会判断帧图像922上的动态区域931内的图像是特定被摄物体的图像，并进行合成处理(对于动态区域932也是同样)。由于该判断不正确，所以得到的合成图像与期望的图像相差悬殊。也就是说，在图23所示的状况下，“1个动态区域仅对应1个摄影时刻的特定被摄物体”这一前提不成立，第1现有方法的合成图像的生成方法无效。另外，虽然是假设成为合成等对象的多张图像是通过连拍获得，对现有技术进行了说明，但可以说，对于通过运动运动图像摄影得到那些图像，也是同样。
发明内容
本发明的第1摄像装置具备：摄像部，输出摄影所得图像的图像数据；和摄影控制部，使所述摄像部依次拍摄特定物体包含在被摄物体中的多个对象图像。所述摄影控制部按照所述特定物体的移动速度，设定所述多个对象图像的摄影间隔。
本发明的第2摄像装置具备：摄像部，输出摄影所得图像的图像数据；和摄影控制部，使所述摄像部依次拍摄特定物体包含在被摄物体中的多个帧图像。所述摄影控制部包括对象图像选择部，该对象图像选择部根据所述特定物体的移动速度，从所述多个帧图像中选择多个对象图像。
本发明的第1图像处理装置具备：图像选择部，从特定物体包含在被摄物体中的通过依次摄影得到的多个输入图像所包含的m张输入图像中，选择p张作为p张选择图像(m和p是2以上的整数，m＞p)。所述图像选择部选择所述p张选择图像，使得所述p张选择图像所包含的第i和第(i+1)个选择图像上的所述特定物体间的距离，大于与所述特定物体大小相应的基准距离(i是1以上且(p-1)以下的整数)。
本发明的第3摄像装置具备：摄像部，输出摄影所得图像的图像数据；连拍控制部，使所述摄像部连拍特定物体包含在被摄物体中的多个对象图像；和物体特性导出部，根据所述多个对象图像摄影前所述摄像部输出的图像数据，检测所述特定物体的移动速度。所述连拍控制部根据检测出的所述移动速度，设定所述多个对象图像的连拍间隔。
本发明的第2图像处理装置具备：图像选择部，从特定物体包含在被摄物体中的通过依次摄影得到的m张输入图像所包含的m张输入图像中，选择p张作为p张选择图像(m和p是2以上的整数，m＞p)；和物体检测部，通过追踪处理检测各输入图像上的所述特定物体的位置和大小，该追踪处理中根据各输入图像的图像数据在所述m张输入图像上追踪所述特定物体。所述图像选择部选择所述p张选择图像，使基于所述物体检测部对位置的检测结果的所述p张选择图像所包含的第i和第(i+1)的选择图像上的所述特定物体间的距离，大于基于所述物体检测部对大小的检测结果的第i和第(i+1)的选择图像上的按照所述特定物体大小的基准距离(i是1以上、(p-1)以下的整数)。
本发明的意义和效果通过以下所示的对实施方式的说明会进一步明确，但是，以下的实施方式总归是本发明的一个实施方式，本发明和各构成要件的用语意义并不限于以下实施方式的记述内容。
附图说明
图1是本发明的第1实施方式的摄像装置的整体框图。
图2是表示配置任意二维图像的空间区域的二维坐标系(图像空间)。
图3是表示本发明的第1实施方式的根据多个对象图像生成频闪图像的情况的示意图。
图4是表示本发明的第1实施方式的预览图像列与对象图像列的关系。
图5是本发明的第1实施方式的特别与特殊连拍模式动作有关的部位的框图。
图6是表示本发明的第1实施方式的在预览图像或对象图像上设定追踪对象区域的情况的示意图。
图7是本发明的第1实施方式的由2张预览图像上的追踪对象的位置导出追踪对象移动速度的方法的说明图。
图8是本发明的第1实施方式的由2张预览图像上的追踪对象的大小导出被摄物体尺寸(追踪对象的平均大小)的方法的说明图。
图9是图5的连拍可否判断部导出追踪对象的可移动距离的方法的说明图。
图10是图5的连拍可否判断部导出追踪对象的推定移动距离的方法的说明图。
图11是本发明的第1实施方式的特殊连拍模式下的摄像装置的动作流程图。
图12(a)、(b)和(c)是表示本发明的第1实施方式的判断为不可以连拍情况下提示的显示图像例。
图13是本发明的第2实施方式的特别与特殊再现模式动作有关的部位的框图。
图14是本发明的第2实施方式的帧图像列的示意图。
图15是表示本发明的第2实施方式的追踪对象设定时的显示图像。
图16是表示本发明的第2实施方式的将2张帧图像上的追踪对象和追踪对象区域显示在共同的图像空间(共同的纸面)上的示意图。
图17是表示本发明的第2实施方式的频闪图像。
图18是本发明的第2实施方式的特殊再现模式下的摄像装置的动作流程图。
图19是表示现有方法的摄影图像列和基于它的频闪图像。
图20是表示现有方法的另一摄影图像列和基于它的频闪图像。
图21是表示现有方法的又一摄影图像列和基于它的频闪图像。
图22是表示现有方法的由帧图像间的差分提取动态区域的情况的示意图。
图23是表示现有方法的由帧图像间的差分提取动态区域的情况的示意图。
图24是表示本发明的第3实施方式的运动图像的结构图。
图25是特别与本发明的第3实施方式的动作有关的部位的框图。
图26是表示本发明的第3实施方式的3张对象帧图像与频闪运动图像之间的关系。
图27是本发明的第3实施方式的摄像装置的动作流程图。
图28是本发明的第3实施方式的摄像装置的动作流程图。
图29是表示本发明的第4实施方式的运动图像的结构图。
图30是特别与本发明的第4实施方式的动作有关的部位的框图。
图31(a)、(b)和(c)是表示本发明的第4实施方式的从对象帧图像候补中选择对象帧图像的情况的示意图。
图32是本发明的第4实施方式的摄像装置的动作流程图。
图33是表示本发明的第5实施方式的运动图像的结构图。
图34是本发明的第5实施方式的用来说明追踪对象的推定移动距离的意义的说明图。
图35是本发明的第5实施方式的摄像装置的动作流程图。
具体实施方式
下面，参照附图，对本发明的实施方式进行具体说明。参照的各图中，对同一部分附加同一符号，原则上省略关于同一部分的重复说明。
《第1实施方式》
对本发明的第1实施方式进行说明。图1是本发明的第1实施方式的摄像装置1的整体框图。摄像装置1包括按符号11～28参照的各部位。摄像装置1是数码摄像机，可以拍摄运动图像和静止图像，同时，也可以在运动图像摄影过程中同时拍摄静止图像。摄像装置1内的各部位通过总线24或25传递各部位间的信号(数据)。另外，显示部27和/或扬声器28也可以设置在摄像装置1的外部装置(未图示)上。
摄像部11具备除摄像元件(图像传感器)33之外的未图示的光学***、光圈和驱动器。摄像元件33通过多个受光像素在水平和垂直方向上排列而形成。摄像元件33是由CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)图像传感器等组成的固体摄像元件。摄像元件33的各受光像素对通过光学***和光圈射入的被射物体的光学图像进行光电转换，将通过该光电转换得到的电信号输出至AFE12(Analog Front End：模拟前端)。构成光学***的各透镜使被射物体的光学图像在摄像元件33上成像。
AFE12对摄像元件33(各受光像素)输出的模拟信号进行放大，将放大后的模拟信号转换成数字信号，之后输出至影像信号处理部13。AFE12中信号放大的放大幅度由CPU(Central Processing Unit)23控制。影像信号处理部13对由AFE12的输出信号表示的图像进行必要的图像处理，生成与图像处理后的图像相应的影像信号。话筒14将摄像装置1周围声音转换为模拟声音信号，声音信号处理部15将该模拟声音信号转换为数字声音信号。
压缩处理部16使用规定的压缩方式，对来自影像信号处理部13的影像信号和来自声音信号处理部15的声音信号进行压缩。内部存储器17由DRAM(Dynamic Random Access Memory)等组成，暂时保存各种数据。作为存储介质的外部存储器18是半导体存储器或磁盘等非易失性存储器，它将压缩处理部16压缩后的影像信号和声音信号以相互关联的状态进行记录。
解压处理部19对从外部存储器18读出的压缩过的影像信号和声音信号进行解压。被解压处理部19解压后的影像信号或来自影像信号处理部13的影像信号经由显示处理部20被送至由液晶显示器等组成的显示部27，作为图像显示。此外，被解压处理部19解压后的声音信号经由声音输出电路21被送至扬声器28，作为声音输出。
TG(定时生成器)22生成用来控制摄像装置1全体各动作的定时的定时控制信号，将生成的定时控制信号提供给摄像装置1内的各部。定时控制信号包含垂直同步信号Vsync和水平同步信号Hsync。CPU23总体控制摄像装置1内的各部位的动作。操作部26包括用来指示运动图像的拍摄和记录的开始/结束的录像按钮26a、用来指示静止图像拍摄和记录的快门按钮26b和操作键26c等，它受理使用者的各种操作。对操作部26的操作内容被传达至CPU23。
摄像装置1的工作模式包含：可拍摄和记录图像(静止图像或运动图像)的摄影模式、和将记录在外部存储器18上的图像(静止图像或运动图像)在显示部27上再现显示的再现模式。各模式间的转换根据对操作键26c的操作来实施。以再现模式工作时的摄像装置1具有图像再现装置的功能。
在摄影模式下，被摄物体被接连拍摄，依次取得被摄物体的摄影图像。将表现图像的数字影像信号称为图像数据。
另外，图像数据的压缩和解压与本发明的本质无关，所以在以下的说明中，将忽略图像数据的压缩和解压(换言之，例如简单地将记录被压缩过的图像数据，表现为记录图像数据)。此外，在本说明书中，有时也将某些图像的图像数据简称为图像。
如图2所示，定义一个配置任意二维图像300的空间区域(spatialdomain)的二维坐标系XY。也可以将二维坐标系XY改称为图像空间。图像300是例如上述的摄影图像，或者后述的频闪图像、预览图像、对象图像或帧图像。X轴和Y轴是二维图像300沿水平方向和垂直方向的轴。二维图像300是多个像素在水平方向和垂直方向排列成矩阵状而形成的，作为二维图像300上某一像素的像素301的位置用(x，y)表示。在本说明书中，也将像素的位置简称为像素位置。x和y分别是像素301的X轴和Y轴方向的坐标值。在二维坐标系XY上，当某像素的位置向右侧偏移1个像素，则该像素在X轴方向的坐标值就会增1；当某像素的位置向下侧偏移1个像素，则该像素在Y轴方向的坐标值就会增1。所以，在像素301的位置是(x，y)的情况下，与像素301的右侧、左侧、下侧和上侧相邻的像素的位置分别用(x+1，y)、(x-1，y)、(x，y+1)、(x，y-1)表示。
摄像装置1的摄影模式的一种是特殊连拍模式。如图3所示，特殊连拍模式中，通过连拍取得所要关注的特定被摄物体被以期望的位置间隔配置的多个摄影图像(在图3所示的例子中是图像311～314)。以下，将特殊连拍模式下连拍的摄影图像称为对象图像。通过合成连拍得到的多个对象图像，可以生成将各对象图像上的特定被摄物体表现在一张图像上的频闪图像。图3的图像315是基于图像311～314的频闪图像。
使用者通过对操作部26实施规定操作，可以将摄像装置1的工作模式设定为特殊连拍模式。以下，说明第1实施方式中特殊连拍模式下的摄像装置1的动作。
图4是表示特殊连拍模式下拍摄的图像列的结构图像。所谓图像列是指按时序排列的多个静止图像的集合。快门按钮26b可以进行两档的按下操作。使用者在轻按快门按钮26b时，快门按钮26b是半按下状态，由该状态进一步按下快门按钮26b时，快门按钮26b是全按下状态。使快门按钮26b的状态处于全按下的状态的操作，特别称为快门操作。在特殊连拍模式下进行快门操作时，其后立即会有p张对象图像被连拍(换言之，p张对象图像被连续拍摄)。p是2以上的整数。使用者可以自由决定对象图像的张数(即p的值)。
在p张对象图像内，分别用符号In、In+1、...、In+p-1表示第1个、第2个、...、第p个拍摄的对象图像(n是整数)。将第1个对象图像In摄影前的通过摄影得到的摄影图像称为预览图像。预览图像以固定帧频(例如，60fps(frame per second))依次拍摄。对预览图像列分配符号I1～In-1。如图4所示，摄影是随着时间的推移，按照预览图像I1、I2、…、In-3、In-2、In-1的顺序进行，对象图像In的摄影接着预览图像In-1的摄影之后进行。预览图像列作为运动图像被显示在显示部27上，使用者一边确认显示图像，一边研究实行快门操作的定时。
图5是包含在摄像装置1内的尤其与特殊连拍模式动作有关的部位的框图。图5所示的各部位由图1的CPU23或影像信号处理部13实现。例如，可以将追踪处理部(物体检测部)51和频闪图像生成部(图像合成部)54安装在影像信号处理部13上，CPU23内可以预设追踪对象特性计算部(物体特性导出部)52和连拍控制部53。连拍控制部53中设有连拍可否判定部55和通知控制部56。
追踪处理部51根据输入运动图像的图像数据，对输入运动图像上的关注物体实行在输入运动图像上追踪的追踪处理。这里的输入运动图像是指，由包含预览图像I1～In-1的预览图像列和包含对象图像In～In+p-1的对象图像列组成的运动图像。关注物体是拍摄输入运动图像时摄像装置1的关注被摄物体。要通过追踪处理进行追踪的关注物体以下称为追踪对象。
使用者可以指定追踪对象。例如，可以在显示部27预设所谓的触摸面板功能。然后，使用者在预览图像显示在显示部27的显示画面上时，用手指触摸显示了关注物体的显示画面上的显示区域，就会将该关注物体设定为追踪对象。或者，例如使用者也可以通过对操作部26的规定操作来指定追踪对象。还或者，也可以利用面部识别处理，使摄像装置1自动设置追踪对象。也就是说，例如，可以根据预览图像的图像数据，从预览图像中提取出包含人物面部的区域即面部区域，然后通过面部识别处理，比对该面部区域包含的面部是否与预先注册的人物面部一致，在确认一致的情况下，将具有该面部区域中所含面部的人物设定为追踪对象。
或者，还可以将预览图像列上的移动物体自动设定为追踪对象。这时，只要使用公知的方法，从时间上相邻的2张预览图像间的光流(optical flow)提取出要设定为追踪对象的移动物体即可。光流是表示图像上的物体的运动方向和大小的运动向量束。
为了便于说明，以下在预览图像I1中设定追踪对象。在追踪对象设定后，追踪处理就根据输入运动图像的图像数据，逐次检测各预览图像和各对象图像上的追踪对象的位置和大小。实际上，存在表示追踪对象的图像数据的图像区域作为追踪对象区域在各预览图像和各对象图像上进行设定，作为追踪对象的大小和位置检测追踪对象区域的中心位置和大小。在预览图像中所设定的追踪对象区域内的图像是该预览图像的一部分图像(对于对象图像等也同样)。可以利用追踪对象区域内所属像素的数量来表现作为追踪对象大小检测的追踪对象区域的大小。另外，将本发明的各实施方式的说明文中的用语“中心位置”换成“重心位置”来读也无妨。
追踪处理部51输出追踪结果信息，该追踪结果信息包含表示各预览图像和各对象图像上的追踪对象的位置和大小的信息。追踪结果信息规定了追踪对象区域的形状。例如，(与后述的图6等所示的状况不同)在追踪对象区域为矩形区域的情况下，只要使该矩形区域的对角线上的2个顶点的坐标值包含在追踪对象区域中即可，或者使该矩形区域的1个顶点的坐标值和该矩形区域的水平和垂直方向的大小包含在追踪对象区域中即可。
能够以如下方式执行第1和第2的被运算图像间的追踪处理。这里的第1被运算图像是指已经检测了追踪对像的位置和大小的预览图像或对象图像；第2被运算图像是指此后要检测追踪对象的位置和大小的预览图像或对象图像。第2被运算图像通常是接着第1被运算图像后拍摄的图像。
例如，追踪处理部51可以根据追踪对象所具有的图像特征进行追踪处理。图像特征包含亮度信息和色彩信息。更具体而言就是，例如在第2被运算图像内，设定一种被推定为大小与追踪对象区域相同的追踪框，在搜索区域内依次变更追踪框的位置，同时，执行第2被运算图像中的追踪框内的图像的图像特征与第1被运算图像中的追踪对象区域内的图像的图像特征之间的相似性评价，判断第2被运算图像中的追踪对象区域的中心位置存在于相似性最大的追踪框的中心位置。对第2被运算图像的搜索区域以第1被运算图像的追踪对象的位置为基准设定。
在判明第2被运算图像的追踪对象区域的中心位置之后，可以适当使用公知的轮廓提取处理等，将包含该中心位置的由边沿围成的封闭区域域域作为第2被运算图像的追踪对象区域提取。或者，也可以由具有单纯的图形形状(矩形或椭圆)的区域来近似该封闭区域，将其作为追踪对象区域提取。在以下说明中，如图6所示，假设：追踪对象是人物，且追踪对象区域近似于包含该人物的躯干和头部的椭圆状区域。
另外，作为检测图像上的追踪对象的位置和大小的方法，可以采用与上述方法不同的其他任意的方法(例如特开2004-94680号公报所述的方法或特开2009-38777号公报所述的方法)。
追踪对象特性计算部52根据对预览图像列进行的追踪处理的追踪结果信息，计算图像空间上追踪对象的移动速度SP，同时计算与追踪对象大小相应的被摄物体的尺寸(物体尺寸)SIZE。移动速度SP是对象图像列上追踪对象的移动速度的推定值，被摄物体尺寸SIZE是各对象图像上追踪对象的大小的推定值。
根据2张以上的预览图像的追踪结果信息，也就是根据2张以上的预览图像上的追踪对象区域的位置和大小，可以计算移动速度SP和被摄物体尺寸SIZE。
对根据2张预览图像的追踪结果信息计算移动速度SP和被摄物体尺寸SIZE的方法进行说明。由IA和IB表示用来计算移动速度SP和被摄物体尺寸SIZE的2张预览图像。预览图像IB是在尽可能接近对象图像In摄影时刻的时刻拍摄的预览图像，预览图像IA是先于预览图像IB拍摄的预览图像。例如，预览图像IA和IB分别是预览图像In-2和In-1。但是，也可以将预览图像IA和IB分别设为预览图像In-3和In-1，或者设为预览图像In-3和In-2，或者设为其它的。以下，只要没有特别记述，就假定预览图像IA和IB分别是预览图像In-2和In-1。
可以根据预览图像IA中的追踪对象区域的中心位置(xA，yA)和预览图像Ib中的追踪对象区域的中心位置(xB，yB)，按照根据下式(1)计算移动速度SP。如图7所示，dAB是图像空间上的中心位置(xA，yA)和(xB，yB)之间的距离。在图7和后述的图8中，由虚线330A和330B包围的椭圆状区域分别是预览图像IA和IB中的追踪对象区域。INTPR是预览图像IA和IB的摄影间隔，如上所述，由于预览图像IA和IB是预览图像In-2和In-1，所以INTPR是相邻的预览图像的摄影间隔，即预览图像列的帧频的倒数。因此，若预览图像列的帧频为60fps，则INTPR为1/60秒。
SP＝dAB/INTPR    ...(1)
另一方面，可以根据预览图像IA中的追踪对象区域的特定方向尺寸LA和预览图像Ib中的追踪对象区域的特定方向尺寸LB，计算被摄物体尺寸SIZE。图8是将预览图像IA上的追踪对象区域330A和预览图像IB上的追踪对象区域330B表示在同一图像空间(二维坐标系XY)上的图。连接中心位置(xA，yA)和(xB，yB)之间的直线332与追踪对象区域330A的外形相交于交点334和335，直线332与追踪对象区域330B的外形相交于交点336和337。交点334和335之间的距离作为特定方向尺寸LA而求出，交点336和337之间的距离作为特定方向尺寸LB而求出。另外，特定方向尺寸LA和LB的平均值被代入被摄物体尺寸SIZE中。
说明除了与预览图像In-2和In-1即预览图像IA和IB相关的追踪结果信息以外，进一步使用与预览图像In-3即预览图像IC相关的追踪结果信息，计算移动速度SP和被摄物体尺寸SIZE的方法。在这种情况下，可以按照“SP＝(dCA+dAB)/(2·INTPR)”计算移动速度SP。这里，dCA是图像空间上的中心位置(xC，yC)和(xA，yA)之间的距离，中心位置(xC，yC)是预览图像IC上的追踪对象区域的中心位置。此外，可以特定出连接中心位置(xC，yC)和(xA，yA)之间的直线与预览图像IC上的追踪对象区域330C的外形相交的2个交点位置，将这2个交点间的距离作为特定方向尺寸LC求出，将特定方向尺寸LA、LB和LC的平均值作为被摄物体尺寸SIZE求出。根据4张以上的预览图像的追踪结果信息计算移动速度SP和被摄物体尺寸SIZE的情况也是同样。
按照上述方法求出的移动速度SP(追踪对象的平均移动速度)和被摄物体尺寸SIZE(追踪对象的平均尺寸)被送至连拍控制部53。
连拍控制部53按照公式“(连拍间隔INTTGT)＝(目标被摄物体间隔α)/(移动速度SP)”，更加明确地说是按照下述公式(2)，来设定对象图像列摄影时的连拍间隔INTTGT。
INTTGT＝α/SP....(2)
连拍间隔INTTGT是指时间上相邻的2张对象图像(例如，In和In+1)的摄影时刻之间的间隔。对象图像In的摄影时刻严密地讲是指，例如对象图像In曝光期间的开始时刻或中间时刻(对象图像In+1等也是同样)。
所谓目标被摄物体间隔α是指时间上相邻的2张对象图像上的追踪对象区域的中心位置之间的距离的目标值。换言之，例如对象图像In上的追踪对象区域的中心位置(xn，yn)与对象图像In+1上的追踪对象区域的中心位置(xn+1，yn+1)之间的距离的目标值是目标被摄物体间隔α。连拍控制部53根据被摄物体尺寸SIZE决定目标被摄物体间隔α。例如，根据被摄物体尺寸SIZE来决定目标被摄物体间隔α，使得“α＝SIZE”、或“α＝k0×SIZE”、或“α＝SIZE+k1”。k0和k1是预先规定的系数。但是，也可以按照使用者的指示来规定目标被摄物体间隔α。此外，使用者也可以规定系数k0和k1的值。
连拍控制部53在连拍间隔INTTGT设定后，原则上为了使p张对象图像以连拍间隔INTTGT连拍，会协同TG22(参照图1)控制摄像部11，力争取得追踪对象以大致固定的位置间隔配置的p张对象图像。但是，在连拍开始时，有时也会因追踪对象的位置等而无法取得那样的p张对象图像。
因此，包含在连拍控制部53内的连拍可否判断部55(参照图5)将先于p张对象图像的连拍，判断可否连拍p张对象图像。为了具体说明，假定p＝5，然后参照图9和图10说明其判断方法。图9所示的图像In’是假设第1个对象图像为In的图像(下称假设对象图像)。假设对象图像In’不是实际摄影所得图像，是根据追踪结果信息推定的。位置350是假设对象图像In’上的追踪对象区域的中心位置。箭头360表示图像空间中追踪对象的移动方向。移动方向360与从上述中心位置(xA，yA)向中心位置(xB，yB)的方向(参照图7和图8)、或从上述中心位置(xC，yC)向中心位置(xB，yB)的方向一致。
位置350是从预览图像In-1上的追踪对象区域的中心位置向移动方向360偏移了距离(SP×INTPR)之后的位置。但是，在此认为预览图像In-1和对象图像In的摄影时刻之间的时间差与预览图像的连拍间隔INTTGT一致。
连拍可否判断部55假定在对象图像列的摄影期间中追踪对象在对象图像列上以移动速度SP向移动方向360移动之后，计算对象图像列上追踪对象的可移动距离DISAL。定义以位置350为起点向移动方向360延伸的线段361，求得线段361与假设对象图像In’的外形之间的交点362。计算位置350与交点362之间的距离，将其作为可移动距离DISAL。
另一方面，连拍可否判断部55在p张对象图像的摄影期间中，推定图像空间上(和对象图像列上)的追踪对象的移动距离DISEST。参照图10。图10表示了同一图像空间中的5个位置350～354。如上所述，图10的位置350是假设对象图像In’上的追踪对象区域的中心位置。在图10中，包含位置350、351、352、353和354的实线椭圆区域370、371、372、373和374分别是推定对象图像In、In+1、In+2、In+3和In+4上的追踪对象区域的区域。推定出的追踪对象区域370～374的大小和形状与预览图像In-1上的追踪对象区域的大小和形状相同。
位置351、352、353和354分别被推定为对象图像In+1、In+2、In+3和In+4上的追踪对象区域的中心位置。位置351是从位置350向移动方向360偏移目标被摄物体间隔α之后的位置。位置352、353和354分别是从位置350向移动方向360偏移(2×α)、(3×α)和(4×α)之后的位置。
连拍可否判断部55将位置350与354之间的距离推定为移动距离DISEST。也就是说，在假定对象图像的摄影期间中，追踪对象在对象图像列上以移动速度SP向移动方向360移动之后，进而推定移动距离DISEST。由于p＝5，所以，移动距离DISEST的推定式(3)是：
DISEST＝(4×α)＝α×(p-1)＝INTTGT×SP×(p-1)...(3)
(参照上式(2))。
连拍可否判断部55仅在推定出追踪对象区域整体被包含在各个p张(当前的例子是5张)对象图像中的情况下，才判断可以连拍p张对象图像，否则判断不可以连拍p张对象图像。由图10可知，判断式(4)成立时判断可以连拍；判断式(4)不成立时判断不可以连拍。其中，也可以考虑余量，从而取代判断式(4)使用判断式(5)(Δ＞0)。
DISAL≥DISEST+SIZE/2...(4)
DISAL≥DISEST+SIZE/2+Δ...(5)
在连拍可否判断部55判断出不可以连拍的情况下，通知控制部56(图5)通过声音和影像，向使用者通知表达上述意思的信息。
以下的说明中，只要没有特别的记述，就视为连拍可否判断部55判断出可以连拍p张对象图像，追踪对象区域整体(即追踪对象的整体图像)包含在实际拍摄的各个p张对象图像中。
频闪图像生成部54根据针对对象图像In～In+p-1的追踪结果信息和对象图像In～In+p-1的图像数据，通过合成对象图像In～In+p-1的追踪对象区域内的图像，从而生成频闪图像。可以将生成后的频闪图像记录在外部存储器18中。另外，也可以将对象图像In～In+p-1记录在外部存储器18中。
具体而言，根据针对对象图像In+1～In+p-1的追踪结果信息，从对象图像In+1～In+p-1中提取出对象图像In+1～In+p-1上的追踪对象区域内的图像，通过在对象图像In上依次覆盖从对象图像In+1、In+2、...、In+p-1中提取出的图像，生成图3的频闪图像315那样的频闪图像。由此，如果在对象图像列的摄影期间中，追踪对象实际上在对象图像列上以移动速度SP向移动方向360移动，那么在频闪图像上，对象图像In～In+p-1上的共同追踪对象将以目标被摄物体间隔α分散配置。
或者，也可以一方面根据针对对象图像In～In+p-1的追踪结果信息，从对象图像In～In+p-1中提取出对象图像In～In+p-1上的追踪对象区域内的图像，另一方面准备白图像或黑图像那样的背景图像，在背景图像上依次覆盖从对象图像In、In+1、In+2、...、In+p-1中提取出的图像，生成频闪图像。
不使用针对对象图像的追踪结果信息，也可以生成频闪图像。例如，在p＝5的情况下，可以从对象图像In+1～In+4中分别提取出图10的区域371～374内的图像，在对象图像In上依次覆盖从对象图像In+1～In+4中提取出的图像，来生成频闪图像。或者也可以从对象图像In～In+4中分别提取出图10的区域370～374内的图像，通过在上述背景图像上依次覆盖从对象图像In～In+4中提取出的图像，来生成频闪图像。
《动作流程》
下面，参照图11对特殊连拍模式下的摄影装置1的动作流程进行说明。图11是表示该动作流程的流程图。首先，在步骤S11，等待追踪对象的设定。当追踪对象被设定时，从步骤S11转移至步骤S12，开始执行上述的追踪处理。追踪对象设定后，在步骤S12以外，追踪处理也被继续执行。
追踪处理执行开始后，在步骤S13中确认快门按钮26b是否为半按下状态。当确认快门按钮26b半按下时，根据该时间点上得到的最新的追踪结果信息(2张以上的预览图像的追踪结果信息)，计算移动速度SP和被摄物体尺寸SIZE，接着，进行连拍间隔INTTGT的设定以及由连拍可否判断部55判断可否连拍(步骤S14和S15)。
当连拍可否判断部55判断可以连拍时(步骤S16为是)，在步骤S17中通知控制部56将与连拍间隔INTTGT相应的信息向摄影装置1的外部通知。为了使使用者能够识别出该信息，使用视觉或听觉的方法来执行以上通知。具体而言，例如使扬声器28输出断续的电子音，当连拍间隔INTTGT较短时，就使该电子音的输出间隔较短(例如，从扬声器28的输出听上去为0.5秒长的“比比比”的声音)；当连拍间隔INTTGT较长时，就使该电子音的输出间隔较长(例如，从扬声器28的输出听上去为1.5秒长的“比-比-比-”的声音)。也可以将与连拍间隔INTTGT相应的图标等显示在显示部27上。由于步骤S17的通知，使用者可以识别出此后进行的连拍摄影的连拍速度，同时可以大致推定对象图像列的摄影时间。其结果，可以防止以下现象：在对象图像列摄影过程中，误认为对象图像列的摄影结束，使用者改变摄影方向或切断摄像装置1的电源。
步骤S17中的通知之后，在步骤S18中确认快门按钮26b是否为全按下的状态。快门按钮26b不是全按下的状态时，返回步骤S12；快门按钮26b是全按下的状态时，在步骤S19中进行p张对象图像的连拍。另外，如果确认在步骤S17执行通知的过程中，快门按钮26b已处于全按下的状态，也立即转向步骤S19进行p张对象图像的连拍。
作为步骤S19中连拍的p张对象图像的连拍间隔INTTGT，可以使用步骤S14中所设定的。其中，也可以在确认快门按钮26b全按下的时间点取得最新预览图像，使用包含该最新预览图像的多个预览图像(例如，预览图像In-2和In-1)的追踪结果信息，再次计算移动速度SP和被摄物体尺寸SIZE，同时再次设定连拍间隔INTTGT，按照再次设定的连拍间隔INTTGT，执行步骤S19的连拍。
在接着步骤S19的步骤S20中，根据步骤S19中得到的p张对象图像生成频闪图像。
在连拍可否判断部55判断不可以连拍的情况下(步骤S16为否)，转移至步骤S21进行警告显示。具体而言，例如在步骤S21中，如图12(a)所示，将对应“无法以最佳被摄物体间隔(目标被摄物体间隔α)连拍对象图像列”这种内容的句子显示在显示部27上(该句子被重叠显示在最新的预览图像上)。或者，也可以例如在步骤S21中，如图12(b)所示，使追踪对象的移动方向侧的显示区域(对应图12(b)的斜线区域)闪烁等，向使用者传达无法以最佳被摄物体间隔连拍对象图像列的意思(该闪烁是在显示部27上显示的最新预览图像上进行)。还或者，也可以例如在步骤S21中，如图12(c)所示，将推荐的追踪对象位置重叠显示在显示部27所显示的最新预览图像上。在图12(c)上，框391表示推荐的追踪对象位置。如果调整摄影方向使得追踪对象处于框391内来操作快门，则框391会显示在对象图像列能按最佳被摄物体的间隔连拍的位置。可以使用移动距离DISEST和被摄物体尺寸SIZE求出框391的显示位置。
在接着步骤S21的步骤S22中，确认快门按钮26b的状态是否维持在半按下的状态，快门按钮26b的半按下被解除的情况下，返回步骤S12；另一方面，快门按钮26b的半按下未被解除的情况下，转移至步骤S17。从步骤S22转移至步骤S17以后，如果快门按钮26b变为全按下状态，则连拍p张对象图像。其中，在该情况下，由于有时追踪对象不包含在后来拍摄的对象图像(例如对象图像In+p-1)中，所以步骤S20中生成的频闪图像上的追踪对象的数量很有可能不到p个。
根据本实施方式，连拍间隔会被设置到最佳，从而按照追踪对象的移动速度以期望的位置间隔来配置追踪对象。换言之，可以将不同时刻的追踪对象的位置间隔调整成希望的间隔，其结果例如可以防止在频闪图像上不同时刻的追踪对象图像重合等(参照图20)。此外，也可以防止以下情况发生：追踪对象不包含在后来拍摄的对象图像中(例如对象图像In+p-1)(参照图21)，或者追踪对象位置变化不大的对象图像列被拍摄(参照图20)。
另外，在本实施方式中，虽然是从p张对象图像生成频闪图像，但频闪图像的生成不是必须的。p张对象图像具有关注于追踪对象的所谓单幅播放图像的功能，即使是在关注p张对象图像的情况下，本实施方式也已实现将不同时刻的追踪对象的位置间隔调整为希望间隔等的作用和效果。
《第2实施方式》
对本发明的第2实施方式进行说明。第2实施方式的摄像装置与第1实施方式同样，也是图1的摄像装置1。第2实施方式主要说明摄像装置1在再现模式下的特异动作。将实现该特异动作的再现模式的一种称为特殊再现模式。
图13是包含在摄像装置1内的特别与特殊再现模式的动作相关的部位的框图。图13所示的各部位由图1的CPU23或影像信号处理部13实现。例如，可以将追踪处理部(物体检测部)61和频闪图像生成部(图像合成部)63安装在影像信号处理部13上，使CPU23承担图像选择部62的功能。
图13的追踪处理部61具有与第1实施方式的追踪处理部51同样的功能。其中，相对于第1实施方式的追踪处理部51检测预览图像或对象图像上追踪对象区域的位置和大小，追踪处理部61通过追踪处理，检测形成帧图像列的各帧图像上的追踪对象区域的位置和大小。这里，所谓帧图像列是指在执行特殊再现模式的动作之前以摄影模式拍摄的图像列。更为具体而言，是将摄像部11以规定帧频依次拍摄到的图像列作为帧图像列保存在外部存储器18中，在特殊再现模式中从外部存储器18读出该帧图像列的图像数据。将读出的图像数据提供给追踪处理部61，就可以对帧图像列执行追踪处理。另外，拍摄帧图像列时的帧频通常是固定的，但该帧频也可以不是固定的。
追踪处理部61在追踪对象设定后，按照第1实施方式中所述的方法对各帧图像执行追踪处理，由此生成追踪结果信息，该追踪结果信息包含表示各帧图像上的追踪对象区域的位置和大小的信息。追踪结果信息的生成方法与第1实施方式中所述的方法相同。由追踪处理部61生成的追踪结果信息被送至图像选择部62和频闪图像生成部63。
图像选择部62根据来自追踪处理部61的追踪结果信息，从帧图像列中，作为多个选择图像选择并提取多个帧图像，将各选择图像的图像数据发送至频闪图像生成部63。选择图像的张数比形成帧图像列的帧图像的张数少。
频闪图像生成部63根据针对各选择图像的追踪结果信息和各选择图像的图像数据，合成各选择图像的追踪对象区域内的图像，从而生成频闪图像。可以将生成的频闪图像记录在外部存储器18中。在频闪图像生成部63和54之间，除了频闪图像的原始图像的名称不同这一点之外，频闪图像生成部63的频闪图像生成方法与第1实施方式的频闪图像生成部54的生成方法相同。
现在，假设从外部存储器18读出的帧图像列是由图14所示的10张帧图像FI1～FI10形成的情况，来对选择图像的提取方法等进行详细说明。帧图像FIi+1是接着帧图像FIi后拍摄的图像(i是整数)，帧图像FI1～FI10的图像数据按照时序提供给追踪处理部61。另外，图14中用粗线表示后述具体例中作为选择图像提取出的帧图像(FI1、FI4和FI9)的框。
在特殊再现模式下，首先，第1个帧图像FI1被显示在显示部27上，在执行该显示的状态下，使用者对追踪对象的设定操作被受理。例如，如图15所示，在显示部27的显示画面27a上显示帧图像FI1，同时显示箭头型图标510。使用者可以通过对操作部26的规定操作，变更箭头型图标510的显示位置。另外，使用操作部26，使显示画面27a上的箭头型图标510的显示位置与关注物体(关注被摄物体)的显示位置重合，并在此状态下进行规定的决定操作，由此，使用者可以将该关注物体设定为追踪对象。如图15所示的例子，如果使箭头型图标510的显示位置与人物的显示位置重合的状态下实行决定操作，则追踪处理部61可以利用公知的轮廓提取处理和面部检测处理，提取箭头型图标510的显示位置所显示的物体轮廓，根据提取结果将该物体设定为追踪对象，同时，将存在该物体图像数据的图像区域设定为帧图像FI1上的追踪对象区域。另外，在显示部27设置有所谓的触摸面板功能的情况下，也可以通过手指触摸的操作将显示画面27a上的关注物体设定为追踪对象。
图像选择部61根据帧图像FI1～FI10的图像数据，导出各帧图像上的追踪对象区域的位置和大小。帧图像FIi和FIj上的追踪对象区域的中心位置分别用(xi，yi)和(xj，yj)表示(i和j是整数，i≠j)。此外，如图16所示，中心位置(xi，yi)与中心位置(xj，yj)之间的图像空间上的距离用d[i，j]表示，称之为追踪对象间距离。在图16中，虚线530和531包围的区域分别表示帧图像FIi和FIj上的追踪对象区域。连接中心位置(xi，yi)和(xj，yj)之间的直线532与追踪对象区域530的外形相交的2个交点间的距离被作为特定方向尺寸Li求出，直线532与追踪对象区域531的外形相交的2个交点间的距离被作为特定方向尺寸Lj求出。距离d[i，j]和特定方向尺寸Li及Lj根据帧图像FIi及FIj的追踪结果信息由图像选择部62求出。
图像选择部62首先将第1个帧图像FI1作为第1个选择图像提取出。相比于作为第1个选择图像的帧图像FI1，之后拍摄的帧图像是第2个选择图像的候补。图像选择部62为了提取第2个选择图像，依次将2～10的整数代入变量j，同时对追踪对象间距离d[1，j]与目标被摄物体间隔β进行比较。然后，从使不等式“d[1，j]＞β”成立的1个以上的帧图像中进行选择，将第1个选择图像之后拍摄的、且时间上最接近于第1个选择图像而拍摄的帧图像FIj作为第2个选择图像。现在，设：j为2或3时不等式“d[1，j]＞β”总是不成立，而另一方面，j为4以上10以下的整数时不等式“d[1，j]＞β”总是成立。这样一来，帧图像FI4就会作为第2个选择图像被提取出。
所谓目标被摄物体间隔β是指在时间上相邻的2张选择图像上的追踪对象区域的中心位置间距离的目标值。换言之，例如第i个和第(i+1)个选择图像上的追踪对象区域的中心位置间的距离的目标值是目标被摄物体间隔β。图像选择部62可以根据被摄物体尺寸SIZE’，决定应该称为基准距离的目标被摄物体间隔β。作为判断不等式“d[i，j]＞β”能否成立时的被摄物体尺寸SIZE’，可以使用特定方向尺寸Li和Lj的平均值。其中，也可以根据3个以上的特定方向尺寸来决定被摄物体尺寸SIZE’。也就是说，例如也可以将特定方向尺寸L1～L10的平均值代入被摄物体尺寸SIZE’。
图像选择部62例如以“β＝SIZE’”或“β＝k0×SIZE’”或“β＝SIZE’+k1”的方式，根据被摄物体尺寸SIZE’来决定目标被摄物体间隔β。k0及k1是预先规定的系数。其中，也可以按照使用者的指示规定目标被摄物体间隔β。此外，使用者也可以规定系数k0及k1的值。
这样，完成选择图像的提取处理，使得基于由追踪处理部61进行的的对追踪对象位置的检测结果的第1个和第2个选择图像上的追踪对象间距离(d[1，4])，大于基于追踪处理部61进行的对追踪对象大小的检测结果的应该称为基准距离的目标被摄物体间隔β(例如L1和L4的平均值)。第3个以后的选择图像也同样地进行提取。
也就是说，后于作为第2个选择图像的帧图像FI4拍摄的帧图像是第3个选择图像的候补。图像选择部62为了提取第3个选择图像，依次将5～10的整数代入变量j，同时对追踪对象间距离d[4，j]与目标被摄物体间隔β进行比较。然后，从使不等式“d[4，j]＞β”成立的1个以上的帧图像中进行选择，将第2个选择图像之后拍摄的、且时间上最接近于第2个选择图像而拍摄的帧图像FIj选为第3个选择图像。现在，设：j为5以上8以下时不等式“d[4，j]＞β”总是不成立，而另一方面，j为9或10时不等式“d[4，j]＞β”总是成立。这样一来，帧图像FI9作为第3个选择图像被提取出。
后于作为第3个选择图像的帧图像FI9拍摄的帧图像是第4个选择图像的候补。在本例中，只有帧图像FI10是第4个选择图像的候补。图像选择部62为了提取第4个选择图像，将10代入变量j，同时对追踪对象间距离d[9，j]与目标被摄物体间隔β进行比较。然后，在不等式“d[9，j]＞β”成立的情况下，将帧图像FI10作为第4个选择图像提取。另一方面，在不等式“d[9，j]＞β”不成立的情况下，不将帧图像FI10作为第4个选择图像提取，并结束选择图像的提取处理。现在，假设：变量j为10时，不等式“d[9，j]＞β”不成立。这样一来，最终，由帧图像FI1、FI4及FI9组成的3张选择图像被提取出。图17表示根据该3张选择图像生成的频闪图像。
《动作流程》
下面，参照图18，对特殊再现模式下的摄影装置1的动作流程进行说明。图18是表示该动作流程的流程图。首先，在步骤S61和S62中，将第1个帧图像FI1从外部存储器18读出，并显示在显示部27上，在该状态下受理使用者对追踪对象的设定操作。如上所述，可以将第1个帧图像FI1作为第1个选择图像提取。在追踪对象设定后，步骤S63中将2代入变量n，然后在步骤S64中对帧图像FIn实行追踪处理，由此来检测帧图像FIn上的追踪对象区域的位置和大小。
在接下来的步骤S65中，根据来自追踪处理部61的追踪结果信息，对上述的追踪对象间距离(对应d[i，j])与目标被摄物体间隔β进行比较。而且，在前者大于后者(β)的情况下，在步骤S66中将帧图像FIn作为选择图像提取。在前者不大于后者(β)的情况下直接转移至步骤S68。在接着步骤S66的步骤S67中，判断选择图像的提取数量是否与预先规定的需要数量一致，在它们一致的情况下，在该时间点结束选择图像的提取；另一方面，在它们不一致的情况下，从步骤S67转移至步骤S68。使用者可以指定上述需要数量。
在步骤S68中，对变量n与形成帧图像列的帧图像的总张数(在图14所示的例中为10)进行比较。而且，如果当前时间点的变量n与该总张数一致，则结束选择图像的提取，否则就将变数n加1(步骤S69)，然后返回步骤S64，重复上述各处理。
根据本实施方式，可实现追踪对象以期望位置间隔配置的选择图像列提取、以及频闪图像的生成。也就是说，可以将不同时刻的追踪对象的间隔调整为期望的间隔，其结果例如可以防止在频闪图像上不同时刻的追踪对象的像重合等(参照图20)。此外，还可以防止提取追踪对象位置变化不大的选择图像列。
另外，本实施方式与特开2008-147721号公报的方法不同，由于使用追踪处理来提取选择图像，所以追踪对象不存在的所谓背景图像不是必须的，即便背景图像不存在，也可以提取期望的选择图像列并生成频闪图像。此外，还可以按照使用者的希望，使目标被摄物体间隔β小于被摄物体尺寸SIZE’。在这种情况下，也可以生成不同时刻的追踪对象的像稍微有些重合的频闪图像(特开2008-147721号公报的方法中不可以生成这种的频闪图像)。
另外，在本实施方式中，虽然根据多个选择图像生成频闪图像，但频闪图像的生成不是必须的。多个选择图像具有关注于追踪对象的所谓单幅播放图像的功能，即使是在关注多个选择图像的情况下，本实施方式也已实现将不同时刻的追踪对象的位置间隔调整为希望间隔等的作用和效果。
《第3实施方式》
对本发明的第3实施方式进行说明。所要关注的特定被摄物体以期望的位置间隔配置的多个摄影图像(在图3所示的例子中是图像311～314)也可以是运动图像中的帧图像列。第3实施方式中说明从形成运动图像的帧图像列中生成频闪图像的方法。第3实施方式是以第1实施方式为基础的实施方式，对于第3实施方式中并未特别记述的事项，只要不存在矛盾，也能够将第1实施方式的记述应用于本实施方式。只要没有特别记述，则以下的第3实施方式说明的是：摄影模式下功能有效的摄像装置1的构成以及摄影模式下摄像装置1的动作。
摄像部11拍摄到的运动图像包含图像I1、I2、I3、...In、In+1、In+2...(n是整数)。第1实施方式的核心在于，图像In～In+p-1是对象图像，且图像In-1和之前拍摄的图像是预览图像(参照图4)；而本实施方式的核心在于，它们都是形成运动图像600的帧图像。帧图像Ii+1是接着帧图像Ii后拍摄的帧图像(i是整数)。
图24表示形成运动图像600的帧图像列的一部分。运动图像600既可以是伴随录像按钮26a(参照图1)的按下操作而拍摄的图像，也可以是要记录在外部存储器18中的运动图像。使用者可以在拍摄运动图像600的过程中，实行频闪用特定操作。频闪用特定操作例如是对图1的操作部26的规定操作或规定的触摸面板操作。当进行频闪用特定操作时，形成运动图像600的一部分的帧图像列被作为对象帧图像列设定，根据对象帧图像列来生成第1实施方式所述的频闪图像。这里，假设：频闪用特定操作在拍摄帧图像In之前实行，其结果帧图像In～In+p-1被设定为形成对象帧图像列的多个对象帧图像。p表示对象帧图像的张数。如第1实施方式所述，p是2以上的整数。p既可以是预先设定的固定值，也可以是使用者自由规定的数值。另外，特别将在对象帧图像之前拍摄的帧图像(即，例如帧图像In-1等)称为非对象帧图像。
图25是包含在摄像装置1内的部位的框图。图25所示的各部位由图1的CPU23或影像信号处理部13实现。例如，可以将追踪处理部(物体检测部)151和频闪图像生成部(图像合成部)154安装在影像信号处理部13上，可以在CPU23内预设追踪对象特性计算部(物体特性计算部)152和摄影控制部153。
图25的追踪处理部151、追踪对象特性计算部152、摄影控制部153和频闪图像生成部154能够分别实现第1实施方式的追踪处理部51、追踪对象特性计算部52、连拍控制部53和频闪图像生成部54的功能(参照图5)，有关这些功能，在将第1实施方式所述的内容应用于本实施方式时，只要将第1实施方式中的输入运动图像、预览图像、对象图像和连拍间隔分别换做本实施方式的运动图像600、非对象帧图像、对象帧图像和摄影间隔来读即可。
也就是说，追踪处理部151根据运动图像600的图像数据，在运动图像600上实行追踪运动图像600上的追踪对象的追踪处理，输出包含表示各帧图像上的追踪对象的位置和大小的信息的追踪结果信息。
追踪对象特性计算部152根据对非对象帧图像列进行的追踪处理之后的追踪结果信息，计算图像空间上追踪对象的移动速度SP，同时，计算与追踪对象的大小相应的被摄物体尺寸(物体尺寸)SIZE。移动速度SP具有对象帧图像列上的追踪对象的移动速度的推定值的功能，被摄物体尺寸SIZE具有各对象帧图像上的追踪对象的大小的推定值的功能。根据2张以上的非对象帧图像上的追踪对象区域的位置和大小，能够计算移动速度SP和被摄物体尺寸SIZE。该计算方法与第1实施方式所述的方法、即根据2张以上的预览图像上的追踪对象区域的位置和大小计算移动速度SP和被摄物体尺寸SIZE的方法相同。例如，在用IA和IB表示2张非对象帧图像的情况下，能够根据非对象帧图像IA和IB上的追踪对象区域的位置和大小，计算移动速度SP和被摄物体尺寸SIZE(参照图7)。非对象帧图像IA和IB例如分别是非对象帧图像In-2和In-1。
摄影控制部153根据追踪对象特性计算部152计算出的移动速度SP，按照第1实施方式记述的式(2)决定INTTGT的值。这时，如第1实施方式所述，能够根据追踪对象计算部152计算出的被摄物体尺寸SIZE，或者根据使用者的指示，来决定式(2)的目标被摄物体间隔α。第1实施方式中将INTTGT表示的物理量称为连拍间隔，而在本实施方式中将INTTGT表示的物理量称为摄影间隔。摄影间隔INTTGT是指在时间上相邻的2张对象帧图像(例如In和In+1)的摄影时刻之间的间隔。所谓对象帧图像In的摄影时刻严密来讲是指例如对象帧图像In的曝光期间的开始时刻或中间时刻(其他任意帧图像也是同样)。
摄影控制部153在摄影间隔INTTGT设定后，与TG22(参照图1)协同控制摄像部11，使得p张对象帧图像以摄影间隔INTTGT连续摄影，也就是说，使得p张对象帧图像以帧频(1/INTTGT)进行拍摄，由此取得追踪对象以大致固定的位置间隔配置的p张对象帧图像。如图25所示，也可以在摄影控制部153上预设摄影可否判断部155和通知控制部156，使摄影可否判断部155和通知控制部156具有与图5的连拍可否判断部55和通知控制部56同样的功能。
频闪图像生成部154根据针对对像帧图像In～In+p-1的追踪结果信息和对象帧图像In～In+p-1的图像数据，合成对象帧图像In～In+p-1的追踪对象区域内的图像，由此生成频闪图像。可以将生成的频闪图像记录在外部存储器18中。基于图像In～In+p-1的频闪图像的生成方法如第1实施方式所述。另外，上述的频闪图像是静止图像。为了区别作为静止图像的频闪图像和以下所示的运动图像形式的频闪图像，以下根据需要将作为静止图像的频闪图像称为频闪静止图像。
频闪图像生成部154也能够生成频闪运动图像。假设：p为3、且对象帧图像In～In+2分别是图26所示的图像611～613的情况。对基于这些的频闪运动图像630进行说明。频闪运动图像630是由3张帧图像631～633组成的运动图像。帧图像631与图像611相同。帧图像632是一种频闪静止图像，根据针对图像611和612的追踪结果信息与图像611及612的图像数据合成图像611及612的追踪对象区域内的图像而得到。帧图像633是一种频闪静止图像，根据针对图像611～613的追踪结果信息和图像611～613的图像数据合成图像611～613的追踪对象区域内的图像而得到。通过将这样得到的图像631～633以此顺序在时序上排列，形成频闪运动图像630。可以将生成的频闪运动图像630记录在外部存储器18中。
参照图27，对第3实施方式的摄像装置1的动作流程进行说明。图27是表示该动作流程的流程图。首先，在步骤S111中，等待设定追踪对象。当设定追踪对象被时，从步骤S111转移至步骤S112，开始实行针对追踪对象的追踪处理。追踪对象设定后，在步骤S112以外，继续执行追踪处理。为了便于说明，认为在追踪对象设定后，追踪对象区域的整体(即追踪对象的整体图像)包含在各个帧图像中。另外，对于向外部存储器18记录运动图像600，既可以在设定追踪对象前开始，也可以在设定追踪对象后开始。
追踪处理实行开始后，在步骤S113中确认是否进行了频闪用特定操作，当确认进行了频闪用特定操作时，根据该时间点得到的最新的追踪结果信息(2张以上的非对象帧图像的追踪结果信息)，计算移动速度SP和被摄物体大小SIZE，进而使用移动速度SP和被摄物体大小SIZE设定摄影间隔INTTGT，然后拍摄对象帧图像列(步骤S114和S115)。也就是说，设定对象帧图像列用的帧频(1/INTTGT)，按照该设定内容实际将摄像部11的帧频由基准频率变更为(1/INTTGT)，然后拍摄对象帧图像In～In+p-1。基准频率是针对非对象帧图像的帧频。
当对象帧图像In～In+p-1的摄影结束时，帧频恢复为基准频率(S116)。其后，在任意的时间点，根据对象帧图像列生成频闪静止图像(例如图26的频闪静止图像633)或频闪运动图像(例如图26的频闪运动图像630)。
当进行了频闪用特定操作时，也可以在拍摄对象帧图像列前(或拍摄过程中)，通过摄像可否判断部155判断可否拍摄对象帧图像，和/或通过通知控制部156实行摄影间隔通知。换言之，例如可以在进行了频闪用特定操作时，实行图28的步骤S121～S123的处理。在步骤S121中，摄影可否判断部155判断可否拍摄p张对象帧图像。其判断方法与图5的连拍可否判断部55判断可否连拍p张对象图像的方法相同。在连拍可否判断部55判断出可以连拍p张对象图像的状况下，摄影可否判断部115就判断可以拍摄p张对象帧图像；在连拍可否判断部55判断出不可以连拍p张对象图像的状况下，摄影可否判断部115就判断不可以拍摄p张对象帧图像。在由摄影可否判断部155判断为不可以拍摄p张对象帧图像的情况下，在步骤S122中，通知控制部156通过声音和影像向使用者通知。此外，在步骤S123中，通知控制部156向摄像装置1的外部通知与摄影间隔INTTGT相应的信息。通知的方法与第1实施方式所述的方法相同。
根据本实施方式，帧频会被设置到最佳，使得可按照追踪对象的移动速度以期望的位置间隔来配置追踪对象。换言之，不同时刻的追踪对象的位置间隔会被设置到最佳，其结果例如可以防止在频闪图像上不同时刻的追踪对象的像重合等(参照图20)。此外，还可以防止以下情况发生：追踪对象不包含在后来拍摄的对象帧图像(例如对象帧图像In+p-1)中(参照图21)，或者追踪对象位置变化不大的对象帧图像列被拍摄(参照图20)。
第1和第3实施方式之间的共通点较多。在第1实施方式中由p张对象图像组成的对象图像列是通过连拍得到的，相对于此，在第3实施方式中由p张对象帧图像组成的对象帧图像列是随着运动图像600的摄影得到的。第1实施方式中的连拍控制部53或第3实施方式中的摄影控制部153(参照图5或25)具有摄影控制部的功能，它们使摄像部11取得p张对象图像或p张对象帧图像。由于第1实施方式的连拍间隔INTTGT是时间上相邻的2张对象图像(例如In和In+1)的摄影时刻之间的间隔，所以第1实施方式的连拍间隔也可以与第3实施方式相同地被称为摄影间隔。此外，也可以将第1实施方式中的预览图像称为非对象图像。此外，由于可否连拍对象图像列与可否拍摄对象图像列为相同意义，所以也可以将图5的连拍可否判断部55称为判断可否拍摄对象图像列的摄影可否判断部。
另外，频闪图像的生成不是必须的(后述的其他实施方式中也同样)。多个对象帧图像(或后述的多个选择图像)具有关注于追踪对象的所谓单幅播放图像的功能，即使是在关注多个对象帧图像(或后述的多个选择图像)的情况下，本实施方式也已实现将不同时刻的追踪对象的位置间隔调整为期望的间隔等的作用和效果。
此外，也可以根据追踪对象特性计算部152计算出的移动速度SP，设定各对象帧图像的曝光期间的时间长度(以下称为曝光时间)。具体而言，例如可以设定各对象帧图像的曝光时间，使得各对象帧图像的曝光时间随着上述移动速度SP的增大而减小。这样，就可以抑制各对象帧图像上的追踪对象的影像模糊。上述曝光时间的设定处理也可以用于上述第1实施方式。换言之，在第1实施方式中，可以根据追踪对象特性计算部52计算出的移动速度SP来设定各对象图像的曝光时间，使得各对象图像的曝光时间随着移动速度SP的增大而减小。
《第4实施方式》
对本发明的第4实施方式进行说明。第4实施方式说明根据形成运动图像的帧图像列生成频闪图像的另一方法。第4实施方式是以第1和第3实施方式为基础的实施方式，对于第4实施方式中并未特别记述的事项，只要不存在矛盾，第1或第3实施方式的记述也能够适用于本实施方式。只要没有特殊记述，以下的第4实施方式的说明的是摄影模式下功能有效的摄像装置1的构成以及摄影模式下摄像装置1的动作。
第4实施方式中也与第3实施方式同样，假设包含帧图像I1、I2、I3...In、In+1、In+2...形成的运动图像600通过摄影得到。
图29表示形成运动图像600的帧图像列的一部分。使用者可以在拍摄运动图像600的过程中进行频闪用特定操作。与第3实施方式不同，第4实施方式在进行频闪用特定操作时，将形成运动图像600的一部分的帧图像设定为对象帧图像候补。其后，从多个对象帧图像候补中选择多个对象帧图像，根据多个对象帧图像生成第1或第3实施方式中所述的频闪静止图像或者第3实施方式所述的频闪运动图像。这里，假设：频闪用特定操作在拍摄帧图像In之前进行，其结果帧图像In和以后得到的各个帧图像被设定为对象帧图像候补。另外，特别将先于对象帧图像候补拍摄的帧图像(即例如帧图像In-1等)称为非对象帧图像。
图30是包括在摄像装置1内的部位的框图。图30所示的摄影控制部153a可以由图1的CPU23实现。摄影控制部153a就是将对象图像选择部157安装于图25的摄影控制部153。其中，摄影控制部153a不实行摄影控制部153所实行的那种帧频控制。
图30的追踪处理部151、追踪对象特性计算部152、摄影控制部153a和频闪图像生成部154分别可以实现第1实施方式的追踪处理部51、追踪对象特性计算部52、连拍控制部53和频闪图像生成部54的功能(参照图5)，关于它们的功能，在将第1实施方式所述的内容应用于本实施方式时，只要将第1实施方式中的输入运动图像、预览图像、对象图像和连拍间隔分别替换为本实施方式的运动图像600、非对象帧图像、对象帧图像和摄影间隔来读即可。追踪处理部151、追踪对象特性计算部152和频闪图像生成部154的动作在第3和第4实施方式之间是相同的。
对象图像选择部157根据追踪对象特性计算部152计算出的移动速度SP，按照第1实施方式记述的式(2)决定INTTGT的值。这时，如第1实施方式所述，可以根据追踪对象特性计算部152计算出的被摄物体尺寸SIZE，或者根据使用者的指示，来决定式(2)中的目标被摄物体间隔α。第1实施方式中将INTTGT表示的物理量称为连拍间隔；而在本实施方式中将INTTGT表示的物理量称为基准间隔。基准间隔INTTGT是指时间上相邻的2张对象帧图像(例如In和In+3)的摄影时刻的理想的间隔。
与第3实施方式不同，在第4实施方式中，运动图像600摄影时的帧频被固定在一定的频率上。对象图像选择部157根据基准间隔INTTGT，从对象帧图像候补中选择p张对象帧图像。该选择之后，频闪图像生成部154按照第3实施方式所述的方法，可以在任意的时间点，根据p张对象帧图像和追踪结果信息生成频闪静止图像或频闪运动图像。
为了具体说明，假设运动图像600摄影时的帧频固定在60fps(frame per second)且p等于3的情况，来说明对象帧图像的选择方法。在这种情况下，时间上相邻的帧图像的摄影间隔是1/60秒。如图31(a)所示，帧图像In的摄影时刻用t0表示，帧图像In+i的摄影时刻用(t0+i×1/60)表示。时刻(t0+i×1/60)是指从时刻t0起经过(i×1/60)秒的时刻。在图31(a)中，作为对象帧图像而被选择的帧图像In、In+3和In+6的外框用粗线表示(后述的图31(b)和(c)也是同样)。
首先，对象图像选择部157与基准间隔INTTGT无关，将作为第1个对象帧图像候补的帧图像In选为第1个对象帧图像。其次，对象图像选择部157将所有的对象帧图像候补内的摄影时刻最接近于时刻(t0+1×INTTGT)的对象帧图像候补设定为第2个对象帧图像。接着，对象图像选择部157将所有的对象帧图像候补内的摄影时刻最接近于时刻(t0+2×INTTGT)的对象帧图像候补设定为第3个对象帧图像。p为4以上的情况也是同样。一般化后就是，对象图像选择部157将所有的对象帧图像候补内的摄影时刻最接近于时刻(t0+(j-1)×INTTGT)的对象帧图像候补设定为第j个对象帧图像(这里j是2以上的整数)。
因此，例如在运动图像600的帧频是60fps的情况下，如果基准间隔INTTGT是1/20秒，则图像In+3和In+6就被选为第2和第3个对象帧图像(参照图31(a))；如果基准间隔INTTGT是1/16.5秒，则图像In+4和In+7就被选为第2和第3个对象帧图像(参照图31(b))；如果基准间隔INTTGT是1/15秒，则图像In+4和In+8就被选为第2和第3个对象帧图像(参照图31(c))。其中，在基准间隔INTTGT为1/16.5秒时，为了能使时间上相邻的对象帧图像的摄影间隔固定，也可以将图像In+4和In+8选为第2和第3个对象帧图像。
参照图32，对第4实施方式的摄像装置1的动作流程进行说明。图32是表示该动作流程的流程图。首先，在步骤S131中，等待追踪对象的设定。当设定追踪对象时，从步骤S131转移到步骤S132，开始执行针对追踪对象的追踪处理。追踪对象设定后，在步骤S132以外追踪处理也继续执行。为了便于说明，可以认为追踪对象设定后，追踪对象区域的整体(即追踪对象的整体图像)包含在各个帧图像中。另外，对于向外部存储器18记录运动图像600，既可以在设定追踪对象前开始，也可以在设定追踪对象后开始。其中，可以认为至少第1个对象帧图像候补摄影前，已开始向外部存储器18记录运动图像600。
追踪处理执行开始后，在步骤S133中确认是否进行频闪用特定操作。当确认进行了频闪用特定操作时，步骤S134中根据该时间点得到的最新的追踪结果信息(2张以上的非对象帧图像的追踪结果信息)，计算移动速度SP和被摄物体尺寸SIZE，使用移动速度SP和被摄物体尺寸SIZE计算基准间隔INTTGT。对象图像选择部157如上所述，使用基准间隔INTTGT，从对象帧图像候补中选择p张对象帧图像。
形成运动图像600的帧图像的图像数据按照时序向外部存储器18记录，这时对对象帧图像附于合成用标记(步骤S135)。具体而言，例如可以在保存运动图像600图像数据的图像文件的头区，保存指示对象帧图像是哪一个帧图像的合成用标记。通过将该图像文件保存在外部存储器18，运动图像600的图像数据和合成用标记就会以相互关联的状态记录在外部存储器18中。
运动图像600记录后，在任意时间点频闪图像生成部154可以根据记录在外部存储器18中的合成用标记，从外部存储器18读出p张对象帧图像，可以根据读出的p张对象帧图像生成频闪静止图像(例如，图26的频闪静止图像633)或频闪运动图像(例如，图26的频闪运动图像630)。
另外，在进行了频闪用特定操作时，与第3实施方式同样，可以在对象帧图像候补摄影前(或摄影过程中)，通过摄影可否判断部155判断可否拍摄对象帧图像，和/或通过通知控制部156实行摄影间隔通知。
根据本实施方式，会选择到对象帧图像，使得追踪对象以期望的位置间隔被配置。也就是说，在对象帧图像列上，不同时刻的追踪对象的位置间隔会被设置得最佳，其结果例如可以防止在频闪图像上不同时刻的追踪对象的像重合等(参照图20)。此外，还可以防止以下情况发生：追踪对象不包含在后来拍摄的对象帧图像中(参照图21)，或者追踪对象位置变化很少的对象帧图像列被取得(参照图20)。
另外，如第3实施方式所述，可以根据追踪对象特性计算部152计算出的移动速度SP，设定各对象帧图像候补的曝光期间。具体而言，例如可以设定各对象帧图像候补的曝光时间，使得各对象帧图像候补的曝光时间随上述移动速度SP的增大而减小。这样，可以抑制在各对象帧图像候补和各对象帧图像上的追踪对象的影像模糊。
《第5实施方式》
对本发明的第5实施方式进行说明。第5实施方式是以第2实施方式为基础的实施方式，对于第5实施方式中并未特别记述的事项，只要不存在矛盾，就可以将第2实施方式的记述内容适用于本实施方式。第5实施方式与第2实施方式相同，也是说明特殊再现模式下的摄像装置1的动作。在特殊再现模式下，图13的追踪处理部61、图像选择部62和频闪图像生成部63有意地动作。
如第2实施方式所述，摄像部11以规定的帧频依次进行摄影，所得图像列作为帧图像列被保存在外部存储器18中，在特殊再现模式下，该帧图像列的图像数据被从外部存储器18中读出。只要没有特殊记述，本实施方式的帧图像是特殊再现模式下从外部存储器18读出的帧图像。
追踪处理部61在追踪对象设定后，通过对各帧图像实行追踪处理，生成包含表示各帧图像上的追踪对象区域的位置和大小的信息的追踪结果信息。图像选择部62根据来自追踪处理部61的追踪结果信息，从帧图像列中作为多个选择图像选择并提取多个帧图像，将各选择图像的图像数据送至频闪图像生成部63。频闪图像生成部63根据针对各选择图像的追踪结果信息和各选择图像的图像数据，通过合成各选择图像的追踪对象区域内的图像，来生成频闪图像。可以将生成的频闪图像记录在外部存储器18中。生成的频闪图像既可以是图26的频闪静止图像633那样的频闪静止图像，也可以是图26的频闪运动图像630那样的频闪运动图像。在第5实施方式中，用p表示选择图像的张数(p为2以上的整数)。
将作为从外部存储器18读出的帧图像列的运动图像称为运动图像700。图33表示形成运动图像700的帧图像。可认为运动图像700是包含帧图像FI1、FI2、FI3、...FIn、FIn+1、FIn+2...而形成的。如第2实施方式所述，帧图像FIi+1是接着帧图像FIi后拍摄的图像(i是整数)。虽然无需所有的帧图像中都存在追踪对象的图像数据，但为了便于说明，可以认为形成运动图像700的所有帧图像中都存在追踪对象的图像数据。此外，还可以认为运动图像700的帧频FR是固定的。运动图像700的帧频为60fps时，FR是60。FR的单位是秒的倒数。
使用者可以从形成运动图像700的帧图像中自由指定成为选择图像候补的帧图像。通常，时间上连续的几个帧图像被设定为选择图像的候补。如图33所示，现在假设m张帧图像FIn～FIn+m-1被设定为选择图像候补的情况，将帧图像FIn～FIn+m-1称为候补图像(m张输入图像)。此外，特别将先于帧图像FIn拍摄到的帧图像(例如帧图像FIn-1)称为非候补图像(非对象输入图像)。m是2以上的整数，满足m＞p。
图像选择部62可以利用追踪对象的移动速度SP的检测结果，来决定选择图像。对于由图像选择部62进行的移动速度SP的检测方法，大致分为基于非候补图像的移动速度检测方法和基于候补图像的移动速度检测方法。
在基于非候补图像的移动速度检测方法中，利用针对非候补图像的追踪结果信息，根据多个非候补图像上的追踪对象区域的位置，推定并检测候补图像列上的追踪对象的移动速度SP。例如，将相互不同的2张非候补图像作为图16的帧图像FIi和FIj提出，根据对帧图像FIi和FIj的求出的追踪对象间距离d[i，j]和运动图像700的帧频FR，计算移动速度SP。根据运动图像700的帧频FR，导出帧图像FIi和FIj间的摄影时间差(也就是，帧图像FIi的摄影时刻与帧图像FIj的摄影时刻之间的时间差)，通过追踪对象间距离d[i，j]除以该摄影时间差，可以计算出移动速度SP。作为2张非候补图像的帧图像FIi和FIj，既可以是时间上相邻的帧图像(例如，帧图像FIn-2和FIn-1，或帧图像FIn-3和FIn-2)，也可以是时间上不相邻的帧图像(例如，帧图像FIn-3和FIn-1，或帧图像FIn-4和FIn-1)。例如，作为帧图像FIi和FIj利用非候补图像FIn-2和FIn-1的情况下，根据“SP＝d[n-2，n-1]÷1/FR”来计算移动速度SP；作为帧图像FIi和FIj利用非候补图像FIn-3和FIn-1的情况下，根据“SP＝d[n-3，n-1]÷2/FR”来计算移动速度SP。
在基于候补图像的移动速度检测方法中，利用针对候补图像的追踪结果信息，根据多个候补图像上的追踪对象区域的位置，检测候补图像列上的追踪对象的移动速度SP。例如，将相互不同的2张候补图像作为图16的帧图像FIi和FIj提出，根据对帧图像FIi和FIj求出的追踪对象间距离d[i，j]和运动图像700的帧频FR，计算移动速度SP。根据运动图像700的帧频FR，导出帧图像FIi和FIj间的摄影时间差(也就是，帧图像FIi的摄影时刻与帧图像FIj的摄影时刻之间的时间差)，通过追踪对象间距离d[i，j]除以该摄影时间差，可以计算移动速度SP。作为2张候补图像的帧图像FIi和FIj，既可以是时间上相邻的帧图像(例如，帧图像FIn和FIn+1，或帧图像FIn+1和FIn+2)，也可以是时间上不相邻的帧图像(例如，帧图像FIn和FIn+2，或帧图像FIn和FIn+m-1)。例如，作为帧图像FIi和FIj利用候补图像FIn和FIn+1的情况下，根据“SP＝d[n，n+1]÷1/FR”来计算移动速度SP；作为帧图像FIi和FIj利用候补图像FIn和FIn+2的情况下，根据“SP＝d[n，n+2]÷2/FR”来计算移动速度SP。
另一方面，图像选择部62决定第2实施方式所述的目标被摄物体间隔β。图像选择部62可以按照第2实施方式所述方法来决定目标被摄物体间隔β。换言之，例如可以根据被摄物体尺寸SIZE’决定目标被摄物体间隔β。作为被摄物体尺寸SIZE’的计算方法，可以利用第2实施方式所述的方法。换言之，例如可以将特定方向尺寸Li和Lj的平均值(进一步具体而言就是，特定方向尺寸Ln和Ln+1等)作为被摄物体尺寸SIZE’求出。如果被摄物体尺寸SIZE’导出前m的值已确定，也可以将特定方向尺寸Ln～Ln+m-1的平均值作为被摄物体尺寸SIZE’求出。
图像选择部62首先是将作为第1个候补图像的帧图像FIn设定为第1个选择图像。然后，根据检测出的移动速度SP，推定不同候补图像间的追踪对象的移动距离。由于运动图像700的帧频是FR，所以如图34所示，帧图像FIn和FIn+i间的追踪对象的推定移动距离是“i×SP/FR”。基于由追踪处理部61进行的追踪对象的位置检测结果的推定移动距离“i×SP/FR”相当于帧图像FIn和FIn+i上的追踪对象间距离(换言之，帧图像FIn上的追踪对象的位置与帧图像FIn+i上的追踪对象的位置之间的距离)的推定值。
图像选择部62从候补图像列中提取第2个选择图像，使得基于上述推定移动距离的第1个和第2个选择图像上的追踪对象间距离，大于基于追踪处理部61进行的对追踪对象大小的检测结果的应称为基准距离的目标被摄物体距离β。后于作为第1个选择图像的帧图像FIn拍摄到的帧图像为第2个选择图像的候补。图像选择部62为了提取第2个选择图像，将(n+1)～(n+m-1)的整数依次代入变量j，同时对作为追踪对象间距离d[n，j]的推定值的推定移动距离“(j-n)×SP/FR”与目标被摄物体间隔β进行比较。而且，从使不等式“(j-n)×SP/FR＞β”成立的1个以上的候补图像中，将后于第1个选择图像拍摄的且时间上最接近于第1个选择图像而拍摄的候补图像FIj选作第2个选择图像。现在，认为：j为(n+1)或(n+2)时，上述不等式总是不成立；而j为(n+3)以上的整数时，上述不等式总是成立。这样一来，候补图像FIn+3就作为第2个选择图像被提取出。
第3个以后的选择图像也同样被选定。也就是说，图像选择部62从候补图像列中提取第3个选择图像，使基于推定移动距离的第2和第3个选择图像上的追踪对象间距离大于目标被摄物体距离β(但是，这时，限制条件是尽量减小第2个和第3个选择图像的摄影时间差)。
另外，也可以根据第1和第2个选择图像的摄影间隔，自动决定第3个选择图像。也就是说，可以按照使第1和第2个选择图像的摄影间隔与第2和第3个选择图像的摄影间隔相同的方式，来决定第3个选择图像。在这种情况下，例如，当帧图像FIn+3被作为第2个选择图像提取时，第3个选择图像就会被自动定为帧图像FIn+6。第4个以及其后的选择图像也是同样。
参照图35，说明特殊再现模式下的摄像装置1的动作流程的一例。图35是表示该动作流程的流程图。首先，在步骤S161和S162中，一方面开始再现运动图像700，一方面在显示部27上显示菜单，提示进行追踪对象的设定操作和候补图像列的设定操作，在该状态下，受理由使用者进行的追踪对象的设定操作和候补图像列的设定操作。通过候补图像列的设定操作，使用者可以将运动图像700中的任意影像区间内的帧图像列设定为候补图像列。如上所述，可以将候补图像列中的第1个帧图像作为第1个选择图像提取。当进行追踪对象和候补图像列的设定时，在步骤S163中将1代入变量i，然后在步骤S164中通过对帧图像FIn+i实行追踪处理，来检测帧图像FIn+i上的追踪对象区域的位置和大小。另外，在使用非候补图像计算移动速度SP的情况下，对非候补图像列也进行追踪处理。
在接下来的步骤S165中，根据来自追踪处理部61的追踪结果信息，进行如上所述的追踪对象间距离的推定值与目标被摄物体间隔β之间的比较。而且，在前者大于后者(β)的情况下，在步骤S166中将帧图像FIn+i作为选择图像提取，否则就直接转移至步骤S168。在接着步骤166的步骤S167中，判断选择图像的提取数量是否与预先规定的需要数量(即p的值)一致，在它们一致的情况下，在该时间点结束选择图像的提取；而另一方面在它们不一致的情况下，就从步骤S167转移至步骤S168。使用者可以指定上述需要数量。
在步骤S168中对变量i与候补图像的总张数(即m的值)进行比较。而且，在当前时间点的变量i与该总张数一致的情况下，判断候补图像列的再现已完成，结束选择图像的提取处理；在当前时间点的变量i与该总张数不一致的情况下，对变量i加1(步骤S169)，然后返回步骤S164，重复上述各处理。
本实施方式也取得了与第2实施方式同样的效果。
《第6实施方式》
对本发明的第6实施方式进行说明。第6实施方式是考虑图像数据的压缩和解压的存在，对可用于第2和第5实施方式的技术进行说明。为了进行具体说明，认为图33所示的运动图像700已被记录在外部存储器18中。
在将运动图像700记录在外部存储器18中时，运动图像700的图像数据按规定的压缩方式被图1的压缩处理部16压缩。压缩方式任意。例如，可以利用MPEG(Moving Picture Experts Group)规定的压缩方式或H.264规定的压缩方式。以下，特别将压缩过的图像数据称为压缩图像数据，特别将没有压缩的图像数据称为非压缩图像数据。在显示部27上再现运动图像700时，从外部存储器18读出的运动图像700的压缩图像数据被送至图1的解压处理部19，解压处理部19实行使压缩图像数据恢复为非压缩图像数据的解压处理。通过这样得到的运动图像700的非压缩图像数据传输至显示处理部20，运动图像700就会作为影像显示在显示部27上。
运动图像700的非压缩图像数据是各自独立的静止图像的集合。因此，只要将与传输至显示处理部20的图像数据相同的非压缩图像数据的必要部分写入图1的内部存储器17，就可以根据保持在内部存储器17中的非压缩图像数据，生成频闪静止图像或频闪运动图像。实际上，只要在使用者进行了候补图像列的设定操作(参照图35的步骤S162)之后，在候补图像列的再现区间中，将与传输至显示处理部20的图像数据相同的非压缩图像数据写入内部存储器17即可。为了以压缩图像数据为基础生成频闪图像，首先需要使压缩图像数据解压，如上所述，该解压可以利用影像再现用的解压处理。
此外，MPEG是利用帧之间的差分生成作为压缩运动图像的MPEG运动图像。众所周知，MPEG运动图像由三种图像帧构成，也就是作为帧内编码图像(Intra-Coded Picture)的I帧、作为帧之间预测编码图像(Predictive-Coded Picture)的P帧、和作为帧内插双向预测编码图像(Bidirectionally Predictive-Coded Picture)的B帧。I帧是通过在该帧图像内对1张帧图像的影像信号进行编码而得到的图像，所以I帧可以单独对一张帧图像的影像信号进行解码。另一方面，P帧无法单独对1张帧图像的影像信号进行解码，为了使对应P帧的帧图像解码，需要进行与其他图像帧之间的差分运算等。B帧也是同样。因此，解码对应P帧和B帧的帧图像所需要的运算负担比I帧的重。
考虑上述原因，为了能够减轻运算负担，可以仅以I帧形成第5实施方式的候补图像列(同样，也可以仅以I帧形成第2实施方式的帧图像FI1～FI10)。在这种情况下，即使运动图像700的帧频是60fps，候补图像列的帧频也会例如是3～10fps左右，在追踪对象移动速度不太快的情况下，问题不大。
《变形等》
上述说明文中所示的具体数值只不过是个例示，当然，可以将它们变更为各种各样的数值。作为上述实施方式的变形例或注释事项，以下记有注释1和注释2。只要没有矛盾，各注释所述内容可以任意组合。
[注释1]
虽然上述的例子中，包含图13的追踪处理部61、图像选择部62和频闪图像生成部63而形成的图像处理装置被设置在摄像装置1内，但该图像处理装置也可以设在摄像装置1的外部。在这种情况下，对该外部的图像处理装置提供由摄像装置1摄影得到的帧图像列的图像数据，由该外部的图像处理装置进行选择图像的提取和频闪图像的生成。
[注释2]
摄像装置1可以通过硬件、或硬件和软件的组合实现。特别是，图5、图13、图25、或图30所示的各部位上所实行的部分或全部处理，可以通过硬件、软件、或硬件和软件的组合实现。在用软件构成摄像装置1的情况下，由软件实现的部位的框图变为表示该部位的功能框图。

Claims (20)

1.一种摄像装置，其特征在于，具备：
摄像部，输出摄影所得图像的图像数据；和
摄影控制部，使所述摄像部依次拍摄将特定物体包含在被摄物体中的多个对象图像，
所述摄影控制部根据所述特定物体的移动速度，设定所述多个对象图像的摄影间隔。
2.根据权利要求1所述的摄像装置，其特征在于，
所述特定物体的移动速度根据在所述多个对象图像摄影前从所述摄像部输出的图像数据来检测。
3.根据权利要求2所述的摄像装置，其特征在于，
还具备：物体检测部，根据在所述多个对象图像摄影前从所述摄像部输出的多个非对象图像的图像数据，检测各非对象图像上的所述特定物体的位置和大小，
所述移动速度根据各非对象图像上的所述特定物体的位置来检测，
所述摄影控制部根据所述移动速度和所述特定物体的大小来设定所述摄影间隔。
4.根据权利要求3所述的摄像装置，其特征在于，
所述摄影控制部具有：摄影可否判断部，其判断可否进行所述多个对象图像的摄影，
所述摄影可否判断部
一方面根据所述摄影间隔、所述移动速度和所述多个对象图像的张数，导出所述特定物体在所述多个对象图像摄影期间的移动距离，
另一方面根据基于所述物体检测部的检测结果的第1张对象图像上的所述特定物体的位置、和基于所述物体检测部的检测结果的所述多个对象图像上的所述特定物体的移动方向，导出所述特定物体在所述多个对象图像上的可移动距离，
根据所述移动距离与所述可移动距离的比较，判断可否进行所述多个对象图像的摄影。
5.根据权利要求1所述的摄像装置，其特征在于，还具备：
图像合成部，从各对象图像中，将所述特定物体的图像数据存在的部分的图像作为提取图像进行提取，对得到的多个提取图像进行合成。
6.一种摄像装置，其特征在于，具备：
摄像部，输出摄影所得图像的图像数据；和
摄影控制部，使所述摄像部依次拍摄将特定物体包含在被摄物体中的多个帧图像，
所述摄影控制部包括对象图像选择部，该对象图像选择部根据所述特定物体的移动速度，从所述多个帧图像中选择多个对象图像。
7.根据权利要求6所述的摄像装置，其特征在于，
所述特定物体的移动速度根据在所述多个对象图像摄影前从所述摄像部输出的图像数据来检测。
8.根据权利要求7所述的摄像装置，其特征在于，
还具有：物体检测部，根据在所述多个对象图像摄影前从所述摄像部输出的多个非对象图像的图像数据，检测各非对象图像上的所述特定物体的位置和大小，
所述移动速度根据各非对象图像上的所述特定物体的位置来检测，
所述图像选择部根据所述移动速度和所述特定物体的大小，选择所述多个对象图像。
9.根据权利要求6所述的摄像装置，其特征在于，还具有：
图像合成部，从各对象图像中，将所述特定物体的图像数据存在的部分的图像作为提取图像进行提取，对得到的多个提取图像进行合成。
10.一种图像处理装置，其特征在于，
具备：图像选择部，从将特定物体包含在被摄物体中的通过依次摄影得到的多个输入图像所包含的m张输入图像中，选择p张作为p张选择图像，其中m和p是2以上的整数，且m＞p，
所述图像选择部选择所述p张选择图像，使得所述p张选择图像所包含的第i和第(i+1)个的选择图像上的所述特定物体间的距离，大于与所述特定物体大小相应的基准距离，其中i是1以上且(p-1)以下的整数。
11.根据权利要求10所述的图像处理装置，其特征在于，
还具备：物体检测部，通过追踪处理来检测各输入图像上的所述特定物体的位置和大小，该追踪处理中根据各输入图像的图像数据在所述多个输入图像上追踪所述特定物体，
所述第i和第(i+1)个选择图像上的所述特定物体间的所述距离是基于所述物体检测部对位置的检测结果的距离，
所述基准距离是基于所述物体检测部对大小的检测结果的距离。
12.根据权利要求11所述的图像处理装置，其特征在于，
所述多个输入图像中包含在所述m张输入图像之前拍摄得到的多个非对象输入图像，
所述图像选择部根据所述物体检测部检测出的各非对象输入图像上的所述特定物体的位置，检测所述特定物体的移动速度，使用检测出的所述移动速度，进行所述选择。
13.根据权利要求11所述的图像处理装置，其特征在于，
所述图像选择部根据所述物体检测部检测出的所述m张输入图像上的所述特定物体的位置，检测所述特定物体的移动速度，使用检测出的所述移动速度，进行所述选择。
14.根据权利要求10所述的图像处理装置，其特征在于，
还具有：图像合成部，从各选择图像中，将所述特定物体的图像数据存在的部分的图像作为提取图像进行提取，对得到的多个提取图像进行合成。
15.一种摄像装置，其特征在于，具备：
摄像部，输出摄影所得图像的图像数据；
连拍控制部，使所述摄像部连拍将特定物体包含在被摄物体中的多个对象图像；和
物体特性导出部，根据在所述多个对象图像摄影前从所述摄像部输出的图像数据，检测所述特定物体的移动速度，
所述连拍控制部根据检测出的所述移动速度，设定所述多个对象图像的连拍间隔。
16.根据权利要求15所述的摄像装置，其特征在于，
还具有：物体检测部，根据在所述多个对象图像摄影前由所述摄像部输出的多个预览图像的图像数据，检测各预览图像上的所述特定物体的位置和大小，
所述物体特性导出部根据各预览图像上的所述特定物体的位置检测所述移动速度，
所述连拍控制部根据所述移动速度和所述特定物体的大小，设定所述连拍间隔。
17.根据权利要求16所述的摄像装置，其特征在于，
所述连拍控制部具有：连拍可否判断部，其判断可否连拍所述多个对象图像，
所述连拍可否判断部，
一方面根据所述连拍间隔、所述移动速度和所述多个对象图像的张数，导出所述特定物体在所述多个对象图像摄影期间的移动距离，
另一方面根据基于所述物体检测部的检测结果的第1张对象图像上的所述特定物体的位置、和基于所述物体检测部的检测结果的所述多个对象图像上的所述特定物体的移动方向，导出所述特定物体在所述多个对象图像上的可移动距离，
根据所述移动距离与所述可移动距离的比较，判断可否连拍所述多个对象图像。
18.根据权利要求15所述的摄像装置，其特征在于，还具备：
图像合成部，从各对象图像中，将所述特定物体的图像数据存在的部分的图像作为提取图像进行提取，对得到的多个提取图像进行合成。
19.一种图像处理装置，其特征在于，
具备：图像选择部，从将特定物体包含在被摄物体中的通过依次摄影得到的m张输入图像中，选择p张作为p张选择图像，其中m和p是2以上的整数，且m＞p；和
物体检测部，通过追踪处理来检测各输入图像上的所述特定物体的位置和大小，该追踪处理中根据各输入图像的图像数据在所述m张输入图像上追踪所述特定物体，
所述图像选择部选择所述p张选择图像，使得基于所述物体检测部对位置的检测结果的所述p张选择图像所包含的第i和第(i+1)个选择图像上的所述特定物体间的距离，大于基于所述物体检测部对大小的检测结果的与第i和第(i+1)个选择图像上的所述特定物体大小相应的基准距离，其中i是1以上且(p-1)以下的整数。
20.根据权利要求19所述的图像处理装置，其特征在于，还具备：
图像合成部，从各选择图像中，将所述特定物体的图像数据存在的部分的图像作为提取图像进行提取，对得到的多个提取图像进行合成。
CN2010102605636A 2009-08-20 2010-08-20 摄像装置和图像处理装置 Pending CN101998058A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-191072 2009-08-20
JP2009191072 2009-08-20
JP2010150739A JP5683851B2 (ja) 2009-08-20 2010-07-01 撮像装置及び画像処理装置
JP2010-150739 2010-07-01

Publications (1)

Publication Number Publication Date
CN101998058A true CN101998058A (zh) 2011-03-30

Family

ID=43605042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102605636A Pending CN101998058A (zh) 2009-08-20 2010-08-20 摄像装置和图像处理装置

Country Status (3)

Country Link
US (1) US20110043639A1 (zh)
JP (1) JP5683851B2 (zh)
CN (1) CN101998058A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523379A (zh) * 2011-11-09 2012-06-27 哈尔滨工业大学 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
CN104338684A (zh) * 2013-07-31 2015-02-11 昕芙旎雅有限公司 送料器用速度检测装置以及送料器
CN104853083A (zh) * 2014-02-17 2015-08-19 奥林巴斯株式会社 拍摄装置、闪光灯图像预测方法
CN104935804A (zh) * 2014-03-19 2015-09-23 卡西欧计算机株式会社 摄像装置以及摄像方法
CN104933677A (zh) * 2014-03-20 2015-09-23 宏达国际电子股份有限公司 用以在多个讯框中决定多个候选讯框的方法
WO2015196920A1 (zh) * 2014-06-27 2015-12-30 努比亚技术有限公司 动态影像的拍摄方法和拍摄装置
CN106375670A (zh) * 2016-09-30 2017-02-01 努比亚技术有限公司 一种图片处理方法及终端
CN107277343A (zh) * 2016-03-31 2017-10-20 奥林巴斯株式会社 摄像装置和摄像方法
CN107592463A (zh) * 2017-09-29 2018-01-16 惠州Tcl移动通信有限公司 基于移动终端的动态点拍照方法、存储介质及移动终端
CN109076159A (zh) * 2016-04-01 2018-12-21 三星电子株式会社 电子设备及其操作方法
CN110536073A (zh) * 2018-05-25 2019-12-03 神讯电脑(昆山)有限公司 车用取像装置及影像撷取方法
CN111314611A (zh) * 2020-02-26 2020-06-19 浙江大华技术股份有限公司 一种多个运动对象的拍摄方法及装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
US8428308B2 (en) 2011-02-04 2013-04-23 Apple Inc. Estimating subject motion for capture setting determination
US8736704B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8736697B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
US8736716B2 (en) * 2011-04-06 2014-05-27 Apple Inc. Digital camera having variable duration burst mode
US8630454B1 (en) * 2011-05-31 2014-01-14 Google Inc. Method and system for motion detection in an image
WO2013001940A1 (ja) * 2011-06-29 2013-01-03 オリンパスイメージング株式会社 追尾装置及び追尾方法
US8957979B2 (en) 2011-07-19 2015-02-17 Sony Corporation Image capturing apparatus and control program product with speed detection features
JP5518009B2 (ja) 2011-08-03 2014-06-11 シャープ株式会社 画像形成装置、画像編集方法、コンピュータプログラム及び記録媒体
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5821625B2 (ja) * 2011-08-29 2015-11-24 カシオ計算機株式会社 画像編集装置およびプログラム
JP5803467B2 (ja) * 2011-09-14 2015-11-04 株式会社リコー 画像処理装置および撮像装置、ならびに画像処理方法
WO2013089662A1 (en) * 2011-12-12 2013-06-20 Intel Corporation Scene segmentation using pre-capture image motion
EP2819398A4 (en) * 2012-02-20 2015-10-28 Sony Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM THEREOF
JP2013195287A (ja) * 2012-03-21 2013-09-30 Sharp Corp 変位量検出装置、電子機器
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
KR102031284B1 (ko) * 2013-03-14 2019-11-08 삼성전자주식회사 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
JP6115815B2 (ja) * 2013-04-26 2017-04-19 リコーイメージング株式会社 合成画像生成装置及び合成画像生成方法
KR20140132568A (ko) * 2013-05-08 2014-11-18 삼성전자주식회사 움직이는 물체를 하나의 이미지에 합성하기 위한 장치 및 방법
US9307112B2 (en) * 2013-05-31 2016-04-05 Apple Inc. Identifying dominant and non-dominant images in a burst mode capture
GB2520748B (en) * 2013-11-29 2019-12-25 Life On Show Ltd Video image capture apparatus and method
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
US9479694B2 (en) * 2014-10-28 2016-10-25 Google Inc. Systems and methods for autonomously generating photo summaries
KR101926018B1 (ko) * 2016-08-12 2018-12-06 라인 가부시키가이샤 동영상 녹화 방법 및 시스템
JP2019057836A (ja) * 2017-09-21 2019-04-11 キヤノン株式会社 映像処理装置、映像処理方法、コンピュータプログラム、及び記憶媒体
KR102149005B1 (ko) * 2018-11-16 2020-08-28 포디리플레이코리아 주식회사 객체 속도 계산 및 표시 방법 및 장치
CN111008305B (zh) * 2019-11-29 2023-06-23 百度在线网络技术（北京）有限公司 一种视觉搜索方法、装置以及电子设备
CN112261302A (zh) * 2020-10-23 2021-01-22 创新奇智(广州)科技有限公司 一种多角度目标对象拍摄的方法、装置以及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272455A (zh) * 2007-03-23 2008-09-24 富士胶片株式会社 图像获取装置
CN101325661A (zh) * 2007-06-14 2008-12-17 松下电器产业株式会社 摄像装置
CN101369089A (zh) * 2007-08-15 2009-02-18 佛山普立华科技有限公司 图像连拍***及方法
CN101378462A (zh) * 2007-08-30 2009-03-04 卡西欧计算机株式会社 动体图像抽取装置
CN101431616A (zh) * 2007-11-06 2009-05-13 奥林巴斯映像株式会社 图像合成装置及图像合成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998026598A1 (fr) * 1996-12-09 1998-06-18 Sony Corporation Dispositif de prise de vues d'objets mobiles
DE60045044D1 (de) * 1999-09-14 2010-11-11 Topcon Corp Angesichtsphotographiervorrichtung und -verfahren
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP4155118B2 (ja) * 2003-06-13 2008-09-24 カシオ計算機株式会社 静止画合成装置、及び動画像からの静止画合成方法
JP2007142565A (ja) * 2005-11-15 2007-06-07 Olympus Imaging Corp 撮像装置及びその撮像方法
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
JP4752554B2 (ja) * 2006-03-15 2011-08-17 オムロン株式会社 利用者機器、認証システム、認証方法、認証プログラムおよび記録媒体
JP5168837B2 (ja) * 2006-07-27 2013-03-27 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4849988B2 (ja) * 2006-07-31 2012-01-11 三洋電機株式会社 撮像装置及び出力画像生成方法
JP2008072412A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp 撮影装置および方法並びにプログラム
JP2010171491A (ja) * 2009-01-20 2010-08-05 Casio Computer Co Ltd 撮影装置、撮影方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101272455A (zh) * 2007-03-23 2008-09-24 富士胶片株式会社 图像获取装置
CN101325661A (zh) * 2007-06-14 2008-12-17 松下电器产业株式会社 摄像装置
CN101369089A (zh) * 2007-08-15 2009-02-18 佛山普立华科技有限公司 图像连拍***及方法
CN101378462A (zh) * 2007-08-30 2009-03-04 卡西欧计算机株式会社 动体图像抽取装置
CN101431616A (zh) * 2007-11-06 2009-05-13 奥林巴斯映像株式会社 图像合成装置及图像合成方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523379B (zh) * 2011-11-09 2014-07-30 哈尔滨工业大学 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法
CN102523379A (zh) * 2011-11-09 2012-06-27 哈尔滨工业大学 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
CN104338684A (zh) * 2013-07-31 2015-02-11 昕芙旎雅有限公司 送料器用速度检测装置以及送料器
CN104338684B (zh) * 2013-07-31 2018-06-15 昕芙旎雅有限公司 送料器用速度检测装置以及送料器
US9843715B2 (en) 2014-02-17 2017-12-12 Olympus Corporation Photographic apparatus, stroboscopic image prediction method, and a non-transitory computer readable storage medium storing stroboscopic image prediction program
CN104853083A (zh) * 2014-02-17 2015-08-19 奥林巴斯株式会社 拍摄装置、闪光灯图像预测方法
CN104935804A (zh) * 2014-03-19 2015-09-23 卡西欧计算机株式会社 摄像装置以及摄像方法
US9898828B2 (en) 2014-03-20 2018-02-20 Htc Corporation Methods and systems for determining frames and photo composition within multiple frames
CN104933677A (zh) * 2014-03-20 2015-09-23 宏达国际电子股份有限公司 用以在多个讯框中决定多个候选讯框的方法
CN104933677B (zh) * 2014-03-20 2018-11-09 宏达国际电子股份有限公司 用以在多个讯框中决定多个候选讯框的方法
US10237490B2 (en) 2014-06-27 2019-03-19 Nubia Technology Co., Ltd. Shooting method and shooting device for dynamic image
WO2015196920A1 (zh) * 2014-06-27 2015-12-30 努比亚技术有限公司 动态影像的拍摄方法和拍摄装置
CN107277343B (zh) * 2016-03-31 2020-12-01 奥林巴斯株式会社 摄像装置和摄像方法
CN107277343A (zh) * 2016-03-31 2017-10-20 奥林巴斯株式会社 摄像装置和摄像方法
CN109076159A (zh) * 2016-04-01 2018-12-21 三星电子株式会社 电子设备及其操作方法
US10681263B2 (en) 2016-04-01 2020-06-09 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
CN109076159B (zh) * 2016-04-01 2021-03-26 三星电子株式会社 电子设备及其操作方法
US11089206B2 (en) 2016-04-01 2021-08-10 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11743571B2 (en) 2016-04-01 2023-08-29 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
CN106375670A (zh) * 2016-09-30 2017-02-01 努比亚技术有限公司 一种图片处理方法及终端
CN107592463A (zh) * 2017-09-29 2018-01-16 惠州Tcl移动通信有限公司 基于移动终端的动态点拍照方法、存储介质及移动终端
CN107592463B (zh) * 2017-09-29 2020-10-27 惠州Tcl移动通信有限公司 基于移动终端的动态点拍照方法、存储介质及移动终端
CN110536073A (zh) * 2018-05-25 2019-12-03 神讯电脑(昆山)有限公司 车用取像装置及影像撷取方法
CN110536073B (zh) * 2018-05-25 2021-05-11 神讯电脑(昆山)有限公司 车用取像装置及影像撷取方法
CN111314611A (zh) * 2020-02-26 2020-06-19 浙江大华技术股份有限公司 一种多个运动对象的拍摄方法及装置

Also Published As

Publication number Publication date
JP2011066873A (ja) 2011-03-31
JP5683851B2 (ja) 2015-03-11
US20110043639A1 (en) 2011-02-24

Similar Documents

Publication Publication Date Title
CN101998058A (zh) 摄像装置和图像处理装置
CN101163199B (zh) 图像拍摄设备和方法、及表情评价设备
CN102103754B (zh) 被摄体跟踪设备、被摄体区域提取设备及其控制方法
CN100556078C (zh) 摄像装置、图像处理装置、以及图像处理方法
CN101606384B (zh) 图像处理装置、运动图像再现装置及其处理方法
CN1838737B (zh) 帧速率变换装置、摇摄/倾斜判断装置及视频装置
CN101193208B (zh) 图像拍摄装置、图像处理装置及方法
Sun et al. Region of interest extraction and virtual camera control based on panoramic video capturing
US8599316B2 (en) Method for determining key video frames
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
JP4618166B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20120105657A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
US20110193986A1 (en) Image sensing device
CN101287089B (zh) 摄像设备、图像处理设备及其控制方法
CN101867723A (zh) 图像处理装置、摄像装置及图像再生装置
WO2011149648A2 (en) Determining key video snippets using selection criteria to form a video summary
CN102209195A (zh) 成像装置、图像处理装置、图像处理方法以及程序
CN102209142A (zh) 成像装置、图像处理装置、图像处理方法以及程序
US20110292229A1 (en) Ranking key video frames using camera fixation
CN102404503A (zh) 自动调焦设备和摄像设备
US20100296798A1 (en) Image Reproducing Apparatus And Imaging Apparatus
KR101272631B1 (ko) 이동물체 감지장치 및 방법
JP5868145B2 (ja) 画像処理装置及びその制御方法
CN116076083A (zh) 成像装置，信息处理装置，信息处理方法和程序
JPH10301556A (ja) 画像表示制御装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110330