CN105991928B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置以及图像处理方法。图像处理装置具备在动态图像内对被拍摄体进行检测的被拍摄体检测部、从构成动态图像的各帧图像剪出与由被拍摄体检测部检测出的被拍摄体对应的被拍摄体剪出区域的图像剪出部、以及基于已经剪出的被拍摄体剪出区域的位置以及尺寸中的至少一方，设定新剪出的剪出预定区域的区域设定部，因此能够从动态图像适当地剪出与被拍摄体对应的区域。

Description

图像处理装置以及图像处理方法

本申请主张于2015年3月23日提出的日本专利申请2015-059349号的优先权，并在此引用包括说明书、附图、摘要在内的全部内容。

技术领域

本发明涉及图像处理装置以及图像处理方法。

背景技术

以往，公知有从动态图像剪出作为跟踪对象的被拍摄体并将其记录的图像处理装置(例如，参照日本特开2012-205037号公报)。

在该日本特开2012-205037号公报的情况下，与检测出被拍摄体的特征点的动作的区域对应地设定图像的剪出区域，凭借被拍摄体的动作而被剪出的区域在帧图像之间移动较大，从而成为非常难以观察的动态图像。

发明内容

本发明是鉴于上述的问题而完成的，本发明的课题在于提供一种能够从动态图像适当地剪出与被拍摄体对应的区域的图像处理装置以及图像处理方法。

本发明的图像处理装置的一个方式具备：

检测部，其在动态图像内对被拍摄体进行检测；

剪出部，其从构成上述动态图像的各帧图像剪出与由上述检测部检测出的上述被拍摄体对应的区域；以及

设定部，其基于由上述剪出部已经剪出的与上述被拍摄体对应的区域的位置及尺寸中的至少一方，设定由上述剪出部新剪出的剪出预定区域。

另外，本发明的图像处理方法的一个方式为使用了图像处理装置的图像处理方法，其包括：

在动态图像内对被拍摄体进行检测的检测步骤；

从构成上述动态图像的各帧图像剪出与所检测出的上述被拍摄体对应的区域的剪出步骤；以及

基于已经剪出的与上述被拍摄体对应的区域的位置及尺寸中的至少一方，来设定新剪出的剪出预定区域的设定步骤。

根据本发明，能够从动态图像适当地剪出与被拍摄体对应的区域。

本发明的其他目的和优点记载于以下的说明中，能够通过本发明的具体实施方式而得知。本发明的其他目的和优点能够通过以下的结构以及结构的组合来实现。

根据以下参照附图对实施例进行的详细说明可了解本发明的上述以及更多的特点和优点，在附图中，对相同的要素标注相同的附图标记。

附图说明

图1是表示应用本发明的一个实施方式的拍摄装置的简要结构的框图。

图2是表示基于图1的拍摄装置的图像剪出处理的动作的一个例子的流程图。

图3是表示图2的图像剪出处理的继续的流程图。

图4是表示图3的图像剪出处理的继续的流程图。

图5A是示意性地表示图2的图像剪出处理的帧编号N＝1的帧图像、被拍摄体区域以及被拍摄体剪出区域的对应关系的一个例子的图。

图5B是示意性地表示图2的图像剪出处理的帧编号N＝2的帧图像、被拍摄体区域以及被拍摄体剪出区域的对应关系的一个例子的图。

图5C是示意性地表示图2的图像剪出处理的帧编号N＝3的帧图像、被拍摄体区域以及被拍摄体剪出区域的对应关系的一个例子的图。

图6A是示意性地表示图2的图像剪出处理的帧编号N＝4的帧图像、被拍摄体区域以及被拍摄体剪出区域的对应关系的一个例子的图。

图6B是示意性地表示图2的图像剪出处理的帧编号N＝5的帧图像、被拍摄体区域以及被拍摄体剪出区域的对应关系的一个例子的图。

具体实施方式

以下，使用附图对本发明的具体的方式进行说明。其中，发明的范围不限定于图示例。

图1是表示应用本发明的一个实施方式的拍摄装置100的简要结构的框图。

如图1所示，本实施方式的拍摄装置100具备：中央控制部1、存储器2、拍摄部3、图像数据生成部4、图像处理部5、图像记录部6、显示部7以及操作输入部8。

另外，中央控制部1、存储器2、拍摄部3、图像数据生成部4、图像处理部5、图像记录部6以及显示部7经由母线9被连接。

中央控制部1对拍摄装置100的各部进行控制。具体而言，中央控制部1虽省略图示，但具备CPU(Central Processing Unit：中央处理器)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)，根据拍摄装置100用的各种处理程序(省略图示)，进行各种控制动作。

存储器2例如由DRAM(Dynamic Random Access Memory：动态随机存取存储器)等构成，暂时存储由中央控制部1、图像处理部5等的各部处理的数据等。

拍摄部3例如对人等的被拍摄体S(参照图5A等)进行拍摄。具体而言，拍摄部3具备透镜部3a、电子拍摄部3b以及拍摄控制部3c。

透镜部3a例如由变焦(zoom)透镜、聚焦(focus)透镜等多个透镜构成。

电子拍摄部3b例如由CMOS(Complementary Metal-oxide Semiconductor：互补金属氧化物半导体)、CCD(Charge Coupled Device：电荷耦合器件)等图像传感器构成，将通过了透镜部3a的各种透镜的光学像转换成二维的图像信号。

此外，虽省略图示，但拍摄部3也可以具备对通过透镜部3a的光的量进行调整的光阑。

拍摄控制部3c对基于拍摄部3的被拍摄体S的拍摄进行控制。即，拍摄控制部3c虽省略图示，但具备定时发生器、驱动器等。而且，拍摄控制部3c通过定时发生器、驱动器对电子拍摄部3b进行扫描驱动，每隔预定周期，通过电子拍摄部3b将光学像转换成二维的图像信号，从该电子拍摄部3b的拍摄区域逐一画面地读出帧图像F，并将其输出至图像数据生成部4。

图像数据生成部4在针对RGB的各色成分对从电子拍摄部3b被转送的帧图像F的模拟值的信号适当地进行增益调整后，通过取样保持电路(省略图示)进行取样保持并通过A/D转换器(省略图示)转换成数字数据，在通过彩色工序电路(省略图示)进行包括像素插值处理以及γ校正处理的彩色工序处理后，生成数字值的亮度信号Y以及色差信号Cb、Cr(YUV数据)。另外，图像数据生成部4利用预定形式(例如，MPEG形式、运动JPEG形式等)对构成动态图像的多个帧图像F、…的每一个进行编码，生成动态图像的图像数据。

另外，图像数据生成部4将生成的图像数据转送至使用为缓冲存储器(buffermemory)的存储器2。

图像处理部5具备：图像取得部5a、被拍摄体检测部5b、判定部5c、区域设定部5d以及图像剪出部5e。

此外，图像处理部5的各部例如由预定的逻辑电路构成，但该构成为一个例子，不限定于此。

图像取得部5a取得成为图像剪出处理的处理对象的动态图像。

即，图像取得部5a例如，从存储器2取得由被拍摄体S被拍摄部3拍摄而由图像数据生成部4生成的多个帧图像F、…构成的动态图像的图像数据。

此外，图像取得部5a也可以读出在基于拍摄部3、外部机器(省略图示)的被拍摄体S的拍摄后记录于图像记录部6的动态图像的图像数据，而获取为图像剪出处理的处理对象。

被拍摄体检测部(检测部)5b在动态图像内对被拍摄体S进行检测。

即，被拍摄体检测部5b相对于由被图像取得部5a取得的多个帧图像F、…构成的动态图像的图像数据进行预定的被拍摄体检测处理，并根据各帧图像F对被拍摄体S进行检测。具体而言，例如，当在被拍摄体S(例如，人等)安装发出可见光(波长为380～780nm的区域的光)的光标签(省略图示)的情况下，被拍摄体检测部5b对在动态图像内以预定的规则性(例如，发色图形、发光图形等)发光的光标签进行检测，从而特定其检测位置。而且，被拍摄体检测部5b以特定的光标签的检测位置为基准，相对于各帧图像F进行预定的被拍摄体检测处理(例如，脸部检测处理等)，根据各帧图像F对被拍摄体S的位置、包括该被拍摄体S的区域进行检测。另外，被拍摄体检测部5b也可以将从构成动态图像的多个帧图像F、…中的一个帧图像F检测出的被拍摄体S的位置信息、包括被拍摄体S的区域的亮度信息、颜色信息等图像信息等作为跟踪对象，在其他的帧图像F内对被拍摄体S进行检测。

另外，被拍摄体检测部5b也可以从各帧图像F对多个被拍摄体S、…、包括多个被拍摄体S、…的区域进行检测。

此外，脸部检测处理为公知的技术，因此此处省略详细的说明。另外，作为被拍摄体检测处理，例示了脸部检测处理，但为一个例子，并不限定于此，例如，若利用边缘检测处理、特征提取处理等的预定的图像识别技术，则能够适当地任意变更。

判定部5c对是否通过被拍摄体检测部5b检测出被拍摄体S进行判定。

即，判定部5c对是否从构成动态图像的一个帧图像F由被拍摄体检测部5b检测出被拍摄体S进行判定。具体而言，判定部5c例如根据由被拍摄体检测部5b是否从各帧图像F检测出安装于被拍摄体S的光标签、是否检测出包括被拍摄体S的区域，对是否检测出被拍摄体S进行判定。

区域设定部5d根据构成动态图像的各帧图像F设定被图像剪出部5e剪出的剪出预定区域A0(参照图5A)。

即，区域设定部(设定部)5d基于被图像剪出部5e已经剪出的被拍摄体剪出区域A(参照图5A)的位置以及尺寸中的至少一方，设定被该图像剪出部5e新剪出的剪出预定区域A0。具体而言，区域设定部5d基于被图像剪出部5e已经剪出的被拍摄体剪出区域A的位置的经时变化，以插值的方式设定新的剪出预定区域A0的位置。另外，区域设定部5d基于被图像剪出部5e已经剪出的被拍摄体剪出区域A的尺寸的经时变化，以插值的方式设定新的剪出预定区域A0的尺寸。

例如，区域设定部5d从存储器2取得被图像剪出部5e已经剪出的多个被拍摄体剪出区域A的位置(例如，左上像素等的基准位置)的坐标，对在时间轴邻接的被拍摄体剪出区域A彼此的位置坐标之间的距离的代表值(例如，平均值等)进行计算。而且，区域设定部5d基于计算出的代表值，进行预定的运算，例如，对用于通过线形插值以插值的方式设定新的剪出预定区域A0的位置、尺寸的线形插值条件进行计算。

此处，若多个被拍摄体剪出区域A的尺寸位移，则该被拍摄体剪出区域A的位置也位移，因此区域设定部5d利用在时间轴邻接的被拍摄体剪出区域A彼此的位置坐标之间的距离的代表值对线形插值条件进行计算，但例如，也可以利用将多个被拍摄体剪出区域A的尺寸的代表值与预定的尺寸相比的结果对线形插值条件进行计算。

此外，线形插值为公知的技术，因此此处省略详细的说明。

另外，在通过判定部5c判定为从成为处理对象的一个帧图像F检测出被拍摄体S的情况下，区域设定部5d取得由被拍摄体检测部5b检测出的被拍摄体S的位置坐标，并基于从比构成动态图像的一个帧图像F更靠前的其他的帧图像F被图像剪出部5e剪出的被拍摄体剪出区域A的位置以及尺寸的经时变化，对被图像剪出部5e从一个帧图像F新剪出的剪出预定区域A0进行设定。此时，例如，在通过被拍摄体检测部5b从一个帧图像F检测出一个被拍摄体S的情况下，区域设定部5d将一个被拍摄体S的位置坐标的x坐标以及y坐标的最大值以及最小值的差，换句话说，将x轴方向以及y轴方向的像素数计算为被拍摄体尺寸。而且，区域设定部5d根据被拍摄体S的位置坐标的最小值与计算出的被拍摄体尺寸特定被拍摄体区域As。另外，例如，在通过被拍摄体检测部5b从一个帧图像F检测出多个被拍摄体S、…的情况下，区域设定部5d分别取得多个被拍摄体S、…的每一个的位置坐标，将x坐标以及y坐标的最大值以及最小值的差计算为被拍摄体尺寸。例如，在检测出三个被拍摄体S、…的情况下，假设，若形成第一被拍摄体S的位置坐标(30、390)、第二被拍摄体S的位置坐标(100、50)、第三被拍摄体S的位置坐标(600、200)，则x坐标的最大值为600，最小值为30，y坐标的最大值为390，最小值为50。对于被拍摄体尺寸而言，x轴方向的像素数为从最大值600减去最小值30的570，y轴方向的像素数为从最大值390减去最小值50的340。而且，区域设定部5d从计算为多个被拍摄体S、…的位置坐标的最小值的被拍摄体尺寸特定被拍摄体区域As。

此时，区域设定部5d也可以考虑由拍摄部3拍摄被拍摄体S时的抖动，以重心为中心在外侧附加间隙区域来设定被拍摄体区域As。此外，被附加的间隙区域的尺寸例如也可以与被拍摄体区域As的位置、尺寸对应地变化，也可以为根据经验求得的恒定的尺寸。

而且，区域设定部5d对在特定的被拍摄体区域As内是否存在从比一个帧图像F(例如，第二个帧图像N＝2；参照图5B)更靠前一个帧图像F(例如，最初的帧图像N＝1；参照图5A)剪出的被拍摄体剪出区域A的重心(x轴方向以及y轴方向的中心)进行判定。此处，在判定为在被拍摄体区域As内存在从前一个帧图像F剪出的被拍摄体剪出区域A的重心的情况下，区域设定部5d将从前一个帧图像F剪出的被拍摄体剪出区域A的重心设定为从一个帧图像F新剪出的剪出预定区域A0的重心。另一方面，在判定为在被拍摄体区域As内不存在从前一个帧图像F剪出的被拍摄体剪出区域A的重心的情况下，区域设定部5d基于线形插值条件设定从一个帧图像F新剪出的剪出预定区域A0的重心。

此外，当在被拍摄体区域As附加间隙区域的情况下，区域设定部5d也可以对在特定的被拍摄体区域As的间隙区域内是否存在从前一个帧图像F剪出的被拍摄体剪出区域A的重心进行判定。

另外，除了上述的判定方法以外，区域设定部5d也可以对在特定的被拍摄体区域As内是否存在从前一个帧图像F剪出的被拍摄体剪出区域A整体进行判定。

另外，区域设定部5d对特定的被拍摄体区域As的尺寸是否比从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸大进行判定。此处，若判定为被拍摄体区域As的尺寸比从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸大，则区域设定部5d基于线形插值条件设定为从一个帧图像F新剪出的剪出预定区域A0的尺寸比从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸大。另一方面，若判定为被拍摄体区域As的尺寸不比从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸大，则区域设定部5d基于线形插值条件，设定为从一个帧图像F新剪出的剪出预定区域A0的尺寸成为从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸以下。

此外，在判定为被拍摄体区域As的尺寸与从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸相同的情况下，区域设定部5d也可以设定为从一个帧图像F新剪出的剪出预定区域A0的尺寸与从前一个帧图像F剪出的被拍摄体剪出区域A的尺寸相同。

另一方面，在由判定部5c判定为未从成为处理对象的一个帧图像F检测出被拍摄体S的情况下，区域设定部5d基于由图像剪出部5e从构成动态图像的比一个帧图像F更靠前的其他的帧图像F剪出的被拍摄体剪出区域A的位置以及尺寸的经时变化，设定由图像剪出部5e从一个帧图像F新剪出的剪出预定区域A0。此时，区域设定部5d也可以与根据预先指定的条件(例如，拉远变焦的有无、变焦倍率等)而设定的假设的剪出预定区域A0的尺寸对应地设定从一个帧图像F剪出的新的剪出预定区域A0的重心、尺寸。

此外，区域设定部5d也可以以从构成动态图像的各帧图像F剪出的被拍摄体剪出区域A的纵横比(aspect ratio)成为恒定的方式设定剪出预定区域A0。例如，在纵横比为9：16的情况下，区域设定部5d将y轴方向的像素数除以9，对加上进位用的常量(例如，0.5等)而四舍五入的值乘以9，相同地，将x轴方向的像素数除以16，对加上进位用的常量(例如，0.5等)而四舍五入的值乘以16。

另外，设定的剪出预定区域A0的重心接近帧图像F的端部(例如，左端部等)，因此在比该端部更靠外侧设定剪出预定区域A0的情况下，区域设定部5d也可以设定为保持剪出预定区域A0的纵横比的状态，使剪出预定区域A0向从帧图像F的端部离开的方向移动。

另外，区域设定部5d在剪出预定区域A0的设定中使用线形插值，但为一个例子，不限定于此，例如，也可以使用三次曲线插值等其他的插值方法。

图像剪出部(剪出部)5e从构成动态图像的各帧图像F剪出与由被拍摄体检测部5b检测出的被拍摄体S对应的区域(被拍摄体剪出区域A)。

即，图像剪出部5e从成为处理对象的一个帧图像F剪出由区域设定部5d设定的剪出预定区域A0作为被拍摄体剪出区域A。

此外，被拍摄体剪出区域A在未由被拍摄体检测部5b检测出被拍摄体S的情况下，也通过区域设定部5d设定剪出预定区域A0并将其剪出，因此也存在在该区域内包含或不包含被拍摄体S的情况。

图像记录部6例如由非易失性存储器(闪存)等构成。另外，图像记录部6通过图像数据生成部4的编码部(省略图示)记录以预定的编码方式被编码的各种图像的图像数据。

具体而言，图像记录部6例如记录由拍摄部3拍摄的被拍摄体S的动态图像的图像数据、从该动态图像剪出的被拍摄体剪出区域A的剪裁动态图像的图像数据等。

此外，图像记录部6例如也可以为如下结构，以能够自由装卸的方式构成记录介质(省略图示)，并对从被安装的记录介质读出数据、相对于记录介质写入数据进行控制。

显示部7显示静止图像、动态图像。具体而言，显示部7具备显示面板7a与显示控制部7b。

显示面板7a在显示区域内显示图像。具体而言，显示部7在静止图像拍摄模式、动画拍摄模式下，边以预定的再生帧率依次更新边显示由基于拍摄部3的被拍摄体S的拍摄生成的多个帧图像F、…。

此外，作为显示面板7a，例如能够列举液晶显示面板、有机EL显示面板等，但为一个例子，不限定于这些。

显示控制部7b基于从图像记录部6读出并被图像处理部5解码的预定尺寸的图像数据，进行将预定的图像显示于显示面板7a的显示画面的控制。具体而言，显示控制部7b具备VRAM(Video Random Access Memory：视频随机存取存储器)、VRAM控制器、数字视频编码器等。而且，数字视频编码器经由VRAM控制器从VRAM读出被图像处理部5解码并存储于VRAM(省略图示)的亮度信号Y以及色差信号Cb、Cr，基于这些数据产生视频信号并输出至显示面板7a。

操作输入部8用于向装置主体输入各种指示。

具体而言，操作输入部8例如具备操作部(省略图示)，该操作部具备模式、功能等选择指示所涉及的上下左右的光标按钮、决定按钮等。

而且，若由用户操作操作部的各种按钮，则操作输入部8将与***作的按钮对应的操作指示输出至中央控制部1。中央控制部1根据从操作输入部8输出、输入的操作指示使各部执行预定的动作(例如，被拍摄体S的拍摄等)。

此外，操作输入部8也可以构成为具有与显示部7的显示面板7a成为一体而设置的触摸面板(省略图示)。

＜图像剪出处理＞

接下来，参照图2～图6对图像剪出处理进行说明。

图2～图4是表示图像剪出处理的动作的一个例子的流程图。另外，图5A～图5C和图6A以及图6B是示意性地表示帧编号N＝1～5的帧图像F、被拍摄体区域As以及被拍摄体剪出区域A的对应关系的一个例子的图。

此外，在图5A～图5C和图6A以及图6B中，利用点划线表示剪出预定区域A0以及被拍摄体剪出区域A，利用双点划线表示被拍摄体区域As。

以下说明的图像剪出处理是基于用户的操作输入部8的预定操作，在从显示于菜单画面(省略图示)的多个动作模式中选择指示图像剪出模式的情况下被执行的处理。另外，在图像记录部6记录有由拍摄部3拍摄的被拍摄体S的动态图像的图像数据。

如图2所示，首先，图像处理部5的图像取得部5a从图像记录部6取得由多个帧图像F、…构成的动态图像的图像数据(步骤S1)。

接下来，图像处理部5对是否存在上次的被拍摄体剪出区域A进行判定(步骤S2)。例如，图像处理部5例如对在存储器2的预定的储存区域中是否储存有在该图像剪出处理中上次剪出的被拍摄体剪出区域A的位置、尺寸、重心等信息进行判定。

此处，图像处理部5在将动态图像的多个帧图像F、…中的帧编号为最初(N＝1)的帧图像F(参照图5A)作为处理对象的情况下，尚未进行被拍摄体剪出区域A的剪出，因此判定为不存在上次的被拍摄体剪出区域A。

在步骤S2中，若判定为不存在上次的被拍摄体剪出区域A(步骤S2；否)，则图像处理部5将动态图像的多个帧图像F、…中的任一个帧图像F(例如，最初的帧图像F等)指定为处理对象(步骤S3)。

接着，被拍摄体检测部5b相对于被指定为处理对象的一个帧图像F的图像数据进行预定的被拍摄体检测处理(步骤S4)。在该被拍摄体检测处理中，例如，也可以利用安装于被拍摄体S的光标签，从帧图像F内对被拍摄体S进行检测。

接下来，判定部5c对是否从处理对象的帧图像F内由被拍摄体检测部5b检测出被拍摄体S进行判定(步骤S5)。

此处，若判定为由被拍摄体检测部5b检测出被拍摄体S(步骤S5；是)，则区域设定部5d基于由被拍摄体检测部5b检测出的被拍摄体S的位置、尺寸，例如以被拍摄体S为中心以包含该被拍摄体S的程度的尺寸设定剪出预定区域A0(步骤S6)。

另一方面，若判定为未由被拍摄体检测部5b检测出被拍摄体S(步骤S5；否)，则区域设定部5d将帧图像F整体设定为剪出预定区域A0(步骤S7)。

接下来，图像剪出部5e从一个帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A(步骤S8)。而且，图像剪出部5e将剪出的被拍摄体剪出区域A的位置、尺寸、重心等信息输出至存储器2。在存储器2的预定的储存区域以与帧图像F的帧编号(N＝1)对应的方式储存被拍摄体剪出区域A的位置、尺寸、重心等信息。

接下来，图像处理部5对处理对象的帧图像F是否为构成动态图像的多个帧图像F、…中的最后的帧图像F进行判定(步骤S9)。

此处，若判定为处理对象的帧图像F并非最后的帧图像F(步骤S9；否)，则图像处理部5使处理返回步骤S2，而与上述相同地对是否存在上次的被拍摄体剪出区域A进行判定(步骤S2)。

在步骤S2中，若判定为存在上次的被拍摄体剪出区域A(步骤S2；是)，则如图3所示，图像处理部5从存储器2取得上次剪出的被拍摄体剪出区域A的位置、尺寸、重心等信息(步骤S10)，将动态图像的多个帧图像F、…中的接下来的帧编号的帧图像F(例如，帧编号为第二个(N＝2)的帧图像F；参照图5B等)指定为处理对象(步骤S11)。

接着，被拍摄体检测部5b相对于指定为处理对象的接下来的帧图像F的图像数据进行预定的被拍摄体检测处理(步骤S12)。该被拍摄体检测处理与上述的步骤S4的被拍摄体检测处理大致相同。

接下来，判定部5c对是否从处理对象的帧图像F内由被拍摄体检测部5b检测出被拍摄体S进行判定(步骤S13)。

在步骤S13中，若判定为由被拍摄体检测部5b检测出被拍摄体S(步骤S13；是)，则区域设定部5d对在储存于存储器2的预定期间内的时间轴邻接的被拍摄体剪出区域A彼此的位置坐标之间的距离的代表值(例如，平均值等)进行计算(步骤S14)。此外，例如，在以第二个帧图像F为处理对象的情况下，由于仅将从最初的帧图像F剪出的被拍摄体剪出区域A的位置储存于存储器2，因此也可以利用该最初的帧图像F的被拍摄体剪出区域A的位置与由被拍摄体检测部5b从处理对象的帧图像F检测出的被拍摄体S的位置。

而且，区域设定部5d基于计算出的被拍摄体剪出区域A彼此的距离的代表值进行预定的运算，对用于以插值的方式设定新的剪出预定区域A0的位置、尺寸的线形插值条件进行计算(步骤S15)。

接下来，区域设定部5d基于由被拍摄体检测部5b检测出的被拍摄体S的位置坐标的x坐标以及y坐标的最大值以及最小值，对被拍摄体尺寸进行计算(步骤S16)。例如，区域设定部5d在由被拍摄体检测部5b检测出一个被拍摄体S的情况下，将该一个被拍摄体S的位置坐标的x坐标以及y坐标的最大值以及最小值的差计算为被拍摄体尺寸，另一方面，在检测出多个被拍摄体S、…的情况下，分别取得多个被拍摄体S、…的位置坐标，将x坐标以及y坐标的最大值以及最小值的差计算为被拍摄体尺寸。

接着，区域设定部5d根据计算出的被拍摄体尺寸与被拍摄体S的位置坐标的最小值，特定被拍摄体区域As的重心，附加以其重心为中心的间隙区域，特定被拍摄体区域As(步骤S17)。

接下来，区域设定部5d对在特定的被拍摄体区域As的间隙区域内是否存在上次的被拍摄体剪出区域A的重心进行判定(步骤S18)。

在步骤S18中，若判定为在间隙区域内存在上次的被拍摄体剪出区域A的重心(步骤S18；是)，则区域设定部5d将上次的被拍摄体剪出区域A的重心设定为从处理对象的帧图像F新剪出的剪出预定区域A0的重心(步骤S19)。

另一方面，若判定为在间隙区域内不存在上次的被拍摄体剪出区域A的重心(步骤S18；否)，则区域设定部5d基于在步骤S15中计算出的线形插值条件，设定从处理对象的帧图像F新剪出的剪出预定区域A0的重心(步骤S20)。

然后，区域设定部5d与由被拍摄体检测部5b检测出的被拍摄体S的个数对应，例如以被拍摄体S的个数越多则越大的方式对被拍摄体区域As的尺寸进行调整(步骤S21)。

而且，区域设定部5d对尺寸调整后的被拍摄体区域As的尺寸是否比上次的被拍摄体剪出区域A的尺寸大进行判定(步骤S22)。

在步骤S22中，若判定为被拍摄体区域As的尺寸比上次的被拍摄体剪出区域A的尺寸大(步骤S22；是)，则区域设定部5d基于在步骤S15中计算出的线形插值条件，设定为从处理对象的帧图像F新剪出的剪出预定区域A0的尺寸比上次的被拍摄体剪出区域A的尺寸大(步骤S23)。

另一方面，若判定为被拍摄体区域As的尺寸不比上次的被拍摄体剪出区域A的尺寸大(步骤S22；否)，则区域设定部5d基于在步骤S15中计算出的线形插值条件，设定为从处理对象的帧图像F新剪出的剪出预定区域A0的尺寸成为上次的被拍摄体剪出区域A的尺寸以下(步骤S24)。

接下来，区域设定部5d根据设定的剪出预定区域A0的重心以及尺寸特定该剪出预定区域A0的位置(例如，左上像素等的基准位置)(步骤S25)。

图像剪出部5e从处理对象的帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A(步骤S26)。而且，图像剪出部5e与上述步骤S8相同地将剪出的被拍摄体剪出区域A的位置、尺寸、重心等信息输出至存储器2。在存储器2的预定的储存区域以与帧图像F的帧编号(N＝2)对应的方式储存被拍摄体剪出区域A的位置、尺寸、重心等信息。

然后，如图2所示，图像处理部5使处理返回步骤S9，与上述相同地，对处理对象的帧图像F是否为构成动态图像的多个帧图像F、…中的最后的帧图像F进行判定(步骤S9)。

此处，若判定为处理对象的帧图像F并非最后的帧图像F(步骤S9；否)，则图像处理部5使处理返回步骤S2，与上述相同地，对是否存在上次的被拍摄体剪出区域A进行判定(步骤S2)。

上述的各处理在步骤S9中，反复执行直至判定为处理对象的帧图像F为构成动态图像的多个帧图像F、…中的最后的帧图像F(步骤S9；是)。

例如，如图5A～图5C和图6A以及图6B所示，即便在帧编号N＝1的最初的帧图像F以及接下来的帧编号N＝2的帧图像F中检测出一个被拍摄体S，在第三个帧编号N＝3的帧图像F检测出两个被拍摄体S、S的情况下，被拍摄体剪出区域A(剪出预定区域A0)的位置以及尺寸也不在第三个帧编号N＝3的帧图像F中急剧地变化，而考虑已经剪出的被拍摄体剪出区域A的位置以及尺寸的经时变化以插值的方式设定(参照图5C)。换句话说，即使被拍摄体区域As的位置、尺寸在处理对象的帧图像F中急剧地变化，从该帧图像F实际剪出的被拍摄体剪出区域A的位置、尺寸也在邻接的帧图像F之间缓慢地变化(参照图5B～图6B)。

另一方面，在步骤S13中，若判定为未由被拍摄体检测部5b检测出被拍摄体S(步骤S13；否)，则图像处理部5根据预先指定的条件对是否进行拉远变焦进行判定(步骤S27)。

此处，若判定为不进行拉远变焦(步骤S27；否)，则区域设定部5d将上次设定的剪出预定区域A0的位置、尺寸设定为从处理对象的帧图像F新剪出的剪出预定区域A0的位置、尺寸(步骤S28)。

然后，图像处理部5使处理移至步骤S26，执行之后的各处理。即，在步骤S26中，图像剪出部5e从处理对象的帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A。

另一方面，在步骤S27中，若判定为进行拉远变焦(步骤S27；是)，则图像处理部5对上次剪出的被拍摄体剪出区域A的尺寸是否为以纵横分别形成2倍的方式变焦的2倍变焦尺寸(在面积比中为1/4)以上进行判定(步骤S29)。

在步骤S29中，若判定为上次剪出的被拍摄体剪出区域A的尺寸为2倍变焦尺寸以上(步骤S29；是)，则区域设定部5d将2倍变焦尺寸设定为从处理对象的帧图像F新剪出的剪出预定区域A0的目标尺寸(步骤S30)。接着，区域设定部5d将上次的被拍摄体剪出区域A的重心设定为从处理对象的帧图像F新剪出的剪出预定区域A0的重心(步骤S31)。

然后，图像处理部5使处理移至步骤S23，执行之后的各处理。即，在步骤S23中，区域设定部5d基于在步骤S15中计算出的线形插值条件，设定为从处理对象的帧图像F新剪出的剪出预定区域A0的尺寸比上次的被拍摄体剪出区域A的尺寸大，在步骤S25中，根据设定的剪出预定区域A0的重心以及尺寸特定该剪出预定区域A0的位置。

而且，在步骤S26中，图像剪出部5e从处理对象的帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A。

另一方面，在步骤S29中，若判定为上次剪出的被拍摄体剪出区域A的尺寸并非2倍变焦尺寸以上(步骤S29；否)，则图像处理部5根据预先指定的条件对是否拉远变焦至帧图像F整体进行判定(步骤S32)。

此处，若判定为拉远变焦至帧图像F整体(步骤S32；是)，则图像处理部5对上次剪出的被拍摄体剪出区域A的尺寸是否比帧图像F整体的尺寸小进行判定(步骤S33)。

在步骤S33中，若判定为上次剪出的被拍摄体剪出区域A的尺寸比帧图像F整体的尺寸小(步骤S33；是)，则区域设定部5d设定帧图像F整体的尺寸作为从处理对象的帧图像F新剪出的剪出预定区域A0的目标尺寸(步骤S34)。接着，区域设定部5d将帧图像F整体的重心设为新剪出的剪出预定区域A0的目标重心，基于在步骤S15中计算出的线形插值条件，设定从处理对象的帧图像F新剪出的剪出预定区域A0的重心(步骤S35)。

然后，图像处理部5使处理移至步骤S23，执行之后的各处理。即，在步骤S23中，区域设定部5d基于在步骤S15中计算出的线形插值条件，设定为从处理对象的帧图像F新剪出的剪出预定区域A0的尺寸比上次的被拍摄体剪出区域A的尺寸大，在步骤S25中，根据设定的剪出预定区域A0的重心以及尺寸特定该剪出预定区域A0的位置。

而且，在步骤S26中，图像剪出部5e从处理对象的帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A。

另一方面，在步骤S32中，若判定为未拉远变焦至帧图像F整体(步骤S32；否)，或者在步骤S33中，判定为上次剪出的被拍摄体剪出区域A的尺寸比帧图像F整体的尺寸小(步骤S33；否)，则图像处理部5使处理移至步骤S28，执行之后的各处理。即，在步骤S28中，区域设定部5d将上次设定的剪出预定区域A0的位置、尺寸设定为从处理对象的帧图像F新剪出的剪出预定区域A0的位置、尺寸。

然后，图像处理部5使处理移至步骤S26，执行之后的各处理。即，在步骤S26中，图像剪出部5e从处理对象的帧图像F将由区域设定部5d设定的剪出预定区域A0剪出为被拍摄体剪出区域A。

从各帧图像F剪出的被拍摄体剪出区域A的图像数据以与处理对象的帧图像F的帧编号对应的方式输出至图像记录部6，并记录为从该动态图像剪出的被拍摄体剪出区域A的剪裁动态图像的图像数据。

如以上那样，根据本实施方式的拍摄装置100，基于已经剪出的被拍摄体剪出区域A的位置以及尺寸，设定从处理对象的帧图像F新剪出的剪出预定区域A0，因此能够考虑从比处理对象的帧图像F更靠前的帧图像F剪出的被拍摄体剪出区域A的位置以及尺寸，而从处理对象的帧图像F剪出被拍摄体剪出区域A。即，例如，即便在从动态图像内检测出的被拍摄体S的个数、位置、尺寸等急剧地变化的情况下，也能够考虑已经剪出的被拍摄体剪出区域A的位置、尺寸的经时变化而以插值的方式设定剪出预定区域A0的位置、尺寸，从而能够使实际剪出的被拍摄体剪出区域A的位置、尺寸在邻接的帧图像F之间缓慢地变化。特别地，在将从动态图像内检测出的被拍摄体S作为跟踪对象而剪出被拍摄体剪出区域A的情况下，能够生成以更加自然的构图捕捉该被拍摄体S的动态图像。

如上，能够从动态图像适当地剪出与被拍摄体S对应的被拍摄体剪出区域A。

另外，在从处理对象的帧图像F检测出被拍摄体S的情况下，基于检测出的被拍摄体S的位置以及尺寸和从比处理对象的帧图像F更靠前的其他的帧图像F剪出的被拍摄体剪出区域A的位置以及尺寸，设定从处理对象的帧图像F新剪出的剪出预定区域A0，因此不仅从比处理对象的帧图像F更靠前的帧图像F剪出的被拍摄体剪出区域A的位置以及尺寸，也能够考虑从处理对象的帧图像F检测出的被拍摄体S的位置以及尺寸，来设定剪出预定区域A0，从而能够从该处理对象的帧图像F适当地剪出被拍摄体剪出区域A。

特别地，在从处理对象的帧图像F检测出多个被拍摄体S的情况下，考虑检测出的多个被拍摄体S、…的位置以及尺寸，从而即使从动态图像内检测出的被拍摄体S的个数急剧地变化，也能够使实际剪出的被拍摄体剪出区域A的位置、尺寸在邻接的帧图像F之间缓慢地变化。

并且，即便在未从成为处理对象的帧图像F检测出被拍摄体S的情况下，也基于从比处理对象的帧图像F更靠前的其他的帧图像F剪出的被拍摄体剪出区域A的位置以及尺寸，来设定从处理对象的帧图像F新剪出的剪出预定区域A0，因此即便在剪出未包含被拍摄体S的被拍摄体剪出区域A的情况下，也能够使该被拍摄体剪出区域A的位置、尺寸在邻接的帧图像F之间缓慢地变化。

另外，在动态图像内检测出被拍摄体S的可见光的发光(例如，光标签的发光等)，因此能够利用该发光适当地进行被拍摄体S的检测。由此，能够更加适当地进行动态图像内的被拍摄体S的跟踪。

此外，本发明不限定于上述实施方式，也可以在不脱离本发明的主旨的范围内，进行各种改进以及设计的变更。

例如，在上述实施方式中，基于已经剪出的被拍摄体剪出区域A的位置以及尺寸，设定新剪出的剪出预定区域A0，但为一个例子，不限定于此，例如，也可以考虑被拍摄体剪出区域A的位置以及尺寸的任一方来设定剪出预定区域A0。

并且，拍摄装置100的结构为上述实施方式所例示的一个例子，不限定于此。并且，作为图像处理装置，例示了拍摄装置100，但不限定于此。

此外，在上述实施方式中，是将作为检测部、剪出部、设定部的功能形成在中央控制部1的控制下，通过驱动被拍摄体检测部5b、图像剪出部5e、区域设定部5d而实现的结构，但不限定于此，也可以形成通过中央控制部1的CPU执行预定的程序等而实现的结构。

即，在存储程序的程序存储器(省略图示)，预先存储包含检测处理程序、剪出处理程序、设定处理程序的程序。而且，也可以通过检测处理程序使中央控制部1的CPU作为在动态图像内对被拍摄体S进行检测的电路发挥功能。另外，也可以通过剪出处理程序使中央控制部1的CPU作为剪出与从构成动态图像的各帧图像F检测出的被拍摄体S对应的被拍摄体剪出区域A的电路发挥功能。另外，也可以通过设定处理程序使中央控制部1的CPU作为基于已经剪出的被拍摄体剪出区域A的位置以及尺寸中的至少一方，来设定新剪出的剪出预定区域A0的电路发挥功能。

相同地，判定部也可以形成通过中央控制部1的CPU执行预定的程序等而实现的结构。

并且，作为储存了用于执行上述的各处理的程序的计算机能够读取的介质，除了ROM、硬盘等之外，也能够应用闪存等非易失性存储器、CD-ROM等便携式记录介质。另外，作为经由预定的通信线路提供程序的数据的介质也应用载波(输送波)。

对本发明的几个实施方式进行了说明，但本发明的范围不限定于上述的实施方式，包括权利要求书所记载的发明的范围及其等同的范围。

Claims (10)

1.一种图像处理装置，其特征在于，具备：

检测部，其在动态图像内对被拍摄体进行检测；

剪出部，其从构成上述动态图像的各帧图像剪出与由上述检测部检测出的上述被拍摄体对应的区域；以及

设定部，其基于由上述剪出部已经剪出的与上述被拍摄体对应的区域的位置及尺寸中的至少一方，设定由上述剪出部新剪出的剪出预定区域。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述设定部基于由上述剪出部已经剪出的与上述被拍摄体对应的区域的位置的经时变化，以插值的方式设定上述剪出预定区域的位置。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述设定部基于由上述剪出部已经剪出的与上述被拍摄体对应的区域的尺寸的经时变化，以插值的方式设定上述剪出预定区域的尺寸。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述设定部基于与由上述检测部检测出的上述被拍摄体对应的区域、以及由上述剪出部已经剪出的与上述被拍摄体对应的区域的位置及尺寸的经时变化，来设定上述剪出预定区域。

5.根据权利要求1所述的图像处理装置，其特征在于，

还具备判定部，其判定是否由上述检测部从构成上述动态图像的一个帧图像检测出上述被拍摄体，

上述设定部在由上述判定部判定为检测出上述被拍摄体的情况下，基于由上述检测部从上述一个帧图像检测出的上述被拍摄体的位置及尺寸、以及由上述剪出部从比构成上述动态图像的上述一个帧图像更靠前的其他的帧图像剪出的与上述被拍摄体对应的区域的位置及尺寸，来设定由上述剪出部从上述一个帧图像新剪出的上述剪出预定区域。

6.根据权利要求5所述的图像处理装置，其特征在于，

上述设定部在由上述检测部检测出多个上述被拍摄体的情况下，基于由上述检测部从上述一个帧图像检测出的上述多个被拍摄体的位置及尺寸、以及由上述剪出部从上述其他的帧图像剪出的与上述被拍摄体对应的区域的位置及尺寸，来设定上述剪出预定区域。

7.根据权利要求5所述的图像处理装置，其特征在于，

上述设定部进一步在由上述判定部判定为未检测出上述被拍摄体的情况下，基于由上述剪出部从上述其他的帧图像剪出的与上述被拍摄体对应的区域的位置及尺寸，来设定上述剪出预定区域。

8.根据权利要求1所述的图像处理装置，其特征在于，

上述检测部对在上述动态图像内包含跟踪对象的被拍摄体的上述被拍摄体进行检测。

9.根据权利要求1所述的图像处理装置，其特征在于，

在上述被拍摄体安装有进行可见光的发光的光标签，

上述检测部在上述动态图像内对预定的发色图形或者以预定的发光图形发光的上述光标签进行检测而检测出上述被拍摄体。

10.一种使用了图像处理装置的图像处理方法，其特征在于，包括：

在动态图像内对被拍摄体进行检测的检测步骤；

从构成上述动态图像的各帧图像剪出与所检测出的上述被拍摄体对应的区域的剪出步骤；以及

基于已经剪出的与上述被拍摄体对应的区域的位置及尺寸中的至少一方，来设定新剪出的剪出预定区域的设定步骤。