CN101276410A - 图像处理装置和安装了它的摄像装置、图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置和安装了它的摄像装置、图像处理方法。想要将对象检测技术有效地用于各种各样的应用。编码部(24)对动图像进行编码。对象检测部从动图像所包含的图像内检测出对象，并按图像单位生成至少包含同一图像内所检测出的对象的数量的对象检测信息。流生成部(26)在基于编码部(24)所生成的编码数据生成编码流时，将对象检测信息记述在编码流内的预定区域中。

Description

图像处理装置和安装了它的摄像装置、图像处理方法

技术领域

本发明涉及能够进行面部检测等特定的对象检测的图像处理装置及安装了它的摄像装置、图像处理方法。

背景技术

数码摄像机正广泛普及，目前，一般用户已能很轻易地拍摄动图像。一般用户以孩子的运动会等人物为被拍摄物体的情况较多。

专利文献1公开了一种以高分辨率仅记录最常拍摄人物的面部的图像的技术。

〔专利文献1〕日本特开2006-254308号公报

发明内容

〔发明所要解决的课题〕

如上述专利文献1所公开的那样，面部等特定对象的检测技术正被用于记录容量的最优化或自动对焦控制。本发明人开发出这些用途以外的利用对象检测技术的有效用途。

本发明是鉴于这样的情况而设计的，其总体目的在于提供一种能利用对象检测技术实现有效的应用的图像处理装置及安装了它的摄像装置、图像处理方法。

〔用于解决课题的手段〕

本发明一个方案的图像处理装置包括：编码部，对动图像进行编码；流生成部，基于编码部所生成的编码数据生成编码流；对象检测部，从动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的对象的数量的对象检测信息。流生成部将对象检测信息记述在编码流内的预定的区域中。

〔发明效果〕

通过本发明，能够利用对象检测技术实现有效的应用。

附图说明

图1是实施方式1的摄像装置的结构图。

图2的(a)是检索满足预定的检索条件的帧的位置的例子；图2的(b)是单纯显示图像内的面部的数量的例子；图2的(c)是将图像内的面部的数量分类成正面面部和侧面面部来显示的例子。

图3是表示实施方式1中的摄像装置的显示例1的图。

图4是表示实施方式1中的摄像装置的显示例2的图。

图5是表示实施方式1中的摄像装置的显示例3的图。

图6是实施方式2的摄像装置的结构图。

图7是实施方式3的图像再现装置的结构图。

图8表示基于实施方式1、2的摄像装置所拍摄到的图像，用各种参数生成面部检测信息的情况的一例。

图9表示实施方式1、2的摄像装置的显示部或实施方式3的图像再现装置的显示部所显示的操作画面的一例。

图10表示实施方式1、2的摄像装置的显示部或实施方式3的图像再现装置的显示部所显示的摘要(digest)设定画面的一例。

具体实施方式

首先，在详细说明本发明之前，先说明代表性的实施方式。

本发明一个方案的图像处理装置包括：编码部，对动图像进行编码；流生成部，基于编码部所生成的编码数据生成编码流；对象检测部，从动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的对象的数量的对象检测信息。流生成部将对象检测信息记述在编码流内的预定的区域中。“图像(picture)”是编码的单位，该概念中也可以包含帧、场、VOP(Video Object Plane：视频对象面)等。“特定的对象”可以是人类的面部，也可以是人类以外的动物的面部，还可以是汽车等物体。

根据该方案，通过将对象检测信息记述在编码流内，能够利用该对象检测信息实现检索处理等有效的应用。

除对象的数量外，对象检测部还可以将对象的大小、对象的位置、对象的超分辨处理用的冗余数据的有无、是否检测到用户所登录的对象、以及所检测出的对象的准确度中的至少一者包含在对象检测信息中。作为用户所登录的对象，例如是特定人物的面部或宠物的面部等。

当上述特定的对象是面部时，对象检测部可以将作为对象而检测出的面部的数量分成正面面部的数量和侧面面部的数量地包含在对象检测信息中。这里，在将面部设定为人的面部时，不论是谁的面部，只要是人的面部就计数一个。

在上述特定的对象是面部时，除作为对象而检测出的面部的数量外，对象检测部还可以将作为对象而检测出的面部的笑脸度包含在对象检测信息中。

流生成部可以将对象检测信息记述在编码流内的对应的图像的头区域或者用户允许写入的区域中。流生成部可以在对象检测信息所包含的对象的数量发生变化时，将该对象检测信息记述在对应的图像的头区域或用户允许写入的区域内，在对象检测信息所包含的对象的数量没有变化时，跳过该对象检测信息的记述处理。由此，能够减少对象检测信息的附加所需要的容量。

本发明的另一方案也是一种图像处理装置。该装置包括：编码部，对动图像进行编码；对象检测部，从动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的对象的数量的对象检测信息；文件生成部，基于编码部所生成的编码数据生成动图像文件，并与该动图像文件不同地，基于对象检测部所生成的对象检测信息生成对象检测信息文件。

根据该方案，通过生成对象检测信息文件，能够利用该文件实现检索处理等有效的应用。

本发明的再一个方案是一种摄像装置。该装置包括：拍摄动图像的摄像元件；对摄像元件所拍摄的动图像进行处理的上述任一方案的图像处理装置。

通过该方案，能够构建可实现检索处理等有效的应用的摄像装置。

可以还包括：显示部，显示由上述图像处理装置处理后的动图像；控制部，使动图像所包含的图像与对应于该图像的对象检测信息相关联地显示在显示部中。控制部可以使所要显示的图像与对应于该图像的对象检测数相关联地显示。由此，能够辅助用户的检索作业。

可以还包括参照对象检索信息，检索满足所指定的条件的图像的控制部。由此，能够提高检索效率。

本发明的另一方案也是一种图像处理装置。该装置是对被编码了的动图像进行解码并显示的图像处理装置，包括：控制部，取得按图像单位所生成的、与在动图像所包含的图像内检测出的特定的对象相关的对象检测信息，并基于该对象检测信息，在动图像的时间轴上生成可识别包含对象的图像的标识；显示部，在画面内显示控制部所生成的标识。对象检测信息可以在动图像被编码或解码时生成。

对象检测信息中包括在同一图像内检测出的对象的数量、对象的大小、对象的位置、对象的超分辨处理用的冗余数据的有无、对象(被设定为面部时)的笑脸度、是否检测到用户所登录的对象、以及所检测出的对象的准确度中的至少一者。

当对象检测信息中包括在同一图像内所检测出的对象的数量时，控制部可以在动图像的时间轴上生成可识别对象的数量发生变化的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在对象的数量发生变化的位置显示指示标(index)。另外，也可以在指示标的附近显示对象的数量。当对象是人物，相区分地记录了正面面部和侧面面部的数量时，可以针对各个正面面部和侧面面部分别显示该指示标和面部的数量。

当对象检测信息中包括在图像内所检测出的对象的大小时，控制部可以在动图像的时间轴上生成可识别对象的大小大于预定的设定值的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在对象的大小大于预定的设定值的图像的位置显示指示标。预定的设定值可由用户调整。例如，可以用条来显示动图像的全部再现时间，并在检测到对象的位置显示指示标。

当对象检测信息中包括在图像内所检测出的对象的超分辨处理用的冗余数据的有无时，控制部可以在动图像的时间轴上生成可识别能进行使用了该冗余数据的超分辨处理的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在能进行使用了上述冗余数据的超分辨处理的图像的位置显示指示标。另外，当能进行使用了该冗余数据的超分辨处理的图像连续时，可以在该条上用不同于其他部分的颜色或形状来显示该部分。

当对象检测信息中包括在图像内所检测出的对象的位置时，控制部可以在动图像的时间轴上生成可识别对象的位置被包含在预定的区域(例如画面内的中央区域)中的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在对象的位置被包含在预定的区域中的图像的位置显示指示标。预定的区域可由用户调整。

当对象检测信息中包括在图像内所检测出的对象的笑脸度时，控制部可以在动图像的时间轴上生成可识别对象的笑脸度大于预定的设定值的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在对象的笑脸度大于预定的设定值的图像的位置显示指示标。预定的设定值可由用户调整。

当对象检测信息中包括在图像内所检测出的对象的准确度时，控制部可以在动图像的时间轴上生成可识别对象的准确度大于预定的设定值的图像的位置的标识。例如，可以用条来显示动图像的全部再现时间，并在对象的准确度大于预定的设定值的图像的位置显示指示标。预定的设定值可由用户调整。

通过这些方案，用户能够简单地检索想要观看的图像。如果设计成当上述指示标被选择时就跳到该图像的位置，则用户能够通过选择该指示标来简单地到达想要观看的图像。

本发明的另一方案也是图像处理装置，该装置是对被编码了的动图像进行解码并显示的图像处理装置，包括：控制部，取得按图像单位所生成的、与在动图像所包含的图像内检测出的特定的对象相关的对象检测信息，并基于该对象检测信息，生成动图像的摘要；显示部，对控制部所生成的摘要进行再现显示。

对象检测信息中包括在同一图像内检测出的对象的数量、对象的大小、对象的位置、对象的超分辨处理用的冗余数据的有无、对象(被设定为面部时)的笑脸度、是否检测到用户所登录的对象、以及所检测出的对象的准确度中的至少一者。

当对象检测信息中包括在同一图像内所检测出的对象的数量时，控制部可以在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照对象的数量从多到少的顺序抽取出与该比率对应的张数的图像。上述比率可由用户调整。例如若设定为1/2，则再现时间是动图像全体再现时间的一半量的动图像摘要被生成。

当对象检测信息中包括在同一图像内所检测出的对象的大小时，控制部可以在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照对象的大小从大到小的顺序抽取出与该比率对应的张数的图像。上述比率可由用户调整。

当对象检测信息中包括是否在图像内检测到用户所登录的对象的信息时，控制部可以从动图像中抽取出检测到对象的图像，并将这些图像连接起来生成动图像摘要。

当对象检测信息中包括有无在图像内检测出的对象的超分辨处理用的冗余数据的信息时，控制部可以在从动图像中抽取出能进行使用了该冗余数据的超分辨处理的图像，并对这些图像进行超分辨处理后，将它们连接起来生成动图像摘要。

当对象检测信息中包括在图像内所检测出的对象的位置时，控制部可以在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照对象的位置最靠近画面内的预定位置的顺序抽取出与该比率对应的张数的图像。上述比率可由用户调整。预定位置可以是画面内的中央。

当对象检测信息中包括在图像内所检测出的对象的位置时，控制部可以将相邻的图像间的对象位置的差特定为对象的移动，并在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照与前面的图像相比对象的移动由大到小的顺序抽取出与该比率对应的张数的图像。上述比率可由用户调整。

当对象检测信息中包括在图像内所检测出的对象的笑脸度时，控制部可以在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照对象的笑脸度由高到低的顺序从动图像中抽取出与该比率对应的张数的图像。上述比率可由用户调整。

当对象检测信息中包括在图像内所检测出的对象的准确度时，控制部可以在从动图像中按所设定的比率抽取应进行摘要再现的图像时，按照对象的准确度从高到低的顺序抽取出与该比率对应的张数的图像。上述比率可由用户调整。

另外，也可以将以“与”条件或“或”条件对按对象检测信息所包含的多个参数生成的各动摘要进行逻辑运算后的摘要，作为最终的摘要。上述比率也可以按各参数而使用不同的量。

通过这些方案，用户能够简单地生成包含想要观看的图像的摘要。另外，可进行各种定制(customize)，能够简单地生成反映了用户的喜好的摘要。

本发明的再一个方案是一种图像处理方法。该方法在对动图像编码生成编码流时，从动图像所包含的图像内检测出特定的对象，基于此，按图像单位生成对象检测信息，将该对象检测信息记录在编码流内，或者与编码流相关联地进行记录。

通过该方案，能够利用对象检测信息实现检索处理等有效的应用。

本发明的再一个方案也是一种图像处理方法。该方法利用按图像单位所特定的对象检测信息，从动图像中检索满足预定条件的图像。对象检测信息中包含对象检测数，可以检索该对象检测数和所指定的对象的数量相对应的图像。

根据该方案，通过利用对象检测信息进行检索，能够提高检索效率。

另外，将以上结构要件的任意组合、本发明的表达方式在方法、装置、***、记录介质、计算机程序等之间相互转换的方案，作为本发明的实施方式也是有效的。

下面在实施方式中，说明利用了以人物的面部作为特定对象进行检测的技术的例子。另外，检测对象不限定于人类的面部，也可以适用于狗、猫等宠物的面部、或汽车、电车、船舶等物体等。

图1是实施方式1的摄像装置100的结构图。实施方式1的摄像装置100包括摄像部10、信号处理部12、图像处理部20、控制部14、面部登录部15、操作部16、显示部17、以及记录部18。图像处理部20包括面部检测部22、编码部24、流生成部26、以及解码部28。图像处理部20的结构在硬件上可以由任意的计算机的CPU、存储器及其他LSI来实现，软件上可以由载入到存储器中的程序等实现，但这里描述由软硬件共同来实现的功能块。因此，本领域技术人员能够理解这些功能块可以仅由硬件实现，也可以仅通过软件来实现，或者还可以通过它们的组合，以各种各样的方式来实现。

摄像部10具有CCD(Charge Coupled Devices：电荷耦合器件)传感器或CMOS(Complementary Metal-Oxide Semiconductor：互补型金属氧化物半导体)图像传感器等摄像元件，将用摄像元件拍摄到的图像转换成电信号，输出到信号处理部12。

信号处理部12将从摄像部10输出的RGB格式的模拟信号变换成YUV格式的数字信号。信号处理部12将变换后的图像信号以帧单位并行输出到面部检测部22和编码部24。

面部检测部22从来自信号处理部12的图像中检测人物的面部。面部检测用公知的方法进行即可，不做特别限定。例如，可以使用基于边缘检测法、Boosting法、色调抽取法、或者肤色抽取法的面部检测方法。

边缘检测法是从预先将面部的大小、浓淡值标准化后的面部图像的包含眼、鼻、口、脸轮廓等的面部区域中抽取出各种边缘特征，基于统计方法学习对识别是否为面部有效的特征量，由此构筑面部识别器。

为从输入图像中检测面部，在学***边缘、垂直边缘、右倾斜边缘、左倾斜边缘等。如果没检测出面部，则以一定比例缩小输入图像，对缩小后的图像如上述一样一边进行光栅扫描一边检索面部。通过反复进行这样的处理，能够从图像中发现任意大小的面部。

另外，虽然与边缘检测法相比精度较低，但在想要进行高速处理时，可以使用Boosting法。Boosting法是不使用边缘，通过将眼鼻等面部的阴影与预先登录的面部检测图案的阴影进行比较，来从图像中检测出面部。

作为其他面部检测方法，还可以使用以下这样的方法。可以使用抽取出面部候补区域，将该面部候补区域分成小区域，将各区域的特征量与预先设定的面部区域图案相对照，基于其可靠度来抽取面部区域的方法，或者抽取出面部候补区域，基于各候补区域的重复度评价可靠度，抽取出面部区域的方法。另外，还可以使用抽取出面部候补区域，当各候补区域的浓度是与预定的阈值相对应的值时，抽取出躯体候补区域，使用面部及躯体候补区域的浓度或色度对比度来评价可靠度，从而抽取面部区域的方法。

面部检测部22从各帧内检测到一个以上的面部时，将该检测出的面部的数量和检测到该面部的帧的识别信息作为面部检测信息输出给流生成部26。另外，也可以将检测出的位置包含在面部检测信息中。另外，面部检测处理可以对所有帧进行，也可以每隔数帧来进行。

面部检测部22可以将正面面部和侧面面部分类来进行检测。只要将拍摄有两只眼睛的状态的正面面部的图案和只拍摄到一只眼睛的状态的侧面面部的图案作为词典登录数据预先登录，就能进行分类。

另外，当面部检测部22在各帧内检测到由用户预先登录了的用户登录图案时，将该信息输出给流生成部26，并将用户登录图案在帧内的位置输出给编码部24。

编码部24将从信号处理部12输入的图像信号按照预定的标准压缩编码。例如，可以按照国际标准化组织ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)所规定的MPEG系列的标准(MPEG-1、MPEG-2及MPEG-4)、关于电气通信的国际标准组织ITU-T(InternationalTelecommunication Union-Telecommunication Standardization Sector)所规定的H.26x系列标准(H.261、H.262以及H.263)、或者由该两个标准化组织共同规定的动图像压缩编码标准H.264/AVC(两组织的官方名分别为MPEG-4Part10：Advanced VideoCoding和H.264)来进行动图像的编码。编码部24将压缩编码后的图像信号输出到流生成部26。

在由面部检测部22检测到用户登录图案时，编码部24参照从面部检测部22输入的位置信息，在帧内追踪该用户登录图案。另外，也可以将具有比应记录像素数的像素区域大的像素区域的图像信号输入到编码部24。该像素区域的剩余区域可以是用于手抖动修正的区域。此时，若上述用户登录图案溢出记录用的像素区域，则编码部24使用上述剩余区域，移动记录用的像素区域，使得该用户登录图案被包含在记录用的像素区域中。另外，当即使进行移动，上述用户登录图案仍然溢出时，移动记录用的像素区域，使得构成用户登录图案的像素尽可能多地包含在内。

流生成部26将从面部检测部22输入的面部检测信息重叠于从编码部24输入的MPEG格式的编码数据中，生成编码流。例如，在各帧的头区域、或设定在头区域后面的用于记述功能扩展信息、命令等的区域等中记录对应的帧的面部检测信息。另外，也可以不按帧单位，而是汇总地记录在流、顺序(sequence)、GOP的头区域等中。另外，也可以按片段(slice)、宏块(micro-block)单位来记述。

另外，流生成部26也可以不按各帧来确定面部检测信息，而是在面部检测信息有变化时基于该信息决定应记述的内容。例如，当在检测到面部的最初的帧中记述了该面部检测数量后，对于该面部检测数量没有变化的期间的帧，不再记述面部检测信息。若出现面部检测数量改变了的帧，则对该帧记述其面部检测数量。以下进行同样的处理。通过这样的处理，与对所有帧确定面部检测信息、记述在某区域中的情况相比，能够减少数据容量。

流生成部26使视频流和音频流同步地进行多路复用，生成MPEG-2节目流或MPEG-2传送流，输出给控制部14。

面部登录部15将应由面部检测部22作为特别的面部图案进行识别的上述用户登录图案，经由控制部14登录到面部检测部22中。例如，可以使用摄像部10拍摄孩子的面部进行登录。操作部16包含快门按键等各种按键。用户通过操作操作部16，能够对控制部14指定后述的检索条件等。

显示部17显示拍摄中的图像或记录在记录部18中的图像，还显示各种设定画面和各种状态信息等。在本实施方式中，如后述的那样，在拍摄中的动图像或再现中的动图像中相关联地显示面部的数量等面部检测信息。记录部18具有存储卡槽、光盘、或HDD，将所拍摄的图像等记录在记录介质中。

控制部14控制摄像装置100整体。在本实施方式中，主要进行以下处理。当使拍摄中的动图像或再现中的动图像显示在显示部17中时，将所应显示的编码流传送给解码部28进行解码。此时，解读由解码部28抽取出的面部检测信息，在所应显示的图像中附加该面部检测信息进行显示。

另外，在安装有将用户从所再现的动图像中选出的帧抽取为静止图像文件的功能时，若该帧是被帧间编码了的帧，则抽取出该帧的所有参照帧，例如再构建为JPEG(Joint Photographic Expert Group)文件。

接下来，说明本实施方式的摄像装置100中的面部检测信息的利用方法。首先，说明基本的检索方法和显示方法。

图2的(a)是检索满足预定的检索条件的帧的位置的例子。控制部14在显示部17显示动图像时，使表示时间经过的时间经过条32一并显示在动图像的显示栏30的下方。在图2的例子中，动图像的显示栏30中显示了时间经过条32的最右端的状态、即时间上最靠前的图像。显示在时间经过条32下方的箭头33是表示满足预定的检索条件的帧的位置的指示标显示。例如，作为预定的检索条件，可以指示检索面部数量有变化的帧或检测到上述用户登录图案的帧。图2的(a)表示了指定检索面部数量有变化的帧的位置的例子，表示随时间经过，面部数量变化了三次。

图2的(b)是单纯显示图像内的面部的数量的例子。显示在时间经过条32下方的第1数值标记34表示各帧中所检测到的面部的数量。在图2的(b)的例子中，是随时间经过，面部的数量按2→3→2这样转变，当前维持为2的状态。

图2的(c)是将图像内的面部的数量分类为正面面部和侧面面部来进行显示的例子。显示在时间经过条32正下方的第2数值标记35表示各帧中所检测到的正面面部的数量。显示在第2数值标记35下方的第3数值标记36表示各帧中所检测出的侧面面部的数量。在图2的(c)的例子中，随时间经过，正面面部的数量按2→3→2这样转变，当前是维持为2的状态。侧面面部的数量按0→1→0这样转变，当前是维持为0的状态。另外，也可以显示面部数量的合计和侧面面部的数量，还可以将正面面部的数量、侧面面部的数量以及它们的合计全部显示出来。

下面以更具体的例子说明面部检测信息的显示方法。

图3表示实施方式1的摄像装置100中的显示例1。图3表示动图像的逐帧前进(コマ送り)显示画面。该动图像按时间经过的顺序，按第1图像40→第2图像42→第3图像44这样变化。如上所述显示在时间经过条32正下方的第2数值标记35表示各帧中所检测出的正面面部的数量。第4数值标记37表示用户登录图案的检测数量。

在第1图像40中，拍摄有两个人物A和B，没拍摄到用户登录图案所特定的人物C，所以第2数值标记35显示为2，第4数值标记37显示为0。在第2图像42中，由于出现了用户登录图案所特定的人物C，所以第2数值标记35显示为3，第4数值标记37显示为1。在第3图像44中，人物A朝向一侧，所以第2数值标记35显示为2，第4数值标记37显示为1。

图4表示实施方式1的摄像装置100中的显示例2。同显示例1一样，第1图像40中拍摄有两个人物A、B，没有拍摄到用户登录图案所特定的人物C，所以第2数值标记35显示2，第4数值标记37显示0。在第2图像42中，由于拍摄到用户登录图案所特定的人物C，所以第2数值标记35显示为3，第4数值标记37显示为1。

在具有虚线所包围的像素区域的第3图像44中，人物C的右半身的一部分被切除。当人物C的面部符合用户登录图案时，编码部24从面部检测部22接收人物C的面部的位置信息，追踪人物C的面部。编码部24使记录用的像素区域向右移动，使得人物C的面部进入记录用的像素区域内。第4图像46是具有移动后的像素区域的图像。实际所记录并显示的图像不是第3图像44，而成为第4图像46。在第4图像46中，人物A朝向一侧，人物C依然存在于图像内，所以第2数值标记35显示为2，第4数值标记37显示为1。

图5表示实施方式1的摄像装置100中的显示例3。同显示例1一样，在第1图像40中拍摄有两个人物A、B，没有用户登录图案所特定的人物C，所以第2数值标记35显示为2，第4数值标记37显示为0。在第2图像42中，由于拍摄有用户登录图案所特定的人物C，所以第2数值标记35显示为3，第4数值标记37显示为1。在第3图像44中，由于人物A朝向一侧，所以第2数值标记35显示为2，第4数值标记37显示为1。

用户通过用操作部16指定检索条件，能够从该动图像中检索出满足预定条件的帧或场景。图5是指示检索正面面部的数量超过3的帧或场景的例子。时间经过条32的斜线所标记的期间39是满足该检索条件的期间。

如以上说明的那样，通过本实施方式，能够利用面部检测信息实现有效的应用。即，通过利用面部检测数量，能够提高检索效率。例如，当用户想要从动图像中检索集合有三个人的场景时，通过指定条件使得检索检测到三个面部的帧，能够容易地检索该场景的开始位置。另外，用户预先将自己孩子的面部登录为用户登录图案时，通过指定条件使得检索包含该用户登录图案的帧，能够容易地检索出拍摄有作为目标的孩子的面部的帧。特别地，这样的检索功能在从动图像中抽取出最佳镜头，生成静止图像时是有效的。另外，对再现动图像时的找出起始位置、编辑作业也是有效的。

另外，在使图像显示在显示部17中时，通过显示面部的数量，能够对检索作业提供辅助。即便是不习惯操作电子设备的用户，也能基于与时间经过条32相关联地显示的面部的数量，直观地感觉到所要检索的帧或场景的位置。即，不用进行检索条件的输入等烦琐的操作，也能容易地检索所希望的帧或场景。

图6是实施方式2的摄像装置110的结构图。实施方式2的摄像装置110与实施方式1相比，在面部检测信息的记述方法上有区别。实施方式2的摄像装置110的结构除图像处理部20外同实施方式1的摄像装置100是一样的。

实施方式2的图像处理部20包括面部检测部22、编码部24、面部检测信息文件生成部25、动图像文件生成部27、以及解码部28。不设置流生成部26。面部检测信息文件生成部25将面部检测部22所检测出的面部检测信息制表，生成一个或多个面部检测信息文件。例如，可以将帧的识别编号和各帧的面部检测数量制表。动图像文件生成部27根据编码部24所生成的编码数据生成MPEG文件等动图像文件。该动图像文件和上述面部检测信息文件经由控制部14被记录在记录部18中。并且，该动图像文件和上述面部检测信息文件也可以结合成一个文件进行记录。

通过以上说明的实施方式2，也能取得同实施方式1一样的效果。并且，由于将面部检测信息作为另外的文件来生成，在从摄像装置110通过有线或无线传送路径向后述的图像再现装置200发送上述动图像文件时，能够仅传送必要的帧或场景，能够减少传送容量。即，图像再现装置200可以先接收上述面部检测信息，显示记录在该面部检测信息文件中的表。用户可以参照该表，确定符合所希望的检索条件的帧或场景，图像再现装置200可以从摄像装置110仅下载该帧或场景。

图7是实施方式3的图像再现装置200的结构图。实施方式3的图像再现装置200可以是PC、安装有DVD等的光盘驱动器或HDD的播放器、机顶盒等，只要是具有再现动图像文件的功能的设备即可。实施方式3的图像再现装置200具有图像处理部60、控制部54、操作部56、显示部57、以及记录部58。图像处理部60包括面部检测部62、编码部64、流生成部66、以及解码部68。

解码部68对附加有上述摄像装置100、110所生成的面部检测信息的编码流进行解码。控制部54基于解码后的面部检测信息，进行上述那样的检索和显示。

在本实施方式中，在单纯进行对附加有面部检测信息的编码流解码并再现的处理时，不需要面部检测部62、编码部64以及流生成部66。当设有面部检测部62、编码部64以及流生成部66时，图像处理部60可以根据一般的动图像编码流生成附加有面部检测信息的编码流。即，解码部68对一般的动图像编码流进行解码，提供给面部检测部62和编码部64。面部检测部62、编码部64以及流生成部66同实施方式1的处理一样，生成附加了面部检测信息的编码流。

通过以上说明的那样的本实施方式，能够利用面部检测信息实现有效的应用。即，通过利用面部检测数量，能够提高检索效率。另外，通过将一般的动图像编码流再构建为附加了面部检测信息的编码流，能够生成检索性好的编码流。

以上基于几个实施方式说明了本发明。这些实施方式仅是例示，可以对其各结构要件和各处理过程的组合进行各种变形，本领域技术人员能够理解这些变形例也包含在本发明的范围内。

在上述实施方式中，面部检测部22、62是使用面部检测数量作为面部检测信息的，但也可以使用其他的各种参数。例如可以使用面部的大小、面部的位置、笑脸度、有无超分辨处理用的冗余数据、以及所检测出的面部的准确度。可以使用全部上述信息，也可以使用其一部分。

图8表示基于实施方式1、2的摄像装置100、110所拍摄的图像，生成包含多个参数的面部检测信息的情况的一例。面部检测部22、62在第1图像70、第2图像72、第3图像74中分别确定面部检测数量、面部的大小、面部的位置、笑脸度、有无超分辨处理用的冗余数据、以及所检测出的面部的准确度，生成各个图像的面部检测信息。

面部检测部22、62分正面面部和侧面面部地确定面部检测数量。面部检测部22、62按同一图像内检测出的各个面部分别确定面部的大小、面部的位置、笑脸度、有无超分辨处理用的冗余数据、以及检测出的面部的准确度。在图8中，面部检测部22、62以面部检测框的长度和宽度来确定面部的大小。面部检测部22、62以面部检测框的预定位置、例如中心点来确定面部的位置。面部检测部22、62例如如下这样确定笑脸度。面部检测部22、62将预先按不同的笑脸度登录的词典数据与所检测出的面部相对照，确定为一致度最高的词典数据的笑脸度。面部检测部22、62例如如下这样确定所检测出的面部的准确度。面部检测部22、62可以将已登录的词典数据与所检测出的面部相对照后的该一致度作为面部的准确度。

超分辨处理是基于多个有位置偏差的低分辨率图像生成高分辨率图像的技术。超分辨率处理的算法可以使用一般的技术。编码部24为对包含面部及其周围区域的区域(以下称面部检测区域)进行超分辨处理，将该面部检测区域的冗余数据编码。例如，当使之在时间方向上具有冗余数据时，使摄像部10用高帧频进行拍摄，对面部检测区域用高帧频编码，对其他区域用普通帧频编码。可以将面部检测区域比其他区域多拥有的帧作为多个有位置偏差的低分辨率图像来使用。面部检测部22针对各个面部确定是否由编码部24附加了这样的冗余数据。

在上述实施方式中，说明了将作为面部检测信息的面部检测数量显示在时间经过条32的下方，利用面部检测信息作为检索工具的例子。在以下变形例中，说明为生成动图像摘要而使用面部检测信息的例子。

图9表示实施方式1、2的摄像装置100、110的显示部17或实施方式3的图像再现装置200的显示部57所显示的操作画面80的一例。该操作画面80中显示有再现键82、摘要再现键84、删除键86、返回键88、以及摘要设定键90。

图10表示实施方式1、2的摄像装置100、110的显示部17或实施方式3的图像再现装置200的显示部57中所显示的摘要设定画面90a的一例。该摘要设定画面90a是在用户操作操作部16、56，选择操作画面80内的摘要设定键90后所出现的。

该摘要设定画面90a中，作为用于选择抽取条件91的键，显示有人数键92、大小键93、超分辨键94、中央位置键95、笑脸键96、可靠度键97、移动键98。此外，作为压缩率99，还显示有压缩率设定轨(gauge)99a和返回键89。

抽取条件91在控制部14、54基于动图像生成动图像摘要时被参照。

在人数键92被选择的情况下，控制部14、54在按照用压缩率设定轨99a所设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照面部的数量由多到少的顺序抽取出与该压缩率对应的张数的图像。将抽取出的图像连接起来生成动图像摘要。例如，若压缩率被设定为1/2，则控制部14、54生成动图像全部再现时间的一半再现时间的动图像摘要。

另外，在大小键93被选择的情况下，控制部14、54在按照用压缩率设定轨99a设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照面部的大小由大到小的顺序抽取出与该压缩率对应的张数的图像。将抽取出的图像连接起来生成动图像摘要。另外，当超分辨键94被选择时，控制部14、54在从动图像中抽取出能进行使用了编码时所附加的冗余数据的超分辨处理的图像，并对这些图像进行超分辨处理后，将其连接起来生成动图像摘要。

另外，在中央位置键95被选择的情况下，控制部14、54在按照用压缩率设定轨99a设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照面部的位置接近画面内的中央位置的顺序抽取出与该压缩率对应的张数的图像。将抽取出的图像连接起来生成动图像摘要。另外，当笑脸键96被选择时，控制部14、54在按照用压缩率设定轨99a设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照笑脸度从高到低的顺序从动图像中抽取出与该压缩率对应的张数的图像。将所抽取出的图像连接起来生成动图像摘要。

另外，在可靠度键97被选择的情况下，控制部14、54在按照用压缩率设定轨99a设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照面部的准确度从高到底的顺序从动图像中抽取出与该压缩率对应的张数的图像。将抽取出的图像连接起来生成动图像摘要。另外，当移动键98被选择时，控制部14、54将相邻的图像间的面部位置的差确定为面部的移动。然后，在按照用压缩率设定轨99a设定的压缩率从动图像中抽取出应进行摘要再现的图像时，按照与前面的图像相比面部的移动由大到小的顺序抽取出与该压缩率对应的张数的图像。将所抽取出的图像连接起来生成动图像摘要。

在用户通过操作操作部16、56而选择操作画面80内的摘要再现键84后，控制部14、54如上述那样按照所设定的设定条件生成动图像摘要，显示在显示部17、57中。

另外，也可以将以“与”条件或“或”条件对按多个抽取条件91生成的各动图像摘要进行逻辑运算后的摘要图像，作为最终的动图像摘要。上述压缩率也可以按各抽取条件91而使用不同的量。

在上述实施方式中，作为面部的检测对象，是假定为人的面部的，但也可以是狗或猫等动物的面部。只要分别构建狗用的面部识别器、猫用的面部识别器，就能以同人的面部时一样的原理来实施。

Claims (16)

1.一种图像处理装置，其特征在于，包括：

编码部，对动图像进行编码；

流生成部，基于上述编码部所生成的编码数据生成编码流；以及

对象检测部，从上述动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的上述对象的数量的对象检测信息；

上述流生成部将上述对象检测信息记述在上述编码流内的预定区域中。

2.根据权利要求1所述的图像处理装置，其特征在于：

除上述对象的数量外，上述对象检测部还将上述对象的大小、上述对象的位置、上述对象有无超分辨处理用的冗余数据、是否检测到用户所登录的对象、以及所检测出的对象的准确度中的至少一者包含在上述对象检测信息中。

3.根据权利要求1或2所述的图像处理装置，其特征在于：

上述特定的对象是面部，

上述对象检测部将作为上述对象而检测出的面部的数量分成正面面部的数量和侧面面部的数量地包含在上述对象检测信息中。

4.根据权利要求1或2所述的图像处理装置，其特征在于：

上述特定的对象是面部，

除作为上述对象而检测出的面部的数量外，上述对象检测部还将作为上述对象而检测出的面部的笑脸度包含在上述对象检测信息中。

5.根据权利要求1所述的图像处理装置，其特征在于：

上述流生成部将上述对象检测信息记述在上述编码流内的对应的图像的头区域、或者用户允许写入的区域中。

6.根据权利要求5所述的图像处理装置，其特征在于：

上述流生成部在上述对象检测信息所包含的上述对象的数量发生变化时，将该对象检测信息记述在对应的图像的头区域或用户允许写入的区域内，在上述对象检测信息所包含的上述对象的数量没有变化时，跳过该对象检测信息的记述处理。

7.一种图像处理装置，其特征在于，包括：

编码部，对动图像进行编码；

对象检测部，从上述动图像所包含的图像内检测出特定的对象，按图像单位生成至少包含同一图像内所检测出的上述对象的数量的对象检测信息；以及

文件生成部，基于上述编码部所生成的编码数据生成动图像文件，并与该动图像文件不同地、另行基于上述对象检测部所生成的对象检测信息生成对象检测信息文件。

8.一种摄像装置，其特征在于，包括：

拍摄动图像的摄像元件；和

对上述摄像元件所拍摄的动图像进行处理的权利要求1或7所述的图像处理装置。

9.一种图像处理方法，其特征在于：

在对动图像编码生成编码流时，从上述动图像所包含的图像内检测出特定的对象，并基于此，按图像单位生成对象检测信息，将该对象检测信息记录在上述编码流内，或者与上述编码流相关联地进行记录。

10.一种对被编码了的动图像进行解码并显示的图像处理装置，其特征在于，包括：

控制部，取得按图像单位所生成的、与在上述动图像所包含的图像内检测出的特定的对象相关的对象检测信息，并基于该对象检测信息，在上述动图像的时间轴上生成可识别包含上述对象的图像的标识；和

显示部，在画面内显示上述控制部所生成的标识。

11.根据权利要求10所述的图像处理装置，其特征在于：

上述对象检测信息中包括在同一图像内所检测出的上述对象的数量，

上述控制部在上述动图像的时间轴上生成可识别上述对象的数量发生变化的位置的标识。

12.根据权利要求10所述的图像处理装置，其特征在于：

上述对象检测信息中包括在上述图像内所检测出的上述对象的大小，

上述控制部在上述动图像的时间轴上生成可识别上述对象的大小大于预定的设定值的图像的位置的标识。

13.一种对被编码了的动图像进行解码并显示的图像处理装置，其特征在于，包括：

控制部，取得按图像单位所生成的、与在上述动图像所包含的图像内检测出的特定的对象相关的对象检测信息，并基于该对象检测信息，生成上述动图像的摘要；和

显示部，对上述控制部所生成的摘要进行再现显示。

14.根据权利要求13所述的图像处理装置，其特征在于：

上述对象检测信息中包括在同一图像内所检测出的上述对象的数量，

上述控制部在从上述动图像中按所设定的比率抽取应进行摘要再现的图像时，按照上述对象的数量从多到少的顺序抽取出与上述比率对应的张数的图像。

15.根据权利要求13所述的图像处理装置，其特征在于：

上述对象检测信息中包括在同一图像内所检测出的上述对象的大小，

上述控制部在从上述动图像中按所设定的比率抽取应进行摘要再现的图像时，按照上述对象的大小从大到小的顺序抽取出与上述比率对应的张数的图像。

16.一种图像处理方法，其特征在于：

利用按图像单位所特定的对象检测信息，从动图像中检索满足预定条件的图像。

Images