CN106933939A - 用户设备及其控制方法 - Google Patents

Abstract

用户设备及其控制方法。提供了用户设备、其控制方法以及一种上面记录有计算机程序的非暂时性计算机可读存储介质。也就是说，根据本发明，在特定时间的图像是通过通过使用基准图像在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中标识和跟踪包括在对应的基准图像中的人来搜索的，并且提供搜索结果或者根据所述搜索结果对所述图像进行分类以通过所述基准图像方便地获取期望的图像搜索结果，从而提高用户的便利性。

Description

用户设备及其控制方法

技术领域

本发明涉及用户设备及其控制方法，并且具体地，涉及通过通过使用基准图像在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中标识和跟踪包括在对应的基准图像中的人来搜索在特定时间的图像，并且提供搜索结果或者根据该搜索结果对图像进行分类的用户设备及其控制方法。

背景技术

当前的图像自动标记方法采用基于从基准图像获取的人的特征点来确定同一人是否存在于多个相片中以在同一人存在于所述多个相片中时通过该相片来标记与基准图像对应的人是否存在的方案。

近年来，在多媒体拍摄例行化的情形下，庞大地生成的图像被存储在云服务器或大容量存储介质中并且人工地对所生成的图像进行分类是不容易的。因此，出现了自动地对图像进行分类的技术，并且结果，当图像被分类为婴儿、成人、动物、风景画等或者通过选择特定相片的人来设置标记时，存在具有与所对应的人相似的特征的人的相片可以被自动地识别和标记。

然而，基于简单准则的分类的利用是有限制的并且在甚至标记人的方法中，能够搜索在与所选择的基准标记相似的时间的相片，但是随着时间的流逝而改变的人未被自动地跟踪和查找。

可以基于特定性别和种族的平均面部改变数据从幼年时代相片生成人变成成人的情况的预期相片以便搜索失踪儿童，但是特征通过平均信息的反映随着时间流逝而消失并且可识别性降低，结果，难以将这种方案应用于自动图像标记。

[现有技术文献]

[专利文献]

韩国专利公开第10-2010-0129725号[标题：Searching system and searchingservice method]

发明内容

本发明的一个目的在于提供用户设备、其控制方法以及一种上面记录有计算机程序的非暂时性计算机可读存储介质，该用户设备、其控制方法以及该非暂时性计算机可读存储介质通过通过使用基准图像在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中标识和跟踪包括在对应的基准图像中的人来搜索在特定时间的图像，并且提供搜索结果或者根据所述搜索结果对所述图像进行分类。

本发明的另一目的在于提供在仅通过在当随着时间的流逝而改变的图像被累积时的单个时间的图像来反映改变了的面部的特征的同时跟踪并自动地标记相关人的用户设备、其控制方法以及一种上面记录有计算机程序的非暂时性计算机可读存储介质。

本发明的又一目的在于提供当即使在同一人的图像在各个时间段内不存在的情况下诸如互联网的巨大图像池也存在时从所对应的图像中查找相似面部并且反映所对应的相似面部随着时间的推移的改变以从在基本上期望的时间的相片中查找与基准图像相同的同一人的用户设备、其控制方法以及一种上面记录有计算机程序的非暂时性计算机可读存储介质。

根据本发明的一个方面，用户设备包括：存储单元，该存储单元存储基于分别包括在多个图像的元数据中的拍摄日期以及与所述多个图像关联的时间信息而针对各个时间间隔分类的多个图像；以及控制单元，该控制单元在基准图像中设置包括年龄和标识符的标记，针对各个时间间隔在所述基准图像与所述多个图像当中的作为与所述基准图像相同的时间间隔的第一时间间隔中包括的多个图像之间执行第一图像标记功能，分别基于其中通过执行所述第一图像标记功能的相似度是基准值或更大值的图像来提取包括在具有基准值或更大值的相似度的图像中的对象的特征信息，并且将经提取的包括在具有所述基准值或更大值的相似度的所述图像中的所述对象的特征信息分别反映到所述基准图像的特征信息以更新要搜索的所述基准图像的所述特征信息。

在本发明的实施方式中，所述控制单元可以分别基于所述基准图像中设置的所述标记来计算作为包括在所述基准图像中的对象的面部与作为包括在所述第一时间间隔中包括的所述多个图像中的对象的面部之间的相似度中的每一个并且验证其中针对所述多个图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。

在本发明的实施方式中，所述控制单元可以在其中所述特征信息被更新的所述基准图像与第一时间间隔中所包括的所述多个图像之间执行第二图像标记功能，针对各个时间间隔在其中所述特征信息被更新的所述基准图像与所述多个图像当中的与所包括所述基准图像的所述第一时间间隔连续的第二时间间隔中包括的多个其它图像之间执行第三图像标记功能，并且再次基于其中通过执行所述第二图像标记功能和所述第三图像标记功能的相似度是所述基准值或更大值的一个或更多个图像来将包括在具有所述基准值或更大值的相似度的一个或更多个图像中的所述对象的所述特征信息分别反映到其中所述特征信息被更新的所述基准图像的所述特征信息，以重新更新其中要搜索的所述特征信息被更新的所述基准图像的所述特征信息。

在本发明的实施方式中，所述控制单元可以重复地执行两个连续时间间隔中包括的至少一个图像与其中所述特征信息被更新的所述基准图像之间的相似度的计算以及相对于针对各个时间间隔分类的所述多个图像来更新所述基准图像的所述特征信息的过程，以相对于针对各个时间间隔分类的所述多个图像来针对各个时间间隔搜索所述相似度是所述基准值或更大值的一个或更多个图像中的每一个图像。

在本发明的实施方式中，所述控制单元可以针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类，并且控制在显示单元上显示经分类的针对各个时间间隔搜索到的一个或更多个图像以及针对各个时间间隔搜索到的图像的数量。

在本发明的实施方式中，所述控制单元可以在针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类时将分别相对于相同时间间隔通过连续搜索而搜索到的第一个或更多个图像和第二个或更多个图像两者分类为相同时间间隔的图像。

在本发明的实施方式中，所述控制单元在针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类时将通常包括在分别相对于相同时间间隔通过连续搜索而搜索到的第一个或更多个图像和第二个或更多个图像两者当中的至少一个图像分类为相同时间间隔的图像。

根据本发明的另一方面，一种用户设备的控制方法包括：由存储单元存储基于分别包括在多个图像的元数据中的拍摄日期以及与所述多个图像关联的时间信息而针对各个时间间隔分类的多个图像；以及由控制单元在基准图像中设置包括年龄和标识符的标记；由所述控制单元针对各个时间间隔在所述基准图像与所述多个图像当中的作为与所述基准图像相同的时间间隔的第一时间间隔中包括的多个图像之间执行第一图像标记功能；由所述控制单元分别基于其中通过执行所述第一图像标记功能的相似度是基准值或更大值的图像来提取包括在具有基准值或更大值的相似度的图像中的对象的特征信息；以及由所述控制单元将经提取的包括在具有所述基准值或更大值的相似度的所述图像中的所述对象的特征信息分别反映到所述基准图像的特征信息以更新要搜索的所述基准图像的所述特征信息。

在本发明的实施方式中，执行所述第一图像标记功能可以包括：由所述控制单元分别基于所述基准图像中设置的所述标记来计算作为包括在所述基准图像中的对象的面部与作为包括在所述第一时间间隔中包括的所述多个图像中的对象的面部之间的相似度中的每一个；以及由所述控制单元验证其中针对所述多个图像中的每一个图像所计算出的相似度是预定基准值或更大值图像。

在本发明的实施方式中，所述方法还可以包括：由所述控制单元在其中所述特征信息被更新的所述基准图像与第一时间间隔中包括的所述多个图像之间执行第二图像标记功能并且针对各个时间间隔在其中所述特征信息被更新的所述基准图像与所述多个图像当中的与包括所述基准图像的所述第一时间间隔连续的第二时间间隔中包括的多个其它图像之间执行第三图像标记功能；由所述控制单元再次基于其中通过执行所述第二图像标记功能和所述第三图像标记功能的相似度是所述基准值或更大值的一个或更多个图像来将包括在具有所述基准值或更大值的相似度的一个或更多个图像中的所述对象的所述特征信息分别反映到其中所述特征信息被更新的所述基准图像的所述特征信息，以重新更新其中要搜索的所述特征信息被更新的所述基准图像的所述特征信息；由所述控制单元重复地执行两个连续时间间隔中包括的至少一个图像与其中所述特征信息被更新的所述基准图像之间的相似度的计算以及相对于针对各个时间间隔分类的所述多个图像来更新所述基准图像的所述特征信息的过程，以相对于针对各个时间间隔分类的所述多个图像来针对各个时间间隔搜索所述相似度是所述基准值或更大值的一个或更多个图像中的每一个图像；由所述控制单元针对各个时间间隔来对针对各个时间间隔搜索到的一个或更多个图像进行分类；以及由所述显示单元显示经分类的针对各个时间间隔搜索到的一个或更多个图像以及针对各个时间间隔搜索到的图像的数量。

根据本发明，在特定时间的图像是通过通过使用基准图像在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中标识和跟踪包括在对应的基准图像中的人来搜索的，并且提供搜索结果或者根据所述搜索结果对所述图像进行分类以通过所述基准图像方便地获取期望的图像搜索结果，从而提高用户的便利性。

此外，当随着时间的流逝而改变的图像被累积时，相关人被跟踪并且自动地标记，同时仅通过在单个时间的图像来反映改变了的面部的特征以容易地对存储在云服务器中的图像进行分类和搜索或者容易地对存储在各种大容量存储介质中的图像进行分类或者关联。

另外，根据本发明，当即使在同一人的图像在各个时间段内不存在的情况下也存在诸如互联网的大量图像池时，相似面部是从所对应的图像中查找的并且所对应的相似面部随着时间的推移的改变被反映以从在基本上期望的时间的相片中查找与基准图像相同的同一人，并且结果，它在不存在许多图像或者查找失踪儿童时是可用的。

附图说明

图1是例示了根据本发明的实施方式的用户设备的配置的框图。

图2是例示了根据本发明的实施方式的用户设备的控制方法的流程图。

图3、图4和图5是例示了根据本发明的实施方式的用户设备的画面的图。

具体实施方式

注意，本发明中使用的技术术语用于仅仅描述特定实施方式而不旨在限制本发明。此外，如果本发明中使用的技术术语在本发明中未被特别定义为其它含义，则这些技术术语应该被领会为由本领域技术人员通常领会的含义并且不应该被领会为过度广泛的含义或过度缩减的含义。此外，当本发明中使用的技术术语是未准确地表达本发明的精神的错误技术术语时，该技术术语应该通过用能够被本领域技术人员正确地理解的技术术语取代来理解。另外，本发明中使用的一般术语应该被解释为在词典中或者从上下文定义，并且不应该被解释为过度缩减的含义。

另外，本发明中使用的单数表达包括复数表达，除非它们具有明确地相反的含义。在本发明中，不应该分析诸如“包括”或“包含”的术语特别包括本说明书中公开的各种组件或各种步骤，并且可能不包括它们当中的某个组件或一些步骤，或者可以进一步包括附加组件或步骤。

另外，本发明中使用的包括序数(诸如“第一”和“第二”)的术语能够用于描述各种组件，但是这些组件不应该受这些术语限制。上述术语仅用于区分一个组件和其它组件。例如，第一组件可以被称为第二组件，并且相似地，第二组件也可以被称为第一组件，而不脱离本发明的范围。

在下文中，将参照附图更详细地描述本发明的优选示例性实施方式。为了容易总体理解相同的附图标记是指相同的元件，并且将省去相同的元件的重复描述。

此外，在以下描述中，可以省去已知相关技术的详细说明以避免不必要地使本发明的主题混淆。此外，注意，附图仅用于容易地理解本发明的精神并且不应该解释为本发明的精神受附图限制。

图1是例示了根据本发明的实施方式的用户设备100的配置的框图。

如图1所例示的，用户设备100由通信单元110、存储单元120、显示单元130、语音输出单元140和控制单元150构成。图1所例示的用户设备100的所有组件不是必须的组件，并且用户设备100可以由比图1所例示的组件多的组件或比其少的组件来实现。

控制单元150在与预定基准图像相同的时间间隔中包括的多个图像当中执行图像标记功能，在所述预定基准图像中，包括年龄和标识符的标记分别根据存储在存储单元120中的多个时间间隔被设置在多个分类的图像当中。此后，控制单元150将通过执行图像标记功能从与所对应的基准图像相似的一个或更多个图像获取的特征信息反映到基准图像的特征信息来更新搜索目标图像特征信息。然后，控制单元150在其中特征信息相对于与作为所搜索到的搜索间隔的所对应的时间间隔相邻的下一个时间间隔以及作为所搜索到的搜索间隔的所对应的时间间隔被更新的图像之间执行图像标记功能。此后，控制单元150将通过执行图像标记功能从与所对应的基准图像相似的一个或更多个其它图像获取的特征信息反映到基准图像的特征信息来更新搜索目标图像特征信息。此外，控制单元150相对于多个时间间隔针对当前时间间隔和下一个时间间隔重复地执行图像标记功能，以针对各个时间间隔根据多个所有时间间隔中的图像与基准图像之间的相似度的计算来搜索与所对应的基准图像相似的图像。此后，控制单元150执行针对各个时间间隔搜索到的图像的分类功能，并且在显示单元130上显示通过执行分类功能针对各个时间间隔分类的图像、针对各个时间间隔分类的图像的数量等。

用户设备100可以应用于各种终端，诸如智能电话、便携式终端、移动终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、远程信息处理终端、导航终端、个人计算机、笔记本计算机、石板PC、平板PC、超极本、可穿戴装置(例如，包括智能手表、智能眼镜、头戴式显示器(HMD)等)、Wibro终端、网际协议电视(IPTV)终端、智能TV、数字广播终端、电视、3D电视、家庭影院***、音频视频导航(AVN)终端、音频/视频(A/V)***和柔性终端等。

通信单元110经由有线/无线通信网络与任何内部组件或至少一个预定外部终端进行通信。在这种情况下，任何外部终端可以包括服务提供装置(未例示)、云服务器(未例示)、大容量存储介质(未例示)等。在本文中，无线互联网技术包括无线LAN(WLAN)、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、IEEE 802.16、长期演进(LTE)、高级长期演进(LTE-A)、无线移动宽带服务(WMBS)等，并且通信单元110根据范围内的至少一种无线互联网技术来发送/接收数据以甚至包括如上未枚举的互联网技术。此外，短距离通信技术可以包括蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、超声通信(USC)、可见光通信(VLC)、Wi-Fi、Wi-Fi直连等。另外，有线通信技术可以包括电力线通信(PLC)、USB通信、以太网、串行通信、光学/同轴电缆等。

此外，通信单元110可以通过通用串行总线(USB)向预定终端人工地发送信息。

此外，通信单元110在根据移动通信的技术标准或通信方案(例如，全球移动通信***(GSM)、码分多址(CDMA)、码分多址2000(CDMA2000)、增强语音数据优化或仅增强语音数据(EV-DO)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSUPA)、高速上行链路分组接入(HSUPA)、IEEE 802.16、长期演进(LTE)、高级长期演进(LTE-A)等)构建的移动通信网络上向基站、服务提供装置、云服务器、大容量存储介质等中的至少一个发送无线信号并且从基站、服务提供装置、云服务器、大容量存储介质等中的至少一个接收无线信号。

此外，通信单元110通过控制单元150的控制来与云服务器、大容量存储介质等进行通信。

此外，通信单元110通过控制单元150的控制来存储从云服务器、大容量存储介质等提供的多个图像。

存储单元120存储各种用户界面(UI)、图形用户界面(GUI)等。

此外，存储单元120存储操作用户设备100所需要的数据、程序等。

也就是说，存储单元120可以存储在用户设备100中驱动的多个应用程序(另选地，应用)以及用于操作用户设备100的数据、命令等。可以通过无线通信从外部服务提供装置下载应用程序中的至少一些。此外，应用程序中的至少一些可以从用户设备100的基础功能(例如，电话接收和呼叫功能以及消息接收和发送功能)的交付时间起存在于用户设备100上。此外，应用程序被存储在存储单元120中并且安装在要驱动的用户设备100中，以由控制单元150执行用户设备100的操作(另选地，功能)。

此外，存储单元可以包括闪速存储器型、硬盘型、多媒体卡微型、卡型存储器(例如，SD或XD存储器等)、磁存储器、磁盘、光盘、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)和可编程只读存储器(PROM)中的至少一个存储介质。此外，用户设备100可以操作在互联网上执行存储单元120的存储功能的web存储或者与web存储关联地操作。

此外，存储单元120通过控制单元150的控制来存储通过通信单元110接收到的各种信息、多个图像等。

显示单元130可以通过控制单元150的控制使用存储在存储单元120中的UI和/或GUI来显示诸如各种菜单画面等的各种内容。在本文中，显示在显示单元130上的内容包括包含各种文本或图像数据(包含各种信息数据)以及诸如图标、列表菜单和复选框的数据等的菜单画面。此外，显示单元130可以是触摸屏。

另外，显示单元130可以包括液晶显示器(LCD)、薄膜晶体管液晶显示器(TFTLCD)、有机发光二极管(OLED)、柔性显示器、3D显示器、电子墨水显示器以及发光二极管(LED)中的至少一个。

此外，显示单元130可以被构成为显示立体图像的立体显示单元。

诸如立体型(眼镜型)、自动立体型(无眼镜型)、投影型(全息型)等的3D显示类型可以应用于立体显示单元。

此外，显示单元130通过控制单元150的控制来显示通过通信单元110接收到的各条信息、多个图像等。

语音输出单元140输出包括在由控制单元150信号处理过的信号中的语音信息。在本文中，语音输出单元140可以包括受话器、扬声器、蜂鸣器等。

此外，语音输出单元140输出由控制单元150生成的引导语音。

另外，语音输出单元140通过控制单元150的控制来输出与通过通信单元110接收到的各条信息对应的语音信息。

控制单元150执行用户设备100的总体控制功能。

此外，控制单元150通过使用存储在存储单元120中的程序和数据来执行用户设备100的总体控制功能。控制单元150可以包括RAM、ROM、CPU、GPU和总线，并且RAM、ROM、CPU、GPU等可以通过总线彼此连接。CPU通过使用存储在存储单元120中的O/S来访问存储单元120以执行引导并且可以通过使用存储在存储单元120中的各种程序、内容、数据等来执行各种操作。

此外，控制单元110通过通信单元来接收从服务提供装置、云服务器、大容量存储介质等提供的大量图像。

另外，控制单元150在存储在存储单元120中的多个图像当中验证(另选地，选择)基准图像。

而且，控制单元150在基准图像中设置包括年龄和标识符的标记。

另外，控制单元150基于分别包括在存储在存储单元120中的多个图像的元数据中的拍摄日期以及与多个对应的图像关联的时间信息(例如，网页、SNS等中的注册时间)根据时间间隔来对多个图像进行分类。

在这种情况下，控制单元150可以根据年龄在面部的改变程度大的幼年时代的情况下使搜索的时间间隔变窄。为此，控制单元150优选地准确地设置(另选地，输入)基准图像的年龄(另选地，出生日期)。例如，控制单元150可以变化地设置搜索间隔，例如在儿童的情况下将搜索间隔设置为1个月并且将搜索间隔逐渐增加到2至3个月，在10岁或更大的情况下将搜索间隔设置为1年，在20岁或更大的情况下将搜索间隔设置为2年，在30岁或更大的情况下将搜索间隔设置为5年等。

此外，控制单元150针对各个时间间隔在基准图像与多个图像当中与所对应的基准图像相同的时间间隔中包括的多个图像之间执行图像标记功能。

也就是说，控制单元150基于在基准图像中设置的标记，分别相对于多个时间间隔当中的与基准图像相同的时间间隔中所包括的多个图像来计算作为包括在基准图像中的对象的面部与作为包括在与所对应的基准图像相同的时间间隔中所包括的多个图像中的对象的面部之间的各个相似度，并且验证其中针对多个图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。

此外，控制单元150分别基于其中经验证的相似度是预定基准值或更大值的图像来验证(另选地，提取)包括在其中相似度是基准值或更大值的图像中的对象的特征信息。

另外，控制单元150将包括在其中经验证的相似度是基准值或更大值的图像中的对象的特征信息反映到基准图像的特征信息，以更新要搜索的基准图像的特征信息。

而且，控制单元150在基准图像(另选地，其中特征信息被更新的基准图像)与针对各个时间间隔在与多个图像当中的基准图像相同的时间间隔中所包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中所包括的多个其它图像之间执行图像标记功能。

也就是说，控制单元150基于基准图像中设置的标记相对于针对各个时间间隔在与多个图像当中的基准图像相同的时间间隔中所包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中包括的多个其它图像，来计算作为包括在基准图像中的对象的面部与作为包括在与所对应的基准图像相同的时间间隔中所包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中包括的多个其它图像中的对象的面部之间的相似度中的每一个相似度，并且验证其中针对多个图像中的每一个图像所计算出的相似度以及针对多个其它图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。在这种情况下，控制单元150可以基于相对于基准图像在上述步骤中更新的基准图像的特征信息来计算所对应的基准图像、与基准图像相同的时间间隔中所包括的多个图像以及搜索时间方向的相邻时间间隔中包括的多个其它图像的相似度中的每一个相似度。

此外，控制单元150分别基于其中经验证的相似度是预定基准值或更大值的图像来验证包括在其中相似度是基准值或更大值的图像中的对象的特征信息。

另外，控制单元150将包括在其中经验证的相似度是基准值或更大值的图像中的对象的特征信息分别反映到基准图像的特征信息以更新要再次搜索的基准图像的特征信息。

而且，控制单元150重复地执行与其中特征信息被更新的基准图像的相似度的计算以及基准图像相对于在先前步骤处的时间间隔以及多个时间间隔当中的与在所对应的先前步骤处的时间间隔相邻的又一时间间隔中包括的多个其它的图像的特征信息的更新，以相对于多个时间间隔中包括的多个图像搜索其中相似度是基准值或更大值的一个或更多个图像中的每一个图像。

也就是说，控制单元150在基于相对于多个时间间隔与所对应的基准图像对应的时间间隔而每隔一个时间间隔移动的同时搜索与其中特征信息被更新的基准图像相似的图像。

如上所述，作为将后续搜索间隔的特征信息反映到特征信息(另选地，特征点)的方法，控制单元150在搜索的同时基于当前间隔和下一个间隔的相同特征信息来执行搜索，并且再次提取在下一个间隔中查找的图像的特征信息以重复在下一个间隔和后续间隔中执行搜索的方案。

因此，可以不管对应人的改变而在数年内累积的人图像当中立即查找特定人(例如，在几十年内累积的家庭相片当中选择当前家庭的图像并且甚至通常标记所对应的家庭成员的幼年时代相片)或者重复这样的方案，即，当存在显式目标的少量累积相片时标记被同时标识为同一人的图像被标记在互联网图像或单独的图像池中并且此后更新特征，以在期望的时间查找包括所预期的同一人的图像。

此外，控制单元150查找当在个人相片当中不存在拍摄日期的元数据来提供所对应的图像的近似拍摄时间时存在相似面部的图像，在互联网图像当中查找失踪儿童，并且提供长大之后的面部的预测图像。

另外，控制单元150分别针对各个时间间隔来对针对多个时间间隔搜索到的一个或更多个图像进行自动分类，并且在显示单元130上显示分别针对多个时间间隔搜索到的一个或更多个自动地分类的图像、针对多个时间间隔中的每一个时间间隔搜索到的图像的数量等。

在这种情况下，当针对各个时间间隔分别对针对多个时间间隔搜索到的一个或更多个图像自动地进行分类时，控制单元150分别相对于通过连续步骤搜索到的图像将所有图像分类为所对应的时间间隔的图像。

此外，当针对各个时间间隔分别对针对多个时间间隔搜索到的一个或更多个图像自动地进行分类时，控制单元150分别将通过连续步骤搜索到的图像当中的在步骤中通常包括的图像分类为所对应的时间间隔的图像。

在本发明的实施方式中，描述了用户设备100对与从云服务器、大容量存储介质等提供的多个图像(另选地，针对各个时间间隔分类的多个图像)的基准图像相似的各个时间间隔的图像进行搜索和分类，但是本发明不限于此，并且用户设备100可以将基准图像发送到云服务器或大容量存储介质，并且所对应的云服务器或大容量存储介质可以对与基准图像相似的各个时间间隔的图像进行搜索和分类，并且此后，将针对各个时间间隔搜索和分类的图像提供给用户设备100。

此外，用户设备100还可以包括用作与连接至所对应的用户设备100的所有外部装置的接口的接口单元(未例示)。例如，接口单元可以由有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、将装置与识别模块连接的端口、音频输入/输出(I/O)端口、视频输入/输出(I/O)端口、耳机端口等构成。这里，识别模块是存储用于对用户设备100的权限进行认证的各种信息的芯片，并且可以包括用户身份模块(UIM)、订户身份模块(SIM)、通用订户身份模块(USIM)等。此外，可以以智能卡形式制备提供有识别模块的装置。因此，识别模块可以通过端口与用户设备100连接。这样的接口单元从外部装置接收数据或电力，以将所接收到的数据或电力发送到用户设备100中的各个组件或者将用户设备100中的数据发送到外部装置。

此外，接口单元可以是当用户设备100与外部支架连接时用来向所对应的用户设备100供应来自支架的电力的通路或用来向所对应的用户设备100传送由用户从支架输入的各种命令信号的通路。从支架输入的各种命令信号或所对应的电力还可以通过用于识别用户设备100被准确地安装在支架上的信号来操作。

此外，用户设备100还可以包括用于根据用户的按钮操作或任何功能选择来接收信号或者接收通过诸如触摸/滚动所显示的画面的操作而生成的命令或控制信号的输入单元(未例示)。

作为用于接收用户的命令、选择、数据和信息中的至少一种的装置的输入单元可以包括用于接收图或文本信息并且设置各种功能的多个输入键和功能键。

此外，作为输入单元，可以使用各种装置，诸如键盘、圆顶开关、(电容式/电阻式)触摸板、触摸屏、缓动盘、触合式开关、飞梭轮、鼠标、触针笔、触摸笔等。具体地，当显示单元130被以触摸屏形式形成时，输入功能中的一些或全部可以由显示单元130执行。

此外，用户设备100的各个组件(另选地，各个模块)可以是存储在用户设备100的存储器(另选地，存储单元120)上的软件。存储器可以是用户设备100的内部存储器并且可以是外部存储器或其它类型的存储装置。此外，存储器可以是非易失性存储器。存储在存储器上的软件可以包括用于使得用户设备100能够在执行的同时执行特定操作的命令集。

此外，安装在根据本发明的用户设备100中的处理器可以处理用于执行根据本发明的方法的程序命令。在一个实施方式示例中，处理器可以是单线程处理器，而在另一实施方式示例中，处理器可以是多线程处理器。此外，处理器可以处理存储在存储器或存储装置中的命令。

如上所述，可以通过使用基准图像在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中标识和跟踪包括在对应的基准图像中的人来搜索在特定时间的图像，并且可以提供搜索结果或者可以根据搜索结果对图像进行分类。

此外，当随着时间的流逝而改变的图像被累积时，可以在仅通过在单个时间的图像来反映改变了的面部的特征的同时跟踪并自动地标记相关人。

此外，当即使在同一人的图像在各个时间段内不存在的情况下也存在诸如互联网这样的大量图像池时，相似面部是从所对应的图像中查找的，并且所对应的相似面部随着时间的推移的改变被反映以从在基本上期望的时间的相片中查找与基准图像相同的同一人。

在下文中，将参照图1、图2、图3、图4和图5详细地描述根据本发明的用户设备的控制方法。

图2是例示了根据本发明的实施方式的用户设备的控制方法的流程图。

首先，控制单元150在基准图像中设置包括年龄和标识符的标记。

作为示例，控制单元150在包括第一用户的面部的基准图像中设置包括年龄(例如，17岁)和标识符的标记(S210)。

此后，控制单元150基于包括在存储在存储单元120中的多个图像的元数据中的拍摄日期以及与多个对应的图像关联的时间信息(例如，网页、SNS等中的注册时间)，根据时间间隔来对多个图像进行分类。

在这种情况下，控制单元150可以根据年龄在面部的改变程度大的幼年时代的情况下使搜索的时间间隔变窄。为此，控制单元150优选地准确地设置(另选地，输入)基准图像的年龄(另选地，出生日期)。例如，控制单元150可以变化地设置搜索间隔，例如在儿童的情况下将搜索间隔设置为1个月并且将搜索间隔逐渐增加到2至3个月、在10岁或更大的情况下将搜索间隔设置为1年、在20岁或更大的情况下将搜索间隔设置为2年、在30岁或更大的情况下将搜索间隔设置为5年等。

作为示例，控制单元150基于包括在存储在存储单元120中的100,000张图像的元数据中的拍摄日期、网页注册日期、SNS注册日期等来根据14个预定时间间隔(包括例如1个月、2个月、3个月、4个月、5个月、6个月、7至12个月、13至24个月、25至48个月、5至7岁、8至15岁、16至20岁、21至30岁、31至40岁等)对100,000张图像进行分类(S220)。

此后，控制单元150针对各个时间间隔在基准图像与多个图像当中的与所对应的基准图像相同的时间间隔中所包括的多个图像之间执行图像标记功能。

也就是说，控制单元150基于基准图像中设置的标记，在多个时间间隔当中分别计算作为包括在基准图像中的对象的面部与作为包括在与所对应的基准图像相同的时间间隔中所包括的多个图像中的对象的面部之间的相似度中的每一个相似度，并且验证其中针对多个图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。

作为示例，如图3所例示的，在第一步骤中，控制单元150分别相对于多个时间间隔当中的与基准图像的年龄(例如，17岁)对应的第12个时间间隔(例如，16至20岁)中包括的10,000个图像、分别基于包括在基准图像中的第一用户的面部的特征信息以及作为包括在第12个时间间隔(例如，16至20岁)中包括的10,000个图像中的对象的面部的特征信息来计算包括在基准图像中的第一用户的面部与包括在第12个时间间隔(例如，16至20岁)中所包括的10,000个图像中的面部之间的相似度中的每一个相似度，并且验证其中所计算出的10,000个图像的相似度当中的相似度是预定基准值(例如，90％的相似度)或更大值的15个图像(S230)。

此后，控制单元150分别基于其中经验证的相似度是预定基准值或更大值的图像(另选地，其中通过执行图像标记功能的相似度是基准值或更大值的图像)来验证(另选地，提取)包括在其中相似度是基准值或更大值的图像中的对象的特征信息。

另外，控制单元150分别将包括在其中经验证的相似度是基准值或更大值的图像中的对象的特征信息反映到基准图像的特征信息，以更新要搜索的基准图像的特征信息。

作为示例，控制单元150分别验证在10,000个图像的相似度当中具有预定基准值(例如，90％的相似度)或更大的相似度的15个图像中所包括的对象的特征信息，并且分别基于包括在经验证的15个图像中的对象的特征信息来更新基准图像的特征信息(另选地，基准图像中的第一用户的面部的特征信息)(S240)。

此后，控制单元150在基准图像(另选地，其中特征信息被更新的基准图像)与针对各个时间间隔在与多个图像当中的基准图像相同的时间间隔中所包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中所包括的多个其它图像之间执行图像标记功能。

也就是说，控制单元150基于基准图像中设置的标记，相对于针对各个时间间隔在与多个图像当中的基准图像相同的时间间隔中包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中包括的多个其它图像，来计算作为包括在基准图像中的对象的面部与作为包括在与所对应的基准图像相同的时间间隔中包括的多个图像以及从与所对应的基准图像相同的时间间隔起的搜索时间方向的相邻时间间隔中包括的多个其它图像中的对象的面部之间的相似度中的每一个相似度，并且验证其中针对多个图像中的每一个图像所计算出的相似度以及针对多个其它图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。在这种情况下，控制单元150可以基于相对于基准图像在上述步骤中更新的基准图像的特征信息来计算与所对应的基准图像相同的时间间隔中所包括的多个图像以及在搜索时间方向的相邻时间间隔中所包括的多个其它图像的相似度中的每一个相似度。

作为示例，如图3所例示的，在第二步骤中，控制单元150分别相对于多个时间间隔当中的与基准图像的年龄(例如，17岁)对应的第12个时间间隔(例如，16至20岁)中所包括的10,000个图像、分别基于针对包括在基准图像中的第一用户的面部而更新的特征信息(另选地，包括在经更新的基准图像中的第一用户的面部的特征信息)以及作为包括在第12个时间间隔(例如，16至20岁)中所包括的10,000个图像中的对象的面部的特征信息来计算包括在基准图像中的第一用户的面部与包括在第12个时间间隔(例如，16至20岁)中所包括的10,000个图像中的面部之间的相似度中的每一个相似度，并且验证其中所计算出的10,000个图像的相似度当中的相似度是预定基准值(例如，90％的相似度)或更大值的13个图像。此外，如图3所例示的，在第二步骤中，控制单元150分别相对于第11个时间间隔(例如，8至15岁)、与多个时间间隔当中的与基准图像的年龄(例如，17岁)对应的第12个时间间隔(例如，16至20岁)相邻的其它时间间隔中包括的9,000个图像，分别基于针对包括在基准图像中的第一用户的面部而更新的特征信息(另选地，包括在经更新的基准图像中的第一用户的面部的特征信息)以及作为包括在第11个时间间隔(例如，8至15岁)中所包括的9,000个图像中的对象的面部的特征信息来计算包括在基准图像中的第一用户的面部与作为包括在第11个时间间隔(例如，8至15岁)中所包括的9,000个图像中的对象的面部之间的相似度中的每一个相似度，并且验证其中所计算出的9,000个图像的相似度当中的相似度是预定基准值(例如，90％的相似度)或更大值的10个图像(S250)。

此后，控制单元150分别基于其中经验证的相似度是基准值或更大值的图像来验证包括在其中相似度是基准值或更大值的图像中的对象的特征信息。

另外，控制单元150将包括在其中经验证的相似度是基准值或更大值的图像中的对象的特征信息分别反映到基准图像的特征信息以更新要再次搜索的基准图像的特征信息。

作为示例，控制单元150分别验证包括在在第12个时间间隔(例如，16至20岁)中的在10,000个图像的相似度当中具有基准值或更大值的相似度(例如，90％的相似度)的13个图像以及在第11个时间间隔(例如，8至15岁)中的在9,000个图像的相似度当中具有基准值的相似度(例如，90％的相似度)或更大值的相似度的10个图像中的对象的特征信息，并且分别基于经验证的包括在总共23个图像中的对象的特征信息再次更新先前更新的基准图像的特征信息(另选地，包括在基准图像中的第一用户的面部的特征信息)(S260)。

此后，控制单元150相对于在先前步骤处的时间间隔以及多个时间间隔当中的与在所对应的先前步骤处的时间间隔相邻的又一时间间隔中所包括的多个其它的图像来重复地执行与其中特征信息被更新的基准图像的相似度的计算以及基准图像的特征信息的更新(例如，步骤S250和S260)，以相对于多个时间间隔中所包括的多个图像针对各个时间间隔搜索其中相似度是基准值或更大值的一个或更多个图像中的每一个图像。

作为示例，如图3所例示的，在第三步骤中，控制单元150相对于在作为另一时间间隔的第10个时间间隔(例如，5至7岁)中所包括的图像以及多个时间间隔当中的第11个时间间隔(例如，8至15岁)中所包括的图像，基于经更新的包括在基准图像中的第一用户的面部的特征信息(另选地，包括在经更新的基准图像中的第一用户的面部的特征信息)来计算各个图像的相似度，验证在针对各个图像所计算出的相似度当中具有基准值或更大值的相似度的图像，验证经验证的图像的对象的特征信息，并且分别基于包括在经验证的图像中的对象的特征信息再次更新先前更新的基准图像的特征信息。此外，控制单元150重复地执行步骤4至12以针对各个步骤按基准值或更大值搜索(另选地，验证)与在各个时间间隔中更新的基准图像的特征信息相似的各个图像。

此后，控制单元150分别对针对多个时间间隔搜索到的一个或更多个图像进行自动的分类，并且在显示单元130上显示分别针对多个时间间隔搜索到的一个或更多个自动地分类的图像、针对多个时间间隔中的每一个时间间隔搜索到的图像的数量等。

在这种情况下，当针对各个时间间隔分别对针对多个时间间隔搜索到的一个或更多个图像自动地进行分类时，控制单元150分别可以将所有图像分类为所对应的时间间隔的图像，或者相对于通过连续步骤搜索到的图像将通常包括在通过连续步骤搜索到的图像当中的图像分别分类为所对应的时间间隔的图像。

作为示例，如图4所例示的，控制单元150分别针对各个时间间隔对针对多个时间间隔搜索到的一个或更多个图像进行分类，并且在显示单元130上显示分别针对多个时间间隔搜索到的一个或更多个自动地分类的图像、针对多个时间间隔中的每一个搜索到的图像的数量等。在这种情况下，控制单元150可以分别以缩略图形式显示时间间隔的一个或更多个图像，并且当以缩略图形式显示的特定图像被选择时，控制单元150可以在显示单元130上显示所对应的选择的特定图像的原始图像。

在这种情况下，当针对多个时间间隔中的每一个搜索到的一个或更多个图像是针对各个时间间隔自动地分类的时，控制单元150相对于在第一步骤中搜索到的15个图像(例如，第一至第15个图像)以及相对于图4所例示的16至20岁的第12个时间间隔在第二步骤中搜索到的13个图像(例如，第一至第10个图像和第16至第18个图像)，将所有图像(例如，包括第一至第18个图像的总共18个图像)分类为所对应的第12个时间间隔(例如，16至20岁)的图像。

此外，当针对多个时间间隔中的每一个时间间隔搜索到的一个或更多个图像是针对各个时间间隔自动地分类的时，控制单元150相对于在第一步骤中搜索到的15个图像(例如，第一至第15个图像)以及相对于图4所例示的16至20岁的第12个时间间隔在第二步骤中搜索到的13个图像(例如，第一至第10个图像和第16个至第18个图像)，将在第一步骤和第二步骤中通常包括的10个图像(例如，第一至第10个图像)分类为如图5所例示的所对应的第12个时间间隔(例如，16至20岁)的图像(S280)。

根据本发明的实施方式的用户设备可以被制备有计算机程序，并且配置该计算机程序的代码和代码段可以由本领域的计算机程序设计员容易地推导出。此外，所对应的计算机程序被存储在非暂时性计算机可读存储介质中，并且由根据本发明的实施方式的计算机或用户设备等读取和执行以实现该用户设备。

非暂时性计算机可读存储介质包括磁存储介质、光学存储介质和载波介质。实现根据本发明的实施方式的用户设备的计算机程序可以被存储并安装在用户设备的嵌入式存储器等中。另选地，诸如存储并安装实现根据本发明的实施方式的计算机程序的智能卡的外部存储器可以通过接口被安装在用户设备等上。

根据本发明的实施方式，如上所述，在特定时间的图像是通过使用基准图像来标识和跟踪包括在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中的所对应的基准图像中的人来搜索的，并且提供搜索结果或者根据搜索结果对图像进行分类以通过基准图像方便地获取期望的图像搜索结果，从而提高用户的便利性。

此外，在本发明的实施方式中，如上所述，当随着时间的流逝而改变的图像被累积时，相关人被跟踪并自动地标记，同时仅通过在单个时间的图像来反映改变了的面部的特征，以容易地对存储在云服务器中的图像进行分类和搜索或者容易地对存储在各种大容量存储介质中的图像进行分类或者关联。

另外，在本发明的实施方式中，如上所述，当即使在同一人的图像在各个时间段内不存在的情况下也存在诸如互联网的大量图像池时，相似面部是从所对应的图像中查找的并且所对应的相似面部随着时间的推移的改变被反映以从在基本上期望的时间的相片中查找与基准图像相同的同一人，并且结果，它在不存在许多图像或者查找失踪儿童时是可用的。

在上文中，尽管本发明通过诸如具体组件等的特定题材、实施方式和附图来描述，然而它们是仅为了有助于本发明的完全理解而提供的。因此，本发明不限于这些实施方式。各种修改和改变可以由本发明所属于的本领域的技术人员根据此说明书做出。因此，本发明的精神不应该限于以上描述的实施方式，并且以下权利要求以及对权利要求同样地或等效地修改的全部旨在落入本发明的范围和精神内。

根据本发明，在特定时间的图像是通过通过使用基准图像来标识和跟踪包括在与所对应的基准图像的拍摄时间不同的预定时间拍摄的多个图像当中的所对应的基准图像中的人来搜索的，并且提供搜索结果或者根据搜索结果对图像进行分类以通过基准图像方便地获取所期望的图像搜索结果，从而提高用户的便利性，并且本发明能够被广泛地用在用户设备领域、图像搜索领域等中。

Claims (10)

1.一种用户设备，该用户设备包括：

存储单元，该存储单元存储基于分别包括在多个图像的元数据中的拍摄日期以及与所述多个图像关联的时间信息而针对各个时间间隔分类的所述多个图像；以及

控制单元，该控制单元在基准图像中设置包括年龄和标识符的标记，针对各个时间间隔在所述基准图像与所述多个图像当中的作为与所述基准图像相同的时间间隔的第一时间间隔中所包括的多个图像之间执行第一图像标记功能，分别基于通过执行所述第一图像标记功能的相似度是基准值或更大值的图像来提取包括在具有基准值或更大值的相似度的图像中的对象的特征信息，并且将经提取的包括在具有所述基准值或更大值的相似度的所述图像中的所述对象的特征信息分别反映到所述基准图像的特征信息，以更新要搜索的所述基准图像的所述特征信息。

2.根据权利要求1所述的用户设备，其中，所述控制单元分别基于所述基准图像中设置的所述标记来计算作为包括在所述基准图像中的对象的面部与作为包括在所述第一时间间隔中所包括的所述多个图像中的对象的面部之间的相似度中的每一个相似度，并且验证针对所述多个图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。

3.根据权利要求1所述的用户设备，其中，所述控制单元在所述特征信息被更新的所述基准图像与在所述第一时间间隔中所包括的所述多个图像之间执行第二图像标记功能，针对各个时间间隔在所述特征信息被更新的所述基准图像与所述多个图像当中的与包括所述基准图像的所述第一时间间隔连续的第二时间间隔中所包括的多个其它图像之间执行第三图像标记功能，并且再次基于通过执行所述第二图像标记功能和所述第三图像标记功能的相似度是所述基准值或更大值的一个或更多个图像来将包括在具有所述基准值或更大值的相似度的一个或更多个图像中的所述对象的所述特征信息分别反映到所述特征信息被更新的所述基准图像的所述特征信息，以重新更新要搜索的所述特征信息被更新的所述基准图像的所述特征信息。

4.根据权利要求3所述的用户设备，其中，所述控制单元重复地执行在两个连续时间间隔中所包括的至少一个图像与所述特征信息被更新的所述基准图像之间的相似度的计算以及相对于针对各个时间间隔分类的所述多个图像来更新所述基准图像的所述特征信息的过程，以相对于针对各个时间间隔分类的所述多个图像来针对各个时间间隔搜索所述相似度是所述基准值或更大值的一个或更多个图像中的每一个图像。

5.根据权利要求4所述的用户设备，其中，所述控制单元针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类，并且控制在显示单元上显示经分类的针对各个时间间隔搜索到的一个或更多个图像以及针对各个时间间隔搜索到的图像的数量。

6.根据权利要求5所述的用户设备，其中，所述控制单元在针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类时，将分别相对于相同时间间隔通过连续搜索而搜索到的第一个或更多个图像和第二个或更多个图像两者分类为相同时间间隔的图像。

7.根据权利要求5所述的用户设备，其中，所述控制单元在针对各个时间间隔对针对各个时间间隔搜索到的一个或更多个图像进行分类时，将通常包括在分别相对于相同时间间隔通过连续搜索而搜索到的第一个或更多个图像和第二个或更多个图像两者当中的至少一个图像分类为相同时间间隔的图像。

8.一种用户设备的控制方法，该方法包括以下步骤：

由存储单元存储基于包括在多个图像的元数据中的拍摄日期以及与所述多个图像关联的时间信息而针对各个时间间隔分类的所述多个图像；

由控制单元在基准图像中设置包括年龄和标识符的标记；

由所述控制单元针对各个时间间隔在所述基准图像与所述多个图像当中的作为与所述基准图像相同的时间间隔的第一时间间隔中所包括的多个图像之间执行第一图像标记功能；

由所述控制单元分别基于通过执行所述第一图像标记功能的相似度是基准值或更大值的图像来提取包括在具有基准值或更大值的相似度的图像中的对象的特征信息；以及

由所述控制单元将经提取的包括在具有所述基准值或更大值的相似度的所述图像中的所述对象的特征信息分别反映到所述基准图像的特征信息，以更新要搜索的所述基准图像的所述特征信息。

9.根据权利要求8所述的方法，其中，

执行所述第一图像标记功能包括以下步骤：

由所述控制单元分别基于所述基准图像中设置的所述标记来计算作为包括在所述基准图像中的所述对象的面部与作为包括在所述第一时间间隔中所包括的所述多个图像中的所述对象的面部之间的相似度中的每一个相似度；以及

由所述控制单元验证针对所述多个图像中的每一个图像所计算出的相似度是预定基准值或更大值的图像。

10.根据权利要求8所述的方法，该方法还包括以下步骤：

由所述控制单元在所述特征信息被更新的所述基准图像与在所述第一时间间隔中所包括的所述多个图像之间执行第二图像标记功能，并且针对各个时间间隔在所述特征信息被更新的所述基准图像与所述多个图像当中的与包括所述基准图像的所述第一时间间隔连续的第二时间间隔中所包括的多个其它图像之间执行第三图像标记功能；

由所述控制单元再次基于通过执行所述第二图像标记功能和所述第三图像标记功能的相似度是所述基准值或更大值的一个或更多个图像来将包括在具有所述基准值或更大值的相似度的一个或更多个图像中的所述对象的所述特征信息分别反映到所述特征信息被更新的所述基准图像的所述特征信息，以重新更新要搜索的所述特征信息被更新的所述基准图像的所述特征信息；

由所述控制单元重复地执行在两个连续时间间隔中所包括的至少一个图像与所述特征信息被更新的所述基准图像之间的相似度的计算以及相对于针对各个时间间隔分类的所述多个图像来更新所述基准图像的所述特征信息的过程，以相对于针对各个时间间隔分类的所述多个图像来针对各个时间间隔搜索所述相似度是所述基准值或更大值的一个或更多个图像中的每一个图像；

由所述控制单元针对各个时间间隔来对针对各个时间间隔搜索到的一个或更多个图像进行分类；以及

由显示单元显示经分类的针对各个时间间隔搜索到的一个或更多个图像以及针对各个时间间隔搜索到的图像的数量。