CN104751168B - 经由主动学习搜索相关图像的方法及电子装置和用户界面 - Google Patents

经由主动学习搜索相关图像的方法及电子装置和用户界面 Download PDF

Info

Publication number
CN104751168B
CN104751168B CN201410840292.XA CN201410840292A CN104751168B CN 104751168 B CN104751168 B CN 104751168B CN 201410840292 A CN201410840292 A CN 201410840292A CN 104751168 B CN104751168 B CN 104751168B
Authority
CN
China
Prior art keywords
image
selected digital
query
sample
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410840292.XA
Other languages
English (en)
Other versions
CN104751168A (zh
Inventor
张智威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN104751168A publication Critical patent/CN104751168A/zh
Application granted granted Critical
Publication of CN104751168B publication Critical patent/CN104751168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种经由主动学习搜索相关图像的方法及电子装置和用户界面。首先，可从存储图像获得具有第一主体及第二主体的查询图像。接下来，查询概念(query concept)可通过根据所述查询图像的内容信息(content information)从所述存储图像中采样用于相关性反馈的第一样本图像来学习。接着，藉由所述第一样本图像当中的第一选定图像的情境信息(context information)来优化所述查询概念。基于所述经优化的查询概念，可根据所述查询概念搜索所述存储图像当中的相关图像，及将所述相关图像分组到珍藏相册中。

Description

经由主动学习搜索相关图像的方法及电子装置和用户界面
技术领域
本发明涉及一种经由主动学习搜索相关图像的方法、使用相同方法的移动电子装置。
背景技术
当前，移动电子装置的用户在其日常生活中将使用数码相机、移动电话、平板计算机、膝上型计算机、PDA等俘获数字图像(例如，连续或静态图像)。经常地，用户最终可能有数百或数千数字图像存储在存储器存储装置中。举例来说，用户可经由其具有图像俘获功能的移动装置拍摄了数千图像。通常，存储在移动装置的存储器存储装置中的图像可能并未分类。
为了根据用户的需要搜索存储在所述移动装置中的所有图像，可能必须检查图像中的每一个，且例如通过对其加标记或将其放入各种文件夹中来对其进行分类。这些分类动作可极为不便且无益。在一些状况下，基于关键字的搜索引擎可用以识别与由用户查询的关键字相关的图像集合。然而，仍必须检查与关键字相关的图像中的每一个，且分别地标记所述图像。因此，需要快速及准确地识别图像数据库当中的相关图像，且根据需要(或查询概念或查询准则)分组或分类相关图像而不用经历显式及费力的标记过程。
发明内容
本发明提出一种经由主动学习搜索相关图像的方法、使用所述方法的移动电子装置及用于操作移动电子装置的计算机可读媒体。
根据示范性实施例中的一个，提供移动电子装置中的一种经由主动学习搜索相关图像的方法。所述方法将至少包含，但不限于：获得包括第一主体及第二主体的查询图像；通过根据所述查询图像的内容信息从存储图像中采样多个第一样本图像以用于相关性反馈，基于所述查询图像的内容信息学习查询概念，所述第一样本图像包括具有所述第一主体的至少一个图像、具有所述第二主体的至少一个图像及具有所述第一及第二主体两者的至少一个图像；以及根据所述查询概念搜索所述存储图像当中的所述相关图像，及将所述相关图像分组到珍藏相册中。
根据示范性实施例中的一个，提供一种使用前述方法的电子装置。所述电子装置将至少包含，但不限于：显示单元、存储装置及耦合到所述显示单元及存储单元的处理器。所述存储装置是用于存储多个存储图像。所述处理器经配置以用于：获得包含第一主体及第二主体的查询图像；通过根据所述查询图像的内容信息从存储图像中采样多个第一样本图像以用于相关性反馈，基于所述查询图像的内容信息学习查询概念，所述第一样本图像包括具有所述第一主体的至少一个图像、具有所述第二主体的至少一个图像及具有所述第一及第二主体两者的至少一个图像；以及根据所述查询概念搜索所述存储图像当中的所述相关图像，及将所述相关图像分组到珍藏相册中。
根据示范性实施例中的一个，提供一种用户界面用以至少执行，但不限于以下步骤：显示至少一个图像以获得包括第一主体及第二主体的至少一个查询图像，经由相关性反馈获得所述所显示的图像当中的至少一个查询图像，根据所述至少一个查询图像的内容信息显示多个第一样本图像以用于相关性反馈，获得所述第一样本图像当中的至少一个第一选定图像以基于所述至少一个第一选定图像的内容信息学习查询概念；以及根据所述查询概念显示多个相关图像。
然而，应理解，此概述可能不含有本发明的所有方面以及实施例，且因此并不意味以任何方式为限制性的。此外，本发明将包含所属领域的技术人员容易理解的改进和修改。
附图说明
包含随附图式是为了更深入理解本发明，随附图式结合在本说明书中并且构成本说明书的一部分。所述图式说明本发明的实施例，且与描述一起用以解释本发明的原理。
图1为根据本发明的示范性实施例中的一个的移动电子装置的硬件的方块图。
图2为根据本发明的实施例中的一个，说明经由主动学习搜索相关图像的方法的流程图。
图3及4为根据本发明的示范性实施例中的一个，说明基于查询图像的内容信息学习查询概念的方法的示意图。
图5为根据本发明的示范性实施例中的一个，说明基于第一样本图像及查询图像的时间信息从存储图像采样的多个第二图像的示意图。
图6为根据本发明的示范性实施例中的一个，说明基于第一选定图像及查询图像的位置信息从存储图像采样的多个第二样本图像的示意图。
图7为根据本发明的示范性实施例中的一个，说明相关图像的显示的示意图。
图8及9为根据本发明的示范性实施例中的一个，说明将相关图像分组到珍藏相册中的示意图。
图10到14为根据本发明的示范性实施例中的一个，说明搜索及分组对应于小孩J的生日的多个相关图像的示意图。
图15为根据本发明的示范性实施例中的一个，说明用于经由主动学习搜索相关图像的用户界面的方法的流程图。
元件符号说明
100：移动电子装置
110：处理器
120：触摸屏
121：显示区域
123：触摸检测组件
130：存储装置
310：查询图像
311：第一主体
313：第二主体
410：第一样本图像的第一集合
411：第一图像
413：第二图像
415：第三图像
420：第一样本图像的第二集合
430：第一样本图像的第三集合
431：第四图像
440：第一样本图像的第四集合
450：刷新选项
460：结束选项
461：已选图像数量
510：第二样本图像的第一集合
520：第二样本图像的第二集合
530：第二样本图像的第三集合
610：第二样本图像的第一集合
620：第二样本图像的第二集合
630：第二样本图像的第三集合
750：保存选项
751：已选图像数量
1011：第一图像
1012：第二图像
1013：第三图像
1111：第一选定图像
1112：第一选定图像
1113：第一选定图像
1114：第一选定图像
1115：第一选定图像
1116：第一选定图像
1117：第二选定图像
1118：第一样本图像
1119：第一样本图像
1211：第二选定图像
为了使申请案的以上特征及优势更好理解，如下详细地描述伴有图式的若干实施例。
具体实施方式
现将详细参考本发明的实施例，其实例在附图中得以说明。只要可能，相同参考数字在图式和描述中用以指相同或相似部分。
在本发明中，提供一种用于经由主动学习搜索相关图像的设备及其方法。本发明将基于用户的查询概念(query concept)自动标记及分组多个图像。通过找出多个存储图像当中最有信息量(未标记)的图像供用户挑选，基于多个选定图像的内容(例如，人或物体)信息(content information)及情境(例如，时间、日期或位置)信息(contextinformation)主动地学习用户的查询概念(即，主动学习算法)。主动学习算法为最大化信息收集(information collection)及最小化相关性反馈(relevance feedback)的迭代次数的相关性反馈的迭代过程。在本发明中，将利用选定图像的不同信息来最大化相关性反馈的迭代中的信息收集以用于学习查询概念。下文通过本发明的各种实施例来描述本发明的细节描述。然而，所述实施例并不意欲限制本发明。
图1为依据功能块说明根据本发明的一示范性实施例中的电子装置100的硬件的框图。
参看图1，移动电子装置100可为智能电话、移动电话、平板计算机、个人数字助理(personal digital assistant，PDA)等。在示范性实施例中，电子装置100将至少包含，但不限于：处理器110、触摸屏120及存储装置130。电子装置100可进一步包含用于发射及接收无线数据的一或多个无线收发器(未图示)。无线收发器可例如为Wi-Fi卡、3G硬件接口、蓝牙接口、近场通信(near-field communication，NFC)单元等。电子装置100可进一步包含用于俘获数字图像的数字图像俘获装置(未图示)。数字图像可为静态图像或运动图片。下文将详细解释电子装置100的每一组件。
处理器110可为，但不限于：用于一般或特定应用中的中央处理单元(centralprocessing unit，CPU)或可编程微处理器、数字信号处理器(digital signal processor，DSP)、可编程控制器、专用集成电路(application specific integrated circuit，ASIC)、可编程逻辑装置(programmable logic device，PLD)或其它类似装置或其组合。在本发明的实施例中，处理器110可分别电耦接至触摸屏120及存储介质130，其中处理器110可控制示范性电子装置100的所有操作。
触摸屏120可为与触摸检测组件123集成的显示装置，所述显示装置可在移动电子装置100的显示区域121内同时提供显示功能及输入功能。显示装置可为，但不限于：液晶显示器(liquid crystal display，LCD)、发光二极管(light emitting diode，LED)、场致发射显示器(field emission display，FED)或其它显示器。触摸检测组件123配置在显示装置中，且排列成经配置以检测触摸事件的行及列。触摸事件可包含通过使用手指、手掌、身体部位或其它物体来触摸所述触摸屏120而产生的事件。触摸检测组件可为，但不限于：电阻式、电容式光学或其它类型的触摸感测装置，所述触摸感测装置将经集成为触摸屏120的一部分。
存储装置130可为存储经缓冲或永久性数据的易失性或非易失性存储器，所述经缓冲或永久性数据为例如媒体内容(例如，图像)及用以执行移动电子装置100的操作的应用程序或指令。在本发明的实施例中的一个中，电子装置100的存储装置120将包含多个存储图像。存储图像可由电子装置100的图像俘获组件(未图示)俘获或经由有线或无线发射从其它装置接收。应注意存储图像中的每一个可包含元数据(metadata)，且存储图像中的每一个的元数据包含面部特征(facial feature)、感知特征、场景、形状、颜色、纹理、时间、日期及位置信息等。
在下文中，详细地描述元数据及其利用。然而，其并不意欲限制本发明。
在本发明的实施例中的一个中，存储装置130可进一步包含人脸数据库(peopledatabase)、图像人脸对应表(image-to-person table)及人脸图像对应表(person-to-image table)。在实施例中，人脸数据库可将识别的面部(或识别的物体)记录为人的面部表示。识别的面部可由从给定图像的元数据提取的面部特征表示。举例来说，处理器110将从给定图像的元数据提取面部特征，及将所提取的面部特征作为面部表示登记到人脸数据库。如果所提取的面部特征不与人脸数据库中的任何项目相关联，那么处理器110将在人脸数据库中为所提取的面部特征创建新的项目。应注意在实施例中，每一项目表示具有至少一个面部代表一个人。每一项目可由对应人的名称、识别编号或最初识别的初始面部特征识别，实施例并不意欲限制在人脸数据库中记录或识别每一项的手段。接下来，如果所提取的面部特征与已经记录在人脸数据库中的项目相关联，那么处理器110将登记所提取的面部特征作为对应于人脸数据库中相关联项目的面部代表之一。应注意虽然用图像中的一个人的面部的面部特征来说明实施例，但其并不意欲限制本发明。在本发明的实施例中的一个中，一个图像内的多个面部可通过从图像的元数据分别提取对应于面部中的每一个的面部特征来识别及记录。
应注意，面部辨识并不具有100％准确性，且图像中的人可能被误认为相关的人。举例来说，来自不同图像的同一个人的面部可被识别为不同的人，或不同人的面部可被识别为同一个人。因此，在发生错匹配时，可利用众包方法(a crowd-sourcing method)来识别将为同一个人或不同的人的不明确的配对。因此，人脸数据库可通过合并或拆分不明确的配对来修改。
在实施例中，面部特征可为眼睛、鼻子、嘴巴、颧骨、下颌等的几何信息，例如形状、大小及相对位置。此外，可利用存储在元数据中的三维面部特征来识别面部。三维面部特征包含，但不限于：眼窝、鼻子、下巴等的轮廓。
此外，本发明不限于人的面部辨识。应注意，可利用上文实施例来辨识或识别图像内的物体，及将识别的物体登记在物体数据库中。在本发明的实施例中的一个中，元数据可包含感知特征，例如对应于动物、建筑物、水果或任何其它物体的几何信息。举例来说，元数据可包含虎的几何形状。
在本发明的实施例中的一个中，处理器110将分析存储在存储装置中的所有图像以将表示每个人的面部特征登记在人脸数据库(或物体数据库)中。然后，处理器110可根据人脸数据库进一步构建图像人脸对应表及人脸图像对应表。详细地说，图像人脸对应表将记录关于存储图像中的每一图像者的每一识别的人。举例来说，图像人脸对应表包含用以记录图像的第一列及用以记录对应同一行的图像中所识别的人的第二列，其中每一行将记录存储图像中的一个及所述存储图像内的所对应的人。换句话说，图像人脸对应表记录在图像中的每一个内的识别的人。
另一方面，人脸图像对应表将根据所识别的人记录存储图像。举例来说，人脸图像对应表包含用以记录识别的人的第一列及用以记录对应于在第一列中所列出的识别的人的存储图像的第二列，其中每一行将记录一个识别的人及具有所述识别的人的存储图像。
在本发明的实施例中的一个中，存储图像的场景可根据存储在元数据中的颜色、形状及纹理特征来识别。
在本发明中，还将利用存储图像的情境相关元数据来改进用户的查询概念。情境相关元数据包含，但不限于：对应图像的时间、日期及位置信息。
在下文中，伴随着在图1中根据本发明的实施例中的一个所说明的硬件来解释经由主动学习搜索相关图像的方法。图2为说明根据本发明的实施例中的一个的经由主动学习搜索相关图像的方法的流程图。在实施例中，经由主动学习搜索相关图像的过程可通过从存储多个存储图像的图像数据库获得至少一个查询图像来起始。参看图2，在步骤S210中，可获得查询图像，其中查询图像可具有第一主体及第二主体。举例来说，第一主体及第二主体可为，但不限于：人、场景及物体。
在步骤S220中，处理器110可根据查询图像的内容信息从存储图像采样多个样本图像(其被称作第一样本图像)以用于相关性反馈，以学习查询概念。第一样本图像包含具有第一主体但不具有第二主体的至少一个图像、具有第二主体但不具有第一主体的至少一个图像及具有第一及第二主体两者的至少一个图像。在此的构想是经由相关性反馈来探究(或发现)查询概念的所有可能主体。查询概念可仅包含第一主体，仅包含第二主体，包含第一及第二主体，或包含具有涉及第一主体或第二主体的群体图像。举例来说，在给定图像时，可以询问所关注的主体是什么。可评估不同问题(或查询概念的可能性)以便阐明用户的查询概念，例如“有没有更多主体受到关注”、“查询概念是否含有给定图像中的所有可识别的主体(例如，合取)或仅含有一些可识别的主体(例如，析取)”或“查询概念是否含有涉及可识别的主体中的一个人或一群人”。因此，在示范性实施例中，采样策略可为采样类似于查询图像的图像，且同时具有其它变化(例如，不同主体、人、场景等)以进一步探究查询概念。在示范性实施例中的一个中，处理器110还将采样不具有查询图像的第一及第二主体的图像，以进一步探究其它主体是否包含在查询概念中。
详细地说，处理器110可从查询图像的元数据提取内容信息。举例来说，可提取例如查询图像中的人的面部特征等内容信息(例如眼睛、鼻子、嘴巴、颧骨、下颌等之间的相对距离)，以便识别查询图像内的人。在本发明的示范性实施例中的一个中，可提取例如形状、颜色或纹理等低层内容信息来识别查询图像的主体。根据查询图像所提取的内容信息，处理器110可采样用于相关性反馈的第一样本图像。在本发明的示范性实施例中，第一样本图像可显示在触摸屏120的显示区域121上以请求用户进行选择。因此，可经由相关性反馈获得至少一个选定图像(也被称作第一选定图像)。
因此，处理器110可经由相关性反馈学习所关注的主体。基于选定图像，处理器110可经由相关性反馈根据第一样本图像当中的第一选定图像的内容信息学习查询概念。
图3及4为说明根据本发明的示范性实施例中的一个的基于查询图像的内容信息学习查询概念的方法的示意图。在图3中所说明的示范性实施例中，说明查询图像310。处理器110提取查询图像的内容信息，且识别查询图像中的第一主体311(例如，人A)及第二主体313(例如，人B)。举例来说，可从查询图像310提取两个识别的面部特征。为了说明的容易起见，在示范性实施例中，第一主体311(例如，人A)包含在用户的查询概念的部分中。根据查询图像中所识别的第一及第二主体的面部特征，处理器110从存储图像中采样多个第一样本图像。应注意，本发明并不意欲将第一或第二主体311、313限于人。在本发明的示范性实施例中的一个中，可基于查询图像的内容信息来识别建筑物或场景。识别的建筑物或场景可为第一主体311或第二主体313中的一个。
参看图4，第一样本图像显示在电子装置100的显示单元121上以请求用户的反馈(相关性反馈)。应注意，基于上文所描述的采样策略来采样第一样本图像。详细地说，呈现在显示单元121上用于相关性反馈的第一样本图像将包含第一样本图像的第一集合410、第一样本图像的第二集合420、第一样本图像的第三集合430及第一样本图像的第四集合440。第一样本图像的第一集合410包含各自具有查询图像的第一主体311(例如，人A)但不具有第二主体的图像。第一样本图像的第二集合420包含各自具有查询图像的第二主体(例如，人B)但不具有第一主体的图像。第一样本图像的第三集合430包含具有一群人中的查询图像的第一主体或第二主体的图像。举例来说，从显示区域121的左手侧开始，第一样本图像的第三集合430中的第一图像包含人A及人C，第一样本图像的第三集合430中的第二图像包含人A、人B及人D，且第一样本图像的第三集合430中的第三图像包含人A、人D及人E。另外，第一样本图像的第四集合440包含不含有查询图像的第一或第二主体的图像以探究其它主体是否在查询概念中。举例来说，从显示区域121的左手侧开始，第一样本图像的第四集合440中的第一图像包含人C、人D及人F，第一样本图像的第四集合440中的第二图像包含人D，且第一样本图像的第四集合440中的第三图像包含人E。
在示范性实施例中，从第一样本图像的第一集合410的存储图像采样具有第一主体311的四个图像。从第一样本图像的第二集合420的存储图像采样具有第二主体313的两个图像。从第一样本图像的第三集合430的存储图像采样具有第一及第二主体311、313两者的三个图像。另外，从第一样本图像的第四集合440的存储图像采样具有第一或第二主体311、313的三个图像。在示范性实施例中，处理器110将分析查询图像以根据所提取的内容信息确定第一主体或第二主体在查询概念中的可能性。举例来说，可确定由查询图像内的第一及第二主体中的每一个占据的区域。可经由从元数据提取的面部特征来确定由第一主体及第二主体占据的区域。返回参看图3，与由第二主体313的面部所占据的区域相比较，第一主体311的面部可占据查询图像310显示区域的较高百分比。举例来说，第一主体311的面部可占据查询图像310显示区域的20％，且第二主体313的面部可占据查询图像310显示区域的10％。因此，处理器110可确定与第二主体313相比较，第一主体311具有在查询概念中的较高可能性。因此，在示范性实施例中，根据查询图像的面部特征从第一主体存储图像中采样更多与第一主体311相关的图像。然而，本发明并不意欲基于所占据区域的百分比限制针对第一样本图像的每一集合所采样的图像数目。针对第一样本图像的每一集合所采样的图像数目可根据任何设计需求来配置。在示范性实施例中的一个中，可获得更多查询图像。在此状况下，针对第一样本图像的每一集合采样的图像数目可基于所获得的查询图像内的每一主体的出现次数来确定。
返回参看图4，如果选择第一样本图像的第一集合410内的图像，那么第一主体包含在查询概念中的可能性将增加。如果选择第一样本图像的第二集合420内的图像，那么第二主体包含在查询概念中的可能性将增加。如果选择第一样本图像的第三集合430内的图像，那么图像包含涉及第一主体或第二主体的一群主体的可能性将增加。如果选择第一样本图像的第四集合440内的图像，那么除第一或第二主体之外的主体包含在查询概念中的可能性将增加。
应注意，可出现第一样本图像的第一、第二、第三和第四集合410、420、430、440之间的各种组合，且处理器110将根据选定图像的内容信息学习查询概念。举例来说，可选择第一样本图像的第一集合410内的第一图像411。查询概念可经推断为仅第一主体(例如，第一主体的单独拍摄)。在示范性实施例中，可选择来自第一样本图像的第一及第三集合的图像。在此状况下，查询概念可经推断为在群摄图像内的第一主体。基于选定图像的其它组合学习的查询概念可从上文所说明的实例推断出，本发明并不意欲限制本发明的范围。
在示范性实施例中的一个中，选定图像将被标记为肯定例子，且未被选择的图像中的每一个将被标记为否定例子。详细地说，肯定例子代表图像包含在所学习的查询概念中，且否定例子代表图像不包含在所学习的查询概念中。
此外，查询概念的学习为根据从先前迭代的第一样本图像的集合获得的第一选定图像的内容信息从存储图像中迭代地采样第一样本图像的另一集合以便学习查询概念的迭代过程。此外，从查询概念的学习的迭代中的每一个积聚第一选定图像。举例来说，经获得以用于学习查询概念的第一选定图像将总共涉及从第一迭代获得的至少一个第一选定图像、从第二迭代获得的至少一个第一选定图像等。换句话说，第一选定图像将包含在基于内容信息学习查询概念的迭代中选择的所有图像。
在本发明的示范性实施例中的一个中，可从未标记的存储图像中采样迭代中的每一个的第一样本图像的集合。换句话说，第一样本图像的集合为并未标记为肯定或否定例子的图像。然而，本发明并不限于此。选定图像可再次存在于以下迭代中。
在示范性实施例中，基于内容信息学习查询概念的迭代可继续直到第一选定图像的数目超过第一预定阈值为止。第一预定阈值可根据设计需求来配置，且本发明并不意欲限制第一预定阈值的范围。
通过说明第一及第二主体(如人)来解释上文实施例，然而，本发明并不限于此。在实施例中的一个中，第一主体或第二主体可为场景，例如城市场景、郊区场景、乡村场景、海洋场景、有山或湖的风景等。查询图像或第一选定图像的场景可经由例如形状、颜色或纹理等内容信息来确定。因此，应注意，也可基于内容信息学习作为场景的查询概念。
在第一选定图像的数目超过第一预定阈值之后，处理器110将基于第一选定图像的情境信息进一步优化查询概念。返回参看图2，在步骤S230中，基于第一选定图像的情境信息，处理器110可从存储图像中采样多个第二样本图像以用于相关性反馈，进而基于情境信息进一步优化查询概念。
详细地说，处理器110将从元数据提取第一选定图像的情境信息，例如时间信息、位置信息等。时间信息包含时间、日期及年份信息。根据情境信息，处理器110将从存储图像中采样第二样本图像。可从未标记的存储图像的池中采样第二样本图像，以经由相关性反馈最大化信息收集。换句话说，第二样本图像将包含尚未标记为肯定或否定例子的那些存储图像。然而，本发明并不意欲限于此。在示范性实施例中的一个中，标记的存储图像可基于情境信息来采样。
在本发明的示范性实施例中的一个中，基于从元数据提取的时间信息进一步优化基于内容信息获得的查询概念。详细地说，处理器110将从第一选定图像及查询图像中的每一个的元数据中提取例如时间、日期及年份信息等时间(即，上下文情境)信息。接着，处理器110将基于所提取的时间、日期及年份信息从存储图像中采样第二样本图像。处理器110可分析第一选定图像及查询图像的时间信息以确定在第一选定图像与查询图像之间是否存在时间、日期或年份信息方面的类似性或模式。举例来说，处理器110可发现选定图像(例如，第一选定图像及查询图像)的时间戳在一年中的特定日期的时间段(例如，若干小时)内。也就是说，所述年份中的所述特定日期的时间段在查询概念中的可能性的权重高于其它时间段、其它日期或其它年份。因此，处理器110可基于所述年份的所述特定日期的发现的时间段从存储图像中采样第二样本图像以用于相关性反馈。在示范性实施例中，还为了相关性反馈采样具有指示其它时间段的时间戳的图像或具有指示不同日期或年份的发现的时间段的时间戳的图像，以探究查询概念。
返回参看图4，经由相关性反馈将第一样本图像的第一集合410中的第一图像411、第二图像413及第三图像415及第一样本图像的第三集合430中的第四图像431选择为第一选定图像。在示范性实施例中，基于上下文情境信息进一步分析第一选定图像411、413、415及431。从第一选定图像中的每一个的元数据中提取第一选定图像411、413、415、431及查询图像310的时间信息，以辨认确定是否存在时间、日期或年份方面的类似性或模式。举例来说，第一图像411可具有象征指示在2013年12月30日的上午9点俘获第一图像411的时间戳。第二图像413可具有象征指示在2013年12月30日的下午5点俘获第二图像413的时间戳。第三图像415可具有象征指示在2014年1月1日的上午10点俘获第三图像415的时间戳。另外，第四图像431可具有象征指示在2013年12月30日的上午9点10分俘获第四图像431的时间戳。在此实例中可基于第一选定图像来识别2013年12月30日与2014年1月1日之间的时间段，且可从存储图像中采样具有识别的时间段之间的时间戳的图像，以基于时间信息优化查询概念。
图5为根据本发明的示范性实施例中的一个说明基于第一样本图像及查询图像的时间信息从存储图像采样的多个第二图像的示意图。应注意，虽然出于说明的容易起见以参考编号来呈现图5中第二样本图像中的每一个，但其并不意欲限制本发明。第二样本图像中的每一个可被看作具有背景、主体等的图像。
参看图5，多个第二样本图像1到12显示在电子装置100的显示区域121上。第二样本图像1到12将包含第二样本图像的第一集合510、第二样本图像的第二集合520及第二样本图像的第三集合530。在示范性实施例中，第二样本图像的第一集合510可包含具有类似于第一选定图像的俘获时间的时间戳的四个图像1到4。举例来说，图像1可有2013年12月30日上午11点的时间戳。图像2可具有2013年12月30日上午10点30分的时间戳。图像3可具有2014年12月30日的下午8点的时间戳。另外，图像4可具有2014年1月1日的下午3点的时间戳。
第二样本图像的第二集合520可包含两个图像5到6(其具有在第一选定图像的识别的时间段内的在2013年12月31日的俘获时间)，以便进一步探究识别的时间段之间的其它时间是否包含在查询概念中。2013年12月30日上午11点。举例来说，图像5可有2013年12月31日上午10点的时间戳。另外，图像6可具有2013年12月31日下午5点的时间戳。
第二样本图像的第三集合530可包含六个图像7到12(其具有在2013年12月30日与2014年1月1日之间的识别的时间段之外的俘获时间)，以便进一步探究查询概念的情境。举例来说，图像7可有2014年1月4日下午12点的时间戳。图像8可具有2014年1月7日下午3点的时间戳。图像9可具有2013年12月25日上午8点的时间戳。图像10可具有2012年1月1日下午7点的时间戳。图像11可具有2013年12月28日下午1点的时间戳。另外，图像12可具有2013年12月29日下午3点的时间戳。
应注意，上文所说明的第二样本图像的日期和时间是出于说明的目的，本发明并不限于此。基于情境信息的时间信息的第二样本图像的采样策略可根据设计需求来设计。
应注意，第二样本图像的第三集合530可包含在识别的时间段之前或之后的一天或若干天俘获的图像7到12，以确定查询概念是否为年代事件。此外，也可从存储图像中采样从其它年份但在识别的日期的识别的时间段内俘获的图像，以便确认查询概念是否包含在不同年份发生的每年递归事件。举例来说，可为了相关性反馈采样具有2012年1月1日的时间戳的图像10以探究查询概念是否为每年事件。然而，示范性实施例并不意欲限制本发明。在本发明的实施例中的一个中，可采样在不同月份但在相同日期俘获的图像，以便确定查询概念是否为在不同月份的相同日期发生的每月事件。
在示范性实施例中，在2013年12月30日的早上采样更多图像(即，图像1及2)，因为第一选定图像当中的第一图像411及第四图像431是在2013年12月30日的早晨俘获的，其2013年12月30日的早上(即，上午)的权重与其它时间段相比较是较高的。换句话说，2013年12月30日的早上在查询概念中的可能性相对于其它时间段较高。
在示范性实施例中，选择在第二样本图像的第一及第二集合510、520内的图像1到6。另外，还选择第二样本图像的第三集合530中的图像7、图像11及图像12。选定图像经识别为第二选定图像。因此，可基于第二选定图像的时间信息优化查询概念。举例来说，基于示范性实施例的第二选定图像(例如，图像1到7、11、12)，包含在查询概念中的时间段将经推断为在2013年12月28日与2014年1月4日之间的时间段。归因于第二选定图像7、11的时间戳，基于第一选定图像识别的时间段可扩展到由第二选定图像中的选定图像7、11指示的时间戳。详细地说，在2013年12月30日与2014年1月1日之间的识别的时间段可扩展到作为下部边界的2013年12月28日(从选定图像11提取)及作为上部边界的2014年1月4日(从选定图像7提取)。
在示范性实施例中，具有2013年1月1日下午7点的时间戳的图像10并未被选择为第二选定图像。因为具有2012年的时间戳的影像10并未被选择，所以查询概念为每年事件的可能性将降低。
在本发明的示范性实施例中的一个中，并未选择具有2014年1月7日的俘获时间的图像及具有2013年12月25日的俘获时间的图像，且其可推断查询概念不包含在2014年1月7日及2013年12月25日或除了2014年1月7日及2013年12月25日之外的任何日期。
在本发明的示范性实施例中的一个中，基于时间信息优化查询概念可为迭代过程，所述迭代过程根据从获得自先前迭代的第二样本图像的集合获得的第二选定图像的情境信息，从存储图像中迭代地采样第二样本图像的不同集合，以便基于时间信息优化查询概念。举例来说，在选择第二选定图像1到7、11到12之后，可选择刷新选项450以采样第二样本图像的另一集合以用于进一步优化查询概念。在实施例中的一个，可基于查询图像310、第一选定图像411、413、415、431及第二选定图像1到7、11到12的时间信息，从未标记的存储图像采样第二样本图像的另一集合。
应注意，迭代中的每一个的第二样本图像的集合为从存储图像中采样。换句话说，第二样本图像的集合可为未被标记为肯定或否定例子的图像。此外，从优化查询概念的迭代中的每一个中积聚第二选定图像。举例来说，经获得以用于优化查询概念的第二选定图像将总共涉及从第一迭代获得的第二选定图像、第二迭代获得的第二选定图像等。换句话说，第二选定图像将包含在基于情境信息优化查询概念的迭代中所选择的所有第二选定图像。
在示范性实施例中，基于情境信息优化查询概念的迭代可继续直到第二选定图像的数目超过第二预定阈值或结束请求为止。第二预定阈值可根据设计需求来配置，且本发明并不意欲限制第二预定阈值的范围。此外，可作出结束请求以指示基于情境信息优化查询概念的完成。举例来说，可选择结束选项460以指示查询概念的优化的完成。在示范性实施例中，结束选项460还可包含显示已经经由相关性反馈选择的选定图像的总数的字段461。
如上文所论述，图像的情境信息还包含位置信息。在本发明的示范性实施例中的一个中，可基于指示其中俘获图像的位置的位置信息优化查询概念。举例来说，参看图4，第一选定图像411、413、415、431及查询图像310包含在华盛顿及纽约市俘获的图像。基于第一选定图像411、413、415、431及查询图像310的位置信息，可从存储图像中采样多个第二样本图像21到30以用于相关性反馈。
图6为说明根据本发明的示范性实施例中的一个的基于第一选定图像411、413、415、431及查询图像310的位置信息从存储图像采样的多个第二样本图像21到30的示意图。举例来说，第二样本图像21中的第一图像可具有与美国纽约市相关联的位置信息。第二样本图像22中的第二图像可具有与美国的华盛顿相关联的位置信息。第二样本图像23中的第三图像可具有与美国的费城相关联的位置信息。第二样本图像24中的第四图像可具有与美国的芝加哥相关联的位置信息。第二样本图像25中的第五图像可具有与加拿大的多伦多相关联的位置信息。第二样本图像26中的第六图像可具有与美国的波士顿相关联的位置信息。第二样本图像27中的第七图像可具有与日本的东京相关联的位置信息。第二样本图像28中的第八图像可具有与中国台湾的台北相关联的位置信息。第二样本图像29中的第九图像可具有与美国的巴尔的摩相关联的位置信息。另外，第二样本图像30中的第十图像可具有与英国的伦敦相关联的位置信息。应注意，出于说明的目的，图6的第二样本图像21到30中的每一个由其参考编号说明以象征其之间的差异。第二样本图像21到30中的每一个可被看作具有背景、主体等的图像。
参看图6，第二样本图像21到30将包含第二样本图像的第一集合610、第二样本图像的第二集合620及第二样本图像的第三集合630。举例来说，第二样本图像的第一集合610可包含两个图像21、22，所述两个图像具有与第一选定图像411、413、415、431及查询图像310相关联的位置信息。第二样本图像的第二集合620可包含五个图像23、24、25、26、29，所述五个图像具有在第一选定图像411、413、415、431及查询图像310的位置附近的位置信息。第二样本图像的第三集合630可包含具有其它位置信息的更多图像27、28、30，以便进一步探究查询概念的情境信息。应注意，上文所说明的第二样本图像21到30的位置是出于说明的目的，本发明并不限于此。基于情境信息的位置信息的采样策略可根据设计需求来设计。
在示范性实施例中，经由相关性反馈将在第二样本图像的第一集合610内的第一及第二图像21、22以及包含在第二样本图像的第二集合620中的第三图像26、第六图像26及第九图像29选择为第二选定图像21、22、23、26、29。详细地说，在第二样本图像的第一集合610内的第一及第二图像21、22与美国华盛顿及纽约市相关联。第二样本图像的第二集合620中的第三图像26与美国费城相关联。第二样本图像的第二集合620中的第六图像26与美国波士顿相关联。第二样本图像的第二集合630中的第九图像29与美国巴尔的摩相关联。基于第二选定图像21、22、23、26、29，处理器110可推断查询概念的情境信息可包含美国的华盛顿、巴尔的摩、费城、纽约市及波士顿。举例来说，查询概念可经推断为第一主体311(例如，人A)到美国东北部的旅行。在本发明的示范性实施例中的一个中，处理器110可根据第二选定图像21、22、23、26、29的位置信息从存储图像中采样更多第二样本图像，以进一步优化查询概念的位置信息。
在本发明的示范性实施例中的一个中，基于位置信息优化查询概念可为迭代过程，所述迭代过程根据从先前迭代的第二样本图像的集合获得的第二选定图像的情境信息从存储图像中迭代地采样第二样本图像的不同集合，以便基于情境信息优化查询概念。举例来说，在选择第二选定图像21、22、23、26、29之后，可选择刷新选项650以采样第二样本图像的另一集合以用于进一步优化查询概念。可根据从查询图像310、第一选定图像411、413、415、431及第二选定图像21、22、23、26、29提取的位置信息从存储图像中采样第二样本图像的另一集合。
应注意，从优化查询概念的迭代中的每一个中积聚第二选定图像。举例来说，经获得以用于优化查询概念的第二选定图像将总共涉及从第一迭代获得的第二选定图像、第二迭代获得的第二选定图像的集合等。换句话说，第二选定图像将包含基于情境信息优化查询概念的迭代中所选择的所有图像。
在示范性实施例中的一个中，从未标记的存储图像中采样迭代中的每一个的第二样本图像的集合。换句话说，第一样本图像的集合可为未被标记为肯定或否定例子的图像。
在示范性实施例中，基于情境信息优化查询概念的迭代可继续直到第二选定图像的数目超过第二预定阈值或结束请求为止。第二预定阈值可根据设计需求来配置，且本发明并不意欲限制第一预定阈值的范围。此外，可作出结束请求以指示基于情境信息优化查询概念的完成。举例来说，可选择结束选项460以指示优化查询概念的完成。
尽管在上文示范性实施例中分别基于时间信息及位置信息优化查询概念，但本发明并不限于此。在本发明的示范性实施例中的一个中，可连续基于时间信息及位置信息优化查询概念。举例来说，可基于时间信息采样多个第二采样图像，以在优化查询概念的第一迭代中经由相关性反馈获得第二选定图像。除了时间信息之外，可通过考虑在优化查询概念的第一迭代中获得的第一选定图像及第二选定图像的位置信息来采样第二样本图像的另一集合。应注意，本发明不限于首先基于时间信息优化查询概念。在本发明的示范性实施例中的一个中，可基于位置信息及接着时间信息优化查询概念。在另一示范性实施例中，可通过互换时间信息及位置信息来优化查询概念，作为用于从存储图像采样第二样本图像的准则。
举例来说，在示范性实施例中，可首先经由相关性反馈基于查询图像的内容信息学习及基于查询图像及第一选定图像(例如，经选择以用于识别查询概念的内容的图像)的情境信息优化查询概念。举例来说，基于图3到6中所说明的示范性实施例，查询概念可为“人A在2013年12月28日与2014年1月4日之间的美国东北部旅行”，其中人A基于查询图像311及第一选定图像411、413、415、431的内容信息进行学习，且在2013年12月28日与2014年1月4日之间的美国东北部旅行可基于查询图像311、第一选定图像411、413、415、431及第二选定图像1到7、11、12、21、22、23、26、29的情境信息进行学习。
在优化查询概念完成之后，可搜索存储图像当中的多个相关图像且将其分组到珍藏相册中。返回参看图2，在步骤S240中，根据优化的查询概念(包含内容及情境)在存储图像当中搜索相关图像，且接着可将相关图像分组到珍藏相册中。在本发明的示范性实施例中，处理器110可在触摸屏120上显示基于查询概念搜索的所有相关图像。图7为说明根据本发明的示范性实施例中的一个的相关图像的显示的示意图。
参看图7，触摸屏120将显示可容纳在触摸屏120的显示区域121中的相关图像，且可通过向上/向下滚动或切换页面来检视相关图像的其它部分。显示区域121还可包含在保存选项750内的字段751，其显示经由基于优化的查询概念的相关性搜索获得的相关图像的总数。可选定保存选项750(例如，按压显示保存选项750的触摸屏的区域)以将相关图像保存在珍藏相册中。
在示范性实施例中的一个中，可在检视相关图像时发现相关图像的错匹配。也就是说，错匹配的相关图像中的主体(例如，人或场景)可被错认为相关图像。因此，在发现错匹配时，可从列表移除错匹配的相关图像。在示范性实施例中的一个中，可通过从表示识别的人的面部表示的列表移除对应于错匹配的相关的面部表示来更新人脸数据库。
图8及9为说明根据本发明的示范性实施例中的一个的将相关图像分组到珍藏相册中的示意图。参看图8，在选择保存选项750之后，可提示用户***珍藏相册的标题。参看图9，显示智能相册，其列出了保存的珍藏相册。在示范性实施例中，可将对应于美国东北部旅行的相关图像分组在一起，其可通过选择表示图9中所说明的美国东北部旅行910的图标来再次检视。
在示范性实施例中的一个中，新近从图像俘获装置(未图示)或其它电子装置(未图示)获得的图像可自动识别为对应于查询概念的新相关图像。新近获得的图像可被自动分组到与查询概念相关联的现有珍藏相册中。
在下文中，说明本发明的各种示范性实施例以进一步阐述用于经由主动学习搜索多个相关图像的设备及其方法。
本发明还包含允许用户经由主动学习搜索及分组多个相关图像的用户界面。图10到14为说明根据本发明的示范性实施例中的一个搜索及分组对应于小孩J的生日的多个相关图像的示意图。图10中所说明的示范性实施例又呈现了相关于主动学习搜索的用户界面。
触摸屏120可显示多个初始图像以请求用户的相关性反馈。参看图10，三个图像1011、1012、1013可呈现在显示区域121中。三个图像1011、1012、1013中的任一个或全部可由用户选择，以起始经由主动学习来搜索相关图像。举例来说，将显示在电子装置100的显示区域121中的第一图像1011、第二图像1012及第三图像1013选择为查询图像。在示范性实施例中，小孩J(即，第一主体)根据从第一图像1011的元数据提取的内容信息(例如，面部特征)在第一图像1011中与其它两个人(例如，第二主体及第三主体)一起被识别。根据从第二及第三图像1012、1013的元数据提取的内容信息(例如，面部特征)，小孩J在第二图像1012中与其它三个人(例如，第二及第三主体以及第四主体)一起被识别及在第三图像1013中与其它两个人(例如，第二及第三主体)一起被识别。
参看图11，可显示多个样本图像1011到1013，1111到1119(也被称作第一样本图像)以学习用户的查询概念。在示范性实施例中，查询概念可包含内容准则及情境准则。处理器110可基于查询图像的内容信息(例如，识别的四个人的面部特征)采样第一样本图像(例如，图像1011到1013，1111到1119)。
在示范性实施例中，相较于查询图像中所识别的第二、第三及第四主体相，处理器110可推测小孩J具有较高可能性为查询概念的内容准则中的。因此，第一样本图像可包含具有小孩J的各种图像以探究查询概念的内容准则。举例来说，采样具有小孩J的单独拍摄及群摄以探究用户是否关注于小孩J、其它识别的主体或一群人。然而，本发明不限于上文所说明的特定采样策略。
接着，处理器110可在显示区域121中显示第一样本图像(例如，图像1011、1012、1013及1111到1119)以用于相关性反馈，且可经由相关性反馈从第一样本图像获得至少一个第一选定图像(例如，图像1011、1012、1013、1111到1116)。
在经由相关性反馈获得至少一个第一选定图像(例如，图像1011、1012、1013、1111到1116)之后，处理器110可分析从至少一个第一选定图像(例如，图像1011、1012、1013、1111到1116)提取的内容信息，及发现小孩J出现在包含小孩J的单独拍摄(例如，图像1111)的第一选定图像中的每一个中，因此小孩J为查询概念的内容准则的可能性很高。因此，基于对应于小孩J的内容信息，学习查询概念的内容准则。此时，用户可选择刷新选项450以显示第一样本图像的另一集合，从而进一步定义基于第一选定图像的查询概念的内容准则。详细地说，处理器110可基于从先前迭代所获得的第一选定图像的内容信息，迭代地显示第一样本图像的不同集合。另一方面，用户可选择结束选项460以代表识别查询概念的内容准则的完成。
在用户已指示学习查询概念的内容准则之后，处理器110可分析第一选定图像(例如，图像1011、1012、1013、1111到1116)的情境信息以确定第一选定图像(例如，1011、1012、1013、1111到1116)在时间或位置方面的类似性。在示范性实施例中，处理器110可基于从元数据提取的第一选定图像中的每一个的时间信息学习到第一选定图像(例如，1011、1012、1013、1111到1116)与在相同日期但不同年份发生的事件有关。参看图11，基于时间信息(例如，时间、日期及年份)，第一选定图像(例如，1011、1012、1013、1111到1116)为在小孩J1071的不同年份的生日所俘获的图像。举例来说，在图11中所说明的第一选定图像(例如，1011、1012、1013、1111到1116)内，图像1011到1013、1111为小孩J在2014年的生日所俘获图像，图像1112、1113为小孩J在2013年的生日所俘获图像，图像1115、1116为小孩J在2012年的生日所俘获图像，及图像1114为小孩J在2011年的生日所俘获图像。在示范性实施例中，处理器110最初可推断查询概念的情境准则为小孩J在不同年份出现的生日，例如，查询概念的情境准则可被推测为2011年到2014年的生日有关。
接下来，处理器110可根据最初基于第一选定图像学习的查询概念的情境准则显示多个第二样本图像，以优化查询概念的情境准则。参看图12，显示第二样本图像以用于相关性反馈。应注意，处理器110从存储图像中自动采样第二样本图像中的图像1211，其中图像1211为小孩J在2011年到2014年之外的年份的生日有关。在示范性实施例中，所有显示在图12中的图像都被选择与小孩J的生日相关。
在示范性实施例中，将图12中所说明的第二样本图像(例如，1011、1012、1013、1111到1116、1117、1211)选择为第二选定图像(例如，1011、1012、1013、1111到1116)。因此，基于第二选定图像(例如，1011、1012、1013、1111到1116)优化查询概念的情境准则。举例来说，在获得第二选定图像之后，可将查询概念的情境准则优化为小孩J在每一年份的生日，因为第一及第二选定图像包含在出现在各种年份(例如，2010年到2014年)的小孩J的生日所俘获的图像。
在本发明的示范性实施例中的一个中，处理器110可进一步显示查询信息，所述查询信息用以询问用户以优化查询概念的情境准则。举例来说，处理器110可询问用户以确定是否查询与小孩J的生日有关的所有图像或与小孩J在2014年的生日有关的图像。应注意，自动显示2014年作为查询消息，因为图11中所说明的第一选定图像中的四个具有2014年的时间信息的图像，其2014年与其它年份俘获的图像相比较具有较高权重。在示范性实施例中的一个中，查询信息还可包含将显示所有识别的年份以请求用户进行选择的选项。然后，处理器110可基于用户选择更新查询的情境准则。
参看图12，可选择保存选项750以将第二选定图像保存在珍藏相册中。在示范性实施例中，在显示区域121中采样及显示在存储图像当中的满足查询概念的内容准则及情境准则的所有图像。因此，为用户显示保存选项750以指示查询概念的主动学习的完成。然而，本发明并不限于此。在其它示范性实施例中，可显示刷新选项450以用于进一步优化查询概念的情境准则。举例来说，在选择第二选定图像之后，可选择刷新选项450。在选择刷新选项450时，可根据第二选定图像(例如，1011、1012、1013、1111到1116、1117、1211)的情境信息从存储图像采样第二样本图像的另一集合，以使得可经由相关性反馈基于时间或位置进一步优化查询概念的情境准则。在其它示范性实施例中，可基于第二选定图像(例如，1011、1012、1013、1111到1116、1117、1211)的内容信息优化查询概念以进一步探究查询概念的内容准则。
参照图13，在选择保存选项750之后，可提示用户***珍藏相册的标题。参照图14，显示智能相册，其列出了保存的珍藏相册。在示范性实施例中，可将对应于小孩J的生日的相关影像分组在一起，其可通过选择表示图14中所示的儿子的生日聚会的图示1410来再次检视。由于查询概念为每年小孩J的生日，所以新取得并符合查询概念的影像将自动的被分组至对应小孩J的生日智慧相册。
图15为说明根据本发明的示范性实施例中的一个的用于经由主动学习搜索相关图像的用户界面的方法的流程图。
参看图15，在步骤S1510中，显示至少一个图像。
在步骤S1520中，经由相关性反馈获得所显示图像当中的至少一个查询图像，其中至少一个查询图像包含第一主体及第二主体。
在步骤S1530中，根据至少一个查询图像的内容信息显示用于相关性反馈的多个第一样本图像。第一样本图像包括：具有第一主体的第一图像、具有第二主体的第二图像及具有第一及第二主体的第三图像。
在步骤S1540中，获得第一样本图像当中的至少一个第一选定图像，以基于至少一个第一选定图像的内容信息，学习查询概念。
在步骤S1550中，在基于至少一个第一选定图像的内容信息学习查询概念之后，根据至少一个第一选定图像的情境信息，显示多个第二样本图像。
在步骤S1560中，获得至少一个第二选定图像，以基于至少一个第一选定图像及至少一个第二选定图像的情境信息优化查询概念。
在步骤S1570中，根据查询概念显示多个相关图像。
综上所述，本发明提供适用于电子装置的用于经由主动学习搜索多个相关图像的方法及用户界面。在本发明中，可搜索存储图像当中的多个相关图像且将其分组到珍藏相册中。详细地说，可基于查询图像的内容信息学习查询概念，及接着，基于内容信息中的查询图像及与查询图像相关联的至少一个选定图像的情境信息，优化所述查询概念。接着，根据优化查询概念(包含内容及情境)在存储图像当中搜索相关图像，及接着可将相关图像分组到珍藏相册中。
本领域技术人员将明白，在不脱离本发明的范围或精神的情况下，可对所揭示实施例的结构进行各种修改和变化。鉴于以上内容，希望本发明涵盖本发明的修改和变化，只要所述修改和变化落入所附权利要求书和其等效物的范围内。
相关申请案的交叉参考
本申请案主张2013年12月30日申请的第61/921，539号美国临时申请案的优先权权益。以上所提到的专利申请案的全部内容特此以引用的方式并入本文中，且成为说明书的一部分。

Claims (22)

1.一种经由主动学习搜索相关图像的方法，其适用于包括多个存储图像的移动电子装置，所述方法包括：
获得包括第一主体及第二主体的查询图像；
通过根据所述查询图像的内容信息从所述存储图像中采样多个第一样本图像，并提供所述多个第一样本图像以请求用户选择所述多个第一样本图像中的至少一个图像以用于相关性反馈，进而基于所述内容信息学习查询概念，并从所述相关性反馈获得至少一个第一选定图像以及根据所述第一选定图像的所述内容信息学习所述查询概念，其中所述第一样本图像包括具有所述第一主体的至少一个图像、具有所述第二主体的至少一个图像及具有所述第一及第二主体两者的至少一个图像；以及
根据所述查询概念搜索所述存储图像当中的所述相关图像，及将所述相关图像分组到珍藏相册中。
2.根据权利要求1所述的方法，其特征在于基于所述内容信息学习所述查询概念进一步包括：
根据从先前迭代的相关性反馈所采样的所述第一样本图像的集合中所获得的所述至少一个第一选定图像的内容信息，从所述存储图像中迭代地采样第一样本图像的另一集合；以及
根据从每一迭代的相关性反馈所采样的所述第一样本图像中获得的所述第一选定图像的所述内容信息，学习所述查询概念。
3.根据权利要求2所述的方法，其特征在于根据通过迭代地采样所述第一样本图像的另一集合所获得的所述第一选定图像的所述内容信息来学习所述查询概念，直到所述第一选定图像的数目超过第一预定值为止，其中根据从所述先前迭代的所述第一样本图像获得的所述第一选定图像的所述内容信息，采样所述第一样本图像的所述集合。
4.根据权利要求1所述的方法，其进一步包括：
通过根据所述第一选定图像的情境信息从所述存储图像中采样用于相关性反馈的多个第二样本图像，根据所述第一样本图像当中的多个第一选定图像的情境信息优化所述查询概念。
5.根据权利要求4所述的方法，其特征在于基于所述情境信息优化所述查询概念进一步包括：
从所述第二样本图像的所述相关性反馈获得至少一个第二选定图像；
根据从先前迭代的所述第二样本图像的集合获得的所述至少一个第二选定图像的情境信息，从所述存储图像中迭代地采样第二样本图像的另一集合；以及
根据从每一迭代的相关性反馈所采样的所述第二样本图像中获得的所述第二选定图像的所述情境信息，优化所述查询概念。
6.根据权利要求4所述的方法，其特征在于所述情境信息包括具有时间、日期、年份信息的时间信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述时间信息优化所述查询概念。
7.根据权利要求4所述的方法，其特征在于所述情境信息包括位置信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述位置信息优化所述查询概念。
8.根据权利要求4所述的方法，其特征在于所述情境信息包括时间信息及位置信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述时间信息及位置信息优化所述查询概念。
9.一种电子装置，其包括：
显示单元；
存储装置，其存储多个存储图像；以及
处理器，其经配置以用于：
获得包括第一主体及第二主体的查询图像；
通过根据所述查询图像的内容信息从所述存储图像中采样多个第一样本图像，并提供所述多个第一样本图像以请求用户选择所述多个第一样本图像中的至少一个图像以用于相关性反馈，进而基于所述查询图像的内容信息学习查询概念，并从所述相关性反馈获得至少一个第一选定图像以及根据所述第一选定图像的所述内容信息学习所述查询概念，其中所述第一样本图像包括具有所述第一主体的至少一个图像、具有所述第二主体的至少一个图像及具有所述第一及第二主体两者的至少一个图像；以及
根据所述查询概念搜索所述存储图像当中的所述相关图像，及将所述相关图像分组到珍藏相册中。
10.根据权利要求9所述的电子装置，其特征在于所述处理器经进一步配置以用于：
根据从先前迭代的相关性反馈所采样的所述第一样本图像的集合中所获得的所述至少一个第一选定图像的内容信息，从所述存储图像中迭代地采样第一样本图像的另一集合；以及
根据从每一迭代的相关性反馈所采样的所述第一样本图像中获得的所述第一选定图像的所述内容信息，学习所述查询概念。
11.根据权利要求10所述的电子装置，其特征在于所述处理器经配置以用于根据通过迭代地采样所述第一样本图像的另一集合所获得的所述第一选定图像的所述内容信息来学习所述查询概念，直到所述第一选定图像的数目超过第一预定值为止，其中根据从所述先前所述第一样本图像的迭代获得的所述第一选定图像的所述内容信息，采样所述第一样本图像的所述集合。
12.根据权利要求9所述的电子装置，其特征在于所述处理器经进一步配置以用于：
通过根据所述第一选定图像的情境信息从所述存储图像中采样用于相关性反馈的多个第二样本图像，根据所述第一样本图像当中的多个第一选定图像的情境信息优化所述查询概念。
13.根据权利要求12所述的电子装置，其特征在于所述处理器经进一步配置以用于：
从所述第二样本图像的所述相关性反馈获得至少一个第二选定图像；
根据从先前迭代的相关性反馈所采样的第二样本图像的集合中所获得的所述至少一个第二选定图像的情境信息，从所述存储图像中迭代地采样第二样本图像的另一集合；以及
根据从每一迭代的相关性反馈所采样的所述第二样本图像获得的所述第二选定图像的所述情境信息，优化所述查询概念。
14.根据权利要求12所述的电子装置，其特征在于所述情境信息包括时间、日期、年份信息的时间信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述时间信息优化所述查询概念。
15.根据权利要求12所述的电子装置，其特征在于所述情境信息包括位置信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述位置信息优化所述查询概念。
16.根据权利要求12所述的电子装置，其特征在于所述情境信息包括时间信息及位置信息，且根据所述查询图像及所述第二样本图像当中的至少一个第二选定图像的所述时间信息及位置信息优化所述查询概念。
17.一种用于经由主动学习搜索相关图像的用户界面的方法，所述用户界面适用于包括显示单元及输入单元的电子装置，所述方法包括：
显示至少一个图像；
经由相关性反馈获得所述所显示的图像当中的至少一个查询图像，其中所述至少一个查询图像包括第一主体及第二主体；
根据所述至少一个查询图像的内容信息显示多个第一样本图像，并提供所述多个第一样本图像以请求用户选择所述多个第一样本图像中的至少一个图像以用于相关性反馈，并从所述相关性反馈获得至少一个第一选定图像以及根据所述第一选定图像的所述内容信息学习所述查询概念，其中所述第一样本图像包括：具有所述第一主体的第一图像、具有所述第二主体的第二图像及具有所述第一及第二主体的第三图像；
获得所述第一样本图像当中的至少一个第一选定图像以根据所述至少一个第一选定图像的内容信息学习查询概念；以及
根据所述查询概念显示多个相关图像。
18.根据权利要求17所述的方法，其进一步包括：
根据先前迭代中获得的所述至少一个第一选定图像的内容信息，迭代地显示用于相关性反馈所述第一样本图像的另一集合，直到所述第一选定图像的数目超过第一预定值为止。
19.根据权利要求17所述的方法，其进一步包括：
在根据所述至少一个第一选定图像的所述内容信息学习所述查询概念之后，根据所述至少一个第一选定图像的情境信息显示多个第二样本图像；
获得至少一个第二选定图像以根据所述至少一个第一选定图像及所述至少一个第二选定图像的所述情境信息优化所述查询概念。
20.根据权利要求19所述的方法，其特征在于所述情境信息包括时间信息、日期信息及年份信息，所述所显示的第二样本图像包括具有不同年份信息的图像。
21.根据权利要求19所述的方法，其特征在于所述情境信息包括位置信息。
22.根据权利要求19所述的方法，其进一步包括：
根据先前迭代中所获得的至少一个第二选定图像的情境信息，迭代地显示用于相关性反馈的所述第二样本图像的另一集合。
CN201410840292.XA 2013-12-30 2014-12-30 经由主动学习搜索相关图像的方法及电子装置和用户界面 Active CN104751168B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361921539P 2013-12-30 2013-12-30
US61/921,539 2013-12-30

Publications (2)

Publication Number Publication Date
CN104751168A CN104751168A (zh) 2015-07-01
CN104751168B true CN104751168B (zh) 2019-09-03

Family

ID=53481991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410840292.XA Active CN104751168B (zh) 2013-12-30 2014-12-30 经由主动学习搜索相关图像的方法及电子装置和用户界面

Country Status (3)

Country Link
US (1) US10169702B2 (zh)
CN (1) CN104751168B (zh)
TW (1) TWI550419B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108639B2 (en) * 2014-02-14 2018-10-23 Rakuten, Inc. Display control device, display control device control method, program and information storage medium
US10600060B1 (en) 2014-12-19 2020-03-24 A9.Com, Inc. Predictive analytics from visual data
CN106547744B (zh) * 2015-09-16 2020-11-06 杭州海康威视数字技术股份有限公司 一种图像检索方法及***
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
US9881236B2 (en) 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
KR102436018B1 (ko) * 2018-01-23 2022-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10706577B2 (en) * 2018-03-06 2020-07-07 Fotonation Limited Facial features tracker with advanced training for natural rendering of human faces in real-time
US11216506B1 (en) * 2018-05-17 2022-01-04 Shutterstock, Inc. Image querying to surface undiscovered images
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
US11636391B2 (en) * 2020-03-26 2023-04-25 International Business Machines Corporation Automatic combinatoric feature generation for enhanced machine learning
JP2022080436A (ja) * 2020-11-18 2022-05-30 富士フイルム株式会社 撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271476A (zh) * 2008-04-25 2008-09-24 清华大学 网络图像搜索中基于聚类的相关反馈检索方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6629104B1 (en) * 2000-11-22 2003-09-30 Eastman Kodak Company Method for adding personalized metadata to a collection of digital images
US6748398B2 (en) * 2001-03-30 2004-06-08 Microsoft Corporation Relevance maximizing, iteration minimizing, relevance-feedback, content-based image retrieval (CBIR)
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US7870279B2 (en) * 2002-12-09 2011-01-11 Hrl Laboratories, Llc Method and apparatus for scanning, personalizing, and casting multimedia data streams via a communication network and television
AU2002953384A0 (en) * 2002-12-16 2003-01-09 Canon Kabushiki Kaisha Method and apparatus for image metadata entry
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US9489431B2 (en) * 2005-10-26 2016-11-08 Cortica, Ltd. System and method for distributed search-by-content
US7711145B2 (en) * 2006-01-27 2010-05-04 Eastman Kodak Company Finding images with multiple people or objects
US8024343B2 (en) 2006-04-07 2011-09-20 Eastman Kodak Company Identifying unique objects in multiple image collections
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
TWI403912B (zh) * 2006-06-08 2013-08-01 Univ Nat Chiao Tung 圖像檢索之方法及系統
CN101034415A (zh) 2007-04-11 2007-09-12 财团法人交大思源基金会 物件模式的影像检索***及方法
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
TW200929059A (en) 2007-12-28 2009-07-01 Altek Corp Automated photo management system, automated photo management method, and computer-readable medium storing codes for classifying photos
US20150161175A1 (en) * 2008-02-08 2015-06-11 Google Inc. Alternative image queries
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
GB0818089D0 (en) 2008-10-03 2008-11-05 Eastman Kodak Co Interactive image selection method
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US8392430B2 (en) * 2009-09-23 2013-03-05 Microsoft Corp. Concept-structured image search
EP2402867B1 (en) * 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
US8724908B2 (en) * 2010-09-03 2014-05-13 Adobe Systems Incorporated System and method for labeling a collection of images
US8612441B2 (en) * 2011-02-04 2013-12-17 Kodak Alaris Inc. Identifying particular images from a collection
US8792684B2 (en) * 2011-08-11 2014-07-29 At&T Intellectual Property I, L.P. Method and apparatus for automated analysis and identification of a person in image and video content
US20130055079A1 (en) * 2011-08-29 2013-02-28 Ting-Yee Liao Display device providing individualized feedback
US9075825B2 (en) * 2011-09-26 2015-07-07 The University Of Kansas System and methods of integrating visual features with textual features for image searching
US9171018B2 (en) * 2012-01-17 2015-10-27 Google Inc. System and method for associating images with semantic entities
US20150178321A1 (en) * 2012-04-10 2015-06-25 Google Inc. Image-based 3d model search and retrieval
US20150178786A1 (en) * 2012-12-25 2015-06-25 Catharina A.J. Claessens Pictollage: Image-Based Contextual Advertising Through Programmatically Composed Collages
US9230191B2 (en) * 2013-03-15 2016-01-05 Dropbox, Inc. Presentation and organization of content
US9760803B2 (en) * 2013-05-15 2017-09-12 Google Inc. Associating classifications with images
US9286325B2 (en) * 2013-05-21 2016-03-15 Xerox Corporation Methods and systems for ranking images using semantic and aesthetic models
US9529824B2 (en) * 2013-06-05 2016-12-27 Digitalglobe, Inc. System and method for multi resolution and multi temporal image search
US9330110B2 (en) * 2013-07-17 2016-05-03 Xerox Corporation Image search system and method for personalized photo applications using semantic networks
US9607014B2 (en) * 2013-10-31 2017-03-28 Adobe Systems Incorporated Image tagging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271476A (zh) * 2008-04-25 2008-09-24 清华大学 网络图像搜索中基于聚类的相关反馈检索方法

Also Published As

Publication number Publication date
TW201528013A (zh) 2015-07-16
TWI550419B (zh) 2016-09-21
US10169702B2 (en) 2019-01-01
CN104751168A (zh) 2015-07-01
US20150186425A1 (en) 2015-07-02

Similar Documents

Publication Publication Date Title
CN104751168B (zh) 经由主动学习搜索相关图像的方法及电子装置和用户界面
US11461392B2 (en) Providing relevant cover frame in response to a video search query
WO2017129018A1 (zh) 一种图片处理方法、装置和智能终端
JP2018152094A (ja) 画像ベース検索
US8170343B2 (en) Method and system for searching images with figures and recording medium storing metadata of image
JP5524219B2 (ja) 対話式画像選択方法
US20150363640A1 (en) Automatically organizing images
WO2017067485A1 (zh) 一种图片管理方法、装置及一种终端
CN105243084A (zh) 拍摄图像文件的保存方法和***及其检索方法和***
US10331953B2 (en) Image processing apparatus
WO2016145844A1 (zh) 一种图片排序方法和相应的图片存储显示设备
US20240037142A1 (en) Systems and methods for filtering of computer vision generated tags using natural language processing
US20190034455A1 (en) Dynamic Glyph-Based Search
JP5782035B2 (ja) 情報処理装置、処理方法、コンピュータプログラム及び集積回路
US20170046362A1 (en) Cell observation information processing system, cell observation information processing method, cell observation information processing program, archive section provided for the cell observation information processing system, and apparatuses provided for the cell observation information processing system
US10860885B2 (en) Method and system for management and operation over image in a computing system
KR20160125599A (ko) 감성 이벤트 추출 및 감성 스케치 검색 시스템
CN105324747A (zh) 图像显示方法及***
WO2022261801A1 (en) Method for operating an electronic device to browse a collection of images
WO2023004685A1 (en) Image sharing method and device
WO2022261800A1 (en) Method for operating an electronic device to browse a collection of images
KR101400619B1 (ko) 사진 관리 방법 및 장치
US20200026731A1 (en) Systems and Methods for Archiving and Accessing of Image Content
WO2018076640A1 (zh) 一种信息处理方法和装置
Choel et al. Social Photo Retrieval and Its Application in Smart TV

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant