CN110168530B - 电子设备和操作该电子设备的方法 - Google Patents

电子设备和操作该电子设备的方法 Download PDF

Info

Publication number
CN110168530B
CN110168530B CN201880005869.1A CN201880005869A CN110168530B CN 110168530 B CN110168530 B CN 110168530B CN 201880005869 A CN201880005869 A CN 201880005869A CN 110168530 B CN110168530 B CN 110168530B
Authority
CN
China
Prior art keywords
images
electronic device
model
classification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880005869.1A
Other languages
English (en)
Other versions
CN110168530A (zh
Inventor
姜诚珉
翰兴宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/000069 external-priority patent/WO2018128362A1/en
Publication of CN110168530A publication Critical patent/CN110168530A/zh
Application granted granted Critical
Publication of CN110168530B publication Critical patent/CN110168530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种电子设备包括处理器，其中，处理器被配置为：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的所述深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。该电子设备可使用基于规则的算法或人工智能(AI)算法评估图像的深度特征。当使用AI算法评估图像的深度特征时，该电子设备可使用机器学习、神经网络或深度学习算法等。

Description

电子设备和操作该电子设备的方法
技术领域
本公开总体上涉及电子设备和操作该电子设备的方法，例如，涉及一种能够将多个图像分类成特定群组或者将特定的关键字分配给特定群组的电子设备以及一种操作该电子设备的方法。
此外，本公开涉及使用机器学习算法(诸如深度学习)提供识别和决策的人工智能(AI)***及其应用。
背景技术
随着信息和通信技术以及半导体技术的发展，各种电子设备已经发展成为提供各种多媒体服务的多媒体设备。例如，电子设备提供各种多媒体服务，诸如，信使服务、广播服务、无线互联网服务、相机服务和音乐再现服务。
此外，电子设备提供对图像进分类和搜索的功能。电子设备可通过使用预设的分类标准将用户的图像分类成特定群组，但由于使用设置的分类标准，故不能提供针对用户优化的分类结果。
此外，电子设备可将用户的图像与关键字一起存储，并且提供使用所述关键字的图像搜索功能。然而，在使用关键字的图像搜索期间，只能找到依照由用户分配的关键字而存储的图像，因此用户不得不准确地记住与期望被找到的图像相应的关键字。
此外，近来，人工智能(AI)***被引入到图像处理领域。
AI***是不同于现有的基于规则的智能***的***，在该***中，机器进行自我学习、做决定并且变得智能。AI***的使用越多，识别率就越高并且就能越准确地理解用户的喜好，因此基于深度学习的AI***逐渐替代现有的基于规则的智能***。
AI技术包括机器学习(深度学习)和使用机器学习的元素技术。
机器学习是对输入数据的特征进行自分类并学习的算法技术。元素技术是用于使用诸如深度学习的机器学习算法模拟诸如识别和确定的功能的技术，并且包括语言理解、视觉理解、推理/预测、知识表示或操作控制的技术领域。
可应用AI技术的各种领域如下。语言理解是一种识别人的语言/字符并且应用/处理所述语言/字符的技术，并且包括自然语言处理、机器翻译、会话***、提问与回答或语音识别/合成。视觉理解是一种识别对象的技术，并且包括对象识别、对象追踪、图像搜索、人识别、场景理解、空间理解、图像增强。推理/预测是一种通过确定信息来逻辑地推理和预测信息的技术，并且包括基于知识/概率的推理、最优化预测、基于偏好的计划或推荐。知识表示是一种将经验信息自动化为知识数据的技术，并且包括知识构造(数据产生/分类)或知识管理(数据应用)。操作控制是一种控制车辆的自动驾驶或机器人的运动的技术，并且包括运动控制(导航、避免碰撞、驾驶)或操纵控制(行为控制)。
发明内容
解决方案
提供了能够提取图像的特征、基于所提取的特征将图像分类并基于所提取的特征搜索相似图像的电子设备以及操作所述电子设备的方法。
附图说明
通过以下结合附图的详细描述，本公开的这些和/或其他方面、特征和伴随的优点将会变得清楚并且更容易理解，其中，相同的附图标号表示相同的元素，其中：
图1是示出根据本公开的示例实施例的由电子设备执行的将图像分类的示例方法的示图；
图2是示出根据本公开的示例实施例的对电子设备进行操作的示例方法的流程图；
图3A、图3B和图3C是示出根据本公开的示例实施例的提取图像的深度特征的示例方法的示图；
图4是示出根据本公开的示例实施例的由电子设备使用基于通用数据训练的特征提取模型和分类模型将多个图像分类的示例结果的示图；
图5是示出根据本公开的示例实施例的由电子设备使用被更新的特征提取模型和分类模式将多个图像分类的示例结果的示图；
图6A和图6B是示出根据本公开的示例实施例的使用基于用户数据训练的特征提取模型和分类模型将多个图像分类的示例方法的示图；
图7A是示出根据本公开的示例实施例的服务器和电子设备的示例操作的流程图；
图7B是示出根据本公开的示例实施例的对服务器、第一处理器和第二处理器进行操作的示例方法的流程图；
图7C是示出根据本公开的示例实施例的对服务器、第一处理器、第二处理器和第三处理器进行操作的示例方法的流程图；
图8A是示出根据本公开的示例实施例的对电子设备进行操作的示例方法的流程图；
图8B是示出根据本公开的示例实施例的对在电子设备中包括的第一处理器和第二处理器进行操作的示例方法的流程图；
图8C是示出根据本公开的示例实施例的对在电子设备中包括的第一处理器、第二处理器和第三处理器进行操作的示例方法的流程图；
图9和图10是示出根据本公开的示例实施例的由电子设备执行的搜索图像的示例方法的示图；
图11是示出根据本公开的示例实施例的电子设备的示例配置的框图；
图12是示出根据本公开的示例实施例的示例处理器的框图；
图13是示出根据本公开的示例实施例的示例数据学习单元的框图；
图14是示出根据本公开的示例实施例的示例数据分类单元的框图；
图15是示出根据本公开的示例实施例的电子设备与服务器互相配合一起学习并识别数据的示例的示图；
图16是示出根据本公开的另一示例实施例的电子设备的示例配置的框图。
本发明的最佳实施方式
提供了能够提取图像的特征、基于所提取的特征将所述图像分类并且基于所提取的特征搜索相似图像的电子设备以及操作所述电子设备的方法。
提供了能够在不由用户设置的情况下分配适合于图像的特征的关键字的电子设备以及操作所述电子设备的方法。
其他示例方面在下面的描述中将被部分地阐明，并且部分地将通过该描述显而易见。
根据示例实施例的一示例方面，一种电子设备包括：显示器；存储器，被配置为存储至少一个指令；以及处理器，被配置为运行存储在存储器中的所述至少一个指令以促使电子设备进行以下操作：获得多个图像，使用特征提取模型提取关于所述多个图像的深度特征，使用提取的深度特征和分类模型将所述多个图像分类成特定群组，在显示器上显示分类的结果，使用所述分类的结果确定所述特征提取模型和所述分类模型是否需要被更新，并且基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。
根据另一示例实施例的一示例方面，一种操作电子设备的方法包括：获得多个图像；使用特征提取模型提取关于所述多个图像的深度特征；使用提取的所述深度特征和分类模型将所述多个图像分类成特定群组并且显示分类的结果；使用所述分类的结果确定所述特征提取模型和所述分类模型是否需要被更新；以及基于确定的结果训练并更新所述特征提取模型和所述分类模型中的至少一个模型。
具体实施方式
这里使用的包括描述性术语或技术术语的所有术语应该被理解为具有对本领域的普通技术人员明显的含义。
然而，所述术语根据本领域的普通技术人员的意图、先例或新技术的出现可具有不同的含义。此外，可任意地选择一些术语，并且在这种情况下，在本公开中将对选择的术语的含义进行描述。因此，这里使用的术语必须基于术语的含义以及贯穿本公开的描述被定义。
此外，当部件“包括”或“包含”元件时，除非存在与此相反的特定描述，否则部件还可包括其他元件而不排除其他元件。在以下描述中，诸如“单元”和“模块”的术语指示用于处理至少一个功能或操作的单元，其中，单元和块可被实现为硬件(例如，电路)、固件或软件或者可通过硬件、固件或软件的任何组合被实现。
现将参照附图对本公开的各种示例实施例进行更充分的描述。然而，本公开的示例实施例可以以许多不同的形式实现，并且不应被理解为受限于这里阐明的实施例；相反地，提供这些实施例使得本公开将是彻底且完整的，并且将向本领域的普通技术人员充分地传达本公开的示例实施例的构思。在以下的描述中，由于公知的功能或构造将用不必要的细节模糊本公开的示例实施例，因此公知的功能或构造可能不被详细描述，并且贯穿本说明书，附图中的相同附图标号表示相同或相似的元素。
如这里所使用的，术语“和/或”包括关联列出项中的一项或更多项的任何和全部组合。当诸如“…中的至少一个”的表述在一列元素之后时，所述表述修饰整列元素而不是修饰该列中的单个元素。
图1是示出根据本公开的示例实施例的由电子设备100执行的将图像分类的示例方法的示图。
根据实施例的电子设备100可以以各种形式中的任意一种形式被实现。例如但不限于，可以以诸如移动电话、智能电话、膝上型计算机、桌上型计算机、平板个人计算机(PC)、电子书终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置、MP3播放器、数码相机、摄像机、互联网协议电视(IPTV)、数字电视(DTV)和可穿戴装置(例如，智能手表或智能眼镜)等的各种电子设备中的任意一种来实现电子设备100，但不限于此。
在本公开的实施例中，术语“用户”可指例如控制电子设备的功能或操作的人并且可以是观看者、管理者或者安装工程师。
根据实施例的电子设备100可获得多个图像10。所述多个图像10可包括使用电子设备100捕捉的图像、存储在电子设备100中的图像或者从外部设备接收的图像。
根据实施例的电子设备100可使用特征提取模块20提取所述多个图像10的深度特征。
特征提取模块20可以是例如但不限于基于神经网络的模型。例如，诸如深度神经网络(DNN)、递归神经网络(RNN)或双向递归深度神经网络(BRDNN)的模型可被用作特征提取模型20等，但不限于此。
此外，特征提取模型20最初可以是基于通用数据训练的模型。图像的深度特征可包括通过将图像输入到至少一个神经网络而从所述至少一个神经网络中包括的至少一个层提取的向量。
向量可包括例如图像的特征。图像的特征可包括例如在图像中包括的对象的形状或类型或者捕捉图像的地点。
因此，可将图像和图像的特征(例如，对象的形状、对象的类型、场景识别结果或捕捉地点)用作学习数据来训练特征提取模型20。例如，可通过将幼犬的图像、幼犬的类型和捕捉地点用作学习数据来训练特征提取模型20。此外，可通过将夜景的图像、夜景中包含的建筑的名称和捕捉地点用作学习数据来训练特征提取模型20。因此，当图像被输入时，电子设备100可通过使用特征提取模型20提取包括图像的这样的特征的深度特征。
当所述多个图像10的深度特征被提取时，根据实施例的电子设备100可使用提取的深度特征和分类模型30将所述多个图像10分类。
分类模型30可以是例如但不限于基于神经网络的模型。例如，诸如DNN、RNN或BRDNN等的模型可被用作分类模型30，但不限于此。
此外，分类模型30最初可以是基于通用数据训练的模型。例如，可将图像、从图像提取的深度特征和图像分类结果用作学习数据来训练分类模型30。例如，可通过将幼犬的图像、图像的深度特征(例如，幼犬的形状或类型)和图像的分类列表(例如，幼犬、比格犬或贵宾犬)用作学习数据来训练分类模型30。此外，可通过将夜景的图像、从图像提取的深度特征(例如，夜景被成像的位置或建筑的名称)和图像的分类(例如，风景或夜景)用作学习数据来训练分类模型30。
因此，分类模型30可基于关于所述多个图像10的深度特征之间的相似度将所述多个图像10分类成特定群组。这里，例如可通过被提取作为深度特征的向量之间的距离来指示深度特征之间的相似度。例如，当在坐标系上显示向量时，当在坐标系上显示的向量之间的距离短时相似度可以为高，当向量之间的距离长时相似度可以为低。然而，实施例不限于此。
根据实施例的分类模型30可将与在预设的距离范围之内的向量相应的图像分类成一个群组。例如，在所述多个图像10之中，在坐标区域的第一区域中显示的图像(例如，指示“食物”的特征的图像)可被分类成第一群组41，在第二区域中显示的图像(例如，指示“婴儿”的特征的图像)可被分类成第二群组42，在第三区域中显示的图像(例如，指示“塔”的特征的图像)可被分类成第三群组43中。
此外，根据各种实施例，分类模型30可将包括幼犬(诸如比格犬或贵宾犬)的形状的向量之间的距离指示为短。此外，分类模型30可将指示风景、夜景和建筑的向量之间的距离指示为短。另外，分类模型30可将包括幼犬的形状的向量之间的距离和包括风景和夜景的向量之间的距离指示为长。然而，各种示例实施例不限于此。
根据示例实施例的特征提取模型20和分类模型30可被配置在一个神经网络中并且可被独立地配置在不同的神经网络中。
根据示例实施例的特征提取模型20和分类模型30可通过使用分类的结果确定现有的特征提取模型和现有的分类模型是否需要被更新。当确定它们需要被更新时，特征提取模型20和分类模型30可通过使用用户数据被重新训练。
例如，可经由将被分类成特定群组的所述多个图像10用作输入到特征提取模型20和分类模型30中的至少一个模型的输入值进行监督式学习来训练特征提取模型20和分类模型30中的至少一个模型。当经由监督式学习训练特征提取模型20和分类模型30时，可使用由用户产生的多个图像以及与所述多个图像中的每一个相应的用户的关键字映射信息(例如，由用户输入的图像的特征)来训练特征提取模型20和分类模型30。
可经由非监督式学习来训练特征提取模型20和分类模型30中的至少一个模型，其中，在所述非监督式学习中，在没有任何特定监督的情况下重新训练图像分类器，并且寻找与语言模型的学习结果相关的图像分类标准。此外，通过将语言模型的学习结果与经由监督式学习的学习结果关联，可在没有监督的情况下通过寻找图像分类标准来训练特征提取模型20和分类模型30中的至少一个模型。
此外，可经由强化学习来训练特征提取模型20和分类模型30，其中，强化学习使用指示根据学习的图像的分类结果是否正确的反馈。然而，实施例不限于此。
图2是示出根据本公开的示例实施例的对电子设备100进行操作的示例方法的流程图。
参照图2，在操作S210，根据实施例的电子设备100可获得多个图像。
在操作S220，根据实施例的电子设备100可使用特征提取模型提取关于所述多个图像的深度特征。
特征提取模型可以是基于神经网络的模型。例如，诸如DNN、RNN或BRDNN等的模型可被用作特征提取模型，但不限于此。图像的深度特征可包括通过将图像输入到至少一个神经网络而从包括在所述至少一个神经网络中的至少一个层提取的向量。
此外，图像的深度特征可以以诸如EXIF的元数据形式存储。此外，当图像文件的格式不是JPEG时，图像文件可被转换成JPEG并且图像的深度特征可以以EXIF被存储。然而，实施例不限于此。
此外，电子设备100可将图像的深度特征存储为图像的元数据使得每当图像被分类时所述深度特征不被再次提取，并且通过使用存储的深度特征将图像分类。因此，可提高图像分类速度。
此外，当图像的深度特征以EXIF存储时，即使当图像文件被存储在另一电子设备中时，关于深度特征的信息也可被保持。例如，即使当图像文件被发送给外部设备而不是电子设备100时，关于图像的深度特征的信息也可被保持在外部设备中。因此，另一设备可通过使用关于深度特征的信息将图像分类或搜索图像，并且当特征提取模型和分类模型分别被存储在第一电子设备和第二电子设备中时，第二电子设备可通过使用由第一电子设备提取的图像的深度特征将图像分类。
在操作S230，根据实施例的电子设备100可基于关于所述多个图像的深度特征和分类模型将所述多个图像分类。
分类模型可以是基于神经网络的模型。例如，诸如DNN、RNN或BRDNN等的模型可被用作分类模型，但不限于此。
此外，分类模型最初可以是基于通用数据训练的模型。分类模型可基于关于所述多个图像的深度特征之间的相似度将所述多个图像分类成特定群组。这里，可通过被提取作为深度特征的向量之间的距离来指示深度特征之间的相似度。
此外，根据实施例的电子设备100可显示将所述多个图像分类的结果。
在操作S235，根据实施例的电子设备100可使用将所述多个图像分类的结果来确定特征提取模型和分类模型是否需要被更新。
例如，电子设备100可基于包括在所述多个图像被分类到的群组中的图像的数量的平衡来确定特征提取模型和/或分类模型是否需要被更新。当基于将所述多个图像分类的结果，图像仅被包括在特定群组中，同时没有图像被包括在其他群组中或数量少于预设数量的图像被包括在其他群组中时，电子设备100可确定特征提取模型和/或分类模型需要被更新。另一方面，当基于将所述多个图像分类的结果，在特定群组中包括的图像等于或多于预设的数量时，电子设备100可确定特征提取模型和/或分类模型不需要被更新。然而，示例实施例不限于此，并且可基于各种标准确定更新特征提取模型和分类模型的必要性。
当确定特征提取模型和/或分类模型需要被更新时，在操作S240，根据实施例的电子设备100可训练并更新特征提取模型和分类模型中的至少一个模型。
根据实施例的电子设备100可通过使用用户数据(例如，多个用户图像)重新训练并更新特征提取模型和分类模型中的至少一个模型。由于用户数据被用于更新特征提取模型和分类模型，因此特征提取模型和分类模型可被更新为适合于用户数据。
根据实施例的电子设备100可周期性地或者当存在用户请求时更新特征提取模型和分类模型中的至少一个模型。当电子设备100处于预设状态时，特征提取模型和分类模型中的至少一个模型可被更新。例如，当电子设备100进入待机模式或处于充电状态时，或者当电子设备100被连接到Wi-Fi网络时，特征提取模型和分类模型中的至少一个模型可被更新。然而，实施例不限于此。
根据实施例的电子设备100可提取获得的所述多个图像的深度特征，并且通过使用经由学习而被更新的特征提取模型和分类模型将所述多个图像分类。此外，电子设备100可重新提取被预先分类的所述多个图像的深度特征。因此，可更新或添加关于预先分类的所述多个图像的深度特征的信息。此外，电子设备100可基于重新提取的深度特征将所述多个图像进行重新分类。
图3A、图3B和图3C是示出根据本公开的示例实施例的提取图像的深度特征的示例方法的参考图。
根据实施例的图像的深度特征可包括例如但不限于通过将图像输入到至少一个神经网络而从包括在所述至少一个神经网络中的至少一个层提取的向量。
参照图3A，根据实施例的电子设备100可通过将图像输入到不同类型的神经网络来提取关于图像的多个深度特征。例如，图像可被输入到第一神经网络301以从第一神经网络301的第n层提取第一深度特征，图像可被输入到第二神经网络302以从第二神经网络302的第n层提取第二深度特征，并且图像可被输入到第三神经网络303以从第三神经网络303的第n层提取第三深度特征。
此外，参照图3B，根据实施例的电子设备100可通过将图像输入到一个神经网络来从包括在所述一个神经网络中的不同的子网络提取关于图像的多个深度特征。例如，图像可被输入到包括第一子网络304和第二子网络305的神经网络以从第一子网络304的第n层提取第一深度特征并且从第二子网络305的第n层提取第二深度特征。
此外，参照图3C，根据实施例的电子设备100可通过将图像输入到一个神经网络中来从不同的层提取关于图像的多个深度特征。例如，图像可被输入到所述一个神经网络以从所述一个神经网络的第n层提取第一深度特征并且从所述一个神经网络的第m层提取第二深度特征。
电子设备100可将提取的深度特征与关于提取深度特征的神经网络的信息、神经网络的层信息和子网络信息一起存储。根据实施例的电子设备100可通过使用从一个神经网络提取的深度特征将多个图像分类或搜索图像。
图4是示出根据本公开的示例实施例的由电子设备100使用基于通用数据训练的特征提取模型和分类模型将多个图像分类的示例结果的示图。
参照图4，根据实施例的电子设备100可获得多个图像。例如，如图4中所示，电子设备100获得第一图像至第十图像A1、A2、A3、A4、A5、A6、A7、A8、A9和A10。电子设备100可使用特征提取模型和分类模型将获得的第一图像A1至第十图像A10分类成特定群组。这里，特征提取模型和分类模型可以是基于通用数据预先训练的模型。例如，特征提取模型和分类模型可以是被训练以将多个图像分类成六种类别(例如，“人”、“狗”、“风景”、“文档”、“食物”和“道路”)的模型，但不限于此。例如，类别的类型和数量可通过特征提取模型和分类模型经由学习被确定或者可基于用户输入被设置。
当电子设备100使用特征提取模型和分类模型将第一图像A1至第十图像A10分类时，第一图像A1至第五图像A5、第七图像A7和第八图像A8以及第十图像A10可被分类成“狗”类别，并且第六图像A6和第九图像A9可被分类成“人”类别。当根据基于通用数据训练的特征提取模型和分类模型将第一图像A1至第十图像A10分类时，仅“狗”和“人”类别被使用，“风景”、“食物”、“道路”和“文档”类别未被使用。因此，当用户不使用与“风景”、“食物”、“道路”和“文档”相关的图像并且主要使用仅与“狗”和“人”相关的图像时，被用户感知的关于基于通用数据训练的特征提取模型和分类模型的性能降低。
图5是示出根据本公开的示例实施例的由电子设备100使用被更新的特征提取模型和分类模型将多个图像分类的示例结果的示图。
根据实施例的电子设备100可使用用户图像训练并更新特征提取模型和分类模型中的至少一个模型。例如，电子设备100可使用将图4的第一图像A1至第十图像A10分类的结果来确定更新特征提取模型和分类模型的必要性。此外，电子设备100可通过使用用户图像训练并更新特征提取模型和分类模型中的至少一个模型。
参照图5，电子设备100可使用更新的特征提取模型和更新的分类模型将预先分类的图像重新分类。例如，当使用更新的特征提取模型和更新的分类模型将例如第一图像A1至第十图像A10的所述多个图像分类时，第一图像A1、第二图像A2和第八图像A8可被分类成第一群组，第三图像A3和第四图像A4可被分类成第二群组，第六图像A6和第九图像A9可被分类成第三群组，第五图像A5、第七图像A7和第十图像A10可被分类成第四群组，第六图像A6至第八图像A8和第十图像A10可被分类成第五群组，并且第一图像A1至第四图像A4、第七图像A7和第九图像A9可被分类成第六群组。这里，第一图像A1至第十图像A10可被重叠地分类成第一群组至第六群组。
与图4的分类的结果相比较，第一图像A1至第十图像A10在图4中被分类成两个群组，但是在图5中被分类成六个群组。与基于通用数据训练的特征提取模型和分类模型相比较，基于用户数据训练的特征提取模型和分类模型可更加多方面地将用户图像分类。
此外，电子设备100可自动地或基于用户输入产生多个图像被分类成的群组的群组名称。电子设备100可通过使用语言模型自动地产生群组的群组名称。电子设备100可通过将语言模型中的关键字之间的相似度与图像的深度特征之间的相似度进行比较来检测与图像相应的关键字。
例如，当关键字(或标签)“比格犬”被分配给第一群组时，第一群组的群组名称可被设置成“比格犬”。这里，通过使用语言模型，可确定具有“比格犬”的第二关键字和包括在第一群组中的图像的深度特征与包括在第二群组中的图像的深度特征之间的相似度(深度特征之间的距离)。确定的第二关键字可被分配为第二群组的群组名称。电子设备100可基于第一群组至第三群组是与图4中的“狗”相应的群组的信息来确定与第一群组至第三群组相应的群组名称。例如，通过将语言模型中的“狗”的下级关键字之间的相似度与包括在第一群组至第三群组中的图像的深度特征之间的相似度进行比较，电子设备100可确定与包括在第一群组中的图像的深度特征、包括在第二群组中的图像的深度特征和包括在第三群组中的图像的深度特征中的每一个相应的关键字。当关键字被确定时，电子设备100可将确定的关键字分配为各个群组的群组名称。因此，第一群组可具有群组名称“比格犬”，第二群组可具有群组名称“贵宾犬”，第三群组可具有群组名称“安妮”，第四群组可具有群组名称“金毛猎犬”，第五群组可具有群组名称“室内”，并且第六群组可具有群组名称“室外”。此外，电子设备100可产生与第一群组至第六群组中的每一个相应的文件夹，并且将分类为同一群组的图像存储在同一文件夹中。此外，电子设备100可确定与包括在群组中的图像分别相应的关键字。
图6A和图6B是示出根据本公开的示例实施例的使用通过利用用户数据训练的特征提取模型和分类模型将多个图像分类的示例方法的示图。
图6A示出使用通过利用第一用户的数据训练的特征提取模型和分类模型将多个图像分类的结果。
参照图6A，第一用户的图像可包括第一图像至第十一图像B1、B2、B3、B4、B5、B6、B7、B8、B9、B10和B11。这里，第一用户的图像可以是例如但不限于通过第一用户装置获得图像，并且可以是存储在第一用户装置中的图像、通过第一用户装置捕捉的图像或者从外部设备接收的图像等。
根据实施例的第一用户装置可使用第一特征提取模型和第一分类模型将第一图像B1至第十一图像B11分类成特定群组。第一特征提取模型和第一分类模型可以是使用第一用户的图像训练的特征提取模型和分类模型。
第一特征提取模型提取第一用户的图像中的每一个的深度特征，并且第一分类模型可基于第一用户的图像中的每一个的深度特征将第一用户的图像分类成特定群组。这里，第一用户的图像被分类成的特定群组的类型或数量可由经由基于用户数据学习的第一特征提取模型和第一分类模型确定，或者可基于用户输入被设置。例如，在第一用户的图像之中，第一图像B1和第二图像B2可被分类成第一群组，第七图像B7和第八图像B8可被分类成第二群组，第三图像、第六图像和第九图像可被分类成第三群组，第十图像B10和第十一图像B11可被分类成第四群组，第四图像B4和第五图像B5可被分类成第五群组，并且第三图像B3和第九图像B9可被分类成第六群组。
此外，第一用户装置可自动地或基于用户输入来产生第一图像B1至第十一图像B11被分类成的第一群组至第六群组的群组名称。例如，第一用户装置可通过使用包括在第一群组至第六群组中的第一图像B1至第十一图像B11的深度特征信息和语言模型来自动地产生群组名称或关键字。
例如，第一群组可具有群组名称“食物”，第二群组可具有群组名称“狗”，第三群组可具有群组名称“风景”，第四群组可具有群组名称“人”，第五群组可具有群组名称“文档”，第六群组可具有群组名称“道路”。
图6B示出使用通过利用第二用户的数据训练的特征提取模型和分类模型将多个图像分类的结果。
参照图6B，第二用户的图像可包括第一图像至第十一图像C1、C2、C3、C4、C5、C6、C7、C8、C9、C10和C11。这里，第二用户的图像可以是例如但不限于通过第二用户装置获得的图像，并且可以是存储在第二用户装置中的图像、通过第二用户装置捕捉的图像或者从外部设备接收的图像等。
根据实施例的第二用户装置可使用第二特征提取模型和第二分类模型将第一图像C1至第十一图像C11分类成特定群组。第二特征提取模型和第二分类模型可以是使用第二用户的图像训练的特征提取模型和分类模型。
第二特征提取模型提取第二用户的图像中的每一个的深度特征，并且第二分类模型可基于第二用户的图像中的每一个的深度特征将第二用户的图像分类成特定群组。这里，第二用户的图像被分类成的特定群组的类型或数量可由经由基于用户数据学习的第二特征提取模型和第二分类模型确定，或者基于用户输入被设置。例如，在第二用户的图像中，第一图像C1、第三图像C3和第七图像C7可被分类成第一群组，第二图像C2和第九图像C9可被分类成第二群组，第三图像C3和第六图像C6可被分类成第三群组，第四图像C4和第五图像C5可被分类成第四群组，第七图像C7和第八图像C8可被分类成第五群组，第十图像C10和第十一图像C11可被分类成第六群组，第一图像C1、第五图像C5和第十一图像C11可被分类成第七群组。
此外，第二用户装置可自动地或者基于用户输入来产生第一图像C1至第十一图像C11被分类成的第一群组至第七群组的群组名称。第二用户装置可通过使用包括在第一群组至第七群组中的第一图像C1至第十一图像C11的深度特征信息和语言模型来自动地产生群组名称或关键字。
例如，第一群组可具有群组名称“道路”，第二群组可具有群组名称“河流”，第三群组可具有群组名称“传统的韩国房屋”，第四群组可具有群组名称“海滩”，第五群组可具有群组名称“森林”，第六群组可具有群组名称“建筑”，第七群组可具有群组名称“天空”。
如参照图6A和图6B描述的，根据实施例的特征提取模型和分类模型可使用用户数据被训练并更新。
根据实施例更新的特征提取模型和分类模型可将预先分类的群组之中的第一群组中包括的多个图像重新分类成至少两个群组，或者可将预先分类的群组中的第一群组和第二群组中包括的多个图像重新分类成一个群组。例如，针对第一用户的图像优化的第一特征提取模型和第一分类模型可将第三图像B3和第六图像B6分类成一个群组(“风景”群组)。另一方面，针对第二用户的图像优化的第二特征提取模型和第二分类模型可将与第三图像B3相同的第一图像C1和与图像B6相同的第五图像C5分类成不同的群组(“道路”群组和“海滩”群组)。
因此，根据实施例的电子设备100提供根据用户优化的特征提取模型和分类模型，因此可使用根据用户优化的分类标准而非一个分类标准来将多个图像分类。
图7A是示出根据本公开的示例实施例的服务器200和电子设备100的示例操作的流程图。
参照图7A，在操作S710，服务器200可使用通用数据训练特征提取模型和分类模型。
例如，服务器200可基于通用数据训练将图像分类的标准。服务器200可基于通用数据训练提取多个图像的深度特征的标准。此外，服务器200可训练基于所述多个图像的深度特征之间的相似度将所述多个图像分类成特定群组。
在操作S720，电子设备100可从服务器200接收特征提取模型和分类模型。
在操作S730，电子设备100可获得所述多个图像。
在操作S740，电子设备100可使用从服务器200接收的特征提取模型提取关于所述多个图像的深度特征。
在操作S750，电子设备100可基于从服务器200接收的分类模型和提取的深度特征将所述多个图像分类。
操作S730至操作S750可例如与图2的操作S210至操作S230分别相应。
在操作S760，电子设备100可将所述多个图像分类的结果发送给服务器200。
在操作S770，服务器200可使用从电子设备100接收的结果确定特征提取模型和/或分类模型是否需要被更新，并且训练并更新特征提取模型和分类模型中的至少一个模型。
在操作S780，电子设备100可从服务器200接收训练并更新的特征提取模型和分类模型。
在操作S790，电子设备100可使用更新的特征提取模型和/或分类模型将所述多个图像分类。
此外，电子设备100可重新提取预先分类的多个图像的深度特征，并且基于重新提取的深度特征将所述多个图像重新分类。
另外，图7A的操作S710至操作S790可均由根据实施例的电子设备100或服务器200执行。例如，在图7A中，操作S710至操作S770由服务器200执行，但实施例不限于此，操作S710至操作S770可由电子设备100执行。此外，在图7A中，操作S730至操作S750和操作S790可由电子设备100执行，但实施例不限于此，操作S730至操作S750和操作S790可由服务器200执行。
图7B是示出根据本公开的示例实施例的对服务器200、第一处理器120a和第二处理器120b进行操作的示例方法的流程图。
参照图7B，电子设备100可包括第一处理器120a和第二处理器120b。
第一处理器120a可例如控制安装在电子设备100中的至少一个应用的运行，并且对由电子设备100获得的图像(例如，实时取景图像或捕捉的图像)执行图形处理。第一处理器120a可包括各种处理电路并且以集成了中央处理单元(CPU)、图形处理单元(GPU)、通信芯片和传感器的片上***(SoC)的形式被实现。此外，第一处理器120a在本文中可被描述为应用处理器(AP)。
第二处理器120b可使用特征提取模型和分类模型将图像分类。
另外，第二处理器120b可例如以使用数据识别模型(例如，特征提取模型和数据分类模型)执行图像分类功能的AI专用硬件芯片的形式被制造。根据实施例，AI专用硬件芯片可包括用于使用视觉理解作为元素技术的数据识别模型的GPU。
此外，电子设备100可包括执行第二处理器120b的全部或一些功能的第三处理器或第四处理器来取代第二处理器120b。
根据实施例，可通过存储在存储器中并执行各种功能的应用来执行由第一处理器120a执行的功能。可通过电子设备100的操作***(OS)来执行由第二处理器120b执行的功能。
例如，相机应用可产生图像并将图像发送给包括数据识别模型的OS。此外，显示图像的图库应用可从OS接收通过使用发送给OS的图像所提取的图像，并且在显示器上显示提取的图像。
参照图7B，在操作S7110，服务器200可基于通用数据训练特征提取模型和分类模型。
服务器200可将特征提取模型和分类模型发送给电子设备100。例如，在操作S7120，电子设备100可被设置使得第二处理器120b可使用特征提取模型和分类模型。
在操作S7130，第一处理器120a可获得多个图像。
在操作S7140，第一处理器120a可将获得的图像发送给第二处理器120b。
在操作S7150，第二处理器120b可使用从服务器200接收的特征提取模型提取关于所述多个图像的深度特征。
在操作S7160，第二处理器120b可基于从服务器200接收的分类模型和提取的深度特征将所述多个图像分类。
在操作S7170，第二处理器120b可确定特征提取模型和/或分类模型是否需要被更新，并且训练并更新特征提取模型和/或分类模型中的至少一个模型。
在操作S7180，第二处理器120b可使用更新的特征提取模型和/或分类模型将所述多个图像分类。
此外，第二处理器120b可重新提取预先分类的多个图像的深度特征，并且基于重新提取的深度特征将所述多个图像重新分类。
图7C是示出根据本公开的示例实施例的对服务器200、第一处理器120a、第二处理器120b和第三处理器120c进行操作的示例方法的流程图。
参照图7C，电子设备100可包括第一处理器120a、第二处理器120b和第三处理器120c。
参照图7C，在操作S7210，服务器200可基于通用数据训练特征提取模型和分类模型。
在操作S7220，服务器200可将特征提取模型和分类模型发送给电子设备100。例如，电子设备100可被设置使得第二处理器120b使用特征提取模型并且第三处理器120c使用分类模型。
在操作S7230，第一处理器120a可获得多个图像。
在操作S7240，第一处理器120a可将获得的图像发送给第二处理器120b。
在操作S7250，第二处理器120b可使用从服务器200接收的特征提取模型提取关于所述多个图像的深度特征。
在操作S7260，第二处理器120b可将提取的深度特征和图像发送给第三处理器120c。
在操作S7270，第三处理器120c可基于深度特征和分类模型将所述多个图像分类。
在操作S7280，第三处理器120c可将分类的结果发送给第二处理器120b。
在操作S7290，第二处理器120b可确定特征提取模型是否需要被更新并且使用分类的结果训练特征提取模型。
在操作7300，第三处理器120c可确定分类模型是否需要被更新，并且使用分类的结果训练分类模型。
在操作S7310，第二处理器120b可使用更新的特征提取模型提取所述多个图像的深度特征。此外，第二处理器120b可重新提取被预先提取过深度特征的所述多个图像的深度特征。
在操作S7320，第二处理器120b可将所述多个图像和提取的深度特征发送给第三处理器120c。
在操作S7330，第三处理器120c可使用更新的分类模型将所述多个图像分类。此外，第三处理器120c可将预先分类的所述多个图像重新分类。
图8A是示出根据本公开的示例实施例的对电子设备100进行操作的示例方法的流程图。
参照图8A，在操作S810，电子设备100可获得第一图像。这里，第一图像可以是由电子设备100捕捉的或者预先存储在电子设备100中的图像。可选地，第一图像可从外部设备被接收。
在操作S820，电子设备100可通过使用特征提取模型提取关于第一图像的深度特征。例如，电子设备100可通过将第一图像输入到包括在特征提取模型中的至少一个神经网络来提取第一图像的深度特征。
在操作S830，电子设备100可从预先存储的图像中提取具有与第一图像的深度特征相似的深度特征的至少一个图像。
电子设备100可基于第一图像的深度特征与预先存储的图像的深度特征之间的相似度通过例如使用分类模型提取与第一图像相似的图像。例如，电子设备100可从预先存储的图像提取与第一图像的深度特征的向量的差值在预设的范围之内的图像。
在操作S840，电子设备100可在显示器上显示提取的图像。
图8B是示出根据本公开的示例实施例的对包括在电子设备100中的第一处理器120a和第二处理器120b进行操作的示例方法的流程图。
参照图8B，电子设备100可包括第一处理器120a和第二处理器120b。
参照图8B，在操作S8110，第一处理器120a可获得第一图像。
在操作S8120，第一处理器120a可将第一图像发送给第二处理器120b。
在操作S8130，第二处理器120b可使用特征提取模型提取关于第一图像的深度特征。
在操作S8140，第二处理器120b可使用分类模型和第一图像的深度特征从预先存储的图像之中提取具有与第一图像的深度特征相似的深度特征的至少一个图像。例如，第二处理器120b可从预先存储的图像提取与第一图像的深度特征的向量的差值在预设的范围之内的图像。
在操作S8150，第二处理器120b可将提取的所述至少一个图像发送给第一处理器120a。
在操作S8160，第一处理器120a可在显示器上显示提取的所述至少一个图像。
图8C是示出根据示例实施例的对包括在电子设备100中的第一处理器120a、第二处理器120b和第三处理器120c进行操作的示例方法的流程图。
参照图8C，在操作S8210，第一处理器120a可获得第一图像。
在操作S8220，第一处理器120a可将第一图像发送给第二处理器120b。
在操作S8230，第二处理器120b可使用特征提取模型提取关于第一图像的深度特征。
在操作S8240，第二处理器120n可将关于第一图像的深度特征发送给第三处理器120c。
在操作S8250，第三处理器120c可使用分类模型和第一图像的深度特征从预先存储的图像之中提取具有与第一图像的深度特征相似的深度特征的至少一个图像。例如，第二处理器120b可从预先存储的图像提取与第一图像的深度特征的向量的差值在预设的范围之内的图像。
在操作S8260，第三处理器120c可将提取的所述至少一个图像发送给第一处理器120a。
在操作S8270，第一处理器120a可在显示器上显示提取的所述至少一个图像。
图9和图10是示出根据本公开的示例实施例的由电子设备100执行的搜索图像的示例方法的示图。
参照图9，根据实施例的电子设备100可获得第一图像910。这里，第一图像910可以是由电子设备100捕捉的或者预先存储在电子设备100中的图像。另一方面，第一图像910可以是从外部设备接收的图像。
电子设备100可使用特征提取模型提取第一图像910的深度特征。特征提取模型可包括至少一个神经网络，并且深度特征可包括通过将第一图像910输入到所述至少一个神经网络而从至少一个层提取的向量。
这里，第一图像910的深度特征可指示包括在第一图像910中的对象的特征，例如可指示“狗”的特征，但实施例不限于此。
电子设备100可通过使用分类模型基于第一图像910的深度特征与预先存储的多个图像920的深度特征之间的相似度搜索与第一图像910相似的图像。预先存储的所述多个图像920可包括从图像920中的每一个提取的深度特征。例如，深度特征可被存储为多个图像中的每一个的EXIF信息。这里，第一图像910的深度特征和所述多个图像920的深度特征可以是使用具有一个版本的一个神经网络提取的深度特征。第一图像910的深度特征和所述多个图像920的深度特征可以是从一个神经网络的相同的子网络提取的深度特征或者从一个神经网络的相同层提取的深度特征。
电子设备100可从所述多个图像920之中提取与第一图像910的深度特征的差值在预设的范围之内的图像。例如，如图9中示出的，在所述多个图像902之中，第一图像至第八图像930可被提取并被显示为与第一图像910相似的图像。
当用户输入与“狗”相应的关键字(例如，狗、比格犬或幼犬)以便搜索“狗”图像时，电子设备100可通过使用关键字仅搜索存储的图像，并且如果用户用与“狗”不相关的关键字(例如，快乐)存储“狗”图像，则电子设备100不能够找到按照与“狗”不相关的关键字存储的“狗”图像。因此，用户不得不记住针对图像存储的关键字以找到图像。
然而，如参照图9描述的，根据实施例的电子设备100使用包括“狗”的图像而不是使用关键字来提取“狗”图像的深度特征，并且搜索具有与提取的深度特征相似的深度特征的图像，因此用户可在不必记住所有关键字的情况下找到期望的图像。
此外，参照图10，根据示例实施例的电子设备100可获得第二图像1010。电子设备100可使用特征提取模型提取第二图像1010的深度特征。第二图像1010的深度特征可指示桥梁的特征、夜景的特征、河流的特征，但不限于此。
电子设备100可通过使用分类模型基于第二图像1010的深度特征与预先存储的所述多个图像920的深度特征之间的相似度搜索与第二图像1010相似的图像。例如，电子设备100可从所述多个图像920之中提取并显示与第二图像1010的深度特征的差值在预设的范围之内的图像1030作为与第二图像1010相似的图像。
用户不得不输入相关的关键字(桥梁和夜景)以便搜索“有桥梁的夜景”图像。然而，如参照图10描述的，根据实施例的电子设备100通过使用“有桥梁的夜景”图像而不是使用关键字来提取“有桥梁的夜景”图像的深度特征，并且搜索具有与提取的深度特征相似的深度特征的图像，因此用户可在不必记住所有关键字的情况下找到期望的图像。
此外，电子设备100可通过输入的关键字来执行图像搜索。例如，当关键字被输入时，电子设备100可通过使用语言模型确定与输入的关键字相似的关键字，并且搜索与所述相似的关键字相应的图像。当用于第一图像的标签名称与所述相似的关键字相应时，电子设备100可提取第一图像并且将第一图像显示为图像搜索结果。此外，当图像的群组名称与所述相似的关键字相应时，电子设备100可提取包括在所述群组名称的群组中的第二图像并且将第二图像显示为图像搜索结果。然而，实施例不限于此。
图11是示出根据本公开的示例实施例的电子设备100的示例配置的框图。
参照图11，根据实施例的电子设备100可包括处理器(例如，包括处理电路)120、显示器140和存储器130。
根据实施例的显示器140通过转换由处理器120处理的图像信号、数据信号、在屏显示(OSD)信号或控制信号来产生驱动信号。显示器140可被实现为等离子体显示面板(PDP)、液晶显示器(LCD)、有机发光显示器(OLED)或柔性显示器，或者可被实现为三维(3D)显示器等，但不限于此。此外，显示器140可被配置为被用作输入装置以及输出装置的触摸屏。
根据实施例的显示器140可显示图像。这里，在显示器140上显示的图像可以是由电子设备100捕捉的图像、存储在电子设备100中的图像或者从外部设备接收的图像中的至少一个图像。然而，实施例不限于此。
根据实施例的处理器120可包括各种处理电路并且运行存储在存储器130中的至少一个程序。处理器120可包括例如但不限于单核、双核、三核、四核或多核。此外，处理器120可包括多个处理器。例如，处理器120可包括主处理器(未示出)和在睡眠模式下操作的子处理器(未示出)。
根据实施例的存储器130可存储用于驱动和控制电子设备100的各种类型的数据、程序或应用。
存储在存储器130中的程序可包括至少一个指令。可由处理器120运行存储在存储器130中的程序(至少一个指令)或应用。
根据实施例的处理器120可运行存储在存储器130中的所述至少一个指令以获得多个图像并使用特征提取模型提取关于所述多个图像的深度特征。例如，特征提取模型可包括第一神经网络，并且处理器120可通过将所述多个图像中的每一个输入到第一神经网络从第一神经网络的至少一个层提取包括在深度特征中的向量。处理器120可使用提取的深度特征和分类模型将所述多个图像分类成特定群组。例如，分类模型可包括基于所述多个图像的深度特征之间的相似度将所述多个图像分类成特定群组的第二神经网络。
此外，处理器120可运行存储在存储器130中的所述至少一个指令以将分类的所述多个图像与深度特征一起存储。此外，处理器120可控制显示器140显示分类的结果，通过使用分类的结果确定更新特征提取模型和分类模型的必要性，并且基于确定的结果训练并更新特征提取模型和分类模型中的至少一个模型。当特征提取模型和分类模型中的至少一个模型被更新时，处理器120可通过使用更新的特征提取模型和分类模型将预先分类的所述多个图像重新分类。
处理器120可提取关于第一图像的深度特征，并且从分类的所述多个图像之中提取具有与第一图像的深度特征相似的深度特征的至少一个图像。
图12是示出根据本公开的示例实施例的处理器120的框图。
参照图12，根据实施例的处理器120可包括数据学习单元(例如，包括处理电路和/或程序元件)1300和数据分类单元(例如，包括处理电路和/或程序元件)1400。
数据学习单元1300可包括被配置为学习用于将图像分类成特定群组的确定标准的处理电路和/或程序元件。数据学习单元1300可学习哪些数据将被用于将图像分类成特定群组并且如何通过使用数据将图像分类的确定标准。数据学习单元1300可获得将被用于学习的数据，并且学习用于通过将数据应用于稍后描述的数据分类模型来将图像分类的确定标准。根据实施例的数据分类模型可包括特征提取模型和分类模型。
数据分类单元1400可基于数据将图像分类。数据分类单元1400可使用学习的数据分类模型将多个图像分类成特定群组。数据分类单元1400可根据经由学习预设的标准获得特定数据，并且使用将获得的特定数据用作输入值的数据分类模型基于特定的数据将图像分类。此外，由通过将获得的特定数据用作输入值的数据分类模型输出的结果值可被用于更新数据分类模型。
数据学习单元1300和数据分类单元1400可以以至少一个硬件芯片的形式被制造并且被包括在电子设备中。例如，数据学习单元1300和数据分类单元1400中的至少一个单元可以以人工智能(AI)专用硬件芯片的形式被制造或者可被制造为现有的通用处理器(例如，中央处理单元(CPU)或应用处理器)或者图形专用处理器(例如，图形处理单元(GPU))的一部分并且可被包括在任何电子设备中。
在这种情况下，数据学习单元1300和数据分类单元1400可被包括在一个电子设备中或被包括在不同的电子设备中。例如，数据学习单元1300和数据分类单元1400之一可被包括在电子设备中并且数据学习单元1300和数据分类单元1400中的另一个单元可被包括在服务器中。可选地，在数据学习单元1300和数据分类单元1400中，可经由有线或无线地将通过数据学习单元1300构建的模型信息提供给数据分类单元1400或者将输入到数据分类单元1400的数据作为另外的学习数据提供给数据学习单元1300。
另外，数据学习单元1300和数据分类单元1400中的至少一个单元可以以软件模块实现。当数据学习单元1300和数据分类单元1400中的至少一个单元以软件模块(或包括指令的程序模块)实现时，软件模块可被存储在非暂时性计算机可读记录介质中。可通过OS或特定应用来提供软件模块。可选地，可通过OS来提供软件模块的一部分，并且可通过特定应用来提供软件模块的剩余部分。
图13是示出根据本公开的示例实施例的示例数据学习单元1300的框图。
参照图13，根据实施例的数据学习单元1300可包括数据获取器(例如，包括处理电路和/或程序元件)1310、预处理器(例如，包括处理电路和/或程序元件)1320、学习数据选择器(例如，包括处理电路和/或程序元件)1340、模型学习器(例如，包括处理电路和/或程序元件)1340和模型评估器(例如，包括处理电路和/或程序元件)1350，但不限于此。根据实施例，数据学习单元1300可包括以上组件中的一些组件。例如，数据学习单元1300可仅包括数据获取器1310和模型学习器1340。此外，根据实施例，数据学习单元1300还可包括除了以上组件之外的组件。
数据获取器1310可获得将多个图像分类成特定群组所需的数据。数据获取器1310可获得学习对图像进行分类所需的数据。
数据获取器1310可获得多条图像数据。例如，数据获取器1310可通过包括数据学习单元1300的电子设备的相机接收图像数据。可选地，数据获取器1310可通过可与包括数据学习单元1300的电子设备通信的外部设备来接收图像数据。
预处理器1320可对获得的数据进行预处理使得获得的数据可在学习期间被用于对图像进行分类。预处理器1320可将获得的数据处理成预设格式使得获得的数据被稍后描述的模型学习器1340使用。
学习数据选择器1330可从预处理的数据选择学习所需的数据。选择的数据可被提供给模型学习器1340。学习数据选择器1330可根据用于将图像分类的预设标准从预处理的数据选择学习所需的数据。此外，学习数据选择器1330可根据经由稍后描述的模型学习器1340的学习而预设的标准来选择数据。
模型学习器1340可学习关于如何基于学习数据将图像分类的确定标准。此外，模型学习器1340可学习关于哪些学习数据被用于将图像分类的选择标准。
例如，模型学习器1340可学习提取多个图像的深度特征的确定标准，并且学习基于所述多个图像的深度特征之间的相似度将所述多个图像分类成特定群组。这里，可通过从深度特征提取的向量之间的距离来指示深度特征之间的相似度，其中，当向量之间的距离短时相似度高，并且当向量之间的距离长时相似度低。此外，向量之间的距离在预设的范围之内的多个图像可被分类成一个群组。
此外，模型学习器1340可通过使用学习数据训练用于将多个图像分类的数据分类模型。此时，数据分类模型可以是预先构建的模型。例如，可通过接收基本学习数据(例如，样本图像)来预先构建数据分类模型。
可考虑到数据应用模型的应用领域、学习目的或电子设备的计算机性能来构建数据分类模型。数据分类模型可以是例如基于神经网络的模型。例如，DNN、CNN、RNN或BRDNN等可被用作数据分类模型，但是实施例不限于此。
根据实施例，当存在多个预先构建的数据分类模型时，模型学习器1340可将具有输入的学习数据和基本学习数据之间的高相关性的数据分类模型确定为将被学习的数据分类模型。在这种情况下，可根据数据类型将基本学习数据预先分类，并且可根据数据类型预先构建数据分类模型。例如，可基于各种标准(诸如产生基本学习数据的区域、产生基本学习数据的时间、基本学习数据的大小、基本学习数据的体裁、基本学习数据的产生器和基本学习数据中的对象的类型)将基本学习数据预先分类。
此外，模型学习器1340可使用包括误差反向传播或梯度下降的训练算法训练例如数据分类模型。
此外，模型学习器1340可经由例如将学习数据用作输入值的监督式学习来训练数据分类模型。此外，模型学习器1340可经由非监督式学习训练数据分类模型，其中，在非监督式学习中，在没有单独监督的情况下通过对确定状况所需的数据的类型进行自学习来寻找用于确定状况的标准。此外，模型学习器1340可经由例如强化学习来训练数据分类模型，其中，强化学习使用关于图像分类的结果是否正确的反馈。
此外，在训练了数据分类模型之后，模型学习器1340可存储训练的数据分类模型。此时，模型学习器1340可将数据分类模型存储在包括数据分类单元1400的电子设备的存储器中。模型学习器1340可将训练的数据分类模型存储在包括稍后将描述的数据分类单元1400的电子设备的存储器中。模型学习器1340可将训练的数据分类模型存储在经由有线网络或无线网络连接到电子设备的服务器的存储器中。
这里，存储训练的数据分类模型的存储器也可存储例如与电子设备的其他至少一个组件相关的指令或数据。此外，存储器可存储软件和/或程序。程序可包括例如内核、中间件、应用编程接口(API)和/或应用程序(或“应用”)。
模型评估器1350可将评估数据输入到数据分类模型中，并且当根据评估数据输出的识别结果不满足特定标准时，能够使模型学习器1340再次训练数据分类模型。这里，评估数据可以是被预设用于评估数据分类模型的数据。
例如，当在训练的数据分类模型针对评估数据的多个分类结果之中的分类结果不精确的评估数据的数量或比例超过预设的阈值时，模型评估器1350可确定识别结果不满足特定标准。例如，当特定标准是2％并且训练的数据识别模型针对在1000条评估数据之中超过20条评估数据输出错误识别结果时，模型评估器1350可确定训练的数据分类模型不适合。
另外，当存在多个训练的数据分类模型时，模型评估器1350可评估训练的数据分类模型中的每一个是否满足特定标准，并且将满足特定标准的训练的数据分类模型确定为最终的数据分类模型。这里，当存在满足特定标准的多个数据分类模型时，模型评估器1350可将按照高评估分数的顺序将一个或预设数量的数据分类模型确定为最终的数据分类模型。
另外，数据学习单元1300中的数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350中的至少一个可以以至少一个硬件芯片形式被制造并且被包括在电子设备中。例如，数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350中的至少一个可以以AI专用硬件芯片被制造，或者可被制造为现有的通用处理器(例如，CPU或应用处理器)或图形专用处理器(例如，GPU)的一部分并且可被包括在以上描述的任何电子设备中。
此外，数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350可被包括在一个电子设备或者不同的电子设备中。例如，数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350中的一些可被包括在电子设备中，并且剩余部分可被包括在服务器中。
此外，数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350中的至少一个可以以软件模块实现。当数据获取器1310、预处理器1320、学习数据选择器1330、模型学习器1340和模型评估器1350中的至少一个以软件模块(或者包括指令的程序模块)实现时，软件模块可被存储在非暂时性计算机可读记录介质中。可选地，可通过OS提供软件模块的一部分并且可通过特定应用提供软件模块的剩余部分。
图14是示出根据本公开的示例实施例的示例数据分类单元1400的框图。
参照图14，根据实施例的数据分类单元1400可包括数据获取器(例如，包括处理电路和/或程序元件)1410、预处理器(例如，包括处理电路和/或程序元件)1420、分类数据选择器(例如，包括处理电路和/或程序元件)1430、分类结果提供器(例如，包括处理电路和/或程序元件)1440和模型更新器(例如，包括处理电路和/或程序元件)1450。然而，实施例不限于此。根据实施例，数据分类单元1400可包括以上组件中的一些组件。例如，数据分类单元1400可仅包括数据获取器1410和分类结果提供器1440。根据另一实施例，数据分类单元1400还可包括除了以上组件之外的组件。
数据获取器1410可获得图像分类所需的数据，并且预处理器1420可对获得的数据进行预处理使得获得的数据被用于图像分类。预处理器1420可将获得的数据处理成预设的格式使得获得的数据被用于图像分类。
分类数据选择器1430可从预处理的数据选择图像分类所需的数据。选择的数据可被提供给分类结果提供器1440。分类数据选择器1430可基于预设的标准选择一些或全部预处理的数据用于图像分类。此外，分类数据选择器1430可根据经由通过模型学习器1340学习而预设的标准来选择数据。
分类结果提供器1440可通过将选择的数据应用于数据分类模型来将图像分类。分类结果提供器1440可根据数据的分类目的提供分类结果。分类结果提供器1440可将通过分类数据选择器1430选择的数据用作输入值来将选择的数据应用于数据分类模型。此外，可由数据分类模型确定分类结果。
例如，分类结果提供器1440可提供将多个图像分类成特定群组的结果。被分类成一个群组的图像可被存储在同一文件夹中。
此外，根据实施例，分类结果提供器1440可估计与图像相似的另一图像。例如，分类结果提供器1440可估计具有与第一图像(例如，预先存储的图像或新输入的图像之一)的深度特征相似的深度特征的图像。
模型更新器1450可基于对由分类结果提供器1440提供的分类结果的估计来更新数据分类模型。例如，模型更新器1450可根据由分类结果提供器1440提供的分类结果确定数据分类模型是否需要被更新，并且当需要更新数据分类模型时，使用模型学习器1340更新数据分类模型。模型学习器1340可通过使用用户的图像数据重新训练数据分类模型以更新数据分类模型。
另外，数据分类单元1400中的数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450中的至少一个可以以至少一个硬件芯片形式被制造并且可被包括在电子设备中。例如，数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450中的至少一个可以以AI专用硬件芯片被制造，或者可被制造为现有的通用处理器(例如，CPU或应用处理器)或图像专用处理器(例如，GPU)的一部分，并且可被包括在上述的任何电子设备中。
此外，数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450可被包括在一个电子设备中或者不同的电子设备上。例如，数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450中的一些可被包括在电子设备中，并且剩余部分可被包括在服务器中。
此外，数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450中的至少一个可以以软件模块实现。当数据获取器1410、预处理器1420、分类数据选择器1430、分类结果提供器1440和模型更新器1450中的至少一个以软件模块(或包括指令的程序模块)实现时，软件模块可被存储在非暂时性计算机可读记录介质中。可通过OS或特定应用提供软件模块。可选地，可通过OS提供软件模块的一部分并且可通过特定应用提供软件模块的剩余部分。
图15是示出根据实施例的电子设备1000与服务器2000互相配合一起学习并识别数据的示例的示图。
参照图15，服务器2000可对用户图像进行分析以学习用于将图像分类的标准，并且电子设备100可基于服务器2000的学习结果将多个图像分类。服务器2000可包括数据获取器(例如，包括处理电路和/或程序元件)2310、预处理器(例如，包括处理电路和/或程序元件)2320、学习数据选择器(例如，包括处理电路和/或程序元件)2330、模型学习器(例如，包括处理电路和/或程序元件)2340和模型评估器(例如，包括处理电路和/或程序元件)2350。这些元件与电子设备的相应元件相同或相似，因此这里可以不重复像这样的对这些元件的详细描述。
这里，服务器200的模型学习器2340可执行图13的模型学习器1340的功能。模型学习器2340可学习提取多个图像的深度特征的标准，并且学习基于所述多个图像的深度特征之间的相似度将所述多个图像分类成特定群组。模型学习器2340可获得将被用于学习的数据，并且将获得的数据应用于数据分类模型以学习用于将所述多个图像分类的标准。
此外，电子设备1000的分类结果提供器1440可通过将由分类数据选择器1430选择的数据应用于由服务器2000产生的数据分类模型来将所述多个图像分类。例如，分类结果提供器1440可将由分类数据选择器1430选择的数据发送给服务器2000，并且请求服务器2000通过将由分类数据选择器1430选择的数据应用于数据分类模型来将所述多个图像分类。此外，分类结果提供器1440可提供将所述多个图像分类成特定群组的结果。被分类成一个群组的图像可被存储在同一文件夹中。
电子设备1000的分类结果提供器1440可从服务器2000接收由服务器2000产生的分类模型，通过使用接收的分类模型分析图像，并且将所述多个图像分类。在这种情况下，电子设备1000的分类结果提供器1440可通过将由分类数据选择器1430选择的数据应用于从服务器200接收的分类模型来将所述多个图像分类。当电子设备1000从服务器2000接收分类模型以将所述多个图像分类时，在不必将用户数据(所述多个用户图像)发送给服务器2000的情况下，用户数据安全和个人信息保护可被加强。
图16是示出根据本公开的另一示例实施例的电子设备300的示例配置的框图。图16的电子设备300可以是图1的电子设备100的示例。
参照图16，根据实施例的电子设备300可包括控制器(例如，包括处理电路)330、传感器单元(例如，包括感测电路)320、通信单元(例如，包括通信电路)340、输出单元(例如，包括输出电路)350、输入单元(例如，包括输入电路)360、音频/视频(A/V)输入单元(例如，包括A/V输入电路)370和存储单元380。
图16的控制器330可与图11的处理器120相应，图16的存储单元380可与图11的存储器130相应，并且图16的显示器351可与图11的显示器140相应。因此，这里不重复与图11的细节相同的图16的细节。
通信单元340可包括各种通信电路，其中，各种通信电路包括使电子设备300与外部设备(例如，服务器)之间能够通信的至少一个组件。例如，通信单元340可包括短程无线通信单元341、移动通信单元342和广播接收单元343。
短程无线通信单元341可包括各种短程无线通信电路，诸如例如但不限于蓝牙通信单元、蓝牙低功耗(BLE)通信单元、近场通信(NFC)单元、无线局域网(WLAN)(Wi-Fi)通信单元、Zigbee通信单元、红外数据协会(IrDA)通信单元、Wi-Fi直连(WFD)通信单元、超宽带(UWB)通信单元和Ant+通信单元，但不限于此。
移动通信单元342可包括各种移动通信电路，并且在移动通信网络上向基站、外部终端和服务器中的至少一个发送无线信号以及从基站、外部终端和服务器中的至少一个接收无线信号。这里，无线信号可包括根据语音呼叫信号、视频电话呼叫信号或文本/多媒体消息的发送和接收具有各种格式的数据。
广播接收单元343可包括各种广播接收电路，并且通过广播信道从外部源接收广播信号和/或与广播相关的信息。广播信道可包括卫星信道或地面广播信道。根据实施例，电子设备300可以不包括广播接收单元343。
通信单元340可从外部设备接收至少一个图像。可选地，通信单元340可请求外部服务器发送特征提取模型和分类模型。通信单元340可将对多个图像分类的结果发送给外部服务器，并且接收基于所述结果更新的特征提取模型和分类模型。
输出单元350可包括各种输出电路并且输出音频信号、视频信号或振动信号，并且可包括显示器351、声音输出单元(例如，包括声音输出电路)352和振动电机353。由于以上已经参照图11描述了显示器351，因此不再提供显示器351的细节。
声音输出单元352可包括各种声音输出电路，并且输出从通信单元340接收的或者存储在存储单元380中的音频数据。此外，声音输出单元352输出与由电子设备100执行的功能相关的声音信号。声音输出单元352可包括例如但不限于扬声器或蜂鸣器。
振动电机353可输出振动信号。例如，振动电机353可输出与音频数据或视频数据的输出相应的振动信号。此外，当触摸屏被触摸时，振动电机353可输出振动信号。
控制器330可包括各种处理电路并且控制电子设备300的整体操作。例如，控制器330可运行存储在存储单元380中的程序以控制通信单元340、输出单元350、用户输入单元360、传感器单元320和A/V输入单元370。
输入单元360可包括用于输入用于控制电子设备300的数据的各种输入电路。用户输入单元360的示例包括例如但不限于键盘、圆顶开关、触摸板(触摸电容型、压力电阻膜型、红外光检测型、表面超声传导型、整体张力测量型或压电效应型)、滚轮和滚动开关中的一个或更多个，但不限于此。
传感器单元320可包括各种感测电路和/或传感器，不仅是用于感测用户的生物信息的传感器，还有用于检测电子设备300的状态或电子设备300周围的状态的传感器。此外，传感器单元320可将通过传感器感测的信息发送给控制器330。
传感器单元320可包括各种传感器和/或感测电路，诸如例如但不限于磁性传感器321、加速传感器322、温度/湿度传感器323、红外传感器324、握持传感器325、位置传感器326(例如，全球定位***(GPS))、大气传感器327、接近传感器328和红绿蓝(RGB)传感器329(照度传感器)中的一个或更多个，但不限于此。因为本领域的普通技术人员可基于每个传感器的名称直观地推断出每个传感器的功能，所以在此不描述每个传感器的细节。
A/V输入单元370可包括各种A/V输入电路并接收音频信号或视频信号，并且可包括例如但不限于相机371和麦克风372中的一个或更多个。在视频电话模式或拍摄模式下，相机371可经由图像传感器获得静态图像或运动图像的图像帧。可通过控制器330或单独的图像处理器(未示出)来处理经由图像传感器捕捉的图像。
通过相机371处理的图像帧可被存储在存储单元380中或通过通信单元340被发送给外部装置。根据电子装置300的实施例，可存在至少两个相机371。
麦克风372接收外部声音信号并且将外部声音信号处理成电子语音数据。例如，麦克风372可从外部装置或叙述者接收声音信号。麦克风372可使用各种噪声去除算法中的任何一种算法去除在接收外部声音信号时产生的噪声。
存储单元380可存储用于控制器330的处理和控制的程序，并且可存储输入/输出数据(例如，应用、内容、外部装置的时间轴信息和地址簿)。
存储单元380可包括闪存、硬盘、多媒体卡微型存储器、卡型存储器(例如，安全数字(SD)卡或极限数字(XD)卡)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘和光盘之中的至少一种类型的存储介质。此外，电子设备300可在互联网上对执行存储单元380的存储功能的网页存储器或云服务器进行操作。
存储在存储单元380中的程序可基于功能被分类成多个模块，并且可被分类成用户接口(UI)模块381、触摸屏模块382和通知模块383。
UI模块381可根据游戏应用提供链接到电子设备300的专用UI或GUI。触摸屏模块382可检测在触摸屏上的用户的触摸手势，并且将关于触摸手势的信息发送给控制器330。
触摸屏模块382可识别并分析触摸代码。触摸屏模块382可被配置为包括控制器的单独硬件。
通知模块383可产生用于通知在电子设备300中的事件产生的信号。由电子设备300产生的事件的示例包括呼叫信号接收、消息接收、键信号输入和日程通知。通知模块383可通过显示器351以视频信号格式输出通知信号、通过声音输出单元352以音频信号格式输出通知信号或者通过振动电机353以振动信号格式输出通知信号。
此外，根据实施例，图11中示出的电子设备100和图16中示出的电子设备300仅是示例，并且电子设备100或电子设备300的组件可被组合，或者元件可被添加到电子设备100或电子设备300或者元件可从电子设备100或电子设备300被省略。换句话说，如果有需要，则至少两个组件可被组合成一个组件，或者一个组件可被分为至少两个组件。此外，通过组件执行的功能仅是示例，并且详细的操作不限制本公开的范围。
以上描述的方法可通过按照经由使用各种计算机运行的计算机程序被实现而被记录在非暂时性计算机可读介质上。非暂时性计算机可读记录介质可包括程序命令、数据文件和数据结构中的至少一个。记录在非暂时性计算机可读记录介质中的程序命令可被专门地设计或者被计算机软件领域的普通技术人员公知。非暂时性计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等。计算机命令的示例包括通过编译器准备的机器代码和可由计算机通过使用解释器执行的高级语言。
此外，实施例可通过被包括在计算机程序产品中而被提供。计算机程序产品是可在销售者与购买者之间进行交易的产品。
计算机程序产品可包括软件程序和记录有软件程序的计算机可读记录介质。例如，计算机程序产品可包括由电子市场(例如，Google Play或者Appstore)或患者监测设备的制造商电子发布的软件程序形式的产品(例如，可下载的应用)。对于电子发布，软件程序的至少一部分可被存储在存储介质中或者可被临时地产生。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器、或临时地存储软件程序的中继服务器的存储介质。
计算机程序产品可包括在包括服务器和电子设备的***中的服务器的存储介质或电子设备的存储介质。可选地，当存在连接到服务器或电子设备的第三设备(例如，智能电话)时，计算机程序产品可包括第三设备的存储介质。可选地，计算机程序产品可包括从服务器发送给电子设备或发送给第三设备的软件程序或者从第三设备发送给电子设备的软件程序。
在这种情况下，服务器、电子设备和第三设备之一可通过运行计算机程序产品执行根据实施例的方法。可选地，服务器、电子设备和第三设备中的至少两个可运行计算机程序产品以发布并执行根据实施例的方法。
例如，服务器(例如，云服务器或AI服务器)可运行存储在服务器中的计算机程序产品以控制连接到服务器的电子设备执行根据实施例的方法。
作为另一示例，第三设备可运行计算机程序产品以控制连接到第三设备的电子设备执行根据实施例的方法。当第三设备运行计算机程序产品时，第三设备可从服务器下载计算机程序产品并运行下载的计算机程序产品。可选地，第三设备可运行被预先加载的计算机程序产品以执行根据实施例的方法。
根据实施例的电子设备可通过使用基于用户数据训练的特征提取模型和分类模型，通过使用针对用户优化的分类标准对多个图像进行分类和搜索。
在使用根据实施例的电子设备的图像搜索期间，用户能够在不必记住所有关键字并输入特定关键字的情况下找到期望的图像，因此可提高用户便利性。
根据实施例的电子设备可经由与语言模型互相配合自动地分配适合于图像的特征的关键字而不需要由用户分配关键字。
在已经参照示图描述了各种示例实施例的情况下，本领域的普通技术人员将理解，在不脱离在权利要求中阐明的本公开的精神和范围的情况下，可在所述示例实施例中做出形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：
显示器；
存储器，被配置为存储至少一个指令；以及
处理器，被配置为运行存储在存储器中的所述至少一个指令，
其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：
获得多个图像，
使用基于通用数据的特征提取模型提取关于所述多个图像的深度特征，
使用提取的深度特征和基于通用数据的分类模型将所述多个图像分类成特定群组，
在显示器上显示分类的结果，
使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新，并且
如果确定更新所述特征提取模型和所述分类模型中的至少一个模型，则使用所述电子设备的用户的数据训练并更新所述特征提取模型和所述分类模型中的至少一个模型，
其中，处理器被配置为基于分类成所述特定群组的图像的数量的平衡来确定所述特征提取模型和/或所述分类模型是否需要更新。
2.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备存储所述多个图像和所述深度特征。
3.如权利要求2所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备存储关于所述多个图像的呈可交换图像文件格式(EXIF)的所述深度特征。
4.如权利要求1所述的电子设备，其中，所述特征提取模型包括第一神经网络，以及
处理器被配置为运行所述至少一个指令以促使电子设备通过将所述多个图像中的每一个输入到第一神经网络来从第一神经网络中的至少一层提取向量，
其中，关于所述多个图像的所述深度特征中的每一个包括提取的向量。
5.如权利要求4的电子设备，其中，所述分类模型包括第二神经网络，第二神经网络被配置为基于关于所述多个图像的所述深度特征之间的相似度将所述多个图像分类成所述特定群组。
6.如权利要求5所述的电子设备，其中，关于所述多个图像的所述深度特征之间的相似度包括通过在所述深度特征中包括的向量之间的差值而确定的相似度的程度，其中，相似度的程度随着向量之间的差值增大而减小，相似度的程度随着向量之间的差值减小而增大，并且与被分类成一个群组的图像相应的向量之间的差值在预设的范围内。
7.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：获得第一图像，提取第一图像的深度特征，基于第一图像的深度特征从分类的所述多个图像之中提取至少一个图像，并且在显示器上显示提取的所述至少一个图像。
8.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备周期性地或基于接收的请求训练并更新所述特征提取模型和所述分类模型中的至少一个模型。
9.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：当所述分类模型被更新时，使用提取的所述深度特征和更新的分类模型将分类的所述多个图像重新分类。
10.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备进行以下操作：当所述特征提取模型被更新时，使用更新的特征提取模型重新提取关于分类的所述多个图像的深度特征，并且使用重新提取的深度特征和所述分类模型将分类的所述多个图像重新分类。
11.如权利要求1所述的电子设备，其中，当所述特征提取模型和所述分类模型中的至少一个模型被更新时，处理器被配置为运行所述至少一个指令以促使电子设备基于关于在所述多个图像被分类成的所述特定群组之中的第一群组中包括的多个图像的深度特征将所述第一群组中包括的多个图像重新分类成至少两个群组。
12.如权利要求1所述的电子设备，当所述特征提取模型和所述分类模型中的至少一个模型被更新时，处理器被配置为运行所述至少一个指令以促使电子设备将在所述多个图像被分类成的所述特定群组之中的第一群组和第二群组中包括的多个图像重新分类成一个群组。
13.如权利要求1所述的电子设备，其中，处理器被配置为运行所述至少一个指令以促使电子设备产生所述特定群组中的每一个的群组名称。
14.一种操作电子设备的方法，所述方法包括：
获得多个图像；
使用基于通用数据的特征提取模型提取关于所述多个图像的深度特征；
使用提取的所述深度特征和基于通用数据的分类模型将所述多个图像分类成特定群组；
显示分类的结果；
使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新；以及
如果确定更新所述特征提取模型和所述分类模型中的至少一个模型，则使用所述电子设备的用户的数据训练并更新所述特征提取模型和所述分类模型中的至少一个模型,
其中，确定所述特征提取模型和/或所述分类模型是否需要被更新的步骤包括基于分类成所述特定群组的图像的数量的平衡来确定所述特征提取模型和/或所述分类模型是否需要更新。
15.一种非暂时性计算机可读记录介质，在其上记录有指令，其中，所述指令在被处理器运行时促使电子设备执行操作以至少进行以下操作：
获得多个图像；
使用基于通用数据的特征提取模型提取关于所述多个图像的深度特征；
使用提取的所述深度特征和基于通用数据的分类模型将所述多个图像分类成特定群组；
显示分类的结果；
使用所述分类的结果确定所述特征提取模型和/或所述分类模型是否需要被更新；以及
如果确定更新所述特征提取模型和所述分类模型中的至少一个模型，则使用所述电子设备的用户的数据训练并更新所述特征提取模型和所述分类模型中的至少一个模型，
其中，确定所述特征提取模型和/或所述分类模型是否需要被更新的步骤包括基于分类成所述特定群组的图像的数量的平衡来确定所述特征提取模型和/或所述分类模型是否需要更新。
CN201880005869.1A 2017-01-03 2018-01-03 电子设备和操作该电子设备的方法 Active CN110168530B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2017-0000789 2017-01-03
KR20170000789 2017-01-03
KR10-2017-0136612 2017-10-20
KR1020170136612A KR102428920B1 (ko) 2017-01-03 2017-10-20 전자 장치 및 그 동작 방법
PCT/KR2018/000069 WO2018128362A1 (en) 2017-01-03 2018-01-03 Electronic apparatus and method of operating the same

Publications (2)

Publication Number Publication Date
CN110168530A CN110168530A (zh) 2019-08-23
CN110168530B true CN110168530B (zh) 2024-01-26

Family

ID=62917879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880005869.1A Active CN110168530B (zh) 2017-01-03 2018-01-03 电子设备和操作该电子设备的方法

Country Status (3)

Country Link
EP (1) EP3545436A4 (zh)
KR (1) KR102428920B1 (zh)
CN (1) CN110168530B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301720B1 (ko) 2018-07-10 2021-09-10 주식회사 엘지에너지솔루션 전기화학 커패시터 및 이의 제조 방법
KR102135477B1 (ko) * 2018-08-31 2020-07-17 엔에이치엔 주식회사 이미지 자동분류 방법 및 시스템
KR20200052440A (ko) 2018-10-29 2020-05-15 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP7225876B2 (ja) * 2019-02-08 2023-02-21 富士通株式会社 情報処理装置、演算処理装置および情報処理装置の制御方法
KR102259045B1 (ko) * 2019-03-20 2021-05-31 박주복 Vr 이미지 생성 방법 및 장치
WO2020256339A1 (ko) * 2019-06-18 2020-12-24 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20210048896A (ko) * 2019-10-24 2021-05-04 엘지전자 주식회사 전자 장치의 용도에 부적합한 물품의 검출
KR102144975B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
CN112906724A (zh) * 2019-11-19 2021-06-04 华为技术有限公司 一种图像处理装置、方法、介质及***
KR102293791B1 (ko) * 2019-11-28 2021-08-25 광주과학기술원 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
KR102476334B1 (ko) * 2020-04-22 2022-12-09 인하대학교 산학협력단 딥러닝 기반 일기 생성 방법 및 장치
KR20210155283A (ko) * 2020-06-15 2021-12-22 삼성전자주식회사 전자 장치 및 그 동작방법
CN112016595A (zh) * 2020-08-05 2020-12-01 清华大学 图像分类方法和装置、电子设备、可读存储介质
CN113850179A (zh) * 2020-10-27 2021-12-28 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
KR102434483B1 (ko) * 2020-12-17 2022-08-19 주식회사 알체라 생체인증 시스템의 관리 방법 및 이를 수행하기 위한 장치
KR102479718B1 (ko) * 2021-01-14 2022-12-21 대전대학교 산학협력단 Ar 장치를 위한 인공지능 기반의 이미지 인식 및 분류 방법, 및 그 시스템
WO2022158696A1 (ko) * 2021-01-25 2022-07-28 주식회사 제네시스랩 복수의 역량에 대한 역량평가를 수행하는 기계학습모델을 학습시키는 방법, 장치, 및 컴퓨터-판독가능매체
CN113254742B (zh) * 2021-07-14 2021-11-30 深圳市赛野展览展示有限公司 一种基于5g深度学习人工智能的展示装置
KR102422962B1 (ko) * 2021-07-26 2022-07-20 주식회사 크라우드웍스 다중 인공지능 모델의 연속 처리 구조에 기반한 이미지 자동 분류 및 처리 방법, 그리고 이를 실행시키기 위해 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105335712A (zh) * 2015-10-26 2016-02-17 小米科技有限责任公司 图像识别方法、装置及终端
WO2016077834A1 (en) * 2014-11-14 2016-05-19 Zorroa Corporation Systems and methods of building and using an image catalog
CN106104577A (zh) * 2014-03-07 2016-11-09 高通股份有限公司 照片管理

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738080B1 (ko) * 2005-11-08 2007-07-12 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
US20110169982A1 (en) * 2010-01-13 2011-07-14 Canon Kabushiki Kaisha Image management apparatus, method of controlling the same, and storage medium storing program therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104577A (zh) * 2014-03-07 2016-11-09 高通股份有限公司 照片管理
WO2016077834A1 (en) * 2014-11-14 2016-05-19 Zorroa Corporation Systems and methods of building and using an image catalog
CN105335712A (zh) * 2015-10-26 2016-02-17 小米科技有限责任公司 图像识别方法、装置及终端

Also Published As

Publication number Publication date
EP3545436A4 (en) 2020-05-06
KR102428920B1 (ko) 2022-08-04
KR20180080098A (ko) 2018-07-11
CN110168530A (zh) 2019-08-23
EP3545436A1 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
CN110168530B (zh) 电子设备和操作该电子设备的方法
US10970605B2 (en) Electronic apparatus and method of operating the same
WO2021180062A1 (zh) 意图识别方法及电子设备
US10528799B2 (en) Electronic apparatus and operation method thereof
US11222413B2 (en) Method for correcting image by device and device therefor
US11507851B2 (en) System and method of integrating databases based on knowledge graph
EP3531370B1 (en) Method for correcting image by device and device therefor
US11783191B2 (en) Method and electronic device for providing text-related image
KR20190016367A (ko) 객체를 인식하는 방법 및 장치
KR20200042739A (ko) 지식 그래프에 기초하여 콘텐트를 제공하는 시스템 및 방법
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
EP3756185B1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
KR102628042B1 (ko) 연락처 정보를 추천하는 방법 및 디바이스
KR20190034021A (ko) 객체를 인식하는 방법 및 장치
KR102420567B1 (ko) 음성 인식 장치 및 방법
US20240031644A1 (en) Video playback device and control method thereof
KR20180074568A (ko) 차선 정보를 추정하는 방법 및 전자 장치
KR20190053675A (ko) 전자 장치 및 그 동작 방법
KR20180074565A (ko) 전자 장치 및 그 동작 방법
KR102430567B1 (ko) 텍스트와 연관된 이미지 제공 방법 및 이를 위한 전자 장치
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
US11615327B2 (en) Artificial intelligence device for providing search service and method thereof
KR20180075227A (ko) 전자 장치 및 전자 장치의 검색 서비스 제공 방법
KR20200084428A (ko) 동영상을 제작하는 방법 및 그에 따른 장치
KR102582544B1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant