CN108141490A - 用于处理图像的电子设备及其控制方法 - Google Patents

Abstract

提供了一种电子设备。该电子设备包括处理器和与处理器电连接的存储器，其中，存储器可以存储如下指令，所述指令被执行以使得处理器能够：获得图像；以及输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

Description

用于处理图像的电子设备及其控制方法

技术领域

本公开涉及用于处理图像的电子设备及控制所述电子设备的方法。更具体地，本公开涉及用于分析图像的电子设备以及用于控制所述电子设备的方法。

背景技术

近年来，具有捕获和发送图像的功能的电子设备(例如，智能电话)已经广泛普及。结果，用户可以容易地向另一电子设备发送由他的电子设备捕获的图像，并且所述另一电子设备的用户可以看到所接收的图像。相关技术的电子设备整体下载图像，然后显示所下载的图像。

提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和断言上述任何内容是否可应用作关于本公开的现有技术。

发明内容

技术问题

因此，电子设备的用户直到电子设备下载图像并在拾取图像文件之后运行查看器应用才能看到所接收的图像。换句话说，电子设备需要下载图像并且执行查看器应用以通过显示器显示图像，使得用户看到图像内容。

技术方案

如上所述，相关技术的电子设备通过应用(例如，电子邮件、社交网络服务(SNS)或即时消息(IM))从提供对应服务的服务器接收图像。

然而，对于相关技术的电子设备，从来没有提供过如下这样的技术：掌握图像的内容，利用与用户相对应的信息来处理图像的内容，并且提供处理后的图像内容。

本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。因此，本公开的一方面在于提供用于处理图像的电子设备和用于控制所述电子设备的方法。

根据本公开的一方面，提供了一种电子设备。该电子设备包括处理器和与处理器电连接的存储器。存储器存储如下指令，所述指令被执行以使得处理器能够：获得图像，并且输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

根据本公开的另一方面，提供了一种用于控制电子设备的方法。所述方法包括：获得图像；以及输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其它方面、优点和突出特征对于本领域技术人员将变得清楚明白。

附图说明

根据结合附图的以下描述，本公开的某些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：

图1a是示出了根据本公开实施例的电子设备和网络的框图；

图1b是示出了根据本公开实施例的实现示例的概念图；

图2a是示出了根据本公开实施例的电子设备的框图；

图2b是示出了根据本公开实施例的电子设备的框图；

图3是示出了根据本公开实施例的程序模块的框图；

图4是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图5a是示出了根据本公开实施例的图像的概念图；

图5b是示出了根据本公开实施例的用于产生包括图像分析结果的输出消息的处理的概念图；

图6是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图7是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图8是示出了根据本公开实施例的输出消息的概念图；

图9是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图10a是示出了根据本公开实施例的关系信息的概念图；

图10b是示出了根据本公开实施例的输出消息转换的概念图；

图11是示出了根据本公开实施例的通过电子设备实现的消息转换的概念图；

图12是示出了根据本公开实施例的消息输出的概念图；

图13a至图13e是示出了根据本公开实施例的电子设备和服务器的操作的流程图；

图14是示出了根据本公开实施例的服务器的输出消息产生的概念图；

图15a至图15c是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图16a和图16b是示出了根据本公开实施例的电子设备的概念图；

图17是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图18是示出了根据本公开实施例的作为家庭服务器操作的电子设备的操作的概念图；

图19是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图20a是示出了根据本公开实施例的图像的概念图；

图20b是示出了根据本公开实施例的输出消息转换的概念图；

图21是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图22是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图23a至图23c是示出了根据本公开实施例的图像处理的概念图；

图24a至图24c是示出了根据本公开实施例的图像处理的概念图；

图25是示出了根据本公开实施例的所存储的识别结果数据结构的概念图；

图26是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图27是示出了根据本公开实施例的所存储的识别结果的数据结构的概念图；

图28是示出了根据本公开实施例的附加信息处理的流程图；

图29a至图29c是示出了根据本公开实施例的处理情绪信息和反映输出消息的概念图；

图30是示出了根据本公开实施例的获取情绪信息的流程图；

图31是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图32是示出了根据本公开实施例的电子设备的操作的概念图；

图33是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图34a和图34b是示出了根据本公开实施例的电子设备的概念图；

图35是示出了根据本公开实施例的输出消息转换的概念图；

图36是示出了根据本公开实施例的电子设备的操作的概念图；

图37是示出了根据本公开实施例的用于控制电子设备的方法的流程图；

图38是示出了根据本公开实施例的用于控制电子设备的方法的流程图；以及

图39是示出了根据本公开实施例的视频处理的概念图。

在整个附图中，相同的附图标记将被理解为指代相同的部件、组件和结构。

具体实施方式

提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。此外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，对于本领域技术人员来说应当清楚明白的是，提供本公开的各种实施例的以下描述以仅用于说明的目的，而不是用于限制由所附权利要求及其等同物限定的本公开的目的。

应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“组件表面”的引用包括对这样的表面中的一个或多个的引用。

如本文所使用的，术语“具有”、“可以具有”、“包括”或“可以包括”特征(例如，数字、功能、操作或诸如部件的组件)指示存在该特征，而不排除其它特征的存在。

如本文所使用的，术语“A或B”、“A和/或B中的至少一项”或“A和/或B中的一个或多个”可以包括A和B的所有可能组合。例如，“A或B”、“A和B中至少一项”、“A或B中至少一项”可以指代以下所有情形：(1)包括至少一个A，(2)包括至少一个B，或者(3)包括至少一个A和至少一个B。

如本文使用的，术语“第一”和“第二”可以修饰各种组件，而与重要性和/或顺序无关，并且被用于在不限制组件的情况下将组件与另一组件区分开来。例如，第一用户设备和第二用户设备可以指示彼此不同的用户设备，而与设备的顺序或重要性无关。例如，在不脱离本公开范围的情况下，第一组件可以被表示为第二组件，反之亦然。

将理解，当一元件(例如，第一元件)被称为(操作地或者通信地)“耦接到另一元件(例如，第二元件)/与另一元件耦接”或者“连接到另一元件/与另一元件连接”时，该元件可以直接耦接或连接至该另一元件，或者可以经由第三元件耦接或连接至该另一元件。相反，将理解，当一元件(例如，第一元件)被称为“直接耦接到另一元件(例如，第二元件)/与另一元件直接耦接”或者“直接连接到另一元件/与另一元件直接连接”时，没有其它元件(例如，第三元件)介于该元件和该另一元件之间。

如本文所使用的，根据具体情况，术语“被配置(或设置)为”可以与术语“适用于”、“具有......的能力”、“被设计为”、“适于”、“被制造为......”或者“能够......”互换使用。术语“被配置(或设置)为”本质上不是意指“在硬件(H/W)上被专门设计为...”。相反，术语“被配置为”可以意指设备可以与另一设备或部件一起执行操作。例如，术语“被配置(或设置)为执行A、B和C的处理器”可以意指可以通过执行存储设备中存储的一个或多个软件程序来执行操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))、或者用于执行操作的专用处理器(例如，嵌入式处理器)。

本文使用的术语仅被设置为描述其一些实施例，而不限制本公开的其它实施例的范围。本文使用的包括技术和科学术语在内的术语具有与本公开实施例所属领域的普通技术人员通常所理解的含义相同的含义。还应理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关技术的上下文中的含义相一致，而不应将其解释为理想的或过于正式的含义，除非本文明确如此定义。在一些情况下，本文中定义的术语可以被解释为排除本公开的实施例。

例如，根据本公开实施例的电子设备的示例可以包括以下至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型计算机、上网本计算机、工作站、个人数字助手(PDA)、便携多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、相机或可穿戴设备。根据本公开实施例，可穿戴设备可以包括以下至少一项：饰品型设备(例如，手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式设备(HMD))、衣料或服饰集成设备(例如，电子服饰)、身体附着型设备(例如，皮肤贴或纹身)、或身体植入式设备(例如，可植入电路)。

根据本公开实施例，电子设备可以是家用电器。家用电器的示例可以包括以下至少一项：电视(TV)、数字多功能盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、干燥器、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、TV盒(例如，Samsung HomeSync^TM、Apple TV^TM或Google TV^TM)、游戏机(Xbox^TM、PlayStation^TM)、电子词典、电子钥匙、摄像机或电子相框。

根据本公开实施例，电子设备的示例可以包括以下至少一项：各种医疗设备(例如，多功能便携式医疗测量设备(血糖测量设备、心跳测量设备或体温测量设备)、磁共振血管造影(MRA)设备、磁共振成像(MRI)设备、计算机断层扫描(CT)设备、成像设备或超声设备)、导航设备、全球导航卫星***(GNSS)接收机、事件数据记录仪(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、航海电子设备(例如，海航导航设备或陀螺仪罗盘)、航空电子设备、安保设备、车辆头单元、工业或家庭机器人、自动柜员机(ATM)、销售点(POS)设备、或物联网设备(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警警报器、恒温调节器、街灯、烤面包片机、健身器材、热水箱、加热器或烧水壶)。

根据本公开的各种实施例，电子设备的示例可以包括以下至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，用于测量水、电、燃气或电磁波的设备)。根据本公开实施例，电子设备可以是以上列出设备的一个或组合。根据本公开实施例，电子设备可以是柔性电子设备。本文公开的电子设备不限于以上列出的设备，并且可以根据技术的发展包括新电子设备。

在下文中，根据本公开各实施例，参考附图描述电子设备。如本文所使用的，术语“用户”可以表示使用电子设备的人或另一设备(例如，人工智能电子设备)。

图1a是示出了根据本公开实施例的电子设备和网络的框图。

参考图1a，电子设备101包括在网络环境100中。电子设备101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信模块170。在一些实施例中，电子设备101可以不包括这些组件中的至少一个，或者可以添加另一组件。

总线110可以包括用于将组件110至170相互连接并且在组件之间传送通信(例如，控制消息和/或数据)的电路。

处理模块120可以包括CPU、AP、通信处理器(CP)、图形处理器(GP)、多芯片封装(MCP)或图像处理器(IP)中的一个或多个。处理器120可以对电子设备101的至少一个其它组件执行控制，和/或执行与通信相关的操作或数据处理。

存储器130可以包括易失性和/或非易失性存储器。例如，存储器130可以存储与电子设备101的至少一个其它组件相关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140可以包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145中的至少一部分可以被表示为操作***(OS)。

例如，内核141可以控制或管理用于执行在其它程序(例如，中间件143、AP1 145或应用程序147)中实现的操作或功能的***资源(例如，总线110、处理器120或存储器130)。内核141可以提供允许中间件143、API 145或应用147访问电子设备101的各个组件以控制或管理***资源的接口。

例如，中间件143可以作为中继器，以允许API 145或应用147与内核141进行数据通信。

此外，中间件143可以按照优先级顺序处理从应用程序147接收到的一个或多个任务请求。例如，中间件143可以向应用程序147中的至少一个指派使用至少一个电子设备101的***资源(例如，总线110、处理器120或存储器130)的优先级。例如，中间件143可以通过根据指派给至少一个应用程序147的优先级来处理一个或多个任务请求，来对该一个或多个任务请求执行调度或负载均衡。

API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API145可以包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如，命令)。

输入/输出接口150可以用作可以例如向电子设备101的其它组件传送从用户或其它外部设备输入的命令或数据的接口。此外，输入/输出接口150可以向用户或其它外部设备输出从电子设备101的其它组件接收到的命令或数据。输入/输出接口150可以包括例如触摸输入设备、语音输入单元和各种遥控设备。输入/输出设备150可以是用于向用户提供特定服务的至少一个或多个装置。例如，当要传送的信息是声音时，输入/输出接口150可以是扬声器，并且当信息是文本或图像内容时，输入/输出设备150可以是显示设备。此外，为了在用户不接近电子设备101的情况下提供服务，要输出的数据可以通过通信模块被传送到至少一个或多个其它电子设备，然后可以被输出。这里，其它电子设备可以是扬声器或其它显示设备。

显示器160可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器或微机电***(MEMS)显示器或电子纸显示器。显示器160可以向用户显示例如各种内容(例如，文本、图像、视频、图标或符号)。显示器160可以包括触摸屏，并且可以接收例如通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。

例如，通信模块170可以建立电子设备101和外部设备(例如，第一电子设备102、第二电子设备104或服务器106)之间的通信。例如，通信模块170可以通过无线或有线通信与网络162相连，以与外部电子设备(例如，第二外部电子设备104或服务器106)进行通信。通信模块170可以是使得能够与其它电子设备传送至少一个或多个数据项目的装置，并且可以通过至少一个或多个通信标准(比如，Wi-Fi、ZigBee、蓝牙、长期演进(LTE)、第三代(3G)或红外(IR)协议)与其它电子设备通信。

无线通信可以是蜂窝通信协议，并且可以使用以下至少一项：例如，LTE、LTE-高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信***(UMTS)、无线宽带(WiBro)或全球移动通信***(GSM)。此外，无线通信可以包括例如短距离通信164。短距离通信164可以包括Wi-Fi、蓝牙、近场通信(NFC)或GNSS中的至少一个。GNSS可以包括以下至少一项：例如，全球定位***(GPS)、全球导航卫星***(GLONASS)、北斗导航卫星***(在下文中称为“北斗”)或伽利略、或欧洲全球卫星导航***。在下文中，术语“GPS”和“GNSS”在本文中可以互换使用。有线连接可以包括以下至少一项：例如，通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准(RS)-232或普通老式电话业务(POTS)。网络162可以包括通信网络中的至少一个，例如，计算机网络(例如，局域网(LAN)或广域网(WAN))、互联网或电话网络。

第一外部电子设备102和第二外部电子设备104均可以是与电子设备101相同或不同类型的设备。根据本公开的实施例，服务器106可以包括具有一个或多个服务器的组。根据本公开的实施例，在电子设备101上执行的操作中的全部或一些可以在另一电子设备或多个其它电子设备(例如，电子设备102和104或服务器106)上执行。根据本公开实施例，当电子设备101应自动或者根据请求执行一些功能或服务时，电子设备101可以不是自己或附加地执行该功能或服务，而是可以请求另一设备(例如，电子设备102和104或服务器106)执行与该功能或服务相关联的至少一些功能。其它电子设备(例如，电子设备102和104或服务器106)可以执行所请求的功能或附加功能，并向电子设备101传送执行的结果。电子设备101可以通过按原样或附加地处理接收到的结果来提供所请求的功能或服务。为此，可以使用例如云计算、分布式计算或客户端-服务器计算技术。

图1b是示出了根据本公开实施例的实现示例的概念图。

参考图1b，电子设备101可以以机器人的形式实现。电子设备101可以包括头部190和身体部分193。头部190可以设置在身体部分193上。在实施例中，头部190和身体部分193可以分别被实现为人类的头部和身体的形状。例如，头部190可以包括与人类的脸部的形状相对应的前盖161。电子设备101可以包括设置在与前盖161相对应的位置处的显示器160。例如，显示器160可以设置在前盖161的内部，在这种情况下，前盖161可以由透明或半透明材料形成。或者，前盖161可以是可以显示任何屏幕的设备，并且在这种情况下，前盖161和显示器160可以被实现为单个H/W设备。前盖161可以包括：至少一个或多个各种传感器，用于在与用户交互的方向上进行图像感测；至少一个或多个麦克风，用于获得语音；以及至少一个或多个H/W或器械结构，其可以是器械眼结构或用于输出屏幕的显示器，能够通过短暂的器械变化或不区分方向形式的光进行显示，并且可以在与用户交互时对准用户。

头部190还可以包括通信模块170和传感器171。通信模块170可以从发送方(或发送人)接收消息，并且向接收方(或接收人)发送转换后的消息。根据本公开的实施例，通信模块170可以被实现为麦克风，并且在这种情况下，通信模块170可以从用户接收语音。根据本公开的实施例，通信模块170可以被实现为扬声器，并且在这种情况下，通信模块170可以将转换后的消息输出为语音。

传感器171可以获得关于外部环境的至少一个信息。例如，传感器171可以被实现为相机，并且在这种情况下，传感器171可以捕获外部环境。电子设备101可以根据捕获结果来识别接收方。传感器171可以感测接收方对电子设备101的接近。传感器171可以根据接近信息或基于来自接收方使用的电子设备的信号来感测接收方的接近。此外，传感器171还可以感测用户的动作或位置。

根据本公开的实施例，传感器171可以被实现为相机，以拍摄用户的照片。在这种情况下，存储器130可以存储如下指令，所述指令被执行以使得处理器120能够：基于来自相机的数据识别用户，并且输出基于与识别用户的结果相对应的附加信息而产生的消息。

驱动器191可以包括用以致动头部190的至少一个电机，例如改变头部190的方向。驱动器191可以用于移动或以器械方式改变其它组件。此外，驱动器191可以是能够相对于至少一个或多个轴向上、向下、向左或向右移动的形式，并且可以被实现为具有各种形式。电源192可以向电子设备101馈送电力。

处理器120可以通过通信模块170或传感器171从发送方获得消息。处理器120可以包括至少一个消息分析模块。所述至少一个消息分析模块可以从发送方产生的消息中提取要传送给接收方的主要内容，或者可以对内容进行分类。

存储器130是用于永久地或暂时地存储与向用户提供服务相关的信息的存储设备。存储器130可以存在于电子设备中，或者可以通过网络存在于云端或其它服务器中。存储器130可以存储用于用户认证的个人信息、与向用户提供服务的方式相关的属性相关信息、或者用于掌握可以与电子设备101交互的各种装置之间的关系的信息。这里，关系信息可以随着电子设备101被使用而被更新，或者可以被研究和改变。处理器120可以负责控制电子设备101，并且可以在功能上控制传感器171、输入/输出接口150、通信模块170和存储器130，以向用户提供服务。此外，存储器130或处理器120的至少一部分可以包括可以确定电子设备101可获得的信息的信息确定单元。这里，信息确定单元可以从通过传感器171或通信模块170获得的信息中提取用于服务的至少一个或多个数据。

同时，电子设备101的机器人型实现仅仅是示例，并且对于实现的类型没有限制。

根据本公开的实施例，存储器130可以存储如下指令，所述指令被执行以使得处理器120能够：获得图像，并且输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

根据本公开的实施例，附加信息可以包括独立于图像分析结果的信息。

根据本公开的实施例，附加信息可以包括以下至少一项：图像的发送方与图像的接收方之间的关系、图像的发送方与电子设备之间的关系、或者图像的接收方与电子设备之间的关系。

根据本公开的实施例，附加信息可以包括图像的元数据。

根据本公开的实施例，附加信息可以包括来自与输出消息的应用不同的应用的信息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令被执行以使得处理器120能够：识别图像的元数据，并且从与所识别的元数据相对应的不同应用获得信息。

根据本公开的实施例，附加信息可以包括与图像分析结果的至少一部分相关的信息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令用于：获得识别图像的第一对象的结果，获得与识别第一对象的结果相对应的关于第一对象的信息来作为附加信息，并且基于第一对象相关信息和图像分析结果来产生输出消息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令用于：识别第一对象的形状，将预先存储的对象模板与第一对象的形状进行比较，并且获得与和第一对象的形状相比具有等于或大于预定阈值的相似度的对象模板相对应的对象相关信息来作为第一对象相关信息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令用于：获得与所述图像不同的图像，从所述不同的图像识别对象模板并存储所识别的对象模板，并且将与对象模板相关的信息存储为对象相关信息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令用于：获得图像，分析所获得的图像以产生消息，获得附加信息，并且使用所获得的附加信息对消息进行转换并输出转换后的消息。

根据本公开的实施例，存储器130可以存储如下指令，所述指令用于：当通信模块接收到解释电子设备在第一点接收到的图像的数据时，执行控制以显示解释图像的数据；并且当获得用于下载图像的命令时，控制通信模块发送用于下载图像的请求。

图2a是示出了根据本公开实施例的电子设备的框图。

参考图2a，电子设备201可以包括例如图1a所示的电子设备101的配置的整体或部分。电子设备201可以包括一个或多个处理器(例如，AP)210、通信模块220、订户识别模块(SIM)224、存储器230、传感器模块240、输入设备250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298。

处理器210可以通过运行例如OS或应用程序来控制连接到处理器210的多个H/W和软件组件，并且处理器210可以处理和计算各种数据。处理器210可以在例如片上***(SoC)中实现。根据本公开的实施例，处理器210还可以包括图形处理单元(GPU)和/或图像信号处理器(ISP)。处理器210可以包括图2a所示的组件中的至少一些(例如，蜂窝模块221)。处理器210可以将从至少一个其它组件(例如，非易失性存储器)接收的命令或数据加载到易失性存储器上，处理所述命令或数据，并且将各种数据存储在非易失性存储器中。

通信模块220可以具有与图1a的通信接口170相同或相似的配置。通信模块220可以包括例如蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227(例如，GPS模块、GLONASS模块、北斗模块或伽利略模块)、NFC模块228和射频(RF)模块229。

蜂窝模块221可以通过例如通信网络提供语音呼叫、视频呼叫、文本或互联网服务。蜂窝模块221可以使用SIM 224(例如，SIM卡)在通信网络中对电子设备201执行识别或认证。根据本公开的实施例，蜂窝模块221可以执行处理器210可提供的功能中的至少一些。根据本公开的实施例，蜂窝模块221可以包括CP。

Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228可以包括例如用于处理通过该模块传送的数据的处理。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一些(例如，两个或更多个)可以包括在单个集成电路(IC)或IC封装中。

RF模块229可以传送例如通信信号(例如，RF信号)的数据。RF模块229可以包括例如收发机、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)或天线。根据本公开的实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227或NFC模块228中的至少一个可以通过单独的RF模块来传送RF信号。

SIM 224可以包括例如含有SIM和/或嵌入式SIM的卡，并且可以包含唯一识别信息(例如，集成电路卡标识符(ICCID))或订户信息(例如，国际移动订户标识(IMSI))。

存储器230(例如，存储器130)可以包括例如内部存储器232或外部存储器234。内部存储器232可以包括以下至少一项：例如，易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)或非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩膜ROM、闪存ROM、闪存(例如，NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD))。

外部存储器234可以包括闪存驱动器，例如，紧凑型闪速(CF)存储器、安全数字(SD)存储器、微型SD存储器、迷你型SD存储器、极限数字(xD)存储器、多媒体卡(MMC)或存储棒^TM。外部存储器234可以经由各种接口与电子设备201功能地和/或物理地连接。

例如，传感器模块240可以测量物理量或检测电子设备201的运动状态，并且传感器模块240可以将测量的或检测的信息转换为电信号。传感器模块240可以包括以下至少一项：例如，手势传感器240A、陀螺仪传感器240B、气压传感器240C、磁传感器240D、加速度传感器240E、握持传感器240F、接近传感器240G、颜色传感器240H(例如，红-绿-蓝(RGB)传感器)、生物传感器240I、温度/湿度传感器240J、照度传感器240K或紫外(UV)传感器240M。附加地或备选地，感测模块240可以包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、虹膜传感器或指纹传感器。传感器模块240还可以包括用于控制感测模块中包括的至少一个或多个传感器的控制电路。根据本公开的实施例，电子设备201还可以包括被配置为控制传感器模块240的处理器，作为处理器210的一部分或与处理器210分离，并且当处理器210处于睡眠模式时，电子设备201可以控制传感器模块240。

输入单元250可以包括例如触摸面板252、(数字)笔传感器254、按键256或超声输入设备258。触摸面板252可以使用电容式、电阻式、IR或超声方法中的至少一种。触摸面板252还可以包括控制电路。触摸面板252还可以包括触觉层，并可以向用户提供触觉反应。

(数字)笔传感器254可以包括例如触摸面板的一部分或用于识别的单独片。按键256可以包括例如物理按钮、光学按键或键区。超声输入设备258可以通过麦克风(例如，麦克风288)感测从输入工具产生的超声波，以识别与所感测的超声波相对应的数据。

显示器260(例如，显示器160)可以包括面板262、全息设备264或投影仪266。面板262可以具有与图1a的显示器160相同或相似的配置。面板262可以被实现为柔性的、透明的或可穿戴的。面板262还可以与触摸面板252并入在一个模块中。全息设备264可以通过使用光干涉在空气中形成三维(3d)图像(全息图)。投影仪266可以通过将光投影到屏幕上来显示图像。该屏幕可以位于例如电子设备201的内部或外部。根据实施例，显示器260还可以包括用于控制面板262、全息设备264或投影仪266的控制电路。

接口270可以包括例如HDMI 272、USB 274、光学接口276或D-超小型(D-sub)278。接口270可以包括在例如图1a所示的通信接口170中。附加地或备选地，接口270可以包括移动高清链路(MHL)接口、SD卡/MMC接口或红外数据协会(IrDA)标准接口。

例如，音频模块280可以将声音转换为电信号，反之亦然。音频模块280的至少一部分可以包括在例如图1a所示的输入/输出接口150中。音频模块280可以处理通过例如扬声器282、听筒284、耳机286或麦克风288输入或输出的声音信息。

例如，相机模块291可以是用于捕获静态图像和视频的设备，并且根据本公开的实施例，可以包括一个或多个图像传感器(例如，前置传感器和后置传感器)、镜头、ISP或闪光灯(比如，LED或氙灯)。

例如，电源管理模块295可以管理电子设备201的电力。虽然未示出，但是根据本公开的实施例，电源管理模块295可以包括电源管理IC(PMIC)、充电器IC、或电池量表或燃料表(fuel gauge)。PMIC可以具有有线和/或无线再充电方案。无线充电方案可以包括例如磁共振方案、磁感应方案或基于电磁波的方案，并且可以添加用于无线充电的附加电路(例如，线圈回路、谐振电路、整流器等)。电池量表可以测量电池296的剩余电量、在电池296被充电时的电压、电流或温度。电池296可以包括例如可再充电电池或太阳能电池。

指示器297可以指示电子设备201或者电子设备的一部分(例如，处理器210)的特定状态，包括例如引导状态、消息状态或再充电状态。电机298可以将电信号转换为机械振动，并可以产生振动或触觉效果。虽然未示出，但是用于支持移动TV的处理单元(比如，GPU)可以包括在电子设备201中。用于支持移动TV的处理单元可以处理与针对数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFlo^TM的标准相符合的媒体数据。

电子设备的上述组件中的每一个可以包括一个或多个部件，并且部件的名称可以随着电子设备的类型而变化。根据本公开各实施例的电子设备可以包括上述组件中的至少一个，省略它们中的一些，或者包括其它附加组件。一些组件可以组合为一个实体，但是该实体可以执行这些组件可执行的相同功能。

图2b是示出了根据本公开实施例的电子设备的框图。

参考图2b，处理器210可以与图像识别模块241连接。此外，处理器可以与行为模块244连接。图像识别模块241可以包括二维(2D)相机242和深度相机243中的至少一个。图像识别模块241可以基于捕获的结果执行识别，并且向处理器210传送识别的结果。行为模块244可以包括面部表情电机245、身体姿势电机246和移动电机247中的至少一个。处理器210可以控制面部表情电机245、身体姿势电机246和移动电机247中的至少一个，以控制以机器人形式实现的电子设备101的移动。除了图2a所示的元件之外，电子设备101可以包括图2b所示的元件。

图3是示出了根据本公开实施例的程序模块的框图。

参考图3，程序模块310(例如，程序140)可以包括控制与电子设备(例如，电子设备101)相关的资源的OS和/或在操作***上驱动的各种应用(例如，AP 147)。OS可以包括例如Android、iOS、Windows、Symbian、Tizen或Bada。

程序310可以包括例如内核320、中间件330、API 360和/或应用370。程序模块310的至少一部分可以预先加载到电子设备上，或者可以从外部电子设备(例如，电子设备102和104或服务器106)下载。

内核320(例如，内核141)可以包括例如***资源管理器321和/或设备驱动器323。***资源管理器321可以执行对***资源的控制、分配或者恢复。根据本公开的实施例，***资源管理器321可以包括进程管理单元、存储器管理单元或文件***管理单元。设备驱动器323可以包括例如显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键区驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。

中间件330可以通过API 360向应用370提供各种功能，从而应用370可以有效地使用电子设备中的有限***资源，或者提供应用370所共同需要的功能。根据本公开的实施例，中间件330(例如，中间件143)可以包括以下至少一项：运行时间库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。

运行时间库335可以包括由编译器使用的库模块，以便在例如执行应用370的同时通过编程语言添加新的功能。运行时间库335可以执行输入/输出管理、存储器管理或关于算术函数的运算。

应用管理器341可以管理例如应用370中的至少一个应用的生命周期。窗口管理器342可以管理在屏幕上使用的GUI资源。多媒体管理器343可以掌握播放各种媒体文件所必需的格式，并使用适于格式的编解码器来对媒体文件执行编码或解码。资源管理器344可以管理资源，例如应用370中的至少一个的源代码、存储器或存储空间。

电源管理器345可以与例如基本输入/输出***(BIOS)一同操作，以便管理电池或电源，并且提供用于操作电子设备所需的电力信息。数据库管理器346可以产生、搜索或改变要在至少一个应用370中使用的数据库。包管理器347可以管理以包文件形式分发的应用的安装或更新。

连接管理器348可以管理无线连接，例如Wi-Fi或蓝牙。通知管理器349可以以不干扰用户的方式向用户显示或通知诸如到达消息、预约或接近通知的事件。位置管理器350可以管理与电子设备有关的位置信息。图形管理器351可以管理将向用户提供的图形效果以及与图形效果相关的用户界面。安全管理器352可以提供用于***安全或用户认证所需的各种安全功能。根据本公开的实施例，当电子设备(例如，电子设备101)具有电话功能时，中间件330还可以包括电话管理器，用于管理电子设备的语音呼叫或视频呼叫功能。

中间件330可以包括形成上述组件的各种功能的组合的中间件模块。中间件330可以提供根据OS的类型而专门化的模块，以便提供差异化功能。此外，中间件330可以动态省略一些现有组件或添加新组件。

API 360(例如，API 145)可以是例如API编程函数的集合，并可以根据OS具有不同配置。例如，在Android或iOS的情况下，可以针对每个平台提供一个API集，在Tizen的情况下，可以针对每个平台提供两个或更多API集。

应用370(例如，AP 147)可以包括可提供如下功能的一个或多个应用，所述功能诸如：主页371、拨号器372、短消息服务(SMS)/多媒体消息传送服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、联系人378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383或时钟384、健康护理(例如，测量运动程度或血糖)或提供环境信息(例如，提供气压、湿度或温度信息)。

根据本公开的实施例，应用370可以包括用于支持电子设备(例如，电子设备101)与外部电子设备(例如，电子设备102和104)之间的信息交换的应用(下文中，为了方便将其称为“信息交换应用”)。信息交换应用的示例可以包括但不限于：用于向外部电子设备传送特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。

例如，通知中继应用可以包括用于向外部电子设备(例如，电子设备102和104)中继从电子设备的其它应用(例如，SMS/MMS应用、电子邮件应用、健康护理应用或环境信息应用)产生的通知信息的功能。此外，通知中继应用可以从例如外部电子设备接收通知信息，并且可以向用户提供接收到的通知信息。

设备管理应用可以执行与电子设备通信的外部电子设备(例如，电子设备102或104)的至少一些功能(例如，打开/关闭外部电子设备(或外部电子设备的一些组件)或控制显示器的亮度(或分辨率))，并且设备管理应用可以管理(例如，安装、删除或更新)在外部电子设备中操作的应用或从外部电子设备提供的服务(例如，呼叫服务或消息服务)。

根据本公开的实施例，应用370可以包括根据外部电子设备(例如，电子设备102和104)的属性指定的应用(例如，移动医疗设备的健康护理应用)。根据本公开的实施例，应用370可以包括从外部电子设备(例如，服务器106或电子设备102和104)接收的应用。根据本公开的实施例，应用370可以包括预先加载的应用或可从服务器下载的第三方应用。根据所示实施例的程序模块310的组件的名称可以根据OS的类型而变化。

图4是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图5a和图5b更详细地描述与图4相关的实施例。

图5a是示出了根据本公开实施例的图像的概念图。图5b是示出了根据本公开实施例的用于产生包括图像分析结果的输出消息的处理的概念图。

参考图4，在操作410中，电子设备101可以获得图像。根据本公开的实施例，电子设备101可以包括相机模块，并且通过相机模块获得图像。根据本公开的实施例，电子设备101可以通过设置在前部、用以捕获电子设备101前面的相机模块来获得图像。根据本公开的实施例，电子设备101可以通过设置在后部、用以捕获电子设备101后面的相机模块来获得图像。相机模块的类型和数量不受限制。例如，根据本公开的实施例，电子设备101可以包括设置在前部或后部的两个或更多个相机模块，并且电子设备101可以使用由两个或更多个相机模块捕获的数据来产生图像，从而获得图像。当电子设备101以机器人的形式实现时，电子设备101可以通过传感器171获得图像。

根据本公开的实施例，电子设备101可以通过通信模块从另一电子设备获得图像。例如，电子设备101可以通过与另一电子设备的短距离通信来获得图像，或者电子设备101可以通过无线通信使用web浏览从另一移动终端或服务器接收图像。备选地，电子设备101的处理器120可以通过加载存储器130中存储的图像来获得图像。

参考图5a，根据本公开的实施例，电子设备101可以获得图像510。图像510可以包括对象：穿着连衣裙的女孩。

在操作420中，电子设备101可以通过分析获得的图像来获得第一信息。根据本公开的实施例，电子设备101可以分析图像510，并且获得描述对象511的分析结果。例如，电子设备101可以获得作为分析结果的指示“女孩穿着连衣裙”的第一信息，来作为分析图像510的结果。根据本公开的实施例，电子设备101可以使用各种图像分析技术来获得图像分析结果。例如，电子设备101可以使用基于深度学习方法或机器学习方法的识别算法(例如，图像说明文字算法，image caption algorithm)来获得图像分析结果。具体地，基于深度学习方法或机器学习方法的图像说明文字算法可以通过分析多个图像来识别图像内特定对象的属性，并且通过学习来更新所识别的属性，从而减少识别错误。根据本公开的实施例，电子设备101可以通过现有的各种识别算法来获得图像分析结果。本领域的普通技术人员可以容易地理解，可以没有限制地使用通过分析图像来识别图像内容的任何识别算法。根据本公开的实施例，电子设备101可以存储识别算法，并且使用识别算法来获得图像分析结果。在实施例中，电子设备101可以向另一电子设备发送包括所获得的图像的查询。该另一电子设备可以将所接收到的查询应用于识别算法以获得图像分析结果，并且作为查询的响应，可以向电子设备101发送图像分析结果。电子设备101可以获得图像分析结果来作为查询的响应。如上所述，电子设备101可以获得指示“女孩穿着连衣裙”的第一信息。例如，电子设备101可以识别图像内的脸部对象并且识别女孩的脸部。电子设备101还可以识别脸部对象的下部的连衣裙对象。因为连衣裙对象被置于脸部对象的下部，因此电子设备101可以获得指示女孩穿着连衣裙的图像分析结果。如上所述，电子设备101可以基于以下项中的至少一个来获得图像分析结果：至少一个对象识别结果，或对象之间的至少一个关系。

在操作430中，电子设备101可以获得作为附加信息的第二信息。根据本公开的实施例，第二信息可以包括独立于作为图像分析结果的第一信息的信息。例如，第二信息可以包括以下至少一项：发送图像的发送方与接收图像的接收方之间的关系信息、发送方与电子设备101之间的关系信息、或者接收方与电子设备101之间的关系信息。此外，第二信息可以包括与作为图像分析结果的第一信息相关的信息。电子设备101可以根据预定输入来获得独立于第一信息的第二信息，或者可以通过学习外部环境的结果来获得第二信息。例如，电子设备101可以获得指示电子设备101与接收方之间的关系是“朋友关系”的关系信息。如上所述，指示“朋友关系”的关系信息可以预先由用户确定，或者可以基于用户与电子设备101之间的交互通过学习结果来获得。

根据本公开的实施例，第二信息可以包括与图像分析结果中包括的至少一个识别的对象相关的信息。例如，第二信息可以包括与指示“女孩穿着连衣裙”的第一信息中的“女孩”或“连衣裙”相关的信息。具体地，第二信息可以包括“连衣裙”的价格、购买细节或换衣历史，或者可以包括指示“女孩”是接收方的“孙女”的信息。电子设备101可以根据预定输入来获得与识别的对象相关的信息，或者可以通过学习外部环境的结果来获得。

在操作440中，电子设备101可以输出基于第一信息和第二信息产生的消息。例如，如图5b所示，电子设备101可以输出消息520和消息530，其中消息520包括指示“女孩穿着连衣裙”的第一信息，消息530包括与“朋友关系”相对应的第二信息“老兄”和“孙女”(例如，“老兄，您的孙女穿上了连衣裙。”)。电子设备101可以使用第二信息的属性来产生消息530。具体地，因为基于关系信息的单词“老兄”的属性是称呼，因此电子设备101可以在句子的前部布置单词“老兄”。此外，因为单词“孙女”的属性是能够替代“女孩”的单词，因此电子设备101可以用“孙女”替代第一信息中的“女孩”。同时，电子设备101可以基于电子设备101与接收方之间的关系信息(例如，“朋友关系”的关系信息)附加地将“穿着”转换为“穿上”。因此，电子设备101可以输出指示“老兄，孙女穿上了连衣裙”的消息530。输出的消息530可以包括指示“穿上了连衣裙”的第一信息和指示“老兄”和“孙女”的第二信息两者。如上所述，电子设备101可以输出包括图像分析结果和附加信息在内的消息。

同时，电子设备101可以基于来自相机的数据来识别用户(例如，消息的接收方)。当用户是图像中识别的女孩的祖父时，电子设备101可以用“孙女”替代“女孩”。类似地，例如，当用户是图像中识别的女孩的父亲时，电子设备101可以用“女儿”替代“女孩”。

图6是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

在操作610中，电子设备101可以获得图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。

在操作620中，电子设备101可以分析所获得的图像，并且产生输出消息。根据本公开的实施例，电子设备101可以对图像应用识别算法，并且获得图像分析结果。电子设备101可以产生包括图像分析结果的输出消息。例如，如图5b的左侧实施例所示，电子设备101可以产生包括分析图像510的结果在内的输出消息520，例如，“女孩穿着连衣裙”。

在操作630中，电子设备101可以获得作为附加信息的第二信息。例如，电子设备101可以获得独立于图像分析结果的电子设备101与接收方之间的关系信息(例如，“朋友关系”)，来作为第二信息。此外，电子设备101可以获得指示与图像分析结果相关的“女孩”是接收方的“孙女”的第二信息。根据本公开的实施例，电子设备101可以根据先前输入的信息或学习结果来获得第二信息。

在操作640中，电子设备101可以使用第二信息来转换所产生的输出消息。例如，电子设备101可以基于指示“朋友关系”的第二信息，在句子的前部中包括“老兄”。此外，电子设备101可以基于第二信息“朋友关系”，将句子中的动词从“穿着”转换为“穿上”。同时，电子设备101可以基于指示“女孩”是接收方的孙女的第二信息，用“孙女”替代输出消息中的“女孩”。电子设备101可以产生通过使用第二信息转换的消息，例如“孙女穿上了连衣裙”。在操作650中，电子设备101可以输出转换后的输出消息。图5b的实施例示出了电子设备101输出转换为语音的输出消息，但是该实施例仅仅是示例，并且对输出消息的方式没有限制，只要输出消息是用户可识别的即可。

图7是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图8详细地描述与图7相关的实施例。

图8是示出了根据本公开实施例的输出消息的概念图。

参考图7，在操作710中，电子设备101可以获得图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。例如，电子设备101可以获得如图5a所示的图像510。

在操作720中，电子设备101可以分析所获得的图像，并且产生输出消息。根据本公开的实施例，电子设备101可以对图像应用识别算法，并且获得图像分析结果。电子设备101可以产生包括图像分析结果的输出消息。例如，如图8的左侧实施例所示，电子设备101可以产生包括分析图像510的结果在内的输出消息850，例如，“女孩穿着连衣裙”。

在操作730中，电子设备101可以识别所获得的图像510中的人。例如，电子设备101可以根据分析图像510的结果来识别“女孩”。电子设备101可以使用例如“女孩”的脸部识别来识别“女孩”的身份。电子设备101可以识别出“女孩”的身份是Jane。电子设备101可以将图像510中的人的脸部与预先存储的用于脸部识别的模板进行比较，并且基于比较的结果来识别图像510中的人。

在操作740中，电子设备101可以确定所识别出的人与输出消息的接收方之间的关系。例如，电子设备101可以通过使用与所识别出的人相关的信息来确定所识别出的人与接收方之间的关系。电子设备101可以存储与Jane相关的各种信息。电子设备101可以存储与用于脸部识别的模板相关的信息(例如，个人信息或家庭关系信息)。电子设备101可以预先存储家庭关系信息，例如，指示Jane是输出消息的接收方(例如，James)的孙女。

在操作750中，电子设备101可以基于所识别出的人与输出消息的接收方之间的关系来转换所产生的输出消息。例如，在输出消息850(例如，“女孩穿着连衣裙”)中，电子设备101可以基于指示主体“女孩”是接收方(例如，James)的孙女的附加信息，用“孙女”替代“女孩”。

在操作760中，电子设备101可以输出转换后的输出消息。例如，如图8的实施例所示，电子设备101可以输出转换后的输出消息860，例如“孙女穿着连衣裙”。同时，根据本公开的实施例，电子设备101可以不经转换处理而输出包括图像分析结果和关系信息两者在内的输出消息860。

如上所述，电子设备101可以输出包括与图像分析结果相关的附加信息(例如，所识别出的人与接收方之间的关系信息)在内的输出消息。

图9是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图10a和图10b进一步详细描述图9的实施例。

图10a是示出了根据本公开实施例的关系信息的概念图。图10b是示出了根据本公开实施例的输出消息转换的概念图。

参考图9，在操作910中，电子设备101可以获得图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。例如，电子设备101可以获得如图5a所示的图像510。

在操作920中，电子设备101可以分析所获得的图像，并且产生输出消息。根据本公开的实施例，电子设备101可以对图像510应用识别算法，以获得图像分析结果。电子设备101可以产生包括图像分析结果的输出消息。例如，如图10b的实施例所示，电子设备101可以产生包括分析图像510的结果在内的输出消息1050，例如，“女孩穿着连衣裙”。

在操作930中，电子设备101可以确定电子设备101与输出消息的接收方之间的关系。例如，电子设备101可以将电子设备101与输出消息的接收方之间的关系确定为“朋友关系”。

电子设备101可以管理如图10a所示的各种关系。

参考图10a，电子设备101可以识别图像的发送方A 1001。此外，电子设备101可以确定被发送了包括图像分析结果和附加信息在内的输出消息的接收方1011和1021中的至少一个。电子设备101可以向第一接收方B 1011和第二接收方C 1021中的至少一个发送输出消息。在实施例中，电子设备101可以向由第一接收方B 1011使用的第一接收设备发送输出消息，并且电子设备101可以向由第二接收方C 1021使用的第二接收设备发送输出消息。在这种情况下，电子设备101可以以各种通信方案向接收设备发送输出消息。电子设备101可以使用消息通信应用来发送消息。在实施例中，电子设备101可以向第一接收方B 1011和第二接收方C 1021中的至少一个输出语音形式的输出消息。例如，电子设备101可以将消息的内容合成为语音，并且以语音形式输出输出消息。对于电子设备101将消息的内容合成为语音的方式没有限制。同时，发送方A可以与接收方是同一人，或者可以与接收方不同。

根据本公开的实施例，电子设备101可以转换输出消息，并且提供转换后的输出消息。例如，电子设备101可以使用图像分析结果来产生输出消息，使用附加信息来转换输出消息，然后输出转换后的输出消息。

电子设备101可以识别发送方A 1001与第一接收方B 1011之间的第一关系1031。电子设备101可以识别发送方A 1001与第二接收方C 1021之间的第二关系1041。电子设备101可以识别发送方A 1001与电子设备101之间的第三关系1002、第一接收方B 1011与电子设备101之间的第四关系1012以及电子设备101与第二接收方C 1021之间的第五关系1013。

电子设备101可以预先设置和存储第一关系1031至第五关系1013中的至少一个，或者可以在对输出消息输出时进行设置。例如，电子设备101可以确定用于接收输出消息的接收方，并且可以获得与所确定的接收方相对应的关系信息。

当电子设备101向第一接收方B 1011发送输出消息时，电子设备101可以基于第一关系1031、第三关系1002和第四关系1012中的至少一个来转换输出消息。当电子设备101向第二接收方C 1021发送输出消息时，电子设备101可以基于第二关系1041、第三关系1002和第五关系1013中的至少一个来转换输出消息。转换后的消息可以是依据根据接收方而不同的状况来进行转换的，并且依据不同的状况而转换的消息可以彼此不同。

同时，电子设备101可以根据先前输入到电子设备101的信息来配置第一关系1031至第五关系1013中的至少一个。例如，电子设备101可以接收指示发送方A 1001与第一接收方B 1011之间的关系是浪漫关系的信息，并且可以根据输入的信息将第一关系1031配置为浪漫关系信息。此外，电子设备101可以接收指示第一接收方B是上级并且电子设备101是下级的信息，并且可以根据输入的信息将第四关系1012配置为上下级关系信息。电子设备101可以预先存储关系信息，或者可以通过传感器学习至少一个或多个信息以推断关系信息。推断关系信息的结果可以被创建到数据库中，并且被存储在电子设备101可访问的存储器中。

根据本公开的实施例，电子设备101可以管理关系矩阵。关系矩阵可以是针对接收方与电子设备101之间的关系以及发送方与接收方之间的关系的矩阵，并且可以包括与发送方和电子设备101之间的关系有关的信息。例如，在接收方与电子设备101之间的关系中，友谊可以将非正式特性反映到关系矩阵，秘书可以将正式特性反映到关系矩阵，并且浪漫关系可以将情感和浪漫特性反映到关系矩阵。此外，也可以根据用户的设置将名人的时尚词、语音或其它特征反映到关系矩阵。对于接收方与发送方之间的关系，当是诸如家庭关系或友谊之类的亲密关系时，可以重新处理称呼和输出消息，当是公共关系时，可以产生具有礼貌用语的内容。此外，在特殊关系中，接收方与发送方之间可以包括昵称。

在操作940中，电子设备101可以基于电子设备101与输出消息的接收方之间的关系来转换所产生的输出消息。例如，电子设备101可以基于电子设备101与输出消息的接收方之间的“朋友关系”向输出消息添加称呼(例如，“老兄”)。在操作950中，电子设备101可以输出转换后的输出消息1060。根据本公开的实施例，电子设备101可以基于电子设备101与发送方之间的关系信息或者发送方与接收方之间的关系信息中的至少一个以及电子设备101与接收方之间的关系来转换输出信息。

图11是示出了根据本公开实施例的通过电子设备实现的消息转换的概念图。

参考图11，电子设备101可以产生包括来自发送方1101的图像在内的输出消息1502。电子设备101可以用语音查询(1103)包括分析图像的结果和附加信息在内的输出消息1502，以执行语音识别(声学语音识别)1104。备选地，电子设备101可以查询消息1502的元数据，以执行信息分析1107。具体地，电子设备101可以利用通过感测模块1108收集的执行信息分析1107的信息来确定接收方1102。此外，电子设备101可以使用关于接收方1102的信息来进行属性确定(或个人确定)1106。

电子设备101可以获得作为语音识别1104的结果的文本，并且可以查询该文本以执行自然语言理解(NLU)/对话管理(DM)1105。这里，可以通过NLU/DM将文本识别为句子。电子设备101可以使用通过NLU/DM 1105获得的意图、参数和内容中的至少一个来进行属性选择(或个人选择)1106。电子设备101可以使用对消息1502自身的查询1103来进行属性选择1106。

电子设备101可以基于所确定的属性通过自然语言产生器(NLG)1109来选择至少一个语言模型1120中的一个。例如，电子设备101可以确定至少一个文本产生变量。

电子设备101可以基于所确定的属性来选择至少一个行为模型中的一个。例如，电子设备101可以确定至少一个动作模型1150。

电子设备101可以基于所确定的属性来选择至少一个声学模型1140中的一个。例如，电子设备101可以确定至少一个语音产生变量，以输出通过NLG 1109转换成文本的消息。电子设备101可以根据所选择的声学模型输出语音响应(或声音响应)。电子设备101可以执行文本到语音(TTS)1110，以输出声音响应。

如上所述，电子设备101可以通过根据至少一个或多个实体之间的关系或要传送的内容改变关于NLG或TTS模块的参数，来向交互用户提供动态结果。

电子设备101可以利用例如传感器(例如，视觉或声音)来识别至少一个或多个用户和环境、连接和个人简档数据以及在属性选择处理1106中要传送的消息的内容。对于语言模型1120，可以根据接收方和电子设备101来确定不同的语言模型。例如，当预先或通过学习将接收方1102与电子设备101之间的关系设置为朋友时，可以选择用于配置表达亲密的词或短语的语言模型，并且对于紧急消息，具有快速且清晰语调的特征的声学模型可以被选择和进行语言交换。根据本公开的实施例，电子设备101可以用低频带语音声学模型来调制语音，并且基于指示接收方难以听到高频带语音的信息来输出该语音。

图12是示出了根据本公开实施例的消息输出的概念图。

参考图12，电子设备可以使用图像中识别出的人与接收方之间的关系、电子设备与接收方之间的关系以及图像的发送方与接收方之间的关系来转换输出消息。

具体地，电子设备101-1可以从另一电子设备1220接收包括图像1210的消息1211。假定另一电子设备1220是诸如“Peter”的用户使用的设备，并且电子设备101-1是由诸如“David”的用户使用的设备。电子设备101-1可以接收消息1211。电子设备101-2可以与电子设备101-1连接。电子设备101-2可以确定电子设备101-1是否接收到包括图像1210的消息1211，并且还可以接收和分析图像1210。电子设备101-2可以使用分析图像1210的结果来识别图像1210中的人(例如，Jane)。如上所述，电子设备101-2可以预先存储用于识别Jane的模板，并且通过将人的属性与模板进行比较来识别图像1210中的人。这里，模板可以是与Jane相关的图像，并且电子设备101-2可以预先将与Jane相关的图像存储为模板。例如，电子设备101-2可以预先获得关于Jane的脸部的图像，并且将该图像存储为与Jane相关的模板。随后，电子设备101-2可以识别所获得的图像的脸部区域，并且将该脸部区域与先前存储的模板进行比较，从而将图像中的人识别为Jane。

电子设备101-2可以确定图像1210中识别出的人Jane与接收人David之间的关系。电子设备101-2可以确定图像1210中识别出的人与接收方之间的关系是孙女-祖父的关系。电子设备101-2可以预先存储根据人的各种个人信息或关系信息，并且可以基于所存储的人的个人信息或关系信息来确定图像1210中的人与接收方之间的关系1231。

同时，电子设备101-2可以确定图像1210的发送方Peter与图像1210的接收方David之间的关系1201。例如，电子设备101-2可以确定图像1210的发送方与图像1210的接收方之间的关系1201是儿子-父亲关系。电子设备101-2可以预先存储与图像1210的发送方有关的各种个人信息或关系信息，并且可以基于所存储的根据人的个人信息或关系信息来确定图像1210的发送方与图像1210的接收方之间的关系1201。

此外，电子设备101-2可以确定图像1210的接收方David与电子设备101-2之间的关系1221。电子设备101-2可以向其自身授予属性，使得电子设备101-2可以基于所授予的属性来确定图像1210的接收方(例如，David)与电子设备101-2自身之间的关系1221。例如，电子设备101-2可以确定图像1210的接收方(例如，David)与电子设备101-2之间的关系1221是董事长-秘书关系。用户可以预先向电子设备101-2输入关系1221，从而在其中设置关系1221。

电子设备101-2可以基于各种关系1201、1221和1231来转换图像分析结果，并且产生输出消息。例如，电子设备101-2可以获得分析图像1210的结果，例如“女孩穿着连衣裙”。电子设备101-2可以基于在图像120中识别出的人(例如，Jane)与图像1210的接收方(例如，David)之间的关系1231，用“孙女”替代图像分析结果中的“女孩”。电子设备101-2可以基于图像1210的接收方(例如，David)与电子设备101-2之间的关系1231，在句子的前部添加称呼(例如，“老板”)。电子设备101-2可以根据图像1210的发送方(例如，Peter)与图像1210的接收方(例如，David)之间的关系1201，向输出消息1241添加内容(例如，“儿子发送～”)。这样，电子设备101-2可以产生输出消息1241(例如，“老板，您儿子发送了孙女穿着连衣裙的图像”)，然后将其进行输出。例如，电子设备101-2可以使用在图像中识别出的人、发送方和接收方之间的关系中的至少一个来转换图像分析结果，并且输出转换后的图像分析结果。

图13a至图13e是示出了根据本公开实施例的电子设备和服务器的操作的流程图。

参考图13a，在操作1310中，电子设备1300可以向服务器1301发送图像。电子设备1300可以通过服务器1301向电子设备101发送图像。例如，服务器1301可以是能够执行图像的发送/接收的中继服务器。

在操作1320中，服务器1301可以接收图像并且分析所接收到的图像以产生第一信息。如上所述，服务器1301可以对所接收到的图像应用各种识别算法，并且识别图像中的至少一个对象或者图像中的至少一个对象之间的关系，从而产生包括图像分析结果的第一信息。

在操作1330中，服务器1301可以向电子设备101发送图像和第一信息。在操作1340中，电子设备101可以产生第二信息。根据本公开的实施例，电子设备101可以产生独立于第一信息的第二信息。例如，电子设备101可以基于例如电子设备1300的用户与电子设备101的用户之间的关系来产生第二信息。根据本公开的实施例，第二电子设备101可以产生与第一信息相关的第二信息。例如，电子设备101可以产生与在图像中识别出的至少一个对象相关的信息来作为第二信息。在操作1350中，电子设备101可以基于第一信息和第二信息产生输出消息，并且输出所产生的输出消息。根据本公开的实施例，电子设备101可以基于第二信息来转换第一信息，并且输出转换后的信息。

参考图13b，在操作131O中，电子设备1300可以向服务器1301发送图像。电子设备1300可以通过服务器1301向电子设备101发送图像。

在操作1320中，服务器1301可以接收图像并且分析所接收到的图像以产生第一信息。如上所述，服务器1301可以对所接收到的图像应用各种识别算法，并且识别图像中的至少一个对象或者图像中的至少一个对象之间的关系，从而产生包括图像分析结果的第一信息。

在操作1360中，服务器1301可以产生第二信息。根据本公开的实施例，服务器1301可以产生独立于第一信息的第二信息。例如，服务器1301可以基于例如电子设备1300的用户与电子设备101的用户之间的关系来产生第二信息。根据本公开的实施例，服务器1301可以产生与第一信息相关的第二信息。例如，服务器1301可以产生与在图像中识别出的至少一个对象相关的信息来作为第二信息。在操作1370中，服务器1301可以向电子设备101发送图像、第一信息和第二信息。在操作1380中，电子设备101可以基于第一信息和第二信息产生输出消息，并且输出所产生的输出消息。根据本公开的实施例，电子设备101可以基于第二信息来转换第一信息，并且输出转换后的信息。

参考图13c，在操作1310中，电子设备1300可以向服务器1301发送图像。电子设备1300可以通过服务器1301向电子设备101发送图像。

在操作1320中，服务器1301可以接收图像并且分析所接收到的图像以产生第一信息。如上所述，服务器1301可以对所接收到的图像应用各种识别算法，并且识别图像中的至少一个对象或者图像中的至少一个对象之间的关系，从而产生包括图像分析结果的第一信息。

在操作1360中，服务器1301可以产生第二信息。根据本公开的实施例，服务器1301可以产生独立于第一信息的第二信息。例如，服务器1301可以基于例如电子设备1300的用户与电子设备101的用户之间的关系来产生第二信息。根据本公开的实施例，服务器1301可以产生与第一信息相关的第二信息。例如，服务器1301可以产生与在图像中识别出的至少一个对象相关的信息来作为第二信息。在操作1361中，服务器1301可以基于第一信息和第二信息来产生输出消息。根据本公开的实施例，电子设备101可以基于第二信息来转换第一信息，并且产生输出消息。

在操作1371中，服务器1301可以向电子设备101发送图像和所产生的输出消息。在操作1381中，电子设备101可以输出图像或所产生的输出消息中的至少一个。

图13d和图13e是示出了根据本公开实施例的服务器1301的操作的流程图。

参考图13d和图13e，如图13b和图13c所示，在操作1360中，服务器1301可以产生第二信息。同时，在操作1321中，服务器1301可以在产生第二信息之前从电子设备101接收关于第二信息的信息。为了产生第二信息，服务器1301可以请求电子设备101发送关于第二信息的信息，或者可以定期或不定期地从电子设备101收集与第二信息相关的信息。与第二信息相关的信息可以是作为用于产生第二信息的信息的第二信息本身。

如参考图13a至图13e所述，可以在服务器1301或接收电子设备101中的至少一个处执行用于使用图像分析、分析结果和附加信息来产生输出消息的处理。

图14是示出了根据本公开实施例的服务器的输出消息产生的概念图。

参考图14，消息服务器(MSG服务器)1420可以从发送方1401的电子设备1400接收包括图像1421的消息1410。电子设备1400可以通过消息服务器1420向电子设备101发送包括图像1421的消息1410。例如，消息服务器1420可以是能够重播消息1410的中继服务器。此外，消息服务器1420可以存储分析图像1421的识别算法。消息服务器1420可以存储消息发送方1401和接收方1402的个人信息和关系信息。消息服务器1420还可以存储根据分析图像1421的结果而识别出的人的个人信息和关系信息。

消息服务器1420可以分析所接收到的消息1410中包括的图像1421。消息服务器1420可以对图像1421应用所存储的识别算法，并且获得包括图像1421中的至少一个对象之间的关系和识别图像1421中的至少一个对象的结果在内的图像分析结果。例如，消息服务器1420可以分析图像1421，并且获得图像分析结果，例如“女孩穿着连衣裙”。消息服务器1420可以使用附加信息来转换图像分析结果。具体地，消息服务器1420可以基于在图像1421中识别出的人与接收方之间的关系来转换图像分析结果。例如，消息服务器1420可以获得指示在图像1421中识别出的人是Jane的识别结果，并且预先存储关于所识别出的人的信息。消息服务器1420可以预先将所识别出的人(例如，Jane)是接收方1402(例如，David)的孙女这一信息存储为关于所标识出的人的信息。消息服务器1420可以基于预先存储的信息将图像分析结果例如从“女孩穿着连衣裙”转换为“孙女穿着连衣裙”。可以基于消息1410的发送方1401与消息1410的接收方1402之间的关系来转换图像分析结果。例如，消息服务器1420可以预先存储发送方1401与接收方1402之间的关系1440是儿子-父亲关系。消息服务器1420可以基于所识别的关系1440将转换后的消息“孙女穿着连衣裙”转换为消息“您儿子发送了孙女穿着连衣裙的图像”。消息服务器1420可以向电子设备101发送包括转换后的消息“您儿子发送了孙女穿着连衣裙的图像”在内的输出消息1430。消息服务器1420可以向电子设备101发送消息1410或输出消息1430中的至少一个。

如上所述，中继图像的中继服务器可以产生包括图像分析结果和附加信息在内的输出消息，并且向接收电子设备发送所产生的输出消息。

图15a和图15b是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图15a，在操作1510中，电子设备1500可以向服务器1501发送图像。电子设备1500可以通过服务器1501向电子设备101发送图像。

在操作1520中，服务器1501可以接收图像并且分析所接收到的图像以产生第一信息。服务器1501可以对所接收到的图像应用各种识别算法，并且识别图像中的至少一个对象或者图像中的至少一个对象之间的关系，从而产生包括图像分析结果的第一信息。

在操作1530中，服务器1501可以向电子设备101发送第一信息。换句话说，服务器1501可以在向电子设备101发送图像之前，向电子设备101发送第一信息。

电子设备101可以接收第一信息，并且显示所接收到的第一信息。在操作1540中，电子设备101可以获得关于是否执行与接收到的第一信息相关的图像下载的图像下载命令。当获得图像下载命令时，在操作1550中，电子设备101可以向服务器1501发送用于图像下载的请求。在操作1560中，服务器1501可以响应于图像下载请求而向电子设备101发送图像。在操作1570中，电子设备101可以显示所接收到的图像。

如上所述，电子设备101可以在下载图像之前接收图像分析结果，以确定是否下载图像。

参考图15b，在操作1510中，电子设备1500可以向服务器1501发送图像。电子设备1500可以通过服务器1501向电子设备101发送图像。

在操作1520中，服务器1501可以接收图像并且分析所接收到的图像以产生第一信息。服务器1501可以对所接收到的图像应用各种识别算法，并且识别图像中的至少一个对象或者图像中的至少一个对象之间的关系，从而产生包括图像分析结果的第一信息。

在操作1521中，服务器1501可以产生第二信息。根据本公开的实施例，服务器1501可以产生独立于第一信息的第二信息。例如，服务器1501可以基于例如电子设备1500的用户与电子设备101的用户之间的关系来产生第二信息。根据本公开的实施例，服务器1501可以产生与第一信息相关的第二信息。例如，服务器1501可以产生与在图像中识别出的至少一个对象相关的信息来作为第二信息。

在操作1531中，服务器1501可以向电子设备101发送基于第一信息和第二信息产生的输出消息。服务器1501可以在向电子设备101发送图像之前，向电子设备101发送基于第一信息和第二信息的输出消息。

电子设备101可以接收第一信息，并且显示所接收到的第一信息。在操作1540中，电子设备101可以获得关于是否执行与接收到的第一信息相关的图像下载的图像下载命令。当获得图像下载命令时，在操作1550中，电子设备101可以向服务器1501发送用于图像下载的请求。在操作1560中，服务器1501可以响应于图像下载请求而向电子设备101发送图像。在操作1570中，电子设备101可以显示所接收到的图像。

如上所述，电子设备101可以在下载图像之前接收包括图像分析结果的输出消息，以确定是否下载图像。

图15c是示出了根据本公开实施例的服务器的操作的流程图。

参考图15c，如图15b所示，在操作1521中，服务器1501可以产生第二信息。同时，在操作1522中，服务器1501可以在产生第二信息之前从电子设备101接收关于第二信息的信息。为了产生第二信息，服务器1501可以请求电子设备101发送关于第二信息的信息，或者可以定期或不定期地从电子设备101收集与第二信息相关的信息。与第二信息相关的信息可以是作为用于产生第二信息的信息的第二信息本身。

图16a和图16b是示出了根据本公开实施例的电子设备的概念图。

参考图16a，发送电子设备1600可以将其中存储的图像发送到接收电子设备101。电子设备1600可以显示用于发送图像1610的图形用户界面1611。图形用户界面1611可以包括用于确定是否发送图像1610的选择按钮1612和1613中的至少一个。当检测到对用于请求发送的选择按钮1612的输入时，电子设备1600可以向服务器1601发送(1620)图像1610。

服务器1601可以分析图像1610，并且获得图像分析结果。此外，服务器1601可以产生附加信息。根据本公开的实施例，服务器1601可以产生独立于图像分析结果的附加信息。例如，服务器1601可以基于例如电子设备1600的用户与电子设备101的用户之间的关系来产生附加信息。根据本公开的实施例，服务器1601可以产生与图像分析结果相关的附加信息。例如，服务器1601可以产生与在图像中识别出的至少一个对象相关的信息来作为第二信息。因此，服务器1601可以产生包括图像分析结果和附加信息的输出消息。或者，服务器1601可以产生其中图像分析结果是使用附加信息被转换的输出消息。服务器1601可以向电子设备101发送(1630)输出消息。

电子设备101可以基于接收到的输出消息来显示图形用户界面1640。根据本公开的实施例，图形用户界面1640可以包括输出消息，该输出消息包括请求是否下载图像的内容和图像分析结果。此外，图形用户界面1640可以包括用于批准图像下载的按钮1641和用于拒绝图像下载的按钮1642。用户可以通过图形用户界面1640预先识别图像的内容，并且在识别了图像的内容之后确定是否下载图像。当指定了用于批准图像下载的按钮1641时，电子设备101可以向服务器1601发送针对图像下载的请求，并且服务器1601可以响应于针对图像下载的请求向电子设备101发送图像。如图16b所示，电子设备101可以显示所接收到的图像1650。

图17是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图17，在操作1710中，电子设备101可以获得图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。

在操作1720中，电子设备101可以分析所获得的图像并且获得第一信息。根据本公开的实施例，电子设备101可以对图像应用识别算法，并且获得图像分析结果。电子设备101可以产生包括图像分析结果的第一信息。

在操作1730中，电子设备101可以获得作为附加信息的第二信息。例如，电子设备101可以获得独立于图像分析结果的、电子设备101与接收方之间的关系信息，来作为第二信息。此外，电子设备101可以获得与图像分析结果相关的第二信息。根据本公开的实施例，电子设备101可以根据先前输入的信息或学习结果来获得第二信息。

在操作1740中，电子设备101可以向另一电子设备1700发送基于第一信息和第二信息产生的输出消息。电子设备101可以先向另一电子设备1700发送该消息，然后在从另一电子设备1700接收到用于发送图像的请求时发送对应的图像。在操作1750中，另一电子设备1700可以显示从电子设备101接收的消息。

图18是示出了根据本公开实施例的作为家庭服务器操作的电子设备的操作的概念图。

参考图18，电子设备1802可以与家庭服务器1821连接。家庭服务器1821可以存储根据人的个人信息和关系信息。根据本公开的实施例，电子设备1802可以存储根据人的个人信息和关系信息。

电子设备1802可以从另一电子设备1801接收包括图像的消息1810。电子设备1802可以分析所接收到的消息1810中的图像，并且获得图像分析结果。根据本公开的实施例，电子设备1802可以使用查询向家庭服务器1821发送用于图像分析的请求，并且家庭服务器1821可以向电子设备1802发送通过分析所接收到的图像而获得的图像分析结果。

电子设备1802可以使用图像分析结果和附加信息来产生输出消息1830。电子设备1802可以使用附加信息来转换图像分析结果以产生输出消息1830。电子设备1802可以从家庭服务器1821获得附加信息以产生输出消息1830。或者，家庭服务器1821可以使用图像分析结果和附加信息来产生输出消息1830，并且向电子设备1802发送所产生的输出消息1830。电子设备1802或家庭服务器1821可以使用以下至少一种关系来产生输出消息1830：发送方与电子设备1802之间的关系1811、电子设备1802与接收方1803之间的关系1812、或者在图像中识别出的人与接收方1803之间的关系。电子设备1802可以识别消息1810的接收方1803，并且可以例如用语音输出输出消息。电子设备1802可以附加地从接收方1803接收用于显示图像的命令的输入，并且响应于用于显示图像的命令来显示图像。

图19是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图20a和图20b进一步详细描述图19的实施例。

图20a是示出了根据本公开实施例的图像的概念图。图20b是示出了根据本公开实施例的输出消息转换的概念图。

参考图19，在操作1910中，电子设备101可以获得图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。例如，电子设备101可以获得如图20a所示的图像2010。图像2010可以包括针对鞋子的对象2011。

在操作1920中，电子设备101可以分析所获得的图像，并且产生输出消息。根据本公开的实施例，电子设备101可以对图像应用识别算法，并且获得图像分析结果。电子设备101可以产生包括图像分析结果的输出消息。例如，电子设备101可以基于以下至少一项来获得图像分析结果：图像2010中的至少一个对象，和至少一个对象之间的关系。具体地，电子设备101可以识别图像2010内的脸部对象，并且获得指示图像中的人是James的图像分析结果。此外，电子设备101可以识别脸部对象下方的上装对象和上装对象下方的下装对象。电子设备101还可以识别下装对象下方的鞋子对象2011。电子设备101可以基于脸部对象与上装对象之间的位置关系以及下装对象与鞋子对象2011之间的位置关系，来获得指示James穿着鞋子对象2011的图像分析结果。因此，电子设备101可以产生包括图像分析结果的输出消息2020，例如“James穿着鞋子的照片已到达”。

在操作1930中，电子设备101可以获得与所识别出的对象相关的信息。例如，电子设备101可以识别鞋子对象2011，并且获得包括电子设备101的用户向James赠予了所识别出的鞋子对象2011作为礼物的历史在内的对象相关信息。如上所述，电子设备101可以存储针对包括用户的各种人的个人信息。例如，电子设备101可以预先将例如用户赠予礼物的历史与鞋子模板相关联地存储。电子设备101可以将所识别出的鞋子对象2011与模板进行比较，从而获得所识别出的鞋子对象2011是用户赠予James的礼物的对象相关信息。

在操作1940中，电子设备101可以基于所获得的对象相关信息来转换所产生的输出消息。在操作1950中，电子设备101可以输出转换后的输出消息。例如，如图20b所示，电子设备101可以将指示“James穿着鞋子的照片已到达”的输出消息2020转换为“James穿着您赠予他的作为礼物的鞋子的照片已到达”，并且输出转换后的输出消息2030。电子设备101可以使用指示输出消息2020中的“鞋子”是用户赠予的礼物的对象相关信息，将文本“鞋子”转换为“您赠予他的作为礼物的鞋子”。

如上所述，电子设备101可以使用与具有各种属性的对象以及图像中的人有关的对象相关信息来转换图像分析结果。

图21是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图21，在操作2110中，电子设备101可以获得第一图像。如上所述，电子设备101可以通过其中包括的相机模块来捕获图像，通过通信模块接收图像，或者加载存储器中存储的图像。

在操作2120中，电子设备101可以从第一图像识别至少一个对象。电子设备101可以对第一图像应用识别算法，从而识别和辨认出至少一个对象。在操作2130中，电子设备101可以获得与所识别出的对象相关的对象相关信息。在操作2140中，电子设备101可以存储彼此相关联的识别对象的结果和对象相关信息。根据本公开的实施例，电子设备101可以获得与获得第一图像时的时间相对应的检测事件来作为对象相关信息。例如，电子设备101可以执行启用电子商务的应用，并且处理电子商务命令以将鞋子产品递送到接收方James。电子设备101可以在处理电子商务命令的同时获得与作为电子商务的目标的鞋子产品有关的第一图像，并且存储针对第一图像中的鞋子对象的模板。电子设备101可以存储彼此相关联的鞋子对象的模板和与电子商务相关的信息。例如，电子设备101可以将与鞋子对象的模板相关联的电子商务相关信息存储为对象相关信息。

在操作2150中，电子设备101可以获得第二图像。在操作2160中，电子设备101可以分析第二图像并且获得关于对象的第一信息。例如，电子设备101可以从James使用的另一电子设备接收James穿着鞋子的第二图像。电子设备101可以分析第二图像，并且获得指示“James穿着鞋子”的第一信息。

在操作2170中，电子设备101可以基于第一信息和对象相关信息来产生输出消息。在操作2180中，电子设备101可以将输出消息进行输出。例如，电子设备101可以将第二图像中的鞋子对象与预先存储的鞋子对象的模板进行比较，并且基于比较结果获得指示第二图像中的鞋子对象是用户赠予James的礼物的对象相关信息。电子设备101可以基于第一信息和对象相关信息来产生输出消息(例如，“James穿着您赠予他的作为礼物的鞋子”)，并且输出所产生的输出消息。

如上所述，电子设备101可以预先获得并存储针对特定对象的模板和对象相关信息，并且使用先前存储的对象相关信息来转换稍后获得的图像分析结果。

图22是示出了根据本公开实施例的用于控制电子设备的方法的流程图。图22的实施例描述了电子设备101存储对象模板和对象相关信息的方式。

参考图23a至图23c更详细地描述图22的实施例。

图23a至图23c是示出了根据本公开各种实施例的所获得的图像的概念图。

参考图22，在操作2210中，电子设备101可以获得包括第一对象的图像。例如，参考图23a，电子设备101可以获得包括第一对象2311的图像2310。在图23a的实施例中，电子设备101可以获得包括与人的脸部相对应的第一对象2311的图像2310。

在操作2220中，电子设备101可以识别图像内的第一对象2311。根据本公开的实施例，电子设备101可以存储用于各种对象(例如，人或树)的对象识别算法，并且电子设备101可以对所获得的图像应用所存储的对象识别算法以识别第一对象2311。根据本公开的实施例，电子设备101可以存储各种对象识别算法，并且本领域的普通技术人员可以容易地理解，可以没有限制地使用任何对象识别算法。在图23a的实施例中，电子设备101可以对图像2310应用脸部识别算法，从而识别作为脸部对象的第一对象2311。

在操作2230中，电子设备101可以基于识别第一对象的结果来识别与第一对象相关的第二对象。根据本公开的实施例，电子设备101可以基于第一对象的类型来识别与第一对象相关的第二对象。例如，在图23b的实施例中，电子设备101可以基于作为第一对象2311的类型的脸部对象，来识别包括均与第一对象2311相关的右侧头发2312、左侧头发2313、上装2314、下装2315、鞋子2316和前面的头发2317在内的第二对象。具体地，由于第一对象的类型是脸部，因此电子设备101可以识别与第一对象相关的识别目标区域。这里，识别目标区域是相对于所识别的第一对象设置在预定位置中的区域，使得可以根据第一对象的类型来不同地设置识别目标区域。例如，电子设备101可以预先将以下项设置为识别目标区域：相对于脸部对象而言，邻近地位于脸部对象的上部和左侧/右侧部分处的头发相关区域、邻近地位于脸部对象下方的上装相关区域、邻近地位于上装相关区域下方的下装相关区域、邻近地位于下装相关区域下方的鞋子相关区域。参考图23c更详细地描述识别目标区域。电子设备101可以识别设置在图像的识别目标区域中的对象，从而识别第二对象。电子设备101可以在根据第一对象的预定区域内执行识别而不是识别图像中的所有对象，从而导致识别第二对象所需的计算量和时间减少。

在图23b的实施例中，电子设备101可以获得识别第二对象的结果，在该结果中，没有左侧头发2312和右侧头发2313，前面的头发2317是露出前额的短发，上装具有长袖，下装2315是长裤，并且脚上所穿物品2316是鞋子。根据本公开的实施例，电子设备101可以将识别目标区域中的对象与针对每个识别目标区域的预先存储的模板进行比较，并且获得识别第二对象的结果。例如，电子设备101可以存储与位于脸部对象下方的识别目标区域相对应的各种模板(例如，长袖、半袖、T恤、衬衫或者无袖套衫)。电子设备101可以将在第一对象2311下方的对象2314与所存储的模板进行比较，并且基于比较结果获得识别第二对象的结果。例如，电子设备101可以获得具有最高相似度的模板，来作为识别第二对象的结果。作为示例，电子设备101可以存储针对每个识别目标区域的模板。相反，电子设备101还可以向例如管理外部数据库的服务器发送包括识别目标区域的图像在内的查询，并且接收响应于该查询的识别结果，从而获得识别第二对象的结果。电子设备101或服务器可以例如通过使用学习算法来修改或添加针对第二对象的模板。

在操作2240中，电子设备101可以获得与第二对象相关的信息。根据本公开的实施例，电子设备101可以获得在获得图像2310时检测到的事件，来作为第二对象相关信息。例如，电子设备101可以获得在获得图像2310时的生物信息，并且可以基于分析生物信号的结果来获得指示用户高兴的信息。电子设备101可以将情绪信息“高兴”存储为第二对象相关信息。

在操作2250中，电子设备101可以将第二对象相关信息与识别第一对象和第二对象的结果相关联地存储。在操作2250中，电子设备101可以将针对第一对象和第二对象的每个模板与识别第二对象的结果相关联地存储。

图23c是示出了根据本公开实施例的识别目标区域的概念图。

电子设备101可以预先设置与图像2340中的第一对象2341相对应的识别目标区域2341至2347。图23c的识别目标区域2341至2347是说明性的，并且电子设备101可以例如如表1所示的那样预先设置识别目标区域。例如，电子设备101可以将第一对象的大小设置为具有水平长度的“a”像素和竖直长度的“b”像素。“a”和“b”可以是用于比较相对于第一对象的相对大小以确定识别目标区域的大小的参数。

[表1]

识别目标区域	位置信息
		前面的头发	在脸部对象上方的a乘以0.7b像素
左侧头发	在脸部对象左侧的0.5a乘以1.7b像素
		右侧头发	在脸部对象右侧的0.5a乘以1.7b像素
上装	在脸部对象下方的2a乘以1.1b像素
		下装	在上装对象下方的2a乘以1.6b像素
鞋子	在下装对象下方的2a乘以0.4b像素

电子设备101可以根据作为第一识别目标的第一对象的类型来设置识别目标区域。例如，电子设备101可以针对脸部对象设置表1所示的识别目标区域，但是可以针对不同类型的对象设置与表1不同的识别目标区域。如上所述，电子设备101可以存储与每个识别目标区域相对应的模板，并且基于对模板进行比较的结果来识别第二对象。例如，电子设备101可以存储与前面头发的识别目标区域相对应的各种前面头发形状的模板，并且可以将与图像中的前面头发的识别目标区域具有最高相似度的模板识别为第二对象。电子设备101可以将用于比较的目标对象限制为位于识别目标区域中的对象，使得电子设备101可以减少用于比较和识别所消耗的计算量和时间。

同时，根据本公开的实施例，电子设备101可以基于深度信息来确定识别目标区域。电子设备101可以确定深度信息，并且根据其深度值与第一对象的深度值的差小于预定阈值的区域来确定识别目标区域。

图24a至图24c是示出了根据本公开实施例的图像处理的概念图。

参考图24a，电子设备101可以获得包括第一对象2411的图像2410。在图24a的实施例中，电子设备101可以获得包括与植物的主茎相对应的第一对象2411的图像2410。

电子设备101可以识别图像中的第一对象2411。根据本公开的实施例，电子设备101可以存储用于各种对象(例如，人或树)的对象识别算法，并且电子设备101可以对所获得的图像应用所存储的对象识别算法以识别第一对象2411。在图24a的实施例中，电子设备101可以对图像2410应用植物识别算法，从而识别作为主茎的第一对象2411。

电子设备101可以基于识别第一对象2411的结果来识别与第一对象2411相关的第二对象2412至2415。根据本公开的实施例，电子设备101可以基于第一对象2411的类型来识别与第一对象2411相关的第二对象2412至2415。例如，在图24b的实施例中，电子设备101可以基于作为第一对象2411的类型的主茎对象，来识别包括均与第一对象相关的左侧分枝2412、右侧分枝2413、树的顶部2414以及根、底部、土地2415在内的第二对象。具体地，由于第一对象2411的类型是主茎，因此电子设备101可以识别与第一对象2411相关的识别目标区域。例如，电子设备101可以设置与主茎对象相对应的识别目标区域，包括：邻近地位于主茎对象上方的顶部相关区域、邻近地位于主茎对象左侧/右侧的分枝相关区域以及邻近地位于主茎对象下方的土地相关区域。参考图24c更详细地描述识别目标区域。电子设备101可以识别设置在图像的识别目标区域中的对象，从而识别第二对象。电子设备101可以在根据第一对象的预定区域内执行识别而不是识别图像中的所有对象，从而导致识别第二对象所需的计算量和时间减少。

在图24b的实施例中，电子设备101可以获得识别第二对象的结果，包括左侧分枝2412和右侧分枝2413的健康状况、关于顶部2414的信息以及底部2415的形状。根据本公开的实施例，电子设备101可以将识别目标区域中的对象与针对每个识别目标区域的预先存储的模板进行比较，并且获得识别第二对象的结果。例如，电子设备101可以存储与位于主茎对象下方的识别目标区域相对应的各种模板(例如，土地、底部形状或根形状)。电子设备101可以将在第一对象2411下方的对象2415与所存储的模板进行比较，并且基于比较结果获得识别第二对象的结果。例如，电子设备101可以获得具有最高相似度的模板，来作为识别第二对象的结果。作为示例，电子设备101可以存储针对每个识别目标区域的模板。相反，电子设备101还可以向例如管理外部数据库的服务器发送包括识别目标区域的图像在内的查询，并且接收响应于该查询的识别结果，从而获得识别第二对象的结果。电子设备101或服务器可以例如通过使用学习算法来修改或添加针对第二对象的模板。

图24c是示出了根据本公开实施例的识别目标区域的概念图。

参考图24c，电子设备101可以预先设置与图像2440中的第一对象2441相对应的识别目标区域2441至2445。图24的识别目标区域2441至2445是说明性的，并且电子设备101可以例如如表2所示的那样预先设置识别目标区域。例如，电子设备101可以将第一对象的大小设置为具有水平长度的“d”像素和竖直长度的“e”像素。“d”和“e”可以是用于比较相对于第一对象的相对大小以确定识别目标区域的大小的参数。

[表2]

识别目标区域	位置信息
		左侧分枝	在主茎对象左侧的0.5d乘以1.7e像素
右侧分枝	在主茎对象右侧的0.5d乘以1.7e像素
		顶部	在主茎对象上方的d乘以e像素
土地	在主茎对象下方的2d乘以1.1e像素

电子设备101可以根据作为第一识别目标的第一对象的类型来设置识别目标区域。例如，电子设备101可以为主茎对象设置与图23a至图23c的识别目标区域不同的图24a至图24c所示的识别目标区域。如上所述，电子设备101可以存储与每个识别目标区域相对应的模板，并且基于对模板进行比较的结果来识别第二对象。例如，电子设备101可以存储与土地的识别目标区域相对应的各种形状的模板，并且可以将与图像内土地的识别目标区域具有最高相似度的模板识别为第二对象。

同时，根据本公开的实施例，电子设备101可以基于深度信息来确定识别目标区域。电子设备101可以确定深度信息，并且根据其深度值与第一对象的深度值的差小于预定阈值的区域来确定识别目标区域。

如以上参考图23a至图23c和图24a至图24c所述，电子设备101可以根据第一对象的类型来设置识别目标区域。因此，电子设备101可以使用识别第一对象的结果来识别第二对象。此外，电子设备101可以将针对所识别的对象的模板与第二对象相关信息相关联地存储。

图25是示出了根据本公开实施例的所存储的识别结果数据结构的概念图。

参考图25，电子设备101可以将第一对象2501与所识别的第二对象2502至2507相关联地存储，如图25所示。例如，电子设备101可以存储识别第二对象2502至2507的结果，包括识别与脸部对象的第一对象2501相对应的前面的头发、左侧头发、右侧头发、上装、下装和鞋子的结果。同时，在图25的实施例中，数据结构被示出为具有分层结构。但是，图25所示的数据结构是说明性的，并且第一对象2501和第二对象2502至2507可以被存储为具有彼此相同的等级。电子设备101可以通过按照时间顺序进行保存或者通过更新数据结构来管理图25所示的数据结构。电子设备101可以向模板添加新的对象，并且可以输出与其相关的信息。

电子设备101可以将与各个第二对象2502至2507相对应的对象相关信息2512至2517与第二对象2502至2507相关联地存储。根据本公开的实施例，电子设备101可以基于在获得包括第二对象2502至2507的图像时检测到的事件来确定对象相关信息2512至2517，并且存储所确定的对象相关信息。例如，电子设备101可以存储指示与鞋子对象2507的模板相关的对应对象是用户赠予James的礼物的对象相关信息2517。之后，电子设备101可以获得不同图像，并且使用对象相关信息2512至2517来转换针对不同图像的图像分析结果。

根据本公开的实施例，电子设备101可以存储识别第一对象的结果、识别第二对象的结果和对象相关信息，或者可以向另一电子设备发送识别第一对象的结果、识别第二对象的结果和对象相关信息。备选地，电子设备101可以根据时间顺序(例如，日期顺序)存储和管理识别第一对象的结果、识别第二对象的结果和对象相关信息。

图26是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图26，在操作2610中，电子设备101可以获得包括第一对象的图像。在操作2620中，电子设备101可以从第一图像识别第一对象。如上所述，电子设备101可以存储各种对象识别算法，并且对所获得的图像应用对象识别算法以识别第一对象。在操作2630中，电子设备101可以使用识别第一对象的结果来执行认证。例如，电子设备101可以从图像识别脸部对象，并且使用识别脸部对象的结果来执行认证。在操作2640中，电子设备101可以基于识别第一对象的结果来识别与第一对象相关的第二对象。

在操作2660中，电子设备101可以存储彼此相关联的认证结果和识别第二对象的结果以及第二对象相关信息。例如，电子设备101可以使用认证结果来确定捕获的目标是James。电子设备101还可以使用识别第二对象的结果来确定上装对象是长袖。电子设备101可以获得指示与识别结果中的上装对象相对应的对象是用户赠予James的礼物的对象相关信息。电子设备101可以存储彼此相关联的识别James的结果、识别上装对象的结果(例如，模板和关于长袖的信息)以及对象相关信息(例如，指示用户赠予James作为礼物的信息)。

图27是示出了根据本公开实施例的所存储的识别结果的数据结构的概念图。

参考图27，电子设备101可以将认证结果2701与识别第一对象的结果2702和识别第二对象的结果2703至2708相关联地存储。同时，在图27的实施例中，数据结构被示出为具有分层结构。然而，图27所示的数据结构是说明性的，并且认证结果2701、识别第一对象的结果2702和识别第二对象的结果2703至2708可以被存储为具有彼此相同的等级。电子设备101可以通过按照时间顺序进行保存或者通过更新数据结构来管理图27所示的数据结构。电子设备101可以存储与识别第一对象的结果2702和识别第二对象的结果2703至2708相对应的对象相关信息2712至2718。之后，电子设备101可以获得不同图像，并且使用对象相关信息2712至2718来转换针对不同图像的图像分析结果。

图28是示出了根据本公开实施例的附加信息处理的流程图。参考图29a至图29c更详细地描述图28的实施例。

图29a至图29c是示出了根据本公开实施例的处理情绪信息和反映输出消息的概念图。

参考图28和图29a，在操作2810中，电子设备101可以获得包括脸部对象2911的图像2910。在操作2820中，电子设备101可以识别图像中的脸部对象2911。电子设备101可以存储脸部识别算法，并且识别指示对象的类型是脸部并且脸部对象2911具有微笑形状的信息。电子设备101可以分析例如所识别的脸部对象的眼睛、鼻子、嘴巴或者忧虑线的特征，从而获得脸部表情信息。根据本公开的实施例，电子设备101可以使用识别脸部对象2911的结果来执行认证。例如，电子设备101可以通过识别结果确定图像2910中的人是用户1。

在操作2830中，电子设备101可以基于识别脸部对象2911的结果来识别与脸部对象相关的第二对象2912至2917。在操作2840中，电子设备101可以根据识别脸部对象的结果来获得情绪信息。例如，在图29a的实施例中，电子设备101可以基于识别具有微笑形状的脸部对象的结果，获得高兴的情绪信息来作为附加信息。

在操作2850中，电子设备101可以将脸部对象2911和第二对象2912至2917映射到情绪信息，并且存储或操作映射结果。例如，如图29a所示，电子设备101可以存储识别与用户12920相对应的第二对象的结果2912至2924，并且可以附加地将情绪信息2925与用户12920和识别第二对象的结果2921至2924中的至少一个相关联地存储。

参考图29b，电子设备110可以获得包括脸部对象2931的图像2930。电子设备101可以识别图像中的脸部对象2931。电子设备101可以存储脸部识别算法，并且识别指示对象的类型是脸部并且脸部对象2931具有皱眉形状的信息。电子设备101可以使用识别脸部对象2931的结果来执行认证，并且可以确定图像2930中的人是用户1。

电子设备101可以基于识别脸部对象2931的结果来识别与脸部对象相关的第二对象2932至2937。电子设备101可以根据分析脸部对象的结果来获得情绪信息。例如，在图29b的实施例中，电子设备101可以基于识别具有皱眉形状的脸部对象的结果，获得皱眉的情绪信息来作为附加信息。

电子设备101可以存储或操作彼此相关联的脸部对象2931和第二对象2932至2937以及情绪信息。例如，如图29b所示，电子设备101可以存储识别与用户12940相对应的第二对象的结果2941至2944，并且可以附加地将情绪信息2945与用户12940和识别第二对象的结果2941至2944中的至少一个相关联地存储。

当在稍后时间接收到不同图像时，电子设备101可以利用不同图像内的第二对象2912至2917的模板来识别超过预定阈值的对象。电子设备101可以使用预先存储的情绪信息2925来转换对不同图像的图像分析结果。例如，如图29c所示，电子设备101可以将指示“James穿着夹克的照片已到达”的不同图像的图像分析结果转换为指示“James穿着您喜欢的夹克的照片已到达”的输出消息2951。

图30是示出了根据本公开实施例的获取情绪信息的流程图。

参考图30，在操作3010中，电子设备101可以获得包括第一对象的图像。在操作3020中，电子设备101可以从第一图像识别第一对象。在操作3030中，电子设备101可以基于识别脸部对象的结果来识别与脸部对象相关的第二对象。

在操作3040中，电子设备101可以获得生物信息。电子设备101可以获得在获得图像时检测到的生物信息。生物信息可以包括EEG信号、ECG信号、EMG信号、眼电图(EOG)信号、血压和体温中的至少一个，并且可以无限制地使用表示身体的生理状态的任何生物信息。电子设备101可以包括检测生物信息的传感器，并且通过传感器获得生物信息。或者，电子设备101可以从包括传感器的另一电子设备获得生物信息。尽管附图中未示出，但是从另一电子设备获得的生物信息可以存储在服务器中，并且电子设备101可以从服务器获得生物信息。

在操作3050中，电子设备101可以根据分析生物信息的结果来获得情绪信息。电子设备101可以通过对各种生物信息加权的结果来获得情绪信息。在操作3060中，电子设备101可以将脸部对象和第二对象映射到情绪信息，并且存储或操作映射结果。

图31是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图32更详细地描述与图31相关的实施例。

图32是示出了根据本公开实施例的电子设备的操作的概念图。

参考图31，在操作3110中，电子设备101可以获得第一图像。在操作3120中，电子设备101可以从第一图像识别至少一个对象。例如，电子设备101可以存储彼此相关联的识别第一图像中的对象的结果和对象模板。

在操作3130中，电子设备101可以获得第二图像。例如，电子设备101可以获得如图32所示的第二图像3210。在操作3140中，电子设备101可以分析第二图像并且获得与对象相关的第一信息。例如，电子设备101可以分析第二图像，并且获得包括指示“James穿着夹克的照片已到达”的图像分析结果在内的第一信息。

在操作3150中，电子设备101可以基于第一信息和识别第一图像内的对象的结果来产生输出消息。具体地，电子设备101可以基于对模板的比较，确定第一图像中的夹克与第二图像中的夹克相同。电子设备101可以通过使用识别第一图像中的夹克对象的结果(例如，指示夹克是用户上周穿过的夹克的识别对象的结果)来转换第一信息。在操作3160中，如图32所示，电子设备101可以输出指示“James穿着您上周穿过的夹克的照片已到达”的输出消息3220。

图33是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图34a和图34b进一步详细描述图33的实施例。

图34a和图34b是示出了根据本公开实施例的电子设备的概念图。

参考图33，在操作3310中，电子设备101可以获得第一图像。在操作3320中，电子设备101可以从第一图像识别至少一个对象。在操作3330中，电子设备101可以将第一图像的元数据与识别至少一个对象的结果相关联地存储。根据本公开的实施例，电子设备101可以获得人穿着各种衣服的第一图像，并且可以将针对在第一图像中识别出的衣服的模板与捕获第一图像的地方相关联地存储。在该实施例中，元数据是与捕获第一图像的地方有关的信息。在各种实施例中，图像的元数据可以包括以下至少一项：与捕获图像的地方有关的信息、与捕获图像的时间有关的信息、图像的标题、关于拍摄者的信息。例如，如图34a所示，电子设备101可以显示包括数据库的图形用户界面3400。电子设备101可以根据日期3401、3404、3407、3410和3413，显示彼此对应的地方信息3402、3405、3408、3411和3414和识别第二对象的结果3403、3406、3409、3412和3415。

在操作3340中，电子设备101可以获得第二图像。在操作3350中，电子设备101可以分析第二图像并且获得关于对象的第一信息。在操作3360中，电子设备101可以基于第一信息、识别对象的结果和第一图像的元数据来产生输出消息。在操作3370中，电子设备101可以将输出消息进行输出。例如，电子设备101可以分析第二图像，并且获得指示“人穿着小熊衬衫”的第一信息。此外，电子设备101可以确定第一图像中的小熊衬衫与第二图像中的小熊衬衫相同。这样，电子设备101可以使用第一图像的元数据来转换第一信息。例如，如图34b所示，电子设备101可以输出其中第一信息被转换为“您穿着在学校里常穿的小熊衬衫的照片已到达”的输出消息3420。

图35是示出了根据本公开实施例的输出消息转换的概念图。

参考图35，电子设备101可以获得图像3510。电子设备101可以分析图像3510，并且产生指示“女士站在艾菲尔铁塔前面”的输出消息3520。电子设备101可以获得图像3510的元数据中的至少一个，例如捕获的时间或捕获的地方。电子设备101可以从与图像3510的元数据相对应的其它应用获得信息。例如，电子设备101可以识别指示图像3510的捕获时间是2015年8月12日并且捕获的地方是巴黎的元数据。电子设备101可以从与时间为2015年8月12日和地方为巴黎相对应的日程管理应用获得信息。日程管理应用可以允许用户在2015年8月12日存储指示“巴黎，与女儿一起旅行”的信息。电子设备101可以从与元数据相对应的日程管理应用获得信息。电子设备101可以使用来自日程管理应用的信息来转换输出消息3520。具体地，电子设备101可以用“女儿”替代输出消息中的“女士”，并且可以添加短语“与你同行”以产生转换后的输出消息3530。

如上所述，根据本公开的实施例，电子设备101可以通过使用来自其它应用的信息作为附加信息来转换图像分析结果。例如，根据本公开的实施例，电子设备101可以产生包括图像分析结果和来自与图像的元数据相关的其它应用的信息在内的输出消息。

图36是示出了根据本公开实施例的电子设备的操作的概念图。

根据图36的电子设备101可以对社交网络服务(SNS)和帖子进行说明。在相关技术的SNS中，当另一用户对用户写作的文档留言评论时，SNS管理服务器发送向用户的注册电子设备通知发布了评论的消息。然而，在相关技术的SNS中没有提供如下功能：向用户通知其他用户是针对哪个帖子发布了评论。

参考图36，SNS管理服务器可以分析用户发布的帖子中的图像，并且获得图像分析结果。SNS管理服务器可以使用图像分析结果和附加信息(例如，指示另一用户发布了评论的信息)来产生输出消息。例如，如图36所示，SNS管理服务器可以分析图像3610，并且获得指示“高楼的自拍照片”的图像分析结果。这里，自拍照片可以包括但不限于用户使用用户的相机或移动设备捕获的照片。同时，SNS管理服务器可以获得指示标识为Thor的另一用户针对包括图像3610的帖子留言评论的附加信息。SNS管理服务器可以使用图像分析结果和附加信息，产生指示“Thor对您的高楼自拍照片发布了“喜欢””的输出消息3620。SNS管理服务器可以向电子设备101发送所产生的输出消息3620，并且电子设备101可以显示输出消息3620。因此，电子设备101的用户可以容易地识别出其他用户针对哪个帖子进行了留言评论。

图37是示出了根据本公开实施例的用于控制电子设备的方法的流程图。

参考图37，在操作3710中，可以向电子设备101通知计划将要接收包括图像的消息。根据本公开的实施例，当发送到电子设备101的消息中包括图像时，消息服务器可以在发送消息之前通知计划将要接收消息。

在操作3720中，电子设备101可以识别用于接收消息的条件。在识别到用于接收消息的条件是第一条件时，在操作3730中，电子设备101可以请求说明文字数据。例如，电子设备101可以在数据通信是收费的、电场是弱环境或者图像的大小超过预定阈值的情况下，请求说明文字数据。

在操作3740中，电子设备101可以接收图像的说明文字数据。根据本公开的实施例，电子设备101可以对图像应用识别算法，并且获得图像分析结果。消息服务器可以向电子设备101发送包括图像分析结果的说明文字数据。根据本公开的实施例，消息服务器可以基于图像分析结果和附加信息产生说明文字数据。

在操作3750中，电子设备101可以显示说明文字数据，并且从用户获得用于下载图像的请求。在操作3760中，电子设备101可以向消息服务器发送用于下载图像的请求。在操作3770中，电子设备101可以从消息服务器下载图像。

同时，当在操作3720中识别到用于接收消息的条件是第二条件时，在操作3780中，电子设备101可以向消息服务器发送用于下载图像的请求。例如，电子设备101可以在数据通信是免费的、电场是强环境或者图像的大小等于或大于预定阈值的情况下，发送用于下载图像的请求。在操作3790中，电子设备101可以从消息服务器下载图像。

如上所述，取决于用于接收消息的各种条件，电子设备101可以直接下载图像，或者可以请求图像的说明文字数据。

图38是示出了根据本公开实施例的用于控制电子设备的方法的流程图。参考图39更详细地描述图38所示的实施例。

图39是示出了根据本公开实施例的视频处理的概念图。

参考图38和图39，在操作3810中，电子设备101可以获得视频帧3911至3917。视频帧3911至3917可以表示构成视频的多个图像。在操作3820中，电子设备101可以分析所获得的视频帧3911至3917，并且获得与至少一个场景相对应的至少一个第一信息。这里，场景可以是一组类似的视频帧。例如，视频帧3911和视频帧3912可以具有等于或大于预定阈值的相似度，并且可以被分类为一个场景，因为视频帧3911和3912被分类为相似的视频帧。与先前的视频帧3912相比，视频帧3913可以具有超过预定阈值的相似度，并且视频帧3913可以被分类为与包括视频帧3912的场景不同的场景。电子设备101可以对至少一个场景3912进行分类。

在操作3830中，电子设备101可以获得与至少一个场景相对应的至少一个第二信息。这里，作为附加信息的第二信息可以包括独立于分析场景的结果的外部信息或者与分析场景的结果的至少一部分相关的信息。

在操作3840中，电子设备101可以输出基于第一信息和第二信息所产生的输出消息。电子设备101可以获得每个场景的场景说明文字数据，并且可以通过合并场景说明文字数据来产生与整个视频相对应的输出消息3931，并且输出所产生的输出消息。电子设备101还可以产生与场景提取相对应的输出消息3921和与给场景加说明文字相对应的输出消息3922。

根据本公开的实施例，一种用于控制电子设备的方法可以包括：获得图像；以及输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

根据本公开的实施例，附加信息可以包括独立于图像分析结果的信息。

根据本公开的实施例，附加信息可以包括以下至少一项：图像的发送方与图像的接收方之间的关系、图像的发送方与电子设备之间的关系、或图像的接收方与电子设备之间的关系。

根据本公开的实施例，附加信息可以包括图像的元数据。

根据本公开的实施例，附加信息可以包括来自与输出消息的应用不同的应用的信息。

根据本公开的实施例，用于控制电子设备的方法还可以包括：识别图像的元数据；以及从与所识别的元数据相对应的不同应用获得信息。

根据本公开的实施例，附加信息可以包括与图像分析结果的至少一部分相关的信息。

根据本公开的实施例，用于控制电子设备的方法还可以包括：获得识别图像的第一对象的结果；获得与识别第一对象的结果相对应的与第一对象相关的信息来作为附加信息；以及基于第一对象相关信息和图像分析结果来产生输出消息。

根据本公开的实施例，用于控制电子设备的方法还可以包括：识别第一对象的形状；将预先存储的对象模板与第一对象的形状进行比较；以及获得与同第一对象的形状相比具有等于或大于预定阈值的相似度的对象模板相对应的对象相关信息，来作为第一对象相关信息。

根据本公开的实施例，用于控制电子设备的方法还可以包括：获得与所述图像不同的图像；从所述不同的图像识别对象模板，并存储所识别的对象模板；以及将与对象模板相关的信息存储为对象相关信息。

根据本公开的实施例，用于控制电子设备的方法可以包括捕获用户的图像，其中，输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息包括：识别用户；以及输出基于与识别用户的结果相对应的附加信息而产生的消息。

根据本公开的实施例，用于控制电子设备的方法可以包括：获得图像；通过分析所获得的图像来产生消息；获得附加信息；以及使用所获得的附加信息转换消息，并输出转换后的消息。

根据本公开的实施例，用于控制电子设备的方法可以包括：接收对电子设备接收的图像进行说明的数据；显示对图像进行说明的数据；获得用于下载图像的命令；以及响应于所获得的用于下载图像的命令，发送用于下载图像的请求。

根据本公开的实施例，一种用于控制中继图像的服务器的方法可以包括：从第一电子设备接收用于发送包括所述图像的图像的请求；通过分析所述图像获得图像分析结果；向第二电子设备发送图像分析结果；从第二电子设备接收用于下载图像的请求；以及响应于用于下载的请求向第二电子设备发送所述图像。

电子设备的上述组件中的每一个可以包括一个或多个部件，并且部件的名称可以随着电子设备的类型而变化。根据本公开各实施例的电子设备可以包括上述组件中的至少一个，省略它们中的一些，或者包括其它附加组件。一些组件可以组合为一个实体，但是该实体可以执行这些组件可执行的相同功能。

术语“模块”可以指代包括H/W、软件和固件之一或其组合在内的单元。例如，术语“模块”可以与单元、逻辑、逻辑块、组件或电路互换地使用。模块可以是集成组件的最小单元或一部分。模块可以是执行一个或多个功能的最小单元或一部分。可以用机械方式或电子方式来实现模块。例如，模块可以包括执行已知或者将在未来开发的一些操作的专用IC(ASIC)芯片、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)中的至少一个。

根据本公开的实施例，设备的至少一部分(例如，模块或它们的功能)或方法的至少一部分(例如，操作)可以被实现为例如以程序模块的形式存储在计算机可读存储介质中的指令。当由处理器(例如，处理器120)执行时，指令可以使得处理器能够执行对应功能。计算机可读存储介质可以是例如存储器130。

计算机可读存储介质可以包括H/W设备(比如，硬盘、软盘和磁带(例如磁带))、光学介质(比如，紧凑型盘ROM(CD-ROM)和DVD)、磁光介质(比如，光磁软盘、ROM、RAM、闪存等)。程序指令的示例不仅可以包括机器语言代码，还可以包括可以由各种计算装置使用解释器执行的高级语言代码。上述H/W设备可以被配置为作为一个或多个软件模块进行操作，以执行本公开的各种实施例，反之亦然。

根据本公开各种实施例的模块或编程模块可以包括上述组件中的至少一个或多个，省略它们中的一些，或者还包括其它附加组件。由根据本公开的各实施例的模块、编程模块或其它组件执行的操作可以被顺序地、同时地、重复地或启发式地执行。此外，可以以不同的顺序执行操作中的一些，或者可以省略操作中的一些，或者可以包括其它附加操作。

根据本公开的实施例，提供了一种存储有指令的存储介质，所述指令由至少一个处理器执行以使得处理器能够执行至少一个操作，所述至少一个操作可以包括：获得图像；以及输出基于附加信息和通过分析所获得的图像获得的图像分析结果而产生的消息。

根据以上描述显而易见的是，本公开的实施例可以提供一种电子设备以及用于控制电子设备的方法，其中，电子设备输出基于图像分析结果和附加信息产生的消息。

本公开的实施例还可以提供一种电子设备以及用于控制电子设备的方法，其中，电子设备接收并显示描述将由电子设备接收的图像的数据，并且在接收到下载图像的命令时，发送下载图像的请求，从而接收图像。

此外，本公开的实施例可以提供一种服务器和用于控制服务器的方法，其中，当服务器接收到用于通过第一电子设备向第二电子设备发送图像的请求时，服务器向第二电子设备发送图像分析结果，而不是向其发送图像，并且当服务器接收到用于下载图像的请求时，服务器向第二电子设备发送图像。

虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以进行形式和细节上的各种改变。

Claims (15)

1.一种电子设备，包括：

处理器；以及

存储器，与所述处理器电连接，

其中，所述存储器存储如下指令，所述指令被执行以使得所述处理器能够进行以下操作：

获得图像；以及

输出基于附加信息和通过分析所获得的所述图像获得的图像分析结果而产生的消息。

2.根据权利要求1所述的电子设备，其中，所述附加信息包括独立于所述图像分析结果的信息。

3.根据权利要求2所述的电子设备，其中，所述附加信息包括以下至少一项：所述图像的发送方与所述图像的接收方之间的关系、所述图像的发送方与所述电子设备之间的关系或者所述图像的接收方与所述电子设备之间的关系。

4.根据权利要求2所述的电子设备，其中，所述附加信息包括所述图像的元数据。

5.根据权利要求2所述的电子设备，其中，所述附加信息包括来自与输出所述消息的应用不同的应用的信息。

6.根据权利要求5所述的电子设备，其中，所述存储器存储如下指令，所述指令被执行以使得所述处理器能够进行以下操作：

识别所述图像的元数据，以及

从与所识别的元数据相对应的不同应用获得所述信息。

7.根据权利要求1所述的电子设备，其中，所述附加信息包括与所述图像分析结果的至少一部分相关的信息。

8.根据权利要求7所述的电子设备，其中，所述存储器存储如下指令，所述指令被执行以使得所述处理器能够进行以下操作：

获得识别所述图像的第一对象的结果，

获得与识别第一对象的结果相对应的、与第一对象相关的信息，来作为所述附加信息，以及

基于第一对象相关信息和所述图像分析结果来产生输出消息。

9.根据权利要求8所述的电子设备，其中，所述存储器存储如下指令，所述指令被执行以使得所述处理器能够进行以下操作：

识别第一对象的形状，

将预先存储的对象模板与第一对象的形状进行比较，以及

获得与同第一对象的形状相比具有等于或大于预定阈值的相似度的对象模板相对应的对象相关信息，来作为第一对象相关信息。

10.根据权利要求9所述的电子设备，其中，所述存储器存储如下指令，所述指令被执行以使得所述处理器能够进行以下操作：

获得与所述图像不同的图像，

从所述不同的图像识别所述对象模板，

存储所识别的对象模板，以及

将与所述对象模板相关的信息存储为对象相关信息。

11.根据权利要求1所述的电子设备，还包括被配置为捕获用户的相机，

其中，所述存储器存储如下指令，所述指令被执行以进行以下操作：

使得所述处理器能够基于来自所述相机的数据识别所述用户，以及

输出基于与识别所述用户的结果相对应的附加信息而产生的消息。

12.一种用于控制电子设备的方法，所述方法包括：

获得图像；以及

输出基于附加信息和通过分析所获得的所述图像获得的图像分析结果而产生的消息。

13.根据权利要求12所述的方法，其中，所述附加信息包括独立于所述图像分析结果的信息。

14.根据权利要求13所述的方法，其中，所述附加信息包括以下至少一项：所述图像的发送方与所述图像的接收方之间的关系、所述图像的发送方与所述电子设备之间的关系或者所述图像的接收方与所述电子设备之间的关系。

15.根据权利要求13所述的方法，其中，所述附加信息包括所述图像的元数据。