CN109242931A - 用于使用图像识别布置图像的方法和设备 - Google Patents

Abstract

公开了一种用于使用图像识别布置图像的方法和设备。所述方法包括如下操作：从原始图像识别与原始图像的至少一个局部区域相应的主体部分；剪切主体部分；在预定区域中显示主体部分。

Description

用于使用图像识别布置图像的方法和设备

本申请是申请日为2014年1月7日，申请号为“201410006807.6”发明名称为“用于使用图像识别布置图像的方法和设备”的发明专利申请的分案申请。

技术领域

本发明涉及图像布局。更具体地讲，本发明涉及一种用于使用图像识别布置图像的方法和设备。

背景技术

近来的诸如智能电话、平板PC、个人数字助理(PDA)和全球定位*** (GPS)的电子装置提供越来越多种类的服务和可选功能。在选择电子装置时，消费者趋向于不仅强调电子装置的功能而且强调功能的视觉方面。

为了跟上这一趋势，已经开发了在电子装置上向用户提供更加方便且精心设计的图像布局的技术，其中，在电子装置中，以有效方式在有限区域内布置至少一个图像。

在这方面，用于使用图像识别布置图像的技术在以下专利公布中进行了描述：在2009年12月15日公布的发明人为Youngjoon Woo和Myungjee Kang 并被转让给三星电子的名称为“METHOD OF USING IMAGE INFORMATION IN PORTABLE TERMINAL(使用便携式终端中的图像信息的方法)”的第10-2009-028038号韩国专利公布以及在2010年2月17日公布的发明人为Crystal Lynn Hoyer并被转让给微软公司的名称为“DYNAMICALLY LAYING OUTIMAGES AND ASSOCIATED TEXT USING PRE-DEFINED LAYOUTS(使用预定义的布局动态布置图像和相关联文本)”的第10-2010-0018544号韩国专利公布。

前者公开了用于识别人类的面部并显示识别出的面部区域的技术，后者公开了用于使用预定义的布局显示图像和文本的技术。

另外，在当前应用的图像布局技术中，对于例如图库缩略图，存在用于将以整个图像的某一区域为中心的区域剪切到预定尺寸并布置结果图像的技术。

因此已经提出了多样化的布局技术。然而，当为了在预定区域(例如，比图像尺寸小的区域)中布置图像而应用这些技术中的一种技术时，可能发生图像的不必要部分被放置在显示器的中心，并因此使图像的重要区域模糊，从而产生了不好的查看布局。此外，在分开的时间布置图像和文本可能导致图像的重要区域会被文本模糊的问题。

因此，需要一种用于使用图像识别布置图像以实现整个图像的重要部分在预定区域中被最佳布置的设备和方法。

以上信息仅被呈现为用于帮助理解本公开的背景信息。关于以上内容中的任何内容是否可应用为针对本发明的现有技术，没做确定，也没做断言。

发明内容

本发明的多个方面在于至少解决上述问题和/或缺点并至少提供下述优点。因此，本发明的一方面在于提供一种用于使用图像识别布置图像以使整个图像的重要部分能够被最佳地布置在预定区域中的方法和设备。

本发明的另一方面在于提供一种用于使用图像识别布置图像以确保当图像和文本将被一起显示时整个图像的重要部分不被相关联文本模糊的方法和设备。

根据本发明的一方面，提供一种使用图像识别布置图像的方法。所述方法包括：从原始图像识别与原始图像的至少一个局部区域相应的主体部分；将原始图像的主体部分从原始图像剪切掉；在预定区域中显示剪切的主体部分。

根据本发明的另一方面，提供一种使用图像识别布置图像的方法。所述方法包括：在原始图像被显示在屏幕中时，响应于预定用户命令，基于预定准则从原始图像识别原始图像的主体部分；考虑将在屏幕中与原始图像显示的文本的尺寸和位置中的至少一个，确定在何处显示原始图像的主体部分和文本中的至少一个，使得主体部分不被文本模糊。

根据本发明的另一方面，提供一种使用图像识别布置图像的方法。所述方法包括：当联系人模式被运行时，在屏幕中显示至少一个呼叫者标识(ID) 的列表；如果呼叫者ID从列表中的至少一个呼叫者ID中被选择，则在全屏幕中显示呼叫者ID的原始图像；如果预定用户命令被输入，则基于预定准则从原始图像识别与在全屏幕中显示的原始图像的至少一个局部区域相应的主体部分；剪切识别出的主体部分；在屏幕中的预定区域中显示剪切的主体部分。

根据本发明的另一方面，提供一种用于使用图像识别布置图像的设备。所述设备包括：显示单元，显示应用程序的运行屏幕和菜单状态；控制器，控制如下布局操作：识别与原始图像的至少一个局部区域相应的原始图像的主体部分，从原始图像剪切掉主体部分，并在预定区域中显示剪切的主体部分。

控制器可控制如下布局操作：在原始图像被显示在屏幕中时，在接收到预定用户命令时，基于预定准则识别与原始图像的至少一个局部区域相应的原始图像的主体部分；考虑文本的尺寸和位置中的至少一个，确定在何处显示原始图像的主体部分和将与原始图像显示的文本，使得原始图像的主体部分不被文本模糊。

控制器可控制如下操作：如果联系人模式被运行，则在屏幕中显示包括至少一个呼叫者ID的列表；当呼叫者ID从列表的至少一个呼叫者ID中被选择时，在全屏幕中显示呼叫者ID的原始图像；在原始图像被显示在全屏幕中时，在接收到预定用户命令时，基于预定准则识别与原始图像的至少一个局部区域相应的原始图像的主体部分；剪切主体部分；在预定区域中显示主体部分。

根据本发明的示例性实施例，如果图像将被布置在小于图像尺寸的预定区域中，则图像的重要部分可被布置在显示屏幕的中心处，而不必要部分在中心外，从而提供精心设计的显示屏幕。

另外，如果相关联文本将与显示图像被显示，则确保文本不模糊整个图像的重要部分。

从以下结合附图进行的公开了本发明的示例性实施例的详细描述，本发明的其他方面、优点和显著特征对本领域的技术人员将变得清楚。

附图说明

从结合附图进行的以下描述，本发明的特定示例性实施例的以上和其他方面、特征和优点将更加清楚，在附图中：

图1是根据本发明的示例性实施例的应用了用于使用图像识别布置图像的设备的移动装置的框图；

图2是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图；

图3A至图3F示出根据本发明的示例性实施例的在识别人图像的主体部分方面的图像；

图4示出根据本发明的示例性实施例的在识别背景图像的主体部分方面的图像；

图5是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图；

图6A至图6D示出根据本发明的示例性实施例的从使用图像识别布置图像的操作产生的缩略图视图屏幕；

图7是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图；

图8是示出根据本发明的示例性实施例的布置图像和文本的操作的流程图；

图9A至图9C1示出根据本发明的示例性实施例的具有从使用图像识别布置图像的操作产生的图像和相关联文本的屏幕；

图10是示出根据本发明的另一示例性实施例的使用图像识别布置图像的操作的流程图；

图11A和图11B示出根据本发明的示例性实施例的从使用图像识别布置图像的操作产生的联系人模式的运行屏幕。

在整个附图中，应注意的是，相似的标号用于描绘相同或相似的元件、特征和结构。

具体实施方式

提供参照附图的以下描述以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。以下描述包括各种特定细节以帮助理解，但是这些细节应仅被视为示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对本文中描述的实施例进行各种改变和修改。另外，为了清楚和简明，可省略对公知功能和构造的描述。

在以下描述和权利要求中使用的术语和词语不限于书面含义，而仅被发明人使用以实现对本发明的清晰和一致的理解。因此，本领域的技术人员应清楚的是，提供对本发明的示例性实施例的以下描述仅为了说明目的，而不是为了限制由权利要求及其等同物限定的本发明的目的。

应理解，除非上下文另外明确地指示，否则单数形式包括复数指示物。因此，例如，参考“组件表面”包括参考这种表面中的一个或更多个。

图1是根据本发明的示例性实施例的应用了用于使用图像识别布置图像的设备的移动装置的框图。

参照图1，移动装置100包括显示单元190和显示控制器195。移动装置 100还包括控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、全球定位***(GPS)模块155、输入/输出模块160、传感器模块170、存储器175和电源180。子通信模块130包括无线局域网(WLAN) 模块131和短距离通信模块132中的至少一个，多媒体模块140包括广播通信模块141、音频播放模块142和视频播放模块143中的至少一个。相机模块150包括第一相机151和第二相机152中的至少一个。输入/输出模块160 包括按钮161、麦克风162、扬声器163、振动电机164、连接器165和键盘 166中的至少一个。下文中，假定显示单元190和显示控制器195分别是例如触摸屏和触摸屏控制器。

移动通信模块120在控制器110的控制下至少使用一个或更多个天线(未示出)通过移动通信将移动装置100连接到外部装置。移动通信模块120将用于语音呼叫、视频会议呼叫、短消息服务(SMS)消息或多媒体消息服务 (MMS)消息的无线信号发送到蜂窝电话(未示出)、智能电话(未示出)、平板个人计算机(PC)(未示出)或另一装置(未示出)，和/或从这些装置接收无线信号，其中，电话将电话号码输入了移动装置100中。

子通信模块130可包括WLAN模块131和短距离通信模块132中的至少一个。

WLAN模块131可在控制器110的控制下连接到存在无线接入点(AP) (未示出)的地方中的互联网。WLAN模块131支持电气和电子工程师协会 (IEEE)WLAN标准IEEE802.11x。短距离通信模块132可执行移动装置100 与另一移动装置之间的短距离通信。

移动装置100可包括移动通信模块120、WLAN模块131和短距离通信模块132中的至少一个。例如，移动装置100可基于每个模块的性能而包括移动通信模块120、WLAN模块131和短距离通信模块132的组合。

多媒体模块140可包括广播通信模块141、音频播放模块142或视频播放模块143。广播通信模块141可在控制器110的控制下通过广播通信天线 (未示出)接收从广播站发送的广播信号(例如，电视广播信号、无线电广播信号或数据广播信号)和附加广播信息(例如，电子节目指南(EPG)或电子服务指南(ESG))。音频播放模块142可在控制器110的控制下播放存储的或接收的数字音频文件(例如，具有诸如mp3、wma、ogg或wav的扩展名的文件)。视频播放模块143可在控制器110的控制下播放存储的或接收的数字视频文件(例如，具有诸如mpeg、mpg、mp4、avi、move或mkv的扩展名的文件)。视频播放模块143还可播放数字音频文件。

多媒体模块140可包括除了广播通信模块141之外的音频播放模块142 和视频播放模块143。多媒体模块140的音频播放模块142或视频播放模块 143可被包括在控制器110中。

相机模块150可包括用于在控制器110的控制下捕获静止图像或视频图像的第一相机151和第二相机152中的至少一个。

GPS模块155从位于地球轨道上的多颗GPS卫星(未示出)接收无线电信号，并可通过使用从GPS卫星到移动装置100的到达时间来计算移动装置 100的位置。

输入/输出模块160可包括多个按钮161、麦克风162、扬声器163、振动电机164、连接器165和键盘166中的至少一种。

至少一个按钮161可被布置在移动装置100的外壳的前面、侧面或后面，并可包括电源/锁定按钮(未示出)、音量按钮(未示出)、菜单按钮、主页按钮、返回按钮和搜索按钮中的至少一个。

麦克风162通过在控制器110的控制下接收语音或声音来产生电信号。

扬声器163可在控制器110的控制下将与各种信号(例如，无线电信号、广播信号、数字音频文件、数字视频文件或拍摄信号)相应的声音从移动通信模块120、子通信模块130、多媒体模块140或相机模块150输出到移动装置100的外部。扬声器163可输出与移动装置100执行的功能相应的声音(例如，按钮按下声音或回铃音)。可在移动装置100的外壳的适当位置布置一个或多个扬声器163。

振动电机164可在控制器110的控制下将电信号转换为机械振动。例如，处于振动模式下的移动装置100在从另一装置(未示出)接收到语音呼叫时操作振动电机164。可在移动装置100的外壳内存在一个或更多个振动电机 164。振动电机164可响应于用户通过触摸屏190的触摸行为或连续触摸而操作。

连接器165可用作用于将移动装置100连接到外部装置(未示出)或电源(未示出)的接口。在控制器110的控制下，移动装置100可经由连接到连接器165的线缆将存储在移动装置100的存储器175中的数据发送到外部装置，或者从外部装置接收数据。此外，移动装置100可经由连接到连接器 165的线缆被电源供电，或者可利用电源对电池(未示出)充电。

键盘166可从用户接收键输入以控制移动装置100。键盘166可包括形成在移动装置100中的物理键盘(未示出)或显示在触摸屏190上的虚拟键盘(未示出)。可依据移动装置100的性能或结构而不包括形成在移动装置 100中的机械键盘。

耳机(未示出)可被***到耳机连接插孔167中，从而连接到移动装置 100。

传感器模块170包括用于检测移动装置100的状态的至少一个传感器。例如，传感器模块170可包括用于检测用户到移动装置100的接近度的接近传感器、用于检测移动装置100的环境光的量的照度传感器(未示出)、用于检测移动装置100的运动(例如，移动装置100的旋转、施加到移动装置100 的加速度或振动)的运动传感器(未示出)、用于使用地磁场检测方向的地磁传感器(未示出)、用于检测重力作用的方向的重力传感器以及用于通过测量气压来检测高度的高度计。至少一个传感器可检测状态，并产生发送到控制器110的相应信号。传感器模块170的传感器可依据移动装置100的性能而被添加或移除。

存储器175可在控制器110的控制下存储根据移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块 160、传感器模块170或触摸屏190的操作而输入/输出的信号或数据。存储器175可存储用于控制移动装置100或控制器110的控制程序和应用。

术语“存储器”不仅表示存储器175，而且表示控制器110中的只读存储器(ROM)112或随机存取存储器(RAM)113或安装在移动装置100中的存储卡(未示出)(例如，安全数字(SD)卡、记忆棒等)。存储器还可包括非易失性存储器、易失性存储器、硬盘驱动器(HDD)、固态驱动器(SSD) 等。

电源180可在控制器110的控制下对放置在移动装置100的外壳内的一个或更多个电池(未示出)供电。所述一个或更多个电池对移动装置100供电。电源180可经由连接到连接器165的线缆向移动装置100供应从外部电源(未示出)输入的电力。电源180还可使用无线充电技术向移动装置100 供应来自外部电源的无线电力。

触摸屏190接收用户对触摸屏190的操纵，并可显示运行屏幕、应用程序的操作状态、菜单状态等。换言之，触摸屏190可向用户提供用于各种服务(例如，呼叫、数据发送、广播、拍摄服务等)的用户接口。触摸屏190 可将与输入到用户接口的至少一个触摸相应的模拟信号发送到触摸屏控制器 195。触摸屏190可从用户的物理接触(例如，使用包括拇指的手指)或经由诸如电子笔(例如，触控笔)的可触摸的输入装置接收至少一个触摸。触摸屏190可接收至少一个触摸中的一个触摸的连续移动。触摸屏190可将与输入的触摸的连续移动相应的模拟信号发送到触摸屏控制器195。

这里，触摸不限于用户的物理接触或可触摸的输入装置，并可包括非触摸。可检测的距触摸屏190的距离可依据移动装置100的性能或结构而变化，具体地讲，触摸屏190可输出触摸检测和悬停检测的不同值(例如，电流值) 以可区分地检测通过与用户的身体或可触摸的输入装置的接触所发生的触摸事件和非接触输入(例如，悬停事件)。此外，触摸屏190可输出对发生悬停事件的地方与触摸屏190之间的距离的悬停检测的不同值(例如，电流值)。

触摸屏190可使用电阻、电容、红外或声波技术来实现。

触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号(例如，XY坐标)，并将数字信号发送到控制器110。控制器110可通过使用从触摸屏控制器195接收的数字信号来控制触摸屏190。例如，响应于触摸事件或悬停事件，控制器110可使显示在触摸屏190上的快捷图标(未示出) 能够被选择或被执行。触摸屏控制器195还可被合并在控制器110中。

此外，触摸屏控制器195可通过检测经由触摸屏190输出的值(例如，电流值)来确定发生悬停事件的地方与触摸屏190之间的距离，将确定的距离转换为数字信号(例如，Z坐标)，并将数字信号提供给控制器110。

触摸屏190可包括用于检测通过用户的身体或可触摸的输入装置对触摸屏190的触摸或接近的至少两个触摸屏面板，以同时接收由用户的身体或可触摸的输入装置做出的两个输入。所述至少两个触摸屏面板将不同的输出值提供给触摸屏控制器195，并且触摸屏控制器195可通过不同地识别从所述至少两个触摸屏面板输入的值来区分通过触摸屏由用户的身体做出的输入和由可触摸的输入装置做出的输入。

存储器175可在控制器110的控制下存储根据移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块 160、传感器模块170和触摸屏190的操作而输入/输出的信号或数据。存储器175可存储用于控制移动装置100或控制器110的控制程序和应用。

控制器110可包括中央处理单元(CPU)111、ROM 112和RAM 113，其中，ROM 112存储用于控制移动装置100的控制程序，RAM 113存储从外部源输入的信号或数据或者用作移动装置100中的工作结果的存储空间。CPU 111可包括单核、双核、三核或四核。CPU 111、ROM112和RAM 113可经由内部总线互相连接。

控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储器 175、电源180、触摸屏190和触摸屏控制器195。

在本发明的示例性实施例中，控制器110可基于用于使用图像识别布置图像的设备的属性来控制如下布局操作：识别与原始图像的至少一个局部区域相应的原始图像的主体部分，剪切出原始图像的主体部分，并在预定区域中显示主体部分。

在本发明的另一示例性实施例中，控制器110可基于用于使用图像识别布置图像的设备的属性来控制如下布局操作：当在屏幕中显示原始图像的同时接收到预定用户命令时，基于预定准则识别与原始图像的至少一个局部区域相应的原始图像的主体部分，并考虑文本的尺寸和位置中的至少一个来确定在何处显示原始图像的主体部分和将与原始图像显示的文本，使得原始图像的主体部分不被文本模糊。

在本发明的另一示例性实施例中，控制器110可基于用于使用图像识别布置图像的设备的属性来控制如下操作：如果运行了联系人模式，则在屏幕中显示包括至少一个呼叫者标识符(ID)的列表，当从列表的至少一个呼叫者ID中选择了呼叫者ID时，在全屏幕中显示呼叫者ID的原始图像，当在全屏幕中显示原始图像的同时接收到预定用户命令时，基于预定准则识别与原始图像的至少一个局部区域相应的原始图像的主体部分，剪切识别出的主体部分，并在预定区域中显示主体部分。

图2是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图。

参照图2，在步骤200运行与在接收到预定用户命令(诸如用户的触摸、语音输入、按钮按下等)时使用图像识别布置任何图像相关的操作模式。操作模式可以是显示包含至少一个图像的图库的图库模式或者显示包含至少一个缩略图图像的图库的图库缩略图模式。在步骤204，在操作模式下从原始图像识别与原始图像的至少一个局部区域相应的主体部分。以下将更加详细地描述在步骤204识别主体部分的操作。在步骤206，剪切原始图像的主体部分，并且在步骤208，在预定区域中显示剪切的主体部分。

更详细地讲，可通过不识别原始图像中的背景而识别对象(诸如人、动物或物品)并将包含至少一个对象的区域建立为主体部分来确定原始图像的主体部分。

图3A至图3F示出根据本发明的示例性实施例的在识别人图像的主体部分方面的图像。

参照图3A至图3F，例如，如果对象是人，则可如下所述执行从原始图像识别除了背景之外的对象并将包含至少一个对象的区域建立为主体部分的操作。

首先，使用识别人的面部的技术，识别包含在原始图像o中的各个对象 p1、p2和p3。然后，建立主体部分的候选区域c以包括所有的被识别的对象 p1、p2和p3。候选区域c可包括原始图像的大部分或原始图像的一部分。将候选区域c的尺寸与预定参考尺寸s比较，并通过改变候选区域c的尺寸以适应于参考尺寸s来确定主体部分m。

在建立具有若干对象的图像的候选区域中，将整个显示区域中的一点设置为具有参考坐标(0,0)，并且可通过检查被识别的对象相对于参考坐标的坐标来建立候选区域。例如，在显示区域的左上角被设置为参考坐标(0,0) 并且在参考尺寸s的长度小于显示的图像的长度时参考尺寸s的宽度等于显示的图像的宽度的情况下，可通过分别确定具有最小和最大Y坐标的两个对象并分别向下和向上移动距所述两个对象的坐标的预定距离来建立候选区域。

现在将更详细地描述从原始图像建立主体部分的操作。

首先参照图3A和图3B，在将候选区域c的尺寸与参考尺寸s比较中，如果候选区域c的尺寸小于参考尺寸s，则建立包含候选区域c的区域以适应于参考尺寸s，然后将该区域确定为主体部分m。

参照图3C和图3D，在将候选区域c的尺寸与参考尺寸s比较中，如果候选区域c的尺寸大于参考尺寸s，则确定包含候选区域c的中心的区域以适应于参考尺寸s，并且确定包含候选区域c的中心的区域是否包括被识别的对象中的至少一个。如图3C中所示，如果至少一个对象p3包括在包含候选区域c的中心的区域中，则该区域被确定为主体部分m。

另一方面，参照图3E和图3F，如果包含候选区域c的中心的区域不包括任何一个被识别的对象，则从被识别的对象p1、p2和p3中检测具有最大识别区域的对象(例如，对象p2)，并且建立包含对象p2的区域以适应于参考尺寸s并将该区域确定为主体部分m。

在识别包含在原始图像中的各个对象中，如果对象中的一个是人，则可使用仅识别人的面部的技术来仅识别人的面部。如果对象不包含任何人类而相反包含动物，则可使用仅识别动物的面部的技术来仅识别动物的面部。在对图像中的人类、动物和物品指定示例性优先级中，人类排在第一位，动物排在下一位，物品排在最后。因此，在显示图像的主体部分方面，包括任何人类的区域被建立为主体部分并将被显示。在示例性实施例中，例如，在将从包含动物和书桌的图像显示主体部分的情况下，包括动物的面部的区域被建立为主体部分并将被显示。

此外，为了更详细地解释在步骤204识别主体部分的操作，原始图像的主体部分可被建立为距原始图像的中心的预定参考尺寸。例如，图4示出根据本发明的示例性实施例的在识别背景图像的主体部分方面的图像。参照图 4，如果原始图像包含风景视图而不包含任何人类、动物或物品，则建立主体部分m以适应于以原始图像的中心为中心的预定参考尺寸。

图5是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图。

参照图5，在步骤300，响应于用户命令运行图库缩略图视图。在步骤 302，加载安置在移动装置100中的图库中的缩略图的原始图像，并识别原始图像的各个主体部分。以与前述步骤204基本上相同的方式执行识别原始图像的主体部分的操作。在步骤304，通过剪切包括原始图像的被识别的主体部分的各个区域以适应于预定缩略图尺寸来剪切原始图像的被识别的各个主体部分。在步骤306，产生剪切主体部分的结果，作为与原始图像相应的各个缩略图。在步骤308，将产生的缩略图加载到图库中，并且在步骤310，在预定区域中分别显示产生的缩略图。

图5的示例性实施例描述了当用户打开图库并设置以缩略图格式显示照片列表的照片列表的缩略图视图时，剪切每个图像以使相应主体部分不被剪切掉的操作。这确保每个缩略图显露出相应原始图像的主体部分。

图6A至图6D示出根据本发明的示例性实施例的从使用图像识别布置图像的操作产生的缩略图视图屏幕。

参照图6A至图6D，示出了移动装置100的图库中的照片，每张照片具有包含稍后将被剪切并被产生作为缩略图的主体部分的区域s的标记。图6A 中是执行图5的操作的结果缩略图视图，图5的操作包括产生相应照片图像的主体部分的各个缩略图并布置缩略图的操作。图6B至图6D示出从缩略图中选择的图像的剪切，以不使相应主体部分被剪切掉。

图7是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图。

参照图7，在步骤400，响应于用户命令运行图库细节视图。运行图库细节视图包括：当从移动装置100的图库中的多个图像中选择了图像时，在全屏幕中或以预定尺寸显示图像。在步骤402，显示由用户选择的原始图像。在步骤404，确定是否存在用于引入与原始图像相关联的文本的预定用户命令。所述用户命令可以是如轻拂的触摸输入、语音命令、按钮按下等。如果在步骤404存在用于引入与原始图像相关联的文本的预定用户命令，则处理进行到步骤406，否则如果不存在所述用户命令，则处理结束。在步骤406，识别原始图像的主体部分。以与前述步骤204基本上相同的方式执行在步骤 406识别原始图像的主体部分的操作。在步骤408，通过考虑文本的尺寸和位置确定在屏幕中的何处显示原始图像的主体部分和文本使得主体部分不被文本模糊，来布置原始图像和将与原始图像显示的文本。

以下将更详细地描述步骤408的这种布局操作。

图8是示出根据本发明的示例性实施例的布置图像和文本的操作的流程图。

参照图8，在步骤4080，基于将被显示的文本的尺寸和位置确定文本是否被预期与原始图像的主体部分重叠。将被显示的文本的位置可以位于显示区域的上侧、下侧、左侧和右侧中的任何一个。

如果在步骤4080确定将被显示的文本被预期不与原始图像的主体部分重叠，则处理进行到步骤4081，或者如果将被显示的文本被预期与原始图像的主体部分重叠，则处理进行到步骤4082。

在步骤4081，在预定区域中显示将被显示的文本以与原始图像重叠。这里，可在透明状态下或在不透明状态下显示文本。

对于图像的更详细的视图，在执行在预定区域中引入并显示与图像相关联的文本的操作中，如果图像的主体部分不被文本的显示所模糊而是被显露，则可允许文本在图像的显示之上被显示。

图9A至图9C1示出根据本发明的示例性实施例的具有从使用图像识别布置图像的操作产生的图像和相关联文本的屏幕。

参照图9A至图9C1，图9A是来自图库的图像的详细视图，其中，包含图像的主体部分的区域s被标记。图9A1示出使用图像识别布置图像与相关联文本而不进行图像剪切或移动的结果，文本t与图像重叠。

如果在步骤4080将被显示的文本被预期与原始图像重叠，则在步骤4082 确定在原始图像的显示位置被移动得远离文本将被显示的地方达到与将被显示的文本的尺寸一样远的情况下原始图像的主体部分是否被预期将被模糊。如果在步骤4082确定在原始图像的显示位置被移动的情况下主体部分的一部分被预期将不被模糊，则处理进行到步骤4083，否则如果在原始图像的位置被移动的情况下主体图像的一部分被预期将被模糊，则处理进行到步骤 4085。

在步骤4083，移动原始图像的显示位置。更具体地讲，显示的原始图像的显示位置被移动得远离文本将被显示的地方。例如，如果假设文本位于整个显示屏幕的下侧，则原始图像的整个显示位置被向上移动以离开文本的区域。在步骤4084，在为文本剩下的区域中显示文本。

对于图像的更详细的视图，在执行在预定区域中引入并显示与图像相关联的文本的操作中，如果在图像被移动的情况下图像的主体部分不被模糊而被显露，则图像被移动得与文本的尺寸一样远，以剩下用于显示文本的空间。参照图9B，示出了来自图库的图像的详细视图，其中，包含图像的主体部分的区域s被标记。图9B1示出通过移动图像的显示位置以确保在通过图像的显示位置的移动所产生的显示屏幕的空的空间中显示文本t的同时图像的主体部分被全部显示来使用图像识别布置与文本相关联的图像的结果。

如果在步骤4082确定在图像的位置被移动的情况下图像的整个或局部主体部分被预期将被模糊，则在步骤4085，建立虚拟区域以包括主体部分而不包括将被显示的文本的区域。更具体地讲，在文本位于整个显示器的上侧或下侧的示例性实施例中，可建立虚拟区域以包括图像的主体部分以及除了文本所位于的空间之外的主体部分的左侧空间和右侧空间。在文本位于整个显示器的左侧或右侧的另一示例性实施例中，可建立虚拟区域以包括图像的主体部分以及除了文本所位于的空间之外的主体部分的上部空间和下部空间。在步骤4087，剪切掉除了虚拟区域之外的区域，并且将虚拟区域中的图像移动远离文本将被显示的地方，以避免图像和文本的重叠。在步骤4089，在通过剪切产生的空区域中显示文本。

对于图像的更详细的视图，在执行在预定区域中引入并显示与图像相关联的文本的操作中，可建立不包括图像的主体部分的区域，并剪切掉该区域，并且可在该区域被剪切掉的地方显示文本。在文本位于整个显示屏幕的下侧的示例性实施例中，将被剪切的区域是不包括主体部分以及主体部分的左侧和右侧的区域，即，仅整个图像的不包含主体部分的上侧和下侧被剪切。然后，为了避免图像和文本彼此重叠，将不被剪切的区域中的图像显示被移动远离文本将被显示的地方，并且文本被显示在通过图像显示的移动所产生的空的空间中。在文本位于整个显示屏幕的左侧或右侧的另一示例性实施例中，将被剪切的区域是不包括主体部分以及主体部分的上侧和下侧的区域，即，仅整个图像的不包含主体部分的左侧和右侧被剪切。然后，将不被剪切的区域中的图像显示被移动远离文本将被显示的地方，并且文本被显示在通过图像显示的移动所产生的空的空间中。图9C是来自图库的图像的详细视图，其中，包含图像的主体部分的区域s被标记。图9C1示出通过剪切掉除了包括图像的主体部分的虚拟区域之外的区域以在显示屏幕中示出主体部分并移动虚拟区域的显示位置使得文本t被显示在通过图像的显示位置的移动所产生的空显示区域中来使用图像识别布置图像与相关联文本的结果。

图10是示出根据本发明的示例性实施例的使用图像识别布置图像的操作的流程图。

参照图10，在步骤500，响应于用户命令运行联系人模式。在步骤502，在联系人模式下显示呼叫者ID列表。在步骤504，确定是否通过用户的触摸或语音命令从呼叫者ID列表选择了呼叫者ID。如果选择了呼叫者ID，则处理进行到步骤506，否则如果没有选择任何呼叫者ID，则处理结束。在步骤 506，在全屏幕中显示选择的呼叫者ID的预定原始图像。此时，通过各个图标表示呼叫者ID的预定项，诸如姓名、电话号码、电子邮件地址等，并且图标被显示为与显示在全屏幕中的原始图像重叠，并且用于停止联系人模式、返回主屏幕、执行编辑等的附加图标也可被显示为与显示在全屏幕中的原始图像重叠。

在步骤508确定是否存在用于显示呼叫者ID的详细信息的预定用户命令。所述用户命令可以是用户的如轻拂的触摸输入、语音命令、图标选择或按钮按下。如果在步骤508存在所述用户命令，则处理进行到步骤510，否则处理结束。

在步骤510，识别原始图像的主体部分。以与前述步骤204基本上相同的方式执行在步骤510识别原始图像的主体部分的操作。在步骤512，剪切原始图像的主体部分，在步骤514，在预定区域中显示剪切的主体部分。在步骤514，可在预定区域中显示呼叫者ID的预定项，诸如呼叫者ID的姓名、电话号码、电子邮件地址等。

可选择地，在在步骤510识别原始图像的主体部分之后，可在预定区域中仅显示主体部分。在在预定区域中仅显示原始图像的主体部分的情况下，如果对显示的原始图像作出包括拖动或轻拂的触摸，则可在原始图像被拖动或轻拂时改变从显示的原始图像显露的内容。

图10的示例性实施例描述了当从在联系人模式下显示的至少一个呼叫者ID中选择了呼叫者ID时，在全屏幕中显示选择的呼叫者ID的预定图像的操作。示例性实施例还描述了当通过用户命令将显示呼叫者ID的详细信息时使图像的主体部分被显示的操作。

图11A和图11B示出根据本发明的示例性实施例的从使用图像识别布置图像的操作产生的联系人模式的运行屏幕。

参照图11A和图11B，图11A在具有表示呼叫者ID的预定项的各个图标的图像i的全屏幕中示出呼叫者ID的预定原始图像。图11A的原始图像具有包含原始图像的主体部分的区域s。图11B示出从图11A的处理产生的图像，图像表示出了呼叫者ID的详细信息与图像的主体部分和包括呼叫者ID 的电话号码、电子邮件地址等的预定项。

本发明的示例性实施例不限于以上描述的示例性实施例。相反，在由权利要求限定的本发明的精神和范围内，可进行各种改变和替代。

例如，以上描述的示例性实施例包括识别原始图像的对象而非背景并将包括至少一个对象的区域建立为原始图像的主体部分的操作，其中，对象是人，但是本发明还可应用于对象是动物或物品的情况。

另外，如果将与原始图像显示的文本的尺寸固定但是文本的显示位置不固定，则在在步骤406识别原始图像的主体部分之后，可通过考虑将在屏幕中与原始图像显示的文本的尺寸执行剪切包含主体部分的图像区域的操作和移动图像区域的操作中的至少一个来确定在屏幕中的何处显示文本使得原始图像的主体部分不被模糊，从而布置文本和原始图像。在此情况下，如果即使当原始图像的主体部分的剪切操作和移动操作中的至少一个被执行时整个或局部主体部分也被模糊，则可应用如上所述的重叠操作。

此外，如果将与原始图像显示的文本的尺寸不固定但是文本的显示位置固定，则在在步骤406识别原始图像的主体部分之后，可通过考虑将在屏幕中与原始图像显示的文本的位置执行前述重叠、移动和剪切操作中的至少一个来确定将在屏幕中显示的文本的尺寸使得原始图像的主体部分不被文本模糊，从而布置文本和原始图像。

另外，在执行在预定区域中引入并显示文本的操作中，还可能够使文本与原始图像重叠并且同时移动原始图像的显示位置。

对于图像的详细视图，在执行在预定区域中引入并显示与图像相关联的文本的操作中，还可剪切并移动图像，并且另外，使文本与图像重叠。

除了对图像的移动、剪切和重叠操作之外，还可通过缩小主体部分的图像尺寸来布置图像的主体部分。

将认识到，本发明的示例性实施例可被实现为硬件、软件或者硬件和软件的组合的形式。软件可在计算机可读介质上被存储为可在处理器上执行的程序指令或计算机可读代码。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。计算机可读记录介质还可分布于通过网络连接的计算机***中，使得计算机可读代码以分布方式被存储和执行。该介质可被计算机读取，被存储在存储器中，并被处理器执行。包括在电力发送器或电力接收器中的存储器可以是适合于存储具有实现本发明的示例性实施例的指令的程序的计算机可读记录介质的示例。

尽管已经参照本发明的特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，在此可进行形式和细节上的各种改变。

Claims (18)

1.一种设备，包括：

触摸屏；

控制器，被配置为执行以下操作：

控制触摸屏显示联系人列表，

在显示的联系人列表上识别与第一联系人标识有关的第一输入，

基于与第一联系人标识有关的第一输入，控制触摸屏显示与第一联系人标识对应的图像，

识别第二输入，

基于第二输入，控制触摸屏显示与第一联系人标识对应的图像的一部分以及与第一联系人标识有关的至少一项。

2.如权利要求1所述的设备，其中，与第一联系人标识对应的图像的所述一部分是通过对与第一联系人标识对应的图像进行剪切或缩小来获得的。

3.如权利要求1所述的设备，其中，控制器被配置为执行以下操作：

基于与第一联系人标识有关的第一输入，控制触摸屏显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标。

4.如权利要求3所述的设备，其中，控制器被配置为执行以下操作：

基于第二输入，控制触摸屏显示与第一联系人标识对应的图像的所述一部分、与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标。

5.如权利要求3所述的设备，其中，与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像相邻的区域中，

其中，与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像的所述一部分相邻的延伸区域中。

6.如权利要求1所述的设备，其中，控制器被配置为执行以下操作：

基于与第一联系人标识有关的第一输入，控制触摸屏显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标，

其中，与第一联系人标识有关的所述至少一项包括与第一联系人标识有关的所述至少一个图标。

7.一种使用图像识别布置图像的方法，所述方法包括：

在屏幕中显示联系人列表，

在显示的联系人列表上识别与第一联系人标识有关的第一输入，

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像，

识别第二输入，

基于第二输入，显示与第一联系人标识对应的图像的一部分以及与第一联系人标识有关的至少一项。

8.如权利要求7所述的方法，其中，与第一联系人标识对应的图像的所述一部分是通过对与第一联系人标识对应的图像进行剪切或缩小来获得的。

9.如权利要求7所述的方法，其中，基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像的步骤包括：

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标。

10.如权利要求9所述的方法，其中，基于第二输入，显示与第一联系人标识对应的图像的所述一部分以及与第一联系人标识有关的所述至少一项的步骤包括：

基于第二输入，显示与第一联系人标识对应的图像的所述一部分、与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标。

11.如权利要求9所述的方法，其中，与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像相邻的区域中，

其中，与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像所述一部分相邻的延伸区域中。

12.如权利要求7所述的方法，其中，基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像的步骤包括：

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标，

其中，与第一联系人标识有关的所述至少一项包括与第一联系人标识有关的所述至少一个图标。

13.一种非暂时性机器可读存储介质，其中，所述非暂时性机器可读存储介质记录有用于执行使用图像识别布置图像的方法的程序，所述方法包括：

在屏幕上显示联系人列表，

在显示的联系人列表上识别与第一联系人标识有关的第一输入，

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像，

识别第二输入，

基于第二输入，显示与第一联系人标识对应的图像的一部分以及与第一联系人标识有关的至少一项。

14.如权利要求13所述的非暂时性机器可读存储介质，其中，与第一联系人标识对应的图像的所述一部分是通过对与第一联系人标识对应的图像进行剪切或缩小来获得的。

15.如权利要求13所述的非暂时性机器可读存储介质，其中，基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像的步骤包括：

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标。

16.如权利要求15所述的非暂时性机器可读存储介质，其中，基于第二输入，显示与第一联系人标识对应的图像的所述一部分以及与第一联系人标识有关的所述至少一项的步骤包括：

基于第二输入，显示与第一联系人标识对应的图像的所述一部分、与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标。

17.如权利要求15所述的非暂时性机器可读存储介质，其中，与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像相邻的区域中，

其中，与第一联系人标识有关的所述至少一项以及与第一联系人标识有关的所述至少一个图标显示在和与第一联系人标识对应的图像的所述一部分相邻的延伸区域中。

18.如权利要求13所述的非暂时性机器可读存储介质，其中，基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像的步骤包括：

基于与第一联系人标识有关的第一输入，显示与第一联系人标识对应的图像以及与第一联系人标识有关的至少一个图标，

其中，与第一联系人标识有关的所述至少一项包括与第一联系人标识有关的所述至少一个图标。