CN105389146A - 用于显示图像的方法及其电子设备 - Google Patents

用于显示图像的方法及其电子设备 Download PDF

Info

Publication number
CN105389146A
CN105389146A CN201510559871.1A CN201510559871A CN105389146A CN 105389146 A CN105389146 A CN 105389146A CN 201510559871 A CN201510559871 A CN 201510559871A CN 105389146 A CN105389146 A CN 105389146A
Authority
CN
China
Prior art keywords
image
electronic equipment
effect
depth map
present disclosure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510559871.1A
Other languages
English (en)
Inventor
林钟和
李信俊
K.S.卡米勒斯
P.K.巴杰帕伊
P.M.莫汉
S.S.亚达夫
金炯奭
李姃恩
赵成大
贾亚卡西克.S
K.R.拉尼帕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140117316A external-priority patent/KR20160028320A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105389146A publication Critical patent/CN105389146A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0092Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用于在电子设备中显示图像的装置和方法。该电子设备包括处理器和显示器,该处理器获得图像和与图像相对应的深度图,基于图像的深度图将图像分离成一个或多个区域,向从图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且将被应用了不同效果的区域连接为单个图像,并且该显示器显示该单个图像。

Description

用于显示图像的方法及其电子设备
技术领域
本公开涉及用于在电子设备中显示图像的装置和方法。
背景技术
随着信息通信技术和半导体技术的发展,各种电子设备已被开发成提供各种多媒体服务的多媒体设备。例如,便携式电子设备可提供各种多媒体服务,例如广播服务、无线互联网服务、相机服务和音乐播放服务。
电子设备可三维显示图像以向用户提供事实信息。例如,电子设备可利用图像的深度图三维地显示图像中包括的至少一个对象。这里,深度图可表示关于从用户的视点到对象的表面的距离的信息。
上述信息只是作为背景信息给出的,用于帮助理解本公开。关于上述的任何内容对于本公开而言是否适用为现有技术,并未做出判定,也并未做出断言。
发明内容
当在电子设备中三维显示图像时,为了对于图像中包含的每个对象提供透视,电子设备可将相应对象显示为与背景分离。在电子设备的显示器上三维显示的图像由于对象被分离以三维显示而可包括孔洞。因此,电子设备要求一种提供自然的三维效果的方法。
本公开的各方面要解决至少上述问题和/或缺点并且要提供至少以下所述的优点。因此,本公开的一方面要提供一种用于在电子设备中三维显示图像的装置和方法。
根据本公开的一方面,提供了一种电子设备。该电子设备包括至少一个图像传感器、存储器、通信接口、处理器以及显示器,该处理器被配置为获得图像和与图像相对应的深度图,基于图像的深度图将图像分离成一个或多个区域,向从图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且把被应用了不同效果的区域连接为单个图像,并且该显示器被配置为显示该单个图像。
根据本公开的另一方面,提供了一种电子设备的操作方法。该操作方法包括获得图像,获得与图像相对应的深度图,基于图像的深度图将图像分离成一个或多个区域,向从图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且在显示器上显示被应用了不同效果的区域。
通过以下结合附图公开本公开的各种实施例的详细描述,本领域技术人员将清楚本公开的其他方面、优点和显著特征。
附图说明
通过以下结合附图的描述,本公开的某些实施例的上述和其他方面、特征和优点将更加清楚,附图中:
图1是根据本公开的实施例的电子设备的框图;
图2是根据本公开的实施例的程序模块的框图;
图3是根据本公开的实施例的处理器的框图;
图4A、4B、4C、4D和4E根据本公开的各种实施例图示了屏幕图像的配置,用于利用深度图三维地显示图像中包括的对象;
图5A、5B、5C、5D和5E根据本公开的各种实施例图示了图像的三维布置结构;
图6A、6B、6C、6D和6E根据本公开的各种实施例图示了图像的二维布置结构;
图7是根据本公开的实施例在电子设备中显示图像的流程图;
图8是根据本公开的实施例在电子设备中基于视点范围应用图形效果的流程图;
图9是根据本公开的实施例在电子设备中基于视点变化应用图形效果的流程图;
图10A、10B、10C和10D根据本公开的各种实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用图形效果;
图11A和11B根据本公开的各种实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用图形效果;
图12A、12B和12C根据本公开的各种实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用动画效果;
图13是根据本公开的实施例在电子设备中向图像的至少局部区域应用图形效果的流程图;并且
图14是根据本公开的实施例的电子设备的框图。
贯穿各图,相似的标号将被理解为指代相似的部件、组件和结构。
具体实施方式
提供以下参照附图的描述来帮助全面理解如权利要求及其等同物所限定的本公开的各种实施例。描述包括各种具体细节以帮助理解,但这些细节应被视为只是示范性的。因此,本领域普通技术人员将会认识到,在不脱离本公开的范围和精神的情况下,能够对本文描述的各种实施例进行各种改变和修改。此外,为了清楚和简明,可省略对公知的功能和构造的描述。
在以下描述和权利要求中使用的术语和字词不受限于字面含义,而只是被发明人用来使得能够对于本公开有清楚且一致的理解。因此,本领域技术人员应当清楚,提供以下对本公开的各种实施例的描述只是为了说明,而不是为了限制如所附权利要求及其等同物所限定的本公开。
要理解,单数形式“一”包括复数指代,除非上下文明确地另有规定。从而,例如,对“一组件表面”的提及包括对一个或多个这样的表面的提及。
本公开的各种实施例中使用的术语“具有”、“可具有”、“包括”或“可包括”指示公开的相应功能、操作、元素等等的存在,但不限制额外的一个或多个功能、操作、元素等等。此外,应当理解,本公开的各种实施例中使用的术语“包括”或“具有”是要指示说明书中描述的特征、数字、操作、元素、部件或者其组合的存在,但并不排除一个或多个其他特征、数字、操作、元素、部件或其组合的存在或添加。
本公开的各种实施例中使用的术语“A或B”、“A或/和B中的至少一者”或者“A或/和B中的一个或多个”包括用其列举的词语的任何和所有组合。例如,“A或B”、“A和B中的至少一者”或者“A或B中的至少一者”指的是(1)包括至少一个A,(2)包括至少一个B,或者(3)包括至少一个A和至少一个B两者。
虽然本公开的各种实施例中使用的诸如“第一”和“第二”之类的术语可修饰各种实施例的各种元素,但这些术语并不限制相应的元素。例如,这些术语不限制相应元素的顺序和/或重要性。这些术语可用于区分一个元素与另一元素。例如,第一用户设备和第二用户设备都指示用户设备,并且可指示不同的用户设备。例如,在不脱离本公开的各种实施例的权利范围的情况下,第一元素可被命名为第二元素,并且类似地,第二元素可被命名为第一元素。
应理解,当一元素(例如,第一元素)“连接到”另一元素(例如,第二元素)或者“(操作地或通信地)与另一元素耦合/(操作地或通信地)耦合到另一元素”时,该元素可直接连接或耦合到另一元素,并且在该元素和另一元素之间可以有居间的元素(例如,第三元素)。相反,应理解,当一元素(例如,第一元素)“直接连接”或“直接耦合”到另一元素(例如,第二元素)时,在该元素和另一元素之间没有居间的元素(例如,第三元素)。
本公开的各种实施例中使用的表述“被配置为(或者被设定为)”根据情形可被替换为“适用于”、“具有……的能力”、“被设计为”、“被适应性修改为”、“被使得”或者“能够”。术语“被配置为(被设定为)”不一定指在硬件水平上“被具体设计为”。反而,表述“装置被配置为”可以指该装置在特定情形中连同其他设备或部件“能够……”。例如,“被配置为(被设定为)执行A、B和C的处理器”可以是用于执行相应操作的专用处理器,例如嵌入式处理器,或者可以是通过执行存储在存储器设备中的一个或多个软件程序能够执行相应操作的通用处理器,例如中央处理单元(centralprocessingunit,CPU)或应用处理器(applicationprocessor,AP)。
另外,本文使用的所有术语——包括技术和科学术语——应当被解读为具有与本公开所属领域的技术人员通常理解的含义相同的含义,而不应当被解读为具有理想的或者过度正式的含义,除非在本公开的各种实施例中有明确定义。
根据本公开的各种实施例的模块或程序模块可进一步包括上述构成元素之中的至少一个或多个构成元素,或者可省略它们中的一些,或者可进一步包括额外的其他构成元素。根据本公开的各种实施例由模块、编程模块或其他构成元素执行的操作可以按顺序、并行、反复或试探方式执行。此外,可按不同的顺序执行或者可省略一些操作,或者可添加其他操作。
根据本公开的各种实施例的电子设备可以是设备。例如,根据本公开的各种实施例的电子设备可包括以下各项中的至少一者:智能电话、平板个人计算机(personalcomputer,PC)、移动电话、视频电话、电子书阅读器、桌面型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(personaldigitalassistant,PDA)、便携式多媒体播放器(portablemultimediaplayer,PMP)、运动图片专家组阶段1或阶段2(MovingPictureExpertsGroupphase1orphase2,MPEG-1或MPEG-2)第3层音频(MPEGlayer3audio,MP3)播放器、移动医疗设备、相机或者可穿戴设备(例如,头戴式设备(head-mounteddevice,HMD)、电子眼镜、电子服装、电子手镯、电子项链、电子智慧配件、电子纹身、智能镜或者智能手表)。
在本公开的其他实施例中,电子设备可以是智能家用电器。例如,这种家电可包括以下各项中的至少一者:电视(television,TV)、数字多功能盘(digitalversatiledisc,DVD)播放器、音频组件、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安保控制面板、电视盒(例如,SamsungApple或GoogleTV)、游戏机(例如,)、电子字典、电子钥匙、便携式摄像机或者电子相框。
在本公开的其他实施例中,电子设备可包括以下各项中的至少一者:医疗设备(例如,移动医疗设备(例如,血糖监视设备、心率监视器、血压监视设备或者温度计)、磁共振血管造影(magneticresonanceangiography,MRA)机器、磁共振成像(magneticresonanceimaging,MRI)机器、计算机断层扫描(computedtomography,CT)扫描仪或者超声机器)、导航设备、全球定位***(globalpositioningsystem,GPS)接收器、行车记录仪(eventdatarecorder,EDR)、飞行数据记录器(flightdatarecorder,FDR)、车内信息娱乐设备、用于船舶的电子设备(例如,船舶导航设备和/或陀螺罗盘)、航空电子设备、安保设备、车头单元、工业或家用机器人、金融机构的自动柜员机(automaticteller’smachine,ATM)、零售商店的销售点(pointofsale,POS)设备或者物联网设备(例如,灯泡、各种传感器、电表、气表、洒水器、火警报警器、恒温器、街灯、烤面包器、运动设备、热水箱、加热器或者锅炉等等)。
在本公开的某些实施例中,电子设备可包括以下各项中的至少一者:一件家具或者建筑物/构筑物、电子板、电子签名接收设备、投影仪以及各种测量仪器(例如,水表、电表、气表或波长计)。
根据本公开的各种实施例的电子设备也可包括上述设备中的一个或多个的组合。
另外,本领域技术人员将会清楚,根据本公开的各种实施例的电子设备不限于上述设备。
这里,术语“用户”可以指使用电子设备的人或者使用电子设备的设备(例如,人工智能电子设备)。
以下,本公开可描述用于在电子设备中显示图像的技术。
图1是根据本公开的实施例的电子设备的框图。
参考图1,电子设备100可包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。在本公开的实施例中,电子设备100可不包括一些元素,或者可进一步包括其他元素。
总线110可以是用于连接以上提到的元素(例如,处理器120、存储器130、输入/输出接口150、显示器160或通信接口170)并且在这些元素之间传送通信数据(例如,控制消息)的电路。
处理器120可包括CPU、AP或通信处理器(communicationprocessor,CP)中的一个或多个。处理器120例如可处理与关于电子设备100的其他元素中的一个或多个的控制和/或通信有关的计算或数据。
处理器120可基于图像的深度图将图像划分成多个区域。处理器120可对图像的每个区域处理图像。例如,处理器120利用图像的深度图从相应的图像中分离包括不同深度值的一个或多个对象。处理器120可对包括不同深度值的对象执行不同的图像处理。
根据本公开的实施例,处理器120可应用改变效果以调整根据深度图分离的区域中的一些的大小或位置中的至少一者。例如,处理器120可应用改变效果以调整根据深度图分离的区域中的一些的大小或位置中的至少一者来对应于用户的视点的变化。
根据本公开的实施例,处理器120可向根据深度图分离的区域中的一些应用图形效果(例如,颜色或色度)。例如,处理器120可向根据深度图分离的区域中的一些应用动画效果。例如,处理器120可向根据深度图分离的区域应用不同的图形效果。
存储器130可包括易失性存储器和/或非易失性存储器。存储器130可存储例如与电子设备100的至少一个其他元素相关的指令或数据(例如图像数据)。根据本公开的实施例,存储器130可存储程序模块140。程序模块140可包括例如内核141、中间件143、应用编程接口(applicationprogramminginterface,API)145和/或应用(或应用程序)147。内核141、中间件143和API145中的至少一些可被称为操作***(operatingsystem,OS)。
内核141可控制或管理用于执行由其他程序(例如,中间件143、API145或应用147)实现的操作或功能的***资源(例如,总线110、处理器120或存储器130)。另外,内核141可提供接口,通过该接口,中间件143、API145或应用147可访问电子设备100的个体元素以控制或管理***资源。
中间件143例如可充当用于允许API145或应用147与内核141通信以交换数据的中介。
此外,中间件143可根据从应用147接收的一个或多个任务请求的优先级来处理这些任务请求。例如,中间件143可向应用147中的至少一者指配使用电子设备100的***资源(例如,总线110、处理器120、存储器130等等)的优先级。例如,中间件143可通过根据向一个或多个任务请求指配的优先级处理这一个或多个任务请求来对这一个或多个任务请求执行调度或负载均衡。
API145是应用147用来控制从内核141或中间件143提供的功能的接口,并且可包括例如用于文件控制、窗口控制、图像处理或文本控制的至少一个接口或功能(例如,指令)。
输入/输出接口150例如可充当可将从用户或另一外部设备输入的指令或数据传送到电子设备100的(一个或多个)其他元素的接口。此外,输入/输出接口150可以把从电子设备100的(一个或多个)其他元素接收的指令或数据输出到用户或另一外部设备。
显示器160可包括例如液晶显示器(liquidcrystaldisplay,LCD)、发光二极管(lightemittingdiode,LED)显示器、有机LED(organicLED,OLED)显示器、微机电***(microelectromechanicalsystem,MEMS)显示器或者电子纸显示器。显示器160例如可以为用户显示各种类型的内容(例如,文本、图像、视频、图标或符号)。显示器160可包括触摸屏,并且可接收例如利用电子笔或用户的身体部分输入的触摸、手势、接近或悬停。根据本公开的实施例,显示器160可显示网页。
通信接口170例如可设定电子设备100与外部设备(例如,第一外部电子设备102、第二外部电子设备104或服务器106)之间的通信。例如,通信接口170可通过无线或有线通信连接到网络162以与外部设备(例如,第二外部电子设备104或服务器106)通信。
无线通信可使用例如以下各项中的至少一者作为蜂窝通信协议:长期演进(longtermevolution,LTE)、先进LTE(LTE-advanced,LTE-A)、码分多址(codedivisionmultipleaccess,CDMA)、宽带CDMA(widebandCDMA,WCDMA)、通用移动电信***(universalmobiletelecommunicationssystem,UMTS)、无线宽带(wirelessbroadband,WiBro)以及全球移动通信***(globalsystemformobilecommunications,GSM)。此外,无线通信可包括例如短程通信164。短程通信164可包括例如Wi-Fi、蓝牙、近场通信(nearfieldcommunication,NFC)和GPS中的至少一者。
有线通信可包括例如以下各项中的至少一者:通用串行总线(universalserialbus,USB)、高清晰度多媒体接口(highdefinitionmultimediainterface,HDMI)、推荐标准232(recommendedstandard-232,RS-232)以及普通老式电话服务(plainoldtelephoneservice,POTS)。
网络162可包括诸如计算机网络(例如,局域网(localareanetwork,LAN)或广域网(wideareanetwork,WAN))、互联网和电话网络之类的通信网络中的至少一者。
第一和第二外部电子设备102和104的每一者可以是与电子设备100相同或不同的设备。根据本公开的实施例,服务器106可包括一个或多个服务器的群组。根据本公开的各种实施例,在电子设备100中执行的操作的全部或一部分可在其他电子设备或多个电子设备(例如,第一外部电子设备102或第二外部电子设备104或者服务器106)中执行。根据本公开的实施例,当电子设备100应当自动或按请求执行一些功能或服务时,取代自己执行这些功能或服务或者除了自己执行这些功能或服务以外,电子设备100可向另一设备(例如,第一外部电子设备102或第二外部电子设备104或者服务器106)作出对于执行与这些功能或服务相关的至少一些功能的请求。另一电子设备(例如,第一外部电子设备102或第二外部电子设备104,或者服务器106)可执行从电子设备100请求的功能或者额外的功能并将执行的结果传送给电子设备100。电子设备100可通过按原样或者额外地处理接收的结果来将请求的功能或服务提供给另一电子设备。为此,例如,可使用云计算、分布式计算或者客户端-服务器计算技术。
根据本公开的各种实施例,电子设备100可利用在功能上或物理上与处理器120分离的至少一个模块将图像分离成多个区域,并且可对每个区域处理图像。
图2是根据本公开的各种实施例的程序模块的框图。
根据本公开的实施例,程序模块210(例如,程序模块140)可包括用于控制与电子设备(例如,电子设备100)相关的资源的OS,和/或在OS下执行的各种应用(例如,应用程序147)。例如,操作***可以是Android、iOS、Windows、Symbian、Tizen、Bada,等等。
程序模块210可包括内核220(例如,内核141)、中间件230(例如,中间件143)、API260(例如,API145)和/或应用270(例如,应用147)。程序模块210的至少局部区域可被预加载在电子设备中,或者可以是从服务器下载的。
内核220例如可包括***资源管理器221或设备驱动器223。***资源管理器221可执行***资源的控制、分配或收集。根据本公开的实施例,***资源管理器221可包括进程管理单元、存储器管理单元或文件***管理单元。设备驱动器223可包括例如显示驱动器、相机驱动器、蓝牙驱动器、公共存储器驱动器、USB驱动器、小键盘驱动器、Wi-Fi驱动器、音频驱动器或者进程间通信(inter-processcommunication,IPC)驱动器。
中间件230例如可提供应用270共同要求的功能,或者可通过API260向应用270提供各种功能以便允许应用270有效地使用电子设备中的有限***资源。根据本公开的实施例,中间件230可包括以下各项中的至少一者:运行时库235、应用管理器241、窗口管理器242、多媒体管理器243、资源管理器244、电力管理器245、数据库管理器246、封装管理器247、连通性管理器248、通知管理器249、位置管理器250、图形管理器251或安保管理器252。
运行时库235可包括库模块,例如,编译器使用该库模块来在应用270在进行中的同时通过编程语言添加新功能。运行时库235可执行诸如输入/输出的管理、存储器的管理或算术计算之类的功能。
应用管理器241可管理例如应用270之中的至少一个应用的生命周期。窗口管理器242可管理屏幕中使用的图形用户界面(graphicaluserinterface,GUI)资源。多媒体管理器243可识别用于再现各种媒体文件的格式,并且可利用与每种格式相对应的编解码器来执行媒体文件的编码或解码。资源管理器244可管理应用270之中的至少一个应用的诸如源代码、存储器或存储空间之类的资源。
电力管理器245例如可与基本输入/输出***(basicinput/outputsystem,BIOS)互相配合管理电池或电力,并且提供其操作所必要的电力信息。数据库管理器246可管理创建、搜索或改变在应用270的至少一者中要使用的数据库。封装管理器247可管理以封装文件的形式分发的应用的安装或更新。
连通性管理器248可管理无线连接,例如Wi-Fi或蓝牙。通知管理器249可没有干扰地向用户显示或通知事件,例如接收的消息、约会和接近通知。位置管理器250可管理电子设备的位置信息。图形管理器251可管理要提供给用户的图形效果或与其有关的用户界面。安保管理器252可提供***安保或用户认证所要求的一般安保功能。根据本公开的实施例,当电子设备(例如,电子设备100或电子设备1400)采用电话呼叫功能时,中间件230还可包括用于管理电子设备的语音呼叫或视频呼叫的功能的电话管理器。
中间件230可包括通过上述元素的各种功能的组合的中间件模块。中间件230可提供根据操作***的类型来专门化的模块以便提供区分的功能。此外,可从中间件230动态去除一些典型元素,或者可向中间件230添加新的元素。
API260可作为一组API编程功能来提供,并且可根据操作***以不同的配置来提供。例如,在Android或iOS的情况下可向每个平台提供一组API,并且在Tizen的情况下可向每个平台提供至少两组API。
应用270例如可包括首页应用271、拨号器应用272、短消息服务(shortmessageservice,SMS)/多媒体消息服务(multimediamessageservice,MMS)应用273、即时消息传递(instantmessaging,IM)应用274、浏览器应用275、相机应用276、闹钟应用277、联系人应用278、语音拨号应用279、电子邮件应用280、日历应用281、媒体播放器应用282、相簿应用283、时钟应用284、卫生保健应用(例如,用于测量锻炼量或血糖的应用)、环境信息提供应用(例如,用于提供大气压、湿度或温度信息的应用),等等。
根据本公开的实施例,应用270可包括支持电子设备(例如,电子设备100或电子设备1400)与外部电子设备之间的信息的交换的应用(以下,为了便于说明称为“信息交换相关应用”)。信息交换相关应用可包括例如用于向外部电子设备中继特定信息的通知中继应用或者用于管理外部电子设备的设备管理应用。
例如,通知中继应用可包括把在电子设备的其他应用(例如,SMS/MMS应用、电子邮件应用、卫生保健应用或者环境信息提供应用)中创建的通知信息传送到外部电子设备的功能。此外,通知中继应用可从例如外部电子设备接收通知信息并将其提供给用户。设备管理应用可管理(例如,安装、删除或更新)例如与电子设备通信的外部电子设备的至少一些功能(例如,开启或关闭外部电子设备(或其一些元素),或者调整显示器的亮度(或分辨率))、在外部电子设备中执行的应用或者在外部电子设备中提供的服务(例如,电话呼叫服务,或者消息传递服务)。
根据本公开的实施例,应用270可包括根据外部电子设备的属性(例如,电子设备的类型是移动医疗设备)指定的应用(例如,卫生保健应用)。根据本公开的实施例,应用270可包括从外部电子设备(例如,服务器,或者电子设备)接收的应用。根据本公开的实施例,应用270可包括预加载的应用,或者可从服务器下载的第三方应用。根据图示的实施例,程序模块210中的元素的名称可随着操作***的类型而变化。
根据本公开的各种实施例,程序模块210的至少一些可以用软件、固件、硬件或者其组合来实现。程序模块210的至少一些例如可由应用程序来处理(例如,实现(执行))。程序模块210的至少一些例如可包括模块、程序、例程、指令集或进程以便执行一个或多个功能。
图3是根据本公开的实施例的处理器的框图。
参考图3,处理器120可包括图像获得模块300、图像分离模块310、图像改变模块320和图像连接模块330。
根据本公开的实施例,图像获得模块300可获得至少一个图像。例如,图像获得模块300可从在功能上连接到电子设备100的图像传感器(未示出)获得至少一个图像。例如,图像获得模块300可从存储器130获得至少一个图像。例如,图像获得模块300可通过通信接口170从外部设备(例如,第一外部电子设备102、第二外部电子设备104或者服务器106)获得至少一个图像。
根据本公开的实施例,图像获得模块300可获得与图像相对应的深度图。例如,图像获得模块300可获得通过在功能上连接到电子设备100的传感器模块(未示出)收集的与图像相对应的深度图。例如,传感器模块可包括红外传感器或超声传感器中的至少一者。
根据本公开的实施例,图像分离模块310可利用相应图像的深度图将图像分离成多个区域。例如,图像分离模块310可利用与图像相对应的深度图从图像中分离包括不同深度值的一个或多个对象。
根据本公开的实施例,图像分离模块310可创建与图像相对应的深度图。例如,如果图像获得模块300不能获得与图像相对应的深度图,则图像分离模块310可计算由图像获得模块300获得的多个图像之间的差异值,从而创建与图像相对应的深度图。
根据本公开的实施例,图像改变模块320可应用改变效果来调整由图像分离模块310分离的区域中的至少一个的大小或位置中的至少一者。例如,图像改变模块320可基于通过输入/输出接口150检测到的输入信息应用改变效果来调整由图像分离模块310分离的区域中的至少一个的大小或位置中的至少一者。例如,图像改变模块320可基于用户的视点信息应用改变效果来调整由图像分离模块310分离的区域中的至少一个的大小或位置中的至少一者。例如,图像分离模块310可基于通过与电子设备100在功能上连接的传感器模块(例如,加速度传感器、陀螺传感器、重力传感器、地磁传感器)检测到的终端的运动来检测用户的视点信息。例如,图像分离模块310可通过与电子设备100在功能上连接的图像传感器来检测用户的视点信息。
根据本公开的实施例,图像改变模块320可向由图像分离模块310分离的区域中的至少一个应用图形效果。例如,图像改变模块320可变换由图像分离模块310分离的区域中的至少一个来对应于图形效果。例如,图像改变模块320可向由图像分离模块310分离的区域中的至少一个应用滤波器来对应于图形效果。
根据本公开的实施例,图像改变模块320可向由图像分离模块310分离的区域中的至少一个应用动画效果。例如,图像改变模块320可添加用于动画效果的图像层,从而在由图像分离模块310分离的区域中的至少一个中显示动画效果。
根据本公开的实施例,图像连接模块330可将被图像改变模块320应用了图形效果的区域连接为单个图像。
根据本公开的实施例,基于通过输入/输出接口150检测到的输入信息,图像连接模块330可改变由图像分离模块310分离的区域的位置,或者向其应用另外的效果,以从而连接这些区域。
根据本公开的各种实施例,电子设备(例如,图1的电子设备100)可包括至少一个图像传感器、存储器、通信接口、处理器以及显示器,该处理器获得图像和与图像相对应的深度图,基于图像的深度图将图像分离成一个或多个区域,向从图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且把被应用了不同效果的区域连接为单个图像,并且该显示器显示该单个图像。
根据本公开的实施例,处理器可通过至少一个图像传感器、存储器或者通信接口中的至少一者获得图像。
根据本公开的各种实施例,电子设备可包括至少一个传感器模块,并且处理器可利用至少一个传感器模块收集关于图像的深度图信息。
根据本公开的实施例,传感器模块可包括图像传感器、红外传感器或超声传感器中的至少一者。
根据本公开的实施例,处理器可利用多个图像的差异值确定关于图像的深度图信息,并且多个图像可包括该图像和通过在不同焦点捕捉与该图像相同的主题而获得的至少一个其他图像。
根据本公开的实施例,处理器可基于图像的深度图确定用于显示从图像分离的每个区域的位置或大小中的至少一者。
根据本公开的各种实施例,处理器可基于图像的深度图和用户的视点改变从图像分离的每个区域中包括的对象的位置或大小中的至少一者。
根据本公开的实施例,处理器可向从图像分离的区域中的至少一个应用对应于与其他区域中的至少一个不同的图形效果的滤波器。
根据本公开的实施例,处理器可向从图像分离的区域之间的至少一部分中***动画效果。
根据本公开的各种实施例,处理器响应于用户的视点的变化可基于图像的深度图和变化的用户视点来控制改变在显示器上显示的图像的至少局部区域的位置或大小中的至少一者。
图4A至4E根据本公开的实施例图示了屏幕图像的配置,用于利用深度图三维地显示图像中包括的对象。
电子设备(例如,图1的电子设备100)可获得图像和深度图,该图像如图4A所示包括一个或多个对象,该深度图如图4B所示包括图像中包括的一个或多个对象的深度值。
参考图4C,电子设备可基于图像的深度图将图像分离成多个区域。例如,电子设备可基于深度图从背景图像402中分离出离用户的视点最近的对象400。
电子设备如图4C所示可调整从背景图像402分离的对象400的大小。例如,电子设备可通过与电子设备在功能上连接的传感器模块(例如,加速度传感器、陀螺传感器、重力传感器、地磁传感器或图像传感器)检测用户的视点信息。电子设备可基于用户的视点信息调整从背景图像402分离的对象400的大小。
电子设备可将调整了大小的对象400与背景图像组合为单个图像以从而将其显示在显示器160上,如图4D所示。例如,电子设备基于传感器模块的感测信息或者通过输入/输出接口150检测到的输入信息,可改变对象相对于背景图像410的连接信息(例如,区域的位置)412,然后将其显示在显示器160上。
电子设备基于传感器模块的感测信息或者通过输入/输出接口150检测到的输入信息可如图4E所示改变对象相对于在显示器160上显示的背景图像的连接信息(例如,区域的位置)。
图5A至5E根据本公开的实施例图示了图像的三维(3D)布置结构。
参考图5A,电子设备(例如,图1的电子设备100)可基于对象520的深度值(例如,z)来三维地显示从背景图像510分离的对象520(例如,3D对象)。例如,电子设备可将背景图像510显示在从用户的视点(p)起的距离(d)处,并且可基于对象520的深度值(z)将对象520从背景图像510分离,从而将其以三维显示。例如,深度值可以是客观距离值,或者可以是相对于用户的视点的相对距离。
基于对象520的深度值在显示器160上三维显示的图像可自然地表达3D效果,因为当用户的视点在视点范围500内变化时用户不能意识到孔洞区域522。
根据本公开的实施例,当如图5B所示检测到用户的视点的变化时(p1→p1')(参见530),电子设备可应用改变效果来扩展对象520(例如,三维显示的对象)的大小(参见532)以对应于用户的视点530的变化,以便用户不会意识到孔洞区域522。例如,电子设备可在用户的视点变化的方向(参见530)扩展对象520的大小(参见532)。
根据本公开的实施例,当如图5C所示用户的视点范围被扩展时(参见540),电子设备可应用改变效果来扩展对象520(例如,三维显示的对象)的大小(参见542)以对应于用户的视点范围的扩展(参见540),以便用户不会意识到孔洞区域522。例如,电子设备可对应于用户的视点范围的扩展(参见540)将对象520的整体大小扩展542为式1的大小。
s ′ = s + ( l - s ) × z d …式1
这里,s'表示扩展的对象520的大小,并且s表示在扩展前显示的对象520的大小。l表示扩展的视点范围540,并且z表示对象520的深度值。此外,d可指示背景图像510与用户的视点(p)之间的距离。
电子设备基于式1可应用改变效果来扩展对象520(例如,三维显示的对象)的大小以对应于对象520的深度值与背景图像510和用户的视点之间的距离的比率(z/d)和扩展的视点范围的大小(l-s)。
根据本公开的实施例,当如图5D所示检测到用户的视点的变化时(p1→p1')(参见550),电子设备可应用改变效果来改变对象520的位置(例如,在3D坐标中的位置)(参见552)以对应于用户的视点的变化(参见550),以便用户不会意识到孔洞区域522。例如,电子设备可在用户的视点变化550的方向上改变(参见552)对象520的位置。
根据本公开的实施例,当如图5E所示检测到用户的视点的变化时(p2→p2')(参见560),电子设备可应用改变效果来改变对象520的位置(参见562)以对应于用户的视点的变化(参见560),以便用户不会意识到孔洞区域522。例如,电子设备可在用户的视点变化的方向(参见560)改变(参见562)对象520的位置。
图6A至6E根据本公开的实施例图示了图像的二维布置结构。
参考图6A,电子设备(例如,图1的电子设备100)可基于对象620的深度值(例如,z)调整从背景图像610分离的对象622的大小,并且可将其以三维显示。例如,电子设备可将背景图像610显示在从用户的视点(p)600起的距离(d)处,并且可扩展对象622的大小以对应于对象620的深度值(z),然后将其显示以在二维上重叠背景图像610。例如,电子设备可计算在位置(o)620处要投影到背景图像上的大小以基于深度值三维地显示对象622,并且扩展对象622的大小以从而将其显示来在二维上重叠背景图像610(例如,位置“o”)。例如,电子设备可在第一图像层中显示背景图像610,并且可在重叠第一图像层的第二图像层中显示扩展了大小的对象622。
根据本公开的实施例,当如图6B所示检测到用户的视点的变化时(p→p1)(参见630),电子设备可应用改变效果来扩展对象620的大小(参见632)以对应于用户的视点的变化630。例如,电子设备可在用户的视点变化的方向(参见630)扩展(参见632)对象622的大小。
根据本公开的实施例,当如图6C所示用户的视点范围被扩展时(参见640),电子设备可应用改变效果来扩展对象622的整体大小(参见642)以对应于用户的扩展的视点范围(参见640)。
根据本公开的实施例,当如图6D所示检测到用户的视点的变化时(p→p1)(参见650),电子设备可应用改变效果来改变对象622的位置(参见652)以对应于用户的视点的变化650。例如,电子设备可在用户的视点变化(参见650)的相反方向上改变(参见652)对象622的位置。例如,电子设备可在维持对象622的大小的同时改变对象622的位置。例如,电子设备可在改变(例如,扩展)对象622的同时改变对象622的位置以对应于用户的视点的变化。
根据本公开的实施例,当如图6E所示检测到用户的视点的变化时(p→p2)(参见660),电子设备可应用改变效果来改变对象620的位置(参见662)以对应于用户的视点的变化660。例如,电子设备可在用户的视点变化(参见660)的相反方向上改变(参见662)对象622的位置。
图7是根据本公开的实施例在电子设备中显示图像的流程图。
参考图7,在操作701中,电子设备(例如,图1中的电子设备100)可获得图像。例如,电子设备可利用与电子设备在功能上连接的图像传感器获得至少一个图像。例如,电子设备可从电子设备的存储器获得至少一个图像。例如,电子设备可从外部设备(例如,图1的第一外部电子设备102、第二外部电子设备104或者服务器106)接收至少一个图像。
在操作703中,电子设备可获得关于图像的深度图信息。例如,电子设备可获得通过与电子设备在功能上连接的传感器模块(例如,红外传感器或者超声传感器)收集的与图像相对应的深度图。例如,电子设备可通过计算多个图像的差异值来创建与图像相对应的深度图。
在操作705中,电子设备基于深度图将图像分离成多个区域。例如,电子设备可利用相应图像的深度图从图像分离一个或多个对象。例如,电子设备可根据深度值来分离对象。
在操作707中,电子设备可向从图像分离的每个区域应用效果。例如,向每个区域应用的效果可包括关于图像的至少局部区域的改变效果、图形效果或动画效果中的至少一者。例如,改变效果可以指控制图像的至少局部区域的大小或位置中的至少一者的效果。
在操作709中,电子设备可对于被应用了效果的每个区域显示图像。例如,电子设备可将分离的区域连接为单个图像,然后将其显示在显示器160上。例如,电子设备可改变分离的区域的位置以对应于通过输入/输出接口150检测到的输入信息,或者用户的视点的变化,并且可将其连接为单个图像。
图8是根据本公开的实施例在电子设备中基于视点范围应用图形效果的流程图。
参考图8,根据本公开的各种实施例,在电子设备在图7的操作705中基于深度图将图像划分成多个区域的情况下,电子设备在操作801中可识别用户的视点。例如,电子设备可基于通过与电子设备在功能上连接的传感器模块(例如,加速度传感器、陀螺传感器、重力传感器、地磁传感器)检测到的终端运动来获得用户的视点信息。例如,电子设备可通过与电子设备在功能上连接的图像传感器来检测用户的视点信息。
在操作803中,电子设备可向至少一个区域应用效果以对应于用户的视点信息。例如,如果用户的视点范围被改变,则电子设备可应用效果来调整从背景图像分离的对象的大小以对应于改变的视点范围。例如,如果用户的视点范围被改变,则电子设备可应用效果来改变从背景图像分离的对象的位置以对应于改变的视点范围。
电子设备在图7的操作709中可对于被应用了效果的每个区域显示图像。
图9是根据本公开的实施例在电子设备中基于视点变化应用图形效果的流程图。
参考图9,根据本公开的各种实施例,在电子设备在图7的操作709中将分离的区域连接为单个图像并将其显示在显示器160上的情况下,电子设备在操作901中可检测用户的视点变化。例如,电子设备可基于通过与电子设备在功能上连接的传感器模块(例如,加速度传感器、陀螺传感器、重力传感器或地磁传感器)检测到的终端的运动来识别用户的视点是否变化。例如,电子设备可通过与电子设备在功能上连接的图像传感器来识别用户的视点是否变化。
在操作903中,电子设备可更新至少一个区域的效果以对应于用户的视点变化。例如,电子设备可应用效果来控制从背景图像分离的对象的大小以对应于用户的视点的变化。例如,电子设备可应用效果来改变从背景图像分离的对象的位置以对应于用户的视点的变化。
图10A至10D根据本公开的实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用图形效果。
根据本公开的实施例,电子设备可将分离的区域连接为单个图像,并且可将其显示在显示器160上,如图10A所示。
参考图10A,在显示器160上显示的图像可在其至少局部区域中显示与图形效果相对应的图形效果图标1000、用于显示原始图像的原始图标1010、用于存储图像的存储图标1020、用于显示额外菜单的菜单图标1030以及用于改变图像的焦点的焦点改变图标1040。例如,焦点改变图标1040可包括短焦改变图标1040a、长焦改变图标1040b和多焦改变图标1040c。
根据本公开的实施例,当在图形效果图标1000中检测到对第一图形效果图标1000a的选择时,电子设备如图10B所示可向图像的至少局部区域应用与第一图形效果图标1000a相对应的第一图形效果(参见1050)。例如,电子设备可基于图像的焦点信息来确定要应用图形效果的至少局部区域。例如,电子设备可改变用于应用图形效果的区域以对应于对焦点改变图标1040的选择。
根据本公开的实施例,当在图形效果图标1000中检测到对第二图形效果图标1000b的选择时,电子设备如图10C所示可向图像的至少局部区域应用与第二图形效果图标1000b相对应的第二图形效果(参见1060)。例如,电子设备可向图像的至少局部区域应用不同的第二图形效果以对应于图像中包括的对象的深度值。
根据本公开的实施例,当在图形效果图标1000中检测到对第三图形效果图标1000c的选择时,电子设备如图10D所示可向图像的至少局部区域应用与第三图形效果图标1000c相对应的第三图形效果(参见1070)。
根据本公开的实施例,当在已如图10B至10D所示向图像的至少局部区域应用了图形效果的状态中检测到对原始图标1010的选择时,电子设备可如图10A所示在显示器160上显示未被应用图形效果的先前图像。例如,电子设备可在对原始图标1010的选择被维持时在显示器160上显示未被应用图形效果的先前图像。
根据本公开的实施例,电子设备可基于通过输入/输出接口150检测到的输入信息来改变与图形效果图标1000a、1000b和1000c的每一者相对应的图形效果。
图11A和11B根据本公开的实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用图形效果。
参考图11A,在显示器160上显示的图像可在其至少局部区域中显示用于显示原始图像的原始图标1100、图形效果菜单1110、用于存储图像的存储图标1120、用于显示额外菜单的菜单图标1130以及用于改变图像的焦点的焦点改变图标1140。例如,焦点改变图标1140可包括短焦改变图标1140a、长焦改变图标1140b和多焦改变图标1140c。
根据本公开的实施例,当检测到对图形效果菜单1110的选择时,电子设备如图11B所示可显示可应用到图像的至少局部区域的图形效果列表1150。当电子设备基于通过输入/输出接口150检测到的输入信息(例如,触摸信息)检测到从图形效果列表1150中对特定图形效果的选择时,电子设备可向图像的至少局部区域应用相应的图形效果。
图12A至12C根据本公开的实施例图示了屏幕图像的配置,用于向图像的至少局部区域应用动画效果。
根据本公开的实施例,电子设备可将分离的区域连接为单个图像以将其显示在显示器160上,如图12A所示。电子设备可基于深度图从背景图像1200分离与用户的视点最近的对象1202,然后将其显示在显示器160上。
根据本公开的实施例,电子设备可向图像的至少局部区域应用动画效果。例如,电子设备可在显示分离的区域的图像层之间***用于动画效果的至少一个图像层以从而向图像的至少局部区域应用动画效果。电子设备可向图像的分离的区域应用不同的动画效果以对应于深度值。例如,电子设备如图12B所示可向背景图像1200应用非动画效果1210。例如,电子设备如图12C所示可向背景图像1200应用雾动画效果1220。
根据本公开的实施例,电子设备可基于通过输入/输出接口150检测到的输入信息来改变在图像的至少局部区域中显示的动画效果。例如,如果如图12B所示向背景图像1200应用非动画效果1210,则电子设备可调整降水的量以对应于输入信息。例如,如果如图12C所示向背景图像1200应用雾动画效果1220,则电子设备可在背景图像1200的用户触摸了的至少局部区域中去除雾状显示或者可增大雾密度。
在本公开的实施例中,电子设备可基于利用与电子设备在功能上连接的传感器模块检测到的电子设备的运动来改变在图像的至少局部区域中显示的动画效果。例如,如果如图12B所示向背景图像1200应用非动画效果1210,则电子设备可调整降水的量或者雨的角度以对应于电子设备的运动。例如,如果如图12C所示向背景图像1200应用雾动画效果1220,则电子设备可改变背景图像1200的至少局部区域中的雾密度以对应于电子设备的运动。
电子设备可基于通过输入/输出接口150检测到的输入信息来改变在图像的至少局部区域中显示的动画效果。例如,如果如图12C所示向背景图像1200应用雾动画效果1220,则电子设备可在背景图像1200的用户触摸了的至少局部区域中去除雾状显示或者可增大雾密度。
图13是根据本公开的实施例在电子设备中向图像的至少局部区域应用图形效果的流程图。
参考图13,根据本公开的各种实施例,在电子设备在图7的操作709中将分离的区域连接为单个图像并将其显示在显示器160上的情况下,电子设备在操作1301中可通过输入/输出接口150检测用于应用图形效果的输入。例如,电子设备可利用通过输入/输出接口150检测到的输入信息在如图10A至10D或图11B所示在显示器160上显示的图形效果之中识别要向图像的至少局部区域应用的图形效果。
在操作1303中,电子设备可识别图像的至少局部区域以便应用图形效果。例如,电子设备可利用在操作703中获得的深度图信息来识别要被应用图形效果的区域。例如,电子设备可识别图像的未调整焦点的至少局部区域作为要被应用图形效果的区域。例如,电子设备可利用通过输入/输出接口150检测到的输入信息来识别要被应用图形效果的区域。
在操作1305中,电子设备可向图像的至少局部区域应用图形效果。例如,电子设备可改变在操作1303中识别的图像的至少局部区域以对应于图形效果。例如,电子设备可向在操作1303中识别的图像的至少局部区域应用滤波器以对应于图形效果。例如,电子设备可在操作1303中识别的图像的至少局部区域和剩余区域之间添加用于动画效果的图像层,从而在图像的至少局部区域中显示动画效果。
根据本公开的各种实施例,电子设备(例如,图1的电子设备100)的操作方法可包括获得图像,获得与图像相对应的深度图,基于图像的深度图将图像分离成一个或多个区域,向从图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且在显示器上显示被应用了不同效果的区域。
根据本公开的实施例,图像的获得可包括以下各项中的至少一者:从与电子设备在功能上连接的图像传感器获得图像,通过提取电子设备的存储器中存储的图像来获得图像,或者通过从外部设备接收图像来获得图像。
根据本公开的实施例,深度图的获得可包括利用至少一个传感器模块收集关于图像的深度图信息。
根据本公开的实施例,传感器模块可包括图像传感器、红外传感器或超声传感器中的至少一者。
根据本公开的实施例,深度图的获得可包括利用与图像有关的多个图像的差异值确定关于图像的深度图信息,并且多个图像可包括该图像和通过在不同焦点捕捉与该图像相同的主题而获得的至少一个其他图像。
根据本公开的实施例,不同效果的应用可包括基于图像的深度图确定用于显示从图像分离的每个区域的位置或大小中的至少一者。
根据本公开的实施例,不同效果的应用可包括基于图像的深度图和用户的视点改变从图像分离的每个区域中包括的对象的位置或大小中的至少一者。
根据本公开的实施例,不同效果的应用可包括向从图像分离的区域中的至少一个应用对应于与其他区域中的至少一个不同的图形效果的滤波器。
根据本公开的实施例,不同效果的应用可包括向从图像分离的区域之间的至少一些中***动画效果。
根据本公开的实施例,不同效果的应用可包括响应于用户的视点的变化,基于图像的深度图和变化的用户视点来改变在显示器上显示的图像的至少局部区域的位置或大小中的至少一者。
根据本公开的实施例,在显示器上显示区域可包括将被应用了不同效果的区域连接为单个图像,并且将该单个图像显示在显示器上。
图14是根据本公开的实施例的电子设备的框图。在以下描述中,电子设备1400例如可构成图1的电子设备100的一部分或全部。
参考图14,电子设备1400可包括一个或多个AP1410、通信模块1420、订户识别模块(subscriberidentificationmodule,SIM)卡1424、存储器1430、传感器模块1440、输入设备1450、显示器1460、接口1470、音频模块1480、相机模块1490、电力管理模块1495、电池1496、指示器1497和马达1498。
AP1410可控制与AP1410连接的许多硬件或软件元素并且通过驱动操作***或应用程序来执行包括多媒体数据在内的各种数据的处理和计算。AP1410可例如以片上***(systemonchip,SoC)实现。根据本公开的实施例,AP1410还可包括图形处理单元(graphicsprocessingunit,GPU)。
通信模块1420(例如,通信接口170)可在电子设备1400(例如,电子设备100)和通过网络连接到它的其他电子设备之间的通信中发送或接收数据。根据本公开的实施例,通信模块1420可包括蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427、NFC模块1428或射频(radiofrequency,RF)模块1429。
蜂窝模块1421可通过通信网络(例如,LTE、LTE-A、CDMA、WCDMA、UMTS、WiBro或GSM)提供语音呼叫、视频呼叫和文本消息传递的服务或者互联网服务。此外,蜂窝模块1421可例如利用SIM(例如,SIM卡1424)执行通信网络中的电子设备的识别和认证。根据本公开的实施例,蜂窝模块1421可执行AP1410提供的功能中的至少一些。例如,蜂窝模块1421可进行多媒体控制功能中的至少一些。
根据本公开的实施例,蜂窝模块1421可包括CP。此外,蜂窝模块1421可例如以SoC实现。虽然诸如蜂窝模块1421(例如,通信处理器)、存储器1430或电力管理模块1495之类的元素在图14中被示为与AP1410分离,但根据一实施例,AP1410可被实现为包括上述元素中的至少一些(例如,蜂窝模块1421)。
根据本公开的实施例,AP1410或蜂窝模块1421(例如,通信处理器)可在易失性存储器中加载从与AP1410或蜂窝模块1421连接的非易失性存储器或其他元素中的至少一者接收的指令或数据,并对其进行处理。此外,AP1410或蜂窝模块1421可在非易失性存储器中存储从其他元素中的至少一者接收的或者由其创建的数据。
Wi-Fi模块1423、蓝牙模块1425、GPS模块1427或NFC模块1428的每一者可包括例如用于处理通过相应模块发送和接收的数据的处理器。虽然蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427或NFC模块1428在图14中被示为彼此分离,但根据另一实施例,蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427或NFC模块1428中的至少一些(例如,两个或更多个)可被包括在单个集成电路(integratedcircuit,IC)或单个IC封装中。例如,与蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427或NFC模块1428的每一者相对应的处理器中的至少一些(例如,与蜂窝模块1421相对应的通信处理器和与Wi-Fi模块1423相对应的Wi-Fi处理器)可以用单个SoC来实现。
RF模块1429可发送和接收数据,例如RF信号。虽然在图中没有示出,但RF模块1429可包括例如收发器、功率放大器模块(powerampmodule,PAM)、频率滤波器、低噪声放大器(lownoiseamplifier,LNA),等等。此外,RF模块1429还可包括诸如导体或电缆之类的组件,用于在无线通信中通过自由空间发送和接收电磁波。虽然蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427和NFC模块1428在图14中共享单个RF模块1429,但根据本公开的一实施例,蜂窝模块1421、Wi-Fi模块1423、蓝牙模块1425、GPS模块1427和NFC模块1428中的至少一者可通过分离的RF模块发送和接收RF信号。
根据本公开的实施例,RF模块1429可包括主天线和副天线中的至少一者,这些天线与电子设备1400在功能上连接。通信模块1420可利用主天线和副天线支持多输入多输出(multipleinputmultipleoutput,MIMO)服务,例如分集。
SIM卡1424可以是采用SIM的卡,并且可被***到形成于电子设备的特定位置的插槽中。SIM卡1424可包括固有识别信息(例如,集成电路卡识别符(integratedcircuitcardidentifier,ICCID))或订户信息(例如,国际移动订户身份(internationalmobilesubscriberidentity,IMSI))。
存储器1430可包括内部存储器1432或外部存储器1434。内部存储器1432例如可包括以下各项中的至少一者:易失性存储器(例如,动态随机访问存储器(dynamicrandomaccessmemory,DRAM)、静态RAM(staticRAM,SRAM)、同步动态RAM(synchronousdynamicRAM,SDRAM),等等),或者非易失性存储器(例如,一次可编程只读存储器(onetimeprogrammablereadonlymemory,OTPROM)、可编程ROM(programmableROM,PROM)、可擦除可编程ROM(erasableandprogrammableROM,EPROM)、电可擦除可编程ROM(electricallyerasableandprogrammableROM,EEPROM)、掩模ROM、闪速ROM、NAND闪速存储器、NOR闪速存储器,等等)。
根据本公开的实施例,内部存储器1432可以是固态驱动器(solidstatedrive,SSD)。外部存储器1434还可包括闪盘驱动器,例如紧凑式闪存(compactflash,CF)、安全数字(securedigital,SD)、微型SD、袖珍SD、极速数字(extremedigital,xD)、记忆棒,等等。外部存储器1434可以通过各种接口与电子设备1400在功能上连接。根据本公开的实施例,电子设备1400还可包括存储设备(或存储介质),例如硬盘驱动器。
传感器模块1440可测量物理量并检测电子设备1400的操作状态,从而将测量或检测到的信息转换成电信号。传感器模块1440可包括例如以下各项中的至少一者:姿势传感器1440A、陀螺传感器1440B、大气压传感器1440C、磁传感器1440D、加速度传感器1440E、抓握传感器1440F、接近传感器1440G、颜色传感器1440H(例如,红-绿-蓝(RGB)传感器)、生物计量传感器1440I、温度/湿度传感器1440J、照明传感器1440K或者紫外线(ultraviolet,UV)传感器1440M。替换地或额外地,传感器模块1440还可包括例如电子鼻传感器(未示出)、肌电图传感器(electromyographysensor,EMG)(未示出)、脑电图传感器(electroencephalogramsensor,EEG)(未示出)、心电图传感器(electrocardiogramsensor,ECG)(未示出)、红外(infrared,IR)传感器(未示出)、虹膜传感器(未示出)或者指纹传感器(未示出),等等。传感器模块1440还可包括用于控制其中包括的至少一个传感器的控制电路。
输入设备1450可包括触摸面板1452、(数字)笔传感器1454、键1456或者超声输入设备1458。触摸面板1452可通过例如电容型、压力型、红外型或超声型中的至少一者来检测触摸输入。此外,触摸面板1452还可包括控制电路。在电容型的情况下,可检测物理接触或接近。触摸面板1452还可包括触觉层。在此情况下,触摸面板1452可向用户提供触觉反应。
(数字)笔传感器1454例如可以用与用户的触摸输入的接收相同或相似的方法或者利用单独的识别片来实现。键1456可包括例如物理按钮、光学键或者小键盘。超声输入设备1458通过生成超声信号的输入手段利用电子设备1400中的麦克风检测声波以从而识别数据,并且其可识别无线信号。根据本公开的实施例,电子设备1400可利用通信模块1420从外部设备(例如,计算机,或服务器)接收用户输入,这些外部设备与通信模块1420连接。
显示器1460(例如,显示器160)可包括面板1462、全息设备1464或投影仪1466。面板1462可例如是LCD、有源矩阵OLED(active-matrixOLED,AM-OLED)等等。面板1462例如可实现为柔性的、透明的或者可穿戴的。面板1462可与触摸面板1452一起配置为单个模块。全息设备1464可利用光的干涉在空气中显示3D图像。投影仪1466可通过将光投影到屏幕上来显示图像。该屏幕可设在例如电子设备1400的内部或外部。根据本公开的实施例,显示器1460还可包括用于控制面板1462、全息设备1464或投影仪1466的控制电路。
接口1470可包括例如HDMI1472、USB1474、光学接口1476或者超小型(D-subminiature,D-sub)接口1478。额外地或替换地,接口1470可包括例如移动高清晰度链路(mobilehigh-definitionlink,MHL)接口、SD卡/多媒体卡(multi-mediacard,MMC)接口或者红外数据联盟(infrareddataassociation,IrDA)标准接口。
音频模块1480可将声音转换成电信号,反之亦然。例如,音频模块1480可处理通过扬声器1482、接收器1484、耳机1486或麦克风1488输入或输出的语音信息。
图像传感器模块1491是用于拍摄静止和运动图像的设备,并且根据本公开的实施例,图像传感器模块可包括至少一个图像传感器(例如,前置传感器或后置传感器)、透镜(未示出)、图像信号处理器(imagesignalprocessor,ISP)(未示出)或者闪光灯(例如,LED或氙灯)(未示出)。
电力控制模块1495可管理电子设备1400的电力。虽然在图中没有示出,但电力管理模块1495可包括例如电力管理IC(powermanagementIC,PMIC)、充电器IC或者电池量表或燃料量表。
PMIC可被安装在例如集成电路或者SoC半导体中。充电可以按有线型和无线型进行。充电器IC可对电池充电,并且可防止从充电器流入过量的电压或电流。根据本公开的实施例,充电器IC可包括用于有线充电类型或无线充电类型中的至少一者的充电器IC。无线充电类型可涵盖例如磁谐振类型、磁感应类型或者电磁波类型,并且可提供用于无线充电的额外电路,例如线圈环、谐振电路、整流器等等。
电池量表可测量例如电池1496的剩余电力、充电电压和电流或者温度。电池1496可存储或生成电力,并且可利用存储或生成的电力来向电子设备1400提供电力。电池1496可包括例如可再充电电池或太阳能电池。
指示器1497可显示电子设备1400的全部或一部分(例如,AP1410)的特定状态,例如启动状态、消息状态或充电状态。马达1498可将电信号转换成机械振动。虽然在图中没有示出,但电子设备1400可包括用于支持移动TV的处理设备(例如,CPU)。用于支持移动TV的处理设备可根据诸如数字多媒体广播(digitalmultimediabroadcasting,DMB)、数字视频广播(digitalvideobroadcasting,DVB)或媒体流之类的标准来处理媒体数据。
如上所述,电子设备可基于深度图对于每个分离的区域处理图像,从而自然地三维显示图像。
电子设备可利用深度图向图像的至少局部区域应用图形效果,从而向用户提供各种形式的图像。
根据本公开的硬件的上述组成元素的每一者可以用一个或多个组件来配置,并且相应组成元素的名称可基于电子设备的类型而变化。根据本公开的各种实施例的电子设备可包括上述元素中的至少一者。在电子设备中可省略一些元素或者可进一步包括其他额外的元素。另外,根据本公开的各种实施例的硬件组件中的一些可被组合成一个实体,该实体可执行与组合前的相关组件相同的功能。
本文使用的术语“模块”可例如指包括硬件、软件和固件之一或者其中的两个或更多个的组合的单元。术语“模块”可与例如术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成的组成元素或者其一部分的最小单位。“模块”可以是用于执行一个或多个功能或者其一部分的最小单位。可以机械地或电子地实现“模块”。例如,根据本公开的“模块”可包括已知的或者以后要开发的用于执行操作的专用IC(application-specificIC,ASIC)芯片、现场可编程门阵列(field-programmablegatearray,FPGA)和可编程逻辑器件中的至少一者。
根据本公开的各种实施例,根据本公开的设备(例如,模块或其功能)或者方法(例如,操作)中的至少一些可由以编程模块形式存储在计算机可读存储介质中的命令来实现。指令当被处理器(例如,处理器120)执行时可使得一个或多个处理器执行与该指令相对应的功能。计算机可读存储介质可以例如是存储器130。
计算机可读记录介质可包括硬盘、软盘、磁介质(例如,磁带)、光介质(例如,致密盘ROM(compactdiscROM,CD-ROM)和DVD)、磁光介质(例如,软光盘)、硬件设备(例如,ROM、RAM、闪速存储器),等等。此外,程序指令可包括可由计算机利用解释器来执行的高级语言代码,以及编译器作出的机器代码。上述硬件设备可被配置为作为一个或多个软件模块来操作以便执行本公开的操作,反之亦然。
根据本公开的编程模块可包括上述组件中的一个或多个或者还可包括其他额外的组件,或者上述组件中的一些可被省略。根据本公开的各种实施例由模块、编程模块或者其他组成元素执行的操作可被顺序地、并行地、反复地或者以试探方式执行。另外,可根据另外的顺序来执行或者可省略一些操作,或者可添加其他操作。另外,本文献中公开的各种实施例只是用于对技术内容的描述和理解,而并不限制本公开的范围。因此,本公开的范围应当被解释为包括基于本公开的技术思想的所有修改或各种其他实施例。
虽然已参考本公开的各种实施例示出和描述了本公开,但本领域技术人员应理解,在不脱离如所附权利要求及其等同物所限定的本公开的精神和范围的情况下,可对本公开进行形式和细节上的各种改变。

Claims (20)

1.一种电子设备,包括:
至少一个图像传感器;
存储器;
通信接口;
处理器,被配置为:
获得图像和与所述图像相对应的深度图,
基于所述图像的深度图将所述图像分离成一个或多个区域,
向从所述图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果,并且
将被应用了不同效果的区域连接为单个图像;以及
显示器,被配置为显示所述单个图像。
2.如权利要求1所述的电子设备,其中,所述处理器被配置为通过所述至少一个图像传感器、所述存储器或者所述通信接口中的至少一者获得所述图像。
3.如权利要求1所述的电子设备,还包括至少一个传感器模块,其中所述处理器被配置为利用所述至少一个传感器模块来收集关于所述图像的深度图信息。
4.如权利要求3所述的电子设备,其中,所述传感器模块被配置为包括图像传感器、红外传感器或超声传感器中的至少一者。
5.如权利要求1所述的电子设备,其中,所述处理器被配置为利用多个图像的差异值确定关于所述图像的深度图信息,并且所述多个图像包括所述图像和通过在不同焦点捕捉与所述图像相同的主题而获得的至少一个其他图像。
6.如权利要求1所述的电子设备,其中,所述处理器还被配置为基于所述图像的深度图来确定用于显示从所述图像分离的每个区域的位置或大小中的至少一者。
7.如权利要求6所述的电子设备,其中,所述处理器还被配置为基于所述图像的深度图和用户的视点来改变从所述图像分离的每个区域中包括的对象的位置或大小中的至少一者,以便用户不会意识到孔洞区域。
8.如权利要求1所述的电子设备,其中,所述处理器被配置为向从所述图像分离的区域中的至少一个应用滤波器,该滤波器对应于与其他区域中的至少一个不同的图形效果。
9.如权利要求1所述的电子设备,其中,所述处理器被配置为向从所述图像分离的区域之间的至少一部分中***动画效果。
10.如权利要求1所述的电子设备,其中,所述处理器被配置为,响应于用户的视点的变化,基于所述图像的深度图和变化的用户视点来控制改变在所述显示器上显示的图像的至少局部区域的位置或大小中的至少一者。
11.一种电子设备的操作方法,该方法包括:
获得图像;
获得与所述图像相对应的深度图;
基于所述图像的深度图将所述图像分离成一个或多个区域;
向从所述图像分离的区域中的至少一个应用与其他区域中的至少一个不同的效果;以及
在显示器上显示被应用了不同效果的区域。
12.如权利要求11所述的方法,其中,图像的获得包括:
从与所述电子设备在功能上连接的至少一个图像传感器获得所述图像;
提取存储在所述电子设备的存储器中的所述图像;或者
从外部设备接收所述图像。
13.如权利要求11所述的方法,其中,深度图的获得包括利用至少一个传感器模块收集关于所述图像的深度图信息。
14.如权利要求11所述的方法,其中,深度图的获得包括利用与所述图像有关的多个图像的差异值确定关于所述图像的深度图信息,并且所述多个图像包括所述图像和通过在不同焦点捕捉与所述图像相同的主题而获得的至少一个其他图像。
15.如权利要求11所述的方法,其中,不同效果的应用包括基于所述图像的深度图来确定用于显示从所述图像分离的每个区域的位置或大小中的至少一者。
16.如权利要求15所述的方法,其中,不同效果的应用包括基于所述图像的深度图和用户的视点来改变从所述图像分离的每个区域中包括的对象的位置或大小中的至少一者,以便用户不会意识到孔洞区域。
17.如权利要求11所述的方法,其中,不同效果的应用包括向从所述图像分离的区域中的至少一个应用滤波器,该滤波器对应于与其他区域中的至少一个不同的图形效果。
18.如权利要求11所述的方法,其中,不同效果的应用包括向从所述图像分离的区域之间的至少一些中***动画效果。
19.如权利要求11所述的方法,其中,不同效果的应用包括:响应于用户的视点的变化,基于所述图像的深度图和变化的用户的视点来改变在所述显示器上显示的图像的至少局部区域的位置或大小中的至少一者。
20.如权利要求11所述的方法,其中,在显示器上显示区域包括:
将被应用了不同效果的区域连接为单个图像;以及
在所述显示器上显示所述单个图像。
CN201510559871.1A 2014-09-03 2015-09-06 用于显示图像的方法及其电子设备 Pending CN105389146A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN4289CH2014 2014-09-03
KR10-2014-0117316 2014-09-03
KR1020140117316A KR20160028320A (ko) 2014-09-03 2014-09-03 이미지를 표시하기 위한 방법 및 그 전자 장치
IN4289/CHE/2014 2014-09-03

Publications (1)

Publication Number Publication Date
CN105389146A true CN105389146A (zh) 2016-03-09

Family

ID=54151071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510559871.1A Pending CN105389146A (zh) 2014-09-03 2015-09-06 用于显示图像的方法及其电子设备

Country Status (3)

Country Link
US (1) US20160065943A1 (zh)
EP (1) EP2993901A1 (zh)
CN (1) CN105389146A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN109803133A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 一种图像处理方法及装置、显示装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170000196A (ko) * 2015-06-23 2017-01-02 삼성전자주식회사 객체의 속성 기반의 상태 변화 효과를 출력하기 위한 방법 및 그 전자 장치
US10417504B2 (en) * 2015-09-23 2019-09-17 Intel Corporation Smart mirror mechanism
US10091435B2 (en) * 2016-06-07 2018-10-02 Disney Enterprises, Inc. Video segmentation from an uncalibrated camera array
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317357A1 (en) * 2003-08-05 2008-12-25 Fotonation Ireland Limited Method of gathering visual meta data using a reference image
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示***
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
US20130187910A1 (en) * 2012-01-25 2013-07-25 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
US20140035902A1 (en) * 2012-07-31 2014-02-06 Lg Display Co., Ltd. Image data processing method and stereoscopic image display using the same
US20140160123A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Generation of a three-dimensional representation of a user
EP2683169A3 (en) * 2012-07-03 2017-04-12 GoPro, Inc. Image blur based on 3D depth information

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130018791A1 (en) * 2011-07-14 2013-01-17 Bank Of America Corporation Fraud data exchange system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080317357A1 (en) * 2003-08-05 2008-12-25 Fotonation Ireland Limited Method of gathering visual meta data using a reference image
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
CN102253713A (zh) * 2011-06-23 2011-11-23 康佳集团股份有限公司 面向三维立体影像显示***
CN103207664A (zh) * 2012-01-16 2013-07-17 联想(北京)有限公司 一种图像处理方法和设备
US20130187910A1 (en) * 2012-01-25 2013-07-25 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
EP2683169A3 (en) * 2012-07-03 2017-04-12 GoPro, Inc. Image blur based on 3D depth information
US20140035902A1 (en) * 2012-07-31 2014-02-06 Lg Display Co., Ltd. Image data processing method and stereoscopic image display using the same
US20140160123A1 (en) * 2012-12-12 2014-06-12 Microsoft Corporation Generation of a three-dimensional representation of a user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108632529A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 为焦点提供图形指示符的电子设备及操作电子设备的方法
CN109803133A (zh) * 2019-03-15 2019-05-24 京东方科技集团股份有限公司 一种图像处理方法及装置、显示装置

Also Published As

Publication number Publication date
US20160065943A1 (en) 2016-03-03
EP2993901A1 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
CN107800930B (zh) 图像合成方法和支持该方法的电子设备
CN108289161B (zh) 电子设备及其图像捕捉方法
CN107566693B (zh) 电子设备及其图像捕获方法
CN110476189B (zh) 用于在电子装置中提供增强现实功能的方法和设备
CN108432260B (zh) 电子设备及其图像控制方法
EP2985686A1 (en) Method and foldable electronic device for processing images
CN106055300B (zh) 用于控制声音输出的方法及其电子设备
CN108028891B (zh) 电子设备和照相方法
US20180249062A1 (en) Photographing method using external electronic device and electronic device supporting the same
CN105389146A (zh) 用于显示图像的方法及其电子设备
CN107037966B (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
CN107613283B (zh) 视频中的基于对象或区域的聚焦控制
US10142608B2 (en) Electronic apparatus and method for processing three-dimensional information using image
KR20150125472A (ko) 음성 명령 제공 방법 및 장치
CN105737804B (zh) 识别电子装置位置的方法、电子装置、和服务器操作方法
US10848669B2 (en) Electronic device and method for displaying 360-degree image in the electronic device
CN108427533B (zh) 电子设备及用于确定电子设备的环境的方法
US20160360384A1 (en) Method for outputting notification information and electronic device thereof
US20160133257A1 (en) Method for displaying text and electronic device thereof
CN106228511B (zh) 电子装置以及用于在电子装置中产生图像文件的方法
US10311613B2 (en) Electronic device for processing image and method for controlling thereof
US20160253779A1 (en) Image processing apparatus and method
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
CN109804618B (zh) 用于显示图像的电子设备和计算机可读记录介质
KR20160070571A (ko) 제어 방법 및 그 방법을 처리하는 전자장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160309