CN102467234A - 在多媒体装置中提供显示图像的方法和多媒体装置 - Google Patents

在多媒体装置中提供显示图像的方法和多媒体装置 Download PDF

Info

Publication number
CN102467234A
CN102467234A CN201110087388XA CN201110087388A CN102467234A CN 102467234 A CN102467234 A CN 102467234A CN 201110087388X A CN201110087388X A CN 201110087388XA CN 201110087388 A CN201110087388 A CN 201110087388A CN 102467234 A CN102467234 A CN 102467234A
Authority
CN
China
Prior art keywords
user
multimedia device
content
moves
body part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110087388XA
Other languages
English (en)
Inventor
姜敏九
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN102467234A publication Critical patent/CN102467234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

公开了在多媒体装置中提供显示图像的方法和多媒体装置。一种显示装置包括：传感器，用于追踪人的至少一个身体部位的移动；以及处理器，用于将追踪到的移动的量与参考值进行比较，当所述追踪到的移动的量超过所述参考值时识别出位置移动，以及基于所述位置移动执行所述显示装置的预定功能。

Description

在多媒体装置中提供显示图像的方法和多媒体装置
技术领域
本文描述的一个或更多个实施例涉及显示装置。
背景技术
针对电视机、计算机、移动终端和其它类型的显示装置开发了多种命令输入技术。然而，仍然需要进行改进，特别是为了满足期望通过这些装置向消费者提供多样性不断增长的多媒体服务的需求。
发明内容
根据本发明一种实施例，一种显示装置包括：用于追踪人的至少一个身体部位的移动的传感器；以及处理器，用于将追踪到的移动的量与参考值进行比较，当追踪到的移动的量超过参考值时识别出位置移动，以及基于位置移动执行显示装置的至少一个预定功能，其中，预定功能包括改变屏幕上的菜单图标的数量或屏幕上的菜单图标之间的距离这两者中的至少一个。
改变功能还可以包括基于位置移动改变屏幕上的内容的尺寸，其中，改变内容的尺寸可以包括将对内容的显示从第一缩放值变成第二缩放值，其中，内容以第二缩放值显示时在屏幕上展示出的信息比内容以第一缩放值显示时的要多。
改变功能还可以包括改变内容的尺寸，其可以包括将对内容的显示从第一缩放值变成第二缩放值，其中，内容以第二缩放值显示时在屏幕上展示出的信息比内容以第一缩放值显示时的要少。
传感器可以追踪人的第一和第二身体部位的移动。此外，处理器可以确定第一身体部位的移动的量，确定第二身体部位的移动的量，并且通过对第一身体部位的移动的量与第二身体部位的移动的量进行比较来判断位置移动。当第一身体部位的移动的量大于第二身体部位的移动的量时可以判断位置移动是倾斜。
另外，处理器可以基于识别出另一位置移动来改变显示装置的音量。此外，改变功能可以包括改变显示在屏幕上的内容的尺寸，以及改变与内容同时显示在屏幕上的菜单的尺寸。可以增大内容的尺寸则菜单的尺寸减小，或者反之亦然。
根据另一实施例，一种显示装置包括：用于追踪人的至少一个身体部位的移动的传感器；以及处理器，用于将追踪到的移动的量与参考值进行比较，当追踪到的移动的量超过参考值时识别出位置移动，以及基于位置移动执行显示装置的至少一个预定功能，其中，预定功能包括在二维图像与三维图像之间改变显示在屏幕上的图像类型。
根据另一实施例，一种显示装置包括：用于追踪人的至少一个身体部位的移动的传感器；以及处理器，用于将追踪到的移动的量与参考值进行比较、当追踪到的移动的量超过参考值时识别出位置移动、以及基于位置移动执行显示装置的至少一个预定功能，其中，预定功能包括改变屏幕上的第一区域或屏幕上的第二区域的高宽比，第一区域被从第一高宽比变成第二高宽比，或者第二区域被从第三高宽比变成第四高宽比。
预定功能可以包括改变屏幕上的第一区域或屏幕上的第二区域的高宽比，第一区域可被从第一高宽比变成第二高宽比，并且第二区域可被从第三高宽比变成第四高宽比。第一高宽比可以是16×9，第二高宽比可以是17×9或21×9，第三高宽比可以是5×9，并且第四高宽比可以是4×9。在其它实施例中，可以将任意高宽比变成任意其它高宽比。
根据另一实施例，一种控制方法包括追踪人的至少一个身体部位的移动；将追踪到的移动的量与参考值进行比较；当追踪到的移动的量超过参考值时识别出位置移动；以及基于位置移动执行显示装置的至少一个预定功能，其中，预定功能包括改变屏幕上的菜单图标的数量或者屏幕上的菜单图标之间的距离这两者中的至少一个。
改变步骤还可以包括基于位置移动改变屏幕上的内容的尺寸。改变内容的尺寸可以包括将对内容的显示从第一缩放值变成第二缩放值，其中，内容以第二缩放值显示时在屏幕上展示出的信息比内容以第一缩放值显示时的要多。
改变内容的尺寸可以包括将对内容的显示从第一缩放值变成第二缩放值，其中，内容以第二缩放值显示时在屏幕上展示出的信息比内容以第一缩放值显示时的要少。
追踪步骤可以包括追踪人的第一和第二身体部位的移动。额外的步骤可以包括确定第一身体部位的移动的量，确定第二身体部位的移动的量，以及通过对第二身体部位的移动的量与第一身体部位的移动的量进行比较来判断位置移动。
附图说明
图1示出了一种多媒体***。
图2示出了该***中多媒体装置的一个示例。
图3示出了具有异质图像传感器的多媒体装置。
图4示出了使用上述多媒体装置的异质图像传感器执行的检测/识别过程的一个实施例。
图5示出了存储在数据库中的面部向量的列表。
图6示出了多个异质图像传感器可基于硬件和软件来与多媒体装置进行交互的一种方式。
图7示出了包括异质图像传感器和多媒体装置的另一实施例。
图8示出了异质图像传感器和多媒体装置的另一实施例。
图9示出了具有异质图像传感器的另一实施例。
图10示出了图像传感器的一个示例。
图11示出了图像传感器的另一示例。
图12示出了使用图像传感器计算距离的一种方式。
图13示出了例如可包括在图1或图2中的多媒体装置的一个实施例。
图14示出了根据本文中描述的一个或更多个实施例可如何配置多媒体装置。
图15示出了基于深度图像传感器生成的图像的示例，该图像包括对应于人的各身体部位的坐标。
图16示出了调节显示画面的实施例。
图17示出了调节显示画面的姿势的示例。
图18示出了调节显示画面的位置的示例。
图19示出了基于距离的显示画面调节。
图20示出了显示画面调节的另一实施例。
图21示出了显示画面调节的另一实施例。
图22示出了多媒体装置和用户的位置。
图23示出了改变多媒体装置的菜单画面。
图24示出了改变多媒体装置的音量。
图25示出了涉及改变高宽比的显示画面调节的另一实施例。
图26示出了涉及在二维和三维图像格式之间改变的另一实施例。
具体实施方式
图1示出了包括多媒体装置的***。该多媒体装置可对应于电视机、计算机显示器、移动终端或能够在屏幕上显示信息的任何其它装置。如图1中所示，该***包括内容提供商(CP)10、服务提供商(SP)20、网络提供商(NP)30以及家庭网络终端用户(HNED)40。HNED 40例如对应于作为多媒体装置的客户端100。
内容提供商10制造并提供各种内容。如图1所示，内容提供商10的示例包括地面广播机构、有线***运营商(SO)、多***运营商(MSO)、卫星广播机构以及互联网广播机构。除了广播内容之外，内容提供商10还可以提供各种应用。
服务提供商20能够通过将内容提供商10所提供的内容进行服务打包来提供。例如，图1的服务提供商20能够将第一地面广播、第二地面广播、有线MSO、卫星广播、各种互联网广播、应用等打包，并且将打包的整体内容提供给用户。
网络提供商30可以提供用于向客户端100提供服务的网络。客户端100可以构造家庭网络终端用户(HNED)以接收服务。
客户端100可以经由网络提供内容。在这种情况下，与上述情况相反，客户端100可以是内容提供商。内容提供商10可以从客户端100接收内容。在这种情况下，优势在于可获得双向内容服务或数据服务。
图2示出了图1中示出的多媒体装置的一个示例，其包括网络接口201、TCP/IP(传输控制协议/网际协议)管理器202、服务传输管理器203、多路分解器(Demux)205、节目特定信息(PSI)等(节目和服务信息协议(PSIP)和/或服务信息(SI))的解码器204、音频解码器206、视频解码器207、显示音频/视频(A/V)和屏幕即时显示(On-Screen Display，OSD)模块208、服务控制管理器209、服务发现管理器210、元数据管理器212、SI和元数据的数据库(DB)211、图形界面(UI)管理器214以及服务管理器213。
此外，多个异质图像传感器260例如通过通用串行总线(USB)模式的连接模式与多媒体装置200连接。此外，尽管在图2中多个异质图像传感器260被设计为单独的模块，但是多个异质图像传感器260可以被设计成内置在多媒体装置200当中。
网络接口201从网络接收包，也传送包到网络。换言之，网络接口201经由网络从服务提供商接收服务、内容等。
TCP/IP管理器202涉及在多媒体装置200中接收包以及从多媒体装置200传送包，即涉及从来源到目的地的包传送。服务传输管理器203起控制所接收的服务数据的作用。例如，如果服务传输管理器203控制实时流数据，则它能够使用实时传输协议/实时传输控制协议(RTP/RTCP)。
如果服务传输管理器203通过使用RTP发送实时流数据，则它根据RTP解析所接收的包，并且在服务管理器213的控制下将解析过的包发送到多路分解器205或将解析过的包存储在SI和元数据DB 211中。服务传输管理器203通过使用RTCP将接收到的信息反馈给提供服务的服务器。
多路分解器205将接收到的包分解为音频、视频和PSI(节目特定信息)数据，并且然后将分解出的数据分别发送到音频解码器206、视频解码器207以及PSI等(PSIP和/或SI)的解码器204。
PSI等(PSIP和/或SI)的解码器204接收被多路分解器205分解出的PSI段(section)、PSIP(节目和服务信息协议)段或SI(服务信息)段，并对其进行解码。
此外，PSI等(PSIP和/或SI)的解码器204对接收到的段进行解码以建立服务信息的数据库，并将服务信息的数据库存储在SI和元数据DB211中。
音频/视频解码器206/207对从多路分解器205接收到的音频数据和视频数据进行解码。
UI管理器214通过使用屏幕即时显示(OSD)等向用户提供图形用户界面(GUI)，并基于从用户输入的密钥执行接收操作。例如，如果从用户输入用于频道选择的密钥输入信号，则UI管理器214将该密钥输入信号发送到服务管理器213。
服务管理器213控制与服务有关的管理器，比如服务传输管理器203、服务发现管理器210、服务控制管理器209和元数据管理器212。
此外，服务管理器213制作频道图，并根据从UI管理器214接收到的密钥输入信号、通过使用频道图来选择频道。服务发现管理器210提供选择服务提供商(服务提供商提供服务)所需的信息。如果从服务管理器213接收到与频道选择有关的信号，则服务发现管理器210通过使用接收到的信息发现相应的服务。
服务控制管理器209起到选择和控制服务的作用。例如，如果用户选择与现有广播模式一样的直播广播服务，则服务控制管理器209使用互联网组管理协议(IGMP)或实时流传输协议(RTSP)。如果用户选择视频点播(VOD)服务，则服务控制管理器209通过使用RTSP来选择和控制服务。元数据管理器212管理与服务有关的元数据，并且将元数据存储在SI和元数据DB 211中。
SI和元数据DB 211存储由PSI等(PSIP和/或SI)的解码器204解码的服务信息、由元数据管理器212管理的元数据以及由服务发现管理器210提供的选择服务提供商所需的信息。此外，SI和元数据DB 211可以存储***的设置数据。
互联网协议多媒体***网关(IG，即IMS Gateway)250是采集访问基于网络电视(IPTV)服务的IP多媒体***(IMS)所需的功能的网关。
图2中示出的多个异质图像传感器260被设计成获取位于多媒体装置200周边的人或物体的单个图像或多个图像。更详细而言，这多个异质图像传感器260被设计成只在选定的时刻或在特定条件下连续地、周期性地操作该单个图像或该多个图像，如稍后更详细所述。
图3示出了基于多个异质图像传感器的多媒体装置和照相机拍摄画面。与深度数据处理有关的第一图像传感器包括由于有限的分辨率(例如，最大视频图形阵列(VGA)级别)和识别距离(例如3.5m)而不适用于长距离面部识别的区域。此外，与色彩数据处理有关的第二图像传感器具有识别速度慢并且对光照条件不鲁棒的缺点。
因此，多媒体装置被设计成与混合型图像传感器模块交互，该混合型图像传感器模块是第一图像传感器和第二图像传感器的混合型。
红外线(IR)照相机或深度照相机被用作第一图像传感器。更详细而言，已经讨论了传播时间(time of flight，TOF)型IR照相机或深度照相机以及结构化照明型IR照相机或深度照相机。TOF型IR照相机或深度照相机通过使用由红外线发射获得的时间差来计算距离信息。结构化照明型IR照相机或深度照相机通过向特定图案发射红外线并对被改变的图案进行分析来计算距离信息。
第一图像传感器在深度数据识别和处理速度上有优势，并且即使在黑暗的地方也能方便地感测物体、人等。然而，第一图像传感器的缺点在于在距离长时分辨率低。
此外，彩色照相机或RGB照相机被用作第二图像传感器。更详细而言，已经讨论了立体相机型彩色照相机或红绿蓝色彩模式(RGB)照相机以及单个相机型彩色照相机或RGB照相机。立体相机型彩色照相机或RGB照相机基于通过两个照相机获取的图像时间比较信息来检测和追踪手部或面部。单个相机型彩色照相机或RGB照相机基于通过一个照相机获取的形状和色彩信息来检测和追踪手部或脸部。
第二图像传感器的优点在于其分辨率比第一图像传感器的分辨率有更多的改善，但是第二图像传感器的缺点在于易受周边照明影响并且在黑暗的地方难以识别相应物体。尤其而言，第二图像传感器的缺点在于难以识别出确切深度。
如图3中所示，多媒体装置的一个实施例被设计成具有第一图像传感器和第二图像传感器这两者。可将图像传感器设计为内置在多媒体装置中，或者可设计成单独的硬件模块。如图3(b)中所示，第一图像传感器获取包括位于多媒体装置周边的用户的图像。在图3的(1)、(2)、(3)和(4)中按正确顺序示出了详细的获取图像情况。
如果完成第一图像传感器的图像获取和数据分析，如图3(a)中所示，则第二图像传感器获取特定用户的面部的图像。在图3的(5)、(6)和(7)中按正确顺序示出了详细的获取图像情况。
根据本发明一个实施例的多个异质图像传感器中的第一图像传感器获取位于多媒体装置周边的第一图像，并从所获取的第一图像中提取深度数据。如图3(1)中所示，第一图像传感器可被设计为以取决于距离的不同的对比度来显示每个物体的区域。
此外，第一图像传感器能够通过使用提取出的深度数据来识别至少一个用户的面部。换言之，第一图像传感器通过使用数据库等来提取用户的身体信息(例如，面部、手、脚、关节等)等，如图3(2)中所示，并且获取特定用户的面部的位置坐标和距离信息，如图3(3)中所示。
更详细而言，第一图像传感器被设计成计算作为关于用户面部的位置信息的x、y和z值，其中，x是指所获取的第一图像中的面部的水平轴上的位置，y是指所获取的第一图像中的面部的垂直轴上的位置，而z是指用户的面部与第一图像传感器之间的距离。
此外，在多个异质图像传感器之中，用于提取彩色图像的第二图像传感器获取识别出的用户面部的第二图像，这在图3(5)中示出。
如果图3中示出的第一图像传感器和第二图像传感器被设计成彼此相邻，则可以忽略由于实际位置的差异而引起的误差。然而，根据另一实施例，第二图像传感器被设计成使用与实际位置的差异有关的信息来对第一图像传感器所获取的坐标信息或距离信息进行补偿，并使用补偿后的坐标信息或距离信息来拍摄用户。
此外，如果第一图像传感器和第二图像传感器被设计成布置得与地面水平，则可以基于水平框架来设置与实际位置的差异有关的信息。如图3(7)中所示，第二图像传感器从所获取的第二图像中提取特征信息。特征信息是用于标识使用多媒体装置的多个用户的对应于特定部位(例如，嘴、鼻子、眼睛等)的数据。
此外，第二图像传感器可以基于通过第一图像传感器的图像获取所获得的坐标值(x、y和z值)而在对应于用户面部的区域中进行缩放。这是指从图3(5)到图3(6)的转换过程。
如果完全执行了第一图像传感器和第二图像传感器的图像获取和分析，则根据本发明一个实施例的多媒体装置访问存储对应于提取出的特征信息的数据的存储器，并提取存储在该存储器中的用于标识特定用户的信息。
如果用于标识某特定用户的信息存在于存储器中，则多媒体装置提供事先为该特定用户设置的服务。
另一方面，如果用于标识某特定用户的信息不存在于存储器中，则多媒体装置被设计为显示针对将识别出的用户信息存储在存储器中的向导信息。
如上所述，根据一个实施例，第一图像传感器被设计成检测与用户面部有关的用户位置信息或坐标信息，而第二图像传感器被设计成使用由第一图像传感器获取的数据来对面部进行识别。
根据另一实施例，将第二图像传感器设计为仅在特定条件的情况下对其进行操作。例如，如果通过第一图像传感器的操作获得的、用户与第一图像传感器之间的距离信息小于第一参考值，或者如果通过第一图像传感器的操作获得的用户面部的识别率大于第二参考值，则仅由第一图像传感器检测和识别位于多媒体装置周边的用户的面部。
另一方面，如果通过第一图像传感器的操作获取的距离信息超过第一参考值，或者如果通过第一图像传感器的操作获得的用户面部的识别率小于第二参考值，则额外使用第二图像传感器来对用户的面部进行识别。
根据另一实施例，第二图像传感器被设计成通过使用由第一图像传感器在识别用户面部的过程中获取的距离信息来进行放大(zoom-in)，并只通过使用由第一图像传感器获取的面部坐标信息来拍摄面部。
因此，上述使用不同类型的异质图像传感器的做法具有允许长距离的面部识别、且数据处理速度与现有技术相比大大提高的优点。
图4示出了用于在多媒体装置和多个异质图像传感器中使用检测数据和识别数据的过程。用与面部识别的处理不同的处理来执行面部检测。面部检测包括检测一个图像内的面部区域的处理，而面部识别是对检测到的面部是否对应于特定用户进行识别的处理。具体地，将参照图4来描述根据一个实施例的、使用第一图像传感器执行面部检测的过程和使用第二图像传感器执行面部识别的过程。
如图4中所示，根据一个实施例的多媒体装置包括检测模块301、识别模块302、数据库(DB)303、第一图像传感器304以及第二图像传感器305。需要时，多媒体装置使用检测数据306和识别数据307。可例如根据基于知识的检测技术、基于特征的检测技术、模板匹配技术和基于外观的检测技术来生成检测数据306。此外，识别数据307例如包括用于标识特定用户的数据，比如眼睛、鼻子、嘴、下颌、区域、距离、形状和角度。
此外，检测模块301通过使用从第一图像传感器304接收的图像数据来判断用户面部的存在。另外，在估计用户面部所在区域的过程中，使用与前述基于知识的检测技术、基于特征的检测技术、模板匹配技术和基于外观的检测技术有关的数据。
识别模块302通过使用从第二图像传感器305接收的图像数据来判断所识别的用户是否是特定用户。此时，识别模块302基于前述识别数据307将所接收的图像数据与存储在DB 303中的面部向量信息进行比较。将参照图5对此进行更详细的描述。
图5示出了存储在数据库中的面部向量的列表。如图5中所示，使用根据本发明一个实施例的多媒体装置的用户的面部向量被存储在数据库中。面部向量例如是用户面部上呈现的特征信息的数据集，并被用于标识每个特定用户。
图6示出了多个异质图像传感器的操作的一个示例，这多个异质图像传感器基于硬件和软件与多媒体装置进行交互。如图6中所示，根据图像传感器的硬件部分360和处理从图像传感器接收到的数据的多媒体装置的软件部分350，来描述通过由多个异质图像传感器输入的图像执行的多媒体装置的操作。
尽管在图6中将硬件部分360图示为单独的模块，但是它可以内置于处理软件部分350的多媒体装置中。首先，硬件部分360包括数据收集部分340和固件部分330。
数据收集部分340从图像传感器接收由多媒体装置识别的原始数据，并且包括IR光投影仪、深度图像传感器、彩色(RGB)图像传感器、麦克风以及照相机芯片。
此外，固件部分330用于连接硬件部分与软件部分。此外，固件部分330可被用作专用应用程序所需的主应用程序，并执行缩减采样(下采样，downsampling)和创建镜像。
因此，数据收集部分340和固件部分330彼此进行交互。数据收集部分340和固件部分330能够通过它们的交互控制硬件部分360。此外，固件部分能够被照相机芯片驱动。
软件部分350包括应用编程接口(API)部分320和中间件部分310。API部分320可由多媒体装置的控制器来实现。此外，如果照相机模块被配置成单独在多媒体装置之外的外部装置，则API部分可由个人计算机、游戏控制台、机顶盒等来实现。另外，API部分320可以是允许多媒体装置驱动硬件部分的传感器的简单的API。
中间件部分310是识别算法区域，并且可包括深度处理中间件。另外，即使用户通过他的(她的)手或他的(她的)整个身体输入姿势，中间件部分也能够与显式用户控制API一起提供应用。此外，中间件部分能够包括执行下列操作的算法，所述操作包括用于搜索用户的手的位置的操作、用于追踪用户的位置的操作、用于提取用户的骨架特征的操作以及用于分别从输入图像识别用户和背景的操作。能够通过使用从硬件部分获取的深度信息、色彩信息、IR信息和音频信息来运行该算法。
图7示出了包括多媒体装置和多个异质图像传感器的一个实施例。尽管异质图像传感器和多媒体装置是分开图示的，但是在其它实施例中，可将照相机设计成内置在多媒体装置中。
如图7中所示，多媒体装置400被设计成包括比如中央处理模块(CPU)401和图形处理模块404等模块，其中，CPU 401包括应用402和面部识别处理模块403。同时，根据本发明一个实施例的多个异质图像传感器420被设计成包括比如专用集成电路(ASIC)421、发射器422、第一图像传感器423和第二图像传感器424等模块。
多媒体装置400通过有线或无线接口410与多个异质图像传感器420连接。例如，通用串行总线(USB)接口可被用作有线或无线接口410。
发射器422向位于多媒体装置400周边的至少一个用户发光。第一图像传感器423通过使用发出的光拍摄第一图像，从所拍摄的第一图像中提取深度数据，并通过使用所提取的深度数据来检测该至少一个用户的面部。另外，第二图像传感器424对检测到的用户的面部拍摄第二图像，并从所拍摄的第二图像中提取特征信息。
提取出的特征信息被通过接口410传输给多媒体装置的面部识别处理模块403。尽管图7中未示出，但面部识别处理模块403被设计为包括接收器、存储器、提取器和控制器。
面部识别处理模块403的接收器接收通过多个异质图像传感器420和接口410传输的特征信息。此外，面部识别处理模块403的存储器存储关于至少一个用户的特征信息和对应于该特征信息的标识符(ID)。
因此，面部识别处理模块403的提取器从存储器中提取对应于所接收的特征信息的ID，并且面部识别处理模块403的控制器被设计成自动执行事先设置好的与该ID对应的功能。
同时，如果面部识别处理模块被设计成由如图7中所示的多媒体装置的CPU执行的话，其优点在于降低照相机的设计成本，并且在可扩展性方面(比如对多种面部的识别和增加功能)也有优势。
图8示出了包括多媒体装置和多个异质图像传感器的一个实施例。尽管多媒体装置和多个异质图像传感器是分开图示的，但可将照相机设计成内置在多媒体装置中。
如图8中所示，多媒体装置50被设计成包括比如中央处理模块(CPU)501和图形处理模块503等模块，其中，CPU 501包括应用502。同时，根据本发明一个实施例的多个异质图像传感器520被设计成包括比如面部识别处理模块521、专用集成电路(ASIC)522、发射器523、第一图像传感器524和第二图像传感器525等模块。多媒体装置500通过有线或无线接口510与多个异质图像传感器520连接。例如，通用串行总线(USB)接口可被用作有线或无线接口510。应理解，图8的模块仅是示例性的，并且本发明的范围应当主要由权利要求来限定。
图8与图7的不同之处在于，面部识别模块521被设置在多个异质图像传感器520中。同时，如图8中所示，如果面部识别处理模块被设计成由多个异质图像传感器520来执行，则能够通过独立平台设计多种类型的照相机。
图9示出了包括多个异质图像传感器的一个实施例。如图9中所示，这多个异质图像传感器包括第一图像传感器组610、第二图像传感器620、控制器630、存储器640和接口650，并且被设计成在控制器630的控制下从麦克风670和外部音频源660接收音频数据。
存储器640例如可被设计为闪存。接口650被设计为USB接口，并与外部的多媒体装置连接。同时，第一图像传感器组610包括发射器680和第一图像传感器690。发射器例如能够被设计为红外(IR)发射器。
此外，在控制器630的控制下，发射器680的光投影仪682伸出透镜681以向位于多媒体装置周边的至少一个用户发射光。在控制器630的控制下，第一图像传感器690通过使用经透镜691接收的光来拍摄第一图像，从获取的第一图像中提取深度数据，并将提取出的数据传输给控制器630。控制器630通过使用传输的深度数据来检测该至少一个用户的面部，并对第二图像传感器620进行控制。
在控制器630的控制下，第二图像传感器620通过使用经透镜621施加的光来对检测到的用户的面部拍摄第二图像。此外，第二图像传感器620将从获取的第二图像中提取的特征信息传输给控制器630。
控制器630被设计成通过使用接口650将提取出的特征信息传输给多媒体装置。因此，接收到特征信息的多媒体装置能够快速识别存储在DB中的用户中的哪个用户是对应于所拍摄图像的用户。
图10示出了多个异质图像传感器的第一图像传感器的一个示例。如图所示，IR源710可对应于图9的发射器680，且深度图像处理器720可对应于图9的第一图像传感器690。因此，图9和图10的描述可以互相补充地应用于本实施例。此外，图10中示出的照相机可以按照前述结构化照明的类型来设计。
如图10中所示，IR源710被设计成将编码图案的图像连续地投影至目标用户730。深度图像处理器720通过使用由于目标用户730而失真的初始图案的图像的信息来估计用户的位置。
图11是示出了根据本发明一个实施例的多个异质图像传感器的第一图像传感器的另一示例的图。下文中，将参照图11来描述根据本发明一个实施例的多个异质图像传感器的第一图像传感器的另一示例。图11中示出的发光二极管(LED)810可对应于图9的发射器680，并且图11示出的深度图像处理器820可以对应于图9的第一图像传感器690。因此，图9和图10的描述可以互相补充地应用于本实施例。此外，图11中示出的照相机可以按照前述TOF的类型来设计。
如图11所示，LED 810发出的光被传输至目标用户830。目标用户830反射的光被传输至深度图像处理器820。与图10不同，图11中示出的模块通过使用关于时间差的信息来计算目标用户830的位置。将参照图12对此进行更详细的描述。
图12示出了使用例如图11中示出的第一图像传感器来计算距离的一种方式。在图12的左图中，能够通过发射光与反射光之间的时间差来获得作为到达时间的值t。另外，如通过图12右侧的等式所示，通过将光速与值t相乘，能够计算出LED 810与目标用户830之间的距离以及目标用户830与深度图像处理器820之间的距离。因此，估算LED 810或深度图像处理器820与目标用户830之间的距离为d/2。
图13示出了可连接到广播网和互联网的多媒体装置(100)的示例图。多媒体装置(100)的示例例如包括有线电视(TV)、智能TV、HBBTV(混合宽带TV)、机顶盒、DVD播放器、蓝光播放器、游戏装置、计算机等。
参照图13，根据一个实施例的多媒体装置(100)可以包括广播接收模块(105)、外部装置接口模块(135)、存储模块(140)、用户输入接口模块(150)、控制器(170)、显示模块(180)、音频输出模块(185)、图像感测模块(190)。广播接收模块(105)可包括调谐器(110)、解调器(120)和网络接口模块(130)。
显然，必要时，广播接收模块(105)可被设计为配备有调谐器(110)和解调器(120)而不包括网络接口模块(130)。或者，广播接收模块(105)还可被设计为配备有网络接口模块(130)而不包括调谐器(110)和解调器(120)。
在通过天线接收到的多个RF(射频)广播信号之中，调谐器(110)选择与用户(或观众)所选择的频道对应的RF广播信号，或者选择与所有预存储的频道对应的RF广播信号。然后，调谐器(110)将所选择的RF广播信号转换成中频(IF)信号或者基带视频或音频信号。
调谐器(110)还可以接收依据ATSC(高级电视***委员会)方法的单载波RF广播信号或者依据DVB(数字视频广播)方法的多载波RF广播信号。
在执行解调和频道解码处理之后，解调器(120)可以输出流信号(TS)。在这点上，流信号可以对应于其中多路复用了视频信号、音频信号或数据信号的多路复用信号。例如，流信号可以对应于由多路复用的运动图像专家组-2(MPEG-2)标准视频信号与多路复用的杜比音频编码-3(Dolby AC-3)标准音频信号构成的MPEG-2TS(传输流)。
从解调器(120)输出的流信号可被输入到控制器(170)。控制器(170)对输入的流信号执行多路分解(demultiplexing)和视频/音频信号处理过程。此后，控制器(170)将图像输出到显示模块(180)并将声音输出到音频输出模块(185)。
外部装置接口模块(135)可以连接外部装置和多媒体装置(100)。外部装置接口模块(135)可以通过有线/无线连接而连接到外部装置，比如DVD(数字多功能盘)、蓝光、游戏装置、图像传感器、便携式摄像机、计算机(笔记本)等。外部装置接口模块(135)将通过连接到外部装置接口模块(135)的外部装置从外部源输入的图像、声音或数据信号发送到多媒体装置(100)的控制器(170)。
此外，由控制器(170)处理的图像、声音或数据信号可被输出到所连接的外部装置。为此，外部装置接口模块(135)可以包括A/V输入/输出模块(未示出)或者无线(或无线电)通信模块(未示出)。
A/V输入/输出模块可以包括USB端子、CVBS(复合视频消隐和同步)端子、分量端子、S-视频端子(模拟)、DVI(数字视频接口)端子、HDMI(高清多媒体接口)端子、RGB端子、D-SUB端子等，以能够将外部装置的音频和视频信号输入给多媒体装置(100)。
无线(或无线电)通信模块能够与其它电子装置进行近距离无线(或无线电)通信。基于比如蓝牙、RFID(射频识别)、IrDA(红外数据组织)、UWB(超宽带)、紫蜂、DLNA(数字生活网络联盟)等电信标准，多媒体装置(100)可经由网络连接到其它电子装置。
此外，外部装置接口模块(135)可以经由至少一个上述端子访问不同的机顶盒，从而能够利用各机顶盒执行输入/输出操作。
网络接口模块(130)提供用于将多媒体装置(100)连接到有线/无线网络的接口，所述有线/无线网络包括互联网。为了提供到有线网络的连接(或访问)，网络接口模块(130)例如可以设置有以太网端子。
为了提供到无线网络的连接(或访问)，可对网络接口模块设置不同的电信标准，例如像WLAN(无线LAN)(Wi-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSDPA(高速下行分组接入)等。
通过连通网络、或者通过联接到连通网络的其它网络，网络接口模块(130)可以将数据传输给其它用户或其它电子装置，或者从其它用户或其它电子装置接收数据。
存储模块(140)可以存储用于处理和控制控制器(170)内的每个信号的程序，并且还可以存储信号处理后的视频、音频或数据信号。
另外，存储模块(140)还可以执行暂时存储从外部装置接口模块(135)或网络接口模块(130)输入的视频、音频或数据信号的功能。此外，存储模块(140)可以通过频道存储功能存储与某一广播频道有关的信息。
例如，存储模块(140)可以包括以下类型的存储介质中的至少一个：闪存型、硬盘型、多媒体卡微型、卡型存储器(例如，安全数码卡(SD)或极限数字卡(XD)存储器等)、RAM、ROM(电可擦可编程只读存储器(EEPROM)等)型中的至少一个的存储介质。多媒体装置(100)可以回放(或再现)存储在存储模块(140)中的内容文件(运动图像文件、静止图像文件、音乐文件、文本文件、应用文件等)，以将相应内容文件提供给用户。
尽管图13示出了存储模块(140)被设置为与控制器(170)分开的示例，但是本发明将不限制于在此示出的示例性结构。存储模块(140)还可以包括在控制器(170)中。
用户接口模块(150)将用户输入的信号传输(或发送)到控制器(170)或者将从控制器(170)输出的信号传输给用户。
例如，根据不同的电信方法，比如RF(射频)通信、红外(IR)通信等，用户接口模块(150)从远程控制装置(200)接收控制信号，比如电源开/关、频道选择、屏幕设置等，并且处理接收到的信号。或者，用户接口模块(150)可以处理从控制器(170)接收到的控制信号，使得能够将相应信号传输给远程控制装置(200)。
此外，例如，用户接口模块(150)可以将从感测用户姿势的感测模块(未示出)输入的控制信号传输给控制器(170)，或者用户接口模块(150)可以将从控制器(170)输出的信号传输给感测模块(未示出)。在此，感测模块(未示出)可以包括触摸传感器、语音传感器、位置传感器、运动传感器等。
通过调谐器(110)或解调器(120)或外部装置接口模块(135)，控制器(170)分解输入的流或处理分解后的信号，从而生成和输出用于视频或音频输出的信号。
由控制器(170)进行过图像处理(或视频处理)的视频信号被输入到显示模块(180)，使得处理过的信号能够被显示为对应于相应视频信号的图像。此外，由控制器(170)进行过图像处理(或视频处理)的视频信号可被通过外部装置接口模块(135)输入到外部输出装置。
由控制器(170)处理过的音频信号可以被音频输出到音频输出模块(185)。此外，由控制器(170)处理过的音频信号可被通过外部装置接口模块(135)输入到外部输出装置。
显示模块(180)分别将如下信号转换成R、G和B信号以生成驱动信号：由控制器(170)处理过的视频(或图像)信号、数据信号和OSD信号，或者由外部装置接口模块(135)接收的视频(或图像)信号、数据信号等。
同时，为了检测用户的姿势，如上所述，在多媒体装置(100)中还设置了感测模块(未示出)，该感测模块配备有触摸传感器、声音传感器、位置传感器和运动传感器中的至少一个。由感测模块(未示出)检测到的信号可以通过用户输入接口模块(150)传输给控制器(170)。
同时，还可以进一步包括记录(或拍摄)用户的图像感测模块(190)。由图像感测模块(190)检测或记录(或拍摄)的图像信息可被输入到控制器(170)。
图像感测模块(190)可被配置为包括每个都能够获取不同类型的信息的多个图像传感器。以及将参照图9详细地描述图像感测模块的结构和操作。
控制器(170)可以单独地或组合地使用如下两者中的每一个来检测(或感测)用户的位置和用户的姿势：图像感测模块(190)所记录的图像，或者从感测模块(未示出)检测到的信号。
另外，为了检测用户的位置，控制器(170)可以包括距离测量模块(未示出)，并且，基于输入到图像感测模块的信息，距离测量模块(未示出)可以检索指示用户与多媒体装置之间的距离是减小还是增大的信息。
此外，在图像感测模块识别用户的每个身体部位的坐标信息的情况下，基于用户的每个身体部位的坐标信息，当检测到用户的身体向前屈身(或倾斜)时，距离测量模块(未示出)可以判断多媒体装置与用户之间的距离减小。并且，当检测到用户的身体向后倾斜时，距离测量模块(未示出)可以判断多媒体装置与用户之间的距离增加。
此外，当距离减小的信号被通过距离测量模块(未示出)输入时，控制器(170)放大显示在显示模块(180)上的显示画面的比例，并且显示放大的显示画面。并且，当距离增大的信号被通过距离测量模块(未示出)输入时，控制器(170)减小显示在显示模块(180)上的显示画面的比例。因此，可以根据用户与多媒体装置之间的距离提供适当的显示画面。
此外，当距离减小的信号被通过距离测量模块(未示出)输入时，控制器(170)增大输出到音频输出模块(185)的音频信号的音量。并且，当距离增大的信号被通过距离测量模块(未示出)输入时，控制器(170)减小输出到音频输出模块(185)的音频信号的音量。因此，可以根据用户与多媒体装置之间的距离提供适当的音频输出。
此外，在音频信号中包含声音信号的情况下，控制器(170)相对地增大包含在音频信号中的声音信号的音量，以寻求增加用户在使用可视电话功能时的便利性。
此外，当通过距离测量模块检测到距离减小的信号时，控制器(170)减小包含在通过显示模块(180)显示的显示画面中的选择按钮或图标之间的距离。并且，当通过距离测量模块检测到距离增大的信号时，控制器(170)增大包含在通过显示模块(180)显示的显示画面中的选择按钮或图标之间的距离。因此，可以防止用户的误操作。
此外，当通过显示模块(180)显示的显示画面中包含文本信号时，并且当通过距离测量模块检测到距离减小的信号时，控制器(170)缩小包含在显示画面中的文本，并且当通过距离测量模块检测到距离增大的信号时，控制器(170)放大包含在显示画面中的文本，从而能够在考虑用户的可读性(易读性)的同时提供显示画面。
此外，当文本被放大时，并且当包括文本的整个页面完全显示在显示画面上时，控制器(170)不再缩小文本。
远程控制装置(200)将用户输入传输给用户接口模块(150)。为了这样做，远程控制装置(200)可以使用蓝牙、RF(射频)通信、IR(红外)通信、UWB(超宽带)、紫蜂的方法。
此外，远程控制装置(200)接收从用户接口模块(150)输出的音频、视频或数据信号，从而能够显示接收到的信号或输出来自远程控制装置(200)的声音或振荡(或振动)。
图14示出了多媒体装置的一个实施例。为了从多媒体装置获得用户(1903)的距离信息，多媒体装置(1900)通过多媒体装置的图像感测模块(1901、1902)获取用户图像。
为了准确地识别用户的距离信息，图像感测模块可以由两个图像传感器模块(1901、1902)配置而成，其中，每个图像传感器模块获取不同类型的信息。更具体地，根据一个实施例，图像感测模块可以包括深度图像传感器和RGB图像传感器。下文中将参照图15对此进行详细的描述。
此外，如附图所示，多媒体装置(1900)的图像感测模块(1901、1902)位于多媒体装置的下部，从而可被用于方便地检测用户身体的中心，并且受照明条件(或环境)的影响相对较小，图像感测模块可以方便地执行姿势识别。
根据上述配置，多媒体装置获取关于用户当前状态的信息和距离信息，从而能够根据所获取的信息提供以下内容：所述内容提供适合于当前状态和位置的多媒体装置的环境。
图15示出了由深度图像传感器获取的、用于识别对应于用户的每个身体部位的坐标的图像。参照图15，通过使用由深度图像传感器拍摄(检测或记录)的图像，多媒体装置可以获取用户的每个身体部位的坐标信息。
更具体地，在通过深度图像传感器拍摄用户(2401)的情况下，深度图像传感器可以与图像信息一起获得用户的距离信息。例如，可以获取仅关于用户的右肘部(2402)的坐标信息。通过这样做，在用户尝试输入仅使用他的或她的身体的特定部分(2403)的预定姿势的情况下，可以获取相应身体部位(2403)的坐标信息，使得能够放大相应身体部位(2403)所在的区域，从而使得能够识别更详细的图像。
此外，当用户通过移动他的或她的身体来执行特定运动时，可以检测到每个身体部位的距离信息的改变，从而使得能够识别出用户的特定运动。
图16示出了用于调节显示画面的处理的实施例。在提供来自多媒体装置的预定内容或服务的同时，多媒体装置通过多媒体装置的图像感测模块来获取当前用户的距离信息并且追踪所获取的距离信息(S2001)。
此外，追踪用户的坐标信息以检索用户的移动。更具体地，通过检索用户的坐标信息是否发生变化，本发明可以检索用户做出了哪种移动。此外，由于深度图像传感器能够获取用户的每个身体部位的坐标信息，所以深度图像传感器可以检索用户的每个身体部位的坐标信息的任何变化，从而识别出详细的移动，比如用户的前后移动、用户向前倾斜的移动、用户向后倾斜的移动、用户移动他的或她的手臂的移动。
随后，通过使用追踪到的距离信息，判断用户位置是否移动了预定参考值或大于预定参考值(S2002)。
根据一个实施例，多媒体装置可以设置关于用户的位置移动的参考值。更具体地，通过使用追踪到的距离信息，来检索用户位置的移动，并且仅当检索到的用户位置的移动大于或等于预定参考值时，多媒体装置可以识别出用户的位置移动了。
因此，当用户进行比如呼吸或讲话的细微移动时，多媒体装置判断用户位置没有移动，并且仅当用户进行明显的移动时，多媒体装置识别出用户位置的移动。因此，可以防止进行不希望有的显示画面放大(或增大)或缩小(或减小)动作。
在多媒体装置的制造过程期间可以将预定参考值设置为预定距离范围。并且，根据特定于用户的设置，用户可以改变参考值的设置。
在用户位置没有移动的情况下，或者在即使存在用户位置的移动，但检测到的移动小于预定参考值的情况下，多媒体装置继续追踪用户距离信息。
相反地，如果用户位置有超过预定参考值的显著移动，则多媒体装置判断用户与多媒体装置之间的距离是否减小(S2003)。
根据一个实施例，通过检索用户的各坐标信息可以判断距离是否减小。更具体地，通过继续追踪用户的坐标信息，可以在用户接近多媒体装置时判断为距离减小。
此外，由于能够识别用户的每个身体部位的坐标信息，所以当用户通过移动而仅使他的或她的肘部的坐标信息改变却使他的或她的骨盆的坐标信息不变地来接近多媒体装置时，多媒体装置可以识别出用户向前倾斜他的或她的身体，从而判断出距离减小。
基于步骤(S2003)的判断结果，当距离减小时，多媒体装置放大(或增大)从多媒体装置提供的显示画面并向用户提供放大的显示画面(S2004)。
更具体地，可以放大(或增大)多媒体装置使用的图像内容的使用画面，或者可以减小多媒体装置使用的文本内容的字号，或者可以调整在多媒体装置中的菜单画面中显示的图标的尺寸以及图标间的距离。下文中将参照图11、图12和图13对此进行更详细的描述。
相反地，基于步骤(S2002)的判断结果，当用户与多媒体装置之间的距离并未减小时，多媒体装置缩小(或减小)从多媒体装置提供的显示画面并且向用户提供缩小的显示画面(S2005)。更具体地，当用户与多媒体装置之间的距离增大时，减小显示画面并将其提供给用户。
根据该实施例，可以通过检索用户的各坐标信息来判断距离是否增大。更具体地，通过继续追踪用户的坐标信息，当用户进一步离开多媒体装置时，可以判断出距离增大。
此外，由于能够识别用户的每个身体部位的坐标信息，所以当用户通过移动而仅使他的或她的肘部的坐标信息改变却使他的或她的骨盆的坐标信息不变地离开多媒体装置时，多媒体装置可以识别出用户向后倾斜他的或她的身体，从而判断出距离增大。
更具体地，可以缩小(或减小)多媒体装置使用的图像内容的使用画面，或者可以增大多媒体装置使用的文本内容的字号，或者可以调整在多媒体装置中的菜单画面中显示的图标的尺寸以及图标间的距离。下文中将参照图19、图20和图21对此进行更详细的描述。
因此，当通过多媒体装置为用户提供预定内容和服务时，用户可以通过简单地移动他的或她的位置或通过简单地向前或向后倾斜来获得适当的显示画面，无需执行任何复杂操纵。
图17示出了使用姿势调整显示画面的实施例。通过移动用户位置(2205、2206、2207)，用户可以减小或增大多媒体装置与多媒体装置(2204)正识别的用户之间的距离。
更具体地，参照图17(a)，多媒体装置(2204)通过使用多媒体装置的图像感测模块来记录(或拍摄)用户(2205)，以获取用户的距离信息。获取的距离信息被存储为用户的参考坐标信息，并且通过使用图像感测模块来继续对用户位置的追踪。
在追踪期间，如图17(b)所示，当用户接近多媒体装置时，针对接近多媒体装置的用户的距离信息，通过图像感测模块再次获取用户的坐标信息。然后，将新获取的用户的坐标信息与存储的用户的参考坐标信息进行比较，以判断用户与多媒体装置之间的距离是否增大并且判断增大了多大距离。
在追踪期间，如图17(c)所示，如在用户接近多媒体装置的情况下所示出的，当用户离开多媒体装置时，针对离开多媒体装置的用户的距离信息，通过图像感测模块再次获取用户的坐标信息。
然后，将新获取的用户的坐标信息与存储的用户的参考坐标信息进行比较，以判断用户与多媒体装置之间的距离是否增大并且判断增大了多大距离。
如上所述，多媒体装置继续检索用户的坐标信息，并且，当用户移动他的或她的位置时，由于可以获取关于用户位置的移动、用户与多媒体装置之间的距离上的变化的信息，以及获取关于变化的量的信息，所以可以基于获取的信息来调整从多媒体装置(2204)提供的显示画面。下文中将参照图19、20和图21对此进行更详细的描述。
图18示出了使用用户位置调节显示画面的实施例。通过使他的或她的身体向前或向后倾斜(2105、2106、2107)，用户可以减小或增大他自己或她自己与多媒体装置(2104)之间的距离。
如图18中所示，由于多媒体装置可以通过追踪用户的每个身体部位，借助图像感测模块的深度图像传感器来获取用户的每个身体部位的坐标信息，所以多媒体装置可以检索(或判断)用户是否向前或向后倾斜。
更具体地，参照图18(a)，多媒体装置(2104)通过深度图像传感器来获取用户的坐标信息(2105)和用户的每个身体部位的坐标信息。然后，多媒体装置将所获取的用户的坐标信息和所获取的用户的每个身体部位的坐标信息存储为多媒体装置的参考坐标。
此外，在追踪过程期间，如图18(b)中所示，当用户使他的或她的身体向多媒体装置倾斜时，通过深度图像传感器获取向多媒体装置倾斜的身体部位的坐标信息。然后，将获取的坐标信息与存储的参考坐标进行比较。因此，当用户肩部区域的坐标接近多媒体装置时，同时用户骨盆的坐标指示相对而言几乎没有移动的状态的情况下，多媒体装置可以将用户的身体识别为向前倾斜并还可以判断出用户与多媒体装置之间的距离减小。
此外，在追踪过程期间，如图18(c)中所示，如在用户向前倾斜他的或她的身体的情况下所示，当用户向后倾斜他的或她的身体时，通过深度图像传感器获取向后倾斜的(或离开多媒体装置)的身体部位的坐标信息。然后，将获取的坐标信息与存储的参考坐标进行比较。
因此，当用户肩部区域的坐标离开多媒体装置时，同时用户骨盆的坐标指示相对而言几乎没有移动的状态的情况下，多媒体装置可以识别出用户的身体向后倾斜并且还可以判断用户与多媒体装置之间的距离增大。
此外，随着用户与多媒体装置之间的距离增大或减小，多媒体装置可以根据增大或减小的距离来调节多媒体装置的显示画面。下文中将参照图12、图13和图14对此进行更详细的描述。更具体地，由于用户能够通过简单地向前或向后倾斜来调节多媒体装置的显示画面，而无需移动他的或她的位置，所以本发明的优点在于增加了用户使用上的便利性。
图19示出了根据用户距离调节显示画面的实施例。当用户移动他的或她的位置时，或者当用户倾斜他的或她的身体以增大多媒体装置与用户之间的距离或者减小该距离时，可以根据增大或减小的距离适当地调节多媒体装置的显示画面。
如图19(a)中所示，当用户使用的图像内容没有全部显示在单个显示画面内时，并且当用户接近多媒体装置或向前倾斜他的或她的身体时，多媒体装置将这样的移动识别为要更近地观看(或查看)图像的姿势并放大图像内容，如图19(b)中所示，从而向用户提供放大的图像内容。
相反地，当用户离开多媒体装置或向后倾斜他的或她的身体时，多媒体装置将这样的移动识别为要通过放大图像的显示区域来观看图像的姿势。因此，如图19(c)中所示，多媒体装置可以放大图像内容的显示区域并显示相应图像的放大后的显示区域。此外，当所使用的图像内容的所有显示区域都显示在显示画面上时，可以控制多媒体装置使得图像内容不再被缩小。
另外，在用户移动他的或她的位置的情况下，可以根据用户移动(或位移)的距离来调节显示区域的扩大率或缩小率，并且，在用户倾斜他的或她的身体的情况下，可以根据用户的倾角来调节显示区域的扩大率或缩小率。
图20示出了根据用户的距离调节显示画面的实施例。当在多媒体装置中使用文本内容时，可以根据多媒体装置与用户之间的距离来调节所使用的文本内容的字号。文本内容可以包括观看多媒体装置中的文档文件，或者通过互联网观看包括预定文本的网页。
更具体地，如图20(a)的显示画面中所示，当在多媒体装置中显示包括文本(2401)的网页时，在用户接近多媒体装置的情况下，或者在用户向多媒体装置倾斜他的或她的身体的情况下，多媒体装置判断用户与多媒体装置之间的距离减小。因此，多媒体装置可以减小文本的字号，从而显示调节后的文本。
更具体地，在距离减小的情况下，用户对多媒体装置显示的文本的易读性增加。因此，通过减小文本(2402)的字号，如图20(b)所示，可以在单个显示画面内显示更多文本。此外，在当前使用的文本内容的所有区域都显示的情况下，可以控制多媒体装置使得字号不再被减小。
相反地，当用户离开多媒体装置时，或当用户向离开多媒体装置的方向倾侧(或倾斜)他的或她的身体时，用户与多媒体装置之间的距离增大，从而用户对由多媒体装置显示的文本的易读性降低。因此，可以放大(或增大)和显示文本的字号。
图21示出了根据用户距离调节显示画面的另一实施例。当通过多媒体装置中的OSD(屏幕即时显示)显示预定菜单画面时，可以根据多媒体装置与用户之间的距离来调节当前正使用的菜单画面。
更具体地，在多媒体装置中，当显示菜单画面时，如图21(a)所示，菜单画面可以包括预定图标列表(2508)，并且菜单画面还可以包括关于多媒体装置中当前正使用的内容的信息(2505)。
在显示显示画面的情况下，如图21(a)所示，当用户接近多媒体装置或向多媒体装置倾斜他的或她的身体时，并且当多媒体装置识别出(或判断)多媒体装置与用户之间的距离在减小时，多媒体装置可以向用户提供如图21(b)所示的显示画面。
更具体地，由于用户对显示画面的易读性随着距离减小而增加，所以关于多媒体装置正使用的内容的信息(2504)(如图21(b)所示)减小至比图21(a)的信息(2505)小的尺寸，从而显示。并且，包含在菜单中的图标(2507)的尺寸也减小至比图21(a)的图标(2508)小的尺寸，从而显示。因此，可以从一个显示画面给用户提供范围更大的信息和列表更大的图标。
此外，由于图标(2507)的尺寸的减小，所以由在多媒体装置的操纵期间的失误导致的选择错误图标的概率会增大。因此，可以将关于多媒体装置当前正使用的内容的信息(2506)(如图21(c)所示)放大(或增大)为大于图21(a)的信息(2505)，从而显示。并且，还可以将菜单画面中包括的图标(2509)的尺寸放大为大于图21(a)的图标(2508)，从而显示。因此，即使当用户的易读性降低时，用户也可以容易地获取关于内容的信息和关于图标的信息。
此外，由于图标(2509)的尺寸增大，所以在多媒体装置的操纵期间发生的误操作(或失误)的概率会降低。因此，可以减小图标(2509)之间的距离，并且可以根据图标之间减小的距离来显示更多图标。
图22示出了多媒体装置和用户的相对位置。在本实施例中，在考虑多媒体装置与用户的视角的同时，多媒体装置可以根据用户的位置改变显示画面。
视角是指允许正常观看来自多媒体装置的画面的最大倾斜角。与阴极射线管显示器不同，液晶显示装置具有对比度和亮度随视角的变化范围大的特性。这里，保持此对比度大于或等于预定值的角度被称作视角。更具体地，只有当用户位于(或处于)视角的范围内时，用户才可以看到在正常亮度水平的画面。
因此，当用户(2602)正好处于多媒体装置(2601)前时，如图14(b)所示，多媒体装置的显示模块的所有区(或区域)均位于(或处于)用户与多媒体装置的视角范围内。因此，多媒体装置可以显示正常状态的显示画面(2603)，如图14(e)所示，从而能够向用户提供内容或服务。
相反地，当用户(2602)处于多媒体装置(2601)的左侧时，如图14(a)所示，并非多媒体装置的显示模块的所有区(或区域)均位于(或处于)用户与多媒体装置的视角范围内。因此，通过提供显示画面，如图14(d)所示，多媒体装置可能不能显示不包括在视角范围内的显示区域中的内容或服务。
此外，当用户(2602)处于多媒体装置(2601)的右侧时，如图14(c)所示，类似地，并不是多媒体装置的显示模块的所有区(或区域)均位于(或处于)用户与多媒体装置的视角范围内。因此，通过提供显示画面，如图14(f)所示，多媒体装置可能不能显示不包括在视角范围内的显示区域中的内容或服务。
图23示出了改变(或修改)多媒体装置的菜单画面的实施例。随着多媒体装置与用户之间的距离变化，还可以调整显示在多媒体装置上显示的菜单画面的配置。
更具体地，在用户与多媒体装置之间的距离短(或近)的情况下，用户的易读性增加。因此，可以减小和显示菜单画面中包括的文本和菜单项的尺寸。相反地，在用户与多媒体装置之间的距离远的情况下，用户的易读性降低。因此，可以放大和显示菜单画面中包括的文本和菜单项的尺寸。
参照图23(a)，多媒体装置可以显示预定菜单画面(2701)，并且菜单画面可以包括文本和菜单项的预定集。然而，在用户与多媒体装置之间的距离增大时，多媒体装置可以显示如图23(b)和图23(c)所示的菜单画面。
更具体地，根据一个实施例，图23(b)示出了在用户与多媒体装置之间的距离增大的情况下的具有放大的菜单画面的显示画面(2702)。随着用户与多媒体装置之间的距离增大，用户的易读性降低。因此，通过放大菜单画面中包括的菜单项(2704、2705、2706、2708)的尺寸并显示放大的菜单项，可以减少用户执行的操作上的任何错误。
此外，根据另一实施例，图23(c)示出了仅放大高亮菜单项的显示画面(2703)。如图23(b)所示，可以根据用户与多媒体装置之间的距离上的增大来放大和显示所有菜单项。然而，在预定指示器(2170)处于特定菜单项上的情况下，或者在选中特定菜单项的情况下，仅放大和显示该特定菜单项(2709)，从而使得用户能够更方便地获取关于选中的特定菜单项的信息。
图24示出了改变多媒体装置的音量的实施例。随着多媒体装置与用户之间的距离改变，如图11所示，可以放大或减小多媒体装置的显示画面。并且，除显示画面的放大或减小以外，还可以改变多媒体装置的声音信号的音量。
更具体地，当用户移动他的或她的位置时，或者当用户倾侧(或倾斜)他的或她的身体时，并且当多媒体装置将用户这样的移动识别为多媒体装置与用户之间的距离增大或者该距离减小时，可以根据增大或减小的距离将多媒体装置的声音信号的音量调节到适当的水平。
如图24(a)所示，在用户正使用的图像内容的音量被保持在恒定水平的情况下，并且当用户接近多媒体装置或向前倾斜他的或她的身体时，多媒体装置将用户这样的移动识别为试图更近地观看图像和听取声音的姿势。因此，如图24(b)所示，可以放大图像内容，并且可以增大(或放大)音频(或声音)音量，以将其提供给用户。
相反她，当用户离开多媒体装置时，或者当用户向后倾斜他的或她的身体时，多媒体装置将用户这样的移动识别为试图扩展图像的图像显示区域和减小音频(或声音)音量的姿势。因此，如图24(c)所示，多媒体装置扩展(或放大)图像内容的显示区域，并且减小图像内容的音频音量，从而向用户提供调整后的图像内容。
此外，可以在用户移动他的或她的位置的情况下根据用户移动(或位移)的距离、以及在用户倾斜他的或她的身体的情况下根据倾斜度来调节音频(或声音)音量的增大率或减小率。
另外，不同于图25中所示，取决于用户设置，在用户与多媒体装置之间的距离减小的情况下，音频音量也减小。并且，在用户与多媒体装置之间的距离增大的情况下，音频音量也增大。
此外，尽管在图25中给出音频音量作为示例，但是，除音频音量以外，多媒体装置中的显示画面的能够经由多媒体装置中的水平调节(比如亮度、对比度等)向用户提供适当的观看环境(或条件)的其它可调节因素也可以具有调节过的相应水平。
图25示出了根据用户距离调节显示画面的实施例。如图25(a)所示，除菜单画面以外，多媒体装置还可以显示(1700)内容图像。例如，当多媒体装置的显示模块具有21∶9的屏幕比例时，多媒体装置的一部分可以显示对应于16∶9的比例的内容图像(1701)部分，并且多媒体装置可以在对应于5∶9的显示画面的区域中显示菜单画面(1704)，其中，在5∶9的区域不显示内容图像。
因此，在多媒体装置与用户之间的距离改变的情况下，可以放大或减小多媒体装置的显示画面，并且还可以相应放大或减小多媒体装置的菜单画面。
更具体地，在用户接近多媒体装置的情况下，多媒体装置将用户这样的移动识别为试图更近地观看多媒体装置的显示画面的姿势。因此，如图25(b)所示，多媒体装置可以放大图像内容。另外，随着用户与多媒体装置之间的距离减小，用户的易读性增加。因此，多媒体装置可以减小菜单画面，使得显示画面包括范围更宽的信息，从而显示。
相反地，在用户离开多媒体装置的情况下，多媒体装置将用户这样的移动识别为试图通过扩展(或放大)图像的显示区域来观看图像的姿势。因此，如图25(c)所示，多媒体装置可以通过减小图像内容来扩展图像的显示区域。另外，随着用户与多媒体装置之间的距离增大，用户的易读性降低。因此，多媒体装置可以放大菜单画面并向用户提供放大的菜单画面。
这里描述的实施例可以被整体地或部分地实现为能够由多媒体装置中设置的处理器在能够由处理器读取的记录介质中读取的代码。能够由处理器读取的记录介质包括存储能够由处理器读取的数据的所有类型的记录装置。
能够由处理器读取的记录介质的示例可以包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。此外，还可以包括以载波形式(比如经由互联网的传输)实现的示例性记录介质。此外，能够由处理器读取的记录介质可以散布在经网络连接的计算机***内。并且，可以通过使用分散(或散布)法存储和执行能够由处理器读取的代码。
图26涉及提供如下显示装置的另一实施例，该显示装置具有追踪人的至少一个身体部位的移动的传感器和用于将追踪到的移动的量与参考值进行比较的处理器。当追踪到的移动的量超过参考值时，处理器识别出位置移动，然后处理器基于位置移动执行显示装置的至少一个预定功能。在图26中，预定功能被示出为将显示在屏幕上的图像的类型从二维图像(2901)变为三维图像(2902)，或者从三维图像(2902)变为二维图像(2901)。
另一实施例提供了一种显示装置，其包括追踪人的至少一个身体部位的移动的传感器和用于将追踪到的移动的量与参考值进行比较的处理器。当追踪到的移动的量超过参考值时，处理器识别出位置移动，并基于位置移动执行显示装置的至少一个预定功能。
预定功能包括改变屏幕上的第一区域或屏幕上的第二区域的高宽比，第一区域从第一高宽比变成第二高宽比，或者第二区域从第三高宽比变成第四高宽比。例如在图25中示出了这些特征。根据一个实施例，可以在它们的高宽比方面改变这两个区域(显示节目的区域和显示菜单的区域)。
另一实施例可以应用于游戏背景。例如，显示装置的第一和第二图像传感器可以识别出用户做出的各种姿势或运动，然后处理器可以解读对应于特定命令或输入值的这些运动或姿势。于是可以使用这些命令和/或值作为控制显示装置上运行的游戏应用中的功能的基础，并且例如在显示多种游戏画面的游戏中会出现相应改变。
另一实施例可以包括根据对特定用户的识别来自动执行应用或程序。该应用实际上可以是任何应用，包括并不限于日程或日历应用、相册应用、对应于用户的电子邮件帐户的电子邮件应用、即时消息应用、自动执行或访问社交网络、视频聊天、金融、投资、网络摄像头、或其它类型的网站、自动访问预定网页浏览器以及其它互联网的或基于应用的功能。
前述网络摄像头可以远离显示装置，或者直接与显示装置连接。如果远离，则显示装置可以基于对特定用户的识别来访问和显示网络摄像头。可以将数据存储在包括在显示装置中或由显示装置访问的数据库中，该数据库将对多个用户中的每个用户的识别与相应的应用和/或程序关联起来。
另一实施例涉及基于由多媒体***的处理器和传感器识别的姿势来控制视频游戏或其它游戏应用的画面中的移动、出现或其它动作。
这里描述的一个或更多实施例提供多媒体装置以及用于操作多媒体装置的方法，其能够通过根据用户的距离提供适当的显示画面来增强用户使用上的便利性。
一个或更多个实施例还提供多媒体装置和用于操作多媒体装置的方法，其能够根据用户的距离提供不同的用户界面。
根据至少一个实施例，提供多媒体装置的显示画面的方法包括以下步骤：获取用户的距离信息并追踪距离信息；当多媒体装置与追踪到的距离信息之间的距离减小时，放大显示画面；以及当多媒体装置与追踪到的距离信息之间的距离增大时，减小显示画面。
根据本发明另一实施例，提供多媒体装置的显示画面的方法包括以下步骤：获取用户的距离信息并追踪距离信息；当多媒体装置与追踪到的距离信息之间的距离减小时，减小包含在显示画面中的文本；以及当多媒体装置与追踪到的距离信息之间的距离增加时，增大包含在显示画面中的文本。
通过使用根据本发明的记录回放方法和记录回放装置的记录介质，可以在回放记录介质时保证数据的易读性。
在本文中使用时，由于仅考虑书写本公开文献的方便性而不彼此区别出意义或作用，因此对以下描述中使用的部件统一给出或使用后缀“模块”。“模块”可被设计成硬件或软件。
这里描述的多媒体装置对应于例如接收和处理广播数据的各种类型的装置。此外，多媒体装置可以对应于有线V。除了广播接收功能之外，有线TV可以设置有例如有线和无线通信装置。
因此，有线TV可以设置有更便捷的接口，比如手动输入模块、触摸屏或运动识别远程控制器。此外，根据有线或无线互联网功能的支持，通过访问互联网或计算机，有线TV允许收发电子邮件、网页浏览、办理银行业务或游戏。对于这些不同功能，可以使用标准通用的操作***(OS)。
因此，由于有线TV能够在通用OS内核上自由地设置或删除各种应用，因此它可以执行用户友好的各种功能。有线TV的更详细的示例包括网络TV、互联网TV、HBBTV、智能TV和数字电视(DTV)。有线TV可以在可能情况下应用于智能电话。
本说明书中任何时候提及“一种实施例”、“实施例”、“实施例示例”等时，意味着结合该实施方式所描述的特定特征、结构或特性被包括在本发明的至少一种实施例中。在本说明书的不同地方出现的此类短语不一定都指同一实施例。而且，当结合任一实施例描述特定特征、结构或特性时，应当认为将此类特征、结构或者特性结合其它实施方式来实施是在本领域技术人员的视野之内的。任何一个实施例的特征均可与其它实施例的特征进行组合。
尽管在此参考大量的示例性实施方式描述了多个实施方式，但是，需要理解的是，本领域的技术人员还可设计落在本公开的原理的精神和范围内的大量其它的修改和实施方式。更具体地，在本公开、附图以及所附权利要求的范围内，在主题组合方案的组成部分和/或方案中，可有各种变化和修改。对于本领域的技术人员来讲，除了在组成部分和/或方案中的变化和修改之外，另外的用途也是显然的。

Claims (20)

1.一种显示装置，包括：
传感器，用于追踪人的至少一个身体部位的移动；以及
处理器，用于将追踪到的移动的量与参考值进行比较，当所述追踪到的移动的量超过所述参考值时识别出位置移动，以及基于所述位置移动执行所述显示装置的至少一个预定功能，其中，所述预定功能包括改变屏幕上的菜单图标的数量或者所述屏幕上的菜单图标之间的距离这两者中的至少一个。
2.根据权利要求1所述的显示装置，其中，所述改变还包括：
基于所述位置移动，来改变所述屏幕上的内容的尺寸。
3.根据权利要求2所述的显示装置，其中，改变所述内容的尺寸包括将对所述内容的显示从第一缩放值变成第二缩放值，其中，所述内容以所述第二缩放值显示时在所述屏幕上展示出的信息比所述内容以所述第一缩放值显示时的要多。
4.根据权利要求2所述的显示装置，其中，改变所述内容的尺寸包括将对所述内容的显示从第一缩放值变成第二缩放值，其中，所述内容以所述第二缩放值显示时在所述屏幕上展示出的信息比所述内容以所述第一缩放值显示时的要少。
5.根据权利要求1所述的显示装置，其中，所述传感器追踪所述人的第一身体部位和第二身体部位的移动。
6.根据权利要求5所述的显示装置，其中，所述处理器：
确定所述第一身体部位的移动的量，
确定所述第二身体部位的移动的量，以及
通过对所述第一身体部位的移动的量与所述第二身体部位的移动的量进行比较，来判断所述位置移动。
7.根据权利要求6所述的显示装置，其中，当所述第一身体部位的移动的量大于所述第二身体部位的移动的量时，判断所述位置移动是倾斜。
8.根据权利要求1所述的显示装置，其中，所述处理器基于识别出另一位置移动来改变所述显示装置的音量。
9.根据权利要求1所述的显示装置，其中，所述功能包括：
改变所述屏幕上的内容显示的尺寸，以及
改变与所述内容同时显示在所述屏幕上的菜单的尺寸。
10.根据权利要求9所述的显示装置，其中，所述内容的尺寸增大，所述菜单的尺寸减小。
11.一种显示装置，包括：
传感器，用于追踪人的至少一个身体部位的移动；以及
处理器，用于将追踪到的移动的量与参考值进行比较，当所述追踪到的移动的量超过所述参考值时识别出位置移动，以及基于所述位置移动执行所述显示装置的至少一个预定功能，其中，所述预定功能包括在二维图像与三维图像之间改变屏幕上显示的图像类型。
12.一种显示装置，包括：
传感器，用于追踪人的至少一个身体部位的移动；以及
处理器，用于将追踪到的移动的量与参考值进行比较，当所述追踪到的移动的量超过所述参考值时识别出位置移动，以及基于所述位置移动执行所述显示装置的至少一个预定功能，其中，所述预定功能包括改变屏幕上的第一区域或屏幕上的第二区域的高宽比，所述第一区域被从第一高宽比变成第二高宽比，或者所述第二区域被从第三高宽比变成第四高宽比。
13.根据权利要求12所述的显示装置，其中，所述预定功能包括改变所述屏幕上的所述第一区域和所述屏幕上的所述第二区域的高宽比，所述第一区域被从所述第一高宽比变成所述第二高宽比，并且所述第二区域被从所述第三高宽比变成所述第四高宽比。
14.根据权利要求13所述的显示装置，其中，所述第一高宽比是16×9，所述第二高宽比是17×9，所述第三高宽比是5×9，所述第四高宽比是4×9。
15.一种控制方法，包括：
追踪人的至少一个身体部位的移动；
将追踪到的移动的量与参考值进行比较；
当所述追踪到的移动的量超过所述参考值时识别出位置移动，以及
基于所述位置移动执行显示装置的至少一个预定功能，其中，所述预定功能包括改变屏幕上的菜单图标的数量或者所述屏幕上的菜单图标之间的距离这两者中的至少一个。
16.根据权利要求15所述的方法，其中，所述改变还包括：
基于所述位置移动，来改变所述屏幕上的内容的尺寸。
17.根据权利要求16所述的方法，其中，改变所述内容的尺寸包括将对所述内容的显示从第一缩放值变成第二缩放值，其中，所述内容以所述第二缩放值显示时在所述屏幕上展示出的信息比所述内容以所述第一缩放值显示时的要多。
18.根据权利要求16所述的方法，其中，改变所述内容的尺寸包括将对所述内容的显示从第一缩放值变成第二缩放值，其中，所述内容以所述第二缩放值显示时在所述屏幕上展示出的信息比所述内容以所述第一缩放值显示时的要少。
19.根据权利要求15所述的方法，其中，所述追踪包括追踪所述人的第一身体部位和第二身体部位的移动。
20.根据权利要求19所述的方法，还包括：
确定所述第一身体部位的移动的量，
确定所述第二身体部位的移动的量，以及
通过对所述第一身体部位的移动的量与所述第二身体部位的移动的量进行比较，来判断所述位置移动。
CN201110087388XA 2010-11-12 2011-04-02 在多媒体装置中提供显示图像的方法和多媒体装置 Pending CN102467234A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0112529 2010-11-12
KR1020100112529A KR101731346B1 (ko) 2010-11-12 2010-11-12 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치

Publications (1)

Publication Number Publication Date
CN102467234A true CN102467234A (zh) 2012-05-23

Family

ID=44202152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110087388XA Pending CN102467234A (zh) 2010-11-12 2011-04-02 在多媒体装置中提供显示图像的方法和多媒体装置

Country Status (4)

Country Link
US (1) US20120124525A1 (zh)
EP (1) EP2453342A3 (zh)
KR (1) KR101731346B1 (zh)
CN (1) CN102467234A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455253A (zh) * 2012-06-04 2013-12-18 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
CN104063117A (zh) * 2013-03-19 2014-09-24 海尔集团公司 家电设备及其控制装置和方法
CN104077042A (zh) * 2013-03-29 2014-10-01 联想(北京)有限公司 一种显示方法及装置、电子设备
CN104469250A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104902332A (zh) * 2014-03-06 2015-09-09 Lg电子株式会社 显示装置及其操作方法
CN105094299A (zh) * 2014-05-14 2015-11-25 三星电子（中国）研发中心 控制电子装置的方法和设备
CN106030464A (zh) * 2014-02-21 2016-10-12 微软技术许可有限责任公司 使用接近度感测来调整在移动设备上所提供的信息
CN106120242A (zh) * 2016-07-29 2016-11-16 无锡飞翎电子有限公司 洗衣机及其控制装置和控制方法
CN107533366A (zh) * 2015-04-20 2018-01-02 三菱电机株式会社 信息显示装置和信息显示方法
CN107613383A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 视频音量调节方法、装置及电子装置
CN107734385A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 视频播放方法、装置及电子装置
TWI790556B (zh) * 2021-02-26 2023-01-21 佳世達科技股份有限公司 電子裝置及應用其之畫面控制方法

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327099A1 (en) * 2011-06-24 2012-12-27 William John Vojak Dynamically adjusted display attributes based on audience proximity to display device
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
CN102842301B (zh) * 2012-08-21 2015-05-20 京东方科技集团股份有限公司 显示画面调节装置、显示装置及显示方法
WO2014041948A1 (ja) * 2012-09-11 2014-03-20 ソニー株式会社 表示制御装置、表示制御方法、及びプログラム
US20140071159A1 (en) * 2012-09-13 2014-03-13 Ati Technologies, Ulc Method and Apparatus For Providing a User Interface For a File System
CN112911252B (zh) 2012-11-28 2023-07-04 核心光电有限公司 多孔径成像***
US9449219B2 (en) * 2013-02-26 2016-09-20 Elwha Llc System and method for activity monitoring
US20140247210A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
WO2014199338A2 (en) 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN105359006B (zh) 2013-07-04 2018-06-22 核心光电有限公司 小型长焦透镜套件
CN108718376B (zh) 2013-08-01 2020-08-14 核心光电有限公司 具有自动聚焦的纤薄多孔径成像***及其使用方法
KR102153743B1 (ko) 2013-11-01 2020-09-10 삼성디스플레이 주식회사 표시장치
US20150220159A1 (en) * 2014-02-04 2015-08-06 Pointgrab Ltd. System and method for control of a device based on user identification
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US20160048202A1 (en) * 2014-08-13 2016-02-18 Qualcomm Incorporated Device parameter adjustment using distance-based object recognition
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
KR102137543B1 (ko) * 2015-01-07 2020-08-13 삼성전자주식회사 벤딩 가능한 사용자 단말 장치 및 이의 디스플레이 방법
US10255481B2 (en) 2015-01-07 2019-04-09 Samsung Electronics Co., Ltd. Display device and operating method thereof with adjustments display
KR101866482B1 (ko) 2015-04-16 2018-06-11 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
JP2017037159A (ja) * 2015-08-10 2017-02-16 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
KR102143309B1 (ko) 2015-08-13 2020-08-11 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR20170034154A (ko) 2015-09-18 2017-03-28 삼성전자주식회사 콘텐츠 제공 방법 및 이를 수행하는 전자 장치
CN108353118B (zh) 2015-12-29 2019-04-02 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
WO2017221106A1 (en) 2016-06-19 2017-12-28 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
KR102226315B1 (ko) 2016-07-07 2021-03-12 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
US20180060553A1 (en) * 2016-08-29 2018-03-01 Lenovo (Singapore) Pte. Ltd. Using eddy currents of exhaled breath for authentication
CN110140078B (zh) 2016-12-28 2021-11-19 核心光电有限公司 具有延伸光折叠元件扫描范围的折叠相机结构
CN109417589B (zh) 2017-01-12 2021-10-22 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
EP3596543B1 (en) * 2017-03-15 2024-04-10 Corephotonics Ltd. Camera with panoramic scanning range
KR20190011531A (ko) 2017-07-25 2019-02-07 삼성전자주식회사 디스플레이 장치와 원격 제어 장치, 이를 포함하는 디스플레이 시스템과 그 거리 산출 방법
WO2019048904A1 (en) 2017-09-06 2019-03-14 Corephotonics Ltd. STEREOSCOPIC DEPTH CARTOGRAPHY AND COMBINED PHASE DETECTION IN A DOUBLE-OPENING CAMERA
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
CN110140076B (zh) 2017-11-23 2021-05-21 核心光电有限公司 紧凑型折叠式摄影机结构
US10976567B2 (en) 2018-02-05 2021-04-13 Corephotonics Ltd. Reduced height penalty for folded camera
WO2019155289A1 (en) 2018-02-12 2019-08-15 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
EP4109174A1 (en) 2018-04-23 2022-12-28 Corephotonics Ltd. An optical-path folding-element with an extended two degree of freedom rotation range
EP3652728B1 (en) 2018-08-04 2023-06-07 Corephotonics Ltd. Switchable continuous display information system above camera
US11635596B2 (en) 2018-08-22 2023-04-25 Corephotonics Ltd. Two-state zoom folded camera
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
US11087778B2 (en) * 2019-02-15 2021-08-10 Qualcomm Incorporated Speech-to-text conversion based on quality metric
KR102268094B1 (ko) 2019-03-09 2021-06-22 코어포토닉스 리미티드 동적 입체 캘리브레이션을 위한 시스템 및 방법
KR102656461B1 (ko) * 2019-03-20 2024-04-12 삼성전자주식회사 사용자의 움직임에 기반하여 객체의 속성을 제어하는 전자 장치 및 그 제어 방법
JP6568331B1 (ja) * 2019-04-17 2019-08-28 京セラ株式会社 電子機器、制御方法、及びプログラム
KR102254947B1 (ko) 2019-07-31 2021-05-24 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
WO2021116851A2 (en) 2019-12-09 2021-06-17 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
KR20210081107A (ko) 2019-12-23 2021-07-01 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
US11693064B2 (en) 2020-04-26 2023-07-04 Corephotonics Ltd. Temperature control for Hall bar sensor correction
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
CN117518313A (zh) 2020-05-30 2024-02-06 核心光电有限公司 用于获得超微距图像的***
KR20230004887A (ko) 2020-07-15 2023-01-06 코어포토닉스 리미티드 스캐닝 폴디드 카메라에서의 시점 수차-보정
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
EP4038432A4 (en) 2020-08-12 2022-12-14 Corephotonics Ltd. OPTICAL IMAGE STABILIZATION IN A FOLDED SCANNING CAMERA
KR102183475B1 (ko) * 2020-09-24 2020-11-26 주식회사 이노피아테크 단일 영상인식 서비스 운영환경에서 구간분할형 이종 영상인식 서비스 제공 방법 및 장치
CN116209974A (zh) 2020-09-25 2023-06-02 苹果公司 用于导航用户界面的方法
KR102355195B1 (ko) * 2020-09-25 2022-02-07 충북대학교 산학협력단 레이어가 구분된 디지털 광고 출력장치
WO2022182364A1 (en) * 2021-02-26 2022-09-01 Hewlett-Packard Development Company, L.P. Electronic device lock adjustments
EP4204885A4 (en) 2021-06-08 2024-03-06 Corephotonics Ltd SYSTEMS AND CAMERAS FOR TILTING A FOCAL PLANE OF A SUPER MACRO-IMAGE
WO2024058458A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 웹페이지를 적응적으로 표시하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
US20100134425A1 (en) * 2008-12-03 2010-06-03 Microsoft Corporation Manipulation of list on a multi-touch display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030097310A (ko) * 2002-06-20 2003-12-31 삼성전자주식회사 디스플레이장치의 화상크기조절방법 및 그화상크기조절시스템과 화상크기조절방법을 수행하는프로그램이 저장된 기록매체
US20040246272A1 (en) * 2003-02-10 2004-12-09 Artoun Ramian Visual magnification apparatus and method
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
KR101493748B1 (ko) * 2008-06-16 2015-03-02 삼성전자주식회사 물품 제공장치, 디스플레이 장치 및 이를 이용한 ｇｕｉ제공방법
US8683390B2 (en) * 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
JP5288643B2 (ja) * 2009-02-06 2013-09-11 パナソニック株式会社 画像表示装置
US8669945B2 (en) * 2009-05-07 2014-03-11 Microsoft Corporation Changing of list views on mobile device
US20140053115A1 (en) * 2009-10-13 2014-02-20 Pointgrab Ltd. Computer vision gesture based control of a device
WO2011046208A1 (ja) * 2009-10-16 2011-04-21 ローム株式会社 モバイル機器
KR101639383B1 (ko) * 2009-11-12 2016-07-22 삼성전자주식회사 근접 터치 동작 감지 장치 및 방법
US8499257B2 (en) * 2010-02-09 2013-07-30 Microsoft Corporation Handles interactions for human—computer interface
US20120030624A1 (en) * 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090217211A1 (en) * 2008-02-27 2009-08-27 Gesturetek, Inc. Enhanced input using recognized gestures
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US20100134425A1 (en) * 2008-12-03 2010-06-03 Microsoft Corporation Manipulation of list on a multi-touch display

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455253B (zh) * 2012-06-04 2018-06-08 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
CN103455253A (zh) * 2012-06-04 2013-12-18 乐金电子(中国)研究开发中心有限公司 一种与视频设备交互的方法及用于交互的视频设备
CN104063117A (zh) * 2013-03-19 2014-09-24 海尔集团公司 家电设备及其控制装置和方法
CN104077042B (zh) * 2013-03-29 2018-02-02 联想(北京)有限公司 一种显示方法及装置、电子设备
CN104077042A (zh) * 2013-03-29 2014-10-01 联想(北京)有限公司 一种显示方法及装置、电子设备
CN104469250A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN104469250B (zh) * 2013-09-23 2019-07-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN106030464A (zh) * 2014-02-21 2016-10-12 微软技术许可有限责任公司 使用接近度感测来调整在移动设备上所提供的信息
CN104902332A (zh) * 2014-03-06 2015-09-09 Lg电子株式会社 显示装置及其操作方法
CN105094299B (zh) * 2014-05-14 2018-06-01 三星电子（中国）研发中心 控制电子装置的方法和设备
CN105094299A (zh) * 2014-05-14 2015-11-25 三星电子（中国）研发中心 控制电子装置的方法和设备
CN107533366A (zh) * 2015-04-20 2018-01-02 三菱电机株式会社 信息显示装置和信息显示方法
CN107533366B (zh) * 2015-04-20 2020-07-03 三菱电机株式会社 信息显示装置和信息显示方法
CN106120242A (zh) * 2016-07-29 2016-11-16 无锡飞翎电子有限公司 洗衣机及其控制装置和控制方法
CN107613383A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 视频音量调节方法、装置及电子装置
CN107734385A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 视频播放方法、装置及电子装置
TWI790556B (zh) * 2021-02-26 2023-01-21 佳世達科技股份有限公司 電子裝置及應用其之畫面控制方法

Also Published As

Publication number Publication date
KR20120051209A (ko) 2012-05-22
EP2453342A3 (en) 2015-05-27
US20120124525A1 (en) 2012-05-17
EP2453342A2 (en) 2012-05-16
KR101731346B1 (ko) 2017-04-28

Similar Documents

Publication Publication Date Title
CN102467234A (zh) 在多媒体装置中提供显示图像的方法和多媒体装置
US10750359B2 (en) Portable terminal device and method for operating the same
US9749575B1 (en) Display device and operating method thereof
KR101899597B1 (ko) 오브젝트 정보 검색 방법 및 그를 이용한 영상 표시 장치
US9799251B2 (en) Display device, mobile device, system including the same, and image quality matching method thereof
EP2453388A1 (en) Method for user gesture recognition in multimedia device and multimedia device thereof
US10725732B2 (en) Display device and operating method thereof
CN108886634B (zh) 显示装置及操作显示装置的方法
US10327030B2 (en) Display device and operating method thereof
US10448107B2 (en) Display device
US9733888B2 (en) Method for rendering data in a network and associated mobile device
US10587910B2 (en) Display device for providing scrape function and method of operating the same
US10219045B2 (en) Server, image providing apparatus, and image providing system comprising same
KR20150008769A (ko) 영상표시장치 및 그 동작방법
US20230300425A1 (en) Display device providing customized advertisement and operation method therefor
KR20160018097A (ko) 영상제공장치, 서버, 및 이를 포함하는 영상 제공 시스템
KR20150090314A (ko) 분할영역 변경 모듈을 갖는 스마트 디스플레이를 이용한 광고 방법
US20230232064A1 (en) Image display device and operation method thereof
US20230276099A1 (en) Image display apparatus and operating method thereof
US20230179819A1 (en) Image display device and operation method thereof
US20230247247A1 (en) Image display apparatus
US20220309095A1 (en) Display device
KR20210149487A (ko) 영상표시장치, 서버 및 그 동작방법
KR101534189B1 (ko) 스마트 디스플레이
JP2013219447A (ja) コンテンツ表示装置、コンテンツ受信装置、プログラム及びコンテンツ再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120523