CN110012327B - 电子设备、电子设备的控制方法和计算机可读记录介质 - Google Patents

电子设备、电子设备的控制方法和计算机可读记录介质 Download PDF

Info

Publication number
CN110012327B
CN110012327B CN201811553101.6A CN201811553101A CN110012327B CN 110012327 B CN110012327 B CN 110012327B CN 201811553101 A CN201811553101 A CN 201811553101A CN 110012327 B CN110012327 B CN 110012327B
Authority
CN
China
Prior art keywords
screen
cursor
electronic device
command
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811553101.6A
Other languages
English (en)
Other versions
CN110012327A (zh
Inventor
金鼊洗
朴炅在
崔镇旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110012327A publication Critical patent/CN110012327A/zh
Application granted granted Critical
Publication of CN110012327B publication Critical patent/CN110012327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00—Electric signal transmission systems
    • G08C19/16—Electric signal transmission systems in which transmission is by pulses
    • G08C19/28—Electric signal transmission systems in which transmission is by pulses using pulse code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Credit Cards Or The Like (AREA)

Abstract

提供了一种电子设备。该电子设备包括：包括通信电路的通信器，被配置为从外部设备接收图像信号；包括输入接收电路的输入接收器，被配置为接收用于控制外部设备的用户操作命令；以及处理器，被配置为生成从与接收到的图像信号相对应的屏幕中的多个对象中选择与输入的用户操作命令相对应的目标对象的控制命令，并控制通信器向外部设备发送所生成的控制命令。

Description

电子设备、电子设备的控制方法和计算机可读记录介质
相关申请的交叉引用
本申请基于并要求于2017年12月19日向韩国知识产权局提交的韩国专利申请No.10-2017-0174751的优先权，该申请的公开通过全文引用合并于此。
技术领域
本公开总体上涉及一种电子设备、电子设备的控制方法和计算机可读记录介质，并且例如涉及一种向外部设备发送与输入操作命令相对应的控制命令的电子设备、该电子设备的控制方法和计算机可读记录介质。
背景技术
随着电子技术的发展，正在开发和发布各种电子产品。具体地，诸如电视(TV)、移动电话、个人计算机(PC)、笔记本PC、个人数字助理(PDA)、机顶盒等各种电子设备越来越多地用于普通家庭。
随着越来越多地使用电子设备，用户对各种功能的需求增加。因此，制造商更加努力地去满足用户需求，并且具有新功能的产品进入市场。
近年来，诸如机顶盒、蓝光盘、音频装置、移动装置或PC之类的外部设备连接到显示设备并被使用。在这种情况下，当用户希望使用由外部设备提供的内容时，用户通常使用集成遥控装置。
然而，当没有集成遥控装置或集成遥控装置运行不良时，无法控制外部设备，并且即使集成遥控装置运行良好，用户也应经过各种程序操作(例如，选择外部设备、移动到内容、以及输入内容执行命令)以便选择期望的内容，这可能导致不便。另外，用户应预先知道所连接的外部设备提供的内容，如果不知道，则用户应逐个选择外部设备，并且应识别每个外部设备是否正在提供内容。
发明内容
各种示例实施例可以解决以上缺点和上文未描述的其他缺点。
各种示例实施例提供了一种电子设备、该电子设备的控制方法和计算机可读记录介质，该电子设备向外部设备提供使用从外部设备提供的图像信号所生成的控制命令。
根据示例实施例的示例方面，提供了一种电子设备，所述电子设备包括：包括通信电路的通信器，被配置为从外部设备接收图像信号；包括输入接收器电路的输入接收器，被配置为接收用于控制所述外部设备的用户操作命令；以及处理器，被配置为生成从与接收到的图像信号相对应的屏幕中包括的多个对象中选择与输入的用户操作命令相对应的目标对象的控制命令，并控制所述通信器向所述外部设备发送所生成的控制命令。
所述处理器可以被配置为从所述多个对象中识别光标所在的对象，生成将所述光标从所识别的对象移动到所述目标对象的光标移动命令，以及控制所述通信器向所述外部设备发送所生成的光标移动命令。
所述处理器可以被配置为识别所述多个对象的布置，并基于所识别的布置来生成光标移动命令。
当在发送所述光标移动命令之后所述光标当前所在的对象是所述目标对象时，所述处理器可以被配置为控制所述通信器向所述外部设备发送对象执行命令。
当所述光标移动命令包括多个四向移动命令时，所述处理器可以被配置为控制所述通信器以预定时间间隔顺序地向所述外部设备发送所述多个四向移动命令。
所述输入接收器可以被配置为接收用户语音信号，并且所述处理器可以被配置为基于关于输入的语音信号的语音识别结果从所述多个对象中识别所述目标对象。
所述处理器可以被配置为通过分析关于所述多个对象的图像来获得所述多个对象的关键字，并且基于所获得的关键字和所述语音识别结果从所述多个对象中识别所述目标对象。
所述电子设备还可以包括：存储器，被配置为存储关于预定操作命令的控制命令，并且当通过所述输入接收器输入所述预定操作命令时，所述处理器可以被配置为控制所述通信器向所述外部设备发送所存储的控制命令。
所述通信器可以被配置为从多个外部设备中的每个外部设备接收图像信号，并且所述处理器可以被配置为从所述多个外部设备中识别提供包括与所述用户操作命令相对应的目标对象在内的屏幕的外部设备，并控制所述通信器向所识别的外部设备发送所生成的控制命令。
所述处理器可以被配置为生成包括用于执行与所述目标对象相对应的应用和/或内容的指令在内的控制命令。
所述电子设备还可以包括：显示器，被配置为显示与接收到的图像信号相对应的屏幕。
根据示例实施例的另一示例方面，提供了一种电子设备的控制方法，所述方法包括：从外部设备接收图像信号；接收用于控制所述外部设备的用户操作命令的输入；生成从与接收到的图像信号相对应的屏幕中包括的多个对象中选择与输入的用户操作命令相对应的目标对象的控制命令；以及向所述外部设备发送所生成的控制命令。
所述生成可以包括：从所述多个对象中识别光标所在的对象，以及生成将所述光标从所识别的对象移动到所述目标对象的光标移动命令，并且所述发送可以包括：向所述外部设备发送所生成的光标移动命令。
所述生成可以包括：识别所述多个对象的布置，以及基于所识别的布置来生成光标移动命令。
所述方法还可以包括：当在发送所述光标移动命令之后所述光标当前所在的对象是所述目标对象时，向所述外部设备发送对象执行命令。
所述发送可以包括：当所述光标移动命令包括多个四向移动命令时，以预定时间间隔顺序地向所述外部设备发送所述多个四向移动命令。
所述接收输入可以包括：接收用户语音信号，并且所述生成可以包括：生成选择基于关于输入的语音信号的语音识别结果而识别的目标对象的控制命令。
所述生成可以包括：通过分析关于所述多个对象的图像来获得所述多个对象的关键字，以及生成选择基于所获得的关键字和所述语音识别结果而识别的目标对象的控制命令。
所述方法还可以包括：从多个外部设备中的每个外部设备接收图像信号；以及从所述多个外部设备中确定提供包括与所述用户操作命令相对应的目标对象在内的屏幕的外部设备，并且所述发送可以包括：向所识别的外部设备发送所生成的控制命令。
根据示例实施例的另一示例方面，提供了一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质上存储有用于执行电子设备的控制方法的程序，所述方法包括：从外部设备接收图像信号；接收用于控制所述外部设备的用户操作命令的输入；生成从与接收到的图像信号相对应的屏幕中包括的多个对象中选择与输入的用户操作命令相对应的目标对象的控制命令；以及向所述外部设备发送所生成的控制命令。
本公开的附加和/或其他方面和优点将部分地在接下来的描述中阐述，并且根据描述将部分地变得清楚。
附图说明
根据以下结合附图的详细描述，本公开的以上和/或其他方面、特征和所带来的优点将更加清楚明白和易于理解，在附图中，类似的附图标记表示类似的元件，并且在附图中：
图1是示出了根据示例实施例的示例电子设备控制***的图；
图2是示出了根据示例实施例的电子设备的示例配置的框图；
图3是示出了图2的电子设备的示例配置的框图；
图4、图5、图6和图7是示出了电子设备控制***的各种示例实施例的图；
图8、图9和图10是示出了根据操作命令输入在电子设备上显示的屏幕的示例实施例的图；
图11是示出了根据光标移动命令传输在电子设备上显示的屏幕的另一示例实施例的图；
图12是示出了根据示例实施例的识别与广播信号相对应的屏幕的示例操作的图；
图13是示出了根据示例实施例的显示预定操作命令列表的示例用户界面(UI)屏幕的图；
图14是示出了根据示例实施例的用于执行控制操作的示例web浏览器屏幕的图；
图15是示出了根据示例实施例的执行与外部设备的镜像操作的示例电子设备控制***的图；
图16是示出了根据示例实施例的控制电子设备的示例方法的流程图；以及
图17是示出了根据示例实施例的用于生成控制命令的示例方法的顺序图。
具体实施方式
将简要说明在各种示例实施例的以下详细描述中使用的术语，并且将更详细地描述本公开。
用于描述各种示例实施例的术语是考虑到本公开中的功能而通常广泛使用和选择的术语。然而，可以根据本领域技术人员的意图或法律或技术解释以及新技术的出现来更改术语。另外，可以任意地选择一些术语。在这种情况下，将根据本公开的相应详细描述来确定术语的含义。因此，本公开中使用的术语不应该基于术语的名称而是基于术语的含义和本公开的整个描述来定义。
可以对本公开的各种示例实施例做出各种改变，并且可以提供各种示例实施例，并且将通过附图和具体实施方式更详细地描述具体实施例。然而，本公开的各种示例实施例不限于这些具体实施例，并且应该被理解为包括本公开的示例实施例的任何修改、等同和/或替代。此外，在以下描述中，在公知功能或配置的详细描述将会在不必要的细节上不必要地模糊本公开的主题的情况下，可以省略公知功能或配置的详细描述。
诸如“第一”和“第二”之类的术语可以用于解释各种元件，并且不限制相应的元件。这些术语可以用于将一个元件与另外的元件区分开的目的。
除非上下文另行明确指示，否则单数形式也旨在包括复数形式。术语“包括”或“被配置为”表示存在本公开中描述的特征、数目、步骤、操作、元件和组件或其任何组合，而并不排除存在或添加一个或多个其他特征、数目、步骤、操作、元件或组件或其任何组合。
另外，在示例实施例中使用的“模块”或“单元”可以执行一个或多个功能或操作，并且可以通过使用硬件或软件或者硬件和软件的组合来实现。此外，除了必需以特定硬件实现的“模块”或“单元”以外，多个“模块”或多个“单元”可以整合为一个或多个模块，并且可以实现为一个或多个处理器。
在下文中，将参照附图更详细地描述本公开的各种示例实施例，使得本领域普通技术人员能够容易地理解本公开。然而，本公开可以以不同形式来实现，且不限于本文描述的实施例。另外，在附图中，可以省略与描述无关的部分以清楚地描述本公开，并且在整个公开中类似的附图标记用于类似的元件。
在下文中，将参照附图更加详细地描述本公开。
图1是示出了根据示例实施例的示例电子设备控制***的图。
参考图1，根据实施例的电子设备控制***1000包括电子设备100和外部设备200。在这种情况下，用户10可以通过电子设备100上的操作命令来控制与电子设备100连接的外部设备200。
电子设备100可以从外部设备200接收内容并且可以处理该内容。电子设备100可以包括设置有显示器的各种设备，例如(但不限于)TV、移动电话、智能电话、PDA、笔记本PC、监视器、平板PC、电子书、电子相框、自助服务终端等。电子设备100可以显示处理后的内容。电子设备100可以包括没有显示器的各种设备，例如(但不限于)服务器、机顶盒等。在这种情况下，电子设备100可以向设置有显示器的另一设备发送处理后的内容。
外部设备200可以是向电子设备100发送内容的设备。外部设备200可以是例如(但不限于)广播服务器、机顶盒、外部存储装置、蓝光盘、PC、诸如智能电话之类的移动装置等。电子设备100和外部设备200可以以有线方式(例如，但不限于，高清晰度多媒体接口(HDMI)等)和/或以无线方式(例如，但不限于，WiFi、蓝牙等)彼此连接。
尽管图1描绘了一个外部设备200连接到电子设备100，但是多个外部设备可以连接到电子设备100。
电子设备100可以识别与其连接的外部设备200，并且可以基于识别的信息来建立数据库(DB)且可以存储DB。例如，电子设备100可以识别与其连接的外部设备200的制造商、外部设备200的产品名称、以及存储在外部设备200中的应用和内容，并且可以基于所识别的信息来建立DB。
可以以各种方式建立DB。例如，用户可以将关于外部设备200的信息直接输入到电子设备100。根据另一实施例，电子设备100可以自动地识别关于外部设备200的信息。例如，电子设备100可以从外部设备200提供的图像信号中获得关于外部设备200的信息。例如，电子设备100可以从与外部设备200提供的图像信号相对应的屏幕中获得例如(但不限于)徽标、制造商名称、应用等，其中，该图像信号包括关于外部设备200的信息。
例如，电子设备100可以从与外部设备200提供的图像信号相对应的屏幕的预定区域中提取制造商徽标，或者可以从屏幕上显示的横幅(banner)等中提取外部设备200的制造商徽标。电子设备100可以基于所提取的制造商徽标来获得外部设备200的制造商信息或设备信息。在上述实施例中，电子设备100可以从预定区域中提取例如(但不限于)徽标、制造商名称等。然而，这不应该看作是限制。例如，电子设备100可以确定在图像的整个区域中是否存在识别对象。在这种情况下，例如可以应用人工智能(AI)技术。电子设备100可以基于AI来确定识别对象(例如，但不限于，广播徽标、制造商等)本身所存在于的图像区域，并且可以识别相应的信息。
在另一示例中，当外部设备200通过HDMI连接时，电子设备100可以通过识别消费电子控制(CEC)信息来获取关于外部设备200的信息。例如，CEC功能可以指代使得经由HDMI彼此连接的设备彼此控制的功能。当外部设备200支持CEC功能时，CEC信息可以包括关于外部设备200的信息。
电子设备100可以使用上述方法获得关于与其连接的外部设备200的信息，并且可以基于该信息来建立DB。电子设备100可以在连接了外部设备200时获得关于外部设备200的信息，或者可以在需要识别外部设备200时(例如，在从用户10输入了操作命令时)获得关于与其连接的外部设备200的信息。
如上所述建立的DB可以用于确定执行用户10输入的操作命令的外部设备。该确定可以被称为识别外部设备200。在另一实施例中，电子设备100可以从外部源下载已经建立的数据库。在这种情况下，即使未从外部设备200接收到信息，电子设备100也可以使用下载的数据库来识别外部设备200。
另外，电子设备100可以生成用于控制所识别的外部设备的控制代码集。例如，电子设备100可以例如(但不限于)从外部源下载用于控制所识别的外部设备的控制代码集，或者可以预先存储与多个外部设备相对应的控制代码集，并且可以选择用于控制所识别的外部设备的控制代码集。
用户10可以输入关于电子设备100的操作命令。例如，用户10可以使用例如(但不限于)用于电子设备100的专用遥控装置、语音命令、设置在电子设备100上的按钮、设置在电子设备100上的触摸屏等，向电子设备100输入操作命令。在这种情况下，用户10可以在观看与从外部设备200提供的图像信号相对应的屏幕的同时输入操作命令。
电子设备100可以生成与输入的操作命令相对应的控制命令。在这种情况下，输入的操作命令可以是需要多个操作的复合命令。在这种情况下，电子设备100可以分析输入的操作命令并且可以将其分成多个控制命令。例如，当用户10使用语音输入了例如“在App 4中播放电影A！”的命令时，电子设备100可以首先分析输入的操作命令，并且可以将与命令相对应的操作划分成用于执行操作命令的各个操作。例如，电子设备100可以分析输入的操作命令，并且可以将与命令相对应的操作划分成例如(但不限于)：(1)确定提供App 4的外部设备的操作，(2)从所确定的外部设备接收主屏幕的操作，(3)移动光标以选择电影A的操作，以及(4)播放电影A的操作，并且可以生成用于执行各操作的控制命令。
例如，电子设备100可以识别与从所确定的外部设备200提供的图像信号相对应的屏幕，并且可以基于识别的结果来生成与用户输入的操作命令相对应的控制命令。当最初连接外部设备200时，或者当用户输入操作命令时，可以执行这种识别屏幕的操作。另外，电子设备100可以向外部设备200发送所生成的控制命令。例如，当连接了多个外部设备200时，电子设备100可以确定能够执行与用户输入的操作命令相对应的操作的外部设备200。在这种情况下，电子设备100可以基于识别与分别从多个外部设备200接收的图像信号相对应的屏幕的结果来确定外部设备200。另外，电子设备100可以通过使用在连接多个外部设备200时接收到的设备信息来确定外部设备200。
电子设备100可以通过例如(但不限于)HDMI线缆等向外部设备200直接发送所生成的控制命令。电子设备100可以通过遥控装置向外部设备200间接发送控制命令。
此外，电子设备100可以从外部设备200接收作为执行所发送的控制命令的结果的图像信号，并且可以向用户10提供接收到的图像信号，使得即使输入了一个操作命令，用户10也可以具有与输入多个操作命令时相同的反馈。
根据如上所述的各种示例实施例，即使当用户向电子设备100而不是外部设备200输入操作命令时，也可以控制外部设备200，并且因此，不需要用于控制外部设备200的附加设备。另外，与需要输入许多操作命令以控制外部设备200的相关技术的方法相比，根据各种示例实施例的方法可以利用单个操作命令输入来控制相同的操作，因此可以增强用户的便利性。
图2是示出了根据示例实施例的电子设备的示例配置的框图。
参考图2，电子设备100包括通信器(例如，包括通信电路)110、输入接收器(例如，包括输入接收器电路)120和处理器(例如，包括处理电路)130。
通信器110可以包括各种通信电路，并且可以被配置为与外部设备通信。例如，通信器110可以从外部设备接收图像信号。另外，通信器110可以向外部设备发送由处理器130生成的控制命令。
通信器110可以以有线方式或无线方式与外部设备通信。
输入接收器120可以包括各种输入接收器电路，并且可以被配置为接收用户的操作命令。用户的操作命令可以是控制外部设备的操作命令。
输入接收器120可以包括各种输入接收电路，例如(但不限于)用于接收用户的语音信号的麦克风等。输入接收器120可以从用于遥控电子设备100的遥控装置接收与操作命令相对应的信号。输入接收器120可以包括例如(但不限于)用于接收用户触摸的触摸屏，可以包括设置在电子设备100上的多个物理按钮等。输入接收器120可以包括例如(但不限于)用于检测用户运动的传感器等。
处理器130可以包括各种处理电路，并且生成与使用同从外部设备接收的图像信号相对应的屏幕通过输入接收器120输入的用户操作命令相对应的控制命令，并且可以控制通信器110向外部设备发送所生成的控制命令。与用户操作命令相对应的控制命令可以包括例如(但不限于)用于将光标移动到与操作命令相对应的目标对象的光标移动命令和用于执行光标所在的对象的执行命令等。控制命令可以包括例如在不移动光标的情况下执行与目标对象相对应的应用或内容的命令。
例如，处理器130可以分析与接收到的图像信号相对应的屏幕，并且可以提取关于形成屏幕的多个对象的信息。对象可以包括例如(但不限于)可在屏幕中选择的应用的图标、应用名称、内容的缩略图、内容的名称、菜单、频道名称、节目名称、或者不可选择但包含在屏幕中的字符、单词或图像。
例如，处理器130可以使用例如(但不限于)自动内容识别(ACR)和光学字符读取器(OCR)等来提取关于形成屏幕的多个对象的信息。关于对象的信息可以是关于屏幕中多个对象的布置的信息和关于安装在外部设备中的应用或存储在外部设备中的内容的信息。
可以利用机器学习算法及其应用通过例如人工智能(AI)***来实现由处理器130分析屏幕的操作。
例如，AI***可以是实现人脑水平的智能的计算机***，并且使机器能够自行学习和确定，并且在使用时提高识别率。AI技术可以包括：机器学习(深度学习)技术，其使用用于自行对输入数据的特性进行分类/学习的算法；以及基本技术，其利用机器学习算法来模拟人脑功能(例如，识别、确定等)。
基本技术可以包括以下项中的至少一个：例如(但不限于)，用于识别人类语言/文字的语言理解技术；用于如人类视觉般识别事物的视觉理解技术；用于通过确定信息进行逻辑推理和预测的推理/预测技术；用于将人的经验信息处理为知识数据的知识表示技术；以及用于控制机器人的运动或车辆的自动驾驶的操作控制技术。
关于图像识别技术，视觉理解可以指例如用于如人类视觉般识别和处理事物的技术，并且可以包括例如(但不限于)对象识别、对象跟踪、图像搜索、人物识别、场景理解、空间理解、图像增强等。
关于用于推荐信息的技术，推理和预测可以指例如用于通过确定信息来进行逻辑推理和预测的技术，并且可以包括例如(但不限于)基于知识/概率的推理、优化预测、基于偏好的计划、推荐等。
关于查询处理技术，知识表示可以指例如用于将人的经验信息自动处理为知识数据的技术，并且可以包括例如(但不限于)知识建立(数据生成/分类)、知识管理(数据利用)等。
当多个外部设备连接到电子设备100时，处理器130可以分析从多个外部设备接收的屏幕，并且可以提取关于可由每个外部设备提供的应用或内容的信息。
处理器130可以确定光标的位置以选择屏幕中的对象。例如，处理器130可以确定光标被放置在与接收到的图像信号相对应的屏幕中的哪个对象上。例如，光标可以指代对显示屏幕上的输入位置加以指示的标记，并且可以是例如(但不限于)诸如箭头之类的指针、围绕待选择对象的边界的突出显示、在待选择对象中的特定区域上显示的预定图像等。例如，处理器130可以通过分析屏幕提取最亮区域(在突出显示的情况下)或显示与光标的形状相对应的预定图像的区域来确定光标的位置。在这种情况下，处理器130可以基于屏幕中对象的布置来确定光标被放置在哪个对象上，并且可以通过计算屏幕上光标的特定点所位于的地方的坐标信息来获取光标的位置。
处理器130可以确定与输入的用户操作命令相对应的目标对象。在这种情况下，当用户通过使用语音信号输入了操作命令时，处理器130可以识别用户的语音，并且可以确定与操作命令相对应的目标对象。例如，处理器130可以在分析屏幕的处理中提取关于多个对象中的每个对象的关键字，并且可以基于提取的关键字和分析用户语音的结果来确定目标对象。处理器130可以控制通信器110按原样向外部设备发送接收到的语音信号。
当用户输入预定操作命令时，处理器130可以确定与输入的操作命令相对应的目标对象。例如，预定操作命令可以指包括执行特定功能所需的多个控制命令的控制命令集。预定操作命令和与其对应的控制命令可以存储在存储器(未示出)中。
用户可以通过例如操纵遥控装置上设置的按钮或电子设备100上设置的按钮之中与预定控制命令相对应的按钮、通过选择屏幕上显示的预定控制命令列表中的控制命令、或通过经由突出显示的移动而选择对象，来输入操作命令。在这种情况下，下面将参考图13更详细地描述控制命令列表。
此外，处理器130可以基于光标被放置于的对象的位置和与用户的操作命令相对应的目标对象的位置来生成光标移动命令。在这种情况下，处理器130可以基于通过屏幕识别而识别出的多个对象的布置来生成光标移动命令。例如，光标移动命令可以包括至少一个四向移动命令。在这种情况下，处理器130可以控制通信器110以预定时间间隔顺序地向外部设备发送该至少一个四向移动命令。下面将参考图10、图11和图14更详细地描述如上所述的光标移动命令操作。
在另一实施例中，处理器130可以生成控制命令以使光标经过诸如直线之类的连续路径移动到目标对象，或者直接在目标对象上显示光标而不显示光标的移动路径。在这种情况下，处理器130可以通过使用光标的坐标信息和目标对象的坐标信息来生成光标移动命令。
处理器130可以控制通信器110向外部设备发送所生成的光标移动命令。处理器130可以通过通信器110从外部设备接收在发送所生成的光标移动命令之后获得的图像信号。在这种情况下，当在当前接收的图像信号的屏幕上光标所在的对象是目标对象时，处理器130可以生成对象执行命令，并且可以控制通信器110向外部设备发送所生成的对象执行命令。在这种情况下，对象执行命令是目标对象执行命令，并且可以是执行光标当前所在的对象的命令。
根据如上所述的各种实施例，即使当用户向电子设备而不是向外部设备输入操作命令时，也可以控制外部设备，并且因此，不需要用于控制外部设备的单独设备。另外，与需要输入许多操作命令以控制外部设备的相关技术的方法相比，根据各种示例实施例的方法可以利用单个操作命令输入来控制相同的操作，因此可以增强用户的便利性。
图3是更详细地示出了图2的电子设备的示例配置的框图。
参考图3，电子设备100可以包括通信器(例如，包括通信电路)110、输入接收器(例如，包括输入接收器电路)120、处理器(例如，包括处理电路)130、显示器140、存储器150、视频处理器(例如，包括视频处理电路)160、音频处理器(例如，包括音频处理电路)170和音频输出器(例如，包括音频输出电路)180。
通信器110可以包括各种通信电路并以有线方式或无线方式与外部设备通信。
例如，通信器110可以例如(但不限于)以无线方式(例如，无线局域网(LAN)111、蓝牙112等)与外部设备连接。另外，通信器110可以例如(但不限于)使用WiFi、Zigbee或红外数据协会(IrDA)与外部设备连接。通信器110可以包括有线方式的连接端口。在这种情况下，通信器110可以包括例如(但不限于)有线以太网113、HDMI114端口、分量1151端口、PC116端口、通用串行总线(USB)117端口等。另外，通信器110可以包括例如(但不限于)数字视频接口(DVI)、红绿蓝(RGB)、DSUB、超级视频(S-Video)等。
通信器110可以向外部设备发送如上所述由处理器130生成的控制命令，并且可以从外部设备接收在执行所发送的控制命令之后获得的图像信号。当存在多个控制命令时，通信器110可以向外部设备发送包括多个控制命令的控制信号，并且可以顺序地从外部设备接收在执行所发送的控制命令之后获得的图像信号。
输入接收器120可以包括各种输入接收电路，其被配置为接收用户交互，例如用户的语音、用户的操作等。
例如，输入接收器120可以包括例如(但不限于)：用于接收用户语音的麦克风121；用于从遥控装置接收与用户输入(例如，触摸、按压、触摸手势、语音或动作)相对应的光信号的光接收器122：用于生成与用户的动作相对应的图像的相机123等。
可以从接收到的光信号中提取控制信息。可以向通信器110发送接收到的光信号和/或提取的控制信息。
这里将不再重复与图2中所示的输入接收器120相同的部分的描述。
处理器130可以包括各种处理电路并控制显示器140显示与从外部设备接收的图像信号相对应的屏幕。在这种情况下，当从外部设备接收到在执行发送到外部设备的控制命令之后获得的图像信号时，处理器130可以控制显示器140显示与接收到的图像信号相对应的屏幕。
处理器130可以包括例如(但不限于)随机存取存储器(RAM)131、只读存储器(ROM)132、中央处理单元(CPU)133、图形处理单元(GPU)134和总线135。RAM 131、ROM 132、CPU133和GPU 134可以通过总线135彼此相连。
CPU 133访问存储器150，并且使用存储器150中存储的操作***(O/S)来执行引导。此外，CPU 133使用存储器150中存储的各种程序、内容和数据来执行各种操作。
ROM 132存储用于引导***的命令集。当输入开启命令并且供电时，CPU 133根据ROM 132中存储的命令，将存储器150中存储的O/S复制到RAM 131，执行O/S并引导***。当引导完成时，CPU 133将存储器150中存储的各种程序复制到RAM 131，执行复制到RAM 131的程序，并执行各种操作。
当电子设备100的引导完成时，GPU 134在显示器140上显示UI。例如，GPU 134可以使用计算器(未示出)和渲染器(未示出)生成包括各种对象(例如，图标、诸如虚拟键区图像之类的图像、文本等)的屏幕。计算器根据屏幕的布局来计算待显示对象的属性值，例如坐标值、形状、大小、颜色等。渲染器基于由计算器计算的属性值来生成包括对象在内的各种布局的屏幕。将由渲染器生成的屏幕(或用户界面窗口)提供给显示器140，并显示在主显示区域和子显示区域上。
显示器140可以在处理器130的控制下显示与接收的图像信号相对应的屏幕。显示器140可以使用各种类型的显示器来实现，例如(但不限于)液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)等。显示器140可以包括驱动电路或背光单元，其可以以例如(但不限于)非晶硅TFT(a-si TFT)、低温多晶硅(LTPS)TFT、有机TFT(OTFT)等形式实现。另外，显示器140可以实现为柔性显示器。
另外，显示器140可以包括用于检测用户的触摸手势的触摸传感器。可以通过使用各种传感器(例如，电容传感器、电阻传感器、压电传感器等)来实现触摸传感器。例如，电容感测可以是指如下方法：当用户身体的一部分触摸显示器140的表面时，通过使用涂覆在显示器表面上的介电物质感测在用户身体中激发的微小电力来计算触摸坐标。电阻感测是指如下方法：包括嵌入在显示器140中的两个电极板，并且当用户触摸屏幕时，通过感测当触摸点的上板和下板彼此接触时流动的电流来计算触摸坐标。另外，当电子设备100支持笔输入功能时，除了用户的手指之外，显示器140还可以检测使用诸如笔之类的输入装置做出的用户手势。当输入装置是其中包括线圈的触控笔时，电子设备100可以包括磁场传感器，用于感测被触控笔中的线圈改变的磁场。因此，电子设备100不仅可以检测触摸手势，还可以检测接近手势，例如悬停。
在上述实施例中，以相同的配置执行显示功能和手势感测功能，但是可以以不同的配置执行这些功能。另外，根据各种实施例，电子设备100可以不设置显示器140。
存储器150可以存储电子设备100的操作所需的各种程序和数据。例如，存储器150可以存储用于处理输入图像的参数。
此外，存储器150可以存储关于与电子设备100连接的多个外部设备中的每个外部设备的信息。例如，关于外部设备的信息可以是关于外部设备的类型的信息或关于可由外部设备提供的应用或内容的信息。在这种情况下，可以通过由处理器130分析与从外部设备接收的图像信号相对应的屏幕来提取关于外部设备的信息。在这种情况下，关于外部设备的信息可以包括形成与图像信号相对应的屏幕的对象的布置。
此外，存储器150可以包括预定操作命令和关于预定操作命令的控制命令。例如，预定操作命令可以以列表的形式存储。另外，预定操作命令可以包括基于用户的使用历史频繁使用的操作命令。在这种情况下，可以根据机器学习的结果来配置预定操作命令。
当预定操作命令是例如“请记录频道11上正在播出的节目”时，存储器150可以存储用于在多个外部设备中选择机顶盒的控制命令、用于选择频道11的控制命令和用于执行预定操作命令的记录命令。预定操作命令和与其对应的多个控制命令可以相互匹配并被存储。
视频处理器160可以包括各种视频处理电路，用于处理通过通信器110接收的内容或存储器150中存储的内容中所包括的视频数据。视频处理器160可以对视频数据执行各种图像处理操作，例如解码、缩放、噪声滤波、帧速率转换、分辨率转换等。
音频处理器170可以包括各种音频处理电路，用于处理通过通信器110接收的内容或存储器150中存储的内容中所包括的音频数据。音频处理器170可以对音频数据执行各种处理操作，例如解码、放大、噪声滤波等。
当执行针对多媒体内容的再现应用时，控制器130可以驱动视频处理器160和音频处理器170以再现相应内容。在这种情况下，显示器140可以在主显示区域和子显示区域中的至少一个上显示在视频处理器160处生成的图像帧。
音频输出器180可以包括各种音频输出电路并输出在音频处理器170处生成的音频数据。例如(但不限于)，音频输出器180可以包括扬声器181、耳机输出端子182、索尼/飞利浦数字接口(S/PDIF)输出端子183等中的至少一个。
此外，根据实施例，电子设备100还可以包括用于连接到各种外部终端的各种外部输入端口，例如具有连接到电子设备100的USB连接器的鼠标、用于接收和处理DMB信号的数字多媒体广播(DMB)芯片、各种传感器等，尽管它们未在图3中示出。
图4是示出了根据另一示例实施例的电子设备的示例控制***的图。
参考图4，电子设备100”包括设置有显示器的电子设备100-1、以及与电子设备100-1分开并且通过光缆与电子设备100-1连接的控制盒100-2。
例如，电子设备100-1可以是显示各种屏幕的设备，并且可以使用例如(但不限于)TV、投影仪、监视器等来实现。
控制盒100-2可以控制电子设备100-1显示各种屏幕，并且可以执行上述电子设备100的全部操作。例如，控制盒100-2可以分析与从外部设备200接收的图像信号相对应的屏幕，可以生成与用户10输入的语音命令相对应的控制命令，并且可以向外部设备200发送所生成的控制命令。控制盒100-2可以从外部设备200接收在执行控制命令之后获得的图像信号，并且可以控制电子设备100-1显示接收到的图像信号。
控制盒100-2可以设置有用于接收用户10的语音的麦克风，电子设备100-1可以向控制盒100-2发送与通过使用电子设备100-1中设置的麦克风输入的用户10的语音有关的信息。
控制盒100-2可以包括用于执行根据上述各种示例实施例的操作的处理器，并且可以包括用于与诸如电子设备100-1、外部设备200或遥控装置(未示出)之类的外部设备通信的通信器。控制盒100-2的处理器可以对应于上面参考图2和图3描述的处理器130，并且控制盒100-2的通信器可以对应于上面参考图2和图3描述的通信器110。另外，电子设备100-1可以对应于上面参考图3描述的显示器140。
由于如上所述存在单独的控制盒100-2，所以可以不要求所有***装置以复杂的方式连接到电子设备100-1，并且所有***装置可以连接到控制盒100-2且控制盒100-2可以简单地通过单条线连接到电子设备100-1。因此，可以提高用户的便利性。例如，基于上述功能，控制盒100-2可以被称为单连接(OC)盒或不可见盒。
图5是示出了根据另一示例实施例的使用遥控装置300而不是用户的语音输入用于操作电子设备100和外部设备200的命令的示例的图。
参考图5，可以使用能够发送用于控制其他装置的控制信号的各种类型的装置来实现遥控装置300。尽管图5描绘了遥控装置300是遥控器，但是遥控装置300可以是例如(但不限于)智能电话、PDA、键盘、鼠标等。
在图5中，遥控装置300可以是用于电子设备100的专用装置，并且当电子设备100从遥控装置300接收到需要多个操作的复合控制命令时，电子设备100可以生成与接收到的复合控制命令相对应的多个控制信号，并且可以向外部设备200发送所生成的控制信号。
在这种情况下，当按下在遥控装置300上设置的多个按钮中与复合控制命令相对应的按钮时，可以从遥控装置300向电子设备100发送复合控制命令。在这种情况下，按钮本身可以对应于复合控制命令，或者可以是用于显示与复合控制命令相对应的UI并用于选择所显示的UI的按钮。
图5示出了遥控装置300通过电子设备100间接控制外部设备200的示例。然而，根据又一示例实施例，遥控装置300可以获得用于控制外部设备200的控制代码集，并且可以直接控制外部设备200。下面将参考图6对此进行更加详细的描述。
图6是示出了根据示例实施例的遥控装置300直接控制所识别的外部设备200的示例方法的图。
参考图6，电子设备100可以向遥控装置300发送用于控制外部设备200的控制代码集(①)。在这种情况下，外部设备200可以是向电子设备100提供图像信号的设备，并且可以通过与电子设备100连接而被电子设备100识别。在这种情况下，可以以通信方法(例如(但不限于)，蓝牙、WiFi等)来发送控制代码集。另外，当通过遥控装置300输入用户操作时(②)，遥控装置300使用从电子设备100提供的控制代码集向外部设备200发送与用户操作相对应的控制命令(③)。在这种情况下，可以以无线通信方法(例如(但不限于)，IrDA、蓝牙、WiFi等)向外部设备200发送控制命令。外部设备200可以执行与从遥控装置300发送的控制命令相对应的操作。
在上述示例实施例中，遥控装置300从电子设备100接收用于控制外部设备200的控制代码集。然而，遥控装置300可以从其他外部源下载控制代码集。例如，遥控装置300可以预先存储用于控制各种其他设备的多个控制代码集，包括用于控制外部设备200的控制代码集，然后遥控装置300可以获得外部设备200的设备信息或制造商信息并且可以从多个控制代码集中选择用于控制外部设备200的控制代码集。
由于控制代码集根据设备的制造商而变化，因此需要识别外部设备200的制造商以获得外部设备200的控制代码集。换句话说，有必要识别外部设备200是哪个公司的机顶盒。可以存在用于识别外部设备200的制造商的各种方法。
例如(但不限于)，用户可以将关于外部设备200的制造商的信息直接输入到遥控装置300，并且遥控装置300可以例如基于输入的信息从电子设备100获得用于控制外部设备200的控制代码集。用户可以将关于外部设备200的制造商的信息直接输入到电子设备100，并且电子设备100可以向遥控装置300发送与外部设备200的制造商相对应的控制代码集。电子设备100可以将关于外部设备200的制造商的信息发送到遥控装置300，并且遥控装置300可以从互联网源下载外部设备200的控制代码集。
除了用户直接输入外部设备200的制造商的信息的方法之外，还可以根据又一示例实施例提供由电子设备100自动获得外部设备200的制造商的信息的方法。例如，电子设备100可以从外部设备200提供的图像信号中提取对外部设备200的制造商加以标识的唯一特性，并且可以获得关于外部设备200的制造商的信息。
例如，电子设备100可以通过从外部设备200提供的图像信号中提取徽标、制造商名称等来获得外部设备200的制造商的信息。例如，电子设备100可以从与外部设备200提供的图像信号相对应的屏幕的预定区域中提取制造商徽标，或者可以从屏幕上显示的横幅中提取外部设备200的制造商徽标。电子设备100可以基于所提取的制造商徽标来获得外部设备200的制造商信息或设备信息。在上述示例实施例中，电子设备100可以从预定区域中提取徽标、制造商名称等。然而，这不应该看作是限制。电子设备100可以确定在图像的整个区域中是否存在识别对象。在这种情况下，例如可以应用人工智能(AI)技术。电子设备100可以基于AI来确定识别对象(例如，广播徽标、制造商等)本身所存在于的图像区域，并且可以识别相应的信息。
在另一示例中，当外部设备200通过HDMI连接时，电子设备100可以通过识别CEC信息来获得外部设备200的制造商的信息。CEC功能是使得经由HDMI彼此连接的设备彼此控制的功能。当外部设备200支持CEC功能时，CEC信息可以包括外部设备200的制造商的信息。
图7是示出了根据又一示例实施例的电子设备的示例控制***的图。
参考图7，电子设备100”包括设置有显示器的电子设备100-1、以及与电子设备100-1分开并且通过例如(但不限于)光缆与电子设备100-1连接的控制盒100-2。
图7中所示的控制盒100-2可以执行图4中所示的控制盒100-2的全部操作。然而，图7中所示的控制盒100-2可以通过设置在控制盒100-2中的通信器从遥控装置300接收操作命令。另外，可以向电子设备100-1或外部设备200发送与接收到的操作命令相对应的控制命令。
例如，控制盒100-2可以分析与从外部设备200接收的图像信号相对应的屏幕，可以生成与从遥控装置300接收的操作命令相对应的控制命令，并且可以向外部设备200发送所生成的控制命令。另外，控制盒100-2可以从外部设备200接收在控制命令被执行之后获得的图像信号，并且可以控制电子设备100-1显示接收到的图像信号。
图8、图9和图10是示出了根据操作命令输入而在电子设备上显示的屏幕的示例实施例的图。例如，图8、图9和图10示出了根据操作命令输入而顺序显示的屏幕。为了便于说明，在图8、图9和图10中假设用户在观看频道501的同时输入用于执行安装在源2处的应用5(App 5)的语音命令。实际上，例如，除了语音命令之外，用户还可以使用遥控装置或电子设备上设置的按钮或触摸屏来输入命令。
当在显示关于由广播站提供的频道的广播图像的同时用户输入“请执行App 5”的语音命令时，电子设备可以显示连接到电子设备的外部源的列表410，并且可以显示指示其中安装有App 5的源2被选择的屏幕400，如图8所示。示例实施例不限于在显示由广播站提供的广播图像的同时输入用户操作的情况，并且可以适用于诸如再现由外部设备提供的内容的情况之类的各种情况。
电子设备可以显示由源2提供的屏幕500，如图9所示。参考图9，源2可以至少具有安装在其中的App 1至App 16，并且可以提供屏幕，在该屏幕上以4×4显示用于选择所安装的应用的图标。尽管图9描绘了仅显示一个屏幕，但是实际上可以在屏幕中提供移动对象。或者，可以提供用于从外部设备接收用户控制的多个UI屏幕。例如，当输入与命令“移动到下一页”相对应的操作时，可以显示具有其中安装的其他应用的下一屏幕。
另外，对在源2提供的屏幕500中待选择的应用加以指示的光标51通常可以放置在位于第1行第1列的App 1510上。然而，当提供屏幕时光标的位置不限于此，并且可以根据设置(诸如，刚刚选择的应用)而不同地实现光标的位置。下面将参考图11更详细地描述当提供屏幕时光标位置的另一实施例。
如图10所示，电子设备可以显示屏幕600，在屏幕600上位于App 1510上的光标51被移动到App 5520。在这种情况下，在其上光标51被移动到App 5520的屏幕600可以对应于在向外部设备发送在电子设备处生成的光标移动命令并且然后在外部设备处执行光标移动命令之后所获得的图像信号。本文中，从电子设备向外部设备发送的光标移动命令可以是命令“向下移动一行”。
可以基于电子设备分析由源2提供的屏幕500(如图9所示)并且确定包括在屏幕500中的应用的布置和源2提供的应用的类型，来生成此光标移动命令。当电子设备和外部设备彼此连接或者用户输入操作命令时，可以执行由外部设备提供的屏幕分析操作。
电子设备可以分析光标所在的应用，并且可以生成应用执行命令。例如，当如图10所示光标51所在的App 5520与对应于由用户输入的操作命令的目标对象App 5相同时，电子设备可以生成光标51所在的应用的执行命令。电子设备可以向作为外部设备的源2发送所生成的执行命令。
图8、图9和图10中所示的屏幕可以是根据用户的操作命令输入而连续显示的屏幕。因此，与需要用户逐步输入操作命令的相关技术的方法相比，即使用户输入少量的操作命令，实施例的方法也可以提供与用户输入操作命令时相同的UI屏幕。因此，可以提高用户的便利性。
图11是示出了根据发送的光标移动命令在电子设备上显示的屏幕的另一示例实施例的图。例如，当如图8所示根据用户的操作命令输入而选择作为外部设备的源2时，指示在源2提供的屏幕中待选择的应用的光标可以位于除第1行第1列处的应用以外的应用上。
参考图11，由源2提供的屏幕700中的光标可以位于App 4710上。光标可以根据用户设置而位于App 4710上，或者App 4710可以是刚刚在源2中执行的应用。在这种情况下，电子设备可以分析由外部设备提供的屏幕700，可以确定光标位于App 4710上，并且可以生成光标移动命令以将光标71定位在与用户输入的操作命令相对应的App 5720上。在这种情况下，电子设备可以基于由源2提供的屏幕700中的应用的布置和应用的类型来生成光标移动命令。在这种情况下，所生成的光标移动命令可以是命令“向左移动三列并向下移动一行”。
电子设备可以向作为外部设备的源2发送所生成的光标移动命令，并且可以从源2顺序地接收在执行光标移动命令之后获得的图像信号，并且可以显示相应的屏幕。例如，电子设备可以顺序地显示光标71位于App 4 710上的屏幕、光标位于App 3上的屏幕、光标位于App 2上的屏幕、光标位于App 1上的屏幕以及光标位于App 5上的屏幕，并且可以显示对光标71顺序地从App 4移动到App 5加以指示的屏幕。根据本公开，即使当用户未逐个输入操作命令时，也可以根据“请执行App 5！”的单个命令输入来显示这些屏幕。
关于光标移动命令，可以首先根据设置生成关于竖直移动而不是水平移动的控制命令。当在位于最右侧的App 4上生成命令“向右移动一列”时，接收到该命令的源2可以向电子设备发送对光标71移动到位于下一行的第一列处的App 5加以指示的图像信号。
如上所述，即使当光标并非位于在外部设备提供的屏幕中第1行第1列处的应用上时，也可以通过分析屏幕来确定光标的位置并且可以生成移动命令。
图12是示出了根据示例实施例的识别与广播信号相对应的屏幕的示例操作的图。例如，图12示出了当连接到电子设备的多个外部设备中与用户输入的操作命令相对应的外部设备是广播接收设备时显示的屏幕。
参考图12，由外部设备提供的屏幕800可以是与从广播接收设备接收的图像信号相对应的屏幕。在这种情况下，电子设备可以分析屏幕800中的对象。本文中，电子设备可以基于屏幕800中的对象来确定关于用户可以观看的频道的频道菜单810、以及用户当前正在观看的频道的频道信息820。
在这种情况下，电子设备可以生成光标移动命令以在频道菜单810中选择与输入的用户操作命令相对应的频道。电子设备可以基于用户当前正在观看的频道的频道信息820，来生成用于选择与输入的用户操作命令相对应的频道的控制命令。在这种情况下，所生成的控制命令可以是逐步改变频道以具有目标频道的频道改变命令，或者可以是输入目标频道的编号。
图13是示出了根据示例实施例的显示预定操作命令列表的示例UI屏幕的图。
参考图13，电子设备可以在从外部设备接收的屏幕900上显示包括预定操作命令的列表910。在这种情况下，当发生预定事件时，电子设备可以显示列表910。例如，当用户按下显示列表910的预定按钮或输入语音命令时，电子设备可以显示包括预定操作命令的列表910。
在这种情况下，可以在制造电子设备时设置列表910，或者可以基于用户的使用历史来设置列表910。另外，列表910可以是可在与电子设备连接的多个外部设备处执行的操作命令的混合。
当用户输入操作命令以执行包括预定操作命令的列表910中的一个操作命令时，电子设备可以生成与所选择的预定操作命令相对应的多个控制命令，并且可以向外部设备发送控制命令。用于选择预定操作命令的用户操作命令可以是通过移动光标来选择操作命令、选择遥控装置上设置的数字键或通过使用语音输入预定操作命令。
在图13中，预定操作命令可以以列表形式布置在用户正在观看的屏幕900的特定区域上。但是，显示预定操作命令没有限制。例如，预定操作命令可以以图标的形式显示在用户正在观看的屏幕900的特定区域上。
例如，当用户使用语音或遥控装置的按钮选择了数字“4”时，电子设备可以生成与从提供App 4的外部设备接收图像信号的操作、移动光标以选择App 4中的电影的操作和播放该电影的操作有关的控制命令，并且可以向外部设备发送所生成的多个控制命令，并且外部设备可以执行与该多个控制命令相对应的操作。
如上所述，由于预定操作命令包括用于执行与操作命令相对应的操作的多个控制命令，因此用户可以通过简单的操作命令输入来执行各个步骤的操作，因此具有增强用户便利性的效果。
图14是示出了根据示例实施例的执行控制操作的示例web浏览器屏幕的图。
参考图14，除了从外部设备接收的屏幕之外，电子设备还可以在由电子设备提供的屏幕上执行根据实施例的操作。例如，由电子设备提供的屏幕可以是web浏览器屏幕1010。然而，这不应被视为限制，并且由电子设备提供的屏幕可以是如图9所示显示可在电子设备处执行的应用的屏幕，或者可以是当电子设备是广播接收设备时如图12所示的屏幕。
电子设备可以分析web浏览器屏幕1010，并且可以提取web浏览器屏幕1010中包括的多个对象，例如对象1011、1012、1013。另外，电子设备可以确定光标在web浏览器屏幕1010中的位置。另外，电子设备可以使用关于所提取的对象的信息来确定与用户输入的操作命令相对应的目标对象的位置。另外，电子设备可以生成将光标移动到目标对象的光标移动命令。例如，当用户输入语音命令“请连接到AAA的最著名的咖啡馆”时，电子设备可以执行web浏览器并且可以显示指示连接到站点AAA的屏幕。另外，当光标位于在web浏览器屏幕1010中最上部分的最左侧处显示AAA站点的主屏幕的对象1011上时，电子设备可以生成将光标向下移动一行并向右移动一列的光标移动命令。当光标从“AAA”对象1011经过“邮件”选项卡1012而定位在“咖啡馆”选项卡1013上时，电子设备可以生成执行“咖啡馆”选项卡的执行命令。另外，电子设备可以分析在执行咖啡馆选项卡之后的屏幕，并且可以生成连接到具有最高评论的咖啡馆站点的控制命令，尽管未示出。
电子设备可以顺序地显示分阶段执行上述操作的屏幕。
图15是示出了根据示例实施例的执行与外部设备的镜像操作的示例电子设备控制***的图。
参考图15，执行镜像操作的电子设备控制***2000可以包括电子设备100以及以有线方式或无线方式与电子设备100通信的外部设备300。在这种情况下，外部设备300可以设置有显示器，并且电子设备100可以通过镜像操作显示在外部设备300处直接控制的屏幕。镜像操作可以是指例如通过与其连接的***装置显示在单个设备上显示的内容。尽管图15描绘了外部设备300是智能电话，但是在实践中，外部设备300可以包括各种家用电器，例如(但不限于)设置有显示器的洗衣机或冰箱、电视等。
通常，用户可以通过操作外部设备300来控制在外部设备300和电子设备100上显示的屏幕。然而，根据本公开，当用户向电子设备100输入语音命令或通过遥控装置输入操作命令时，电子设备可以向外部设备300发送通过分析在其中设置的显示器上显示的屏幕而生成的控制命令，并且可以控制屏幕。
如上所述，用户10可以不直接控制外部设备300以控制屏幕，并且可以通过向电子设备100输入操作命令来控制屏幕。因此，可以预期增强用户便利性的效果。
图16是示出了根据示例实施例的控制电子设备的示例方法的流程图。
电子设备可以从外部设备接收图像信号(S1210)。例如，当外部设备与电子设备连接时，电子设备可以接收由外部设备提供的图像信号。
电子设备可以接收用户操作命令(S1220)。例如，电子设备可以接收用户的语音命令，或者可以通过设置在电子设备上或与电子设备通信的遥控装置上的物理按钮来接收操作命令。
电子设备可以生成从与图像信号相对应的屏幕中包括的多个对象中选择与用户操作命令相对应的目标对象的控制命令(S1230)。在这种情况下，尽管未示出该操作，但是电子设备可以识别能够执行用户输入的操作命令的外部设备。电子设备可以分析与从所识别的外部设备接收的图像信号相对应的屏幕，并且可以提取和存储关于构成该屏幕的多个对象的信息。另外，电子设备可以使用所提取的对象的信息和关于目标对象的信息来生成控制命令。在这种情况下，控制命令可以包括以下项中的至少一个：用于移动位于屏幕中的光标的光标移动命令，和用于执行光标所在的应用的执行命令。下面将参考图17更详细地描述生成这种控制命令的操作。
电子设备可以向外部设备发送所生成的控制命令(S1240)。在这种情况下，电子设备可以同时向外部设备发送所生成的多个控制命令，或者可以顺序地发送控制命令。
此外，电子设备可以从外部设备接收在逐个执行多个控制命令之后获得的图像信号，并且可以显示与接收到的图像信号相对应的屏幕。因此，可以向用户提供在其中执行多个操作的屏幕。
图17是示出了根据示例实施例的示例控制命令生成方法的顺序图。
参考图17，电子设备100可以首先接收用户的操作命令(S1701)。在这种情况下，用户的操作命令可以被输入为用户的语音或来自遥控装置的控制信号。在这种情况下，尽管未示出，但是电子设备100可以将与输入的操作命令相对应的操作划分为多个操作。另外，电子设备100可以生成分别用于执行多个操作的控制命令。
例如，电子设备100可以选择执行输入命令的外部设备(S1702)。在这种情况下，电子设备100可以通过使用预先建立的数据库从连接到电子设备100的多个外部设备中选择执行输入命令的外部设备。例如，当输入了应用或内容执行命令时，电子设备100可以基于预先存储的数据库来选择存储相应应用或内容的外部设备。当输入了特定功能执行命令时，电子设备100可以基于预先存储的数据库来选择能够执行输入功能的外部设备。
电子设备100可以接收从所选择的外部设备200发送的图像信号(S1703)。在这种情况下，与从外部设备200发送的图像信号相对应的屏幕可以是能够通过其选择外部设备200所提供的应用的主屏幕，或者是能够通过其选择功能的菜单屏幕。
电子设备100可以识别指示在与接收到的图像信号相对应的屏幕上待选择的对象的光标位置(S1704)。例如，电子设备100可以通过分析屏幕来确定光标是放置在默认位置还是非默认位置。例如，默认位置可以是布置在屏幕上的多个应用之中被布置在左侧的最上端的应用的位置。非默认位置可以是刚刚选择的应用的位置。
当电子设备100设置有显示器时，电子设备100可以显示包括光标的屏幕(S1705)。在这种情况下，显示的屏幕可以是与从外部设备200接收的图像信号相对应的屏幕。当电子设备100没有设置显示器时，电子设备100可以向单独的显示装置(未示出)发送从外部设备200接收的图像信号，并且显示装置可以执行操作S1705。
电子设备100可以识别与用户的操作命令相对应的目标对象的位置(S1706)。例如，电子设备100可以通过分析屏幕来识别目标对象的位置。
电子设备100可以生成用于移动光标的控制命令(S1707)。例如，当多个应用以网格图案布置在外部设备200的主屏幕上时，电子设备100可以生成在四个方向上逐行或逐列地移动光标的多个控制命令。
在另一实施例中，当光标可以在屏幕中自由移动而不是仅显示在应用上时，电子设备100可以生成经由连续路径(例如，直线)将光标移动到目标对象或直接在目标对象上显示光标而不显示光标的移动路径的控制命令。在这种情况下，电子设备100可以通过使用光标的初始位置的坐标信息和目标对象的位置的坐标信息来生成用于将光标移动到目标对象的控制命令。
电子设备100可以向外部设备200发送移动光标的控制命令(S1708)。另外，电子设备100可以从外部设备200接收在执行所发送的光标移动命令之后获得的图像信号(S1709)。
当电子设备100设置有显示器时，电子设备100可以显示用于显示移动光标的控制状态的屏幕(S1710)。在这种情况下，显示的屏幕可以是与在执行移动命令之后获得的并从外部设备200接收的图像信号相对应的屏幕。当电子设备100没有设置显示器时，电子设备100可以向单独的显示装置(未示出)发送从外部设备200接收的图像信号，并且显示装置可以执行操作S1710。
电子设备100可以生成用于执行目标对象的控制命令(S1711)。例如，在通过光标移动命令将光标移动到目标对象之后，电子设备100可以生成执行光标所在的目标对象的控制命令(S1711)。
此外，电子设备100可以向外部设备200发送用于执行目标对象的控制命令(S1712)。另外，电子设备100可以从外部设备200接收在执行目标对象之后获得的图像信号(S1713)。
当电子设备100设置有显示器时，电子设备100可以显示执行目标对象的结果(S1714)。在这种情况下，显示的屏幕可以是与在执行目标对象执行命令之后获得的并从外部设备200接收的图像信号相对应的屏幕。当电子设备100没有设置显示器时，电子设备100可以向单独的显示装置(未示出)发送从外部设备200接收的图像信号，并且显示装置可以执行操作S1714。
在上述实施例中，在用户操作命令中包括的多个操作中的每个操作中执行控制命令生成和控制命令发送。然而，电子设备100可以生成与多个操作相对应的所有控制命令，并且可以向外部设备200发送所生成的多个控制命令。也就是说，电子设备100可以在生成光标移动命令之后生成目标对象执行命令，可以向外部设备200发送所生成的多个控制命令，可以接收并显示在执行光标移动命令之后获得的图像信号，并且可以接收并显示在执行目标对象之后获得的图像信号。
根据上述各种示例实施例，即使当用户将操作命令输入到电子设备而不是外部设备时，也可以控制外部设备，因此不需要用于控制外部设备的单独装置。另外，与需要输入许多操作命令以控制外部设备的相关技术的方法相比，根据各种示例实施例的方法可以利用单个操作命令输入来控制相同的操作，因此可以增强用户的便利性。
上述各种示例实施例可以在可以由计算机或类似装置使用软件、硬件或其任何组合来读取的记录介质中实现。根据硬件实现方式，可以使用以下项中的至少一个来实现本公开中描述的实施例：例如(但不限于)，专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行其他功能的电气单元(电路)等。在一些情况下，本公开中描述的实施例可以由处理器本身实现。根据软件实现方式，可以通过使用单独的软件模块来实现诸如详细描述中所描述的过程和功能的实施例。每个软件模块可以执行详细描述中描述的一个或多个功能和操作。
可以将根据上述各种实施例的电子设备的控制方法存储在非暂时性计算机可读介质中。非暂时性计算机可读介质可以安装并用于各种装置中。
非暂时性计算机可读介质是指半持久性地存储数据并且可由设备读取的介质。例如，用于执行上述各种方法的程序可以存储在非暂时性计算机可读介质中并且可以被提供，该非暂时性计算机可读介质例如(但不限于)是光盘(CD)、数字通用盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)、存储卡和ROM。
根据实施例，根据各种实施例的方法可以被包括和提供在计算机程序产品中。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者经由应用商店(例如，PlayStoreTM)在线分发。如果在线分发，则计算机程序产品的至少一部分可以被暂时产生或至少被暂时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
尽管已经参照本公开的各种示例实施例示出和描述了本公开，但是本领域技术人员应理解，在不脱离例如所附权利要求所限定的本公开的精神和范围的前提下，可以对此进行形式和细节上的各种改变。因此，本公开的范围不仅仅由本公开的详细描述来限定，而且由所附权利要求来限定，并且范围内的所有差异将被理解为包括在本公开中。

Claims (6)

1.一种电子设备，包括：
包括通信电路的通信器，被配置为向多个外部源发送控制信号并从所述多个外部源接收图像信号，其中所述电子设备连接到外部设备和所述多个外部源；
包括输入接收电路的输入接收器，被配置为接收用户输入；
显示器；以及
处理器，被配置为：
在所述显示器上显示由所述外部设备提供的内容或由广播站提供的广播图像的同时，通过所述输入接收器接收所述用户输入，其中所述用户输入指示用以执行目标应用的操作命令，
响应于接收到的所述用户输入，控制所述显示器显示第一屏幕，所述第一屏幕包括所述多个外部源的列表并且指示所述多个外部源中的安装有所述目标应用的第一外部源被选择，
基于从所述第一外部源接收的图像信号来控制所述显示器显示由来自所述第一外部源的图像信号提供的第二屏幕，所述第二屏幕包括表示所述第一外部源中安装的多个应用的多个图标以及指示在所述第二屏幕中待选择的应用的光标，
通过分析由所述第一外部源提供的所述第二屏幕来确定所述光标的位置，并确定包括在所述第二屏幕中的应用的布置和由所述第一外部源提供的应用的类型，
基于所确定的光标的位置和所确定的应用的布置和应用的类型来生成光标移动命令，并通过所述通信器向所述第一外部源发送包括所生成的光标移动命令的控制信号，以便所述第一外部源将所述光标从所确定的光标的位置移动到包括在所述第二屏幕中的所述多个图标中的表示所述目标应用的图标，
控制所述显示器显示由来自所述第一外部源的图像信号提供的第三屏幕，所述第三屏幕包括表示所述多个应用的所述多个图标，并且其中所述光标在所述第三屏幕上从所确定的光标的位置移动到表示所述目标应用的所述图标，以及
当通过分析所述光标所在的应用而确定所述光标位于与接收到的用户输入所指示的操作命令相对应的所述目标应用上时，生成用于执行所述目标应用的应用执行命令，并通过所述通信器向所述第一外部源发送包括所生成的应用执行命令的控制信号，
其中，包括所生成的光标移动命令的控制信号和包括所生成的应用执行命令的控制信号是响应于通过所述输入接收器接收到的所述用户输入而提供的，并且所述第一屏幕、所述第二屏幕和所述第三屏幕是响应于通过所述输入接收器接收到的所述用户输入而连续显示的，而无需接收用于选择表示所述目标应用的图标的附加用户输入。
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为：当所述光标移动命令包括多个四向移动命令时，控制所述通信器以预定的时间间隔顺序地向所述第一外部源发送所述多个四向移动命令。
3.根据权利要求1所述的电子设备，其中，所述输入接收器被配置为接收用户语音信号，并且
其中，所述处理器还被配置为基于输入的语音信号的语音识别结果从所述第二屏幕中的所述多个图标中识别表示所述目标应用的图标。
4.根据权利要求3所述的电子设备，其中，所述处理器还被配置为：通过分析关于所述多个图标的图像来获得所述多个图标的关键字，并且基于所获得的关键字和所述语音识别结果从所述多个图标中识别表示所述目标应用的图标。
5.根据权利要求1所述的电子设备，还包括：存储器，被配置为存储关于预定用户输入的控制信号，
其中，所述处理器还被配置为：当通过所述输入接收器输入所述预定用户输入时，控制所述通信器向外部源发送所存储的控制信号。
6.一种控制包括显示器的电子设备的方法，所述方法包括：
通过通信器从多个外部源接收图像信号，其中所述电子设备连接到外部设备和所述多个外部源；
在所述显示器上显示由所述外部设备提供的内容或由广播站提供的广播图像的同时，通过输入接收器接收用户输入，其中所述用户输入指示用以执行目标应用的操作命令；
响应于接收到的所述用户输入，控制所述显示器显示第一屏幕，所述第一屏幕包括所述多个外部源的列表并且指示所述多个外部源中的安装有所述目标应用的第一外部源被选择；
基于从所述第一外部源接收的图像信号来控制所述显示器显示由来自所述第一外部源的图像信号提供的第二屏幕，所述第二屏幕包括表示所述第一外部源中安装的多个应用的多个图标以及指示在所述第二屏幕中待选择的应用的光标；
通过分析由所述第一外部源提供的所述第二屏幕来确定所述光标的位置，并确定包括在所述第二屏幕中的应用的布置和由所述第一外部源提供的应用的类型；
基于所确定的光标的位置和所确定的应用的布置和应用的类型来生成光标移动命令，并通过所述通信器向所述第一外部源发送包括所生成的光标移动命令的控制信号，以便所述第一外部源将所述光标从所确定的光标的位置移动到包括在所述第二屏幕中的所述多个图标中的表示所述目标应用的图标；
控制所述显示器显示由来自所述第一外部源的图像信号提供的第三屏幕，所述第三屏幕包括表示所述多个应用的所述多个图标，并且其中所述光标在所述第三屏幕上从所确定的光标的位置移动到表示所述目标应用的所述图标；以及
当通过分析所述光标所在的应用而确定所述光标位于与接收到的用户输入所指示的操作命令相对应的所述目标应用上时，生成用于执行所述目标应用的应用执行命令，并通过所述通信器向所述第一外部源发送包括所生成的应用执行命令的控制信号，
其中，包括所生成的光标移动命令的控制信号和包括所生成的应用执行命令的控制信号是响应于通过所述输入接收器接收到的所述用户输入而提供的，并且所述第一屏幕、所述第二屏幕和所述第三屏幕是响应于通过所述输入接收器接收到的所述用户输入而连续显示的，而无需接收用于选择表示所述目标应用的图标的附加用户输入。
CN201811553101.6A 2017-12-19 2018-12-18 电子设备、电子设备的控制方法和计算机可读记录介质 Active CN110012327B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170174751A KR102444066B1 (ko) 2017-12-19 2017-12-19 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR10-2017-0174751 2017-12-19

Publications (2)

Publication Number Publication Date
CN110012327A CN110012327A (zh) 2019-07-12
CN110012327B true CN110012327B (zh) 2023-07-18

Family

ID=65009527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811553101.6A Active CN110012327B (zh) 2017-12-19 2018-12-18 电子设备、电子设备的控制方法和计算机可读记录介质

Country Status (5)

Country Link
US (1) US11934624B2 (zh)
EP (1) EP3502859B1 (zh)
KR (1) KR102444066B1 (zh)
CN (1) CN110012327B (zh)
WO (1) WO2019124882A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4044610A4 (en) 2019-10-07 2023-04-19 LG Electronics Inc. SOURCE DEVICE AND WIRELESS SYSTEM
KR102668429B1 (ko) * 2019-11-15 2024-05-24 삼성전자주식회사 전자장치 및 그 제어방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981734A (zh) * 2011-08-25 2013-03-20 三星电子株式会社 显示装置及用于执行显示装置的应用的方法
CN104618793A (zh) * 2015-02-28 2015-05-13 联想(北京)有限公司 一种信息处理方法及电子设备
JP2016122331A (ja) * 2014-12-25 2016-07-07 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002305012A1 (en) 2001-05-24 2003-01-21 Vixs Systems Inc. Method and apparatus for managing resources and multiplexing a plurality of channels in a multimedia system
JP2005509210A (ja) 2002-05-21 2005-04-07 ビクシズ システムズ インコーポレイティド マルチメディアシステムにおけるリソース管理及び複数チャネルの多重化方法及び装置
KR20040082819A (ko) 2003-03-20 2004-09-30 엘지전자 주식회사 일괄처리 기능을 갖는 통합 리모콘 및 그 동작 방법
WO2008076765A2 (en) * 2006-12-13 2008-06-26 Johnson Controls, Inc. Source content preview in a media system
JP5764387B2 (ja) 2011-05-27 2015-08-19 京セラ株式会社 遠隔操作装置、遠隔制御システムおよび制御プログラム
KR101978957B1 (ko) 2012-05-09 2019-05-16 엘지전자 주식회사 디스플레이 장치 및 애플리케이션 실행 및 설치 방법
WO2014028069A1 (en) * 2012-08-17 2014-02-20 Flextronics Ap, Llc Epg aggregation from multiple sources
KR102105313B1 (ko) 2012-06-28 2020-04-29 구글 엘엘씨 셋탑 박스에서 오디오 핑거프린트들의 시퀀스 생성
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US20140282250A1 (en) * 2013-03-14 2014-09-18 Daniel E. Riddell Menu interface with scrollable arrangements of selectable elements
CN103489432B (zh) 2013-08-30 2016-04-13 小米科技有限责任公司 电子设备及资源显示方法
KR101560314B1 (ko) 2014-03-28 2015-10-14 한일전기엠엠씨 주식회사 다수의 제품을 동시에 통합 제어하는 리모콘 시스템
EP2947635B1 (en) 2014-05-21 2018-12-19 Samsung Electronics Co., Ltd. Display apparatus, remote control apparatus, system and controlling method thereof
KR20150136312A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치 및 이의 정보 제공 방법
KR20160006545A (ko) 2014-07-09 2016-01-19 (주)휴맥스 입력 장치와의 매핑을 통해 분할된 스크린을 개별 제어하기 위한 시스템 및 방법
JP2016167385A (ja) * 2015-03-09 2016-09-15 パナソニックＩｐマネジメント株式会社 携帯端末及び機器制御システム
US9886846B2 (en) * 2015-04-10 2018-02-06 Echostar Technologies L.L.C. Systems and methods for configuring a remote control to control multiple devices
US10134386B2 (en) * 2015-07-21 2018-11-20 Rovi Guides, Inc. Systems and methods for identifying content corresponding to a language spoken in a household
US10430031B2 (en) * 2015-08-30 2019-10-01 EVA Automation, Inc. Displaying HDMI content in a tiled window
US20170168670A1 (en) 2015-12-15 2017-06-15 Samsung Electronics Co., Ltd. Method and system for creating content shortcut
KR20170071438A (ko) 2015-12-15 2017-06-23 삼성전자주식회사 콘텐츠 바로 가기를 생성하기 위한 방법 및 시스템
KR102407127B1 (ko) * 2016-01-05 2022-06-10 삼성전자주식회사 디스플레이 시스템, 디스플레이 장치 및 그의 제어 방법
WO2018010021A1 (en) * 2016-07-11 2018-01-18 Light Wave Technology Inc. Pointer control in a handheld computer by way of hid commands
KR102629409B1 (ko) * 2016-11-11 2024-01-26 삼성전자주식회사 객체 정보를 제공하기 위한 방법 및 그 전자 장치
WO2018098167A1 (en) 2016-11-22 2018-05-31 Caavo Inc Automatic screen navigation for media device configuration and control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981734A (zh) * 2011-08-25 2013-03-20 三星电子株式会社 显示装置及用于执行显示装置的应用的方法
JP2016122331A (ja) * 2014-12-25 2016-07-07 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
CN104618793A (zh) * 2015-02-28 2015-05-13 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
US20190187873A1 (en) 2019-06-20
US11934624B2 (en) 2024-03-19
WO2019124882A1 (en) 2019-06-27
KR102444066B1 (ko) 2022-09-19
EP3502859B1 (en) 2022-08-10
KR20190073682A (ko) 2019-06-27
EP3502859A1 (en) 2019-06-26
CN110012327A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
US11044510B2 (en) Adapting user interface of display apparatus according to remote control device
CN104199552B (zh) 多屏显示方法、设备及***
US20190171356A1 (en) Electronic apparatus, control method thereof, and computer readable recording medium
CN103646570B (zh) 量身定做的操作***学习体验
US11036380B2 (en) Display apparatus for performing function of user selected menu item on a user interface and method for controlling display apparatus
CN103917941A (zh) 遥控器及其操作方法
US9374547B2 (en) Input apparatus, display apparatus, and control methods thereof
US10110843B2 (en) Image display device and operating method of the same
CN110012327B (zh) 电子设备、电子设备的控制方法和计算机可读记录介质
KR20190087197A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
WO2022100283A1 (zh) 显示设备、控件触发方法及滚动文本检测方法
KR20170042953A (ko) 디스플레이 장치 및 이의 제어 방법
KR20150055528A (ko) 디스플레이 장치 및 그 제어 방법
CN113347482B (zh) 一种播放数据的方法及显示设备
JP2018181294A (ja) カメラベースのグラフィカルユーザインタフェースを提供するための方法およびシステム、コンピュータシステム、プログラム
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법
CN113490031A (zh) 一种显示设备及多窗口视频播放方法
CN117806747A (zh) 显示设备及显示设备的屏保跳转方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant