CN114157889A - 一种显示设备及触控协助交互方法 - Google Patents

一种显示设备及触控协助交互方法 Download PDF

Info

Publication number
CN114157889A
CN114157889A CN202010831749.6A CN202010831749A CN114157889A CN 114157889 A CN114157889 A CN 114157889A CN 202010831749 A CN202010831749 A CN 202010831749A CN 114157889 A CN114157889 A CN 114157889A
Authority
CN
China
Prior art keywords
touch
mapping window
display
user interface
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010831749.6A
Other languages
English (en)
Other versions
CN114157889B (zh
Inventor
马晓燕
庞秀娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202010831749.6A priority Critical patent/CN114157889B/zh
Publication of CN114157889A publication Critical patent/CN114157889A/zh
Application granted granted Critical
Publication of CN114157889B publication Critical patent/CN114157889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种显示设备及触控协助交互方法，所述方法可应用于显示设备实现触控交互。所述方法在获取用于执行触控协助的触控指令后，可以响应于该触控指令根据当前用户界面生成映射窗口，并在触控指令的关联区域显示映射窗口。所述方法可以通过输入特定的触控指令，在用户便于操作的区域显示映射窗口，使用户可以在映射窗口中执行触控操作，实现对整个用户界面或部分区域的触控操作，操作过程中用户无需移动位置，便于用户完成交互操作。

Description

一种显示设备及触控协助交互方法
技术领域
本申请涉及智能电视技术领域，尤其涉及一种显示设备及触控协助交互方法。
背景技术
智能电视是基于Internet应用技术，具备开放式操作***与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。为了进一步满足用户的交互需求，部分智能电视内置有触控组件，使智能电视支持触控交互操作。
触控组件可以实时检测用户的触摸位置，并根据触摸位置上所布置的控件，响应该触摸动作，显示预定的内容。因此，根据用户在不同位置上的触摸操作，可以根据不同的控件触发响应，以显示不同的内容。例如，用户在任一媒资链接控件位置上输入触摸动作，则智能电视可以响应于该触摸动作，访问该媒资链接以播放对应媒资内容。
随着科技的发展，智能电视的屏幕尺寸越来越大，较大的屏幕尺寸可以进行更多内容的展示以及更好的观影体验，但是如果进行触控操作，会出现用户触控不到的位置。例如，用户站在靠近屏幕左侧的位置进行操作时，无法对靠近屏幕右侧的区域进行触控，使得用户必须移步到靠近屏幕右侧的位置进行操作，不便于用户完成交互操作，降低用户的交互体验。
发明内容
本申请提供了一种显示设备及触控协助交互方法，以解决传统触控电视不便于用户完成交互操作的问题。
第一方面，本申请提供一种显示设备，包括显示器、触控组件以及控制器。其中，显示器被配置为显示用户界面，触控组件被配置为检测用户输入的触控动作，控制器被配置为执行以下程序步骤：
获取用户输入的用于执行触控协助的触控指令；
响应于所述触控指令，根据当前用户界面生成映射窗口，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
在所述触控指令的关联区域显示所述映射窗口。
基于上述显示设备，本申请第一方面还提供一种触控协助交互方法，包括：
获取用户输入的用于执行触控协助的触控指令；
响应于所述触控指令，根据当前用户界面生成映射窗口，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
在所述触控指令的关联区域显示所述映射窗口。
由以上技术方案可知，本申请第一方面提供一种显示设备及触控协助交互方法，所述方法可应用于显示设备实现触控交互。所述方法在获取用于执行触控协助的触控指令后，可以响应于该触控指令根据当前用户界面生成映射窗口，并在触控指令的关联区域显示映射窗口。所述方法可以通过输入特定的触控指令，在用户便于操作的区域显示映射窗口，使用户可以在映射窗口中执行触控操作，实现对整个用户界面或部分区域的触控操作，操作过程中用户无需移动位置，便于用户完成交互操作。
第二方面，本申请提供一种显示设备，包括显示器、触控组件以及控制器。其中，显示器被配置为显示用户界面，触控组件被配置为检测用户输入的触控动作，控制器被配置为执行以下程序步骤：
获取用户于映射窗口上输入的动作指令，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置；
根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
基于上述显示设备，本申请第二方面还提供一种触控协助交互方法，包括：
获取用户于映射窗口上输入的动作指令，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置；
根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
由以上技术方案可知，本申请第二方面提供的显示设备及触控协助交互方法可以在显示映射窗口后，通过在映射窗口上输入动作指令，使显示设备的控制器响应于动作指令，提取对应的触摸位置，从而根据关联关系，执行当前用户界面中与触摸位置相对应的控件动作。所述方法可以通过映射窗口与当前用户界面中控件之间的关联关系，将映射窗口上的操作等效实施在当前用户界面中，从而使用户在便于操作的区域中完成整个用户界面中的操作，提升用户体验。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中显示设备与控制装置之间操作场景的示意图；
图2为本申请实施例中显示设备的硬件配置框图；
图3为本申请实施例中控制设备的硬件配置框图；
图4为本申请实施例中显示设备软件配置示意图；
图5为本申请实施例中显示设备应用程序的图标控件界面显示示意图；
图6为本申请实施例中控制主页示意图；
图7为本申请实施例中一种触控协助交互方法的流程示意图；
图8为本申请实施例中控制主页映射窗口示意图；
图9为本申请实施例中通过监听触控事件获取触控指令的流程示意图；
图10为本申请实施例中多指触控指令示意图；
图11为本申请实施例中边缘滑动触控指令示意图；
图12为本申请实施例中双手展开手势触控指令示意图；
图13为本申请实施例中单手展开手势触控指令示意图；
图14为本申请实施例中旋转手势触控指令示意图；
图15为本申请实施例中多指同向滑动手势触控指令示意图；
图16为本申请实施例中通过触控菜单输入触控指令示意图；
图17为本申请实施例中映射窗口显示非直接触控区域画面示意图；
图18为本申请实施例中映射窗口显示自定义区域画面示意图；
图19为本申请实施例中触控板显示画面示意图；
图20为本申请实施例中显示映射窗口流程示意图；
图21为本申请实施例中触摸点位置示意图；
图22为本申请实施例中另一种触控协助交互方法的流程示意图；
图23为本申请实施例中刷新映射窗口示意图；
图24为本申请实施例中刷新显示应用详情界面的示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”，是指电子设备(如本申请中公开的显示设备)的一个组件，通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接，也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如：手持式触摸遥控器，是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”，是指用户通过一种手型的变化或手部运动等动作，用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出，用户可通过移动终端300和控制装置100操作显示设备200。
在一些实施例中，控制装置100可以是遥控器，遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键，语音输入、控制面板输入等输入用户指令，来控制显示设备200。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备200的功能。
在一些实施例中，也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如，使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上，在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中，移动终端300可与显示设备200安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以实现用移动终端300与显示设备200建立控制指令协议，将遥控控制键盘同步到移动终端300上，通过控制移动终端300上用户界面，实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上，实现同步显示功能。
如图1中还示出，显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群，可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200，可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定，本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中，显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中，显示器275，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件。
在一些实施例中，显示视频内容，可以来自广播电视内容，也可以是说，可通过有线或无线通信协议接收的各种广播信号。或者，可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中，显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中，根据显示器275类型不同，还包括用于驱动显示的驱动组件。
在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。
在一些实施例中，显示设备200可以通过通信器220与外部控制设备100或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中，用户接口265，可用于接收控制装置100(如：红外遥控器等)红外控制信号。
在一些实施例中，检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中，检测器230包括光接收器，用于采集环境光线强度的传感器，可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中，检测器230还可以包括图像采集器，如相机、摄像头等，可以用于采集外部环境场景，以及用于采集用户的属性或与用户交互手势，可以自适应变化显示参数，也可以识别用户手势，以实现与用户之间互动的功能。
在一些实施例中，检测器230还可以包括温度传感器等，如通过感测环境温度。
在一些实施例中，显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时，可调整显示设备200显示图像色温偏冷色调，或当温度偏低的环境时，可以调整显示设备200显示图像偏暖色调。
在一些实施例中，检测器230还可声音采集器等，如麦克风，可以用于接收用户的声音。示例性的，包括用户控制显示设备200的控制指令的语音信号，或采集环境声音，用于识别环境场景类型，使得显示设备200可以自适应适应环境噪声。
在一些实施例中，如图2所示，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中，如图2所示，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。
在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中，广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号，模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中，控制器250和调谐解调器210可以位于不同的分体设备中，即调谐解调器210也可在控制器250所在的主体设备的外置设备中，如外置机顶盒等。这样，机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备，主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中，所述对象可以是可选对象中的任何一个，例如超链接或图标。与所选择的对象有关操作，例如：显示连接到超链接页面、文档、图像等操作，或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令，可以是通过连接到显示设备200的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。
在一些实施例中，RAM 251用于存储操作***或其他正在运行中的程序的临时数据。
在一些实施例中，ROM 252用于存储各种***启动的指令。
在一些实施例中，ROM 252用于存储一个基本输入输出***，称为基本输入输出***(Basic Input Output System，BIOS)。用于完成对***的加电自检、***中各功能模块的初始化、***的基本输入/输出的驱动程序及引导操作***。
在一些实施例中，在收到开机信号时，显示设备200电源开始启动，CPU运行ROM252中***启动指令，将存储在存储器的操作***的临时数据拷贝至RAM 251中，以便于启动或运行操作***。当操作***启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后，以便于启动或运行各种应用程序。
在一些实施例中，处理器254，用于执行存储在存储器中操作***和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。
在一些示例性实施例中，处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行显示设备200一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。
在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。
在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可显示设备200上显示或播放的信号。
在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块，则用于对解复用后的视频信号进行处理，包括解码和缩放处理等。
图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。
帧率转换模块，用于对转换输入视频帧率，如将60Hz帧率转换为120Hz帧率或240Hz帧率，通常的格式采用如插帧方式实现。
显示格式化模块，则用于将接收帧率转换后视频输出信号，改变信号以符合显示格式的信号，如输出RGB数据信号。
在一些实施例中，图形处理器253可以和视频处理器可以集成设置，也可以分开设置，集成设置的时候可以执行输出给显示器的图形信号的处理，分离设置的时候可以分别执行不同的功能，例如GPU+FRC(Frame Rate Conversion))架构。
在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。
在一些实施例中，视频处理器270可以包括一颗或多颗芯片组成。音频处理器，也可以包括一颗或多颗芯片组成。
在一些实施例中，视频处理器270和音频处理器280，可以单独的芯片，也可以于控制器一起集成在一颗或多颗芯片中。
在一些实施例中，音频输出，在控制器250的控制下接收音频处理器280输出的声音信号，如：扬声器286，以及除了显示设备200自身携带的扬声器之外，可以输出至外接设备的发生装置的外接音响输出端子，如：外接音响接口或耳机接口等，还可以包括通信接口中的近距离通信模块，例如：用于进行蓝牙扬声器声音输出的蓝牙模块。
供电电源290，在控制器250控制下，将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路，也可以是安装在显示设备200外部电源，在显示设备200中提供外接电源的电源接口。
用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。
在一些实施例中，用户通过控制装置100或移动终端300输入用户命令，用户输入接口则根据用户的输入，显示设备200则通过控制器250响应用户的输入。
在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户输入接口通过传感器识别出声音或手势，来接收用户输入命令。
在一些实施例中，“用户界面”，是应用程序或操作***与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260，包括存储用于驱动显示设备200的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息，并进行数模转换以及分析管理的管理模块。
例如，语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块，可以用于播放多媒体图像内容和UI界面等信息。通信模块，用于与外部设备之间进行控制和数据通信的模块。浏览器模块，用于执行浏览服务器之间数据通信的模块。服务模块，用于提供各种服务以及各类应用程序在内的模块。同时，存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示，控制设备100包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100被配置为控制显示设备200，以及可接收用户的输入操作指令，且将操作指令转换为显示设备200可识别和响应的指令，起用用户与显示设备200之间交互中介作用。如：用户通过操作控制设备100上频道加减键，显示设备200响应频道加减的操作。
在一些实施例中，控制设备100可是一种智能设备。如：控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中，如图1所示，移动终端300或其他智能电子设备，可在安装操控显示设备200的应用之后，可以起到控制设备100类似功能。如：用户可以通过安装应用，在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮，以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100的运行和操作，以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下，实现与显示设备200之间控制信号和数据信号的通信。如：将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140，其中，输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如：用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能，输入接口通过将接收的模拟信号转换为数字信号，以及数字信号转换为相应指令信号，发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中，可以红外接口，也可以是射频接口。如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备200。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备200。
在一些实施例中，控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130，如：WiFi、蓝牙、NFC等模块，可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码，发送至显示设备200。
存储器190，用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190，可以存储用户输入的各类控制信号指令。
供电电源180，用于在控制器的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中，***可以包括内核(Kernel)、命令解析器(shell)、文件***和应用程序。内核、shell和文件***一起组成了基本的操作***结构，它们让用户可以管理文件、运行程序并使用***。上电后，内核启动，激活内核空间，抽象硬件、初始化硬件参数等，运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后，再加载Shell和用户应用程序。应用程序在启动后被编译成机器码，形成一个进程。
参见图4，在一些实施例中，将***分为四层，从上至下分别为应用程序(Applications)层(简称“应用层”)，应用程序框架(Application Framework)层(简称“框架层”)，安卓运行时(Android runtime)和***库层(简称“***运行库层”)，以及内核层。
在一些实施例中，应用程序层中运行有至少一个应用程序，这些应用程序可以是操作***自带的窗口(Window)程序、***设置程序、时钟程序、相机应用等；也可以是第三方开发者所开发的应用程序，比如嗨见程序、K歌程序、魔镜程序等。在具体实施时，应用程序层中的应用程序包不限于以上举例，实际还可以包括其它应用程序包，本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface，API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心，这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口，可在执行中访问***中的资源和取得***的服务。
如图4所示，本申请实施例中应用程序框架层包括管理器(Managers)，内容提供者(Content Provider)等，其中管理器包括以下模块中的至少一个：活动管理器(ActivityManager)用与和***中正在运行的所有活动进行交互；位置管理器(LocationManager)用于给***服务或应用提供了***位置服务的访问；文件包管理器(PackageManager)用于检索当前安装在设备上的应用程序包相关的各种信息；通知管理器(NotificationManager)用于控制通知消息的显示和清除；窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中，活动管理器用于：管理各个应用程序的生命周期以及通常的导航回退功能，比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到***桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
在一些实施例中，窗口管理器用于管理所有的窗口程序，比如获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕，控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中，***运行库层为上层即框架层提供支撑，当框架层被使用时，安卓操作***会运行***运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中，内核层是硬件和软件之间的层。如图4所示，内核层至少包含以下驱动中的至少一种：音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器，温度传感器，触摸传感器、压力传感器等)等。
在一些实施例中，内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中，图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中，以魔镜应用(拍照应用)为例，当遥控接收装置接收到遥控器输入操作，相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值，输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作，该确认操作所对应的控件为魔镜应用图标的控件，魔镜应用调用应用框架层的接口，启动魔镜应用，进而通过调用内核层启动摄像头驱动，实现通过摄像头捕获静态图像或视频。
在一些实施例中，对于具备触控功能的显示设备，以分屏操作为例，显示设备接收用户作用于显示屏上的输入操作(如分屏操作)，内核层可以根据输入操作产生相应的输入事件，并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口，然后将绘制的窗口数据发送给内核层的显示驱动，由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
在一些实施例中，如图5中所示，应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件，如：直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中，直播电视应用程序，可以通过不同的信号源提供直播电视。例如，直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及，直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中，视频点播应用程序，可以提供来自不同存储源的视频。不同于直播电视应用程序，视频点播提供来自某些存储源的视频显示。例如，视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中，媒体中心应用程序，可以提供各种多媒体内容播放的应用程序。例如，媒体中心，可以为不同于直播电视或视频点播，用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
在一些实施例中，应用程序中心，可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序，或某些和计算机***或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序，将它们储存在本地储存器中，然后在显示设备200上可运行。
在一些实施例中，显示设备200还可以包括触控组件276，用户可以通过触控组件276与显示设备200进行触控交互。触控组件276可以是在显示器275的显示屏上增加一层触摸感应元件，具体的触摸感应原理可以根据实际的交互动作要求进行确定。例如，可以根据显示设备200的实际应用场景不同，采用电容式触摸屏、电阻式触摸屏、红外线式触摸屏、表面声波式触摸屏等。
触控组件276可以包括设置在显示器275上的感应单元以及设置在显示设备中的信号处理单元。其中，感应单元可以用于感知用户的触摸操作，并将触摸操作转化为电信号；信号处理单元可以针对产生的电信号进行处理，包括特征提取、降噪、放大等。
以电容式触摸屏为例，感应单元可以是在显示器275的显示屏幕玻璃表面贴附的一层透明的特殊金属导电物质。当用户的手指或手掌接触该导电物质层时，会改变触摸点的电容值，从而产生触控信号。信号处理单元可以接收触控信号并对触控信号进行处理，转化成控制器250可读取的数字指令。
通常，用户在触摸屏上实施的交互动作可以包括点击、长按、滑动等操作。为了能够支持更多的交互方式，触摸屏还可以支持多点触控。触摸屏支持触控的点数越多，相应可以实施的交互动作越多。例如，可以实现多指点击、多指长按、多指滑动等。
针对不同的交互动作，可以针对产生的触控信号获取触控信号的特点，例如触摸点位置，触摸点数量、触摸面积等。根据触摸点所产生的信号特点判断触控信号的种类，从而生成触控指令。其中，根据触摸点的位置，可以检测出用户的触摸位置即执行交出操作的位置；通过触摸点的数量可以确定用户触摸交互操作中所使用的手指数量；通过判断触摸信号的持续时间，可以确定用户是执行点击操作还是长按操作；通过触摸点的位置变化情况，可以确定用户执行的滑动操作。
例如，触控组件276可以在检测到触控信号后，可以对触控信号的特征进行提取，如果触控信号中触摸点数量等于1，触控信号的持续时间小于0.5s，触控信号中触摸点的位置未发生变化，则确定当前用户输入的交互动作为单指点击动作，相应的可以生成单指点击动作对应的触控指令。
触控组件276可与控制器250连接，以向控制器250发送生成的触控指令。由于交互过程是一个持续的过程，因此触控组件276会持续向控制器250发送触控指令，形成数据流。为了区分不同触控指令，触控组件276可以按照一次或多次触摸动作的规律生成触控指令，以便控制器250可以接收到完整、可识别的触控指令。
根据用户输入的触控动作，控制器250可以根据操作***交互方式执行不同的控制程序，并控制显示器275显示不同的用户界面。在本申请实施例中，所述用户界面泛指显示设备200上显示的具体界面，可以包括控制界面、播放界面等。用户可以通过显示设备200内置的操作***交互规则，通过控制装置100和/或触控组件276实现与显示设备200的交互控制，以使显示器275上能够呈现不同的用户界面。不同的用户界面可以具有不同的UI布局，即包括不同的控件组成。
其中，控件是指用于实现用户交互控制的特定显示内容。例如：按钮、进度条、滚动条、文本框、单选框、复选框、链接等。控件可以按照操作***的UI风格特点，显示为不同的形状、图案以及大小，还可以按照所对应的功能，在界面中的不同位置组成功能区域。例如，如图6所示，在控制主页中可以包括位于顶部的状态栏、位于中上部的菜单切换区以及位于中部和下部的内容区。在状态栏中可以包括多个常用的状态控件或图标，如模式切换按钮、搜索框、VIP购买/登录状态按钮、消息栏等。在菜单切换区中可以包括多个用于指示不同菜单的控件，如“我的”菜单、“频道”菜单等。在内容区可以包括多个媒资播放链接控件。
用户可以通过控件执行相对应的控制动作。例如，用户可以通过点击任一媒资播放链接控件，从当前显示的控制主页界面跳转至对应的媒资播放界面中。对于本申请实施例中的显示设备200，由于其内置触控组件276，因此可以通过触控动作实现交互。
实际应用中，用户可通过触控组件276输入的各种触控动作，触控组件276再通过检测输入的触控动作形成触控指令。根据输入的触控动作不同，所形成的触控指令也不同，通常触控指令可以包括多种类型。例如，单击触控指令、多次点击触控指令、长按触控指令、滑动触控指令等。还可以根据触控动作中对应的触摸点数量，进一步生成多指触控指令，例如，多指点击指令、多指滑动指令、多指长按指令等。
触控组件276生成的触控指令可以被控制器250获取，以根据操作***中设定的规则执行相应的交互控制动作。不同的触控指令可以对应有不同的控制动作。例如，在一个媒资播放链接控件上的单击触控指令，可以用于打开该播放链接以获取媒资数据；在一个功能图标上的长按触控指令，可以用于表示进入编辑状态，以便在编辑状态下可以通过滑动触控指令调整功能图标所在的位置。
需要说明的是，在实际应用中，同一种触控指令在不同的控件也可以具有不同的控制动作。例如，在媒资链接控件上输入的点击触控指令可以实现打开链接的控制动作，即跳转至媒资详情页面或播放界面，而在音量控件上输入的点击指令则可以实现将显示设备200的当前音量设置为点击位置对应的音量。
由于触摸动作通常由用户通过手指在显示器275上实现输入。相应的，受限于用户手臂及身高等因素的影响，用户便于执行触控操作的区域是有局限的。例如，一般成年用户的手臂长度为650mm，则对于单个手臂操作，其便于执行触控区域为屏幕上的一个不大于650×650mm的区域。而对于双臂操作，其便于执行触控的区域为屏幕上的一个不大于1600×650mm的区域。
但随着显示设备200中显示器275的屏幕尺寸逐渐增大，便于用户执行触控的区域通常难以覆盖整个显示区域。例如，65寸智能电视的屏幕尺寸为1459×841mm，则受身高、站位的影响，用户在靠近左上角的650×650mm区域进行操作，将无法触摸到右下角区域，因此不便于用户完成触控输入。
为了便于用户完成触控输入，本申请的部分实施例中提供一种触控协助交互方法，所述触控协助交互方法可应用于显示设备200，所述显示设备200至少包括显示器275、触控组件276以及控制器250，显示器275和触控组件276均与控制器250连接。其中，触控组件276可以将检测到的触控动作传递给控制器250，以使控制器250控制显示器275中的显示内容。
控制显示器275显示具体内容的过程中，可以通过在控制器250中配置控制程序，并由控制器250执行该控制程序，实施所述触控协助交互方法。如图7所示，所述触控协助交互方法包括以下步骤：
S1：获取用户输入的用于执行触控协助的触控指令。
用户可以通过在触控组件276即触摸屏上输入触控动作，随着触控动作的输入，触控组件276可以产生相应的电信号，实现对输入的触控动作进行检测。再将产生的电信号发送给控制器250或内置的微处理器进行判断。控制器250或内置的微处理器可以通过分析电信号中的电信号具体值和变化规律，确定输入的具体触控动作，从而形成触控指令发送给控制器250。
通过分析电信号，可以确定触控动作中的参数，包括触摸点位置、触摸点数量、触摸操作持续时间等。通过触摸点位置可以确定用户执行触控指令的位置，以及通过触摸点位置的变化可以确定用户是否输入了滑动指令。通过触摸点数量可以确定用户是以单指或多指输入。通过触摸持续时间则可以确定用户输入的是点击、长按、多次点击等触控动作。显然，上述参数可以综合分析，以确定更加复杂的触控指令。
控制器250可以通过触控组件276接收用户输入的各种触控指令，例如点击、长按、滑动等。为实现执行触控协助，可以通过操作***中内置预设的判断规则，将一种触控指令设置为用于执行触控协助的触控指令。因此控制器250在接收到触控指令后，可以对触控指令对应的触控动作进行判断，从而确定用户输入的触控指令是否用于执行触控协助交互。
由于触控指令可以根据使用习惯和操作难度的不同，有部分触控指令是经常使用的，而有部分是不经常使用的，因此在实际应用中，用于执行触控协助的触控指令应该与其他用途的触控指令不同。并且执行触控协助交互方法相对于打开、调节等基础功能的触控指令的使用频率低，因此用于执行触控协助的触控指令可以设置为不常用的触控指令。例如，用于执行触控协助的触控指令可以是多次点击指令、长按指令、多指触控指令等。
S2：响应于所述触控指令，根据当前用户界面生成映射窗口。
在获取用于执行触控协助的触控指令后，控制器250可以根据当前用户界面生成映射窗口。映射窗口可以是当前用户界面中不便于用户操作的区域中所显示的内容，从而使用户可以通过映射窗口进行操作，无需移动至其他位置。因此，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系。
为了生成映射窗口，在获取触控指令后，控制器250可以对当前用户界面的显示内容进行获取，从而根据获取的显示内容生成一个映射窗口。映射窗口中的内容可以包括当前用户界面中的全部内容。例如，当前用户界面为控制主页，则在映射窗口中可以包括整个用户界面的内容，即映射窗口中的画面内容与用户界面内容相同，仅窗口尺寸小于当前用户界面的尺寸。
在一些实施例中，为了能够完整显示当前用户界面内容，映射窗口的画面比例可以与当前用户界面的显示比例相同，例如都是16:9的画面比例。
映射窗口中的内容也可以仅包括不便于用户执行交互操作区域的部分内容。例如，当前用户界面为控制主页时，同时确定用户当前操作位置靠近屏幕左侧区域，则可以在映射窗口中显示不便于用户执行触控交互操作的右侧区域内容。显然，映射窗口中只要能够将不便于用户操作的区域显示完全即可，因此映射窗口可以不必与当前用户界面保持相同的画面比例。
需要说明的是，为了使用户能够在不移动位置的前提下，在映射窗口中执行触控交互操作，则映射窗口的大小应控制在便于用户操作的区域范围内。例如，映射窗口的宽高均小于650mm，以便用户可以在映射窗口内完成单手操作。
S3：在所述触控指令的关联区域显示所述映射窗口。
生成映射窗口后，控制器250可以控制显示器275在触控指令的关联区域显示映射窗口。其中，触控指令的关联区域可以是与触控指令的输入位置相关的一个区域。例如，可以根据显示内容将当前显示画面范围划分成多个预设分区，而关联区域就是与触控指令所在的相同预设分区。显然，关联区域同样在用户便于进行触控操作的区域内。
为了能够在映射窗口中实施触控交互操作，映射窗口可以显示在画面的最顶层。例如，如图8所示，映射窗口可以作为一个悬浮窗口显示在画面中，以避免画面的原内容对映射窗口造成遮挡。映射窗口在维持悬浮窗口状态时，还可以通过进一步触控交互操作对显示位置进行调整。例如，可以通过映射窗口顶部输入滑动触控指令，以拖拽映射窗口至显示画面中的其他位置上。
由以上技术方案可知，本申请提供的触控协助交互方法，可以实现用户需要距离较远的区域实施操作时，通过特定的触控动作输入用于执行触控协助交互的触控指令，从而使显示设备200能够在获取该触控指令后，根据当前用户界面生成映射窗口，并在便于用户操作的关联区域中显示该映射窗口，以使用户通过映射窗口完成触控动作。所述方法更符合用户操作习惯，可以实现在不移动位置的前提下，对整个用户界面实施触控操作。
基于上述实施例，用户可以在触控操作的任意时刻通过输入特定的触控指令，以显示映射窗口。因此，控制器250可以针对接收到每个触控指令进行判断，确定其是否为用于执行触控协助交互的指令。为此，在一些实施例中，如图9所示，获取用户输入的用于执行触控协助的触控指令的步骤还包括：
S101：监听用户输入触控动作；
S102：如果所述触控动作与预设触控动作相同，生成用于执行触控协助的触控指令。
随着用户输入的触控动作，可以在操作***中产生touch事件。控制器250可以实时对产生的touch事件进行监听，以确定用户输入的触摸动作。其中，所述触控动作包括长按动作、多次点击动作、滑动动作、多指动作以及在预设位置输入的点击动作等，也可以根据触控组件276的类型包括其他类型的触控动作。通过检测，如果确定触控动作与预设的触控动作相同，则生成用于执行触控协助的触控指令，以触发控制器250执行生成映射窗口相关的程序。
通常，touch事件可以包括按下点和抬起点等触摸信息，相应具有，按下时间、按下位置、抬起时间、抬起位置等相关信息。touch事件所包含的触摸信息可以通过触控组件276产生的电信号获得。例如，触摸动作会被触控组件276检测到，使触控组件276在触摸位置上的电压发生变化，形成电信号。形成的电信号在发送给控制器250后，控制器250可以对电信号中电压的变化情况进行识别，并确定其位置、时间，形成touch事件。形成的touch事件可以包括通过特定的事件代码进行表示，例如，“MotionEvent.ACTION_DOWN”表示按下点对应的触摸事件，“MotionEvent.ACTION_UP”表示抬起点对应的触摸事件。
预设触控动作可以根据操作***中的交互策略进行统一设定，即在不同的显示设备200中可以设定不同的触发方式，以显示映射窗口。下面通过几个具体示例来说明如何判断触控动作与预设触控动作是否相同：
示例一，预设触控动作可以为长按触控动作，即通过长按方式触发。
控制器250可以监听Touch事件，当用户在一次触控点击的时候，监听“MotionEvent.ACTION_DOWN”，并记录按下位置以及时间，当用户抬起手指的时候，监听“MotionEvent.ACTION_UP”事件，并记录抬起位置以及时间。通过设定长按的时间阈值和距离阈值，如果两次记录位置之间的距离小于距离阈值，且两次记录的时间间隔超过时间阈值，则确定用户输入的触控动作是长按动作，因此确定输入动作与预设触控动作相同，即输入的触控指令是用于执行触控协助的触控指令。
示例二，预设触控动作可以为双击触控动作，即通过双击方式触发。
控制器250可以通过控制程序记录第一次、第二次点击事件，并设定连续点击的时间阈值。通过监听Touch事件，当用户第一次触控点击的时候监听“MotionEvent.ACTION_DOWN”，标记第一次点击事件开始。当用户抬起手的时候，监听“MotionEvent.ACTION_UP”事件，标记第一次点击事件结束，并记录结束时间。再监听第二次点击事件，如“MotionEvent.ACTION_DOWN”开始，则记录第二次点击开始时间，当第二次“MotionEvent.ACTION_UP”发出时，第二次点击事件结束，计算两次点击事件的时间差，如果时间差小于设定阈值，确定用户输入双击触控动作，因此确定输入动作与预设触控动作相同，即输入的触控指令是用于执行触控协助的触控指令。
示例三，预设触控动作可以为多指触控动作，即通过多指方式触发。
如图10所示，控制器250中的检测程序可以在监听到“MotionEvent.ACTION_POINTER_DOWN”事件后被触发。当前事件触发的时候，可以通过“getPointerCount()”命令获取触发手指个数。根据触控组件276的配置需求对个数进行定义，如定义五指，则在获取“getPointerCount()”为5时，确定用户输入多指触控动作，因此确定输入动作与预设触控动作相同，确定输入的触控指令是用于执行触控协助的触控指令。
对于多指触控动作，还可以进一步判断其每个触摸点上对应的触控情况，从而确定更加复杂的手势动作。如两指同时向内滑动的捏合手势、两指同时向外滑动的展开手势、两指同向环形滑动的旋转手势等。
示例四，预设触控动作可以为滑动触控动作，即通过滑动方式触发。
如图11所示，滑动触控方式可以设置特定输入动作限时，以区分其他功能的滑动触控方式。如在屏幕边界位置，通过滑动方式触发映射窗体。控制器250同样通过监听Touch事件，如单指滑动，在“MotionEvent.ACTION_DOWN”和“MotionEvent.ACTION_UP”事件分别记录坐标点，根据规则判断当前滑动的方向，包括左滑、右滑、上滑、下滑等，当记录的坐标点在靠近屏幕边界的区域内，则确定用户输入动作与预设触控动作相同，确定输入的触控指令是用于执行触控协助的触控指令。
还可以通过多指输入特定路径，完成滑动触控动作。例如，如图12、图13所示，可通过双指向内滑动以实施向外展开手势动作实现输入。或者，如图14所示，通过双指数据旋转滑动指令以完成输入。或者，如图15所示，通过多指向同一方向的滑动，以完成触控动作的输入。
示例五，预设触控动作可以为在预设位置输入的点击动作，即通过UI界面的部分控件输入用于执行触控协助的触控指令。
如图16所示，在用户界面上可以显示悬浮触控菜单，在悬浮触控菜单中可以包括操控协助的快捷按键控件，用户可以通过该控件输入点击触控动作。同理，控制器250通过监听Touch事件，在“MotionEvent.ACTION_DOWN”和“MotionEvent.ACTION_UP”事件分别记录坐标点和时间，如果两次记录的坐标点均在操控协助按键范围内，且两次记录的时间小于预设时间阈值，则确定用户输入了用于执行触控协助的触控指令。
需要说明的是，由于触控组件276可以使控制器250监听Touch事件的操作，因此上述示例中的触控方式皆可以实现，也可以进行自定义触控动作，即根据显示设备200的需求以及用户需求进行定义，形式不局限与上述几种。
由以上技术方案可知，上述实施例可以通过监听用户触控操作对应的touch事件，并根据touch事件检测用户的触控动作，并在触控动作与预设触控动作相同时，确定用户输入用于执行触控协助的触控指令。如此，可以实现用户在任一界面上，通过特定触控动作，触发生成映射窗口方便用户操作。
在获取用于执行触控协助的触控指令后，控制器250可以根据当前用户界面生成映射窗口。即在实际应用中，当控制器250监听到Touch事件后，对Touch事件进行解析，如确定输入了与预设触控动作相同的动作，则进行映射窗口的绘制，绘制的映射窗口可以根据不同的应用环境具有不同的形式，包括但不限于以下几种：
例如，映射窗口可以包括当前用户界面的全部内容。在一些实施例中，根据当前用户界面生成映射窗口的步骤，包括：
S211：对当前用户界面的整个画面执行截图；
S212：缩放截图结果，以生成全局缩略图；
S213：遍历当前用户界面中各控件的位置；
S214：根据控件在当前用户界面中的位置，建立每个控件与所述全局缩略图中像素点之间的关联关系，生成所述映射窗口。
为了生成映射窗口，控制器250可以通过执行图形截取程序，先在当前用户界面进行截图。所截取的图案中，包括当前用户界面的所有的显示内容。例如，当前用户界面为控制主页，则所截取的图像中，包括状态栏、菜单栏和内容区中的所有图案画面。截图后，控制器250还可以对截取的图像进行等比例缩小，形成全局缩略图。缩小的比例可以按照映射窗口的尺寸确定，即缩小后的全局缩略图尺寸与预设的映射窗口尺寸一致。
在获得全局缩略图后，可以进一步建立缩略图与对应用户界面上控件的关联关系，即通过遍历当前用户界面中各控件的位置，建立每个控件与全局缩略图中像素点之间的关联关系，从而生成映射窗口。当建立这种关联关系后，如果用户在映射窗口对应的像素点位置上输入触控动作，则可以根据建立的关联关系将输入的触控动作关联至在用户界面上，相当于在用户界面上输入了触控指令。
由以上技术方案可知，上述实施例中生成映射窗口的方法，可以通过截取全局缩略图的方式构建映射窗口的基础图案，便于用户实施触控操作。再通过建立映射窗口中像素点与用户界面中控件之间的关联关系，使映射窗口能够支持用户的触控操作。因此，上述生成映射窗口的方法可以在占用较小的控制器250处理能力情况下，实现多窗口显示，并支持触控协助操作。
在一些实施例中，如果映射窗口包括当前用户界面的全部内容，则根据当前用户界面生成映射窗口的步骤可以包括：
S221：获取映射窗口显示区域尺寸；
S222：根据所述显示区域尺寸，执行与显示当前用户界面相同的显示程序，生成所述映射窗口。
在显示设备200的操作***中，可以内置有每个用户界面的显示程序，包括设定的显示UI框架、显示内容以及渲染程序等。这些显示程序会随着用户的交互操作被调用，以构建形成具体的显示画面。因此，在本实施例中，可以利用显示程序生成一个具体的显示窗口，形成映射窗口。
显然，生成的映射窗口相对于当前用户界面的尺寸要小，以便用户执行触控交互操作。因此，控制器250在获取用于执行触控协助的触控指令后，可以先获取映射窗口的显示区域尺寸，再根据显示区域尺寸执行与当前用户界面相同的显示程序，从而生成一个与当前用户界面内容相同，但尺寸较小的映射窗口。
例如，当前显示画面为控制主页，则在接收到用于执行触控协助的触控指令后，获取预设的映射窗口尺寸为650×365mm。再从操作***中提取控制主页的相关显示程序，即提取控制主页的UI布局框架；再获取相应的显示内容，显示内容可以从服务器400中获取，也可以直接提取显示设备200已获取的内容。最后，控制器250可以执行渲染程序，以生成尺寸为650×365mm的显示画面。
可见，上述实施例中提供的映射窗口生成方法，可以利用操作***中的显示程序，在映射窗口上生成一个与当前用户界面内容相同，但尺寸较小的用户界面，从而使用户能够直接在映射窗口上执行交互动作，并且在执行交互动作后，直接运行相关的控制程序，如跳转界面、调整运行数据等。
需要说明的是，由于映射窗口和当前用户界面是两个相同的界面，因此在映射窗口上执行的交互动作会引起显示内容变化时，映射窗口以外的用户界面也要随之发生变化。并且，为了降低控制器250的运算负荷，可以设定映射窗口的显示时长，实现在显示映射窗口一定时间后，自动关闭映射窗口。例如，可以设定预设时长为20s，即用户在调用出映射窗口后或者在映射窗口中的最后一次操作后的20s时间内，未再执行触控操作，则自动关闭映射窗口。
由于映射窗口的显示范围尺寸一般较小，在当前用户界面中的显示内容较多或控件图形较小时，容易使映射窗口上的显示内容不清楚或者因图形较小而不便于进行操作，因此，对于这种用户界面，可以只显示其中的部分内容，如图17所示，从而使映射窗口中的内容更清晰，更便于用户操作。即在一些实施例中，映射窗口可以只显示当前界面中的部分内容，则根据当前用户界面生成映射窗口的步骤还包括：
S231：获取所述触控指令对应的直接操作区域；
S232：对当前用户界面的非直接操作区域执行截图；
S233：缩放截图结果，以生成局部缩略图；
S234：遍历所述非直接操作区域中各控件的位置；
S235：根据控件在所述非直接操作区域中的位置，建立每个控件与所述局部缩略图中像素点之间的关联关系，生成所述映射窗口。
对于显示设备200的显示画面，可以将用户界面预先划分为多个分区，不同的分区可以对应用户的不同站位，以便用户在不同的位置上执行触控交互操作。为了实施操作，可以根据显示设备200的屏幕尺寸划分具体的分区。例如，对于65寸以上的大屏幕显示器275，可以在屏幕中间位置将显示画面一分为二，即包括左侧分区和右侧分区。
而对于部分显示设备200，其在应用中可以呈现不同的旋转状态，如横屏状态和竖屏状态。因此在划分预设分区时，还可以在不同的旋转状态下具有不同的分区划分方式。例如，在竖屏状态下可以在屏幕中间位置将显示画面分为上部分区和下部分区。
为此，在接收到用于执行触控协助的触控指令后，获取触控指令对应的直接操作区域，其中，所述直接操作区域为触控指令中手指抬起位置归属的预设分区，而直接操作区域以外的其他预设分区，则作为非直接操作区域。显然，非直接操作区域与用户的操作位置距离较远，不便于执行触控操作。例如，控制器250通过监听触控事件，确定“MotionEvent.ACTION_UP”的位置在左侧分区内，则左侧分区为直接操作区域，相应的右侧区域为非直接操作区域。
同理，再根据映射窗口的生成方法，对非直接操作区域中的显示内容进行截图，并对截取的图像进行缩放以生成局部缩略图。以及，通过遍历非直接操作区域中各控件的位置，并根据控件在非直接操作区域中的位置，建立每个控件与局部缩略图中像素点之间的关联关系，生成映射窗口。
可见，生成的映射窗口可以包括非直接操作区域中的内容，实现将非直接操作区域中的内容移至便于用户操作的映射窗口中，并且显示的内容不会过度缩小，方便用户在映射窗口上执行交互操作。
在一些实施例中，当映射窗口只显示当前界面中的部分内容时，也可以自定义在映射窗口中所显示的内容。即根据当前用户界面生成映射窗口的步骤中，所述控制器被进一步配置为：
S241：获取当前用户界面的界面类型；
S242：根据所述界面类型提取自定义映射区域；
S243：对当前用户界面的自定义映射区域执行截图；
S244：缩放截图结果，以生成局部缩略图；
S245：遍历所述自定义映射区域中各控件的位置；
S246：根据控件在所述自定义映射区域中的位置，建立每个控件与所述区域缩略图中像素点之间的关联关系，生成所述映射窗口。
为了能够执行触控操作，映射窗口中显示的内容应该包括控件，而对于不同的界面，其上包含的控件内容和数量也不相同。例如，控制主页上的控件数量较多，控件的内容涵盖多种情况，包括状态栏上的图标、菜单入口、媒资链接等。而播放界面上的控件数量较少，一般包括与播放控制相关的按钮，如暂停/播放键、快进/快退键、音量控制条、选集按钮等。因此，对于不同类型的用户界面，可以设定不同的自定义映射区域。
控制器250可以获取当前用户界面的界面类型，并根据用户界面类型确定自定义映射区域。对于自定义映射区域，可以由操作***或服务器400统一自动设置，或者由用户手动设置。例如，播放界面的自定义区域可以不包括只进行显示而很少执行交互操作的具体播放画面，而仅包含播放画面底部的控制按钮区域。
在确定自定义映射区域后，控制器250可以根据上述其他实施例中相同的方式生成映射窗口。即可以通过截取自定义映射区域的区域缩略图，并且遍历自定义映射区域中各控件的位置，以建立每个控件与区域缩略图中像素点之间的关联关系，生成映射窗口。
例如，如图18所示，当用户在播放界面上输入用于触控协助的触控指令后，控制器250可以对当前用户界面的类型进行检测，从而获取当前用户界面的界面类型为播放界面。对于播放界面，用户通常只在暂停/播放键、快进/快退键、音量控制条、选集按钮等控件上进行交互操作。因此，映射窗口可以仅包括这些控件所在区域的显示内容。即针对这些控件所在的区域进行截图，并通过遍历截图区域中各控件的位置，以建立映射窗口中图案与当前用户界面之间的关联关系。
由于播放界面通常具有单独的触控交互策略，例如，可以通过双击显示内容区域完成暂停/播放，通过滑动的方式完成快进/快退等，因此映射窗口的显示内容还可以不包括这些控件，只包括选集按钮区域，从而进一步简化映射窗口中的显示内容，便于用户完成交互操作。
可见，上述实施例中可以通过检测当前用户界面的界面类型确定自定义映射区域，从而在映射窗口中显示自定义映射区域中的画面，并通过建立关联关系使映射窗口上的触控操作能够关联到用户界面中，实现触控协助操作。另外，由于用于映射的自定义区域可以只针对具有控件的部分，因此可以实现通过较小的区域显示映射窗口，缓解映射窗口对用户界面的过度遮挡。
需要说明的是，生成映射窗口还可以根据具体用户界面进行触控区域关联，或者与其他局部或者自定义区域进行结合，形成更利于用户操作的映射窗口。例如，如图19所示，当前用户界面的下部区域为缩略图列表，支持滑动以及点击事件；而缩略图列表之上的区域为图片详情展示区，支持滑动、旋转操控。通常在显示过程中，展示区部分其实不限制操作控件区域，可以在任何一个部位进行操控。因此，在映射窗口中可以形成相对应的两个分区，即可以映射成触控板和列表映射区。
同样，在生成映射窗口后，用户可以在列表映射区域进行左右滑动以及点击事件的操控，然后映射窗口检测到用户的操控进行指令下达，实现列表的切换；而在触控板区域进行操作，如向右旋转操控，触控板监测到是向右旋转动作后进行指令的下发，然后前端全屏页面监听到向右旋转的动作后，进行图片的右旋转等。
在生成映射窗口后，可以通过显示器275将映射窗口在用户界面顶层进行显示，而为了便于用户执行进一步的触控操作，映射窗口的显示位置应该在便于用户操作的区域中。而为了将映射窗口显示在便于操作的区域内，本申请的部分实施例中，可以根据用户输入触控指令的位置控制映射窗口的显示位置，即在所述触控指令的关联区域显示所述映射窗口的步骤还包括：
S310：监听用户输入的触控动作，记录所述触控指令中的手指抬起位置；
S320：以所述手指抬起位置为基准，显示所述映射窗口。
控制器250可以实时监听用户在输入触控指令时的touch事件，并记录touch事件对应的手指抬起位置，即“MotionEvent.ACTION_UP”的位置。通常，用户手指抬起的位置处于用户便于操作的区域内。因此，控制器250可以手指抬起位置为基准，在显示器275上显示映射窗口。
其中，以所述手指抬起位置为基准，显示所述映射窗口可以按照手指抬起位置为基准点，在手指抬起位置附近显示映射窗口。可以使显示后的映射窗口覆盖手指抬起位置。例如，使映射窗口的中心或任意点与手指抬起位置的坐标相同；还可以使显示后的映射窗口位于手指抬起位置附近的一个特定区域中。
即如图20所示，在一些实施例中，以所述手指抬起位置为基准，显示所述映射窗口的步骤还包括：
S3211：计算所述手指抬起位置与显示器屏幕边缘位置之间的距离；
S3212：如果所述距离大于或等于判断阈值，以所述手指抬起位置为中心点，显示所述映射窗口；
S3213：如果所述距离小于所述判断阈值，以所述手指抬起位置为起点平移所述映射窗口，以完全显示所述映射窗口。
本实施例在正常情况下，以手指抬起位置为中心进行映射窗口的显示。但在显示映射窗口前，可以针对手指抬起位置进行判断，确定手指抬起位置对应的区域是否有足够的显示空间将映射窗口显示完全。如果能够显示完全，则直接以手指抬起位置为中心进行映射窗口的显示；如果不能够显示完全，则以手指抬起位置为起点对映射窗口进行平移，直至能够完全显示。
具体的，手指抬起位置坐标可以通过像素点进行表示。例如，如图21所示，以显示屏幕的左上角为原点，以距离左侧边框和顶部边框的像素点数量(或距离)作为单位长度构建一个平面直角坐标系，并通过构建的直角坐标系表示手指抬起位置坐标P(x0，y0)。
在获取手指抬起位置坐标P(x0，y0)后，可以结合当前显示器275的屏幕尺寸(W×H)计算手指抬起位置与显示器275屏幕边缘位置之间的距离，包括：手指抬起位置与左侧边框的距离LL＝x0；手指抬起位置与右侧边框的距离LR＝W-x0；手指抬起位置与顶部边框的距离LT＝y0；手指抬起位置与底部边框的距离LB＝H-y0。
根据计算的距离，可以分别与判断阈值进行对比，以确定当前手指抬起位置对应作为中心区域时，是否能够将映射窗口显示完全。其中，判断阈值可以根据映射窗口的位置确定，并且在横向和纵向方向上可以具有不同的判断阈值。例如，横向的判断阈值为映射窗口宽度的1/2，纵向的判断阈值为映射窗口高度的1/2。
通过分别对比计算的各方向距离与各方向上的判断阈值，则可以确定映射窗口的显示方式。其中，如果各方向上的距离均大于或等于判断阈值，则确定能够完全显示映射窗口，即以手指抬起位置为中心点，显示映射窗口。如果任一方向上的距离小于判断阈值，则确定在对应方向不能将映射窗口完全显示，则可以向该方向的反方向平移映射窗口，以完全显示映射窗口。例如，如果手指抬起位置与左侧边框的距离LL小于横向的判断阈值LX，则向右平移映射窗口，平移的距离应大于或等于LX-LL。
由以上技术方案可知，上述实施例可以实现在显示映射窗口时，正常情况下以触控操作为中心进行映射区域的绘制。而在靠近边缘位置时，以边缘点为准，进行四周区域的绘制。这样的显示方式不仅能够将映射窗口完全显示，而且能够使映射窗口的显示位置与用户的触控动作相关联，便于用户执行后续操作。
在一些实施例中，以所述手指抬起位置为基准，显示所述映射窗口的步骤还可以包括：
S3221：获取所述手指抬起位置归属的预设分区；
S3222：在所述预设分区内显示所述映射窗口。
为了显示映射窗口，可以按照显示器275的屏幕尺寸将显示画面划分为多个预设分区，每个预设分区中指定一个区域用于显示映射窗口。显然，用于显示映射窗口的区域要便于用户执行触控交互操作，而且要尽可能减少对当前用户界面中的显示画面和控件造成遮挡。
例如，显示器275的屏幕可以划分为左侧区域和右侧区域两个预设分区，在左侧区域中，映射窗口的显示位置靠近显示器275的左上角，从而便于用户在靠近左侧区域时进行触控操作。同理，右侧区域中映射窗口的显示位置靠近显示器275的右上角。
根据上述分区划分方式，可以通过记录的手指抬起位置获取触控指令所归属的预设分区，并在确定归属的预设分区内显示映射窗口。例如，如果记录的手指抬起位置坐标位于左侧区域内，则在左侧区域中靠近左上角的区域显示映射窗口。
可见，本实施例通过预设分区的方式控制映射窗口的显示位置，可以保证每次调用映射窗口都处于相同的位置。而且可以减轻用户操作对显示位置的影响。例如，用户在靠近左侧区域执行交互操作时，伸长手臂在靠近中间区域输入用于执行触控协助的触控指令，则仍然在左侧区域对应最合适的位置显示映射窗口，缓解个别操作的影响。
基于上述实施例中提供的触控协助交互方法，本申请的部分实施例中还提供一种显示设备200。包括显示器275、触控组件276以及控制器250。其中，显示器275被配置为显示用户界面，触控组件276被配置为检测用户输入的触控动作，控制器250被配置为执行以下程序步骤：
S1：获取用户输入的用于执行触控协助的触控指令；
S2：响应于所述触控指令，根据当前用户界面生成映射窗口；
S3：在所述触控指令的关联区域显示所述映射窗口。
其中，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系。可见，本实施例提供的显示设备200可用于实现上述实施例中提供的触控协助交互方法。触控组件276可以设置在显示器275上，以形成触摸屏实时检测用户的触控动作，并将检测的触控动作转化成触控指令发送给控制器250。控制器250则响应于接收的触控指令根据当前用户界面生成映射窗口，从而控制显示器275在触控指令的关联区域显示映射窗口。
在显示映射窗口后，用户可以通过在映射窗口上再输入触控指令，从而依靠映射窗口执行在不便于操作的区域内的控件操作。因此，如图22所示，为了实现触控协助交互，在本申请的部分实施例中，还提供一种触控协助交互方法，包括以下步骤：
S4：获取用户于映射窗口上输入的动作指令。
显然，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系。即映射窗口是上述实施例中任一一种实施方式所生成的映射窗口。在显示映射窗口后，控制器250可以对用户输入的每一个触控动作进行位置判断，判断其输入位置是在映射窗口区域还是在用户界面区域。如果输入的触控动作位于映射窗口，则确定用户在映射窗口上输入了动作指令。
其中，触控动作位置的判断可以按照手指按下动作位置或者手指抬起位置为依据，由于手指按下动作是所有触控动作的开始动作，更加能够反映用户的操作目的，因此可以优选手指按下动作位置作为触控动作的位置。而动作指令同样可以包括点击动作、长按动作、多次点击动作以及滑动动作等多种形式。每种形式的动作可以通过作用在不同的控件上实现不同的控制动作，从而实现触控交互操作。
S5：响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置。
在获取动作指令后，控制器250可以响应于该动作指令，提取其在映射窗口中的触摸位置。由于用户的手指与触控组件276之间通常为面接触，触控动作通常可以覆盖映射窗口中的多个像素点，因此动作指令在映射窗口中的触摸位置可以是多个像素点构成的集合。而对于滑动触控动作，由于其滑动过程中覆盖的经过的区域都属于该触控动作，因此可以触摸位置还包括在触控动作持续时间内，所经过的区域的全部像素点。
S6：根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
在提取动作指令在映射窗口中的触摸位置后，控制器250还可以根据映射窗口与用户界面的关联关系，执行与之对应的控件动作。例如，用户在映射窗口输入点击动作指令，动作指令对应的触摸位置在位于映射窗口右下角区域的一个媒资链接控件图形上。再根据映射窗口与用户界面之间的关联关系，将该点击动作指令关联到用户界面中位于右下角区域的一个媒资链接控件上，以播放该媒资。相当于，用户直接在用户界面的媒资链接控件上输入点击触控动作，从而使用户在不移动站立位置的情况下，能够执行不便于操作区域内的触控操作。
基于上述显示设备200，可以实现在显示映射窗口后执行进一步触控交互操作。例如，用户可以操控显示设备200启动“照镜子”应用，该应用可以通过摄像头等图像采集模块获得用户的图像，并显示在镜框画面中。在“照镜子”应用的用户界面中，还可以包括一些如“换衣服”等辅助控件，用于调整显示的图像内容。即在用户点击任一“换衣服”按钮后，在显示的图像上添加该控件对应的衣服图案。
由于衣服种类众多，因此“换衣服”按钮数量也较多，即有部分按钮用户无法触控到，因此用户可以通过触控指令调用映射窗口。映射窗口可以至少包括哪些无法触控到的“换衣服”按钮，从而在显示映射窗口后，用户可以在映射窗口点击任一按钮区域。
当用户在映射窗口上点击位于右下角的“换衣服”按钮区域后，控制器250可以获取该动作指令，并提取该动作指令在映射窗口中的触摸位置，并将该点击指令关联到应用界面中位于右下角的“换衣服”按钮上。相当于用户在位于右下角的“换衣服”按钮上输入了点击指令，因此可以将该按钮对应的衣服图案添加到镜框区域中。
随着用户在映射窗口上执行的触控动作，显示器275上显示的用户界面也将发送变化。即在部分触控动作下，显示的内容需要进行跳转，以显示不同的用户界面，而在部分触控动作下，会调整控件的显示状态，以便用户执行其他触控操作。因此，在一些实施例中，执行当前用户界面中与所述触摸位置相对应的控件动作后，所述方法还包括以下步骤：
S701：检测所述映射窗口与当前用户界面的画面内容；
S702：如果所述映射窗口与当前用户界面的画面内容不一致，刷新所述映射窗口的显示内容。
在本实施例中，控制器250可以在每次执行控件动作后的预设时间内检测映射窗口与当前用户界面的画面内容，或者根据设定频率对映射窗口与当前用户界面的画面内容进行检测，并在检测完成后对映射窗口与当前用户界面的画面内容进行对比。如果画面内容一致，即控件动作没有改变当前用户界面中的具体内容，则继续保持映射窗口的当前显示内容；如果所检测的画面内容不一致，则刷新映射窗口的显示内容，使映射窗口上的画面与用户界面相一致。
例如，如图23所示，当前用户目标是在应用界面中查看“应用18”，则用户在映射窗口的右下角图标位置进行长按触控操控。控制器250通过监听Touch事件，判断当前用户的操控，如果是长按事件，则进行事件的下传即执行当前用户界面中与所述触摸位置相对应的控件动作，通过执行控件动作，使“应用18”应用图标上显示“卸载”和“详情”两个控件内容。
当执行控件动作后，可以通过定时器定时检测映射界面相对于用户界面是否有变化，如有变化进行映射窗口的刷新，并结束定时。具体可以通过ActivityManager的相关方法获取到topActivity，可以判断最前端页面是否发生变化。
同理，控制器250可以继续在映射窗口实时进行Touch事件检测，如检测到有事件触发，则进行事件的判断，如检测到用户点击了“应用18”的“详情”位置，则会打开应用18的详情页。再通过检测映射窗口与当前用户界面的画面内容，确定检测的画面内容不一致，则将映射窗口也刷新显示为应用18的详情页。具体的刷新过程可以与上述生成映射窗口的方式相同，此处不再赘述。
基于上述触控协助交互方法，一种显示设备，包括显示器275、触控组件276以及控制器250。其中，显示器275被配置为显示用户界面，触控组件276被配置为检测用户输入的触控动作，控制器250被配置为执行以下程序步骤：
S4：获取用户于映射窗口上输入的动作指令，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
S5：响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置；
S6：根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
由以上技术方案可知，上述实施例提供的显示设备200及触控协助交互方法可以在显示映射窗口后，通过在映射窗口上输入动作指令，使显示设备200的控制器250响应于动作指令，提取对应的触摸位置，从而根据关联关系，执行当前用户界面中与触摸位置相对应的控件动作。所述方法可以通过映射窗口与当前用户界面中控件之间的关联关系，将映射窗口上的操作等效实施在当前用户界面中，从而使用户在便于操作的区域中完成整个用户界面中的操作，提升用户体验。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (13)

1.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面；
触控组件，被配置为检测用户输入的触控动作；
控制器，被配置为：
获取用户输入的用于执行触控协助的触控指令；
响应于所述触控指令，根据当前用户界面生成映射窗口，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
在所述触控指令的关联区域显示所述映射窗口。
2.根据权利要求1所述的显示设备，其特征在于，获取用户输入的用于执行触控协助的触控指令的步骤中，所述控制器被进一步配置为：
监听用户输入的触控动作，所述触控动作包括长按动作、多次点击动作、滑动动作、多指动作以及在预设位置输入的点击动作；
如果所述触控动作与预设触控动作相同，生成用于执行触控协助的触控指令。
3.根据权利要求1所述的显示设备，其特征在于，根据当前用户界面生成映射窗口的步骤中，所述控制器被进一步配置为：
对当前用户界面的整个画面执行截图；
缩放截图结果，以生成全局缩略图；
遍历当前用户界面中各控件的位置；
根据控件在当前用户界面中的位置，建立每个控件与所述全局缩略图中像素点之间的关联关系，生成所述映射窗口。
4.根据权利要求1所述的显示设备，其特征在于，根据当前用户界面生成映射窗口的步骤中，所述控制器被进一步配置为：
获取映射窗口显示区域尺寸；
根据所述显示区域尺寸，执行操作***内置的显示程序，生成所述映射窗口。
5.根据权利要求1所述的显示设备，其特征在于，根据当前用户界面生成映射窗口的步骤中，所述控制器被进一步配置为：
获取所述触控指令对应的直接操作区域，所述直接操作区域为所述触控指令中手指抬起位置归属的预设分区；
对当前用户界面的非直接操作区域执行截图，所述非直接区域为所述直接操作区域以外的预设分区；
缩放截图结果，以生成局部缩略图；
遍历所述非直接操作区域中各控件的位置；
根据控件在所述非直接操作区域中的位置，建立每个控件与所述局部缩略图中像素点之间的关联关系，生成所述映射窗口。
6.根据权利要求1所述的显示设备，其特征在于，根据当前用户界面生成映射窗口的步骤中，所述控制器被进一步配置为：
获取当前用户界面的界面类型；
根据所述界面类型提取自定义映射区域；
对当前用户界面的自定义映射区域执行截图；
缩放截图结果，以生成局部缩略图；
遍历所述自定义映射区域中各控件的位置；
根据控件在所述自定义映射区域中的位置，建立每个控件与所述区域缩略图中像素点之间的关联关系，生成所述映射窗口。
7.根据权利要求1所述的显示设备，其特征在于，在所述触控指令的关联区域显示所述映射窗口的步骤中，所述控制器被进一步配置为：
监听用户输入的触控动作，记录所述触控指令中的手指抬起位置；
以所述手指抬起位置为基准，显示所述映射窗口。
8.根据权利要求7所述的显示设备，其特征在于，以所述手指抬起位置为基准，显示所述映射窗口的步骤中，所述控制器被进一步配置为：
计算所述手指抬起位置与显示器屏幕边缘位置之间的距离；
如果所述距离大于或等于判断阈值，以所述手指抬起位置为中心点，显示所述映射窗口；
如果所述距离小于所述判断阈值，以所述手指抬起位置为起点平移所述映射窗口，以完全显示所述映射窗口。
9.根据权利要求7所述的显示设备，其特征在于，以所述手指抬起位置为基准，显示所述映射窗口的步骤中，所述控制器被进一步配置为：
获取所述手指抬起位置归属的预设分区；
在所述预设分区内显示所述映射窗口。
10.一种显示设备，其特征在于，包括：
显示器，被配置为显示用户界面；
触控组件，被配置为检测用户输入的触控动作；
控制器，被配置为：
获取用户于映射窗口上输入的动作指令，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置；
根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
11.根据权利要求10所述的显示设备，其特征在于，所述控制器被进一步配置为：
检测所述映射窗口与当前用户界面的画面内容；
如果所述映射窗口与当前用户界面的画面内容不一致，刷新所述映射窗口的显示内容。
12.一种触控协助交互方法，其特征在于，应用于显示设备，所述显示设备包括显示器、触控组件以及控制器，所述触控协助交互方法包括：
获取用户输入的用于执行触控协助的触控指令；
响应于所述触控指令，根据当前用户界面生成映射窗口，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
在所述触控指令的关联区域显示所述映射窗口。
13.一种触控协助交互方法，其特征在于，应用于显示设备，所述显示设备包括显示器、触控组件以及控制器，所述触控协助交互方法包括：
获取用户于映射窗口上输入的动作指令，所述映射窗口中包括当前用户界面中的全部或部分控件，且所述映射窗口中的控件与当前用户界面中的控件具有关联关系；
响应于所述动作指令，提取所述动作指令在映射窗口中的触摸位置；
根据所述关联关系，执行当前用户界面中与所述触摸位置相对应的控件动作。
CN202010831749.6A 2020-08-18 2020-08-18 一种显示设备及触控协助交互方法 Active CN114157889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010831749.6A CN114157889B (zh) 2020-08-18 2020-08-18 一种显示设备及触控协助交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010831749.6A CN114157889B (zh) 2020-08-18 2020-08-18 一种显示设备及触控协助交互方法

Publications (2)

Publication Number Publication Date
CN114157889A true CN114157889A (zh) 2022-03-08
CN114157889B CN114157889B (zh) 2024-04-16

Family

ID=80460423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010831749.6A Active CN114157889B (zh) 2020-08-18 2020-08-18 一种显示设备及触控协助交互方法

Country Status (1)

Country Link
CN (1) CN114157889B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579013A (zh) * 2022-03-14 2022-06-03 北京华璨电子有限公司 一种基于windows***的触控双屏装置
CN115834754A (zh) * 2022-09-29 2023-03-21 歌尔科技有限公司 交互控制方法、装置、头戴显示设备及介质
WO2024099146A1 (zh) * 2022-11-08 2024-05-16 北京字跳网络技术有限公司 扩展现实空间中应用的控制方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937876A (zh) * 2011-11-23 2013-02-20 微软公司 触摸传感器的动态缩放
KR101294201B1 (ko) * 2013-02-05 2013-08-16 주식회사 유소프테이션 휴대형 장치 및 그 조작 방법
CN103955339A (zh) * 2014-04-25 2014-07-30 华为技术有限公司 一种终端操作方法及终端设备
CN104484111A (zh) * 2014-12-30 2015-04-01 小米科技有限责任公司 触摸屏的内容显示方法及装置
CN106527656A (zh) * 2016-10-19 2017-03-22 北京奇虎科技有限公司 显示方法、装置及终端设备
CN106527948A (zh) * 2016-11-14 2017-03-22 珠海市魅族科技有限公司 一种屏幕触控方法以及装置
CN108196748A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 终端显示控制方法、终端及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937876A (zh) * 2011-11-23 2013-02-20 微软公司 触摸传感器的动态缩放
KR101294201B1 (ko) * 2013-02-05 2013-08-16 주식회사 유소프테이션 휴대형 장치 및 그 조작 방법
CN103955339A (zh) * 2014-04-25 2014-07-30 华为技术有限公司 一种终端操作方法及终端设备
CN104484111A (zh) * 2014-12-30 2015-04-01 小米科技有限责任公司 触摸屏的内容显示方法及装置
CN106527656A (zh) * 2016-10-19 2017-03-22 北京奇虎科技有限公司 显示方法、装置及终端设备
CN106527948A (zh) * 2016-11-14 2017-03-22 珠海市魅族科技有限公司 一种屏幕触控方法以及装置
CN108196748A (zh) * 2017-12-28 2018-06-22 努比亚技术有限公司 终端显示控制方法、终端及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579013A (zh) * 2022-03-14 2022-06-03 北京华璨电子有限公司 一种基于windows***的触控双屏装置
CN114579013B (zh) * 2022-03-14 2022-12-20 北京华璨电子有限公司 一种基于windows***的触控双屏装置
CN115834754A (zh) * 2022-09-29 2023-03-21 歌尔科技有限公司 交互控制方法、装置、头戴显示设备及介质
CN115834754B (zh) * 2022-09-29 2024-05-28 歌尔科技有限公司 交互控制方法、装置、头戴显示设备及介质
WO2024099146A1 (zh) * 2022-11-08 2024-05-16 北京字跳网络技术有限公司 扩展现实空间中应用的控制方法、装置、设备和介质

Also Published As

Publication number Publication date
CN114157889B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN114157889B (zh) 一种显示设备及触控协助交互方法
CN111901646A (zh) 一种显示设备及触控菜单显示方法
CN111970549B (zh) 菜单显示方法和显示设备
WO2022048203A1 (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN112165641A (zh) 一种显示设备
CN112866773A (zh) 一种显示设备及多人场景下摄像头追踪方法
CN111954059A (zh) 屏保的展示方法及显示设备
CN113630569B (zh) 显示设备及显示设备的控制方法
CN112506859B (zh) 一种维护硬盘数据的方法及显示设备
CN113485613A (zh) 显示设备及自由画屏幕边缘涂色实现方法
CN114430492A (zh) 显示设备、移动终端及图片同步缩放方法
CN112269668A (zh) 一种应用资源共享及显示设备
CN111913621B (zh) 屏幕界面交互显示方法及显示设备
CN111913622B (zh) 屏幕界面交互显示方法及显示设备
CN112235621B (zh) 一种可视区域的显示方法及显示设备
CN111787350B (zh) 显示设备及视频通话中的截图方法
CN113810747B (zh) 一种显示设备及信号源设置界面交互方法
CN111988646B (zh) 一种应用程序的用户界面显示方法和显示设备
CN111897463A (zh) 屏幕界面交互显示方法及显示设备
CN114417035A (zh) 一种图片浏览方法和显示设备
CN112367550A (zh) 一种媒资列表多标题动态展示的实现方法及显示设备
CN115185392A (zh) 显示设备、图像处理方法及装置
CN114079827A (zh) 菜单显示方法和显示设备
CN112199560A (zh) 一种设置项的搜索方法及显示设备
CN111988649A (zh) 一种控件分离放大方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant