CN111566604A - 电子装置及其操作方法 - Google Patents

电子装置及其操作方法 Download PDF

Info

Publication number
CN111566604A
CN111566604A CN201980007439.8A CN201980007439A CN111566604A CN 111566604 A CN111566604 A CN 111566604A CN 201980007439 A CN201980007439 A CN 201980007439A CN 111566604 A CN111566604 A CN 111566604A
Authority
CN
China
Prior art keywords
input
touch input
external device
display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980007439.8A
Other languages
English (en)
Other versions
CN111566604B (zh
Inventor
韩尚珍
姜守真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111566604A publication Critical patent/CN111566604A/zh
Application granted granted Critical
Publication of CN111566604B publication Critical patent/CN111566604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

提供了电子装置和操作该电子装置的方法。电子装置包括：显示器；触摸输入界面；存储器，被配置为存储指令；以及处理器，被配置为执行在存储器中存储的指令，其中，处理器被配置为执行指令以：通过对外部设备进行镜像，控制显示器将外部设备的画面输出到显示器的至少一部分；基于触摸输入的粗细，将触摸输入识别为绘图输入或用于控制外部设备的外部设备控制输入；以及控制显示器输出绘图数据，或控制该外部设备。

Description

电子装置及其操作方法
技术领域
本公开涉及一种电子装置和该电子装置的操作方法，并且例如涉及一种识别触摸输入的方法，该方法由该电子装置执行。
背景技术
随着以触摸屏实现的电子装置被广泛使用，通过用户的手和电子笔的各种触摸输入被应用于触摸屏。用户可以使用触摸输入来执行与电子装置相关联的各种操作，该操作包括选择显示在电子装置的画面上的图标、绘制图片、输入字母等。为了支持较精细的触摸输入，正在开发与使用电子笔的触摸输入相关联的各种技术。由于触摸输入单元的类型变得更多样化，因此需要一种允许电子装置容易地区分不同类型的触摸输入的方法。
发明内容
问题的解决方案
根据本公开的示例实施例，提供了方法和装置，其用于基于接收到的触摸输入的粗细来不同地识别触摸输入类型，而无需改变触摸输入类型的附加操作，并且基于识别出的触摸输入类型来控制外部设备或将绘图输入输出到显示器。
附图说明
根据结合附图的以下详细描述，本公开的某些实施例的上述和其他方案、特征以及优点将更清楚，在附图中：
图1A是示出根据实施例的显示镜像画面的电子装置的图；
图1B是示出根据实施例的电子装置的***的图；
图2A是示出根据实施例的电子装置的示例配置的框图；
图2B是示出根据另一实施例的电子装置的示例配置的框图；
图3A是示出根据实施例的根据触摸输入的粗细而区分的输入类型的示例的图；
图3B是示出根据另一实施例的根据触摸输入的粗细而区分的输入类型的示例的图；
图4A是示出根据实施例的基于触摸输入的粗细来控制外部设备的示例的图；
图4B是示出根据另一实施例的基于触摸输入的粗细来控制外部设备的示例的图；
图4C是示出根据另一实施例的基于触摸输入的粗细来控制外部设备的示例的图；
图4D是示出根据另一实施例的基于触摸输入的粗细来控制外部设备的示例的图；
图4E是示出根据实施例的基于触摸输入的粗细将触摸输入处理为绘图输入的示例的图；
图5是示出根据实施例的在将视频输出到电子装置的显示器期间接收绘图输入的示例的图；
图6是示出根据实施例的电子装置输出与绘图输入相关的菜单的示例的图；
图7A、图7B和图7C是示出根据实施例的电子装置存储绘图数据和外部设备的画面的捕获图像的示例的图；
图8A和图8B是示出根据实施例的电子装置删除绘图数据的示例的图；
图9是示出根据实施例的电子装置移动外部设备的画面的捕获图像的示例的图；
图10是示出根据实施例的电子装置在外部设备的画面之外输出绘图数据的示例的图；
图11A、图11B和图11C是示出根据实施例的电子装置将外部设备的画面输出到显示器的整个区域的示例的图；以及
图12是示出根据实施例的操作电子装置的示例方法的流程图。
具体实施方式
本申请基于并要求于2018年2月13日向韩国知识产权局提交的韩国专利申请No.10-2018-0018059的优先权，该申请的公开通过全文引用合并于此。
附加方面部分地将在下面的描述中进行阐述，部分地将根据该描述而变得清楚。
根据本公开的示例方面，一种电子装置包括：显示器；触摸输入接口，包括被配置为接收触摸输入的接口电路；存储器，被配置为存储一个或多个指令；以及处理器，被配置为执行在存储器中存储的一个或多个指令，其中，处理器被配置为执行所述一个或多个指令以：通过对外部设备进行镜像，控制所述显示器将所述外部设备的画面输出到所述显示器的至少一部分，基于所述触摸输入的粗细，将所述触摸输入识别为绘图输入或用于控制所述外部设备的外部设备控制输入，所述触摸输入是使用所述触摸输入接口经由输出到所述显示器的至少一部分的所述外部设备的画面接收的，当所述触摸输入被识别为所述绘图输入时，控制所述显示器输出与所述绘图输入相对应的绘图数据，以及当所述触摸输入被识别为所述外部设备控制输入时，控制所述外部设备。
处理器还可以被配置为执行一个或多个指令以：测量触摸输入的粗细；当测量到的触摸输入的粗细对应于第一阈值范围时，将触摸输入识别为绘图输入；以及当测量到的触摸输入的粗细对应于第二阈值范围时，将触摸输入识别为外部设备控制输入。
处理器还可以被配置为执行一个或多个指令以：基于所述触摸输入的粗细，将所述触摸输入确定为电子笔的触摸输入和手指的触摸输入中的一个，当所述触摸输入被确定为所述电子笔的触摸输入时，将所述触摸输入识别为所述绘图输入，以及当所述触摸输入被确定为所述手指的触摸输入时，将所述触摸输入识别为所述外部设备控制输入。
处理器还可以被配置为执行一个或多个指令以：将绘图数据输出到显示器的与外部设备的画面对应的区域。
处理器还可以被配置为执行一个或多个指令以：当绘图输入完成时，存储绘图数据和外部设备的画面的捕获图像。
处理器还可以被配置为执行一个或多个指令以：响应于移动所存储的捕获图像的外部输入，控制显示器移动和输出绘图数据和所存储的捕获图像。
处理器还可以被配置为执行所述一个或多个指令以：控制所述显示器移动和输出所存储的捕获图像和所述绘图数据，所述绘图数据在输出到所述显示器的多个绘图数据项之中且位于所述显示器的与所述外部设备的画面对应的区域中。
处理器还可以被配置为执行一个或多个指令以：响应于触摸正输出到所述显示器的绘图输入的触摸输入，确定所述触摸输入的粗细，当所述触摸输入的粗细对应于第三阈值时，将所述触摸输入识别为删除所述绘图输入的输入，以及响应于识别出的输入，删除所述绘图数据。
处理器还可以被配置为执行一个或多个指令以：控制所述显示器将所述外部设备的画面输出到所述显示器的整个区域，当所述绘图输入被接收到时，控制所述显示器显示菜单，所述菜单用于将所述外部设备的画面输出到所述显示器的一部分，以及响应于选择所述菜单的输入，控制所述显示器将所述外部设备的画面从所述显示器的整个区域缩小到所述显示器的所述一部分并输出所述外部设备的画面。
处理器还可以被配置为执行一个或多个指令以：将使用电子笔触摸所述显示器的显示所述菜单的区域的触摸输入识别为选择所述菜单的输入。
根据本公开的另一方面，一种电子装置的操作方法包括：通过对外部设备进行镜像，将所述外部设备的画面输出到所述电子装置的显示器的至少一部分；经由正输出到所述显示器的至少一部分的所述外部设备的画面来接收触摸输入；基于所述触摸输入的粗细，将所述触摸输入识别为绘图输入和外部设备控制输入中的一个；当所述触摸输入被识别为所述绘图输入时，输出与所述绘图输入相对应的绘图数据；以及当所述触摸输入被识别为所述外部设备控制输入时，控制所述外部设备。
现在将参考附图更详细地描述本公开。然而，本公开可以以许多不同的形式实施，并且不应被理解为限于本文阐述的各种示例实施例。此外，为了清楚地描述本公开，附图中可以省去与本公开的描述无关的部分，并且贯穿本公开，相同的附图标记表示相同的元件。
本文使用的包括描述性或技术性术语在内的所有术语应被理解为具有对于本领域普通技术人员显而易见的含义。然而，根据本领域普通技术人员的意图、先例或新技术的出现，这些术语可以具有不同的含义。因此，必须基于术语的含义以及整个本公开中的描述来定义本文中所使用的术语。
本文所用的术语仅用于描述各种示例实施例的目的，而非意在限制本公开的范围。除非上下文明确地另外指示，否则如本文中所使用的，单数形式“一个”、“一”和“所述”可以包括复数形式。在整个本公开中，还将理解的是，当一元件被称为“连接至”另一元件或“与之耦合”时，其可以直接连接至另一元件或与另一个元件耦合，或者其可以通过在该元件与另一个元件之间***中间元件而电连接至另一个元件或与另一个元件耦合。而且，当部件“包括”或“包含”元件时，除非有相反的具体描述，否则该部件还可以包括其他元件，而不排除其他元件。
在描述本公开的上下文中(尤其是在所附权利要求的上下文中)对术语“所述”及类似指示物的使用应当被理解为涵盖单数和复数两者。此外，可以按照任何适当顺序执行本文中描述的所有方法的步骤，除非本文中另外指出或者上下文另外明确地指示。本公开不限于本文描述的步骤。
贯穿本公开所引用的表述“一些实施例”或“实施例”不一定指示相同的实施例。
可以根据功能块组件和各种处理步骤来描述本公开的一些实施例。功能块的一部分或全部可以由配置为执行指定功能的任何数目的硬件和/或软件组件来实现。例如，本公开的功能块可以采用可以在一个或多个微处理器的控制下执行各种功能的各种集成电路组件。而且，例如，本公开的功能块可以使用任何编程或脚本语言来实现。功能块可以被实现为在一个或多个处理器上执行的算法。此外，本公开可以采用根据用于电子配置、信号处理和/或控制、数据处理等的相关技术的任何数量的技术。词语“机制”、“元件”、“装置”和“配置”被广义地使用，并且不限于机械或物理实施例，而是可以包括与处理器结合的软件例程等。
此外，所呈现的各种附图中示出的连接线或连接件意在表示各种元件之间的示例功能关系和/或物理或逻辑连接。应该注意，在实际设备中可以存在许多替代或者附加的功能关系、物理连接或逻辑连接。
如本文所用，术语“和/或”包括相关列出项目中的一个或多个的任何和所有组合。诸如“……中的至少一个”之类的表述在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。
现在将更详细地参考各种实施例，其示例在附图中示出。
图1是示出根据实施例的显示镜像画面110的电子装置100的图。
参照图1A，电子装置100可以是电子板，但是不限于此，并且可以实现为包括显示器的电子装置。例如并且在不限制的情况下，电子装置100可以实现为包括电视(TV)、移动电话、平板个人计算机(PC)、数字相机、摄像机、膝上型计算机、PC、台式计算机、电子书(e-book)终端、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、MP3播放器、可穿戴设备等的各种电子装置之一。电子装置100可以是固定的或便携式的，并且可以是被配置为接收数字广播的数字广播接收器。
电子装置100不仅可以被实现为平板显示装置，而且还可以被实现为画面以曲率弯曲的弯曲显示装置、或曲率可调节的柔性显示装置。电子装置100的输出清晰度可以是高清(HD)等级、全HD等级、超HD等级或比超HD等级清晰的清晰度等级。
当电子装置100用触摸屏实现时，可以基于通过电子笔101或用户的手的触摸输入来控制电子装置100。电子装置100可以从电子笔101或手指接收绘图输入，并且可以将接收到的绘图输入输出到电子装置100的显示器。绘图输入可以包括显示器上的以下输入：使用电子笔101或手指放置点的输入、绘制指示一定轨迹的形状的输入、以及书写字母的输入，但不限于此。另外，电子装置100可以响应于通过电子笔101或手指的触摸输入来删除输出到显示器的绘图输入。
在整个公开中，术语“用户”可以例如但不限于指示控制电子装置100的功能或操作的人，并且可以包括观看者、管理员或安装工程师。
根据实施例的电子装置100可以通过对外部设备50进行镜像来将外部设备50的画面110(也称为镜像画面110)输出到电子装置100的显示器。例如，参考图1A，用户试图将存储在外部设备50中的会议信息输出到电子装置100的显示器，以便使用画面尺寸大于外部设备50的画面尺寸的电子装置100来进行会议。当会议信息在外部设备50的画面110上输出时，电子装置100可以通过从外部设备50接收镜像画面信号51来将外部设备50的画面110输出到电子装置100的显示器。外部设备50的画面110可以被输出到电子装置100的显示器的至少一部分。就此而言，输出到电子装置100的显示器的至少一部分的外部设备50的画面110可以包括但不限于用于控制外部设备50的一个或多个图标120、以及由外部设备50执行的会议信息。
当外部设备50的画面110被输出到电子装置100的显示器的至少一部分时，电子装置100可以经由电子笔101或用户的手指102来接收对被输出到显示器的至少一部分的外部设备50的镜像画面的触摸输入。就此而言，接收到的触摸输入可以包括选择某个图标的输入、或绘图输入。
例如，如图1A所示，当显示会议信息的外部设备50的画面110被输出到电子装置100的显示器时，用户可以在电子装置100的显示器上输入与会议信息相关的文本或在会议信息上标记突出显示。此外，电子装置100可以接收触摸位于外部设备50的画面110处的一个或多个图标120之中的某个图标120的输入，并且可以响应于接收到的输入来控制外部设备50以执行与被触摸的图标120相关联的操作。
然而，为了使电子装置100在选择图标的输入和绘图输入之间进行区分，可以需要用于改变触摸输入类型的附加输入(例如，选择用于将选择图标的输入更改为绘图输入的菜单的操作)。例如，根据现有技术，当电子装置100以绘图输入模式进行操作时，电子装置100必须将其模式切换为以外部设备控制模式进行操作。另外，当电子装置100以外部设备控制模式操作时，电子装置100必须再次将其模式切换为以绘图输入模式进行操作。在这种情况下，必须重复执行用于改变触摸输入类型的输入，从而对于用户而言可能不是有高效的。因此，为了使用户容易地在电子装置100的显示器上控制外部设备50，需要一种由电子装置100执行的、自动识别控制外部设备的输入和绘图输入的方法。
图1B是示出根据实施例的电子装置100的***的图。
参照图1B，根据实施例的电子装置100可以从外部设备50接收镜像画面信号51，并且可以在显示器上显示镜像画面110。镜像画面110可以显示在电子装置100的显示器的至少一部分或整个区域上。
当电子装置100检测到由用户针对在显示器的至少一部分上显示的镜像画面110进行的触摸输入时，电子装置100可以确定触摸输入的粗细。电子装置100可以基于触摸输入的粗细来不同地(选择性地)确定触摸输入的类型。例如，电子装置100可以基于触摸输入的粗细来将触摸输入识别为绘图输入或外部设备控制输入。
在电子装置100基于触摸输入的粗细将触摸输入识别为绘图输入的情况下，电子装置100可以控制电子装置100本身以响应于触摸输入将与绘图输入对应的绘图数据输出到电子装置100的显示器。参照图1B，当用户使用电子笔101按照指示星形的轨迹来执行触摸输入时，电子装置100可以根据触摸输入的粗细将触摸输入识别为绘图输入，并且可以响应于绘图输入而输出绘图数据130。例如，在电子装置100将触摸输入识别为绘图输入的情况下，电子装置100基于触摸输入来控制电子装置100本身，并且触摸输入不用于控制外部设备50。外部设备可以例如但不限于是移动设备。
在电子装置100基于触摸输入的粗细将触摸输入识别为外部设备控制输入的情况下，电子装置100可以执行与触摸输入相对应的外部设备控制。参照图1B，在用户使用手指102执行选择图标120的触摸输入的情况下，电子装置100可以基于触摸输入的粗细将触摸输入识别为外部设备控制输入，可以生成与触摸输入相对应的外部设备控制信号52，并且可以将外部设备控制信号52发送到外部设备50。在接收到外部设备控制信号52时，外部设备50可以执行与外部设备控制信号52相对应的控制功能，并且可以将外部设备50的当前画面切换为与所执行的控制功能相对应的画面。因为外部设备50和电子装置100处于镜像状态，所以电子装置100可以接收并显示响应于所执行的控制功能而改变的画面。因此，电子装置100可以从外部设备50接收并显示与响应于图标120的选择而执行的功能相对应的画面。
可以以各种方式来实现外部设备控制。外部设备50和电子装置100处于镜像状态，并且在镜像状态下，电子装置100可以将控制信号发送到外部设备50以执行可以在外部设备50中执行的所有控制功能。因此，用户可以通过经由显示镜像画面的电子装置100执行所有控制操作来控制外部设备50，其中，可以由用户使用特定输入单元或用户的手指对外部设备50执行所有控制操作。例如，外部设备控制可以包括例如但不限于：与对图标的选择相对应的控制、与页面滚动相对应的控制、与切换到相邻页面(例如下一页或前一页)相对应的控制等。
因此，如图1B所示，可以基于触摸输入的粗细在绘图输入模式和外部设备模式之间自动执行切换操作，从而可以消除附加的模式切换处理。
以这种方式，当经由显示在电子装置100上的镜像画面接收到触摸输入时，可以基于触摸输入的粗细将触摸输入自动识别为绘图输入或外部设备控制输入，从而电子装置100不要求用户手动按压单独的硬件按钮来区分绘图输入和外部设备控制输入，或者不要求单独的界面，因此可以增加用户使用镜像画面的便利性。
图2A是示出根据实施例的电子装置100a的示例配置的框图。
图2A所示的电子装置100a可以是图1B所示的电子装置100的示例。参照图2A，根据实施例的电子装置100a可以包括存储器210、处理器(例如，包括处理电路)220、显示器230和输入接口(例如，包括输入接口电路)240。然而，电子装置100a可以用比所示出的元件多的元件来实现，并且不限于此。
在下文中，下面将更详细地描述这些元件。
根据实施例的存储器210可以存储用于处理和控制处理器220的程序，并且可以存储输入到显示装置100或从显示装置100输出的数据。
存储器210可以包括例如但不限于存储介质中的至少一种，该存储介质包括闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如，安全数字(SD)存储器、xD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。
根据实施例的存储器210可以包括模块，该模块包括一个或多个指令以进行以下操作：通过对外部设备进行镜像来将外部设备的画面输出到显示器230的至少一部分；基于经由输出到显示器230的至少一部分的外部设备的画面所接收到的触摸输入的粗细，将触摸输入识别为绘图输入或外部设备控制输入；并且响应于外部设备控制输入来控制外部设备，或者控制显示器230输出与绘图输入相对应的绘图数据。
根据实施例的处理器220可以包括各种处理电路并且控制电子装置100a的所有操作。例如，处理器220可以执行存储在存储器210中的一个或多个指令，以控制显示器230并执行图1B至图12所示的电子装置100和100a的功能。
根据实施例的处理器220通过对外部设备进行镜像，控制显示器230将外部设备的画面输出到显示器230的至少一部分。
镜像可以指的是例如以下方法：在电子装置100a和外部设备以无线或有线方式连接期间，将外部设备的画面输出到电子装置100a的显示器230，并使用电子装置100a控制外部设备。响应于经由输出到显示器230的外部设备的画面而控制外部设备的输入(该输入是从用户接收的)，可以控制外部设备。
根据实施例的处理器220可以基于经由镜像画面(例如，输出到显示器230的至少一部分的外部设备的画面)接收的触摸输入的粗细，将触摸输入识别为绘图输入或外部设备控制输入。
触摸输入可以包括但不限于用户的手的输入和/或电子笔101的输入。例如，用户的手的输入可以包括但不限于手指102的输入、手掌的输入等。
当触摸输入是触摸显示器230的一个位置的输入时，触摸输入的粗细可以指例如被触摸的区域的面积。另外，当触摸输入是在显示器230上绘制特定轨迹的输入时，触摸输入的粗细可以指指示所绘制的轨迹的线的粗细。
与选择图标的输入相比，绘图输入通常可以例如需要相对精细的输入，因此绘图输入的粗细可以相对小于选择图标的输入的粗细。根据实施例的处理器220可以基于触摸输入的粗细将触摸输入识别为绘图输入或外部设备控制输入，从而自动识别触摸输入类型，而无需用于改变触摸输入类型的附加输入。
根据实施例的处理器220可以测量接收到的触摸输入的粗细，并且当所测量的触摸输入的粗细对应于第一阈值范围时，处理器220可以将触摸输入识别为绘图输入。另外，当所测量的触摸输入的粗细对应于第二阈值范围时，处理器220可以将触摸输入识别为外部设备控制输入。例如但不限于，当触摸输入的粗细在约0mm和约3mm之间时，处理器220可以将触摸输入识别为绘图输入，并且当触摸输入的粗细大于3mm时，处理器220可以将触摸输入识别为外部设备控制输入，但是本公开不限于此。第一阈值范围和第二阈值范围可以例如但不限于根据电子装置100a的内部设置而变化，或者可以根据用户的设置而变化。
另外，根据实施例的处理器220可以基于触摸输入的粗细来将触摸输入确定为电子笔101的触摸输入或手指102的触摸输入。例如，手指102的触摸输入的粗细可以大于电子笔101的触摸输入的粗细。因此，处理器220可以测量触摸输入的粗细，并且当所测量的触摸输入的粗细等于或大于阈值时，处理器220可以将触摸输入确定为手指102的触摸输入，并且当所测量的触摸输入的粗细小于阈值时，处理器220可以将触摸输入确定为电子笔101的触摸输入。
另外，当处理器220将触摸输入确定为电子笔101的触摸输入时，处理器200可以将触摸输入识别为绘图输入，并且当处理器220将触摸输入确定为手指102的触摸输入时，处理器200可以将触摸输入识别为外部设备控制输入。
根据实施例的处理器220可以响应于外部设备控制输入来控制外部设备，或者可以控制显示器230输出与绘图输入相对应的绘图数据。绘图数据可以例如但不限于表示：指示图形、字母和特定轨迹等中的至少一个的数据，该数据由于触摸输入而被识别，该触摸输入由显示器230响应于指示图形、字母和特定轨迹等中的至少一个的触摸输入而识别。
处理器220可以将绘图数据输出到显示器230的区域，该区域对应于外部设备的画面。输出的绘图数据可以位于显示器230的与外部设备的画面对应的特定区域中，或者根据实施例，输出的绘图数据可以位于显示器230的与外部设备的画面对应的区域之外。
当绘图输入完成时，根据实施例的处理器220可以存储外部设备的画面的捕获图像和绘图数据。就此而言，可以将外部设备的画面的捕获图像和绘图数据存储为不同的文件。另外，处理器220可以控制显示器230响应于移动所存储的图像的外部输入而移动和输出绘图数据和所存储的捕获图像。例如，处理器220可以控制显示器230移动和输出所存储的捕获图像和绘图数据，该绘图数据在输出到显示器230的多个绘图数据项之中且位于显示器230的与外部设备的画面对应的区域中。
根据实施例的处理器220可以响应于用户输入来删除绘图数据。例如，处理器220可以响应于触摸输出到显示器230的绘图输入的触摸输入来确定触摸输入的粗细。当触摸输入的粗细对应于第三阈值范围时，处理器220可以将触摸输入识别为删除绘图输入的输入，并且可以响应于识别出的输入来删除输出的绘图数据。
根据实施例的处理器220可以将外部设备的画面输出到显示器230的整个区域。例如，用户可以尝试将外部设备的镜像画面输出到显示器230的整个区域。例如，响应于用于请求电子装置100a将外部设备的画面输出到显示器230的整个区域的用户输入，处理器220可以将外部设备的画面输出到显示器230的整个区域。
当接收到绘图输入时，处理器220可以在显示器230上显示菜单，该菜单用于将外部设备的画面输出到显示器230的至少一部分。当外部设备被镜像在电子装置100a中并且外部设备的画面被输出到显示器230的整个区域时，经由显示器230接收的外部设备控制输入可以是用于控制外部设备的输入。然而，用于将外部设备的画面输出到显示器230的至少一部分的改变输入可以是用于控制电子装置100a的输入。因此，为了做出改变以允许将外部设备的画面不是输出到显示器230的整个区域而是输出到显示器230的至少一部分，需要一种由电子装置100a执行的、区分用于控制外部设备的输入与用于控制电子装置100a的输入的方法。
当外部设备的画面被输出到显示器230的整个区域并且电子笔101的绘图输入被接收到时，根据实施例的处理器220可以控制显示器230显示用于将外部设备的画面输出到显示器230的至少一部分的菜单。响应于使用电子笔101选择所显示的菜单的输入，处理器220可以控制显示器230以缩小外部设备的画面并将外部设备的画面输出到显示器230的至少一部分。
根据实施例的处理器220可以基于接收到的触摸输入的粗细来区分使用电子笔101选择菜单的输入与手指102的外部设备控制输入。因此，即使当外部设备的画面正被输出到显示器230的整个区域时，用户也可以容易地切换显示器230中的外部设备的画面被输出到的区域。
根据实施例的显示器230可以输出在电子装置100a中镜像的外部设备的画面。此外，显示器230可以输出与从用户接收到的绘图输入相对应的绘图数据。
输入接口240可以是包括用于接收用户输入的各种输入接口电路的接口，并且可以使用触敏设备来接收触摸输入。用户输入可以包括例如但不限于用户手指的触摸输入、电子笔输入、布置在电子笔的另一端处的擦除器的输入、手掌触摸输入等。
当显示器230被实现为触摸屏时，显示器230可以被用作输出设备和输入设备。例如，显示器230可以包括例如但不限于液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管显示器、柔性显示器、三维(3D)显示器、电泳显示器等中的至少一个。根据电子装置100a的类型，电子装置100a可以包括两个显示器230。
图2B是示出根据另一实施例的电子装置100b的示例配置的框图。
如图2B所示，除了存储器210、处理器220和显示器230之外，电子装置100b还可以包括调谐器140、通信器(例如，包括通信电路)150、传感器160、输入/输出单元(例如、包括输入/输出电路)170、视频处理器(例如，包括视频处理电路)180、音频处理器(例如，包括音频处理电路)115、音频输出接口(例如，包括音频输出电路)125和用户输入接口(例如，包括输入电路)190。
先前参考图2A提供的存储器210、处理器220和显示器230的冗余描述在图2B中将不再重复。
调谐器140可以包括用于对信道的频率进行选择的各种电路，电子装置100b试图通过针对以有线或无线方式接收到的广播信号经由放大、混合、谐振等来调谐频率而从许多电波分量中接收该信道。广播信号可以包括音频、视频和附加信息(例如，电子节目指南(EPG))。
经由调谐器140接收的广播信号被解码(例如，音频解码、视频解码或附加信息解码)，然后被分为音频、视频和/或附加信息。划分的音频、视频和/或附加信息可以通过处理器220的控制而被存储在存储器210中。
电子装置100b可以包括一个或多个调谐器140。调谐器140和电子装置100b可以被实现为一体式装置，调谐器140可以被实现在具有电连接至电子装置100b的调谐器的单独的设备(例如，机顶盒(未示出))中，或调谐器140可以被实现为连接到输入/输出单元170的调谐器(未示出)。
通信器150可以包括各种通信电路，并且通过处理器220的控制将电子装置100b与外部设备(例如，音频设备、移动设备等)连接。处理器220可以向通过通信器150连接的外部设备发送内容/从这种外部设备接收内容，可以从外部设备下载应用，或者可以浏览网页。
通信器150可以包括电路，该电路根据电子装置100b的能力和结构提供例如但不限于无线局域网(WLAN)151、蓝牙152和有线以太网153之一。另外，通信器150可以包括WLAN151、蓝牙152和有线以太网153的组合。通信器150可以通过处理器220的控制来接收控制设备的控制信号。控制信号可以是蓝牙式信号、射频(RF)式信号或Wi-Fi式信号。
除了蓝牙152之外，通信器150还可以包括提供例如但不限于短距离通信(例如，近场通信(NFC)(未示出)、蓝牙低功耗(BLE)(未示出)等)的电路。
传感器160可以包括各种传感器并感测用户的声音、用户的图像或用户的交互，并且可以包括各种传感器，例如但不限于麦克风161、相机162和光接收器163。
麦克风161可以接收用户说出的语音。麦克风161可以将接收到的语音转换为电信号，并可以将电信号输出到处理器220。
相机162可以在相机162的识别范围内接收与用户的包括手势在内的运动相对应的图像(例如，连续帧)。
光接收器163可以接收从控制设备接收到的光信号(包括控制信号)。光接收器163可以从控制设备接收与用户输入(例如，触摸、按压、触摸手势、语音或运动)相对应的光信号。可以通过处理器220的控制从接收到的光信号中提取控制信号。
输入/输出单元170可以包括各种输入/输出电路，并且通过处理器220的控制来接收视频(例如，运动图片等)、音频(例如，语音、音乐等)、来自电子装置100b的外部源的附加信息(例如，EPG等)等。输入/输出单元170可以包括各种输入/输出电路，例如但不限于：高清多媒体接口(HDMI)端口171、组件插孔172、PC端口173、通用串行总线(USB)端口174中的至少一个。输入/输出单元170可以包括HDMI端口171、组件插孔172、PC端口173和USB端口174的组合。
根据实施例的存储器210可以存储用于处理和控制处理器220的程序，并且可以存储输入到电子装置100b或从电子装置100b输出的数据。
处理器220可以包括各种处理电路并控制电子装置100b的一般操作以及电子装置100b的内部元件之间的信号流，并且可以处理电子装置100b的数据。在接收到用户输入或者满足预设和存储的条件的情况下，处理器220可以执行存储在存储器210中的操作***(OS)和各种应用。
根据实施例的处理器220可以执行存储在存储器210中的一个或多个指令以：通过对外部设备进行镜像，控制显示器230将外部设备的画面输出到显示器230的至少一部分，基于接收到的触摸输入的粗细将触摸输入识别为绘图输入或外部设备控制输入，并响应于外部设备控制输入来控制外部设备，或者控制显示器230输出绘图输入。
视频处理器180可以包括各种视频处理电路并处理要在显示器230上显示的图像数据，并且可以针对图像数据来执行各种图像处理操作，包括解码操作、渲染操作、缩放操作、噪声过滤操作、帧速率转换、分辨率转换等。
通过处理器220的控制，显示器230可以显示包括在经由调谐器140接收到的广播信号中的视频。此外，显示器230可以显示经由通信器150或输入/输出单元170输入的内容(例如，运动图片)。显示器230可以通过处理器220的控制来输出在存储器210中存储的图像。此外，根据实施例的显示器230可以输出在电子装置100b中镜像的外部设备的画面，并且可以输出与接收到的绘图输入相对应的绘图数据。
当显示器230和触摸板形成相互的层结构并且然后被实现为触摸屏时，显示器230可以用作输出设备和输入设备。例如，显示器230可以包括例如但不限于液晶显示器、薄膜晶体管-液晶显示器、有机发光二极管显示器、柔性显示器、3D显示器、电泳显示器等中的至少一个。
音频处理器115可以包括各种音频处理电路，并且对音频数据执行处理。音频处理器115可以对音频数据执行各种处理操作，包括解码操作、放大操作、噪声过滤操作等。
音频输出接口125可以包括各种音频输出电路，并且通过处理器220的控制，输出包括在由调谐器140接收到的广播信号中的音频、经由通信器150或输入/输出单元170输入的音频、或存储在存储器210中的音频。音频输出接口125可以包括各种音频输出电路，例如但不限于：扬声器126、耳机输出端子127、Sony/Philips数字接口格式(S/PDIF)输出端子128等中的至少一个。
用户输入接口190可以例如是指用户通过其输入数据以控制电子装置100b的单元。用户输入接口190可以包括各种输入接口电路，例如但不限于，用于接收触摸输入的触摸输入接口。例如，用户输入接口190可以包括各种输入电路，但不限于，键盘、圆顶开关、触摸板(触摸电容式触摸板、耐压式触摸板、红外束感测式触摸板、表面声波式触摸板、一体式应变仪式触摸板、压电效应式触摸板等)、滚轮、滚轮开关等。图2A和图2B所示的电子装置100a和100b的框图是用于实施例的框图。可以基于实际实现的电子装置100a和100b的规范来集成、添加或省略框图的元件。例如，在必要时，两个或更多个元件可以集成为一个元件，或者一个元件可以被分为两个或更多个元件。在每个元件中执行的功能旨在描述实施例，并且其详细操作或装置不限制本公开的范围。
图3A是示出根据实施例的根据触摸输入的粗细而区分的输入类型的示例的图。
参照图3A，当使用电子装置100的触摸输入接口经由镜像画面接收到的触摸输入的粗细在第一值和第二值之间的范围内时(该镜像画面被输出到显示器的至少一部分)，触摸输入可以被识别为电子笔的输入，并且可以作为与触摸输入相对应的绘图输入来处理。
当使用电子装置100的触摸输入接口接收到的触摸输入的粗细在第二值和第三值之间的范围内时，触摸输入可以被识别为用户的手指的输入，并且可以作为与触摸输入对应的外部设备控制输入来处理。
在图3A中，第一值和第二值之间的范围可以被称为第一阈值范围，并且第二值和第三值之间的范围可以被称为第二阈值范围。
图3B是示出根据另一实施例的根据触摸输入的粗细而区分的输入类型的示例的图。
参照图3B，当使用电子装置100的触摸输入接口经由镜像画面接收到的触摸输入的粗细在第一值和第二值之间的范围内时(该镜像画面被输出到显示器的至少一部分)，触摸输入可以被识别为电子笔的输入，并且可以作为与触摸输入相对应的绘图输入来处理。
当使用电子装置100的触摸输入接口接收到的触摸输入的粗细在第二值和第三值之间的范围内时，触摸输入可以被识别为电子微型擦除器(electronic minute eraser)的输入，并且可以作为与触摸输入对应的绘图输入来处理。响应于电子微型擦除器的触摸输入，电子装置100可以擦除输出到电子装置100的画面的绘图数据。电子微型擦除器可以被布置为电子笔的一部分，或者可以被实现为与电子笔分离的设备。
当使用电子装置100的触摸输入接口接收到的触摸输入的粗细在第三值和第四值之间的范围内时，触摸输入可以被识别为用户的手指的输入，并且可以作为与触摸输入对应的外部设备控制输入来处理。
当使用电子装置100的触摸输入接口接收到的触摸输入的粗细在第四值和第五值之间的范围内时，触摸输入可以被识别为用户的手掌的输入，并且可以作为与触摸输入对应的绘图输入来处理。响应于手掌的触摸输入，电子装置100可以以比电子微型擦除器擦除的粗细大的粗细来擦除输出到画面的绘图数据。
在图3B中，第一值和第二值之间的范围可以称为第一阈值范围，第二值和第三值之间的范围可以称为第二阈值范围，第三值和第四值之间的范围可以称为第三阈值范围，并且第四值和第五值之间的范围可以称为第四阈值范围。
图3B所示的第一值至第五值不是必须使用的，并且可以根据***而选择性地使用。例如，在某些***中，可以不使用手掌的识别。此外，在另一***中，可以不使用电子微型擦除器的识别。
图3B所示的第一值至第五值可以不同地确定。
根据实施例，第一值至第五值可以作为例如但不限于经验测试的结果而被最佳地确定，并且可以被初始设置。
根据实施例，第一值至第五值可以由用户经由适当的用户界面来设置或改变。
根据实施例，可以通过使用利用一个或多个神经网络的训练模型来确定第一值至第五值。一个或多个神经网络中的每一个可以是根据人工智能(AI)，基于输入到每个神经网络的触摸输入的粗细数据，针对第一值至第五值训练的一组算法。
现在将参照图4A、图4B、图4C、图4D和图4E描述由电子装置100执行的、输出外部设备的镜像画面并根据触摸输入的粗细在操作之间进行区分的方法。
根据实施例的电子装置100可以对外部设备进行镜像，从而将外部设备的画面输出到显示器230。例如，电子装置100可以将外部设备的画面输出到显示器230的整个区域或显示器230的至少一部分，并且可以经由输出到显示器230的外部设备的画面来控制外部设备。此外，电子装置100可以经由显示器230接收触摸输入，并且可以基于接收到的触摸输入的粗细将接收到的触摸输入识别为绘图输入或外部设备控制输入。
例如，当触摸输入的粗细对应于第一阈值范围时，电子装置100可以将触摸输入识别为绘图输入，以及当触摸输入的粗细对应于第二阈值范围时，电子装置100可以将触摸输入识别为外部设备控制输入，其中，第一阈值范围可以小于第二阈值范围。根据实施例，电子装置100可以基于触摸输入的粗细，将接收到的触摸输入识别为例如但不限于电子笔101的触摸输入或手指102的触摸输入，但是本公开不限于此。
图4A是示出根据实施例的基于触摸输入的粗细来控制外部设备50的示例的图。
参照图4A，电子装置100可以对外部设备50进行镜像，然后可以将被镜像的外部设备50的画面110输出到显示器230的至少一部分。此外，电子装置100可以接收对被输出到显示器230的外部设备50的画面110上显示的图标400进行触摸的触摸输入，并且可以基于触摸输入的粗细来将接收到的触摸输入识别为选择图标400的输入。因为将接收到的触摸输入识别为选择图标400的输入，所以电子装置100可以响应于选择图标400的输入来控制外部设备50。例如，当选择的图标400是指示安装在外部设备50中的应用的图标时，电子装置100可以响应于选择图标400的输入来控制外部设备50执行该应用。例如，电子装置100可以生成与对图标400的选择相对应的外部设备控制信号401，即，指示图标400已经被选择的信号401，并且可以将所生成的外部设备控制信号401发送到外部设备50。外部设备50接收外部设备控制信号401，并响应于外部设备控制信号401而执行与对图标400的选择相对应的控制功能。例如，当图标400指示安装在外部设备50中的应用时，外部设备50可以响应于对图标400的选择来执行该应用。当执行与图标400相对应的应用时，外部设备50可以显示所执行的应用的画面402，并且由于镜像状态，电子装置100可以接收并显示在外部设备50的显示器上显示的所执行的应用的画面402。
作为另一示例，当所选图标400指示外部设备50的某个菜单时，电子装置100可以控制外部设备50执行与所选菜单相对应的操作。对应于所选择的菜单的操作可以包括例如但不限于页面上移/页面下移菜单等。
图4B是示出根据另一实施例的基于触摸输入的粗细来控制外部设备50的示例的图。
参照图4B，电子装置100在显示器230的至少一部分上显示镜像画面402。在镜像画面402的下部处，可以显示转到前一页面图标411和转到下一页面图标412。转到前一页面图标411可以基于网页历史来执行返回到在当前页面之前曾打开的页面的功能。转到下一页面图标412可以基于网页历史来执行转到在当前页面之后曾打开的页面的功能。
用户可以使用手指102选择转到前一页面图标411。电子装置100可以接收图标选择输入，并且可以基于触摸输入的粗细将接收到的触摸输入识别为图标选择输入。当接收到的触摸输入被识别为图标选择输入时，电子装置100可以响应于图标选择输入来控制外部设备50。详细地，电子装置100可以生成指示转到前一页面图标411已经被选择的、与对转到前一页面图标411的选择相对应的外部设备控制信号413，并且可以将所生成的外部设备控制信号413发送到外部设备50。外部设备50接收外部设备控制信号413，并且执行与对转到前一页面图标411的选择相对应的控制功能。当响应于转到前一页面图标411执行返回到前一页面的功能时，外部设备50可以基于历史来显示在当前页面之前曾打开的页面的画面414，并且由于镜像状态，电子装置100可以接收并显示在外部设备50的显示器上显示的页面的画面414。类似地，当使用手指102选择转到下一页面图标412时，外部电子装置50可以如以上参考转到前一页面图标411所描述的那样执行与选择相对应的控制功能，但是执行显示下一页面的功能。
图4C是示出根据另一实施例的基于触摸输入的粗细来控制外部设备50的示例的图。
参照图4C，电子装置100在显示器230的至少一部分上显示镜像画面402。用户可以使用手指102在显示的镜像画面402上执行垂直拖动。电子装置100可以接收拖动触摸输入，并且可以基于拖动触摸输入的粗细将接收到的拖动触摸输入识别为外部设备控制输入。当接收到的拖动触摸输入被识别为外部设备控制输入时，电子装置100可以响应于拖动触摸输入来控制外部设备50。例如，电子装置100可以生成与拖动相对应的控制信号，例如指示拖动在开始位置处开始并在结束位置处结束的外部设备控制信号421，并且可以将所生成的外部设备控制信号421发送到外部设备50。外部设备50接收外部设备控制信号421，并执行与外部设备控制信号421相对应的控制功能。即，外部设备50可以响应于指示拖动在开始位置处开始并在结束位置处结束的外部设备控制信号421而执行页面滚动，并且可以基于页面滚动来显示新的页面画面422，并且由于镜像状态，电子装置100可以接收并显示在外部设备50的显示器上显示的页面画面422。
图4D是示出根据另一实施例的基于触摸输入的粗细来控制外部设备50的示例的图。
参照图4D，电子装置100在显示器230的至少一部分上显示镜像画面402。用户可以使用手指102在显示的镜像画面402上执行水平拖动。电子装置100可以接收拖动触摸输入，并且可以基于拖动触摸输入的粗细将接收到的拖动触摸输入识别为外部设备控制输入。当接收到的拖动触摸输入被识别为外部设备控制输入时，电子装置100可以响应于拖动触摸输入来控制外部设备50。例如，电子装置100可以生成与拖动相对应的控制信号，例如指示拖动在开始位置处开始并在结束位置处结束的外部设备控制信号431，并且可以将所生成的外部设备控制信号431发送到外部设备50。外部设备50接收外部设备控制信号431，并执行与外部设备控制信号431相对应的控制功能。即，外部设备50可以响应于指示拖动在开始位置处开始并在结束位置处结束的外部设备控制信号431而转向到下一页面，并且可以根据页面的转向来显示新的页面画面432，并且由于镜像状态，电子装置100可以接收并显示在外部设备50的显示器上显示的页面画面432。
图4E是示出根据实施例的基于触摸输入的粗细将触摸输入处理为绘图输入的示例的图。
参照图4E，在其中在外部设备50中执行文档文件并且文档文件画面440被输出到外部设备50的显示器的情况下，镜像后的电子装置100可以将文档文件已被输出到的外部设备50的文档文件画面440输出到显示器230。此外，电子装置100可以在输出到显示器230的文档文件画面440上接收绘制特定轨迹441的触摸输入、或绘制特定图形442的触摸输入，并且可以根据触摸输入的粗细将接收到的触摸输入识别为绘图输入。当将接收到的触摸输入识别为绘图输入时，电子装置100可以将与绘图输入相对应的绘图数据输出到显示器230。因此，电子装置100可以基于触摸输入的粗细自动识别触摸输入类型，而无需用于改变触摸输入类型(例如，选择图标的输入或绘图输入)的附加操作。绘图输入与对电子装置100自控制的功能相关联，因此绘图输入在电子装置100中执行，并且不用于控制外部设备50，使得绘图数据不显示在外部设备50上。
图5是示出根据实施例的在将视频输出到电子装置100的显示器230期间接收绘图输入的示例的图。
根据实施例，在外部设备再现视频期间，外部设备可以被镜像在电子装置100中，并且电子装置100可以将显示正被再现的视频的外部设备的画面输出到显示器230。
根据实施例的电子装置100可以接收触摸输入，并且可以基于触摸输入的粗细将接收到的触摸输入识别为绘图输入。电子装置100可以将接收到的触摸输入确定为电子笔101的触摸输入，并且可以将电子笔101的触摸输入识别为绘图输入。当接收到的触摸输入被识别为绘图输入时，电子装置100可以控制外部设备将正在外部设备中再现的视频改变为暂停状态。
例如，参考图5，可以在会议中使用足球比赛视频来分析足球策略，并且用户可以在足球比赛视频上绘制图形的同时提供解释以帮助会议参与者理解。另外，会议中使用的足球比赛视频可以不存储在电子装置100中，而可以存储在外部设备中。在此，外部设备再现足球比赛视频，并且被镜像在电子装置100中，再现足球比赛视频的外部设备50的画面110可以被输出到电子装置100的显示器230。
当再现足球比赛视频的外部设备50的画面110被输出到显示器230时，为了说明，用户可以使用电子笔101在显示器230上绘制特定轨迹501。电子装置100可以基于接收到的触摸输入的粗细将接收到的触摸输入识别为绘图输入。此外，当触摸输入被识别为绘图输入时，电子装置100可以控制外部设备50将正在外部设备50中再现的足球比赛视频改变为暂停状态。例如，如图5所示，表示视频处于暂停状态的图标502可以被输出到外部设备50的画面110，但是本公开不限于此。
图6是示出根据实施例的电子装置100输出与绘图输入相关的菜单610的示例的图。
根据实施例的电子装置100可以响应于预设的触摸输入而输出与绘图输入相关的菜单610。例如，当前触摸输入可以是但不限于触摸显示器230至少预设时间段(例如，1秒)的输入、或轻敲显示器230至少预设次数(例如，两次)的输入。
参照图6，当电子装置100将再现足球比赛视频的外部设备50的画面110输出到显示器230时，绘制图形601和/或箭头602的触摸输入可以从电子笔101被接收。电子装置100可以基于触摸输入的粗细来将接收到的触摸输入确定为电子笔101的输入，并且可以将接收到的触摸输入识别为绘图输入。另外，由于该绘图输入，电子装置100可以将图形601和/或箭头602输出到显示器230。
当绘图输入完成，并且从电子笔101接收到触摸显示器230至少预设时间段(例如，1秒)的输入时，电子装置100可以输出与绘图输入相关的菜单610。与绘图输入相关的菜单610可以包括但不限于用于设置绘图输入的属性、存储绘图输入等的菜单。例如，当绘图输入是绘制特定轨迹的输入时，与绘图输入相关的菜单610可以包括用于设置指示轨迹的线的颜色、粗细和样式(例如，实线、虚线等)的菜单，并且可以包括用于存储输出到显示器230的绘图数据的菜单。另外，当绘图输入是输入文本的输入时，与绘图输入相关的菜单610可以包括但不限于用于设置文本的字体和大小中的至少一个的菜单。
根据实施例的电子装置100可以输出与绘图输入相关的菜单610，并且可以执行与用户选择的菜单相对应的操作(例如，将该线设置为蓝色线)。
图7A、图7B和图7C是示出根据实施例的电子装置100存储绘图数据和外部设备50的画面110的捕获图像的示例的图。
根据实施例的电子装置100可以存储绘图数据和外部设备50的画面110的捕获图像。
参照图7A，电子装置100可以响应于从与绘图输入相关的菜单710中选择“存储”菜单的触摸输入，来存储绘图数据(例如701、702)和外部设备50的画面110的捕获图像。这里，选择“存储”菜单的触摸输入可以是用户的手102的触摸输入，并且电子装置100可以基于触摸输入的粗细将触摸输入识别为选择图标的输入。
根据实施例的电子装置100可以响应于选择“存储”菜单的触摸输入而将绘图数据和外部设备50的画面110的捕获图像存储为不同的文件。另外，电子装置100可以以重叠的方式输出被存储为不同文件的捕获图像和绘图数据。
在电子装置100存储外部设备50的画面110的捕获图像和绘图数据之后，电子装置100可以删除绘图数据。例如，参考图7B，当从与绘图输入相关的菜单710中选择“存储”菜单的触摸输入被接收到时，电子装置100可以输出用于选择是否删除绘图数据的菜单720。例如，如图7B所示，当触摸输出菜单720的与“是”对应的区域的触摸输入被接收到时，电子装置100可以基于触摸输入的粗细来将接收到的触摸输入确定为手指102的触摸输入，并且可以将该触摸输入识别为选择图标的输入。因此，在电子装置100存储外部设备50的画面110的捕获图像和绘图数据之后，电子装置100可以删除输出的绘图数据。
根据实施例的电子装置100可以存储外部设备50的画面110的捕获图像和绘图数据，并且可以将所存储的捕获图像和所存储的绘图数据另外输出到显示器230。参照图7C，电子装置100可以响应于用户输入来存储外部设备50的画面110的捕获图像、和绘图数据，并且可以将所存储的捕获图像和所存储的绘图数据730另外输出到外部设备50的画面110。在外部设备50的画面110的捕获图像和绘图数据被存储之后，当选择用于删除绘图数据的菜单的输入被接收到时，电子装置100可以将所存储的捕获图像和绘图数据730输出到显示器230，并且可以删除输出到外部设备50的画面110的绘图数据。
图8A和图8B是示出根据实施例的电子装置100删除绘图数据的示例的图。
根据实施例的电子装置100可以删除输出到显示器230的绘图数据。例如，参考图8A，当外部设备50被镜像在电子装置100中并且因此再现足球比赛视频的外部设备50的画面110被输出到显示器230时，用户可以使用电子笔101绘制箭头800来说明足球比赛视频。电子装置100可以基于触摸输入的粗细将接收到的触摸输入识别为绘图输入，并且由于触摸输入，电子装置100可以将箭头800输出到显示器230。为了删除输出到显示器230的箭头800，用户可以使用电子笔101的相反端删除输出到显示器230的箭头800的至少一部分。
从电子笔101的相反端接收的触摸输入的粗细可以大于从电子笔101的末端接收的触摸输入的粗细。电子装置100可以测量从电子笔101的相反端接收的触摸输入的粗细，并且基于所测量的触摸输入的粗细，电子装置100可以将接收到的触摸输入确定为电子笔101的相反端的触摸输入。另外，当接收到的触摸输入被确定为电子笔101的相反端的触摸输入时，电子装置100可以将该触摸输入识别为删除绘图数据的输入，并且电子装置100可以响应于识别出的输入而删除箭头800的至少一部分。
此外，电子装置100可以响应于使用手掌的触摸输入来删除输出到显示器230的绘图输入。例如，参考图8B，响应于使用手掌103触摸输出到显示器230的绘图输入810的至少一部分的触摸输入，电子装置100可以删除该输出到显示器230的绘图输入810的至少一部分。电子装置100可以基于触摸输入的粗细来确定输入是否是手掌103的触摸输入。例如，当触摸输入的粗细等于或大于阈值(例如，3cm)时，电子装置100可以将接收到的触摸输入确定为手掌103的触摸输入。当接收到的触摸输入被确定为手掌103的触摸输入时，电子装置100可以删除输出到显示器230的从中检测到触摸输入的区域的绘图输入。
图9是示出根据实施例的电子装置100移动外部设备的画面的捕获图像的示例的图。
根据实施例的电子装置100可以响应于移动所存储的图像的输入来移动和输出绘图数据和外部设备的画面的捕获图像。
参照图9，当绘图输入完成时，电子装置100可以存储绘图数据和外部设备的画面的捕获图像900。此外，电子装置100可以接收移动所存储的捕获图像900的触摸输入。例如，电子装置100可以接收使用手指102在特定方向上拖动所存储的捕获图像900的触摸输入。电子装置100可以基于触摸输入的粗细来将接收到的触摸输入确定为手指102的触摸输入。当电子装置100识别出手指102的触摸输入指示特定轨迹910时，电子装置100可以将接收到的触摸输入识别为移动所存储的捕获图像900和绘图数据的输入。因此，电子装置100可以移动所存储的捕获图像900和绘图数据两者。
图10是示出根据实施例的电子装置100在外部设备50的画面110之外输出绘图数据的示例的图。
参照图10，根据实施例的电子装置100可以通过对外部设备50进行镜像而将外部设备50的画面110输出到显示器230。当基于接收到的触摸输入的粗细将接收到的触摸输入识别为绘图输入时，电子装置100可以将与识别出的绘图输入相对应的绘图数据1000、1001和1002输出到显示器230。例如，如图10所示，当接收到使用电子笔101绘制特定轨迹的触摸输入时，电子装置100可以将接收到的触摸输入识别为绘图输入。输出到显示器230的绘图数据1000、1001和1002中的绘图数据1001和1002可以在显示器230的与外部设备50的画面110对应的区域之外被输出。
此外，电子装置100可以存储绘图数据1000、1001和1002以及外部设备50的画面110的捕获图像。就此而言，绘图数据1000、1001和1002以及外部设备50的画面110的捕获图像可以被存储为不同的文件。
当接收到在特定方向上拖动所存储的图像的输入时，电子装置100可以移动所存储的捕获图像和绘图数据两者。在这方面，所存储的捕获图像上的绘图数据1000可以与所存储的捕获图像一起被移动，并且在显示器230的与外部设备50的画面110相对应的区域之外输出的绘图数据1001和1002可以不被移动。
图11A、图11B和图11C是示出根据实施例的电子装置100将外部设备的画面1100输出到显示器230的整个区域的示例的图。
根据实施例的电子装置100可以将在电子装置100中镜像的外部设备的画面输出到显示器230的整个区域。选择图标或滚动页面的输入可以是用于控制外部设备的输入，该输入在外部设备的画面被输出到显示器230的整个区域期间所接收到的触摸输入之中。例如，参考图11A，外部设备可以执行文档文件并且可以被镜像在电子装置100中。因此，电子装置100可以将其中执行了文档文件的外部设备的画面1100输出到显示器230。
如图11A所示，当使用手指102触摸在外部设备的画面1100上显示的图表的点1110的输入被接收到时，电子装置100可以基于触摸输入的粗细将接收到的触摸输入识别为选择图标的输入。当外部设备的画面1100被输出到显示器230的整个区域时，选择图标的输入可以是用于控制外部设备的输入。例如，响应于触摸在外部设备的画面1100上显示的图表的点1110的输入，电子装置100可以控制外部设备在外部设备的画面1100上显示被触摸的点1110的值1111。
参照图11B，在外部设备的画面1100被输出到显示器230的整个区域期间，电子笔101的绘图输入可以被接收。电子装置100可以基于接收到的触摸输入的粗细将接收到的触摸输入识别为电子笔101的绘图输入，并且电子装置100可以将与识别出的绘图输入相对应的绘图数据1130输出到显示器230。当绘图输入被接收到时，电子装置100可以输出菜单1120，该菜单1120用于将外部设备的画面1100从显示器230的整个区域输出到显示器230的至少一部分。例如，如图11B所示，菜单1120可以被输出到显示器230的顶部，但是本公开不限于此。
在外部设备的画面1100被输出到显示器230的整个区域期间接收到的触摸输入可以是用于控制外部设备的输入(例如，选择输出到外部设备的画面1100的图标的输入)或绘图输入。因此，在外部设备的画面1100被输出到显示器230的整个区域期间，为了将外部设备的画面1100的输出切换为到显示器230的至少一部分的输出，需要与用于控制外部设备的输入或绘图输入不同的另一输入。因此，当外部设备的画面1100被输出到显示器230的整个区域时，电子装置100还可以将用于将外部设备的画面1100输出到显示器230的至少一部分的菜单1120输出到显示器230。此外，响应于使用电子笔101选择菜单1120的输入，电子装置100可以缩小外部设备的画面1100并将外部设备的画面1100输出至显示器230的至少一部分。
参照图11C，电子装置100可以接收电子笔101的触摸输入，并且可以基于触摸输入的粗细将接收到的触摸输入识别为绘图输入。然而，当接收到使用电子笔101触摸菜单的输入时，电子装置100可以不将接收到的触摸输入识别为绘图输入，而是可以将接收到的触摸输入识别为用于将外部设备的画面1100的输出切换为输出到显示器230的至少一部分的输出的输入。响应于识别出的输入，电子装置100可以将外部设备的画面1100缩小为外部设备的画面1140，并且可以将画面1140从显示器230的整个区域输出到显示器230的至少一部分。因此，电子装置100可以容易地将显示器230的区域从整个区域改变为至少一部分，其中，外部设备的画面1100被输出到该区域。
图12是示出根据实施例的操作电子装置100的方法的流程图。
在操作S1200中，根据实施例的电子装置100通过对外部设备进行镜像来将外部设备的画面输出到显示器230。电子装置100将外部设备的画面输出到显示器230，从而允许用户经由输出到显示器230的外部设备的画面而容易地控制外部设备。
在操作S1210中，根据实施例的电子装置100基于接收到的触摸输入的粗细将该触摸输入识别为绘图输入或外部设备控制输入。
与外部设备控制输入相比，绘图输入需要相对精细的输入，因此绘图输入的粗细可以相对小于外部设备控制输入的粗细。电子装置100可以基于触摸输入的粗细将触摸输入识别为绘图输入或外部设备控制输入，从而容易地改变触摸输入的类型，而无需用于改变所识别的触摸输入的类型的附加操作。
根据实施例的电子装置100可以测量接收到的触摸输入的粗细，并且当所测量的触摸输入的粗细对应于第一阈值范围时，电子装置100可以将触摸输入识别为绘图输入。另外，当所测量的触摸输入的粗细对应于第二阈值范围时，电子装置100可以将触摸输入识别为外部设备控制输入。第一阈值范围和第二阈值范围可以根据电子装置100的内部设置而变化，或者可以根据用户的设置而变化。
根据实施例的电子装置100可以基于触摸输入的粗细来将触摸输入确定为电子笔101的触摸输入或手指的触摸输入。例如，用户的手指的输入的触摸的粗细可以大于电子笔101的输入触摸的粗细。因此，电子装置100可以测量触摸输入的粗细，并且当所测量的触摸输入的粗细等于或大于阈值时，处理器220可以将触摸输入确定为手指的触摸输入，并且当所测量的触摸输入的粗细小于阈值时，处理器220可以将触摸输入确定为电子笔101的触摸输入。
另外，当电子装置100将触摸输入确定为电子笔101的触摸输入时，电子装置100可以将触摸输入识别为绘图输入，并且当电子装置100将触摸输入确定为手指的触摸输入时，因此电子装置100可以将触摸输入识别为外部设备控制输入。
在操作S1220中，电子装置100可以响应于外部设备控制输入来控制外部设备，或者可以将绘图输入输出到显示器230。
根据实施例的电子装置100可以将绘图数据输出到显示器230的与外部设备的画面对应的区域。例如，绘图数据可以仅显示在显示器230的与外部设备的画面相对应的区域上，或者，在另一实施例中，绘图数据可以在显示器230的与外部设备的画面相对应的区域之外被输出。
当绘图输入完成时，根据实施例的电子装置100可以存储外部设备的画面的捕获图像和绘图数据。外部设备的画面的捕获图像、和绘图数据可以被存储为不同的文件，并且仅绘图数据可以根据用户的选择而被删除。
根据实施例的电子装置100可以响应于移动所存储的捕获图像的外部输入来移动所存储的捕获图像和绘图数据两者。
根据实施例的电子装置100可以将外部设备的画面输出到显示器230的整个区域，并且当绘图输入被接收到时，电子装置100可以在显示器230上显示用于将外部设备的画面输出到显示器230的至少一部分的菜单。此外，响应于使用电子笔101选择所显示的菜单的输入，电子装置100可以控制显示器230将外部设备的画面从显示器230的整个区域缩小到显示器230的至少一部分并输出外部设备的画面。
根据实施例，可以基于接收到的触摸输入的粗细来不同地识别触摸输入类型，而无需改变触摸输入类型的附加操作，并且基于识别出的触摸输入的类型，可以控制外部设备或者可以将绘图输入输出到显示器。因此，用户可以方便地体验绘图操作和对外部设备的控制，而无需取决于触摸输入类型来改变设备模式。
一些实施例可以实现为包括计算机可读指令(诸如将在计算机中执行的程序模块)的计算机可读记录介质。计算机可读记录介质可以包括可以由计算机访问的任何可用介质、易失性和非易失性介质以及可拆卸和不可拆卸介质。而且，计算机可读记录介质可以包括计算机存储介质和通信介质。计算机存储介质包括全部易失性和非易失性介质以及可拆卸和不可拆卸介质，其被技术上实现为存储包括计算机可读指令、数据结构、程序模块或其他数据在内的信息。通信介质包括计算机可读指令、数据结构、程序模块、调制式数据信号(例如，载波信号或其他传输机制)的其他数据，并且包括其他信息传输介质。
在整个公开中，术语“单元”可以指示诸如处理器或电路之类的硬件组件，和/或可以指示由诸如处理器之类的硬件配置执行的软件组件。
对于本领域的普通技术人员将显而易见的是，在不改变本公开的技术概念或本质特征的情况下，本公开可以容易地以许多不同的形式来实现。因此，应当理解，本文所述各种示例实施例应当被认为仅是描述意义的，而不是为了限制目的。例如，可以以分布式的方式执行单数形式的配置元件，并且也可以组合分布式的配置元件然后执行。
尽管已参考附图描述了各种示例实施例，但本领域普通技术人员将理解，在不脱离例如由权利要求限定的精神和范围的情况下，可以进行形式和细节上的多种改变。

Claims (15)

1.一种电子装置，包括：
显示器；
触摸输入接口，被配置为接收触摸输入；
存储器，被配置为存储一个或多个指令；以及
处理器，被配置为执行在所述存储器中存储的所述一个或多个指令，
其中，所述处理器被配置为执行所述一个或多个指令以：
通过对外部设备进行镜像，控制所述显示器将所述外部设备的画面输出到所述显示器的至少一部分，
基于所述触摸输入的粗细，将所述触摸输入识别为绘图输入或用于控制所述外部设备的外部设备控制输入，所述触摸输入是使用所述触摸输入接口经由输出到所述显示器的至少一部分的所述外部设备的画面接收的，
当所述触摸输入被识别为所述绘图输入时，控制所述显示器输出与所述绘图输入相对应的绘图数据，以及
当所述触摸输入被识别为所述外部设备控制输入时，控制所述外部设备。
2.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：
确定所述触摸输入的粗细，
当所述触摸输入的粗细对应于第一阈值范围时，将所述触摸输入识别为所述绘图输入，以及
当所述触摸输入的粗细对应于第二阈值范围时，将所述触摸输入识别为所述外部设备控制输入。
3.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：
基于所述触摸输入的粗细，将所述触摸输入确定为电子笔的触摸输入和手指的触摸输入中的一个，
当所述触摸输入被确定为所述电子笔的触摸输入时，将所述触摸输入识别为所述绘图输入，以及
当所述触摸输入被确定为所述手指的触摸输入时，将所述触摸输入识别为所述外部设备控制输入。
4.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：将所述绘图数据输出到所述显示器的与所述外部设备的画面对应的区域。
5.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：当所述绘图输入完成时，控制所述电子装置存储所述绘图数据和所述外部设备的画面的捕获图像。
6.根据权利要求5所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：响应于接收到移动所存储的捕获图像的外部设备控制输入，控制所述显示器移动和输出所述绘图数据和所存储的捕获图像。
7.根据权利要求6所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：控制所述显示器移动和输出所存储的捕获图像和所述绘图数据，所述绘图数据在输出到所述显示器的多个绘图数据项之中且位于所述显示器的与所述外部设备的画面对应的区域中。
8.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：
响应于触摸正输出到所述显示器的绘图输入的触摸输入，确定所述触摸输入的粗细，
当所述触摸输入的粗细对应于第三阈值时，将所述触摸输入识别为删除所述绘图输入的输入，以及
响应于识别出的输入，删除所述绘图数据。
9.根据权利要求1所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：
控制所述显示器将所述外部设备的画面输出到所述显示器的整个区域，
当所述绘图输入被接收到时，控制所述显示器显示菜单，所述菜单用于将所述外部设备的画面输出到所述显示器的一部分，以及
响应于选择所述菜单的输入，控制所述显示器将所述外部设备的画面从所述显示器的整个区域缩小到所述显示器的所述一部分并输出所述外部设备的画面。
10.根据权利要求9所述的电子装置，其中，所述处理器还被配置为执行所述一个或多个指令以：将使用电子笔触摸所述显示器的显示所述菜单的区域的触摸输入识别为选择所述菜单的输入。
11.一种操作电子装置的方法，所述方法包括：
通过对外部设备进行镜像，将所述外部设备的画面输出到所述电子装置的显示器的至少一部分；
经由输出到所述显示器的至少一部分的所述外部设备的画面来接收触摸输入；
基于所述触摸输入的粗细，将所述触摸输入识别为绘图输入或外部设备控制输入；
当所述触摸输入被识别为所述绘图输入时，输出与所述绘图输入相对应的绘图数据；以及
当所述触摸输入被识别为所述外部设备控制输入时，控制所述外部设备。
12.根据权利要求11所述的方法，其中，所述识别包括：
确定所述触摸输入的粗细；
当测量到的所述触摸输入的粗细对应于第一阈值范围时，将所述触摸输入识别为所述绘图输入；以及
当测量到的所述触摸输入的粗细对应于第二阈值范围时，将所述触摸输入识别为所述外部设备控制输入。
13.根据权利要求11所述的方法，其中，所述识别包括：
基于所述触摸输入的粗细，将所述触摸输入确定为电子笔的触摸输入和手指的触摸输入中的一个；
当所述触摸输入被确定为所述电子笔的触摸输入时，将所述触摸输入识别为所述绘图输入；以及
当所述触摸输入被确定为所述手指的触摸输入时，将所述触摸输入识别为所述外部设备控制输入。
14.根据权利要求11所述的方法，其中，输出所述绘图数据包括：将所述绘图数据输出到所述显示器的与所述外部设备的画面对应的区域。
15.根据权利要求11所述的方法，还包括：当所述绘图输入完成时，存储所述绘图数据和所述外部设备的画面的捕获图像。
CN201980007439.8A 2018-02-13 2019-01-02 电子装置及其操作方法 Active CN111566604B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180018059A KR102469754B1 (ko) 2018-02-13 2018-02-13 전자 장치 및 그 동작 방법
KR10-2018-0018059 2018-02-13
PCT/KR2019/000019 WO2019160238A1 (en) 2018-02-13 2019-01-02 Electronic apparatus and operating method of the same

Publications (2)

Publication Number Publication Date
CN111566604A true CN111566604A (zh) 2020-08-21
CN111566604B CN111566604B (zh) 2024-02-02

Family

ID=67542338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007439.8A Active CN111566604B (zh) 2018-02-13 2019-01-02 电子装置及其操作方法

Country Status (5)

Country Link
US (2) US10739907B2 (zh)
EP (1) EP3685254B1 (zh)
KR (2) KR102469754B1 (zh)
CN (1) CN111566604B (zh)
WO (1) WO2019160238A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346597A (zh) * 2020-11-11 2021-02-09 广州视源电子科技股份有限公司 触控处理方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111357268A (zh) * 2018-09-05 2020-06-30 Lg 电子株式会社 移动终端
KR20220087815A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 전자장치 및 그 제어방법
TWI770979B (zh) * 2021-05-03 2022-07-11 華碩電腦股份有限公司 螢幕顯示方法及裝置
KR20230112485A (ko) * 2022-01-20 2023-07-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132699A (ja) * 1998-10-22 2000-05-12 Casio Comput Co Ltd 作画制御装置及び記憶媒体
JP2004046797A (ja) * 2002-05-13 2004-02-12 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
CN103809903A (zh) * 2012-11-01 2014-05-21 三星电子株式会社 用于控制虚拟屏幕的方法和装置
US20140191983A1 (en) * 2013-01-04 2014-07-10 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20140337720A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. Apparatus and method of executing function related to user input on screen
CN104508618A (zh) * 2012-05-09 2015-04-08 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
US20150116248A1 (en) * 2013-10-31 2015-04-30 Konica Minolta, Inc. Input device, input value correction method, and program
CN104657062A (zh) * 2013-11-22 2015-05-27 义隆电子股份有限公司 图形编辑方法以及电子装置
US20150160794A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Resolving ambiguous touches to a touch screen interface
US20150160779A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Controlling interactions based on touch screen contact area
CN104866210A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 一种触摸屏操控方法、装置及电子设备
CN205210858U (zh) * 2014-09-02 2016-05-04 苹果公司 电子触摸通信
CN105814531A (zh) * 2013-12-03 2016-07-27 微软技术许可有限责任公司 根据输入源标识符改变的用户界面适配
CN106781744A (zh) * 2017-02-01 2017-05-31 徐西文 智能数学媒体教学***
US20170255304A1 (en) * 2012-07-06 2017-09-07 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
CN107491257A (zh) * 2016-06-12 2017-12-19 苹果公司 用于访问常用设备功能的设备和方法
CN107548486A (zh) * 2015-04-29 2018-01-05 三星电子株式会社 用于提供快捷用户界面的电子装置及其方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657866B2 (ja) * 2009-02-25 2015-01-21 レノボ・イノベーションズ・リミテッド（香港） 入力装置、ポインタの表示位置調整方法およびプログラム
EP2733591B1 (en) * 2011-07-11 2019-05-08 KDDI Corporation User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
US9176703B2 (en) 2012-06-29 2015-11-03 Lg Electronics Inc. Mobile terminal and method of controlling the same for screen capture
KR101875744B1 (ko) * 2012-07-13 2018-07-06 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR101890626B1 (ko) * 2012-07-06 2018-09-28 엘지전자 주식회사 이동 단말기, 영상표시장치 및 이들을 이용한 사용자 인터페이스 제공 방법
US9639199B2 (en) 2013-06-07 2017-05-02 Samsung Electronics Co., Ltd. Method and device for controlling a user interface
US9462175B2 (en) * 2013-11-18 2016-10-04 Heekwan Kim Digital annotation-based visual recognition book pronunciation system and related method of operation
JP2015146177A (ja) * 2014-01-06 2015-08-13 船井電機株式会社 入力装置
JP2015197587A (ja) * 2014-04-01 2015-11-09 セイコーエプソン株式会社 双方向表示方法および双方向表示装置
KR20160108732A (ko) * 2015-03-06 2016-09-20 (주)케이지일렉트론 터치형 더미 디스플레이 장치와 스마트폰을 무선으로 연동시키는 미러링 터치조작 시스템 및 이를 이용한 양방향 제어방법

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000132699A (ja) * 1998-10-22 2000-05-12 Casio Comput Co Ltd 作画制御装置及び記憶媒体
JP2004046797A (ja) * 2002-05-13 2004-02-12 Ricoh Co Ltd タッチパネル付きディスプレイ装置、タッチパネル付きディスプレイ装置の制御方法およびその方法をコンピュータに実行させるためのプログラム
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
WO2010113397A1 (ja) * 2009-03-31 2010-10-07 三菱電機株式会社 表示入力装置
CN104508618A (zh) * 2012-05-09 2015-04-08 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
US20170255304A1 (en) * 2012-07-06 2017-09-07 Lg Electronics Inc. Mobile terminal, image display device and user interface provision method using the same
CN103809903A (zh) * 2012-11-01 2014-05-21 三星电子株式会社 用于控制虚拟屏幕的方法和装置
US20140191983A1 (en) * 2013-01-04 2014-07-10 Lg Electronics Inc. Mobile terminal and controlling method thereof
US20140337720A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. Apparatus and method of executing function related to user input on screen
US20150116248A1 (en) * 2013-10-31 2015-04-30 Konica Minolta, Inc. Input device, input value correction method, and program
CN104657062A (zh) * 2013-11-22 2015-05-27 义隆电子股份有限公司 图形编辑方法以及电子装置
CN105814531A (zh) * 2013-12-03 2016-07-27 微软技术许可有限责任公司 根据输入源标识符改变的用户界面适配
US20150160794A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Resolving ambiguous touches to a touch screen interface
US20150160779A1 (en) * 2013-12-09 2015-06-11 Microsoft Corporation Controlling interactions based on touch screen contact area
CN104866210A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 一种触摸屏操控方法、装置及电子设备
CN205210858U (zh) * 2014-09-02 2016-05-04 苹果公司 电子触摸通信
CN107548486A (zh) * 2015-04-29 2018-01-05 三星电子株式会社 用于提供快捷用户界面的电子装置及其方法
CN107491257A (zh) * 2016-06-12 2017-12-19 苹果公司 用于访问常用设备功能的设备和方法
CN106781744A (zh) * 2017-02-01 2017-05-31 徐西文 智能数学媒体教学***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346597A (zh) * 2020-11-11 2021-02-09 广州视源电子科技股份有限公司 触控处理方法、装置和电子设备

Also Published As

Publication number Publication date
KR20220128970A (ko) 2022-09-22
KR20190097973A (ko) 2019-08-21
EP3685254A1 (en) 2020-07-29
EP3685254B1 (en) 2022-12-07
US20200341582A1 (en) 2020-10-29
CN111566604B (zh) 2024-02-02
US10739907B2 (en) 2020-08-11
US20190250757A1 (en) 2019-08-15
WO2019160238A1 (en) 2019-08-22
KR102548903B1 (ko) 2023-06-29
KR102469754B1 (ko) 2022-11-22
EP3685254A4 (en) 2020-11-25

Similar Documents

Publication Publication Date Title
CN111566604B (zh) 电子装置及其操作方法
CN109479162B (zh) 图像显示设备和显示图像的方法
US9411512B2 (en) Method, apparatus, and medium for executing a function related to information displayed on an external device
KR102092234B1 (ko) 이동 단말기 및 그 제어방법
US9514784B2 (en) Terminal and operating method thereof
CN112181226B (zh) 用于提供内容的方法和装置
EP2717259A2 (en) Method and apparatus for performing preset operation mode using voice recognition
KR20180134668A (ko) 이동 단말기 및 그 제어방법
WO2021136136A1 (zh) 截图方法及电子设备
KR20140128208A (ko) 사용자 단말 장치 및 그 제어 방법
US20120030619A1 (en) Method for providing user interface and display apparatus applying the same
CN105683895A (zh) 提供用户交互的用户终端设备及其方法
US20180364890A1 (en) Image display apparatus and method of operating the same
US9652120B2 (en) Electronic device and method for controlling a screen
US10691333B2 (en) Method and apparatus for inputting character
US20160378217A1 (en) Input device, electronic apparatus for receiving signal from input device and controlling method thereof
US20150106706A1 (en) Electronic device and method for controlling object display
KR20160053675A (ko) 전자 칠판 장치 및 그 제어 방법
US20160041960A1 (en) Method and device for controlling the same
KR101373337B1 (ko) 이동 단말기 및 이의 제어방법
US10871898B2 (en) Display apparatus for providing preview UI and method of controlling display apparatus
US20140223339A1 (en) Method and electronic device for controlling dynamic map-type graphic interface
KR20210023434A (ko) 디스플레이장치 및 그 제어방법
US20140223340A1 (en) Method and electronic device for providing dynamic map-type graphic interface
KR102149465B1 (ko) 이동단말 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant