WO2018043998A1 - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2018043998A1
WO2018043998A1 PCT/KR2017/009314 KR2017009314W WO2018043998A1 WO 2018043998 A1 WO2018043998 A1 WO 2018043998A1 KR 2017009314 W KR2017009314 W KR 2017009314W WO 2018043998 A1 WO2018043998 A1 WO 2018043998A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
message
input
pressure
emoticon
Prior art date
Application number
PCT/KR2017/009314
Other languages
English (en)
French (fr)
Inventor
최보근
전용준
김건수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/330,286 priority Critical patent/US20190204868A1/en
Publication of WO2018043998A1 publication Critical patent/WO2018043998A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a control method thereof for controlling the electronic device using a pressure input of a user.
  • the wearable device has a display size of a limited size due to the characteristics of a small device, and there is a difficulty in manipulation through user input due to the limitation of the display size. For example, a user can easily check a message received on a smartphone using a smart watch, but due to the limited display size and input means of the smart watch, it is difficult to directly answer the received message on the smart watch. there is a problem.
  • Various embodiments of the present disclosure may provide an electronic device and a method of controlling the same, which may provide a means for a user to easily and quickly and accurately prepare an answer message to a received message in the electronic device.
  • Various embodiments of the present disclosure may provide an electronic device and a control method thereof that can easily and simply express an answer to a received message through active use of visual emotional content in the electronic device.
  • Various embodiments of the present disclosure provide an intuitive user interface (UI) / user experience (UX) corresponding to an operation characteristic by allowing a user to use a touch input and a pressure input of a user in an electronic device.
  • UI intuitive user interface
  • UX user experience
  • An electronic device capable of improving usability and a method of controlling the same can be provided.
  • An electronic device may include a touch screen display; A pressure sensor configured to detect pressure on the touch screen display; Wireless communication circuitry configured to transmit and receive wireless signals; At least one processor in electrical connection with the touchscreen display, the pressure sensor, and the wireless communication circuitry; And a memory electrically coupled to the processor, wherein, when executed, the processor displays, on the touchscreen display, at least one reply message to a message received via the wireless communication circuitry; Instructions for receiving at least one input through a touchscreen display and for changing the at least one reply message based on at least one of the strength or duration of the pressure of the received input may be stored.
  • a control method of an electronic device may include receiving a message, displaying at least one response message to the received message on a touch screen display of the electronic device, and at least through the touch screen display. Receiving one input, and changing the at least one reply message based on at least one of a pressure or a duration of the received input.
  • An electronic device and a method of controlling the same are provided so that a user can easily and quickly provide a means for creating an answer message to a received message in an electronic device. For example, a user may not only check a message received at a wearable device having a limited size display, but also send a simple reply message to the originating electronic device of the message quickly and easily. With minimal touch and pressure input, users can quickly and accurately generate responses that reflect their intentions.
  • FIG. 1 illustrates a network environment including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a block diagram illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • 5A and 5B illustrate a stacked structure of components included in an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a block diagram illustrating a configuration of an electronic device for generating a recommended answer to a received message according to various embodiments of the present disclosure.
  • FIGS. 7A and 7B are flowcharts illustrating an electronic device selecting a response method of a received message by a user input according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating an operation screen of an electronic device according to selection of a response method of a received message by a user input according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating an operation of executing a recommendation answer mode of an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is a diagram illustrating a user's operation of an electronic device until transmitting a recommendation response to a received message according to various embodiments of the present disclosure. Referring to FIG. 10
  • FIG. 11 is a flowchart illustrating a control operation of an electronic device for generating a recommended response to a received message and transmitting a response message to a caller according to various embodiments of the present disclosure.
  • FIG. 12 is a diagram illustrating a display of a simplified recommendation reply message when the simplified recommendation reply message list is a central keyword list according to various embodiments of the present disclosure.
  • FIG. 13 is a diagram illustrating a display of a simplified recommendation response message when the simplified recommendation response message list is an emoticon list according to various embodiments of the present disclosure
  • FIG. 14 is a view illustrating an operation of displaying emoticons in an animation form through a combination of keywords of a received message according to various embodiments of the present disclosure.
  • 15 is a view illustrating an operation of changing a selected recommended answer according to the strength of a pressure input according to various embodiments of the present disclosure.
  • 16 is a view illustrating a property change of a text according to a pressure input when the recommended answer is text according to various embodiments of the present disclosure.
  • 17 is a view illustrating a size change of an emoticon according to a pressure input when the recommended answer is an emoticon according to various embodiments of the present disclosure.
  • FIG. 18 is a diagram illustrating a change in the size of an emoticon according to the strength of a pressure input for the selected emoticon as a recommended answer according to various embodiments of the present disclosure.
  • FIG. 19 is a diagram for describing replacement of an emoticon selected according to an input of an emoticon selected as a recommended answer according to various embodiments of the present disclosure
  • 20 is a view illustrating a property change of an emoticon selected as a recommended answer according to various embodiments of the present disclosure.
  • 21 is a view illustrating a property change of an emoticon selected as a recommended answer according to various embodiments of the present disclosure.
  • FIG. 22 is a view illustrating a property change of an emoticon selected as a recommended answer according to various embodiments of the present disclosure.
  • 23A and 23B are flowcharts illustrating a control operation of an electronic device according to various embodiments of the present disclosure.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • processor configured (or configured to) perform A, B, and C may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general purpose processor (eg, a CPU or an application processor) capable of performing the corresponding operations.
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP ( portable multimedia player), an MP3 player, a medical device, a camera, or a wearable device.
  • Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • the electronic device may be, for example, a television, a digital video disk (DVD) player, or audio.
  • Refrigerator, air conditioner, cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ), game consoles (for example: Xbox TM, PlayStation TM), may include electronic dictionary, at least one of the electronic key, a camcorder, or a digital photo frame.
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure monitors, or body temperature meters
  • MRA magnetic resonance angiography
  • MRI magnetic resonance imaging
  • CT Computed tomography
  • GNSS global navigation satellite systems
  • EDRs event data recorders
  • FDRs flight data recorders
  • automotive infotainment devices ship electronics
  • an electronic device may be a piece of furniture, a building / structure or a car, an electronic board, an electronic signature receiving device, a projector, or various measurement devices (eg, water, electricity, Gas, or a radio wave measuring instrument).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • An electronic device according to an embodiment of the present disclosure is not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170. According to an embodiment of the present disclosure, the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, or a communication processor (CP). The processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 101.
  • the memory 130 may include volatile and / or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, an application program (or “application”) 147, or the like.
  • API application programming interface
  • application or “application”
  • At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system.
  • the kernel 141 may be a system resource (eg, used to execute an action or function implemented in, for example, other programs (eg, middleware 143, API 145, or application program 147).
  • the bus 110, the processor 120, or the memory 130 may be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. Can be.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority.
  • the middleware 143 may use system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 for at least one of the application programs 147. Prioritize and process the one or more work requests.
  • the API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143.
  • the API 145 may include at least the following: file control, window control, image processing, or character control. It can contain one interface or function (eg command).
  • the input / output interface 150 may transmit, for example, a command or data input from a user or another external device to other component (s) of the electronic device 101, or other components of the electronic device 101 ( Commands or data received from the device) can be output to the user or other external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It may include.
  • the display 160 may display, for example, various types of content (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 160 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • the wireless communication may be, for example, LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global network (GSM).
  • LTE Long Term Evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal mobile telecommunications system
  • WiBro wireless broadband
  • GSM global network
  • the wireless communication may include, for example, wireless fidelity (WiFi), Bluetooth, Bluetooth low power (BLE), Zigbee, near field communication (NFC), magnetic secure transmission, and radio. It may include at least one of a frequency (RF) or a body area network (BAN).
  • GNSS GNSS.
  • the GNSS may be, for example, a Global Positioning System (GPS), a Global Navigation Satellite System (Glonass), a Beidou Navigation Satellite System (hereinafter referred to as "Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS Global Positioning System
  • Glonass Global Navigation Satellite System
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system.
  • Wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a standard standard232 (RS-232), a power line communication, a plain old telephone service (POTS), and the like.
  • the network 162 may comprise a telecommunications network, for example at least one of a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106). According to this, when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 may instead execute or execute the function or service by itself, or at least some function associated therewith.
  • the other electronic device may request the requested function or The additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Cloud computing distributed computing, or client-server computing technology may be used.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an AP) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display ( 260, an interface 270, an audio module 280, a camera module 291, a power management module 295, a battery 296, an indicator 297, and a motor 298.
  • processors eg, an AP
  • the electronic device 201 may include one or more processors (eg, an AP) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display ( 260, an interface 270, an audio module 280, a camera module 291, a power management module 295, a battery 296, an indicator 297, and a motor 298.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by running an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor.
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221).
  • the processor 210 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • the communication module 220 may include, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227, an NFC module 228, and an RF module 229. have.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network by using a subscriber identification module (eg, a SIM card) 224.
  • a subscriber identification module eg, a SIM card
  • the cellular module 221 may perform at least some of the functions that the processor 210 may provide.
  • the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be one integrated chip. (IC) or in an IC package.
  • the RF module 229 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • at least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module.
  • Subscriber identification module 224 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may include, for example, volatile memory (for example, DRAM, SRAM, or SDRAM), nonvolatile memory (for example, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM).
  • the flash memory may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 234 may be a flash drive, for example, a compact flash (CF) or a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 234 may be functionally connected to the electronic device 201 through various interfaces. Or physically connected.
  • the sensor module 240 may measure, for example, a physical quantity or detect an operation state of the electronic device 201 and convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, and a proximity sensor ( 240G), color sensor 240H (e.g., red (green, blue) sensor), biometric sensor 240I, temperature / humidity sensor 240J, illuminance sensor 240K, or UV (ultra violet) ) May include at least one of the sensors 240M.
  • sensor module 240 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, Infrared (IR) sensors, iris sensors and / or fingerprint sensors.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 further includes a processor configured to control the sensor module 240 as part of or separately from the processor 210, while the processor 210 is in a sleep state. The sensor module 240 may be controlled.
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate recognition sheet.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • Display 260 may include panel 262, hologram device 264, projector 266, and / or control circuitry to control them.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured with the touch panel 252 and one or more modules.
  • the panel 262 may include a pressure sensor (or force sensor) capable of measuring the strength of pressure with respect to a user's touch.
  • the pressure sensor may be integrally implemented with the touch panel 252 or one or more sensors separate from the touch panel 252.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the interface 270 may include, for example, an HDMI 272, a USB 274, an optical interface 276, or a D-subminiature 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC Secure Digital Card
  • IrDA infrared data association
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images. According to an embodiment, the camera module 291 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, or a battery or a fuel gauge.
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable cell and / or a solar cell.
  • the indicator 297 may display a specific state of the electronic device 201 or a part thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 201 may be, for example, a mobile TV supporting device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . : GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM . : GPU mediaFlo TM .
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device (for example, the electronic device 201) may include some components, omit additional components, or combine some of the components to form a single object. It is possible to perform the same function of the previous corresponding
  • the program module 310 may include an operating system and / or various applications running on the operating system for controlling resources related to the electronic device (eg, the electronic device 101).
  • the application program 147 may be included.
  • the operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 310 may include the kernel 320 (eg, the kernel 141), the middleware 330 (eg, the middleware 143), and the API 360 (eg, the API 145).
  • At least a portion of the program module 310 may be preloaded on the electronic device or may be an external electronic device (eg, an electronic device ( 102, 104, server 106, etc.).
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • the middleware 330 may provide various functions through the API 360, for example, to provide functions commonly required by the application 370, or to allow the application 370 to use limited system resources inside the electronic device.
  • the middleware 330 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, a resource manager 344, a power manager 345, and a database manager ( 346, a package manager 347, a connectivity manager 348, a notification manager 349, a location manager 350, a graphic manager 351, or a security manager 352.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 341 may manage, for example, the life cycle of the application 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage space of source code or memory of the application 370.
  • the power manager 345 may manage, for example, the capacity or power of the battery and provide power information necessary for the operation of the electronic device.
  • the power manager 345 may interwork with a basic input / output system (BIOS).
  • the database manager 346 may generate, search, or convert a database to be used in the application 370, for example.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 348 may manage, for example, a wireless connection.
  • the notification manager 349 may provide the user with events such as, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 350 may manage location information of the electronic device, for example.
  • the graphic manager 351 may manage, for example, graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide system security or user authentication, for example.
  • the middleware 330 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 330 may provide a module specialized for each type of OS.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 is, for example, a set of API programming functions, which may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 370 is, for example, a home 371, a dialer 372, an SMS / MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377. , Contacts 378, voice dials 379, emails 380, calendars 381, media players 382, albums 383, watches 384, health care (e.g., measures exercise or blood sugar) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 370 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 370 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 370 may include an application received from an external electronic device.
  • At least a portion of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two or more thereof, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • FIG. 4 is a block diagram illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • an electronic device 401 may include a display 410 (eg, display 160) and a display driving circuit (DDI) ( 415, touch sensor 420, touch sensor IC 425, pressure sensor 430, pressure sensor IC 435, haptic actuator 440, memory 450 (eg, memory 130) and processor ( 460 (eg, the processor 120).
  • a display driving circuit (DDI)
  • DPI display driving circuit
  • touch sensor 420, touch sensor IC 425, pressure sensor 430, pressure sensor IC 435, haptic actuator 440 415, touch sensor 420, touch sensor IC 425, pressure sensor 430, pressure sensor IC 435, haptic actuator 440, memory 450 (eg, memory 130) and processor ( 460 (eg, the processor 120).
  • DCI display driving circuit
  • the display 410 may receive an image driving signal supplied from the display driving circuit (DDI) 415.
  • the display 410 may display various contents and / or items (eg, text, an image (object), a video, an icon, a function object, or a symbol) based on the image driving signal.
  • the display 410 may be superimposed with the touch sensor 420, and / or the pressure sensor 430, and may also be referred to as a "display panel.”
  • the display 410 may be driven in a low power mode.
  • the display driving circuit (DDI) 415 may supply an image driving signal corresponding to the image information received from the processor 460 (host) to the display 410 at a preset frame rate.
  • the display driving circuit 415 may drive the display 410 in a low power mode.
  • the display driving circuit 415 may include a graphics RAM, an interface module, an image processing unit, a multiplexer, a display timing controller (T-con), Source drivers, gate drivers, and / or oscillators, and the like.
  • a physical amount eg, voltage, light amount, resistance, charge amount, capacitance, etc.
  • the touch sensor 420 may be disposed to overlap with the display 410.
  • the touch sensor IC 425 detects a change in the physical quantity in the touch sensor 420 and calculates a position (X, Y) where the touch is made based on the change in the physical quantity (eg, voltage, resistance, capacitance, etc.). have.
  • the calculated position (coordinate) may be provided (or reported) to the processor 460.
  • a coupling voltage between the transmitting end Tx and / or the receiving end Rx included in the touch sensor 420 This can change.
  • the change in the coupling voltage may be sensed by the touch sensor IC 425, and the touch sensor IC 425 may transmit the coordinates (X, Y) of the touched position to the processor 460.
  • the processor 460 may obtain data regarding the coordinates (X, Y) as an event regarding a user input.
  • the touch sensor IC 425 may be referred to as a touch IC, a touch screen IC, a touch controller, a touch screen controller IC, or the like.
  • the processor 460 may perform a function of the touch sensor IC 425.
  • the touch sensor IC 425 and the processor 460 may be implemented in a single configuration (eg, one-chip).
  • a pressure (or force) by an external object may be sensed.
  • an external object eg, a finger or an electronic pen
  • a touch is performed between the transmitting end Tx (eg, the first electrode 341 in FIG. 3) and the receiving end Rx (the second electrode 342 in FIG. 3) by a touch.
  • the physical quantity of e.g., capacitance
  • the pressure sensor IC 435 may detect a change in a physical quantity (eg, capacitance) in the pressure sensor 430 and calculate a pressure applied by a user's touch based on the change in the physical quantity.
  • a physical quantity eg, capacitance
  • the pressure, or the strength, speed, or direction of the pressure may be provided to the processor 460 along with the touched position (X, Y).
  • the strength of the pressure may be referred to as the strength or level of the pressure.
  • the intensity of the pressure may be, for example, when the intensity of the pressure is 1 to 3, such that the level of the pressure is designated as level 1, and the intensity of a specific section of the pressure may be designated as the specific level.
  • the pressure sensor IC 435 may be referred to as a force touch controller, force sensor IC, pressure panel IC, or the like.
  • the pressure sensor IC 435 may be implemented in a single configuration (eg, one-chip) together with the touch sensor IC 425.
  • the haptic actuator 440 may provide tactile feedback (eg, vibration) to the user according to a control command of the processor 460.
  • the haptic actuator 440 may provide tactile feedback to the user when a touch input (eg, touch, hovering, force touch, etc.) is received from the user.
  • a touch input eg, touch, hovering, force touch, etc.
  • the memory 450 may store instructions or data associated with the operation of a component included in the electronic device 401.
  • the memory 450 may store at least one application program including a user interface configured to display a plurality of items on a display.
  • the memory 450 may store instructions that, when executed, cause the processor 460 to perform the various operations described in this document.
  • the processor 460 may be electrically connected to, for example, the components 410-450 included in the electronic device 401, and the processor 460 may be connected to the components 410-450 included in the electronic device 401. Operations or data processing related to control and / or communication may be performed.
  • the processor 460 may execute (launch) an application program (or simply referred to as an "application”) that displays a user interface on the display 410.
  • the processor 460 may display an array of a plurality of items in a user interface displayed on the display 410 in response to the execution of the application.
  • the processor 460 may receive first data (data including position coordinates X and Y of the touch) generated from the touch sensor 420.
  • the processor 460 may receive second data (data including the pressure Z of the touch) generated from the pressure sensor 430.
  • the processor 460 may activate at least a portion of the pressure sensor 430 while the display 410 is inactivated.
  • the processor 460 may at least partially activate the pressure sensor 430 while the display 410 is deactivated.
  • the processor 460 may be configured not only when the electronic device 401 is in an awake state, but also when a component such as the display 410 is in a deactivated standby state. You can activate all or part of it.
  • the processor 460 at least partially controls the touch sensor 420 while the display 410 is inactive or while the electronic device 401 is in standby to reduce power consumption in the standby state and to reduce malfunction due to touch. You can also disable it.
  • the processor 460 may activate at least a portion of the pressure sensor 430 when a specified condition is achieved while the display 410 is deactivated. For example, the processor 460 may activate the pressure sensor 430 after or after a designated time after the display 410 is deactivated. In another example, the processor 460 may activate the pressure sensor 430 when a user's use is detected by a gyro sensor or a proximity sensor. In another example, when the temperature is lower than the specified value, when a touch is detected through the touch panel, when the electronic device 401 is in proximity to another external device, or when the temperature is lower than the specified value, When the stylus mounted in the 401 is taken out of the electronic device 401, the pressure sensor 430 may be activated. In another example, the processor 460 may activate the pressure sensor 430 while an application (eg, a music player) performing an operation in a standby state is running.
  • an application eg, a music player
  • the processor 460 may deactivate at least a portion of the pressure sensor 430 when a specified condition is achieved while the display 410 is deactivated.
  • the processor 460 may use a proximity sensor, an illuminance sensor, an acceleration sensor, and / or a gyro sensor, or the like, when the electronic device 401 is placed in a pocket, in a bag, or when it is turned over, a pressure sensor 430. Can be deactivated.
  • the processor 460 may deactivate the pressure sensor 430 when the electronic device 401 is connected to the external device (eg, when connected to the desktop).
  • the processor 460 may activate only a designated area of the pressure sensor 430 while the display 410 is inactivated. For example, the processor 460 may activate some designated areas of the pressure sensor 430 (eg, the center lower area of the pressure sensor 430) to reduce power consumption in the standby state. When the pressure sensor 430 is implemented with a set of two or more sensors, the processor 460 may activate some of the two or more sensors.
  • the processor 460 may sense the pressure using the pressure sensor 430 while the electronic device 401 is in the standby state. For example, the processor 460 may receive data related to pressure by an external object to the display 410 from the pressure sensor 430 while the display 410 is deactivated.
  • the processor 460 may determine whether the pressure is greater than or equal to the selected level based on the data related to the pressure.
  • the processor 460 may perform a function without fully activating the display 410 if it is determined that the pressure is greater than or equal to the selected level.
  • the processor 460 may perform a function when a pressure greater than a specified level is detected.
  • the processor 460 may activate a portion of the display 410.
  • the processor 460 may determine a function to perform based on at least one of a position, an intensity, a number of points, a speed, a direction, and a duration in which a pressure is sensed.
  • the pressure sensor 430 is provided to provide data about the pressure Z to the processor, but is not limited thereto.
  • the processor 460 is provided. Detects the position where the pressure is applied based on the position of the sensor of which the capacitance changed among the two or more sensors. For example, if the pressure sensor 430 is implemented as a set of six sensors arranged in an array of 3 ⁇ 2, the processor 460 may be configured to change the capacitance of each of the six sensors and each of the six sensors. The position at which the pressure is applied can be determined based on the disposed position. The processor 460 may determine a position at which pressure is applied without using the touch sensor 430. When the pressure is sensed by the pressure sensor 430, the processor 460 may activate the touch sensor 420 to detect a position at which pressure is applied using the touch sensor 420.
  • the processor 460 may perform a first function.
  • the processor 460 may determine a first function based on at least one of a position, an intensity, a number of points, a speed, a direction, or a duration of time at which a pressure of the first level is sensed, and perform the determined first function.
  • the first level of pressure may refer to a pressure of a specified range of intensity.
  • the processor 460 is input on a display 410 (eg, touchscreen) for a response message to a message received via a wireless communication circuit (not shown) (eg, the communication interface 170). Is detected, the execution mode for generating the reply message is determined using at least one of the pressure or the duration of the input, and a user interface for writing the reply message according to the determined execution mode is displayed on the display 410. Can be provided to
  • the processor 460 may display the response message on the display 410 by using the information related to the received message.
  • the processor 460 may change at least a part of the reply message based on the pressure of the input on the display 410.
  • the response message may include at least one of a text, an emoticon, an image, a video, or an avatar.
  • the reply message may change at least one of size, color, or shape.
  • the processor 460 may change the color of at least a part of the reply message in response to the strength of the pressure of the input to the reply message.
  • the processor 460 may enlarge or reduce the size of the reply message at a predetermined rate to correspond to the strength of the pressure of the input to the reply message.
  • the processor 460 may generate one or more recommended response messages for the received message, extract at least one keyword for the recommended response message, and determine the keyword as the response message. have.
  • the processor 460 generates one or more recommended reply messages for the received message, extracts at least one keyword for the recommended reply message, and detects at least one emoticon corresponding to the keyword.
  • the emoticon may be determined as the answer message.
  • the processor 460 uses a microphone (eg, the microphone 288) of the electronic device to select an execution mode for generating the reply message according to the strength of the pressure input.
  • a first answer mode for generating an answer message using an input voice a second answer mode for generating an answer message as a video or a photo taken using a camera (eg, the camera module 291) of the electronic device, or the
  • the processor 460 may determine the third answer mode to generate a reply message by using information related to the received message.
  • a fourth answer mode or virtual key for executing a menu including a first answer mode, the second answer mode, and the third answer mode; 4 may be determined in response to the mode in which to input text using the de generate a response message.
  • the convenience of input may be increased by executing another function associated with a function being performed according to the magnitude of the pressure for pressing the electronic device 401 after one touch on the electronic device 401.
  • Operation of the processor 460 described above is an example, and is not limited to the foregoing description.
  • the operation of the processor described in other parts of this document can also be understood as the operation of the processor 460.
  • at least some of the operations described as operations of the “electronic device” may be understood as operations of the processor 460.
  • 5A and 5B illustrate a stacked structure of components included in an electronic device (for example, the electronic device 101) according to various embodiments of the present disclosure.
  • the lamination structure shown in FIGS. 5A and 5B may be applied to the display 110 shown in FIG. 1.
  • 5A and 5B may be disposed between the front surface (first surface) and the rear surface (second surface) of the electronic device 101 of FIG. 1.
  • the cover glass 510 may transmit light generated by the display panel 530.
  • a user may perform a “touch” (including a touch with an electronic pen) by touching a portion of a body (eg, a finger).
  • the cover glass 510 may be formed of, for example, tempered glass, tempered plastic, or a flexible polymer material, to protect the display and the electronic device on which the display is mounted from external impact.
  • the cover glass 510 may also be referred to as a glass window or a cover window.
  • various physical quantities may be changed by contact of an external object (eg, a user's finger or electronic pen).
  • the touch sensor 520 may detect at least one position of the touch by an external object on the display (eg, on the surface of the cover glass 510) based on the change in the physical quantity.
  • the touch sensor 520 may include a capacitive touch sensor, a pressure sensitive touch sensor, an infrared touch sensor, a resistive touch sensor, or a piezo touch sensor. Electrodes of the touch sensor 520 may be embedded in the display 530. According to an embodiment of the present disclosure, the touch sensor 520 may be referred to by various names, such as a touch panel or a touch screen panel, according to an implementation form.
  • the display 530 may output at least one content or item (eg, text, an image, a video, an icon, a widget, or a symbol).
  • the display 530 may be a liquid crystal display (LCD) panel, a light emitting diode (LED) display panel, an organic light emitting diode (OLED) display panel, a microelectromechanical system (MEMS) display panel, or an electronic paper display panel, for example. It may include.
  • the display 530 may be integrated with the touch sensor (or touch panel) 520.
  • the display 530 may also be referred to as a touch screen panel (TSP), or a touch screen display panel.
  • the pressure sensor 540 may detect pressure (or force) by an external object (eg, a user's finger, an electronic pen) with respect to the display (eg, the surface of the cover glass 510).
  • the pressure sensor 540 may include a first electrode 541, a second electrode 542, and a dielectric layer 543.
  • the pressure sensor 540 may detect the pressure of the touch based on the capacitance between the first electrode 541 and the second electrode 542 which are changed by the pressure of the touch.
  • the dielectric layer 543 material of the pressure sensor 540 may be, for example, silicone, air, foam, membrane, oca, sponge, rubber, ink, or polymer (PC, PET, etc.).
  • the material of the first electrode 541 and / or the second electrode 542 of the pressure sensor 540 may include at least one of Cu, Ag, Mg, Ti, and Graphene when opaque.
  • the material of the first electrode 541 and / or the second electrode 542 of the pressure sensor 540 may include at least one of ITO, IZO, Ag Nanowire, Metal mesh, transparent polymer conductor, and Graphene when it is transparent.
  • One of the first electrode 541 and the second electrode 542 may be a plate GND and the other may have a repeated polygonal pattern.
  • the pressure sensor may use a self capacitance method.
  • One of the first electrode 541 and the second electrode 542 may be the first direction pattern TX and the other may be the second direction pattern RX perpendicular to the first direction. It may be a mutual capacitance method.
  • the first electrode 541 of the pressure sensor may be formed on the FPCB and attached to the display panel 530 or may be directly formed on one surface of the display panel 5330.
  • the pressure sensor 5040 may also be referred to as a force sensor, for example.
  • the pressure sensor 540 may use a current induction method or the like, in addition to the above-mentioned capacitance and mutual capacitance methods.
  • the pressure sensor 540 is a means that can sense the magnitude of the pressure applied to the portion of the electronic device by the user when the user presses a portion of the electronic device is not limited in its type and placement position. It will be easy to understand.
  • the pressure sensor 540 is illustrated as being implemented as a single sensor, but is not limited thereto.
  • the pressure sensor 540 may be implemented as a set of two or more sensors.
  • the pressure sensor 540 may be implemented as a set of six sensors arranged in an array of 3 ⁇ 2.
  • the haptic actuator 550 provides tactile feedback to the user when a touch (including hovering and / or “force touch”) is received by an external object (eg, the user's finger or electronic pen, etc.). can provide haptic feedback (eg vibration).
  • the haptic actuator 260 may include a piezoelectric member and / or a diaphragm.
  • the electronic device may include a cover glass 510 at the top, a touch sensor 520 at the bottom of the cover glass 510, and a display 530 at the bottom of the touch sensor 520.
  • the electronic device may include a pressure sensor 540 including a first electrode 541, a dielectric layer 543, and a second electrode 542 at the bottom of the display panel 530.
  • the electronic device may include a haptic actuator 550 at the bottom of the pressure sensor 540.
  • the touch sensor 520 may be directly formed on the rear surface of the cover glass 510 (eg, the cover glass unitary touch panel) or separately manufactured and inserted between the cover glass 510 and the display panel 530 (eg, an add-on touch panel, may be directly formed on the display panel 530 (eg, an on-cell touch panel), or included in the display panel 530 (eg, : In-cell touch panel).
  • FIG. 6 is a block diagram illustrating a configuration of an electronic device for generating a recommended answer to a received message according to various embodiments of the present disclosure.
  • the electronic device 601 may generate a recommendation response to the received message.
  • the recommended answer may include text, an image, an avatar, and / or an emoticon.
  • the electronic device 601 may include a display 610 (eg, display 410), a touch sensor 620 (eg, touch sensor 420), a pressure sensor 630 (eg, pressure sensor 430), Message application 640, memory 650 (eg, memory 450), and simple reply engine 660.
  • the simple answer engine 660 may be included in the processor 460 of FIG. 4.
  • the simple reply engine 660 may include a repeated simple reply generator (RSRG) 661 and a simplified simple reply modifier (RSRM) 663. Duplicate description of the configuration described with reference to FIGS. 1 to 4 may be omitted.
  • the electronic device 601 may generate a recommendation response to the received message only through a minimal manipulation (eg, touch input and / or pressure input) of the user through the simple answer engine 660.
  • a minimal manipulation eg, touch input and / or pressure input
  • the simple answer engine 660 may use the pressure input and / or touch input
  • a response to the received message in the message application 640 can be recommended and modified.
  • the short answer engine 660 may access the internal memory 650 and / or the external memory of the electronic device to access the current received message, the previous received message, the previous outgoing message, the current received message. It is possible to obtain the sender's information, or the SNS information associated with the sender and / or the SNS information associated with the receiver (user), and using this information, it is possible to recommend an answer to the current received message. .
  • the RSRG 661 of the simple answer engine 660 may use the contents of the received message to generate a recommendation answer that can be used by the user, or select at least one of the stored recommendation answers to generate a list of recommended answers.
  • RSRG 661 may include a message in which the electronic device 601 exists inside and / or outside the electronic device, other than a current received message, a call record with the sender of the received message, SNS account information of the caller, and /
  • the recommended answer may be generated using the recipient's SNS account information, or the stored recommended answer list may be selected.
  • the RSRG 661 may determine a sender's intention to send a message by using a received message received from the sender and various text information (eg, chat information and message information), and the sender needs one.
  • the recommendation response may be generated or an appropriate recommendation answer may be selected from among the recommendation answers stored in the electronic device.
  • the RSRG 661 may primarily generate a recommended answer using text information of a received message received in a current conversation window to generate a “recommended answer”.
  • the RSRG 661 may generate a recommendation response and provide it to the user by using the firstly generated recommendation response and other text information in the electronic device.
  • the RSRG 661 can generate a suggested answer using the conversation contents (text information) with the other party of the received message through an application other than the application that received the current message.
  • the RSRG 661 may generate a recommendation response using various context information such as sensing information, time information, schedule information stored in the electronic device, or photo information stored in the electronic device, in addition to the text information. have. For example, when the electronic device receives a message, if the user is running while carrying the electronic device or another electronic device connected thereto (or linked thereto), the electronic device may detect this using a motion sensor. The RSRG 661 may include the fact that the user is running and cannot confirm the current message in the firstly generated recommendation answer or may be replaced by the firstly generated recommendation answer.
  • the electronic device may detect it using a motion sensor, and the RSRG 661 may detect the electronic device. May be included in the first recommendation response or not replaced with the first recommendation response. For example, sound information input using the microphone (always on mic) (eg, the microphone 288) or location information input through the GPS may be included in the recommended answer.
  • the electronic device may generate a first response of “Gangnam station going” using the schedule information stored in the electronic device through RSRG 661, and then RSRG.
  • the 661 responds by using the sound information through the microphone, the motion information of the electronic device through the motion sensor, the location information through the GPS, and so on. Can be generated.
  • the RSRM 663 of the simple answer engine 660 is a module for modifying a recommended answer generated by the RSRG 661 and presented to the user. : Swipe) to change the attributes of the recommended answer. For example, when a user selects a recommendation answer among one of several recommended answers recommended by the RSRG 661, and then applies an appropriate pressure to a portion of the selected answer, the electronic device may cause the attribute of the corresponding part to be changed. .
  • RSRM 663 of the electronic device is "late”
  • the RSRM 663 of the electronic device may increase the size of the emoticon.
  • the emoticon may be displayed repeatedly, or the emoticon may be changed to another emoticon of the same or similar category.
  • the simple answer engine 660 is connected to the display 610, and can provide the user with the recommendation answer and a variation of the recommended answer according to a user's operation described below through the display 610. have.
  • an electronic device may include: a touch screen display; A pressure sensor configured to detect pressure on the touch screen display; Wireless communication circuitry configured to transmit and receive wireless signals; At least one processor in electrical connection with the touchscreen display, the pressure sensor, and the wireless communication circuitry; And a memory electrically coupled to the processor, wherein, when executed, the processor displays, on the touchscreen display, at least one reply message to a message received via the wireless communication circuitry; Instructions for receiving at least one input through a touchscreen display and for changing the at least one reply message based on at least one of the strength or duration of the pressure of the received input may be stored.
  • the instructions may cause the processor to confirm data related to the received message stored in the memory and generate at least one response message based on the confirmation result.
  • the instructions may cause the processor to further receive an input for selecting the at least one answer.
  • the instructions may cause the processor to transmit the changed at least one response message.
  • the at least one reply message may include at least one of a text, an emoticon, an image, a video, or an avatar.
  • the instructions may cause the processor to change the color of the reply message based on the strength of the pressure of the input to the reply message.
  • the instructions may cause the processor to enlarge or reduce the size of the reply message based on the strength of the pressure of the input to the reply message.
  • the instructions may cause the processor to display the reply message and at least one additional reply message corresponding to the reply message on the touch screen when an input for the reply message is detected. have.
  • the instructions may include inputting the first emoticon when the processor detects an input for a first emoticon among the plurality of emoticons.
  • the first emoticon may be displayed at a designated position on the touch screen, a simplified text corresponding to the first emoticon, or a recommendation text corresponding to the first emoticon may be displayed according to the strength of the pressure. have.
  • the instructions may be generated when the processor detects an input for a first emoticon among the plurality of emoticons. According to the strength of the input pressure on the emoticon, the first emoticon may be enlarged or reduced at a designated position on the touch screen to be displayed.
  • the instructions may be generated by the processor to generate one or more recommendation response messages for the received message, extract at least one keyword for the recommendation response message, and convert the keyword into the response message. You can decide.
  • the instructions may include generating, by the processor, at least one recommendation response message for the received message, extracting at least one keyword for the recommendation response message, and at least one corresponding to the keyword. Detect an emoticon, and determine the emoticon as the answer message.
  • the instructions touch the response message using information related to the received message. Display on the screen display, and perform attribute change of the reply message based on the strength of the pressure of the input on the touchscreen display.
  • the attribute of the reply message may include at least one of a size, a color, or a shape.
  • the instructions may correspond to a user interface or the reply message for changing, by the processor, at least one attribute corresponding to the reply message in response to the strength of the pressure of the input to the reply message. Further displaying at least one of the user interfaces for further displaying a corresponding specified number of answer messages, wherein, upon input of the user interface for changing the at least one property, changing the property; Can be run.
  • the user interface for changing the at least one property may include at least one of a user interface for changing a color of the reply message and a user interface for changing the size of the reply message. have.
  • FIG. 7A and 7B are flowcharts illustrating an electronic device (eg, the electronic device 101) selecting a response method of a received message by a user input according to various embodiments of the present disclosure.
  • 8 is a diagram illustrating an operation screen of an electronic device (for example, the electronic device 101) according to selection of a response method of a received message by a user input according to various embodiments of the present disclosure.
  • the electronic device may receive a message.
  • the electronic device may sender information 801 of the received message, a reception time 803 of the received message, or part or all of the received message.
  • the content 805 and / or Reply icon 807 can be displayed on the screen.
  • the electronic device may confirm selection of the user's Reply icon with respect to the received message. For example, the electronic device may check a touch input for the Reply icon 807 on the screen displayed as shown in FIG. 8A.
  • the electronic device may detect a pressure for a touch input for selecting the reply icon.
  • the electronic device may determine whether the detected pressure is equal to or greater than the first pressure level. If the electronic device determines that the detected pressure is equal to or greater than the first pressure level in operation 720, operation 725 may be executed, and operation 750 may be executed.
  • the electronic device may determine whether the detected pressure is greater than or equal to the second pressure level. In operation 725, if the electronic device determines that the detected pressure is equal to or greater than the second pressure level, operation 730 may be executed. Otherwise, operation 745 may be performed.
  • the electronic device may determine whether the detected pressure is greater than or equal to the third pressure level. In operation 730, if the electronic device determines that the detected pressure is equal to or greater than the third pressure level, operation 735 may be executed; otherwise, operation 740 may be executed.
  • the electronic device may execute an operation (recommended answer mode) for generating a recommended answer to the received message.
  • the electronic device may execute the recommended answer mode of generating an answer message using information related to the received message. For example, when the third pressure level is applied together with the touch of the Reply icon 807 on the screen displayed as shown in FIG. 8A, the electronic device activates the simple answer engine and generates an appropriate recommended answer through this.
  • the user can recommend an answer to the received message.
  • the electronic device may generate a plurality of emoticons as a recommended answer as shown in FIG. 8 (d). A detailed description of the operation of generating the recommended answer, which is operation 735, will be described later.
  • the electronic device may execute an operation (video or photo answer mode) for generating a video or photo answer to the received message.
  • the electronic device may execute a video or photo answer mode for generating an answer message from a video or photo taken by using a camera of the electronic device.
  • the electronic device may activate the camera to generate a video or photo answer.
  • the electronic device takes a picture or video recording as shown in FIG. 8C. Screen can be displayed, and the electronic device can utilize a simple picture or video taken by the user as an answer.
  • the electronic device may execute an operation (voice answer mode) for generating a voice answer for the received message.
  • the electronic device may execute a voice answer mode for generating a reply message using a voice input using a microphone of the electronic device.
  • the electronic device may perform a voice recording and / or voice recognition function (eg, S-Voice). ) To activate the user's voice can be used for answers.
  • the user may reply by directly transmitting a recorded file.
  • a voice input by using speech to text (SST) or speech to emoticon (SST) may be converted into text or emoticon and transmitted.
  • the electronic device may perform voice input by the user as shown in FIG. 8C.
  • the input voice can be changed to text and displayed on the screen.
  • the electronic device may determine whether a touch input for selecting a reply icon is maintained for a predetermined time or more. In operation 750, if the electronic device determines that the touch input for selecting the reply icon is maintained for a predetermined time or more, the electronic device may execute operation 755, and otherwise, operation 760.
  • the electronic device may display a Reply menu.
  • the Reply menu may include a menu for executing the recommended answer mode, a menu for executing the video or photo answer mode, and / or a menu for executing the voice answer mode.
  • the electronic device may execute an operation (text input mode) for allowing a user to directly input a response to the received message as text.
  • the electronic device may execute a text input mode for generating an answer message with text input using a virtual keypad.
  • a text input tool such as a virtual keypad as shown in FIG. 8E.
  • the user can write an answer by directly inputting text through an activated text input tool.
  • the electronic device may generate a recommended answer by combining one or more of the above-described answer methods.
  • the electronic device may generate one recommendation answer by combining image data and voice recording data obtained by photographing.
  • the electronic device may combine the generated recommendation answer and the photographed image to identify the user emotion by the keyword presented in the recommendation answer, and generate the recommendation answer by transforming or replacing the photographed image.
  • the electronic device may identify the emotion information of the user from the photographed image of the user by using an image analysis technology, generate the text by interworking with the existing recommended answer, and transmit the text to the user.
  • FIG. 9 is a flowchart illustrating an operation of executing a recommendation answer mode of an electronic device according to various embodiments of the present disclosure.
  • the electronic device may generate a recommendation response to the received message and transmit it to the sender of the received message.
  • the electronic device may enter a recommendation answer mode. For example, according to the position and / or strength of the pressure input of the user, the electronic device may enter a recommendation answer mode for executing an operation for generating a recommendation answer for the received message.
  • the electronic device may generate and display a recommended answer list.
  • the electronic device may generate and provide one or more recommended answer lists including one or more recommended answers to the user.
  • the form of the recommended answer recommended by the electronic device may be in the form of a text, an image, an emoticon, a video, or the like, or may be in the form of a combination thereof.
  • the recommended answer list is a unit for displaying one or more recommended answers and may include a set of one or more recommended answers.
  • the electronic device may provide a means for moving between the plurality of recommended answer lists.
  • the electronic device may move one or more recommended answer lists and display them on the screen according to a gesture of the user. For example, if the first recommendation answer list and the second recommendation answer list exist, the electronic device may display the first recommendation answer list on the screen, and the user's gesture (for example, a swipe gesture with one finger on the screen). The electronic device may display the second recommendation answer list on the screen according to the touch)).
  • the electronic device may move and display a list of recommended answers on the screen. For example, if the first recommendation answer list and the second recommendation answer list exist, the electronic device may display the first recommendation answer list on the screen, and the first recommendation answer according to a user's icon, button, etc. selection. Instead of the list, the second recommended answer list may be displayed on the screen.
  • the electronic device may move the list of recommended answers on the screen while moving the crown or wheel of the user's electronic device in an electronic device such as a smart watch.
  • the step may be returned to the selection of the step prior to applying the pressure by using the crown or the wheel of the smart watch.
  • the electronic device may change an attribute of the recommended answer according to the pressure input for the recommended answer included in the recommended answer list of the user.
  • the selected recommendation answer may be modified or modified by the user's pressure input.
  • the electronic device may change a property by adding, replacing, or repeating a modifier or emphasis specified in a word or phrase in which the user's pressure is input (eg, User's emotions).
  • a modifier that is added or repeated may have a circular chain (for example, to create an animation with a plurality of emoticons), repeat at regular intervals according to the user's pressure input, May be exposed.
  • the electronic device may deform the image of the corresponding pressure application position. For example, when the image is a face and pressure is applied to the mouth portion of the face, the electronic device may transmit various emotions by modifying, enlarging or replacing the shape of the mouth in proportion to the pressure applied.
  • the electronic device may change the shape of the emoticon at the position of the pressure input or replace it with another emoticon of the same or similar category as the currently displayed emoticon.
  • the electronic device may change the eye to another form to deform the emoticon.
  • the modification of the emoticon may be made in the form of emphasizing or weakening the recommended attribute. For example, when the user applies pressure to the eyes in a situation where an emoticon with the theme of “laugh” is selected, the electronic device may change the emoticon into an emoticon that can emphasize the degree of laughter.
  • the electronic device when a user applies pressure on an emoticon, the electronic device replaces the emoticon with similar emoticons that can replace the emoticon or change the user's finality by changing the properties (eg, size, color, effect) of the emoticon. It can help you determine the shape of an emoticon.
  • the electronic device may transmit a recommendation reply having the changed attribute to the sender of the received message.
  • FIG. 10 is a diagram illustrating a user's operation of an electronic device until transmitting a recommendation response to a received message according to various embodiments of the present disclosure.
  • the user may allow the electronic device to quickly transmit an appropriate response to the received message with only a minimal touch and / or pressure input through the manipulation illustrated in FIG. 10.
  • the user may check a received message received and displayed by the electronic device.
  • the user may select a reply method for the received message by selecting a Reply icon for the received message displayed on the screen of the electronic device.
  • the user may select to execute the recommended answer mode as a response to the received message.
  • the user may make an input for changing an attribute of the selection answer.
  • the user may make an input for transmitting an answer whose attribute is changed.
  • FIG. 11 is a flowchart illustrating a control operation of an electronic device for generating a recommended response to a received message and transmitting a response message to a caller according to various embodiments of the present disclosure.
  • the electronic device may be the electronic device 101 shown in FIG. 1, and the electronic device may include a memory 1150 (eg, memory 130), a simple answer engine 1160 (eg, a simple answer engine 660), It may include a feedback generator 1170.
  • the short answer engine 1160 may include RSRG 1164 and RSRM 1167.
  • RSRG 1164 may include a text analyzer 1161, a context analyzer 1162, or an image mapper 1163.
  • RSRM 1167 may include an image changer 1165 and a property changer 1166.
  • the electronic device may receive a message.
  • the electronic device may receive a message from the sender via the network.
  • the RSRG 1064 of the electronic device may use the text analyzer 1061 and the context analyzer 1062 to generate a list of recommended answers including one or more recommended answers for the received message.
  • the electronic device may generate or select various recommended answers that can be used by the user based on the contents of the received message, information of the sender, and / or a message record previously exchanged with the sender.
  • the recommended reply may be newly generated based on the received message, or may be selected and recommended based on some recommended answers from the stored list of recommended answers.
  • the electronic device may select the recommended answer by using various context information of the electronic device in addition to the stored message information or the user information.
  • the electronic device may change the recommended answer using sensor information, time information, and / or schedule information of the user.
  • the recommendation answer may be generated using the emotion information of the user monitored by the electronic device or received from another electronic device.
  • the electronic device may generate a recommendation answer differently according to time.
  • the electronic device may cause the content of the recommended answer to be changed according to a schedule.
  • the electronic device may include information related to an incoming message, caller information, user (recipient) information of the electronic device, information stored in the electronic device, or sensor information (eg, Mossen sensor information, GPS information, At least one of the gyro sensor, the grip sensor, etc. may be used to finally determine the recommended answer according to the designated priority of the information.
  • the electronic device may set a higher priority of schedule information, which is information stored in the electronic device, than information related to the received message, and regardless of the contents of the received message, when the schedule information is in class, the schedule information in the class You can have a suggested answer like "I'm in class. I'll call you later."
  • the RSRG 1164 may use the text analyzer 1161 and the context analyzer 1162 to simplify the one or more recommended answers included in the list of recommended answers.
  • the electronic device may change the recommendation answer into a form that can be easily used in a device having a limited display size, such as a wearable device, by simplifying the recommendation answer.
  • the electronic device may generate a simplified list of recommended answers by extracting a central keyword from the recommended answers through syntax analysis using the text analyzer 1161 and context analysis using the context analyzer 1162.
  • the simplified recommendation list may mean a set including one or more central keywords.
  • the electronic device may map an emoticon, an image, an avatar, or the like corresponding to the central keyword using the image mapper 1063.
  • the simplified recommendation answer list may mean a collection including one or more emoticons, one or more images, and one or more avatars.
  • the electronic device may display the simplified recommendation answer list through the feedback generator 85.
  • the electronic device may graphically display the simplified recommendation answer list. It can be displayed on the screen in the form of.
  • the electronic device may have different attributes for each of the recommended words, such as having different sizes, different fonts, or different colors, depending on the degree of association, repetition, and recommendation with the central keyword. It can be displayed on the screen in the same form.
  • the electronic device may display a part of the central keyword list generated as shown in FIG. 12B on the electronic device as shown in FIG. 12A.
  • the electronic device may move the central keyword list according to a user's gesture input (eg, a swipe input) and allow the user to make a selection.
  • the electronic device may display the central keywords of the central keyword list one by one.
  • the simplified recommendation answer list may be a set including one or more emoticons, for example, a list of emoticons.
  • the electronic device may select and recommend an appropriate emoticon to the user by using the central keyword selected from the simplified recommendation response message list.
  • the electronic device may recommend one or more stored emoticons corresponding to the selected central keyword. For example, if the selected central keyword is "mistake,” the electronic device selects an emoticon as shown in FIG. 13A, and if the selected central keyword is "love", the electronic device selects an emoticon as shown in FIG. 13B. If the central keyword is "military", the electronic device may recommend and display an emoticon as shown in FIG. 13C, and if the selected central keyword is "laugh", the electronic device may recommend and display an emoticon as shown in FIG. 13D. .
  • the electronic device may generate a list of recommended answers using one or more recommended emoticons, and display the list of recommended answers on the electronic device as shown in FIG. 13E.
  • the electronic device may further display the first icon 1303 and the second icon 1304 in addition to the recommended emoticons.
  • the first icon 1303 may identify when there are more recommended emoticons than emoticons that can be displayed on the screen of the electronic device, for example, when there is a second recommended emoticon set other than the first recommended emoticon set. Icon to move pages of the emoticon set.
  • the second icon 1304 is an icon for entering an option. For example, when the user selects the second icon, the electronic device may display a menu window on the screen, and may determine whether to answer an emoticon or switch to a text answer.
  • the electronic device utilizes different sizes or different colors according to the degree of association, repetition, or recommendation with the central keyword of the corresponding emoticon.
  • the properties can be displayed differently.
  • the electronic device displays the first emoticon 1301 having the greatest degree of association with the central keyword and the second emoticon 1302 having the smallest degree of association with the central keyword.
  • the size of the emoticon may be displayed differently according to the degree of association with the central keyword.
  • Emoticons can be displayed on the screen in an enumerated manner.
  • the electronic device may display emoticons differently in the form of emphasizing the emoticon, adding an emoticon, changing the background, or animating according to the degree of association, repetition, or recommendation of the emoticon with the selected central keyword. It may be.
  • the repetition degree may mean displaying emoticons frequently used by the user so as to be visually distinguished from other emoticons.
  • the emphasizing point means that the display is visually distinguished (for example, the border of the emoticon is displayed in bold, and a specific symbol (for example, a V mark) is added). For example, when generating and displaying a recommended answer in the form of an emoticon, the electronic device may distinguish the most relevant emoticon among the plurality of recommended emoticons from other emoticons.
  • the electronic device may display, for example, different sizes of emoticons in order of the electronic device's most recommended answer among the recommended answers. For example, if the electronic device wants to recommend the first emoticon more when the first, second, third, and fourth emoticons are displayed on the screen as the recommended answer, the size of the first emoticon is 10, and the third emoticon is next. If it is recommended to set the size of the third emoticon to 8 can be displayed.
  • the electronic device may display emoticons in an animation form through a combination of keywords of the received message.
  • the electronic device may combine the one or more emoticons through a combination of the central keywords of the entire message of the received message to generate an animated GIF file and recommend it to the user.
  • the electronic device may generate a GIF file in an animated form by combining emoticons corresponding to the plurality of central keywords as shown in FIG. 14.
  • the electronic device may emphasize and express the contents of the corresponding emoticon in the form of adjusting attributes such as the size and color of the emoticon or adjusting the speed of the animation playback according to the degree of association of the individual emoticons.
  • the electronic device may receive a user's touch input for any one simplified recommendation answer from the simplified recommendation answer list.
  • the electronic device may select the simplified recommendation answer according to the touch input of the user using the feedback generator 1170.
  • the electronic device may display the selected recommendation answer using the feedback generator 1170.
  • the electronic device may select one recommendation answer according to a touch and / or pressure input from the simplified recommendation answer list recommended by the electronic device and displayed on the screen.
  • the selected recommended answer may be enlarged and displayed on the screen.
  • the electronic device may receive a pressure input of the user.
  • the SSRM 1067 may change the selected recommended answer according to the pressure input of the user.
  • the electronic device may display the changed recommendation answer using the feedback generator 1170. For example, the electronic device may change the selected recommended answer by using the image converter 1065 and the attribute converter 1066 of the RSRM 1067.
  • the electronic device generates feedback by vibrating / sound / screen animation effects, etc. according to the user's input and the generation and update of the recommended answer or the property change operation through the feedback generator 1170.
  • the strength of the feedback may increase or decrease in proportion to the attribute of the recommended answer ("feel" expression) that changes according to the user's input.
  • the electronic device changes the size of the emoticon from 2 to 3 according to the user's pressure input. It is possible to generate a magnitude of 2 generated when changing the vibration.
  • the electronic device may increase or decrease the intensity of the vibration or the intensity of the visual effect in proportion to the number of application of the pressure input.
  • the electronic device may display the first icon.
  • the first emoticon 1501 may be displayed as it is in the form of the emoticon 1501.
  • the electronic device selects an answer in which the first emoticon 1501 is converted into a simplified text form, and the first emoticon as shown in FIG. 15C.
  • a simplified text corresponding to 1501 may be displayed: "Loyalty!
  • the electronic device selects an answer in the form of a recommended answer corresponding to the first emoticon 1501 and displays the first emitter 1501 as shown in FIG. 15D. ), You can say "Reliance ! Nice to meet you. I'll call you in 30 minutes.”
  • the electronic device may switch the simplified recommendation answer list according to a gesture input (eg, a swipe input).
  • the electronic device may select a simplified recommendation answer through a pressure input.
  • the electronic device when the electronic device is a smart watch, the electronic device may switch the simplified recommendation answer list through the rotation of the crown or the rotation of the wheel and the pressure applied to the external frame of the electronic device.
  • the electronic device may also select a simplified recommendation answer via a pressure input.
  • the electronic device may change the attribute of the selected simplified recommendation answer according to touch and / or pressure to process the final answer.
  • the attribute of the recommended answer may be defined in various ways according to the type and type of the recommended answer.
  • the attribute when the recommended answer is in the form of text, the attribute may be the size, color, font, thickness, gradient, underlining, and / or animation effect of the text.
  • the attribute may be the size, color, animation effect, and / or replacement of the emoticon.
  • the electronic device may determine the pressure input. "Loyalty !” based on strength and / or location Increase the size of the text as shown in FIG. 16 (b) or "Loyalty !” The color of the text may be changed to red as shown in (c) of FIG. 16.
  • the electronic device may display emoticons having different sizes on the screen according to the strength of pressure input by the user in selecting a type of emoticon.
  • a list of recommended answers including a plurality of emoticons is displayed as shown in FIG. 17A
  • the electronic device may, for example, generate a first response based on the strength of the pressure input.
  • emoticons of different sizes may be selected or displayed as shown in FIG. 17B, the second century, FIG. 17C, and the third century, FIG. 17D.
  • the electronic device may change the power input of FIG. b) In the second century, it can be changed to emoticons of different sizes as shown in (c) of FIG. 18.
  • the electronic device may gradually change the size of the emoticon according to the pressure size section defined for the user's input input.
  • the electronic device may continuously change the emoticon in proportion to the pressure input of the user. For example, the electronic device determines the size of the minimum and maximum emoticons that can be expressed in consideration of the display size, and associates the intensity of the pressure input that can be detected with the determined size of the emoticon, thereby determining the size of the emoticon by the user's pressure. It can be changed continuously by change.
  • the electronic device may display the “smiling” as shown in FIG. 19A.
  • Various types of smiley emoticons corresponding to the emoticons of When the emoticon of the "laughing figure” expressing joy is selected, the electronic device may display the emoticon of the "laughing figure” on the screen as shown in FIG. 19 (b), and then the user emoticon of the "laughing figure”.
  • the electronic device may change the emoticon of the “smiley face” to another smiley face corresponding to the emoticon of the “smiley face”.
  • the electronic device may deform the emoticon in a direction of increasing or decreasing the expression of the user's emotion recommended by the electronic device according to the user's pressure input. For example, if the user inputs a pressure while the electronic device recognizes the user's status as “in a meeting-busy” and displays a corresponding emoticon on the screen, the electronic device may display the “in a meeting” according to the pressure input.
  • the emoticon corresponding to "busy” can be displayed by transforming the status into "in a meeting-more busy", "in a meeting-very busy", and the like.
  • the electronic device may display an emoticon corresponding to “in a meeting-more busy”, an emoticon corresponding to “in a meeting-very busy” instead of an emoticon corresponding to “in a meeting-busy” according to a pressure input.
  • the electronic device when the electronic device displays an emoticon corresponding to “good / joy” selected as the expected answer of the user, if there is a pressure input by the user, the electronic device may “good” based on the pressure input of the user. / "Joy” can be displayed as an emoticon corresponding to "better / better joy” or an emoticon corresponding to "slightly better / slightly joy”.
  • the change of the attribute may be performed by adjusting the actual attribute of the object of the final result to be finally displayed.
  • it may be in the form of changing the metadata or additional information of the object.
  • the electronic device may change the attribute by modifying tag information associated with the corresponding object instead of changing the final result object itself.
  • the electronic device may generate an effect by changing only tag information indicating color information of the object, not changing or creating an object with a new color.
  • the emoticon selected as the recommended answer and a method of changing the attribute may be generated by the user or implemented through the selected avatar.
  • the electronic device may select one of various attributes according to the pressure input strength or the number of pressure inputs of the user.
  • the electronic device may determine the change amount of the selected attribute according to the holding time of the touch.
  • the electronic device may select one of various properties according to the swipe operation of the user.
  • the electronic device may determine the amount of change in the selected attribute according to the strength of the pressure.
  • the electronic device may display various attributes while the user applies pressure. If the user selects one attribute and then performs a continuous swipe operation and a pressure input operation while maintaining a touch, the electronic device may determine the change amount of the attribute.
  • the electronic device may determine an emoticon that the electronic device can change as shown in FIG. 20 (b) while the user's pressure input is applied.
  • the attributes 2001, 2003, 2005 and 2007 can be displayed on the screen.
  • the electronic device as shown in (c) of FIG. Emoticons similar to the currently selected emoticon may be displayed on the screen while the touch is maintained.
  • the electronic device selects an icon according to the additional pressure input, and FIG. Can be displayed on the screen. For example, at the same time as the user's touch input is removed, the electronic device may end the property change of the corresponding emoticon.
  • the electronic device may display the electronic device as shown in FIG. 21B.
  • the attributes 2101, 2103, 2105 and 2107 of the emoticon that can be changed may be displayed on the screen.
  • the electronic device may display while the touch is maintained. As shown in (c) of FIG. 21, the UI 2108 capable of changing the color of the emoticon may be displayed on the screen. If there is additional pressure for a specific color selected by the user as shown in (c) of FIG. 21, for example, when the user selects a specific color through a swipe gesture while maintaining a touch, the electronic device selects the specific color. May be applied to the emoticon 2100 and displayed. The electronic device may terminate the attribute change of the corresponding emoticon as soon as the touch input is removed.
  • the electronic device may display the electronic device as shown in FIG. 22B.
  • the attributes 2201, 2203, 2205, and 2207 of the emoticon that can be changed may be displayed on the screen.
  • the electronic device may display while the touch is maintained. As shown in (c) of FIG. 22, the UI 2208 for changing the size of the emoticon may be displayed on the screen. If there is additional pressure with respect to a specific size selected by the user as shown in FIG. 22C, for example, when the user selects a specific size through a swipe gesture while maintaining a touch, the electronic device determines the specific size. May be applied to the emoticon 2200 and displayed. The electronic device may terminate the attribute change of the corresponding emoticon as soon as the touch input is removed.
  • the electronic device may use the changed recommendation response as an answer message and transmit an answer message to the sender who sent the message.
  • the electronic device may transmit the changed recommended answer as an answer message to the sender who sent the message according to a user input (eg, touch input, pressure input, voice input, or gesture input) for sending an answer message.
  • a user input eg, touch input, pressure input, voice input, or gesture input
  • the electronic device may display a user interface for sending an answer message on a screen, and when the user selects a user interface for sending the reply message, the electronic device sends a reply message to the caller who sent the message. Can be sent to.
  • the electronic device may provide convenience to a user in an operation of receiving a message and transmitting an answer to the received message.
  • the electronic device may provide convenience to a user in an operation of receiving a message and transmitting an answer to the received message.
  • the electronic device may provide a quick recommendation reply to the message received by the user.
  • the electronic device may receive a message.
  • the electronic device may display the received message on the screen.
  • the electronic device may generate and display one or more recommended answers to the received message on the screen.
  • An operation of generating a recommended answer of operation 2330 and displaying it on the screen may be performed according to operations 2331 and 2333 of FIG. 23B.
  • the electronic device may generate one or more recommendation response messages.
  • the electronic device may generate a recommendation reply message by predicting an answer message in association with information received inside or outside the electronic device such as a received message, a previous received message, or SNS account information of the caller.
  • the electronic device may change the at least one recommended answer message into a simple answer message, generate a recommended answer, and then display it on the screen of the electronic device.
  • the electronic device may change the recommendation response message into a simple text, an image, an avatar, or an emoticon and display it on the screen for a simple response.
  • the electronic device may select a recommended answer in response to a user input (for example, a touch input). For example, the electronic device may select a recommended answer using touch coordinates.
  • the electronic device may change a property of the selected recommended answer using a user input (eg, a pressure input). For example, the electronic device may change (modify or process) the selected recommended answer in proportion to the pressure input.
  • a user input eg, a pressure input
  • the attribute of the recommended answer may be variously defined according to the type and type of the recommended answer.
  • the attribute when the recommended answer is in the form of text, the attribute may be the size, color, font, thickness, gradient, underlining, and / or animation effect of the text.
  • the attribute if the recommended answer is in the form of an emoticon, the attribute may be the size, color, animation effect, and / or replacement of the emoticon.
  • the replacement of the emoticon may mean that the selected emoticon is changed to another emoticon of a category having the same expression as the selected emoticon.
  • the electronic device may display the recommended answer with the changed property on the screen. For example, the electronic device may update the screen according to the change of the selected recommended answer.
  • the electronic device may transmit a recommendation reply having the changed attribute to the sender who sent the message.
  • the strength of the pressure of the input Or determining an execution mode in which the response message is to be generated using at least one of durations, and providing a user interface for writing the response message on the touch screen according to the determined execution mode.
  • the operation of providing the user interface for writing the reply message on the touch screen may include: when the input is a pressure input of a first intensity, the reply message using information related to the received message. Displaying an answer message to be included in the touch screen, and if a pressure of an input on the touch screen is detected, changing an attribute of the answer message based on the pressure of the input on the touch screen. Can be.
  • the reply message may include at least one of a text, an emoticon, an image, a video, or an avatar.
  • the attribute of the reply message may include at least one of a size, a color, or a shape.
  • the changing of the attribute of the reply message may increase or decrease the color of the reply message at a predetermined rate or correspond to the strength of the pressure of the input to the reply message, or It may include the operation of displaying the size of the enlarged or reduced by a predetermined ratio.
  • the method may further include displaying an answer message and an answer message corresponding to the answer message on the touch screen.
  • a method of controlling an electronic device may include receiving a message, displaying at least one response message for the received message on a touch screen display of the electronic device, and through the touch screen display. Receiving at least one input, and changing the at least one reply message based on at least one of the pressure or duration of the received input.
  • the method may further include checking data related to the received message stored in the electronic device, and generating the at least one reply message based on the check result.
  • the method may further include receiving an input for selecting the at least one answer and transmitting the changed at least one answer message.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or a method (eg, operations) may be stored in a computer-readable storage medium (eg, memory 130) in the form of a program module. It can be implemented as.
  • a processor eg, the processor 120
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magnetic-optical media (e.g. floppy disks), internal memory, etc.
  • Instructions may include code generated by a compiler or code executable by an interpreter
  • Modules or program modules may include at least one or more of the above-described components. According to various embodiments of the present disclosure, operations performed by a module, a program module, or another component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least in some cases. Some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시 예에 따르면 전자 장치에 있어서, 터치스크린 디스플레이; 상기 터치스크린 디스플레이에 대한 압력을 검출하도록 구성된 압력 센서; 무선 신호를 송수신하도록 구성된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 압력 센서, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 무선 통신 회로를 통하여 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 터치스크린 디스플레이에 표시하고, 상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하고, 상기 수신된 입력의 압력의 세기 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하도록 하는 인스트럭션들(instructions)을 저장하도록 할 수 있다. 다른 실시 예가 가능하다.

Description

전자 장치 및 그 제어 방법
다양한 실시 예는 사용자의 압력 입력을 이용하여 전자 장치를 제어하는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 따라 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 최근에는 스마트폰, 태블릿 PC 등과 같이 다양한 기능을 가지는 휴대용 전자 장치의 보급이 확대되고 있다. 또한 최근에는 스마트 시계(smartwatch), 스마트 안경 등과 같은 웨어러블 기기의 보급이 확대되고 있으며, 사용자들은 상기 웨어러블 기기를 스마트폰, 태블릿 PC 등의 보조 장치로 이용하여, 상기 웨어러블 기기의 기능을 점차 확대시키고 있다.
웨어러블 기기는 소형 기기라는 특성에 의해 제한된 크기의 디스플레이 사이즈를 가지고 있으며, 이러한 디스플레이 사이즈의 제약으로 사용자의 입력을 통한 조작의 어려움이 있다. 예를 들어, 사용자가 스마트 시계를 이용하여 쉽게 스마트폰에 수신된 메시지를 확인할 수 있지만, 스마트 시계의 제한된 디스플레이 사이즈 및 입력 수단으로 인해, 수신된 메시지의 답변을 상기 스마트 시계에서 직접 작성하기가 어려운 문제가 있다.
본 발명의 다양한 실시 예들은, 전자 장치에서 사용자가 쉽고 빠르고 정확하게 수신 메시지에 대한 답변 메시지를 작성할 수 있는 수단을 제공할 수 있는 전자 장치 및 그 제어 방법을 제공할 수 있다.
본 발명의 다양한 실시 예들은, 전자 장치에서 비주얼 감성 콘텐츠의 적극적인 활용을 통해 수신 메시지에 대한 답변을 쉽고 간단하게 표현할 수 있는 전자 장치 및 그 제어 방법을 제공할 수 있다.
본 발명의 다양한 실시 예들은, 전자 장치에서 사용자의 터치 입력과 압력 입력을 혼용하여 사용할 수 있도록 함으로써, 조작 특성에 대응하는 직관적인 UI(user interface)/UX(user experience)를 제공하여 전자 장치의 사용성을 향상시킬 수 있는 전자 장치 및 그 제어 방법을 제공할 수 있다.
다양한 실시 예들에 따른 전자 장치에 있어서, 터치스크린 디스플레이; 상기 터치스크린 디스플레이에 대한 압력을 검출하도록 구성된 압력 센서; 무선 신호를 송수신하도록 구성된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 압력 센서, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 무선 통신 회로를 통하여 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 터치스크린 디스플레이에 표시하고, 상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하고, 상기 수신된 입력의 압력의 세기 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
다양한 실시 예들에 따른 전자 장치의 제어 방법에 있어서, 메시지를 수신하는 동작, 상기 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 전자 장치의 터치스크린 디스플레이에 표시하는 동작, 상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하는 동작, 및 상기 수신된 입력의 압력 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치 및 그 제어 방법은, 전자 장치에서 사용자가 쉽고 빠르고 정확하게 수신 메시지에 대한 답변 메시지를 작성할 수 있는 수단을 제공할 수 있도록 하기 위한 것이다. 예를 들어, 사용자는 제한된 사이즈의 디스플레이를 가지는 웨어러블 기기에서 수신된 메시지를 확인하는 것뿐만 아니라, 쉽고 빠르게 간단한 답변 메시지를 상기 메시지의 발신측 전자 장치에 보낼 수 있다. 사용자가 최소한의 터치 및 압력 입력을 통해 빠르고 정확하게 사용자의 의도를 반영한 답변을 생성할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 다양한 실시 예에 따른 전자 장치의 블록도를 도시한다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도를 도시한다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블록도를 도시한다.
도 5a 및 도 5b는 다양한 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다.
도 6은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 생성하기 위한 전자 장치의 구성을 나타내는 블록도를 도시한다.
도 7a 및 7b는 다양한 실시 예에 따른 사용자 입력에 의해 전자 장치가 수신 메시지의 답변 방식을 선택하는 흐름도이다.
도 8은 다양한 실시 예에 따른 사용자 입력에 의해 수신 메시지의 답변 방식의 선택에 따른 전자 장치의 동작 화면을 나타낸 도면이다.
도 9는 다양한 실시 예에 따른 전자 장치의 추천 답변 모드의 실행에 따른 동작 흐름도이다.
도 10은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 전송하기까지의 전자 장치에 대한 사용자의 조작 동작을 도식화한 도면이다.
도 11은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 생성하여 답변 메시지를 발신자에게 전송하는 전자 장치의 제어 동작의 흐름도이다.
도 12는 다양한 실시 예에 따른, 단순화된 추천 답변 메시지 목록이 중심 키워드 목록인 경우, 단순화된 추천 답변 메시지의 표시를 설명하기 위한 도면이다.
도 13은 다양한 실시 예에 따른 단순화된 추천 답변 메시지 목록이, 이모티콘 목록인 경우, 단순화된 추천 답변 메시지의 표시를 설명하기 위한 도면이다.
도 14은 다양한 실시 예에 따른 수신 메시지의 키워드들의 조합을 통해 이모티콘들을 애니메이션 형태로 표시하는 동작을 설명하기 위한 도면이다.
도 15는 다양한 실시 예에 따른 압력 입력의 세기에 따라 선택된 추천 답변을 변경하는 동작을 설명하기 위한 도면이다.
도 16은 다양한 실시 예에 따른 추천 답변이 텍스트일 때, 압력 입력에 따라 텍스트의 속성 변경을 도시한 도면이다.
도 17는 다양한 실시 예에 따른 추천 답변이 이모티콘일 때, 압력 입력에 따라 이모티콘의 크기 변경을 도시한 도면이다.
도 18은 다양한 실시 예에 따른 추천 답변으로 선택된 이모티콘에 대한 압력 입력의 세기에 따라 이모티콘의 크기 변경을 도시한 도면이다.
도 19는 다양한 실시 예에 따른 추천 답변으로 선택된 이모티콘에 대한 입력에 따라 선택된 이모티콘의 대체를 설명하기 위한 도면이다.
도 20은 다양한 실시 예에 따른 추천 답변으로 선택된 이모티콘의 속성 변경을 설명하기 위한 도면이다.
도 21은 다양한 실시 예에 따른 추천 답변으로 선택된 이모티콘의 속성 변경을 설명하기 위한 도면이다.
도 22는 다양한 실시 예에 따른 추천 답변으로 선택된 이모티콘의 속성 변경을 설명하기 위한 도면이다.
도 23a 및 도 23b는 다양한 실시 예에 따른 전자 장치의 제어 동작의 흐름도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시 예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시 예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시 예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치(201)의 블록도이다. 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다. 한 실시 예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시 예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변환할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블록도를 도시한다.
도 4을 참조하면, 일 실시 예에 따른 전자 장치(401)(예: 전자 장치(101))는 디스플레이(410)(예: 디스플레이(160)), 디스플레이 구동 회로(DDI; display driving IC)(415), 터치 센서(420), 터치 센서 IC(425), 압력 센서(430), 압력 센서 IC(435), 햅틱 액추에이터(440), 메모리(450)(예: 메모리(130)) 및 프로세서(460)(예: 프로세서(120))를 포함할 수 있다. 도 1 내지 도 3을 참조하여 설명된 구성에 대한 중복 설명은 생략될 수 있다.
디스플레이(410)는 디스플레이 구동 회로(DDI)(415)로부터 공급된 영상 구동 신호를 수신할 수 있다. 디스플레이(410)는 상기 영상 구동 신호에 기반하여 다양한 컨텐츠 및/또는 아이템(예: 텍스트, 이미지 (객체), 비디오, 아이콘, 기능 객체, 또는 심볼 등)을 표시할 수 있다. 본 문서에 있어서, 디스플레이(410)는 터치 센서(420), 및/또는 압력 센서(430)와 중첩적으로 결합될 수 있으며, "디스플레이 패널"로 언급될 수도 있다. 디스플레이(410)는 저전력 모드로 구동될 수도 있다.
디스플레이 구동 회로(DDI)(415)는 프로세서(460)(호스트)로부터 수신한 영상 정보에 대응하는 영상 구동 신호를 미리 설정된 프레임률(frame rate)로 디스플레이(410)에 공급할 수 있다. 디스플레이 구동 회로(415)는 디스플레이(410)을 저전력 모드로 구동할 수도 있다. 도시하지는 않았으나, 일 실시 예에 따르면, 디스플레이 구동 회로(415)는 그래픽 램, 인터페이스 모듈, 이미지 프로세싱 유닛(image processing unit), 멀티플렉서(multiplexer), 디스플레이 타이밍 컨트롤러(display timing controller; T-con), 소스 드라이버, 게이트 드라이버, 및/또는 발진기(oscillator) 등을 포함할 수 있다.
터치 센서(420)에서는 사용자로부터의 터치에 의해 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 일 실시 예에 따르면, 터치 센서(420)는 디스플레이(410)와 중첩적으로 배치될 수 있다.
터치 센서 IC(425)는 터치 센서(420)에서의 물리량의 변화를 감지하고, 물리량(예: 전압, 저항, 커패시턴스 등)의 변화에 기반하여 터치가 이루어진 위치(X,Y)를 산출할 수 있다. 산출된 위치 (좌표)는 프로세서(460)에 제공(혹은 보고(report))될 수 있다.
예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 디스플레이의 커버 글래스에 접촉하면, 터치 센서(420)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수 있다. 예를 들어, 커플링 전압의 변화는 터치 센서 IC(425)에 의해 감지될 수 있고, 터치 센서 IC(425)는 터치가 이루어진 위치의 좌표(X,Y)를 프로세서(460)로 전달할 수 있다. 프로세서(460)는 상기 좌표(X,Y)에 관한 데이터를 사용자 입력에 관한 이벤트로서 획득할 수 있다.
터치 센서 IC(425)는 터치 IC, 터치 스크린 IC, 터치 컨트롤러, 또는 터치 스크린 컨트롤러 IC 등으로 언급될 수 있다. 일 실시 예에 따르면, 터치 센서 IC(425)가 포함되지 않은 전자 장치에서는, 프로세서(460)가 터치 센서 IC(425)의 기능을 수행할 수도 있다. 일 실시 예에 따르면, 터치 센서 IC(425)와 프로세서(460)는 단일의 구성(예: one-chip)으로 구현될 수도 있다.
압력 센서(430)에서는, 외부 물체(예: 손가락, 전자 펜)에 의한 압력(혹은, 힘)이 감지될 수 있다. 일 실시 예에 따르면, 압력 센서(430)에서는, 터치에 의해 송신단(Tx)(예: 도 3의 제1 전극(341)) 및 수신단(Rx)(도 3의 제2 전극(342)) 사이의 물리량(예: 정전용량)이 변화할 수 있다.
압력 센서 IC(435)는 압력 센서(430)에서의 물리량(예: 정전용량 등)의 변화를 감지하고, 물리량의 변화에 기반하여 사용자의 터치에 의해 가해진 압력을 산출할 수 있다. 압력 센서(430)에서 단위시간 동안 변화되는 압력 세기의 변화(속도), 압력이 가해지는 방향, 압력의 세기 등을 확인 할 수 있다. 압력 또는 압력의 세기, 속도, 또는 방향 등은 터치가 이루어진 위치(X,Y)와 함께 프로세서(460)에 제공될 수 있다.
일 실시 예에 따르면, 상기 압력의 세기는, 압력의 강도 또는 레벨이라고 할 수 있다. 상기 압력의 세기는, 예를 들어, 압력의 세기가 1에서 3까지 일 때, 압력의 레벨을 레벨 1로 지정하는 것과 같이, 압력의 특정 구간의 세기를 특정 레벨로 지정할 수 있다.
일 실시 예에 따르면, 압력 센서 IC(435)는 포스 터치 컨트롤러, 포스 센서 IC, 또는 압력 패널 IC 등으로 언급될 수 있다. 압력 센서 IC(435)는 터치 센서 IC(425)와 함께 단일의 구성(예: one-chip)으로 구현될 수도 있다.
햅틱 액추에이터(440)는 프로세서(460)의 제어 명령에 따라서 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 예를 들어, 햅틱 액추에이터(440)는, 사용자로부터 터치 입력(예: 터치, 호버링, 포스 터치 포함)이 수신될 때, 사용자에게 촉각적 피드백을 제공할 수 있다.
메모리(450)는 전자 장치(401)에 포함된 구성요소의 동작과 연관된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(450)는, 복수의 아이템을 디스플레이에 표시하도록 설정된 사용자 인터페이스를 포함하는 적어도 하나의 어플리케이션 프로그램을 저장할 수 있다. 예를 들어, 메모리(450)는, 실행 시에, 프로세서(460)가 본 문서에 기재된 다양한 동작을 수행하도록 하는 명령어(instructions)를 저장할 수 있다.
프로세서(460)는, 예를 들어, 전자 장치(401)에 포함된 구성 요소들(410-450)과 전기적으로 연결될 수 있고, 전자 장치(401)에 포함된 구성 요소들(410-450)의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 디스플레이(410)에 사용자 인터페이스를 표시하는 어플리케이션 프로그램(혹은, 단순히 "어플리케이션"으로 언급될 수 있음)을 실행(런칭(launching))할 수 있다. 프로세서(460)는 어플리케이션의 실행에 응답하여 디스플레이(410)에 표시된 사용자 인터페이스에 복수의 아이템의 배열(array)을 표시할 수 있다.
프로세서(460)는 터치 센서(420)로부터 생성된 제1 데이터(터치의 위치 좌표(X,Y)를 포함하는 데이터)를 수신할 수 있다. 프로세서(460)는 압력 센서(430)로부터 생성된 제2 데이터(터치의 압력(Z)을 포함하는 데이터)를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 디스플레이(410)가 비활성화된 동안 압력 센서(430)의 적어도 일부를 활성화할 수 있다. 프로세서(460)는 디스플레이(410)가 비활성화된 동안 압력 센서(430)를 적어도 부분적으로 활성화할 수 있다. 예를 들어, 프로세서(460)는 전자 장치(401)가 어웨이크(awake) 상태에 있는 경우뿐만 아니라 디스플레이(410) 등의 구성요소가 비활성화된 대기 상태에 있는 경우에도, 압력 센서(430)의 전부 또는 일부를 활성화할 수 있다. 프로세서(460)는 대기 상태에서의 소비 전력을 감소시키고 터치로 인한 오동작을 감소시키기 위해 디스플레이(410)가 비활성화된 동안 또는 전자 장치(401)가 대기 상태에 있는 동안 터치 센서(420)를 적어도 부분적으로 비활성화할 수도 있다.
일 실시 예에 따르면, 프로세서(460)는 디스플레이(410)가 비활성화된 동안 지정된 조건이 달성되면 압력 센서(430)의 적어도 일부를 활성화할 수 있다. 예를 들어, 프로세서(460)는 디스플레이(410)가 비활성화된 후 지정된 시간 이후부터 또는 지정된 시간까지 압력 센서(430)를 활성화할 수 있다. 다른 예를 들면, 프로세서(460)는 자이로 센서 또는 근접 센서 등에 의해 사용자의 사용이 감지되면 압력 센서(430)를 활성화할 수 있다. 또 다른 예를 들면, 프로세서(460)는 지정된 시간 구간 동안, 온도가 지정된 값보다 낮은 경우, 터치 패널을 통해 터치가 감지된 경우, 전자 장치(401)가 다른 외부 장치와 근접한 경우, 또는 전자 장치(401) 내에 탑재된 스타일러스가 전자 장치(401)로부터 꺼내진 경우 압력 센서(430)를 활성화할 수도 있다. 또 다른 예를 들면, 프로세서(460)는 대기 상태에서 동작을 수행하는 어플리케이션(예: 음악 플레이어)이 실행되는 동안 압력 센서(430)를 활성화할 수도 있다.
일 실시 예에 따르면, 프로세서(460)는 디스플레이(410)가 비활성화된 동안 지정된 조건 달성되면 압력 센서(430)의 적어도 일부를 비활성화할 수도 있다. 예를 들어, 프로세서(460)는 근접 센서, 조도 센서, 가속도 센서 및/또는 자이로 센서 등을 이용하여 전자 장치(401)가 주머니에 놓인 경우, 가방 안에 들어간 경우, 또는 뒤집힌 경우 압력 센서(430)를 비활성화할 수 있다. 다른 예를 들면, 프로세서(460)는 전자 장치(401)가 외부 장치와 연결된 경우(예를 들어, 데스크 탑과 연결된 경우) 압력 센서(430)를 비활성화할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 디스플레이(410)가 비활성화된 동안 압력 센서(430) 중 지정된 영역만 활성화할 수도 있다. 예를 들어, 프로세서(460)는 대기 상태에서의 소비 전력을 감소시키기 위해 압력 센서(430) 중 지정된 일부 영역(예를 들어, 압력 센서(430)의 중앙 하단 영역)을 활성화할 수 있다. 압력 센서(430)가 2 이상의 센서들의 집합으로 구현된 경우, 프로세서(460)는 2 이상의 센서들 중 일부를 활성화할 수도 있다.
일 실시 예에 따르면, 압력 센서(430)를 활성화함으로써, 프로세서(460)는 전자 장치(401)가 대기 상태에 있는 동안 압력 센서(430)를 이용하여 압력을 감지할 수 있다. 예를 들어, 프로세서(460)는 디스플레이(410)가 비활성화된 동안 압력 센서(430)로부터 디스플레이(410)에 대한 외부 물체에 의한 압력과 관련된 데이터를 수신할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 압력과 관련된 데이터에 기초하여 압력이 선택된 레벨보다 크거나 같은지 여부를 결정할 수 있다. 프로세서(460)는 압력이 선택된 레벨보다 크거나 같은 것으로 결정되면 디스플레이(410)를 전적으로(fully) 활성화하지 않고 기능을 수행할 수 있다. 예를 들어, 프로세서(460)는 지정된 레벨보다 크기가 큰 압력이 감지되면 기능을 수행할 수 있다. 예컨대, 프로세서(460)는 디스플레이(410)의 일부를 활성화할 수 있다. 프로세서(460)는 압력이 감지된 위치, 세기, 지점의 개수, 속도, 방향 및 지속 시간 중 적어도 하나에 기초하여 수행할 기능을 결정할 수 있다.
도 4에서는 압력 센서(430)가 압력(Z)에 대한 데이터를 프로세서로 제공하는 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(430)가 2 이상의 센서들의 집합으로 구현된 경우, 프로세서(460)는 2 이상의 센서들 중 정전 용량이 변화된 센서의 위치에 기초하여 압력이 작용된 위치를 감지할 수 있다. 예를 들어, 압력 센서(430)가 3×2의 어레이로 배열된 6개의 센서들의 집합으로 구현된 경우, 프로세서(460)는 6개의 센서들 각각의 정전 용량의 변화량 및 6개의 센서들 각각이 배치된 위치에 기초하여 압력이 작용된 위치를 판단할 수 있다. 프로세서(460)는 터치 센서(430)를 이용하지 않고 압력이 작용된 위치를 판단할 수도 있다. 프로세서(460)는 압력 센서(430)에 의해 압력이 감지되면 터치 센서(420)를 활성화함으로써, 터치 센서(420)를 이용하여 압력이 작용된 위치를 감지할 수도 있다.
일 실시 예에 따르면, 프로세서(460)는 압력 센서(430)에서 터치에 의한 제1 레벨의 압력이 감지되면, 제1 기능을 수행할 수 있다. 프로세서(460)는 제1 레벨의 압력이 감지된 위치, 세기, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제1 기능을 결정하고, 결정된 제1 기능을 수행할 수 있다. 제1 레벨의 압력은 지정된 범위의 세기의 압력을 의미할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 무선 통신 회로(미도시)(예: 통신 인터페이스(170))를 통하여 수신된 메시지에 대한 답변 메시지를 위한 디스플레이(410)(예: 터치스크린) 상의 입력이 검출되면, 상기 입력의 압력 또는 지속시간 중 적어도 하나를 이용하여 상기 답변 메시지를 생성할 실행 모드를 결정하고, 상기 결정된 실행 모드에 따라 상기 답변 메시지의 작성을 위한 사용자 인터페이스를 디스플레이(410) 상에 제공하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 수신된 메시지와 관련된 정보를 이용하여 상기 답변 메시지를 디스플레이(410) 상에 표시할 수 있다. 프로세서(460)는 압력 센서(430)를 이용하여 디스플레이(410) 상에 입력의 압력이 검출되면, 디스플레이(410) 상에 상기 입력의 압력에 기초하여 상기 답변 메시지의 적어도 일부를 변경하도록 할 수 있다. 예를 들어, 답변 메시지는, 텍스트, 이모티콘, 이미지, 동영상, 또는 아바타 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 답변 메시지는 크기, 색상, 또는 형태 중 적어도 하나를 변경할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 대응하여, 상기 답변 메시지 적어도 일부의 색상을 변경하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 대응하여, 상기 답변 메시지의 크기를 지정된 비율로 확대 또는 축소시켜서 표시하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 수신 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드를 상기 답변 메시지로 결정하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 수신 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드에 대응하는 적어도 하나의 이모티콘을 검출하며, 상기 이모티콘을 상기 답변 메시지로 결정하도록 할 수 있다.
일 실시 예에 따르면, 프로세서(460)는 상기 입력이 압력 입력인 경우, 상기 압력 입력의 세기 따라, 상기 답변 메시지를 생성할 실행 모드를, 상기 전자 장치의 마이크(예: 마이크(288)를 이용하여 입력된 음성으로 답변 메시지를 생성하는 제1 답변 모드, 상기 전자 장치의 카메라(예: 카메라 모듈(291))를 이용하여 촬영된 비디오 또는 사진으로 답변 메시지로 생성하는 제2 답변 모드, 또는 상기 수신된 메시지와 관련된 정보를 이용하여 답변 메시지를 생성하는 제3 답변 모드로 결정할 수 있다. 또한, 프로세서(460)는 상기 입력이 터치 입력인 경우, 상기 터치 입력의 유지 시간에 따라, 상기 답변 메시지를 생성할 실행 모드를, 상기 제1 답변 모드, 상기 제2 답변 모드, 및 상기 제3 답변 모드를 포함하는 메뉴를 실행하도록 하는 제4 답변 모드, 또는 가상의 키패드를 이용하여 입력된 텍스트로 답변 메시지를 생성하는 제4 답변 모드로 결정하도록 할 수 있다.
전자 장치(401)에 대한 한번의 터치 후 전자 장치(401)를 누르는 압력의 크기에 따라 수행 중인 기능과 연관된 다른 기능을 실행함으로써, 입력의 편의성이 증대될 수 있다.
상기 설명된 프로세서(460)의 동작은 일례로서, 전술한 기재에 제한되지 않는다. 예컨대, 본 문서의 다른 부분에 기재된 프로세서의 동작도 상기 프로세서(460)의 동작으로 이해될 수 있다. 본 문서에서, "전자 장치"의 동작으로 기재된 동작들 중 적어도 일부는 프로세서(460)의 동작으로 이해될 수도 있다.
도 5a 및 도 5b는 다양한 실시 예에 따른 전자 장치(예: 전자 장치(101))에 포함된 구성들이 적층된 구조를 나타낸다.
도 5a 및 도 5b에 도시된 적층 구조는 도 1에 도시된 디스플레이(110)에 적용될 수 있다. 도 5a 및 도 5b에 도시된 구성들은 도 1의 전자 장치(101)의 전면(제1 면)과 후면(제2 면) 사이에 배치될 수 있다.
일 실시 예에 따르면, 디스플레이의 적층 구조에 있어서, 커버 글래스(510)는 디스플레이 패널(530)에 의해 생성된 빛을 투과시킬 수 있다. 커버 글래스(510) 상에 사용자는 신체의 일부(예: 손가락)를 접촉함으로써 "터치"(전자 펜을 이용한 접촉을 포함함)를 수행할 수 있다. 커버 글래스(510)는, 예를 들어, 강화 유리, 강화 플라스틱, 또는 가요성(flexible) 고분자 소재 등으로 형성되어, 디스플레이 및 디스플레이가 탑재된 전자 장치를 외부 충격으로부터 보호할 수 있다. 일 실시 예에 따르면, 커버 글래스(510)는 글래스 윈도우(glass window) 또는 커버 윈도우(cover window)로도 언급될 수 있다.
터치 센서(520)에서는, 외부 물체(예: 사용자의 손가락 또는 전자 펜)의 접촉에 의해 다양한 물리량(예: 전압, 광량, 저항, 전하량 또는 커패시턴스 등)이 변화할 수 있다. 터치 센서(520)는 물리량의 변화에 기반하여 디스플레이 상(예: 커버 글래스(510)의 표면 상)의 외부 물체에 의한 터치의 적어도 하나의 위치를 검출할 수 있다. 예를 들어, 터치 센서(520)은 정전식 터치 센서, 감압식 터치 센서, 적외선 방식 터치 센서, 저항막 방식 터치 센서 또는 피에조(piezo) 터치 센서 등을 포함할 수 있다. 터치 센서(520)의 전극은 디스플레이(530)에 내장될 수 있다. 일 실시 예에 따르면, 터치 센서(520)는 구현 형태에 따라서 터치 패널, 또는 터치스크린 패널 등 다양한 명칭으로 언급될 수 있다.
디스플레이(530)는 적어도 하나의 콘텐트 혹은 아이템(item)(예: 텍스트, 이미지, 비디오, 아이콘, 위젯, 또는 심볼 등)을 출력할 수 있다. 디스플레이(530)는, 예를 들어, 액정 디스플레이(LCD) 패널, 발광 다이오드(LED) 디스플레이 패널, 유기 발광 다이오드(OLED) 디스플레이 패널, 마이크로 전자기계 시스템(MEMS) 디스플레이 패널, 또는 전자 종이 디스플레이 패널을 포함할 수 있다.
일 실시 예에 따르면, 디스플레이(530)는 터치 센서(또는 터치 패널)(520)와 일체로 구현될 수 있다. 이 경우, 디스플레이(530)는 터치스크린 패널(TSP: touch screen panel), 혹은 터치스크린 디스플레이 패널로도 언급될 수 있다.
압력 센서(540)는, 디스플레이(예: 커버 글래스(510)의 표면)에 대한 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 압력(혹은, 힘)을 검출할 수 있다. 일 실시 예에 따르면, 압력 센서(540)는 제1 전극(541), 제2 전극(542), 및 유전층(dielectric layer)(543)을 포함할 수 있다. 예를 들어, 압력 센서(540)는 터치의 압력에 의해 변화하는 제1 전극(541) 및 제2 전극(542) 사이의 정전 용량에 기초하여 터치의 압력을 감지할 수 있다.
압력 센서(540)의 유전층(543) 재료는 예를 들어, 실리콘, Air, Foam, Membrane, OCA, 스폰지, 고무, 잉크, 또는 폴리머(PC, PET 등) 등일 수 있다. 압력 센서(540)의 제1 전극(541) 및/또는 제2 전극(542) 재료는 불투명인 경우 Cu, Ag, Mg, Ti, Graphene 중 적어도 하나를 포함할 수 있다. 압력 센서(540)의 제1 전극(541) 및/또는 제2 전극(542) 재료는 투명인 경우 ITO, IZO, Ag Nanowire, Metal mesh, 투명 고분자 전도체, Graphene 중 적어도 하나를 포함할 수 있다. 제1 전극(541) 및 제2 전극(542) 중 하나는 통판 GND이고 다른 하나는 반복된 다각형 패턴일 수 있다. 예를 들어 압력 센서는, 정전 용량(self capacitance) 방식을 사용할 수 있다. 제1 전극(541) 및 제2 전극(542) 중 하나는 제1 방향 패턴(TX)이고 다른 하나는 제1 방향에 직각인 제2 방향 패턴(RX)일 수 있다 예를 들어, 압력 센서는, 상호 용량 방식(mutual capacitance) 방식 일 수 있다. 압력 센서의 제1 전극(541)은 FPCB에 형성되어 디스플레이 패널(530)에 부착되거나 디스플레이 패널(5330)의 일면에 직접 형성될 수 있다.
압력 센서(5040)는 예를 들어, 포스 센서라고도 할 수 있다. 압력 센서(540)는 상술한 정전 용량, 상호 용량 방식 이외에도, 전류 유도 방식 등을 이용할 수도 있다. 압력 센서(540)는 사용자가 전자 장치의 일 부분을 누르는 경우, 사용자에 의하여 전자 장치의 일 부분에 인가되는 압력의 크기를 센싱할 수 있는 수단이라면 그 종류 및 배치 위치에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
도 5a 및 도 5b에서는 압력 센서(540)가 단일의 센서로 구현된 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(540)는 2 이상의 센서들의 집합으로 구현될 수도 있다. 예를 들어, 압력 센서(540)는 3×2의 어레이로 배열된 6개의 센서들의 집합으로 구현될 수도 있다.
햅틱 액추에이터(haptic actuator)(550)는 외부 물체(예: 사용자의 손가락 또는 전자 펜 등)에 의한 터치(호버링(hovering) 및/또는 "포스 터치" 포함)가 수신될 때, 사용자에게 촉각적 피드백(haptic feedback)(예: 진동)을 제공할 수 있다. 이를 위해 햅틱 액추에이터(260)는 압전부재(Piezoelectric member) 및/또는 진동판 등을 포함할 수도 있다.
도 5a 및 도 5b를 참조하면, 전자 장치는 최상단에 커버 글래스(510), 상기 커버 글래스(510)의 하단에 터치 센서(520), 터치 센서(520)의 하단에 디스플레이(530)가 위치될 수 있다. 전자 장치는, 디스플레이 패널(530)의 하단에 제1 전극(541), 유전층(543), 및 제2 전극(542)을 포함하는 압력 센서(540)를 포함할 수 있다. 또 다른 실시 예에 따르면, 전자 장치는, 상기 압력 센서(540)의 하단에 햅틱 엑추에이터(haptic actuator)(550)을 포함할 수 있다.
도 5a 및 도 5b의 디스플레이의 적층 구조는 일례로서, 다양한 변형이 가능하다. 예를 들면, 터치 센서(520)는 커버 글래스(510)의 배면에 직접 형성되거나(예: 커버 글래스 일체형 터치 패널), 별도로 제작되어 커버 글래스(510)와 디스플레이 패널(530) 사이에 삽입되거나(예: 애드 온(add-on) 터치 패널), 디스플레이 패널(530) 위에 직접 형성되거나(예: 온-셀(on-cell) 터치 패널), 또는 디스플레이 패널(530) 내부에 포함될 수 있다(예: 인-셀(in-cell) 터치 패널).
도 6은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 생성하기 위한 전자 장치의 구성을 나타내는 블록도를 도시한다.
도 6을 참조하면, 전자 장치(601)(예: 전자 장치(101))는 수신 메시지에 대한 추천 답변을 생성할 수 있다. 예를 들어, 상기 추천 답변은, 텍스트, 이미지, 아바타, 및/또는 이모티콘 등을 포함할 수 있다.
전자 장치(601)는, 디스플레이(610)(예: 디스플레이(410)), 터치 센서(620)(예: 터치 센서(420)), 압력 센서(630)(예: 압력 센서(430)), 메시지 어플리케이션(640), 메모리(650)(예: 메모리(450)) 및 간단 답변 엔진(simple reply engine)(660)을 포함할 수 있다. 간단 답변 엔진(660)은 도 4의 프로세서(460)에 포함될 수 있다. 간단 답변 엔진(660)은 RSRG(recommended simple reply generator)(661) 및 RSRM(recommended simple reply modifier)(663)을 포함할 수 있다. 도 1 내지 도 4을 참조하여 설명된 구성에 대한 중복 설명은 생략될 수 있다.
일 실시 예에 따르면, 전자 장치(601)는 간단 답변 엔진(660)을 통해 사용자의 최소화된 조작(예를 들어, 터치 입력 및/또는 압력 입력)만으로 수신 메시지에 대한 추천 답변을 생성할 수 있다. 예를 들어, 사용자 조작을 통해 압력 센서(630)로부터 압력 입력 및/또는 터치 센서(620)로부터 터치 입력을 수신하면, 간단 답변 엔진(660)은 상기 압력 입력 및/또는 터치 입력을 이용하여, 메시지 어플리케이션(640)에서의 수신 메시지에 대한 답변을 추천하고 이를 변형할 수 있다. 예를 들어, 간단 답변 엔진(660)은, 전자 장치의 내부의 메모리(650) 및/또는 외부의 메모리에 접근하여 현재의 수신 메시지, 이전의 수신 메시지, 이전의 발신 메시지, 상기 현재의 수신 메시지의 발신자의 정보, 또는 상기 발신자와 연동된 SNS 정보 및/또는 수신자(사용자)와 연동된 SNS 정보 등을 획득할 수 있으며, 이러한 정보를 이용하여, 현재의 수신 메시지에 대한 답변을 추천할 수 있다.
예를 들어, 간단 답변 엔진(660)의 RSRG(661)는 수신 메시지의 내용을 이용하여 사용자가 사용할 수 있는 추천 답변을 생성하거나 또는 저장된 추천 답변들 중 적어도 하나를 선택하여 추천 답변 리스트를 생성할 수 있다. RSRG(661)는 전자 장치(601)가 현재의 수신 메시지 이외의, 전자 장치의 내부 및/또는 외부에 존재하는 메시지, 상기 수신 메시지의 발신자와의 통화 기록, 상기 발신자의 SNS 계정 정보, 및/또는 수신자의 SNS 계정 정보 등을 이용하여 추천 답변을 생성하거나 저장된 추천 답변 리스트를 선정할 수도 있다.
일 실시 예에 따르면, RSRG(661)는 발신자로부터 수신한 수신 메시지와 다양한 텍스트 정보(예: 채팅 정보, 메시지 정보)를 이용해 발신자의 메시지 발신 의도를 파악할 수 있으며, 이를 이용해 발신자가 필요로 하는 하나 이상의 추천 답변을 생성하거나 또는 전자 장치에 저장되어 있는 추천 답변들 중 적절한 추천 답변을 선정할 수 있다. 예를 들어, RSRG(661)는 "추천 답변"을 생성하기 위하여, 현재 대화 창에서 수신한 수신 메시지의 텍스트 정보를 이용해 추천 답변을 1차적으로 생성할 수 있다. RSRG(661)는 상기 1차적으로 생성한 추천 답변과 전자 장치 내의 다른 텍스트 정보를 이용하여 2차적으로 추천 답변을 생성하여 사용자에게 제공해 줄 수 있습니다. 예를 들어, 과거에 반말로 상대방과 대화를 한 내용이 있다면, 이를 활용하여 추천 답변을 반말로 생성할 수 있으며, 반대로 이전에 상대방에게 존대말로 대화를 한 내용이 있다면, 추천 답변을 존재말로 정중하게 구성하도록 변경시킬 수 있다. RSRG(661)는 현재 메시지를 수신한 어플리케이션이 아닌 다른 어플리케이션을 통해 수신 메시지의 상대방과 나눈 대화 내용(텍스트 정보)을 이용해 추천 답변을 생성할 수 있습니다.
일 실시 예에 따르면, RSRG(661)는 텍스트 정보 이외에도 센싱 정보, 시간 정보, 전자 장치에 저장된 스케줄 정보, 또는 전자 장치에 저장된 사진 정보 등의 다양한 컨텍스트(context) 정보를 이용해 추천 답변을 생성할 수도 있다. 예를 들어, 전자 장치가 메시지를 수신할 때, 사용자가 전자 장치 또는 이와 연결된(또는 연동된) 다른 전자 장치를 휴대한 상태로 달리기 중 이였다면, 전자 장치는 이를 모션센서를 이용해 검출할 수 있으며, RSRG(661)는 사용자가 달리기 중이고 현재 메시지를 확인할 수 없다는 내용을 1차적으로 생성한 추천 답변에 포함시키거나, 이를 1차적으로 생성한 추천 답변으로 대체되도록 할 수 있다. 예를 들어, 전자 장치가 메시지를 수신할 때, 사용자가 전자장치를 장시간 이용하지 않고 책상 위에 둔 상태라면, 전자 장치는 이를 모션센서를 이용해 검출할 수 있으며, RSRG(661)는 사용자가 전자 장치를 방치한 상태로 메시지 확인하지 않는다는 내용을 1차 추천 답변에 포함시키거나, 이를 1차 추천 답변으로 대체되도록 할 수 있다. 예를 들어, 마이크 (always on mic)(예: 마이크(288))를 이용해 입력되는 소리 정보, 또는 GPS를 통해 입력되는 위치 정보 등을 추천 답변에 포함시킬 수 있다. 예를 들어, "어디야"라는 메시지를 수신한 경우, 전자장치는 RSRG(661)를 통해 전자 장치에 저장된 스케줄 정보 등을 이용하여 "강남역 가는중"이라는 1차 답변을 생성할 수 있으며, 이후 RSRG(661)는 마이크를 통한 소리 정보, 모션 센서를 통한 전자 장치의 움직임 정보, GPS를 통한 위치 정보 등을 이용하여, "버스타고 가는 중이고, 현재 교대역이니 강남역까지 15분 정도 걸릴 것 같아"라는 답변을 생성할 수 있다.
일 실시 예에 따르면, 간단 답변 엔진(660)의 RSRM(663)은 RSRG(661)가 생성하여 사용자에게 제시한 추천 답변을 변형하기 위한 모듈로써, 사용자의 압력 입력, 터치 입력 또는 제스처 입력(예: 스와이프)에 의해 추천 답변의 속성을 변경시키는 역할을 수행할 수 있다. 예를 들어, RSRG(661)가 추천한 여러 추천 답변들 중 하나의 추천 답변을 사용자가 선택하고, 이후 선택한 답변의 일부에 적절한 압력을 가하는 경우, 전자 장치는 해당 부분의 속성이 바뀌게 할 수 있다. 사용자가 RSRG(661)가 추천한 여러 추천 답변들 중 "오늘 늦게 퇴근해"라는 추천 답변을 선택하고, 이후 "늦게"라는 단어에 압력 입력을 가하는 경우, 전자 장치의 RSRM(663)는 "늦게"라는 단어의 폰트 크기를 압력 입력에 대응하여 증가시킬 수 있으며, 또는 사용자 압력 입력에 대응하여 RSRM(663)는 "늦게"라는 단어를 반복적으로 표시할 수 있다("오늘 늦게 늦게 늦게 퇴근해"). 또 다른 예로, 사용자가 RSRG(661)가 추천한 여러 추천 답변들이 이모티콘들일 경우 이모티콘들 중 하나를 선택하고 여기에 압력 입력을 가하는 경우, 전자 장치의 RSRM(663)는 이모티콘의 크기를 크게 할 수도 있고, 이모티콘을 반복하여 표시할 수도 있으며, 또는 동일 또는 유사한 카테고리의 다른 이모티콘으로 이모티콘을 변경시킬 수 있다.
일 실시 예에 따르면, 간단 답변 엔진(660)은 디스플레이(610)와 연결되어 있으며, 상기 추천 답변과 후술하는 사용자의 조작에 따른 추천된 답변의 변형을 디스플레이(610)를 통해 사용자에게 제공할 수 있다.
다양한 실시 예에 따르면, 전자 장치에 있어서, 터치스크린 디스플레이; 상기 터치스크린 디스플레이에 대한 압력을 검출하도록 구성된 압력 센서; 무선 신호를 송수신하도록 구성된 무선 통신 회로; 상기 터치스크린 디스플레이, 상기 압력 센서, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서; 및 상기 프로세서에 전기적으로 연결된 메모리를 포함하며, 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 무선 통신 회로를 통하여 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 터치스크린 디스플레이에 표시하고, 상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하고, 상기 수신된 입력의 압력의 세기 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가 상기 메모리에 저장된 상기 수신된 메시지와 관련된 데이터를 확인하고, 상기 확인 결과에 기초하여 적어도 하나의 답변 메시지를 생성하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가 상기 적어도 하나의 답변을 선택하는 입력을 더 수신하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가 상기 변경된 적어도 하나의 답변 메시지를 전송하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 답변 메시지는, 텍스트, 이모티콘, 이미지, 동영상, 또는 아바타 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 기반하여, 상기 답변 메시지의 색상을 변경시키도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 기반하여, 상기 답변 메시지의 크기를 확대 또는 축소시켜서 표시하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 답변 메시지에 대한 입력이 검출되면, 상기 답변 메시지와 상기 답변 메시지에 대응하는 적어도 하나의 추가 답변 메시지를 상기 터치스크린 상에 표시하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 답변 메시지가 복수의 이미티콘들을 포함할 때, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 이모티콘들 중 제1 이모티콘에 대한 입력이 검출되면, 상기 제1 이모티콘에 대한 입력의 압력의 세기에 따라, 상기 터치스크린 상의 지정된 위치에 상기 제1 이모티콘을 표시하거나, 상기 제1 이모티콘에 대응하는 단순화된 텍스트를 표시하거나, 상기 제1 이모티콘에 대응하는 추천 텍스트를 표시하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 답변 메시지에 포함될 답변 메시지가 복수의 이미티콘들을 포함할 때, 상기 인스트럭션들은, 상기 프로세서가, 상기 복수의 이모티콘들 중 제1 이모티콘에 대한 입력이 검출되면, 상기 제1 이모티콘에 대한 입력의 압력의 세기에 따라, 상기 터치스크린 상의 지정된 위치에 상기 제1 이모티콘을 확대 또는 축소시켜서 표시하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 수신된 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드를 상기 답변 메시지로 결정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 수신된 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드에 대응하는 적어도 하나의 이모티콘을 검출하며, 상기 이모티콘을 상기 답변 메시지로 결정하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가 상기 압력 센서를 이용하여 상기 터치스크린 디스플레이 상의 제1 세기의 압력 입력이 검출되면, 상기 수신된 메시지와 관련된 정보를 이용하여 상기 답변 메시지를 상기 터치스크린 디스플레이 상에 표시하고, 상기 터치스크린 디스플레이 상에 상기 입력의 압력의 세기에 기초하여 상기 답변 메시지의 속성 변경을 실행하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 답변 메시지의 속성은, 크기, 색상, 또는 형태 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 인스트럭션들은, 상기 프로세서가, 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 대응하여, 상기 답변 메시지에 대응하는 적어도 하나의 속성을 변경하기 위한 사용자 인터페이스 또는 상기 답변 메시지에 대응하는 지정된 개수의 답변 메시지를 추가로 더 표시하도록 하기 위한 사용자 인터페이스 중 적어도 하나를 추가로 더 표시하며, 상기 적어도 하나의 속성을 변경하기 위한 상기 사용자 인터페이스에 대한 입력에 따라, 상기 속성의 변경을 실행하도록 할 수 있다.
다양한 실시 예들에 따르면, 상기 적어도 하나의 속성을 변경하기 위한 상기 사용자 인터페이스는, 상기 답변 메시지의 색상을 변경하기 위한 사용자 인터페이스, 상기 답변 메시지의 크기를 변경하기 위한 사용자 인터페이스 중 적어도 하나를 포함할 수 있다.
도 7a 및 도 7b는 다양한 실시 예에 따른 사용자 입력에 의해 전자 장치(예: 전자 장치(101))가 수신 메시지의 답변 방식을 선택하는 흐름도이다. 도 8은 다양한 실시 예에 따른 사용자 입력에 의해 수신 메시지의 답변 방식의 선택에 따른 전자 장치(예: 전자 장치(101))의 동작 화면을 나타낸 도면이다.
705 동작에서, 전자 장치는 메시지를 수신할 수 있다. 일 실시 예에 따르면, 전자 장치가 메시지를 수신하면, 전자 장치는 도 8의 (a)와 같이, 수신 메시지의 발신자 정보(801), 수신 메시지의 수신 시간(803), 수신 메시지의 일부 또는 전체 내용(805), 및/또는 Reply 아이콘(807)을 화면에 표시할 수 있다.
710 동작에서, 전자 장치는 수신 메시지에 대한 사용자의 Reply 아이콘의 선택을 확인할 수 있다. 예를 들어, 전자 장치는 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)에 대한 터치 입력을 확인할 수 있다.
715 동작에서, 전자 장치는 상기 Reply 아이콘 선택을 위한 터치 입력에 대한 압력을 검출할 수 있다.
720 동작에서, 전자 장치는 검출된 압력이 제1 압력 레벨 이상인지를 판단할 수 있다. 720 동작에서 전자 장치가 검출된 압력이 제1 압력 레벨 이상인 것으로 판단하면 725 동작을 실행하고, 그렇지 않으면 750 동작을 실행할 수 있다.
725 동작에서, 전자 장치는 검출된 압력이 제2 압력 레벨 이상인지를 판단할 수 있다. 725 동작에서 전자 장치가 검출된 압력이 제2 압력 레벨 이상인 것으로 판단하면 730 동작을 실행하고 그렇지 않으면 745 동작을 실행할 수 있다.
730 동작에서, 전자 장치는 검출된 압력이 제3 압력 레벨 이상인지를 판단할 수 있다. 730 동작에서 전자 장치가 검출된 압력이 제3 압력 레벨 이상인 것으로 판단하면 735 동작을 실행하고 그렇지 않으면 740 동작을 실행할 수 있다.
735 동작에서, 전자 장치는 수신 메시지에 대한 추천 답변을 생성하기 위한 동작(추천 답변 모드)을 실행할 수 있다. 예를 들어, 전자 장치는 수신된 메시지와 관련된 정보를 이용하여 답변 메시지를 생성하는 추천 답변 모드를 실행할 수 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)의 터치와 함께 제3 압력 레벨이 인가될 경우, 전자 장치는 간단 답변 엔진을 활성화시키고 이를 통해 적절한 추천 답변을 생성하여 사용자에게 수신 메시지에 대한 답변을 추천할 수 있다. 예를 들어, 전자 장치는 도 8의 (d)와 같이 복수의 이모티콘들을 추천 답변으로 생성할 수 있다. 735 동작인 추천 답변의 생성 동작에 대한 상세한 설명은 후술한다.
740 동작에서, 전자 장치는 수신 메시지에 대한 비디오 또는 사진 답변을 생성하기 위한 동작(비디오 또는 사진 답변 모드)을 실행할 수 있다. 예를 들어, 전자 장치는 전자 장치의 카메라를 이용하여 촬영된 비디오 또는 사진으로 답변 메시지를 생성하는 비디오 또는 사진 답변 모드를 실행 할 수 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)의 터치와 함께 제2 압력 레벨이 인가될 경우, 전자 장치는 카메라를 활성화시켜 비디오 또는 사진 답변을 생성하도록 할 수 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)의 터치와 함께 제2 압력 레벨이 인가될 경우, 전자 장치는 도 8의 (c)와 같이, 사진 또는 동영상 촬영을 위한 화면을 표시할 수 있으며, 전자 장치는 사용자가 촬영한 간단한 사진 또는 동영상을 답변으로 활용할 수 있다.
745 동작에서, 전자 장치는 수신 메시지에 대한 음성 답변을 생성하기 위한 동작(음성 답변 모드)을 실행할 수 있다. 예를 들어, 전자 장치는 전자 장치의 마이크를 이용하여 입력된 음성으로 답변 메시지를 생성하는 음성 답변 모드를 실행할 수 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)의 터치와 함께 제1 압력 레벨이 인가될 경우, 전자 장치는 음성 녹음 및/또는 음성 인식 기능(예: S-Voice)를 활성화시켜서 사용자의 음성을 입력 받아 답변에 사용할 수 있다. 예를 들어, 사용자가 답변으로 녹음한 파일을 직접 전송하여 답변할 수 있다. 또 다른 예로, SST(speech to text) 또는 STE(speech to emoticon)를 이용하여 입력된 음성을 텍스트 또는 이모티콘으로 변경하여 전송할 수도 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 Reply 아이콘(807)의 터치와 함께 제1 압력 레벨이 인가될 경우, 전자 장치는 도 8의 (c)와 같이 사용자가 음성 입력을 할 수 있도록 하는 화면을 표시하며, 사용자의 음성 입력 시, SST 기능을 이용하여, 입력된 음성을 텍스트로 변경하여 화면에 표시할 수 있다.
750 동작에서, 전자 장치는 Reply 아이콘 선택을 위한 터치 입력이 일정 시간 이상 유지되는지를 판단할 수 있다. 750 동작에서 전자 장치가 Reply 아이콘 선택을 위한 터치 입력이 일정 시간 이상 유지된 것으로 판단하면 755 동작을 실행하고, 그렇지 않으면 760 동작을 실행할 수 있다.
755 동작에서, 전자 장치는 Reply 메뉴를 표시할 수 있다. 상기 Reply 메뉴는, 추천 답변 모드를 실행시키기 위한 메뉴, 비디오 또는 사진 답변 모드를 실행시키기 위한 메뉴, 및/또는 음성 답변을 모드를 실행시키기 위한 메뉴를 포함할 수 있다.
760 동작에서, 전자 장치는 수신 메시지에 대한 답변을 사용자가 직접 텍스트로 입력할 수 있도록 하기 위한 동작(텍스트 입력 모드)을 실행할 수 있다. 예를 들어, 전자 장치는 가상의 키패드를 이용하여 입력된 텍스트로 답변 메시지를 생성하도록 하는 텍스트 입력 모드를 실행할 수 있다. 예를 들어, 도 8의 (a)와 같이 표시된 화면에서 단순 터치에 의해 Reply 아이콘(807)이 선택되면, 전자 장치는 도 8의 (e)와 같이 가상의 키패드와 같은 텍스트 입력 도구를 활성화시키며, 사용자가 활성화된 텍스트 입력 도구를 통해 직접 텍스트를 입력하여 답변을 작성할 수 있도록 할 수 있다.
일 실시 예에 따르면, 전자 장치는 상술한 답변 방식들 중 하나 이상의 답변 방식을 조합하여 추천 답변을 생성할 수 도 있다. 예를 들어, 전자 장치는 사진 촬영으로 얻은 이미지 데이터와 목소리 녹음 데이터를 결합하여 하나의 추천 답변을 생성할 수도 있다. 또 다른 예로, 전자장치는 생성한 추천 답변과 사진 촬영 이미지를 결합하여, 추천 답변에서 제시한 키워드에 의해 사용자 감정을 파악하고 이를 이용해 사진 촬영 이미지를 변형하거나 대체하여 추천 답변을 생성할 수 있다. 또 다른 예로, 전자 장치는 이미지 분석 기술을 이용하여 사용자의 사진 촬영 이미지에서 사용자의 감정 정보를 파악하고 이를 기존의 추천 답변과 연동하여 텍스트를 생성하고 이를 사용자에게 전송할 수도 있다.
도 9는 다양한 실시 예에 따른 전자 장치의 추천 답변 모드의 실행에 따른 동작 흐름도이다. 도 9를 참조하면, 전자 장치는 수신 메시지에 대한 추천 답변을 생성하여 상기 수신 메시지의 발신자에게 전송할 수 있다.
910 동작에서, 전자 장치는 추천 답변 모드로 진입할 수 있다. 예를 들어, 사용자의 압력 입력의 위치 및/또는 세기에 따라, 전자 장치는 수신 메시지에 대한 추천 답변을 생성하기 위한 동작을 실행하기 위한 추천 답변 모드로 진입할 수 있다.
920 동작에서, 전자 장치는 추천 답변 리스트를 생성하여 표시할 수 있다. 예를 들어, 전자 장치는 하나 이상의 추천 답변을 포함하는 하나 이상의 추천 답변 리스트를 생성하여 사용자에게 제공할 수 있다. 예를 들어, 전자장치가 추천한 추천 답변의 형태는 텍스트, 이미지, 이모티콘, 또는 동영상 등의 형태가 될 수도 있으며, 이들의 조합으로 만들어지는 형태가 될 수도 있다. 추천 답변 리스트는 하나 이상의 추천 답변을 표시하기 위한 단위로, 하나 이상의 추천 답변들의 집합을 포함할 수 있다.
다양한 실시 예에 따르면, 복수의 추천 답변 리스트들이 존재하는 경우 전자 장치는 복수의 추천 답변 리스트들 사이를 이동할 수 있는 수단을 제공해 줄 수 있다. 일 실시 예에 따르면, 사용자의 제스처에 따라 전자 장치는 하나 이상의 추천 답변 리스트를 이동시켜가며 화면에 표시할 수 있다. 예를 들어, 제1 추천 답변 리스트와 제2 추천 답변 리스트가 존재하는 경우, 전자 장치는 제1 추천 답변 리스트를 화면에 표시할 수 있으며, 사용자의 제스처(예: 스와이프 제스처(한 손가락을 화면 위에 터치한 상태에서 일정 거리를 움직이는 제스처))에 따라 전자 장치는 제2 추천 답변 리스트를 화면에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치에 부착된 물리적 버튼 또는 논리적 버튼 (UX 아이콘)의 사용자 조작에 따라 전자 장치는 추천 답변 리스트를 이동시켜가며 화면에 표시할 수 있다. 예를 들어, 제1 추천 답변 리스트와 제2 추천 답변 리스트가 존재하는 경우, 전자 장치는 제1 추천 답변 리스트를 화면에 표시할 수 있으며, 사용자의 아이콘, 버튼 등의 선택에 따라 제1 추천 답변 리스트 대신 제2 추천 답변 리스트를 화면에 표시할 수 있다.
일 실시 예에 따르면, 스마트 시계와 같은 형태의 전자 장치에서 사용자의 전자장치의 용두 또는 휠 (Wheel)의 회전 조작에 따라 전자 장치는 추천 답변 리스트들을 이동시켜가며 화면에 표시할 수 있다. 예를 들어, 전자 장치가 스마트 시계일 경우, 스마트 시계의 용두 또는 휠을 이용하여 사용자의 압력 인가 이전 단계의 선택으로 단계를 되돌릴 수도 있다.
920 동작인 추천 답변 리스트의 생성 동작에 대한 상세한 설명은 후술한다.
930 동작에서, 전자 장치는 사용자의 추천 답변 리스트에 포함된 추천 답변에 대한 압력 입력에 따라 추천 답변의 속성을 변경할 수 있다. 예를 들어, 선택된 추천 답변은 사용자의 압력 입력에 의해 변형되거나 수정될 수 있다.
일 실시 예에 따르면, 사용자가 텍스트로 구성된 추천 답변을 선택한 경우, 전자 장치는 사용자의 압력이 입력된 단어 또는 구문에 지정된 수식어 또는 강조어를 추가, 교체 또는 반복 하는 방식으로 속성을 변경(예: 사용자의 감정을 추가)할 수 있다. 예를 들어, 추가 또는 반복되는 수식어는 순환하는 체인(chain)을 가지도록(예를 들어, 복수의 이모티콘들로 애니메이션을 생성하도록) 할 수 있으며, 사용자의 압력 입력에 따라 일정 주기로 반복되며 사용자에게 노출될 수 있다.
일 실시 예에 따르면, 이미지로 구성된 추천 답변에 사용자의 압력 입력이 인가되는 경우 전자 장치는 해당 압력 인가 위치의 이미지를 변형시킬 수 있다. 예를 들어, 이미지가 얼굴이고 얼굴의 입 부분에 압력이 가해지는 경우, 전자 장치는 가해진 압력에 비례하여 입 모양을 변형, 확대 또는 교체시켜 다양한 감정을 전달할 수 있다.
일 실시 예에 따르면, 이모티콘으로 구성된 추천 답변에 사용자의 압력 입력이 인가되는 경우 전자 장치는 압력 입력의 위치의 이모티콘의 형태를 변형하거나, 또는 현재 표시된 이모티콘과 동일 또는 유사한 카테고리의 다른 이모티콘으로 교체할 수 있다. 예를 들어, 사용자가 추천 답변으로 선택된 이모티콘의 눈 부분을 선택하였다면, 전자 장치는 해당 눈을 다른 형태로 교체하여 이모티콘을 변형할 수 있다. 상기 이모티콘의 변형은 추천한 속성을 강조하거나 약화시키는 형태로 이루어지도록 할 수 있다. 예를 들어, “웃음”을 주제로 한 이모티콘이 선택된 상황에서 사용자가 눈 부분에 압력을 가하게 되면, 전자 장치는 웃음의 정도를 강조해 보여줄 수 있는 이모티콘으로 이모티콘을 변경할 수 있다. 예를 들어, 사용자가 이모티콘에 압력을 가하게 되면, 전자 장치는 해당 이모티콘을 대체할 수 있는 유사 이모티콘들로 교체하거나, 이모티콘의 속성 (예를 들어, 크기, 색상, 효과)을 변경하면서 사용자의 최종 이모티콘 형태를 결정할 수 있도록 도와줄 수 있다.
930 동작인 추천 답변에 대한 압력 입력에 따라 추천 답변의 속성을 변경하는 동작에 대한 상세한 설명은 후술한다.
940 동작에서, 전자 장치는 변경된 속성을 가지는 추천 답변을 수신 메시지의 발신자에게 전송할 수 있다.
도 10은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 전송하기까지의 전자 장치에 대한 사용자의 조작 동작을 도식화한 도면이다. 도 10을 참조하면, 사용자는 도 10에 도시된 조작을 통해 최소한의 터치 및/또는 압력 입력만으로 전자 장치가 수신 메시지에 대한 적절한 답변을 신속하게 전송하도록 할 수 있다.
사용자는, 1010 동작에서, 전자 장치에 수신되어 표시된 수신 메시지를 확인 할 수 있다. 사용자가 1020 동작에서 전자 장치의 화면에 표시된 수신 메시지에 대한 Reply 아이콘을 선택함으로써 상기 수신 메시지에 대한 답변 방식을 선택할 수 있다. 사용자는 1030 동작에서 상기 수신 메시지에 대한 답변 방식으로 추천 답변 모드 실행을 선택할 수 있다. 사용자는 1040 동작에서 선택 답변의 속성을 변경하기 위한 입력을 할 수 있다. 사용자는 1050 동작에서 속성이 변경된 답변을 전송하기 위한 입력을 할 수 있다.
도 11은 다양한 실시 예에 따른 수신 메시지에 대한 추천 답변을 생성하여 답변 메시지를 발신자에게 전송하는 전자 장치의 제어 동작의 흐름도이다.
전자 장치는 도 1에 도시된 전자 장치(101)일 수 있으며, 전자 장치는 메모리(1150)(예: 메모리(130)), 간단 답변 엔진(1160)(예: 간단 답변 엔진(660)), 피드백 생성기(1170)(feedback generator)를 포함할 수 있다. 간단 답변 엔진(1160)은 RSRG(1164) 및 RSRM(1167)를 포함할 수 있다. RSRG(1164)는 텍스트 분석기(text analyzer)(1161), 컨텍스트 분석기(context analyzer)(1162) 또는 이미지 매핑기(image mapper)(1163)를 포함할 수 있다. RSRM(1167)은 이미지 변환기(image changer)(1165) 및 속성 변환기(property changer)(1166)를 포함할 수 있다.
1101 동작에서, 전자 장치는 메시지를 수신할 수 있다. 예를 들어, 전자 장치는 네트워크를 통해 발신자로부터 메시지를 수신할 수 있다.
1105 동작에서, 전자 장치의 RSRG(1064)가 텍스트 분석기 (1061) 및 컨텍스트 분석기 (1062)를 이용하여, 상기 수신 메시지에 대한 하나 이상의 추천 답변을 포함하는 추천 답변 목록을 생성할 수 있다. 예를 들어, 전자 장치는 수신 메시지의 내용, 발신자의 정보 및/또는 이전에 상기 발신자와 주고 받았던 메시지 기록 등을 바탕으로 사용자가 사용할 수 있는 여러 가지 추천 답변을 생성 또는 선택할 수 있다.
일 실시 예에 따르면, 상기 추천 답변은 수신 메시지를 기반으로 새롭게 생성된 것일 수 있으며, 또는 저장되어 있는 추천 답변 목록 중의 일부 추천 답변을 기반으로 선택하여 추천하는 것일 수도 있다. 예를 들어, 전자 장치는 저장된 메시지 정보 또는 사용자 정보 이외에 전자 장치의 여러 컨텍스트(context) 정보를 활용하여 추천 답변을 선택할 수 있다. 예를 들어, 전자 장치는 센서 정보, 시간 정보, 및/또는 사용자의 스케줄 정보 등을 이용하여 상기 추천 답변을 변경할 수도 있다. 예를 들어, 추천 답변은 전자 장치가 모니터링하거나, 다른 전자 장치로부터 수신한 사용자의 감정 정보를 이용하여 생성될 수도 있다. 예를 들어, 전자 장치는 시간에 따라 추천 답변을 다르게 생성 할 수 있다. 예를 들어, 전자 장치는 스케줄에 따라 추천 답변의 내용이 변경되도록 할 수도 있다.
일 실시 예에 따르면, 전자 장치는, 수신 메시지와 관련된 정보, 발신자 정보, 전자 장치의 사용자(수신자) 정보, 전자 장치에 저장된 정보, 또는 전자 장치의 센서 정보(예: 모센 센서 정보, GPS 정보, 자이로 센서, 그립 센서 등) 중 적어도 하나를 이용하여, 정보의 지정된 우선 순위에 따라, 추천 답변을 최종적으로 결정할 수 있다. 예를 들어, 전자 장치는, 수신 메시지와 관련된 정보보다 전자 장치에 저장된 정보인 스케줄 정보의 우선 순위를 높게 설정할 수 있으며, 수신 메시지의 내용과 상관 없이, 스케줄 정보가 수업 중인 경우 상기 수업 중인 스케줄 정보에 대응하는"수업 중이야. 나중에 전화 할게."와 같은 추천 답변이 생성되도록 할 수 있다.
1110 동작에서, RSRG(1164)가 텍스트 분석기(1161) 및 컨텍스트 분석기(1162)를 이용하여, 상기 추천 답변 목록에 포함된 상기 하나 이상의 추천 답변을 단순화할 수 있다. 예를 들어, 전자 장치는 상기 추천 답변의 단순화를 통해 상기 추천 답변을 웨어러블 기기와 같이 디스플레이 크기에 제한이 있는 장치에 쉽게 사용될 수 있는 형태로 변경할 수 있다. 예를 들어, 전자 장치는 텍스트 분석기(1161)를 이용한 구문 분석과 컨텍스트 분석기(1162)를 이용한 컨텍스트 분석을 통해 추천 답변에서 중심 키워드를 추출하여 단순화된 추천 답변 목록을 생성할 수 있다. 상기 단순화된 추천 답변 목록은, 하나 이상의 중심 키워드를 포함하는 집합을 의미할 수 있다. 예를 들어, 전자 장치는 이미지 매핑기(1063)를 이용하여 상기 중심 키워드와 대응하는 이모티콘, 이미지, 또는 아바타 등을 매핑할 수 있다. 상기 단순화된 추천 답변 목록은, 하나 이상의 이모티콘, 하나 이상의 이미지, 하나 이상의 아바타를 포함하는 집합을 의미할 수도 있다.
1115 동작에서, 전자 장치는 피드백 생성기(85)를 통해 상기 단순화된 추천 답변 목록을 디스플레이할 수 있다.
도 12를 참조하면, 단순화된 추천 답변 목록이, 하나 이상의 중심 키워드를 포함하는 집합, 예컨대, 중심 키워드 목록일 때, 전자 장치(예: 전자 장치(101))는 상기 단순화된 추천 답변 목록을 그래픽의 형태로 화면에 표시할 수 있다. 예를 들어, 전자 장치는 중심 키워드와의 연관 정도, 반복 정도, 추천 정도에 따라 각각 다른 크기, 다른 폰트, 또는 다른 색상을 가지는 등의 추천 단어들 별로 속성을 다르게 하여 도 12의 (a)와 같은 형태로 화면에 표시할 수 있다. 예를 들어, 전자 장치는 도 12의 (b)와 같이 생성된 중심 키워드 목록의 일부를 도 12의 (a)와 같이 전자 장치에 표시할 수 있다. 전자 장치는 사용자의 제스처 입력(예: 스와이프 입력)에 따라, 상기 중심 키워드 목록을 이동시키며, 사용자가 선택을 할 수 있도록 할 수도 있다.
다른 실시 예에 따르면, 단순화된 추천 답변 메시지 목록이, 하나 이상의 중심 키워드를 포함하는 집합, 예컨대, 중심 키워드 목록일 때, 전자 장치는 상기 중심 키워드 목록의 중심 키워드를 하나씩 화면에 표시할 수도 있다.
도 13을 참조하면, 단순화된 추천 답변 목록이 하나 이상의 이모티콘을 포함하는 집합, 예컨대, 이모티콘 목록일 수 있다. 일 실시 예에 따르면, 전자 장치는 단순화된 추천 답변 메시지 목록에서 선택된 중심 키워드를 이용해 사용자에게 적절한 이모티콘을 선택하여 추천할 수 있다. 예를 들어, 전자 장치는 선택된 중심 키워드와 대응되는 저장된 하나 이상의 이모티콘을 추천할 수 있다. 예를 들어, 선택된 중심 키워드가 "실수"이면 전자 장치는 도 13의 (a)와 같은 이모티콘을, 선택된 중심 키워드가 "사랑"이면, 전자 장치는 도 13의 (b)와 같은 이모티콘을, 선택된 중심 키워드가 "군대"이면, 전자 장치는 도 13의 (c)와 같은 이모티콘을, 선택된 중심 키워드가 "웃음"이면, 전자 장치는 도 13의 (d)와 같은 이모티콘을 추천하여 표시할 수 있다.
다른 실시 예에 따르면, 전자 장치는 하나 이상의 추천 이모티콘을 이용하여 추천 답변 목록을 생성하고, 이를 도 13의 (e)와 같이 나열식으로 전자 장치에 표시할 수 있다. 도 13의 (e)를 참조하면, 전자 장치는 추천 이모티콘들 이외에도, 제1 아이콘(1303) 및 제2 아이콘(1304)를 더 표시할 수 있다. 제1 아이콘(1303)은, 전자 장치의 화면에 표시할 수 있는 이모티콘들 이상의 추천 이모티콘들이 존재하는 경우, 예컨대, 제1 추천 이모티콘 세트 이외에 다른 제2 추천 이모티콘 세트가 존재하는 경우, 이를 확인할 수 있도록 이모티콘 세트의 페이지를 이동하기 위한 아이콘이다. 예를 들어, 사용자가 왼쪽 화살표를 누르면 전자 장치는 이전 이모티콘 세트를 화면에 표시하고, 사용자가 오른쪽 화살표를 누르면 전자 장치는 다음 이모티콘 세트를 화면에 표시할 수 있다. 제2 아이콘(1304)은, 옵션으로 진입하기 위한 아이콘이다. 예를 들어 사용자가 제2 아이콘을 선택하게 되면, 전자 장치는 메뉴 창을 화면에 표시하며, 이를 통해 이모티콘 답변을 할 것인지 텍스트 답변으로 전환할 것인지를 결정할 수 있다.
다른 실시 예에 따르면, 이모티콘의 형태로 추천 답변을 생성하는 경우에도 해당 이모티콘의 중심 키워드와의 연관 정도, 반복 정도, 또는 추천 정도에 따라 전자 장치는 각각 다른 크기, 또는 다른 색상을 활용하여 추천 이모티콘 별로 속성을 다르게 하여 표시할 수 있다. 도 13의 (f)를 참조하면, 전자 장치는 중심 키워드와의 연관 정도가 큰 제1 이모티콘(1301)을 가장 크게 표시하고, 중심 키워드와의 연관 정도가 가장 작은 제2 이모티콘(1302)을 가장 작게 표시하는 것과 같이, 중심 키워드와의 연관 정도에 따라 이모티콘의 크기를 다르게 표시할 수 있다. 이모티콘들은 나열식으로 화면에 표시될 수 있다. 전자 장치는 이모티콘의 상기 선택된 중심 키워드와의 연관 정도, 반복 정도, 또는 추천 정도에 따라 이모티콘에 강조점을 부여하거나, 이모티콘을 추가하거나, 배경을 바꾸거나, 애니메이션 효과를 주는 형태로 이모티콘을 다르게 표시할 수도 있다. 상기 반복 정도는 사용자가 자주 사용하는 이모티콘이 다른 이모티콘들과 시각적으로 구분되도록 표시하는 것을 의미할 수 있다. 상기 강조점은, 시각적으로 구분되도록 표시(예: 이모티콘의 테두리를 굵게 표시, 특정 기호(예: V표 등)를 추가)하는 것을 의미한다. 예를 들어, 이모티콘의 형태로 추천 답변을 생성하여 표시할 때, 전자 장치는 복수의 추천 이모티콘들 중 가장 관련성이 높은 이모티콘을 다른 이모티콘들과 구별하여 표시할 수 있다. 예를 들어, 전자 장치는 추천 답변 중 전자 장치가 가장 추천하는 답변 순으로 예를 들어 이모티콘들의 크기를 각각 다르게 하여 표시할 수 있다. 예를 들어, 추천 답변으로 제1, 2, 3, 4 이모티콘을 화면에 표시한다고 할 때, 전자장치가 제 1 이모티콘을 더 추천하고자 한다면, 제1 이모티콘의 크기를 10으로, 다음으로 제 3 이모티콘을 추천한다면 제 3 이모티콘의 크기를 8로 설정하여 표시할 수 있다.
도 14를 참조하면, 전자 장치는 수신 메시지의 키워드들의 조합을 통해 이모티콘들을 애니메이션 형태로 표시할 수도 있다. 예를 들어, 전자 장치는 수신 메시지의 전체적인 메시지의 중심 키워드 조합을 통해 하나 이상의 이모티콘을 조합해 애니메이션 형태의 GIF 파일로 생성하여 사용자에게 추천할 수 있다. 예를 들어, 전자 장치는 복수의 중심 키워드들에 대응하는 이모티콘들을 도 14와 같이, 조합해 애니메이션 형태의 GIF 파일로 생성할 수 있다. 예를 들어, 전자 장치는 개별 이모티콘의 연관 정도에 따라, 이모티콘의 크기, 색상과 같은 속성을 조절하거나 또는 애니메이션 재생의 속도를 조절하는 형태로 해당 이모티콘의 내용을 강조해 표현할 수도 있다.
도 11을 참조하면, 1120 동작에서, 전자 장치는 단순화된 추천 답변 목록에서 어느 하나의 단순화된 추천 답변에 대한 사용자의 터치 입력을 수신할 수 있다. 1125 동작에서, 전자 장치는 피드백 생성기(1170)를 이용하여 상기 사용자의 터치 입력에 따라 상기 단순화된 추천 답변을 선택할 수 있다. 1130 동작에서, 전자 장치는 피드백 생성기(1170)를 이용하여 상기 선택된 추천 답변을 디스플레이 할 수 있다.
예를 들어, 전자 장치는 전자 장치에 의해 추천되어 화면에 표시된 단순화된 추천 답변 목록에서 터치 및/또는 압력 입력에 따라 하나의 추천 답변을 선택할 수 있다. 예를 들어, 선택된 추천 답변은 화면 상에 확대되어 표시될 수 있다.
1135 동작에서, 전자 장치는 사용자의 압력 입력을 수신할 수 있다. 1140 동작에서, SSRM(1067)은 상기 사용자의 압력 입력에 따라 상기 선택된 추천 답변을 변경할 수 있다. 1145 동작에서, 전자 장치는 피드백 생성기(1170)를 이용하여 상기 변경된 추천 답변을 디스플레이할 수 있다. 예를 들어, 전자 장치는 RSRM(1067)의 이미지 변환기 (1065) 및 속성 변환기(1066)를 이용하여, 상기 선택된 추천 답변을 변경할 수 있다.
일 실시 예에 따르면, 전자 장치는 상기 피드백 생성기(1170)를 통해 사용자의 입력 및 전자 장치의 추천 답변 생성 및 업데이트 또는 속성 변경 동작에 따라 진동 / 소리 / 화면 애니메이션 효과 등으로 피드백을 생성하여 사용자에게 제공해 줄 수 있다. 예를 들어, 피드백의 강도는 사용자의 입력에 따라 변경되는 추천 답변의 속성(“감정” 표현)에 비례하여 커지거나 작아질 수 있다. 예를 들어, 사용자가 압력 입력을 통해 이모티콘의 크기를 1에서 2로 변경하고자 할 때, 발생하는 진동의 크기를 1이라 하면, 사용자의 압력 입력에 따라 전자 장치가 이모티콘의 크기를 2에서 3으로 변경시킬 때 발생하는 진동의 크기를 2로 발생시킬 수 있다. 예를 들어, 전자 장치는 압력 입력의 인가 횟수에 비례하여 진동의 세기 또는 시각 효과(visual effect)의 강도가 커지거나 작아지도록 할 수 있다.
도 15를 참조하면, 도 15의 (a)와 같이, 전자 장치의 화면에 추천 아이콘들이 표시되어 있는 경우, 제1 이모티콘(1501)에 대해 제1 설정 압력 이하가 입력되면, 전자 장치는 제1 이모티콘(1501)의 형태 그대로 도 15의 (b)와 같이 제1 이모티콘(1501)을 표시할 수 있다. 제1 이모티콘(1501)에 대해 제2 설정 압력이 입력되면, 전자 장치는 제1 이모티콘(1501)을 단순화된 텍스트 형태로 전환한 형태의 답변을 선택하여 도 15의 (c)와 같이 제1 이모티콘(1501)에 대응하는 단순화된 텍스트인 "충성!! 반갑다."를 표시할 수 있다. 제1 이모티콘(1501)에 대해 제3 설정 압력이 입력되면, 전자 장치는 제1 이모티콘(1501)에 대응하는 추천 답변 형태의 답변을 선택하여 도 15의 (d)와 같이 제1 이미티콘(1501)에 대응하는 추천 답변인 "충성!! 반갑다. 지금 수업 중이라 30분 후 전화할께"를 표시할 수 있다.
일 실시 예에 따르면, 전자 장치는 추천되어 생성된 단순화된 추천 답변 목록이 하나 이상인 경우, 제스처 입력(예: 스와이프 입력)에 따라, 단순화된 추천 답변 목록을 전환할 수 있다. 전자 장치는 압력 입력을 통해 단순화된 추천 답변을 선택할 수 있다.
다른 실시 예에 따르면, 전자 장치가 스마트 시계일 경우, 용두의 회전 또는 휠의 회전, 전자 장치의 외부 프레임에 가하는 압력을 통해 전자 장치는 단순화된 추천 답변 목록을 전환할 수 있다. 전자 장치는 압력 입력을 통해 단순화된 추천 답변을 선택할 수도 있다.
다른 실시 예에 따르면, 선택된 추천 답변에 압력 입력이 있으면, 전자 장치는 터치 및/또는 압력에 따라 선택된 단순화된 추천 답변의 속성을 변경하여 원하는 최종 답변으로 가공할 수 있다. 예를 들어, 상기 추천 답변의 속성은, 추천 답변의 형태와 타입에 따라 다양하게 정의될 수 있다. 예를 들어, 추천 답변이 텍스트 형태일 경우, 속성은 텍스트의 크기, 색상, 폰트, 굵기, 기울기, 밑줄, 및/또는 애니메이션 효과 등이 될 수 있다. 예를 들어, 추천 답변이 이모티콘 형태일 경우, 속성은 이모티콘의 크기, 색상, 애니메이션 효과, 및/또는 대체 등이 될 수 있다.
도 16을 참조하면, 도 16의 (a)와 같이 추천 답변이 "충성!! 반갑다."와 같은 텍스트일 때, 상기 "충성!!"텍스트에 대한 압력 입력이 있으면, 전자 장치는 압력 입력의 세기 및/또는 위치에 따라 "충성!!" 텍스트의 크기를 도 16의 (b)와 같이 확대하거나, "충성!!" 텍스트의 색상을 도 16의 (c)와 같이 붉은 색으로 변경할 수 있다.
도 17을 참조하면, 전자 장치는 사용자가 이모티콘의 종류를 선택하는 동작에서 입력한 압력의 세기에 따라 각기 다른 크기의 이모티콘을 화면에 표시할 수 있다. 도 17의 (a)와 같이 복수의 이모티콘들을 포함하는 추천 답변 목록이 표시된 상태에서, 전자 장치는 제1 이모티콘(1701)에 대한 압력 입력이 있으면 상기 압력 입력의 세기에 따라, 예를 들어, 제1 세기일 때는 도 17의 (b), 제2 세기일 때는 도 17의 (c), 제3 세기일 때는 도 17의 (d)와 같은 각기 다른 크기의 이모티콘을 선택 또는 표시할 수 있다.
도 18을 참조하면, 도 18의 (a)와 같이 추천 답변으로 선택된 이모티콘에 대한 압력 입력이 있으면, 전자 장치는 상기 압력 입력의 세기에 따라, 예를 들어, 제1 세기일 때는 도 18의 (b), 제2 세기일 때는 도 18의(c)와 같은 각기 다른 크기의 이모티콘으로 변경할 수 있다.
일 실시 예에 따르면, 전자 장치는 사용자의 입력 입력에 대해 정의된 압력 크기 구간에 따라 이모티콘의 크기를 단계적으로 변경시킬 수 있다.
다른 실시 예에 따르면, 전자 장치는 사용자의 압력 입력에 비례하여 이모티콘을 연속적으로 변경시킬 수도 있다. 예를 들어, 전자 장치는 디스플레이 사이즈를 고려하여 표현할 수 있는 최소, 최대 이모티콘의 크기를 결정하고, 결정된 이미티콘의 크기에 검출할 수 있는 압력 입력의 세기를 연동시켜서, 이모티콘의 크기를 사용자의 압력 변화에 의해 연속적으로 변경시킬 수 있다.
도 19를 참조하면, 예를 들어, 기쁨을 표현하는 "웃는 모습"의 이모티콘이 선택된 이후 선택된 이모티콘에 압력 입력 또는 터치 스와이프가 입력되면, 전자 장치는 도 19의 (a)와 같이 상기 "웃는 모습"의 이모티콘에 대응하는 다양한 형태의 웃는 모습의 이모티콘들을 표시할 수 있다. 기쁨을 표현하는 "웃는 모습"의 이모티콘이 선택되면, 전자 장치는 도 19의 (b)와 같이 상기 "웃는 모습"의 이모티콘을 화면에 표시할 수 있으며, 이후 사용자가 상기 "웃는 모습"의 이모티콘에 압력 입력 또는 터치 스와이프를 입력하는 경우 전자 장치는 상기 "웃는 모습"의 이모티콘을 상기 "웃는 모습"의 이모티콘에 대응하는 다른 웃는 모습의 이모티콘으로 변경하여 표시할 수 있다.
다른 실시 예에 따르면, 사용자의 압력 입력에 따라 전자 장치는 전자 장치가 추천한 사용자의 감정의 표현을 증가 시키거나 축소 시키는 방향으로 이모티콘을 변형시킬 수 있다. 예를 들어 전자 장치가 사용자의 상태를 “회의중 - 바쁨”으로 파악하고 이에 대응하는 이모티콘을 화면에 표시한 상태에서 사용자의 압력 입력이 가해지는 경우, 전자 장치는 압력 입력에 따라 “회의 중 - 바쁨”에 대응하는 이모티콘을 “회의 중 - 더 바쁨”, “회의 중 - 매우 바쁨” 등으로 상태를 변형하여 표시할 수 있다. 예를 들어, 전자 장치는 압력 입력에 따라 “회의 중 - 바쁨”에 대응하는 이모티콘 대신“회의 중 - 더 바쁨”에 대응하는 이모티콘, 회의 중 - 매우 바쁨”에 대응하는 이모티콘 등을 표시할 수 있다.
일 실시 예에 따르면, 전자장치가 사용자의 예상 답변으로 선택된 “좋음 / 기쁨”에 대응하는 이모티콘을 표시할 때, 사용자의 압력 입력이 있으면, 전자 장치는 상기 사용자의 압력 입력에 기반하여, “좋음 / 기쁨”의 단계를 증가 또는 감소시키는 형태를 보여주는 "더 좋음 / 더 기쁨"에 대응하는 이모티콘 또는 "약간 좋음 / 약간 기쁨"에 대응하는 이모티콘으로 표시할 수 있다.
일 실시 예에 따르면, 속성의 변경은 최종적으로 표시하는 최종 결과물의 오브젝트의 실제 속성을 조절하는 방식으로 이루어질 수도 있다. 최종 결과물의 속성을 변경시키는 방식이 아닌, 해당 오브젝트의 메타 데이터 또는 부가 정보를 변경하는 형태로 이루어질 수 있다. 예를 들어 전자 장치는 HTML 등과 같은 Markup language에서는 최종 결과 오브젝트 자체를 변경시키는 것이 아닌, 해당 오브젝트와 연결된 tag 정보를 수정하는 방식으로 속성 변경 동작을 할 수 있다. 예를 들어, 사용자의 색상 변경 요청에 대응하여, 전자 장치는 새로운 색상을 가진 오브젝트로 변경하거나 생성하는 것이 아닌, 해당 오브젝트의 색상 정보를 나타내는 태그 정보만을 변경하는 방식을 이용해 효과를 발생시킬 수도 있다. 또 다른 예로, 전자 장치는 사용자의 속성 변경 요청에 대응하여, font=3 -> font=5 또는 bold / Italic / color의 속성 tag를 변동시킴으로써, 오브젝트를 변경하는 효과를 가할 수 있다.
일 실시 예에 따르면, 추천 답변으로 선택된 이모티콘과, 그 속성의 변경 방식은 사용자에 의해 생성되거나 선택된 아바타를 통해 구현될 수도 있다.
일 실시 예에 따르면, 사용자의 압력 입력 강도 또는 압력 입력 횟수에 따라 전자 장치는 다양한 속성들 중 하나의 속성을 선택할 수 있다. 전자 장치는 터치의 유지시간에 따라 선택된 속성의 변화량을 결정할 수도 있다. 또 다른 실시 예에 따르면, 전자 장치는 사용자의 스와이프 동작에 따라 다양한 속성들 중 하나의 속성을 선택할 수 있다. 전자 장치는 압력의 강도에 따라 선택된 속성의 변화량을 결정할 수도 있다.
도 20을 참조하면, 전자 장치는 사용자가 압력을 인가하는 동안, 다양한 속성들을 표시할 수 있다. 사용자가 터치를 유지한 상태에서, 하나의 속성을 선택한 후 연속적인 스와이프 동작과 압력 입력 동작을 하면, 전자 장치는 해당 속성의 변화량을 결정할 수도 있다.
도 20의 (a)와 같이 표시된 이모티콘(2000)에 사용자가 압력 입력을 가하는 경우, 전자 장치는 사용자의 압력 입력이 인가되는 동안, 도 20의 (b)와 같이 전자 장치가 변경할 수 있는 이모티콘의 속성들(2001, 2003, 2005, 2007)을 화면에 표시할 수 있다. 도 20의 (b)와 같이 사용자가 터치를 계속 유지한 상태의 스와이프 제스처 수행을 통해 이모티콘 모양 변경을 위한 제1 속성(2001)을 선택하게 되면, 도 20의 (c)와 같이 전자 장치는 현재 선택된 이모티콘과 유사한 형태의 이모티콘들을 터치가 유지되는 동안에 화면에 표시할 수 있다. 도 20의 (c)와 같이 사용자가 현재 선택된 이모티콘과 유사한 형태의 이모티콘들 중 어느 하나에 대한 추가 압력 입력 시, 전자 장치는 상기 추가 압력 입력에 따라 해당 아이콘을 선택하여, 도 20의 (d)와 같이 화면에 표시할 수 있다. 예를 들어, 사용자의 터치 입력의 제거와 동시에 전자 장치는 해당 이모티콘의 속성 변경을 종료할 수 있다.
도 21을 참조하면, 도 21의 (a)와 같이 표시된 이모티콘(1800)에 사용자가 압력 입력을 가하는 경우, 전자 장치는 사용자의 압력 입력이 인가되는 동안, 도 21의 (b)와 같이 전자장치가 변경할 수 있는 이모티콘의 속성들(2101, 2103, 2105, 2107)을 화면에 표시할 수 있다.
도 21의 (b)와 같이, 사용자가 터치를 계속 유지한 상태의 스와이프 제스처 수행을 통해 이모티콘 색상 변경을 위한 제2 속성(2103)을 선택하게 되면, 상기 터치가 유지되는 동안에 전자 장치는 도 21의 (c)와 같이 이모티콘의 색상을 변경시킬 수 있는 UI(2108)를 화면에 표시할 수 있다. 도 21의 (c)와 같이 사용자가 선택한 특정 색상에 대한 추가 압력이 있으면, 예를 들어, 사용자가 터치를 계속 유지한 상태의 스와이프 제스처를 통해 특정 색상을 선택하면, 전자 장치는 상기 특정 색상을 이모티콘(2100)에 적용하여 표시할 수 있다. 전자 장치는 터치 입력이 제거와 동시에 해당 이모티콘의 속성 변경을 종료할 수 있다.
도 22를 참조하면, 도 22의 (a)와 같이 표시된 이모티콘(2200)에 사용자가 압력 입력을 가하는 경우, 전자 장치는 사용자의 압력 입력이 인가되는 동안, 도 22의 (b)와 같이 전자 장치가 변경할 수 있는 이모티콘의 속성들(2201, 2203, 2205, 2207)을 화면에 표시할 수 있다.
도 22의 (b)와 같이, 사용자가 터치를 계속 유지한 상태의 스와이프 제스처 수행을 통해 이모티콘 크기 변경을 위한 제3 속성(2205)을 선택하게 되면, 상기 터치가 유지되는 동안에 전자 장치는 도 22의 (c)와 같이 이모티콘의 크기를 변경시킬 수 있는 UI(2208)를 화면에 표시할 수 있다. 도 22의 (c)와 같이 사용자가 선택한 특정 크기에 대한 추가 압력이 있으면, 예를 들어, 사용자가 터치를 계속 유지한 상태의 스와이프 제스처를 통해 특정 크기를 선택하면, 전자 장치는 상기 특정 크기를 이모티콘(2200)에 적용하여 표시할 수 있다. 전자 장치는 터치 입력이 제거와 동시에 해당 이모티콘의 속성 변경을 종료할 수 있다.
1149 동작에서 전자 장치는 상기 변경된 추천 답변을 답변 메시지로 하여, 상기 메시지를 전송한 발신자에게 답변 메시지를 전송할 수 있다. 예를 들어, 전자 장치는 답변 메시지를 발송하기 위한 사용자 입력(예: 터치 입력, 압력 입력, 음성 입력 또는 제스처 입력)에 따라 상기 변경된 추천 답변을 답변 메시지로 하여 상기 메시지를 전송한 발신자에게 전송할 수 있다. 예를 들어, 전자 장치는 답변 메시지의 발송을 위한 사용자 인터페이스를 화면에 표시할 수 있으며, 사용자가 상기 답변 메시지의 발송을 위한 사용자 인터페이스의 선택 시, 전자 장치는 답변 메시지를 상기 메시지를 전송한 발신자에게 전송할 수 있다.
도 23a 및 도 23b는 다양한 실시 예에 따른 전자 장치(예: 전자 장치(231))의 제어 동작의 흐름도이다. 도 23a 및 도 23b를 참조하면, 전자 장치는 메시지의 수신 및 상기 수신된 메시지에 대한 답변을 전송하는 동작에서 있어서 사용자에게 편리성을 제공할 수 있다. 예를 들어, 스마트 시계와 같은 제한된 디스플레이 사이즈와 입력 장치를 가진 웨어러블 기기에 있어서, 단순히 메시지를 확인하고 소비하는 것에 그치지 않고, 즉시성 있는 답변을 빠르고 간단하게 생성할 수 있다. 예를 들어, 전자 장치는, 사용자가 수신한 메시지에 대한 빠른 추천 답변(reply)을 제공할 수 있다.
2310 동작에서, 전자 장치는, 메시지를 수신할 수 있다.
2320 동작에서, 전자 장치는, 수신 메시지를 화면에 표시할 수 있다.
2330 동작에서, 전자 장치는, 수신 메시지에 대한 하나 이상의 추천 답변을 생성하여 화면에 표시할 수 있다.
2330 동작의 추천 답변을 생성하여 화면에 표시하는 동작은 도 23b의 2331 동작 및 2333 동작에 따라 실행될 수 있다.
예를 들어, 2331 동작에서 전자 장치는, 하나 이상의 추천 답변 메시지를 생성할 수 있다. 예를 들어, 전자 장치는 수신 메시지, 이전의 수신 메시지, 또는 발신자의 SNS 계정 정보 등의 전자 장치 내부 또는 외부의 정보들과 연동하여 답변 메시지를 예측하여 추천 답변 메시지를 생성할 수 있다.
2333 동작에서, 전자 장치는, 상기 하나 이상의 추천 답변 메시지를 간단 답변 메시지로 변경하여 추천 답변을 생성 후 전자 장치의 화면에 표시할 수 있다. 예를 들어, 전자 장치는, 간단한 답변을 위해, 상기 추천 답변 메시지를 간단한 텍스트, 이미지, 아바타, 또는 이모티콘 등으로 변경하여 화면에 표시할 수 있다.
2350 동작에서, 전자 장치는 사용자 입력(예: 터치 입력)에 대응하여 추천 답변을 선택할 수 있다. 예를 들어, 전자 장치는 터치 좌표를 이용하여 추천 답변을 선택할 수 있다.
2360 동작에서, 전자 장치는 사용자 입력(예: 압력 입력)을 이용하여 선택된 추천 답변의 속성을 변경할 수 있다. 예를 들어, 전자 장치는 압력 입력에 비례하여 상기 선택된 추천 답변을 변경(변형 또는 가공)할 수 있다.
일 실시 예에 따르면, 상기 추천 답변의 속성은, 추천 답변의 형태와 타입에 따라 다양하게 정의될 수 있다. 예를 들어, 추천 답변이 텍스트 형태일 경우, 속성은 텍스트의 크기, 색상, 폰트, 굵기, 기울기, 밑줄, 및/또는 애니메이션 효과 등이 될 수 있다. 예를 들어, 추천 답변이 이모티콘 형태일 경우, 속성은 이모티콘의 크기, 색상, 애니메이션 효과, 및/또는 대체 등이 될 수 있다. 상기 이모티콘의 대체는, 선택된 이모티콘과 같은 표현을 가진 카테고리의 다른 이모티콘으로 선택된 이모티콘이 변경되는 것을 의미할 수 있다.
2370 동작에서, 전자 장치는 속성이 변경된 추천 답변을 화면에 표시할 수 있다. 예를 들어, 전자 장치는 상기 선택된 추천 답변의 변경에 따라 화면을 업데이트할 수 있다.
2380 동작에서, 전자 장치는 변경된 속성을 가지는 추천 답변을 상기 메시지를 전송한 발신자에게 전송할 수 있다.
다양한 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 메시지를 수신하는 동작, 상기 수신된 메시지에 대한 답변 메시지를 위한 상기 전자 장치의 터치스크린 상의 입력의 압력이 검출되면, 상기 입력의 압력의 세기 또는 지속시간 중 적어도 하나를 이용하여 상기 답변 메시지를 생성할 실행 모드를 결정하는 동작, 상기 결정된 실행 모드에 따라 상기 답변 메시지의 작성을 위한 사용자 인터페이스를 상기 터치스크린 상에 제공하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 답변 메시지의 작성을 위한 사용자 인터페이스를 상기 터치스크린 상에 제공하는 동작은, 상기 입력이 제1 세기의 압력 입력이면, 상기 수신된 메시지와 관련된 정보를 이용하여 상기 답변 메시지에 포함될 답변 메시지를 상기 터치스크린 상에 표시하는 동작과, 상기 터치스크린 상의 입력의 압력이 검출되면, 상기 터치스크린 상에 상기 입력의 압력에 기초하여 상기 답변 메시지의 속성을 변경하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 답변 메시지는, 텍스트, 이모티콘, 이미지, 동영상, 또는 아바타 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 답변 메시지의 속성은, 크기, 색상, 또는 형태 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 답변 메시지의 속성을 변경하는 동작은, 상기 답변 메시지에 대한 상기 입력의 압력의 세기에 대응하여, 상기 답변 메시지의 색상을 지정된 비율로 증가 또는 감소시키거나, 상기 답변 메시지의 크기를 지정된 비율로 확대 또는 축소시켜서 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 답변 메시지에 대한 제3 입력이 검출되면, 상기 답변 메시지와 상기 답변 메시지에 대응하는 답변 메시지를 상기 터치스크린 상에 표시하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치의 제어 방법에 있어서, 메시지를 수신하는 동작, 상기 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 전자 장치의 터치스크린 디스플레이에 표시하는 동작, 상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하는 동작, 및 상기 수신된 입력의 압력 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 전자 장치에 저장된 상기 수신된 메시지와 관련된 데이터를 확인하는 동작과, 상기 확인 결과에 기초하여 상기 적어도 하나의 답변 메시지를 생성하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 답변을 선택하는 입력을 수신하는 동작과, 상기 변경된 적어도 하나의 답변 메시지를 전송하는 동작을 더 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시 예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예:메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    터치스크린 디스플레이;
    상기 터치스크린 디스플레이에 대한 압력을 검출하도록 구성된 압력 센서;
    무선 신호를 송수신하도록 구성된 무선 통신 회로;
    상기 터치스크린 디스플레이, 상기 압력 센서, 및 상기 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서; 및
    상기 프로세서에 전기적으로 연결된 메모리를 포함하며,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 무선 통신 회로를 통하여 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 터치스크린 디스플레이에 표시하고,
    상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하고,
    상기 수신된 입력의 압력의 세기 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하도록 하는 인스트럭션들(instructions)을 저장하는 전자 장치.
  2. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가
    상기 메모리에 저장된 상기 수신된 메시지와 관련된 데이터를 확인하고,
    상기 확인 결과에 기초하여 적어도 하나의 답변 메시지를 생성하도록 하는 것을 특징으로 하는 전자 장치.
  3. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가
    상기 적어도 하나의 답변을 선택하는 입력을 더 수신하도록 하는 것을 특징으로 하는 전자 장치.
  4. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가
    상기 변경된 적어도 하나의 답변 메시지를 전송하도록 하는 것을 특징으로 하는 전자 장치.
  5. 제 1항에 있어서, 상기 적어도 하나의 답변 메시지는,
    텍스트, 이모티콘, 이미지, 동영상, 또는 아바타 중 적어도 하나를 포함하는 전자 장치.
  6. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 답변 메시지에 대한 상기 입력의 압력의 세기에 기반하여, 상기 답변 메시지의 색상을 변경시키도록 하는 전자 장치.
  7. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 답변 메시지에 대한 상기 입력의 압력의 세기에 기반하여, 상기 답변 메시지의 크기를 확대 또는 축소시켜서 표시하도록 하는 전자 장치.
  8. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 답변 메시지에 대한 입력이 검출되면, 상기 답변 메시지와 상기 답변 메시지에 대응하는 적어도 하나의 추가 답변 메시지를 상기 터치스크린 상에 표시하도록 하는 전자 장치.
  9. 제 1항에 있어서, 상기 답변 메시지가 복수의 이미티콘들을 포함할 때, 상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 이모티콘들 중 제1 이모티콘에 대한 입력이 검출되면, 상기 제1 이모티콘에 대한 입력의 압력의 세기에 따라, 상기 터치스크린 상의 지정된 위치에 상기 제1 이모티콘을 표시하거나, 상기 제1 이모티콘에 대응하는 단순화된 텍스트를 표시하거나, 상기 제1 이모티콘에 대응하는 추천 텍스트를 표시하도록 하는 전자 장치.
  10. 제 1항에 있어서, 상기 답변 메시지에 포함될 답변 메시지가 복수의 이미티콘들을 포함할 때, 상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 이모티콘들 중 제1 이모티콘에 대한 입력이 검출되면, 상기 제1 이모티콘에 대한 입력의 압력의 세기에 따라, 상기 터치스크린 상의 지정된 위치에 상기 제1 이모티콘을 확대 또는 축소시켜서 표시하도록 하는 전자 장치.
  11. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 수신된 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드를 상기 답변 메시지로 결정하도록 하는 전자 장치.
  12. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 수신된 메시지에 대한 하나 이상의 추천 답변 메시지를 생성하며, 상기 추천 답변 메시지에 대한 적어도 하나의 키워드를 추출하며, 상기 키워드에 대응하는 적어도 하나의 이모티콘을 검출하며, 상기 이모티콘을 상기 답변 메시지로 결정하도록 하는 전자 장치.
  13. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가
    상기 압력 센서를 이용하여 상기 터치스크린 디스플레이 상의 제1 세기의 압력 입력이 검출되면, 상기 수신된 메시지와 관련된 정보를 이용하여 상기 답변 메시지를 상기 터치스크린 디스플레이 상에 표시하고,
    상기 터치스크린 디스플레이 상에 상기 입력의 압력의 세기에 기초하여 상기 답변 메시지의 속성 변경을 실행하도록 하며,
    상기 답변 메시지의 속성은,
    크기, 색상, 또는 형태 중 적어도 하나를 포함하는 전자 장치.
  14. 제 1항에 있어서, 상기 인스트럭션들은, 상기 프로세서가,
    상기 답변 메시지에 대한 상기 입력의 압력의 세기에 대응하여, 상기 답변 메시지에 대응하는 적어도 하나의 속성을 변경하기 위한 사용자 인터페이스 또는 상기 답변 메시지에 대응하는 지정된 개수의 답변 메시지를 추가로 더 표시하도록 하기 위한 사용자 인터페이스 중 적어도 하나를 추가로 더 표시하며,
    상기 적어도 하나의 속성을 변경하기 위한 상기 사용자 인터페이스에 대한 입력에 따라, 상기 속성의 변경을 실행하도록 하며,.
    상기 적어도 하나의 속성을 변경하기 위한 상기 사용자 인터페이스는,
    상기 답변 메시지의 색상을 변경하기 위한 사용자 인터페이스, 상기 답변 메시지의 크기를 변경하기 위한 사용자 인터페이스 중 적어도 하나를 포함하는 전자 장치.
  15. 전자 장치의 제어 방법에 있어서,
    메시지를 수신하는 동작,
    상기 수신된 메시지에 대한 적어도 하나의 답변 메시지를 상기 전자 장치의 터치스크린 디스플레이에 표시하는 동작,
    상기 터치스크린 디스플레이를 통해 적어도 하나의 입력을 수신하는 동작, 및
    상기 수신된 입력의 압력의 세기 또는 지속시간 중 적어도 하나에 기초하여 상기 적어도 하나의 답변 메시지를 변경하는 동작을 포함하는 전자 장치의 제어 방법.
PCT/KR2017/009314 2016-09-05 2017-08-25 전자 장치 및 그 제어 방법 WO2018043998A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/330,286 US20190204868A1 (en) 2016-09-05 2017-08-25 Electronic device and control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160113994A KR20180026983A (ko) 2016-09-05 2016-09-05 전자 장치 및 그 제어 방법
KR10-2016-0113994 2016-09-05

Publications (1)

Publication Number Publication Date
WO2018043998A1 true WO2018043998A1 (ko) 2018-03-08

Family

ID=61301107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/009314 WO2018043998A1 (ko) 2016-09-05 2017-08-25 전자 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US20190204868A1 (ko)
KR (1) KR20180026983A (ko)
WO (1) WO2018043998A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180093040A (ko) 2015-12-21 2018-08-20 구글 엘엘씨 메시지 교환 스레드들에 대한 자동적인 제안들
KR20180070659A (ko) 2015-12-21 2018-06-26 구글 엘엘씨 메시징 애플리케이션들을 위한 자동적인 제안들 및 다른 콘텐츠
US20180081500A1 (en) * 2016-09-19 2018-03-22 Facebook, Inc. Systems and methods for content engagement
CN117634495A (zh) * 2016-09-20 2024-03-01 谷歌有限责任公司 基于消息贴纸的建议响应
US10511450B2 (en) 2016-09-20 2019-12-17 Google Llc Bot permissions
US10860854B2 (en) 2017-05-16 2020-12-08 Google Llc Suggested actions for images
KR102364429B1 (ko) * 2017-05-17 2022-02-17 삼성전자주식회사 콘텐츠를 표시하기 위한 방법 및 그 전자 장치
US10348658B2 (en) 2017-06-15 2019-07-09 Google Llc Suggested items for use with embedded applications in chat conversations
US10404636B2 (en) 2017-06-15 2019-09-03 Google Llc Embedded programs and interfaces for chat conversations
CN107222632A (zh) * 2017-06-23 2017-09-29 北京金山安全软件有限公司 即时通信方法及装置
CN108388786A (zh) * 2018-02-13 2018-08-10 北京小米移动软件有限公司 指纹解锁方法及装置
US10769701B1 (en) * 2018-02-27 2020-09-08 Amazon Technologies, Inc. Sensory-based delivery of content
JPWO2020166495A1 (ja) * 2019-02-14 2021-12-23 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN110097043B (zh) * 2019-05-05 2022-04-15 京东方科技集团股份有限公司 传感器像素、超声传感器、oled显示面板和oled显示装置
US11537279B2 (en) * 2020-06-09 2022-12-27 Talent Unlimited Online Services Private Limited System and method for enhancing an expression of a digital pictorial image
US11184306B1 (en) * 2020-12-29 2021-11-23 Square, Inc. Contextual communication routing methods and systems
US11765115B2 (en) * 2021-07-29 2023-09-19 Snap Inc. Emoji recommendation system using user context and biosignals
EP4300409A1 (en) * 2021-08-26 2024-01-03 Samsung Electronics Co., Ltd. Method and device for generating emotional combination content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120108485A (ko) * 2011-03-24 2012-10-05 이민지 감정표현 문자메시지 디스플레이 방법
KR20140073232A (ko) * 2012-12-06 2014-06-16 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20150096701A (ko) * 2012-12-17 2015-08-25 코닝 인코포레이티드 터치 지점 및 터치 힘에 기초한 터치 스크린 시스템 및 방법
KR20160068264A (ko) * 2014-12-05 2016-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9756170B2 (en) * 2009-06-29 2017-09-05 Core Wireless Licensing S.A.R.L. Keyword based message handling
JP6484079B2 (ja) * 2014-03-24 2019-03-13 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． 感性伝達方法及びそのための端末機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120108485A (ko) * 2011-03-24 2012-10-05 이민지 감정표현 문자메시지 디스플레이 방법
KR20140073232A (ko) * 2012-12-06 2014-06-16 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20150096701A (ko) * 2012-12-17 2015-08-25 코닝 인코포레이티드 터치 지점 및 터치 힘에 기초한 터치 스크린 시스템 및 방법
KR20150055448A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20160068264A (ko) * 2014-12-05 2016-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Also Published As

Publication number Publication date
US20190204868A1 (en) 2019-07-04
KR20180026983A (ko) 2018-03-14

Similar Documents

Publication Publication Date Title
WO2018043998A1 (ko) 전자 장치 및 그 제어 방법
AU2015350680B2 (en) Power control method and apparatus for reducing power consumption
WO2018074877A1 (en) Electronic device and method for acquiring fingerprint information
WO2018026192A1 (en) Electronic device comprising force sensor
WO2017061762A1 (ko) 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
WO2016137187A1 (en) Apparatus and method for providing screen mirroring service
WO2018080023A1 (ko) 전자 장치 및 그의 동작을 제어하는 방법
WO2018131932A1 (ko) 전자 장치의 사용 환경에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2017131469A1 (ko) 어플리케이션을 제어하는 전자 장치와 이의 동작 방법
WO2018155928A1 (ko) 복수의 생체 센서를 이용하여 인증을 수행하기 위한 전자 장치 및 그의 동작 방법
WO2018056641A1 (ko) 전자 장치 및 그 제어 방법
WO2018230905A1 (ko) 압력 입력을 제어하는 전자 장치 및 방법
WO2017142225A1 (ko) 전자 장치 및 전자 장치의 동작 제어 방법
WO2017131401A1 (ko) 전자 장치 및 전자 장치의 사용자 인터페이스 제어 방법
WO2017026821A1 (ko) 전자 장치 및 전자 장치의 입력 방법
WO2017052216A1 (en) Method for providing events corresponding to touch attributes and electronic device thereof
WO2017119690A1 (ko) 전자 장치 및 그 동작 방법
WO2018016722A2 (ko) 압력 입력을 이용한 사용자 인터페이스 제공 방법 및 이를 구현한 전자 장치
WO2018164387A1 (ko) 복수의 신호선들을 포함하는 기판 및 이를 포함하는 전자 장치
WO2017023040A1 (en) Screen controlling method and electronic device for supporting the same
WO2018016704A1 (en) Method and apparatus for operation of an electronic device
WO2018093053A1 (ko) 전자 장치 및 전자 장치의 화면 제공 방법
WO2018216892A1 (ko) 여러 종류의 전자 펜을 사용하기 위한 방법 및 그 전자 장치
WO2018143566A1 (ko) 지문 입력을 위한 그래픽 오브젝트를 표시하는 방법 및 전자 장치
WO2018044069A1 (en) Answer providing method and electronic device supporting the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846923

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846923

Country of ref document: EP

Kind code of ref document: A1