WO2018230905A1 - 압력 입력을 제어하는 전자 장치 및 방법 - Google Patents

압력 입력을 제어하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2018230905A1
WO2018230905A1 PCT/KR2018/006600 KR2018006600W WO2018230905A1 WO 2018230905 A1 WO2018230905 A1 WO 2018230905A1 KR 2018006600 W KR2018006600 W KR 2018006600W WO 2018230905 A1 WO2018230905 A1 WO 2018230905A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
processor
pressure
display
touch screen
Prior art date
Application number
PCT/KR2018/006600
Other languages
English (en)
French (fr)
Inventor
김나영
김대환
남승욱
김광태
변형섭
정철호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/614,138 priority Critical patent/US11029797B2/en
Publication of WO2018230905A1 publication Critical patent/WO2018230905A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a method for controlling an operation of the electronic device according to a pressure input.
  • the electronic device provides various services such as, for example, augmented reality and 3D (dimension) maps through various application programs.
  • the electronic device may display a plurality of objects on the screen in order to provide a lot of information through the screen.
  • objects are displayed in an augmented reality, 3D (dimension) map in a superimposed manner, the objects cannot be precisely selected or controlled in detail, and information about the object can be quickly obtained. Can't.
  • Various embodiments of the present disclosure may detect an input based on a pressure level and provide various information or functions on an object.
  • Various embodiments of the present disclosure relate to an electronic device and a method for controlling an operation of the electronic device according to a level of a pressure input.
  • an electronic device may include a housing including a first plate and a second plate spaced apart from the first plate, and a touch screen disposed inside the housing and exposed through a portion of the first plate.
  • a pressure sensing circuit disposed between the display, the first plate and the second plate, the pressure sensing circuit configured to detect pressure by an external pressure applied to at least a portion of the touch screen display, a wireless communication circuit disposed inside the housing, the At least one processor disposed inside the housing and electrically connected to the touch screen display, the pressure sensing circuit and the wireless communication circuit, and a memory disposed inside the housing and electrically connected to the processor,
  • the memory includes a user interface Store at least one object on the user interface on the touch screen display and, using the pressure sensing circuitry, at the at least one object or around Instructions for detecting a pressure level for a user input and for selecting one of a plurality of operations associated with the at least one object based on at least a portion of the detected pressure level.
  • a method of controlling an operation according to a level of a pressure input in an electronic device may include displaying at least one object on a user interface on a touch screen display of the electronic device. Or detecting a pressure level with respect to a user input in the vicinity, and selecting one of a plurality of operations related to the at least one object based on at least a portion of the detected pressure level.
  • a computer-readable storage medium storing a program including an instruction for controlling an operation according to a level of a pressure input in an electronic device, the computer-readable storage medium comprising: at least one on a user interface on a touch screen display of the electronic device; A first set of instructions for displaying an object of the second set of instructions for detecting a pressure level for user input at or near the at least one object, and the at least one object based on at least a portion of the detected pressure level; And a third instruction set for selecting one of a plurality of related operations.
  • the overlapped objects may be accurately selected or controlled, and the user may be obtained by quickly obtaining and displaying information on the selected objects. Can provide convenience.
  • FIG. 1 is a view illustrating an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • 5 and 6 illustrate a stacked structure of components included in an electronic device according to various embodiments of the present disclosure.
  • FIG. 7A is an exemplary view illustrating an electrostatic method in a pressure sensor according to various embodiments of the present disclosure.
  • FIG. 7B is an exemplary view illustrating an induction method in a pressure sensor according to various embodiments of the present disclosure.
  • 7C is an exemplary view illustrating a strain gauge method in a pressure sensor according to various embodiments of the present disclosure.
  • 7D is an exemplary view illustrating a piezoelectric method in a pressure sensor according to various embodiments of the present disclosure.
  • FIG. 8A is a perspective view illustrating a self capacitance method in a pressure sensor according to various embodiments of the present disclosure.
  • FIG. 8B is a perspective view illustrating a mutual capacitance method in a pressure sensor according to various embodiments of the present disclosure.
  • FIG. 9 is a block diagram of an electronic device for controlling an operation by detecting a pressure input in an image displaying an object according to various embodiments of the present disclosure.
  • FIG. 10 is a flowchart illustrating a process of controlling an operation according to a level of a pressure input in an electronic device according to various embodiments of the present disclosure.
  • FIG. 11 is a flowchart illustrating an operation of determining and displaying a property of an object in which a pressure input is detected in an image including at least one object according to various embodiments of the present disclosure.
  • 12A to 12H are exemplary views of providing object feedback according to pressure levels and providing visual feedback to selected objects according to various embodiments of the present disclosure.
  • 13A to 13H are exemplary views of providing object feedback according to one or more pressure levels and providing visual feedback to a selected object according to various embodiments of the present disclosure.
  • FIG. 14 is a flowchart illustrating an operation of executing an operation by determining an object in which a pressure input is detected in an image including at least one object according to various embodiments of the present disclosure.
  • 15A to 15F are exemplary views of selecting an object according to a pressure level and displaying a menu corresponding to the selected object, according to various embodiments of the present disclosure.
  • 16A to 16D illustrate various examples of selecting a function of a menu in a state of selecting an object according to a pressure input according to various embodiments of the present disclosure.
  • 17A to 17F are exemplary views illustrating object selection according to pressure levels and additional information corresponding to a selected object, according to various embodiments of the present disclosure.
  • FIG. 18 is a flowchart illustrating an operation of obtaining additional information from a server by an electronic device according to various embodiments of the present disclosure.
  • FIG. 19 illustrates an example of selecting an object based on a pressure input and displaying a menu corresponding to the selected object in an image including a plurality of objects, according to an exemplary embodiment.
  • FIG. 20 illustrates an example of displaying detailed information of a building based on a pressure input when the object is a building, according to an exemplary embodiment.
  • 21A to 21C are exemplary views displaying detailed information on each floor of a building based on the strength of a pressure input when the object is a building, according to an exemplary embodiment.
  • 22A illustrates an example of displaying detailed information about each floor of a building when the object is a building, according to an exemplary embodiment.
  • 22B illustrates an example of displaying a preset function based on a pressure input on a refrigerator when the object is a refrigerator.
  • FIG. 22C illustrates an example of displaying a screen in a refrigerator based on a pressure input on the refrigerator when the object is a refrigerator.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • processor configured (or configured to) perform A, B, and C may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general purpose processor (eg, a CPU or an application processor) capable of performing the corresponding operations.
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC, a netbook computer, a workstation, a server, a PDA, a PMP. It may include at least one of a portable multimedia player, an MP3 player, a medical device, a camera, or a wearable device. Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices (HMDs), textiles or clothing integrated (e.g.
  • HMDs head-mounted-devices
  • an electronic device may comprise, for example, a television, a digital video disk (DVD) player, Audio, Refrigerator, Air Conditioner, Cleaner, Oven, Microwave Oven, Washing Machine, Air Purifier, Set Top Box, Home Automation Control Panel, Security Control Panel, Media Box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ) , A game console (eg, Xbox TM , PlayStation TM ), an electronic dictionary, an electronic key, a camcorder, or an electronic picture frame.
  • DVD digital video disk
  • the electronic device may include a variety of medical devices (e.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g., various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), Computed tomography (CT), cameras or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDRs), flight data recorders (FDRs), automotive infotainment devices, ship electronics (E.g.
  • various portable medical measuring devices such as blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters
  • MRA magnetic resonance angiography
  • an electronic device may be a part of a furniture, building / structure or automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, water, electricity, Gas, or a radio wave measuring instrument).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • Electronic devices according to embodiments of the present disclosure are not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • the electronic device 101 may include a bus 110, a processor 120, a memory 130, an input / output interface 150, a display 160, and a communication interface 170.
  • the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit, an application processor, or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control or communication of at least one other element of the electronic device 101.
  • the memory 130 may include a volatile or nonvolatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, an application program (or “application”) 147, or the like. At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system.
  • the kernel 141 may be a system resource (eg, used to execute an action or function implemented in, for example, other programs (eg, middleware 143, API 145, or application program 147).
  • the bus 110, the processor 120, or the memory 130 may be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. Can be.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority.
  • the middleware 143 may use system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 for at least one of the application programs 147. Prioritize and process the one or more work requests.
  • the API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143.
  • the API 145 may include at least the following: file control, window control, image processing, or character control. It can contain one interface or function (eg command).
  • the input / output interface 150 may transmit, for example, a command or data input from a user or another external device to other component (s) of the electronic device 101, or other components of the electronic device 101 ( Commands or data received from the device) can be output to the user or other external device.
  • Display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or a microelectromechanical system (MEMS) display, or an electronic paper display. It may include.
  • the display 160 may display, for example, various contents (eg, text, images, videos, icons, symbols, etc.) to the user.
  • the display 160 may include a touch screen and may receive, for example, a touch, gesture, proximity, or hovering input using an electronic pen or a part of a user's body.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device (eg, the second external electronic device 104 or the server 106).
  • Wireless communication may include, for example, LTE, LTE advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), or global GSM (GSM). system for mobile communications), and the like.
  • the wireless communication is, for example, as illustrated by element 164 of FIG. 1, for example, wireless fidelity (WiFi), light fidelity (LiFi), Bluetooth, Bluetooth low power (BLE), ZigBee, And at least one of near field communication (NFC), magnetic secure transmission, radio frequency (RF), or body area network (BAN).
  • the wireless communication may include GNSS.
  • the GNSS may be, for example, a global positioning system (GPS), a global navigation satellite system (Glonass), a beidou navigation satellite system (hereinafter referred to as "Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS global positioning system
  • Beidou a global navigation satellite system
  • Galileo the global satellite-based navigation system
  • Wired communication may include, for example, at least one of a universal serial bus (USB), a high definition multimedia interface (HDMI), a standard standard232 (RS-232), a power line communication, a plain old telephone service (POTS), and the like.
  • the network 162 may comprise a telecommunications network, for example at least one of a computer network (eg, LAN or WAN), the Internet, or a telephone network.
  • Each of the first and second external electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 101 may be executed in another or a plurality of electronic devices (for example, the electronic devices 102 and 104 or the server 106). According to this, when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 may instead execute or execute the function or service by itself, or at least some function associated therewith.
  • the other electronic device may request the requested function or The additional function may be executed and the result may be transmitted to the electronic device 101.
  • the electronic device 101 may provide the requested function or service by processing the received result as it is or additionally.
  • Cloud computing distributed computing, or client-server computing techniques can be used.
  • FIG. 2 is a block diagram of an electronic device 201 according to various embodiments of the present disclosure.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors (eg, an AP) 210, a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display ( 260, an interface 270, an audio module 280, a camera module 291, a power management module 295, a battery 296, an indicator 297, and a motor 298.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by running an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC). According to an embodiment, the processor 210 may further include a graphic processing unit (GPU) or an image signal processor. The processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221). The processor 210 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) or an image signal processor.
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221).
  • the processor 210 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • the communication module 220 may include, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227, an NFC module 228, and an RF module 229. have.
  • the cellular module 221 may provide, for example, a voice call, a video call, a text service, or an internet service through a communication network.
  • the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network by using a subscriber identification module (eg, a SIM card) 224.
  • the cellular module 221 may perform at least some of the functions that the processor 210 may provide.
  • the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • at least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may be one integrated chip. (IC) or in an IC package.
  • the RF module 229 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 229 may include, for example, a transceiver, a power amp module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amp module
  • LNA low noise amplifier
  • At least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module.
  • Subscriber identification module 224 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may include, for example, volatile memory (for example, DRAM, SRAM, or SDRAM), nonvolatile memory (for example, one time programmable ROM (OTPROM), PROM, EPROM, EEPROM, mask ROM, flash ROM).
  • the flash memory may include at least one of a flash memory, a hard drive, or a solid state drive (SSD)
  • the external memory 234 may be a flash drive, for example, a compact flash (CF) or a secure digital (SD). ), Micro-SD, Mini-SD, extreme digital (xD), multi-media card (MMC), memory stick, etc.
  • the external memory 234 may be functionally connected to the electronic device 201 through various interfaces. Or physically connected.
  • the sensor module 240 may measure, for example, a physical quantity or detect an operation state of the electronic device 201 and convert the measured or detected information into an electrical signal.
  • the sensor module 240 includes, for example, a gesture sensor 240A, a gyro sensor 240B, an air pressure sensor 240C, a magnetic sensor 240D, an acceleration sensor 240E, a grip sensor 240F, and a proximity sensor ( 240G), color sensor 240H (e.g., red (green, blue) sensor), biometric sensor 240I, temperature / humidity sensor 240J, illuminance sensor 240K, or UV (ultra violet) ) May include at least one of the sensors 240M.
  • sensor module 240 may include, for example, an e-nose sensor, an electromyography (EMG) sensor, an electrocardiogram (EEG) sensor, an electrocardiogram (ECG) sensor, It may include an infrared (IR) sensor, an iris sensor or a fingerprint sensor.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging therein.
  • the electronic device 201 further includes a processor configured to control the sensor module 240 as part of or separately from the processor 210, while the processor 210 is in a sleep state. The sensor module 240 may be controlled.
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate recognition sheet.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect ultrasonic waves generated by an input tool through a microphone (for example, the microphone 288) and check data corresponding to the detected ultrasonic waves.
  • Display 260 may include panel 262, hologram device 264, projector 266, or control circuitry to control them.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured with the touch panel 252 and one or more modules.
  • panel 262 may include a pressure sensor (or force sensor) capable of measuring the strength of the pressure on the user's touch.
  • the pressure sensor may be integrally implemented with the touch panel 252 or one or more sensors separate from the touch panel 252.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the interface 270 may include, for example, an HDMI 272, a USB 274, an optical interface 276, or a D-subminiature 278.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC Secure Digital Card
  • IrDA infrared data association
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images. According to one embodiment, the camera module 291 is one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, or a battery or fuel gauge.
  • the PMIC may have a wired or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like, and may further include additional circuits for wireless charging, such as a coil loop, a resonance circuit, a rectifier, and the like. have.
  • the battery gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable cell or a solar cell.
  • the indicator 297 may display a specific state of the electronic device 201 or a part thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert electrical signals into mechanical vibrations, and may generate vibrations or haptic effects.
  • the electronic device 201 may be, for example, a mobile TV supporting device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . : GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM . : GPU mediaFlo TM .
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device eg, the electronic device 201) may include some components, omit additional components, or combine some of the components to form a single entity. It is possible to perform the same function of the previous corresponding
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 310 may be an operating system that controls resources related to the electronic device (eg, the electronic device 101) or various applications running on the operating system (eg, the electronic device 101).
  • Application program 147 The operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 310 may include the kernel 320 (eg, the kernel 141), the middleware 330 (eg, the middleware 143), and the API 360 (eg, the API 145). Or an application 370 (for example, an application program 147.) At least a part of the program module 310 may be preloaded on an electronic device or an external electronic device (for example, the electronic device 102, 104), the server 106, and the like.
  • the kernel 320 may include, for example, a system resource manager 321 or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources.
  • the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • the middleware 330 may provide various functions through the API 360, for example, to provide functions commonly required by the application 370, or to allow the application 370 to use limited system resources inside the electronic device.
  • the middleware 330 may include a runtime library 335, an application manager 341, a window manager 342, a multimedia manager 343, a resource manager 344, a power manager 345, and a database manager ( 346, a package manager 347, a connectivity manager 348, a notification manager 349, a location manager 350, a graphic manager 351, or a security manager 352.
  • the runtime library 335 may include, for example, a library module that the compiler uses to add new functionality through the programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 341 may manage, for example, the life cycle of the application 370.
  • the window manager 342 may manage GUI resources used on the screen.
  • the multimedia manager 343 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage space of source code or memory of the application 370.
  • the power manager 345 may manage, for example, the capacity, temperature, or power of the battery, and may determine or provide power information necessary for the operation of the electronic device using the corresponding information. According to an embodiment of the present disclosure, the power manager 345 may interwork with a basic input / output system (BIOS).
  • BIOS basic input / output system
  • the database manager 346 may create, retrieve, or change a database to be used, for example, in the application 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 348 may manage, for example, a wireless connection.
  • the notification manager 349 may provide the user with events such as, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 350 may manage location information of the electronic device, for example.
  • the graphic manager 351 may manage, for example, graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide system security or user authentication, for example.
  • the middleware 330 may include a telephony manager for managing a voice or video call function of the electronic device or a middleware module capable of forming a combination of functions of the above-described components. .
  • the middleware 330 may provide a module specialized for each type of operating system.
  • the middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 is, for example, a set of API programming functions, which may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 370 is, for example, a home 371, a dialer 372, an SMS / MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377. , Contacts 378, voice dials 379, emails 380, calendars 381, media players 382, albums 383, watches 384, health care (e.g., measures exercise or blood sugar) Or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information).
  • the application 370 may include an information exchange application capable of supporting information exchange between the electronic device and the external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification delivery application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may be, for example, the ability of an external electronic device to communicate with the electronic device (e.g. turn-on / turn-off of the external electronic device itself (or some component) or the brightness (or resolution) of the display). Control), or install, delete, or update an application running on the external electronic device.
  • the application 370 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • the application 370 may include an application received from an external electronic device.
  • At least a portion of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two or more thereof, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • FIG. 4 is a diagram illustrating a configuration of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may include a processor 120, an input device 410, a memory 130, and an output device 420.
  • the electronic device 101 may further include a communication module (not shown).
  • the output device 420 of the electronic device 101 includes a touch screen display 422, a display driver IC 421, and a haptic module 423
  • the input device 410 may include a touch sensor. 411, a touch sensor IC 412, a pressure sensor 413, and a pressure sensor IC 414.
  • a touch sensor IC 412 may include a touch sensor. 411, a touch sensor IC 412, a pressure sensor 413, and a pressure sensor IC 414.
  • redundant descriptions of the components described with reference to FIGS. 1 to 3 may be omitted.
  • the touch screen display 422 may receive an image driving signal supplied from the touch screen display driver 421.
  • the touch screen display 422 may display various contents and / or items (eg, text, an image (object), video, an icon, a function object, or a symbol) based on the image driving signal.
  • the touchscreen display 422 can be superimposed with the touch sensor 411 and / or the pressure sensor 413 (see eg FIG. 2) and simply referred to as a "display panel". It may be.
  • the touch screen display 422 may be driven in a low power mode.
  • the display driver IC 421 may supply an image driving signal corresponding to the image information received from the processor 120 to the touch screen display 422 at a preset frame rate.
  • the display driver IC 421 may drive the touch screen display 422 in a low power mode.
  • the display driver IC 421 may include a graphics RAM, an interface module, an image processing unit, a multiplexer, a display timing controller (T-con), Source drivers, gate drivers, and / or oscillators, and the like.
  • the touch sensor 411 may change a physical quantity (for example, voltage, light amount, resistance, charge amount, capacitance, etc.) designated by a touch from a user.
  • the touch sensor 411 may be disposed to overlap the touch screen display 422.
  • the touch sensor IC 412 detects a change in the physical quantity in the touch sensor 411 and positions a touch where the touch is made based on the change in the physical quantity (eg, voltage, resistance, capacitance, etc.) X, Y coordinates) can be calculated.
  • the calculated position (eg, X and Y coordinates) may be provided (or reported) to the processor 120.
  • a user's body part for example, a finger
  • an electronic pen touches the cover glass of the touch screen display (for example, 501 of FIG. 5 and 601 of FIG. 6)
  • a transmitter included in the touch sensor 411 is included.
  • the coupling voltage between the Tx and / or the receiver Rx may change.
  • Coupling voltages between the transmitting end Tx and / or the receiving end Rx included in the touch sensor 411 may vary.
  • a change in the coupling voltage may be sensed by the touch sensor IC 412, and the touch sensor IC 412 may transmit the touched position (eg, X and Y coordinates) to the processor 120.
  • the processor 120 may obtain data regarding the position (for example, X and Y coordinates) as an event regarding a user input.
  • the touch sensor IC 412 may be referred to as a touch IC, a touch screen IC, a touch controller, a touch screen controller IC, or the like.
  • the processor 120 may perform a function of the touch sensor IC 412.
  • the touch sensor IC 412 and the processor 120 may be implemented in a single configuration (eg, one-chip).
  • the pressure sensor 413 may detect pressure (or force) by an external object (eg, a finger or an electronic pen).
  • an external object eg, a finger or an electronic pen.
  • a physical quantity eg, capacitance
  • the pressure sensor 413 includes a pressure sensing circuit disposed between the first plate and the second plate of the electronic device 101 and configured to detect pressure due to external pressure applied to at least a portion of the display 160. can do.
  • the pressure sensor IC 414 senses a change in a physical quantity (eg, capacitance) in the pressure sensor 413 and based on the change in the physical quantity, the pressure Z applied by the user's touch. Can be calculated.
  • the pressure sensor IC 414 may calculate the change (speed) of the pressure intensity, the direction in which the pressure is applied, and the like, which change during the unit time in the pressure sensor 413.
  • the pressure sensor IC 414 may provide the processor 120 with the pressure Z, the strength of the pressure, the speed, the direction, and the positions X and Y where the touch is made.
  • the pressure sensor IC 414 may be referred to as a force touch controller, force sensor IC, pressure panel IC, or the like.
  • the pressure sensor IC 414 may be implemented in a single configuration (eg, one-chip) together with the touch sensor IC 412.
  • the haptic module (eg, haptic actuator) 423 may provide tactile feedback (eg, vibration) to the user according to a control command of the processor 120.
  • the haptic module (eg, haptic actuator) 423 can directly touch or pressure events from the touch sensor IC 412 or pressure sensor IC 414 without intervention of the processor 120 to provide faster feedback.
  • the haptic module 423 may provide tactile feedback to the user when a touch input (eg, touch, hovering, force touch, etc.) is received from the user.
  • the memory 130 may store a command or data associated with an operation of a component included in the electronic device 110.
  • the memory 130 may store at least one application program including a user interface configured to display a plurality of items on a touch screen display.
  • the memory 130 may store instructions that, when executed, cause the processor 120 to perform the various operations described in this document.
  • the processor 120 may be electrically connected to the components 411-414 and 421-423 included in the electronic device 101, and included in the electronic device 101. Operation or data processing related to the control and / or communication of the configured components 411-414 and 421-423. For example, the processor 120 may synchronize the touch position (eg, X and Y coordinates) obtained from the touch sensor IC 412 with the touch pressure (intensity) obtained from the pressure sensor IC 414. .
  • the touch position eg, X and Y coordinates
  • the touch pressure intensity
  • the processor 120 may display an image corresponding to the specified pressure (intensity) in the display driver IC 421. Information can be sent to indicate the effect.
  • the processor 120 may generate a haptic effect corresponding to the pressure (intensity) specified in the haptic module 423 when the touch pressure (intensity) obtained from the pressure sensor IC 414 is greater than or equal to the specified pressure (intensity), for example. Information to be generated can be transmitted.
  • the processor 120 may launch (or execute) an application program (or simply referred to as an “application”) that displays a user interface on the touchscreen display 422. have.
  • the processor 120 may display an array of a plurality of items on a user interface displayed on the touch screen display 422 in response to the launch of the application.
  • the processor 120 receives first data generated from the touch sensor 411 (data including the position coordinates X and Y of the touch) and generates the first data generated from the pressure sensor 413. 2 data (data including the pressure Z of the touch) can be received.
  • the processor 120 may activate at least a portion of the pressure sensor 413 while the touch screen display 422 is turned off. Alternatively, the processor 120 may at least partially activate the pressure sensor 413 while the touch screen display 422 is turned off. For example, the processor 120 may not only display the pressure sensor (not only when the electronic device 101 is in an awake state but also when a component such as the touch screen display 422 is turned off. All or part of 413 may be activated. Meanwhile, the processor 120 may at least partially deactivate the touch sensor 411 while the touch screen display 422 is turned off or while the electronic device 101 is in a standby state. Alternatively, the processor 120 may at least partially deactivate the touch sensor 411 to reduce power consumption in the standby state and to prevent malfunction due to the touch.
  • the processor 120 may activate at least a portion of the pressure sensor 413 when a specified condition is achieved while the touch screen display 422 is turned off. For example, the processor 120 may activate the pressure sensor 413 after or after a designated time after the touch screen display 422 is turned off. In another example, the processor 120 may activate the pressure sensor 413 when a user's use is detected by a gyro sensor or a proximity sensor. In another example, when the temperature is lower than the specified value, when the touch is detected through the touch panel, when the electronic device 101 is close to another external device, or when the temperature is lower than the specified value, When the stylus pen mounted in the 101 is taken out of the electronic device 101, the pressure sensor 413 may be activated. In another example, the processor 120 may activate the pressure sensor 413 while an application (eg, a music player) performing an operation in a standby state is running.
  • an application eg, a music player
  • the processor 120 may deactivate at least a part of the pressure sensor 413 when a specified condition is achieved while the touch screen display 422 is turned off.
  • the processor 120 may use a proximity sensor, an illuminance sensor, an acceleration sensor, and / or a gyro sensor, or the like, when the electronic device 101 is placed in a pocket, in a bag, or when turned over, a pressure sensor 413 Can be deactivated.
  • the processor 120 may deactivate the pressure sensor 413 when the electronic device 101 is connected to an external device (eg, when connected to a desktop).
  • the processor 120 may activate only a designated area of the pressure sensor 413 while the touch screen display 422 is turned off.
  • the processor 120 may activate some designated areas of the pressure sensor 413 (eg, the central lower area of the pressure sensor 413) to reduce power consumption in the standby state.
  • the processor 120 may activate some of the two or more sensors.
  • the processor 120 may sense the pressure using the pressure sensor 413 while the electronic device 101 is in the standby state by activating or enabling the pressure sensor 413.
  • the processor 120 may receive data related to pressure by an external object to the touchscreen display 422 from the pressure sensor 413 while the touchscreen display 422 is turned off.
  • the processor 120 determines whether the pressure is greater than or equal to the selected level based on the data related to the pressure, and if it is determined that the pressure is greater than or equal to the selected level, the processor 120 may display the touchscreen display 422 entirely. (fully) Can perform a function without turning on. For example, the processor 120 may perform a function when a pressure greater than a specified level is detected. In this case, the processor 120 may turn on a part of the touch screen display 422.
  • the processor 120 may determine a function to perform as follows based on at least one of a position, intensity, number of points, speed, direction, and duration at which the pressure is sensed.
  • the processor 120 may wake up the electronic device 101 when a pressure is detected at a position corresponding to the bottom center of the touch screen display 422.
  • the processor 120 may control the volume of the speaker of the electronic device 101 when pressure is sensed at a position corresponding to the upper left end of the touch screen display 422.
  • the processor 120 may perform a function related to the adjacent hardware.
  • the processor 120 may control the electronic device 101 so that the electronic device 101 enters an emergency mode when a pressure greater than a specified intensity is detected.
  • the processor 120 may perform different functions depending on the number of points at which pressure is sensed at the same time.
  • the pressure sensor 413 provides data for the pressure Z to the processor 120, but the present invention is not limited thereto, and the pressure sensor 413 is implemented as a set of two or more sensors.
  • the processor 120 may detect a position at which pressure is applied based on a position of a sensor whose capacitance changes among two or more sensors. For example, if the pressure sensor 413 is implemented as a set of six sensors arranged in an array of 3 ⁇ 2, the processor 120 may be configured to include a change in capacitance of each of the six sensors and six sensors each. The position at which the pressure is applied can be determined based on the position. That is, the processor 120 may determine the position where the pressure is applied without using the touch sensor 411. When the pressure is sensed by the pressure sensor 413, the processor 120 may activate the touch sensor 411 to detect a position at which pressure is applied using the touch sensor 411.
  • the processor 120 may perform a first function.
  • the processor 120 may determine the first function based on at least one of a position, intensity, number of points, speed, direction, or duration in which the pressure of the first level is sensed, and perform the determined first function.
  • the first level of pressure may refer to a pressure of a specified range of intensities.
  • the processor 120 may perform a second function related to the first function.
  • the processor 120 may determine the second function based on at least one of the location, intensity, number of points, speed, direction, or duration at which the second level of pressure is sensed.
  • the input of the second level may mean a pressure of a specified range of intensities.
  • the strength of the pressure of the second level may be greater or less than the strength of the pressure of the first level. Further, the strength of the pressure at the second level and the strength of the pressure at the first level may be the same.
  • the processor 120 When the pressure is sensed during the execution of the first function, the processor 120 performs a second function related to the first function being performed, thereby executing various functions by the pressure, which is a one-dimensional input.
  • the convenience of the input may be increased by executing another function related to the function being performed according to the magnitude of the pressure of pressing the electronic device 101 after one touch with respect to the electronic device 101.
  • the electronic device 101 may use a value measured by at least one sensor (eg, an acceleration sensor, a gyro sensor, etc.) to distinguish between a long press input and a pressure input.
  • the electronic device 101 may use a fingerprint, a camera, and an iris to distinguish between a long press input and a pressure input.
  • the operation of the processor 120 described above is an example, and is not limited to the above description.
  • the operation of the processor described in other parts of this document can also be understood as the operation of the processor 460.
  • at least some of the operations described as the operations of the “electronic device” may be understood as operations of the processor 120.
  • the electronic device 101 may include a housing including a first plate and a second plate spaced apart from the first plate, disposed in the housing, and the first plate.
  • a pressure sensing circuit disposed between the touch screen display 160, the first plate and the second plate exposed through a portion of the pressure sensing circuit, the pressure sensing circuit configured to detect a pressure due to external pressure applied to at least a portion of the touch screen display ( 413, at least one wireless communication circuit 960 disposed inside the housing, and at least one disposed inside the housing and electrically connected to the touch screen display 160, the pressure sensing circuit 413, and the wireless communication circuit.
  • a processor 120, and a memory 130 disposed in the housing and electrically connected to the processor 120.
  • the memory 130 is configured to store an application program including a user interface, and when executed, the processor displays at least one object on the user interface on the touch screen display and operates the pressure sensing circuit. To detect a pressure level for a user input at or around the at least one object and to select one of a plurality of operations associated with the at least one object based on at least a portion of the detected pressure level. You can save them.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may determine a plurality of objects corresponding to the detected pressure level, and select one of the determined plurality of objects.
  • the electronic device 101 may select an object having a large depth information from among the plurality of determined objects in proportion to the detected pressure level.
  • the electronic device 101 may perform pairing between the determined plurality of objects.
  • the electronic device 101 may perform pairing between the selected object and the electronic device.
  • the electronic device 101 may determine a property of at least one of the selected object or the unselected object among the determined plurality of objects.
  • the electronic device 101 may change and display the image based on the determined attribute.
  • the electronic device 101 (for example, the processor 120) enlarges and displays the size of the selected object at a predetermined magnification, changes the color of the selected object, and displays the selected object. At least one of displaying the remaining portions other than the boundary line or transparently displaying the non-selected object may be performed.
  • the electronic device 101 when the user input is at least two, the electronic device 101 (for example, the processor 120) may select one of the plurality of objects faster than when the user input is one. have.
  • the electronic device 101 may display a menu including at least one function related to the selected object corresponding to the location where the selected object is displayed.
  • the electronic device 101 may display additional information corresponding to the selected object corresponding to the location where the selected object is displayed.
  • the electronic device 101 when there is no additional information in the memory, the electronic device 101 (for example, the processor 120) requests the server for additional information corresponding to the selected object and in response to the request, the electronic device 101 (eg, the processor 120). Additional information can be received.
  • the electronic device 101 when a request for information for authenticating the electronic device is received from the server, the electronic device 101 (eg, the processor 120) receives an identifier of the electronic device in response to the request.
  • the additional information may be received from the server.
  • 5 and 6 illustrate a stacked structure of components included in an electronic device according to various embodiments of the present disclosure.
  • the electronic device may include a first surface facing in a first direction and a second surface facing in the opposite direction to the first direction, and a space between the first surface and the second surface. It may include a housing including a surrounding side and a touch screen display exposed through the first surface between the first surface and the second surface.
  • the stack structure shown in FIGS. 5 and 6 may be applied to the touch screen display 160 shown in FIG. 1.
  • the components illustrated in FIGS. 5 and 6 may be disposed between the front surface (first surface) and the rear surface (second surface) of the electronic device 101 of FIG. 1.
  • the cover glasses 501 and 601 may transmit light generated by the touch screen display 503.
  • a user may perform a “touch” (including a touch with an electronic pen) by touching a portion of a body (eg, a finger).
  • the cover glasses 501 and 601 may be formed of, for example, tempered glass, tempered plastic, flexible polymer material, or the like, to protect the electronic device equipped with the touch screen display and the touch screen display from external impact. have.
  • the cover glasses 501 and 601 may also be referred to as glass windows or cover windows.
  • various physical quantities may be changed by contact of an external object (eg, a user's finger or electronic pen).
  • the touch sensors 502 and 602 may detect at least one position of the touch by an external object on the touch screen display (eg, on the surfaces of the cover glasses 501 and 601) based on the change in the physical quantity.
  • the touch sensors 502 and 602 may include a capacitive touch sensor, a pressure sensitive touch sensor, an infrared touch sensor, a resistive touch sensor or a piezo touch sensor.
  • the touch sensors 502 and 602 may be referred to by various names such as a touch panel according to an implementation form.
  • the touch screen displays 503 and 603 may output at least one content or item (eg, text, an image, a video, an icon, a widget, or a symbol).
  • the touchscreen displays 503 and 603 are, for example, liquid crystal touchscreen display (LCD) panels, light emitting diode (LED) touchscreen display panels, organic light emitting diode (OLED) touchscreen display panels, microelectromechanical systems (MEMS). ) A touch screen display panel, or an electronic paper touch screen display panel.
  • LCD liquid crystal touchscreen display
  • LED light emitting diode
  • OLED organic light emitting diode
  • MEMS microelectromechanical systems
  • the touch screen displays 503 and 603 may be integrated with the touch sensors (or touch panels) 502 and 602.
  • the touch screen displays 503 and 603 may also be referred to as touch screen panels (TSPs), or touch screen touch screen display panels.
  • the pressure sensor 413 may detect pressure (or force) by an external object (eg, a user's finger or an electronic pen) to the touch screen display (eg, the surfaces of the cover glasses 501 and 601). .
  • the pressure sensor 413 may include first electrodes 504 and 604, second electrodes 506 and 606, and dielectric layers 505 and 605.
  • the pressure sensor 413 may detect the pressure of the touch based on the capacitance between the first electrode 504 and 604 and the second electrode 506 and 606 that are changed by the pressure of the touch.
  • the pressure sensor 413 is illustrated as being implemented as a single sensor, but is not limited thereto.
  • the pressure sensor 413 may be implemented as a set of two or more sensors.
  • pressure sensor 413 may be implemented as a set of six sensors arranged in an array of 3 ⁇ 2.
  • Haptic modules 507 and 607 are received by touch (including hovering and / or “force touch”) by external objects (eg, a user's finger or electronic pen, etc.). May provide haptic feedback (eg, vibration) to the user.
  • the haptic modules 507 and 607 may include piezoelectric members and / or diaphragms.
  • the touch sensors 502 and 602 may be directly formed on the rear surfaces of the cover glasses 501 and 601 (so-called touch glass integrated touch panels) or separately manufactured to cover the cover glasses 501 and 601 and the touch screen display. Interposed between 503 and 603 (so-called add-on touch panels), formed directly on touch screen displays 503 and 603 (so-called on-cell touch panels), touch screen It may be included inside the displays 503 and 603 (so-called in-cell touch panels). According to various embodiments of the present disclosure, an area fingerprint sensor implemented in an opaque or transparent manner may be additionally included in the above-described stacked structure.
  • FIG. 7A is an exemplary view illustrating an electrostatic method in a pressure sensor according to various embodiments of the present disclosure
  • FIG. 7B is an exemplary view illustrating an induction method in a pressure sensor according to various embodiments
  • FIG. 7C is a strain in the pressure sensor according to various embodiments of the present disclosure.
  • 7 is an exemplary diagram illustrating a piezoelectric method in a pressure sensor according to various embodiments of the present disclosure.
  • a capacitive pressure sensor may detect a pressure based on a change in capacitance formed between two electrodes according to a user's pressure.
  • the capacitance may increase as the distance between the two electrodes approaches by the pressure of the user.
  • the electrostatic pressure sensor includes a first electrode layer 730 made up of a plurality of electrodes (eg, 730-1, 730-2, ... 730-n) and an entire region corresponding to the repeated plurality of electrodes.
  • the second electrode layer 710 extends as one, and may include a left dielectric layer 720 disposed between the first electrode layer and the second electrode layer.
  • Each of the lines 730-1 and 730-1 in the plurality of electrodes (eg, 730-1, 730-2,... 730-n) is connected to a voltage or capacitive meter 701, and has a capacitance
  • the measurer 701 may detect a user's pressure input and measure the detected value.
  • an inductive pressure sensor is based on a change in current induced in an inductor (for example, a coil) 740-1, 740-2,... 740-n according to a user's pressure. Pressure can be sensed.
  • the current may increase as the conductor (eg, the metal housing, the user's finger, etc.) approaches the inductor (eg, the coil) disposed inside the housing due to the pressure of the user.
  • Inductors may be connected to the current meter 702 to sense a user's pressure and measure the sensed value.
  • a strain gauge type pressure sensor may sense pressure based on a change in resistance of the conductors 750-1, 750-2,..., 750-n according to a user's pressure.
  • the resistance may increase by decreasing the cross-sectional area of the conductor as the length of the conductor increases due to the pressure of the user.
  • the conductors are connected to the current meter 703 to sense the user's pressure and measure the sensed value.
  • the wiring of the conductors may be configured in the form of Wheatstone bridge.
  • the piezo pressure sensor may detect pressure based on a current generated from piezo materials 760-1, 760-2,... 760-n according to a user's pressure.
  • the current may increase as the amount of current converted by the piezo material by the pressure of the user increases.
  • the piezoelectric materials 760-1, 760-2,... 760-n may be connected to the current meter 704, and may sense a user's pressure and measure a sensed value.
  • FIG. 8A is a perspective view illustrating a self capacitance method in a pressure sensor according to various embodiments of the present disclosure
  • FIG. 8B is a perspective view illustrating a mutual capacitance method in a pressure sensor according to various embodiments of the present disclosure.
  • a self capacitance pressure sensor may include a first electrode layer 830 in the form of a plurality of repeated polygons (or circles) 830-1, 830-2,... ), A second electrode layer 810 extending into one throughout the region corresponding to the plurality of repeated polygons, and a dielectric layer 820 disposed between the first electrode layer 830 and the second electrode layer 810. can do.
  • the pressure sensor may sense pressure based on a change in capacitance between each partial electrode and the first electrode layer of the first electrode layer 830. Positions or shapes of the first electrode layer 830 and the second electrode layer 810 may be interchanged.
  • a mutual capacitance type pressure sensor may include a first electrode layer 860 formed of a plurality of electrodes 860-1, 860-2,... 860-n extending in a first direction, A second electrode layer 840 and a first electrode layer 860 formed of a plurality of electrodes 840-1, 840-2,... 840-n extending in a first direction substantially perpendicular to the first direction;
  • the dielectric layer 850 may be disposed between the second electrode layers 840.
  • the pressure sensor may sense pressure based on a change in capacitance between the first electrode and the second electrode at the point where the first electrode layer 860 and the second electrode 840 cross each other. The position or shape of the first electrode and the second electrode may be interchanged.
  • the first electrode or the second electrode may be opaque or transparent. That is, when the user looks at the pressure sensor, an object placed opposite the pressure sensor may not be visible (opaque) or may be visible (transparent).
  • the first electrode or the second electrode may include at least one or a combination of two or more of copper (Cu), silver (Ag), magnesium (Mg), or titanium (Ti). Can be.
  • the first electrode or the second electrode is transparent, the first electrode or the second electrode is at least one or two or more of ITO, IZO, polymer conductor, Graphene, opaque wiring pattern (Ag Nanowire, Metal mesh, etc.) below a certain line width Combinations.
  • the dielectric layer may include at least one of silicon, air, foam, membrane, OCA, sponge, rubber, ink, or polymer (PC, PET, etc.).
  • FIG. 9 is a block diagram of an electronic device for controlling an operation by detecting a pressure input in an image displaying an object according to various embodiments of the present disclosure.
  • the electronic device 10 may include an AR service module 920, a memory module 940, a camera module 950, a network module 960, and a processor 910.
  • the AR service module 920 may perform at least one function or at least one operation performed by the processor 102 (for example, the processor 120 of FIG. 1).
  • the electronic device 10 may include a display module 931, a sensor module 932, a touch module 933, and a pressure module 934.
  • the memory module 940 may perform at least one function or at least one operation performed in a memory (for example, the memory 130 of FIG. 1), and may be stored in the memory (for example, the memory 130 of FIG. 1). Saved data, programs, etc. can be saved.
  • the camera module 950 may perform at least one function or at least one operation performed by a camera module (eg, the camera module 291 of FIG. 2).
  • the network module 960 may perform at least one function or at least one operation performed at a communication interface (for example, the communication interface 170 of FIG. 1).
  • the processor 910 may perform at least one function or at least one operation performed by a processor (for example, the processor 120 of FIG. 1).
  • the AR service module 920 may be electrically connected to the processor 910, the memory module 940, the camera module 950, and the network module 960. At least one of the AR service module 920 or the processor 910 may determine an object selected by the user and execute a function related to the selected object. The AR service module 920 may basically process an image received from the camera module 950 and provide the same to the display module 931.
  • the AR service module 920 may include various sensors present in the electronic device 101 through the sensor module 932, for example, an acceleration sensor, a geomagnetic sensor, a gravity sensor, a barometric pressure sensor, an illuminance sensor,
  • the temperature information of the electronic device may be provided from the temperature sensor, the proximity sensor, and the GPS sensors, and the touch and pressure input information of various users may also be received through the touch module 933 and the pressure module 934 (eg, a pressure sensor). can do.
  • the AR service module 920 may determine a virtual viewpoint of an image to be provided to the user by using the input received from the various modules and the image received from the camera module 950.
  • the AR service module 920 may use the memory module 940 and the network module 960 to configure an image to be provided to the user at the determined time point.
  • the AR service module 920 may determine an image component necessary for an image composition, and access a storage device inside the electronic device 101 through a memory module 940 or obtain a network module to obtain such an image component.
  • the device 960 may access a storage device external to the electronic device 101.
  • the AR service module 920 may generate an image to be provided to the user by using the acquired image component to express the determined viewpoint information and the determined virtual viewpoint information, and recognize an object existing in the generated image. By mapping the additional information thereon, an image to be finally provided to the user may be completed and transferred to the display module 931 for display.
  • FIG. 10 is a flowchart illustrating a process of controlling an operation according to a level of a pressure input in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may display at least one object on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 includes a housing (not shown) including a first plate and a second plate spaced apart from the first plate, a touch screen display disposed inside the housing and exposed through a portion of the first plate. 930, a pressure sensing circuit disposed between the first plate and the second plate and configured to detect a pressure due to an external pressure applied to at least a portion of the touch screen display 930 (eg, the pressure of FIG. 4).
  • the sensor 413 may include a wireless communication circuit (eg, the network module 960 of FIG.
  • the electronic device 101 may display at least one visual feedback based on a user's pressure input on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • a user interface including at least one object capable of executing various operations such as executing a function of the user may be displayed.
  • the electronic device 101 eg, the processor 120
  • the user interface may display at least one 3D object having depth information such as an augmented reality and a 3D map.
  • the user interface may include and display at least one 3D object in a preview image acquired by a camera module (eg, the camera module 950 of FIG. 9).
  • the electronic device 101 may detect a pressure level with respect to a user input in at least one object or in the vicinity.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 is an intensity for the user's pressure input detected on a plurality of objects displayed adjacent to each other on the touch screen display (eg, the touch screen display 930 of FIG. 9). Can be measured and the pressure level with respect to the pressure input can be detected.
  • the electronic device 101 selects (or determines) an object selected by the user from among a plurality of objects displayed on the touch screen display (eg, the touch screen display 930 of FIG. 9). The intensity of the pressure input of the user can be measured, and the pressure level of the pressure input can be detected.
  • the electronic device 101 executes one of a plurality of operations related to the at least one object based on at least a portion of the detected pressure level.
  • the electronic device 101 eg, the processor 120
  • One or more objects may be selected based on at least a portion of the established pressure levels.
  • the electronic device 101 (for example, the processor 120) may determine a plurality of objects corresponding to the detected pressure level, and select one of the determined plurality of objects.
  • the electronic device 101 determines a plurality of objects displayed at a point where a user's pressure input is detected, and allows the user to select a plurality of objects according to the level or intensity of the pressure input so that the user selects a desired object. It may provide visual feedback to each of the objects of the.
  • the electronic device 101 (for example, the processor 120) may select an object having a large depth information, that is, an object having a depth, among the determined plurality of objects in proportion to the detected pressure level. have.
  • the electronic device 101 may select an object having a small value of the depth information, that is, an object having a shallow depth, and the greater the pressure level, the greater the value of the depth information. You can select large objects.
  • the electronic device 101 may provide different visual feedback to the selected object to allow the user to recognize which object is selected.
  • the electronic device 101 may perform pairing between the determined plurality of objects.
  • the electronic device 101 may perform pairing for interworking such as data transmission, control signal transmission, and function control between the determined plurality of objects.
  • the plurality of objects are electronic devices such as an indoor refrigerator, a TV, a washing machine, a dishwasher, a cleaner, a rice cooker, an oven, a home network system
  • pairing between objects determined for function control and control signal transmission and reception is performed. Can be done.
  • the electronic device 101 (for example, the processor 120) may perform pairing between the selected object and the electronic device.
  • the electronic device 101 may perform pairing for interworking such as data transmission, reception and reception of control signals, and function control between the selected object and the electronic device 101.
  • the electronic device 101 (for example, the processor 120) may perform a specific function such as searching for, searching for, and pairing related information about the selected object.
  • the electronic device 101 may perform pairing for interworking such as data transmission, reception and reception of control signals, and function control. For example, if the selected object is an electronic device (eg, the external electronic device 102 of FIG.
  • the electronic device 101 may perform pairing with the external electronic device 102 for function control and transmission and reception of control signals.
  • the electronic device 101 may determine a property of at least one of the selected object or the unselected object among the determined plurality of objects.
  • the electronic device 101 may determine the property of the selected object differently from the property of the unselected object.
  • the electronic device 101 may display the visual effect of the selected object differently from the visual effect of the unselected object.
  • the electronic device 101 may change and display the image based on the determined attribute.
  • the electronic device 101 displays at least one object and the property of the at least one object is determined based on a user's pressure input, the electronic device 101 applies the determined property to the displayed image. Can be displayed.
  • the electronic device 101 may enlarge and display the size of the selected object at a predetermined magnification.
  • the electronic device 101 may change and display a color of the selected object.
  • the electronic device 101 may transparently display the remaining portion except for the boundary of the unselected object or semi-transparently display the unselected object.
  • the electronic device 101 when the user input is at least two, the electronic device 101 (for example, the processor 120) may select one object among the plurality of objects faster than when the user input is one. have.
  • the electronic device 101 (for example, the processor 120) may have two users than the case where one user input is detected even if the pressure level of one user input and the pressure level of the two user inputs are the same (or similar). If an input is detected, the object can be selected more quickly.
  • the electronic device 101 for example, the processor 120
  • the electronic device 101 may display a menu including at least one function related to the selected object corresponding to the location where the selected object is displayed.
  • the electronic device 101 may display a menu including various functions such as a function of searching for additional information related to the selected object, a function of purchasing the selected object, and a function of pairing with the selected object. .
  • the electronic device 101 (for example, the processor 120) may display the menu on a part of the top, bottom, left, and right sides of the selected object.
  • the electronic device 101 (for example, the processor 120) may display other functions in a menu corresponding to the attributes of the selected object.
  • the electronic device 101 may display additional information corresponding to the selected object corresponding to the location where the pre-selected object is displayed.
  • the electronic device 101 may determine whether additional information of the selected object is stored in a memory (eg, the memory module 940 of FIG. 9). For example, if the additional information of the selected object is not stored in the memory (eg, the memory module 940 of FIG. 9), the electronic device 101 (eg, the processor 120) corresponds to the selected object.
  • the additional information may be requested by connecting to a server (eg, the server 106 of FIG. 1).
  • the electronic device 101 for example, the processor 120
  • the electronic device 101 When the electronic device 101 (eg, the processor 120) receives a request for information for authenticating the electronic device from the server, the electronic device 101 transmits an identifier of the electronic device to the server in response to the request, and the authentication is performed. When this is completed, the additional information may be received from the server.
  • the electronic device 101 eg, the processor 120
  • FIG. 11 is a flowchart illustrating an operation of determining and displaying a property of an object in which a pressure input is detected in an image including at least one object according to various embodiments of the present disclosure.
  • the electronic device may display at least one object.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 eg, the processor 120
  • a user interface including at least one object capable of executing may be displayed.
  • the electronic device 101 may display at least one object on a user interface on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the user interface may display at least one 3D object having depth information such as an augmented reality and a 3D map.
  • the user interface may include and display at least one 3D object in a preview image acquired by a camera module (eg, the camera module 950 of FIG. 9).
  • the electronic device may detect a pressure input.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may detect a user's pressure input on a plurality of objects displayed adjacent to each other on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 is a pressure input on an object selected by a user among a plurality of objects displayed on the touch screen display (eg, the touch screen display 930 of FIG. 9). The input can be detected.
  • the electronic device may determine a plurality of objects corresponding to the pressure input.
  • the electronic device 101 may display a plurality of objects overlapping on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 may determine a plurality of objects corresponding to the position of the user's pressure input on the displayed plurality of objects. For example, when the user's pressure input is detected at a point where the plurality of objects overlap, the electronic device 101 (eg, the processor 120) may determine a plurality of objects displayed at the point where the pressure input is detected. . For another example, when the user's pressure input is detected at a point where one object is displayed, the electronic device 101 (eg, the processor 120) may determine one object displayed at the point where the pressure input is detected. .
  • the electronic device may determine a selected object among the determined plurality of objects.
  • the electronic device 101 may determine a plurality of objects corresponding to a pressure input of a user, and select an object (or at least one) among the determined plurality of objects.
  • the electronic device 101 determines a plurality of objects displayed at the point where the user's pressure input is detected, and allows the user to select a desired object according to the strength of the pressure input. Visual feedback can be provided to each of the objects.
  • the electronic device 101 (for example, the processor 120) may select an object having a large depth information among the determined plurality of objects in proportion to the detected pressure input.
  • the electronic device 101 may select an object having a small depth information when the strength of the pressure input is small, and select an object having a large depth information as the intensity of the pressure input is large. .
  • the electronic device 101 may provide different visual feedback to the selected object to allow the user to recognize which object is selected.
  • the electronic device may determine a property of at least one of the selected object or an unselected object.
  • the electronic device may determine a property of whether at least one of the selected object or the non-selected object is made of a hard material, a soft material, or a soft material. have.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may determine the property of the selected object from among the determined plurality of objects.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may determine the property of the selected object differently from the property of the unselected object.
  • the electronic device 101 may determine a property of each object differently so that the visual effect of the selected object is different from the visual effect of the unselected object.
  • the electronic device determines that the object (or property) of the object is hard even though the level (or intensity) of the pressure input is the same, the object may be less than when the object is soft. You can select objects by making them move faster. In another example, when the electronic device (eg, the processor 120) determines that the object (or property) of the object is soft even though the level (or strength) of the pressure input is the same, the electronic device (eg, the processor 120) may have a harder property than that of the object. You can select objects by slowing the movement between them.
  • the electronic device determines that the object (or physical property) of the object is hard even though the level (or intensity) of the pressure input is the same, the electronic device (eg, the processor 120) has a property to sense the depth of visual feedback applied to the object. It can be displayed by making it less than soft. For example, even when the pressure input is detected in the same way, when the wide angle of the displayed object is large or zoomed out, the electronic device (eg, the processor 120) may zoom in the overlapping objects. in) You can select an object by moving it faster than the state.
  • the electronic device may change and display the image based on the determined attribute.
  • the electronic device 101 (for example, the processor 120) may change and display the image based on the determined attribute.
  • the electronic device 101 displays at least one object and the property of the at least one object is determined based on a user's pressure input
  • the electronic device 101 applies the determined property to the displayed image.
  • the electronic device 101 (for example, the processor 120) may enlarge and display the size of the selected object at a predetermined magnification.
  • the electronic device 101 (for example, the processor 120) may change and display a color of the selected object.
  • the electronic device 101 (for example, the processor 120) may transparently display the remaining portions except for the boundary line of the unselected object.
  • the electronic device 101 (for example, the processor 120) may display the non-selected object semi-transparently.
  • 12A to 12H are exemplary views of providing object feedback according to pressure levels and providing visual feedback to selected objects according to various embodiments of the present disclosure.
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be configured on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the objects 1210, 1211, and 1212 may be displayed, and the first pressure input 1213 may be sensed on the displayed plurality of objects 1210, 1211, and 1212.
  • the electronic device 101 eg, the processor 120
  • may select other objects except for the selected object 1210 1211 and 1212 may display blur, translucent, or transparent like the objects 1211 and 1212 of FIG. 12B.
  • the electronic device 101 may display the objects 1211 and 1212 of FIG. 12B in a semi-transparent manner and display other portions (eg, faces) in a transparent manner.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be displayed on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the second pressure input 1214 input on the plurality of objects 1210, 1211, and 1212 may be sensed.
  • the strength of the second pressure input 1214 may be greater than the strength of the first pressure input 1213.
  • the strength of the second pressure input may not be greater than the strength of the first pressure input. As shown in FIG.
  • the electronic device 101 may select other objects except for the selected object 1211 ( 1210 and 1212 may be displayed as blur, translucent, or transparent like the objects 1210 and 1212 of FIG. 12D.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may change the color of the object 1211 selected in FIG. 12C to another color and display the same.
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be displayed on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the third pressure input 1215 input on the plurality of objects 1210, 1211, and 1212 may be sensed.
  • the intensity of the third pressure input may be greater than the intensity of the second pressure input.
  • the intensity of the third pressure input may not be greater than the intensity of the second pressure input.
  • the electronic device 101 eg, the processor 120
  • the 1210 and 1211 may display blur, translucent, or transparent like the objects 1210 and 1211 of FIG. 12F.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may display the objects 1210 and 1211 of FIG. 12F in a semi-transparent manner and display other portions (eg, faces) in a transparent manner.
  • the electronic device 101 may change the color of the object 1212 selected in FIG. 12E to another color and display the same.
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be displayed on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the fourth pressure input 1216 input to the plurality of objects 1210, 1211, and 1212 may be sensed.
  • the strength of the fourth pressure input may be equal to the strength of the second pressure input.
  • the strength of the fourth pressure input may be different from the strength of the first, second and third pressure inputs.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may blur, translucent, or other objects 1210 and 1212 except for the selected object 1211 as shown in the objects 1210 and 1212 of FIG. 12H. It can be displayed transparently.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 eg, the processor 120
  • 13A to 13H are exemplary views of providing object feedback according to one or more pressure levels and providing visual feedback to a selected object according to various embodiments of the present disclosure.
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be configured on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • a touch screen display eg, the touch screen display 930 of FIG. 9
  • the electronic device 101 detects a second pressure input 1313 that is greater than the first pressure input 1311
  • the second object having greater depth information than the first object 1312 may be used.
  • 1314 may be selected, and when a third pressure input 1315 is detected that is greater than the second pressure input 1313, the third object 1316 having greater depth information than the second object 1314 is selected. Can be.
  • the electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be configured on a touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the fourth object 1318 may be selected according to the fourth pressure input 1317 among the objects of.
  • the electronic device 101 (for example, the processor 120) may detect the fifth pressure input 1319 that is greater than the fourth pressure input 1317, and the fifth object having greater depth information than the fourth object 1318. 1320 may be selected, and when a sixth pressure input 1321 greater than the fifth pressure input 1319 is detected, the sixth object 1322 having greater depth information than the fifth object 1314 is selected. Can be.
  • the electronic device 101 may select an object having large depth information in proportion to the increase rate.
  • the electronic device 101 When two pressure inputs 1323 and 1324 are detected in FIGS. 13G and 13H, the electronic device 101 (eg, the processor 120) is compared with one pressure input 1313 detected in FIGS. 13A to 13F. It is possible to select an object having a large depth information by increasing a moving speed for selecting an object. For example, the electronic device 101 (eg, the processor 120) calculates a distance between the two pressure input points 1323 and 1324 detected, and is within the calculated distance and a predetermined distance. In addition, an object having a greater depth information may be selected by increasing a moving speed for selecting an object as compared with the sensed pressure input 1313.
  • the electronic device 101 may control a moving speed for selecting an object in a direction of a point where the pressure is greater among the two pressure inputs 1323 and 1324.
  • the electronic device 101 eg, a processor
  • 120 may select an object having a greater depth information by increasing a moving speed for selecting an object in a direction (eg, right or back) of a point where the second pressure input 1324 is detected.
  • FIGS. 13A to 13H an object may be selected by increasing a moving speed for selecting an object based on at least one of the number of pressure inputs or the strength of the pressure inputs.
  • FIG. 14 is a flowchart illustrating an operation of executing an operation by determining an object in which a pressure input is detected in an image including at least one object according to various embodiments of the present disclosure.
  • the electronic device may display at least one object.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 eg, the processor 120
  • a user interface including at least one object capable of executing may be displayed.
  • the electronic device 101 may display at least one object on a user interface on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the user interface may display at least one 3D object having depth information such as an augmented reality and a 3D map.
  • the user interface may include and display at least one 3D object in a preview image acquired by a camera module (eg, the camera module 950 of FIG. 9).
  • the electronic device 101 eg, the processor 120
  • the electronic device may detect a pressure input.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may detect a user's pressure input on a plurality of objects displayed adjacent to each other on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may detect a pressure level with respect to the pressure input.
  • the electronic device 101 is a pressure input on an object selected by a user among a plurality of objects displayed on the touch screen display (eg, the touch screen display 930 of FIG. 9). The input can be detected.
  • the electronic device may determine a plurality of objects corresponding to the pressure input.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 may display a plurality of objects overlapping on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 (for example, the processor 120) may determine a plurality of objects corresponding to the position of the user's pressure input on the displayed plurality of objects. For example, when the user's pressure input is detected at a point where the plurality of objects overlap, the electronic device 101 (eg, the processor 120) may determine a plurality of objects displayed at the point where the pressure input is detected. .
  • the electronic device 101 may determine one object displayed at the point where the pressure input is detected.
  • the electronic device 101 eg, the processor 120
  • the electronic device may determine a selected object among the determined plurality of objects.
  • the electronic device 101 may determine a plurality of objects corresponding to a pressure input of a user, and select an object (or at least one) among the determined plurality of objects.
  • the electronic device 101 determines a plurality of objects displayed at the point where the user's pressure input is detected, and allows the user to select a desired object according to the strength of the pressure input. Visual feedback can be provided to each of the objects.
  • the electronic device 101 (for example, the processor 120) may select an object having a large depth information among the determined plurality of objects in proportion to the detected pressure input.
  • the electronic device 101 may select an object having a small depth information when the strength of the pressure input is small, and select an object having a large depth information as the intensity of the pressure input is large. .
  • the electronic device 101 may provide different visual feedback to the selected object to allow the user to recognize which object is selected.
  • the electronic device may execute an operation on a selected object among the determined plurality of objects.
  • the electronic device 101 may display a menu including at least one function related to the determined object corresponding to the location where the determined object is displayed.
  • the electronic device 101 eg, the processor 120
  • Functions included in the menu may vary depending on the characteristics of the object. For example, when the determined object is an electronic device capable of communication (eg, the external electronic device 102 of FIG.
  • the menu may include a function for pairing with the external electronic device 102. .
  • the menu may include various functions such as an expiration date, a price, and a lowest price site of the object.
  • the electronic device 101 (for example, the processor 120) may display the menu on a part of the top, bottom, left, and right sides of the selected object.
  • the electronic device 101 (for example, the processor 120) may display other functions in a menu corresponding to the attributes of the selected object.
  • the electronic device 101 (for example, the processor 120) may display additional information corresponding to the selected object corresponding to the location where the pre-selected object is displayed.
  • the selected object is a household appliance (e.g., TV, refrigerator, washing machine, dishwasher, electronic lens, oven, audio, air conditioner, lighting, boiler, video, etc.) that can communicate indoors
  • the selected object You can execute a predefined function for or display the detailed screen.
  • the predetermined function may be different depending on the type of home appliance.
  • the predetermined function may include a plurality of functions commonly used in the home appliance, such as operation on / off control for the selected object (eg, home appliance).
  • 15A to 15F are exemplary views of selecting an object according to a pressure level and displaying a menu corresponding to the selected object, according to various embodiments of the present disclosure.
  • the electronic device 101 may include a plurality of objects on a touch screen display (eg, the touch screen display 930 of FIG. 9). 1510, 1511, and 1512 may be displayed, and a first pressure input 1513 input on the displayed plurality of objects 1510, 1511, and 1512 may be detected. As shown in FIG. 15A, when the first object 1510 according to the first pressure input 1513 is selected, the electronic device 101 (eg, the processor 120) selects the selected object on one side of the selected object 1510. The menu 1520 including at least one function related to the object 1510 may be displayed.
  • the menu 1520 may be displayed at any one of an upper left, lower left, upper right or lower right side of the selected object 1510.
  • the menu 1520 may be displayed at a location that a user can easily see.
  • the menu 1520 has a function 1521 for retrieving information (eg, manufacturing date, expiration date, manufacturing company, price, etc.) about the selected object 1510, and more detailed information (eg, about the selected object 1510).
  • a function 1522 e.g., a search site
  • a function 1523 e.g., a purchase site, a low-cost site, etc.
  • It may include.
  • the menu 1520 may include different functions according to the type or characteristics of the selected object 1510.
  • other objects 1511 and 1512 except for the selected object 1510 may be displayed in a blur, translucent, or transparent manner.
  • the electronic device 101 eg, the processor 120
  • FIG. 15B for example, when a user inputs a first pressure input 1513, a menu 1520 for the selected object 1510 is displayed and included in the displayed menu 1520.
  • an execution result of the selected function 1521 may be displayed.
  • the function 1521 is a gesture of dragging or sweeping a predetermined distance to the position where the function 1521 is displayed while the touch is maintained after the first pressure input 1513. It can be selected based on the gesture.
  • the function 1521 may be executed when the touch based on the drag or sweep gesture is released.
  • a second electronic device 101 (eg, the processor 120) according to various embodiments of the present disclosure may be input on the displayed plurality of objects 1510, 1511, and 1512. Pressure input 1514 may be sensed. An intensity of the second pressure input 1514 may be greater than an intensity of the first pressure input 1513.
  • the electronic device 101 eg, the processor 120
  • the menu 1530 including at least one function related to the object 1511 may be displayed. For example, the menu 1530 may be displayed at any one of an upper left, lower left, upper right or lower right side of the selected object 1511.
  • the menu 1530 may be displayed at a location easily visible to the user.
  • the menu 1530 has a function 1531 for retrieving information about the selected object 1511 (e.g., manufacturing date, expiration date, manufacturing company, price, etc.), and more detailed information about the selected object 1511.
  • a function 1532 e.g., a search site
  • searching for an ingredient, an effect on the human body, etc. It may include.
  • the menu 1530 may include different functions according to the type or characteristic of the selected object 1511. According to another embodiment, other objects 1510 and 1512 except for the selected object 1511 may be displayed in blur, translucent, or transparent.
  • the electronic device 101 may display the other objects 1510 and 1512 in a semi-transparent line and display other portions (eg, a face) in a transparent manner.
  • a menu 1530 for the selected object 1511 is displayed and included in the displayed menu 1530.
  • an execution result of the selected function 1532 may be displayed.
  • the electronic device 101 may input a fourth input on the displayed plurality of objects 1510, 1511, and 1512. Pressure input 1516 may be sensed. The strength of the fourth pressure input 1516 may be greater than the strength of the second pressure input 1514. As illustrated in FIG. 15E, when the third object 1512 according to the fourth pressure input 1515 is selected, the electronic device 101 (eg, the processor 120) may select the selected object on one side of the selected object 1512.
  • the menu 1540 including at least one function related to the object 1512 may be displayed. For example, the menu 1540 may be displayed at any one of an upper left, lower left, upper right or lower right side of the selected object 1512.
  • the menu 1540 may be displayed at a location that can be easily viewed by the user.
  • the menu 1540 has a function 1541 for retrieving information (eg, manufacturing date, expiration date, manufacturing company, price, etc.) about the selected object 1512, and more detailed information (eg, about the selected object 1512).
  • a function 1542 e.g., a search site
  • a function 1543 e.g., a purchase site, a low-cost site, etc.
  • the menu 1540 may include different functions according to the type or characteristics of the selected object 1512.
  • other objects 1510 and 1511 except for the selected object 1512 may be displayed in blur, translucent, or transparent.
  • the electronic device 101 eg, the processor 120
  • FIG. 15F for example, when a user inputs a fifth pressure input 1517, a menu 1540 for the selected object 1512 is displayed and included in the displayed menu 1540.
  • the function 1543 is selected, an execution result of the selected function 1543 may be displayed.
  • 16A to 16D illustrate various examples of selecting a function of a menu in a state of selecting an object according to a pressure input according to various embodiments of the present disclosure.
  • the electronic device 101 may select a predetermined time (eg, 1 sec) after the object 1620 is selected by the first pressure input 1610.
  • a menu 1630 including at least one function related to the selected object 1620 may be displayed on one side of the selected object 1620.
  • the menu 1630 may be displayed at any one of an upper left, lower left, upper right or lower right side of the selected object 1620.
  • the electronic device 101 may select a specific direction (eg, after the object 1620 is selected by the second pressure input 1611).
  • a menu 1630 including at least one function related to the selected object 1620 may be displayed on one side of the selected object 1620. have.
  • the menu 1630 may be displayed in the specific direction.
  • the electronic device 101 may select a specific direction (eg, after the object 1620 is selected by the third pressure input 1612).
  • a gesture designated as a left direction of the third pressure input is input, a menu 1630 including at least one function related to the selected object 1620 may be displayed on one side of the selected object 1620.
  • the designated gesture may include a shear force gesture, or a touch and drag gesture, which applies a force by rolling a finger in a specific direction.
  • the menu 1630 may be displayed in the direction of the shear force gesture or the touch and drag on the basis of the object 1620.
  • the electronic device 101 may input the fourth pressure after the object 1620 is selected by the fourth pressure input 1613.
  • a menu 1630 including at least one function related to the selected object 1620 may be displayed on the detected point.
  • the menu 1630 may be displayed in the progress direction of the touch and drag on the basis of the object 1620.
  • 17A to 17F are exemplary views illustrating object selection according to pressure levels and additional information corresponding to a selected object, according to various embodiments of the present disclosure.
  • the electronic device 101 may detect the first pressure input 1711 input on the first object 1710. .
  • the electronic device 101 eg, the processor 120
  • the additional information 1712 related to the selected object 1710 may be displayed on one side. For example, if the electronic device 101 (eg, the processor 120) passes a predetermined time (eg, 1 sec) after the first object 1710 is selected according to the first pressure input 1711, One side of the selected object 1710 may display additional information 1712 related to the selected object 1710.
  • a predetermined time eg, 1 sec
  • the additional information 1712 may include more detailed information about the selected object 1710 and may be stored in a memory (eg, the memory module 940 of FIG. 9) of the electronic device 101. .
  • the electronic device 101 eg, a processor ( 120) may request and receive the additional information from a server (eg, the server 106 of FIG. 1) in response to the detection of the first pressure input 1711.
  • the additional information 1712 may include different additional information according to the type or characteristic of the selected object 1710. For example, other objects other than the selected object 1710 may be displayed as blur, translucent, or transparent.
  • the electronic device 101 detects a second pressure input 1721 input on the second object 1720. can do.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 selects the selected second object 1720 as illustrated in FIG. 17D.
  • the intensity (or pressure level) of the second pressure input 1721 may be greater than the intensity (or pressure level) of the first pressure input 1711.
  • depth information of the second object 1720 determined by the second pressure input 1721 may be greater than depth information of the first object 1710 determined by the first pressure input 1711.
  • the electronic device 101 eg, the processor 120
  • a predetermined time eg, 1 sec
  • additional information 1722 related to the selected second object 1720 may be displayed.
  • the additional information 1722 may include more detailed information about the selected second object 1720 and may be stored in a memory (eg, the memory module 940 of FIG. 9) of the electronic device 101. Can be.
  • the electronic device 101 eg, a processor ( 120) may request and receive the additional information from a server (for example, the server 106 of FIG. 1) in response to the detection of the second pressure input 1721.
  • the electronic device 101 senses a third pressure input 1731 input on the third object 1730. can do.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 selects the selected third object 17d0 as illustrated in FIG. 17F.
  • the intensity (or pressure level) of the third pressure input 1731 may be greater than the intensity (or pressure level) of the second pressure input 1721.
  • the depth information of the third object 1730 determined by the third pressure input 1731 may be greater than the depth information of the second object 1720 determined by the second pressure input 1721.
  • the electronic device 101 eg, the processor 120
  • a predetermined time eg, 1 sec
  • additional information 1732 related to the selected third object 1730 may be displayed.
  • the additional information 1732 may include more detailed information about the selected third object 1730, and may be stored in a memory (eg, the memory module 940 of FIG. 9) of the electronic device 101. Can be.
  • the electronic device 101 may request and receive the additional information from a server (for example, the server 106 of FIG. 1) in response to the detection of the third pressure input 1731.
  • a server for example, the server 106 of FIG. 1
  • FIG. 18 is a flowchart illustrating an operation of obtaining additional information from a server by an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may display at least one object.
  • the electronic device 101 may display an image including at least one object on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the electronic device 101 may display additional information based on a user's pressure input on the touch screen display (eg, the touch screen display 930 of FIG. 9), or execute at least one function.
  • a user interface including at least one object capable of executing an operation may be displayed.
  • the electronic device 101 may display at least one object on a user interface on the touch screen display (eg, the touch screen display 930 of FIG. 9).
  • the user interface may display at least one 3D object having depth information such as an augmented reality and a 3D map.
  • the user interface may include and display at least one 3D object in a preview image acquired by a camera module (eg, the camera module 950 of FIG. 9).
  • the electronic device 101 may determine whether a pressure input is detected on the object.
  • the electronic device 101 eg, the processor 120
  • the electronic device 101 eg, the processor 120
  • the input can be detected. For example, a user may enter a pressure input to obtain more detailed side information about the object.
  • the additional information may be provided to all users or may be provided to some allowed users.
  • the additional information may be provided only to employees within the organization associated with the object (eg, employees of the company producing the object, managers related to the object, etc.), in which case the additional information is available to all users. While not provided, it may be provided to some users who are allowed to access or view.
  • the server 106 providing the additional information may determine whether to provide the additional information after a user's request is generated after the user's request is generated.
  • the electronic device 101 may determine whether additional information of the object on which the pressure input is detected exists in the server.
  • the electronic device 101 may determine whether the additional information of the object is stored in the memory (eg, the memory module 940 of FIG. 9). For example, if the additional information of the object is not stored in the memory (eg, the memory module 940 of FIG. 9), the electronic device 101 (eg, the processor 120) corresponds to the selected object.
  • a server eg, the server 106 of FIG. 1
  • it may be determined whether the additional information is stored in a memory (eg, the memory module 940 of FIG. 9).
  • the electronic device 101 may display the additional information. If the additional information of the selected object is stored in a memory (eg, the memory module 940 of FIG. 9), the electronic device 101 (eg, the processor 120) may display the stored additional information.
  • the electronic device 101 may transmit a user identifier to a server (eg, the server 106 of FIG. 1). If the additional information of the selected object is not stored in a memory (for example, the memory module 940 of FIG. 9), the electronic device 101 (for example, the processor 120) may correspond to a server corresponding to the selected object (for example, the processor 120). The additional information may be requested by accessing the server 106 of FIG. 1. When the electronic device 101 (for example, the processor 120) transmits a request for the additional information to the server 106, the electronic device 101 sends a request for a user identifier from the server 106. Can be received.
  • a server eg, the server 106 of FIG. 1
  • the electronic device 101 may transmit a user identifier to the server 106.
  • the user may authenticate additional information regarding the internal structure of the building (e.g., steel structure, name of the company in each floor of the building, address, real estate information, etc.). Can be obtained from the server 106.
  • the screen display for the inside of the building may be performed based on the strength or position of the gesture input following the building selection input. For example, after the touch input is moved to the detailed image, when a pressure input is detected at a specific position, the internal screen of the building may be displayed at the corresponding position.
  • the server 106 may perform an authentication process of a user of the electronic device 101 based on the received user identifier.
  • the server 106 compares a user identifier received from the electronic device 101 with an identifier of a user stored in a memory (not shown) of the server 106, and the electronic device 101 is authenticated (or authorized). It may be determined whether the electronic device is a recognized or unauthorized (or unauthorized) device.
  • Such authentication may be performed when the additional information is information that requires secrecy.
  • the server 106 may perform the authentication to provide additional information only to the electronic device 101 on which authentication is completed.
  • the server 106 may complete authentication.
  • the server 106 may complete the authentication process of the electronic device 101 by comparing the user identifier received from the electronic device 101 with the identifier of the user stored in a memory (not shown) of the server 106.
  • the server 106 may notify the electronic device 101 that the additional information cannot be acquired unless authentication is completed. If the electronic device 101 is not an authorized (or authorized) electronic device, the server 106 may transmit a notification to the electronic device 101 indicating that the electronic device 101 cannot provide additional information.
  • the server 106 may transmit the additional information to the electronic device 101.
  • the server 106 may transmit additional information to the electronic device 101.
  • the electronic device 101 may display additional information received from the server 106.
  • FIG. 19 illustrates an example of selecting an object based on a pressure input and displaying a menu corresponding to the selected object in an image including a plurality of objects, according to an exemplary embodiment.
  • an electronic device eg, the processor 120
  • a menu or information of the detected object is displayed.
  • 1904 may be displayed.
  • an image including a plurality of objects and a menu (or information) for each object being displayed on a display (eg, display 160 of FIG.
  • pressure input 1905 may cause the object (or Corresponding object), another object whose depth information is deeper than the detected object (or the corresponding menu) may be selected, or a menu corresponding to the other object may be displayed.
  • each object includes a variety of goods that can be sold to a consumer (eg, food, kitchen utensils, industrial items, household items, etc.). can do.
  • the image may display a menu (or information) for each product on one side of the various products.
  • the electronic device may display a menu (or information) or additional information 1901, 1902, 1903, and the like among various products.
  • An object capable of providing 1904 may be identified to display an image displaying the menu or additional information on one side of each identified object on a display (eg, the display 160 of FIG. 1).
  • FIG. 20 illustrates an example of displaying detailed information of a building based on a pressure input when the object is a building, according to an exemplary embodiment.
  • an electronic device may include detailed information (eg, a store name located on each floor) or the like in response to a pressure input 2011.
  • the interior 2020 may be displayed on a display (eg, the display 160 of FIG. 1).
  • the detailed information of the building may include various pieces of information (eg, steel structure, store name, etc.) for each floor.
  • the detailed information may be provided to the electronic device 101 after an authentication process is performed by a server (for example, the server 106 of FIG. 1).
  • the interior 2020 may include an interior screen of the building 2010.
  • the interior screen may be authenticated by a server (for example, the server 106 of FIG. 1), and then the electronic screen may be connected to the electronic device 101. Can be provided.
  • a pressure input 2011 is detected on the building 2010 while the building 2010 in which various stores are located is displayed on a display (eg, the display 160 of FIG. 1)
  • the detected Names, addresses, sizes, or real estate information 2021 for the various stores in the building 2010 may be displayed.
  • 21A to 21C are exemplary views displaying detailed information on each floor of a building based on the strength of a pressure input when the object is a building, according to an exemplary embodiment.
  • an electronic device eg, the processor 120
  • may store detailed information eg, a store located in each floor
  • the interior 2120, 2130, 2140 of each layer may be displayed on a display (eg, display 160 of FIG. 1).
  • the detailed information of the building may include various pieces of information (eg, steel structure, store name, etc.) for each floor.
  • the interiors 2120, 2130, and 2140 may include internal screens of the building 2110, and the internal screens are authenticated by a server (eg, the server 106 of FIG. 1), and then the electronic device. May be provided at 101.
  • a server eg, the server 106 of FIG. 1
  • the electronic device eg, the processor 120
  • the floor eg, the second pressure input 2111
  • the interior 2120 eg, steel structure or interior screen of the first floor
  • the detailed information 2121 eg, a store name entered on the first floor
  • the electronic device when the second pressure input 2112 is input to a building, the electronic device (eg, the processor 120) causes the floor (eg, the second pressure input 2112) to correspond to the second pressure input 2112.
  • the interior 2130 for example, the steel structure or the interior screen of the second floor
  • the detailed information 2131 for example, the name of a store entered on the second floor
  • the electronic device when the third pressure input 2113 is input to a building, the electronic device (eg, the processor 120) may enter a layer corresponding to the third pressure input 2113.
  • an interior 2140 eg, a steel structure or an interior screen of a third floor
  • details 2132 eg, a store name entered on the third floor
  • an intensity of the second pressure input 2112 is greater than an intensity of the first pressure input 2111
  • an intensity of the third pressure input 2113 is greater than an intensity of the second pressure input 2112.
  • the strength of the second pressure input 2112 may not be greater than the strength of the first pressure input 2111
  • the strength of the third pressure input 2113 is the second pressure input 2112. May not be greater than). Movement between each floor may be performed by the strength or location of the pressure input following the building 2110 selection.
  • 22A illustrates an example of displaying detailed information about each floor of a building when the object is a building, according to an exemplary embodiment.
  • an electronic device may display an internal or steel structure display (eg, the display 160 of FIG. 1) for each floor of a building in response to an intensity of a pressure input. ) Can be displayed.
  • the electronic device 101 requests detailed information from a server (eg, the server 106 of FIG. 1) and undergoes an authentication process by the server (eg, the server 106 of FIG. 1), It may be provided to the electronic device 101.
  • a server eg, the server 106 of FIG. 1
  • Such detailed information such as steel structure, may be provided to the building owner of the building, the manager of the building, or an employee working on the building.
  • the electronic device 101 may enter the server (eg, the server 106 of FIG. 1). )), And the server (for example, the server 106 of FIG. 1) may receive the identifier.
  • the server for example, the server 106 of FIG. 1) performs an authentication process to determine whether a user corresponding to the received identifier can obtain detailed information about the building, and provides the detailed information to the user whose authentication is completed. Can provide.
  • the indication of the interior or steel structure can be performed by the position or intensity of the input of the gesture following the pressure input of selecting the building.
  • the electronic device 101 may display detailed information of the corresponding position. For example, when the first pressure input is input, the wall or the pillar may be displayed in a perspective view, and when the second pressure input is input, the detailed arrangement structure may be enlarged and displayed.
  • FIG. 22B illustrates an example of displaying a preset function based on a pressure input on a refrigerator when the object is a refrigerator
  • FIG. 22C illustrates a pressure input on a refrigerator when an object according to an embodiment is a refrigerator.
  • the refrigerator 2210 may communicate with other household appliances (eg, a washing machine, a dishwasher, an electronic lens, etc.).
  • the electronic device 101 displays a screen 2212 (eg, a dash board) indicating at least one preset function related to the refrigerator 2210. ) Can be displayed.
  • a screen 2212 indicating at least one function such as temperature control of the refrigerator 2210 and power ON / OFF control may be displayed.
  • the electronic device 101 may display an internal screen 2213 of the refrigerator 2210.
  • the internal screen 2213 may display information (for example, an expiration date, a manufacturing date, a manufacturing company, etc.) of foods stored in the refrigerator 2210. Information about these foods may be input in advance by the user or obtained from the server 106.
  • 22B and 22C describe only a refrigerator, this is only an embodiment, and the present invention may be applied to lighting, a washing machine, a boiler, and an air conditioner in addition to the refrigerator.
  • the operation of the electronic device 101 may be controlled according to the presence, the number, and the intensity of an input (for example, a squeeze) of pressing a specific button of the electronic device 101.
  • an input for example, a squeeze
  • the electronic device 101 outputs a query to the user
  • the electronic device 101 detects an input for squeezing a specific button (eg, a power button provided on the side) once
  • the user positively acknowledges it. If it is determined that the answer is received and an input of squeezing twice is detected, the user may determine that the answer is negative.
  • various embodiments of the present disclosure may be applied to an electronic device not only by a pressure input input on an object in an image displayed on the touch screen display 930 but also by pressing a button formed on one side of the electronic device 101. 101 can be controlled.
  • the present disclosure provides a method of controlling an operation according to a level of a pressure input in an electronic device, the method comprising: displaying at least one object on a user interface on a touch screen display of the electronic device; Detecting a pressure level with respect to the user input at or around the object, and selecting one of a plurality of operations associated with the at least one object based on at least a portion of the detected pressure level.
  • the present disclosure may select one or more objects based on an operation of displaying a plurality of objects adjacent to each other on the touch screen display, and at least a portion of the position of the user input and the detected pressure level. .
  • an operation of determining a plurality of objects corresponding to the detected pressure level and selecting one object among the determined plurality of objects may be performed.
  • an object having a large depth information may be selected among the plurality of determined objects in proportion to the detected pressure level.
  • the present invention may perform pairing between the determined plurality of objects.
  • the present invention may perform pairing between the selected object and the electronic device.
  • the present disclosure may determine a property of at least one of the selected object or the non-selected object among the determined plurality of objects.
  • the image may be displayed by changing the image based on the determined attribute.
  • the present invention may enlarge and display a size of the selected object at a predetermined magnification, change and display a color of the selected object, transparently display a portion except for a boundary of the unselected object, or At least one of the non-selected objects may be semi-transparently displayed.
  • one object of the plurality of objects may be selected faster than when the user input is one.
  • a menu including at least one function related to the selected object may be displayed corresponding to the position where the selected object is displayed.
  • the additional information corresponding to the selected object may be displayed to correspond to the position where the selected object is displayed.
  • the present invention may request additional information corresponding to the selected object from a server and receive the additional information in response to the request.
  • the present invention when a request for information for authenticating the electronic device is received from the server, the present invention transmits an identifier of the electronic device to the server in response to the request, and when the authentication is completed, the The additional information may be received from a server.
  • module includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, components, or circuits.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) according to various embodiments may be stored on a computer-readable storage medium (eg, memory 130) in the form of a program module. It can be implemented as.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. CD-ROM, DVD, magnetic-optical media (e.g. floppy disks), internal memory, etc.
  • Instructions may include code generated by a compiler or code executable by an interpreter Modules or program modules according to various embodiments may include at least one or more of the above-described components. In some embodiments, operations performed by a module, a program module, or another component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least, or may include other components. Some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 다양한 실시 예는 전자 장치에 있어서, 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이, 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로, 상기 하우징 내부에 배치된 무선 통신 회로, 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서, 및 상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며, 상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다. 다른 실시 예들도 가능할 수 있다.

Description

압력 입력을 제어하는 전자 장치 및 방법
본 발명의 다양한 실시 예는 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법에 관한 것이다.
최근 전자 장치에서 제공하는 다양한 서비스 및 부가 기능들은 점차 확대되고 있다. 이러한 전자 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 통신 서비스 제공자 또는 전자 장치 제조사들은 보다 다양한 기능들을 제공하고 다른 업체와의 차별화를 위해 전자 장치를 경쟁적으로 개발하고 있다.
이러한 기술 발달에 힘입어, 전자 장치는, 다양한 어플리케이션 프로그램들을 통하여, 예를 들어, 증강 현실(augmented reality), 3D(dimension) 지도와 같은 다양한 서비스들을 제공하고 있다.
전자 장치는 화면을 통하여 많은 정보를 제공하기 위해 화면 상에 복수의 객체들을 중첩시켜 표시할 수 있다. 그러나, 예를 들어, 증강 현실(augmented reality), 3D(dimension) 지도에서 객체들이 중첩되어 표시되는 경우, 중첩된 객체들을 정교하고 세밀하게선택 또는 제어할 수 없으며, 객체에 대한 정보를 빠르게 획득할 수 없다.
본 발명의 다양한 실시 예는 압력 레벨에 기반한 입력을 감지하여, 객체에 대한 다양한 정보 또는 기능을 제공할 수 있다.
본 발명의 다양한 실시 예는 압력 입력의 레벨에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법에 관한 것이다.
본 발명의 다양한 실시 예는 전자 장치에 있어서, 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이, 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로, 상기 하우징 내부에 배치된 무선 통신 회로, 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서, 및 상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며, 상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다.
본 발명의 다양한 실시 예는 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예는 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 명령어를 포함하는 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 제1 명령 셋, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 제2 명령 셋, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 제3 명령 셋을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, 압력 레벨에 따라 전자 장치의 동작을 다양하게 제어함으로써, 중첩되게 표시된 객체들을 정확히 선택하거나 또는 제어할 수 있으며, 선택된 객체에 대한 정보를 빠르게 획득하여 표시함으로써, 사용자에게 편의성을 제공할 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치가 기재된다.
도 2는 다양한 실시 예에 따른 전자 장치의 블럭도이다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블럭도이다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성 예를 나타내는 도면이다.
도 5 및 6은 다양한 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다.
도 7a는 다양한 실시 예에 따른 압력 센서에서 정전 방식을 나타낸 예시도이다.
도 7b는 다양한 실시 예에 따른 압력 센서에서 유도 방식을 나타낸 예시도이다.
도 7c는 다양한 실시 예에 따른 압력 센서에서 스트레인 게이지 방식을 나타낸 예시도이다.
도 7d는 다양한 실시 예에 따른 압력 센서에서 피에조 방식을 나타낸 예시도이다.
도 8a는 다양한 실시 예에 따른 압력 센서에서 셀프 캐패시턴스 방식을 나타낸 사시도이다.
도 8b는 다양한 실시 예에 따른 압력 센서에서 뮤추얼 캐패시턴스 방식을 나타낸 사시도이다.
도 9는 다양한 실시 예에 따른 객체를 표시하는 영상에서 압력 입력을 감지하여 동작을 제어하는 전자 장치의 블록도이다.
도 10은 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 과정을 나타낸 순서도이다.
도 11은 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 나타낸 순서도이다.
도 12a 내지 12h는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 13a 내지 13h는 다양한 실시 예에 따른 하나 이상의 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 14는 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 나타낸 순서도이다.
도 15a 내지 15f는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 16a 내지 16d는 다양한 실시 예에 따른 압력 입력에 따른 객체를 선택한 상태에서 메뉴의 기능을 선택하는 다양한 예를 나타낸 도면이다.
도 17a 내지 17f는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 부가 정보를 표시하는 예시도이다.
도 18은 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 나타낸 순서도이다.
도 19는 일 실시 예에 따른 복수의 객체를 포함하는 영상에서 압력 입력에 기반한 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 20은 일 실시 예에 따른 객체가 건물인 경우, 압력 입력에 기반하여 건물의 세부 정보를 표시한 예시도이다.
도 21a 내지 21c는 일 실시 예에 따른 객체가 건물인 경우, 압력 입력의 세기에 기반하여 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 22a는 일 실시 예에 따른 객체가 건물인 경우, 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 22b는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 미리 설정된 기능을 표시하는 예시도이다.
도 22c는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 냉장고 내의 화면을 표시하는 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1을 참조하여, 다양한 실시예에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다. 버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서(120)는, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(API)(145), 또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(wireless broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 도 1의 element 164로 예시된 바와 같이, 예를 들면, WiFi(wireless fidelity), LiFi(light fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(ZigBee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), beidou navigation satellite system(이하 "Beidou") 또는 Galileo, the european global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치(201)의 블록도이다.
전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(예: AP)(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다. 프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)(예: 통신 인터페이스(170))와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)를 포함할 수 있다. 셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 또는 태양 전지를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치(201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다.
한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101))에 관련된 자원을 제어하는 운영 체제 또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), (API(360)(예: API(145)), 또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330) 는 런타임 라이브러리(335), 어플리케이션 매니저(341), 윈도우 매니저(342), 멀티미디어 매니저(343), 리소스 매니저(344), 파워 매니저(345), 데이터베이스 매니저(346), 패키지 매니저(347), 커넥티비티 매니저(348), 노티피케이션 매니저(349), 로케이션 매니저(350), 그래픽 매니저(351), 또는 시큐리티 매니저(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저(345)는, 예를 들면, 배터리의 용량, 온도, 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치의 동작에 필요한 전력 정보를 결정 또는 제공할 수 있다. 한 실시예에 따르면, 파워 매니저(345)는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384), 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치의 구성 예를 나타내는 도면이다.
도 4를 참조하면, 다양한 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 입력 장치(410), 메모리(130) 및 출력 장치(420)를 포함할 수 있다. 또한, 전자 장치(101)는 통신 모듈(도시되지 않음)을 더 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)의 출력 장치(420)는 터치스크린 디스플레이(422), 디스플레이 드라이버 IC(421), 및 햅틱 모듈(423)을 포함하고, 입력 장치(410)는 터치 센서(411), 터치 센서 IC(412), 압력 센서(413), 및 압력 센서 IC(414)를 포함할 수 있다. 도 4의 각각의 구성요소에서 도 1 내지 도 3을 참조하여 설명된 구성에 대한 중복 설명은 생략될 수 있다.
다양한 실시 예에 따르면, 터치스크린 디스플레이(422)는 터치스크린 디스플레이 드라이버(421)로부터 공급된 영상 구동 신호를 수신할 수 있다. 터치스크린 디스플레이(422)는 상기 영상 구동 신호에 기반하여 다양한 컨텐트 및/또는 아이템(예: 텍스트, 이미지 (객체), 비디오, 아이콘, 기능 객체, 또는 심볼 등)을 표시할 수 있다. 본 발명에 있어서, 터치스크린 디스플레이(422)는 터치 센서(411), 및/또는 압력 센서(413)와 중첩적으로 결합될 수 있으며(예: 도 2 참조), 단순히 "디스플레이 패널"로 언급될 수도 있다. 터치스크린 디스플레이(422)는 저전력 모드로 구동될 수도 있다.
다양한 실시 예에 따르면, 디스플레이 드라이버 IC(421)는 프로세서(120)로부터 수신한 영상 정보에 대응하는 영상 구동 신호를 미리 설정된 프레임률(frame rate)로 터치스크린 디스플레이(422)에 공급할 수 있다. 디스플레이 드라이버 IC(421)는 터치스크린 디스플레이(422)를 저전력 모드로 구동할 수도 있다. 도시하지는 않았으나, 일 실시 예에 따르면, 디스플레이 드라이버 IC(421)는 그래픽 램, 인터페이스 모듈, 이미지 프로세싱 유닛(image processing unit), 멀티플렉서(multiplexer), 디스플레이 타이밍 컨트롤러(display timing controller; T-con), 소스 드라이버, 게이트 드라이버, 및/또는 발진기(oscillator) 등을 포함할 수 있다.
다양한 실시 예에 따르면, 터치 센서(411)에서는 사용자로부터의 터치에 의해 지정된 물리량(예: 전압, 광량, 저항, 전하량, 커패시턴스 등)이 변화할 수 있다. 일 실시 예에 따르면, 터치 센서(411)는 터치스크린 디스플레이(422)와 중첩적으로 배치될 수 있다.
다양한 실시 예에 따르면, 터치 센서 IC(412)는 터치 센서(411)에서의 물리량의 변화를 감지하고, 물리량(예: 전압, 저항, 커패시턴스 등)의 변화에 기반하여 터치가 이루어진 위치(예: X, Y 좌표)를 산출할 수 있다. 산출된 위치(예: X, Y 좌표)는 프로세서(120)에 제공(혹은 보고(report))될 수 있다. 예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 터치스크린 디스플레이의 커버 글래스(예: 도 5의 501 및 도 6의 601)에 접촉하면, 터치 센서(411)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수 있다. 다른 예를 들어, 사용자의 신체 일부(예: 손가락) 또는 전자 펜 등이 터치스크린 디스플레이의 커버 글래스(예: 도 5의 501 및 도 6의 601)에 비접촉(예: 근접 터치 또는 호버링)하면, 터치 센서(411)에 포함된 송신단(Tx) 및/또는 수신단(Rx) 사이의 커플링 전압이 변화할 수도 있다. 예를 들어, 커플링 전압의 변화는 터치 센서 IC(412)에 의해 감지될 수 있고, 터치 센서 IC(412)는 터치가 이루어진 위치(예: X, Y 좌표)를 프로세서(120)로 전달할 수 있다. 프로세서(120)는 상기 위치(예: X, Y 좌표)에 관한 데이터를 사용자 입력에 관한 이벤트로서 획득할 수 있다.
다양한 실시 예에 따르면, 터치 센서 IC(412)는 터치 IC, 터치 스크린 IC, 터치 컨트롤러, 또는 터치 스크린 컨트롤러 IC 등으로 언급될 수 있다. 일 실시 예에 따르면, 터치 센서 IC(412)가 포함되지 않은 전자 장치에서는, 프로세서(120)가 터치 센서 IC(412)의 기능을 수행할 수도 있다. 일 실시 예에 따르면, 터치 센서 IC(412)와 프로세서(120)는 단일의 구성(예: one-chip)으로 구현될 수도 있다.
다양한 실시 예에 따르면, 압력 센서(413)에서는, 외부 물체(예: 손가락, 전자 펜)에 의한 압력(혹은, 힘)이 감지될 수 있다. 일 실시 예에 따르면, 압력 센서(413)에서는, 터치에 의해 송신단(Tx) 및 수신단(Rx) 사이의 물리량(예: 정전용량)이 변화할 수 있다. 상기 압력 센서(413)는 전자 장치(101)의 제1 플레이트 및 제2 플레이트 사이에 배치되고, 상기 디스플레이(160)의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로를 포함할 수 있다.
다양한 실시 예에 따르면, 압력 센서 IC(414)는 압력 센서(413)에서의 물리량(예: 정전용량 등)의 변화를 감지하고, 물리량의 변화에 기반하여 사용자의 터치에 의해 가해진 압력(Z)을 산출할 수 있다. 압력 센서 IC(414)는 압력 센서(413)에서 단위 시간 동안 변화되는 압력 세기의 변화(속도), 압력이 가해지는 방향 등을 산출할 수 있다. 그리고, 압력 센서 IC(414)는 압력(Z), 압력의 강도, 속도, 방향, 그리고 터치가 이루어진 위치(X,Y)를 프로세서(120)에 제공할 수 있다.
다양한 실시 예에 따르면, 압력 센서 IC(414)는 포스 터치 컨트롤러, 포스 센서 IC, 또는 압력 패널 IC 등으로 언급될 수 있다. 또한, 다양한 실시 예에 따르면, 압력 센서 IC(414)는 터치 센서 IC(412)와 함께 단일의 구성(예: one-chip)으로 구현될 수도 있다.
다양한 실시 예에 따르면, 햅틱 모듈(예: 햅틱 액추에이터)(423)은 프로세서(120)의 제어 명령에 따라서 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 다른 예를 들면, 햅틱 모듈(예: 햅틱 액추에이터)(423)은 보다 빠른 피드백 제공을 위해, 프로세서(120)의 개입 없이 터치 센서 IC(412) 또는 압력 센서 IC(414)로부터 직접 터치 또는 압력 이벤트를 전달 받아서, 사용자에게 촉각적 피드백(예: 진동)을 제공할 수 있다. 예를 들어, 햅틱 모듈(423)은, 사용자로부터 터치 입력(예: 터치, 호버링, 포스 터치 포함)이 수신될 때, 사용자에게 촉각적 피드백을 제공할 수 있다.
다양한 실시 예에 따르면, 메모리(130)는 전자 장치(110)에 포함된 구성요소의 동작과 연관된 명령 또는 데이터를 저장할 수 있다. 예를 들어, 메모리(130)는, 복수의 아이템을 터치스크린 디스플레이에 표시하도록 설정된 사용자 인터페이스를 포함하는 적어도 하나의 어플리케이션 프로그램을 저장할 수 있다. 또한, 예를 들어, 메모리(130)는, 실행 시에, 프로세서(120)가 본 문서에 기재된 다양한 동작을 수행하도록 하는 명령어(instructions)를 저장할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는, 예를 들어, 전자 장치(101)에 포함된 구성 요소들(411-414 및 421-423)과 전기적으로 연결될 수 있고, 전자 장치(101)에 포함된 구성 요소들(411-414 및 421-423)의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있다. 예를 들어, 프로세서(120)는, 터치 센서 IC(412)로부터 획득된 터치 위치(예: X, Y 좌표)와, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)을 동기화할 수 있다. 프로세서(120)는, 예를 들어, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)이 지정된 압력(세기) 이상인 경우, 디스플레이 드라이버 IC(421)에 상기 지정된 압력(세기)에 대응하는 영상 효과를 표시하도록 하는 정보를 전송할 수 있다. 프로세서(120)는, 예를 들어, 압력 센서 IC(414)로부터 획득된 터치 압력(세기)이 지정된 압력(세기) 이상인 경우, 햅틱 모듈(423)에 지정된 압력(세기)에 대응하는 햅틱 효과를 발생시키도록 하는 정보를 전송할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)에 사용자 인터페이스를 표시하는 어플리케이션 프로그램(혹은, 단순히 "어플리케이션"으로 언급될 수 있음)을 런칭(launching) (혹은, 실행)할 수 있다. 프로세서(120)는 어플리케이션의 런칭에 응답하여 터치스크린 디스플레이(422)에 표시된 사용자 인터페이스에 복수의 아이템의 배열(array)을 표시할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치 센서(411)로부터 생성된 제1 데이터(터치의 위치 좌표(X,Y)를 포함하는 데이터)를 수신하고, 압력 센서(413)로부터 생성된 제2 데이터(터치의 압력(Z)을 포함하는 데이터)를 수신할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)의 적어도 일부를 활성화할 수 있다. 또는, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)를 적어도 부분적으로 활성화할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)가 어웨이크(awake) 상태에 있는 경우뿐만 아니라 터치스크린 디스플레이(422) 등의 구성요소가 턴 오프된 대기 상태에 있는 경우에도, 압력 센서(413)의 전부 또는 일부를 활성화할 수 있다. 한편, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 또는 전자 장치(101)가 대기 상태에 있는 동안 터치 센서(411)를 적어도 부분적으로 비활성화할 수도 있다. 또는 프로세서(120)는 대기 상태에서의 소비 전력을 감소시키고, 터치에 의한 오동작을 방지하기 위해 터치 센서(411)를 적어도 부분적으로 비활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 지정된 조건이 달성되면 압력 센서(413)의 적어도 일부를 활성화할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 후 지정된 시간 이후부터 또는 지정된 시간까지 압력 센서(413)를 활성화할 수 있다. 다른 예를 들면, 프로세서(120)는 자이로 센서 또는 근접 센서 등에 의해 사용자의 사용이 감지되면 압력 센서(413)를 활성화할 수 있다. 또 다른 예를 들면, 프로세서(120)는 지정된 시간 구간 동안, 온도가 지정된 값보다 낮은 경우, 터치 패널을 통해 터치가 감지된 경우, 전자 장치(101)가 다른 외부 장치와 근접한 경우, 또는 전자 장치(101) 내에 탑재된 스타일러스 펜이 전자 장치(101)로부터 꺼내진 경우 압력 센서(413)를 활성화할 수도 있다. 또 다른 예를 들면, 프로세서(120)는 대기 상태에서 동작을 수행하는 어플리케이션(예: 음악 플레이어)이 실행되는 동안 압력 센서(413)를 활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 지정된 조건 달성되면 압력 센서(413)의 적어도 일부를 비활성화할 수도 있다. 예를 들어, 프로세서(120)는 근접 센서, 조도 센서, 가속도 센서 및/또는 자이로 센서 등을 이용하여 전자 장치(101)가 주머니에 놓인 경우, 가방 안에 들어간 경우, 또는 뒤집힌 경우 압력 센서(413)를 비활성화할 수 있다. 다른 예를 들면, 프로세서(120)는 전자 장치(101)가 외부 장치와 연결된 경우(예를 들어, 데스크 탑과 연결된 경우) 압력 센서(413)를 비활성화할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413) 중 지정된 영역만 활성화할 수도 있다. 예를 들어, 프로세서(120)는 대기 상태에서의 소비 전력을 감소시키기 위해 압력 센서(413) 중 지정된 일부 영역(예를 들어, 압력 센서(413)의 중앙 하단 영역)을 활성화할 수 있다. 또는, 압력 센서(413)가 두 개 이상의 센서들의 집합으로 구현된 경우, 프로세서(120)는 두 개 이상의 센서들 중 일부를 활성화할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력 센서(413)를 활성화하거나 인에이블함으로써, 전자 장치(101)가 대기 상태에 있는 동안 압력 센서(413)를 이용하여 압력을 감지할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)가 턴 오프된 동안 압력 센서(413)로부터 터치스크린 디스플레이(422)에 대한 외부 물체에 의한 압력과 관련된 데이터를 수신할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력과 관련된 데이터에 기초하여 압력이 선택된 레벨보다 크거나 같은지 여부를 결정하고, 압력이 선택된 레벨보다 크거나 같은 것으로 결정되면 터치스크린 디스플레이(422)를 전적으로(fully) 턴 온하지 않고 기능을 수행할 수 있다. 예를 들어, 프로세서(120)는 지정된 레벨보다 크기가 큰 압력이 감지되면 기능을 수행할 수 있다. 이 경우, 프로세서(120)는 터치스크린 디스플레이(422)의 일부를 턴 온할 수 있다. 프로세서(120)는 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 및 지속 시간 중 적어도 하나에 기초하여 아래와 같이 수행할 기능을 결정할 수 있다. 예를 들어, 프로세서(120)는 터치스크린 디스플레이(422)의 하단 중앙에 대응하는 위치에서 압력이 감지되면 전자 장치(101)를 웨이크 업할 수도 있다. 프로세서(120)는 터치스크린 디스플레이(422)의 좌단 상부에 대응하는 위치에 압력이 감지되면 전자 장치(101)의 스피커의 볼륨을 제어할 수도 있다. 프로세서(120)는 이어잭 또는 USB 포트 등과 같은 하드웨어에 인접한 위치에 압력이 감지되면 인접한 하드웨어와 관련된 기능을 수행할 수도 있다. 프로세서(120)는 지정된 강도 이상의 압력이 감지되면 전자 장치(101)가 긴급 모드로 진입하도록 전자 장치(101)를 제어할 수도 있다. 프로세서(120)는 동시에 압력이 감지된 지점의 개수에 따라 서로 상이한 기능을 수행할 수도 있다.
도 4에서는 압력 센서(413)가 압력(Z)에 대한 데이터를 프로세서(120)로 제공하는 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(413)가 두 개 이상의 센서들의 집합으로 구현된 경우, 프로세서(120)는 두 개 이상의 센서들 중 정전 용량이 변화된 센서의 위치에 기초하여 압력이 작용된 위치를 감지할 수 있다. 예를 들어, 압력 센서(413)가 3x2의 어레이로 배열된 6개의 센서들의 집합으로 구현된 경우, 프로세서(120)는 여섯 개의 센서들 각각의 정전 용량의 변화량 및 6개의 센서들 각각이 배치된 위치에 기초하여 압력이 작용된 위치를 판단할 수 있다. 즉, 프로세서(120)는 터치 센서(411)를 이용하지 않고 압력이 작용된 위치를 판단할 수도 있다. 프로세서(120)는 압력 센서(413)에 의해 압력이 감지되면 터치 센서(411)를 활성화함으로써, 터치 센서(411)를 이용하여 압력이 작용된 위치를 감지할 수도 있다.
다양한 실시 예에 따르면, 프로세서(120)는 압력 센서(413)에서 터치에 의한 제1 레벨의 압력이 감지되면, 제1 기능을 수행할 수 있다. 프로세서(120)는 제1 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제1 기능을 결정하고, 결정된 제1 기능을 수행할 수 있다. 제1 레벨의 압력은 지정된 범위의 강도의 압력을 의미할 수 있다.
다양한 실시 예에 따르면, 프로세서(120)는 제1 기능의 수행 중에 압력 센서(413)에서 터치에 의한 제2 레벨의 압력이 감지되면, 제1 기능과 관련된 제2 기능을 수행할 수 있다. 프로세서(120)는 제2 레벨의 압력이 감지된 위치, 강도, 지점의 개수, 속도, 방향 또는 지속 시간 중 적어도 하나에 기초하여 제2 기능을 결정할 수 있다. 제2 레벨의 입력은 지정된 범위의 강도의 압력을 의미할 수 있다. 제2 레벨의 압력의 강도는 제1 레벨의 압력의 강도보다 클 수도 있고 작을 수도 있다. 또한, 제2 레벨의 압력의 강도와 제1 레벨의 압력의 강도는 동일할 수도 있다. 프로세서(120)는 제1 기능의 수행 중에 압력이 감지된 경우 수행 중인 제1 기능과 관련된 제2 기능을 수행함으로써, 1차원적인 입력인 압력에 의해 다양한 기능을 실행할 수 있다. 또한, 전자 장치(101)에 대한 한 번의 터치 후 전자 장치(101)를 누르는 압력의 크기에 따라 수행 중인 기능과 연관된 다른 기능을 실행함으로써, 입력의 편의성이 증대될 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)는 롱 프레스 입력과 압력 입력을 구분하는데 있어서, 적어도 하나의 센서(예: 가속도 센서, 자이로 센서 등)에서 측정된 값을 이용할 수 있다. 또한, 전자 장치(101)는 롱 프레스 입력과 압력 입력을 구분하는데 있어서, 지문, 카메라, 홍채를 이용할 수 있다.
상기 설명된 프로세서(120)의 동작은 일례로서, 전술한 기재에 제한되지 않는다. 예컨대, 본 문서의 다른 부분에 기재된 프로세서의 동작도 상기 프로세서(460)의 동작으로 이해될 수 있다. 또한, 본 문서에서, "전자 장치"의 동작으로 기재된 동작들 중 적어도 일부는 프로세서(120)의 동작으로 이해될 수도 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징, 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이(160), 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로(413), 상기 하우징 내부에 배치된 무선 통신 회로(960), 상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이(160), 상기 압력 감지 회로(413) 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서(120), 및 상기 하우징 내부에 배치되며, 상기 프로세서(120)와 전기적으로 연결되는 메모리(130)를 포함하며, 상기 메모리(130)는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가, 상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고, 상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고, 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하고, 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
도 5 및 6은 다양한 실시 예에 따른 전자 장치에 포함된 구성들이 적층된 구조를 나타낸다.
전자 장치(예, 도 1의 전자 장치(100))는 제1 방향으로 향하는 제1 표면 및 상기 제1 방향과 반대 방향을 향하는 제2 표면, 상기 제1 표면과 상기 제2 표면 사이의 공간을 둘러싸는 측면을 포함하는 하우징 및 상기 제1 표면과 상기 제2 표면 사이에서 상기 제1 표면을 통해 노출되는 터치스크린 디스플레이를 포함할 수 있다.
도 5 및 6에 도시된 적층 구조는 도 1에 도시된 터치스크린 디스플레이(160)에 적용될 수 있다. 따라서, 도 5 및 6에 도시된 구성들은 도 1의 전자 장치(101)의 전면(제1 면)과 후면(제2 면) 사이에 배치될 수 있다.
일 실시 예에 따른 터치스크린 디스플레이의 적층 구조에 있어서, 커버 글래스(501, 601)는 터치스크린 디스플레이(503)에 의해 생성된 빛을 투과시킬 수 있다. 커버 글래스(501, 601) 상에 사용자는 신체의 일부(예: 손가락)를 접촉함으로써 "터치"(전자 펜을 이용한 접촉을 포함함)을 수행할 수 있다. 커버 글래스(501, 601)는, 예를 들어, 강화 유리, 강화 플라스틱, 가요성(flexible) 고분자 소재 등으로 형성되어, 터치스크린 디스플레이 및 터치스크린 디스플레이가 탑재된 전자 장치를 외부 충격으로부터 보호할 수 있다. 일 실시 예에 따르면, 커버 글래스(501, 601)는 글래스 윈도우(glass window) 또는 커버 윈도우(cover window)로도 언급될 수 있다.
터치 센서(502, 602)에서는, 외부 물체(예: 사용자의 손가락 또는 전자 펜)의 접촉에 의해 다양한 물리량(예: 전압, 광량, 저항, 전하량 또는 커패시턴스 등)이 변화할 수 있다. 터치 센서(502, 602)는 물리량의 변화에 기반하여 터치스크린 디스플레이 상(예: 커버 글래스(501, 601)의 표면 상)의 외부 물체에 의한 터치의 적어도 하나의 위치를 검출할 수 있다. 예를 들어, 터치 센서(502, 602)는 정전식 터치 센서, 감압식 터치 센서, 적외선 방식 터치 센서, 저항막 방식 터치 센서 또는 피에조(piezo) 터치 센서 등을 포함할 수 있다. 일 실시 예에 따르면, 터치 센서(502, 602)는 구현 형태에 따라서 터치 패널 등 다양한 명칭으로 언급될 수 있다.
터치스크린 디스플레이(503, 603) 적어도 하나의 콘텐트 혹은 아이템(item)(예: 텍스트, 이미지, 비디오, 아이콘, 위젯, 또는 심볼 등)를 출력할 수 있다. 터치스크린 디스플레이(503, 603)은, 예를 들어, 액정 터치스크린 디스플레이(LCD) 패널, 발광 다이오드(LED) 터치스크린 디스플레이 패널, 유기 발광 다이오드(OLED) 터치스크린 디스플레이 패널, 마이크로 전자기계 시스템(MEMS) 터치스크린 디스플레이 패널, 또는 전자 종이 터치스크린 디스플레이 패널을 포함할 수 있다.
일 실시 예에 따르면, 터치스크린 디스플레이(503, 603)는 터치 센서(또는 터치 패널)(502, 602)와 일체로 구현될 수 있다. 이 경우, 터치스크린 디스플레이(503, 603)는 터치스크린 패널(TSP: touch screen panel), 혹은 터치스크린 터치스크린 디스플레이 패널로도 언급될 수 있다.
압력 센서(413)는, 터치스크린 디스플레이(예: 커버 글래스(501, 601)의 표면)에 대한 외부 물체(예: 사용자의 손가락, 전자 펜)에 의한 압력(혹은, 힘)을 검출할 수 있다. 일 실시 예에 따르면, 압력 센서(413)는 제1 전극(504, 604), 제2 전극(506, 606), 및 유전층(dielectric layer)(505, 605)을 포함할 수 있다. 예를 들어, 압력 센서(413)는 터치의 압력에 의해 변화하는 제1 전극(504, 604) 및 제2 전극(506, 606) 사이의 정전 용량에 기초하여 터치의 압력을 감지할 수 있다. 도 5 및 6에서는 압력 센서(413)가 단일의 센서로 구현된 것으로 도시되었으나, 이에 제한되지 않고, 압력 센서(413)는 두 개 이상의 센서들의 집합으로 구현될 수도 있다. 예를 들어, 압력 센서(413)는 3x2의 어레이로 배열된 여섯 개의 센서들의 집합으로 구현될 수도 있다.
햅틱 모듈(예: 햅틱 액추에이터(haptic actuator))(507, 607)은 외부 물체(예: 사용자의 손가락 또는 전자 펜 등)에 의한 터치(호버링(hovering) 및/또는 "포스 터치" 포함)가 수신될 때, 사용자에게 촉각적 피드백(haptic feedback)(예: 진동)을 제공할 수 있다. 이를 위해 햅틱 모듈(507, 607)은 압전부재(Piezoelectric member) 및/또는 진동판 등을 포함할 수도 있다.
앞서 설명한 도 5 및 6의 터치스크린 디스플레이의 적층 구조는 일례로서, 다양한 변형이 가능하다. 예를 들면, 터치 센서(502, 602)는 커버 글래스(501, 601)의 배면에 직접 형성되거나(이른바, 커버 글래스 일체형 터치 패널), 별도로 제작되어 커버 글래스(501, 601)와 터치스크린 디스플레이(503, 603) 사이에 삽입되거나(이른바 애드 온(add-on) 터치 패널), 터치스크린 디스플레이(503, 603) 위에 직접 형성되거나(이른바, 온-셀(on-cell) 터치 패널), 터치스크린 디스플레이(503, 603) 내부에 포함될 수 있다(이른바, 인-셀(in-cell) 터치 패널). 또한, 다양한 실시 예에 따르면, 상술한 적층 구조에는 불투명 또는 투명하게 구현된 에어리어(area) 방식 지문 센서가 추가적으로 포함될 수도 있다.
도 7a는 다양한 실시 예에 따른 압력 센서에서 정전 방식을 나타낸 예시도이고, 도 7b는 다양한 실시 예에 따른 압력 센서에서 유도 방식을 나타낸 예시도이고, 도 7c는 다양한 실시 예에 따른 압력 센서에서 스트레인 게이지 방식을 나타낸 예시도이고, 도 7d는 다양한 실시 예에 따른 압력 센서에서 피에조 방식을 나타낸 예시도이다.
도 7a를 참조하면, 정전(capacitive) 방식의 압력 센서는 사용자의 압력에 따라 두 전극 사이에 형성된 캐패시턴스가 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 캐패시턴스는 사용자의 압력에 의해 두 전극 사이의 거리가 가까워짐에 따라 증가할 수 있다. 이러한 정전 방식의 압력 센서는 복수개의 전극들(예: 730-1, 730-2,…730-n)로 이루어진 제1 전극층(730), 상기 반복된 복수의 전극들에 대응하는 영역 전체에 걸쳐 하나로 연장된 제2 전극층(710), 상기 제1 전극층과 상기 제2 전극층 사이에 배치왼 유전층(720)을 포함할 수 있다. 상기 복수개의 전극들(예: 730-1, 730-2,…730-n)에서 각각의 라인들(730-1, 730-1)은 전압 또는 정전용량 측정기(701)에 연결되며, 정전용량 측정기(701)는 사용자의 압력 입력을 감지하고, 감지된 값을 측정할 수 있다.
도 7b를 참조하면, 유도(inductive) 방식의 압력 센서는 사용자의 압력에 따라 인덕터(예: 코일)(740-1, 740-2,…740-n)에 유도된 전류가 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 전류는 사용자의 압력에 의해 하우징 내부에 배치된 인덕터(예: 코일)에 도전체(예: 메탈 하우징, 사용자의 손가락 등)가 가까워짐 따라 증가할 수 있다. 그리고, 인덕터들은 전류 측정기(702)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다.
도 7c를 참조하면, 스트레인 게이지(strain gauge) 방식의 압력 센서는 사용자의 압력에 따라 도전체(750-1, 750-2,…750-n)의 저항이 변화하는 것에 기반하여 압력을 감지할 수 있다. 상기 저항은 사용자의 압력에 의해 상기 도전체의 길이가 증가함에 따라 상기 도전체의 단면적이 감소함으로써 증가할 수 있다. 그리고, 도전체들은 전류 측정기(703)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다. 그리고 도전체들의 배선은 휘트스톤 브릿치 형태로 구성될 수 있다.
도 7d를 참조하면, 피에조(piezo) 방식의 압력 센서는 사용자의 압력에 따라 피에조 물질(760-1, 760-2,…760-n)에서 발생하는 전류에 기반하여 압력을 감지할 수 있다. 상기 전류는 사용자의 압력에 의해 상기 피에조 물질에 의해 변환되는 전류의 양이 많아짐에 따라 증가할 수 있다. 그리고, 피에조 물질들(760-1, 760-2,…760-n)은 전류 측정기(704)에 연결되며, 사용자의 압력을 감지하고, 감지된 값을 측정할 수 있다.
도 8a는 다양한 실시 예에 따른 압력 센서에서 셀프 캐패시턴스 방식을 나타낸 사시도이고, 도 8b는 다양한 실시 예에 따른 압력 센서에서 뮤추얼 캐패시턴스 방식을 나타낸 사시도이다.
도 8a를 참조하면, 셀프 캐패시턴스(Self capacitance) 방식 압력 센서는, 반복된 복수의 다각형들(또는 원들)(830-1, 830-2,...830-n) 형태의 제1 전극층(830), 상기 반복된 복수의 다각형들에 대응하는 영역 전체에 걸쳐 하나로 연장된 제2 전극층(810), 및 제1 전극층(830)과 제2 전극층(810) 사이에 배치된 유전층(820)을 포함할 수 있다. 압력 센서는, 상기 제1 전극층(830) 중 각 부분 전극과 제1 전극층 사이의 캐패시턴스의 변화에 기반하여 압력을 센싱할 수 있다. 제1 전극층(830) 및 제2 전극층(810)의 위치 또는 형태는 서로 바뀔 수 있다.
도 8b를 참조하면, 뮤추얼 캐패시턴스(Mutual capacitance) 방식 압력 센서는, 제1 방향으로 연장된 복수의 전극들(860-1, 860-2,…860-n)로 형성된 제1 전극층(860), 상기 제1 방향에 실질적으로 수직인 제1 방향으로 연장된 복수의 전극들(840-1, 840-2,…840-n)로 형성된 제2 전극층(840), 및 제1 전극층(860)과 제2 전극층(840) 사이에 배치된 유전층(850)을 포함할 수 있다. 압력 센서는, 상기 제1 전극층(860)과 제2 전극(840)이 교차하는 지점에서의 상기 제1 전극과 제2 전극 사이의 캐패시턴스의 변화에 기반하여 압력을 센싱할 수 있다. 제1 전극 및 제2 전극의 위치 또는 형태는 서로 바뀔 수 있다.
일 실시 예에 따르면, 제1 전극 또는 제2 전극은 불투명 또는 투명할 수 있다. 즉, 사용자가 압력 센서를 바라볼 때, 압력 센서의 반대에 배치된 오브젝트가 시인되지 않거나(불투명) 시인될(투명) 수 있다. 제1 전극 또는 제2 전극이 불투명한 경우, 제1 전극 또는 제2 전극은 구리(Cu), 은(Ag), 마그네슘(Mg), 또는 티타늄(Ti) 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 제1 전극 또는 제2 전극이 투명한 경우, 제1 전극 또는 제2 전극은 ITO, IZO, 고분자 도전체, Graphene, 특정 선폭 이하의 불투명 배선 패턴(Ag Nanowire, Metal mesh 등) 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 그리고, 유전층은 실리콘, 공기(air), 거품(foam), 막(membrane), OCA, 스폰지, 고무, 잉크, 또는 폴리머(PC, PET 등) 중 적어도 하나를 포함할 수 있다.
도 9는 다양한 실시 예에 따른 객체를 표시하는 영상에서 압력 입력을 감지하여 동작을 제어하는 전자 장치의 블록도이다.
도 9를 참조하면, 전자 장치(10)는 AR 서비스 모듈(920), 메모리 모듈(940), 카메라 모듈(950), 네트워크 모듈(960) 및 프로세서(910)를 포함할 수 있다. 상기 AR 서비스 모듈(920)은 프로세서(102)(예: 도 1의 프로세서(120))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 전자 장치(10)는 디스플레이 모듈(931), 센서 모듈(932), 터치 모듈(933) 및 압력 모듈(934)을 포함할 수 있다. 상기 메모리 모듈(940)은 메모리(예: 도 1의 메모리(130))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있으며, 메모리(예: 도 1의 메모리(130))에 저장된 데이터, 프로그램 등을 저장할 수 있다. 상기 카메라 모듈(950)는 카메라 모듈(예: 도 2의 카메라 모듈(291))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 상기 네트워크 모듈(960)은 통신 인터페이스(예: 도 1의 통신 인터페이스(170))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다. 상기 프로세서(910)는 프로세서(예: 도 1의 프로세서(120))에서 수행되는 적어도 하나의 기능 또는 적어도 하나의 동작을 수행할 수 있다.
다양한 실시 예에 따르면, AR 서비스 모듈(920)은 프로세서(910), 메모리 모듈(940), 카메라 모듈(950), 네트워크 모듈(960)과 전기적으로 연결될 수 있다. AR 서비스 모듈(920) 또는 프로세서(910) 중 적어도 하나는 사용자에 의해 선택되는 객체를 결정하고, 선택된 객체와 관련된 기능을 실행시킬 수 있다. 상기 AR 서비스 모듈(920)은 기본적으로 카메라 모듈(950)로부터 받은 영상을 처리하여 디스플레이 모듈(931)로 제공하는 역할을 수행할 수 있다.
일 실시 예에 따르면, AR 서비스 모듈(920)은 센서 모듈(932)을 통해 전자 장치(101)에 존재하는 다양한 센서, 예를 들어 가속도 센서, 지자계 센서, 중력 센서, 기압 센서, 조도 센서, 온도 센서, 근접 센서, GPS 센서들로부터 전자 장치의 상태 정보를 제공받을 수 있으며, 터치 모듈(933)과 압력 모듈(934)(예: 압력 센서)을 통해 다양한 사용자의 터치 및 압력 입력 정보 또한 수신할 수 있다. AR 서비스 모듈(920)은 이러한 다양한 모듈로부터 수신한 입력과 카메라 모듈(950)로부터 수신한 영상을 이용하여 사용자에게 제공할 영상의 가상적 시점을 결정할 수 있다.
일 실시 예에 따르면, AR 서비스 모듈(920)은 결정된 시점에서 사용자에게 제공할 영상을 구성하기 위하여, 메모리 모듈(940)과 네트워크 모듈(960)을 이용할 수 있다. AR 서비스 모듈(920)은 영상 구성을 위해 필요한 영상 구성 요소를 결정할 수 있으며, 이러한 영상 구성 요소를 획득하기 위해 메모리 모듈(940)을 통해 전자 장치(101) 내부의 저장장치에 접근하거나, 네트워크 모듈(960)을 통해 전자 장치(101) 외부에 존재하는 저장장치에 접근할 수도 있다.
AR 서비스 모듈(920)은 결정된 시점정보와 결정된 가상의 시점정보를 표현하기 위해 획득한 영상 구성 요소를 이용하여 사용자에게 제공할 영상을 생성할 수 있으며, 이렇게 생성된 영상에 존재하는 오브젝트를 인식하고 이에 대한 부가 정보를 매핑시킴으로써 사용자에게 최종적으로 제공할 영상을 완성하고 이를 디스플레이 모듈(931)로 전달하여 표시할 수 있다.
도 10은 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 과정을 나타낸 순서도이다.
이하, 도 10을 참조하여, 본 발명의 다양한 실시 예에 따른 전자 장치에서 압력 입력의 레벨에 따른 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1010에서, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 적어도 하나의 객체를 표시할 수 있다. 상기 전자 장치(101)는 제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징(미도시), 상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이(930), 상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이(930)의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로(예: 도 4의 압력 센서(413)), 상기 하우징 내부에 배치된 무선 통신 회로(예: 도 9의 네트워크 모듈(960))을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1012에서, 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 감지되는 사용자의 압력 입력에 대한 세기를 측정할 수 있고, 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체를 선택(또는 결정)하기 위해, 사용자의 압력 입력에 대한 세기를 측정할 수 있고, 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다.
다양한 실시 예에 따르면, 동작 1014에서, 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 실행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접한 복수의 객체들을 표시하고, 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 레벨 또는 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보의 값이 큰 객체, 즉 깊이가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 레벨이 작으면 뎁스 정보의 값이 작은 객체, 즉 깊이가 얕은 객체를 선택할 수 있고, 압력 레벨이 클수록 뎁스 정보의 값이 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 결정된 복수의 객체들 간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 예를 들면, 상기 복수의 객체들이 실내의 냉장고, 텔레비젼, 세탁기, 식기 세척기, 청소기, 밥솥, 오븐, 홈 네트워크 시스템과 같은 전자 장치들인 경우, 기능 제어, 제어 신호 송수신을 위해 결정된 객체들 간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체와 전자 장치(101)간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체에 관한 연관 정보 검색, 구매 및 페어링과 같은 특정 기능을 수행할 수 있다. 전자 장치(101)간에 데이터 송수신, 제어 신호 송수신, 기능 제어와 같은 인터워킹을 위해 페어링을 수행할 수 있다. 예를 들면, 상기 선택된 객체가 실내의 냉장고, 텔레비젼, 세탁기, 식기 세척기, 청소기, 밥솥, 오븐, 홈 네트워크 시스템과 같은 전자 장치(예: 도 1의 외부 전자 장치(102))경우, 전자 장치(101)는 외부 전자 장치(102)와 기능 제어, 제어 신호 송수신을 위해 페어링을 수행할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성을 상기 선택되지 않은 객체의 속성과 다르게 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 비쥬얼 효과를 상기 선택되지 않은 객체의 비쥬얼 효과와 다르게 하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시한 상태에서, 사용자의 압력 입력에 기반하여 적어도 하나의 객체의 속성이 결정되면, 상기 결정된 속성을 상기 표시된 영상에 적용하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 색상을 변경하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시하거나, 또는 상기 선택되지 않은 객체를 반투명하게 표시할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 하나의 사용자 입력의 압력 레벨과, 두 개의 사용자 입력의 압력 레벨이 동일(또는 비슷)하여도 하나의 사용자 입력이 감지되는 경우보다 두 개의 사용자 입력이 감지되는 경우, 객체를 보다 빠르게 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 두 개의 사용자 입력이 감지되는 경우보다 세 개의 사용자 입력이 감지되는 경우, 객체를 보다 빠르게 선택할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 선택된 객체에 관련된 부가 정보를 검색하는 기능, 선택된 객체를 구매하는 기능, 선택된 객체와 페어링하는 기능 등 다양한 기능을 포함하는 메뉴를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메뉴를 상기 선택된 객체의 상하좌우 중 일부분에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성에 대응하여 메뉴에 다른 기능을 포함하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
다양한 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
도 11은 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 나타낸 순서도이다.
이하, 도 11을 참조하여, 본 발명의 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체의 속성을 결정하여 표시하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1110에서, 전자 장치(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1112에서, 전자 장치(예: 프로세서(120))는 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다.
다양한 실시 예에 따르면, 동작 1114에서, 전자 장치(예: 프로세서(120))는 압력 입력에 대응하는 복수의 객체들을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들을 중첩되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들 상에 사용자의 압력 입력의 위치에 대응되는 복수의 객체들을 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 복수의 객체들이 중첩된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 복수의 객체들을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 하나의 객체가 표시된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 하나의 객체를 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1116에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체를 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나(또는 적어도 하나)의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 입력의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 입력의 세기가 작으면 뎁스 정보가 작은 객체를 선택할 수 있고, 압력 입력의 세기가 클수록 뎁스 정보가 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 동작 1118에서, 전자 장치(예: 프로세서(120))는 상기 선택된 객체 또는 선택되지 않는 객체 중 적어도 하나에 대한 속성을 결정할 수 있다. 상기 전자 장치(예: 프로세서(120))는 상기 선택된 객체 또는 선택되지 않는 객체 중 적어도 하나가 딱딱한 재질로 이루어져 있는지, 부드러운 재질로 이루어져 있는지, 또는 말랑말랑한 재질로 이루어져 있는지에 대한 속성을 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 결정된 복수의 객체들 중에서 상기 선택된 객체의 속성을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체를 제외한 나머지 객체(예: 선택되지 않은 객체) 중 적어도 하나에 대한 속성을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성을 상기 선택되지 않은 객체의 속성과 다르게 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 비쥬얼 효과가 상기 선택되지 않은 객체의 비쥬얼 효과와 다르도록 각각의 객체에 대한 속성을 다르게 결정할 수 있다.
예를 들면, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 딱딱한 것으로 판단되면, 상기 객체의 속성이 물렁한 경우보다 객체간의 이동 속도를 보다 빠르게 하여 객체를 선택할 수 있다. 다른 예를 들면, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 물렁한 것으로 판단되면, 상기 객체의 속성이 딱딱한 경우보다 객체간의 이동 속도를 보다 느리게 하여 객체를 선택할 수 있다. 또한, 전자 장치(예: 프로세서(120))는 압력 입력의 레벨(또는 세기)이 동일하여도 객체의 속성(또는 물성)이 딱딱한 것으로 판단되면, 상기 객체에 적용되는 비쥬얼 피드백의 깊이 감을 속성이 물렁한 경우보다 적게 하여 표시할 수 있다. 예를 들면, 동일하게 압력 입력이 감지되어도, 표시된 객체의 광각이 크거나 또는 줌 아웃(zoom out)된 상태인 경우, 전자 장치(예: 프로세서(120))는 중첩된 객체들이 줌 인(zoom in) 상태보다 이동 속도를 빠르게 하여 객체를 선택할 수 있다.
다양한 실시 예에 따르면, 동작 1120에서, 전자 장치(예: 프로세서(120))는 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시한 상태에서, 사용자의 압력 입력에 기반하여 적어도 하나의 객체의 속성이 결정되면, 상기 결정된 속성을 상기 표시된 영상에 적용하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 색상을 변경하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택되지 않은 객체를 반투명하게 표시할 수 있다.
도 12a 내지 12h는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 12a 및 도 12b를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들(1210, 1211, 1212)을 표시할 수 있고, 상기 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제1 압력 입력(1213)을 감지할 수 있다. 도 12a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1213)에 따른 제1 객체(1210)가 선택되면, 선택된 객체(1210)를 제외한 다른 객체들(1211, 1212)은 도 12b의 객체들(1211, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12b의 객체들(1211, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12a에서 선택된 객체(1210)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12c 및 도 12d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제2 압력 입력(1214)을 감지할 수 있다. 예를 들면, 상기 제2 압력 입력(1214)의 세기는 상기 제1 압력 입력(1213)의 세기보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력의 세기는 상기 제1 압력 입력의 세기보다 크지 않을 수 있다. 도 12c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1214)에 따른 제2 객체(1211)가 선택되면, 선택된 객체(1211)를 제외한 다른 객체들(1210, 1212)은 도 12d의 객체들(1210, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12d의 객체들(1210, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12c에서 선택된 객체(1211)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12e 및 도 12f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제3 압력 입력(1215)을 감지할 수 있다. 예를 들면, 상기 제3 압력 입력의 세기는 상기 제2 압력 입력의 세기보다 클 수 있다. 다른 예를 들면, 상기 제3 압력 입력의 세기는 상기 제2 압력 입력의 세기보다 크지 않을 수 있다. 도 12e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1215)에 따른 제3 객체(1212)가 선택되면, 선택된 객체(1212)를 제외한 다른 객체들(1210, 1211)은 도 12f의 객체들(1210, 1211)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12f의 객체들(1210, 1211)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12e에서 선택된 객체(1212)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 12g 및 도 12h를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들(1210, 1211, 1212) 상에 입력되는 제4 압력 입력(1216)을 감지할 수 있다. 예를 들면, 상기 제4 압력 입력의 세기는 상기 제2 압력 입력의 세기와 같을 수 있다. 다른 예를 들면, 상기 제4 압력 입력의 세기는 상기 제1, 제2 및 제3의 압력 입력의 세기와 다를 수 있다. 도 12g와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1216)에 따른 제2 객체(1211)가 선택되면, 선택된 객체(1211)를 미리 지정된 배율로 확대하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체(1211)를 제외한 다른 객체들(1210, 1212)은 도 12h의 객체들(1210, 1212)과 같이 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12h의 객체들(1210, 1212)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 도 12g에서 선택된 객체(1211)의 색상을 다른 색상으로 변경하여 표시할 수 있다.
도 13a 내지 13h는 다양한 실시 예에 따른 하나 이상의 압력 레벨에 따른 객체 선택 및 선택된 객체에 비쥬얼 피드백을 제공하는 예시도이다.
도 13a 및 도 13c를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들 중 제1 압력 입력(1311)에 따른 제1 객체(1312)를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1311)보다 큰 제2 압력 입력(1313)이 감지되면, 상기 제1 객체(1312)보다 뎁스 정보가 큰 제2 객체(1314)가 선택될 수 있고, 상기 제2 압력 입력(1313)보다 큰 제3 압력 입력(1315)이 감지되면, 상기 제2 객체(1314)보다 뎁스 정보가 큰 제3 객체(1316)가 선택될 수 있다.
도 13d 및 도 13f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들 중 제4 압력 입력(1317)에 따른 제4 객체(1318)를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1317)보다 큰 제5 압력 입력(1319)이 감지되면, 상기 제4 객체(1318)보다 뎁스 정보가 큰 제5 객체(1320)가 선택될 수 있고, 상기 제5 압력 입력(1319)보다 큰 제6 압력 입력(1321)이 감지되면, 상기 제5 객체(1314)보다 뎁스 정보가 큰 제6 객체(1322)가 선택될 수 있다.
도 13a 내지 도 13c에서 제1 압력 입력(1311)에서 제3 압력 입력(1315)의 세기가 증가하는 비율보다 도 13d 내지 도 13f에서 제4 압력 입력(1317)에서 제6 압력 입력(1321)의 세기가 증가하는 비율이 클 경우, 전자 장치(101)(예: 프로세서(120))는 커지는 비율에 비례하여 뎁스 정보가 큰 객체를 선택할 수 있다.
도 13g 및 도 13h에서 두 개의 압력 입력(1323, 1324)이 감지되면, 전자 장치(101)(예: 프로세서(120))는 도 13a 내지 도 13f에서 감지된 하나의 압력 입력(1313)에 비해 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 두 개의 압력 입력(1323, 1324)이 감지된 지점들간의 거리를 계산하고, 상기 계산된 거리와 미리 지정된 거리 이내에 있는 경우, 상기 감지된 하나의 압력 입력(1313)에 비해 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 두 개의 압력 입력(1323, 1324) 중 압력이 더 큰 지점의 방향으로 객체를 선택하기 위한 이동 속도를 제어할 수 있다. 예를 들면, 도 13g에서 제1 압력 입력(1323)의 압력 값이 일정하게 유지되고 있는 상태에서, 제2 압력 입력(1324)의 압력 값이 점점 커지는 경우, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1324)이 감지된 지점의 방향(예: 오른쪽 또는 뒷쪽)으로 객체를 선택하기 위한 이동 속도를 빠르게 하여 뎁스 정보가 큰 객체를 선택할 수 있다. 도 13a 내지 도 13h에 도시된 바와 같이, 압력 입력의 개수 또는 압력 입력의 세기 중 적어도 하나에 기반하여 객체를 선택하기 위한 이동 속도를 빠르게 하여 객체를 선택할 수 있다.
도 14는 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 나타낸 순서도이다.
이하, 도 14를 참조하여, 다양한 실시 예에 따른 적어도 하나의 객체를 포함하는 영상에서 압력 입력이 감지된 객체를 결정하여 동작을 실행하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1410에서, 전자 장치(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 비쥬얼 피드백, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 기반하여 적어도 하나의 동작을 실행할 수 있는 적어도 하나의 객체를 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1412에서, 전자 장치(예: 프로세서(120))는 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력에 대한 압력 레벨을 검출할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다.
다양한 실시 예에 따르면, 동작 1414에서, 전자 장치(예: 프로세서(120))는 압력 입력에 대응하는 복수의 객체들을 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들을 중첩되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들 상게 사용자의 압력 입력의 위치에 대응되는 복수의 객체들을 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 복수의 객체들이 중첩된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 복수의 객체들을 결정할 수 있다. 다른 예를 들면, 전자 장치(101)(예: 프로세서(120))는 하나의 객체가 표시된 지점에 사용자의 압력 입력이 감지되면, 상기 압력 입력이 감지된 지점에 표시된 하나의 객체를 결정할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하여 적어도 하나의 동작을 실행할 수 있는 복수의 객체들을 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1416에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체를 결정할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력에 대응하는 복수의 객체들을 결정하고, 상기 결정된 복수의 객체들 중 하나(또는 적어도 하나)의 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 사용자의 압력 입력이 감지된 지점에 표시되는 복수의 객체들을 결정하고, 사용자로 하여금 원하는 객체가 선택되도록 상기 압력 입력의 세기에 따라 복수의 객체들 중 각각의 객체들에 비쥬얼 피드백을 제공할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 검출된 압력 입력의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 압력 입력의 세기가 작으면 뎁스 정보가 작은 객체를 선택할 수 있고, 압력 입력의 세기가 클수록 뎁스 정보가 큰 객체를 선택할 수 있다. 전자 장치(101)(예: 프로세서(120))는 이러한 선택되는 객체에 서로 다른 비쥬얼 피드백을 제공하여 사용자로 하여금 어떤 객체가 선택되는지 인지시킬 수 있다.
다양한 실시 예에 따르면, 동작 1418에서, 전자 장치(예: 프로세서(120))는 결정된 복수의 객체들 중 선택된 객체에 대한 동작을 실행할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 결정된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 결정된 객체가 표시된 위치에 대응되게 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 결정된 객체에 관련된 부가 정보를 검색하는 기능, 결정된 객체를 구매하는 기능, 결정된 객체와 페어링하는 기능 등 다양한 기능을 포함하는 메뉴를 표시할 수 있다. 상기 메뉴에 포함된 기능들은 상기 객체의 특성에 따라 다를 수 있다. 예를 들면, 상기 결정된 객체가 통신이 가능한 전자 장치(예: 도 1의 외부 전자 장치(102))인 경우, 상기 메뉴는 상기 외부 전자 장치(102)와 페어링할 수 있는 기능을 포함할 수 있다. 또 다른 예를 들면, 상기 결정된 객체가 사람이 섭취할 수 있으며, 유통 기한이 존재하는 음식물인 경우, 상기 메뉴는 상기 객체의 유통 기한, 가격, 최저가 사이트 등 다양한 기능을 포함할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 메뉴를 상기 선택된 객체의 상하좌우 중 일부분에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 속성에 대응하여 메뉴에 다른 기능을 포함하여 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체에 대응되는 부가 정보를 기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다. 또 다른 예를 들면, 상기 선택된 객체가 실내에서 통신이 가능한 가전 제품(예: 텔레비젼, 냉장고, 세탁기, 식기 세척기, 전자 렌즈, 오븐, 오디오, 에어컨, 조명, 보일러, 비디오 등)이면, 상기 선택된 객체에 대한 미리 지정된 기능을 실행하거나, 세부 화면을 표시할 수 있다. 상기 미리 지정된 기능은 가전 제품의 종류에 따라 서로 다를 수 있다. 예를 들면, 상기 미리 지정된 기능은, 선택된 객체(예: 가전 제품)에 대한 동작 On/Off 제어 등 해당 가전에서 통상적으로 자주 사용되는 복수의 기능을 포함할 수 있다.
도 15a 내지 15f는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 15a 및 도 15b를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 복수의 객체들(1510, 1511, 1512)을 표시할 수 있고, 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제1 압력 입력(1513)을 감지할 수 있다. 도 15a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1513)에 따른 제1 객체(1510)가 선택되면, 선택된 객체(1510)의 일 측에 상기 선택된 객체(1510)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1520)를 표시할 수 있다. 예를 들면, 상기 메뉴(1520)는 상기 선택된 객체(1510)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1520)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1520)는 선택된 객체(1510)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1521), 상기 선택된 객체(1510)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1522)(예: 검색 사이트), 상기 선택된 객체(1510)를 구매하기 위해 요구되는 기능(1523)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1520)는 선택된 객체(1510)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1510)를 제외한 다른 객체들(1511, 1512)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1511, 1512)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15b에 도시된 바와 같이, 예를 들면, 사용자가 제1 압력 입력(1513)을 입력하면, 상기 선택된 객체(1510)에 대한 메뉴(1520)가 표시되고, 상기 표시된 메뉴(1520)에 포함된 기능(1521)이 선택되면, 상기 선택된 기능(1521)에 대한 실행 결과를 표시할 수 있다. 예를 들면, 상기 기능(1521)은 상기 제1 압력 입력(1513) 이후, 터치를 유지한 상태에서 상기 기능(1521)이 표시된 위치로 일정 거리를 움직이는 제스처인 드래그(drag) 또는 스윕(swip) 제스처에 기반하여 선택될 수 있다. 상기 기능(1521)은 상기 드래그 또는 스윕 제스처에 기반한 터치가 해제되는 경우, 실행될 수 있다.
도 15c 및 도 15d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제2 압력 입력(1514)을 감지할 수 있다. 상기 제2 압력 입력(1514)의 세기는 상기 제1 압력 입력(1513)의 세기보다 클 수 있다. 도 15c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1514)에 따른 제2 객체(1511)가 선택되면, 선택된 객체(1511)의 일 측에 상기 선택된 객체(1511)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1530)를 표시할 수 있다. 예를 들면, 상기 메뉴(1530)는 상기 선택된 객체(1511)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1530)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1530)는 선택된 객체(1511)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1531), 상기 선택된 객체(1511)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1532)(예: 검색 사이트), 상기 선택된 객체(1511)를 구매하기 위해 요구되는 기능(1533)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1530)는 선택된 객체(1511)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1511)를 제외한 다른 객체들(1510, 1512)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1510, 1512)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15d에 도시된 바와 같이, 예를 들면, 사용자가 제2 압력 입력(1515)을 입력하면, 상기 선택된 객체(1511)에 대한 메뉴(1530)가 표시되고, 상기 표시된 메뉴(1530)에 포함된 기능(1532)이 선택되면, 상기 선택된 기능(1532)에 대한 실행 결과를 표시할 수 있다.
도 15e 및 도 15f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 상기 표시된 복수의 객체들(1510, 1511, 1512) 상에 입력되는 제4 압력 입력(1516)을 감지할 수 있다. 상기 제4 압력 입력(1516)의 세기는 상기 제2 압력 입력(1514)의 세기보다 클 수 있다. 도 15e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제4 압력 입력(1515)에 따른 제3 객체(1512)가 선택되면, 선택된 객체(1512)의 일 측에 상기 선택된 객체(1512)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1540)를 표시할 수 있다. 예를 들면, 상기 메뉴(1540)는 상기 선택된 객체(1512)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다. 예를 들면, 상기 메뉴(1540)는 사용자가 쉽게 볼 수 있는 위치에 표시될 수 있다. 상기 메뉴(1540)는 선택된 객체(1512)에 관한 정보(예: 제조 일자, 유통 기한, 제조 회사, 가격 등)를 검색하는 기능(1541), 상기 선택된 객체(1512)에 관한 보다 상세한 정보(예: 성분, 인체에 미치는 영향 등)를 검색하는 기능(1542)(예: 검색 사이트), 상기 선택된 객체(1512)를 구매하기 위해 요구되는 기능(1543)(예: 구매 사이트, 최저가 사이트 등)을 포함할 수 있다. 상기 메뉴(1540)는 선택된 객체(1512)의 종류 또는 특성에 따라 서로 다른 기능을 포함할 수 있다. 다른 실시 예에 따르면, 상기 선택된 객체(1512)를 제외한 다른 객체들(1510, 1511)은 블러(blur), 반투명 또는 투명하게 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 다른 객체들(1510, 1511)은 경계선은 반투명하게 표시하고, 다른 부분(예: 면)은 투명하게 표시할 수 있다. 도 15f에 도시된 바와 같이, 예를 들면, 사용자가 제5 압력 입력(1517)을 입력하면, 상기 선택된 객체(1512)에 대한 메뉴(1540)가 표시되고, 상기 표시된 메뉴(1540)에 포함된 기능(1543)이 선택되면, 상기 선택된 기능(1543)에 대한 실행 결과를 표시할 수 있다.
도 16a 내지 16d는 다양한 실시 예에 따른 압력 입력에 따른 객체를 선택한 상태에서 메뉴의 기능을 선택하는 다양한 예를 나타낸 도면이다.
도 16a를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제1 압력 입력(1610)에 의해 객체(1620)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 상기 선택된 객체(1620)의 좌측 상단, 좌측 하단, 우측 상단 또는 우측 하단 중 어느 한 곳에 표시될 수 있다.
도 16b를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제2 압력 입력(1611)에 의해 객체(1620)가 선택된 이후, 특정 방향(예: 제3 압력 입력의 왼쪽 방향)으로 드래그 또는 스윕 제스쳐가 입력되면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 상기 특정 방향에서 표시될 수 있다.
도 16c를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제3 압력 입력(1612)에 의해 객체(1620)가 선택된 이후, 특정 방향(예: 제3 압력 입력의 왼쪽 방향)으로 지정된 제스쳐가 입력되면, 상기 선택된 객체(1620)의 일 측에 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 표시할 수 있다. 예를 들면, 상기 지정된 제스쳐는, 손가락을 특정 방향으로 굴리며 힘을 가하는 쉬어 포스(shear force) 제스쳐, 또는 터치 앤 드래그(touch & drag) 제스쳐를 포함할 수 있다. 예를 들면, 상기 메뉴(1630)는 객체(1620)를 기준으로 쉬어 포스 제스쳐의 또는 상기 터치 앤 드래그의 진행 방향에 표시될 수 있다.
도 16d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제4 압력 입력(1613)에 의해 객체(1620)가 선택된 이후, 상기 제4 압력 입력(1613)이 해제되지 않은 상태에서 특정 지점에서 터치의 입력이 감지되면, 상기 선택된 객체(1620)에 관련된 적어도 하나의 기능을 포함하는 메뉴(1630)를 상기 터치가 감지된 지점에 표시할 수 있다. 예를 들면, 상기 메뉴(1630)는 객체(1620)를 기준으로 상기 터치 앤 드래그의 진행 방향에 표시될 수 있다.
도 17a 내지 17f는 다양한 실시 예에 따른 압력 레벨에 따른 객체 선택 및 선택된 객체에 대응하는 부가 정보를 표시하는 예시도이다.
도 17a 및 도 17b를 참조하면, 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제1 객체(1710) 상에 입력되는 제1 압력 입력(1711)을 감지할 수 있다. 도 17a와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)에 따른 제1 객체(1710)가 선택되면, 도 17b와 같이, 선택된 객체(1710)의 일 측에 상기 선택된 객체(1710)에 관련된 부가 정보(1712)를 표시할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)에 따른 제1 객체(1710)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 객체(1710)의 일 측에 상기 선택된 객체(1710)에 관련된 부가 정보(1712)를 표시할 수 있다. 상기 부가 정보(1712)는 상기 선택된 객체(1710)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1712)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제1 압력 입력(1711)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다. 상기 부가 정보(1712)는 선택된 객체(1710)의 종류 또는 특성에 따라 서로 다른 부가 정보를 포함할 수 있다. 예를 들면, 상기 선택된 객체(1710)를 제외한 다른 객체들은 블러(blur), 반투명 또는 투명하게 표시할 수 있다.
도 17c 및 도 17d를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제2 객체(1720) 상에 입력되는 제2 압력 입력(1721)을 감지할 수 있다. 도 17c와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)에 따른 제2 객체(1720)가 선택되면, 도 17d와 같이, 선택된 제2 객체(1720)의 일 측에 상기 선택된 제2 객체(1720)에 관련된 부가 정보(1722)를 표시할 수 있다. 예를 들면, 상기 제2 압력 입력(1721)의 세기(또는 압력 레벨)는 제1 압력 입력(1711)의 세기(또는 압력 레벨) 보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력(1721)에 의해 결정된 제2 객체(1720)의 뎁스 정보는 제1 압력 입력(1711)에 의해 결정된 제1 객체(1710)의 뎁스 정보보다 클 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)에 따른 제2 객체(1720)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 제2 객체(1720)의 일 측에 상기 선택된 제2 객체(1720)에 관련된 부가 정보(1722)를 표시할 수 있다. 상기 부가 정보(1722)는 상기 선택된 제2 객체(1720)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1722)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제2 압력 입력(1721)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다.
도 17e 및 도 17f를 참조하면, 본 발명의 다양한 실시 예에 따른 전자 장치(101)(예: 프로세서(120))는 제3 객체(1730) 상에 입력되는 제3 압력 입력(1731)을 감지할 수 있다. 도 17e와 같이, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)에 따른 제3 객체(1730)가 선택되면, 도 17f와 같이, 선택된 제3 객체(17d0)의 일 측에 상기 선택된 제3 객체(1730)에 관련된 부가 정보(1732)를 표시할 수 있다. 예를 들면, 상기 제3 압력 입력(1731)의 세기(또는 압력 레벨)는 제2 압력 입력(1721)의 세기(또는 압력 레벨) 보다 클 수 있다. 다른 예를 들면, 상기 제3 압력 입력(1731)에 의해 결정된 제3 객체(1730)의 뎁스 정보는 제2 압력 입력(1721)에 의해 결정된 제2 객체(1720)의 뎁스 정보 보다 클 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)에 따른 제3 객체(1730)가 선택된 이후, 미리 지정된 시간(예: 1 sec)가 지나면, 선택된 제3 객체(1730)의 일 측에 상기 선택된 제3 객체(1730)에 관련된 부가 정보(1732)를 표시할 수 있다. 상기 부가 정보(1732)는 상기 선택된 제3 객체(1730)에 대한 보다 상세한 정보를 포함할 수 있으며, 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있을 수 있다. 또 다른 예를 들면, 상기 부가 정보(1732)가 상기 전자 장치(101)의 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 전자 장치(101)(예: 프로세서(120))는 상기 제3 압력 입력(1731)의 감지에 대응하여 서버(예: 도 1의 서버(106))로 상기 부가 정보를 요청하여 수신할 수 있다.
도 18은 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 나타낸 순서도이다.
이하, 도 18을 참조하여 다양한 실시 예에 따른 전자 장치가 서버로부터 부가 정보를 획득하는 동작을 상세히 설명하면 다음과 같다.
다양한 실시 예에 따르면, 동작 1810에서, 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 적어도 하나의 객체를 포함하는 영상을 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 사용자의 압력 입력에 기반하여 부가 정보 표시, 적어도 하나의 기능 실행 등 다양한 동작을 실행할 수 있는 적어도 하나의 객체를 포함하는 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시할 수 있다. 상기 사용자 인터페이스는 증강 현실(augmented reality), 3D(dimension) 지도 등 뎁스(depth) 정보가 있는 적어도 하나의 3D 객체를 표시할 수 있다. 상기 사용자 인터페이스는 카메라 모듈(예: 도 9의 카메라 모듈(950))에서 획득된 프리뷰 영상에 적어도 하나의 3D 객체를 포함하여 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1812에서, 전자 장치(101)(예: 프로세서(120))는 객체 상에 압력 입력이 감지되는지 판단할 수 있다. 전자 장치(101)(예: 프로세서(120))는 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 서로 인접하여 표시된 복수의 객체들 상에서 사용자의 압력 입력을 감지할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 터치 스크린 디스플레이(예: 도 9의 터치 스크린 디스플레이(930)) 상에 표시된 복수의 객체들 중에서 사용자에 의해 선택되는 객체 상에 입력되는 압력 입력을 감지할 수 있다. 예를 들면, 사용자는 객체에 대한 보다 상세한 부가 정보를 얻기 위해 압력 입력을 입력할 수 있다. 상기 부가 정보는 모든 사용자에게 제공될 수 있거나 또는 허용된 일부 사용자들에게 제공될 수 있다. 예를 들면, 상기 부가 정보는 해당 객체에 관련된 조직(예: 객체를 생산하는 회사의 직원, 객체에 관련된 관리자 등) 내의 직원들에게만 제공될 수 있는데, 이 경우, 상기 부가 정보는 모든 사용자들에게 제공되지 않는데 반해, 접속 또는 열람이 허용된 일부 사용자들에게 제공될 수 있다. 이러한 부가 정보의 선택적 제공을 위해, 상기 부가 정보를 제공하는 서버(106)는 사용자의 요청이 발생되면, 사용자의 인증 과정을 거친 후, 상기 부가 정보의 제공 여부를 결정할 수 있다.
다양한 실시 예에 따르면, 동작 1814에서, 전자 장치(101)(예: 프로세서(120))는 상기 압력 입력이 감지된 객체의 부가 정보가 서버에 존재하는지 판단할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다. 예를 들면, 전자 장치(101)(예: 프로세서(120))는 상기 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않는 경우, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청하기 위해, 상기 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있는지 판단할 수 있다.
다양한 실시 예에 따르면, 동작 1816에서, 전자 장치(101)(예: 프로세서(120))는 상기 부가 정보를 표시할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있으면, 상기 저장된 부가 정보를 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1818에서, 전자 장치(101)(예: 프로세서(120))는 사용자 식별자를 서버(예: 도 1의 서버(106))로 전송할 수 있다. 전자 장치(101)(예: 프로세서(120))는 상기 선택된 객체의 부가 정보가 메모리(예: 도 9의 메모리 모듈(940))에 저장되어 있지 않으면, 상기 선택된 객체에 해당되는 서버(예: 도 1의 서버(106))에 접속하여 상기 부가 정보를 요청할 수 있다. 상기 전자 장치(101)(예: 프로세서(120))가 상기 부가 정보에 대한 요청을 상기 서버(106)으로 전송하면, 상기 전자 장치(101)는 사용자 식별자에 대한 요청을 상기 서버(106)로부터 수신할 수 있다. 이후, 상기 전자 장치(101)는 사용자 식별자를 상기 서버(106)로 전송할 수 있다. 예를 들면, 상기 객체가 건물인 경우, 사용자는 상기 건물에 대한 내부 구조도(예: 철골 구조, 건물의 각 층의 입점 업체의 이름, 주소, 부동산 정보 등)에 관한 부가 정보를 인증 과정을 거쳐 서버(106)로부터 획득할 수 있다. 예를 들면, 상기 객체가 건물인 경우, 건물 내부에 대한 화면 표시는, 건물 선택 입력에 이어지는 제스처 입력의 세기 또는 위치에 기반하여 수행될 수 있다. 예를 들면, 세부 이미지로 터치 입력이 이동한 이후, 다시 특정 위치에 압력 입력이 감지되면, 해당 위치에서 건물의 내부 화면을 표시할 수 있다.
다양한 실시 예에 따르면, 동작 1820에서, 서버(106)는 수신된 사용자 식별자에 기반하여 상기 전자 장치(101)의 사용자의 인증 과정을 수행할 수 있다. 서버(106)는 전자 장치(101)로부터 수신된 사용자 식별자와 서버(106)의 메모리(미도시)에 저장된 사용자의 식별자를 비교하여 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치인지 또는 인증되지 않은(또는 허가되지 않은) 전자 장치인지 판단할 수 있다. 이러한 인증은 상기 부가 정보가 비밀이 요구되는 정보인 경우 수행될 수 있다. 예를 들면, 상기 서버(106)는 인증이 완료된 전자 장치(101)에게만 부가 정보를 제공하기 위해 상기 인증을 수행할 수 있다.
다양한 실시 예에 따르면, 동작 1822에서, 서버(106)는 인증을 완료할 수 있다. 서버(106)는 전자 장치(101)로부터 수신된 사용자 식별자와 서버(106)의 메모리(미도시)에 저장된 사용자의 식별자를 비교하여 상기 전자 장치(101)의 인증 과정을 완료할 수 있다.
다양한 실시 예에 따르면, 동작 1824에서, 서버(106)는 인증이 완료되는지 않으면, 상기 부가 정보를 획득할 수 없음을 전자 장치(101)로 알릴 수 있다. 서버(106)는 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치가 아닌 경우, 부가 정보를 제공할 수 없음을 나타내는 알림을 상기 전자 장치(101)로 전송할 수 있다.
다양한 실시 예에 따르면, 동작 1826에서, 서버(106)는 인증이 완료되면, 상기 부가 정보를 전자 장치(101)로 전송할 수 있다. 서버(106)는 상기 전자 장치(101)가 인증된(또는 허가된) 전자 장치인 경우, 부가 정보를 상기 전자 장치(101)로 전송할 수 있다. 그리고, 상기 전자 장치(101)는 서버(106)로부터 수신된 부가 정보를 표시할 수 있다.
도 19는 일 실시 예에 따른 복수의 객체를 포함하는 영상에서 압력 입력에 기반한 객체 선택 및 선택된 객체에 대응하는 메뉴를 표시하는 예시도이다.
도 19를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력에 대응하여 메뉴(또는 정보)를 표시할 수 있는 복수의 객체를 포함하는 영상을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 예를 들면, 복수의 객체를 포함하는 영상이 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(1905)이 객체 상에서 감지되면, 상기 감지된 객체의 메뉴(또는 정보)(1904)를 표시할 수 있다. 예를 들면, 복수의 객체와 각각의 객체에 대한 메뉴(또는 정보)를 포함하는 영상이 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(1905)이 객체(또는 대응하는 메뉴) 상에서 감지되면, 상기 감지된 객체(또는 대응하는 메뉴)보다 뎁스 정보가 더 깊은 다른 객체가 선택되거나 또는 상기 다른 객체에 대응하는 메뉴가 표시될 수 있다. 예를 들면, 상기 영상이 다양한 상품들을 판매하는 상점에서 촬영되는 영상인 경우, 각각의 객체는 소비자에게 판매될 수 있는 다양한 상품들(예: 식품, 주방 용품, 산업 용품, 생활 도구 등)을 포함할 수 있다. 그리고, 상기 영상은 상기 다양한 상품들의 일 측에 각각의 상품들에 대한 메뉴(또는 정보)를 표시할 수 있다. 예를 들면, 상기 영상이 다양한 상품들을 판매하는 상점에서 촬영되는 영상인 경우, 전자 장치(예: 프로세서(120))는 다양한 상품들 중 메뉴(또는 정보) 또는 부가 정보(1901, 1902, 1903, 1904)를 제공할 수 있는 객체를 식별하여 상기 메뉴 또는 부가 정보를 각각의 식별된 객체의 일측에 표시한 영상을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다.
도 20은 일 실시 예에 따른 객체가 건물인 경우, 압력 입력에 기반하여 건물의 세부 정보를 표시한 예시도이다.
도 20을 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력(2011)에 대응하여 건물(2010)에 대한 세부 정보(예: 각 층에 위치한 상점 이름 등) 또는 내부(2020)를 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 건물의 세부 정보는 각 층별로 다양한 정보(예: 철골 구조, 상점 명칭 등)를 포함할 수 있다. 상기 세부 정보는 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 상기 내부(2020)는 상기 건물(2010)의 내부 화면을 포함할 수 있으며, 상기 내부 화면은 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 예를 들면, 다양한 상점이 입점해있는 건물(2010)을 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시된 상태에서, 압력 입력(2011)이 건물(2010) 상에서 감지되면, 상기 감지된 건물(2010)에 입점해 있는 다양한 상점들에 대한 명칭, 주소, 크기, 또는 상점에 대한 부동산 정보(2021)를 표시할 수 있다.
도 21a 내지 21c는 일 실시 예에 따른 객체가 건물인 경우, 압력 입력의 세기에 기반하여 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 21a 내지 21c를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력의 세기에 대응하여 건물(2110)의 각 층에 대한 세부 정보(예: 각 층에 위치한 상점 이름 등) 또는 각 층의 내부(2120, 2130, 2140)를 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 건물의 세부 정보는 각 층별로 다양한 정보(예: 철골 구조, 상점 명칭 등)를 포함할 수 있다. 이러한 세부 정보는 전자 장치(101)가 서버(예: 도 1의 서버(106))로 세부 정보를 요청하고, 상기 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 상기 내부(2120, 2130, 2140)는 상기 건물(2110)의 내부 화면을 포함할 수 있으며, 상기 내부 화면은 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 예를 들면, 도 21a에 도시된 바와 같이, 건물에 제1 압력 입력(2111)을 입력하면, 전자 장치(예: 프로세서(120))는 제1 압력 입력(2111)에 대응하는 층(예: 1층)에 대한 내부(2120)(예: 1층의 철골 구조 또는 내부 화면)와 세부 정보(2121)(예: 1층에 입점된 상점 이름 등)를 표시할 수 있다. 다른 예를 들면, 도 21b에 도시된 바와 같이, 건물에 제2 압력 입력(2112)을 입력하면, 전자 장치(예: 프로세서(120))는 제2 압력 입력(2112)에 대응하는 층(예: 2층)에 대한 내부(2130)(예: 2층의 철골 구조 또는 내부 화면)와 세부 정보(2131)(예: 2층에 입점된 상점 이름 등)를 표시할 수 있다. 또 다른 예를 들면, 도 21c에 도시된 바와 같이, 건물에 제3 압력 입력(2113)을 입력하면, 전자 장치(예: 프로세서(120))는 제3 압력 입력(2113)에 대응하는 층(예: 3층)에 대한 내부(2140)(예: 3층의 철골 구조 또는 내부 화면)와 세부 정보(2132)(예: 3층에 입점된 상점 이름 등)를 표시할 수 있다. 예를 들면, 상기 제2 압력 입력(2112)의 세기는 상기 제1 압력 입력(2111)의 세기보다 크고, 상기 제3 압력 입력(2113)의 세기는 상기 제2 압력 입력(2112)의 세기보다 클 수 있다. 다른 예를 들면, 상기 제2 압력 입력(2112)의 세기는 상기 제1 압력 입력(2111)의 세기보다 크지 않을 수 있고, 상기 제3 압력 입력(2113)의 세기는 상기 제2 압력 입력(2112)의 세기보다 크지 않을 수 있다. 각 층간에 이동은 건물(2110) 선택에 이어지는 압력 입력의 세기 또는 위치에 의해 수행될 수 있다.
도 22a는 일 실시 예에 따른 객체가 건물인 경우, 건물의 각 층에 대한 세부 정보를 표시한 예시도이다.
도 22a를 참조하면, 일 실시 예에 따른 전자 장치(예: 프로세서(120))는 압력 입력의 세기에 대응하여 건물의 각 층에 대한 내부 또는 철골 구조 디스플레이(예: 도 1의 디스플레이(160)) 상에 표시할 수 있다. 이러한 세부 정보는 전자 장치(101)가 서버(예: 도 1의 서버(106))로 세부 정보를 요청하고, 상기 서버(예: 도 1의 서버(106))에 의해 인증 과정을 거친 후, 전자 장치(101)로 제공될 수 있다. 이러한, 철골 구조와 같은 세부 정보는 상기 건물의 건물 주인, 상기 건물의 관리자, 또는 상기 건물에 근무하는 종업원에게 제공될 수 있다. 예를 들면, 상기 건물의 건물 주인, 상기 건물의 관리자, 또는 상기 건물에 근무하는 종업원이 상기 건물에 대해 압력 입력을 입력하면, 전자 장치(101)는 상기 서버(예: 도 1의 서버(106))로 전자 장치(101)의 사용자에 대한 식별자를 전송하고, 상기 서버(예: 도 1의 서버(106))는 상기 식별자를 수신할 수 있다. 그리고, 상기 서버(예: 도 1의 서버(106))는 수신된 식별자에 대응하는 사용자가 상기 건물에 대한 세부 정보를 획득할 수 있는지 인증 과정을 수행하고, 인증이 완료된 사용자에게 상기 세부 정보를 제공할 수 있다. 예를 들면, 내부 또는 철골 구조의 표시는 건물을 선택하는 압력 입력에 이어지는 제스처의 입력의 위치 또는 세기에 의해 수행될 수 있다. 예를 들면, 세부 이미지로의 터치 입력이 이동한 후, 다시 특정 위치에 압력이 가해지는 경우, 전자 장치(101)는 해당 위치의 세부 정보를 표시할 수 있다. 예를 들면, 제1 압력 입력이 입력되는 경우, 벽 또는 기둥을 투시된 형태로 표시할 수 있고, 제2 압력 입력이 입력되는 경우, 세부 배치 구조가 확대되어 표시될 수 있다.
도 22b는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 미리 설정된 기능을 표시하는 예시도이고, 도 22c는 일 실시 예에 따른 객체가 냉장고인 경우, 냉장고 상의 압력 입력에 기반하여 냉장고 내의 화면을 표시하는 예시도이다.
도 22b 및 22c를 참조하면, 냉장고(2210)는 다른 가전 제품들(예: 세탁기, 식기 세척기, 전자 렌즈 등)과 상호 통신할 수 있다. 상기 냉장고(2210) 상에 압력 입력(2211)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)에 관한 적어도 하나의 미리 설정된 기능을 나타내는 화면(2212)(예: 대쉬 보드(dash board))을 표시할 수 있다. 예를 들면, 상기 냉장고(2210) 상에 제1 압력 입력(2211)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)가 적어도 하나의 가전 제품과 통신을 제공하기 위한 미리 설정된 기능, 상기 냉장고(2210)의 온도 조절, 전원 ON/OFF 제어와 같은 적어도 하나의 기능을 나타내는 화면(2212)을 표시할 수 있다. 다른 예를 들면, 상기 냉장고(2210) 상에 제2 압력 입력(2214)이 입력되면, 전자 장치(101)는 상기 냉장고(2210)의 내부 화면(2213)을 표시할 수 있다. 상기 내부 화면(2213)은 상기 냉장고(2210)의 내부에 저장되고 있는 식품들에 대한 정보(예: 유통 기한, 제조 일자, 제조 회사 등)를 표시할 수 있다. 이러한 식품들에 대한 정보는 사용자에 의해 미리 입력되거나 또는 상기 서버(106)로부터 획득될 수 있다. 도 22b 및 22c는 단지 냉장고에 대해 기술하였으나, 이는 단지 실시 예일 뿐이며, 본 발명은 냉장고 이외에, 조명, 세탁기, 보일러, 에어컨에서도 적용할 수 있다.
도 10 내지 도 22에서는 적어도 하나의 객체를 포함하는 영상에서 원하는 객체 상에 입력되는 압력 입력에 따른 객체 제어, 기능 실행 또는 부가 정보 표시에 관한 내용을 기술하였으나, 본 발명은 표시된 영상에서의 객체 상에 입력되는 압력 입력 뿐만 아니라, 전자 장치(101)의 특정 버튼을 누르는 입력(예: 스퀴즈(squeeze))의 유무, 횟수, 세기에 따라 전자 장치(101)의 동작을 제어할 수 있다. 예를 들면, 전자 장치(101)가 사용자에게 질의를 출력하는 경우, 전자 장치(101)는 특정 버튼(예: 측면에 구비된 전원 버튼)을 1회 스퀴즈하는 입력이 감지되면, 사용자가 긍정의 답변을 한 것으로 판단하고, 2회 스퀴즈하는 입력이 감지되면, 사용자가 부정의 답변을 한 것으로 판단할 수 있다. 상술한 바와 같이, 본 발명의 다양한 실시 예는 터치 스크린 디스플레이(930)에 표시된 영상에서의 객체 상에 입력되는 압력 입력 뿐만 아니라, 전자 장치(101)의 일 측에 형성된 버튼의 눌림에 의해서도 전자 장치(101)를 제어할 수 있다.
다양한 실시 예에 따르면, 본 발명은 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서, 상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작, 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하는 동작, 및 상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하는 동작, 및 상기 결정된 복수의 객체들 중 하나의 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 복수의 객체들간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체와 상기 전자 장치간에 페어링을 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 메모리에 상기 부가 정보가 없는 경우, 상기 선택된 객체에 대응하는 부가 정보를 서버로 요청하고, 상기 요청에 응답하여 상기 부가 정보를 수신할 수 있다.
일 실시 예에 따르면, 본 발명은 상기 서버로부터 상기 전자 장치를 인증하기 위한 정보의 요청이 수신되면, 상기 요청에 응답하여 상기 전자 장치의 식별자를 상기 서버로 전송하고, 상기 인증이 완료되면, 상기 서버로부터 상기 부가 정보를 수신할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 메모리(130))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 플레이트 및 상기 제1 플레이트로부터 떨어져 있는 제2 플레이트를 포함하는 하우징;
    상기 하우징 내부에 배치되며, 상기 제1 플레이트의 일부를 통해 노출된 터치 스크린 디스플레이;
    상기 제1 플레이트 및 상기 제2 플레이트 사이에 배치되고, 상기 터치 스크린 디스플레이의 적어도 일부분에 가해지는 외부 압력에 의한 압력을 검출하도록 구성된 압력 감지 회로;
    상기 하우징 내부에 배치된 무선 통신 회로;
    상기 하우징 내부에 배치되며, 상기 터치 스크린 디스플레이, 상기 압력 감지 회로 및 상기 무선 통신 회로에 전기적으로 연결되는 적어도 하나의 프로세서; 및
    상기 하우징 내부에 배치되며, 상기 프로세서와 전기적으로 연결되는 메모리를 포함하며,
    상기 메모리는, 사용자 인터페이스를 포함하는 어플리케이션 프로그램을 저장하도록 구성되고, 실행 시, 상기 프로세서가,
    상기 터치 스크린 디스플레이 상의 상기 사용자 인터페이스 상에 적어도 하나의 객체를 표시하고,
    상기 압력 감지 회로를 이용하여, 상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하고,
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하도록 하는 명령어들을 저장하는 전자 장치.
  2. 제1 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 터치 스크린 디스플레이 상에 서로 인접한 복수의 객체들을 표시하고,
    상기 사용자 입력의 위치 및 상기 검출된 압력 레벨의 적어도 일부에 기반하여 하나 이상의 객체를 선택하도록 하는 전자 장치.
  3. 제1 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하고,
    상기 결정된 복수의 객체들 중 하나의 객체를 선택하도록 하는 전자 장치.
  4. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 검출된 압력 레벨의 크기에 비례하여 상기 결정된 복수의 객체들 중 뎁스(depth) 정보가 큰 객체를 선택하도록 하는 전자 장치.
  5. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 복수의 객체들간에 페어링을 수행하도록 하는 전자 장치.
  6. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체와 상기 전자 장치간에 페어링을 수행하도록 하는 전자 장치.
  7. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 복수의 객체들 중에서 상기 선택된 객체 또는 선택되지 않은 객체 중 적어도 하나에 대한 속성을 결정하도록 하는 전자 장치.
  8. 제7 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 결정된 속성에 기반하여 상기 영상을 변경하여 표시하도록 하는 전자 장치.
  9. 제7 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체의 크기를 미리 지정된 배율로 확대하여 표시, 상기 선택된 객체의 색상을 변경하여 표시, 상기 선택되지 않은 객체의 경계선을 제외한 나머지 부분을 투명하게 표시, 또는 상기 선택되지 않은 객체를 반투명하게 표시 중 적어도 하나를 수행하도록 하는 전자 장치.
  10. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 사용자 입력이 적어도 두 개인 경우, 상기 복수의 객체들 중 하나의 객체를 상기 사용자 입력이 하나인 경우보다 빠르게 선택하도록 하는 전자 장치.
  11. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체와 관련된 적어도 하나의 기능을 포함하는 메뉴를 상기 선택된 객체가 표시된 위치에 대응되게 표시하도록 하는 전자 장치.
  12. 제3 항에 있어서,
    상기 명령어들은, 상기 프로세서가,
    상기 선택된 객체에 대응되는 부가 정보를 상기 선택된 객체가 표시된 위치에 대응되게 표시하도록 하는 전자 장치.
  13. 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 방법에 있어서,
    상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 동작;
    상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 동작; 및
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 동작을 포함하는 방법.
  14. 제13 항에 있어서,
    상기 검출된 압력 레벨에 대응하는 복수의 객체들을 결정하는 동작; 및
    상기 결정된 복수의 객체들 중 하나의 객체를 선택하는 동작을 더 포함하며,
    상기 선택된 객체는 뎁스 정보에 기반하여 선택되는 방법.
  15. 전자 장치에서 압력 입력의 레벨에 따른 동작을 제어하는 명령어를 포함하는 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 전자 장치의 터치 스크린 디스플레이 상의 사용자 인터페이스 상에 적어도 하나의 객체를 표시하는 제1 명령 셋;
    상기 적어도 하나의 객체 또는 주변에서 사용자 입력에 대한 압력 레벨을 검출하는 제2 명령 셋; 및
    상기 검출된 압력 레벨의 적어도 일부에 기반하여 상기 적어도 하나의 객체와 관련된 복수의 동작들 중 하나를 선택하는 제3 명령 셋을 포함하는 컴퓨터 판독 가능 저장 매체.
PCT/KR2018/006600 2017-06-13 2018-06-11 압력 입력을 제어하는 전자 장치 및 방법 WO2018230905A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/614,138 US11029797B2 (en) 2017-06-13 2018-06-11 Electronic device and method for controlling pressure input

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0074347 2017-06-13
KR1020170074347A KR102406072B1 (ko) 2017-06-13 2017-06-13 압력 입력에 따라 전자 장치의 동작을 제어하는 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018230905A1 true WO2018230905A1 (ko) 2018-12-20

Family

ID=64659107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006600 WO2018230905A1 (ko) 2017-06-13 2018-06-11 압력 입력을 제어하는 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11029797B2 (ko)
KR (1) KR102406072B1 (ko)
WO (1) WO2018230905A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563023B (zh) * 2018-04-25 2020-11-27 京东方科技集团股份有限公司 增强现实处理方法、***、控制设备和增强现实设备
US11199931B2 (en) * 2019-03-22 2021-12-14 Sanko Tekstil Isletmeleri San. Ve Tic. A.S. Capacitive touch sensor
CN110097043B (zh) * 2019-05-05 2022-04-15 京东方科技集团股份有限公司 传感器像素、超声传感器、oled显示面板和oled显示装置
US11501933B2 (en) * 2019-09-27 2022-11-15 Apple Inc. Strain sensing key membrane
CN114489897B (zh) * 2022-01-21 2023-08-08 北京字跳网络技术有限公司 一种对象处理方法、装置、终端设备及介质
KR102529821B1 (ko) * 2023-01-05 2023-05-08 (주) 아하 융합 터치스크린 패널에서 필압 감지 및 필압을 처리하는 방법 및 이를 위한 전자칠판

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110088930A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
KR101071165B1 (ko) * 2009-08-04 2011-10-10 이성호 터치입력 인식방법 및 장치
KR20130088861A (ko) * 2010-11-03 2013-08-08 퀄컴 인코포레이티드 힘 감지 터치 스크린
KR20140089224A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
KR20170029757A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100939926B1 (ko) * 2007-12-31 2010-02-04 팅크웨어(주) 내비게이션 단말기의 위치 관련 서비스 이용 시스템 및방법
CA2761700C (en) * 2009-07-24 2014-12-02 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
KR101753033B1 (ko) 2010-10-18 2017-06-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR20160019468A (ko) * 2013-06-11 2016-02-19 임머숀 코퍼레이션 압력 기반 햅틱 효과들을 위한 시스템들 및 방법들
DE102014019040B4 (de) * 2014-12-18 2021-01-14 Audi Ag Verfahren zum Betreiben einer Bedienvorrichtung eines Kraftfahrzeugs bei einer Mehrfingerbedienung
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9880735B2 (en) * 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR101762277B1 (ko) * 2015-12-04 2017-07-31 주식회사 하이딥 화면 표시 방법 및 이를 수행하는 터치스크린을 포함하는 단말기
US10296091B2 (en) * 2016-10-13 2019-05-21 Immersion Corporation Contextual pressure sensing haptic responses

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101071165B1 (ko) * 2009-08-04 2011-10-10 이성호 터치입력 인식방법 및 장치
KR20110088930A (ko) * 2010-01-29 2011-08-04 주식회사 팬택 멀티 디스플레이 장치 및 그 제어 방법
KR20130088861A (ko) * 2010-11-03 2013-08-08 퀄컴 인코포레이티드 힘 감지 터치 스크린
KR20140089224A (ko) * 2013-01-04 2014-07-14 삼성전자주식회사 터치 입력에 기초하여 동작을 실행하는 디바이스 및 동작 실행 방법
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
KR20170029757A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법

Also Published As

Publication number Publication date
KR102406072B1 (ko) 2022-06-10
US20200150828A1 (en) 2020-05-14
KR20180135727A (ko) 2018-12-21
US11029797B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
WO2018230905A1 (ko) 압력 입력을 제어하는 전자 장치 및 방법
WO2018043998A1 (ko) 전자 장치 및 그 제어 방법
WO2018026192A1 (en) Electronic device comprising force sensor
WO2018074877A1 (en) Electronic device and method for acquiring fingerprint information
WO2017061762A1 (ko) 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
WO2018034555A1 (ko) 디스플레이를 제어하는 전자 장치 및 방법
EP3096210B1 (en) Method and apparatus for processing input using touch screen
WO2016175452A1 (en) Fingerprint information processing method and electronic device supporting the same
WO2018143624A1 (ko) 디스플레이 제어 방법, 저장 매체 및 전자 장치
US10732805B2 (en) Electronic device and method for determining a selection area based on pressure input of touch
WO2018131932A1 (ko) 전자 장치의 사용 환경에 따른 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2016175602A1 (en) Electronic device for providing short-cut user interface and method therefor
WO2018008883A1 (en) Electronic apparatus and operating method thereof
WO2018026155A1 (en) Method and electronic device for recognizing touch
WO2018038368A1 (ko) 디스플레이 장치, 디스플레이 장치를 포함하는 전자 장치 및 그 압력 감지 방법
WO2016093419A1 (ko) 시선 캘리브레이션 방법 및 그 전자 장치
EP3469468A1 (en) Method and electronic device for recognizing touch
WO2018128509A1 (en) Electronic device and method for sensing fingerprints
US10877588B2 (en) Electronic apparatus comprising force sensor and method for controlling electronic apparatus thereof
WO2017026821A1 (ko) 전자 장치 및 전자 장치의 입력 방법
WO2018016722A2 (ko) 압력 입력을 이용한 사용자 인터페이스 제공 방법 및 이를 구현한 전자 장치
WO2017119690A1 (ko) 전자 장치 및 그 동작 방법
WO2018164387A1 (ko) 복수의 신호선들을 포함하는 기판 및 이를 포함하는 전자 장치
WO2016163826A1 (en) Method and apparatus for operating sensor of electronic device
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18818093

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18818093

Country of ref document: EP

Kind code of ref document: A1