WO2017014475A1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2017014475A1
WO2017014475A1 PCT/KR2016/007536 KR2016007536W WO2017014475A1 WO 2017014475 A1 WO2017014475 A1 WO 2017014475A1 KR 2016007536 W KR2016007536 W KR 2016007536W WO 2017014475 A1 WO2017014475 A1 WO 2017014475A1
Authority
WO
WIPO (PCT)
Prior art keywords
display area
touch
main display
electronic device
processor
Prior art date
Application number
PCT/KR2016/007536
Other languages
English (en)
French (fr)
Inventor
박정록
조시연
김대현
노완호
박진형
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020150168552A external-priority patent/KR20170009688A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2017014475A1 publication Critical patent/WO2017014475A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device having a touch display including a main display area and a plurality of auxiliary display areas positioned on a side of the main display area, and a control method thereof. It is about.
  • a wearable electronic device worn and operated by a user such as a smart watch
  • the wearable electronic device has a problem in that the user always has a high portability but a small touch display.
  • the present disclosure has been made to solve the above-described problem, and an object of the present disclosure is to provide a UI for inputting a character to a plurality of auxiliary display areas of a touch display, thereby allowing a user to perform text input more conveniently and intuitively.
  • An electronic device and a control method thereof are provided.
  • an electronic device includes a touch display including a main display area and a plurality of auxiliary display areas positioned on side surfaces of the main display area; And controlling the touch display to provide a UI for inputting text to the plurality of sub display areas of the touch display, and when a touch interaction for the UI is input, inputs the input characters according to the touch interaction. And a processor for controlling the touch display to provide the main display area.
  • the touch display may be integrally extended from the main display area and bent toward the first side of the main display area and integrally extended from the main display area and the first curved auxiliary display area smaller than the main display area.
  • the display device may include a second curved auxiliary display area that is bent to a second side of the display area and smaller than the main display area.
  • the UI may include a plurality of UI elements, and each of the plurality of UI elements may correspond to at least one character.
  • the processor may provide a UI element corresponding to a collection among the plurality of UI elements to the first curved auxiliary display area, and provide a UI element corresponding to a consonant among the plurality of UI elements in the second curved auxiliary display area.
  • the touch display can be controlled to provide to.
  • the processor may provide a character corresponding to the touched UI element to the main display area when a user touch of one of the plurality of UI elements is detected and swipes toward the main display area. To control the touch display.
  • the processor may delete a character provided in the main display area when a user touch is swiped in a predetermined direction in the main display area.
  • the processor may execute a specific application according to the user touch when a user touch for simultaneously swiping the first curved auxiliary display area and the second curved auxiliary display area is detected.
  • the processor may execute a camera application according to the user touch when a user touch for simultaneously swiping the first curved auxiliary display area and the second curved auxiliary display area in a left and right direction is detected.
  • the processor may detect a direction of the electronic device while the camera application is running and display a live view image on at least a portion of the main display area and the plurality of auxiliary display areas based on the detected direction of the electronic device.
  • the touch display may be controlled to display the touch screen.
  • a control method of an electronic device having a touch display including a main display area and a plurality of auxiliary display areas located on the side of the main display area, Providing a UI for text input in the plurality of auxiliary display regions of the touch display; And when a touch interaction with respect to the UI is input, providing a character input according to the touch interaction to the main display area of the touch display.
  • the touch display may be integrally extended from the main display area and bent toward the first side of the main display area and integrally extended from the main display area and the first curved auxiliary display area smaller than the main display area.
  • the display device may include a second curved auxiliary display area bent to a second side of the display area and smaller than the main display area.
  • the UI may include a plurality of UI elements, and each of the plurality of UI elements may correspond to at least one character.
  • the providing of the UI may include providing a UI element corresponding to a collection among the plurality of UI elements to the first curved auxiliary display area, and displaying a UI element corresponding to a consonant among the plurality of UI elements. It may be provided to the curved auxiliary display area.
  • the main display area when a user touch of one of the plurality of UI elements is swiped and then swipe toward the main display area is detected, a character corresponding to the touched UI element is detected.
  • the main display area may be provided.
  • the method may further include deleting a character provided in the main display area when a user touch is swiped in a predetermined direction in the main display area.
  • the method may further include executing a specific application according to the user touch when a user touch for simultaneously swiping the first curved auxiliary display area and the second curved auxiliary display area is detected.
  • the executing may include executing a camera application according to the user touch when a user touch for simultaneously swiping the first curved auxiliary display area and the second curved auxiliary display area in a left and right direction is detected.
  • the method may further include detecting a direction of the electronic device while the camera application is running; The method may further include displaying a live view image on at least a portion of the main display area and the plurality of auxiliary display areas based on the detected direction of the electronic device.
  • a user may more conveniently input text and execute various functions by using the auxiliary display area of the electronic device.
  • FIG. 1 is a block diagram schematically illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • FIGS. 2A-2C illustrate types of touch displays, according to various embodiments of the present disclosure
  • FIG. 3 is a block diagram illustrating a configuration of an electronic device in detail according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of a software configuration of an electronic device according to an embodiment of the present disclosure
  • 5A to 10 are diagrams for describing an embodiment of performing various functions using an auxiliary display area of an electronic device according to various embodiments of the present disclosure
  • FIG. 11 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented by hardware or software, or a combination of hardware and software.
  • the plurality of modules or the plurality of units may be integrated into at least one module except for the modules or units that need to be implemented with specific hardware, and are implemented as at least one processor (not shown). Can be.
  • the UI may include at least one of a configuration for receiving a user interaction and a configuration indicating notification information.
  • the UI may include a UI element, and the UI element may include elements for providing notification information as well as elements capable of interacting with the user and allowing feedback such as visual, audio, and olfactory according to a user input.
  • the UI element may be expressed in the form of at least one of an image, a text, and a video, or if there is an area in which the above information is not displayed but feedback is possible according to a user input, the area may be referred to as a UI element.
  • the electronic device 100 includes a touch display 110 and a processor 120.
  • the electronic device 100 of FIG. 1 may be a wearable device such as a smart watch, but this is only an example, and may be a TV, a PC, a laptop PC, a mobile phone, a tablet PC, a PDA, an MP3 player, a kiosk, an electronic photo frame, and the like. It may be implemented in various types of devices, such as a table display device.
  • the mobile terminal may be referred to as a portable terminal.
  • the touch display 110 outputs image data and receives a user touch.
  • the touch display 110 may include a main display area and a plurality of auxiliary display areas.
  • the main display area may mean an area disposed on the front surface of the electronic device 100, and the auxiliary display area may be disposed on the side of the main display area.
  • the main display area and the sub display area may be interpreted in different meanings. For example, a relatively large area of the two areas may be referred to as a main display area, and a small area may be defined as an auxiliary display area.
  • the touch display 110 may be implemented as a flexible display, and includes a main display area provided on the front surface of the electronic device 100 and a first curved surface extending from the main display area and bent to the first side of the electronic device 100.
  • the display device may be configured as a second curved auxiliary display area extending from the auxiliary display area and the main display area and bent to the second side surface of the electronic device 100.
  • the first auxiliary display area and the second auxiliary display area may include only a portion which is bent and fixed in the side direction of the electronic device 100, but this is only an example and may correspond to the side direction of the electronic device 100. It may include not only a bent and fixed portion but also a flat portion located in front of the electronic device 100.
  • an area of each of the sub display areas may be smaller than that of the main display area.
  • the plurality of curved display areas may form different surfaces from the main display area.
  • the plurality of auxiliary display areas may include a right side surface, among the surfaces forming the appearance of the electronic device 100. It may be disposed on different surfaces such as a left side surface, an upper side surface, a lower side surface, and the like.
  • the surface including the main display area and the surface including the at least one auxiliary display area may be fixed to form an obtuse angle.
  • the shape, location, and number of auxiliary display areas may be variously implemented according to embodiments.
  • the auxiliary display area when the auxiliary display area is located on the side surface of the surfaces forming the appearance of the electronic device 100, the auxiliary display area may be referred to as an edge area. Also, the auxiliary display area may be modified in various terms, such as a sub area and a side area, according to an exemplary embodiment.
  • FIGS. 2A to 2C are diagrams illustrating examples of external appearance of an electronic device 100 including a touch display 110 divided into a main display area 111 and two sub display areas 113-1 and 113-2. to be.
  • the main display area 111 is disposed on the front surface, and the auxiliary display areas 113-1 and 113-2 are disposed on the upper side and the lower side, respectively.
  • the main display area 111 and the sub display areas 113-1 and 113-2 are divided by boundary lines 115-1 and 115-2.
  • each of the auxiliary display regions 113-1 and 113-2 may be disposed at an obtuse angle with the main display region 111 so as to be viewed from the front direction.
  • the curved auxiliary display area is only an example, and the auxiliary display area may be implemented in other forms. For example, according to FIG.
  • the main display area 111 and the plurality of auxiliary display areas 113-1 and 113-2 may be disposed on one surface. That is, one display may be divided into a main display area 111 and two sub display areas 113-1 and 113-2 through the boundary surfaces 115-1 and 115-2.
  • the first auxiliary display area 113-1 of the plurality of auxiliary display areas 113-1 and 113-2 may be disposed on the same plane as the main display area 111, and the second The auxiliary display area 113-2 may be bent to the lower side of the main display area 111.
  • the touch display 110 displays a UI for inputting characters in the auxiliary display areas 113-1 and 113-2.
  • the UI may include a plurality of UI elements, and each of the plurality of UI elements may correspond to at least one character.
  • the processor 120 controls the overall operation of the electronic device 100 using the main display area and the plurality of auxiliary display areas of the touch display 100.
  • the processor 120 may provide the touch display 110 to provide a UI for text input to the plurality of auxiliary display areas 113-1 and 113-2 of the touch display 110. Can be controlled.
  • the processor 120 may provide various types of UIs according to a type of language or a text input method. This will be described later.
  • the processor 120 provides a UI element corresponding to a collection among a plurality of UI elements to the first curved auxiliary display area 113-1, and provides a UI element corresponding to a consonant among the plurality of UI elements to a second curved auxiliary surface.
  • the touch display 110 may be controlled to provide the display area 113-2.
  • the processor 120 touches the character corresponding to the touched UI element 110.
  • the touch display 110 may be controlled to provide the main display area 111 of FIG. This will be described later in detail with reference to the drawings.
  • the processor 120 may delete the input character.
  • the processor 120 may perform a space bar function.
  • the processor 120 may execute a specific application according to the user touch. For example, when a user touch for simultaneously swiping the first curved auxiliary display area 113-1 and the second curved auxiliary display area 113-2 in the right direction is detected, the processor 120 according to the user touch. You can run the camera application.
  • the processor 120 detects a direction of the electronic device 100 while the camera application is executed and based on the detected direction of the electronic device 100, the main display area 111 and the plurality of auxiliary display areas 113.
  • the touch display 110 may be controlled to display a live view image on at least some of the -1,113-2.
  • the electronic device 200 may include a memory 210, a GPS chip 220, a communication unit 230, a video processor 240, an audio processor 250, a button 260, a microphone unit 270,
  • the camera 280 includes a speaker 290, a touch display 300, a sensor 310, and a processor 320.
  • the memory 210 may store various programs and data necessary for the operation of the electronic device 200. Specifically, the memory 210 may store programs, data, and the like for configuring various screens to be displayed in the main display area and the sub display area.
  • the processor 320 displays contents in each of the main display area and the sub display area of the touch display 300 using the programs and data stored in the memory 210. In other words, the processor 320 may control the touch display 300 to display content. In particular, the processor 320 may display a UI for text input on the auxiliary display area of the touch display 300. In addition, when a user touch is made to a boundary line corresponding to a main display area, an auxiliary display area, and a boundary therebetween, the processor 320 performs a control operation corresponding to the touch.
  • the GPS chip 220 is a component for receiving a GPS signal from a global positioning system (GPS) satellite and calculating a current position of the electronic device 200.
  • the processor 320 may calculate the user location using the GPS chip 220 when using a navigation program or when the current location of the user is required.
  • GPS global positioning system
  • the communication unit 230 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the communication unit 230 includes a Wi-Fi chip 231, a Bluetooth chip 232, a wireless communication chip 233, an NFC chip 234, and the like.
  • the processor 320 communicates with various external devices using the communication unit 230.
  • the Wi-Fi chip 231 and the Bluetooth chip 232 communicate with each other by WiFi and Bluetooth.
  • various connection information such as SSID and session key may be transmitted and received first, and then various communication information may be transmitted and received using the same.
  • the wireless communication chip 233 refers to a chip that performs communication according to various communication standards such as IEEE, zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evoloution (LTE), and the like.
  • the NFC chip 234 refers to a chip operating in a near field communication (NFC) scheme using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the video processor 240 is a component for processing video data included in content received through the communication unit 230 or content stored in the memory 210.
  • the video processor 240 may perform various image processing such as decoding, scaling, noise filtering, frame rate conversion, resolution conversion, and the like on the video data.
  • the audio processor 250 is a component for processing audio data included in content received through the communication unit 230 or content stored in the memory 210.
  • the audio processor 250 may perform various processing such as decoding, amplification, noise filtering, and the like on the audio data.
  • the processor 320 may drive the video processor 240 and the audio processor 250 to play the content.
  • the touch display 300 may display an image frame generated by the video processor 340 in at least one of the main display area and the sub display area.
  • the speaker 290 outputs audio data generated by the audio processor 250.
  • the button 260 may be various types of buttons such as a mechanical button, a touch pad, a wheel, and the like formed in an arbitrary area such as a front part, a side part, a back part, etc. of the main body of the electronic device 200.
  • the microphone 270 is a component for receiving a user voice or other sound and converting the same into audio data.
  • the processor 320 may use a user's voice input through the microphone unit 270 in a call process or convert the user's voice into audio data and store it in the memory 210.
  • the camera 280 is a component for capturing a still image or a moving image under the control of a user.
  • the camera 280 may be implemented in plurality, such as a front camera, a rear camera, and a side camera. As described above, the camera 280 may be used as a means for acquiring an image of the user in an embodiment for tracking the gaze of the user.
  • the processor 320 may perform a control operation according to a user voice input through the microphone 270 or a user motion recognized by the camera 280. That is, the electronic device 200 may operate in a motion control mode or a voice control mode. When operating in the motion control mode, the processor 320 activates the camera 280 to photograph the user, tracks the user's motion change, and performs a control operation corresponding thereto. When operating in the voice control mode, the processor 320 may operate in a voice recognition mode that analyzes a user voice input through the microphone 270 and performs a control operation according to the analyzed user voice.
  • a voice recognition technology or a motion recognition technology may be used in the above-described various embodiments. For example, when a user takes a motion as if selecting an object displayed on a home screen or pronounces a voice command corresponding to the object, it may be determined that the object is selected and a control operation matched to the object may be performed. .
  • the touch display 300 may be divided into a main area and a plurality of sub display areas.
  • the touch display 300 may be implemented as various types of displays such as a liquid crystal display (LCD), an organic light emitting diodes (OLED) display, a plasma display panel (PDP), and the like.
  • the touch display 300 may also include a driving circuit, a backlight unit, and the like, which may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, an organic TFT (OTFT), or the like.
  • the touch display 300 may be implemented as a touch screen in combination with a touch sensor included in the sensor 310.
  • the touch sensor may include at least one of a touch panel and a pen recognition panel.
  • the touch panel may detect a user's finger gesture input and output a touch event value corresponding to the detected touch signal.
  • the touch panel may be mounted under both the main sub region and the sub display area of the touch display 300 or may be mounted only under the sub display area of the touch display 300.
  • the touch panel detects a user's finger gesture input may be a capacitive type or a pressure sensitive type.
  • the electrostatic type is a method of calculating touch coordinates by sensing fine electricity generated by a user's human body.
  • the pressure-sensitive type includes two electrode plates embedded in the touch panel and calculates touch coordinates by detecting that the upper and lower plates of the touched point are in contact with each other so that current flows.
  • the pen recognition panel detects a user's pen gesture input according to the operation of the user's touch pen (eg, a stylus pen or a digitizer pen), and outputs a pen proximity event value or a pen touch event value. can do.
  • the pen recognition panel may be mounted under at least one of the main area and the plurality of auxiliary display areas of the touch display 300.
  • the pen recognition panel may be implemented by, for example, an EMR method, and detect a touch or a proximity input according to a change in the intensity of the electromagnetic field due to the proximity or touch of the pen.
  • the pen recognition panel includes an electromagnetic induction coil sensor (not shown) having a grid structure and an electronic signal processor (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor.
  • an electromagnetic induction coil sensor (not shown) having a grid structure
  • an electronic signal processor (not shown) that sequentially provides an AC signal having a predetermined frequency to each loop coil of the electromagnetic induction coil sensor.
  • the electronic device 200 has been described as being implemented as a flexible display including a main display area and a plurality of auxiliary display areas.
  • this is only an example and may include a plurality of general displays.
  • the main display area and the plurality of sub display areas can be configured using the?.
  • a plurality of displays may be connected to each other to form a curved display.
  • the sensor 310 detects various states and user interactions of the electronic device 200.
  • the sensor 310 may detect a holding state in which the user is holding the electronic device 200.
  • the electronic device 200 may be rotated or tilted in various directions.
  • the sensor 310 may detect a tilt of the electronic device 100 held by the user based on the rotational movement or the gravity direction using at least one of various sensors such as a geomagnetic sensor, a gyro sensor, an acceleration sensor, and the like. Can be.
  • the sensor 310 may detect the touch area and the grip pressure distribution of the auxiliary display area.
  • the processor 320 includes a RAM 321, a ROM 322, a CPU 323, a graphics processing unit (GPU) 324, and a bus 325.
  • the RAM 321, the ROM 322, the CPU 323, and the Graphic Processing Unit (GPU) 324 may be connected to each other through the bus 325.
  • the CPU 323 accesses the memory 210 and performs booting using an operating system stored in the memory 210. In addition, various operations are performed using various programs, contents, data, etc. stored in the memory 210.
  • the ROM 322 stores a command set for system booting.
  • the CPU 323 copies the O / S stored in the memory 210 to the RAM 321 according to the command stored in the ROM 322, and executes the O / S to execute the system.
  • Boot up When the booting is completed, the CPU 323 copies various programs stored in the memory 210 to the RAM 321 and executes the programs copied to the RAM 321 to perform various operations.
  • the GPU 324 displays a UI screen in an activated area of the main area and the auxiliary display area.
  • the GPU 324 may generate a screen including various objects such as an icon, an image, and a text by using a calculator (not shown) and a renderer (not shown).
  • the calculator calculates attribute values such as coordinates, shapes, sizes, and colors for displaying the objects according to the layout of the screen.
  • the renderer generates screens of various layouts including objects based on the attribute values calculated by the calculator.
  • the screen generated by the renderer is provided to the touch display 300 and displayed on the main area and the sub display area, respectively.
  • various external input ports for connecting to a USB port through which a USB connector may be connected in the electronic device 200, or various external terminals such as a headset, a mouse, and a LAN may be used.
  • it may further include a DMB chip, various sensors, etc. to receive and process a Digital Multimedia Broadcasting (DMB) signal.
  • DMB Digital Multimedia Broadcasting
  • the memory 210 may store software including an OS 410, a kernel 420, middleware 430, an application 440, and the like.
  • An operating system (OS) 410 performs a function of controlling and managing overall operations of hardware.
  • the OS 410 is a layer that performs basic functions such as hardware management, memory, and security.
  • the kernel 420 serves as a path for transmitting various signals including the touch signal sensed by the sensor 310 to the middleware 430.
  • the middleware 430 includes various software modules for controlling the operation of the electronic device 200.
  • the middleware 430 includes an X11 module 430-1, an APP manager 430-2, a connection manager 430-3, a security module 430-4, a system manager 430-5,
  • the multimedia framework 430-6, the UI framework 430-7, the window manager 430-8, and the handwriting recognition module 430-9 are included.
  • the X11 module 430-1 is a module that receives various event signals from various hardware included in the electronic device 200.
  • the event may be variously set, such as an event in which a user gesture is detected, an event in which a system alarm occurs, an event in which a specific program is executed or terminated, and the like.
  • the APP manager 430-2 is a module that manages execution states of various applications 440 installed in the memory 210. When the application execution event is detected from the X11 module 430-1, the APP manager 430-2 calls and executes an application corresponding to the event.
  • connection manager 430-3 is a module for supporting a wired or wireless network connection.
  • the connection manager 430-3 may include various detailed modules such as a DNET module and a UPnP module.
  • the security module 430-4 is a module supporting certification, request permission, secure storage, and the like for hardware.
  • the system manager 430-5 monitors the state of each component in the electronic device 200, and provides the monitoring result to other modules. For example, when the battery level is low, or when an error occurs, when the communication connection state is lost, the system manager 430-5 sends the monitoring result to the main UI framework 430-7 or the subUI frame. Provided to the walk (430-9) can output a notification message or notification sound.
  • the multimedia framework 430-6 is a module for playing multimedia content stored in the electronic device 200 or provided from an external source.
  • the multimedia framework 430-6 may include a player module, a camcorder module, a sound processing module, and the like. Accordingly, an operation of reproducing and reproducing a screen and sound by reproducing various multimedia contents may be performed.
  • the main UI framework 430-7 is a module for providing various UIs to be displayed on the main display area of the touch display 300, and the sub UI framework 430-9 is used to display various UIs to be displayed on the auxiliary display area. Module to provide.
  • the main UI framework 430-7 and the sub UI framework 430-9 include an image compositor module constituting various objects, a coordinate synthesizer for calculating coordinates at which the object is to be displayed, and coordinates for calculating the configured object.
  • a 2D / 3D UI toolkit that provides a tool for constructing a UI in 2D or 3D form, and a rendering module for rendering.
  • the window manager 430-8 may detect a touch event or other input event using a user's body or a pen. When such an event is detected, the window manager 430-8 transmits an event signal to the main UI framework 430-7 or the sub UI framework 430-9 to perform an operation corresponding to the event.
  • a pitch module, a roll angle, a yaw angle, or the like is calculated based on a writing module for drawing a line according to the drag trajectory or a sensor value detected by the sensor 310.
  • Various program modules may be stored, such as an angle calculation module.
  • the application module 440 includes applications 440-1 through 440-n to support various functions.
  • it may include a program module for providing various services such as a navigation program module, a game module, an e-book module, a calendar module, an alarm management module, and the like.
  • These applications may be installed by default, or may be arbitrarily installed and used by a user during use.
  • the CPU 423 may execute an application corresponding to the selected object by using the application module 440.
  • the memory 210 includes a sensing module for analyzing signals sensed by various sensors, a messaging module such as a messenger program, a short message service (SMS) & multimedia message service (MMS) program, an e-mail program, and a phone information collector.
  • SMS short message service
  • MMS multimedia message service
  • e-mail e-mail
  • phone information collector e.g., phone information collector
  • Various programs may be additionally provided, such as a program module, a VoIP module, a web browser module, and the like.
  • the electronic device 200 may be implemented as various types of devices such as a mobile phone, a tablet PC, a laptop PC, a PDA, an MP3 player, an electronic picture frame device, a TV, a PC, a kiosk, and the like. Therefore, the configuration described with reference to FIGS. 3 and 4 may be variously modified according to the type of the electronic device 200.
  • the processor 320 may control the touch display 300 to provide a UI for text input in the plurality of auxiliary display areas.
  • the processor 320 may display FIG. 5B.
  • the touch display 300 may be controlled to provide a UI for text input in the plurality of auxiliary display regions 520-1 and 520-2.
  • the situation in which the character input is required is described as the situation in which the character input window 505 is displayed.
  • this is only an example and may be determined as a situation in which the character input is required in other situations.
  • various situations such as a situation for entering a phone number and a situation for entering a text message, may be determined as a situation in which text input is required.
  • the UI for text input includes a plurality of UI elements as shown in FIG. 5B, and each UI element may correspond to at least one letter, symbol, or function.
  • the first UI element may correspond to “.”, “,”, “?", “!
  • the second UI element may correspond to "a", “b", and “c”.
  • the third UI element may correspond to “d”, “e” and “f”
  • the fourth UI element may correspond to “g”, “h” and “i”
  • the fifth UI element May correspond to “j”, “k” and “l”
  • the sixth UI element may correspond to “m”, “n” and “o”
  • the seventh UI element may correspond to “p”, ” q “,” r “, and” s ".
  • the eighth UI element may correspond to" t “,” u “, and” v.
  • the ninth UI element may correspond to" w “and” x. " , “y”, “z”, and the tenth UI element may correspond to the "enter” function.
  • the character array shown in Figure 5b is only one embodiment, other character array can be applied to the present invention.
  • the processor 320 may input a character according to a user touch input through the UI displayed on the plurality of auxiliary display areas 520-1 and 520-2.
  • the processor 320 may detect the user's touch. A character corresponding to the touched UI element may be input.
  • the processor 320 may input characters through touch input and swipe input.
  • the processor 320 may display the fourth UI through the sensor 310 as illustrated in FIG. 5C. A user's touch on an element can be detected.
  • the processor 320 may display FIG. 5E. As shown in FIG. 2, "g" may be input to the text input window 505. In this case, when the user touches the fourth UI element once, the processor 320 may control the touch display 300 to provide an indicator indicating that "g" is selected for the fourth UI element.
  • the processor 320 may detect the user's touch. "h” may be input to the character input window 505. In this case, when the user touches the fourth UI element once, the processor 320 may control the touch display 300 to provide an indicator indicating that "h" is selected for the fourth UI element.
  • the processor 320 may detect a user touch. "i" may be input to the text input window 505. In this case, when the user touches the fourth UI element once, the processor 320 may control the touch display 300 to provide an indicator indicating that "i" is selected for the fourth UI element.
  • the user may input text with one hand through the touch input and the swipe input, and the text input may be performed without covering the main display area 510. It can also have an entertaining element that bounces the abacus through the swipe input.
  • the processor 320 may perform various character input functions according to a user touch input to the main display area while the UI for text input is displayed on the plurality of auxiliary display areas.
  • a swipe input in a left direction after touching an area of the main display area 610 is performed. If 630 is detected, the processor 320 may delete the most recently input character. At this time, if a swipe input is detected more than a predetermined number of times, the processor 320 may delete all the input characters.
  • a swipe input 640 in a right direction after touching an area of the main display area 610 is performed. If detected, the processor 320 may perform a space function corresponding to a space bar.
  • the delete function and the space bar function have been described, but this is only an example, and various functions such as a copy function and a cut function may be performed according to a user input input to the main display area. .
  • the UI for text input is described as being English. However, this is only an example, and the UI for text input may be another language. For example, as illustrated in FIGS. 7A and 7B, a UI for inputting Korean may be provided.
  • FIG. 7A displays a UI for inputting Korean in a narrative manner.
  • a UI element for inputting a consonant in Korean is provided with a UI element for inputting a consonant in the first auxiliary display area 720-1 and a UI for inputting a vowel in the second auxiliary display area 720-2.
  • the element can be placed.
  • a UI for Korean input in a celestial manner is displayed.
  • auxiliary display areas may display a UI for inserting various texts such as numbers and special symbols instead of characters.
  • the processor 320 may execute a preset application according to the user touch.
  • the processor 320 may execute the camera application and control the touch display 810 to display a live view image as shown in FIG. 8B.
  • the processor 320 may execute another application according to the position of the sub display area where the swipe input is detected or the direction of the swipe input.
  • the processor displays the processor.
  • 320 may execute the telephone application.
  • the processor 320 may execute a schedule application.
  • the processor 320 may execute a memo application.
  • the type of the user touch for quick application execution is described as a swipe input.
  • this is only an example and may be applied to another touch such as a long press input for touching the auxiliary display area for a predetermined time.
  • the application executed according to the user touch may be set at the time of manufacture, but this is only an embodiment and may be set by the user.
  • the processor 320 detects the direction of the electronic device 200 through the sensor 310 while the camera application is running, and at least one of the main display area and the plurality of auxiliary display areas based on the detected direction of the electronic device.
  • the touch display 300 may be controlled to display a live view image on a portion. In an embodiment of the present disclosure, as shown in FIG. 9A, the touch display 300 divides the main display area into two, and thus, the first main display area 910-1 and the second main display area 910-2. ), A first auxiliary display area 920-1 and a second auxiliary display area 920-2.
  • the processor 320 may detect the direction of the electronic device 200. In this case, the processor 320 may detect the direction of the electronic device 200 through the motion sensor, but this is only an example. The processor 320 captures a user's eye by using the camera 280 to capture the user's gaze. By detecting, the direction of the electronic device 200 may be detected.
  • the processor 320 may control the touch display 300 to display a live view image on at least a portion of the touch display 300 according to the orientation of the electronic device 200.
  • the processor 320 displays a live view image on the first main display area 910-1 and the second main display area 910-2, as shown in FIG. 9B.
  • the touch display 300 may be controlled.
  • the processor 320 may display the first main display area 910-1.
  • the touch display 300 to display the live view image on the first auxiliary display area 920-1.
  • the processor 320 may include the second main display area 910-2 and the second auxiliary display area.
  • the touch display 300 may be controlled to display a live view image at 920-2. That is, the processor 320 may control the touch display 300 to detect a change in posture of the electronic device 200 and to display the live view image by moving another area of the touch display 300.
  • the live view image is moved according to the direction of the electronic device 200.
  • images for example, a web page image and a message window screen
  • Etc. may move along the direction of the electronic device 200.
  • the user can more conveniently check the live view image and take a picture.
  • the processor 320 may display a plurality of live view images captured by the plurality of cameras in the plurality of main display areas. Can be controlled. In detail, as illustrated in FIG. 10, the processor 320 displays a live view image captured by the first camera in the first main display area 1010-1, and the second main display area 1010-2. ), The touch display 300 may be controlled to display a live view image captured by the second camera.
  • the first auxiliary display area 1020-1 may display a UI for capturing a live view image displayed on the first camera
  • the second auxiliary display area 1020-2 may be displayed on the second camera.
  • a UI for capturing a live view image may be displayed.
  • the main display area 1010 of the electronic device As described above, by dividing the main display area 1010 of the electronic device into a plurality of areas and capturing a plurality of live view images, it is possible to take a picture in more various environments.
  • the electronic device 100 may include a touch display including a main display area and a plurality of auxiliary display areas positioned on side surfaces of the main display area.
  • the electronic device 100 provides a UI for text input on a plurality of auxiliary display areas of the touch display in operation S1110.
  • the UI for text input includes a plurality of UI elements, and each of the plurality of UI elements may correspond to at least one letter, number, symbol, or special character.
  • the electronic device 100 determines whether a touch interaction is input through the UI.
  • the touch interaction may be a swipe interaction that touches one of the plurality of UI elements and swipes toward the main display area.
  • the electronic device 100 When a touch interaction is input through the UI (S1120-Y), the electronic device 100 inputs a character according to the touch interaction (S1130). That is, the electronic device 100 may provide the input text according to the touch interaction to the main display area 111 of the touch display 110.
  • a user may more conveniently input text using the auxiliary display area of the electronic device 100 without disturbing viewing of the main display area.
  • control method of the electronic device may be implemented as a program and provided to a display device or an input device.
  • the program including the control method of the display apparatus may be stored and provided in a non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 전자 장치 및 이의 제어 방법이 제공된다. 본 전자 장치는 메인 표시영역 및 상기 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이 및 터치 디스플레이 중 복수의 보조 표시 영역에 문자 입력을 위한 UI를 제공하도록 터치 디스플레이를 제어하고, UI에 대한 터치 인터렉션이 입력되면, 터치 인터렉션에 따라 입력된 문자를 터치 디스플레이 중 메인 표시영역에 제공하도록 터치 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로서, 더욱 상세하게는, 메인 표시영역 및 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이를 구비하는 전자 장치 및 이의 제어 방법에 관한 것이다.
근래에는 다양한 전자 장치가 제공되고 있다. 특히, 스마트 워치와 같이 사용자가 착용하여 조작하는 웨어러블형 전자 장치가 제공되고 있다. 이러한 웨어러블형 전자 장치는 사용자가 항상 소지하여 휴대성이 높으나 터치 디스플레이가 작다는 문제점이 존재한다.
이러한 소형의 터치 디스플레이를 가지는 웨어러블형 전자 장치를 통해 문자를 입력하기에는 몇몇의 문제점이 존재한다. 특히, 터치 디스플레이의 크기가 작기 때문에 문자를 입력하기 위한 키보드 UI의 크기가 작다. 따라서, 작은 크기의 키보드 UI로 인해 사용자의 문자 입력 속도가 느릴 뿐 아니라 문자 입력시 잘못된 문자키를 터치할 가능성이 커져 사용자가 원활히 문자를 입력할 수 없는 문제점이 존재한다. 또한, 작은 터치 스크린에 키보드 UI가 디스플레이된 경우, 화면의 대부분을 가리는 문제점이 존재하게 된다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 터치 디스플레이 중 복수의 보조 표시영역에 문자를 입력하기 위한 UI를 제공하여 사용자가 더욱 편리하고 직관적으로 문자입력을 수행할 수 있는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른, 전자 장치는 메인 표시영역 및 상기 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이; 및 상기 터치 디스플레이 중 상기 복수의 보조 표시 영역에 문자 입력을 위한 UI를 제공하도록 상기 터치 디스플레이를 제어하고, 상기 UI에 대한 터치 인터렉션이 입력되면, 상기 터치 인터렉션에 따라 입력된 문자를 상기 터치 디스플레이 중 메인 표시영역에 제공하도록 상기 터치 디스플레이를 제어하는 프로세서;를 포함한다.
그리고, 상기 터치 디스플레이는, 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제1 측으로 구부러지며 상기 메인 표시영역보다 작은 제1 곡면 보조 표시영역 및 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제2 측으로 구부러지며 상기 메인 표시영역보다 작은 제2 곡면 보조 표시영역을 포함할 수 잇다.
또한, 상기 UI는 복수의 UI 엘리먼트를 포함하고, 상기 복수의 UI 엘리먼트 각각은 적어도 하나의 문자에 대응될 수 있다.
그리고, 상기 프로세서는, 상기 복수의 UI 엘리먼트 중 모음에 대응되는 UI 엘리먼트를 상기 제1 곡면 보조 표시영역에 제공하며, 상기 복수의 UI 엘리먼트 중 자음에 대응되는 UI 엘리먼트를 상기 제2 곡면 보조 표시영역에 제공하도록 상기 터치 디스플레이를 제어할 수 있다.
또한, 상기 프로세서는, 상기 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 터치된 UI 엘리먼트에 대응되는 문자를 상기 메인 표시영역에 제공하도록 상기 터치 디스플레이를 제어할 수 있다.
그리고, 상기 프로세서는, 상기 메인 표시영역에 기설정된 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 메인 표시영역에 제공된 문자를 삭제할 수 잇다.
또한, 상기 프로세서는, 상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 특정 어플리케이션을 실행할 수 잇다.
그리고, 상기 프로세서는, 상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 좌우 방향으로 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 카메라 어플리케이션을 실행할 수 잇다.
또한, 상기 프로세서는, 상기 카메라 어플리케이션이 실행되는 동안 상기 전자 장치의 방향을 검출하고, 상기 검출된 전자 장치의 방향을 바탕으로 상기 메인 표시영역 및 상기 복수의 보조 표시영역 중 적어도 일부에 라이브 뷰 영상을 디스플레이하도록 상기 터치 디스플레이를 제어할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 메인 표시영역 및 상기 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이를 구비하는 전자 장치의 제어 방법은, 상기 터치 디스플레이 중 상기 복수의 보조 표시 영역에 문자 입력을 위한 UI를 제공하는 단계; 및 상기 UI에 대한 터치 인터렉션이 입력되면, 상기 터치 인터렉션에 따라 입력된 문자를 상기 터치 디스플레이 중 상기 메인 표시 영역에 제공하는 단계;를 포함한다.
그리고, 상기 터치 디스플레이는, 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제1 측으로 구부러지며 상기 메인 표시영역보다 작은 제1 곡면 보조 표시영역 및 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제2 측으로 구부러지며 상기 메인 표시영역보다 작은 제2 곡면 보조 표시영역을 포함할 수 있다.
또한, 상기 UI는 복수의 UI 엘리먼트를 포함하고, 상기 복수의 UI 엘리먼트 각각은 적어도 하나의 문자에 대응될 수 있다.
그리고, 상기 UI를 제공하는 단계는, 상기 복수의 UI 엘리먼트 중 모음에 대응되는 UI 엘리먼트를 상기 제1 곡면 보조 표시영역에 제공하며, 상기 복수의 UI 엘리먼트 중 자음에 대응되는 UI 엘리먼트를 상기 제2 곡면 보조 표시영역에 제공할 수 있다.
또한, 상기 메인 표시영역에 제공하는 단계는, 상기 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 터치된 UI 엘리먼트에 대응되는 문자를 상기 메인 표시영역에 제공할 수 있다.
그리고, 상기 메인 표시영역에 기설정된 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 메인 표시영역에 제공된 문자를 삭제하는 단계;를 더 포함할 수 있다.
또한, 상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 특정 어플리케이션을 실행하는 단계;를 더 포함할 수 있다.
그리고, 상기 실행하는 단계는, 상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 좌우 방향으로 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 카메라 어플리케이션을 실행할 수 있다.
또한, 상기 카메라 어플리케이션이 실행되는 동안 상기 전자 장치의 방향을 검출하는 단계; 상기 검출된 전자 장치의 방향을 바탕으로 상기 메인 표시영역 및 상기 복수의 보조 표시영역 중 적어도 일부에 라이브 뷰 영상을 디스플레이하는 단계;를 더 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 전자 장치의 보조 표시영역을 이용하여 더욱 편리하게 문자를 입력하고, 다양한 기능을 실행할 수 있게 된다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 간략히 도시한 블럭도,
도 2a 내지 도 2c는 본 개시의 다양한 실시예에 따른, 터치 디스플레이의 유형을 도시한 도면,
도 3은 본 개시의 일 실시 예에 따른, 전자 장치의 구성을 상세히 나타내는 블럭도,
도 4는 본 개시의 일 실시 예에 따른, 전자 장치의 소프트웨어 구성의 일 예를 나타내는 도면,
도 5a 내지 도 10은 본 개시의 다양한 실시예에 따른, 전자 장치의 보조 표시영역을 이용하여 다양한 기능을 수행하는 실시예를 설명하기 위한 도면들,
도 11은 본 발명의 일 실시예에 따른, 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 실시예에 있어서, UI(User interface)라 함은 사용자 인터렉션을 입력받기 위한 구성 및 알림 정보를 나타내는 구성 중 적어도 하나를 포함하는 것일 수 있다. 이때, UI는 UI 엘리먼트를 포함할 수 있으며, UI 엘리먼트는 사용자와 인터렉션이 가능하여 사용자 입력에 따라 시각적, 청각적, 후각적 등 피드백이 가능한 엘리먼트뿐만 아니라 알림 정보를 제공하는 엘리먼트를 포함할 수 있다. 이때, UI 엘리먼트는 이미지, 텍스트 및 동영상 중 적어도 하나의 형태로 표현되거나, 또는 상술한 정보가 디스플레이되지 않으나 사용자 입력에 따라 피드백이 가능한 일 영역이 있으면, 이 영역을 UI 엘리먼트라 할 수 있다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 다양한 실시 예를 설명하기 위한 전자 장치(100)의 기본 구성의 일 예를 나타내는 블록도이다. 도 1에 도시된 바와 같이, 전자 장치(100)는 터치 디스플레이(110) 및 프로세서(120)를 포함한다. 한편, 도 1의 전자 장치(100)는 스마트 워치와 같은 웨어러블 장치일 수 있으나, 이는 일 실시예에 불과할 뿐, TV, PC, 랩탑 PC, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 테이블 디스플레이 장치 등과 같이 다양한 유형의 장치로 구현될 수 있다. 휴대폰이나 태블릿 PC, PDA, MP3 플레이어, 랩탑 PC 등과 같이 휴대 가능한 유형의 장치로 구현되는 경우에는 휴대 단말로 명명할 수도 있으나, 본 명세서에서는 전자 장치로 통칭하여 설명한다.
터치 디스플레이(110)는 영상 데이터를 출력하고, 사용자 터치를 입력받는다. 특히, 터치 디스플레이(110)는 메인 표시영역과 복수의 보조 표시영역을 포함할 수 있다. 이때, 메인 표시영역은 전자 장치(100)의 전면에 배치된 영역을 의미하며, 보조 표시영역은 메인 표시영역의 측면에 배치될 수 있다. 여기서, 메인 표시영역과 보조 표시영역은 다른 의미로 해석될 수 있다. 일 예로, 두 영역 중 상대적으로 크기가 큰 영역을 메인 표시영역이라고 하고, 크기가 작은 영역을 보조 표시영역이라고 정의할 수 있다.
특히, 터치 디스플레이(110)는 플렉서블 디스플레이로 구현될 수 있으며, 전자 장치(100)의 전면에 구비된 메인 표시영역, 메인 표시영역으로부터 연장되어 전자 장치(100)의 제1 측면으로 구부러진 제1 곡면 보조 표시영역 및 메인 표시영역으로부터 연장되어 전자 장치(100)의 제2 측면으로 구부러진 제2 곡면 보조 표시영역으로 구성될 수 있다. 한편, 제1 보조 표시영역 및 제2 보조 표시영역은 전자 장치(100)의 측면 방향으로 구부러져 고정된 부분만을 포함할 수 있으나, 이는 일 실시예에 불과할 뿐, 전자 장치(100)의 측면 방향으로 구부러져 고정된 부분뿐만 아니라 전자 장치(100)의 정면에 위치한 평평한 부분을 일부 포함할 수 있다.
이때, 복수의 보조 표시영역 각각의 면적은 메인 표시영역보다는 작을 수 있다. 또한, 복수의 곡면 표시영역은 메인 표시영역과 상이한 면을 형성할 수 있다. 가령, 메인 표시영역이 전자 장치(100)의 전면(front surface)에 배치되었다면, 복수의 보조 표시영역은 전자 장치(100)의 외관을 이루는 면(surface)들 중에서 우측 면(right side surface), 좌측 면(left side surface), 상측 면(upper side surface), 하측 면(lower side surface) 등과 같이 서로 다른 면에 배치될 수 있다. 메인 표시영역을 포함하는 면과, 적어도 하나의 보조 표시영역을 포함하는 면은 둔각을 이루도록 고정될 수 있다. 보조 표시영역의 형태, 위치, 개수는 실시 예에 따라 다양하게 구현될 수 있다. 이에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다. 한편, 보조 표시영역이 전자 장치(100)의 외관을 이루는 면들 중 사이드 면에 위치하는 경우, 보조 표시영역을 엣지 영역이라 할 수 있다. 또한, 보조 표시영역은 실시예에 따라 서브 영역, 측면 영역 등과 같은 다양한 용어로 변형될 수 있다.
한편, 도 2a 내지 도 2c는 메인 표시영역(111) 및 두 개의 보조 표시영역(113-1,113-2)으로 구분되는 터치 디스플레이(110)를 포함하는 전자 장치(100)의 외관 구성 예를 나타내는 도면이다.
도 2a에 따르면, 메인 표시영역(111)은 전면에 배치되고, 상측면 및 하측면에 각각 보조 표시영역(113-1, 113-2)이 배치된다. 이때, 메인 표시영역(111)과 각 보조 표시영역(113-1, 113-2)은 경계 라인(115-1, 115-2)에 의해 구분된다. 그리고, 도 2a에 따르면, 각 보조 표시 영역(113-1,113-2)은 전면 방향에서 시청 가능하도록 메인 표시영역(111)과 둔각을 이루며 배치될 수 있다. 그러나, 이러한 곡면 형태의 보조 표시영역은 일 실시예에 불과할 뿐, 보조 표시영역이 다른 형태로도 구현될 수 있다. 예를 들어, 도 2b에 따르면, 메인 표시영역(111)과 복수의 보조 표시영역(113-1,113-2)는 하나의 면에 배치될 수 있다. 즉, 하나의 디스플레이가 경계면(115-1,115-2)을 통해 메인 표시영역(111) 및 두 개의 보조 표시영역(113-1,113-2)으로 구분될 수 있다. 또 다른 예로, 도 2c에 따르면, 복수의 보조 표시영역(113-1,113-2) 중 제1 보조 표시영역(113-1)은 메인 표시영역(111)과 동일한 면에 배치될 수 있으며, 제2 보조 표시영역(113-2)은 메인 표시영역(111)의 하측면으로 구부러져 배치될 수 있다.
특히, 터치 디스플레이(110)는 보조 표시영역(113-1,113-2)에 문자를 입력하기 위한 UI를 디스플레이한다. 이때, UI는 복수의 UI 엘리먼트를 포함하며, 복수의 UI 엘리먼트 각각은 적어도 하나의 문자와 대응될 수 있다.
프로세서(120)는 터치 디스플레이(100)의 메인 표시영역 및 복수의 보조 표시영역을 이용하여 전자 장치(100)의 전반적인 동작을 제어한다.
구체적으로, 문자 입력을 위한 상황이 감지되면, 프로세서(120)는 터치 디스플레이(110) 중 복수의 보조 표시 영역(113-1,113-2)에 문자 입력을 위한 UI를 제공하도록 터치 디스플레이(110)를 제어할 수 있다. 이때, 프로세서(120)는 언어의 유형 또는 문자 입력 방식에 따라 다양한 유형의 UI를 제공할 수 있다. 이에 대해서는 추후에 설명하기로 한다.
특히, 프로세서(120)는 복수의 UI 엘리먼트 중 모음에 대응되는 UI 엘리먼트를 제1 곡면 보조 표시영역(113-1)에 제공하며, 복수의 UI 엘리먼트 중 자음에 대응되는 UI 엘리먼트를 제2 곡면 보조 표시영역(113-2)에 제공하도록 터치 디스플레이(110)를 제어할 수 있다.
특히, 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역(111) 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 프로세서(120)는 터치된 UI 엘리먼트에 대응되는 문자를 터치 디스플레이(110)의 메인 표시영역(111)에 제공하도록 터치 디스플레이(110)를 제어할 수 있다. 이에 대해서는 추후에 도면을 참조하여 상세히 설명하기로 한다.
그리고, 메인 표시영역(111)에 기설정된 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 프로세서(120)는 입력된 문자를 삭제할 수 있다. 또한, 메인 표시영역(111)에 기설정된 방향의 반대 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(120)는 스페이스 바(space bar) 기능을 수행할 수 있다.
제1 곡면 보조 표시영역(113-1) 및 제2 곡면 보조 표시영역(113-2)을 동시에 스와이프하는 사용자 터치가 감지되면, 프로세서(120)는 사용자 터치에 따라 특정 어플리케이션을 실행할 수 있다. 예를 들어, 제1 곡면 보조 표시영역(113-1) 및 제2 곡면 보조 표시영역(113-2)을 오른쪽 방향으로 동시에 스와이프하는 사용자 터치가 감지되면, 프로세서(120)는 사용자 터치에 따라 카메라 어플리케이션을 실행할 수 있다.
또한, 프로세서(120)는 카메라 어플리케이션이 실행되는 동안 전자 장치(100)의 방향을 검출하고, 검출된 전자 장치(100)의 방향을 바탕으로 메인 표시영역(111) 및 복수의 보조 표시영역(113-1,113-2) 중 적어도 일부에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(110)를 제어할 수 있다.
도 3은 스마트 워치로 구현된 전자 장치(200)의 세부 구성의 일 예를 나타내는 블럭도이다. 도 3에 따르면, 전자 장치(200)는 메모리(210), GPS 칩(220), 통신부(230), 비디오 프로세서(240), 오디오 프로세서(250), 버튼(260), 마이크부(270), 카메라(280), 스피커(290), 터치 디스플레이(300), 센서(310), 프로세서(320)를 포함한다.
메모리(210)는 전자 장치(200)의 동작에 필요한 각종 프로그램 및 데이터를 저장할 수 있다. 구체적으로는, 메모리(210)에는 메인 표시영역 및 보조 표시영역에 표시될 각종 화면을 구성하기 위한 프로그램 및 데이터 등이 저장될 수 있다. 프로세서(320)는 메모리(210)에 저장된 프로그램 및 데이터를 이용하여 터치 디스플레이(300)의 메인 표시영역 및 보조 표시영역 각각에 컨텐츠를 표시한다. 다시 말해, 프로세서(320)는 터치 디스플레이(300)가 컨텐츠를 표시하도록 제어할 수 있다. 특히, 프로세서(320)는 터치 디스플레이(300)의 보조 표시영역에 문자 입력을 위한 UI를 디스플레이할 수 있다. 또한, 프로세서(320)는 메인 표시영역, 보조 표시영역 및 그 사이의 경계에 해당하는 경계 라인에 대하여 사용자 터치가 이루어지면, 그 터치에 대응되는 제어 동작을 수행한다.
GPS 칩(220)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 전자 장치(200)의 현재 위치를 산출하기 위한 구성요소이다. 프로세서(320)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(220)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(230)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신부(230)는 와이파이 칩(231), 블루투스 칩(232), 무선 통신 칩(233), NFC 칩(234) 등을 포함한다. 프로세서(320)는 통신부(230)를 이용하여 각종 외부 장치와 통신을 수행한다.
와이파이 칩(231), 블루투스 칩(232)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 칩(231)이나 블루투스 칩(232)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(233)은IEEE, 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(234)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(240)는 통신부(230)를 통해 수신된 컨텐츠 또는, 메모리(210)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리하기 위한 구성요소이다. 비디오 프로세서(240)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(250)는 통신부(230)를 통해 수신된 컨텐츠 또는, 메모리(210)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리하기 위한 구성요소이다. 오디오 프로세서(250)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
프로세서(320)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(240) 및 오디오 프로세서(250)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 그리고, 터치 디스플레이(300)는 비디오 프로세서(340)에서 생성한 이미지 프레임을 메인 표시영역 및 보조 표시영역 중 적어도 하나의 영역에 디스플레이할 수 있다. 또한, 스피커(290)는 오디오 프로세서(250)에서 생성한 오디오 데이터를 출력한다.
버튼(260)은 전자 장치(200)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
마이크(270)는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성이다. 프로세서(320)는 마이크 부(270)를 통해 입력되는 사용자 음성을 통화(call) 과정에서 이용하거나, 오디오 데이터로 변환하여 메모리(210)에 저장할 수 있다.
카메라(280)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(280)는 전면 카메라, 후면 카메라, 측면 카메라와 같이 복수 개로 구현될 수 있다. 상술한 바와 같이, 카메라(280)는 사용자의 시선 추적을 위한 실시 예에서 사용자의 이미지를 획득하기 위한 수단으로 사용될 수 있다.
카메라(280) 및 마이크(270)가 마련된 경우, 프로세서(320)는 마이크(270)를 통해 입력되는 사용자 음성이나 카메라(280)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 즉, 전자 장치(200)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 프로세서(320)는 카메라(280)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행한다. 음성 제어 모드로 동작하는 경우 프로세서(320)는 마이크(270)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수도 있다.
모션 제어 모드나 음성 제어 모드가 지원되는 전자 장치(200)에서는, 음성 인식 기술 또는 모션 인식 기술이 상술한 다양한 실시 예에 사용될 수 있다. 가령, 사용자가 홈 화면에 표시된 오브젝트를 선택하는 듯한 모션을 취하거나, 그 오브젝트에 대응되는 음성 명령어를 발음하는 경우, 해당 오브젝트가 선택된 것으로 판단하고, 그 오브젝트에 매칭된 제어 동작을 수행할 수 있다.
터치 디스플레이(300)는 상술한 바와 같이 메인 영역 및 복수의 보조 표시영역으로 구분될 수 있다. 터치 디스플레이(300)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 터치 디스플레이(300) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 터치 디스플레이(300)는 센서(310)에 포함된 터치 센서와 결합하여 터치 스크린으로 구현될 수 있다.
이때, 터치 센서는 터치 패널 및 펜 인식 패널 중 적어도 하나 이상을 포함할 수 있다. 터치 패널은 사용자의 손가락 제스처 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널은 터치 디스플레이(300)의 메인 보조영역 및 보조 표시영역 아래에 모두 실장될 수 있으며, 또는 터치 디스플레이(300)의 보조 표시영역 아래에만 실장될 수 있다. 터치 패널이 사용자의 손가락 제스처 입력을 감지하는 방식에는 정전식 방식과 감압식 방식이 있을 수 있다. 정전식은 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 패널에 내장된 두 개의 전극 판을 포함하여, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다.
펜 인식 패널은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 사용자의 펜 제스처 입력을 감지하고, 펜 근접 이벤트 값 또는 펜 터치 이벤트 값을 출력할 수 있다. 펜 인식 패널은 터치 디스플레이(300)의 메인 영역 및 복수의 보조 표시영역 중 적어도 하나의 아래에 실장될 수 있다. 펜 인식 패널은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다.
한편, 본 발명의 일 실시예에 따른, 전자 장치(200)는 메인 표시영역 및 복수의 보조 표시영역을 포함하는 플렉서블 디스플레이로 구현되는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 일반 디스플레이를 이용하여 메인 표시영역 및 복수의 보조 표시영역을 구성할 수 있다. 일반 디스플레이로 구현되는 경우, 복수의 디스플레이를 서로 연결하여 구부러진 형태의 디스플레이를 구성할 수 있다.
센서(310)는 전자 장치(200)의 다양한 상태 및 사용자 인터렉션을 감지한다. 특히, 센서(310)는 사용자가 전자 장치(200)를 파지하고 있는 파지 상태를 감지할 수 있다. 구체적으로, 전자 장치(200)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이때, 센서(310)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 움직임 또는 중력 방향을 기준으로 사용자가 파지하고 있는 전자 장치(100)의 기울기 등을 감지할 수 있다. 또한, 센서(310)는 보조 표시영역에 대한 터치 면적 및 그립 압력 분포를 감지할 수 있다.
프로세서(320)는 RAM(321), ROM(322), CPU(323), GPU(Graphic Processing Unit)(324), 버스(325)를 포함한다. RAM(321), ROM(322), CPU(323), GPU(Graphic Processing Unit)(324) 등은 버스(325)를 통해 서로 연결될 수 있다.
CPU(323)는 메모리(210)에 액세스하여, 메모리(210)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고 메모리(210)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(322)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, CPU(323)는 ROM(322)에 저장된 명령어에 따라 메모리(210)에 저장된 O/S를 RAM(321)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, CPU(323)는 메모리(210)에 저장된 각종 프로그램을 RAM(321)에 복사하고, RAM(321)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(324)는 전자 장치(200)의 부팅이 완료되면, 메인 영역 및 보조 표시영역 중에서 활성화된 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(324)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 연산부는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 터치 디스플레이(300)로 제공되어, 메인 영역 및 보조 표시영역에 각각 표시된다.
그 밖에, 도 3에 도시하지는 않았으나, 실시 예에 따라서는, 전자 장치(200) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있음은 물론이다.
한편, 상술한 바와 같이, 메모리(210)에는 다양한 프로그램이 저장될 수 있다. 도 4는 전자 장치(200)에 저장된 소프트웨어의 구조를 설명하기 위한 도면이다. 도 4에 따르면, 메모리(210)에는 OS(410), 커널(420), 미들웨어(430), 어플리케이션(440) 등을 포함하는 소프트웨어가 저장될 수 있다.
운영체제(Operating System: OS, 410)는 하드웨어의 전반적인 동작을 제어하고 관리하는 기능을 수행한다. 즉, OS(410)는 하드웨어 관리와 메모리, 보안 등의 기본적인 기능을 담당하는 계층이다.
커널(420)은 센서(310)에서 감지되는 터치 신호 등을 비롯한 각종 신호들을 미들웨어(430)로 전달하는 통로 역할을 한다.
미들웨어(430)는 전자 장치(200)의 동작을 제어하는 각종 소프트웨어 모듈을 포함한다. 도 4에 따르면, 미들웨어(430)는 X11 모듈(430-1), APP 매니저(430-2), 연결 매니저(430-3), 보안 모듈(430-4), 시스템 매니저(430-5), 멀티미디어 프레임워크(430-6), UI 프레임워크(430-7), 윈도우 매니저(430-8), 필기 인식 모듈(430-9)을 포함한다.
X11 모듈(430-1)은 전자 장치(200)에 구비된 각종 하드웨어들로부터 각종 이벤트 신호를 수신하는 모듈이다. 여기서 이벤트란, 사용자 제스처가 감지되는 이벤트, 시스템 알람(alarm)이 발생하는 이벤트, 특정 프로그램이 실행 또는 종료되는 이벤트 등과 같이 다양하게 설정될 수 있다.
APP 매니저(430-2)는 메모리(210)에 설치(install)된 각종 어플리케이션(440)의 실행 상태를 관리하는 모듈이다. APP 매니저(430-2)는 X11 모듈(430-1)로부터 어플리케이션 실행 이벤트가 감지되면, 해당 이벤트에 대응되는 어플리케이션을 호출하여 실행시킨다.
연결 매니저(430-3)는 유선 또는 무선 네트워크 연결을 지원하기 위한 모듈이다. 연결 매니저(430-3)는 DNET 모듈, UPnP 모듈 등과 같은 다양한 세부 모듈들을 포함할 수 있다.
보안 모듈(430-4)은 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 모듈이다.
시스템 매니저(430-5)는 전자 장치(200) 내의 각 구성요소들의 상태를 모니터링하고, 그 모니터링 결과를 타 모듈들에게 제공한다. 가령, 배터리 잔량이 부족하거나, 에러가 발생하는 경우, 통신 연결 상태가 끊어지는 경우 등이 발생하면 시스템 매니저(430-5)는 그 모니터링 결과를 메인 UI 프레임워크(430-7)나 서브UI 프레임워크(430-9)로 제공하여 알림 메시지나 알림 음을 출력할 수 있다.
멀티미디어 프레임워크(430-6)는 전자 장치(200)에 저장되어 있거나, 외부 소스로부터 제공되는 멀티미디어 컨텐츠를 재생하기 위한 모듈이다. 멀티미디어 프레임워크(430-6)는 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행할 수 있다.
메인 UI 프레임워크(430-7)는 터치 디스플레이(300)의 메인 표시영역에 표시할 각종 UI를 제공하기 위한 모듈이고, 서브 UI 프레임워크(430-9)는 보조 표시영역에 표시할 각종 UI를 제공하기 위한 모듈이다. 메인 UI 프레임워크(430-7) 및 서브 UI 프레임워크(430-9)는 각종 오브젝트를 구성하는 이미지 합성기(Image Compositor module), 오브젝트가 표시될 좌표를 산출하는 좌표 합성기, 구성된 오브젝트를 산출된 좌표에 렌더링하는 렌더링 모듈, 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷 등을 포함할 수 있다.
윈도우 매니저(430-8)는 사용자의 신체나 펜을 이용한 터치 이벤트나 기타 입력 이벤트를 감지할 수 있다. 윈도우 매니저(430-8)는 이러한 이벤트가 감지되면 메인 UI 프레임워크(430-7) 또는 서브 UI 프레임워크(430-9)로 이벤트 신호를 전달하여, 이벤트에 대응되는 동작을 수행하도록 한다.
그 밖에도, 사용자가 화면을 터치 및 드래그하는 경우, 그 드래그 궤적에 따라 라인을 드로잉하기 위한 필기 모듈이나, 센서(310)에서 감지된 센서 값에 기초하여 피치각, 롤각, 요우각 등을 산출하기 위한 각도 산출 모듈 등과 같은 다양한 프로그램 모듈이 저장될 수도 있다.
어플리케이션 모듈(440)은 다양한 기능을 지원하기 위한 어플리케이션들(440-1 ~ 440-n)을 포함한다. 예를 들어, 네비게이션 프로그램 모듈, 게임 모듈, 전자 책 모듈, 달력 모듈, 알람 관리 모듈 등과 같은 다양한 서비스를 제공하기 위한 프로그램 모듈을 포함할 수 있다. 이러한 어플리케이션들은 디폴트로 설치되어 있을 수도 있고, 사용자가 사용 과정에서 임의로 설치하여 사용할 수도 있다. CPU(423)는 오브젝트가 선택되면, 어플리케이션 모듈(440)을 이용하여 선택된 오브젝트에 대응되는 어플리케이션을 실행시킬 수 있다.
도 4에 표시된 소프트웨어 구조는 일 예에 불과하므로, 반드시 이에 한정되어야 하는 것은 아니다. 따라서, 필요에 따라 일부가 생략 또는 변형되거나, 추가될 수도 있음은 물론이다. 가령, 메모리(210)에는 각종 센서들에서 센싱된 신호들을 분석하기 위한 센싱 모듈이나, 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈, 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈, 웹 브라우저 모듈 등과 같이 다양한 프로그램들이 추가로 마련될 수도 있다.
한편, 상술한 바와 같이 전자 장치(200)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크 등과 같은 다양한 유형의 장치로 구현될 수 있다. 따라서, 도 3 및 도 4에서 설명한 구성은, 전자 장치(200)의 종류에 따라 다양하게 변형될 수 있다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예에 대해 설명하기로 한다.
문자 입력이 필요한 상황이 감지되면, 프로세서(320)는 복수의 보조 표시영역에 문자 입력을 위한 UI를 제공하도록 터치 디스플레이(300)를 제어할 수 있다. 구체적으로, 도 5a에 도시된 바와 같이, 메인 표시영역(510)에 문자 입력창(505)이 제공되는 동안 문자 입력창(505)을 터치하는 사용자 터치가 입력되면, 프로세서(320)는 도 5b에 도시된 바와 같이, 복수의 보조 표시영역(520-1,520-2)에 문자 입력을 위한 UI를 제공하도록 터치 디스플레이(300)를 제어할 수 있다.
상술한 실시예에서는 문자 입력이 필요한 상황이 문자 입력창(505)이 디스플레이되는 상황으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다른 상황에서도 문자 입력이 필요한 상황으로 판단될 수 있다. 예를 들어, 전화번호를 입력하기 위한 상황, 문자 메시지를 입력하기 위한 상황 등 다양한 상황이 문자 입력이 필요한 상황으로 판단될 수 있다.
한편, 문자 입력을 위한 UI는 도 5b에 도시된 바와 같이, 복수의 UI 엘리먼트를 포함하며, 각각의 UI 엘리먼트는 적어도 하나의 문자 또는 기호 또는 기능에 대응될 수 있다. 예를 들어, 제1 UI 엘리먼트는 ".", ",", "?", "!"와 대응될 수 있으며, 제2 UI 엘리먼트는 "a","b","c"와 대응될 수 있으며, 제3 UI 엘리먼트는 "d","e","f"와 대응될 수 있으며, 제4 UI 엘리먼트는 "g","h","i"와 대응될 수 있으며, 제5 UI 엘리먼트는 "j","k","l"와 대응될 수 있으며, 제6 UI 엘리먼트는 "m","n","o"와 대응될 수 있으며, 제7 UI 엘리먼트는 "p","q","r", "s"와 대응될 수 있으며, 제8 UI 엘리먼트는 "t","u","v"와 대응될 수 있으며, 제9 UI 엘리먼트는 "w","x","y","z"와 대응될 수 있으며, 제10 UI 엘리먼트는 "엔터" 기능과 대응될 수 있다. 한편, 도 5b에 도시된 문자배열은 일 실시예에 불과할 뿐, 다른 문자 배열 역시 본 발명에 적용될 수 있다.
그리고, 프로세서(320)는 복수의 보조 표시영역(520-1,520-2)에 디스플레이된 UI를 통해 입력된 사용자 터치에 따라 문자를 입력할 수 있다.
특히, 하나의 UI 엘리먼트에 하나의 문자가 대응된 경우, 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역(510) 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 프로세서(320)는 터치된 UI 엘리먼트에 대응되는 문자를 입력할 수 있다.
그러나, 하나의 UI 엘리먼트에 복수의 문자가 대응된 경우, 프로세서(320)는 터치 입력 및 스와이프 입력을 통해 문자를 입력할 수 있다.
구체적으로, 도 5b와 같이, 복수의 보조 표시영역(520-1,520-2)에 문자 입력을 위한 UI가 디스플레이되는 동안, 프로세서(320)는 센서(310)를 통해 도 5c와 같이, 제4 UI 엘리먼트를 터치하는 사용자 터치를 감지할 수 있다.
사용자가 제4 UI 엘리먼트를 한 번 터치한 후, 도 5d와 같이, 제4 UI 엘리먼트를 터치한 후 메인 표시영역(510) 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 도 5e에 도시된 바와 같이, "g"를 문자 입력창(505)에 입력할 수 있다. 이때, 사용자가 제4 UI 엘리먼트를 한 번 터치한 경우, 프로세서(320)는 제4 UI 엘리먼트에 "g"가 선택되었음을 안내하는 인디케이터를 제공하도록 터치 디스플레이(300)를 제어할 수 있다.
그러나, 사용자가 제4 UI 엘리먼트를 두 번 터치한 후, 도 5d와 같이, 제4 UI 엘리먼트를 터치한 후 메인 표시영역(510) 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 "h"를 문자 입력창(505)에 입력할 수 있다. 이때, 사용자가 제4 UI 엘리먼트를 한 번 터치한 경우, 프로세서(320)는 제4 UI 엘리먼트에 "h"가 선택되었음을 안내하는 인디케이터를 제공하도록 터치 디스플레이(300)를 제어할 수 있다.
또한, 사용자가 제4 UI 엘리먼트를 세 번 터치한 후, 도 5d와 같이, 제4 UI 엘리먼트를 터치한 후 메인 표시영역(510) 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 "i"를 문자 입력창(505)에 입력할 수 있다. 이때, 사용자가 제4 UI 엘리먼트를 한 번 터치한 경우, 프로세서(320)는 제4 UI 엘리먼트에 "i"가 선택되었음을 안내하는 인디케이터를 제공하도록 터치 디스플레이(300)를 제어할 수 있다.
상술한 바와 같이 터치 입력 및 스와이프 입력을 통해 사용자는 한 손으로 문자 입력이 가능해지며, 메인 표시영역(510)을 가리지 않고 문자 입력을 수행할 수 있게 된다. 또한, 스와이프 입력을 통해 주판을 튕기는 듯한 오락적인 요소를 갖게 될 수 있다.
또한, 프로세서(320)는 복수의 보조 표시영역에 문자 입력을 위한 UI가 디스플레이되는 동안 메인 표시영역에 입력된 사용자 터치에 따라 다양한 문자 입력 기능을 수행할 수 있다.
본 발명의 일 실시예로, 메인 표시 영역(610)에 문자가 입력된 상황에서 도 6a에 도시된 바와 같이, 메인 표시영역(610)의 일 영역을 터치한 후 왼쪽 방향으로의 스와이프 입력(630)이 감지되면, 프로세서(320)는 가장 최근에 입력된 문자를 삭제할 수 있다. 이때, 스와이프 입력이 기설정된 횟수 이상 감지되면, 프로세서(320)는 입력된 문자를 모두 삭제할 수 있다.
또 다른 실시예로, 메인 표시 영역(610)에 문자가 입력된 상황에서 도 6b에 도시된 바와 같이, 메인 표시영역(610)의 일 영역을 터치한 후 오른쪽 방향으로의 스와이프 입력(640)이 감지되면, 프로세서(320)는 스페이스 바(space bar)에 대응되는 띄어쓰기 기능을 수행할 수 있다.
한편, 상술한 실시예에서는 삭제 기능, 스페이스 바 기능을 설명하였으나, 이는 일 실시예에 불과할 뿐, 복사 기능, 잘라넣기 기능 등과 같은 다양한 기능이 메인 표시영역에 입력된 사용자 입력에 따라 수행될 수 있다.
한편, 상술한 실시예에서는 문자 입력을 위한 UI가 영어인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 문자 입력을 위한 UI가 다른 언어일 수 있다. 예를 들어, 도 7a 및 도 7b와 같이, 한국어를 입력하기 위한 UI가 제공될 수 있다.
특히, 도 7a에는 나랏글 방식의 한국어 입력을 위한 UI가 디스플레이된다. 이때, 나랏글 방식의 한국어 입력을 위한 UI는 제1 보조 표시영역(720-1)에 자음을 입력하기 위한 UI 엘리먼트가 배치되며, 제2 보조 표시영역(720-2)에 모음을 입력하기 위한 UI 엘리먼트가 배치될 수 있다. 또한, 도 7b에는 천지인 방식의 한국어 입력을 위한 UI가 디스플레이된다.
또한, 복수의 보조 표시영역에는 문자가 아닌 숫자, 특수기호와 같은 다양한 텍스트를 삽입하기 위한 UI가 디스플레이될 수 있다.
또한, 복수의 보조 표시영역 각각의 일 지점을 터치한 후 동일한 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 사용자 터치에 따라 기설정된 어플리케이션을 실행할 수 있다. 구체적으로, 도 8a에 도시된 바와 같이, 메인 표시영역(810)에 시계 화면이 디스플레이되는 동안 복수의 보조 표시영역(820-1,820-2) 각각의 일 지점을 터치한 후 오른쪽 방향으로 스와이프하는 스와이프 입력(830)이 감지되면, 프로세서(320)는 카메라 어플리케이션을 실행시키고, 도 8b에 도시된 바와 같이, 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(810)를 제어할 수 있다.
이때, 프로세서(320)는 스와이프 입력이 감지된 보조 표시영역의 위치 또는 스와이프 입력의 방향에 따라 다른 어플리케이션을 실행시킬 수 있다.
예를 들어, 메인 표시영역(810)에 시계 화면이 디스플레이되는 동안 복수의 보조 표시영역(820-1,820-2) 각각의 일 지점을 터치한 후 왼쪽 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 전화 어플리케이션을 실행시킬 수 있다.
또 다른 예로, 메인 표시영역(810)에 시계 화면이 디스플레이되는 동안 복수의 보조 표시영역(820-1,820-2) 중 제1 보조 표시영역(820-1)의 일 지점을 터치한 후 오른쪽 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 스케줄 어플리케이션을 실행시킬 수 있다.
또 다른 예로, 메인 표시영역(810)에 시계 화면이 디스플레이되는 동안 복수의 보조 표시영역(820-1,820-2) 중 제2 보조 표시영역(820-2)의 일 지점을 터치한 후 왼쪽 방향으로 스와이프하는 사용자 터치가 감지되면, 프로세서(320)는 메모 어플리케이션을 실행시킬 수 있다.
상술한 바와 같이, 복수의 보조 표시영역에 감지된 스와이프 입력을 통해 특정 어플리케이션을 실행시킴으로써, 사용자는 단축키를 사용한 것과 같이, 더욱 빠르게 어플리케이션을 실행시킬 수 있다.
한편, 상술한 실시예에서, 빠른 어플리케이션 실행을 위한 사용자 터치의 유형이 스와이프 입력인 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 보조 표시영역을 기설정된 시간동안 터치하는 롱프레스 입력 등과 같은 다른 유형의 사용자 입력으로 구현될 수 있다.
또한, 사용자 터치에 따라 실행되는 어플리케이션은 제조시 설정될 수 있으나, 이는 일 실시예에 불과할 뿐, 사용자에 의해 설정돌 수 있다.
또한, 카메라 어플리케이션이 실행되는 동안 프로세서(320)는 센서(310)를 통해 전자 장치(200)의 방향을 검출하고, 검출된 전자 장치의 방향을 바탕으로 메인 표시영역 및 복수의 보조 표시영역 중 적어도 일부에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다. 본 개시의 일 실시예에서는, 도 9a에 도시된 바와 같이, 터치 디스플레이(300)는 메인 표시영역을 두 개로 구분하여 제1 메인 표시영역(910-1), 제2 메인 표시영역(910-2), 제1 보조 표시영역(920-1), 제2 보조 표시영역(920-2)을 포함할 수 있다.
카메라 어플리케이션이 실행되는 동안 프로세서(320)는 전자 장치(200)의 방향을 검출할 수 있다. 이때, 프로세서(320)는 움직임 센서를 통해 전자 장치(200)의 방향을 검출할 수 있으나, 이는 일 실시예에 불과할 뿐, 카메라(280)를 이용하여 사용자를 촬영하여, 촬영된 사용자의 시선을 검출하여 전자 장치(200)의 방향을 검출할 수 있다.
프로세서(320)는 전자 장치(200)의 방향(orientation)에 따라 터치 디스플레이(300)의 적어도 일부에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다.
구체적으로, 프로세서(320)는 카메라 어플리케이션이 처음 실행될 때, 도 9b에 도시된 바와 같이, 제1 메인 표시영역(910-1) 및 제2 메인 표시영역(910-2)에 라이브뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다.
그리고, 전자 장치(200)를 왼손으로 착용하는 사용자가 전자 장치(200)를 반시계 방향으로 회전하는 경우, 프로세서(320)는 도 9c에 도시된 바와 같이, 제1 메인 표시영역(910-1) 및 제1 보조 표시영역(920-1)에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다. 또 다른 예로, 전자 장치(200)를 왼손으로 착용하는 사용자가 전자 장치(200)를 시계 방향으로 회전하는 경우, 프로세서(320)는 제2 메인 표시영역(910-2) 및 제2 보조 표시영역(920-2)에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다. 즉, 프로세서(320)는 전자 장치(200)의 자세 변환을 감지하여 라이브 뷰 영상을 터치 디스플레이(300) 중 다른 영역을 이동하여 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다.
한편, 상술한 실시예에서는 전자 장치(200)의 방향에 따라 라이브 뷰 영상이 이동하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 다양한 유형의 영상(예를 들어, 웹 페이지 영상, 메시지 창 화면 등)이 전자 장치(200)의 방향에 따라 이동할 수 있다.
상술한 바와 같이, 전자 장치의 방향에 따라 라이브 뷰 영상을 이동하여 디스플레이함으로써, 사용자는 더욱 편리하게 라이브 뷰 영상을 확인하고 영상을 촬영할 수 있게 된다.
또한, 전자 장치(200)에 카메라(280)가 복수 개 구비된 경우, 프로세서(320)는 복수의 메인 표시영역에 복수의 카메라에 의해 촬영된 복수의 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다. 구체적으로, 프로세서(320)는 도 10에 도시된 바와 같이, 제1 메인 표시영역(1010-1)에 제1 카메라에 의해 촬영된 라이브 뷰 영상을 디스플레이하고, 제2 메인 표시영역(1010-2)에 제2 카메라에 의해 촬영된 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이(300)를 제어할 수 있다. 이때, 제1 보조 표시영역(1020-1)은 제1 카메라에 디스플레이되는 라이브 뷰 영상을 촬영하기 위한 UI가 디스플레이될 수 있으며, 제2 보조 표시영역(1020-2)은 제2 카메라에 디스플레이되는 라이브 뷰 영상을 촬영하기 위한 UI가 디스플레이될 수 있다.
상술한 바와 같이, 전자 장치의 메인 표시영역(1010)을 복수의 영역으로 구분하여 복수의 라이브 뷰 영상을 촬영함으로써, 더욱 다양한 환경에서 사진 촬영을 수행할 수 있게 된다.
도 11은 본 발명의 일 실시예에 따른, 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다. 우선, 본 발명의 일 실시예에 따른, 전자 장치(100)는 메인 표시영역 및 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이를 구비할 수 있다.
우선, 전자 장치(100)는 터치 디스플레이 중 복수의 보조 표시영역에 문자 입력을 위한 UI를 제공한다(S1110). 이때, 문자 입력을 위한 UI에는 복수의 UI 엘리먼트가 포함되며, 복수의 UI 엘리먼트 각각은 적어도 하나의 문자, 숫자, 기호, 특수 문자에 대응될 수 있다.
그리고, 전자 장치(100)는 UI를 통해 터치 인터렉션이 입력되었는지 여부를 판단한다(S1120). 이때, 터치 인터렉션은 복수의 UI 엘리먼트 중 하나를 터치하고 메인 표시영역 방향으로 스와이프하는 스와이프 인터렉션일 수 있다.
UI를 통해 터치 인터렉션이 입력되면(S1120-Y), 전자 장치(100)는 터치 인터렉션에 따라 문자를 입력한다(S1130). 즉, 전자 장치(100)는 터치 인터렉션에 따라 입력된 문자를 터치 디스플레이(110) 중 메인 표시영역(111)에 제공할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 메인 표시영역의 시청 방해없이 전자 장치(100)의 보조 표시영역을 이용하여 더욱 편리하게 문자를 입력할 수 있다.
한편, 상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    메인 표시영역 및 상기 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이; 및
    상기 터치 디스플레이 중 상기 복수의 보조 표시 영역에 문자 입력을 위한 UI를 제공하도록 상기 터치 디스플레이를 제어하고, 상기 UI에 대한 터치 인터렉션이 입력되면, 상기 터치 인터렉션에 따라 입력된 문자를 상기 터치 디스플레이 중 상기 메인 표시영역에 제공하도록 상기 터치 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 터치 디스플레이는,
    상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제1 측으로 구부러지며 상기 메인 표시영역보다 작은 제1 곡면 보조 표시영역 및 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제2 측으로 구부러지며 상기 메인 표시영역보다 작은 제2 곡면 보조 표시영역을 포함하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 UI는 복수의 UI 엘리먼트를 포함하고,
    상기 복수의 UI 엘리먼트 각각은 적어도 하나의 문자에 대응되는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 UI 엘리먼트 중 모음에 대응되는 UI 엘리먼트를 상기 제1 곡면 보조 표시영역에 제공하며,
    상기 복수의 UI 엘리먼트 중 자음에 대응되는 UI 엘리먼트를 상기 제2 곡면 보조 표시영역에 제공하도록 상기 터치 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 터치된 UI 엘리먼트에 대응되는 문자를 상기 메인 표시영역에 제공하도록 상기 터치 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 메인 표시영역에 기설정된 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 메인 표시영역에 제공된 문자를 삭제하는 것을 특징으로 하는 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 특정 어플리케이션을 실행하는 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 곡면 보조 표시영역 및 상기 제2 곡면 보조 표시영역을 좌우 방향으로 동시에 스와이프하는 사용자 터치가 감지되면, 상기 사용자 터치에 따라 카메라 어플리케이션을 실행하는 것을 특징으로 하는 전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 카메라 어플리케이션이 실행되는 동안 상기 전자 장치의 방향을 검출하고, 상기 검출된 전자 장치의 방향을 바탕으로 상기 메인 표시영역 및 상기 복수의 보조 표시영역 중 적어도 일부에 라이브 뷰 영상을 디스플레이하도록 터치 디스플레이를 제어하는 것을 특징으로 하는 전자 장치.
  10. 메인 표시영역 및 상기 메인 표시영역의 측면에 위치하는 복수의 보조 표시영역을 포함하는 터치 디스플레이를 구비하는 전자 장치의 제어 방법에 있어서,
    상기 터치 디스플레이 중 상기 복수의 보조 표시 영역에 문자 입력을 위한 UI를 제공하는 단계; 및
    상기 UI에 대한 터치 인터렉션이 입력되면, 상기 터치 인터렉션에 따라 입력된 문자를 상기 터치 디스플레이 중 메인 표시영역에 제공하는 단계;를 포함하는 제어 방법.
  11. 제10항에 있어서,
    상기 터치 디스플레이는,
    상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제1 측으로 구부러지며 상기 메인 표시영역보다 작은 제1 곡면 보조 표시영역 및 상기 메인 표시영역으로부터 일체로 연장되어 상기 메인 표시영역의 제2 측으로 구부러지며 상기 메인 표시영역보다 작은 제2 곡면 보조 표시영역을 포함하는 것을 특징으로 하는 제어 방법.
  12. 제11항에 있어서,
    상기 UI는 복수의 UI 엘리먼트를 포함하고,
    상기 복수의 UI 엘리먼트 각각은 적어도 하나의 문자에 대응되는 것을 특징으로 하는 제어 방법.
  13. 제12항에 있어서,
    상기 UI를 제공하는 단계는,
    상기 복수의 UI 엘리먼트 중 모음에 대응되는 UI 엘리먼트를 상기 제1 곡면 보조 표시영역에 제공하며,
    상기 복수의 UI 엘리먼트 중 자음에 대응되는 UI 엘리먼트를 상기 제2 곡면 보조 표시영역에 제공하는 것을 특징으로 하는 제어 방법.
  14. 제12항에 있어서,
    상기 메인 표시영역에 제공하는 단계는,
    상기 복수의 UI 엘리먼트 중 하나를 터치한 후 메인 표시영역 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 터치된 UI 엘리먼트에 대응되는 문자를 상기 메인 표시영역에 제공하는 것을 특징으로 하는 제어 방법.
  15. 제10항에 있어서,
    상기 메인 표시영역에 기설정된 방향으로 스와이프(swipe)하는 사용자 터치가 감지되면, 상기 메인 표시영역에 제공된 문자를 삭제하는 단계;를 더 포함하는 제어 방법.
PCT/KR2016/007536 2015-07-17 2016-07-12 전자 장치 및 이의 제어 방법 WO2017014475A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562193806P 2015-07-17 2015-07-17
US62/193,806 2015-07-17
KR10-2015-0168552 2015-11-30
KR1020150168552A KR20170009688A (ko) 2015-07-17 2015-11-30 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2017014475A1 true WO2017014475A1 (ko) 2017-01-26

Family

ID=57834061

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007536 WO2017014475A1 (ko) 2015-07-17 2016-07-12 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2017014475A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182287A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 디스플레이의 저전력 구동 방법 및 이를 수행하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130285927A1 (en) * 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard with correction of previously input text
US20130300668A1 (en) * 2012-01-17 2013-11-14 Microsoft Corporation Grip-Based Device Adaptations
KR20140106285A (ko) * 2013-02-26 2014-09-03 삼성디스플레이 주식회사 휴대용 표시 장치
US20150121285A1 (en) * 2013-10-24 2015-04-30 Fleksy, Inc. User interface for text input and virtual keyboard manipulation
KR101515620B1 (ko) * 2014-12-29 2015-05-04 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130300668A1 (en) * 2012-01-17 2013-11-14 Microsoft Corporation Grip-Based Device Adaptations
US20130285927A1 (en) * 2012-04-30 2013-10-31 Research In Motion Limited Touchscreen keyboard with correction of previously input text
KR20140106285A (ko) * 2013-02-26 2014-09-03 삼성디스플레이 주식회사 휴대용 표시 장치
US20150121285A1 (en) * 2013-10-24 2015-04-30 Fleksy, Inc. User interface for text input and virtual keyboard manipulation
KR101515620B1 (ko) * 2014-12-29 2015-05-04 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182287A1 (ko) * 2017-03-28 2018-10-04 삼성전자 주식회사 디스플레이의 저전력 구동 방법 및 이를 수행하는 전자 장치
CN110476138A (zh) * 2017-03-28 2019-11-19 三星电子株式会社 显示器的低功率驱动方法和用于执行该方法的电子设备
US11106307B2 (en) 2017-03-28 2021-08-31 Samsung Electronics Co., Ltd. Method for low power driving of display and electronic device for performing same
CN110476138B (zh) * 2017-03-28 2024-02-13 三星电子株式会社 显示器的低功率驱动方法和用于执行该方法的电子设备

Similar Documents

Publication Publication Date Title
US10698564B2 (en) User terminal device and displaying method thereof
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
US9696899B2 (en) Multi display apparatus and multi display method
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102264444B1 (ko) 전자 장치에서 기능 실행 방법 및 장치
WO2014017722A1 (en) Display device for executing multiple applications and method for controlling the same
KR102318610B1 (ko) 모바일 디바이스 및 모바일 디바이스의 디스플레이 방법
WO2014088355A1 (en) User terminal apparatus and method of controlling the same
US20140359493A1 (en) Method, storage medium, and electronic device for mirroring screen data
KR20160032611A (ko) 터치 입력을 이용하여 전자 장치를 제어하는 방법 및 장치
KR20160028338A (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
WO2014129828A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
KR102308201B1 (ko) 사용자 단말 장치 및 그 제어 방법
WO2014129787A1 (en) Electronic device having touch-sensitive user interface and related operating method
WO2018194275A1 (ko) 터치 감지 및 터치압력 감지가 가능한 장치 및 제어방법
WO2018004140A1 (ko) 전자 장치 및 그의 동작 방법
KR101559091B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
WO2016072678A1 (en) User terminal device and method for controlling user terminal device thereof
KR20120024299A (ko) 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
KR102183445B1 (ko) 투과 영역을 포함하는 커버를 가지는 휴대 단말기의 디스플레이 방법 및 장치
KR102216127B1 (ko) 문자 입력 방법 및 장치
KR20170004220A (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
KR102247667B1 (ko) 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 제어 방법.
WO2014035123A1 (en) User terminal apparatus and contol method thereof
KR20150025105A (ko) 전자 장치에서 입력 기능 운영 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827979

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16827979

Country of ref document: EP

Kind code of ref document: A1