WO2024034852A1 - 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치 - Google Patents

전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치 Download PDF

Info

Publication number
WO2024034852A1
WO2024034852A1 PCT/KR2023/009055 KR2023009055W WO2024034852A1 WO 2024034852 A1 WO2024034852 A1 WO 2024034852A1 KR 2023009055 W KR2023009055 W KR 2023009055W WO 2024034852 A1 WO2024034852 A1 WO 2024034852A1
Authority
WO
WIPO (PCT)
Prior art keywords
window
electronic device
display
application
screen
Prior art date
Application number
PCT/KR2023/009055
Other languages
English (en)
French (fr)
Inventor
하태봉
조지현
김상헌
임연욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220129353A external-priority patent/KR20240021080A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024034852A1 publication Critical patent/WO2024034852A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Definitions

  • Various embodiments disclosed in this document relate to controlling multiple windows in an electronic device, for example, controlling the display of multiple windows in an electronic device.
  • an electronic device may divide a display into a plurality of windows and execute a multi-window function that provides information individually to each window.
  • the electronic device can individually control each window of the multi-window provided through the display.
  • An electronic device includes a housing, a display mounted on the housing, a sensor module, and a processor operatively connected to the display and the sensor module, wherein the processor includes the display screen.
  • Split to display a multi-window including a plurality of windows check the state of the electronic device based on the sensor value of the sensor module, and determine a designated area of the display screen based on the state of the electronic device. Display an object for selecting one of the plurality of windows, check whether a first window among the plurality of windows is selected through the object displayed in the designated area, and if the first window is selected, application switching.
  • a method of an electronic device includes dividing a display screen of the electronic device and displaying a multi-window including a plurality of windows, based on sensor values of a sensor module of the electronic device.
  • a second window on the display including a selectable object, executing an application corresponding to the specific object in response to selection of a specific object displayed on the second window, and displaying the application execution screen on the selected object.
  • 1 May include the operation of displaying information on a window.
  • a user interface that can individually control each window of multi-windows provided through a display of an electronic device can be provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments.
  • Figure 3 shows examples of form factors of electronic devices according to various embodiments.
  • FIG. 4 illustrates the external appearance of a foldable electronic device according to various embodiments.
  • FIG. 5 illustrates examples of multi-windows in an electronic device according to various embodiments.
  • FIG. 6 is a diagram for explaining multi-window control of an electronic device according to various embodiments.
  • FIG. 7 is a diagram for explaining the flex state of an electronic device according to various embodiments.
  • FIG. 8 is a diagram for explaining multi-window control in a flex state of an electronic device according to various embodiments.
  • 9A to 9C are diagrams for explaining multi-window control in a flex state of an electronic device according to various embodiments.
  • FIG. 10 is a diagram illustrating multi-window control in a flex state of an electronic device according to various embodiments.
  • FIG. 11 is a diagram illustrating a pop-up window including selectable objects for executing an application on an electronic device according to various embodiments of the present disclosure.
  • FIG. 12 is a diagram for explaining multi-window control of an electronic device according to various embodiments.
  • FIG. 13 is a flowchart illustrating a multi-window control operation of an electronic device according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a second network 199.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology. .
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments.
  • the electronic device 200 (e.g., the electronic device 101 of FIG. 1) includes a display 210 (e.g., the display module 160 and the input module 150 of FIG. 1) and a processor 220. ) (e.g., processor 120 of FIG. 1), memory 230 (e.g., memory 130 of FIG. 1), and/or sensor module 220 (e.g., sensor module 176 of FIG. 1). can do.
  • the electronic device 200 may include at least some of the configuration and/or functions of the electronic device 101 of FIG. 1 .
  • the display 210 may display a screen corresponding to one or more applications (or programs) executed by the user. For example, when two or more applications are executed simultaneously, the display 210 divides the screen within the display 210 into a plurality of areas and displays windows corresponding to the execution screens of the two or more applications in each divided area. can do.
  • the display 210 includes a liquid crystal display (LCD), a thin film transistor LCD (TFT-LCD), an organic light emitting diode (OLED), a light emitting diode (LED), an active matrix organic LED (AMOLED), and a flexible display. It may consist of at least one of a flexible display and a 3-dimensional display. Additionally, some of these displays may be transparent or light-transmissive so that the outside can be viewed through them. This may be configured as a transparent display including TOLED (transparent OLED). Hereinafter, it will be referred to as the flexible display 210, but the display according to various embodiments is not limited thereto.
  • the flexible display 210 may include at least some of the structure and/or functions of the display module 160 of FIG. 1.
  • the flexible display 210 can visually provide information to the outside of the electronic device 200.
  • the flexible display 210 may include a touch screen that detects touch or hovering input.
  • the flexible display 210 may include at least a portion of the configuration and/or function of the display module 160 of FIG. 1 and may include at least a portion of the configuration and/or function of the input module 150 of FIG. 1. there is.
  • the flexible display 210 of the electronic device 200 may include a structure capable of changing its shape according to movement or deformation of the housing of the electronic device 200.
  • the electronic device 200 may include a structure in which the flexible display 210 can be folded or bent and is not limited in any particular way.
  • the electronic device 200 may be in-folding and/or out-folding, and may be folded up and down and/or left and right about a folding axis. It may include one or more folding axes.
  • the electronic device 200 may include a structure that allows the flexible display 210 to roll (eg, slide) and is not limited to a specific method.
  • some areas of the flexible display 210 of the electronic device 200 may be rolled up or folded inside the housing, and may be spread left and right or up and down through at least one roller structure.
  • the flexible display 210 may be the main display of the electronic device 200 and may be located on the front or rear of the housing of the electronic device 200.
  • the flexible display 210 may be an auxiliary display of an electronic device and may be located on the front or rear of the housing of the electronic device 200.
  • the processor 220 is a component capable of controlling components of the electronic device 200 and/or performing calculations or data processing related to the display 210, and is the processor 120 of FIG. 1. It may include at least some of the configuration and/or functionality.
  • the processor 220 may be functionally, operatively, and/or electrically connected to internal components of the electronic device 200, including the flexible display 210 and the sensor module 240. You can.
  • the memory 230 may include known volatile memory and non-volatile memory, and is not limited to specific implementation examples. Memory 230 may include at least some of the configuration and/or functions of memory 130 of FIG. 1 . Additionally, the memory 230 may store at least a portion of the program 140 of FIG. 1 .
  • the memory 230 is functionally, operatively, and/or electrically connected to the processor 220, and can be performed by the processor 220 when executed.
  • Various instructions can be stored. These instructions may include various control instructions including arithmetic and logical operations, data movement, and/or input/output that can be recognized by processor 220.
  • the sensor module 240 may generate sensor values for determining the state (eg, shape and/or posture) of the electronic device 200.
  • the shape of the electronic device 200 may be the shape formed by the housing of the electronic device 200 on which the flexible display 210 is mounted.
  • the shape of the flexible display 210 may change depending on the shape of the housing of the electronic device 200.
  • the shape of the electronic device 200 may be, for example, the shape formed by the flexible display 210 according to movement or deformation of the housing of the electronic device 200.
  • the posture of the electronic device 200 may be, for example, a direction and/or angle formed by the electronic device 200.
  • the posture of the electronic device 200 may be understood as an angle and/or phase of the electronic device 200 or a portion of the electronic device 200 with respect to the direction of gravity.
  • the sensor module 240 may include various sensors for detecting the state (eg, shape and/or posture) of the electronic device 200.
  • the sensor module 240 may measure the unfolded/folded state (e.g., foldable display), folding angle, rolling state (e.g., slideable display), rolling degree, and/or posture (e.g., foldable display) of the electronic device 200.
  • An angle sensor (not shown), a magnetic sensor (not shown), a gravity sensor (not shown), an acceleration sensor (not shown) capable of detecting the angle and/or phase relative to the direction of gravity of at least one housing, and/ Alternatively, it may include various sensors such as a gyro sensor (not shown).
  • the sensor module 240 may be located inside and/or on one side of the housing of the electronic device 200 or within the hinge.
  • FIG. 3 is a diagram illustrating the form factor of an electronic device according to various embodiments.
  • the electronic device 300 (e.g., the electronic device 101 of FIG. 1 or the electronic device 200 of FIG. 2) according to various embodiments is implemented in various form factors (or housings). It can be.
  • the electronic device 300 includes a slideable electronic device 310, a rollable electronic device 320, a first foldable electronic device 330, a second foldable electronic device 340, and a third folder. may include at least one of the electronic devices 350.
  • the various types of form factors (or housings) shown in FIG. 3 are examples of the form factors of the electronic device 300.
  • the form factor of the electronic device 300 is not limited to this and includes various types of form factors or variations thereof. It may be possible.
  • the first foldable electronic device 330 includes at least two hinge structures, and the second foldable electronic device 340 and the third foldable electronic device 350 include one hinge structure. It can be included.
  • the first foldable electronic device 330, the second foldable electronic device 340, and the third foldable electronic device 350 are foldable (or bendable) displays (e.g., foldable displays). It is equipped with a display or flexible display and can be used folded or unfolded based on the hinge structure.
  • FIG. 4 is an example of changes in the structure and shape of an electronic device equipped with a flexible display according to various embodiments.
  • the electronic device 400 (eg, the electronic device 200 of FIG. 2) may be a foldable electronic device.
  • the display 410 of the electronic device 400 may include at least some of the structure and/or functions of the display module 160 of FIG. 1.
  • the foldable electronic device 400 includes two housings (e.g., a first housing 401 and a second housing 402) and a flexible display 410 based on a folding axis (e.g., A axis). ) (e.g. display module 160 in FIG. 1, first display), front camera 420 (e.g. camera module 180 in FIG. 1), auxiliary display 430 (e.g. display module in FIG. 1 (e.g. 160), a second display), and a rear camera 440 (e.g., the camera module 180 of FIG. 1), and may include at least some of the structures and/or functions of the electronic device 101 of FIG. 1. It can be included.
  • the two housings may be overlapped by a hinge structure, and may be folded and overlapped around at least one axis.
  • the first housing 401 may include a first side and a second side
  • the second housing 402 may include a third side. and a fourth side.
  • the first side of the first housing 401 faces the third side of the second housing 402. It may be in a stacked form.
  • the folded form of the electronic device 400 means that the angle (e.g., angle B) formed between the first side of the first housing 401 and the third side of the second housing 402 is a narrow angle (e.g., It may be between 0 and 5 degrees.
  • the folded state of the electronic device 400 may include a closed state or a fully folded state.
  • the display 410 can be physically folded and divided into a first area 411 and a second area 412, and the first area 411 is the first surface of the first housing 401. and the second area 412 may be located on the third side of the second housing 402.
  • the first housing 401 and the second housing 402 may be disposed on both sides about a folding axis (eg, A-axis) and may have an overall symmetrical shape with respect to the folding axis.
  • the first housing 401 may be located on the left side based on the folding axis, and the second housing 402 may be located on the right side based on the folding axis.
  • the first housing 401 and the second housing 402 may be designed to be folded relative to each other, and the first side of the first housing 401 and the second housing 402 in a folded or folded form. ) can be overlapped so that the third sides face each other.
  • a hinge is formed between the first housing 401 and the second housing 402, so that the first housing 401 and the second housing 402 of the electronic device 400 can be overlapped and folded.
  • the housing structure in which the electronic device 400 is arranged on the left and right with respect to the folding axis is only an example, and the housing arranged up and down with respect to the folding axis of the electronic device 400 (e.g., the second foldable in FIG. 3 may have an electronic device 340).
  • the first housing 401 and the second housing 402 determine whether the electronic device 400 is in an unfolded form (or open form), a folded form (or closed form), or an intermediate form.
  • the angle (e.g. angle B) or distance between them may vary depending on the presence or absence of the two sides.
  • the unfolded state of the display 410 may include an open state or a flat (or flat) state.
  • the first housing 401 and the second housing 402 of the electronic device 400 are disposed on the same plane at about 180 degrees, and the display 410 is exposed in a flat form. may include.
  • the electronic device 400 may be provided with an auxiliary display 430 (e.g., display module 160 of FIG. 1) in at least a portion of the first housing 401 or the second housing 402. there is.
  • the auxiliary display may be formed on at least a portion of the second surface of the first housing 401 of the electronic device 400.
  • the auxiliary display 430 may be disposed on the fourth side of the second housing 402, and is formed through part or all of the second side of the first housing 401 and the fourth side of the second housing 402. It could be.
  • the auxiliary display may include at least some of the structure and/or functions of the display module 160 of FIG. 1.
  • the electronic device 400 is in an intermediate state, for example, the display 410 is in a partially open state, and the first housing of the electronic device 400 is in a partially open state.
  • the display 410 may be exposed by arranging the display 401 and the second housing 402 at a specified angle range (e.g., 80 degrees to 130 degrees).
  • the intermediate form is, for example, an angle formed by the first side of the first housing 401 and the third side of the second housing 402 (e.g., angle B) forming a specified angle range (e.g., 80 to 130 degrees). It could be.
  • the processor of the electronic device 400 determines that the state of the electronic device 400 is the flex state 403 by a sensor module (e.g., the sensor module of FIG. 2). It can be confirmed based on the sensor value of 240)).
  • a sensor module e.g., the sensor module of FIG. 2.
  • the shape of the electronic device 400 is the intermediate shape described above, and the posture of the electronic device 400 is one of the first housing 401 or the second housing 402 (e.g., the first housing ( 401)) may mean a state in which the position is substantially horizontal with the floor.
  • FIG. 5 illustrates examples of multi-windows in an electronic device according to various embodiments.
  • an electronic device divides the display screen into a plurality of windows through a multi-window function. It can be divided into multiple window screens to provide individual information.
  • a multi-window screen can provide a variety of windows using various division methods. For example, screen 501 may display two multi-windows divided into left and right, and screen 502 may display two multi-windows divided into top and bottom.
  • the screen 503 may display a left window divided into left and right, a right window, and three multi-windows with the right window further divided into upper and lower.
  • the screen 504 may display a right window divided into left and right, and three multi-windows with a left window and a left window additionally divided into upper and lower.
  • the screen 505 may display a lower window divided into top and bottom, and three multi-windows with the upper window and the upper window further divided into left and right.
  • the screen 506 may display an upper window divided into upper and lower sides, a lower window, and three multi-windows with the lower window additionally divided into left and right sides.
  • FIG. 6 is a diagram for explaining multi-window control of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4).
  • Divides the entire screen of a display e.g., display 210 in FIG. 2 or display 410 in FIG. 4
  • the electronic device may provide a multi-window composed of three sub-screens on the screen 601 of the display 410.
  • the electronic device may display multi-windows divided into three windows 611, window 612, and window 613 on the display 410.
  • the window 611, window 612, and window 613 may display execution screens of application A, application B, and application C, respectively.
  • the processor 220 may control the display of a window according to a touch event corresponding to one of multiple windows.
  • the processor 220 may provide a menu including at least one object for controlling the execution screen of an application displayed through a touch event corresponding to one of the multiple windows.
  • a touch event corresponding to one of the multiple windows is one or more touch (or hover) input to the corresponding window, or one or more touches to a menu containing an object for controlling the corresponding window (or hover) input, or a combination of these.
  • the electronic device may receive a touch input 615 on at least one area (eg, top) of the window 613 from the user on the multi-window screen 601 as a touch event.
  • the electronic device controls the window 613 in at least one area (e.g., the top) of the window 613 as shown in the multi-window screen 602 in response to receiving the touch input 615.
  • a menu e.g. multi-window handler
  • 627 can be displayed.
  • control menu 627 may include an application switching object 627-1.
  • the application switching object 627-1 may be a visual object for switching the execution screen of an application provided through the corresponding window 613 to the execution screen of another application.
  • the electronic device may activate (focus) the window 613 as a touch input 615 for the window 613 is detected.
  • the focus moves according to the touch input 615 and the selected window 613 is activated, indicating that the window 613 has been selected by color, effect, and/or text.
  • the color, effect, and/or text for the selected window 613 can be applied to the control menu 627 to distinguish it from the control menu of the unselected window.
  • various applications for application switching are generated by a touch event.
  • a window 637 containing selectable objects (e.g., icons or folders) for execution may be displayed by overlapping them on the multi-window screen 603, for example, in a pop-up form.
  • the window 637 including selectable objects for executing various applications may include selectable objects that are the same or similar to the home screen and may include a screen with the same or similar arrangement structure.
  • selectable objects displayed on the window 637 may be the same or similar to the home screen constructed by the user and may be provided in the same or similar arrangement structure.
  • one object 639 among the selectable objects for executing various applications displayed on the window 637 may be selected through various touch input and/or hover input methods such as touch input or drag and drop. can be selected.
  • an application e.g., D application
  • the running application screen 647 is displayed in the corresponding sub-window 613. It can be. Accordingly, the application (eg, C application) displayed on the sub-window 613 may be switched or changed to another application (eg, D application).
  • FIG. 7 is a diagram for explaining the flex state of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4) ) can identify the state of the electronic device based on the sensor value of the sensor module (e.g., the sensor module 240 in FIG. 2). For example, the state of the electronic device may be confirmed to be in a flex state (eg, flex state 403 in FIG. 4) based on the sensor value of the sensor module 240.
  • a flex state eg., flex state 403 in FIG.
  • the sensor module 240 may include various sensors for detecting the state (eg, shape and/or posture) of the electronic device.
  • the sensor module 240 may detect the unfolded/folded state (e.g., foldable display), folding angle, rolling state (e.g., slideable display), rolling degree, and/or posture (e.g., at least one An angle sensor (not shown), a magnetic sensor (not shown), a gravity sensor (not shown), an acceleration sensor (not shown), and/or a gyro sensor capable of detecting the angle and/or phase relative to the direction of gravity of the housing. It may include various sensors such as (not shown).
  • the shape of the electronic device is intermediate, and the posture of the electronic device is one of two housings (e.g., the first housing 401 or the second housing 402 in FIG. 4) (e.g., the first housing 401). )) may mean a state in which the posture is substantially parallel to the floor.
  • the intermediate form has two housings of the electronic device (e.g., the first housing 401 and the second housing 402 in FIG. 4) arranged at a specified angle range (e.g., 80 degrees to 130 degrees) to display the display (e.g., The display 410 of 4 may be exposed. Referring back to FIG.
  • the intermediate form is one in which the angle formed by the first side of the first housing 401 and the third side of the second housing 402 (e.g., angle B) is within a specified angle range (e.g., 80 to 130 degrees). ) may be achieved.
  • a specified angle range e.g. 80 to 130 degrees
  • the processor 220 of the electronic device may provide a user interface according to the flex mode through the display.
  • the flex mode separates the upper screen 711 and the lower screen 712 based on the folding axis (e.g., the A axis in FIG. 4) in the flex state identification code 701.
  • the upper screen 711 may include a function to provide an application screen
  • the lower screen 712 may include a function to provide a control screen for the application provided on the upper screen 711.
  • an application that supports flex mode according to application property information separates the upper and lower screens and switches to flex mode as shown in the figure with identification code 701 when the electronic device switches to the flex state.
  • an application that does not support flex mode according to application property information may provide an application execution screen through the entire screen, as shown in identification code 702, even in the flex state.
  • FIG. 8 is a diagram for explaining multi-window control in a flex state of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4) can determine whether the state of the electronic device is in the flex state based on the sensor value of the sensor module (e.g., the sensor module 240 in FIG. 2).
  • the processor 220 of the electronic device may provide a user interface function according to the flex state. For example, if it is confirmed that the electronic device has switched to the flex state based on the sensor value of the sensor module while providing multi-window, the user can check the flex state according to the flex state through the flex state screen 802 or screen 804. Interface functions can be provided.
  • the multi-window screen 801 displays two windows 812 and 813 at the top of the display of the electronic device and one window 811 at the bottom. You can.
  • the electronic device includes an object for individually controlling individual windows for each of the lower window 811 and the upper two windows 812 and 813 of the multi-window screen 801 and/or 802.
  • Control menus e.g., multi-window handler
  • the window 812 can perform various control functions, including the function of switching applications running on the window 812, through the control menu 817 provided on the window 812.
  • the multi-window screen 803 may separately display one window 821 at the bottom and one window 822 at the top of the display of the electronic device.
  • the electronic device includes a control object for individually controlling individual windows for each of the lower window 821 and the upper window 822 of the multi-window screen 803 and/or 804.
  • Menus e.g., multi-window handler
  • the window 822 can perform various control functions, including the function of switching applications running on the window 822, through the control menu 827 provided in the window 822.
  • 9A to 9C are diagrams for explaining multi-window control in a flex state of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4).
  • Divides the entire screen of a display e.g., display 210 in FIG. 2 or display 410 in FIG. 4
  • the display screen 901 may provide a multi-window composed of three sub-screens.
  • the display may display multi-windows divided into three windows: window 911, window 912, and window 913.
  • the processor 220 may control the display of a window according to a touch event corresponding to one of multiple windows.
  • the processor 220 may provide a menu including an object for controlling an application displayed on a window according to a touch event corresponding to one of the multiple windows.
  • a touch event corresponding to any one of the multiple windows may include one or more touch inputs for the corresponding window, one or more touch inputs for a menu for controlling the corresponding window, or a combination thereof. there is.
  • the processor 220 of the electronic device may check whether the electronic device is in a flex state based on the sensor value of the sensor module (eg, the sensor module 240 of FIG. 2).
  • the processor 220 of the electronic device may provide a user interface function according to the flex state. For example, if it is confirmed that the electronic device has switched to the flex state based on the sensor value of the sensor module while providing multi-window, the user interface function according to the flex state may be provided through the flex state screen 902. You can.
  • the multi-window screen 902 provided through the display in the flex state includes a window at the bottom (first window 911) folded in a middle shape, and two windows at the top.
  • a menu e.g., an object including an individual window selection icon
  • the individual window selection icons (921, 922, 923) for each of the three sub-windows (911, 912, 913) divided according to the multi-window function are used to select a display area, for example, an area at the bottom of the display. For example, it may be provided through at least one area (eg, task bar 915) overlapping the subwindow 911 displayed at the bottom of the display.
  • the control function for the second window 912 is an individual window selection to select the second window 912 from the control menu provided through at least one area overlapping the first window 911 displayed at the bottom of the display. This may be provided by selecting an object 922 containing an icon.
  • Objects (921, 922, 923) containing individual window selection icons for selecting each of the three sub-windows (911, 912, 913) divided and provided according to the multi-window function can be used in other areas at the bottom of the display, e.g. It may be provided through at least another area at the bottom of the display that does not overlap the sub-window 911 displayed at the bottom of the display.
  • the task bar 915 may be provided in an unfolded state as well as a flex state.
  • another window e.g., a second window
  • an individual window selection icon 922 provided in a specific area of the display (e.g., an area at the bottom of the display).
  • a control function to control another window e.g, the second window 912 may be executed.
  • a designated area for example, other than the second window 912, is selected.
  • Another window e.g., the second window 912 may be selected through an object 922 including an individual window selection icon provided through another area (e.g., an area 915 at the bottom of the display).
  • the processor 220 of the electronic device controls the selected window 912 in an area other than the selected window 912 (e.g., an area at the bottom of the display) in response to selection of the selection icon 922.
  • a menu e.g. multi-window handler 927 can be displayed.
  • control menu 927 may include an application switching object 927-1.
  • the application switching object 927-1 may be a visual object for switching the execution screen of an application provided through the selected window 912 to the execution screen of another application.
  • the execution screen of the selected second window 912 is displayed as shown in the multi-window screen 903 of FIG. 9A.
  • a list of various applications that can be switched through may be provided through the screen 937, for example, in a floating or popup manner.
  • the multi-window screen 905 includes selection icons 941, 942, and 943 for selecting one of the multi-windows through an area where a control menu is provided at the bottom of the display screen (e.g., task bar 915).
  • an application switching object 947 may be provided.
  • the task bar 915 may provide application icons 946, recently executed application icons 948, and/or a navigation bar 949 fixedly arranged in the form of favorites.
  • the task bar 915 of FIG. 9B is provided in one area of the display screen, and is different from, for example, an edge handle menu provided through a touch input to a specific area (eg, an edge area) of the display screen.
  • 9C may display an edge handle menu 963, 964, or 965 in response to a touch input to an edge area of the display screen 906 (e.g., a touch 961 to an edge area followed by a sliding 962). there is.
  • An edge handle menu 963, 964, or 965 may provide a specified number of objects, for example, a specified number of application lists, and may be displayed via touch input on the left or right edge of the display screen.
  • the selected second window 912 is selected as shown in the multi-window screen 903 of FIG. 9A. 2
  • a list of various applications that can be switched through the execution screen of the window 912 may be provided through the screen 937 located on the bottom, for example, in a pop-up manner.
  • FIG. 10 is a diagram illustrating multi-window control in a flex state of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4) is a control menu (e.g., top menu 931, 932, 933)), each window can be controlled individually.
  • a control menu e.g., top menu 931, 932, 933
  • a specific window 911 and another window e.g., the second window 912
  • a control function including selection and control of the third window 913 can be performed.
  • a specific location on the screen e.g., the bottom screen located at the bottom in the flex state of the display
  • a specific window e.g., the first window 911
  • Control functions for the specific window 911 and other windows can be performed through a control menu provided through an overlapping or non-overlapping area.
  • the multi-window screen 1002 provides a control menu for controlling each individual window (e.g., the first window 911, the second window 912, or the third window 913) for a specific window ( For example, it can be provided through an area that overlaps or does not overlap with the first window 911).
  • the multi-window screen 1001 provided through the display in the flex state includes a window at the bottom (first window 911) folded in the middle state, and two windows at the top.
  • first window 911 folded in the middle state
  • second window 912 and third window 913 individual window selection icons 921, 922, and 923 that allow you to individually select each window are displayed in an area at the bottom of the display (e.g., task). It can be provided through a bar (915)).
  • the bottom window is selected from among individual window selection menus (e.g., objects containing icons) provided through a control menu (e.g., task bar 915) at the bottom of the display.
  • a control menu e.g., task bar 915
  • the selection menu 921 of window 1 911 is selected, for example, through a touch input, the lower window (first window 911) is controlled to control the lower window (first window 911).
  • the menu 927 may be provided through an area that overlaps or does not overlap with the lower display window (first window 911).
  • the control menu 927 provided through the lower window 911 may provide a function for controlling the lower window 911.
  • the control menu 927 provided through the lower window is an application for executing the function of switching applications running on the lower window 911. It may include a switching object 927-1.
  • the selected lower window 911 is activated (focused), and the color, image effect, and/or It can be indicated that the window 911 is selected by displaying text to distinguish it from other windows.
  • the activated window may be changed. You can. Accordingly, the focus moves and the newly selected window 912 is activated (focused), and the selected window 912 is compared with other windows by color, image effect, and/or text, as shown in the multi-window screen 1003. By displaying it distinctly, it can be indicated that the window 912 has been selected.
  • the upper left window (second window 912) selection menu 922 is selected from the window selection menu provided through the lower window (first window 911).
  • the lower window opens a control menu 927 for controlling the upper left window (second window 912). It can be provided through an area that overlaps with (911)) or another area that does not overlap, for example, in a floating or pop-up form.
  • the control menu 927 provided through the lower window may provide a function for controlling the upper left window 912.
  • the control menu 927 provided through the lower window 911 functions to switch applications running in the upper left window 912. It may include an application switching object (927-1) to execute.
  • the upper right window (third window 913) selection menu 923 is selected from the window selection menu provided through the lower window (first window 911).
  • the lower window (first window 911) opens a control menu 927 for controlling the upper right window (third window 913). (911)).
  • the control menu 927 provided through the lower window 911 may provide a function for controlling the upper right window 913.
  • the control menu 927 provided through the lower window 911 functions to switch applications running in the upper right window 913. It may include an application switching object 927-1 for executing.
  • the lower (b) When the application switching object 927-1 is selected from the control menu 927 for the upper (a) left window 912 provided through the area overlapping with the window 911, a selectable application indicating a selectable application is displayed.
  • a screen 937 including objects may be provided.
  • the processor 220 is a touch event, and the selection menu 922 provided by the user through a touch input or another window 911 on at least one area of the window 912 on the multi-window screen 902 ), when an input for selecting the window 912 is detected, the control menu 927 for the selected window 912 can be provided on the display in a floating or popup form.
  • the processor 220 may detect a user input for selecting one of the control menus 927 (eg, the application switching object 927-1) for the selected window 912.
  • the processor 220 creates a window 937 including selectable objects (e.g., icons or folders) for executing various applications for application switching by a touch event, for example, in the form of a pop-up.
  • selectable objects e.g., icons or folders
  • the display can be controlled to display on the multi-window screen 903.
  • the selection menu 922 for selecting the second window 912 is input by, for example, a touch and the application switching function for the second window 912 is selected, thereby creating a multi-window screen on the display.
  • a window 937 including selectable objects for selecting an application that can be executed through the second window 912 may be provided.
  • a window 937 containing selectable objects for selecting an application may be displayed on the upper layer of the multi-window screen 903, for example, in a pop-up form.
  • a window 937 including selectable objects for selecting an application may be provided, for example, through a specific window (eg, the first window 911) among a plurality of windows.
  • a window 937 including selectable objects for selecting an application may be displayed in a pop-up form, for example, on a layer above a specific window (eg, the first window 911) among a plurality of windows.
  • the window 937 including selectable objects for executing various applications may include selectable objects that are the same or similar to the home screen and may include a screen with the same or similar arrangement structure.
  • selectable objects displayed on the window 937 may be the same or similar to the home screen constructed by the user and may be provided in the same or similar arrangement structure.
  • the processor 220 selects one object 939 (e.g., D application icon) among selectable objects (e.g., icons) for executing various applications, such as touch input or drag and drop. Selection can be detected using various touch methods.
  • object 939 e.g., D application icon
  • selectable objects e.g., icons
  • an application e.g., D application
  • the executed application screen 942 is displayed in the selected window 912. You can. Accordingly, the application displayed on the window 912 may be switched or changed to another application.
  • FIG. 11 is a diagram illustrating a pop-up window including selectable objects for executing an application on an electronic device according to various embodiments of the present disclosure.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4).
  • the entire screen of the display e.g., display 210 in FIG. 2 or display 410 in FIG. 4 is divided into a plurality of sub screens to display a multi-window configured to provide individual information through each sub screen. You can.
  • the processor 220 may provide a menu for controlling an application displayed on a window according to a touch event corresponding to one of the multiple windows.
  • a touch event corresponding to any one of the multiple windows may include one or more touch inputs for the corresponding window, one or more touch inputs for a menu for controlling the corresponding window, or a combination thereof. there is.
  • the processor 220 selects an application by a touch event for a window corresponding to one of the multi-windows on the multi-window screen 1101 displayed on the display of the electronic device in the unfolded state, according to the touch event.
  • a window 1117 including selectable objects (e.g., icons) 1119 for executing various applications for application selection may be displayed on the multi-window screen 1101.
  • selectable objects e.g., icons
  • a window 1117 containing selectable objects for executing various applications may be displayed on the upper layer of the multi-window screen 1101, for example, in a pop-up form.
  • the window 1117 including selectable objects for executing various applications may include selectable objects that are the same or similar to the home screen and may include a screen with the same or similar arrangement structure.
  • selectable objects displayed on the window 1117 may be the same or similar to the home screen constructed by the user and may be provided in the same or similar arrangement structure.
  • a window 1127 including selectable objects 1129 for selecting an application that can be executed through the window 1113 is provided on the display. It can be.
  • a window 1127 containing selectable objects for selecting an application may be displayed through one window (eg, the window 1111 at the bottom) of the multi-window screen.
  • a window 1127 including selectable objects for selecting an application may be displayed, for example, in a pop-up form, on an upper layer of the lower window 1111.
  • the window 1127 which includes selectable objects for executing various applications, may include selectable objects that are the same or similar to the home screen and may include a screen with the same or similar arrangement structure.
  • selectable objects displayed on the window 1127 may be the same or similar to the home screen constructed by the user and may be provided in the same or similar arrangement structure.
  • FIG. 12 is a diagram for explaining multi-window control of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4).
  • Divides the entire screen of a display e.g., display 210 in FIG. 2 or display 410 in FIG. 4
  • the display screen 1201 may provide a multi-window composed of three sub-screens.
  • the display may display multi-windows divided into three windows: window 1211, window 1212, and window 1213.
  • the processor 220 may control the display of a window (eg, window 1211) according to a touch event corresponding to one of the multiple windows.
  • the processor 220 may display a control menu (eg, multi-window handler) 1215 for controlling the window 1211 according to a touch event corresponding to the window 1211.
  • a control menu eg, multi-window handler
  • the processor 220 may provide a menu for selecting an application displayed on a window according to a touch event corresponding to one of the multiple windows (eg, window 1211).
  • the processor 220 selects an application displayed on a corresponding window (e.g., window 1211) according to a touch event corresponding to one (e.g., window 1211) on the multi-window screen 1201.
  • a touch event corresponding to one (e.g., window 1211) on the multi-window screen 1201.
  • the application (A) previously displayed in the corresponding window 1211 can be changed to another selected application (D).
  • the processor 220 may check attribute information about the other application (D).
  • application attribute information may include the type of application (e.g. messenger application, video application, or Internet application), package name (package mane), execution status (e.g. pause, or resume), or application screen configuration information (e.g. : May contain various application-related information such as aspect ratio, or screen size.
  • the processor 220 checks the application-related information, for example, screen configuration information, of another application (D) switched in the window 1211 that displays the execution screen of the application (A) and confirms the screen configuration.
  • the size of the window 1221 that displays the execution screen of another application (D) for example, the horizontal or vertical screen ratio, can be modified and displayed.
  • the window 1211 in the multi-window screen 1202 is changed to a window 1221 with a different screen ratio (e.g., the screen ratio of the D application) that displays the execution screen of another application (D).
  • the other existing windows 1212 and 1213 may also be changed into windows 1222 and 1223 with different screen ratios.
  • screen configuration information may be information that is previously stored as application attribute information.
  • a letterbox black screen
  • the vertical length may be reduced, so the resolution may not match.
  • a game may be configured with an aspect ratio of 16:9, and if the screen configuration is not adjusted accordingly, it may be displayed by adding black boxes to both sides of the screen as a pillar box (letter box) on a 21:9 screen, thereby reducing the aspect ratio. Resolutions may not match or efficient use of the display screen may be hindered.
  • the processor 220 selects an application running in a corresponding window (e.g., window 1231) according to a touch event corresponding to one (e.g., window 1231) on the multi-window screen 1203.
  • a control menu e.g., multi-window handler
  • a control menu 1235 including a menu for Through the menu for application selection included in the control menu 1235, the application (A) previously displayed in the corresponding window 1231 can be changed to another selected application (D).
  • the processor 220 may check attribute information about the other application (D).
  • application attribute information may include the type of application (e.g. messenger application, video application, internet application), package name (package mane), execution status (pause, resume), or application screen composition information (e.g. aspect ratio). , screen size) and other application-related information.
  • the processor 220 checks application-related information, for example, screen configuration information, of another application (D) switched in the window 1231 displaying the application (A), and according to the confirmed screen configuration information.
  • the size of the window 1241 that displays another application (D) for example, the horizontal or vertical screen ratio, can be modified and displayed.
  • the processor 220 determines the area occupied by the target application (A) in the multi-window screen 1203 ( 1231), for example, the horizontal or vertical length and ratio can be considered.
  • the vertical length of the window 1241 that displays the other application (D) being switched is adjusted as in the multi-window screen 1204. You can change the screen ratio by doing this.
  • the vertical length of the area 1211 occupied by the application (A) is determined as in the multi-window screen 1201
  • a window displaying another application (D) to be switched as in the multi-window screen 1202 You can adjust the screen ratio by adjusting the horizontal length of (1221).
  • the screen ratio for displaying the application (A) of the window 1231 in the multi-window screen 1203 is changed to the screen ratio for displaying another application (D) of the window 1241.
  • other windows 1232 and 1233 may also be changed into windows 1242 and 1243 with different screen ratios.
  • the screen configuration information may be stored in a memory (eg, memory 230 in FIG. 2) as screen configuration information including screen ratio and/or size according to previous execution history. For example, if there is information based on previous execution history, the screen configuration information can be applied first, and if the screen configuration information is set as application property information, it can be applied next, but it is not limited to this and can be applied by changing the priority. It may be possible.
  • the processor 220 when the processor 220 cannot check application-related information, for example, screen configuration information, of another application (D) switched in the window 1211 displaying the application (A), the default settings or Multi-window can be configured and/or displayed according to the previously set multi-window screen border.
  • application-related information for example, screen configuration information
  • the default settings or Multi-window can be configured and/or displayed according to the previously set multi-window screen border.
  • An electronic device (e.g., the electronic device 200 of FIG. 2, the electronic device 300 of FIG. 3, or the electronic device 400 of FIG. 4) according to various embodiments includes a housing (e.g., the housings 401 and 4 of FIG. 4). /or 402), a display mounted on the housing (e.g., display 210 in FIG. 2), a sensor module (e.g., sensor module 240 in FIG. 2), and operatively connected to the display and the sensor module. and a processor (e.g., processor 220 of FIG. 2), wherein the processor divides the display screen to display a multi-window including a plurality of windows, and displays the electronic device based on the sensor value of the sensor module.
  • a housing e.g., the housings 401 and 4 of FIG. 4
  • a display mounted on the housing e.g., display 210 in FIG. 2
  • a sensor module e.g., sensor module 240 in FIG. 2
  • a processor e.g.
  • Provide a second window on the display execute an application corresponding to the specific object in response to selection of a specific object displayed in the second window, and display the application execution screen on the selected first window. It can be.
  • the object displayed in the designated area may be set to include a plurality of icons corresponding to each of the plurality of windows.
  • the processor when the first window is confirmed to be selected, the processor may be set to change at least one of the color, image effect, and text of the first window to display it differently from other windows.
  • the processor may be set to provide the second window in a floating or pop-up form on the multi-window.
  • the designated area may be set to include a lower edge area of the display.
  • the processor may be set to provide a control menu including an object for selecting the application switching function through the designated area.
  • the housing includes a first housing and a second housing rotatable with respect to the first housing
  • the display includes a first area corresponding to the first housing and a second housing corresponding to the second housing. It includes two areas, wherein the processor determines, based on sensor values of the sensor module, that the state of the electronic device is such that the first housing is substantially level with the floor, and the second housing is in a designated position with the first housing. If it is confirmed to be folded at an angle within the range and the first window is confirmed to be displayed in the second area, an object for selecting the first window is placed overlapping with the third window displayed in the first area. It can be set to be provided through an area.
  • the processor when the first window is selected through the object displayed in the designated area, the processor creates a control menu including an object for selecting the application switching function in an area overlapping with the third window. It can be set to be provided through .
  • the processor when an object for selection of the application switching function is selected, the processor may be set to provide the second window in a floating form or pop-up form through an area overlapping with the third window. .
  • the processor may be set to check information related to the application corresponding to the specific object and adjust the screen ratio of the first window displaying the application execution screen based on the information. there is.
  • FIG. 13 is a flowchart illustrating a multi-window control operation of an electronic device according to various embodiments.
  • a processor e.g., processor 220 of FIG. 2 of an electronic device (e.g., electronic device 200 of FIG. 2, electronic device 300 of FIG. 3, or electronic device 400 of FIG. 4).
  • the entire screen of the display e.g., the display 210 of FIG. 2 or the display 410 of FIG. 4
  • a multi-window screen may include, for example, a plurality of windows divided into two or more.
  • the processor 220 checks the state of the electronic device based on the sensor value received from the sensor module (e.g., the sensor module 240 in FIG. 2), and determines the state of the electronic device. Based on the state of the device, an object for selecting one of the plurality of windows may be displayed in a designated area of the display screen. For example, when the electronic device is in a flex state, an object for selecting one of a plurality of windows may be displayed at the bottom of the screen located on the bottom.
  • the sensor module e.g., the sensor module 240 in FIG. 2
  • the processor 220 may check which one of the multiple windows is selected in operation 1303. For example, one window among multiple windows can be selected according to a touch event that designates one window.
  • the processor 220 may provide a control menu for controlling the selected window in response to selection of one window among multiple windows.
  • a touch event designating one window among multiple windows may include one or more touch inputs for the window, one or more touch inputs through a menu for controlling the window, or a combination thereof.
  • the processor 220 may check whether the application switching function is selected in operation 1305.
  • the application switching function can be selected through a control menu provided to control one selected window among multiple windows.
  • an application switching function may be selected through a touch event on one of the control menus (eg, the application switching object 627-1 in FIG. 6).
  • the processor 220 may provide a window on the display including selectable objects (eg, icons) to execute various applications for application switching in operation 1307.
  • selectable objects eg, icons
  • a window containing selectable objects for execution of various applications may be displayed, for example, in a pop-up form, on an upper layer on a multi-window screen.
  • a window containing selectable objects for application execution may be displayed, for example, in a pop-up form, on one window among multiple windows or on a higher layer on another window.
  • a window containing selectable objects for execution of various applications may include selectable objects that are the same or similar to the home screen and may include a screen with the same or similar arrangement structure.
  • the processor 220 may check in operation 1309 whether one object among selectable objects for executing various applications is selected. Selectable objects may be selected using various touch methods, such as touch input or drag and drop.
  • the processor 220 may execute an application corresponding to a specific object selected in operation 1311 and display an application execution screen in the selected window. Accordingly, the information displayed on the selected window may be switched from the previous application execution screen information to the newly selected application execution screen information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 문서에 개시된 전자 장치는, 하우징, 상기 하우징에 장착된 디스플레이, 센서 모듈, 및 상기 디스플레이 및 상기 센서모듈과 작동적으로 연결되는 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하고, 상기 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하고, 상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시할 수 있다.

Description

전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치
본 문서에 개시된 다양한 실시예들은, 전자 장치의 멀티 윈도우 제어에 관한 것으로, 예를 들어 전자 장치에서 멀티 윈도우의 표시 제어에 관한 것이다.
기술의 발달과 함께 전자 장치를 이용하여 다양한 정보를 동시에 제공하고자 하는 니즈가 증가하고 있다. 예를 들면 전자 장치는 디스플레이를 복수의 윈도우로 분할하여 각각의 윈도우에 개별적으로 정보를 제공하는 멀티 윈도우 기능을 실행하도록 할 수 있다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
전자 장치는 디스플레이를 통해 제공되는 멀티 윈도우의 각각의 윈도우에 대해 개별적으로 제어할 수 있다.
본 문서에 개시된 다양한 실시 예에 따른 전자 장치는,하우징, 상기 하우징에 장착된 디스플레이, 센서 모듈, 및 상기 디스플레이 및 상기 센서모듈과 작동적으로 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하고, 상기 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하고, 상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시하고, 상기 지정된 영역에 표시된 상기 객체를 통해 상기 복수의 윈도우 중 제1 윈도우가 선택되는지 확인하고, 상기 제1 윈도우가 선택되고, 어플리케이션 스위칭 기능이 선택되는지 확인하고, 상기 어플리케이션 스위칭 기능이 선택되면, 적어도 하나의 어플리케이션 실행을 위한 선택가능한 객체를 포함하는 제2 윈도우를 상기 디스플레이 상에 제공하고, 상기 제2 윈도우에 표시된 특정 객체 선택에 대응하여 상기 특정 객체에 대응하는 어플리케이션을 실행하고 상기 어플리케이션 실행 화면을 상기 선택된 제1 윈도우 상에 표시하도록 설정될 수 있다.
본 문서에 개시된 다양한 실시 예에 따른 전자 장치의 방법은, 상기 전자 장치의 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하는 동작, 상기 전자 장치의 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하는 동작, 상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시하는 동작, 상기 지정된 영역에 표시된 상기 객체를 통해 상기 복수의 윈도우 중 제1 윈도우가 선택되는지 확인하는 동작, 상기 제1 윈도우가 선택되고, 어플리케이션 스위칭 기능이 선택되는지 확인하는 동작, 상기 어플리케이션 스위칭 기능이 선택되면, 적어도 하나의 어플리케이션 실행을 위한 선택가능한 객체를 포함하는 제2 윈도우를 상기 디스플레이 상에 제공하는 동작, 및 상기 제2 윈도우에 표시된 특정 객체 선택에 대응하여 상기 특정 객체에 대응하는 어플리케이션을 실행하고 상기 어플리케이션 실행 화면을 상기 선택된 제1 윈도우 상에 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치의 디스플레이를 통해 제공되는 멀티 윈도우의 각각의 윈도우에 대해 개별적으로 제어할 수 있는 사용자 인터페이스를 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
본 개시에서 이루고자 하는 기술적 과제, 기술적 특징 및 효과는 이상에서 언급한 기술적 과제, 기술적 특징 및 효과로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제, 기술적 특징 및 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 3은 다양한 실시예에 따른 전자 장치의 폼팩터의 예들을 도시한다.
도 4는 다양한 실시예에 따른 폴더블 전자 장치의 외형을 도시한다.
도 5는 다양한 실시예에 따른 전자 장치의 멀티 윈도우의 예들을 도시한다.
도 6은 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 7은 다양한 실시예에 따른 전자 장치의 플렉스 상태를 설명하기 위한 도면이다.
도 8은 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 9a 내지 도 9c는 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 10은 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 11은 다양한 실시예에 따른 전자 장치의 어플리케이션 실행을 위한 선택 가능한 객체들을 포함하는 팝업 윈도우를 설명하기 위한 도면이다.
도 12는 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 13은 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어 동작을 설명하기 위한 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. .
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 2를 참조하면, 전자 장치(200)(예: 도 1의 전자 장치(101))는 디스플레이(210)(예: 도 1의 디스플레이 모듈(160) 및 입력 모듈(150)), 프로세서(220)(예: 도 1의 프로세서(120)), 메모리(230)(예: 도 1의 메모리(130)) 및/또는 센서 모듈(220)(예: 도 1의 센서 모듈(176))을 포함할 수 있다. 전자 장치(200)는 도 1의 전자 장치(101)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면 디스플레이(210)는 사용자가 실행한 하나 이상의 어플리케이션(또는 프로그램)에 대응하는 화면을 표시할 수 있다. 예를 들어, 디스플레이(210)는 둘 이상의 어플리케이션을 동시에 실행하는 경우, 디스플레이(210) 내 화면을 복수 개의 영역으로 분할하고, 분할된 각 영역에 상기 둘 이상의 어플리케이션의 실행 화면에 대응하는 윈도우들을 표시할 수 있다.
일 실시예에 따르면 디스플레이(210)는 LCD(liquid crystal display), TFT-LCD(thin film transistor LCD), OLED(organic light emitting diodes), 발광다이오드(LED), AMOLED(active matrix organic LED), 플렉서블 디스플레이(flexible display) 및 3차원 디스플레이(3 dimension display) 중 적어도 하나 이상으로 구성될 수 있다. 또한 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 TOLED(transparent OLED)를 포함하는 투명 디스플레이 형태로 구성될 수 있다. 이하, 플렉서블 디스플레이(210)로 칭하나 다양한 실시예에 따른 디스플레이는 이에 한정되지 않는다. 일 실시예에 따른 플렉서블 디스플레이(210)는 도 1의 디스플레이 모듈(160)의 구조 및/또는 기능 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면 플렉서블 디스플레이(210)는 전자 장치(200)의 외부로 정보를 시각적으로 제공할 수 있다. 플렉서블 디스플레이(210)는 터치 또는 호버링(hovering) 입력을 감지하는 터치 스크린을 포함할 수 있다. 플렉서블 디스플레이(210)는 도 1의 디스플레이 모듈(160)의 구성 및/또는 기능의 적어도 일부를 포함할 수 있고, 도 1의 입력 모듈(150)의 구성 및/또는 기능의 적어도 일부를 포함할 수 있다. 전자 장치(200)의 플렉서블 디스플레이(210)는 전자 장치(200)의 하우징의 움직임 또는 변형에 따라 형태 변형이 가능한 구조를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 플렉서블 디스플레이(210)가 접히거나 구부러질 수 있는 구조를 포함할 수 있으며 특정 방식으로 제한되지 않는다. 예를 들어, 전자 장치(200)는 폴딩 방식에 있어서, 인-폴딩(in-folding), 및/또는 아웃-폴딩(out-folding)이 될 수 있으며 폴딩 축을 중심으로 상하 및/또는 좌우로 폴딩될 수 있으며, 하나 이상의 폴딩 축을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(200)는 플렉서블 디스플레이(210)가 롤링(rolling)(예: 슬라이딩(sliding))될 수 있는 구조를 포함할 수 있으며 특정 방식으로 제한되지 않는다. 예를 들어, 전자 장치(200)의 플렉서블 디스플레이(210)의 일부 영역은 하우징의 내부에 말려들어가 있거나 접혀 있을 수 있고, 적어도 하나 이상의 롤러(roller) 구조물을 통해 좌우 또는 상하로 펼쳐질 수 있다.
일 실시예에 따르면, 플렉서블 디스플레이(210)는 전자 장치(200)의 주 디스플레이가 될 수 있으며, 전자 장치(200)의 하우징의 전면 또는 후면에 위치할 수 있다.
일 실시예에 따르면, 플렉서블 디스플레이(210)는 전자 장치의 보조 디스플레이가 될 수 있으며, 전자 장치(200)의 하우징의 전면 또는 후면에 위치할 수 있다.
일 실시예에 따르면, 프로세서(220)는 전자 장치(200)의 구성 요소들의 제어 및/또는 디스플레이(210)에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로서, 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 프로세서(220)는 플렉서블 디스플레이(210) 및 센서 모듈(240)을 포함하는 전자 장치(200)의 내부 구성요소와 기능적으로(functionally), 작동적으로(operatively) 및/또는 전기적으로(electrically) 연결될 수 있다.
일 실시예에 따르면 메모리(230)는 공지의 휘발성 메모리(volatile memory) 및 비휘발성 메모리(non-volatile memory)를 포함할 수 있으며, 구체적인 구현 예에 있어서는 한정되지 않는다. 메모리(230)는 도 1의 메모리(130)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 또한, 메모리(230)는 도 1의 프로그램(140) 중 적어도 일부를 저장할 수 있다.
일 실시예에 따르면 메모리(230)는 기능적으로(functionally), 작동적으로(operatively) 및/또는 전기적으로(electrically) 프로세서(220)와 연결되고, 실행시 프로세서(220)에 의해 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 프로세서(220)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 및/또는 입출력을 포함하는 다양한 제어 명령을 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(240)은 전자 장치(200)의 상태(예를 들어, 형태 및/또는 자세)를 결정하기 위한 센서 값을 생성할 수 있다.
일 실시예에 따르면, 전자 장치(200)의 형태는 플렉서블 디스플레이(210)가 장착된 전자 장치(200)의 하우징이 형성한 형태가 될 수 있다. 전자 장치(200)의 하우징이 형성한 형태에 따라 플렉서블 디스플레이(210)의 형태가 변경될 수 있다. 전자 장치(200)의 형태는, 예를 들어, 전자 장치(200)의 하우징의 움직임 또는 변형에 따라 플렉서블 디스플레이(210)가 형성한 형태가 될 수 있다.
일 실시예에 따르면 전자 장치(200)의 자세는, 예를 들어, 전자 장치(200)가 형성하는 방향 및/또는 각도가 될 수 있다. 전자 장치(200)의 자세는, 전자 장치(200) 또는 전자 장치(200)의 일부 구성의 중력 방향에 대한 각도 및/또는 위상으로 이해될 수 있다.
일 실시예에 따르면, 센서 모듈(240)은 전자 장치(200)의 상태(예를 들어, 형태 및/또는 자세)를 감지하기 위한 다양한 센서를 포함할 수 있다. 예를 들어, 센서 모듈(240)은 전자 장치(200)의 펼침/접힘 상태(예: 폴더블 디스플레이), 폴딩 각도, 롤링 상태(예: 슬라이더블 디스플레이), 롤링 정도 및/또는 자세(예: 적어도 하나의 하우징의 중력 방향에 대한 각도 및/또는 위상)를 감지할 수 있는 각도 센서(미도시), 마그네틱 센서(미도시), 중력 센서(미도시), 가속도 센서(미도시), 및/또는 자이로 센서(미도시)와 같은 다양한 센서를 포함할 수 있다. 센서 모듈(240)은 전자 장치(200)의 하우징의 내부 및/또는 일 면에 위치하거나 힌지 내에 위치할 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치의 폼 펙터를 도시한 도면이다.
도 3을 참조하면, 다양한 실시예들에 따른 전자 장치(300)(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(200))는 다양한 형태의 폼 팩터(또는 하우징)로 구현될 수 있다. 예를 들어, 전자 장치(300)는 슬라이더블 전자 장치(310), 롤러블 전자 장치(320), 제1 폴더블 전자 장치(330), 제2 폴더블 전자 장치(340), 및 제3 폴더블 전자 장치(350) 중 적어도 하나를 포함할 수 있다. 도 3에 도시된 다양한 형태의 폼 팩터(또는 하우징)는 전자 장치(300)의 폼 팩터의 일 예들로서, 전자 장치(300)의 폼 팩터는 이에 한정되지 않고 다양한 종류의 폼 팩터 또는 그 변형이 가능할 수 있다.
일 실시예에 따르면, 제1 폴더블 전자 장치(330)는 적어도 두 개의 힌지 구조를 포함하고, 제2 폴더블 전자 장치(340) 및 제3 폴더블 전자 장치(350)는 하나의 힌지 구조를 포함할 수 있다.
일 실시예에 따르면, 제1 폴더블 전자 장치(330), 제2 폴더블 전자 장치(340) 및 제3 폴더블 전자 장치(350)는 접히는(또는 휘어지는) 디스플레이(예: 폴더블 디스플레이(foldable display) 또는 플렉서블 디스플레이(flexible display))를 탑재하고, 힌지 구조에 기반하여 접어서 사용하거나 펼쳐서 사용할 수 있다.
도 4는 다양한 실시예에 따른 플렉서블 디스플레이를 구비한 전자 장치의 구조 및 형태 변경에 관한 예이다.
도 4를 참조하면, 전자 장치(400)(예: 도 2의 전자 장치(200))는 폴더블 전자 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치(400)의 디스플레이(410)는 도 1의 디스플레이 모듈(160)의 구조 및/또는 기능 중 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따른 폴더블 전자 장치(400)는 폴딩 축(예: A축)을 기준으로 2개의 하우징(예: 제1 하우징(401) 및 제2 하우징(402)), 플렉서블 디스플레이(410)(예: 도 1의 디스플레이 모듈(160), 제1 디스플레이), 전면 카메라(420)(예: 도 1의 카메라 모듈(180)), 보조 디스플레이(430)(예: 도 1의 디스플레이 모듈(160), 제2 디스플레이), 및 후면 카메라(440)(예: 도 1의 카메라 모듈(180))를 포함할 수 있으며, 도 1의 전자 장치(101)의 구조 및/또는 기능 중 적어도 일부를 포함할 수 있다. 2개의 하우징은 힌지 구조에 의해 포개어질 수 있으며, 적어도 하나 이상의 축을 중심으로 폴딩되어 겹쳐질 수 있다.
일 실시예에 따르면, 전자 장치(400)의 하우징을 구성하는 2개의 하우징 중 제1 하우징(401)은 제1 면 및 제2 면을 포함할 수 있고, 제2 하우징(402)은 제3 면 및 제4 면을 포함할 수 있다. 예를 들어, 전자 장치(400)의 디스플레이(410)가 A축을 기준으로 폴딩되는(folded) 형태는 제1 하우징(401)의 제1 면은 제2 하우징(402)의 제3 면과 서로 마주보고 포개어진 형태일 수 있다. 여기서 전자 장치(400)의 형태가 폴딩되는 형태는, 제1 하우징(401)의 제1 면과 제2 하우징(402)의 제3 면이 이루는 각도(예: 각도 B)가 좁은 각도(예: 0~5도)를 이루는 것일 수 있다. 예를 들면 전자 장치(400)가 폴딩된 형태는 닫힌 형태 (close state, closed state) 또는 완전히 접힌 형태(fully folded state)를 포함할 수 있다. 디스플레이(410)는 물리적으로 폴딩되어 나뉘는 영역으로서의 구분으로 제1 영역(411)과 제2 영역(412)으로 구분될 수 있으며, 제1 영역(411)은 제1 하우징(401)의 제1 면에 위치할 수 있고 제2 영역(412)은 제2 하우징(402)의 제3 면에 위치할 수 있다. 제1 하우징(401)과 제2 하우징(402)은 폴딩 축(예: A축)을 중심으로 양측에 배치될 수 있고, 폴딩 축에 대하여 전체적으로 대칭인 형상을 지닐 수 있다.
도 4를 참조하면, 제1 하우징(401)은 폴딩 축을 기준으로 좌측에 위치할 수 있고 제2 하우징(402)은 폴딩 축을 기준으로 우측에 위치할 수 있다. 제1 하우징(401)과 제2 하우징(402)은 서로에 대해 접히도록 설계될 수 있으며, 폴딩된(folded) 형태 또는 접힌 형태에서 제1 하우징(401)의 제1 면과 제2 하우징(402)의 제3 면이 대면하도록 포개어질 수 있다.
다양한 실시예에 따르면, 제1 하우징(401)과 제2 하우징(402) 사이에는 힌지가 형성되어, 전자 장치(400)의 제1 하우징(401) 및 제2 하우징(402)이 포개어 접힐 수 있다. 다만, 전자 장치(400)가 폴딩 축을 기준으로 좌우에 배치된 하우징 구조는 일 예에 불과하며, 전자 장치(400)의 폴딩 축을 기준으로 상하로 배치된 하우징(예, 도 3의 제2 폴더블 전자 장치(340))을 가질 수 있다.
일 실시예에 따르면, 제1 하우징(401) 및 제2 하우징(402)은 전자 장치(400)의 형태가 언폴딩된 형태 (또는 열린 형태), 폴딩된 형태(또는 닫힌 형태) 또는 중간 형태인지 여부에 따라 서로 이루는 각도(예: 각 B)나 거리가 달라질 수 있다. 디스플레이(410)가 언폴딩된 형태는 오픈 형태(open state, opened state) 또는 플랫(또는 평평한) 형태(flat state)를 포함할 수 있다. 예를 들어 언폴딩된 형태는 전자 장치(400)의 제1 하우징(401)과 제2 하우징(402)이 약 180도)로 동일한 평면 상에 배치되어 디스플레이(410)가 플랫 형태로 노출된 형태를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(400)는 제1 하우징(401) 또는 제2 하우징(402)의 적어도 일부에 보조 디스플레이(430)(예: 도 1의 디스플레이 모듈(160))를 구비할 수 있다. 도 4를 참조하면, 보조 디스플레이는 전자 장치(400)의 제1 하우징(401)의 제2 면의 적어도 일부에 형성될 수 있다. 보조 디스플레이(430)는 제2 하우징(402)의 제4 면에 배치될 수도 있으며, 제1 하우징(401)의 제2 면 및 제2 하우징(402)의 제4 면의 일부 또는 전부에 거쳐 형성될 수도 있다. 보조 디스플레이는 도 1의 디스플레이 모듈(160)의 구조 및/또는 기능 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면 전자 장치(400)의 형태가 중간 형태(intermediate state), 예를 들어 디스플레이(410)가 부분적 오픈 형태(partial open state, partially opened state)로 전자 장치(400)의 제1 하우징(401)과 제2 하우징(402)이 지정된 각도 범위(예: 80도~130도)로 배치되어 디스플레이(410)가 노출된 형태일 수 있다. 중간 형태는 예를 들어 제1 하우징(401)의 제1 면과 제2 하우징(402)의 제3 면이 이루는 각도(예: 각 B)가 지정된 각도 범위(예: 80~130도)를 이루는 것일 수 있다.
일 실시예에 따르면, 전자 장치(400)의 프로세서(예: 도 2의 프로세서(220))는전자 장치(400)의 상태가 플렉스 상태(403)임을 센서 모듈(예: 도 2의 센서 모듈(240))의 센서값에 기초하여 확인할 수 있다. 예를 들어 플렉스 상태는 전자 장치(400)의 형태가 상술한 중간 형태이고, 전자 장치(400)의 자세가 제1 하우징(401) 또는 제2 하우징(402) 중 하나(예: 제1 하우징(401))가 바닥면과 실질적으로 수평을 이루는 자세인 상태를 의미할 수 있다.
도 5는 다양한 실시예에 따른 전자 장치의 멀티 윈도우의 예들을 도시한다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))는 멀티 윈도우 기능을 통해 디스플레이 화면을 복수개의 윈도우로 분할하여 복수개의 윈도우 화면을 통해 각각 개별 정보를 제공할 수 있다. 멀티 윈도우 화면은 다양한 분할 방식으로 다양한 개수의 윈도우를 제공할 수 있다. 예를 들면 화면(501)은 좌, 우로 분할된 2개의 멀티 윈도우를 표시하고, 화면(502)은 상, 하로 분할된 2개의 멀티 윈도우를 표시할 수 있다. 예를 들면 화면(503)은 좌, 우로 분할된 좌측 윈도우, 및 우측 윈도우와, 우측 윈도우가 추가로 상,하로 분할된 3개의 멀티 윈도우를 표시할 수 있다. 예를 들면 화면(504)은 좌, 우로 분할된 우측 윈도우, 및 좌측 윈도우, 좌측 윈도우가 추가로 상, 하로 분할된 3개의 멀티 윈도우를 표시할 수 있다. 예를 들면 화면(505)은 상, 하로 분할된 하측 윈도우, 및 상측 윈도우, 상측 윈도우가 추가로 좌,우로 분할된 3개의 멀티 윈도우를 표시할 수 있다. 예를 들면 화면(506)은 상, 하로 분할된 상측 윈도우, 및 하측 윈도우, 하측 윈도우가 추가로 좌,우로 분할된 3개의 멀티 윈도우를 표시할 수 있다.
도 6은 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 6을 참조하면 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 디스플레이(예: 도 2의 디스플레이(210) 또는 도 4의 디스플레이(410))의 전체 화면을 복수개의 서브 화면으로 분할하여 각 서브 화면을 통해 개별 정보를 제공할 수 있도록 구성된 멀티 윈도우를 표시할 수 있다. 예를 들면 전자 장치는 디스플레이(410) 화면(601) 상에 3개의 서브 화면으로 구성된 멀티 윈도우를 제공할 수 있다. 예를 들면 전자 장치는 디스플레이(410) 상에 윈도우(611), 윈도우(612) 및 윈도우(613)의 3개로 분할된 멀티 윈도우를 표시할 수 있다. 예를 들면 윈도우(611), 윈도우(612) 및 윈도우(613)는 각각 A 어플리케이션, B 어플리케이션 및 C 어플리케이션의 실행 화면을 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트에 따라 해당 윈도우의 표시를 제어할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트에 따라 해당 윈도우를 통해 표시되는 어플리케이션의 실행 화면을 제어하기 위한 적어도 하나의 객체를 포함하는 메뉴를 제공할 수 있다.
일 실시예에 따르면 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트는, 대응하는 윈도우에 대한 하나 이상의 터치(또는 호버) 입력, 또는 대응하는 윈도우 제어를 위한 객체를 포함하는 메뉴에 대한 하나 이상의 터치(또는 호버) 입력, 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 터치 이벤트로서, 멀티 윈도우 화면(601)에서 사용자로부터 윈도우(613)의 적어도 일 영역(예: 상단)에 대해 터치 입력(615)을 수신할 수 있다.
일 실시예에 따르면 전자 장치는 터치 입력(615)의 수신에 응답하여 멀티 윈도우 화면(602)에 도시된 바와 같이 윈도우(613)의 적어도 일 영역(예: 상단)에 윈도우(613)에 대한 제어 메뉴(예: 멀티 윈도우 핸들러)(627)를 표시할 수 있다.
예를 들면 제어 메뉴(627)는 어플리케이션 스위칭 객체(627-1)를 포함할 수 있다. 어플리케이션 스위칭 객체(627-1)는 해당 윈도우(613)를 통해 제공되는 어플리케이션의 실행 화면을 다른 어플리케이션의 실행 화면으로 스위칭하기 위한 시각적 객체일 수 있다.
일 실시예에 따르면, 전자 장치는 윈도우(613)에 대한 터치 입력(615)이 감지됨에 따라 윈도우(613)을 활성화(focus)할 수 있다. 터치 입력(615)에 따라 포커스가 이동하여 선택된 윈도우(613)가 활성화되어, 윈도우(613)에 대해 색상, 효과 및/또는 텍스트에 의해 선택되었음을 표시할 수 있다. 또한, 선택된 윈도우(613)에 대한 색상, 효과 및/또는 텍스트를 제어 메뉴(627)에도 적용하여 선택되지 않은 윈도우의 제어 메뉴와 구별되도록 할 수 있다.
일 실시예에 따르면 전자 장치는 제어 메뉴(627) 중 어플리케이션 스위칭 객체(627-1)를 선택하는 입력(예: 터치 입력)(625)을 수신함에 따라, 터치 이벤트에 의해 어플리케이션 스위칭을 위한 다양한 어플리케이션의 실행을 위한 선택 가능한 객체(예: 아이콘 또는 폴더)들을 포함하는 윈도우(637)를, 예를 들면 팝업 형태로, 멀티 윈도우 화면(603) 상에 중첩하여 표시할 수 있다. 예를 들면 다양한 어플리케이션의 실행을 위한 선택 가능한 객체들을 포함하는 윈도우(637)는 홈 화면과 동일 또는 유사한 선택 가능한 객체들을 포함하고 동일 또는 유사한 배치 구조의 화면을 포함할 수 있다. 예를 들면 윈도우(637)에 표시되는 선택 가능한 객체들은 사용자에 의해 구축된 홈 화면과 동일 또는 유사한 선택 가능한 객체들로서 동일 또는 유사한 배치 구조로 제공될 수 있다.
일 실시예에 따르면 윈도우(637)에 표시되는 다양한 어플리케이션 실행을 위한 선택 가능한 객체들 중 하나의 객체(639)가 예를 들면 터치 입력 또는 드래그 앤 드롭과 같은 다양한 터치 입력 및/또는 호버 입력 방식으로 선택될 수 있다.
일 실시예에 따르면 멀티 윈도우 화면(604)를 참조하면, 선택된 객체(639)에 대응하는 어플리케이션(예: D 어플리케이션)이 실행되고 실행되는 어플리케이션 화면(647)이 대응하는 서브 윈도우(613)에 표시될 수 있다. 이에 따라 서브 윈도우(613)에 표시되는 어플리케이션(예: C 어플리케이션)이 다른 어플리케이션(예: D 어플리케이션)으로 스위칭 또는 변경될 수 있다.
도 7은 다양한 실시예에 따른 전자 장치의 플렉스 상태를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 센서 모듈(예: 도 2의 센서 모듈(240))의 센서값에 기초하여 전자 장치의 상태를 확인(identify)할 수 있다. 예를 들면 전자 장치의 상태는 센서 모듈(240)의 센서값에 기초하여 플렉스 상태(예: 도 4의 플렉스 상태(403))인 것으로 확인될 수 있다.
일 실시예에 따르면, 센서 모듈(240)은 전자 장치의 상태(예를 들어, 형태 및/또는 자세)를 감지하기 위한 다양한 센서를 포함할 수 있다. 예를 들어, 센서 모듈(240)은 전자 장치의 펼침/접힘 상태(예: 폴더블 디스플레이), 폴딩 각도, 롤링 상태(예: 슬라이더블 디스플레이), 롤링 정도 및/또는 자세(예: 적어도 하나의 하우징의 중력 방향에 대한 각도 및/또는 위상)를 감지할 수 있는 각도 센서(미도시), 마그네틱 센서(미도시), 중력 센서(미도시), 가속도 센서(미도시), 및/또는 자이로 센서(미도시)와 같은 다양한 센서를 포함할 수 있다.
플렉스 상태는 전자 장치의 형태가 중간 형태이고, 전자 장치의 자세가 두 개의 하우징(예: 도 4의 제1 하우징(401) 또는 제2 하우징(402)) 중 하나(예: 제1 하우징(401))가 바닥면과 실질적으로 수평을 이루는 자세인 상태를 의미할 수 있다. 중간 형태는 전자 장치의 두 개의 하우징(예: 도 4의 제1 하우징(401)과 제2 하우징(402))이 지정된 각도 범위(예: 80도~130도)로 배치되어 디스플레이(예: 도 4의 디스플레이(410))가 노출된 형태일 수 있다. 중간 형태는 도 4를 다시 참조하면 제1 하우징(401)의 제1 면과 제2 하우징(402)의 제3 면이 이루는 각도(예: 각 B)가 지정된 각도 범위(예: 80~130도)를 이루는 것일 수 있다.
일 실시예에 따르면 전자 장치의 프로세서(220)는 전자 장치가 플렉스 상태로 확인되면 플렉스 모드에 따른 사용자 인터페이스를 디스플레이를 통해 제공할 수 있다. 예를 들면 도 7을 참조하면, 플렉스 모드는, 플렉스 상태의 식별 부호 701 도면에서 상단의 화면(711)과 하단의 화면(712)을 폴딩 축(예: 도 4의 A축)을 기준으로 분리하여, 상단의 화면(711)에는 어플리케이션 화면을 제공하고 하단의 화면(712)에는 상단 화면(711)에 제공되는 어플리케이션에 대한 제어 화면을 제공하는 기능을 포함할 수 있다. 예를 들면 전자 장치에서 실행되는 어플리케이션 중 어플리케이션 속성 정보에 따라 플렉스 모드를 지원하는 어플리케이션은 전자 장치가 플렉스 상태로 전환되는 경우 식별 부호 701 도면에 도시된 바와 같이 상, 하단 화면을 분리하여 플렉스 모드가 제공될 수 있다. 예를 들어 전자 장치에서 실행되는 어플리케이션 중 어플리케이션 속성 정보에 따라 플렉스 모드를 지원하지 않는 어플리케이션은 플렉스 상태에서도 식별 부호 702 도면과 같이 전체 화면을 통해 어플리케이션 실행 화면을 제공할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 센서 모듈(예: 도 2의 센서 모듈(240))의 센서값에 기초하여 전자 장치의 상태가 플렉스 상태인지를 확인할 수 있다.
일 실시예에 따르면 전자 장치의 프로세서(220)는 전자 장치가 플렉스 상태로 확인되면 플렉스 상태에 따른 사용자 인터페이스 기능을 제공할 수 있다. 예를 들면 전자 장치에서 멀티 윈도우를 제공하고 있는 상태에서 센서 모듈의 센서 값에 기초하여 플렉스 상태로 전환한 것으로 확인되면, 플렉스 상태의 화면(802) 또는 화면(804)을 통해 플렉스 상태에 따른 사용자 인터페이스 기능을 제공할 수 있다.
일 실시예에 따르면 전자 장치가 언폴딩 상태에서 멀티 윈도우 화면(801)은 전자 장치의 디스플레이 상단에 두 개의 윈도우(812, 813)을 표시하고, 하단에 하나의 윈도우(811)을 분리하여 표시할 수 있다. 일 실시예에 따르면 전자 장치는 멀티 윈도우 화면(801 및/또는 802)의 하단의 윈도우(811), 및 상단의 두 개의 윈도우(812 및 813) 각각에 대해 개별 윈도우를 각각 개별적으로 제어하기 위한 객체를 포함하는 제어 메뉴(예: 멀티 윈도우 핸들러)(815, 817, 819)를 각각 대응하는 윈도우(811, 812, 813)를 통해 제공할 수 있다. 예를 들어 윈도우(812)는 해당 윈도우(812)에 제공된 제어 메뉴(817)를 통해 해당 윈도우(812)에서 실행되는 어플리케이션을 스위칭하는 기능을 포함하는 다양한 제어 기능을 수행할 수 있다.
일 실시예에 따르면 전자 장치가 언폴딩 상태에서 멀티 윈도우 화면(803)은 전자 장치의 디스플레이 하단에 하나의 윈도우(821) 및 상단에 하나의 윈도우(822)를 분리하여 표시할 수 있다.
일 실시예에 따르면 전자 장치는 멀티 윈도우 화면(803 및/또는 804)의 하단의 윈도우(821), 및 상단의 윈도우(822) 각각에 대해 개별 윈도우를 각각 개별적으로 제어하기 위한 객체를 포함하는 제어 메뉴(예: 멀티 윈도우 핸들러)(825, 827)를 각각 대응하는 윈도우(821, 822)를 통해 제공할 수 있다. 예를 들어 윈도우(822)는 해당 윈도우(822)에 제공된 제어 메뉴(827)를 통해 해당 윈도우(822)에서 실행되는 어플리케이션을 스위칭하는 기능을 포함하는 다양한 제어 기능을 수행할 수 있다.
도 9a 내지 도 9c는 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 9a를 참조하면 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 디스플레이(예: 도 2의 디스플레이(210) 또는 도 4의 디스플레이(410))의 전체 화면을 복수개의 서브 화면으로 분할하여 각 서브 화면을 통해 개별 정보를 제공할 수 있도록 구성된 멀티 윈도우를 표시할 수 있다. 예를 들면 디스플레이의 화면(901)은 3개의 서브 화면으로 구성된 멀티 윈도우를 제공할 수 있다. 예를 들면 디스플레이는 윈도우(911), 윈도우(912) 및 윈도우(913)의 3개로 분할된 멀티 윈도우를 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트에 따라 해당 윈도우의 표시를 제어할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트에 따라 해당 윈도우에 표시되는 어플리케이션을 제어하기 위한 객체를 포함하는 메뉴를 제공할 수 있다.
일 실시예에 따르면 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트는, 대응하는 윈도우에 대한 하나 이상의 터치 입력, 또는 대응하는 윈도우 제어를 위한 메뉴에 대한 하나 이상의 터치 입력, 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 전자 장치의 프로세서(220)는 센서 모듈(예: 도 2의 센서 모듈(240))의 센서값에 기초하여 전자 장치의 상태가 플렉스 상태인지를 확인할 수 있다.
일 실시예에 따르면 전자 장치의 프로세서(220)는 전자 장치의 상태(예: 디스플레이의 형태 및/또는 전자 장치의 자세)가 플렉스 상태로 확인되면 플렉스 상태에 따른 사용자 인터페이스 기능을 제공할 수 있다. 예를 들면 전자 장치에서 멀티 윈도우를 제공하고 있는 상태에서 센서 모듈의 센서 값에 기초하여 플렉스 상태로 전환한 것으로 확인되면, 플렉스 상태의 화면(902)을 통해 플렉스 상태에 따른 사용자 인터페이스 기능을 제공할 수 있다.
일 실시예에 따르면 전자 장치가 플렉스 상태인 것으로 확인되면 플렉스 상태의 디스플레이를 통해 제공되는 멀티 윈도우 화면(902)은 중간 형태로 폴딩된 하단의 윈도우(제1 윈도우(911)), 상단의 두 개의 윈도우(제2 윈도우(912) 및 제3 윈도우(913)) 각각에 대해 개별 윈도우를 각각 개별적으로 제어하기 위한 메뉴(예: 개별 윈도우 선택 아이콘을 포함하는 객체)(921, 922, 923)를 제공할 수 있다. 예를 들면 전자 장치가 플렉스 상태인 것으로 확인되면, 플렉스 상태의 디스플레이의 지정된 영역에 복수의 윈도우 각각을 개별적으로 선택 및/또는 제어하기 위한 복수개의 개별 윈도우 선택 아이콘을 포함하는 객체(921, 922, 923)를 제공할 수 있다.
멀티 윈도우 기능에 따라 분할되어 제공되는 세 개의 서브 윈도우(911, 912, 913) 각각에 대한 개별 윈도우 선택 아이콘 (921, 922, 923)은 디스플레이 지정된 영역, 예를 들면 디스플레이의 하단의 일 영역, 예를 들어 디스플레이 하단에 표시된 서브 윈도우(911)에 중첩된 적어도 일 영역(예: 태스크 바(915))을 통해 제공될 수 있다. 예를 들어 제2 윈도우(912)에 대한 제어 기능은 디스플레이 하단에 표시된 제1 윈도우(911)에 중첩된 적어도 일 영역을 통해 제공되는 제어 메뉴 중 제2 윈도우(912)를 선택하기 위한 개별 윈도우 선택 아이콘을 포함하는 객체(922)를 선택함으로써 제공될 수 있다. 멀티 윈도우 기능에 따라 분할되어 제공되는 세 개의 서브 윈도우(911, 912, 913) 각각을 선택하기 위한 개별 윈도우 선택 아이콘을 포함하는 객체(921, 922, 923)는 디스플레이 하단의 다른 영역, 예를 들어 디스플레이 하단에 표시된 서브 윈도우(911)와 중첩되지 않는 디스플레이 하단의 적어도 다른 영역을 통해 제공될 수 있다. 태스크 바(915)는 플렉스 상태뿐만 아니라 언폴딩 상태에서도 제공될 수 있다.
일 실시예에 따르면, 멀티 윈도우 화면(902)의 복수의 윈도우에 대해 디스플레이의 특정 영역(예: 디스플레이 하단의 일 영역)에 제공되는 개별 윈도우 선택 아이콘(922)를 통해 다른 윈도우(예: 제2 윈도우(912))가 선택되면 다른 윈도우(예: 제2 윈도우(912))를 제어하기 위한 제어 기능이 실행될 수 있다.
일 실시예에 따르면 멀티 윈도우 화면(902)의 복수의 윈도우 중 다른 윈도우(예: 제2 윈도우(912))에 대한 제어 기능을 수행하기 위해, 지정된 영역 예를 들면 제2 윈도우(912)가 아닌 다른 영역(예: 디스플레이 하단의 일 영역(915))을 통해 제공되는 개별 윈도우 선택 아이콘을 포함하는 객체(922)를 통해 다른 윈도우(예: 제2 윈도우(912))가 선택될 수 있다.
일 실시예에 따르면 전자 장치의 프로세서(220)는 선택 아이콘(922)의 선택에 응답하여 선택된 윈도우(912)가 아닌 다른 영역(예: 디스플레이 하단의 일 영역)에 선택된 윈도우(912)에 대한 제어 메뉴(예: 멀티 윈도우 핸들러)(927)를 표시할 수 있다.
예를 들면 제어 메뉴(927)는 어플리케이션 스위칭 객체(927-1)를 포함할 수 있다. 어플리케이션 스위칭 객체(927-1)는 선택된 윈도우(912)를 통해 제공되는 어플리케이션의 실행 화면을 다른 어플리케이션의 실행 화면으로 스위칭하기 위한 시각적 객체일 수 있다.
선택 아이콘(922)을 통해 제2 윈도우(912)가 선택된 후 어플리케이션 스위칭 객체(927-1)가 선택되면 도 9a의 멀티 윈도우 화면(903)에 표시된 바와 같이 선택된 제2 윈도우(912)의 실행 화면을 통해 스위칭 될 수 있는 다양한 어플리케이션들의 목록이, 예를 들면 플로팅(floating) 또는 팝업(popup) 방식으로, 화면(937)을 통해 제공될 수 있다.
도 9b를 참조하면, 멀티 윈도우 화면(905)은 디스플레이 화면 하단의 제어 메뉴가 제공되는 영역(예: 태스크 바(915))를 통해 멀티 윈도우 중 하나를 선택하기 위한 선택 아이콘(941, 942, 943) 외에도 어플리케이션 스위칭 객체(947)를 제공할 수 있다. 태스크 바(915)는, 즐겨찾기 형태로 고정 배치된 어플리케이션 아이콘들(946), 최근 실행한 어플리케이션 아이콘들(948) 및/또는 네비게이션 바(949)를 제공할 수 있다.
도 9b의 태스크 바(915)는 디스플레이 화면의 일 영역에 제공되는 것으로, 예를 들면 디스플레이 화면의 특정 영역(예: 에지 영역)에 대한 터치 입력을 통해 제공되는 에지 핸들 메뉴와는 차이점이 있다. 도 9c는 디스플레이 화면(906)의 에지 영역에 대한 터치 입력(예: 에지 영역에 대한 터치(961)에 이어진 슬라이딩(962))에 대응하여 에지 핸들 메뉴(963, 964 또는 965)를 표시할 수 있다. 에지 핸들 메뉴(963, 964 또는 965)는 예를 들면 지정된 개수의 어플리케이션 목록과 같은 지정된 개수의 객체를 제공할 수 있으며, 디스플레이 화면의 좌측 또는 우측 에지에 대한 터치 입력을 통해 표시될 수 있다.
도 9b의 멀티 윈도우 화면(905)에서 선택 아이콘(942)를 통해 제2 윈도우(912)가 선택된 후 어플리케이션 스위칭 객체(947)가 선택되면 도 9a의 멀티 윈도우 화면(903)에 표시된 바와 같이 선택된 제2 윈도우(912)의 실행 화면을 통해 스위칭 될 수 있는 다양한 어플리케이션들의 목록이, 예를 들면 팝업 방식으로, 바닥면에 위치한 화면(937)을 통해 제공될 수 있다.
도 9a의 멀티 윈도우 화면(903)에서 다양한 어플리케이션 목록을 제공하는 화면(937)을 통해 특정 어플리케이션(939)이 선택될 수 있다. 선택된 제2 윈도우(912)에서 표시되던 종전 어플리케이션은 새로 선택된 특정 어플리케이션(939)으로 스위칭되어, 멀티 윈도우 화면(904)에 도시된 바와 같이 특정 어플리케이션(939)의 실행 화면(942)이 제2 윈도우(912)를 통해 표시될 수 있다. 도 10은 다양한 실시예에 따른 전자 장치의 플렉스 상태에서 멀티 윈도우 제어를 설명하기 위한 도면이다.
일 실시예에 따르면, 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 멀티 윈도우 화면(1002)의 복수의 윈도우(예: 제1 윈도우(911), 제2 윈도우(912) 및 제2 윈도우(913)) 각각에 제공되는 제어 메뉴(예: 상단 메뉴(931, 932, 933)) 각각을 통해 각각의 윈도우를 개별적으로 제어할 수 있다.
일 실시예에 따르면 멀티 윈도우 화면(1002)의 어느 일 영역을 통해 제공되는 제어 메뉴(예: 하단 태스크 바 메뉴(915))를 통해 특정 윈도우(911) 및 다른 윈도우(예: 제2 윈도우(912) 또는 제3 윈도우(913))에 대한 선택 및 제어를 포함하는 제어 기능을 수행할 수 있다.
도 10을 참조하면, 멀티 윈도우 화면(1002)의 복수의 윈도우 중 화면 상의 특정 위치(예: 디스플레이의 플렉스 상태에서 바닥에 위치하는 하단 화면) 또는 특정 윈도우(예: 제1 윈도우(911))와 중첩되는 또는 중첩되지 않는 일 영역을 통해 제공되는 제어 메뉴를 통해 특정 윈도우(911) 및 다른 윈도우(예: 제2 윈도우(912) 또는 제3 윈도우(913))에 대한 제어 기능을 수행할 수 있다.
일 실시예에 따르면 멀티 윈도우 화면(1002)은 각각의 개별 윈도우(예: 제1 윈도우(911), 제2 윈도우(912) 또는 제3 윈도우(913))를 제어하기 위한 제어 메뉴를 특정 윈도우(예: 제1 윈도우(911))와 중첩되는 또는 중첩되지 않는 일 영역을 통해 제공할 수 있다.
일 실시예에 따르면 전자 장치가 플렉스 상태인 것으로 확인되면, 플렉스 상태의 디스플레이를 통해 제공되는 멀티 윈도우 화면(1001)은 중간 상태로 폴딩된 하단의 윈도우(제1 윈도우(911)), 상단의 두 개의 윈도우(제2 윈도우(912) 및 제3 윈도우(913)) 각각에 대해 개별 윈도우를 각각 개별적으로 선택할 수 있는 개별 윈도우 선택 아이콘(921, 922, 923)을 디스플레이 하단의 일 영역(예: 태스크 바(915))을 통해 제공할 수 있다.
일 실시예에 따르면 플렉스 상태의 멀티 윈도우 화면(1002)에서 디스플레이 하단의 제어 메뉴(예: 태스크 바(915))를 통해 제공된 개별 윈도우 선택 메뉴(예: 아이콘을 포함하는 객체) 중 하단 윈도우(제1 윈도우(911))의 선택 메뉴(921)를, 예를 들면 터치 입력을 통해, 선택하면 하단 윈도우(제1 윈도우(911))는 하단 윈도우(제1 윈도우(911))를 제어하기 위한 제어 메뉴(927)를 디스플레이 하단 윈도우(제1 윈도우(911))와 중첩되는 영역 또는 중첩되지 않는 영역을 통해 제공할 수 있다.
윈도우 선택 메뉴(921)을 통해 하단 윈도우(911)가 선택된 경우에 하단 윈도우(911)를 통해 제공되는 제어 메뉴(927)는 하단 윈도우(911)를 제어하기 위한 기능을 제공할 수 있다. 예를 들어 윈도우 선택 메뉴(921)을 통해 하단 윈도우(911)가 선택된 경우에 하단 윈도우를 통해 제공되는 제어 메뉴(927)는 하단 윈도우(911)에서 실행되는 어플리케이션을 스위칭하는 기능을 실행하기 위한 어플리케이션 스위칭 객체(927-1)를 포함할 수 있다.
일 실시예에 따르면 윈도우 선택 메뉴(921)를 통해 하단 윈도우(911)가 선택된 경우에, 선택된 하단 윈도우(911)가 활성화되어(focused), 선택된 윈도우(911)에 대해 색상, 이미지 효과 및/또는 텍스트에 의해 다른 윈도우와 구별되도록 표시함으로써 상기 윈도우(911)가 선택되었음을 표시할 수 있다.
멀티 윈도우(1002) 중 어느 하나의 윈도우(예: 912)에 대한 터치 이벤트 또는 태스크 바의 해당 윈도우 선택을 위한 개별 윈도우 선택 아이콘(922)에 대한 터치 입력이 감지됨에 따라, 활성화되는 윈도우가 변경될 수 있다. 이에 따라 포커스가 이동하여 새로 선택된 윈도우(912)가 활성화되어(focused), 멀티 윈도우 화면(1003)에 도시된 바와 같이 선택된 윈도우(912)에 대해 색상, 이미지 효과 및/또는 텍스트에 의해 다른 윈도우와 구별되도록 표시함으로써 상기 윈도우(912)가 선택되었음을 나타낼 수 있다. 일 실시예에 따르면 플렉스 상태의 멀티 윈도우 화면(1003)에서 하단의 윈도우(제1 윈도우(911))을 통해 제공된 윈도우 선택 메뉴 중 상단 좌측 윈도우(제2 윈도우(912)) 선택 메뉴(922)를, 예를 들면 터치 입력을 통해, 선택하면, 하단 윈도우(제1 윈도우(911))는 상단 좌측 윈도우(제2 윈도우(912))를 제어하기 위한 제어 메뉴(927)를 하단 윈도우(제1 윈도우(911))와 중첩하는 영역 또는 중첩하지 않는 다른 영역을 통해, 예를 들면 플로팅 또는 팝업 형태로, 제공할 수 있다. 윈도우 선택 메뉴(922)를 통해 상단 좌측 윈도우(912)가 선택된 경우에 하단 윈도우를 통해 제공되는 제어 메뉴(927)는 상단 좌측 윈도우(912)를 제어하기 위한 기능을 제공할 수 있다. 예를 들어 윈도우 선택 메뉴(922)을 통해 상단 좌측 윈도우(912)가 선택된 경우에 하단 윈도우(911)를 통해 제공되는 제어 메뉴(927)는 상단 좌측 윈도우(912)에서 실행되는 어플리케이션을 스위칭하는 기능을 실행하기 위한 어플리케이션 스위칭 객체 (927-1)를 포함할 수 있다.
일 실시예에 따르면 플렉스 상태의 멀티 윈도우 화면(1004)에서 하단의 윈도우(제1 윈도우(911))을 통해 제공된 윈도우 선택 메뉴 중 상단 우측 윈도우(제3 윈도우(913)) 선택 메뉴(923)를, 예를 들면 터치 입력을 통해, 선택하면, 하단 윈도우(제1 윈도우(911))는 상단 우측 윈도우(제3 윈도우(913))를 제어하기 위한 제어 메뉴(927)를 하단 윈도우(제1 윈도우(911))를 통해 제공할 수 있다. 윈도우 선택 메뉴(923)를 통해 상단 우측 윈도우(913)가 선택된 경우에 하단 윈도우(911)를 통해 제공되는 제어 메뉴(927)는 상단 우측 윈도우(913)를 제어하기 위한 기능을 제공할 수 있다. 예를 들어 윈도우 선택 메뉴(923)을 통해 상단 우측 윈도우(913)가 선택된 경우에 하단 윈도우(911)를 통해 제공되는 제어 메뉴(927)는 상단 우측 윈도우(913)에서 실행되는 어플리케이션을 스위칭하는 기능을 실행하기 위한 어플리케이션 스위칭 객체(927-1)를 포함할 수 있다.
도 9a를 다시 참조하면, 상단(a) 좌측 윈도우(제2 윈도우(912))를 선택하기 위한 개별 윈도우 선택 아이콘(922)이 선택되어 상단(a) 좌측 윈도우(912)가 선택된 상황에서, 하단(b) 윈도우(911)와 중첩되는 영역을 통해 제공되는 상단(a) 좌측 윈도우(912)에 대한 제어 메뉴(927) 중 어플리케이션 스위칭 객체(927-1)가 선택되면 선택 가능한 어플리케이션을 나타내는 선택 가능한 객체들을 포함하는 화면(937)이 제공될 수 있다.
일 실시예에 따르면, 프로세서(220)는 터치 이벤트로서, 멀티 윈도우 화면(902)에서 사용자로부터 윈도우(912)의 적어도 일 영역에 대해 터치 입력 또는 다른 윈도우(911)를 통해 제공되는 선택 메뉴(922)를 통해 윈도우(912)를 선택하기 위한 입력을 감지하면, 선택된 윈도우(912)에 대한 제어 메뉴(927)를 플로팅(floating) 또는 팝업(popup) 형태로 디스플레이 상에 제공할 수 있다. 프로세서(220)는 선택된 윈도우(912)에 대한 제어 메뉴(927) 중 하나(예: 어플리케이션 스위칭 객체(927-1))를 선택하는 사용자 입력을 감지할 수 있다.
일 실시예에 따르면 프로세서(220)는 터치 이벤트에 의해 어플리케이션 스위칭을 위한 다양한 어플리케이션의 실행을 위한 선택 가능한 객체(예: 아이콘 또는 폴더)들을 포함하는 윈도우(937)를, 예를 들면 팝업 형태로, 멀티 윈도우 화면(903) 상에 표시하도록 디스플레이를 제어할 수 있다.
일 실시예에 따르면, 제2 윈도우(912)를 선택하기 위한 선택 메뉴(922)가, 예를 들면 터치 입력되고 제2 윈도우(912)에 대한 어플리케이션 스위칭 기능이 선택됨에 따라, 디스플레이의 멀티 윈도우 화면(903)에서 제2 윈도우(912)를 통해 실행될 수 있는 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(937)가 제공될 수 있다. 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(937)는, 예를 들면 팝업 형태로 멀티 윈도우 화면(903)의 상위 레이어에 표시될 수 있다. 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(937)는, 예를 들면 복수의 윈도우 중 상기 특정 윈도우(예: 제1 윈도우(911))를 통해 제공될 수 있다. 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(937)는, 예를 들면 복수의 윈도우 중 상기 특정 윈도우(예: 제1 윈도우(911))의 상위 레이어에 팝업 형태로 표시될 수 있다.
다양한 어플리케이션의 실행을 위한 선택 가능한 객체들을 포함하는 윈도우(937)는 홈 화면과 동일 또는 유사한 선택 가능한 객체들을 포함하고 동일 또는 유사한 배치 구조의 화면을 포함할 수 있다. 예를 들면 윈도우(937)에 표시되는 선택 가능한 객체들은 사용자에 의해 구축된 홈 화면과 동일 또는 유사한 선택 가능한 객체들로서 동일 또는 유사한 배치 구조로 제공될 수 있다.
일 실시예에 따르면 프로세서(220)는 다양한 어플리케이션 실행을 위한 선택 가능한 객체(예: 아이콘)들 중 하나의 객체(939)(예, D 어플리케이션 아이콘)가 예를 들면 터치 입력 또는 드래그 앤 드롭과 같은 다양한 터치 방식으로 선택됨을 감지할 수 있다.
일 실시예에 따르면 멀티 윈도우 화면(904)을 참조하면, 선택된 객체(939)에 대응하는 어플리케이션(예, D 어플리케이션)이 실행되고, 실행된 어플리케이션 화면(942)이 선택된 윈도우(912)에 표시될 수 있다. 이에 따라 윈도우(912)에 표시되는 어플리케이션이 다른 어플리케이션으로 스위칭 또는 변경될 수 있다.
도 11은 다양한 실시예에 따른 전자 장치의 어플리케이션 실행을 위한 선택 가능한 객체들을 포함하는 팝업 윈도우를 설명하기 위한 도면이다.
도 11을 참조하면 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 디스플레이(예: 도 2의 디스플레이(210) 또는 도 4의 디스플레이(410))의 전체 화면이 복수개의 서브 화면으로 분할되어 각 서브 화면을 통해 개별 정보를 제공할 수 있도록 구성된 멀티 윈도우를 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트에 따라 해당 윈도우에 표시되는 어플리케이션을 제어하기 위한 메뉴를 제공할 수 있다.
일 실시예에 따르면 멀티 윈도우 중 어느 하나에 대응하는 터치 이벤트는, 대응하는 윈도우에 대한 하나 이상의 터치 입력, 또는 대응하는 윈도우 제어를 위한 메뉴에 대한 하나 이상의 터치 입력, 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 터치 이벤트에 따라, 언폴딩 상태의 전자 장치의 디스플레이에 표시된 멀티 윈도우 화면(1101)에서, 멀티 윈도우 중 어느 하나에 대응하는 윈도우에 대한 터치 이벤트에 의해 어플리케이션 스위칭 기능이 선택되면, 어플리케이션 선택을 위한 다양한 어플리케이션의 실행을 위한 선택 가능한 객체(예: 아이콘)들(1119)을 포함하는 윈도우(1117)를 멀티 윈도우 화면(1101) 상에 표시하도록 할 수 있다. 예를 들면 다양한 어플리케이션의 실행을 위한 선택 가능한 객체들을 포함하는 윈도우(1117)는 멀티 윈도우 화면(1101)의 상위 레이어에, 예를 들면 팝업 형태로, 표시될 수 있다. 예를 들면 다양한 어플리케이션의 실행을 위한 선택 가능한 객체들을 포함하는 윈도우(1117)는 홈 화면과 동일 또는 유사한 선택 가능한 객체들을 포함하고 동일 또는 유사한 배치 구조의 화면을 포함할 수 있다. 예를 들면 윈도우(1117)에 표시되는 선택 가능한 객체들은 사용자에 의해 구축된 홈 화면과 동일 또는 유사한 선택 가능한 객체들로서 동일 또는 유사한 배치 구조로 제공될 수 있다.
일 실시예에 따르면, 터치 이벤트에 따라, 플렉스 상태의 전자 장치의 디스플레이에 표시된 멀티 윈도우 화면(1102)에서, 멀티 윈도우의 복수개의 서브 윈도우(1111, 1112 및 1113) 중 어느 하나(예: 윈도우(1113))에 대응하는 터치 이벤트에 의해 어플리케이션 스위칭 기능이 선택되면, 윈도우(1113)를 통해 실행될 수 있는 어플리케이션을 선택하기 위한 선택 가능한 객체들(1129)을 포함하는 윈도우(1127)가 디스플레이 상에 제공될 수 있다. 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(1127)는, 멀티 윈도우 화면 중 하나의 윈도우(예: 하단의 윈도우(1111))를 통해 표시될 수 있다. 어플리케이션을 선택하기 위한 선택 가능한 객체들을 포함하는 윈도우(1127)는, 예를 들면 팝업 형태로 하단의 윈도우(1111)의 상위 레이어에 표시될 수 있다.
다양한 어플리케이션의 실행을 위한 선택 가능한 객체들을 포함하는 윈도우(1127)는 홈 화면과 동일 또는 유사한 선택 가능한 객체들을 포함하고 동일 또는 유사한 배치 구조의 화면을 포함할 수 있다. 예를 들면 윈도우(1127)에 표시되는 선택 가능한 객체들은 사용자에 의해 구축된 홈 화면과 동일 또는 유사한 선택 가능한 객체들로서 동일 또는 유사한 배치 구조로 제공될 수 있다.
도 12는 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어를 설명하기 위한 도면이다.
도 12를 참조하면 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 디스플레이(예: 도 2의 디스플레이(210) 또는 도 4의 디스플레이(410))의 전체 화면을 복수개의 서브 화면으로 분할하여 각 서브 화면을 통해 개별 정보를 제공할 수 있도록 구성된 멀티 윈도우를 표시할 수 있다. 예를 들면 디스플레이 화면(1201)은 3개의 서브 화면으로 구성된 멀티 윈도우를 제공할 수 있다. 예를 들면 디스플레이는 윈도우(1211), 윈도우(1212) 및 윈도우(1213)의 3개로 분할된 멀티 윈도우를 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나(예: 윈도우(1211))에 대응하는 터치 이벤트에 따라 해당 윈도우의 표시를 제어할 수 있다. 예를 들면 프로세서(220)는 윈도우(1211)에 대응하는 터치 이벤트에 따라 윈도우(1211)를 제어하기 위한 제어 메뉴(예: 멀티 윈도우 핸들러)(1215)를 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 중 어느 하나(예: 윈도우(1211))에 대응하는 터치 이벤트에 따라 해당 윈도우에 표시되는 어플리케이션을 선택하기 위한 메뉴를 제공할 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 화면(1201)에서 어느 하나(예: 윈도우(1211))에 대응하는 터치 이벤트에 따라 해당 윈도우(예: 윈도우(1211))에 표시되는 어플리케이션을 선택하기 위한 메뉴를 통해, 해당 윈도우(1211)에 기존에 표시된 어플리케이션(A)이 선택된 다른 어플리케이션(D)으로 변경될 수 있다.
일 실시예에 따르면 프로세서(220)는 해당 윈도우(1211)에 대한 어플리케이션 스위칭 기능에 따라 다른 어플리케이션(D)이 선택되면, 다른 어플리케이션(D)에 대한 속성 정보를 확인할 수 있다. 예를 들면 어플리케이션 속성 정보는 해당 어플리케이션의 종류(예: 메신저 어플리케이션, 동영상 어플리케이션, 또는 인터넷 어플리케이션), 패키지 명(package mane), 실행 상태(예: pause, 또는 resume), 또는 어플리케이션 화면 구성 정보(예: 가로 세로 비율, 또는 화면 크기)와 같은 다양한 어플리케이션 관련 정보를 포함할 수 있다.
일 실시예에 따르면 프로세서(220)는 어플리케이션(A)의 실행 화면을 표시하는 윈도우(1211)에서 스위칭되는 다른 어플리케이션(D)의 어플리케이션 관련 정보, 예를 들면 화면 구성 정보를 확인하여 확인된 화면 구성 정보에 따라 다른 어플리케이션(D)의 실행 화면을 표시하는 윈도우(1221)의 크기, 예를 들어 가로 또는 세로의 화면 비율을 수정하여 표시할 수 있다. 윈도우(1211)의 어플리케이션 스위칭에 따라 멀티 윈도우 화면(1202)에서 윈도우(1211)는 다른 어플리케이션(D)의 실행 화면을 표시하는 다른 화면 비율(예, D 어플리케이션의 화면 비율)의 윈도우(1221)로 변경되고 기존 다른 윈도우(1212 및 1213) 또한 다른 화면 비율의 윈도우(1222, 1223)로 변경될 수 있다.
일 실시예에 따르면 화면 구성 정보(예: 화면 비율 및/또는 크기)는 어플리케이션 속성 정보로서 기 저장되어 있는 정보일 수 있다. 예를 들어 동영상 어플리케이션의 경우 21:9의 화면 비율로 제작된 경우 이에 따른 화면 구성이 지원되지 않으면 레터박스(검은색 화면)를 추가하여 16:9의 비율로 화면을 구성하거나 픽셀 수를 유지한 채 세로 길이를 줄일 수 있어 해상도가 일치하지 않을 수 있다. 예를 들면 게임은 16:9의 화면 비율로 구성될 수 있으며 화면 구성을 이에 맞추지 않으면, 21:9 화면에서 필러박스(letter box)로 화면 양옆에 검은 박스를 추가하여 표시할 수 있어 화면 비율에서 해상도가 일치하지 않거나 디스플레이 화면에 대한 효율적인 사용이 저해될 수 있다.
일 실시예에 따르면 프로세서(220)는 멀티 윈도우 화면(1203)에서 어느 하나(예: 윈도우(1231))에 대응하는 터치 이벤트에 따라 해당 윈도우(예: 윈도우(1231))에서 실행되는 어플리케이션을 선택하기 위한 메뉴를 포함하는 제어 메뉴(예: 멀티 윈도우 핸들러)(1235)를 표시할 수 있다. 제어 메뉴(1235)에 포함된 어플리케이션 선택을 위한 메뉴를 통해, 해당 윈도우(1231)에 기존에 표시된 어플리케이션(A)이 선택된 다른 어플리케이션(D)으로 변경될 수 있다.
일 실시예에 따르면 프로세서(220)는 해당 윈도우(1231)에 대한 어플리케이션 스위칭 기능에 따라 다른 어플리케이션(D)이 선택되면, 다른 어플리케이션(D)에 대한 속성 정보를 확인할 수 있다. 예를 들면 어플리케이션 속성 정보는 해당 어플리케이션의 종류(예: 메신저 어플리케이션, 동영상 어플리케이션, 인터넷 어플리케이션), 패키지 명(package mane), 실행 상태(pause, resume), 또는 어플리케이션 화면 구성 정보(예: 가로 세로 비율, 화면 크기)와 같은 다양한 어플리케이션 관련 정보를 포함할 수 있다.
일 실시예에 따르면 프로세서(220)는 어플리케이션(A)을 표시하는 윈도우(1231)에서 스위칭되는 다른 어플리케이션(D)의 어플리케이션 관련 정보, 예를 들면 화면 구성 정보를 확인하여 확인된 화면 구성 정보에 따라 다른 어플리케이션(D)을 표시하는 윈도우(1241)의 크기, 예를 들어 가로 또는 세로의 화면 비율을 수정하여 표시할 수 있다. 다른 어플리케이션(D)을 표시하는 윈도우(1241)의 크기, 예를 들어 가로 또는 세로의 크기 또는 비율을 결정함에 있어서 프로세서(220)는 멀티 윈도우 화면(1203)에서 대상 어플리케이션(A)이 차지하는 영역(1231)의 크기, 예를 들어 가로 또는 세로의 길이 및 비율을 고려할 수 있다. 예를 들어 어플리케이션(A)이 차지하는 영역(1231)의 가로 길이가 결정되어 있는 경우에는 멀티 윈도우 화면(1204)에서와 같이 스위칭되는 다른 어플리케이션(D)을 표시하는 윈도우(1241)의 세로 길이를 조정하여 화면 비율을 수정할 수 있다. 이와 달리 멀티 윈도우 화면(1201)에서와 같이 어플리케이션(A)이 차지하는 영역(1211)의 세로 길이가 결정되어 있는 경우에는 멀티 윈도우 화면(1202)에서와 같이 스위칭되는 다른 어플리케이션(D)을 표시하는 윈도우(1221)의 가로 길이를 조정하여 화면 비율을 조정할 수 있다.
윈도우(1231)의 어플리케이션 스위칭에 따라 멀티 윈도우 화면(1203)에서 윈도우(1231)는 어플리케이션(A)을 표시하는 화면 비율이, 윈도우(1241)의 다른 어플리케이션(D)을 표시하는 화면 비율로 변경되고 이에 따라 다른 윈도우(1232 및 1233) 또한 다른 화면 비율의 윈도우(1242, 1243)로 변경될 수 있다.
일 실시예에 따르면 화면 구성 정보는 이전 실행된 이력에 따른 화면 비율 및/또는 크기를 포함하는 화면 구성 정보로서 메모리(예: 도 2의 메모리(230))에 저장될 수 있다. 화면 구성 정보는 예를 들면 이전 실행 이력에 따른 정보가 있는 경우 이를 우선적으로 적용하고 어플리케이션 속성 정보로서 화면 구성 정보가 설정되어 있는 경우 다음으로 이를 적용할 수 있으나 이에 한정되지 않고 우선 순위를 바꾸어 적용할 수도 있다.
일 실시예에 따르면 프로세서(220)는 어플리케이션(A)을 표시하는 윈도우(1211)에서 스위칭되는 다른 어플리케이션(D)의 어플리케이션 관련 정보, 예를 들면 화면 구성 정보를 확인할 수 없는 경우에는, 기본 설정 또는 이전 설정된 멀티 윈도우 화면 경계 선에 따라 멀티 윈도우를 구성 및/또는 표시할 수 있다.
다양한 실시예에 따른 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))는, 하우징(예: 도 4의 하우징(401 및/또는 402), 상기 하우징에 장착된 디스플레이(예: 도 2의 디스플레이(210)), 센서 모듈(예: 도 2의 센서 모듈(240)), 및 상기 디스플레이 및 상기 센서모듈과 작동적으로 연결되는 프로세서(예: 도 2의 프로세서(220))를 포함하고, 상기 프로세서는, 상기 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하고, 상기 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하고, 상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시하고, 상기 지정된 영역에 표시된 상기 객체를 통해 상기 복수의 윈도우 중 제1 윈도우가 선택되는지 확인하고, 상기 제1 윈도우가 선택되고, 어플리케이션 스위칭 기능이 선택되는지 확인하고, 상기 어플리케이션 스위칭 기능이 선택되면, 적어도 하나의 어플리케이션 실행을 위한 선택가능한 객체를 포함하는 제2 윈도우를 상기 디스플레이 상에 제공하고, 상기 제2 윈도우에 표시된 특정 객체 선택에 대응하여 상기 특정 객체에 대응하는 어플리케이션을 실행하고 상기 어플리케이션 실행 화면을 상기 선택된 제1 윈도우 상에 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 지정된 영역에 표시된 상기 객체는, 상기 복수의 윈도우 각각에 대응하는 복수의 아이콘들을 포함하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1 윈도우가 선택된 것으로 확인되면, 상기 제1 윈도우의 색상, 이미지 효과 및 텍스트 중 적어도 하나를 변경하여 다른 윈도우와 구별되게 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제2 윈도우를 상기 멀티 윈도우 상에 플로팅 형태 또는 팝업 형태로 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 지정된 영역은 상기 디스플레이의 하단 엣지 영역을 포함하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체를 포함하는 제어 메뉴를 상기 지정된 영역을 통해 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 하우징은 제1 하우징 및 상기 제1 하우징에 대해 회동 가능한 제2 하우징을 포함하고, 상기 디스플레이는 상기 제1 하우징에 대응하는 제1 영역과 상기 제2 하우징에 대응하는 제2 영역을 포함하고, 상기 프로세서는, 상기 센서 모듈의 센서 값에 기초하여 상기 전자 장치의 상태가 상기 제1 하우징이 바닥면과 실질적으로 수평을 이루고, 상기 제2 하우징은 상기 제1 하우징과 지정된 범위 내의 각도로 폴딩된 상태로 확인되고, 상기 제1 윈도우가 상기 제2 영역에 표시되는 것으로 확인되면, 상기 제1 윈도우를 선택하기 위한 객체를 상기 제1 영역에 표시되는 제3 윈도우와 중첩되는 영역을 통해 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 지정된 영역에 표시된 상기 객체를 통해 상기 제1 윈도우가 선택되면, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체를 포함하는 제어 메뉴를 상기 제3 윈도우와 중첩되는 영역을 통해 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체가 선택되면, 상기 제2 윈도우를 상기 제3 윈도우와 중첩되는 영역을 통해 플로팅 형태 또는 팝업 형태로 제공하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 특정 객체에 대응하는 상기 어플리케이션에 관련된 정보를 확인하고, 상기 정보에 기초하여 상기 어플리케이션 실행 화면을 표시하는 상기 제1 윈도우의 화면 비율을 조정하도록 설정될 수 있다.
도 13은 다양한 실시예에 따른 전자 장치의 멀티 윈도우 제어 동작을 설명하기 위한 흐름도이다.
도 13을 참조하면 전자 장치(예: 도 2의 전자 장치(200), 도 3의 전자 장치(300) 또는 도 4의 전자 장치(400))의 프로세서(예: 도 2의 프로세서(220))는 동작 1301에서, 디스플레이(예: 도 2의 디스플레이(210) 또는 도 4의 디스플레이(410))의 전체 화면을 복수개의 서브 화면으로 분할하여 각 서브 화면을 통해 실행되는 복수개의 어플리케이션에 대한 각각의 개별 정보를 제공할 수 있도록 구성된 멀티 윈도우를 표시할 수 있다. 멀티 윈도우 화면은 예를 들면 둘 또는 그 이상으로 분할된 복수의 윈도우를 포함할 수 있다.
일 실시예에 따르면 프로세서(220)는 동작 1302에서, 센서 모듈(예: 도 2의 센서 모듈(240))로부터 수신되는 센서 값에 기초하여 전자 장치의 상태(state)를 확인하고, 확인된 전자 장치의 상태에 기초하여 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시할 수 있다. 예를 들면 전자 장치의 상태가 플렉스 상태인 경우 바닥면에 위치하는 화면의 하단에 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시할 수 있다.
일 실시예에 따르면 프로세서(220)는 동작 1303에서 멀티 윈도우 중 어느 하나의 윈도우가 선택되었는지 확인할 수 있다. 멀티 윈도우 중 어느 하나의 윈도우는 예를 들면 상기 어느 하나의 윈도우를 지정하는 터치 이벤트에 따라 선택될 수 있다. 프로세서(220)는 멀티 윈도우 중 어느 하나의 윈도우에 대한 선택에 대응하여, 선택된 윈도우를 제어하기 위한 제어 메뉴를 제공할 수 있다. 멀티 윈도우 중 어느 하나의 윈도우를 지정하는 터치 이벤트는, 해당 윈도우에 대한 하나 이상의 터치 입력, 또는 해당 윈도우를 제어하기 위한 메뉴를 통한 하나 이상의 터치 입력, 또는 이들의 조합을 포함할 수 있다.
일 실시예에 따르면, 프로세서(220)는 동작 1305에서 어플리케이션 스위칭 기능이 선택되었는지 확인할 수 있다. 예를 들면 멀티 윈도우 중 선택된 어느 하나의 윈도우를 제어하기 위해 제공된 제어 메뉴를 통해 어플리케이션 스위칭 기능이 선택될 수 있다. 예를 들면 제어 메뉴 중 하나(예: 도 6의 어플리케이션 스위칭 객체(627-1))에 대한 터치 이벤트를 통해 어플리케이션 스위칭 기능이 선택될 수 있다.
일 실시예에 따르면 프로세서(220)는 동작 1307에서 어플리케이션 스위칭을 위해 다양한 어플리케이션의 실행을 위해 선택 가능한 객체(예: 아이콘)들을 포함하는 윈도우를 디스플레이 상에 제공할 수 있다. 다양한 어플리케이션의 실행을 위해 선택 가능한 객체들을 포함하는 윈도우는, 예를 들면 팝업 형태로, 멀티 윈도우 화면 상의 상위 레이어에 표시될 수 있다. 어플리케이션 실행을 위해 선택 가능한 객체들을 포함하는 윈도우는, 예를 들면 팝업 형태로, 멀티 윈도우 중 어느 하나의 윈도우 또는 다른 윈도우 상의 상위 레이어에 표시될 수 있다. 다양한 어플리케이션의 실행을 위해 선택 가능한 객체들을 포함하는 윈도우는 홈 화면과 동일 또는 유사한 선택 가능한 객체들을 포함하고 동일 또는 유사한 배치 구조의 화면을 포함할 수 있다.
일 실시예에 따르면 프로세서(220)는 동작 1309에서 다양한 어플리케이션 실행을 위한 선택가능한 객체들 중 하나의 객체가 선택되는지 확인할 수 있다. 선택 가능한 객체들은 예를 들면 터치 입력 또는 드래그 앤 드롭과 같은 다양한 터치 방식으로 선택될 수 있다.
일 실시예에 따르면 프로세서(220)는 동작 1311에서 선택된 특정 객체에 대응하는 어플리케이션을 실행하고, 어플리케이션 실행 화면을 선택된 윈도우에 표시할 수 있다. 선택된 윈도우에 표시되는 정보는 이에 따라 이전 어플리케이션 실행 화면 정보로부터 새로이 선택된 어플리케이션 실행 화면 정보로 스위칭될 수 있다.
본 문서에 개시된 실시 예들은 기술 내용을 쉽게 설명하고 이해를 돕기 위한 예로서 제시한 것일 뿐이며, 본 문서에 개시된 기술의 범위를 한정하고자 하는 것은 아니다. 따라서 본 문서에 개시된 기술의 범위는 여기에 개시된 실시 예들 이외에도 본 문서에 개시된 다양한 실시 예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태를 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    하우징;
    상기 하우징에 장착된 디스플레이;
    센서 모듈; 및
    상기 디스플레이 및 상기 센서모듈과 작동적으로 연결되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하고,
    상기 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하고,
    상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시하고,
    상기 지정된 영역에 표시된 상기 객체를 통해 상기 복수의 윈도우 중 제1 윈도우가 선택되는지 확인하고,
    상기 제1 윈도우가 선택되고, 어플리케이션 스위칭 기능이 선택되는지 확인하고,
    상기 어플리케이션 스위칭 기능이 선택되면, 적어도 하나의 어플리케이션 실행을 위한 선택가능한 객체를 포함하는 제2 윈도우를 상기 디스플레이 상에 제공하고,
    상기 제2 윈도우에 표시된 특정 객체 선택에 대응하여 상기 특정 객체에 대응하는 어플리케이션을 실행하고 상기 어플리케이션 실행 화면을 상기 선택된 제1 윈도우 상에 표시하도록 설정된
    장치.
  2. 제1항에 있어서,
    상기 지정된 영역에 표시된 상기 객체는, 상기 복수의 윈도우 각각에 대응하는 복수의 아이콘들을 포함하도록 설정된 장치.
  3. 제2항에 있어서,
    상기 프로세서는, 상기 제1 윈도우가 선택된 것으로 확인되면, 상기 제1 윈도우의 색상, 이미지 효과 및 텍스트 중 적어도 하나를 변경하여 다른 윈도우와 구별되게 표시하도록 설정된 장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 제2 윈도우를 상기 멀티 윈도우 상에 플로팅 형태 또는 팝업 형태로 제공하도록 설정된 장치.
  5. 제1항에 있어서,
    상기 지정된 영역은 상기 디스플레이의 하단 엣지 영역을 포함하도록 설정된 장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체를 포함하는 제어 메뉴를 상기 지정된 영역을 통해 제공하도록 설정된 장치.
  7. 제1항에 있어서,
    상기 하우징은 제1 하우징 및 상기 제1 하우징에 대해 회동 가능한 제2 하우징을 포함하고,
    상기 디스플레이는 상기 제1 하우징에 대응하는 제1 영역과 상기 제2 하우징에 대응하는 제2 영역을 포함하고,
    상기 프로세서는, 상기 센서 모듈의 센서 값에 기초하여 상기 전자 장치의 상태가 상기 제1 하우징이 바닥면과 실질적으로 수평을 이루고, 상기 제2 하우징은 상기 제1 하우징과 지정된 범위 내의 각도로 폴딩된 상태로 확인되고, 상기 제1 윈도우가 상기 제2 영역에 표시되는 것으로 확인되면, 상기 제1 윈도우를 선택하기 위한 객체를 상기 제1 영역에 표시되는 제3 윈도우와 중첩되는 영역을 통해 제공하도록 설정된 장치.
  8. 제7항에 있어서,
    상기 프로세서는, 상기 지정된 영역에 표시된 상기 객체를 통해 상기 제1 윈도우가 선택되면, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체를 포함하는 제어 메뉴를 상기 제3 윈도우와 중첩되는 영역을 통해 제공하도록 설정된 장치.
  9. 제8항에 있어서,
    상기 프로세서는, 상기 어플리케이션 스위칭 기능의 선택을 위한 객체가 선택되면, 상기 제2 윈도우를 상기 제3 윈도우와 중첩되는 영역을 통해 플로팅 형태 또는 팝업 형태로 제공하도록 설정된 장치.
  10. 제1항에 있어서,
    상기 프로세서는, 상기 특정 객체에 대응하는 상기 어플리케이션에 관련된 정보를 확인하고, 상기 정보에 기초하여 상기 어플리케이션 실행 화면을 표시하는 상기 제1 윈도우의 화면 비율을 조정하도록 설정된 장치.
  11. 전자 장치의 방법에 있어서,
    상기 전자 장치의 디스플레이 화면을 분할하여 복수의 윈도우를 포함하는 멀티 윈도우를 표시하는 동작;
    상기 전자 장치의 센서 모듈의 센서값에 기초하여 상기 전자 장치의 상태(state)를 확인하는 동작;
    상기 전자 장치의 상태에 기초하여 상기 디스플레이 화면의 지정된 영역에 상기 복수의 윈도우 중 어느 하나를 선택하기 위한 객체를 표시하는 동작;
    상기 지정된 영역에 표시된 상기 객체를 통해 상기 복수의 윈도우 중 제1 윈도우가 선택되는지 확인하는 동작;
    상기 제1 윈도우가 선택되고, 어플리케이션 스위칭 기능이 선택되는지 확인하는 동작;
    상기 어플리케이션 스위칭 기능이 선택되면, 적어도 하나의 어플리케이션 실행을 위한 선택가능한 객체를 포함하는 제2 윈도우를 상기 디스플레이 상에 제공하는 동작; 및
    상기 제2 윈도우에 표시된 특정 객체 선택에 대응하여 상기 특정 객체에 대응하는 어플리케이션을 실행하고 상기 어플리케이션 실행 화면을 상기 선택된 제1 윈도우 상에 표시하는 동작을 포함하는 방법.
  12. 제11항에 있어서,
    상기 지정된 영역에 표시된 상기 객체는, 상기 복수의 윈도우 각각에 대응하는 복수의 아이콘들을 포함하는 방법.
  13. 제12항에 있어서,
    상기 제1 윈도우가 선택된 것으로 확인되면, 상기 제1 윈도우의 색상, 이미지 효과 및 텍스트 중 적어도 하나를 변경하여 다른 윈도우와 구별되게 표시하는 동작을 더 포함하는 방법.
  14. 제11항에 있어서,
    상기 제2 윈도우를 제공하는 동작은, 상기 제2 윈도우를 상기 멀티 윈도우 상에 플로팅 형태 또는 팝업 형태로 제공하는 방법.
  15. 제11항에 있어서,
    상기 지정된 영역은 상기 디스플레이의 하단 엣지 영역을 포함하는 방법.
PCT/KR2023/009055 2022-08-09 2023-06-28 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치 WO2024034852A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220099492 2022-08-09
KR10-2022-0099492 2022-08-09
KR1020220129353A KR20240021080A (ko) 2022-08-09 2022-10-11 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치
KR10-2022-0129353 2022-10-11

Publications (1)

Publication Number Publication Date
WO2024034852A1 true WO2024034852A1 (ko) 2024-02-15

Family

ID=89851882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009055 WO2024034852A1 (ko) 2022-08-09 2023-06-28 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치

Country Status (1)

Country Link
WO (1) WO2024034852A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549429B2 (en) * 2007-01-25 2013-10-01 Sharp Kabushiki Kaisha Multi-window management apparatus and program, storage medium and information processing apparatus
WO2017099276A1 (ko) * 2015-12-10 2017-06-15 엘지전자 주식회사 롤러블 이동 단말기 및 그 제어방법
KR102153366B1 (ko) * 2013-08-30 2020-10-15 삼성전자 주식회사 전자 기기의 화면 전환 방법 및 장치
KR20220010995A (ko) * 2020-07-20 2022-01-27 삼성전자주식회사 어플리케이션의 실행 화면을 표시하기 위한 전자 장치 및 그 동작 방법
KR20220103374A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 전자 장치 및 전자 장치의 폴딩 상태에 기반하여 레이아웃 구성 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549429B2 (en) * 2007-01-25 2013-10-01 Sharp Kabushiki Kaisha Multi-window management apparatus and program, storage medium and information processing apparatus
KR102153366B1 (ko) * 2013-08-30 2020-10-15 삼성전자 주식회사 전자 기기의 화면 전환 방법 및 장치
WO2017099276A1 (ko) * 2015-12-10 2017-06-15 엘지전자 주식회사 롤러블 이동 단말기 및 그 제어방법
KR20220010995A (ko) * 2020-07-20 2022-01-27 삼성전자주식회사 어플리케이션의 실행 화면을 표시하기 위한 전자 장치 및 그 동작 방법
KR20220103374A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 전자 장치 및 전자 장치의 폴딩 상태에 기반하여 레이아웃 구성 방법

Similar Documents

Publication Publication Date Title
WO2022010116A1 (ko) 디스플레이 화면 재생률 제어 방법 및 장치
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2023282563A1 (ko) 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법
WO2022055255A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2021261949A1 (ko) 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치
WO2022149954A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법
WO2022080730A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 방법
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2024034852A1 (ko) 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치
WO2024054038A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 활용 방법
WO2024080727A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 동작 방법 및 비 일시적 저장 매체
WO2022240000A1 (ko) 슬라이딩 가능한 전자 장치 및 그 동작 방법
WO2024025082A1 (ko) 플렉서블 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2024080648A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 사용자 입력 처리 방법
WO2024080553A1 (ko) 전자 장치 및 그 동작 방법
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2022119055A1 (ko) 폴더블 디스플레이를 갖는 전자 장치 및 이의 제어 방법
WO2024034774A1 (ko) 복수의 디스플레이들을 포함하는 전자 장치 및 복수의 디스플레이들의 화질 편차를 줄이는 방법
WO2024071658A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체
WO2023013904A1 (ko) 화면 제어 방법 및 장치
WO2023106830A1 (ko) 한 손 조작 모드를 지원하는 전자 장치 및 전자 장치의 동작 방법
WO2023018114A1 (ko) 화면 제어 방법 및 장치
WO2024063376A1 (ko) 디스플레이를 이용하여 컨텐츠를 표시하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852739

Country of ref document: EP

Kind code of ref document: A1