WO2024034851A1 - 외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법 - Google Patents
외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법 Download PDFInfo
- Publication number
- WO2024034851A1 WO2024034851A1 PCT/KR2023/009048 KR2023009048W WO2024034851A1 WO 2024034851 A1 WO2024034851 A1 WO 2024034851A1 KR 2023009048 W KR2023009048 W KR 2023009048W WO 2024034851 A1 WO2024034851 A1 WO 2024034851A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- electronic device
- screen
- virtual
- virtual display
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000004891 communication Methods 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims description 24
- 230000008859 change Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 description 24
- 238000003860 storage Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
Definitions
- This disclosure relates to a technology for displaying an application screen on an external electronic device through a virtual display in the electronic device.
- portable electronic devices such as smartphones
- can run various applications such as phone calls, galleries, or games, and provide application screens through the display of the electronic device. You can.
- Electronic devices may have relatively small displays to make them portable to users. Accordingly, the electronic device may be equipped with a mirroring function that transmits the application screen executed on the electronic device to an external device with a larger display and provides the application screen on the display of the external device.
- a mirroring function that transmits the application screen executed on the electronic device to an external device with a larger display and provides the application screen on the display of the external device.
- it provides a user interface for the application of the electronic device in a PC (personal computer) environment and provides functions such as running the application of the electronic device with user input in the PC environment. Services that control operations are also being developed.
- An electronic device may include a display, a communication interface, a memory, and at least one processor operatively connected to the display, the communication interface, and the memory.
- the at least one processor may be set to check a connection with an external electronic device through the communication interface based on execution of an application.
- the at least one processor may be set to generate a virtual display based on attributes related to the display.
- the at least one processor may be set to display a screen on the generated virtual display that is at least partially different from the display screen of the display, based on properties of the generated virtual display.
- the at least one processor may be set to transmit display data related to a screen displayed on the virtual display to the external electronic device through the communication interface.
- a method of operating an electronic device may include confirming a connection with an external electronic device through a communication interface based on execution of an application.
- a method of operating an electronic device may include generating a virtual display based on display-related properties of the electronic device.
- a method of operating an electronic device may include displaying a screen that is at least partially different from the display screen of the display on the generated virtual display, based on the properties of the generated virtual display. there is.
- a method of operating an electronic device according to an embodiment may include transmitting display data related to a screen displayed on the virtual display to the external electronic device through the communication interface.
- a non-transitory computer-readable storage medium storing one or more programs according to an embodiment of the present disclosure may include an operation of confirming a connection with an external electronic device through a communication interface based on execution of an application.
- the storage medium may include an operation of generating a virtual display based on display-related properties of the electronic device.
- the storage medium may include an operation of displaying a screen that is at least partially different from a display screen of the display on the generated virtual display, based on properties of the generated virtual display.
- the storage medium may include an operation of transmitting display data related to a screen displayed on the virtual display to the external electronic device through the communication interface.
- FIG. 1 is a block diagram of an electronic device in a network environment, according to embodiments of the present disclosure.
- Figure 2 is a configuration diagram of an electronic device according to an embodiment of the present disclosure.
- Figure 3 is a configuration diagram of an external electronic device according to an embodiment of the present disclosure.
- FIG. 4 illustrates a state in which a screen displayed on a virtual display generated by an electronic device is displayed on an external electronic device according to an embodiment of the present disclosure.
- FIG. 5 illustrates a connection between a first display of an electronic device and a second display of an external electronic device through a virtual display according to an embodiment of the present disclosure.
- FIG. 6 illustrates a flowchart for generating a virtual display of an electronic device (eg, processor) according to an embodiment of the present disclosure.
- FIG. 7 illustrates a screen for connecting to an external electronic device according to execution of an application on an electronic device according to an embodiment of the present disclosure.
- FIG. 8 illustrates a screen of the first display when connected to an external electronic device according to an embodiment of the present disclosure.
- FIG. 9 illustrates a screen of a first display on which a cast view is displayed according to an embodiment of the present disclosure.
- FIG. 10A illustrates an operation of hiding or displaying a cast view on the first display according to a user's input according to an embodiment of the present disclosure.
- FIG. 10B illustrates an operation of hiding the cast view from the first display by displaying a keyboard according to an embodiment of the present disclosure.
- FIG. 11 illustrates a screen related to detailed settings of an indicator displayed on the first display according to an embodiment of the present disclosure.
- FIG. 12 illustrates a button for executing or setting an application related to transmitting display data to an external electronic device displayed on an executable application running on an electronic device according to an embodiment of the present disclosure.
- FIG. 13 illustrates a screen of an electronic device in the tutorial mode of an application according to an embodiment of the present disclosure.
- FIG. 14A illustrates a screen of an electronic device when moving to a virtual display of an executing application that is not supported by the application according to an embodiment of the present disclosure.
- FIG. 14B illustrates a guide screen for executable applications that are not supported by the application according to an embodiment of the present disclosure.
- Figure 15 shows a perspective view of the folding of an electronic device according to an embodiment of the present disclosure.
- 16A, 16B, and 16C illustrate screens of a virtual display and a second display according to changes to various states of an electronic device according to an embodiment of the present disclosure.
- 17 is a flowchart of a method of operating an electronic device according to various embodiments of the present disclosure.
- FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to embodiments of the present disclosure.
- the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network).
- the electronic device 101 may communicate with the electronic device 104 through the server 108.
- the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
- at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
- some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
- the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
- software e.g., program 140
- the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
- the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
- the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
- a main processor 121 e.g., a central processing unit or an application processor
- auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
- the electronic device 101 includes a main processor 121 and a secondary processor 123
- the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
- the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
- the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
- co-processor 123 e.g., image signal processor or communication processor
- may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
- the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
- Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
- Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
- An artificial intelligence model may include multiple artificial neural network layers.
- Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
- artificial intelligence models may additionally or alternatively include software structures.
- the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
- Memory 130 may include volatile memory 132 or non-volatile memory 134.
- the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
- the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
- the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
- the sound output module 155 may output sound signals to the outside of the electronic device 101.
- the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
- the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
- the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
- the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
- the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
- the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
- the electronic device 102 e.g., speaker or headphone
- the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
- the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
- the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
- the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
- HDMI high definition multimedia interface
- USB universal serial bus
- SD card interface Secure Digital Card interface
- audio interface audio interface
- connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
- the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
- the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
- the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
- the camera module 180 can capture still images and moving images.
- the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
- the power management module 188 can manage power supplied to the electronic device 101.
- the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
- PMIC power management integrated circuit
- the battery 189 may supply power to at least one component of the electronic device 101.
- the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
- Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
- processor 120 e.g., an application processor
- the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
- a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
- GNSS global navigation satellite system
- wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
- the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
- a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
- a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
- a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
- the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
- subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
- IMSI International Mobile Subscriber Identifier
- the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
- NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
- the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
- the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
- the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
- the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
- Peak data rate e.g., 20 Gbps or more
- loss coverage e.g., 164 dB or less
- U-plane latency e.g., 164 dB or less
- the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
- the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
- the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
- other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
- RFIC radio frequency integrated circuit
- the antenna module 197 may form a mmWave antenna module.
- a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
- a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
- peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
- signal e.g. commands or data
- commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
- Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
- all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
- the electronic device 101 may perform the function or service instead of executing the function or service on its own.
- one or more external electronic devices may be requested to perform at least part of the function or service.
- One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
- the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
- cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
- the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
- the external electronic device 104 may include an Internet of Things (IoT) device.
- Server 108 may be an intelligent server using machine learning and/or neural networks.
- the external electronic device 104 or server 108 may be included in the second network 199.
- the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
- Electronic devices may be of various types. Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
- first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
- One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
- any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
- module used in embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
- ASIC application-specific integrated circuit
- One embodiment of the present document is one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
- a processor e.g., processor 120
- the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
- a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
- 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
- the method according to the embodiments disclosed in this document may be provided and included in a computer program product.
- Computer program products are commodities and can be traded between sellers and buyers.
- the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
- a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
- each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
- one or more of the above-described corresponding components or operations may be omitted, or one or more other components or operations may be added.
- multiple components eg, modules or programs
- the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
- operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
- FIG. 2 is a configuration diagram of an electronic device 200 according to an embodiment of the present disclosure.
- the electronic device 200 may be implemented as a portable electronic device such as a smart phone or tablet PC.
- the electronic device 200 includes a first processor 210, a first display 220, a first communication interface 230, a first memory 240, and/or a sensor module that are operatively connected to each other. Includes (250).
- the first processor 210 may perform processing operations stored in the first memory 240, execute an application to be described later, and control other components. You can.
- the first processor 210 may be an application processor (AP) that can run various applications such as an Internet browser, gallery, message, and game, and provide the execution screen of the application to the first display 220. there is.
- AP application processor
- the first display 220 may display a screen that visually provides information to the user based on display data received from the first processor 210.
- the first display 220 may be composed of one fixed panel, the area of which may be varied by rolling, sliding, or folding, as described later, or the first display 220 may be independent of each other. It may be composed of a plurality of panels.
- the first communication interface 230 may be an interface capable of data communication with the external electronic device 200.
- the first communication interface 230 may enable data communication with the external electronic device 200 wirelessly or wired, for example, a wired interface such as high definition multimedia interface (HDMI) or universal serial bus (USB). They can be connected to each other or to an external electronic device 200 through a short-range wireless communication network such as Wi-Fi direct or Bluetooth.
- HDMI high definition multimedia interface
- USB universal serial bus
- the first memory 240 may be used to temporarily or permanently store digital data.
- the first memory 240 includes one time programmable ROM (OTPROM), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically erasable and programmable ROM (EEPROM), mask ROM, flash ROM, and flash memory ( Examples: non-volatile memory, such as NAND flash or NOR flash, hard drives, or solid state drives (SSD), and dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM). It may contain the same volatile memory.
- OTPROM time programmable ROM
- PROM programmable ROM
- EPROM erasable and programmable ROM
- EEPROM electrically erasable and programmable ROM
- mask ROM such as NAND flash or NOR flash, hard drives, or solid state drives (SSD), and dynamic RAM (DRAM), static RAM (SRAM), or synchronous dynamic RAM (SDRAM). It may contain the same volatile memory.
- the first memory 240 may store various instructions that can be executed by the first processor 210. These instructions may include various control instructions including arithmetic and logical operations, data movement, and/or input/output that can be recognized by the first processor 210.
- the sensor module 250 may detect a change in the state of the electronic device or a change in properties related to the first display.
- the sensor module 250 may include an acceleration sensor, a gyro sensor, a touch sensor, a motion sensor, a GPS sensor, and/or an angle sensor that detects the folding angle of the first display.
- FIG. 3 is a configuration diagram of an external electronic device 300 according to an embodiment of the present disclosure.
- the external electronic device 300 (e.g., the electronic device 102 of FIG. 1) is made of components independent of the electronic device (e.g., the electronic device 101 of FIG. 1). It is configured and may be a display device such as a monitor or TV to display input display data.
- the external electronic device 300 includes a second processor 310, a second display 320, a second communication interface 330, and/or a second memory 340 that are operatively connected to each other. do.
- the second processor 310 may perform a processing operation stored in the second memory 340 and control a screen to be displayed on the second display 320 based on received data input.
- the second display 320 may display a screen that visually provides information to the user based on display data received from the electronic device through the second communication interface 330.
- the second display 320 may be placed at a location spaced apart from the electronic device and provide the user with a screen that is different from the first display.
- the second communication interface 330 may be an interface capable of data communication with an electronic device (eg, a first communication interface).
- the second communication interface 330 may enable data communication with an electronic device wirelessly or wired, and may be connected to each other through a wired interface such as high definition multimedia interface (HDMI) or universal serial bus (USB).
- HDMI high definition multimedia interface
- USB universal serial bus
- it can be connected to an electronic device through a short-range wireless communication network such as Wi-Fi direct or Bluetooth.
- FIG. 4 illustrates a state in which a screen displayed on the virtual display 260 generated by the electronic device 200 is displayed on the external electronic device 300 according to an embodiment of the present disclosure.
- FIG. 5 illustrates a connection between the first display 220 of the electronic device 200 and the second display 320 of the external electronic device 300 through the virtual display 260 according to an embodiment of the present disclosure. did it,
- the electronic device 200 transmits display data to the external electronic device 300 based on the connection with the external electronic device 300, and the external electronic device 300 may display a screen on the second display 320 based on the received display data.
- the electronic device 200 is connected to the external electronic device 300 based on the execution of an application (e.g., smart view), and performs mirroring to transmit the screen of the running application to the external electronic device 300.
- an application e.g., smart view
- the electronic device 200 may duplicate the screen displayed on the first display 220 and display it on the second display 320 of the external electronic device 300.
- the operation of the executing application may stop due to a difference in environmental settings between the first display 220 and the second display 320 and/or a change in the display mode of the first display 220.
- continuity not being secured and not working properly, such as re-running, moving to the initial screen, or terminating.
- the voice of the executing application was output overlappingly to the electronic device 200 and the external electronic device 300, or the voice that was supposed to be output from the electronic device 200 was output to the external electronic device 300.
- the electronic device 200 generates a virtual display 260 based on attributes related to the first display 220 included in the electronic device 200 and displays the virtual display 260 on the virtual display 260.
- Display data related to the screen can be transmitted to the external electronic device 300 and displayed on the second display 320.
- the screen displayed on the second display 320 is not affected. , the continuity of running applications can be guaranteed.
- an event that changes the properties of the first display 220 e.g., display mode change, display folding/unfolding, etc.
- the execution application displayed on the second display 320 The screen can be maintained continuously.
- the electronic device 200 moves the execution application to the virtual display 260 and displays it on the external electronic device 300, thereby displaying the execution application on the second display 320 of the external electronic device 300.
- An executable application may be executed on the first display 220 independently of at least one of the executable applications, allowing independent simultaneous use of the executable applications.
- the electronic device 200 may display one or more execution applications displayed on the physical first display 220 through a concept display 250 (default display) displayed on the first display 220. At least one display screen can be displayed, and properties related to the first display 220 can be transmitted to the virtual display 260 as a snapshot through the concept display 250.
- the concept display 250 refers to a software screen displayed on the first display 220, which is hardware, and may be a screen displayed based on properties related to the first display 200.
- the virtual display 260 is a software screen that is created and operated independently of the display screens of the first display 220 and the concept display 250, and the screen displayed on the virtual display 260 is It may be displayed on the physical second display 320 of the external electronic device 300.
- the electronic device 200 may transmit display data related to the screen displayed on the virtual display 260 to the external electronic device 300.
- a cast view 221 that displays the screen displayed on the virtual display 260 and the second display 320 may be displayed in at least a portion of the first display 220.
- the electronic device 200 may set the properties of the virtual display 260 to correspond to the properties of the first display 220.
- the properties related to the display include the resolution of the display, the density of the display, the screen layout of the display, the color mode of the display, and the HDR mode of the display (high dynamic). range mode), the properties of the input device, or a change in form factor related to the display.
- the first display 220 may have a resolution including HD, FHD, WQHD, or a customized resolution. Additionally, the first display 220 may have a density including mdpi, xdpi, xxdpi, xxxdpi, or a customized density. Additionally, the first display 220 may have a screen layout including large mode, long mode, small mode, xlarge mode, normal mode, LTR mode, or RTL mode. Additionally, the first display 220 may have a color mode including a wide color gamut or custom color mode. Additionally, the first display 220 may have an HDR mode including HDR enable or HDR disable. Additionally, the first display 220 may be connected to a mouse, touch screen, keyboard, or track ball as an input device.
- the electronic device 200 may generate the virtual display 260 based on properties related to at least one of the running applications moving from the first display 220 to the virtual display 260. .
- the electronic device 200 may set the properties of the virtual display 260 to have properties related to at least one of the running applications moving from the first display 220 to the virtual display 260.
- the virtual display 260 is virtual so that at least one of the running applications is displayed in the ratio of the vertical screen.
- the properties of the display 260 can be set.
- the virtual display Screens displayed on the second display 260 and 320 may not be affected by changes in properties related to the first display 220 . Accordingly, even if properties related to the first display 220 are changed, it is possible to prevent an operation error in an executing application displayed on the virtual display 260 or the second display 320 from occurring.
- FIG. 6 illustrates a flowchart 600 for generating a virtual display of an electronic device (e.g., the processor 120 of FIG. 1 or the first processor 210 of FIG. 2) according to an embodiment of the present disclosure. .
- an electronic device e.g., the processor 120 of FIG. 1 or the first processor 210 of FIG. 2
- FIG. 6 illustrates a flowchart 600 for generating a virtual display of an electronic device (e.g., the processor 120 of FIG. 1 or the first processor 210 of FIG. 2) according to an embodiment of the present disclosure. .
- the application layer 610, framework layer 620, and graphic layer 630 are processors of an electronic device (e.g., the processor 120 of FIG. 1 or the first processor of FIG. 2). It may be a software configuration included in the processor 210).
- the electronic device may generate a virtual display based on a user's input.
- the electronic device may execute an application (eg, smart view) that creates a connection with an external electronic device (eg, the external electronic device 300 of FIG. 3) based on the user's input. Based on the execution of the application, the electronic device can confirm the connection with the external electronic device through the communication interface.
- an application eg, smart view
- an external electronic device eg, the external electronic device 300 of FIG. 3
- the electronic device may receive a user's input through a service 611 at the application layer 610, and the service 611 may transmit a command to create a virtual display to the display manager 612.
- the display manager 612 of the application layer 610 generates a virtual display based on properties related to the first display with the display manager service 621 of the framework layer 620. Commands can be sent. As an example, the display manager 612 may transmit a command to create a virtual display with the same resolution as the first display to the display manager service 621.
- the display manager service (621) which has received the command, requests properties (e.g., resolution) related to the first display from the logical display manager (622), and requests properties (e.g., resolution) related to the first display from the logical display manager (622). ) can be obtained, and properties (e.g. resolution) related to the acquired first display can be transmitted to the virtual display adapter 623.
- the virtual display adapter 623 may create a virtual display device 624 having the same resolution and density as those of the first display. Accordingly, it is possible to prevent compatibility problems (eg, operation stoppage or re-execution) caused by moving an executing application from the first display to the virtual display.
- compatibility problems eg, operation stoppage or re-execution
- the virtual display device 624 obtains and creates properties related to the first display (e.g., resolution, density, screen layout, color mode, HDR mode, etc.) from the display manager service 621. You can override the properties of a virtual display.
- the properties related to the first display are the properties before the running application is moved to the virtual display, and the electronic device captures the properties related to the first display before moving the running application to the virtual display and stores the captured properties. It can be transmitted to a virtual display through snapshots. Properties of the virtual display may be set to correspond to properties related to the first display. Accordingly, operational errors in the executed application being moved can be prevented.
- the virtual display device 624 may transmit a command to the surface control 631 of the graphic layer 630 to display the screen displayed on the virtual display on the second display of the external electronic device.
- the surface control 631 of the graphic layer 630 may convert (composing) display data corresponding to the screen displayed on the virtual display on the surface flinger 632 to transmit it to an external electronic device.
- the service transmits a command to the activity task manager service 625 to move and display at least one of the executing applications to the virtual display, and the activity task manager service 625 controls the control of the electronic device.
- At least one of the executing applications may be displayed on a virtual display created based on display-related properties. Additionally, the screen displayed on the virtual display by at least one of the execution applications moved to the virtual display can be transmitted from the virtual display device 624 to an external electronic device.
- the screen displayed on the virtual display may be at least partially different from the screen displayed on the first display.
- at least one of one or more executing applications running on the electronic device may be moved to a virtual display, and the at least one executing application may be displayed on the virtual display rather than the first display.
- at least one of the one or more running applications that moves to the virtual display is selected by user input or under preset conditions (e.g., the highest running application, the most recently running application, etc.) It can be selected by .
- FIG. 7 illustrates a screen for connecting to an external electronic device according to execution of an application on an electronic device according to an embodiment of the present disclosure.
- an electronic device e.g., the electronic device 200 of FIG. 2
- transmits display data to the external electronic device e.g., the external electronic device 300
- connection with the external electronic device e.g., the external electronic device 300
- the connection with an external electronic device can be confirmed through the communication interface.
- the electronic device may execute the application by receiving a user's application execution input.
- the electronic device may display a list of a plurality of connectable external electronic devices on the first display 220 and allow the user to select an external electronic device to connect.
- the electronic device may display a notification that induces execution of the application on the first display 220.
- a preset execution application e.g., a gallery application
- the electronic device may display a notification that induces execution of the application on the first display 220.
- FIG. 8 illustrates a screen of the first display 220 when connected to an external electronic device according to an embodiment of the present disclosure.
- FIG. 9 illustrates a screen of the first display 220 on which the cast view 221 according to an embodiment of the present disclosure is displayed.
- the electronic device may display a cast view 221 that displays a screen displayed on a virtual display on at least a partial area of the first display 220.
- the electronic device displays the screen displayed on the virtual display and/or the second display 320 of the external electronic device on the first display 220 by displaying a cast view 221 in the form of a pop-up window. ) can be displayed.
- the cast view 221 may be a pop-up window placed at a preset size and/or a preset position on the first display 220, and the preset size and position may be set in various ways depending on the properties of the virtual display. .
- the cast view 221 displayed on at least a portion of the first display 220 that displays the screen on the virtual display has a button to minimize, maximize, reduce, enlarge, or end the window screen. It may be in the form of a pop-up window displayed.
- the screen displayed on the first display 220 of the electronic device and the screen displayed on the second display 320 of the external electronic device may be a landscape screen or a portrait screen, respectively.
- the properties of the first display 220 and/or the second display 320 are changed by a user's manipulation input or rotation of the first display 220 and/or the second display 320.
- a horizontal screen (landscape) or a vertical screen (portrait) may be displayed on the first display 220.
- the cast view 221 displayed on at least a portion of the first display 220 corresponds to the virtual display and/or the screen displayed on the second display 320, and is the background or the background of the first display 220. It can be independent of the screen displayed as a whole.
- the cast view 221 displays the screen based on the properties of the virtual display and/or the second display 320 or the properties of the executing application displayed on the virtual display and/or the second display 320. Layout can be set.
- the cast view 221 displayed on at least a portion of the first display 220 may be a horizontal screen and/or a vertical screen, and may also be displayed on the first display 220.
- the cast view 221 displayed on at least a portion of the first display 220 may be a horizontal screen and/or a vertical screen.
- the electronic device may receive a touch input from the user through the cast view 221 displayed on at least a partial area of the first display 220. Specifically, the electronic device may display the virtual display and the screen displayed on the second display 320 on a partial area of the first display 220 while receiving a touch input from the user on the partial area. That is, the user can operate the virtual display and the executing application displayed on the second display 320 with a touch input through the first display 220.
- FIG. 10A illustrates an operation of hiding or displaying the cast view 221 on the first display 220 according to a user's input according to an embodiment of the present disclosure.
- FIG. 10B illustrates an operation of hiding the cast view 221 on the first display 220 by displaying a keyboard according to an embodiment of the present disclosure.
- the electronic device displays the display in a partial area of the first display 220 when a preset condition is satisfied or a user input is received during execution of an application.
- the cast view 221 can be reduced or hidden.
- the electronic device may hide the cast view 221 displayed in a partial area of the first display 220 by a user's touch input. At the same time, the electronic device can hide the cast view 221 and the indicator 222, which will be described later.
- a hint is displayed on the first display 220, and when a user's touch input for the hint occurs, the cast view 221 can be displayed again on the first display 220. there is.
- the hint may be displayed at a position before displaying the cast view 221 on the first display 220.
- the electronic device may hide the cast view 221 displayed in a partial area of the first display 220.
- the preset condition includes, if no touch input to the cast view 221 occurs for a preset time (e.g., 10 seconds), excluding a partial area of the first display 220 where the cast view 221 is displayed. This may include a case where a double tap touch input occurs for the remaining area, and/or a case where a keyboard (K, e.g., on-screen keyboard) is displayed on the first display 220.
- K e.g., on-screen keyboard
- FIG. 11 illustrates a screen related to detailed settings of the indicator 222 displayed on the first display 220 according to an embodiment of the present disclosure.
- the indicator 222 along with the cast view 221 can be displayed on the first display 220.
- the indicator 222 may be displayed fixedly at a preset position on the left or right side of the first display 220.
- the indicator 222 may be hidden simultaneously with the cast view 221 or may be displayed on the first display 220 at the same time.
- the cast view 221 and the indicator 222 can be simultaneously hidden or displayed on the first display 220 by the user's swipe input on the cast view 221 and/or the indicator 222. there is.
- the electronic device is configured to set at least one of the following: whether to create a virtual display, whether to display the cast view 221 in at least a partial area of the first display 220, or properties related to the virtual display.
- a related indicator 222 may be displayed on at least a partial area of the first display 220.
- the electronic device may display the indicator 222 adjacent to at least a partial area of the first display 220 that displays the cast view 221.
- the indicator 222 may be displayed on at least a portion of the first display 220 together with the cast view 221.
- the indicator 222 may include at least one button selectable by touch input.
- the indicator 222 may include at least one shortcut button.
- the indicator 222 may include a button to reduce or hide the display of the indicator 222.
- the indicator 222 may include a button (S) for executing or setting an application related to transmitting display data to an external electronic device.
- the button S for executing or setting an application executes an application related to transmitting display data to an external electronic device to create a virtual display, or displays a cast view 221 on at least a partial area of the first display 220.
- Properties related to the setting of at least one of the properties related to the display or virtual display can be changed.
- properties related to the cast view 221 and/or the screen displayed on the second display can be changed through the indicator 222 displayed on the first display 220.
- the indicator 222 includes zero configuration (easy connection), which is a function of searching for and connecting external electronic devices located nearby, app cast virtual screen management, which is a function of creating a virtual display according to an application, and a virtual screen management function of executing an application.
- cast app a function that runs on the display;
- AL management a function that utilizes manifest metadata or AL;
- app launch policy a function that forces a cast view to run in full screen or removes the header of a cast view when running an application; and external electronic devices (e.g.
- an electronic device e.g., a first display
- a cast view format or a mirrored touch pad and/or a function that transmits a touch input through a cast view to an executing application and/or an executing application on an external electronic device
- FIG. 12 illustrates a button S for executing or setting an application related to transmitting display data to an external electronic device displayed on an executable application running on an electronic device according to an embodiment of the present disclosure.
- the electronic device may display a button (S) for executing or setting an application related to transmitting display data to an external electronic device on an executing application running on the electronic device.
- S a button for executing or setting an application related to transmitting display data to an external electronic device on an executing application running on the electronic device.
- an executable application that can be moved to a virtual display for display on a second display of an external electronic device when executed, the electronic device executes an application related to transmitting display data to the external electronic device in a part of the executable application.
- a button (S) for settings can be displayed.
- the electronic device when an executable application that can be moved to a virtual display is executed and a connectable external electronic device exists, the electronic device executes an application related to transmitting display data to the external electronic device in a part of the executable application.
- a button S for settings may be displayed to indicate to the user that the execution application can be moved to the second display of the external electronic device.
- the user can execute the application for connection to the second display of the external electronic device through the button (S) for executing or setting the application related to the transmission of display data to the external electronic device displayed on the running application.
- the electronic device may move the executing application to the virtual display.
- the electronic device may display the indicator 222 in a partial area of the first display 220 when an executable application that can be moved to a virtual display for display on the second display of the external electronic device is executed. there is.
- FIG. 13 illustrates a screen of an electronic device in the tutorial mode of an application according to an embodiment of the present disclosure.
- the tutorial mode of the application may be executed when the application is first run or when there is no execution record, and when an execution input (touching the icon) of the application occurs, it may not be displayed again thereafter.
- the electronic device may execute the tutorial mode of the application when the executing application supports movement to the virtual display, and may execute the tutorial mode when the executable application is not supported or is executed in multi-window mode. It may not run.
- the electronic device may apply a highlight effect to the icon of the application displayed on the first display 220 in the tutorial mode, thereby inducing the user to execute the application (touch the icon). there is.
- the electronic device may display the cast view 221 in full screen on the first display in the tutorial mode. Additionally, as the application is executed, the electronic device may display a pop-up message containing information that the execution application can be moved on a virtual display and an external electronic device (eg, a second display).
- an external electronic device eg, a second display
- the electronic device may release the tutorial mode when the user inputs an application execution input or touches a confirmation button. In one embodiment, when a user's application execution input is input, the electronic device may end the tutorial mode and display the cast view 221 and the indicator 222 in a partial area of the first display.
- FIG. 14A illustrates a screen of an electronic device when moving to a virtual display of an executing application that is not supported by the application according to an embodiment of the present disclosure.
- FIG. 14B illustrates a guide screen for executable applications that are not supported by the application according to an embodiment of the present disclosure.
- the electronic device may be set to generate a virtual display for only a preset portion of a plurality of executing applications and support applications that move the executing application, and may be configured to support an application that moves the executing application.
- Application support may not be available for some of the remaining applications.
- the electronic device executes the user's application or displays it as a virtual display for an executable application that is not supported by the application, an executable application that is not on the home screen of the electronic device, or an executable application that is not executed on the entire screen of the electronic device.
- a virtual display may not be created.
- the electronic device can create a virtual display and move the running application to the virtual display only when it receives input from the user to execute the application or move to the virtual display for the execution application supported by the application.
- the electronic device executes the user's application or displays it as a virtual display for an executable application that is not supported by the application, an executable application that is not on the home screen of the electronic device, or an executable application that is not executed on the entire screen of the electronic device.
- the screen displayed on the first display 220 of the electronic device can be moved to the virtual display, the second display, and/or the cast view 221 of the external electronic device to be displayed, as shown in FIG. 14a. You can. Additionally, the electronic device may display a home screen on the first display 220.
- the electronic device executes the user's application or displays it on a virtual display for an executable application that is not supported by the application, an executable application that is not on the home screen of the electronic device, or an executable application that is not executed on the entire screen of the electronic device.
- a guide screen may be displayed on the first display 220 as shown in FIG. 14B.
- the guide screen may display a list of executable applications supported by the application or indicate that settings for all executable applications can be changed to be moved to a virtual display.
- the list of executable applications may include 15 to 30 preset executable applications among executable applications stored in the electronic device.
- FIG. 15 illustrates a perspective view of the folding of the electronic device 200 according to an embodiment of the present disclosure.
- the electronic device 200 may have a form factor in which the first display 220 is deformed by sliding or rolling.
- the electronic device 200 may have a form factor that allows the first display 220 to be folded based on a hinge.
- the first display 220 includes an internal display 223 that is located inside the electronic device 200 and unfolds by unfolding based on the hinge, and an internal display 223 that is located outside the electronic device 200 and unfolds by unfolding based on the hinge.
- An external display 224 displayed by may be included.
- the electronic device 200 may undergo geometric deformation by folding or unfolding, and may be configured in an unfold mode (e.g., the folded angle exceeds 130°), a half-fold flex mode (e.g., the folded angle is 80°), ⁇ ⁇ 130 ⁇ ), can operate in half-fold cover mode (e.g. folded angle less than 80 ⁇ ).
- an unfold mode e.g., the folded angle exceeds 130°
- a half-fold flex mode e.g., the folded angle is 80°
- ⁇ ⁇ 130 ⁇ e.g., the folded angle is 80°
- ⁇ ⁇ 130 ⁇ e.g., the folded angle is 80°
- half-fold cover mode e.g. folded angle less than 80 ⁇
- the electronic device 200 includes an acceleration sensor, a gyro sensor, a geomagnetic field sensor, a grip sensor, a hinge angle sensor, a Hall sensor, etc. that contain information capable of determining the state of the electronic device 200.
- a sensor module eg, sensor module 250 of FIG. 2 may be included.
- the sensor module may receive status information through a grip sensor if the user grips it with one or both hands, and may use an acceleration sensor and/or gyro sensor to determine whether the electronic device 200 is resting on a table.
- Information can be received, and state information corresponding to the characteristics of the geometric form factor, such as the flex mode, of the electronic device 200 can be received.
- FIGS. 16A, 16B, and 16C illustrate screens of the cast view 221 and the second display 320 according to changes in various states of the electronic device 200 according to an embodiment of the present disclosure.
- the electronic device 200 may be configured in an unfold mode, a half-fold flex mode (vertical), a half-fold flex mode (horizontal), a half-fold cover mode, and/or a half-fold mode. It can operate in fold flex panel mode. As the electronic device 200 changes to various modes, the properties related to the first display 220 may change, and accordingly, the properties of the virtual display may not be affected.
- the electronic device 200 may operate in the unfold mode 200A in which the first display 220 is unfolded.
- the electronic device 200 may display a screen on the entire area of the first display 220 in the unfolded mode 200A, and may be in portrait mode as shown or may be changed to landscape mode by rotation, accordingly.
- the screen layout of the first display 220 may be changed. Even if the properties (e.g., screen layout) related to the first display 220 are changed, the electronic device 200 displays the virtual display generated based on the properties related to the first display 220 before moving to the virtual display.
- the display properties can be maintained and the display screens of the second display 320 and the cast view 221 can be maintained.
- the electronic device 200 based on the changed properties related to the first display 220, displays properties (e.g., position, size, or direction) can be changed.
- properties e.g., position, size, or direction
- the electronic device 200 may change the display position, size, or direction of the cast view 221 displayed on the first display 220.
- the electronic device 200 operates in a half-fold flex mode (200B, 200C) in which the first display 220 is folded within a preset angle range based on the folding angle of the first display 220. You can. Additionally, the electronic device 200 may operate in half-fold flex mode-vertical (200B) or half-fold flex mode-horizontal (200C) by rotation. Accordingly, the size, resolution, and/or screen layout of the first display 220 may be changed. Even if the properties related to the first display 220 are changed, the electronic device 200 may maintain the properties of the virtual display created based on the properties related to the first display 220 before moving to the virtual display. there is.
- the electronic device 200 may change properties related to the cast view 221 displayed on at least a portion of the first display 220 based on changed properties related to the first display 220.
- the cast view 221 on the first display 220 is positioned at a preset position (e.g., on the left or right) from the portion folded by the hinge.
- the cast view 221 can be moved to the right or hidden by reducing or minimizing the cast view 221 on the first display 220 so that the user can perform another task.
- the electronic device 200 may change the size or screen layout of the cast view 221 displayed on the first display 220. . As an example, the electronic device 200 may move the cast view 221 displayed on the first display 220 in half-fold flex mode-portrait 200B so that it does not overlap the hinge of the first display 220. .
- the electronic device 200 may display an execution application or a home screen only on a portion of the first display 220 in half-fold flex mode-landscape 200C, and display a preset screen or an input screen on the remaining portion. can be displayed.
- the electronic device 200 may reduce or minimize the cast view 221 displayed on the first display 220 in half-fold flex mode-landscape 200C and hide it to the left or right.
- the electronic device 200 is in a half-fold cover mode in which the first display 220 is folded below a preset angle based on the folding angle of the first display 220, as shown in FIG. 16B. It can operate at (200D).
- the electronic device 200 can display a screen on the external display 224 included in the first display 220 in the half-fold cover mode 200D, and accordingly, the size, resolution, and/or Or the screen layout may change. Even if the properties related to the first display 220 are changed, the electronic device 200 may maintain the properties of the virtual display created based on the properties related to the first display 220 before moving to the virtual display. there is. Additionally, the electronic device 200 may reduce or minimize the cast view 221 displayed on the first display 220 in the half-fold cover mode 200D and hide it to the left or right.
- the electronic device 200 displays the first display 220 based on the folding angle of the first display 220 and/or whether the electronic device 200 is held, as shown in FIG. 16C. It can be operated in half-fold flex panel mode (200E), folded within a preset angle range and placed on a table. As an example, when the electronic device 200 operates in the half-fold flex panel mode 200E, it moves the cast view 221 on the first display 220 to a preset position (e.g., left or right), and 1 A user's touch input may be received through some areas of the display 220.
- a preset position e.g., left or right
- the electronic device 200 displays a virtual display and/or an external electronic device based on the user's touch input pattern (e.g., tap, double tap, pinch zoom-in, pinch zoom-out, sliding in the up, down, left, and right directions, etc.) or the touch input of the keyboard.
- a manipulation for an executing application moved to the second display 320 of 300 may be received.
- an operation for an executing application may be to adjust the volume of content, and the screen display for volume adjustment may be displayed on both the first display 220 and the second display 320, or may be selectively displayed on one of the displays. You can.
- FIG. 17 is a flowchart 1700 of a method of operating an electronic device according to various embodiments of the present disclosure.
- an electronic device may execute an application based on a user's input.
- the application may have a function that supports displaying an executable application running on the electronic device on the second display of the external electronic device.
- the electronic device may confirm the connection with the external electronic device through the first communication interface based on the execution of the application.
- the first communication interface can transmit and receive data with the second communication interface of the external electronic device through a preset communication method.
- the electronic device may generate a virtual display based on properties related to the first display of the electronic device in operations 1731 and 1732.
- the electronic device may generate a virtual display based on the resolution of the first display in operation 1731 and override properties related to the first display to the virtual display created in operation 1732.
- the electronic device may display a screen that is at least partially different from the display screen of the first display on the generated virtual display, based on the properties of the generated virtual display.
- the electronic device moves and displays the display screen of at least one of one or more execution applications running on the electronic device on a virtual display, and accordingly, the virtual display may have at least a portion different from the display screen of the first display. there is.
- the electronic device may transmit display data related to a screen displayed on a virtual display to an external electronic device through a communication interface.
- the external electronic device may display the screen displayed on the virtual display on the second display based on the received display data.
- the electronic device displays a cast view on at least a partial area of the first display, determines whether a virtual display is generated, whether a cast view is displayed in at least a partial area of the first display, or creates a virtual display.
- An indicator related to settings for at least one of the display-related properties may be displayed in at least a partial area of the first display.
- the electronic device may reduce or hide the cast view displayed on the first display when a preset condition is satisfied or a user's input is received.
- An electronic device (101 in FIG. 1; 200 in FIG. 2) according to an embodiment of the present disclosure includes a display 220, a communication interface 230, a memory 240, and the display 220 and the communication interface ( 230) and at least one processor 210 operatively connected to the memory 240.
- the at least one processor 210 may be set to check the connection with the external electronic device 102 (300) through the communication interface 230 based on execution of the application.
- the at least one processor 210 may be set to generate a virtual display 260 based on properties related to the display 220.
- the at least one processor 210 displays a screen on the generated virtual display 260 that is at least partially different from the display screen of the display 220, based on the properties of the generated virtual display 260. It can be set to display.
- the at least one processor 210 may be set to transmit display data related to the screen displayed on the virtual display 260 to the external electronic device 102 (300) through the communication interface 230. there is.
- the at least one processor 210 is configured to, at least as part of an operation of generating the virtual display 260, generate the display.
- a virtual display 260 may be created based on the resolution of 220 and may be set to override properties related to the display 220 on the created virtual display 260.
- the at least one processor 210 displays a display screen of the display 220 on the virtual display 260. As part of the operation of displaying at least some different screens, moving at least one display screen among one or more execution applications running on the electronic device (101 in FIG. 1; 200 in FIG. 2) to the virtual display 260. It can be set to display.
- an attribute related to the display 220 is configured to display the at least one display screen among the one or more executing applications as the virtual display. This may be an attribute before moving to (260).
- properties related to the display 220 may be changeable.
- the at least one processor 210 is configured to, when properties related to the display 220 are changed after moving the display screen of the at least one of the one or more execution applications to the virtual display 260, It may be set to maintain the properties of the virtual display 260 created based on properties related to the display 220 before moving to the display 260.
- the at least one processor 210 performs the execution as at least part of an operation for generating the virtual display 260. It may be set to generate the virtual display 260 based on properties related to at least one of the applications.
- the at least one processor 210 displays a cast view 221 that displays the screen of the virtual display 260. may be further set to be displayed in at least some areas of the display 220.
- properties related to the display 220 may be changeable.
- the at least one processor 210 operates the display ( 220) may be set to change properties related to the display of the cast view 221.
- the at least one processor 210 through the cast view 221 displayed on the display 220, It may be further configured to receive a touch input from the user.
- the at least one processor 210 displays the cast view 221 on at least a partial area of the display 220.
- the cast view 221 displayed on the display 220 may be further set to be reduced or hidden.
- the at least one processor 210 determines whether to generate the virtual display 260 and determines the An indicator 222 related to whether to display the cast view 221 in at least some areas or a setting for at least one of the properties related to the virtual display 260 is displayed in at least some areas of the display 220. It can be set to display.
- a method 1700 of operating an electronic device (101 in FIG. 1; 200 in FIG. 2) is to operate an external electronic device (102; 300) through the communication interface 230 based on execution of an application. ) may include an operation 1720 to check the connection.
- a method 1700 of operating an electronic device (101 in FIG. 1; 200 in FIG. 2) according to an embodiment is based on properties related to the display 220 of the electronic device (101 in FIG. 1; 200 in FIG. 2). This may include operations 1731 and 1732 of generating the virtual display 260.
- a method 1700 of operating an electronic device (101 in FIG. 1; 200 in FIG. 2) according to an embodiment includes operating the generated virtual display 260 based on the properties of the generated virtual display 260.
- a method 1700 of operating an electronic device includes display data related to a screen displayed on the virtual display 260 through the communication interface 230. It may include an operation 1750 of transmitting to the external electronic device 102 (300).
- operations 1731 and 1732 of generating the virtual display 260 include the display ( An operation 1731 of generating a virtual display 260 based on the resolution of 220), and an operation 1732 of overriding properties related to the display 220 on the created virtual display 260. You can.
- the virtual display 260 is at least partially different from the display screen of the display 220.
- the screen display operation 1740 involves moving and displaying at least one display screen among one or more execution applications running on the electronic device (101 in FIG. 1; 200 in FIG. 2) on the virtual display 260. You can.
- the attribute related to the display 220 includes the display of the at least one of the one or more running applications. This may be an attribute before moving the screen to the virtual display 260.
- properties related to the display 220 may be changed.
- properties related to the display 220 are changed after moving the display screen of at least one of the one or more running applications to the virtual display 260, the display 220 is displayed on the virtual display 260.
- the operation 1740 of displaying a screen that is at least partially different from the display screen of ) includes the virtual display 260 generated based on properties related to the display 220 before moving to the virtual display 260. ) properties can be maintained.
- a method 1700 of operating an electronic device includes casting a cast view 221 that displays the screen of the virtual display 260 to the display ( An operation 1750 of displaying at least a portion of the area 220 may be further included.
- properties related to the display 220 may be changed.
- the operation 1750 of displaying the cast view 221 on at least a partial area of the display 220 includes the above Based on the changed properties related to the display 220, the properties related to the display of the cast view 221 of the display 220 can be changed.
- the operation of displaying the cast view 221 on at least a partial area of the display 220 may reduce or hide the cast view 221 displayed on the display 220 when a preset condition is satisfied or a user's input is received.
- a method 1700 of operating an electronic device includes determining whether to generate the virtual display 260, and determining the at least a portion of the display 220.
- An operation of displaying an indicator 222 related to whether to display the cast view 221 or a setting for at least one of the properties related to the virtual display 260 in at least a partial area of the display 220 ( 1750) may further be included.
- a non-transitory computer-readable storage medium storing one or more programs according to an embodiment of the present disclosure confirms the connection with the external electronic device (102; 300) through the communication interface (230) based on the execution of the application.
- the storage medium may include an operation of generating a virtual display 260 based on properties related to the display 220 of the electronic device (101 in FIG. 1; 200 in FIG. 2).
- the storage medium includes an operation of displaying a screen that is at least partially different from the display screen of the display 220 on the generated virtual display 260, based on the properties of the generated virtual display 260. can do.
- the storage medium may include an operation of transmitting display data related to a screen displayed on the virtual display 260 to the external electronic device 102 (300) through the communication interface 230.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 개시의 일 실시예에 따른 전자 장치는, 디스플레이, 통신 인터페이스, 메모리, 및 상기 디스플레이, 상기 통신 인터페이스 및 상기 메모리와 작동적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 어플리케이션의 실행에 기반하여, 상기 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인하고, 상기 디스플레이와 관련한 속성을 기반으로, 가상의 디스플레이를 생성하고, 상기 생성한 가상의 디스플레이의 속성에 기반하여, 상기 생성한 가상의 디스플레이에 상기 디스플레이의 표시 화면과 적어도 일부가 상이한 화면을 표시하고, 상기 통신 인터페이스를 통하여, 상기 가상의 디스플레이에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
Description
본 개시는, 전자 장치에서 가상의 디스플레이를 통해 어플리케이션의 화면을 외부 전자 장치에 표시하는 기술에 관한 것이다.
무선통신 기술 및 프로세서 기술의 발달에 따라, 스마트폰으로 대표 되는 휴대용 전자 장치(이하, 전자 장치)는 전화, 갤러리 또는 게임 등의 다양한 어플리케이션을 실행하고, 전자 장치의 디스플레이를 통해 어플리케이션 화면을 제공할 수 있다.
전자 장치는 사용자가 휴대 가능하도록 하기 위해 비교적 작은 크기의 디스플레이를 가질 수 있다. 이에, 전자 장치는 전자 장치에서 실행된 어플리케이션 화면을 보다 큰 디스플레이를 갖는 외부 장치에 전송하여, 외부 장치의 디스플레이에서 어플리케이션 화면을 제공하도록 하는 미러링(mirroring) 기능을 구비할 수 있다. 또한, 어플리케이션의 실행 화면을 단순히 외부 장치의 디스플레이로 전송하는 것 이외에, PC(personal computer) 환경에서 전자 장치의 어플리케이션에 대한 사용자 인터페이스를 제공하고, PC 환경에서 사용자 입력으로 전자 장치의 어플리케이션 실행과 같은 동작을 제어하는 서비스도 개발되고 있다.
본 개시의 일 실시예에 따른 전자 장치는, 디스플레이, 통신 인터페이스, 메모리, 및 상기 디스플레이, 상기 통신 인터페이스 및 상기 메모리와 작동적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 어플리케이션의 실행에 기반하여, 상기 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인하도록 설정될 수 있다. 상기 적어도 하나의 프로세서는, 상기 디스플레이와 관련한 속성을 기반으로, 가상의 디스플레이를 생성하도록 설정될 수 있다. 상기 적어도 하나의 프로세서는, 상기 생성한 가상의 디스플레이의 속성에 기반하여, 상기 생성한 가상의 디스플레이에 상기 디스플레이의 표시 화면과 적어도 일부가 상이한 화면을 표시하도록 설정될 수 있다. 상기 적어도 하나의 프로세서는, 상기 통신 인터페이스를 통하여, 상기 가상의 디스플레이에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 어플리케이션의 실행에 기반하여, 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 동작 방법은, 상기 전자 장치의 디스플레이와 관련한 속성을 기반으로, 가상의 디스플레이를 생성하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 동작 방법은, 상기 생성한 가상의 디스플레이의 속성에 기반하여, 상기 생성한 가상의 디스플레이에 상기 디스플레이의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작을 포함할 수 있다. 일 실시예에 따른 전자 장치의 동작 방법은, 상기 통신 인터페이스를 통하여, 상기 가상의 디스플레이에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치로 전송하는 동작을 포함할 수 있다.
본 개시의 일 실시예에 따른 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체는, 어플리케이션의 실행에 기반하여, 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인하는 동작을 포함할 수 있다. 상기 저장 매체는 상기 전자 장치의 디스플레이와 관련한 속성을 기반으로, 가상의 디스플레이를 생성하는 동작을 포함할 수 있다. 상기 저장 매체는, 상기 생성한 가상의 디스플레이의 속성에 기반하여, 상기 생성한 가상의 디스플레이에 상기 디스플레이의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작을 포함할 수 있다. 상기 저장 매체는, 상기 통신 인터페이스를 통하여, 상기 가상의 디스플레이에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치로 전송하는 동작을 포함할 수 있다.
도 1은, 본 개시의 일 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 본 개시의 일 실시예에 따른 전자 장치의 구성도이다.
도 3은, 본 개시의 일 실시예에 따른 외부 전자 장치의 구성도이다.
도 4는, 본 개시의 일 실시예에 따른 전자 장치에서 생성한 가상의 디스플레이에 표시하는 화면을 외부 전자 장치에 표시하는 상태를 도시한 것이다.
도 5는, 본 개시의 일 실시예에 따른 가상의 디스플레이를 통한 전자 장치의 제1 디스플레이와 외부 전자 장치의 제2 디스플레이의 연결을 도시한 것이다,
도 6은, 본 개시의 일 실시예에 따른 전자 장치(예: 프로세서)의 가상의 디스플레이를 생성하는 흐름도를 도시한 것이다.
도 7은, 본 개시의 일 실시예에 따른 전자 장치의 어플리케이션의 실행에 따른 외부 전자 장치와의 연결하는 화면을 도시한 것이다.
도 8은, 본 개시의 일 실시예에 따른 외부 전자 장치와의 연결시 제1 디스플레이의 화면을 도시한 것이다.
도 9는, 본 개시의 일 실시예에 따른 캐스트뷰가 표시되는 제1 디스플레이의 화면을 도시한 것이다.
도 10a는, 본 개시의 일 실시예에 따른 사용자의 입력에 의해 캐스트뷰를 제1 디스플레이에서 숨기거나 표시하는 동작을 도시한 것이다.
도 10b는 본 개시의 일 실시예에 따른 키보드의 표시에 의해 캐스트뷰를 제1 디스플레이에서 숨기는 동작을 도시한 것이다.
도 11은, 본 개시의 일 실시예에 따른 제1 디스플레이에 표시된 인디케이터의 상세 설정에 관한 화면을 도시한 것이다.
도 12는, 본 개시의 일 실시예에 따른 전자 장치에서 실행하는 실행 어플리케이션에 표시되는 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼을 도시한 것이다.
도 13은 본 개시의 일 실시예에 따른 어플리케이션의 튜토리얼 모드에서 전자 장치의 화면을 도시한 것이다.
도 14a는, 본 개시의 일 실시예에 따른 어플리케이션에 지원되지 않는 실행 어플리케이션의 가상의 디스플레이로의 이동시 전자 장치의 화면을 도시한 것이다.
도 14b는, 본 개시의 일 실시예에 따른 어플리케이션에 지원되지 않는 실행 어플리케이션에 대한 가이드 화면을 도시한 것이다.
도 15는, 본 개시의 일 실시예에 따른 전자 장치의 폴딩에 대한 사시도를 도시한 것이다.
도 16a, 16b 및 16c는, 본 개시의 일 실시예에 따른 전자 장치의 다양한 상태로의 변경에 따른 가상의 디스플레이 및 제2 디스플레이의 화면을 도시한 것이다.
도 17은, 본 개시의 다양한 실시예에 따른 전자 장치의 동작 방법의 순서도이다.
도 1은, 본 개시의 일 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
일 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 일 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 일 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 일 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 일 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 일 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
일 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 일 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 일 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 본 개시의 일 실시예에 따른 전자 장치(200)의 구성도이다.
도 2를 참조하면, 일 실시예에서 전자 장치(200)(예: 도 1의 전자 장치(101))는 스마트 폰, 태블릿 PC와 같은 휴대용 전자 장치로 구현될 수 있다. 일 실시예에 따른 전자 장치(200)는, 서로 작동적으로 연결된 제1 프로세서(210), 제1 디스플레이(220), 제1 통신 인터페이스(230), 제1 메모리(240) 및/또는 센서 모듈(250)를 포함한다.
일 실시예로, 제1 프로세서(210, 예: 도 1의 프로세서(120))는 제1 메모리(240)에 저장된 프로세싱 동작을 수행할 수 있고, 후술하는 어플리케이션의 실행 및 다른 구성부품들을 제어할 수 있다. 예를 들어, 제1 프로세서(210)는 인터넷 브라우저, 갤러리, 메시지, 게임과 같은 다양한 어플리케이션을 실행하고, 어플리케이션의 실행 화면을 제1 디스플레이(220)에 제공할 수 있는 AP(application processor)일 수 있다.
일 실시예로, 제1 디스플레이(220)는 제1 프로세서(210)로부터 수신한 표시 데이터에 기반하여 사용자에게 시각적으로 정보를 제공하는 화면을 표시할 수 있다. 예를 들어, 제1 디스플레이(220)는 고정된 하나의 패널로 구성될 수도 있고, 후술하는 것과 같이 롤링(rolling), 슬라이딩(sliding) 또는 폴딩(folding)에 의해 면적이 가변되거나, 또는 서로 독립적인 복수 개의 패널로 구성될 수 있다.
일 실시예로, 제1 통신 인터페이스(230)는 외부 전자 장치(200)와의 데이터 통신이 가능한 인터페이스일 수 있다. 예를 들어, 제1 통신 인터페이스(230)는 무선 또는 유선으로 외부 전자 장치(200)와 데이터 통신이 가능할 수 있고, 예시로 HDMI(high definition multimedia interface), USB(universal serial bus)와 같은 유선 인터페이스를 통해 서로 연결되거나, Wi-Fi direct, Bluetooth와 같은 근거리 무선 통신 네트워크를 통해 외부 전자 장치(200)와 연결될 수 있다.
일 실시예로, 제1 메모리(240)는 디지털 데이터들을 일시적 또는 영구적으로 저장하기 위한 것일 수 있다. 예시로, 제1 메모리(240)는 OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD))와 같은 비휘발성 메모리 및 DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM)와 같은 휘발성 메모리를 포함할 수 있다.
일 실시예로, 제1 메모리(240)는 제1 프로세서(210)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 제1 프로세서(210)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 및/또는 입출력을 포함하는 다양한 제어 명령을 포함할 수 있다.
일 실시예로, 센서 모듈(250)은 전자 장치의 상태 변경 또는 제1 디스플레이와 관련한 속성의 변경을 감지할 수 있다. 예시로, 센서 모듈(250)에는 가속도 센서, 자이로 센서, 터치 센서, 움직임 센서, GPS 센서, 및/또는 제1 디스플레이의 폴딩 각도를 감지하는 각도 센서가 포함될 수 있다.
도 3은, 본 개시의 일 실시예에 따른 외부 전자 장치(300)의 구성도이다.
도 3을 참조하면, 일 실시예에 따른, 외부 전자 장치(300, 예: 도 1의 전자 장치(102))는 전자 장치(예: 도 1의 전자 장치(101))와 독립적인 부품들로 구성되며, 입력되는 표시 데이터를 표시하기 위한 모니터, TV와 같은 디스플레이 장치일 수 있다.
일 실시예에 따른 외부 전자 장치(300)는, 서로 작동적으로 연결된 제2 프로세서(310), 제2 디스플레이(320), 제2 통신 인터페이스(330) 및/또는 제2 메모리(340)를 포함한다.
일 실시예로, 제2 프로세서(310)는 제2 메모리(340)에 저장된 프로세싱 동작을 수행할 수 있고, 수신한 데이터 입력에 의해 제2 디스플레이(320)에 화면을 표시하도록 제어할 수 있다.
일 실시예로, 제2 디스플레이(320)는 제2 통신 인터페이스(330)를 통하여 전자 장치로부터 수신한 표시 데이터에 기반하여 사용자에게 시각적으로 정보를 제공하는 화면을 표시할 수 있다. 예를 들어, 제2 디스플레이(320)는 전자 장치와 이격된 위치에 배치되어 제1 디스플레이와 상이한 화면을 사용자에게 제공할 수 있다.
일 실시예로, 제2 통신 인터페이스(330)는 전자 장치(예: 제1 통신 인터페이스)와의 데이터 통신이 가능한 인터페이스일 수 있다. 예를 들어, 제2 통신 인터페이스(330)는 무선 또는 유선으로 전자 장치와 데이터 통신이 가능할 수 있고, 예시로 HDMI(high definition multimedia interface), USB(universal serial bus)와 같은 유선 인터페이스를 통해 서로 연결되거나, Wi-Fi direct, Bluetooth와 같은 근거리 무선 통신 네트워크를 통해 전자 장치와 연결될 수 있다.
도 4는, 본 개시의 일 실시예에 따른 전자 장치(200)에서 생성한 가상의 디스플레이(260)에 표시하는 화면을 외부 전자 장치(300)에 표시하는 상태를 도시한 것이다. 도 5는, 본 개시의 일 실시예에 따른 가상의 디스플레이(260)를 통한 전자 장치(200)의 제1 디스플레이(220)와 외부 전자 장치(300)의 제2 디스플레이(320)의 연결을 도시한 것이다,
도 4 및 도 5를 참조하면, 일 실시예에 따른 전자 장치(200)는 외부 전자 장치(300)와의 연결에 기반하여 표시 데이터를 외부 전자 장치(300)로 전송하며, 외부 전자 장치(300)는 수신한 표시 데이터에 기반하여 제2 디스플레이(320)에 화면을 표시할 수 있다.
일 실시예로, 전자 장치(200)는 어플리케이션(예: smart view)의 실행에 기반하여 외부 전자 장치(300)와 연결되고, 실행 중인 실행 어플리케이션의 화면을 외부 전자 장치(300)로 전송하는 미러링(mirroring) 기능이 가능하였다. 예를 들어, 전자 장치(200)는 제1 디스플레이(220)에 표시하는 화면을 복제하여 외부 전자 장치(300)의 제2 디스플레이(320)에 표시할 수 있다. 다만, 이러한 미러링 기능에 따르면, 제1 디스플레이(220)와 제2 디스플레이(320) 사이의 환경 설정 차이 및/또는 제1 디스플레이(220)의 디스플레이 모드 변경으로 인하여, 실행 어플리케이션의 동작이 멈추거나, 재실행되거나, 초기 화면으로 이동하거나, 또는 종료되는 등 연속성이 확보되지 않고 정상적으로 작동하지 않는 문제가 있었다. 또한, 실행 어플리케이션의 음성이 전자 장치(200) 및 외부 전자 장치(300)에 중복하여 출력되거나, 또는 전자 장치(200)에서 출력되어야 할 음성이 외부 전자 장치(300)에 출력되는 문제가 있었다.
일 실시예에 따른 전자 장치(200)는, 전자 장치(200)에 포함된 제1 디스플레이(220)와 관련한 속성에 기반하여 가상의 디스플레이(260)를 생성하고, 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 외부 전자 장치(300)로 전송하여 제2 디스플레이(320)에 표시할 수 있다.
이에 따라, 실행 어플리케이션이 가상의 디스플레이(260)로 이동한 이후에, 전자 장치(200)의 제1 디스플레이(220)의 속성이 변경되더라도, 제2 디스플레이(320)에 표시되는 화면에는 영향이 없어, 실행 어플리케이션의 연속성을 보장할 수 있다. 특히, 후술하는 것과 같이, 제1 디스플레이(220)의 속성이 변경되는 이벤트(예: 디스플레이 모드의 변경, 디스플레이의 폴딩/언폴딩 등)가 발생하더라도, 제2 디스플레이(320)에 표시하는 실행 어플리케이션의 화면은 연속적으로 유지될 수 있다.
또한 일 실시예에 따른 전자 장치(200)는, 가상의 디스플레이(260)로 실행 어플리케이션을 이동하여 외부 전자 장치(300)에 표시함으로써, 외부 전자 장치(300)의 제2 디스플레이(320)에 표시하는 실행 어플리케이션 중 적어도 하나와 독립적으로, 제1 디스플레이(220)에 실행 어플리케이션을 실행할 수 있어, 실행 어플리케이션의 독립적인 동시 사용이 가능할 수 있다.
구체적으로, 일 실시예에 따른 전자 장치(200)는, 제1 디스플레이(220)에 표시되는 개념 디스플레이(250, default display)를 통해 물리적인 제1 디스플레이(220)에 표시되는 하나 이상의 실행 어플리케이션의 적어도 하나의 표시 화면을 표시할 수 있고, 개념 디스플레이(250)를 통해 제1 디스플레이(220)와 관련한 속성을 스냅샷(snapshot)으로 가상의 디스플레이(260)에 전달할 수 있다. 여기서, 개념 디스플레이(250)는, 하드웨어인 제1 디스플레이(220)에 표시되는 소프트웨어 화면을 의미하는 것으로, 제1 디스플레이(200)에 관련한 속성에 기반하여 표시되는 화면일 수 있다.
일 실시예로, 가상의 디스플레이(260)는 제1 디스플레이(220) 및 개념 디스플레이(250)의 표시 화면과는 독립적으로 생성 및 작동되는 소프트웨어 화면이며, 가상의 디스플레이(260)에 표시되는 화면은 외부 전자 장치(300)의 물리적인 제2 디스플레이(320)에 표시될 수 있다. 전자 장치(200)는 가상의 디스플레이(260)에 표시되는 화면과 관련한 표시 데이터를 외부 전자 장치(300)으로 송신할 수 있다.
일 실시예로, 제1 디스플레이(220)의 적어도 일부 영역에는 가상의 디스플레이(260) 및 제2 디스플레이(320)에 표시되는 화면이 표시되는 캐스트뷰(221)가 표시될 수 있다.
일 실시예로, 전자 장치(200)는 가상의 디스플레이(260)의 생성시, 가상의 디스플레이(260)의 속성을 제1 디스플레이(220)의 속성에 대응하도록 설정할 수 있다. 일 실시예로, 디스플레이와 관련한 속성은, 디스플레이의 해상도(resolution), 디스플레이의 밀도(density), 디스플레이의 스크린 레이아웃(screen layout), 디스플레이의 색상 모드(color mode), 디스플레이의 HDR 모드(high dynamic range mode), 입력 장치의 속성, 또는 디스플레이와 관련한 폼팩터의 변형 중 적어도 하나 이상일 수 있다.
예를 들어, 제1 디스플레이(220)는 HD, FHD, WQHD 또는 커스터마이즈된 해상도를 포함하는 해상도를 가질 수 있다. 또한, 제1 디스플레이(220)는 mdpi, xdpi, xxdpi, xxxdpi 또는 커스터마이즈된 밀도를 포함하는 밀도를 가질 수 있다. 또한, 제1 디스플레이(220)는 large 모드, long 모드, small 모드, xlarge 모드, normal 모드, LTR 모드 또는 RTL 모드를 포함하는 스크린 레이아웃을 가질 수 있다. 또한, 제1 디스플레이(220)는 wide color gamut 또는 custom color mode를 포함하는 색상 모드를 가질 수 있다. 또한, 제1 디스플레이(220)는 HDR enable 또는 HDR disable를 포함하는 HDR 모드를 가질 수 있다. 또한, 제1 디스플레이(220)는 입력 장치로 마우스, 터치 스크린, 키보드 또는 트랙볼(track ball)과 연결될 수 있다.
일 실시예로 전자 장치(200)는, 제1 디스플레이(220)로부터 가상의 디스플레이(260)로 이동하는 실행 어플리케이션 중 적어도 하나에 관련한 속성에 기반하여, 가상의 디스플레이(260)를 생성할 수 있다. 전자 장치(200)는, 제1 디스플레이(220)로부터 가상의 디스플레이(260)로 이동하는 실행 어플리케이션 중 적어도 하나에 관련한 속성을 갖도록 가상의 디스플레이(260)의 속성을 설정할 수 있다. 예시로, 가상의 디스플레이(260)로 이동하는 실행 어플리케이션 중 적어도 하나가 세로 화면에 따른 스크린 레이아웃만을 지원하는 경우, 가상의 디스플레이(260)는 실행 어플리케이션 중 적어도 하나가 세로 화면의 비율로 표시되도록 가상의 디스플레이(260)의 속성을 설정할 수 있다.
일 실시예로, 전자 장치(200)의 제1 디스플레이(220)와 관련한 속성이 변경되더라도, 실행 어플리케이션이 제1 디스플레이(220)에서 가상의 디스플레이(260)로 이동한 이후에는, 가상의 디스플레이(260) 및 제2 디스플레이(320)에서 표시하는 화면은 제1 디스플레이(220)와 관련한 속성의 변경에 영향을 받지 않을 수 있다. 이에 따라, 제1 디스플레이(220)와 관련한 속성이 변경되더라도, 가상의 디스플레이(260) 또는 제2 디스플레이(320)에 표시되는 실행 어플리케이션의 동작 오류의 발생을 방지할 수 있다.
도 6은, 본 개시의 일 실시예에 따른 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 제1 프로세서(210))의 가상의 디스플레이를 생성하는 흐름도(600)를 도시한 것이다.
도 6을 더 참조하면, 일 실시예에 따른 application layer(610), framework layer(620) 및 graphic layer(630)는 전자 장치의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 제1 프로세서(210))에 포함된 소프트웨어 구성일 수 있다.
일 실시예로, 전자 장치는 사용자의 입력에 기반하여 가상의 디스플레이를 생성할 수 있다. 예시로, 전자 장치는 사용자의 입력에 기반하여 외부 전자 장치(예: 도 3의 외부 전자 장치(300))와의 연결을 생성하는 어플리케이션(예: smart view)을 실행할 수 있다. 전자 장치는 어플리케이션의 실행에 기반하여, 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인할 수 있다.
일 실시예로, 전자 장치는 application layer(610)에서 service(611)를 통해 사용자의 입력을 수신하고, service(611)는 display manager(612)로 가상의 디스플레이를 생성하는 명령을 전송할 수 있다.
일 실시예로, 동작 640에서, application layer(610)의 display manager(612)는 framework layer(620)의 display manger service(621)로 제1 디스플레이와 관련한 속성에 기반하여, 가상의 디스플레이를 생성하는 명령을 전송할 수 있다. 예시로, display manager(612)는 display manger service(621)로 제1 디스플레이의 해상도와 동일한 가상의 디스플레이를 생성하는 명령을 전송할 수 있다. 명령을 수신한 display manger service(621)는 logical display manager(622)에 제1 디스플레이와 관련한 속성(예: 해상도)을 요청하고, logical display manager(622)로부터 제1 디스플레이와 관련한 속성(예: 해상도)을 획득할 수 있고, 획득한 제1 디스플레이와 관련한 속성(예: 해상도)을 virtual display adapter(623)에 전송할 수 있다. 일 실시예로, virtual display adapter(623)는 제1 디스플레이의 해상도 및 밀도와 각각 동일한 해상도 및 밀도를 갖는 virtual display device(624)를 생성할 수 있다. 이에 따라, 제1 디스플레이로부터 가상의 디스플레이로 실행 어플리케이션이 이동됨에 따른 호환 문제(예: 동작 멈춤 또는 재실행)를 방지할 수 있다.
일 실시예로, 동작 650에서, virtual display device(624)는 display manager service(621)로부터 제1 디스플레이와 관련한 속성(예: 해상도, 밀도, 스크린 레이아웃, 색상 모드, HDR 모드 등)을 획득하여 생성한 가상의 디스플레이의 속성에 오버라이드(override)할 수 있다. 특히, 제1 디스플레이와 관련한 속성은 실행 어플리케이션이 가상의 디스플레이로 이동되기 이전의 속성으로, 전자 장치는 실행 어플리케이션을 가상의 디스플레이로 이동하기 이전에 제1 디스플레이와 관련한 속성을 캡처하고 캡처한 속성을 스냅샷을 통해 가상의 디스플레이에 전달할 수 있다. 가상의 디스플레이의 속성은 제1 디스플레이와 관련한 속성에 대응되도록 설정될 수 있다. 이에 따라, 이동되는 실행 어플리케이션의 작동 오류를 방지할 수 있다.
일 실시예로, 동작 660에서, virtual display device(624)는 graphic layer(630)의 surface control(631)으로 가상의 디스플레이에 표시되는 화면을 외부 전자 장치의 제2 디스플레이에 표시하도록 명령을 전달할 수 있다. 또한, graphic layer(630)의 surface control(631)은 surface flinger(632)에 가상의 디스플레이에 표시되는 화면에 해당하는 표시 데이터를 외부 전자 장치로 전송하기 위하여 변환(composing)할 수 있다.
일 실시예로, 동작 670에서, service는 실행 어플리케이션 중 적어도 하나를 가상의 디스플레이로 이동하여 표시하도록 activity task manager service(625)로 명령을 전송하고, activity task manager service(625)는 전자 장치의 제1 디스플레이와 관련한 관련한 속성에 기반하여 생성된 가상의 디스플레이에 실행 어플리케이션 중 적어도 하나를 표시할 수 있다. 또한, 가상의 디스플레이로 이동된 실행 어플리케이션 중 적어도 하나에 의하여 가상의 디스플레이에 표시되는 화면은 virtual display device(624)에서 외부 전자 장치로 전송할 수 있다.
일 실시예로, 가상의 디스플레이에 표시되는 화면은 제1 디스플레이에 표시하는 화면과 적어도 일부가 상이할 수 있다. 예시로, 전자 장치에서 실행하는 하나 이상의 실행 어플리케이션의 중 적어도 하나가 가상의 디스플레이로 이동하고, 상기 적어도 하나의 실행 어플리케이션은 제1 디스플레이가 아닌, 가상의 디스플레이에 표시될 수 있다. 예를 들어, 하나 이상의 실행 어플리케이션의 중 가상의 디스플레이로 이동하는 적어도 하나는, 사용자의 입력에 의해 선택되거나, 또는 미리 설정된 조건(예: 가장 상위에 실행된 어플리케이션, 가장 최근에 실행된 어플리케이션 등)에 의해 선택될 수 있다.
도 7은, 본 개시의 일 실시예에 따른 전자 장치의 어플리케이션의 실행에 따른 외부 전자 장치와의 연결하는 화면을 도시한 것이다.
도 7을 참조하면, 일 실시예에 따른 전자 장치(예: 도 2의 전자 장치(200))는 외부 전자 장치(예: 외부 전자 장치(300))와 연결에 기반하여 표시 데이터를 외부 전자 장치로 전송하는 어플리케이션의 실행에 기반하여, 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인할 수 있다.
일 실시예로, 전자 장치는 사용자의 어플리케이션 실행의 입력을 수신하여 어플리케이션을 실행할 수 있다. 일 실시예에 따른 전자 장치는, 연결 가능한 복수 개의 외부 전자 장치의 리스트를 제1 디스플레이(220)에 표시할 수 있고, 사용자로부터 연결할 외부 전자 장치를 선택 받을 수 있다.
일 실시예로, 어플리케이션에 의해 가상의 디스플레이 또는 외부 전자 장치의 제2 디스플레이(320)로 이동 가능한 미리 설정된 실행 어플리케이션(예: 갤러리 어플리케이션)의 실행시, 연결 가능한 외부 전자 장치가 감지되는 경우, 전자 장치는 어플리케이션의 실행을 유도하는 노티피케이션을 제1 디스플레이(220)에 표시할 수 있다.
도 8은, 본 개시의 일 실시예에 따른 외부 전자 장치와의 연결시 제1 디스플레이(220)의 화면을 도시한 것이다. 도 9는, 본 개시의 일 실시예에 따른 캐스트뷰(221)가 표시되는 제1 디스플레이(220)의 화면을 도시한 것이다.
도 8 및 도 9를 참조하면, 일 실시예에 따른 전자 장치는, 가상의 디스플레이에 표시하는 화면을 제1 디스플레이(220)의 적어도 일부 영역에 표시하는 캐스트뷰(221)를 표시할 수 있다. 일 실시예로, 전자 장치는 가상의 디스플레이 및/또는 외부 전자 장치의 제2 디스플레이(320)에 표시하는 화면을 제1 디스플레이(220)에 팝업 윈도우(pop-up window) 형태의 캐스트뷰(221)로 표시할 수 있다. 캐스트뷰(221)는 제1 디스플레이(220) 상에서 미리 설정된 크기 및/또는 미리 설정된 위치에 배치된 팝업 윈도우일 수 있고, 미리 설정된 크기 및 위치는 가상의 디스플레이의 속성에 따라 다양하게 설정될 수 있다.
일 실시예로, 가상의 디스플레이에 표시하는 화면을 표시하는 제1 디스플레이(220)의 적어도 일부 영역에 표시된 캐스트뷰(221)는, 윈도우 화면을 최소화, 최대화, 축소, 확대 또는 종료할 수 있도록 버튼이 표시된 팝업 윈도우 형태일 수 있다.
일 실시예로, 전자 장치의 제1 디스플레이(220)에 표시되는 화면 및 외부 전자 장치의 제2 디스플레이(320)에 표시되는 화면은 각각 가로 화면(landscape) 또는 세로 화면(portrait)일 수 있다. 일 실시예로, 사용자의 조작 입력에 의하거나, 제1 디스플레이(220) 및/또는 제2 디스플레이(320)의 회전에 의해 속성 변경, 또는 제1 디스플레이(220) 및/또는 제2 디스플레이(320) 각각에 표시되는 실행 어플리케이션의 속성에 따라, 제1 디스플레이(220)에 가로 화면(landscape) 또는 세로 화면(portrait)이 표시될 수 있다.
여기서, 제1 디스플레이(220)의 적어도 일부 영역에 표시되는 캐스트뷰(221)는 가상의 디스플레이 및/또는 제2 디스플레이(320)에 표시되는 화면에 대응되고, 제1 디스플레이(220)의 배경 또는 전체에 표시되는 화면과는 독립적일 수 있다. 일 실시예로, 캐스트뷰(221)는 가상의 디스플레이 및/또는 제2 디스플레이(320)의 속성 또는 가상의 디스플레이 및/또는 제2 디스플레이(320)에 표시되는 실행 어플리케이션의 속성에 기반하여, 스크린 레이아웃이 설정될 수 있다.
즉, 제1 디스플레이(220)에 가로 화면이 표시되는 상태에서 제1 디스플레이(220)의 적어도 일부 영역에 표시되는 캐스트뷰(221)는 가로 화면 및/또는 세로 화면일 수 있고, 또한 제1 디스플레이(220)에 세로 화면이 표시되는 상태에서 제1 디스플레이(220)의 적어도 일부 영역에 표시되는 캐스트뷰(221)는 가로 화면 및/또는 세로 화면일 수 있다.
일 실시예로, 전자 장치는 제1 디스플레이(220)의 적어도 일부 영역에 표시되는 캐스트뷰(221)를 통해 사용자로부터 터치 입력을 수신할 수 있다. 구체적으로, 전자 장치는 가상의 디스플레이 및 제2 디스플레이(320)에 표시하는 화면을 제1 디스플레이(220)의 일부 영역에 표시하면서, 해당 일부 영역에 대한 사용자의 입력을 터치 수신할 수 있다. 즉, 사용자는 가상의 디스플레이 및 제2 디스플레이(320)에 표시하는 실행 어플리케이션에 대하여, 제1 디스플레이(220)를 통한 터치 입력으로 조작할 수 있다.
도 10a는, 본 개시의 일 실시예에 따른 사용자의 입력에 의해 캐스트뷰(221)를 제1 디스플레이(220)에서 숨기거나 표시하는 동작을 도시한 것이다. 도 10b는 본 개시의 일 실시예에 따른 키보드의 표시에 의해 캐스트뷰(221)를 제1 디스플레이(220)에서 숨기는 동작을 도시한 것이다.
도 10a 및 도 10b를 더 참조하면, 일 실시예에 따른 전자 장치는, 어플리케이션의 실행 중에, 미리 설정된 조건을 만족하거나 또는 사용자의 입력을 수신한 경우, 제1 디스플레이(220)의 일부 영역에 표시하는 캐스트뷰(221)를 축소하거나 또는 숨길 수 있다.
일 실시예로, 전자 장치는 사용자의 터치 입력에 의해 제1 디스플레이(220)의 일부 영역에 표시하는 캐스트뷰(221)를 숨길 수 있다. 동시에, 전자 장치는 캐스트뷰(221)와 함께 후술하는 인디케이터(222)를 숨길 수 있다. 캐스트뷰(221)가 숨겨진 상태에는 제1 디스플레이(220)에 힌트(hint)가 표시되고, 힌트에 대한 사용자의 터치 입력 발생시, 캐스트뷰(221)가 제1 디스플레이(220)에 다시 표시될 수 있다. 일 실시예로, 힌트는 제1 디스플레이(220) 상에서 캐스트뷰(221)를 표시하기 이전 위치에 표시될 수 있다.
일 실시예로, 전자 장치는 미리 설정된 조건을 만족하는 경우, 제1 디스플레이(220)의 일부 영역에 표시하는 캐스트뷰(221)를 숨길 수 있다. 여기서, 미리 설정된 조건에는, 미리 설정된 시간(예: 10초) 동안 캐스트뷰(221)에 대한 터치 입력이 발생되지 않는 경우, 캐스트뷰(221)가 표시된 제1 디스플레이(220)의 일부 영역을 제외한 나머지 영역에 대한 더블탭 터치 입력이 발생된 경우, 및/또는 제1 디스플레이(220)에 키보드(K, 예: on-screen keyboard)가 표시되는 경우가 포함될 수 있다.
도 11은, 본 개시의 일 실시예에 따른 제1 디스플레이(220)에 표시된 인디케이터(222)의 상세 설정에 관한 화면을 도시한 것이다.
도 8 및 도 9와 함께, 도 11을 더 참조하면, 캐스트뷰(221)과 함께 인디케이터(222)를 제1 디스플레이(220)에 표시할 수 있다. 예를 들어, 인디케이터(222)는 제1 디스플레이(220)의 좌측 또는 우측의 미리 설정된 위치에 고정되어 표시될 수 있다. 일 실시예로, 인디케이터(222)는 캐스트뷰(221)와 동시에 숨겨지거나, 동시에 제1 디스플레이(220)에 표시될 수 있다. 사용자의 캐스트뷰(221) 및/또는 인디케이터(222)에 대한 스와이프(swipe) 입력에 의해 캐스트뷰(221)와 인디케이터(222)는 동시에 제1 디스플레이(220)에서 숨겨지거나, 또는 표시될 수 있다.
일 실시예에 따른 전자 장치는 가상의 디스플레이의 생성 여부, 제1 디스플레이(220)의 적어도 일부 영역에 캐스트뷰(221)의 표시 여부, 또는 가상의 디스플레이에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터(222)를 제1 디스플레이(220)의 적어도 일부 영역에 표시할 수 있다. 예를 들어, 전자 장치는 인디케이터(222)를 캐스트뷰(221) 표시하는 제1 디스플레이(220)의 적어도 일부 영역에 인접하게 표시할 수 있다.
일 실시예로, 인디케이터(222)는 캐스트뷰(221)와 함께 제1 디스플레이(220)의 적어도 일부 영역에 표시될 수 있다. 인디케이터(222)는 적어도 하나 이상의 터치 입력에 의해 선택 가능한 버튼을 포함할 수 있다. 예시로, 인디케이터(222)에는 적어도 하나 이상의 바로가기 버튼이 포함될 수 있다.
예를 들어, 인디케이터(222)에는 인디케이터(222)의 표시를 축소하거나, 숨기는 버튼이 포함될 수 있다. 또한, 인디케이터(222)에는 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)이 포함될 수 있다. 어플리케이션의 실행 또는 설정을 위한 버튼(S)은, 가상의 디스플레이를 생성하도록 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션을 실행하거나, 제1 디스플레이(220)의 적어도 일부 영역에 캐스트뷰(221)의 표시 여부 또는 가상의 디스플레이에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 속성을 변경할 수 있다. 일 실시예로, 제1 디스플레이(220)에 표시된 인디케이터(222)를 통하여, 캐스트뷰(221) 및/또는 제2 디스플레이에 표시하는 화면에 관련한 속성을 변경할 수 있다.
일 실시예로, 인디케이터(222)는 주변에 위치한 외부 전자 장치를 검색하고 연결하는 기능인 zero configuration(easy connection), 어플리케이션에 따른 가상의 디스플레이를 생성하는 기능인 app cast virtual screen management, 실행 어플리케이션을 가상의 디스플레이에 실행하는 기능인 cast app, manifest metadata 또는 AL을 활용하는 기능인 AL management, 어플리케이션 실행시 캐스트뷰를 전체 화면으로 강제 실행하거나 캐스트뷰의 header를 제거하는 기능인 app launch policy, 외부 전자 장치(예: 제2 디스플레이)의 화면을 전자 장치(예: 제1 디스플레이)에 캐스트뷰 형식으로 표시하거나 또는 캐스트뷰를 통한 터치 입력을 실행 어플리케이션에 전달하는 기능인 Mirrored touch pad 및/또는 실행 어플리케이션을 외부 전자 장치(예: 제2 디스플레이)에 표시하는 UX를 제공하는 기능인 Appcast deep shortcut 또는 Appcast context menu와 관련한 바로가기를 표시할 수 있다.
도 12는, 본 개시의 일 실시예에 따른 전자 장치에서 실행하는 실행 어플리케이션에 표시되는 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)을 도시한 것이다.
도 12를 참조하면, 일 실시예에 따른 전자 장치는, 어플리케이션의 전자 장치에서 실행하는 실행 어플리케이션에 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)을 표시할 수 있다.
일 실시예로, 전자 장치는 외부 전자 장치의 제2 디스플레이에 표시하기 위한 가상의 디스플레이로 이동 가능한 실행 어플리케이션이 실행되는 경우, 실행 어플리케이션의 일부에 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)을 표시할 수 있다. 일 실시예로, 전자 장치는 가상의 디스플레이로 이동 가능한 실행 어플리케이션이 실행된 상태에서, 연결 가능한 외부 전자 장치가 존재하는 경우, 실행 어플리케이션의 일부에 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)을 표시하여, 사용자에게 외부 전자 장치의 제2 디스플레이로 실행 어플리케이션을 이동할 수 있음을 표시할 수 있다.
따라서, 사용자는 실행 중인 실행 어플리케이션에 표시된 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행 또는 설정을 위한 버튼(S)을 통해, 외부 전자 장치의 제2 디스플레이로 연결을 위한 어플리케이션을 실행할 수 있다. 외부 전자 장치로의 표시 데이터 전송과 관련한 어플리케이션의 실행에 기반하여, 전자 장치는 실행 어플리케이션을 가상의 디스플레이로 이동할 수 있다.
일 실시예로, 전자 장치는 외부 전자 장치의 제2 디스플레이에 표시하기 위한 가상의 디스플레이로 이동 가능한 실행 어플리케이션이 실행되는 경우, 제1 디스플레이(220)의 일부 영역에 인디케이터(222)를 표시할 수 있다.
도 13은 본 개시의 일 실시예에 따른 어플리케이션의 튜토리얼 모드에서 전자 장치의 화면을 도시한 것이다.
도 13을 참조하면, 일 실시예로, 어플리케이션의 튜토리얼 모드는 어플리케이션의 최초 실행시 또는 실행 기록이 없는 경우에 실행될 수 있고, 어플리케이션의 실행 입력(아이콘 터치) 발생시, 이후에는 다시 표시하지 않을 수 있다. 일 실시예로, 전자 장치는 실행 중인 실행 어플리케이션이 가상의 디스플레이로의 이동을 지원하는 경우에 어플리케이션의 튜토리얼 모드를 실행할 수 있고, 지원되지 않는 실행 어플리케이션 또는 멀티 윈도우 모드로 실행되는 경우에는 튜토리얼 모드를 실행하지 않을 수 있다.
일 실시예로, 전자 장치는 튜토리얼 모드에서 제1 디스플레이(220)에 표시된 어플리케이션의 아이콘에 강조(highlight) 효과를 적용할 수 있고, 이에 따라 사용자에게 어플리케이션의 실행 입력(아이콘 터치)을 유도할 수 있다.
일 실시예로, 전자 장치는 튜토리얼 모드에서 제1 디스플레이에 캐스트뷰(221)를 전체 화면으로 표시할 수 있다. 또한, 전자 장치는 어플리케이션의 실행에 따라 가상의 디스플레이 및 외부 전자 장치(예: 제2 디스플레이)에 실행 어플리케이션을 이동할 수 있다는 정보를 담은 팝업 메시지를 표시할 수 있다.
일 실시예로, 사용자의 어플리케이션의 실행 입력이 입력되거나, 또는 확인 버튼의 터치에 의해 전자 장치는 튜토리얼 모드를 해제할 수 있다. 일 실시예로, 전자 장치는 사용자의 어플리케이션의 실행 입력이 입력되는 경우, 튜토리얼 모드를 종료하고, 제1 디스플레이의 일부 영역에 캐스트뷰(221) 및 인디케이터(222)를 표시할 수 있다.
도 14a는, 본 개시의 일 실시예에 따른 어플리케이션에 지원되지 않는 실행 어플리케이션의 가상의 디스플레이로의 이동시 전자 장치의 화면을 도시한 것이다. 도 14b는, 본 개시의 일 실시예에 따른 어플리케이션에 지원되지 않는 실행 어플리케이션에 대한 가이드 화면을 도시한 것이다.
도 14a 및 도 14b를 참조하면, 일 실시예로 전자 장치는, 복수의 실행 어플리케이션 중 미리 설정된 일부에 대해서만 가상의 디스플레이를 생성하고 실행 어플리케이션을 이동하는 어플리케이션에 지원되도록 설정될 수 있고, 복수의 실행 어플리케이션 중 나머지 일부에 대해서는 어플리케이션의 지원이 불가능할 수 있다.
일 실시예로 전자 장치는, 어플리케이션이 지원하지 않는 실행 어플리케이션, 전자 장치의 홈 화면에 없는 실행 어플리케이션, 또는 전자 장치의 전체 화면에서 실행되지 않는 실행 어플리케이션에 대해서 사용자의 어플리케이션의 실행 또는 가상의 디스플레이로의 이동을 입력 받는 경우, 가상의 디스플레이를 생성하지 않을 수 있다. 전자 장치는 어플리케이션이 지원하는 실행 어플리케이션에 대해서 사용자의 어플리케이션의 실행 또는 가상의 디스플레이로의 이동을 입력 받는 경우에만 가상의 디스플레이의 생성 및 실행 어플리케이션을 가상의 디스플레이로 이동시킬 수 있다.
일 실시예로 전자 장치는, 어플리케이션이 지원하지 않는 실행 어플리케이션, 전자 장치의 홈 화면에 없는 실행 어플리케이션, 또는 전자 장치의 전체 화면에서 실행되지 않는 실행 어플리케이션에 대해서 사용자의 어플리케이션의 실행 또는 가상의 디스플레이로의 이동을 입력 받는 경우, 도 14a와 같이 전자 장치의 제1 디스플레이(220)에 표시되던 화면을 그대로 가상의 디스플레이, 외부 전자 장치의 제2 디스플레이 및/또는 캐스트뷰(221)로 이동하여 표시할 수 있다. 또한, 전자 장치는 제1 디스플레이(220)에 홈 화면을 표시할 수 있다.
일 실시예로 전자 장치는 어플리케이션이 지원하지 않는 실행 어플리케이션, 전자 장치의 홈 화면에 없는 실행 어플리케이션, 또는 전자 장치의 전체 화면에서 실행되지 않는 실행 어플리케이션에 대해서 사용자의 어플리케이션의 실행 또는 가상의 디스플레이로의 이동을 입력 받는 경우, 도 14b와 같이 가이드 화면을 제1 디스플레이(220) 표시할 수 있다. 예시로, 가이드 화면에는 어플리케이션에서 지원하는 실행 어플리케이션의 리스트를 표시하거나, 모든 실행 어플리케이션에 대하여 가상의 디스플레이로 이동되도록 설정을 변경할 수 있음을 표시할 수 있다. 실행 어플리케이션의 리스트는 전자 장치에 저장된 실행 어플리케이션 중 미리 설정된 15개 내지 30개의 실행 어플리케이션이 포함될 수 있다.
도 15는, 본 개시의 일 실시예에 따른 전자 장치(200)의 폴딩에 대한 사시도를 도시한 것이다.
도 15를 참조하면, 일 실시예에 따른 전자 장치(200)는 슬라이딩 또는 롤링에 의해 제1 디스플레이(220)가 변형되는 폼팩터일 수 있다. 일 실시예에 따른 전자 장치(200)는 힌지를 기준으로 제1 디스플레이(220)의 폴딩이 가능한 폼팩터일 수 있다. 제1 디스플레이(220)에는 전자 장치(200)의 내부에 위치되어 힌지를 기준으로 하는 언폴딩에 의해 펼쳐지는 내부 디스플레이(223) 및 전자 장치(200)의 외부에 위치되어 힌지를 기준으로 하는 폴딩에 의해 표시되는 외부 디스플레이(224)가 포함될 수 있다.
일 실시예로, 전자 장치(200)는 폴딩 또는 언폴딩에 의해 기하학적 변형이 발생될 수 있고, 언폴드 모드(예: 접혀진 각도가 130˚ 초과), 하프 폴드 flex 모드(예: 접혀진 각도가 80˚ ~ 130˚), 하프 폴드 cover 모드(예: 접혀진 각도가 80˚ 미만)로 작동할 수 있다.
일 실시예로, 전자 장치(200)에는 전자 장치(200)의 상태를 판단할 수 있는 정보를 포함하는 가속도 센서, 자이로 센서, 지자계 센서, 그립 센서, 힌지 각도 센서, 홀센서 등을 포함하는 센서 모듈(예: 도 2의 센서 모듈(250))이 포함될 수 있다. 예를 들어, 센서 모듈은 사용자가 한 손 또는 양 손으로 파지하는 경우 그립 센서를 통해 상태 정보를 수신할 수 있고, 전자 장치(200)가 테이블 위에 놓여 있는지 가속도 센서 및/또는 자이로 센서를 이용해 상태 정보를 수신할 수 있고, 전자 장치(200)의 flex 모드와 같은 기하학적 폼팩터의 특징에 대응한 상태 정보를 수신할 수 있다.
도 16a, 16b 및 16c는, 본 개시의 일 실시예에 따른 전자 장치(200)의 다양한 상태로의 변경에 따른 캐스트뷰(221) 및 제2 디스플레이(320)의 화면을 도시한 것이다.
도 16a, 16b 및 16c를 참조하면, 일 실시예에 따른 전자 장치(200)는, 언폴드 모드, 하프 폴드 flex 모드(세로), 하프 폴드 flex 모드(가로), 하프 폴드 cover 모드 및/또는 하프 폴드 Flex panel 모드로 동작할 수 있다. 전자 장치(200)는 다양한 모드로 변경됨에 따라 제1 디스플레이(220)와 관련한 속성이 변경될 수 있고, 이에 따라 가상의 디스플레이의 속성에는 영향을 미치지 않을 수 있다.
일 실시예로, 전자 장치(200)는 제1 디스플레이(220)가 언폴딩된 상태인 언폴드 모드(200A)로 동작할 수 있다. 전자 장치(200)는 언폴드 모드(200A)에서 제1 디스플레이(220)의 전체 영역에 화면을 표시할 수 있고, 도시한 것과 같이 세로 모드이거나 회전에 의해 가로 모드로 변경될 수도 있으며, 이에 따라 제1 디스플레이(220)의 스크린 레이아웃이 변경될 수 있다. 전자 장치(200)는, 제1 디스플레이(220)와 관련한 속성(예: 스크린 레이아웃)이 변경되더라도, 가상의 디스플레이에 이동하기 이전의 제1 디스플레이(220)와 관련한 속성을 기반으로 생성된 가상의 디스플레이의 속성을 유지하고, 제2 디스플레이(320) 및 캐스트뷰(221)의 표시 화면을 유지할 수 있다.
일 실시예로 전자 장치(200)는, 변경된 제1 디스플레이(220)와 관련한 속성을 기반으로, 제1 디스플레이(220)의 적어도 일부에 표시하는 캐스트뷰(221)의 표시와 관련한 속성(예: 위치, 크기 또는 방향)을 변경할 수 있다. 예시로, 전자 장치(200)는 제1 디스플레이(220)의 스크린 레이아웃이 변경되는 경우, 제1 디스플레이(220)에 표시하는 캐스트뷰(221)의 표시 위치, 크기 또는 방향을 변경할 수 있다.
일 실시예로, 전자 장치(200)는 제1 디스플레이(220)의 폴딩 각도에 기반하여, 제1 디스플레이(220)가 미리 설정된 각도 범위 이내로 폴딩된 하프 폴드 flex 모드(200B, 200C)로 동작할 수 있다. 또한, 전자 장치(200)는 회전에 의해 하프 폴드 flex 모드-세로(200B) 또는 하프 폴드 flex 모드-가로(200C)로 동작할 수 있다. 이에 따라 제1 디스플레이(220)의 크기, 해상도 및/또는 스크린 레이아웃이 변경될 수 있다. 전자 장치(200)는, 제1 디스플레이(220)와 관련한 속성이 변경되더라도, 가상의 디스플레이에 이동하기 이전의 제1 디스플레이(220)와 관련한 속성을 기반으로 생성된 가상의 디스플레이의 속성을 유지할 수 있다.
일 실시예로 전자 장치(200)는, 변경된 제1 디스플레이(220)와 관련한 속성을 기반으로, 제1 디스플레이(220)의 적어도 일부에 표시하는 캐스트뷰(221)과 관련한 속성을 변경할 수 있다. 예시로, 전자 장치(200)는 하프 폴드 flex 모드(200B, 200C)로 동작하는 경우, 제1 디스플레이(220)에서 캐스트뷰(221)를 힌지에 의해 접히는 부분으로부터 미리 설정된 위치(예: 좌측 또는 우측)로 이동시키거나, 사용자가 다른 태스크(task)를 수행하도록 제1 디스플레이(220) 상에 캐스트뷰(221)를 축소하거나 최소화하여 숨길 수 있다.
일 실시예로, 전자 장치(200)는 제1 디스플레이(220)의 크기 또는 스크린 레이아웃이 변경되는 경우, 제1 디스플레이(220)에 표시하는 캐스트뷰(221)의 크기 또는 스크린 레이아웃을 변경할 수 있다. 예시로, 전자 장치(200)는 하프 폴드 flex 모드-세로(200B)에서 제1 디스플레이(220)에 표시하는 캐스트뷰(221)를 제1 디스플레이(220)의 힌지와 중첩되지 않도록 이동시킬 수 있다.
일 실시예로 전자 장치(200)는 하프 폴드 flex 모드-가로(200C)에서 제1 디스플레이(220)의 일부 영역에만 실행 어플리케이션 또는 홈 화면을 표시할 수 있고, 나머지 일부에는 미리 설정된 화면 또는 입력 화면을 표시할 수 있다. 전자 장치(200)는 하프 폴드 flex 모드-가로(200C)에서 제1 디스플레이(220)에 표시하는 캐스트뷰(221)를 축소하거나, 최소화하여 좌측 또는 우측으로 숨길 수 있다.
일 실시예로, 전자 장치(200)는 도 16b에 도시한 것과 같이, 제1 디스플레이(220)의 폴딩 각도에 기반하여, 제1 디스플레이(220)가 미리 설정된 각도 이하로 폴딩된 하프 폴드 cover 모드(200D)로 동작할 수 있다. 전자 장치(200)는 하프 폴드 cover 모드(200D)에서 제1 디스플레이(220)에 포함된 외부 디스플레이(224)에 화면을 표시할 수 있고, 이에 따라 제1 디스플레이(220)의 크기, 해상도 및/또는 스크린 레이아웃이 변경될 수 있다. 전자 장치(200)는, 제1 디스플레이(220)와 관련한 속성이 변경되더라도, 가상의 디스플레이에 이동하기 이전의 제1 디스플레이(220)와 관련한 속성을 기반으로 생성된 가상의 디스플레이의 속성을 유지할 수 있다. 또한, 전자 장치(200)는 하프 폴드 cover 모드(200D)에서 제1 디스플레이(220)에 표시하는 캐스트뷰(221)를 축소하거나, 최소화하여 좌측 또는 우측으로 숨길 수 있다.
일 실시예로, 전자 장치(200)는 도 16c에 도시한 것과 같이, 제1 디스플레이(220)의 폴딩 각도 및/또는 전자 장치(200)의 파지 여부에 기반하여, 제1 디스플레이(220)가 미리 설정된 각도 범위 이내로 폴딩되어 테이블에 놓여진 하프 폴드 flex panel 모드(200E)로 동작할 수 있다. 예시로, 전자 장치(200)는 하프 폴드 flex panel 모드(200E)로 동작하는 경우, 제1 디스플레이(220)에서 캐스트뷰(221)를 미리 설정된 위치(예: 좌측 또는 우측)로 이동시키고, 제1 디스플레이(220)의 일부 영역을 통해 사용자의 터치 입력을 수신할 수 있다. 전자 장치(200)는 사용자의 터치 입력 패턴(예: 탭, 더블탭, 핀치 줌인, 핀치 줌아웃, 상하좌우 방향으로 슬라이딩 등) 또는 키보드의 터치 입력에 기반하여, 가상의 디스플레이 및/또는 외부 전자 장치(300)의 제2 디스플레이(320)로 이동된 실행 어플리케이션에 대한 조작을 수신할 수 있다. 예를 들어, 실행 어플리케이션에 대한 조작은 컨텐츠의 볼륨 조절일 수 있고, 볼륨 조절에 대한 화면 표시는 제1 디스플레이(220) 및 제2 디스플레이(320)에 모두 표시되거나, 어느 하나에 선택적으로 표시될 수 있다.
도 17은, 본 개시의 다양한 실시예에 따른 전자 장치의 동작 방법의 순서도(1700)이다.
도 17을 참조하면, 다양한 실시예에 따른 전자 장치는, 동작 1710에서, 사용자의 입력에 기반하여 어플리케이션을 실행할 수 있다. 어플리케이션은 전자 장치에서 실행되는 실행 어플리케이션을 외부 전자 장치의 제2 디스플레이에 표시하도록 지원하는 기능을 가질 수 있다.
다양한 실시예에 따른 전자 장치는, 동작 1720에서, 어플리케이션의 실행에 기반하여, 제1 통신 인터페이스를 통하여 외부 전자 장치와의 연결을 확인할 수 있다. 제1 통신 인터페이스는 외부 전자 장치의 제2 통신 인터페이스와 미리 설정된 통신 방식을 통하여, 데이터를 송수신할 수 있다.
다양한 실시예에 따른 전자 장치는, 동작 1731 및 1732에서, 전자 장치의 제1 디스플레이와 관련한 속성을 기반으로, 가상의 디스플레이를 생성할 수 있다.
일 실시예로, 전자 장치는, 동작 1731에서 제1 디스플레이의 해상도를 기반으로 가상의 디스플레이를 생성하고, 동작 1732에서 생성한 가상의 디스플레이에 제1 디스플레이와 관련한 속성을 오버라이드할 수 있다.
일 실시예로, 전자 장치는, 동작 1740에서, 생성한 가상의 디스플레이의 속성에 기반하여, 생성한 가상의 디스플레이에 제1 디스플레이의 표시 화면과 적어도 일부가 상이한 화면을 표시할 수 있다. 예시로, 전자 장치는 전자 장치에서 실행하는 하나 이상의 실행 어플리케이션 중 적어도 하나의 표시 화면을 가상의 디스플레이에 이동하여 표시하고, 이에 따라 가상의 디스플레이에는 제1 디스플레이의 표시 화면과 적어도 일부가 상이할 수 있다.
일 실시예로, 전자 장치는, 동작 1750에서, 통신 인터페이스를 통하여, 가상의 디스플레이에 표시하는 화면과 관련한 표시 데이터를 외부 전자 장치로 전송할 수 있다. 외부 전자 장치는 수신한 표시 데이터에 기반하여, 가상의 디스플레이에 표시하는 화면을 제2 디스플레이에 표시할 수 있다.
일 실시예로, 전자 장치는, 동작 1760에서, 캐스트뷰를 제1 디스플레이의 적어도 일부 영역에 표시하고, 가상의 디스플레이의 생성 여부, 제1 디스플레이의 적어도 일부 영역에 캐스트뷰의 표시 여부, 또는 가상의 디스플레이에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터를 제1 디스플레이의 적어도 일부 영역에 표시할 수 있다.
일 실시예로, 전자 장치는, 미리 설정된 조건을 만족하거나 또는 사용자의 입력을 수신한 경우, 제1 디스플레이에 표시하는 캐스트뷰를 축소하거나 또는 숨길 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)는, 디스플레이(220), 통신 인터페이스(230), 메모리(240), 및 상기 디스플레이(220), 상기 통신 인터페이스(230) 및 상기 메모리(240)와 작동적으로 연결되는 적어도 하나의 프로세서(210)를 포함할 수 있다. 상기 적어도 하나의 프로세서(210)는, 어플리케이션의 실행에 기반하여, 상기 통신 인터페이스(230)를 통하여 외부 전자 장치(102; 300)와의 연결을 확인하도록 설정될 수 있다. 상기 적어도 하나의 프로세서(210)는, 상기 디스플레이(220)와 관련한 속성을 기반으로, 가상의 디스플레이(260)를 생성하도록 설정될 수 있다. 상기 적어도 하나의 프로세서(210)는, 상기 생성한 가상의 디스플레이(260)의 속성에 기반하여, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하도록 설정될 수 있다. 상기 적어도 하나의 프로세서(210)는, 상기 통신 인터페이스(230)를 통하여, 상기 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치(102; 300)로 전송하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)를 생성하는 동작의 적어도 일부로, 상기 디스플레이(220)의 해상도를 기반으로 가상의 디스플레이(260)를 생성하고, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)와 관련한 속성을 오버라이드하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작의 적어도 일부로, 상기 전자 장치(도 1의 101; 도 2의 200)에서 실행하는 하나 이상의 실행 어플리케이션 중 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하여 표시하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 디스플레이(220)와 관련한 속성은, 상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하기 이전의 속성일 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 디스플레이(220)와 관련한 속성은 변경 가능할 수 있다. 상기 적어도 하나의 프로세서(210)는, 상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동한 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 가상의 디스플레이(260)에 이동하기 이전의 상기 디스플레이(220)와 관련한 속성을 기반으로 생성된 상기 가상의 디스플레이(260)의 속성을 유지하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)를 생성하는 동작의 적어도 일부로, 상기 실행 어플리케이션 중 상기 적어도 하나에 관련한 속성에 기반하여, 상기 가상의 디스플레이(260)를 생성하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)의 화면을 표시하는 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하도록 더 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 디스플레이(220)와 관련한 속성은 변경 가능할 수 있다. 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)의 생성 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 변경된 디스플레이(220)와 관련한 속성을 기반으로, 상기 디스플레이(220)의 상기 캐스트뷰(221)의 표시와 관련한 속성을 변경하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 디스플레이(220)에 표시하는 상기 캐스트뷰(221)를 통해, 사용자로부터 터치 입력을 수신하도록 더 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작의 적어도 일부로, 미리 설정된 조건을 만족하거나 또는 사용자의 입력을 수신한 경우, 상기 디스플레이(220)에 표시하는 상기 캐스트뷰(221)를 축소하거나 또는 숨기도록 더 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)에서, 상기 적어도 하나의 프로세서(210)는, 상기 가상의 디스플레이(260)의 생성 여부, 상기 디스플레이(220)의 상기 적어도 일부 영역에 상기 캐스트뷰(221)의 표시 여부, 또는 상기 가상의 디스플레이(260)에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터(222)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하도록 설정될 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 어플리케이션의 실행에 기반하여, 통신 인터페이스(230)를 통하여 외부 전자 장치(102; 300)와의 연결을 확인하는 동작(1720)을 포함할 수 있다. 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 상기 전자 장치(도 1의 101; 도 2의 200)의 디스플레이(220)와 관련한 속성을 기반으로, 가상의 디스플레이(260)를 생성하는 동작(1731, 1732)을 포함할 수 있다. 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 상기 생성한 가상의 디스플레이(260)의 속성에 기반하여, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작(1740)을 포함할 수 있다. 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 상기 통신 인터페이스(230)를 통하여, 상기 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치(102; 300)로 전송하는 동작(1750)을 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 가상의 디스플레이(260)를 생성하는 동작(1731, 1732)은, 상기 디스플레이(220)의 해상도를 기반으로 가상의 디스플레이(260)를 생성하는 동작(1731), 및 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)와 관련한 속성을 오버라이드하는 동작(1732)을 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작(1740)은, 상기 전자 장치(도 1의 101; 도 2의 200)에서 실행하는 하나 이상의 실행 어플리케이션 중 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하여 표시할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 디스플레이(220)와 관련한 속성은, 상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하기 이전의 속성일 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 디스플레이(220)와 관련한 속성은 변경 가능할 수 있다. 상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동한 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작(1740)은, 상기 가상의 디스플레이(260)에 이동하기 이전의 상기 디스플레이(220)와 관련한 속성을 기반으로 생성된 상기 가상의 디스플레이(260)의 속성을 유지할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 상기 가상의 디스플레이(260)의 화면을 표시하는 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750)을 더 포함할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 디스플레이(220)와 관련한 속성은 변경 가능할 수 있다. 상기 가상의 디스플레이(260)의 생성 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750)은, 상기 변경된 디스플레이(220)와 관련한 속성을 기반으로, 상기 디스플레이(220)의 상기 캐스트뷰(221)의 표시와 관련한 속성을 변경할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에서, 상기 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750)은, 미리 설정된 조건을 만족하거나 또는 사용자의 입력을 수신한 경우, 상기 디스플레이(220)에 표시하는 상기 캐스트뷰(221)를 축소하거나 또는 숨길 수 있다.
본 개시의 일 실시예에 따른 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)은, 상기 가상의 디스플레이(260)의 생성 여부, 상기 디스플레이(220)의 상기 적어도 일부 영역에 상기 캐스트뷰(221)의 표시 여부, 또는 상기 가상의 디스플레이(260)에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터(222)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750)을 더 포함할 수 있다.
본 개시의 일 실시예에 따른 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체는, 어플리케이션의 실행에 기반하여, 통신 인터페이스(230)를 통하여 외부 전자 장치(102; 300)와의 연결을 확인하는 동작을 포함할 수 있다. 상기 저장 매체는 상기 전자 장치(도 1의 101; 도 2의 200)의 디스플레이(220)와 관련한 속성을 기반으로, 가상의 디스플레이(260)를 생성하는 동작을 포함할 수 있다. 상기 저장 매체는, 상기 생성한 가상의 디스플레이(260)의 속성에 기반하여, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작을 포함할 수 있다. 상기 저장 매체는, 상기 통신 인터페이스(230)를 통하여, 상기 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치(102; 300)로 전송하는 동작을 포함할 수 있다.
Claims (15)
- 전자 장치(도 1의 101; 도 2의 200)에 있어서,디스플레이(220);통신 인터페이스(230);메모리(240); 및상기 디스플레이(220), 상기 통신 인터페이스(230) 및 상기 메모리(240)와 작동적으로 연결되는 적어도 하나의 프로세서(210)를 포함하고, 상기 적어도 하나의 프로세서(210)는:어플리케이션의 실행에 기반하여, 상기 통신 인터페이스(230)를 통하여 외부 전자 장치(102; 300)와의 연결을 확인하고,상기 디스플레이(220)와 관련한 속성을 기반으로, 가상의 디스플레이(260)를 생성하고,상기 생성한 가상의 디스플레이(260)의 속성에 기반하여, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하고,상기 통신 인터페이스(230)를 통하여, 상기 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치(102; 300)로 전송하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 1 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)를 생성하는 동작의 적어도 일부로,상기 디스플레이(220)의 해상도를 기반으로 가상의 디스플레이(260)를 생성하고,상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)와 관련한 속성을 오버라이드하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 1 항 내지 제 2 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작의 적어도 일부로, 상기 전자 장치(도 1의 101; 도 2의 200)에서 실행하는 하나 이상의 실행 어플리케이션 중 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하여 표시하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 3 항에 있어서,상기 디스플레이(220)와 관련한 속성은, 상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하기 이전의 속성인,전자 장치(도 1의 101; 도 2의 200).
- 제 3 항 내지 제 4 항 중 적어도 어느 하나의 항에 있어서,상기 디스플레이(220)와 관련한 속성은 변경 가능하고,상기 적어도 하나의 프로세서(210)는:상기 하나 이상의 실행 어플리케이션 중 상기 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동한 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 가상의 디스플레이(260)에 이동하기 이전의 상기 디스플레이(220)와 관련한 속성을 기반으로 생성된 상기 가상의 디스플레이(260)의 속성을 유지하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 3 항 내지 제 5 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)를 생성하는 동작의 적어도 일부로, 상기 실행 어플리케이션 중 상기 적어도 하나에 관련한 속성에 기반하여, 상기 가상의 디스플레이(260)를 생성하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 1 항 내지 제 6 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)의 화면을 표시하는 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하도록 더 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 7 항에 있어서,상기 디스플레이(220)와 관련한 속성은 변경 가능하고,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)의 생성 이후에 상기 디스플레이(220)와 관련한 속성이 변경되는 경우, 상기 변경된 디스플레이(220)와 관련한 속성을 기반으로, 상기 디스플레이(220)의 상기 캐스트뷰(221)의 표시와 관련한 속성을 변경하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 7 항 내지 제 8 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 디스플레이(220)에 표시하는 상기 캐스트뷰(221)를 통해, 사용자로부터 터치 입력을 수신하도록 더 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 7 항 내지 제 9 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작의 적어도 일부로, 미리 설정된 조건을 만족하거나 또는 사용자의 입력을 수신한 경우, 상기 디스플레이(220)에 표시하는 상기 캐스트뷰(221)를 축소하거나 또는 숨기도록 더 설정된,전자 장치(도 1의 101; 도 2의 200).
- 제 7 항 내지 제 10 항 중 적어도 어느 하나의 항에 있어서,상기 적어도 하나의 프로세서(210)는:상기 가상의 디스플레이(260)의 생성 여부, 상기 디스플레이(220)의 상기 적어도 일부 영역에 상기 캐스트뷰(221)의 표시 여부, 또는 상기 가상의 디스플레이(260)에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터(222)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하도록 설정된,전자 장치(도 1의 101; 도 2의 200).
- 전자 장치(도 1의 101; 도 2의 200)의 동작 방법(1700)에 있어서,어플리케이션의 실행에 기반하여, 통신 인터페이스(230)를 통하여 외부 전자 장치(102; 300)와의 연결을 확인하는 동작(1720);상기 전자 장치(도 1의 101; 도 2의 200)의 디스플레이(220)와 관련한 속성을 기반으로, 가상의 디스플레이(260)를 생성하는 동작(1731, 1732);상기 생성한 가상의 디스플레이(260)의 속성에 기반하여, 상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작(1740); 및상기 통신 인터페이스(230)를 통하여, 상기 가상의 디스플레이(260)에 표시하는 화면과 관련한 표시 데이터를 상기 외부 전자 장치(102; 300)로 전송하는 동작(1750)을 포함하는,동작 방법.
- 제 12 항에 있어서,상기 가상의 디스플레이(260)를 생성하는 동작(1731, 1732)은,상기 디스플레이(220)의 해상도를 기반으로 가상의 디스플레이(260)를 생성하는 동작(1731); 및상기 생성한 가상의 디스플레이(260)에 상기 디스플레이(220)와 관련한 속성을 오버라이드하는 동작(1732)을 포함하는,동작 방법.
- 제 12 항 내지 제 13 항 중 적어도 어느 하나의 항에 있어서,상기 가상의 디스플레이(260)에 상기 디스플레이(220)의 표시 화면과 적어도 일부가 상이한 화면을 표시하는 동작(1740)은, 상기 전자 장치(도 1의 101; 도 2의 200)에서 실행하는 하나 이상의 실행 어플리케이션 중 적어도 하나의 표시 화면을 상기 가상의 디스플레이(260)에 이동하여 표시하는,동작 방법.
- 제 12 항 내지 제 14 항 중 적어도 어느 하나의 항에 있어서,상기 가상의 디스플레이(260)의 화면을 표시하는 캐스트뷰(221)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750); 및상기 가상의 디스플레이(260)의 생성 여부, 상기 디스플레이(220)의 상기 적어도 일부 영역에 상기 캐스트뷰(221)의 표시 여부, 또는 상기 가상의 디스플레이(260)에 관련한 속성 중 적어도 하나 이상에 대한 설정에 관련한 인디케이터(222)를 상기 디스플레이(220)의 적어도 일부 영역에 표시하는 동작(1750)을 더 포함하는,동작 방법.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2022-0099559 | 2022-08-09 | ||
KR20220099559 | 2022-08-09 | ||
KR10-2022-0105276 | 2022-08-23 | ||
KR1020220105276A KR20240021070A (ko) | 2022-08-09 | 2022-08-23 | 외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2024034851A1 true WO2024034851A1 (ko) | 2024-02-15 |
Family
ID=89851903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2023/009048 WO2024034851A1 (ko) | 2022-08-09 | 2023-06-28 | 외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2024034851A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130138143A (ko) * | 2012-06-08 | 2013-12-18 | 애플 인크. | 디스플레이 미러링을 위한 시스템 및 방법 |
KR20150113154A (ko) * | 2013-02-28 | 2015-10-07 | 애플 인크. | 가상 디스플레이들에 대한 시스템 및 방법 |
KR20200141673A (ko) * | 2019-06-11 | 2020-12-21 | 주식회사 케이티 | 가상화면 제공 방법 및 이를 위한 장치 |
KR20210042065A (ko) * | 2020-05-29 | 2021-04-16 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 미러링 방법 및 장치 |
KR20220101856A (ko) * | 2021-01-12 | 2022-07-19 | 삼성전자주식회사 | 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
-
2023
- 2023-06-28 WO PCT/KR2023/009048 patent/WO2024034851A1/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130138143A (ko) * | 2012-06-08 | 2013-12-18 | 애플 인크. | 디스플레이 미러링을 위한 시스템 및 방법 |
KR20150113154A (ko) * | 2013-02-28 | 2015-10-07 | 애플 인크. | 가상 디스플레이들에 대한 시스템 및 방법 |
KR20200141673A (ko) * | 2019-06-11 | 2020-12-21 | 주식회사 케이티 | 가상화면 제공 방법 및 이를 위한 장치 |
KR20210042065A (ko) * | 2020-05-29 | 2021-04-16 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 미러링 방법 및 장치 |
KR20220101856A (ko) * | 2021-01-12 | 2022-07-19 | 삼성전자주식회사 | 사용자 인터페이스를 제공하는 방법 및 그 전자 장치 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021118061A1 (ko) | 전자 장치 및 이를 이용한 레이아웃 구성 방법 | |
WO2020171600A1 (en) | Foldable electronic device for controlling user interface and method of operating the same | |
WO2022060041A1 (ko) | 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법 | |
WO2022097858A1 (en) | Electronic device capable of expanding display region and method for controlling screen thereof | |
WO2022119276A1 (ko) | 플렉서블 디스플레이 전자 장치 및 그 동작 방법 | |
WO2022124565A1 (ko) | 폴딩 상태 변경에 따른 표시 방향 제어 방법 및 장치 | |
WO2021261949A1 (ko) | 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치 | |
WO2022030804A1 (ko) | 화면 회전을 제어하기 위한 폴더블 전자 장치 및 그의 동작 방법 | |
WO2022108192A1 (ko) | 전자 장치 및 전자 장치의 멀티윈도우 제어방법 | |
WO2022114548A1 (ko) | 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치 | |
WO2023022567A1 (ko) | 폴더블 전자 장치 및 디지털 홀 센서를 이용한 폴더블 전자 장치의 제어 방법 | |
WO2022030910A1 (ko) | 폴딩 각도에 따라 입력 모드를 제어하는 전자 장치 및 그의 방법 | |
WO2024034851A1 (ko) | 외부 전자 장치에 화면을 표시하는 전자 장치 및 그 동작 방법 | |
WO2022108379A1 (ko) | 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법 | |
WO2022055178A1 (ko) | 다양한 형태의 콘텐트를 표시하기 위한 폴더블 전자 장치 및 그의 동작 방법 | |
WO2024080648A1 (ko) | 폴더블 전자 장치 및 폴더블 전자 장치의 사용자 입력 처리 방법 | |
WO2024080553A1 (ko) | 전자 장치 및 그 동작 방법 | |
WO2022119147A1 (ko) | 멀티 터치에 기반한 슬라이드 구동 방법 및 장치 | |
WO2024054038A1 (ko) | 폴더블 전자 장치 및 폴더블 전자 장치의 활용 방법 | |
WO2024080727A1 (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 동작 방법 및 비 일시적 저장 매체 | |
WO2023153595A1 (ko) | 전자 장치 및 전자 장치의 화면 표시 방법 | |
WO2024063376A1 (ko) | 디스플레이를 이용하여 컨텐츠를 표시하는 방법 및 이를 지원하는 전자 장치 | |
WO2022097922A1 (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 제어 방법 | |
WO2024025082A1 (ko) | 플렉서블 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 방법 | |
WO2022119118A1 (ko) | 플렉서블 디스플레이를 포함하는 전자 장치 및 화면 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 23852738 Country of ref document: EP Kind code of ref document: A1 |