WO2022191407A1 - Method, device, and storage medium for providing user interface - Google Patents

Method, device, and storage medium for providing user interface Download PDF

Info

Publication number
WO2022191407A1
WO2022191407A1 PCT/KR2022/000700 KR2022000700W WO2022191407A1 WO 2022191407 A1 WO2022191407 A1 WO 2022191407A1 KR 2022000700 W KR2022000700 W KR 2022000700W WO 2022191407 A1 WO2022191407 A1 WO 2022191407A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
subject
electronic device
display
Prior art date
Application number
PCT/KR2022/000700
Other languages
French (fr)
Korean (ko)
Inventor
전진욱
최재성
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022191407A1 publication Critical patent/WO2022191407A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • Various embodiments relate to a method, apparatus and storage medium for providing a user interface.
  • a camera may be disposed in front of an electronic device having a display in order to provide a function of taking a selfie or a video call.
  • the camera which was placed on the top of the front of the electronic device, is evolving to be placed under the display in order to increase screen size efficiency and a visual immersion experience.
  • an under display camera capable of maximizing an immersive experience by disposing a camera under a display so that the camera is not visible in an electronic device has been proposed.
  • the UDC may be visible on the display screen when running, and not visible on the display screen when not running, thereby enabling the realization of a full display.
  • the UDC may have a limit on the size of the camera sensor exposed on the display due to the nature of hiding the camera sensor on the display as much as possible. Accordingly, in UDC, it may be difficult to implement an auto focus function due to the limited size of the camera sensor.
  • the auto focus function may be difficult to implement even in a conventional hole-punching type camera. Accordingly, general cameras disposed on the front of the electronic device may typically implement a fixed focus function.
  • a UDC having a fixed focus function When a UDC having a fixed focus function is used, the distance between the UDC and the subject needs to be adjusted by the user until the distance corresponds to the focal length. However, since the user cannot clearly know the focal length, it may be inconvenient to adjust the distance between the UDC and the subject.
  • a method, an apparatus, and a storage medium for providing a user interface (UI) in an electronic device may be provided.
  • the electronic device may provide a UI that allows the user to recognize the location of the UDC.
  • the electronic device may provide a UI enabling the user to recognize the location of at least one UDC to be used among the plurality of UDCs in an environment in which a plurality of UDCs are used.
  • the electronic device may provide an ideal photographing result without using the auto focus function by providing a UI for inducing distance adjustment so that the distance between the UDC and the subject corresponds to the focal length of the UDC.
  • the electronic device may provide a UI for stably and clearly setting the composition of the subject based on the learned reference model.
  • an electronic device may include a memory; display; sound output unit; at least one camera disposed under the display; and at least one processor operatively coupled to the memory, the display, and the at least one camera, wherein the at least one processor detects a distance between the at least one camera and the at least one first object; , compares the preview image of the at least one first subject collected by the at least one camera with a reference image stored in the memory, and at least one of the detected distance or a comparison result of the preview image and the reference image Based on , it is determined whether a shooting condition for the at least one camera is satisfied, and when the shooting condition is satisfied, a user interface (UI) for instructing shooting through the at least one camera is displayed. It may be set to provide through one of the display or the sound output unit.
  • UI user interface
  • a method of providing a user interface (UI) in an electronic device may include detecting a distance between at least one camera disposed under a display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and performing at least one of displaying a first UI for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied.
  • UI user interface
  • the instructions are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor, wherein the at least one The operation may include: detecting a distance between at least one camera disposed under the display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and displaying a first user interface (UI) for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied It may include an operation of performing at least one.
  • UI user interface
  • the electronic device may clearly indicate the location of the UDC to the user through the UI.
  • the electronic device may indicate the location of at least one UDC to be used among the plurality of UDCs to the user through the UI.
  • the electronic device may provide an image having a clear focus to the user by allowing the distance between the UDC and the subject to correspond to the focal length of the UDC through the UI.
  • the electronic device may provide an image of a stable composition to the user through the UI.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram illustrating a camera module according to various embodiments.
  • FIG. 3 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a flowchart illustrating a method of providing a UI in an electronic device according to various embodiments of the present disclosure
  • FIG. 5 is a flowchart illustrating an example of a method of providing a UI in an electronic device including a UDC according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of generating, by an electronic device, a reference model for each category, according to various embodiments of the present disclosure
  • FIG. 7 is a flowchart illustrating another example of a method of providing a UI by an electronic device including a UDC according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram illustrating a UI for instructing a UDC in an electronic device according to various embodiments of the present disclosure
  • 9A is a flowchart illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments of the present disclosure
  • 9B is a flowchart illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments of the present disclosure
  • FIG. 10 is a diagram illustrating a UI for indicating an activated UDC among a plurality of UDCs in an electronic device according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 .
  • at least one of these components eg, the connection terminal 178
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190. have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of the operations performed by the electronic device 101 may be executed by one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the camera module 201 includes a lens assembly 210 , a flash 220 , an image sensor 230 , an image stabilizer 240 , a memory 250 (eg, a buffer memory), or an image signal processor. (image signal processor: ISP, 260) may be included.
  • the lens assembly 210 may collect light emitted from a subject, which is an image to be captured.
  • the lens assembly 210 may include one or more lenses.
  • the camera module 201 may include a plurality of lens assemblies 210 .
  • the camera module 201 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 210 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties that are different from the lens properties of .
  • the lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 220 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 220 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • the image sensor 230 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 210 into an electrical signal.
  • the image sensor 230 may include, for example, one image sensor selected from image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor; It may include a plurality of image sensors having the same property or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 230 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 240 moves at least one lens or the image sensor 230 included in the lens assembly 210 in a specific direction or Operation characteristics of the image sensor 230 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 240 uses a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 201 to the camera module 201 or electronic device. (201) can detect such a movement.
  • the image stabilizer 240 may be implemented as, for example, an optical image stabilizer.
  • the memory 250 may temporarily store at least a portion of the image acquired through the image sensor 230 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, a Bayer-patterned image or a high-resolution image) is stored in the memory 250 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display module 160 . Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a portion of the original image stored in the memory 250 may be obtained and processed by, for example, the image signal processor 260 . According to various embodiments, the memory 250 may be configured as at least a part of the memory 130 or as a separate memory operated independently of the memory 130 .
  • the image signal processor 260 may perform one or more image processing on an image acquired through the image sensor 230 or an image stored in the memory 250 .
  • the one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening.
  • the image signal processor 260 may include at least one of the components included in the camera module 201 (eg, an image sensor). 230), for example, exposure time control, readout timing control, etc.
  • the image processed by the image signal processor 260 is stored back in the memory 250 for further processing.
  • the image signal processor 260 may be configured as at least a part of the processor 120 or may be configured as a separate processor operated independently of the processor 120.
  • the image signal processor 260 may be configured as the processor 120 ) and a separate processor, at least one image processed by the image signal processor 260 may be displayed through the display device 260 as it is by the processor 120 or after additional image processing. .
  • the electronic device 101 may include a plurality of camera modules 201 each having different properties or functions.
  • at least one of the plurality of camera modules 201 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 201 may be a front camera, and at least the other may be a rear camera.
  • FIG. 3 is a block diagram 300 of an electronic device according to various embodiments.
  • the electronic device 301 includes a display 310 , a first camera 312 , a second camera 314 , a memory 320 , a sound output unit 330 , and a processor 340 . can do.
  • the electronic device 301 is not limited to the configurations illustrated in FIG. 3 , and may be implemented to include more or fewer configurations.
  • the electronic device 301 may be implemented to further include the components described above with reference to FIG. 1 or FIG. 2 .
  • the electronic device 301 according to various embodiments may be the electronic device 101 of FIG. 1 or an electronic device to be described later.
  • display 310 displays at least one of information generated by processor 340 , images collected by at least one of first camera 312 or second camera 314 , or a message to provide to a user. one can be displayed.
  • the information displayed by the display 310 is not limited to the above-described example.
  • the display 310 may perform a display operation by controlling pixels on the display 310 based on at least one of a passive matrix driving method or an active matrix driving method.
  • the display 310 may include a first pixel area disposed at a location corresponding to the first camera 312 or a second pixel area disposed at a location corresponding to the second camera 314 .
  • At least one pixel included in the first pixel area may be deactivated when the first camera 312 is executed, and may be activated for display when the first camera 312 is not executed.
  • At least one pixel included in the second pixel area may be deactivated when the second camera 314 is executed, and may be activated for display when the second camera 312 is not executed.
  • the display 310 may be included in the display module 160 of FIG. 1 .
  • the first camera 312 and the second camera 314 may be UDCs disposed under the display 310 . In one embodiment, the first camera 312 and the second camera 314 may be disposed at different locations.
  • the first camera 312 may be disposed on the top of the display 310 when the display 310 is viewed from the front, and the second camera 314 may be disposed on the bottom of the display 310 .
  • the upper end of the display 310 refers to an end relatively close to the sound output unit 330 (or microphone), and the lower end of the display 310 refers to an end relatively far to the sound output unit 330 (or microphone). can do.
  • the first camera 312 may be disposed on the right side of the display 310 when the display 310 is viewed from the front, and the second camera 314 may be disposed on the left side of the display 310 .
  • the positions of the first camera 312 and the second camera 314 are not limited to the above-described examples and may be variously changed.
  • the electronic device 301 includes only one camera.
  • a camera or more than two cameras may be included.
  • At least one of the first camera 312 and the second camera 314 may be included in the camera module 180 of FIG. 1 or the camera module 201 of FIG. 2 .
  • the memory 320 may store information generated by the processor 340 , information for a face authentication operation, a command, and/or an indicator.
  • the memory 320 may store an image collected by at least one of the first camera 312 and the second camera 314 .
  • the memory 320 may store images collected by at least one of the first camera 312 and the second camera 314 for each category based on the image classification model.
  • a category may include a location where the image was taken (eg, indoor, outdoor, landmark, or local name), the time the image was taken (eg, morning, afternoon, or season), and the type of subject included in the image (eg, people). , food, landscape, animal, or object), or the number of subjects included in the image.
  • the memory 320 may store one of an image having a composition most frequently used for each category or a user preferred image selected by a user for each category as a reference image.
  • the memory 320 may include a volatile memory or a non-volatile memory, and may be included in the memory 130 of FIG. 1 .
  • the sound output unit 330 may output a message related to a user interface (UI) by voice.
  • the sound output unit 330 may include a voice message for instructing at least one of the first camera 312 or the second camera 314, or between the first camera 312 or the second camera 314 and the subject.
  • At least one of a voice message for adjusting the distance or a voice message for instructing shooting through at least one of the first camera 312 and the second camera 314 may be output to the outside of the electronic device 301 . .
  • the sound output unit 330 may be included in the sound output module 155 of FIG. 1 .
  • the processor 340 controls the display 310 , the first camera 312 , the second camera 314 , and the memory 320 to control the first camera 312 or the second camera 314 .
  • ) may be provided through at least one of the display 310 and the sound output unit 330 .
  • the processor 340 may perform operations performed in an electronic device according to various embodiments to be described later.
  • the processor 340 may include one or more processors and may be included in the processor 120 of FIG. 1 .
  • an electronic device may include a memory; display; sound output unit; at least one camera disposed under the display; and at least one processor operatively coupled to the memory, the display, and the at least one camera, wherein the at least one processor detects a distance between the at least one camera and the at least one first object; , compares the preview image of the at least one first subject collected by the at least one camera with a reference image stored in the memory, and at least one of the detected distance or a comparison result of the preview image and the reference image Based on , it is determined whether a shooting condition for the at least one camera is satisfied, and when the shooting condition is satisfied, a user interface (UI) for instructing shooting through the at least one camera is displayed. It may be set to provide through one of the display or the sound output unit.
  • UI user interface
  • the at least one processor may include distance information for each size of a subject in the image stored in the memory, and a signal output from a sensor disposed under the display reflected by the at least one subject and input to the sensor.
  • the at least one camera and It may be set to detect a distance between the at least one first subject.
  • the at least one processor determines whether the detected distance corresponds to a focal length set for the at least one camera, and if the detected distance does not correspond to the focal length, the at least one It may be set to provide a UI for instructing to adjust the distance between the camera and the at least one first subject through at least one of the display and the sound output unit.
  • the at least one processor is configured to: As a result of comparing the preview image and the reference image, the composition of the at least one first object in the preview image is determined to be the composition of the at least one second object in the reference image. If not, a UI instructing to change the shooting angle of the at least one camera so that the composition of the at least one first object corresponds to the composition of the at least one second object is displayed on the display or the sound output unit It may be set to provide through at least one.
  • the at least one processor is configured to: determine that the detected distance corresponds to a focal length set for the at least one camera, and, as a result of comparing the preview image and the reference image, the at least one in the preview image When the composition of the first subject corresponds to the second composition of the at least one subject in the reference image, it may be set to determine that a photographing condition for the at least one camera is satisfied.
  • the at least one processor is configured to: When a shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural, the location of the at least one first subject in the preview image; Detect at least one of the gaze directions of the first subject, and select at least one camera to collect an image of the at least one first subject from among a plurality of cameras based on at least one of the detected position and the gaze direction It may be set to provide a UI for making a selection and instructing the selected at least one camera through at least one of the display or the sound output unit.
  • the at least one processor stores, as the reference image, a user preferred image selected by a user from among at least one image collected by the at least one camera in the memory, or in the at least one camera It may be configured to analyze at least one image collected by the controller to identify an image having the most frequently used composition information, and to store the identified image as the reference image in the memory.
  • Operations of the electronic device according to various embodiments to be described with reference to FIGS. 4 to 10 include an electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 301 of FIG. 3 ) and at least one processor (eg: It may be performed by the processor 120 of FIG. 1 or the processor 340 of FIG. 3 ), or a combination thereof.
  • an electronic device eg, the electronic device 101 of FIG. 1 or the electronic device 301 of FIG. 3
  • at least one processor eg: It may be performed by the processor 120 of FIG. 1 or the processor 340 of FIG. 3
  • FIGS. 4 to 10 are performed by an electronic device.
  • At least one camera, a plurality of cameras, UDC, or a plurality of UDCs to be described in FIGS. 4 to 10 may be included in the camera module 180 of FIG. 1 and the camera module 201 of FIG. 2 , respectively, and FIG. 3 It may be the first camera 312 or the second camera 314 of Also, the display to be described with reference to FIGS. 4 to 10 may be included in the display module 160 of FIG. 1 or the display 310 of FIG. 3 .
  • FIG. 4 is a flowchart 400 illustrating a method of providing a UI in an electronic device according to various embodiments of the present disclosure.
  • the electronic device may detect a distance between at least one camera and at least one first subject.
  • the electronic device may compare a preview image of at least one first subject collected by at least one camera with a stored reference image.
  • the electronic device may determine whether a photographing condition for at least one camera is satisfied based on at least one of a detected distance or a comparison result between the preview image and the reference image.
  • the electronic device may display a UI for instructing at least one camera on the display or output a message related to the UI as a voice.
  • one camera or a plurality of cameras may be used in the electronic device.
  • a UI providing method may include a UI providing method when one camera is used in an electronic device and a UI providing method when a plurality of cameras are used in the electronic device.
  • FIGS. 5 to 8 a method of providing a UI when one camera is used in an electronic device according to various embodiments will be described with reference to FIGS. 5 to 8 , and a case in which a plurality of cameras are used in the electronic device according to various embodiments of the present invention will be described below.
  • a UI providing method will be described with reference to FIGS. 9A to 10 .
  • a case in which one camera or a plurality of cameras are UDCs will be described as an example.
  • FIG. 5 is a flowchart 500 illustrating an example of a method of providing a UI in an electronic device including a UDC according to various embodiments.
  • the electronic device may determine the occurrence of a UDC execution event.
  • the UDC execution event is an event for the execution of the UDC, which is a user's action with respect to the electronic device (eg, a user holding the electronic device in a hand and lifting or tilting it), a touch input on the screen of the electronic device, and the user may be generated based on at least one of a voice input of , or an input of a physical key.
  • the electronic device may execute the UDC based on the generated UDC execution event and display a UI for instructing the executed UDC on the display.
  • the UI for indicating the executed UDC may be provided using at least one pixel among surrounding pixels of the display pixel area disposed at a position corresponding to the executed UDC.
  • at least one pixel may provide a UI by being activated for a set time or until a specific event occurs (eg, until a user completes shooting through UDC).
  • at least one pixel may provide a UI by periodically repeating an activation operation and a deactivation operation.
  • the activation operation of the at least one pixel may indicate an operation in which an electrical signal is input to the at least one pixel and the at least one pixel emits light (a pixel-on operation), and the deactivation operation of the at least one pixel is applied to the at least one pixel. It may represent an operation in which at least one pixel does not emit light (a pixel off operation) because no electrical signal is input.
  • the electronic device may measure a distance to the subject. For example, the electronic device measures the distance to the subject based on the time it takes for a signal (eg, an infrared signal or a laser signal) output from a sensor disposed below the display to be reflected by the subject and input to the sensor. can do.
  • the sensor may be, for example, an infrared sensor disposed at a different location from the UDC or a time-of-flight (TOF) sensor.
  • TOF time-of-flight
  • the electronic device instead of measuring the distance to the subject, the electronic device checks the size of the subject in the preview image collected by the UCD, and determines the distance corresponding to the confirmed size of the subject, which is stored in advance by the distance by size of the subject. can be identified based on information.
  • the electronic device may identify a focal length of the UDC.
  • UDC may support the function of fixed focus.
  • the fixed focus function may indicate a function of focusing on a subject photographed by the UDC when the distance between the UDC and the subject corresponds to a set distance, that is, a focal length.
  • the electronic device may determine whether the measured distance corresponds to the focal length of the UDC. If the measured distance does not correspond to the focal length of the UDC, in operation 512 , the electronic device may provide a UI for instructing the distance adjustment. In an embodiment, when the distance between the UDC and the subject is greater than or equal to the focal length, the electronic device may provide at least one of a voice message saying “reduce the distance from the camera a little more” or a UI on the display for instructing the UDC .
  • the UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the outermost pixel to the innermost pixel.
  • the electronic device may provide at least one of a voice message “Increase the distance from the camera a little more” or a UI on the display for instructing the UDC.
  • the UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the innermost pixel to the outermost pixel.
  • the electronic device determines that the subject is in focus, and provides a UI for instructing photographing in operation 514 .
  • the UI for instructing shooting may provide at least one of a voice message “Please start shooting” or a UI on the display for instructing the UDC.
  • the UI on the display for instructing shooting may be the same as or different from the UI provided in operation 504 .
  • the user can easily recognize the location of the UDC and focus based on the UI in the UDC where it is difficult to support the auto-focus function, so that a better quality image can be obtained. can be obtained
  • FIG. 6 is a flowchart 600 illustrating a method for an electronic device to generate a reference model for each category according to various embodiments of the present disclosure.
  • the electronic device may collect and store images.
  • the image collection and storage may refer to an operation of collecting an image through the executed UDC and storing the collected image based on a user's selection when the UDC is executed based on the occurrence of the UDC execution event. have.
  • the electronic device may classify images by category based on the image classification model.
  • the image classification model may be generated by training based on a data set including images stored in the electronic device (eg, images collected by UDC) and data labeled for each image. have.
  • the data labeled for each image may include the location where the image was taken (eg, indoor, outdoor, landmark, or local name), the time the image was taken (eg, morning, afternoon, or season), and the number of subjects included in the image. It may relate to at least one of a type (eg, a person, a food, a landscape, an animal, or an object), or the number of subjects included in the image.
  • the data labeled on each image may be input by the user or based on at least one of location information obtained from GPS, time information set during UCD shooting, or image analysis operation based on big data obtained from the Internet. have.
  • a category of each image may be determined based on data labeled for each image.
  • the category of each image may be related to at least one of an image capturing location, an image capturing time, a type of subject included in the image, or the number of subjects included in the image.
  • the electronic device may generate a reference image by learning composition information for each category.
  • the electronic device learns composition information for each category related to at least one of an image capturing location, an image capturing time, a type of a subject included in an image, or the number of subjects included in an image, and uses the most frequently used composition information for each category.
  • One of the images having the selected composition or the user's preferred images selected by the user for each category may be determined as the reference image.
  • the determined reference image may be used to provide a UI as shown in FIG. 7 .
  • FIG. 7 is a flowchart 700 illustrating another example of a method of providing a UI by an electronic device including a UDC according to various embodiments of the present disclosure.
  • the electronic device may determine the occurrence of a UDC execution event.
  • the UDC execution event is a user's action on the electronic device (eg, a user's hand holding the electronic device, lifting or tilting), a touch input on the screen of the electronic device, a user's voice input, or a physical key input. It may be generated based on at least one of
  • the electronic device may execute the UDC based on the generated UDC execution event and display a preview image.
  • the electronic device may identify a reference image related to the preview image.
  • the electronic device may identify a category for the preview image based on the image classification model, and identify a reference image corresponding to the identified category.
  • the category for the preview image may be identified, for example, based on at least one of location information obtained from GPS for the preview image, time information at which the preview image was acquired, or information about a subject included in the preview image.
  • the information on the subject included in the preview image may be obtained, for example, based on at least one of an image analysis operation based on big data obtained from the Internet, a face recognition technology, and an eye tracking technology.
  • the electronic device may compare the preview image with the reference image to determine the difference in composition of the subject.
  • the difference in the composition of the subject may indicate a difference between the composition of the subject included in the preview image and the composition of the subject included in the reference image.
  • the face angle may be detected based on the face recognition technology, and the gaze direction of the person may be detected based on the eye tracking technology.
  • the electronic device may provide a UI for instructing to change the shooting angle.
  • the subject is a human face
  • the composition of the face included in the preview image is tilted to the right compared to the composition of the face included in the reference image, and the gaze direction is upward, “tilting the head to the left
  • a voice message such as “Please look straight ahead” may be output.
  • the surrounding pixels of the display pixel area disposed at the position corresponding to the UDC periodically repeat the activation operation and the deactivation operation to additionally provide a UI in the form of a blinking of the UDC periphery.
  • the electronic device may measure a distance to the subject and identify a focal length of the UDC. According to an embodiment, when the determined difference in composition is less than a threshold value, the electronic device may provide a UI for instructing the user to take a picture instead of performing operation 714 .
  • the electronic device may determine whether the measured distance corresponds to the focal length of the UDC. When the distance to the subject does not correspond to the focal length of the UDC, the electronic device may provide a UI for instructing to adjust the distance in operation 718 .
  • the electronic device may provide at least one of a voice message saying “reduce the distance from the camera a little more” or a UI on the display for instructing the UDC .
  • the UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the outermost pixel to the innermost pixel.
  • the electronic device may provide at least one of a voice message “Increase the distance from the camera a little more” or a UI on the display for instructing the UDC.
  • the UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the innermost pixel to the outermost pixel.
  • the electronic device may provide a UI for instructing the user to photograph.
  • the UI for instructing shooting may provide at least one of a voice message “Please start shooting” or a UI on the display for instructing the UDC.
  • the UI on the display for instructing shooting may be the same as or different from the UI provided in operation 704 .
  • FIG. 8 is a diagram 800 illustrating a UI for instructing a UDC in an electronic device according to various embodiments of the present disclosure.
  • a display 807 may be disposed on the front surface of the electronic device 801 , and a UDC 805 may be disposed under the display 807 .
  • the UDC peripheral UI 803 may be provided in a form in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC 805 are activated.
  • the peripheral pixels may be changed in real time as a pixel-on operation and a pixel-off operation are repeatedly performed in order.
  • peripheral pixels may be activated by being pixel-on for a set time period or until a specific event occurs (eg, until a user completes shooting through UDC).
  • the UDC peripheral UI 803 is not limited to the above-described examples and may be changed in various forms.
  • 9A and 9B are flowcharts 900 illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments.
  • the electronic device may determine the occurrence of a UDC execution event.
  • the UDC execution event is a user's action on the electronic device (eg, a user's hand holding the electronic device, lifting or tilting), a touch input on the screen of the electronic device, a user's voice input, or a physical key input.
  • the electronic device may execute at least one of the plurality of UDCs based on the UDC execution event and display a first preview image.
  • the first preview image may be an image collected by at least one executed UDC.
  • the electronic device may identify a first reference image related to the first preview image.
  • the electronic device may identify a category for the first preview image based on the image classification model, and identify a first reference image corresponding to the identified category.
  • the electronic device may select at least one of the plurality of UDCs based on the first reference image.
  • the at least one UDC selected in operation 908 may be the same as or different from the at least one UDC executed in operation 904 .
  • the electronic device may select at least one of the plurality of UDCs based on at least one of a position or an angle of the subject in the first reference image. For example, when the first reference image is displayed on the display, the electronic device may select the UDC disposed under pixels located closest to the subject in the first reference image from among the plurality of UDCs.
  • the electronic device may select a UDC located in a direction toward which the person's gaze faces from among the plurality of UDCs based on the angle of the person's face.
  • a person's face angle detects facial landmarks (eg, eyes, nose, mouth, or ears) based on face recognition technology, and based on the relative size or position between the detected landmarks, the user turns the face
  • At least one of leaning, bowing, or tilting may be identified. For example, when the distance between two eyes detected from the face is shorter than a set value and the right eye is larger than the left eye, it may be identified that the face is turned to the left.
  • the electronic device may acquire a second preview image of at least one subject by using the selected at least one UDC.
  • the electronic device may identify a second reference image related to the second preview image. In operation 914 , the electronic device may determine whether to continue using the selected at least one UDC based on the identified second reference image.
  • the electronic device may determine whether to continue using the selected at least one UDC based on at least one of a position or an angle of the subject in the second reference image.
  • the electronic device may select at least one UDC in which at least one UDC disposed under pixels located closest to the subject in the second reference image from among the plurality of UDCs is selected. In response to , it may be determined to continue using the selected at least one UDC. When the at least one UDC disposed under pixels closest to the subject in the second reference image does not correspond to the selected at least one UDC, the electronic device may determine not to continue using the selected at least one UDC. .
  • the electronic device may determine to continue using the selected at least one UDC.
  • the electronic device may determine not to continue using the selected at least one UDC.
  • the electronic device re-performs operation 908 when it is determined not to continue using the selected at least one UDC, and performs operation 916 of FIG. 9B indicated by “A” when it is determined to continue using the selected at least one UDC. can be done
  • the electronic device compares the second preview image with the second reference image to determine the difference between the composition of the subject included in the second preview image and the composition of the subject included in the second reference image. can judge
  • the electronic device may provide a UI for instructing to change the shooting angle.
  • the electronic device may perform operation 920 and again perform operations 910 and lower in FIG. 9A indicated by “B”.
  • the electronic device may measure a distance to at least one subject and identify a focal length of the selected at least one UDC.
  • the electronic device may provide a UI for instructing the user to take a picture instead of performing operation 922 .
  • the electronic device may provide a UI for instructing to adjust the distance.
  • the electronic device may provide a UI for instructing the user to photograph.
  • an image of better quality may be obtained based on context conditions such as a distance or angle between each UDC and a subject. Users can be encouraged to use a specific UDC that allows
  • FIG. 10 is a diagram 1000 illustrating a UI for indicating an activated UDC among a plurality of UDCs in an electronic device according to various embodiments of the present disclosure.
  • a display 1007 may be disposed on the front surface of the electronic device 1001 , and a plurality of UDCs 1003 and 1007 may be disposed under the display 1007 . .
  • the preview image of the subject 1011 collected by the first UDC 1007 and the first UDC 1007 are performed.
  • a UDC peripheral UI 1005 for instructing the execution of may be displayed on the display 1009 .
  • the UDC peripheral UI 1005 may be provided in a form in which peripheral pixels of a display pixel area disposed at a position corresponding to the first UDC 1007 are activated.
  • the peripheral pixels may be changed in real time as a pixel-on operation and a pixel-off operation are repeatedly performed in order.
  • peripheral pixels may be activated by being pixel-on for a set time period or until a specific event occurs (eg, until a user completes shooting through UDC).
  • the UDC peripheral UI 1005 is not limited to the above-described examples and may be changed in various forms.
  • the remaining UDCs other than the first UDC 1007 among the plurality of UDCs 1003 and 1005, for example, the second UDC 1003 are not executed while the first UDC 1007 is being executed.
  • pixels in the display pixel area disposed at positions corresponding to the second UDC 1003 may be activated to display a preview image of the subject 1011 collected by the first UDC 1007 .
  • a method of providing a user interface (UI) in an electronic device may include detecting a distance between at least one camera disposed under a display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and performing at least one of displaying a first UI for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied.
  • UI user interface
  • the detecting of the distance includes: distance information for each size of the subject in the image stored in the memory, and a signal output from a sensor disposed under the display is reflected by the at least one subject to the sensor Based on at least one of the time taken until input or disparity information of the stereoscopic images of the at least one subject acquired by the plurality of cameras when the at least one camera is plural, the at least one camera and detecting a distance between the at least one first subject.
  • the method may further include performing at least one of outputting a UI as the voice message.
  • the at least Displaying a third UI on the display for instructing to change the shooting angle of the at least one camera so that the composition of one first subject corresponds to the composition of the at least one second object or the third UI may further include performing at least one of outputting the voice message.
  • the determining whether the shooting condition is satisfied may include determining whether the detected distance corresponds to a focal length set for the at least one camera, and a comparison result of the preview image and the reference image, the preview and determining that a shooting condition for the at least one camera is satisfied when the composition of the at least one first subject in the image corresponds to the second composition of the at least one subject in the reference image .
  • the shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural, at least one of a position or a gaze direction of the at least one first subject in the preview image is detected selecting at least one camera for collecting an image of the at least one first object from among a plurality of cameras based on at least one of the detected position and the gaze direction, and the selected at least one
  • the method may further include performing at least one of displaying a fourth UI for instructing a camera on the display or outputting the fourth UI as the voice message.
  • the method may further include analyzing an image having the most frequently used composition information by analyzing and storing the identified image as the reference image.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a storage medium eg, internal memory 136 or external memory 138
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is different from the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)

Abstract

An electronic device, according to various embodiments, comprises: a memory; a display; a sound output unit; at least one camera disposed under the display; and at least one processor operatively coupled to the memory, the display, and the at least one camera, wherein the at least one processor may be configured to: detect a distance between the at least one camera and the at least one first object; compare a preview image for the at least one first subject collected by the at least one camera with a reference image stored in the memory; determine whether a photographing condition for the at least one camera is satisfied, on the basis of at least one of the detected distance or the comparison result of the preview image and the reference image; and, when the photographing condition is satisfied, provide, through one of the display and the sound output unit, a user interface (UI) for instructing photographing through the at least one camera. Other embodiments may be possible.

Description

사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체Method, apparatus and storage medium for providing a user interface
다양한 실시예들은 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체에 관한 것이다.Various embodiments relate to a method, apparatus and storage medium for providing a user interface.
스마트 폰 또는 태블릿 단말과 같은 전자 장치에는 일반적으로 셀프 카메라 촬영 또는 화상 통화 기능을 제공하기 위해 디스플레이가 있는 전자 장치의 전면에 카메라가 배치될 수 있다.In general, in an electronic device such as a smart phone or a tablet terminal, a camera may be disposed in front of an electronic device having a display in order to provide a function of taking a selfie or a video call.
전자 장치의 전면 상단에 배치되던 카메라는 화면 크기 효율화와 시각적인 몰입 경험을 높이기 위해 디스플레이 하부에 배치되는 형태로 발전해가고 있다. 예를 들어, 전자 장치에서 카메라가 보이지 않도록 디스플레이 하부에 카메라를 배치하여 몰입 경험을 극대화할 수 있는 언더 디스플레이 카메라(under display camera: UDC)가 제시되고 있다. The camera, which was placed on the top of the front of the electronic device, is evolving to be placed under the display in order to increase screen size efficiency and a visual immersion experience. For example, an under display camera (UDC) capable of maximizing an immersive experience by disposing a camera under a display so that the camera is not visible in an electronic device has been proposed.
UDC는 실행시 디스플레이 화면 상에 보일 수 있고, 실행되지 않을 때에는 디스플레이 화면 상에 보이지 않음으로써 풀 디스플레이의 구현을 가능하게 할 수 있다. The UDC may be visible on the display screen when running, and not visible on the display screen when not running, thereby enabling the realization of a full display.
디스플레이 하부에 배치된 UDC의 위치는 사용자의 눈에 잘 띄지 않기 때문에, UDC의 사용이 필요한 상황에서 UDC의 위치를 사용자에게 제공할 수 있도록 하는 방안이 요구될 수 있다.Since the location of the UDC disposed under the display is inconspicuous to the user, a method for providing the location of the UDC to the user in a situation where the use of the UDC is required may be required.
UDC는 디스플레이 상에 카메라 센서를 최대한 감춰야 하는 특성상 디스플레이에 노출되는 카메라 센서의 크기에 제한을 가질 수 있다. 이에 따라, UDC에서는 제약된 카메라 센서의 크기에 의해 자동 초점(auto focus)의 기능을 구현하는 것이 어려울 수 있다. The UDC may have a limit on the size of the camera sensor exposed on the display due to the nature of hiding the camera sensor on the display as much as possible. Accordingly, in UDC, it may be difficult to implement an auto focus function due to the limited size of the camera sensor.
자동 초점의 기능은 기존의 홀 펀칭(hole-punching) 타입의 카메라에서도 구현되기가 어려울 수 있다. 따라서, 전자 장치의 전면에 배치된 일반적인 카메라들은 통상적으로 고정 초점(fixed focus)의 기능을 구현할 수 있다. 고정 초점의 기능을 갖는 UDC를 사용할 경우, 사용자에 의해 UDC와 피사체 간의 거리가 초점 거리에 대응할 때까지 조절되어야 할 필요가 있다. 하지만 사용자는 초점 거리를 명확히 알 수 없으므로 UDC와 피사체 간의 거리를 조절하기 위한 불편함을 가질 수 있다. The auto focus function may be difficult to implement even in a conventional hole-punching type camera. Accordingly, general cameras disposed on the front of the electronic device may typically implement a fixed focus function. When a UDC having a fixed focus function is used, the distance between the UDC and the subject needs to be adjusted by the user until the distance corresponds to the focal length. However, since the user cannot clearly know the focal length, it may be inconvenient to adjust the distance between the UDC and the subject.
다양한 실시예들에 따르면, 전자 장치에서 사용자 인터페이스(user interface: UI)를 제공하기 위한 방법, 장치 및 저장 매체를 제공할 수 있다. According to various embodiments, a method, an apparatus, and a storage medium for providing a user interface (UI) in an electronic device may be provided.
다양한 실시예들에 따르면, 전자 장치는 사용자가 UDC의 위치를 인지할 수 있도록 하는 UI를 제공할 수 있다. According to various embodiments, the electronic device may provide a UI that allows the user to recognize the location of the UDC.
다양한 실시예들에 따르면, 전자 장치는 복수의 UDC들이 이용되는 환경에서, 복수의 UDC들 중 사용해야 하는 적어도 하나의 UDC의 위치를 사용자가 인지할 수 있도록 하는 UI를 제공할 수 있다. According to various embodiments, the electronic device may provide a UI enabling the user to recognize the location of at least one UDC to be used among the plurality of UDCs in an environment in which a plurality of UDCs are used.
다양한 실시예들에 따르면, 전자 장치는 UDC와 피사체 간의 거리가 UDC의 초점 거리에 대응할 수 있도록 거리 조절을 유도하는 UI를 제공함으로써 자동 초점 기능을 사용하지 않고도 이상적인 촬영 결과를 제공할 수 있다. According to various embodiments, the electronic device may provide an ideal photographing result without using the auto focus function by providing a UI for inducing distance adjustment so that the distance between the UDC and the subject corresponds to the focal length of the UDC.
다양한 실시예들에 따르면, 전자 장치는 학습된 기준 모델을 기반으로 피사체의 구도를 안정감 있고 명확히 설정할 수 있도록 하는 UI를 제공할 수 있다. According to various embodiments, the electronic device may provide a UI for stably and clearly setting the composition of the subject based on the learned reference model.
다양한 실시예들에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시의 다양한 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Technical problems to be achieved in various embodiments are not limited to the technical problems mentioned above, and other technical problems not mentioned are those of ordinary skill in the art to which various embodiments of the present disclosure belong from the description below. can be clearly understood by
다양한 실시예들에 따르면, 전자 장치는, 메모리; 디스플레이; 음향 출력부; 상기 디스플레이의 하부에 배치된 적어도 하나의 카메라; 및 상기 메모리, 상기 디스플레이, 및 상기 적어도 하나의 카메라와 작동적으로 연결된 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하고, 상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 상기 메모리에 저장된 기준 이미지를 비교하고, 상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하고, 상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 사용자 인터페이스(user interface: UI)를 상기 디스플레이 또는 상기 음향 출력부 중 하나를 통해 제공하도록 설정될 수 있다. According to various embodiments, an electronic device may include a memory; display; sound output unit; at least one camera disposed under the display; and at least one processor operatively coupled to the memory, the display, and the at least one camera, wherein the at least one processor detects a distance between the at least one camera and the at least one first object; , compares the preview image of the at least one first subject collected by the at least one camera with a reference image stored in the memory, and at least one of the detected distance or a comparison result of the preview image and the reference image Based on , it is determined whether a shooting condition for the at least one camera is satisfied, and when the shooting condition is satisfied, a user interface (UI) for instructing shooting through the at least one camera is displayed. It may be set to provide through one of the display or the sound output unit.
다양한 실시예들에 따르면, 전자 장치에서 사용자 인터페이스(user interface: UI)를 제공하는 방법은, 디스플레이의 하부에 배치된 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작; 상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 미리 저장된 기준 이미지를 비교하는 동작; 상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하는 동작; 및 상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 제 1 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 1 UI를 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 포함할 수 있다. According to various embodiments, a method of providing a user interface (UI) in an electronic device may include detecting a distance between at least one camera disposed under a display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and performing at least one of displaying a first UI for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied. may include
다양한 실시예들에 따르면, 명령들을 저장하고 있는 비일시적 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 디스플레이의 하부에 배치된 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작; 상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 미리 저장된 기준 이미지를 비교하는 동작; 상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하는 동작; 및 상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 제 1 사용자 인터페이스(user interface: UI)를 상기 디스플레이에 표시하는 동작 또는 상기 제 1 UI를 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 포함할 수 있다. According to various embodiments, in a non-transitory storage medium storing instructions, the instructions are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor, wherein the at least one The operation may include: detecting a distance between at least one camera disposed under the display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and displaying a first user interface (UI) for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied It may include an operation of performing at least one.
다양한 실시예들에 따르면, 전자 장치는 UI를 통해 사용자에게 UDC의 위치를 명확히 지시할 수 있다. According to various embodiments, the electronic device may clearly indicate the location of the UDC to the user through the UI.
다양한 실시예들에 따르면, 전자 장치는 복수의 UDC들 중 사용해야 하는 적어도 하나의 UDC의 위치를 UI를 통해 사용자에게 지시할 수 있다. According to various embodiments, the electronic device may indicate the location of at least one UDC to be used among the plurality of UDCs to the user through the UI.
다양한 실시예들에 따르면, 전자 장치는 UI를 통해 UDC와 피사체 간의 거리가 UDC의 초점 거리에 대응될 수 있도록 함으로써 명확한 초점을 갖는 이미지를 사용자에게 제공할 수 있다. According to various embodiments, the electronic device may provide an image having a clear focus to the user by allowing the distance between the UDC and the subject to correspond to the focal length of the UDC through the UI.
다양한 실시예들에 따르면, 전자 장치는 UI를 통해 안정감 있는 구도의 이미지를 사용자에게 제공할 수 있다. According to various embodiments, the electronic device may provide an image of a stable composition to the user through the UI.
다양한 실시예들에 따르면, UDC 및 동적인 UI의 사용을 기반으로 전자 장치와 사용자 간의 적절한 상호 작용과 그에 따른 사용자 경험(user experience:　UX)을 제공할 수 있어, 전자 장치의 사용에 대한 사용자의 만족도와 편의를 높일 수 있다. According to various embodiments, it is possible to provide an appropriate interaction between the electronic device and the user based on the use of the UDC and the dynamic UI and a user experience (user experience: UX) according thereto, so that the user's Satisfaction and convenience can be increased.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure;
도 2는 다양한 실시예들에 따른 카메라 모듈을 예시하는 블록도이다.2 is a block diagram illustrating a camera module according to various embodiments.
도 3은 다양한 실시예들에 따른 전자 장치의 블록도이다.3 is a block diagram of an electronic device according to various embodiments of the present disclosure;
도 4는 다양한 실시예들에 따른 전자 장치에서 UI를 제공하는 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a method of providing a UI in an electronic device according to various embodiments of the present disclosure;
도 5는 다양한 실시예들에 따른 UDC를 포함하는 전자 장치에서 UI를 제공하는 방법의 일 예를 나타낸 흐름도이다.5 is a flowchart illustrating an example of a method of providing a UI in an electronic device including a UDC according to various embodiments of the present disclosure.
도 6은 다양한 실시예들에 따른 전자 장치가 카테고리 별 기준 모델을 생성하는 방법을 나타낸 흐름도이다.6 is a flowchart illustrating a method of generating, by an electronic device, a reference model for each category, according to various embodiments of the present disclosure;
도 7은 다양한 실시예들에 따른 UDC를 포함하는 전자 장치가 UI를 제공하는 방법의 다른 예를 나타낸 흐름도이다.7 is a flowchart illustrating another example of a method of providing a UI by an electronic device including a UDC according to various embodiments of the present disclosure.
도 8은 다양한 실시예들에 따른 전자 장치에서 UDC를 지시하기 위한 UI를 예시한 도면이다.8 is a diagram illustrating a UI for instructing a UDC in an electronic device according to various embodiments of the present disclosure;
도 9a는 다양한 실시예들에 따른 복수의 UDC들을 포함하는 전자 장치에서 UI를 제공하는 방법의 일 예를 나타낸 흐름도이다.9A is a flowchart illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments of the present disclosure;
도 9b는 다양한 실시예들에 따른 복수의 UDC들을 포함하는 전자 장치에서 UI를 제공하는 방법의 일 예를 나타낸 흐름도이다.9B is a flowchart illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments of the present disclosure;
도 10은 다양한 실시예들에 따른 전자 장치에서 복수의 UDC들 중 활성화된 UDC를 지시하기 위한 UI를 예시한 도면이다.10 is a diagram illustrating a UI for indicating an activated UDC among a plurality of UDCs in an electronic device according to various embodiments of the present disclosure;
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure. Referring to FIG. 1 , in a network environment 100 , an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with at least one of the electronic device 104 and the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 . According to an embodiment, the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 . In some embodiments, at least one of these components (eg, the connection terminal 178 ) may be omitted or one or more other components may be added to the electronic device 101 . In some embodiments, some of these components (eg, sensor module 176 , camera module 180 , or antenna module 197 ) are integrated into one component (eg, display module 160 ). can be
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.The processor 120, for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 . According to an embodiment, the processor 120 is a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor). For example, when the electronic device 101 includes the main processor 121 and the sub-processor 123 , the sub-processor 123 uses less power than the main processor 121 or is set to be specialized for a specified function. can The auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.The secondary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or when the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have. According to an embodiment, the auxiliary processor 123 (eg, a neural network processing unit) may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108). The learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited The artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example. The artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. The memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 . The data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto. The memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다. The program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다. The input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 . The input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.The sound output module 155 may output a sound signal to the outside of the electronic device 101 . The sound output module 155 may include, for example, a speaker or a receiver. The speaker can be used for general purposes such as multimedia playback or recording playback. The receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. The display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 . The display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device. According to an embodiment, the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.The audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . The electronic device 102) (eg, a speaker or headphones) may output a sound.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다. The sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do. According to an embodiment, the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.The interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ). According to an embodiment, the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.The connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ). According to an embodiment, the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.The haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense. According to an embodiment, the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.The camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.The power management module 188 may manage power supplied to the electronic device 101 . According to an embodiment, the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.The battery 189 may supply power to at least one component of the electronic device 101 . According to one embodiment, battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다. The communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel. The communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication. According to one embodiment, the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module). A corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN). These various types of communication modules may be integrated into one component (eg, a single chip) or may be implemented as a plurality of components (eg, multiple chips) separate from each other. The wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 . The electronic device 101 may be identified or authenticated.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.The wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR). NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)). The wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example. The wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna. The wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ). According to an embodiment, the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다. The antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device). According to an embodiment, the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern. According to an embodiment, the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna. According to some embodiments, other components (eg, a radio frequency integrated circuit (RFIC)) other than the radiator may be additionally formed as a part of the antenna module 197 .
다양한 실시예들에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.According to various embodiments, the antenna module 197 may form a mmWave antenna module. According to one embodiment, the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.At least some of the components are connected to each other through a communication method between peripheral devices (eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)) and a signal ( e.g. commands or data) can be exchanged with each other.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다. According to an embodiment, the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 . Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 . According to an embodiment, all or part of the operations performed by the electronic device 101 may be executed by one or more external electronic devices 102 , 104 , or 108 . For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or other device, the electronic device 101 may perform the function or service itself instead of executing the function or service itself. Alternatively or additionally, one or more external electronic devices may be requested to perform at least a part of the function or the service. One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 . The electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request. For this purpose, for example, cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used. The electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing. In another embodiment, the external electronic device 104 may include an Internet of things (IoT) device. The server 108 may be an intelligent server using machine learning and/or neural networks. According to an embodiment, the external electronic device 104 or the server 108 may be included in the second network 199 . The electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
도 2는 다양한 실시예들에 따른 카메라 모듈(201)(예: 도 1의 카메라 모듈(180))을 예시하는 블록도(200)이다. 도 2를 참조하면, 카메라 모듈(201)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(image signal processor: ISP, 260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 광을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 다양한 실시예들에 따르면, 카메라 모듈(201)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(201)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다. 2 is a block diagram 200 illustrating a camera module 201 (eg, the camera module 180 of FIG. 1 ) according to various embodiments. Referring to FIG. 2 , the camera module 201 includes a lens assembly 210 , a flash 220 , an image sensor 230 , an image stabilizer 240 , a memory 250 (eg, a buffer memory), or an image signal processor. (image signal processor: ISP, 260) may be included. The lens assembly 210 may collect light emitted from a subject, which is an image to be captured. The lens assembly 210 may include one or more lenses. According to various embodiments, the camera module 201 may include a plurality of lens assemblies 210 . In this case, the camera module 201 may form, for example, a dual camera, a 360 degree camera, or a spherical camera. Some of the plurality of lens assemblies 210 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties that are different from the lens properties of . The lens assembly 210 may include, for example, a wide-angle lens or a telephoto lens.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 광을 강화하기 위하여 사용되는 광을 방출할 수 있다. 다양한 실시예들에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 광을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 다양한 실시예들에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.The flash 220 may emit light used to enhance light emitted or reflected from the subject. According to various embodiments, the flash 220 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp. The image sensor 230 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 210 into an electrical signal. According to various embodiments, the image sensor 230 may include, for example, one image sensor selected from image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor; It may include a plurality of image sensors having the same property or a plurality of image sensors having different properties. Each image sensor included in the image sensor 230 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
이미지 스태빌라이저(240)는 카메라 모듈(201) 또는 이를 포함하는 전자 장치(201)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 다양한 실시예들에 따르면, 이미지 스태빌라이저(240)는, 카메라 모듈(201)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(201) 또는 전자 장치(201)의 그런 움직임을 감지할 수 있다. 다양한 실시예들에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 다양한 실시예들에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.In response to the movement of the camera module 201 or the electronic device 201 including the same, the image stabilizer 240 moves at least one lens or the image sensor 230 included in the lens assembly 210 in a specific direction or Operation characteristics of the image sensor 230 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken. According to various embodiments, the image stabilizer 240 uses a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 201 to the camera module 201 or electronic device. (201) can detect such a movement. According to various embodiments, the image stabilizer 240 may be implemented as, for example, an optical image stabilizer. The memory 250 may temporarily store at least a portion of the image acquired through the image sensor 230 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, a Bayer-patterned image or a high-resolution image) is stored in the memory 250 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display module 160 . Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a portion of the original image stored in the memory 250 may be obtained and processed by, for example, the image signal processor 260 . According to various embodiments, the memory 250 may be configured as at least a part of the memory 130 or as a separate memory operated independently of the memory 130 .
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(201)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장되거나 카메라 모듈(201)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 다양한 실시예들에 따르면, 이미지 시그널 프로세서(260)가 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(260)를 통해 표시될 수 있다. The image signal processor 260 may perform one or more image processing on an image acquired through the image sensor 230 or an image stored in the memory 250 . The one or more image processes may include, for example, depth map generation, three-dimensional modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring, sharpening, or softening. Additionally or alternatively, the image signal processor 260 may include at least one of the components included in the camera module 201 (eg, an image sensor). 230), for example, exposure time control, readout timing control, etc. The image processed by the image signal processor 260 is stored back in the memory 250 for further processing. or may be provided as an external component of the camera module 201 (eg, the memory 130, the display module 160, the electronic device 102, the electronic device 104, or the server 108). According to examples, the image signal processor 260 may be configured as at least a part of the processor 120 or may be configured as a separate processor operated independently of the processor 120. The image signal processor 260 may be configured as the processor 120 ) and a separate processor, at least one image processed by the image signal processor 260 may be displayed through the display device 260 as it is by the processor 120 or after additional image processing. .
다양한 실시예들에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(201)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(201)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(201)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.According to various embodiments, the electronic device 101 may include a plurality of camera modules 201 each having different properties or functions. In this case, for example, at least one of the plurality of camera modules 201 may be a wide-angle camera, and at least the other may be a telephoto camera. Similarly, at least one of the plurality of camera modules 201 may be a front camera, and at least the other may be a rear camera.
도 3은 다양한 실시예들에 따른 전자 장치의 블록도(300)이다.3 is a block diagram 300 of an electronic device according to various embodiments.
도 3을 참조하면, 전자 장치(301)는 디스플레이(310), 제 1 카메라(312), 제 2 카메라(314), 메모리(320), 음향 출력부(330), 및 프로세서(340)를 포함할 수 있다. Referring to FIG. 3 , the electronic device 301 includes a display 310 , a first camera 312 , a second camera 314 , a memory 320 , a sound output unit 330 , and a processor 340 . can do.
다양한 실시예들에 따르면, 전자 장치(301)는 도 3에 도시된 구성들에 국한되지 않고, 더 많은 구성들을 포함하거나 더 적은 구성들을 포함하도록 구현될 수도 있다. 예를 들어, 전자 장치(301)는 도 1 또는 도 2에서 상술한 구성들을 더 포함하도록 구현될 수 있다. 다양한 실시예들에 따른 전자 장치(301)는 도 1의 전자 장치(101) 또는 후술될 전자 장치일 수 있다.According to various embodiments, the electronic device 301 is not limited to the configurations illustrated in FIG. 3 , and may be implemented to include more or fewer configurations. For example, the electronic device 301 may be implemented to further include the components described above with reference to FIG. 1 or FIG. 2 . The electronic device 301 according to various embodiments may be the electronic device 101 of FIG. 1 or an electronic device to be described later.
일 실시예에서, 디스플레이(310)는 프로세서(340)에 의해 생성된 정보, 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나에 의해 수집된 이미지, 또는 사용자에게 제공할 메시지 중 적어도 하나를 표시할 수 있다. 디스플레이(310)가 표시하는 정보는 전술한 예시에 제한되지 않는다. In one embodiment, display 310 displays at least one of information generated by processor 340 , images collected by at least one of first camera 312 or second camera 314 , or a message to provide to a user. one can be displayed. The information displayed by the display 310 is not limited to the above-described example.
일 실시예에서, 디스플레이(310)는 수동 매트릭스(passive matrix) 구동 방식 또는 능동 매트릭스(active matrix) 구동 방식 중 적어도 하나를 기반으로 디스플레이(310) 상의 픽셀들을 제어하여 디스플레이 동작을 수행할 수 있다. 일 실시예에서, 디스플레이(310)는 제 1 카메라(312)에 대응하는 위치에 배치된 제 1 픽셀 영역 또는 제 2 카메라(314)에 대응하는 위치에 배치된 제 2 픽셀 영역을 포함할 수 있다. 제 1 픽셀 영역에 포함된 적어도 하나의 픽셀은 제 1 카메라(312)가 실행되는 경우 비활성화될 수 있고, 제 1 카메라(312)가 실행되지 않는 경우 디스플레이를 위해 활성화될 수 있다. 제 2 픽셀 영역에 포함된 적어도 하나의 픽셀은 제 2 카메라(314)가 실행되는 경우 비활성화될 수 있고, 제 2 카메라(312)가 실행되지 않는 경우 디스플레이를 위해 활성화될 수 있다. 디스플레이(310)는 도 1의 디스플레이 모듈(160)에 포함될 수 있다.In an embodiment, the display 310 may perform a display operation by controlling pixels on the display 310 based on at least one of a passive matrix driving method or an active matrix driving method. In one embodiment, the display 310 may include a first pixel area disposed at a location corresponding to the first camera 312 or a second pixel area disposed at a location corresponding to the second camera 314 . . At least one pixel included in the first pixel area may be deactivated when the first camera 312 is executed, and may be activated for display when the first camera 312 is not executed. At least one pixel included in the second pixel area may be deactivated when the second camera 314 is executed, and may be activated for display when the second camera 312 is not executed. The display 310 may be included in the display module 160 of FIG. 1 .
일 실시예에서, 제 1 카메라(312) 및 제 2 카메라(314)는 디스플레이(310)의 하부에 배치된 UDC들일 수 있다. 일 실시예에서, 제 1 카메라(312) 및 제 2 카메라(314)는 다른 위치에 배치될 수 있다. In one embodiment, the first camera 312 and the second camera 314 may be UDCs disposed under the display 310 . In one embodiment, the first camera 312 and the second camera 314 may be disposed at different locations.
일 예로, 제 1 카메라(312)는 디스플레이(310)를 정면으로 볼 때 디스플레이(310)의 상단에 배치될 수 있고, 제 2 카메라(314)는 디스플레이(310)의 하단에 배치될 수 있다. 디스플레이(310)의 상단은 음향 출력부(330)(또는 마이크)에 상대적으로 가까운 단부를 지칭하고, 디스플레이(310)의 하단은 음향 출력부(330)(또는 마이크)에 상대적으로 먼 단부를 지칭할 수 있다. For example, the first camera 312 may be disposed on the top of the display 310 when the display 310 is viewed from the front, and the second camera 314 may be disposed on the bottom of the display 310 . The upper end of the display 310 refers to an end relatively close to the sound output unit 330 (or microphone), and the lower end of the display 310 refers to an end relatively far to the sound output unit 330 (or microphone). can do.
다른 예로, 제 1 카메라(312)는 디스플레이(310)를 정면으로 볼 때 디스플레이(310)의 우측에 배치될 수 있고, 제 2 카메라(314)는 디스플레이(310)의 좌측에 배치될 수 있다. 제 1 카메라(312)와 제 2 카메라(314)의 위치는 전술한 예시에 한정되지 않고 다양하게 변경될 수 있다. As another example, the first camera 312 may be disposed on the right side of the display 310 when the display 310 is viewed from the front, and the second camera 314 may be disposed on the left side of the display 310 . The positions of the first camera 312 and the second camera 314 are not limited to the above-described examples and may be variously changed.
일 실시예에 따라, 도 3에서는 두 개의 카메라들(예: 제 1 카메라(312) 및 제 2 카메라(314))이 전자 장치(301)에 포함됨을 도시하였으나, 전자 장치(301)에는 하나의 카메라 또는 두 개 보다 많은 개수의 카메라들이 포함될 수도 있다.According to an embodiment, although two cameras (eg, the first camera 312 and the second camera 314 ) are included in the electronic device 301 in FIG. 3 , the electronic device 301 includes only one camera. A camera or more than two cameras may be included.
일 실시예에서, 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나는 도 1의 카메라 모듈(180) 또는 도 2의 카메라 모듈(201)에 포함될 수 있다. In an embodiment, at least one of the first camera 312 and the second camera 314 may be included in the camera module 180 of FIG. 1 or the camera module 201 of FIG. 2 .
일 실시예에서, 메모리(320)는 프로세서(340)에 의해 생성된 정보, 얼굴 인증 동작을 위한 정보, 명령, 및/또는 지시자를 저장할 수 있다. 메모리(320)는 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나에 의해 수집된 이미지를 저장할 수 있다. In an embodiment, the memory 320 may store information generated by the processor 340 , information for a face authentication operation, a command, and/or an indicator. The memory 320 may store an image collected by at least one of the first camera 312 and the second camera 314 .
일 실시예에서, 메모리(320)는 이미지 분류 모델을 기반으로, 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나에 의해 수집된 이미지를 카테고리 별로 저장할 수 있다. 일 실시예에서, 카테고리는 이미지 촬영 장소(예: 실내, 실외, 랜드마크, 또는 지역명), 이미지 촬영 시간(예: 오전, 오후, 또는 계절), 이미지에 포함된 피사체의 타입(예: 인물, 음식, 풍경, 동물, 또는 사물), 또는 이미지에 포함된 피사체의 수 중 적어도 하나와 관련된 것일 수 있다. In an embodiment, the memory 320 may store images collected by at least one of the first camera 312 and the second camera 314 for each category based on the image classification model. In one embodiment, a category may include a location where the image was taken (eg, indoor, outdoor, landmark, or local name), the time the image was taken (eg, morning, afternoon, or season), and the type of subject included in the image (eg, people). , food, landscape, animal, or object), or the number of subjects included in the image.
일 실시예에서, 메모리(320)는 카테고리 별로 가장 빈번히 사용된 구도를 갖는 이미지 또는 카테고리 별로 사용자가 선택한 사용자 선호 이미지 중 하나를 기준 이미지로서 저장할 수 있다. In an embodiment, the memory 320 may store one of an image having a composition most frequently used for each category or a user preferred image selected by a user for each category as a reference image.
일 실시예에서, 메모리(320)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있고, 도 1의 메모리(130)에 포함될 수 있다.In one embodiment, the memory 320 may include a volatile memory or a non-volatile memory, and may be included in the memory 130 of FIG. 1 .
일 실시예에서, 음향 출력부(330)는 사용자 인터페이스(user interface: UI)와 관련된 메시지를 음성으로 출력할 수 있다. 예를 들어, 음향 출력부(330)는 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나를 지시하기 위한 음성 메시지, 제 1 카메라(312) 또는 제 2 카메라(314)와 피사체 간의 거리를 조절하기 위한 음성 메시지, 또는 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나를 통한 촬영을 지시하기 위한 음성 메시지 중 적어도 하나를 전자 장치(301)의 외부로 출력할 수 있다. In an embodiment, the sound output unit 330 may output a message related to a user interface (UI) by voice. For example, the sound output unit 330 may include a voice message for instructing at least one of the first camera 312 or the second camera 314, or between the first camera 312 or the second camera 314 and the subject. At least one of a voice message for adjusting the distance or a voice message for instructing shooting through at least one of the first camera 312 and the second camera 314 may be output to the outside of the electronic device 301 . .
일 실시예에서, 음향 출력부(330)는 도 1의 음향 출력 모듈(155)에 포함될 수 있다. In an embodiment, the sound output unit 330 may be included in the sound output module 155 of FIG. 1 .
일 실시예에서, 프로세서(340)는 디스플레이(310), 제 1 카메라(312), 제 2 카메라(314), 및 메모리(320)를 제어하여, 제 1 카메라(312) 또는 제 2 카메라(314) 중 적어도 하나와 관련된 UI를 디스플레이(310) 또는 음향 출력부(330) 중 적어도 하나를 통해 제공할 수 있다. 일 실시예에서, 프로세서(340)는 후술될 다양한 실시예들에 따른 전자 장치에서 수행되는 동작들을 수행할 수 있다. In one embodiment, the processor 340 controls the display 310 , the first camera 312 , the second camera 314 , and the memory 320 to control the first camera 312 or the second camera 314 . ) may be provided through at least one of the display 310 and the sound output unit 330 . In an embodiment, the processor 340 may perform operations performed in an electronic device according to various embodiments to be described later.
일 실시예에서, 프로세서(340)는 하나 이상의 프로세서들을 포함할 수 있고, 도 1의 프로세서(120)에 포함될 수 있다. In one embodiment, the processor 340 may include one or more processors and may be included in the processor 120 of FIG. 1 .
다양한 실시예들에 따르면, 전자 장치는, 메모리; 디스플레이; 음향 출력부; 상기 디스플레이의 하부에 배치된 적어도 하나의 카메라; 및 상기 메모리, 상기 디스플레이, 및 상기 적어도 하나의 카메라와 작동적으로 연결된 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하고, 상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 상기 메모리에 저장된 기준 이미지를 비교하고, 상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하고, 상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 사용자 인터페이스(user interface: UI)를 상기 디스플레이 또는 상기 음향 출력부 중 하나를 통해 제공하도록 설정될 수 있다. According to various embodiments, an electronic device may include a memory; display; sound output unit; at least one camera disposed under the display; and at least one processor operatively coupled to the memory, the display, and the at least one camera, wherein the at least one processor detects a distance between the at least one camera and the at least one first object; , compares the preview image of the at least one first subject collected by the at least one camera with a reference image stored in the memory, and at least one of the detected distance or a comparison result of the preview image and the reference image Based on , it is determined whether a shooting condition for the at least one camera is satisfied, and when the shooting condition is satisfied, a user interface (UI) for instructing shooting through the at least one camera is displayed. It may be set to provide through one of the display or the sound output unit.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 이미지 내 피사체의 크기 별 거리 정보, 상기 디스플레이의 하부에 배치된 센서로부터 출력된 신호가 상기 적어도 하나의 피사체에 반사되어 상기 센서로 입력될 때까지 소요된 시간, 또는 상기 적어도 하나의 카메라가 복수개인 경우 복수개의 카메라들에 의해 획득된 상기 적어도 하나의 피사체의 스테레오스코픽 이미지들의 시차 정보 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 검출하도록 설정될 수 있다. In an embodiment, the at least one processor may include distance information for each size of a subject in the image stored in the memory, and a signal output from a sensor disposed under the display reflected by the at least one subject and input to the sensor. The at least one camera and It may be set to detect a distance between the at least one first subject.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하는지 판단하고, 상기 검출된 거리가 상기 초점 거리에 대응하지 않는 경우, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 조절할 것을 지시하기 위한 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정될 수 있다. In an embodiment, the at least one processor determines whether the detected distance corresponds to a focal length set for the at least one camera, and if the detected distance does not correspond to the focal length, the at least one It may be set to provide a UI for instructing to adjust the distance between the camera and the at least one first subject through at least one of the display and the sound output unit.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 제 2 피사체의 구도에 대응하지 않는 경우, 상기 적어도 하나의 제 1 피사체의 구도가 상기 적어도 하나의 제 2 피사체의 구도에 대응하도록 상기 적어도 하나의 카메라의 촬영 각도를 변경할 것을 지시하는 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정될 수 있다. In an embodiment, the at least one processor is configured to: As a result of comparing the preview image and the reference image, the composition of the at least one first object in the preview image is determined to be the composition of the at least one second object in the reference image. If not, a UI instructing to change the shooting angle of the at least one camera so that the composition of the at least one first object corresponds to the composition of the at least one second object is displayed on the display or the sound output unit It may be set to provide through at least one.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하고, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 피사체의 제 2 구도에 대응하는 경우, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족된 것으로 판단하도록 설정될 수 있다. In an embodiment, the at least one processor is configured to: determine that the detected distance corresponds to a focal length set for the at least one camera, and, as a result of comparing the preview image and the reference image, the at least one in the preview image When the composition of the first subject corresponds to the second composition of the at least one subject in the reference image, it may be set to determine that a photographing condition for the at least one camera is satisfied.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되고 상기 적어도 하나의 카메라의 개수가 복수개인 경우, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 위치 또는 제 1 피사체의 시선 방향 중 적어도 하나를 검출하고, 상기 검출된 위치 또는 시선 방향 중 적어도 하나를 기반으로, 복수개의 카메라들 중 상기 적어도 하나의 제 1 피사체에 대한 이미지를 수집할 적어도 하나의 카메라를 선택하고, 상기 선택된 적어도 하나의 카메라를 지시하기 위한 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정될 수 있다. In an embodiment, the at least one processor is configured to: When a shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural, the location of the at least one first subject in the preview image; Detect at least one of the gaze directions of the first subject, and select at least one camera to collect an image of the at least one first subject from among a plurality of cameras based on at least one of the detected position and the gaze direction It may be set to provide a UI for making a selection and instructing the selected at least one camera through at least one of the display or the sound output unit.
일 실시예에서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지 중 사용자에 의해 선택된 사용자 선호 이미지를 상기 기준 이미지로서 상기 메모리에 저장하거나, 상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지를 분석하여 가장 빈번히 사용된 구도 정보를 갖는 이미지를 식별하고, 상기 식별된 이미지를 상기 기준 이미지로서 상기 메모리에 저장하도록 설정될 수 있다. In an embodiment, the at least one processor stores, as the reference image, a user preferred image selected by a user from among at least one image collected by the at least one camera in the memory, or in the at least one camera It may be configured to analyze at least one image collected by the controller to identify an image having the most frequently used composition information, and to store the identified image as the reference image in the memory.
이하 다양한 실시예들에 따른 전자 장치의 동작을 설명하기로 한다. 도 4 내지 도 10에서 설명될 다양한 실시예들에 따른 전자 장치의 동작들은 전자 장치(예: 도 1의 전자 장치(101) 또는 도 3의 전자 장치(301)), 적어도 하나의 프로세서(예: 도 1의 프로세서(120) 또는 도 3의 프로세서(340)), 또는 이들의 조합에 의해 수행될 수 있다. 이하에서는 도 4 내지 도 10에 도시된 동작들이 전자 장치에 의해 수행되는 것을 일 예로 설명하기로 한다.Hereinafter, an operation of an electronic device according to various embodiments will be described. Operations of the electronic device according to various embodiments to be described with reference to FIGS. 4 to 10 include an electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 301 of FIG. 3 ) and at least one processor (eg: It may be performed by the processor 120 of FIG. 1 or the processor 340 of FIG. 3 ), or a combination thereof. Hereinafter, it will be described as an example that the operations shown in FIGS. 4 to 10 are performed by an electronic device.
도 4 내지 도 10에서 설명될 적어도 하나의 카메라, 복수의 카메라들, UDC, 또는 복수의 UDC들은 각각 도 1의 카메라 모듈(180) 및 도 2의 카메라 모듈(201)에 포함될 수 있고, 도 3의 제 1 카메라(312) 또는 제 2 카메라(314)일 수 있다. 또한, 도 4 내지 도 10에서 설명될 디스플레이는 도 1의 디스플레이 모듈(160)에 포함될 수 있고, 도 3의 디스플레이(310)일 수 있다. At least one camera, a plurality of cameras, UDC, or a plurality of UDCs to be described in FIGS. 4 to 10 may be included in the camera module 180 of FIG. 1 and the camera module 201 of FIG. 2 , respectively, and FIG. 3 It may be the first camera 312 or the second camera 314 of Also, the display to be described with reference to FIGS. 4 to 10 may be included in the display module 160 of FIG. 1 or the display 310 of FIG. 3 .
도 4는 다양한 실시예들에 따른 전자 장치에서 UI를 제공하는 방법을 나타낸 흐름도(400)이다.4 is a flowchart 400 illustrating a method of providing a UI in an electronic device according to various embodiments of the present disclosure.
도 4를 참조하면, 동작 402에서, 전자 장치는 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출할 수 있다. Referring to FIG. 4 , in operation 402 , the electronic device may detect a distance between at least one camera and at least one first subject.
동작 404에서, 전자 장치는 적어도 하나의 카메라에 의해 수집된 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 저장된 기준 이미지를 비교할 수 있다. In operation 404, the electronic device may compare a preview image of at least one first subject collected by at least one camera with a stored reference image.
동작 406에서, 전자 장치는 검출된 거리 또는 프리뷰 이미지와 기준 이미지의 비교 결과 중 적어도 하나를 기반으로 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단할 수 있다. In operation 406, the electronic device may determine whether a photographing condition for at least one camera is satisfied based on at least one of a detected distance or a comparison result between the preview image and the reference image.
동작 408에서, 전자 장치는 촬영 조건이 만족된 경우 적어도 하나의 카메라를 지시하기 위한 UI를 디스플레이에 표시하거나 UI와 관련된 메시지를 음성으로 출력할 수 있다. In operation 408, when the shooting condition is satisfied, the electronic device may display a UI for instructing at least one camera on the display or output a message related to the UI as a voice.
다양한 실시예들에 따르면, 전자 장치에서는 하나의 카메라 또는 복수의 카메라들이 이용될 수 있다. 다양한 실시예들에 따른 UI 제공 방법은 전자 장치에서 하나의 카메라들이 이용되는 경우의 UI 제공 방법과 전자 장치에서 복수의 카메라들이 이용되는 경우의 UI 제공 방법을 포함할 수 있다.According to various embodiments, one camera or a plurality of cameras may be used in the electronic device. A UI providing method according to various embodiments may include a UI providing method when one camera is used in an electronic device and a UI providing method when a plurality of cameras are used in the electronic device.
이하 다양한 실시예들에 따른 전자 장치에서 하나의 카메라들이 이용되는 경우의 UI 제공 방법을 도 5 내지 도 8을 참조하여 설명하고, 다양한 실시예들에 따른 전자 장치에서 복수의 카메라들이 이용되는 경우의 UI 제공 방법을 도 9a 내지 도 10을 참조하여 설명하기로 한다. 후술될 실시예들에서는 하나의 카메라 또는 복수의 카메라들이 각각 UDC인 경우를 예로 들어 설명하기로 한다.Hereinafter, a method of providing a UI when one camera is used in an electronic device according to various embodiments will be described with reference to FIGS. 5 to 8 , and a case in which a plurality of cameras are used in the electronic device according to various embodiments of the present invention will be described below. A UI providing method will be described with reference to FIGS. 9A to 10 . In the embodiments to be described later, a case in which one camera or a plurality of cameras are UDCs will be described as an example.
도 5는 다양한 실시예들에 따른 UDC를 포함하는 전자 장치에서 UI를 제공하는 방법의 일 예를 나타낸 흐름도(500)이다.5 is a flowchart 500 illustrating an example of a method of providing a UI in an electronic device including a UDC according to various embodiments.
도 5를 참조하면, 전자 장치는 502 동작에서, UDC 실행 이벤트의 발생을 판단할 수 있다. 일 실시예에서, UDC 실행 이벤트는 UDC의 실행을 위한 이벤트로서, 전자 장치에 대한 사용자의 동작(예: 사용자가 전자 장치를 손에 쥐고 들어올리거나 기울이는 동작), 전자 장치의 스크린 상의 터치 입력, 사용자의 음성 입력, 또는 물리 키 입력 중 적어도 하나를 기반으로 발생될 수 있다.Referring to FIG. 5 , in operation 502 , the electronic device may determine the occurrence of a UDC execution event. In an embodiment, the UDC execution event is an event for the execution of the UDC, which is a user's action with respect to the electronic device (eg, a user holding the electronic device in a hand and lifting or tilting it), a touch input on the screen of the electronic device, and the user may be generated based on at least one of a voice input of , or an input of a physical key.
504 동작에서, 전자 장치는 발생된 UDC 실행 이벤트를 기반으로 UDC를 실행하고, 실행된 UDC를 지시하기 위한 UI를 디스플레이에 표시할 수 있다. 일 실시예에서, 실행된 UDC를 지시하기 위한 UI는 실행된 UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들 중 적어도 하나의 픽셀을 이용하여 제공될 수 있다. 예를 들어, 적어도 하나의 픽셀은 설정된 시간 동안 또는 특정 이벤트가 발생될 때까지(예: 사용자가 UDC를 통한 촬영을 완료할 때까지) 활성화됨에 의해 UI를 제공할 수 있다. 다른 예로, 적어도 하나의 픽셀은 활성화 동작과 비활성화 동작을 주기적으로 반복하여 UI를 제공할 수 있다. 적어도 하나의 픽셀의 활성화 동작은 적어도 하나의 픽셀에 전기적인 신호가 입력되어 적어도 하나의 픽셀이 발광하는 동작(픽셀 온 동작)을 나타낼 수 있고, 적어도 하나의 픽셀의 비활성화 동작은 적어도 하나의 픽셀에 전기적인 신호가 입력되지 않아 적어도 하나의 픽셀이 발광하지 않는 동작(픽셀 오프 동작)을 나타낼 수 있다. In operation 504 , the electronic device may execute the UDC based on the generated UDC execution event and display a UI for instructing the executed UDC on the display. In an embodiment, the UI for indicating the executed UDC may be provided using at least one pixel among surrounding pixels of the display pixel area disposed at a position corresponding to the executed UDC. For example, at least one pixel may provide a UI by being activated for a set time or until a specific event occurs (eg, until a user completes shooting through UDC). As another example, at least one pixel may provide a UI by periodically repeating an activation operation and a deactivation operation. The activation operation of the at least one pixel may indicate an operation in which an electrical signal is input to the at least one pixel and the at least one pixel emits light (a pixel-on operation), and the deactivation operation of the at least one pixel is applied to the at least one pixel. It may represent an operation in which at least one pixel does not emit light (a pixel off operation) because no electrical signal is input.
506 동작에서, 전자 장치는 피사체와의 거리를 측정할 수 있다. 예를 들어, 전자 장치는 디스플레이의 하부에 배치된 센서로부터 출력된 신호(예: 적외선 신호 또는 레이저 신호)가 피사체에 반사되어 센서로 입력될 때까지 소요된 시간을 기반으로 피사체와의 거리를 측정할 수 있다. 센서는 일 예로 UDC와 다른 위치에 배치된 적외선 센서 또는 TOF(time　of　flight) 센서일 수 있고, 센서로부터 출력된 신호는 일 예로 디스플레이의 픽셀과 픽셀 사이의 공간을 통해 전자 장치의 외부로 출력될 수 있다. 일 실시예에 따라, 전자 장치는 피사체와의 거리를 측정하는 대신, UCD에 의해 수집된 프리뷰 이미지 내의 피사체의 크기를 확인하고, 확인된 피사체의 크기에 대응하는 거리를 미리 저장된 피사체의 크기 별 거리 정보를 기반으로 식별할 수 있다. In operation 506 , the electronic device may measure a distance to the subject. For example, the electronic device measures the distance to the subject based on the time it takes for a signal (eg, an infrared signal or a laser signal) output from a sensor disposed below the display to be reflected by the subject and input to the sensor. can do. The sensor may be, for example, an infrared sensor disposed at a different location from the UDC or a time-of-flight (TOF) sensor. can According to an embodiment, instead of measuring the distance to the subject, the electronic device checks the size of the subject in the preview image collected by the UCD, and determines the distance corresponding to the confirmed size of the subject, which is stored in advance by the distance by size of the subject. can be identified based on information.
508 동작에서, 전자 장치는 UDC의 초점 거리를 식별할 수 있다. 일 실시예에서, UDC는 고정 초점(fixed focus)의 기능을 지원할 수 있다. 고정 초점의 기능은 UDC와 피사체 간의 거리가 설정된 거리 즉, 초점 거리에 대응하는 경우 UDC에 의해 촬영되는 피사체에 대한 초점이 맞추어지는 기능을 나타낼 수 있다. In operation 508 , the electronic device may identify a focal length of the UDC. In one embodiment, UDC may support the function of fixed focus. The fixed focus function may indicate a function of focusing on a subject photographed by the UDC when the distance between the UDC and the subject corresponds to a set distance, that is, a focal length.
510 동작에서, 전자 장치는 측정된 거리가 UDC의 초점 거리에 대응하는지 판단할 수 있다. 전자 장치는 측정된 거리가 UDC의 초점 거리에 대응하지 않는 경우, 512 동작에서, 거리 조절을 지시하기 위한 UI를 제공할 수 있다. 일 실시예에서, 전자 장치는 UDC와 피사체 간의 거리가 초점 거리 이상인 경우, "카메라와의 거리를 조금 더 줄이세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. UDC를 지시하기 위한 디스플레이 상의 UI는 일 예로 UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 가장 바깥쪽에 위치한 픽셀부터 가장 안쪽에 위치한 픽셀의 순서로 활성화되는 형태의 UI일 수 있다. In operation 510, the electronic device may determine whether the measured distance corresponds to the focal length of the UDC. If the measured distance does not correspond to the focal length of the UDC, in operation 512 , the electronic device may provide a UI for instructing the distance adjustment. In an embodiment, when the distance between the UDC and the subject is greater than or equal to the focal length, the electronic device may provide at least one of a voice message saying “reduce the distance from the camera a little more” or a UI on the display for instructing the UDC . The UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the outermost pixel to the innermost pixel.
일 실시예에서, 전자 장치는 UDC와 피사체 간의 거리가 초점 거리 미만인 경우,"카메라와의 거리를 조금 더 늘리세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. UDC를 지시하기 위한 디스플레이 상의 UI는 일 예로 UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 가장 안쪽에 위치한 픽셀부터 가장 바깥쪽에 위치한 픽셀의 순서로 활성화되는 형태의 UI일 수 있다. In an embodiment, when the distance between the UDC and the subject is less than the focal length, the electronic device may provide at least one of a voice message “Increase the distance from the camera a little more” or a UI on the display for instructing the UDC. . The UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the innermost pixel to the outermost pixel.
510 동작에서, 전자 장치는 측정된 거리가 UDC의 초점 거리에 대응하는 경우 피사체에 대한 초점이 맞춰진 것으로 판단하여, 514 동작에서, 촬영을 지시하기 위한 UI 제공할 수 있다. 일 실시예에서, 촬영을 지시하기 위한 UI는"촬영을 시작해주세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. 일 실시예에서, 촬영을 지시하기 위한 디스플레이 상의 UI는 504 동작에서 제공된 UI와 동일하거나 상이할 수 있다. In operation 510 , when the measured distance corresponds to the focal length of the UDC, the electronic device determines that the subject is in focus, and provides a UI for instructing photographing in operation 514 . In an embodiment, the UI for instructing shooting may provide at least one of a voice message “Please start shooting” or a UI on the display for instructing the UDC. In an embodiment, the UI on the display for instructing shooting may be the same as or different from the UI provided in operation 504 .
도 5에 도시된 다양한 실시예들에 따를 경우, 사용자는 UDC의 위치를 쉽게 인지할 수 있고, 자동 초점 기능의 지원이 어려운 UDC에서 UI를 기반으로 초점을 맞출 수 있어 좀 더 나은 품질의 이미지를 획득할 수 있다. According to the various embodiments shown in FIG. 5 , the user can easily recognize the location of the UDC and focus based on the UI in the UDC where it is difficult to support the auto-focus function, so that a better quality image can be obtained. can be obtained
도 6은 다양한 실시예들에 따른 전자 장치가 카테고리 별 기준 모델을 생성하는 방법을 나타낸 흐름도(600)이다.6 is a flowchart 600 illustrating a method for an electronic device to generate a reference model for each category according to various embodiments of the present disclosure.
도 6을 참조하면, 전자 장치는 602 동작에서, 이미지 수집 및 저장을 할 수 있다. 일 실시예에서, 이미지 수집 및 저장은 UDC 실행 이벤트의 발생을 기반으로 UDC가 실행된 경우, 사용자의 선택을 기반으로, 실행된 UDC를 통해 이미지를 수집하고 수집된 이미지를 저장하는 동작을 나타낼 수 있다. Referring to FIG. 6 , in operation 602 , the electronic device may collect and store images. In one embodiment, the image collection and storage may refer to an operation of collecting an image through the executed UDC and storing the collected image based on a user's selection when the UDC is executed based on the occurrence of the UDC execution event. have.
604 동작에서, 전자 장치는 이미지 분류 모델을 기반으로 카테고리 별로 이미지를 분류할 수 있다. 일 실시예에서, 이미지 분류 모델은 전자 장치에 저장된 이미지들(예: UDC에 의해 수집된 이미지들)과 각 이미지에 라벨링된 데이터를 포함하는 데이터 셋을 기반으로　학습(training)되어 생성된 것일 수 있다. In operation 604, the electronic device may classify images by category based on the image classification model. In an embodiment, the image classification model may be generated by training based on a data set including images stored in the electronic device (eg, images collected by UDC) and data labeled for each image. have.
일 실시예에서, 각 이미지에 라벨링된 데이터는 이미지 촬영 장소(예: 실내, 실외, 랜드마크, 또는 지역명), 이미지 촬영 시간(예: 오전, 오후, 또는 계절), 이미지에 포함된 피사체의 타입(예: 인물, 음식, 풍경, 동물, 또는 사물), 또는 이미지에 포함된 피사체의 수 중 적어도 하나와 관련된 것일 수 있다. 각 이미지에 라벨링된 데이터는 사용자에 의해 입력되거나, GPS로부터 획득된 위치 정보, UCD 촬영시 설정된 시간 정보, 또는 인터넷으로부터 획득된 빅데이터를 기반으로 하는 이미지 분석 동작 중 적어도 하나를 기반으로 입력될 수 있다. In one embodiment, the data labeled for each image may include the location where the image was taken (eg, indoor, outdoor, landmark, or local name), the time the image was taken (eg, morning, afternoon, or season), and the number of subjects included in the image. It may relate to at least one of a type (eg, a person, a food, a landscape, an animal, or an object), or the number of subjects included in the image. The data labeled on each image may be input by the user or based on at least one of location information obtained from GPS, time information set during UCD shooting, or image analysis operation based on big data obtained from the Internet. have.
일 실시예에서, 각 이미지에 라벨링된 데이터를 기반으로 각 이미지의 카테고리가 결정될 수 있다. 각 이미지의 카테고리는 이미지 촬영 장소, 이미지 촬영 시간, 이미지에 포함된 피사체의 타입, 또는 이미지에 포함된 피사체의 수 중 적어도 하나와 관련된 것일 수 있다. In an embodiment, a category of each image may be determined based on data labeled for each image. The category of each image may be related to at least one of an image capturing location, an image capturing time, a type of subject included in the image, or the number of subjects included in the image.
606 동작에서, 전자 장치는 카테고리 별 구도 정보를 학습하여 기준 이미지를 생성할 수 있다. 일 실시예에서, 전자 장치는 이미지 촬영 장소, 이미지 촬영 시간, 이미지에 포함된 피사체의 타입, 또는 이미지에 포함된 피사체의 수 중 적어도 하나와 관련된 카테고리 별 구도 정보를 학습하고, 카테고리 별로 가장 빈번히 사용된 구도를 갖는 이미지 또는 카테고리 별로 사용자가 선택한 사용자 선호 이미지 중 하나를 기준 이미지로서 결정할 수 있다. 일 실시예에 따라, 결정된 기준 이미지는 도 7에 나타난 바와 같이 UI 제공을 위해 사용될 수 있다. In operation 606, the electronic device may generate a reference image by learning composition information for each category. In an embodiment, the electronic device learns composition information for each category related to at least one of an image capturing location, an image capturing time, a type of a subject included in an image, or the number of subjects included in an image, and uses the most frequently used composition information for each category. One of the images having the selected composition or the user's preferred images selected by the user for each category may be determined as the reference image. According to an embodiment, the determined reference image may be used to provide a UI as shown in FIG. 7 .
도 7은 다양한 실시예들에 따른 UDC를 포함하는 전자 장치가 UI를 제공하는 방법의 다른 예를 나타낸 흐름도(700)이다.7 is a flowchart 700 illustrating another example of a method of providing a UI by an electronic device including a UDC according to various embodiments of the present disclosure.
도 7을 참조하면, 702 동작에서, 전자 장치는 UDC 실행 이벤트의 발생을 판단할 수 있다. 일 실시예에서, UDC 실행 이벤트는 전자 장치에 대한 사용자의 동작(예: 사용자가 전자 장치를 손에 쥐고 들어올리거나 기울이는 동작), 전자 장치의 스크린 상의 터치 입력, 사용자의 음성 입력, 또는 물리 키 입력 중 적어도 하나를 기반으로 발생될 수 있다.Referring to FIG. 7 , in operation 702 , the electronic device may determine the occurrence of a UDC execution event. In one embodiment, the UDC execution event is a user's action on the electronic device (eg, a user's hand holding the electronic device, lifting or tilting), a touch input on the screen of the electronic device, a user's voice input, or a physical key input. It may be generated based on at least one of
704 동작에서, 전자 장치는 발생된 UDC 실행 이벤트를 기반으로 UDC를 실행하고 프리뷰 이미지를 표시할 수 있다. In operation 704, the electronic device may execute the UDC based on the generated UDC execution event and display a preview image.
706 동작에서, 전자 장치는 프리뷰 이미지와 관련된 기준 이미지 식별할 수 있다. 일 실시예에서, 전자 장치는 이미지 분류 모델을 기반으로 프리뷰 이미지에 대한 카테고리를 식별하고, 식별된 카테고리에 대응하는 기준 이미지를 식별할 수 있다. 프리뷰 이미지에 대한 카테고리는 예를 들어, 프리뷰 이미지에 대해 GPS로부터 획득된 위치 정보, 프리뷰 이미지가 획득된 시간 정보, 또는 프리뷰 이미지에 포함된 피사체에 대한 정보 중 적어도 하나를 기반으로 식별될 수 있다. 프리뷰 이미지에 포함된 피사체에 대한 정보는 일 예로 인터넷으로부터 획득된 빅데이터를 기반으로 하는 이미지 분석 동작, 얼굴 인식 기술, 또는 시선 추적 기술 중 적어도 하나를 기반으로 획득될 수 있다. In operation 706, the electronic device may identify a reference image related to the preview image. In an embodiment, the electronic device may identify a category for the preview image based on the image classification model, and identify a reference image corresponding to the identified category. The category for the preview image may be identified, for example, based on at least one of location information obtained from GPS for the preview image, time information at which the preview image was acquired, or information about a subject included in the preview image. The information on the subject included in the preview image may be obtained, for example, based on at least one of an image analysis operation based on big data obtained from the Internet, a face recognition technology, and an eye tracking technology.
708 동작에서, 전자 장치는 프리뷰 이미지와 기준 이미지를 비교하여 피사체의 구도 차이를 판단할 수 있다. 일 실시예에서, 피사체의 구도 차이는 프리뷰 이미지에 포함된 피사체의 구도와 기준 이미지에 포함된 피사체의 구도 간의 차이를 나타낼 수 있다. 일 실시예에서, 피사체가 사람인 경우 얼굴 인식 기술을 기반으로 얼굴 각도가 검출될 수 있고, 시선 추적 기술을 기반으로 사람의 시선 방향이 검출될 수도 있다. In operation 708 , the electronic device may compare the preview image with the reference image to determine the difference in composition of the subject. In an embodiment, the difference in the composition of the subject may indicate a difference between the composition of the subject included in the preview image and the composition of the subject included in the reference image. In an embodiment, when the subject is a person, the face angle may be detected based on the face recognition technology, and the gaze direction of the person may be detected based on the eye tracking technology.
710 동작에서, 전자 장치는 판단된 구도의 차이가 임계값 미만이 아닌 경우, 즉 임계값 이상인 경우, 712 동작에서, 촬영 각도를 변경할 것을 지시하기 위한 UI를 제공할 수 있다. 일 실시예에서, 피사체가 사람의 얼굴인 경우, 프리뷰 이미지에 포함된 얼굴의 구도가 기준 이미지에 포함된 얼굴의 구도 대비 오른쪽으로 기울어져 있고 시선 방향이 위쪽을 향하고 있다면, “고개를 왼쪽으로 기울여주시고 시선은 정면을 봐주세요”와 같은 음성 메시지가 출력될 수 있다. 일 실시예에 따라, 음성 메시지가 출력되는 동안, UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 활성화 동작과 비활성화 동작을 주기적으로 반복하여 UDC 주변부가 깜박거리는 형태의 UI를 추가적으로 제공할 수 있다. In operation 710 , when the determined difference in composition is not less than the threshold value, that is, greater than or equal to the threshold value, in operation 712 , the electronic device may provide a UI for instructing to change the shooting angle. In an embodiment, when the subject is a human face, if the composition of the face included in the preview image is tilted to the right compared to the composition of the face included in the reference image, and the gaze direction is upward, “tilting the head to the left A voice message such as “Please look straight ahead” may be output. According to an embodiment, while the voice message is output, the surrounding pixels of the display pixel area disposed at the position corresponding to the UDC periodically repeat the activation operation and the deactivation operation to additionally provide a UI in the form of a blinking of the UDC periphery. can
710 동작에서, 전자 장치는 판단된 구도의 차이가 임계값 미만인 경우, 714 동작에서, 피사체와의 거리를 측정하고 UDC의 초점 거리를 식별할 수 있다. 일 실시예에 따라, 전자 장치는 판단된 구도의 차이가 임계값 미만인 경우, 714 동작을 수행하는 대신 사용자에게 촬영을 지시하기 위한 UI를 제공할 수도 있다. In operation 710 , when the determined difference in composition is less than the threshold value, in operation 714 , the electronic device may measure a distance to the subject and identify a focal length of the UDC. According to an embodiment, when the determined difference in composition is less than a threshold value, the electronic device may provide a UI for instructing the user to take a picture instead of performing operation 714 .
716 동작에서, 전자 장치는 측정된 거리가 UDC의 초점 거리에 대응하는지 판단할 수 있다. 전자 장치는 피사체와의 거리가 UDC의 초점 거리에 대응하지 않는 경우, 718 동작에서, 거리 조절을 지시하기 위한 UI를 제공할 수 있다. In operation 716, the electronic device may determine whether the measured distance corresponds to the focal length of the UDC. When the distance to the subject does not correspond to the focal length of the UDC, the electronic device may provide a UI for instructing to adjust the distance in operation 718 .
일 실시예에서, 전자 장치는 UDC와 피사체 간의 거리가 초점 거리 이상인 경우, "카메라와의 거리를 조금 더 줄이세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. UDC를 지시하기 위한 디스플레이 상의 UI는 일 예로 UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 가장 바깥쪽에 위치한 픽셀부터 가장 안쪽에 위치한 픽셀의 순서로 활성화되는 형태의 UI일 수 있다. In an embodiment, when the distance between the UDC and the subject is greater than or equal to the focal length, the electronic device may provide at least one of a voice message saying “reduce the distance from the camera a little more” or a UI on the display for instructing the UDC . The UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the outermost pixel to the innermost pixel.
일 실시예에서, 전자 장치는 UDC와 피사체 간의 거리가 초점 거리 미만인 경우,"카메라와의 거리를 조금 더 늘리세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. UDC를 지시하기 위한 디스플레이 상의 UI는 일 예로 UDC에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 가장 안쪽에 위치한 픽셀부터 가장 바깥쪽에 위치한 픽셀의 순서로 활성화되는 형태의 UI일 수 있다. In an embodiment, when the distance between the UDC and the subject is less than the focal length, the electronic device may provide at least one of a voice message “Increase the distance from the camera a little more” or a UI on the display for instructing the UDC. . The UI on the display for instructing the UDC may be, for example, a UI in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC are activated in the order from the innermost pixel to the outermost pixel.
716 동작에서, 전자 장치는 측정된 거리가 UDC의 초점 거리에 대응하는 경우, 720 동작에서, 사용자에게 촬영을 지시하기 위한 UI를 제공할 수 있다. 일 실시예에서, 촬영을 지시하기 위한 UI는"촬영을 시작해주세요"라는 음성 메시지 또는 UDC를 지시하기 위한 디스플레이 상의 UI 중 적어도 하나를 제공할 수 있다. 일 실시예에서, 촬영을 지시하기 위한 디스플레이 상의 UI는 704 동작에서 제공된 UI와 동일하거나 상이할 수 있다. If the measured distance corresponds to the focal length of the UDC in operation 716 , in operation 720 , the electronic device may provide a UI for instructing the user to photograph. In an embodiment, the UI for instructing shooting may provide at least one of a voice message “Please start shooting” or a UI on the display for instructing the UDC. In an embodiment, the UI on the display for instructing shooting may be the same as or different from the UI provided in operation 704 .
도 7에 도시된 다양한 실시예들에 따를 경우, UDC 와 피사체와의 거리 또는 각도와 같은 컨텍스트 조건에 기반한 UDC의 촬영과 관련된 UI를 제공함으로써 사용자에게 보다 나은 품질의 이미지와 촬영 경험을 제공할 수 있도록 할 수 있다.According to the various embodiments shown in FIG. 7 , by providing a UI related to shooting of the UDC based on context conditions such as the distance or angle between the UDC and the subject, a better quality image and shooting experience can be provided to the user. can make it
도 8은 다양한 실시예들에 따른 전자 장치에서 UDC를 지시하기 위한 UI를 예시한 도면(800)이다.8 is a diagram 800 illustrating a UI for instructing a UDC in an electronic device according to various embodiments of the present disclosure.
도 8을 참조하면, 일 실시예에서, 전자 장치(801)의 전면에는 디스플레이(807)가 배치될 수 있고, 디스플레이(807)의 하부에는 UDC(805)가 배치될 수 있다. Referring to FIG. 8 , in an embodiment, a display 807 may be disposed on the front surface of the electronic device 801 , and a UDC 805 may be disposed under the display 807 .
일 실시예에 따라, UDC(805)가 실행되면, 피사체(809)의 프리뷰 이미지와 UDC(805)의 실행을 지시하기 위한 UDC 주변부 UI(803)가 디스플레이(807)에 표시될 수 있다. 예를 들어, UDC 주변부 UI(803)는 UDC(805)에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 활성화된 형태로 제공될 수 있다. 일 예로, 주변부 픽셀들은 픽셀 온 동작과 픽셀 오프 동작이 순서대로 반복적으로 수행됨에 따라 실시간으로 가변될 수 있다. 다른 예로, 주변부 픽셀들은 설정된 시간 동안 또는 특정 이벤트가 발생될 때까지(예: 사용자가 UDC를 통한 촬영을 완료할 때까지) 픽셀 온 되어 활성화될 수 있다. UDC 주변부 UI(803)는 전술한 예들에 한정되지 않고 다양한 형태로 변경될 수 있다. According to an embodiment, when the UDC 805 is executed, a preview image of the subject 809 and the UDC peripheral UI 803 for instructing the execution of the UDC 805 may be displayed on the display 807 . For example, the UDC peripheral UI 803 may be provided in a form in which peripheral pixels of a display pixel area disposed at a position corresponding to the UDC 805 are activated. For example, the peripheral pixels may be changed in real time as a pixel-on operation and a pixel-off operation are repeatedly performed in order. As another example, peripheral pixels may be activated by being pixel-on for a set time period or until a specific event occurs (eg, until a user completes shooting through UDC). The UDC peripheral UI 803 is not limited to the above-described examples and may be changed in various forms.
이하 다양한 실시예들에 따른 전자 장치에서 복수의 UDC들이 이용되는 경우의 UI 제공 방법을 도 9a 내지 도 10을 참조하여 설명하기로 한다. Hereinafter, a method of providing a UI when a plurality of UDCs are used in an electronic device according to various embodiments will be described with reference to FIGS. 9A to 10 .
도 9a 및 도 9b는 다양한 실시예들에 따른 복수의 UDC들을 포함하는 전자 장치에서 UI를 제공하는 방법의 일 예를 나타낸 흐름도(900)이다.9A and 9B are flowcharts 900 illustrating an example of a method of providing a UI in an electronic device including a plurality of UDCs according to various embodiments.
도 9a를 참조하면, 902 동작에서, 전자 장치는 UDC 실행 이벤트의 발생을 판단할 수 있다. 일 실시예에서, UDC 실행 이벤트는 전자 장치에 대한 사용자의 동작(예: 사용자가 전자 장치를 손에 쥐고 들어올리거나 기울이는 동작), 전자 장치의 스크린 상의 터치 입력, 사용자의 음성 입력, 또는 물리 키 입력 중 적어도 하나를 기반으로 복수의 UDC들 중 적어도 하나를 실행하기 위해 발생될 수 있다.Referring to FIG. 9A , in operation 902 , the electronic device may determine the occurrence of a UDC execution event. In one embodiment, the UDC execution event is a user's action on the electronic device (eg, a user's hand holding the electronic device, lifting or tilting), a touch input on the screen of the electronic device, a user's voice input, or a physical key input. may be generated to execute at least one of a plurality of UDCs based on at least one of
904 동작에서, 전자 장치는 UDC 실행 이벤트를 기반으로 복수의 UDC들 중 적어도 하나를 실행하고, 제 1 프리뷰 이미지를 표시할 수 있다. 일 실시예에서, 제 1 프리뷰 이미지는 적어도 하나의 실행된 UDC에 의해 수집된 이미지일 수 있다. In operation 904, the electronic device may execute at least one of the plurality of UDCs based on the UDC execution event and display a first preview image. In one embodiment, the first preview image may be an image collected by at least one executed UDC.
906 동작에서, 전자 장치는 제 1 프리뷰 이미지와 관련된 제 1 기준 이미지 식별할 수 있다. 일 실시예에서, 전자 장치는 이미지 분류 모델을 기반으로 제 1 프리뷰 이미지에 대한 카테고리를 식별하고, 식별된 카테고리에 대응하는 제 1 기준 이미지를 식별할 수 있다.In operation 906 , the electronic device may identify a first reference image related to the first preview image. In an embodiment, the electronic device may identify a category for the first preview image based on the image classification model, and identify a first reference image corresponding to the identified category.
908 동작에서, 전자 장치는 제 1 기준 이미지를 기반으로 복수의 UDC들 중 적어도 하나를 선택할 수 있다. 일 실시예에서, 908 동작에서 선택된 적어도 하나의 UDC는 904 동작에서 실행된 적어도 하나의 UDC와 동일하거나 상이할 수 있다. In operation 908, the electronic device may select at least one of the plurality of UDCs based on the first reference image. In one embodiment, the at least one UDC selected in operation 908 may be the same as or different from the at least one UDC executed in operation 904 .
일 실시예에서, 전자 장치는 제 1 기준 이미지 내의 피사체의 위치 또는 각도 중 적어도 하나를 기반으로, 복수의 UDC들 중 적어도 하나를 선택할 수 있다. 예를 들어, 전자 장치는 제 1 기준 이미지가 디스플레이에 표시될 경우 복수의 UDC들 중 제 1 기준 이미지 내의 피사체에 가장 근접하게 위치한 픽셀들 아래에 배치된 UDC를 선택할 수 있다.In an embodiment, the electronic device may select at least one of the plurality of UDCs based on at least one of a position or an angle of the subject in the first reference image. For example, when the first reference image is displayed on the display, the electronic device may select the UDC disposed under pixels located closest to the subject in the first reference image from among the plurality of UDCs.
다른 예로서, 전자 장치는 피사체가 사람인 경우 사람의 얼굴 각도를 기반으로, 복수의 UDC들 중 사람의 시선이 향하는 방향에 위치한 UDC를 선택할 수 있다. 사람의 얼굴 각도는 얼굴 인식 기술을 기반으로 얼굴의 랜드마크들(예: 눈, 코, 입, 또는 귀)을 검출하고, 검출된 랜드마크들 간 상대적인 크기 또는 위치를 기반으로 사용자가 얼굴을 돌렸는지, 숙였는지, 또는 기울였는지 중 적어도 하나를 식별할 수 있다. 예를 들어, 얼굴에서 검출된 두 개의 눈들 사이의 거리가 설정된 값보다 짧고, 오른쪽 눈이 왼쪽 눈 보다 큰 경우, 얼굴이 왼쪽으로 돌아간 상태임이 식별될 수 있다. As another example, when the subject is a person, the electronic device may select a UDC located in a direction toward which the person's gaze faces from among the plurality of UDCs based on the angle of the person's face. A person's face angle detects facial landmarks (eg, eyes, nose, mouth, or ears) based on face recognition technology, and based on the relative size or position between the detected landmarks, the user turns the face At least one of leaning, bowing, or tilting may be identified. For example, when the distance between two eyes detected from the face is shorter than a set value and the right eye is larger than the left eye, it may be identified that the face is turned to the left.
910 동작에서, 전자 장치는 선택된 적어도 하나의 UDC를 이용하여 적어도 하나의 피사체에 대한 제 2 프리뷰 이미지를 획득할 수 있다. In operation 910, the electronic device may acquire a second preview image of at least one subject by using the selected at least one UDC.
912 동작에서, 전자 장치는 제 2 프리뷰 이미지와 관련된 제 2 기준 이미지를 식별할 수 있다. 914 동작에서, 전자 장치는 식별된 제 2 기준 이미지를 기반으로 선택된 적어도 하나의 UDC를 계속 사용할지 여부를 결정할 수 있다. In operation 912 , the electronic device may identify a second reference image related to the second preview image. In operation 914 , the electronic device may determine whether to continue using the selected at least one UDC based on the identified second reference image.
일 실시예에서, 전자 장치는 제 2 기준 이미지 내의 피사체의 위치 또는 각도 중 적어도 하나를 기반으로, 선택된 적어도 하나의 UDC를 계속 사용할지 여부를 결정할 수 있다. In an embodiment, the electronic device may determine whether to continue using the selected at least one UDC based on at least one of a position or an angle of the subject in the second reference image.
예를 들어, 전자 장치는 제 2 기준 이미지가 디스플레이에 표시될 경우, 복수의 UDC들 중 제 2 기준 이미지 내의 피사체에 가장 근접하게 위치한 픽셀들 아래에 배치된 적어도 하나의 UDC가 선택된 적어도 하나의 UDC에 대응할 경우 선택된 적어도 하나의 UDC를 계속 사용할 것을 결정할 수 있다. 전자 장치는 제 2 기준 이미지 내의 피사체에 가장 근접하게 위치한 픽셀들 아래에 배치된 적어도 하나의 UDC가 선택된 적어도 하나의 UDC에 대응하지 않을 경우, 선택된 적어도 하나의 UDC를 계속 사용하지 않을 것을 결정할 수 있다.For example, when the second reference image is displayed on the display, the electronic device may select at least one UDC in which at least one UDC disposed under pixels located closest to the subject in the second reference image from among the plurality of UDCs is selected. In response to , it may be determined to continue using the selected at least one UDC. When the at least one UDC disposed under pixels closest to the subject in the second reference image does not correspond to the selected at least one UDC, the electronic device may determine not to continue using the selected at least one UDC. .
다른 예로서, 전자 장치는 복수의 UDC들 중 사람의 시선이 향하는 방향에 위치한 적어도 하나의 UDC가 선택된 적어도 하나의 UDC에 대응할 경우, 선택된 적어도 하나의 UDC를 계속 사용할 것을 결정할 수 있다. 전자 장치는 복수의 UDC들 중 사람의 시선이 향하는 방향에 위치한 적어도 하나의 UDC가 선택된 적어도 하나의 UDC에 대응하지 않을 경우, 선택된 적어도 하나의 UDC를 계속 사용하지 않을 것을 결정할 수 있다.As another example, when at least one UDC positioned in a direction toward which a person's gaze is directed from among the plurality of UDCs corresponds to the selected at least one UDC, the electronic device may determine to continue using the selected at least one UDC. When at least one UDC located in a direction toward which a person's gaze is directed from among the plurality of UDCs does not correspond to the selected at least one UDC, the electronic device may determine not to continue using the selected at least one UDC.
914 동작에서, 전자 장치는 선택된 적어도 하나의 UDC를 계속 사용하지 않을 것을 결정한 경우 908 동작을 재수행하고, 선택된 적어도 하나의 UDC를 계속 사용할 것을 결정한 경우 “A”에 의해 지시되는 도 9b의 916 동작을 수행할 수 있다. In operation 914, the electronic device re-performs operation 908 when it is determined not to continue using the selected at least one UDC, and performs operation 916 of FIG. 9B indicated by “A” when it is determined to continue using the selected at least one UDC. can be done
도 9b를 참조하면, 916 동작에서, 전자 장치는 제 2 프리뷰 이미지와 제 2 기준 이미지를 비교하여, 제 2 프리뷰 이미지에 포함된 피사체의 구도와 제 2 기준 이미지에 포함된 피사체의 구도의 차이를 판단할 수 있다.Referring to FIG. 9B , in operation 916 , the electronic device compares the second preview image with the second reference image to determine the difference between the composition of the subject included in the second preview image and the composition of the subject included in the second reference image. can judge
918 동작에서, 전자 장치는 판단된 구도의 차이가 임계값 이상인 경우, 920 동작에서, 촬영 각도를 변경할 것을 지시하기 위한 UI를 제공할 수 있다. 전자 장치는 920 동작을 수행하고 “B”에 의해 지시되는 도 9a의 910 동작 이하의 동작들을 다시 수행할 수 있다.In operation 918 , when the determined difference in composition is equal to or greater than a threshold value, in operation 920 , the electronic device may provide a UI for instructing to change the shooting angle. The electronic device may perform operation 920 and again perform operations 910 and lower in FIG. 9A indicated by “B”.
918 동작에서, 전자 장치는 판단된 구도의 차이가 임계값 미만인 경우, 922 동작에서, 적어도 하나의 피사체와의 거리를 측정하고 선택된 적어도 하나의 UDC의 초점 거리를 식별할 수 있다. If the determined difference in composition is less than the threshold in operation 918 , in operation 922 , the electronic device may measure a distance to at least one subject and identify a focal length of the selected at least one UDC.
일 실시예에 따라, 전자 장치는 판단된 구도의 차이가 임계값 미만인 경우, 922 동작을 수행하는 대신 사용자에게 촬영을 지시하기 위한 UI를 제공할 수도 있다. According to an embodiment, when the determined difference in composition is less than a threshold value, the electronic device may provide a UI for instructing the user to take a picture instead of performing operation 922 .
924 동작에서, 전자 장치는 적어도 하나의 피사체와의 거리가 선택된 적어도 하나의 UDC의 초점 거리에 대응하지 않는 경우, 926 동작에서, 거리 조절을 지시하기 위한 UI를 제공할 수 있다. In operation 924 , if the distance to the at least one subject does not correspond to the focal length of the selected at least one UDC, in operation 926 , the electronic device may provide a UI for instructing to adjust the distance.
924 동작에서, 전자 장치는 적어도 하나의 피사체와의 거리가 선택된 적어도 하나의 UDC의 초점 거리에 대응하는 경우, 928 동작에서, 사용자에게 촬영을 지시하기 위한 UI를 제공할 수 있다.In operation 924 , when the distance to the at least one subject corresponds to the focal length of the selected at least one UDC, in operation 928 , the electronic device may provide a UI for instructing the user to photograph.
도 9a 및 도 9b에 도시된 다양한 실시예들에 따를 경우, 복수의 UDC들이 존재하는 환경에서 각 UDC와 피사체와의 거리 또는 각도와 같은 컨텍스트 조건에 기반하여 좀 더 나은 품질의 이미지를 획득할 수 있도록 하는 특정 UDC의 사용을 사용자에게 유도할 수 있다. According to the various embodiments shown in FIGS. 9A and 9B , in an environment in which a plurality of UDCs exist, an image of better quality may be obtained based on context conditions such as a distance or angle between each UDC and a subject. Users can be encouraged to use a specific UDC that allows
도 10은 다양한 실시예들에 따른 전자 장치에서 복수의 UDC들 중 활성화된 UDC를 지시하기 위한 UI를 예시한 도면(1000)이다.10 is a diagram 1000 illustrating a UI for indicating an activated UDC among a plurality of UDCs in an electronic device according to various embodiments of the present disclosure.
도 10을 참조하면, 일 실시예에서, 전자 장치(1001)의 전면에는 디스플레이(1007)가 배치될 수 있고, 디스플레이(1007)의 하부에는 복수의 UDC들(1003, 1007)이 배치될 수 있다. Referring to FIG. 10 , in an embodiment, a display 1007 may be disposed on the front surface of the electronic device 1001 , and a plurality of UDCs 1003 and 1007 may be disposed under the display 1007 . .
일 실시예에 따라, 복수의 UDC들(1003,1005) 중 제 1 UDC(1007)가 실행되면, 제 1 UDC(1007)에 의해 수집된 피사체(1011)의 프리뷰 이미지와 제 1 UDC(1007)의 실행을 지시하기 위한 UDC 주변부 UI(1005)가 디스플레이(1009)에 표시될 수 있다. According to an embodiment, when the first UDC 1007 of the plurality of UDCs 1003 and 1005 is executed, the preview image of the subject 1011 collected by the first UDC 1007 and the first UDC 1007 are performed. A UDC peripheral UI 1005 for instructing the execution of may be displayed on the display 1009 .
예를 들어, UDC 주변부 UI(1005)는 제 1 UDC(1007)에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 주변 픽셀들이 활성화된 형태로 제공될 수 있다. 일 예로, 주변부 픽셀들은 픽셀 온 동작과 픽셀 오프 동작이 순서대로 반복적으로 수행됨에 따라 실시간으로 가변될 수 있다. 다른 예로, 주변부 픽셀들은 설정된 시간 동안 또는 특정 이벤트가 발생될 때까지(예: 사용자가 UDC를 통한 촬영을 완료할 때까지) 픽셀 온 되어 활성화될 수 있다. UDC 주변부 UI(1005)는 전술한 예들에 한정되지 않고 다양한 형태로 변경될 수 있다. For example, the UDC peripheral UI 1005 may be provided in a form in which peripheral pixels of a display pixel area disposed at a position corresponding to the first UDC 1007 are activated. For example, the peripheral pixels may be changed in real time as a pixel-on operation and a pixel-off operation are repeatedly performed in order. As another example, peripheral pixels may be activated by being pixel-on for a set time period or until a specific event occurs (eg, until a user completes shooting through UDC). The UDC peripheral UI 1005 is not limited to the above-described examples and may be changed in various forms.
일 실시예에 따라, 복수의 UDC들(1003, 1005) 중 제 1 UDC(1007)를 제외한 나머지 UDC, 예를 들어, 제 2 UDC(1003)는 제 1 UDC(1007)가 실행되는 동안 실행되지 않을 수 있고, 제 2 UDC(1003)에 대응되는 위치에 배치된 디스플레이 픽셀 영역의 픽셀들은 제 1 UDC(1007)에 의해 수집된 피사체(1011)의 프리뷰 이미지를 표시하기 위해 활성화될 수 있다. According to an embodiment, the remaining UDCs other than the first UDC 1007 among the plurality of UDCs 1003 and 1005, for example, the second UDC 1003 are not executed while the first UDC 1007 is being executed. Alternatively, pixels in the display pixel area disposed at positions corresponding to the second UDC 1003 may be activated to display a preview image of the subject 1011 collected by the first UDC 1007 .
다양한 실시예들에 따르면, 전자 장치에서 사용자 인터페이스(user interface: UI)를 제공하는 방법은, 디스플레이의 하부에 배치된 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작; 상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 미리 저장된 기준 이미지를 비교하는 동작; 상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하는 동작; 및 상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 제 1 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 1 UI를 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 포함할 수 있다.According to various embodiments, a method of providing a user interface (UI) in an electronic device may include detecting a distance between at least one camera disposed under a display and at least one first subject; comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image; determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and performing at least one of displaying a first UI for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message when the shooting condition is satisfied. may include
일 실시예에서, 상기 거리를 검출하는 동작은, 상기 메모리에 저장된 이미지 내 피사체의 크기 별 거리 정보, 상기 디스플레이의 하부에 배치된 센서로부터 출력된 신호가 상기 적어도 하나의 피사체에 반사되어 상기 센서로 입력될 때까지 소요된 시간, 또는 상기 적어도 하나의 카메라가 복수개인 경우 복수개의 카메라들에 의해 획득된 상기 적어도 하나의 피사체의 스테레오스코픽 이미지들의 시차 정보 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작을 포함할 수 있다. In an embodiment, the detecting of the distance includes: distance information for each size of the subject in the image stored in the memory, and a signal output from a sensor disposed under the display is reflected by the at least one subject to the sensor Based on at least one of the time taken until input or disparity information of the stereoscopic images of the at least one subject acquired by the plurality of cameras when the at least one camera is plural, the at least one camera and detecting a distance between the at least one first subject.
일 실시예에서, 상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하는지 판단하는 동작; 및 상기 검출된 거리가 상기 초점 거리에 대응하지 않는 경우, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 조절할 것을 지시하기 위한 제 2 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 2 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함할 수 있다. In an embodiment, determining whether the detected distance corresponds to a focal length set for the at least one camera; and when the detected distance does not correspond to the focal length, displaying a second UI on the display for instructing to adjust the distance between the at least one camera and the at least one first subject or the second The method may further include performing at least one of outputting a UI as the voice message.
일 실시예에서, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 제 2 피사체의 구도에 대응하지 않는 경우, 상기 적어도 하나의 제 1 피사체의 구도가 상기 적어도 하나의 제 2 피사체의 구도에 대응하도록 상기 적어도 하나의 카메라의 촬영 각도를 변경할 것을 지시하기 위한 제 3 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 3 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함할 수 있다. In an embodiment, as a result of comparing the preview image and the reference image, when the composition of the at least one first object in the preview image does not correspond to the composition of the at least one second object in the reference image, the at least Displaying a third UI on the display for instructing to change the shooting angle of the at least one camera so that the composition of one first subject corresponds to the composition of the at least one second object or the third UI The method may further include performing at least one of outputting the voice message.
일 실시예에서, 상기 촬영 조건이 만족되었는지 여부를 판단하는 동작은, 상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하고, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 피사체의 제 2 구도에 대응하는 경우, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족된 것으로 판단하는 동작을 포함할 수 있다.In an embodiment, the determining whether the shooting condition is satisfied may include determining whether the detected distance corresponds to a focal length set for the at least one camera, and a comparison result of the preview image and the reference image, the preview and determining that a shooting condition for the at least one camera is satisfied when the composition of the at least one first subject in the image corresponds to the second composition of the at least one subject in the reference image .
일 실시예에서, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되고 상기 적어도 하나의 카메라의 개수가 복수개인 경우, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 위치 또는 시선 방향 중 적어도 하나를 검출하는 동작, 상기 검출된 위치 또는 시선 방향 중 적어도 하나를 기반으로, 복수개의 카메라들 중 상기 적어도 하나의 제 1 피사체에 대한 이미지를 수집할 적어도 하나의 카메라를 선택하는 동작, 및 상기 선택된 적어도 하나의 카메라를 지시하기 위한 제 4 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 4 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함할 수 있다. In an embodiment, when the shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural, at least one of a position or a gaze direction of the at least one first subject in the preview image is detected selecting at least one camera for collecting an image of the at least one first object from among a plurality of cameras based on at least one of the detected position and the gaze direction, and the selected at least one The method may further include performing at least one of displaying a fourth UI for instructing a camera on the display or outputting the fourth UI as the voice message.
일 실시예에서, 상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지 중 사용자에 의해 선택된 사용자 선호 이미지를 상기 기준 이미지로서 저장하는 동작, 또는 상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지를 분석하여 가장 빈번히 사용된 구도 정보를 갖는 이미지를 식별하고, 상기 식별된 이미지를 상기 기준 이미지로서 저장하는 동작을 더 포함할 수 있다. In one embodiment, the operation of storing a user preference image selected by a user from among the at least one image collected by the at least one camera as the reference image, or the at least one image collected by the at least one camera The method may further include analyzing an image having the most frequently used composition information by analyzing and storing the identified image as the reference image.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.The electronic device according to various embodiments disclosed in this document may have various types of devices. The electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device. The electronic device according to the embodiment of the present document is not limited to the above-described devices.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.The various embodiments of this document and terms used therein are not intended to limit the technical features described in this document to specific embodiments, but it should be understood to include various modifications, equivalents, or substitutions of the embodiments. In connection with the description of the drawings, like reference numerals may be used for similar or related components. The singular form of the noun corresponding to the item may include one or more of the item, unless the relevant context clearly dictates otherwise. As used herein, "A or B", "at least one of A and B", "at least one of A or B", "A, B or C", "at least one of A, B and C", and "A , B, or C," each of which may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof. Terms such as "first", "second", or "first" or "second" may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다. The term “module” used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit. can be used as A module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions. For example, according to an embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서,'비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). may be implemented as software (eg, the program 140) including For example, the processor (eg, the processor 120 ) of the device (eg, the electronic device 101 ) may call at least one of the one or more instructions stored from the storage medium and execute it. This makes it possible for the device to be operated to perform at least one function according to the called at least one command. The one or more instructions may include code generated by a compiler or code executable by an interpreter. The device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is different from the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product). Computer program products may be traded between sellers and buyers as commodities. The computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play Store™) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones). In the case of online distribution, at least a portion of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.According to various embodiments, each component (eg, a module or a program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have. According to various embodiments, one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added. Alternatively or additionally, a plurality of components (eg, a module or a program) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. . According to various embodiments, operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. , or one or more other operations may be added.

Claims (15)

  1. 전자 장치에 있어서,In an electronic device,
    메모리;Memory;
    디스플레이;display;
    음향 출력부;sound output unit;
    상기 디스플레이의 하부에 배치된 적어도 하나의 카메라; 및at least one camera disposed under the display; and
    상기 메모리, 상기 디스플레이, 및 상기 적어도 하나의 카메라와 작동적으로 연결된 적어도 하나의 프로세서를 포함하며,at least one processor operatively coupled to the memory, the display, and the at least one camera;
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하고,detecting a distance between the at least one camera and the at least one first subject,
    상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 상기 메모리에 저장된 기준 이미지를 비교하고,comparing a preview image of the at least one first subject collected by the at least one camera with a reference image stored in the memory;
    상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하고,determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image;
    상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 사용자 인터페이스(user interface: UI)를 상기 디스플레이 또는 상기 음향 출력부 중 하나를 통해 제공하도록 설정된 전자 장치. An electronic device configured to provide a user interface (UI) for instructing shooting through the at least one camera through one of the display or the sound output unit when the shooting condition is satisfied.
  2. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 메모리에 저장된 이미지 내 피사체의 크기 별 거리 정보, 상기 디스플레이의 하부에 배치된 센서로부터 출력된 신호가 상기 적어도 하나의 피사체에 반사되어 상기 센서로 입력될 때까지 소요된 시간, 또는 상기 적어도 하나의 카메라가 복수개인 경우 복수개의 카메라들에 의해 획득된 상기 적어도 하나의 피사체의 스테레오스코픽 이미지들의 시차 정보 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 검출하도록 설정된 전자 장치.Distance information for each size of the subject in the image stored in the memory, the time it takes for a signal output from the sensor disposed below the display to be reflected by the at least one subject and input to the sensor, or the at least one To detect a distance between the at least one camera and the at least one first subject based on at least one of parallax information of the stereoscopic images of the at least one subject acquired by the plurality of cameras when there are a plurality of cameras set electronics.
  3. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하는지 판단하고,determining whether the detected distance corresponds to a focal length set for the at least one camera;
    상기 검출된 거리가 상기 초점 거리에 대응하지 않는 경우, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 조절할 것을 지시하기 위한 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정된 전자 장치.When the detected distance does not correspond to the focal length, a UI for instructing to adjust the distance between the at least one camera and the at least one first subject is provided through at least one of the display or the sound output unit An electronic device set up to do so.
  4. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 제 2 피사체의 구도에 대응하지 않는 경우, 상기 적어도 하나의 제 1 피사체의 구도가 상기 적어도 하나의 제 2 피사체의 구도에 대응하도록 상기 적어도 하나의 카메라의 촬영 각도를 변경할 것을 지시하는 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정된 전자 장치.As a result of comparing the preview image and the reference image, when the composition of the at least one first object in the preview image does not correspond to the composition of the at least one second object in the reference image, the at least one first object The electronic device is set to provide a UI instructing to change the shooting angle of the at least one camera so that the composition of the at least one second object corresponds to the composition of the at least one second subject through at least one of the display or the sound output unit.
  5. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하고, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 피사체의 제 2 구도에 대응하는 경우, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족된 것으로 판단하도록 설정된 전자 장치.The detected distance corresponds to a focal length set for the at least one camera, and as a result of comparing the preview image and the reference image, the composition of the at least one first object in the preview image is at least one in the reference image. The electronic device is set to determine that the shooting condition for the at least one camera is satisfied when the second composition of the subject of .
  6. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되고 상기 적어도 하나의 카메라의 개수가 복수개인 경우, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 위치 또는 제 1 피사체의 시선 방향 중 적어도 하나를 검출하고, When the shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural, detecting at least one of a position of the at least one first subject in the preview image or a gaze direction of the first subject, ,
    상기 검출된 위치 또는 시선 방향 중 적어도 하나를 기반으로, 복수개의 카메라들 중 상기 적어도 하나의 제 1 피사체에 대한 이미지를 수집할 적어도 하나의 카메라를 선택하고,selecting at least one camera for collecting an image of the at least one first subject from among a plurality of cameras based on at least one of the detected position and the gaze direction;
    상기 선택된 적어도 하나의 카메라를 지시하기 위한 UI를 상기 디스플레이 또는 상기 음향 출력부 중 적어도 하나를 통해 제공하도록 설정된 전자 장치.An electronic device configured to provide a UI for instructing the selected at least one camera through at least one of the display and the sound output unit.
  7. 제1항에 있어서,According to claim 1,
    상기 적어도 하나의 프로세서는,the at least one processor,
    상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지 중 사용자에 의해 선택된 사용자 선호 이미지를 상기 기준 이미지로서 상기 메모리에 저장하거나,storing a user preference image selected by a user among at least one image collected by the at least one camera as the reference image in the memory;
    상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지를 분석하여 가장 빈번히 사용된 구도 정보를 갖는 이미지를 식별하고, 상기 식별된 이미지를 상기 기준 이미지로서 상기 메모리에 저장하도록 설정된 전자 장치.an electronic device configured to analyze at least one image collected by the at least one camera to identify an image having the most frequently used composition information, and to store the identified image as the reference image in the memory.
  8. 전자 장치에서 사용자 인터페이스(user interface: UI)를 제공하는 방법에 있어서,A method of providing a user interface (UI) in an electronic device, the method comprising:
    디스플레이의 하부에 배치된 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작;detecting a distance between at least one camera disposed under the display and at least one first subject;
    상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 미리 저장된 기준 이미지를 비교하는 동작;comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image;
    상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하는 동작; 및determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and
    상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 제 1 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 1 UI를 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 포함하는 방법.When the shooting condition is satisfied, performing at least one of displaying a first UI for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message. How to.
  9. 제8항에 있어서,9. The method of claim 8,
    상기 거리를 검출하는 동작은,The operation of detecting the distance is,
    상기 메모리에 저장된 이미지 내 피사체의 크기 별 거리 정보, 상기 디스플레이의 하부에 배치된 센서로부터 출력된 신호가 상기 적어도 하나의 피사체에 반사되어 상기 센서로 입력될 때까지 소요된 시간, 또는 상기 적어도 하나의 카메라가 복수개인 경우 복수개의 카메라들에 의해 획득된 상기 적어도 하나의 피사체의 스테레오스코픽 이미지들의 시차 정보 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작을 포함하는 방법.Distance information for each size of the subject in the image stored in the memory, the time it takes for a signal output from the sensor disposed below the display to be reflected by the at least one subject and input to the sensor, or the at least one When there are a plurality of cameras, the distance between the at least one camera and the at least one first subject is detected based on at least one of parallax information of the stereoscopic images of the at least one subject acquired by the plurality of cameras How to include an action.
  10. 제8항에 있어서,9. The method of claim 8,
    상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하는지 판단하는 동작; 및determining whether the detected distance corresponds to a focal length set for the at least one camera; and
    상기 검출된 거리가 상기 초점 거리에 대응하지 않는 경우, 상기 적어도 하나의 카메라와 상기 적어도 하나의 제 1 피사체 간의 거리를 조절할 것을 지시하기 위한 제 2 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 2 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함하는 방법.When the detected distance does not correspond to the focal length, displaying a second UI on the display for instructing to adjust the distance between the at least one camera and the at least one first object or the second UI The method further comprising the operation of performing at least one of the operation of outputting as the voice message.
  11. 제8항에 있어서,9. The method of claim 8,
    상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 제 2 피사체의 구도에 대응하지 않는 경우, 상기 적어도 하나의 제 1 피사체의 구도가 상기 적어도 하나의 제 2 피사체의 구도에 대응하도록 상기 적어도 하나의 카메라의 촬영 각도를 변경할 것을 지시하기 위한 제 3 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 3 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함하는 방법.As a result of comparing the preview image and the reference image, when the composition of the at least one first object in the preview image does not correspond to the composition of the at least one second object in the reference image, the at least one first object Displaying a third UI on the display for instructing to change the shooting angle of the at least one camera so that the composition of the at least one second object corresponds to the composition of the at least one second object or outputting the third UI as the voice message The method further comprising the operation of performing at least one of the operations to do.
  12. 제8항에 있어서,9. The method of claim 8,
    상기 촬영 조건이 만족되었는지 여부를 판단하는 동작은,The operation of determining whether the shooting condition is satisfied,
    상기 검출된 거리가 상기 적어도 하나의 카메라에 대해 설정된 초점 거리에 대응하고, 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 구도가 상기 기준 이미지 내의 적어도 하나의 피사체의 제 2 구도에 대응하는 경우, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족된 것으로 판단하는 동작을 포함하는 방법.The detected distance corresponds to a focal length set for the at least one camera, and as a result of comparing the preview image and the reference image, the composition of the at least one first object in the preview image is at least one in the reference image. and determining that a shooting condition for the at least one camera is satisfied when it corresponds to the second composition of the subject.
  13. 제8항에 있어서,9. The method of claim 8,
    상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되고 상기 적어도 하나의 카메라의 개수가 복수개인 경우, 상기 프리뷰 이미지 내의 상기 적어도 하나의 제 1 피사체의 위치 또는 시선 방향 중 적어도 하나를 검출하는 동작, detecting at least one of a position or a gaze direction of the at least one first subject in the preview image when the shooting condition for the at least one camera is satisfied and the number of the at least one camera is plural;
    상기 검출된 위치 또는 시선 방향 중 적어도 하나를 기반으로, 복수개의 카메라들 중 상기 적어도 하나의 제 1 피사체에 대한 이미지를 수집할 적어도 하나의 카메라를 선택하는 동작, 및selecting at least one camera for collecting an image of the at least one first subject from among a plurality of cameras based on at least one of the detected position and the gaze direction; and
    상기 선택된 적어도 하나의 카메라를 지시하기 위한 제 4 UI를 상기 디스플레이에 표시하는 동작 또는 상기 제 4 UI를 상기 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 더 포함하는 방법.The method further comprising performing at least one of displaying a fourth UI for instructing the selected at least one camera on the display or outputting the fourth UI as the voice message.
  14. 제8항에 있어서,9. The method of claim 8,
    상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지 중 사용자에 의해 선택된 사용자 선호 이미지를 상기 기준 이미지로서 저장하는 동작, 또는 storing a user preference image selected by a user from among at least one image collected by the at least one camera as the reference image; or
    상기 적어도 하나의 카메라에 의해 수집된 적어도 하나의 이미지를 분석하여 가장 빈번히 사용된 구도 정보를 갖는 이미지를 식별하고, 상기 식별된 이미지를 상기 기준 이미지로서 저장하는 동작을 더 포함하는 방법.and analyzing the at least one image collected by the at least one camera to identify an image having the most frequently used composition information, and storing the identified image as the reference image.
  15. 명령들을 저장하고 있는 비일시적 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, A non-transitory storage medium storing instructions, wherein the instructions are configured to cause the at least one processor to perform at least one operation when executed by the at least one processor, the at least one operation comprising:
    디스플레이의 하부에 배치된 적어도 하나의 카메라와 적어도 하나의 제 1 피사체 간의 거리를 검출하는 동작;detecting a distance between at least one camera disposed under the display and at least one first subject;
    상기 적어도 하나의 카메라에 의해 수집된 상기 적어도 하나의 제 1 피사체에 대한 프리뷰 이미지와 미리 저장된 기준 이미지를 비교하는 동작;comparing a preview image of the at least one first subject collected by the at least one camera with a pre-stored reference image;
    상기 검출된 거리 또는 상기 프리뷰 이미지와 상기 기준 이미지의 비교 결과 중 적어도 하나를 기반으로, 상기 적어도 하나의 카메라에 대한 촬영 조건이 만족되었는지 여부를 판단하는 동작; 및determining whether a shooting condition for the at least one camera is satisfied based on at least one of the detected distance or a comparison result of the preview image and the reference image; and
    상기 촬영 조건이 만족된 경우 상기 적어도 하나의 카메라를 통한 촬영을 지시하기 위한 제 1 사용자 인터페이스(user interface: UI)를 상기 디스플레이에 표시하는 동작 또는 상기 제 1 UI를 음성 메시지로 출력하는 동작 중 적어도 하나를 수행하는 동작을 포함하는 저장 매체.When the shooting condition is satisfied, at least one of displaying a first user interface (UI) for instructing shooting through the at least one camera on the display or outputting the first UI as a voice message A storage medium comprising an action for performing one.
PCT/KR2022/000700 2021-03-12 2022-01-14 Method, device, and storage medium for providing user interface WO2022191407A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0032412 2021-03-12
KR1020210032412A KR20220127967A (en) 2021-03-12 2021-03-12 Method, apparatus and storage medium for providing user interface

Publications (1)

Publication Number Publication Date
WO2022191407A1 true WO2022191407A1 (en) 2022-09-15

Family

ID=83226903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000700 WO2022191407A1 (en) 2021-03-12 2022-01-14 Method, device, and storage medium for providing user interface

Country Status (2)

Country Link
KR (1) KR20220127967A (en)
WO (1) WO2022191407A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109519A (en) * 2007-06-13 2008-12-17 삼성전자주식회사 Device and method for image photographing
KR20120064545A (en) * 2010-12-09 2012-06-19 한국전자통신연구원 Video communicating apparatus having function of eye-to-eye communication and method thereof
KR20160043690A (en) * 2014-10-14 2016-04-22 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20200005060A (en) * 2018-07-05 2020-01-15 십일번가 주식회사 A method for image searching using an captured image based on guidelines and an apparatus therefor
US10768356B1 (en) * 2019-05-10 2020-09-08 Wuhan China Star Optoelectronics Technology Co., Ltd. Panel device for under-display camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080109519A (en) * 2007-06-13 2008-12-17 삼성전자주식회사 Device and method for image photographing
KR20120064545A (en) * 2010-12-09 2012-06-19 한국전자통신연구원 Video communicating apparatus having function of eye-to-eye communication and method thereof
KR20160043690A (en) * 2014-10-14 2016-04-22 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR20200005060A (en) * 2018-07-05 2020-01-15 십일번가 주식회사 A method for image searching using an captured image based on guidelines and an apparatus therefor
US10768356B1 (en) * 2019-05-10 2020-09-08 Wuhan China Star Optoelectronics Technology Co., Ltd. Panel device for under-display camera

Also Published As

Publication number Publication date
KR20220127967A (en) 2022-09-20

Similar Documents

Publication Publication Date Title
WO2022030855A1 (en) Electronic device and method for generating image by applying effect to subject and background
WO2022108235A1 (en) Method, apparatus, and storage medium for providing slow shutter
WO2022092706A1 (en) Method for taking photograph by using plurality of cameras, and device therefor
WO2022149654A1 (en) Electronic device for performing image stabilization, and operating method therefor
WO2019066370A1 (en) Electronic device for controlling camera on basis of external light, and control method therefor
WO2022235075A1 (en) Electronic device and operation method thereof
WO2022244970A1 (en) Image capture method of electronic device, and electronic device therefor
WO2022196993A1 (en) Electronic device and method for capturing image by using angle of view of camera module
WO2022245129A1 (en) Object tracking method and electronic apparatus therefor
WO2022191407A1 (en) Method, device, and storage medium for providing user interface
WO2022196916A1 (en) Method, device, and storage medium for user authentication
WO2022031050A1 (en) Electronic device and method for generating image
WO2022240186A1 (en) Image distortion correction method and electronic device therefor
WO2024117590A1 (en) Electronic device for determining image view area and operation method therefor
WO2022250344A1 (en) Electronic device comprisng image sensor and dynamic vision sensor, and operating method therefor
WO2022025574A1 (en) Electronic device comprising image sensor and image signal processor, and method therefor
WO2022245037A1 (en) Electronic device including image sensor and dynamic vison sensor, and operation method thereof
WO2022092607A1 (en) Electronic device comprising image sensor and operation method of same
WO2022225248A1 (en) Method and electronic device for image stabilization during image capturing
WO2022245148A1 (en) Image processing method and electronic device therefor
WO2022203355A1 (en) Electronic device including plurality of cameras
WO2021251631A1 (en) Electronic device including focus adjustment function and method thereof
WO2022231270A1 (en) Electronic device and image processing method therefor
WO2024080767A1 (en) Electronic device for acquiring image by using camera, and operation method thereof
WO2022197036A1 (en) Measurement method using ar, and electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22767304

Country of ref document: EP

Kind code of ref document: A1