WO2024096494A1 - 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법 - Google Patents

이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2024096494A1
WO2024096494A1 PCT/KR2023/017038 KR2023017038W WO2024096494A1 WO 2024096494 A1 WO2024096494 A1 WO 2024096494A1 KR 2023017038 W KR2023017038 W KR 2023017038W WO 2024096494 A1 WO2024096494 A1 WO 2024096494A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processor
visual object
frame
camera
Prior art date
Application number
PCT/KR2023/017038
Other languages
English (en)
French (fr)
Inventor
김승훈
박지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220171022A external-priority patent/KR20240067195A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024096494A1 publication Critical patent/WO2024096494A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the descriptions below relate to an electronic device and method for acquiring image data based on compositing images.
  • an electronic device can acquire image data through various imaging techniques. For example, an electronic device can generate image data by compressing an image captured over a long period of time into a relatively short period of time. Since the generated image data is composed of a relatively short time, it can be composed of a smaller capacity than a regular video of the same shooting time.
  • an electronic device may include a camera including an image sensor, memory, and a processor operatively connected to the camera and the memory.
  • the processor may be set to identify the maximum exposure time of the camera as a first time period based on the capability information of the image sensor.
  • the processor may be set to acquire a first image using the camera based on an exposure time set as the first time period.
  • the processor may identify a second image constituting the first frame stored in the memory.
  • the processor may be configured to obtain a third image based on combining the first image and the second image.
  • the processor is configured to obtain image data consisting of a plurality of frames including the first frame and the second frame, based on configuring the third image as a second frame that is the next frame of the first frame. can be set.
  • the method of the electronic device may include identifying the maximum exposure time of the camera as a first time period based on capability information of the image sensor of the camera of the electronic device. You can.
  • the method may include acquiring a first image using the camera based on an exposure time set as the first time section.
  • the method may include identifying a second image constituting the first frame stored in the memory of the electronic device.
  • the method may include obtaining a third image based on combining the first image and the second image.
  • the method is based on configuring the third image as a second frame, which is the next frame of the first frame, to obtain image data consisting of a plurality of frames including the first frame and the second frame.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • Figure 2 shows examples of simplified block diagrams of an electronic device, according to one embodiment.
  • FIG 3 shows an example of operation of an electronic device, according to an embodiment.
  • FIG. 4 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG. 5 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • 6A, 6B, and 6C illustrate examples of operations of an electronic device, according to an embodiment.
  • FIG. 7A and 7B show examples of operations of an electronic device, according to an embodiment.
  • FIG. 8 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG. 9 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG 10 shows an example of operation of an electronic device, according to an embodiment.
  • FIG. 11 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG. 12 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG. 13A and 13B show examples of operations of an electronic device, according to an embodiment.
  • FIG. 14 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • Figure 15 shows an example of operation of an electronic device, according to an embodiment.
  • FIG. 16 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • FIG. 17A shows an example of operation of an electronic device according to an embodiment.
  • FIG. 17B shows an example of an operation of an electronic device according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted, or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • coprocessor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access to multiple terminals (massive machine type communications (mMTC)), or ultra-reliable and low-latency (URLLC). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing.
  • MIMO massive array multiple-input and multiple-output
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199). According to one embodiment, the wireless communication module 192 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • an electronic device may obtain image data by compressing images (or videos) captured over a long period of time into a short period of time.
  • the electronic device may acquire image data including a visual object representing an external object (eg, a star).
  • An electronic device can acquire image data representing the trajectory of an external object (eg, a star) based on compositing images taken over a long period of time.
  • Figure 2 shows examples of simplified block diagrams of an electronic device, according to one embodiment.
  • the electronic device 200 may include some or all of the components of the electronic device 101 shown in FIG. 1 .
  • electronic device 200 may correspond to electronic device 101 in FIG. 1 .
  • the electronic device 200 may include a processor 210, a camera 220, and/or a memory 230.
  • the electronic device 200 may include at least one of a processor 210, a camera 220, and a memory 230.
  • the processor 210, camera 220, and memory 230 may be omitted depending on the embodiment.
  • the electronic device 200 may include a processor 210.
  • the processor 210 may be operatively or operably coupled with or connected with the camera 220 and the memory 230 . That the processor 210 is operatively coupled or connected to the camera 220 and the memory 230 may mean that the processor 210 can control the camera 220 and the memory 230.
  • the processor 210 may control the camera 220 and the memory 230. Camera 220 and memory 230 may be controlled by processor 210.
  • the processor 210 may be comprised of at least one processor.
  • processor 210 may include at least one processor.
  • processor 210 may correspond to processor 120 of FIG. 1 .
  • the processor 210 may include hardware components for processing data based on one or more instructions.
  • Hardware components for processing data may include, for example, an arithmetic and logic unit (ALU), a field programmable gate array (FPGA), and/or a central processing unit (CPU).
  • ALU arithmetic and logic unit
  • FPGA field programmable gate array
  • CPU central processing unit
  • the electronic device 200 may include a camera 220.
  • the camera 220 may be used to acquire images or video data about an external object.
  • photo data (and/or photo) captured using the camera 220 may refer to one image obtained from the camera 220.
  • image data captured using the camera 220 may mean a sequence of a plurality of images acquired from the camera 220 according to a designated frame rate.
  • camera 220 may correspond at least in part to camera module 180 of FIG. 1 .
  • camera 220 may include at least one sensor. At least one sensor may include an image sensor (or light sensor). An image sensor may be used to acquire images based on processing data acquired through camera 220 (e.g., a lens of camera 220). The image sensor can convert light received through the lens of the camera 220 into an electrical signal.
  • the image sensor may include at least one of a charge-coupled device (CCD) image sensor and a complementary metal oxide semiconductor (CMOS) image sensor.
  • the processor 210 may identify the maximum exposure time of the camera 220 based on capability information of the image sensor.
  • the electronic device 200 may include a memory 230.
  • memory 230 may be used to store one or more programs.
  • One or more programs may include instructions that, when executed by the processor 210 of the electronic device 200, cause the electronic device 200 to perform a predefined operation.
  • memory 230 may correspond to memory 130 of FIG. 1 .
  • memory 230 may be a volatile memory unit or units.
  • memory 230 may be a non-volatile memory unit or units.
  • memory 230 may be another form of computer-readable medium, such as a magnetic or optical disk.
  • the memory 230 may store data obtained based on an operation performed by the processor 210 (eg, an algorithm execution operation).
  • FIG. 3 shows an example of operation of an electronic device, according to an embodiment. The operations of FIG. 3 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 .
  • the processor 210 of the electronic device 200 may acquire hyper-lapse (or time-lapse) image data.
  • Hyperlapse video data refers to video data obtained by processing at least one image (or frame) captured over a relatively long time through a camera (e.g., camera 220 in FIG. 2) to be played back over a relatively short time. You can.
  • the processor 210 may obtain hyperlapse image data by processing at least one image (or frame) captured over a relatively long time through the camera 220 to be played back over a relatively short time.
  • the processor 210 may set the exposure time of the camera 220 to the time section 301.
  • the processor 210 may process data acquired using the camera 220 during the time interval 302, based on the exposure time set as the time interval 301.
  • the processor 210 may obtain the first image by processing the data during the time interval 302.
  • the processor 210 may set the first image as the first frame 310-1.
  • time interval 302 may include a waiting time to reset the image sensor to read the next frame.
  • the time section 302 may include a lead-out time for converting light into an electrical signal or outputting the converted electrical signal.
  • the time interval 302 may be changed based on the time interval 301.
  • the processor 210 may be configured with a plurality of frames 310, such as the first frame 310-1.
  • the plurality of frames 310 may be composed of image data (eg, hyperlapse image data).
  • the processor 210 may configure one frame per time section 303 including the time section 301 and the time section 302. For example, if the time interval 303 is 0.5 seconds, one frame may be configured per 0.5 seconds.
  • image data consisting of a plurality of frames 310 may be set to be played at 30 frames per second.
  • video data may be played at 30 frames per second (fps). Accordingly, an image played for 1 second in video data may represent an actual time of 15 seconds.
  • the processor 210 can configure image data at 15 times the speed.
  • the processor 210 may reset the image sensor included in the camera 220 after the time interval 303 has elapsed.
  • the processor 210 may obtain a second image that is distinct from the first image and reset the image sensor to set the second image as the frame 310-2.
  • the processor 210 may change the exposure time of the camera 220.
  • the processor 210 may increase the amount of light for acquiring an image by setting the exposure time of the camera 220 to be long in a dark environment.
  • the processor 210 may change light sensitivity (eg, ISO (international standard organization) value).
  • the processor 210 may set the brightness value of the acquired image to be high by setting the light sensitivity of the camera 220 to be high in a dark environment.
  • FIG. 4 is a flowchart illustrating the operation of an electronic device, according to an embodiment. The operations of FIG. 4 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 . Operations 410 to 450 may be related to operations for acquiring image data.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify the maximum exposure time of the camera 220 as the first time section based on capability information of the image sensor.
  • the processor 210 may identify capability information of the image sensor of the camera 220.
  • the processor 210 may identify the maximum exposure time of the camera 220 that the image sensor can handle.
  • the processor 210 may identify the maximum exposure time of the camera 220 as the first time period.
  • the processor 210 may acquire the first image based on the exposure time set as the first time section. For example, the processor 210 may acquire the first image using the camera 220 based on the exposure time set as the first time.
  • the processor 210 may set the exposure time of the camera 220 to the first time section, which is the maximum exposure time of the camera 220.
  • the processor 210 processes the data acquired using the camera 220 during a second time interval that is distinct from the first time interval, based on the exposure time set as the first time interval, to obtain the first image.
  • the processor 210 may acquire the first image while generating (or acquiring) image data consisting of a plurality of frames.
  • the processor 210 may obtain image data composed of a plurality of frames based on configuring one frame per third time section including the first time section and the second time section.
  • video data may be set to be played at 30 frames per second.
  • video data may be set to 30 frames per second (fps).
  • the processor 210 may identify the second image constituting the first frame. For example, the processor 210 may acquire the second image before acquiring the first image. The processor 210 may configure the second image as a first frame among a plurality of frames. Depending on the embodiment, the second image may be a composite image of a plurality of images. Depending on the embodiment, the second image may be acquired according to the same or similar operations as operations 410 to 420.
  • the processor 210 may acquire a third image.
  • the processor 210 may obtain a third image based on combining the first image and the second image.
  • the processor 210 may obtain a third image by combining a second image composed of the first frame and a first image acquired after the first frame is composed. For example, the processor 210 may identify a first visual object corresponding to an external object (eg, a star) among a plurality of objects included in the first image. The processor 210 may identify a second visual object corresponding to an external object (eg, a star) among a plurality of objects included in the second image. The processor 210 may obtain a third image including the first visual object and the second visual object based on combining the first image and the second image. For example, the third image may represent the trajectory of an external object.
  • an external object eg, a star
  • the processor 210 may obtain a third image including the first visual object and the second visual object based on combining the first image and the second image. For example, the third image may represent the trajectory of an external object.
  • the processor 210 may acquire image data consisting of a plurality of frames including a first frame and a second frame. For example, the processor 210 obtains image data consisting of a plurality of frames including the first frame and the second frame, based on configuring the third image as a second frame, which is the next frame of the first frame. can do.
  • the processor 210 may configure the third image as a second frame, which is the next frame of the first frame.
  • the processor 210 creates a third image that is a composite of the first image and the second image so that the trajectory of an external object (e.g., a star) can be displayed as the next frame of the first frame composed of the second image. It can be composed of 2 frames.
  • the trajectory of an external object e.g, a star
  • the processor 210 may configure the third image as a second frame, which is the next frame of the first frame.
  • an external object e.g., a star
  • a third time interval that includes the first and second time intervals is displayed (or played) sequentially.
  • the processor 210 may acquire the fourth image using the camera 220 based on the exposure time set for the first time period. .
  • the processor 210 may configure the fourth image as a third frame, which is the next frame of the second frame, based on identifying that the brightness value for the fourth image is greater than or equal to a specified brightness value.
  • the processor 210 may refrain from combining the fourth image with the third image constituting the second frame based on identifying that the brightness value for the fourth image is greater than or equal to a specified brightness value.
  • the processor 210 may configure the fourth image into a third frame without combining the fourth image with the third image.
  • the processor 210 may configure the fourth image into a third frame without compositing the fourth image with the third image by resetting the image compositing process.
  • the processor 210 may refrain from combining the second image with the first image based on identifying that the brightness value of the second image is greater than or equal to a specified brightness value.
  • the processor 210 may acquire the fourth image using the camera 220 based on the exposure time set for the first time period. .
  • the processor 210 may store the fifth image obtained based on combining the third image and the fourth image in the memory 230 (or a buffer of the memory 230).
  • the processor 210 may acquire the sixth image using the camera 220 based on the exposure time set as the first time period.
  • the processor 210 may obtain the seventh image based on combining the fifth image and the sixth image.
  • the processor 210 may configure the seventh image as a third frame as the next frame of the second frame.
  • FIG. 5 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • the operations of FIG. 5 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 .
  • Operations 501 to 513 may be related to operations for acquiring (or storing) image data.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify the maximum exposure time of a camera (eg, camera 220 of Figure 2). For example, the processor 210 may identify the maximum exposure time of the camera 220 based on capability information of the image sensor included in the camera 220. The processor 210 may determine (or identify) the speed of the image data compared to real time, based on the maximum exposure time of the camera 220.
  • a camera eg, camera 220 of Figure 2
  • the processor 210 may determine (or identify) the speed of the image data compared to real time, based on the maximum exposure time of the camera 220.
  • the processor 210 may identify whether acquisition of image data begins. For example, the processor 210 may start acquiring image data based on user input. The processor 210 may identify whether a user input to start acquiring image data is received.
  • the processor 210 may perform operation 501.
  • the processor 210 may wait for a user input to start acquiring image data.
  • the processor 210 may set a frame counter. For example, the processor 210 may set a frame counter based on when acquisition of image data begins. Processor 210 may set the frame counter to 0.
  • the processor 210 may execute (or activate) a video codec to perform an image synthesis process.
  • processor 210 may acquire an image.
  • the processor 210 may acquire an image based on the exposure time of the camera 220 set to the maximum exposure time.
  • Operation 504 may correspond to operation 420 of FIG. 4 .
  • processor 210 may identify whether the frame counter is zero. The processor 210 identifies whether it is the first frame for acquiring image data. It is possible to identify whether the frame counter is 0.
  • processor 210 may identify whether a reset of the image compositing process is needed. For example, processor 210 may identify whether a reset of the image compositing process is needed based on identifying that the frame counter is non-zero.
  • the processor 210 may determine whether a reset of the image composition process is necessary according to a specified condition. For example, the processor 210 may determine that a reset of the image compositing process is necessary based on identifying that the brightness value of the acquired image is greater than or equal to a specified brightness value.
  • the processor 210 may store the acquired image in a buffer.
  • processor 210 may store the acquired image in a buffer configured in memory (e.g., memory 230 in FIG. 2) based on identifying that the frame counter is 0.
  • processor 210 may store the acquired image in a buffer configured in memory 230 based on identifying that a reset of the image process is needed.
  • the processor 210 may composite the acquired image with the image stored in the buffer. For example, processor 210 may composite an acquired image with an image stored in a buffer based on identifying that a reset of the image compositing process is not necessary. The processor 210 may store the synthesized image in a buffer.
  • processor 210 may increment the frame counter. For example, processor 210 may increase the frame counter by 1. For example, the processor 210 may store the acquired image in the buffer or the synthesized image in the buffer, and then increase the frame counter by 1.
  • the processor 210 may identify whether the acquired image (or synthesized image) is an image to be composed of image data. For example, the processor 210 may identify whether the acquired image (or synthesized image) is an image to be composed of image data, based on the frame counter.
  • the processor 210 may identify the acquired image as an image to be composed of image data based on the frame counter being an odd number (or an even number). According to one embodiment, the processor 210 may identify the acquired image as an image to be composed of image data based on the frame counter being one of the reference values. According to one embodiment, the processor 210 may change the sampling period based on the number of frame counters. For example, the processor 210 may acquire a designated number of images (or a number according to a sampling period) and then compose one frame by combining the designated number of images.
  • the processor 210 converts the acquired image (or synthesized image) into a frame that constitutes image data. It can be set to .
  • the processor 210 may set the acquired image as a frame that constitutes image data, based on identifying that the acquired image is an image that will be composed of image data.
  • the processor 210 may set the acquired image as one of a plurality of frames constituting image data.
  • the processor 210 may identify whether acquisition of image data is completed. For example, the processor 210 may set the acquired image as a frame constituting image data and then identify whether acquisition of the image data is completed. For example, the processor 210 may identify whether acquisition of image data is terminated based on identifying that the acquired image is not an image to be comprised of image data.
  • the processor 210 may identify whether acquisition of image data is terminated based on whether another user input that is distinct from the user input for starting image data acquisition is received.
  • processor 210 may perform operation 504. For example, processor 210 may acquire another image according to operation 504 to add a frame of image data based on identifying that acquisition of image data is not finished.
  • the processor 210 may store the image data in the memory 230 .
  • the processor 210 may store the image data in the memory 230 based on identifying that acquisition of the image data has ended.
  • the processor 210 may store the image data in the memory 230 based on receiving another user input to end acquisition of the image data.
  • FIGS. 6A to 6C illustrate examples of operations of an electronic device, according to an embodiment.
  • the operations of FIGS. 6A to 6C may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 .
  • the processor 210 may acquire an image 611 within a time interval 601.
  • the processor 210 may set the image 611 as a frame 630-1, which is the first frame among the plurality of frames 630.
  • the processor 210 may store the image 611 in a buffer of memory (eg, memory 230 in FIG. 2).
  • the processor 210 may acquire the image 612 within the time interval 602.
  • the processor 210 may obtain the image 622 by combining the image 612 and the image 611 stored in the buffer.
  • the processor 210 may set the image 622 as a frame 630-2, which is the second frame among the plurality of frames 630.
  • Processor 210 may store image 622 in a buffer of memory 230.
  • the processor 210 may acquire the image 613 within the time interval 603.
  • the processor 210 may obtain the image 623 by combining the image 613 and the image 622 stored in the buffer.
  • the processor 210 may obtain the image 623 by combining the images 611 to 613.
  • the processor 210 may set the image 623 as a frame 630-3, which is the third frame among the plurality of frames 630.
  • the processor 210 may store the image 623 in a buffer of the memory 230.
  • the processor 210 repeats the above-described operation to generate a plurality of frames 630 composed of a plurality of images including the image 611, the image 622, and the image 623. Can be identified (or acquired).
  • the processor 210 may acquire image data consisting of a plurality of frames 630 and store the acquired image data in the memory 230 .
  • the processor 210 may accumulate and synthesize a plurality of images and set the synthesized image as one of a plurality of frames constituting image data.
  • the processor 210 can indicate the trajectory of an external object through image data by setting the synthesized image as one of a plurality of frames constituting data.
  • the processor 210 may acquire an image 611 within a time interval 601.
  • the processor 210 may set the image 611 as a frame 640-1, which is the first frame among the plurality of frames 640.
  • the processor 210 may store the image 611 in a buffer of the memory 230.
  • Processor 210 may acquire image 612 within time interval 602 .
  • the processor 210 may obtain the image 622 by combining the image 612 and the image 611 stored in the buffer.
  • Processor 210 may store image 622 in a buffer of memory 230.
  • the processor 210 may not configure the image 622 as a frame of image data.
  • the processor 210 may configure only odd-numbered acquired images into frames of image data.
  • the processor 210 may acquire the image 613 within the time interval 603.
  • the processor 210 may obtain the image 623 by combining the image 613 and the image 622 stored in the buffer.
  • the processor 210 may obtain the image 623 by combining the images 611 to 613.
  • the processor 210 may set the image 623 as a frame 640-2, which is the second frame among the plurality of frames 640.
  • the processor 210 may store the image 623 in a buffer of the memory 230.
  • the processor 210 repeats the above-described operation to generate a plurality of frames 640 composed of a plurality of images including the image 611, the image 623, and the image 625. Can be identified (or acquired).
  • the processor 210 may acquire image data consisting of a plurality of frames 640 and store the acquired image data in the memory 230 .
  • the processor 210 may set at least some of the acquired images as frames of image data.
  • the processor 210 may indicate the trajectory of an external object through the image data by setting at least some of the acquired images into frames of image data.
  • the processor 210 may acquire an image 611 within a time interval 601.
  • the processor 210 may set the image 611 as a frame 650-1, which is the first frame among the plurality of frames 650.
  • the processor 210 may store the image 611 in a buffer of the memory 230.
  • the processor 210 may acquire the image 612 within the time interval 602.
  • the processor 210 may obtain the image 622 by combining the image 612 and the image 611 stored in the buffer.
  • the processor 210 may set the image 622 as a frame 650-2, which is the second frame among the plurality of frames 650.
  • Processor 210 may store image 622 in a buffer of memory 230.
  • the processor 210 may acquire the image 613 within the time interval 603.
  • Processor 210 may identify a brightness value for image 613.
  • Processor 210 may identify that the brightness value for image 613 is greater than or equal to a specified brightness value.
  • Processor 210 may reset the image compositing process based on identifying that the brightness value for image 613 is greater than or equal to a specified brightness value.
  • the processor 210 may set the image 613 as a frame 650-3, which is the third frame among the plurality of frames 650.
  • the processor 210 may store the image 613 in a buffer of the memory 230.
  • processor 210 can identify image 651 based on compositing image 613 and image 614 acquired within time interval 604.
  • the processor 210 may set the image 651 to a frame 650-4.
  • the processor 210 may store the image 651 in a buffer of the memory 230.
  • the processor 210 may identify the image 652 based on combining the image 651 and the image 615 acquired within the time interval 605.
  • the processor 210 may set the image 652 to a frame 650-5.
  • Processor 210 may store image 652 in a buffer of memory 230.
  • the processor 210 may acquire the image 616 within the time interval 606.
  • Processor 210 may identify brightness values for image 616 .
  • Processor 210 may identify that the brightness value for image 616 is greater than or equal to a specified brightness value.
  • Processor 210 may reset the image compositing process based on identifying that the brightness value for image 616 is greater than or equal to a specified brightness value.
  • Processor 210 may set image 616 to frame 650-6.
  • Processor 210 may store image 616 in a buffer of memory 230.
  • the processor 210 may reset the image compositing process based on identifying that the brightness value for the acquired image is greater than or equal to a specified brightness value.
  • the processor 210 may identify a plurality of frames 650 by resetting the image synthesis process and performing the image synthesis process from the acquired image.
  • FIGS. 7A and 7B show examples of operations of an electronic device, according to an embodiment.
  • the operations of FIGS. 7A and 7B may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 .
  • the processor 210 may set the exposure time of the camera 220 to a time section 701.
  • the time interval 701 may be smaller than the maximum exposure time of the camera 220.
  • the processor 210 may acquire the image 710-1 in the time interval 702 by processing data acquired during the time interval 701.
  • the processor 210 may set the image 710-1 as the first frame among a plurality of frames.
  • the processor 210 may configure one frame during the time interval 703.
  • the processor 210 may acquire the image 710-2 by combining the image 710-1 and the newly acquired image, as in the operation of FIG. 6A.
  • the processor 210 may identify the image 710-n by accumulating and combining the acquired images.
  • the image 710-n may include a visual object 711 representing the trajectory of an external object.
  • the visual object 711 may not display the trajectory of an external object continuously.
  • the processor 210 may set the exposure time of the camera 220 to a time section 704.
  • the time interval 704 may be the maximum exposure time of the camera 220 identified based on capability information of the image sensor of the camera 220.
  • the processor 210 may acquire the image 720-1 in the time interval 705 by processing data acquired during the time interval 704.
  • the processor 210 may set the image 720-1 as the first frame among a plurality of frames.
  • the processor 210 may configure one frame during the time interval 703.
  • the processor 210 may acquire the image 720-2 by combining the image 720-1 and the newly acquired image, as in the operation of FIG. 6A.
  • the processor 210 may identify the image 720-n by accumulating and combining the acquired images.
  • the image 720-n may include a visual object 721 representing the trajectory of an external object.
  • the visual object 721 may continuously display the trajectory of an external object.
  • the processor 210 may set the exposure time of the camera 220 differently within the same time section 703.
  • the processor 210 produces an image (e.g., image 720-n) in which the trajectory of an external object (e.g., a star) is continuously displayed. can be obtained.
  • the processor 210 may identify the maximum exposure time of the camera 220 based on capability information of the image sensor included in the camera 220. Additionally, the processor 210 may set the time for processing data acquired during the exposure time of the camera 220 to the minimum time. For example, the processor 210 may set the exposure time of the camera 220 to the maximum exposure time and set the time for processing data acquired during the exposure time of the camera 220 to the minimum time. In this case, the processor 210 may identify an image in which the trajectory of an external object is continuously displayed.
  • FIG. 8 is a flowchart illustrating the operation of an electronic device, according to an embodiment. The operations of FIG. 8 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2. Operations 810 to 830 may be related to operation 440 of FIG. 4 .
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify that the first image includes a first visual object.
  • the processor 210 may identify that the first image includes a first visual object that corresponds to an external object (eg, a star) and is located at a first location within the first image.
  • an external object eg, a star
  • the processor 210 may identify a first visual object corresponding to an external object (eg, a star) among a plurality of visual objects included in the first image.
  • an external object eg, a star
  • FIGS. 11 and 12 An example of a specific operation for identifying a first visual object among a plurality of visual objects included in the first image will be described later with reference to FIGS. 11 and 12 .
  • processor 210 may identify that the second image includes a second visual object. For example, processor 210 may identify that the second image includes a second visual object that corresponds to an external object (eg, a star) and is located at a second location within the second image.
  • an external object eg, a star
  • the processor 210 may identify that an external object (eg, a star) moves over time.
  • an external object eg, a star
  • an external object may be identified as moving based on the Earth's rotation.
  • the absolute position of the external object does not change, but the external object can be identified as moving due to the rotation of the Earth.
  • It can be described as an external object moving relative to the observer (or electronic device).
  • a camera e.g., camera 220 in FIG. 2 (or electronic device 200 in FIG. 2) is stationary and captures a stationary external area
  • external objects may move over time.
  • the location of the first visual object corresponding to the external object in the first image may be different from the location of the second visual object corresponding to the external object in the second image.
  • the processor 210 may acquire a third image including a first visual object and a second visual object.
  • the processor 210 may obtain a third image including a first visual object and a second visual object based on combining the first image and the second image.
  • the processor 210 may obtain a third image including both the first visual object and the second visual object.
  • the processor 210 may obtain a third image including only the first visual object and the second visual object.
  • the processor 210 selects the remaining visual objects excluding the first visual object among the plurality of visual objects included in the first image and the second visual object among the plurality of visual objects included in the second image. All visual objects other than the object can be removed from the third image.
  • the processor 210 may obtain a third image by removing visual objects that do not correspond to the external object to show only the trajectory of the external object.
  • FIG. 9 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • the operations of FIG. 9 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • Operations 901 to 908 may be related to synthesizing a first image and a second image to represent the trajectory of an external object.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify a first visual object corresponding to an external object within the first image. For example, the processor 210 may identify a plurality of visual objects included in the first image. The processor 210 may identify a first visual object corresponding to an external object based on a plurality of visual objects included in the first image. Detailed operations of the processor 210 for identifying visual objects corresponding to external objects within the image will be described later with reference to FIGS. 11 and 12 .
  • processor 210 may identify whether the second image is stored in the buffer. For example, the processor 210 may identify whether a first image has been acquired to configure the first frame among a plurality of frames constituting image data by identifying whether the second image is stored in the buffer. there is. For example, the processor 210 may identify whether the first image was acquired after the image synthesis process was reset by identifying whether the second image was stored in the buffer.
  • the processor 210 may store the first image in the buffer. For example, processor 210 may store the first image to a buffer based on identifying that the second image is not stored in the buffer of memory 230 . For example, the processor 210 may configure the first image as one frame among a plurality of frames constituting image data.
  • the processor 210 may identify whether compositing of the first and second visual objects is necessary. For example, processor 210 may identify whether compositing of the first visual object and the second visual object is necessary based on identifying that the second image is stored in the buffer.
  • processor 210 may determine, based on identifying that the brightness value of the first image is greater than or equal to a specified brightness value, that the trajectory of the external object is not represented according to the composite of the first visual object and the second visual object. can be identified. Accordingly, the processor 210 may identify whether synthesis of the first visual object and the second visual object is necessary based on the brightness value of the first image.
  • the processor 210 may separate the first image into a luminance channel and a chroma channel.
  • the processor 210 may identify whether synthesis of the first visual object and the second visual object is necessary based on the luminance value of the first image according to the luminance channel.
  • the luminance channel may represent information about the difference in brightness of the first image.
  • the chroma channel may represent information about the color difference between the first images and the first image.
  • the processor 210 may identify whether the trajectory of an external object is represented according to the synthesis of the first visual object and the second visual object. Even if the first visual object is identified as corresponding to an external object (eg, a star), the first visual object may not actually correspond to the external object. Accordingly, the processor 210 compares the characteristics of the first visual object and the characteristics (e.g., size, shape, or position) of the second visual object to identify whether compositing of the first and second visual objects is necessary. can do.
  • processor 210 may identify whether compositing of the first visual object and the second visual object is necessary based on comparing the size of the first visual object and the size of the second visual object. For example, processor 210 may determine the first visual object and the second visual object based on comparing the first location of the first visual object within the first image and the second location of the second visual object within the second image. It is possible to identify whether compositing of visual objects is necessary.
  • the processor 210 may reduce the brightness value of the second visual object according to the first ratio.
  • the processor 210 may reduce the brightness value of the second visual object in the second image obtained before the first image to indicate the trajectory of the external object.
  • the processor 210 may reduce the brightness value of the second visual object according to the first ratio.
  • the processor 210 may reduce the brightness value of the second visual object according to the second ratio.
  • the second ratio may be set to be larger than the first ratio.
  • the processor 210 may reduce the brightness value of the second visual object of the second image obtained before the first image according to a relatively larger ratio than the brightness value of the first visual object. According to the synthesis of the first visual object and the second visual object, if the trajectory of the external object is not expressed, the processor 210 may perform synthesis of the first image and the second image, excluding the second visual object. there is. Accordingly, the processor 210 may reduce the brightness value of the second visual object according to a second ratio that is greater than the first ratio.
  • the processor 210 may composite the first image and the second image. For example, in operation 905, the processor 210 may reduce the brightness value of the first visual object in the first image according to a first ratio and then combine the first image and the second image. For example, in operation 906, the processor 210 may reduce the brightness value of the second visual object in the second image according to a second ratio and then combine the first image and the second image.
  • processor 210 may acquire a third image.
  • the processor 210 may obtain a third image based on combining the first image and the second image.
  • the third image may include a first visual object and a second visual object.
  • the brightness value of the second visual object included in the third image may be reduced by a first ratio or a second ratio compared to the brightness value of the second visual object included in the second image.
  • the processor 210 may separate the first image into a luminance channel and a chroma channel.
  • the processor 210 may separate the second image into a luminance channel and a chroma channel.
  • the processor 210 may identify the synthesis ratio based on a first value representing the luminance of the first image and a second value representing the luminance of the second image.
  • the processor 210 may synthesize the luminance channel of the first image and the luminance channel of the second image based on the identified synthesis ratio.
  • the processor 210 may synthesize the chroma channel of the first image and the chroma channel of the second image based on the identified synthesis ratio.
  • the synthesis ratio for synthesizing the chroma channel of the first image and the chroma channel of the second image may be set differently from the synthesis ratio for synthesizing the luminance channel of the first image and the luminance channel of the second image. there is.
  • FIG. 10 shows an example of operation of an electronic device, according to an embodiment. The operations of FIG. 10 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • Image 1010 may include visual objects 1011 to 1015.
  • the processor 210 may identify the visual objects 1011 to 1015 as all corresponding to stars. In fact, even when only the visual objects 1011 to 1013 correspond to stars, the processor 210 can identify the visual objects 1011 to 1015 as all corresponding to stars.
  • visual object 1014 may actually correspond to the lights of a building.
  • the visual object 1015 may actually correspond to the lights of street trees.
  • the processor 210 may acquire the image 1020.
  • the processor 210 may acquire the image 1020 after the image 1010 is acquired. As time passes, the location of the visual object corresponding to the star within image 1020 may change.
  • the processor 210 changes the positions of the visual objects 1021 to 1023 in the image 1020 based on the positions of the visual objects 1011 to 1013 in the image 1010. It can be identified that it has been done.
  • Processor 210 may identify that visual object 1011 and visual object 1021 correspond to the same star.
  • the processor 210 may synthesize the visual object 1011 and the visual object 1021.
  • Processor 210 may identify that visual object 1012 and visual object 1022 correspond to the same star.
  • Processor 210 may synthesize visual object 1012 and visual object 1022.
  • Processor 210 may identify that visual object 1013 and visual object 1023 correspond to the same star.
  • the processor 210 may synthesize the visual object 1013 and the visual object 1023.
  • processor 210 may identify that the location of visual object 1024 within image 1020 is the same as the location of visual object 1014 within image 1010.
  • processor 210 may identify that the location of visual object 1025 within image 1020 is the same as the location of visual object 1015 within image 1010 .
  • Processor 210 may identify that visual object 1024 and visual object 1025 do not correspond to stars.
  • Processor 210 may not synthesize visual object 1014 and visual object 1024.
  • Processor 210 may not synthesize visual object 1015 and visual object 1025.
  • the processor 210 may synthesize the image 1010 and the image 1020.
  • the processor 210 may obtain the image 1030 by combining the image 1010 and the image 1020.
  • Image 1030 may include visual objects 1031 to 1035.
  • the processor 210 may obtain the visual object 1031 based on combining the visual object 1011 and the visual object 1021.
  • the processor 210 may obtain the visual object 1032 based on compositing the visual object 1012 and the visual object 1022.
  • the processor 210 may obtain the visual object 1033 based on combining the visual object 1013 and the visual object 1023.
  • processor 210 may not composite visual object 1014 and visual object 1024.
  • the processor 210 may configure the visual object 1034 to correspond to the visual object 1024.
  • Processor 210 may not synthesize visual object 1015 and visual object 1025.
  • the processor 210 may configure the visual object 1035 to correspond to the visual object 1025.
  • the image 1030 which is a composite of the image 1010 and the image 1020, may not include the visual object 1034 and the visual object 1035.
  • Processor 210 may configure image 1030 to include only star trails.
  • image 1030 may include only visual objects 1031 to 1033.
  • the processor 210 may perform synthesis of the image 1010 and the image 1020 while excluding the visual object 1014, the visual object 1015, the visual object 1024, and the visual object 1025. You can.
  • FIG. 11 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • the operations of FIG. 11 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • Operations 1110 and 1120 may be related to identifying a first visual object corresponding to an external object among a plurality of visual objects included in the first image.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify the shape and brightness value of each of a plurality of visual objects included in the first image. For example, the processor 210 may identify a plurality of visual objects in the first image. The processor 210 may identify the shape and brightness value of each of the plurality of visual objects.
  • the processor 210 may identify a first visual object that satisfies a specified condition among a plurality of visual objects. For example, the processor 210 may identify a first visual object that satisfies a specified condition among the plurality of visual objects, based on the shape and brightness value of each of the plurality of visual objects.
  • the processor 210 may identify a candidate visual object that is one of a plurality of visual objects.
  • the processor 210 may identify the candidate visual object as the first visual object corresponding to the external object, based on identifying that the candidate visual object satisfies a specified condition.
  • processor 210 may identify brightness values of candidate visual objects.
  • the processor 210 may identify the brightness value of the candidate visual object based on the brightness value of at least one pixel constituting the candidate visual object.
  • the processor 210 may identify whether the brightness value of the candidate visual object is within the first range.
  • the processor 210 may identify the candidate visual object as a first visual object corresponding to an external object (eg, a star) based on identifying that the brightness value of the candidate visual object is within a first range.
  • an external object eg, a star
  • processor 210 may identify the shape of a candidate visual object.
  • the processor 210 may identify the ratio of the height to width of the shape of the candidate visual object.
  • the processor 210 may identify whether the ratio of the height to width of the shape of the candidate visual object is within the second range.
  • the processor 210 identifies the candidate visual object as a first visual object corresponding to an external object (e.g., a star) based on identifying that the ratio of the height to width of the shape of the candidate visual object is within the second range. can do.
  • an external object e.g., a star
  • FIG. 12 is a flowchart illustrating the operation of an electronic device, according to an embodiment.
  • the operations of FIG. 12 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • Operations 1201 and 1206 may be related to identifying a first visual object corresponding to an external object among a plurality of visual objects included in the first image.
  • the processor 210 may identify a candidate visual object among a plurality of visual objects in the first image. For example, the processor 210 may set one of a plurality of visual objects in the first image as a candidate visual object. For example, the processor 210 may sequentially set a plurality of visual objects as candidate visual objects.
  • processor 210 may identify whether the brightness value of the candidate visual object is within a first range. For example, the processor 210 may identify the brightness value of at least one pixel constituting the candidate visual object. The processor 210 may identify the brightness value of a candidate visual object based on the brightness value of at least one pixel. As an example, the processor 210 may identify a representative brightness value of at least one pixel (e.g., maximum value, minimum value, median value, mode value, or average value) as the brightness value of the candidate visual object. As an example, the processor 210 may identify the median brightness value of at least one pixel as the brightness value of the candidate visual object.
  • a representative brightness value of at least one pixel e.g., maximum value, minimum value, median value, mode value, or average value
  • the brightness value of a visual object corresponding to an external object may be within the first range.
  • the processor 210 may identify that the candidate visual object corresponds to an external object based on identifying that the brightness value of the candidate visual object is within a first range.
  • the processor 210 may perform operation 1201.
  • the processor 210 may identify another candidate visual object among the plurality of visual objects in the first image based on identifying that the brightness value of the candidate visual object is outside the first range.
  • Processor 210 may perform operations 1202 through 1206 based on identifying other candidate visual objects.
  • the processor 210 may identify whether the width to height ratio of the shape of the candidate visual object is within the second range. there is. For example, processor 210 may identify whether the width to height ratio of the shape of the candidate visual object is within a second range based on identifying that the brightness value of the candidate visual object is within a first range. .
  • the second range may be set to 0.8 to 1.2.
  • the horizontal and vertical ratio of the shape of a visual object corresponding to an external object may be within the second range.
  • the processor 210 may identify that the candidate visual object corresponds to an external object based on identifying that the horizontal and vertical ratio of the shape of the visual object is within the second range.
  • the processor 210 may perform operation 1201.
  • the processor 210 may identify another candidate visual object among the plurality of visual objects in the first image based on identifying that the horizontal and vertical ratio of the shape of the candidate visual object is outside the second range.
  • Processor 210 may perform operations 1202 through 1206 based on identifying other candidate visual objects.
  • the processor 210 may identify whether the shape of the candidate visual object corresponds to the specified shape. .
  • processor 210 may identify whether the shape of the candidate visual object corresponds to a specified shape based on identifying that the horizontal and vertical ratio of the shape of the candidate visual object is within a second range.
  • the specified shape can be set to one of circular, square, oval, rectangular, and short straight lines.
  • the designated shape may be set based on exposure time. For example, when the exposure time is set to a first time period (eg, 5 seconds), the specified shape may be set to either a circle or a rectangle. For example, when the exposure time is set to a second time interval (eg, 10 to 15 seconds), the specified shape may be set to one of an ellipse, a rectangle, or a short straight line.
  • the shape of a visual object corresponding to an external object may correspond to a specified shape.
  • the processor 210 may identify that a candidate visual object corresponds to an external object based on the shape of the candidate visual object corresponding to a specified shape.
  • the processor 210 may perform operation 1201.
  • Processor 210 may identify another candidate visual object among the plurality of visual objects in the first image based on identifying that the shape of the candidate visual object does not correspond to the specified shape.
  • Processor 210 may perform operations 1202 through 1206 based on identifying other candidate visual objects.
  • processor 210 determines that the brightness value of the central portion of the shape of the candidate visual object is equal to that of the shape of the candidate visual object. It is possible to identify whether the brightness value is greater than the brightness value of the outer portion. For example, processor 210 may determine that, based on identifying that the shape of the candidate visual object corresponds to a specified shape, the brightness value of the central portion of the shape of the candidate visual object corresponds to the outer portion of the shape of the candidate visual object. It is possible to identify whether the brightness value is greater than the outer portion.
  • the brightness value of the center of the shape of a visual object corresponding to an external object may be greater than the brightness value of the outer portion.
  • the processor 210 may identify that the candidate visual object corresponds to an external object based on identifying that the brightness value of the central portion of the shape of the candidate visual object is greater than the brightness value of the outer portion.
  • the processor 210 may perform operation 1201.
  • the processor 210 identifies another candidate visual object among the plurality of visual objects in the first image based on identifying that the brightness value of the central portion of the shape of the candidate visual object is less than or equal to the brightness value of the outer portion of the shape of the candidate visual object. can do.
  • Processor 210 may perform operations 1202 through 1206 based on identifying other candidate visual objects.
  • processor 210 configures the candidate visual object as a second object corresponding to the external object. 1 Can be identified as a visual object.
  • processor 210 may classify the candidate visual object as a first visual object corresponding to an external object based on identifying that the brightness value of the central portion of the shape of the candidate visual object is greater than the brightness value of the outer portion of the shape of the candidate visual object. It can be identified as an object.
  • Operations 1202 to 1205 are shown as being performed sequentially, but are not limited thereto. The order of operations 1202 to 1205 may be changed, and operations 1202 to 1205 may be performed in parallel (or simultaneously).
  • FIGS. 13A and 13B show examples of operations of an electronic device, according to an embodiment.
  • the operations of FIGS. 13A and 13B may be performed by the processor 210 of the electronic device 200 shown in FIG. 2 .
  • the processor 210 may identify the image 1310.
  • the processor 210 may identify the image 1310 that is part of the acquired first image.
  • the processor 210 may identify an image 1310 that includes candidate visual objects included in the first image and is part of the first image.
  • processor 210 may identify image 1310 of a specified size (e.g., 17x16 pixels).
  • the processor 210 may change the designated size based on the zoom factor and resolution size.
  • the processor 210 may identify an image of a specified size (eg, 30x30 pixels) based on 1x zoom and ultra high definition (UHD) resolution.
  • UHD ultra high definition
  • the image 1310 may be composed of a plurality of pixels.
  • the processor 210 may identify brightness values of a plurality of pixels.
  • the processor 210 may identify the brightness values of the plurality of pixels as one of 0 to 255.
  • the processor 210 can set the brightness value of the pixel to be larger as the brighter the pixel.
  • the grids of the image 1310 may each mean a pixel. The numbers in the grids may indicate the brightness value of the pixel.
  • the image 1310 may include a candidate visual object 1311.
  • Candidate visual object 1311 may consist of at least one pixel within image 1310.
  • the processor 210 may identify the candidate visual object 1311 based on the brightness values of a plurality of pixels.
  • the brightness value of a visual object (or center or outer part) described below may mean a representative value of brightness values of at least one pixel constituting the visual object (or center or outer part).
  • the representative value of the brightness values of at least one pixel constituting the visual object (or center or outer part) is the brightness value of at least one pixel constituting the visual object (or center or outer part). It can be one of the maximum, minimum, median, mode, or average value.
  • the processor 210 may identify information about the characteristics of the candidate visual object 1311. For example, processor 210 may identify the brightness value of candidate visual object 1311. For example, the processor 210 may identify the horizontal and vertical ratios of the shape of the candidate visual object 1311.
  • processor 210 may identify whether the shape of candidate visual object 1311 corresponds to a specified shape. For example, the processor 210 may identify whether the brightness value of the central portion 1312 of the shape of the candidate visual object 1311 is greater than the brightness value of the outer portion 1313.
  • the brightness value of the center portion 1312 may mean a representative value (e.g., maximum value, minimum value, median value, mode value, or average value) of brightness values of pixels corresponding to the center portion 1312. there is.
  • the brightness value of the outer portion 1313 may mean a representative value (e.g., maximum value, minimum value, median value, mode value, or average value) of the brightness values of pixels corresponding to the outer portion 1313. there is.
  • the processor 210 may identify that the candidate visual object 1311 satisfies the first condition based on identifying that the brightness value of the candidate visual object 1311 is within a first range. For example, the processor 210 may identify that the candidate visual object 1311 satisfies the second condition based on identifying that the horizontal and vertical ratio of the shape of the candidate visual object 1311 is within a second range. You can. For example, the processor 210 may identify that the candidate visual object 1311 satisfies the third condition based on identifying that the shape of the candidate visual object 1311 corresponds to a specified shape. For example, based on identifying that the brightness value of the central portion 1312 of the shape of the candidate visual object 1311 is greater than the brightness value of the outer portion 1313, the candidate visual object 1311 satisfies the fourth condition. can be identified.
  • the processor 210 Based on identifying that the candidate visual object 1311 satisfies all of the first to fourth conditions, the processor 210 converts the candidate visual object 1311 into a first visual object corresponding to an external object (e.g., a star). It can be identified as: Depending on the embodiment, the processor 210 selects the candidate visual object 1311 as an external object (e.g., a star) based on identifying that the candidate visual object 1311 satisfies at least some of the first to fourth conditions. It may also be identified as the first visual object corresponding to .
  • an external object e.g., a star
  • the processor 210 may identify the image 1320.
  • the processor 210 may identify the image 1320 that is part of the acquired first image.
  • the processor 210 may identify an image 1320 that includes a candidate visual object included in the first image and is part of the first image.
  • the processor 210 may identify information about the characteristics of the candidate visual object 1321. For example, processor 210 may identify the brightness value of candidate visual object 1321. For example, the processor 210 may identify the horizontal and vertical ratios of the shape of the candidate visual object 1321. For example, processor 210 may identify whether the shape of candidate visual object 1321 corresponds to a specified shape. For example, the processor 210 may identify whether the brightness value of the central portion 1322 of the shape of the candidate visual object 1321 is greater than the brightness value of the outer portion 1323.
  • processor 210 may identify whether candidate visual object 1321 satisfies a first condition based on identifying whether the brightness value of candidate visual object 1321 is within a first range. there is. For example, the processor 210 determines whether the candidate visual object 1321 satisfies the second condition based on identifying whether the horizontal and vertical ratio of the shape of the candidate visual object 1321 is within a second range. can be identified. For example, processor 210 may identify whether candidate visual object 1321 satisfies the third condition based on identifying whether the shape of candidate visual object 1321 corresponds to a specified shape. .
  • the candidate visual object 1321 meets the fourth condition. It can be identified whether or not it satisfies.
  • the processor 210 determines that the candidate visual object 1321 corresponds to an external object based on identifying that the candidate visual object 1321 does not satisfy at least one of the first to fourth conditions. It can be identified that it is not done. Depending on the embodiment, the processor 210 determines that the candidate visual object 1321 is determined to be an external object (e.g., an external object) based on identifying that the candidate visual object 1321 does not satisfy at least some of the first to fourth conditions. It can be identified that it does not correspond to the star).
  • an external object e.g., an external object
  • FIG. 14 is a flowchart illustrating the operation of an electronic device, according to an embodiment. The operations of FIG. 14 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • each operation may be performed sequentially, but is not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the processor 210 may identify that the size of the first visual object corresponds to the size of the second visual object.
  • the first visual object may be included in the acquired first image.
  • the second visual object may be included in the pre-synthesized second image.
  • the first visual object may currently represent an external object.
  • the second visual object may represent the trajectory of an external object over time.
  • the first visual object may be configured as a circle.
  • the second visual object may be composed of an oval.
  • the processor 210 may identify the diameter of the circular first visual object as the size of the first visual object.
  • the processor 210 may identify the shorter diameter of the major axis and minor axis of the second visual object composed of an ellipse as the size of the second visual object.
  • Processor 210 determines that the size of the first visual object corresponds to the size of the second visual object based on identifying that the length of the diameter of the first visual object corresponds to the length of the minor diameter of the second visual object. can be identified.
  • the first visual object may correspond to an external object and be placed at a first position within the first image.
  • the second visual object may correspond to an external object and be placed at a second location within the second image.
  • the processor 210 may identify that the first visual object corresponds to an external object based on identifying that the size of the first visual object corresponds to the size of the second visual object.
  • processor 210 may identify that the distance between the first location and the second location is less than or equal to a specified distance. For example, processor 210 may identify that the distance between the first location and the second location is less than or equal to a specified distance based on identifying that the size of the first visual object corresponds to the size of the second visual object. there is.
  • an external object (such as a star) may change its position over time.
  • the processor 210 may identify movement of the external object by identifying the distance between the first location and the second location.
  • Processor 210 may identify a specified distance, which is the distance that a visual object representing an external object can move within the image during a specified time.
  • Processor 210 may identify that the first visual object and the second visual object correspond to external objects based on identifying that the distance between the first location and the second location is less than or equal to a specified distance.
  • the processor 210 may obtain a third image including a first visual object and a second visual object.
  • processor 210 may obtain a third image including a first visual object and a second visual object based on identifying that the distance between the first location and the second location is less than or equal to a specified distance. .
  • the processor 210 may synthesize the first image and the second image based on an alpha blending algorithm.
  • the brightness value of the first visual object included in the third image may be set to be greater than the brightness value of the second visual object included in the third image.
  • the processor 210 changes the brightness value of the first visual object included in the first image according to the first ratio (e.g., a), and changes the brightness value of the first visual object included in the second image based on the alpha blending algorithm.
  • a second ratio e.g., 1-a
  • Figure 15 shows an example of operation of an electronic device, according to an embodiment. Operations for acquiring the images of FIG. 15 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • the processor 210 may acquire images 1510 to 1530.
  • the processor 210 may sequentially acquire images 1510 to 1530.
  • the processor 210 may acquire the image 1510.
  • Image 1510 may include a visual object 1511 corresponding to an external object (eg, a star).
  • the processor 210 may acquire the image 1520 after the image 1510 is acquired.
  • the image 1520 may include a visual object 1521 corresponding to an external object.
  • the processor 210 may acquire the image 1530 after the image 1520 is acquired.
  • the image 1530 may include a visual object 1531 corresponding to an external object.
  • the processor 210 may synthesize images 1510 to 1530.
  • the processor 210 may obtain the image 1540 based on combining the images 1510 to 1530.
  • the processor 210 may synthesize only the visual objects 1511 to 1531 that correspond to external objects among the objects included in the images 1510 to 1530.
  • the processor 210 may obtain the visual object 1541 based on synthesizing the visual object 1511 to 1531.
  • the processor 210 may acquire an image 1540 including a visual object 1541.
  • visual object 1541 may represent the trajectory of an external object.
  • the processor 210 may acquire an image 1550 indicating that an external object moves over time.
  • the processor 210 may synthesize images 1510 to 1530 based on an alpha blending algorithm.
  • the processor 210 may change the brightness value of the visual object 1511 according to the first ratio.
  • the processor 210 may change the brightness value of the visual object 1521 according to the second ratio.
  • the processor 210 may change the brightness value of the visual object 1531 according to the third ratio.
  • the third ratio may be set larger than the second ratio.
  • the second ratio may be set larger than the first ratio.
  • the sum of the first to third ratios may be set to 1.
  • the processor 210 may change the brightness values of the visual objects 1511 to 1531 according to the above-described ratios and synthesize the visual objects 1511 to 1531.
  • the processor 210 may obtain the visual object 1551 based on synthesizing the visual object 1511 to 1531.
  • the visual object 1551 may represent the trajectory of an external object. For example, the visual object 1551 may set the brightness value of the portion representing the previous trajectory to low.
  • the processor 210 may synthesize (or blend) a plurality of images within the image data so that previous trajectories gradually become darker over time.
  • the processor 210 may configure the image 1550 as one of a plurality of frames constituting image data.
  • the processor 210 may identify image data by configuring a plurality of frames according to the above-described operation. For example, the processor 210 may identify that no movement of a visual object included in an image constituting one frame occurs.
  • the processor 210 may change weights (eg, blending weights) for compositing so that the trajectories of external objects disappear quickly as image data is played.
  • FIG. 16 is a flowchart illustrating the operation of an electronic device, according to an embodiment. The operations of FIG. 16 may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • operations 1601 to 1605 may respectively correspond to operations 501 to 505 of FIG. 5 .
  • processor 210 may identify whether a reset of the image compositing process is needed. Operation 1606 may correspond to operation 506 of FIG. 5 .
  • the processor 210 may identify whether two or more images immediately before the image was acquired were skipped in succession.
  • the processor 210 may identify whether a reset of the image synthesis process is necessary based on identifying whether two or more images immediately before the image was acquired were skipped in succession.
  • operation 1607 if the frame counter is 0 or if a reset of the image process is necessary, the processor 210 may store the acquired image in a buffer. Operation 1607 may correspond to operation 507.
  • the processor 210 may identify whether skipping of the acquired image is necessary. For example, processor 210 may identify whether skipping of the acquired image is necessary based on identifying that a reset of the image compositing process is not necessary.
  • the processor 210 may identify whether skipping of the acquired image is necessary based on identifying whether the brightness value of the acquired image is greater than or equal to a specified brightness value. For example, the processor 210 may identify whether skipping of the acquired image is necessary based on identifying whether movement of the electronic device 200 occurred while the image was being acquired. For example, the processor 210 determines whether skipping of the acquired image is necessary based on identifying whether movement of the electronic device 200 occurs while the image is being acquired and returns to the original position. can be identified.
  • the processor 210 may maintain the image stored in the buffer. For example, the processor 210 may not composite the acquired image with the image stored in the buffer.
  • the processor 210 may composite the acquired image with the image stored in the buffer. However, the processor 210 may not store the synthesized image in the buffer.
  • the processor 210 may identify that skipping of the acquired image is necessary based on identifying whether the brightness value of the acquired image is greater than or equal to a specified brightness value.
  • Processor 210 may maintain images stored in a buffer based on identifying that skipping of acquired images is necessary.
  • the processor 210 may combine the acquired image with the image stored in the buffer based on identifying that skipping of the acquired image is necessary.
  • the processor 210 may not store the synthesized image in the buffer.
  • the processor 210 may identify that movement of the electronic device 200 occurs while an image is being acquired and returns to its original position.
  • the processor 210 may identify that skipping of the acquired image is necessary.
  • Processor 210 may maintain images stored in a buffer based on identifying that skipping of acquired images is necessary.
  • the processor 210 may combine the acquired image with the image stored in the buffer based on identifying that skipping of the acquired image is necessary.
  • the processor 210 may not store the synthesized image in the buffer.
  • the processor 210 may combine the acquired image with the image stored in the buffer.
  • the processor 210 may combine the acquired image with the image stored in the buffer based on identifying that skipping of the acquired image is not necessary. Operation 1610 may correspond to operation 508 of FIG. 5 .
  • Operations 1611 to 1616 may correspond to operations 509 to 513 of FIG. 5 .
  • FIG. 17A shows an example of operation of an electronic device according to an embodiment.
  • FIG. 17B shows an example of an operation of an electronic device according to an embodiment.
  • FIG. 17A shows an example in which, when movement of the electronic device 200 occurs, a plurality of frames 1730 are obtained without the image 1713 being skipped.
  • FIG. 17B shows an example in which, when movement of the electronic device 200 occurs, a plurality of frames 1760 are acquired while the image 1753 is skipped.
  • the operations according to FIGS. 17A and 17B may be performed by the processor 210 of the electronic device 200 shown in FIG. 2.
  • the processor 210 may acquire an image 1711 within a time interval 1701.
  • the processor 210 may set the image 1711 as a frame 1730-1, which is the first frame among the plurality of frames 1730.
  • the processor 210 may store the image 1711 in a buffer of memory (eg, memory 230 in FIG. 2).
  • Image 1712 may be acquired within time interval 1702.
  • the processor 210 may obtain the image 1722 by combining the image 1712 and the image 1711 stored in the buffer.
  • the processor 210 may set the image 1722 as a frame 1730-2, which is the second frame among the plurality of frames 1730.
  • Processor 210 may store image 1722 in a buffer of memory 230.
  • An image 1713 may be acquired within a time interval 1703. For example, while image 1713 is being acquired, movement of electronic device 200 may occur. For example, while the processor 210 is acquiring the image 1713, movement of the electronic device 200 may occur and the electronic device 200 may return to its original position.
  • the location of a visual object corresponding to an external object (eg, a star) included in the image 1713 may be different from the location when the electronic device 200 did not move.
  • the processor 210 may obtain the image 1723 by combining the image 1713 and the image 1722 stored in the buffer.
  • the processor 210 may set the image 1723 as a frame 1730-3, which is the third frame among the plurality of frames 1730.
  • the processor 210 may store the image 1723 in a buffer of the memory 230.
  • the processor 210 identifies a plurality of frames 1730 composed of a plurality of images including the image 1711, the image 1722, the image 1723, and the image 1724 by repeating the above-described operation. (or can be obtained).
  • the processor 210 may acquire image data consisting of a plurality of frames 1730 and store the acquired image data in the memory 230 .
  • the processor 210 may accumulate and synthesize a plurality of images and set the synthesized image as one of a plurality of frames constituting image data.
  • the processor 210 can indicate the trajectory of an external object through image data by setting the synthesized image as one of a plurality of frames constituting data.
  • the trajectory of the external object may be expressed differently from the actual trajectory.
  • one of the plurality of frames may be acquired like image 1724.
  • the trajectory of the external object can be corrected using the operation described in FIG. 17B.
  • the processor 210 may acquire an image 1751 within a time interval 1741.
  • the processor 210 may set the image 1751 as a frame 1760-1, which is the first frame among the plurality of frames 1760.
  • the processor 210 may store the image 1751 in a buffer of the memory 230.
  • An image 1752 may be acquired within a time interval 1742.
  • the processor 210 may obtain the image 1772 by combining the image 1752 and the image 1751 stored in the buffer.
  • the processor 210 may set the image 1772 as a frame 1760-2, which is the second frame among the plurality of frames 1760.
  • Processor 210 may store image 1772 in a buffer of memory 230.
  • An image 1753 can be acquired within a time interval 1743. For example, while the image 1753 is being acquired, movement of the electronic device 200 may occur. For example, while the processor 210 is acquiring the image 1753, movement of the electronic device 200 may occur and the electronic device 200 may return to its original position. The location of a visual object corresponding to an external object (eg, a star) included in the image 1753 may be different from the location when the electronic device 200 did not move.
  • an external object eg, a star
  • the processor 210 may obtain the image 1773 by combining the image 1753 and the image 1772 stored in the buffer.
  • the processor 210 may set the image 1773 as a frame 1760-3, which is the third frame among the plurality of frames 1760.
  • the processor 210 may not store the image 1773 in the buffer of the memory 230.
  • the processor 210 stores the image 1773 in memory ( 230) may not be stored in the buffer.
  • the processor 210 identifies a plurality of frames 1760 composed of a plurality of images including the image 1751, the image 1772, the image 1773, and the image 1774 by repeating the above-described operation. (or can be obtained).
  • the processor 210 may acquire image data consisting of a plurality of frames 1760 and store the acquired image data in the memory 230 .
  • the processor 210 may accumulate and synthesize a plurality of images and set the synthesized image as one of a plurality of frames constituting image data.
  • the processor 210 can indicate the trajectory of an external object through image data by setting the synthesized image as one of a plurality of frames constituting data.
  • the trajectory of the external object may be expressed differently from the actual trajectory in only the frame 1760-3.
  • the processor 210 may obtain the image 1774 by excluding the image 1773 constituting the frame 1760-3 from the image synthesis process.
  • the processor 210 may display the trajectory of the external object the same as the actual trajectory in the remaining frames except for frame 1760-3. Since the trajectory of an external object is expressed differently from the actual trajectory of only one frame (frame 1760-3) among the plurality of frames 1760, it may be difficult for the user to recognize it.
  • the processor 210 may exclude frame 1760-3 from the plurality of frames 1760.
  • the processor 210 may display the trajectory of the external object in the plurality of frames 1760 in the same manner as the actual trajectory by excluding the frame 1760-3 from the plurality of frames 1760.
  • an electronic device includes a camera (e.g., camera 220) including an image sensor, a memory (e.g., memory 230), and the camera and the memory. It may include a processor (e.g., processor 210) operatively connected to the processor.
  • the processor may be set to identify the maximum exposure time of the camera as a first time period based on the capability information of the image sensor.
  • the processor may be set to acquire a first image using the camera based on an exposure time set as the first time period.
  • the processor may be set to identify a second image constituting the first frame stored in the memory.
  • the processor may be configured to obtain a third image based on combining the first image and the second image.
  • the processor is configured to obtain image data consisting of a plurality of frames including the first frame and the second frame, based on configuring the third image as a second frame that is the next frame of the first frame. can be set.
  • the processor processes data acquired using the camera during a second time period that is distinct from the first time period, based on the exposure time set as the first time period, It may be set to acquire the first image.
  • the processor outputs the image data consisting of the plurality of frames based on configuring one frame per third time period including the first time period and the second time period. It can be set to obtain.
  • the video data may be set to be played at 30 frames per second.
  • the processor may be set to acquire a fourth image using the camera based on the exposure time set for the first time period after the third image is composed of the second frame. You can.
  • the processor may be configured to configure the fourth image as a third frame, which is the next frame of the second frame, based on identifying that the brightness value for the fourth image is greater than or equal to a specified brightness value. there is.
  • the processor refrains from compositing the fourth image with the third image based on identifying that the brightness value for the fourth image is greater than or equal to the specified brightness value. can be set.
  • the processor may be configured to identify that the first image includes a first visual object that corresponds to an external object and is located at a first location within the first image.
  • the processor may be configured to identify that the second image includes a second visual object corresponding to the external object and located at a second location within the second image that is distinct from the first location. there is.
  • the processor may be configured to obtain the third image including the first visual object and the second visual object based on compositing the first image and the second image.
  • the processor may be configured to identify that the size of the first visual object corresponds to the size of the second visual object.
  • the processor may be configured to identify that the distance between the first location and the second location is less than or equal to a specified distance, based on identifying that the size of the first visual object corresponds to the size of the second visual object. You can.
  • the processor is configured to obtain the third image including the first visual object and the second visual object based on identifying that the distance between the first location and the second location is less than or equal to the specified distance. It can be.
  • the processor may be set to synthesize the first image and the second image based on an alpha-blending algorithm.
  • the brightness value of the first visual object included in the third image may be set to be greater than the brightness value of the second visual object included in the third image.
  • the processor may be set to identify the first visual object corresponding to the external object among a plurality of visual objects included in the first image.
  • the processor may be set to identify the second visual object corresponding to the external object among a plurality of visual objects included in the second image.
  • the processor may be set to identify the shape and brightness value of each of a plurality of visual objects included in the first image.
  • the processor may be set to identify the first visual object that satisfies a specified condition among the plurality of visual objects, based on the shape and brightness value of each of the plurality of visual objects.
  • the processor is configured to configure the remaining visual objects excluding the first visual object among the plurality of visual objects included in the first image and the first visual object among the plurality of visual objects included in the second image. It may be set to remove visual objects other than visual object 2 from the third image.
  • the processor may be set to acquire a fourth image using the camera based on the exposure time set for the first time period after the third image is composed of the second frame. You can.
  • the processor may be set to store the fifth image obtained based on combining the third image and the fourth image in the memory.
  • the processor may be set to acquire a sixth image using the camera based on an exposure time set as the first time period after the fifth image is stored.
  • the processor may be set to obtain a seventh image based on combining the fifth image and the sixth image.
  • the processor may be set to configure the seventh image as a third frame, which is a next frame to the second frame.
  • the method of the electronic device may include identifying the maximum exposure time of the camera as a first time period based on capability information of the image sensor of the camera of the electronic device. You can.
  • the method may include acquiring a first image using the camera based on an exposure time set as the first time section.
  • the method may include identifying a second image constituting the first frame stored in the memory of the electronic device.
  • the method may include obtaining a third image based on combining the first image and the second image.
  • the method is based on configuring the third image as a second frame, which is the next frame of the first frame, to obtain image data consisting of a plurality of frames including the first frame and the second frame.
  • the method processes the data acquired using the camera during a second time period that is distinct from the first time period, based on the exposure time set as the first time period, It may include an operation of acquiring the first image.
  • the method is based on configuring one frame per third time period including the first time period and the second time period, and the image data consisting of the plurality of frames is It may include acquisition operations.
  • the video data may be set to be played at 30 frames per second.
  • the method includes an operation of acquiring a fourth image using the camera based on an exposure time set for the first time period after the third image is composed of the second frame. It can be included.
  • the method includes configuring the fourth image into a third frame that is the next frame of the second frame, based on identifying that a brightness value for the fourth image is greater than or equal to a specified brightness value. can do.
  • the method may include identifying that the first image includes a first visual object, which corresponds to an external object and is located at a first location within the first image. there is.
  • the method includes identifying that the second image includes a second visual object, corresponding to the external object, and located at a second location within the second image that is distinct from the first location. can do.
  • the method may include obtaining the third image including the first visual object and the second visual object based on combining the first image and the second image.
  • the method may include identifying that the size of the first visual object corresponds to the size of the second visual object.
  • the method further includes identifying that the distance between the first location and the second location is less than or equal to a specified distance, based on identifying that the size of the first visual object corresponds to the size of the second visual object. It can be included.
  • the method further comprises obtaining the third image including the first visual object and the second visual object based on identifying that the distance between the first location and the second location is less than or equal to the specified distance. may include.
  • the method may include synthesizing the first image and the second image based on an alpha blending algorithm.
  • the brightness value of the first visual object included in the third image may be set to be greater than the brightness value of the second visual object included in the third image.
  • the method includes an operation of acquiring a fourth image using the camera based on an exposure time set for the first time period after the third image is composed of the second frame. It can be included.
  • the method may include storing a fifth image obtained based on combining the third image and the fourth image in the memory.
  • the method may include an operation of acquiring a sixth image using the camera based on an exposure time set as the first time period after the fifth image is stored.
  • the method may include obtaining a seventh image based on combining the fifth image and the sixth image.
  • the method may include configuring the seventh image as a third frame, which is a next frame to the second frame.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another and not to limit the elements in any other respect (e.g., importance or order). If any (e.g. first) component is referred to as coupled or connected to another (e.g. second) component, with or without the terms functionally or communicatively, it refers to any of the above components. This means that an element can be connected to said other component directly (e.g., wired), wirelessly, or through a third component.
  • module used may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example. You can.
  • a module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store), or on two user devices (e.g. : Smartphones) can be distributed (e.g. downloaded or uploaded) directly or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store
  • two user devices e.g. : Smartphones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

일 실시 예에 따르면, 전자 장치는 이미지 센서를 포함하는 카메라, 메모리, 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함한다. 상기 프로세서는, 상기 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간을 제1 시간 구간으로 식별하도록 설정된다. 상기 프로세서는, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하도록 설정된다. 상기 프로세서는, 상기 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하도록 설정된다. 상기 프로세서는, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하도록 설정된다. 상기 프로세서는, 상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하도록 설정된다.

Description

이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법
아래의 설명들은, 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법에 관한 것이다.
기술이 발달함에 따라, 전자 장치는 다양한 촬영 기법들을 통해 영상 데이터를 획득할 수 있다. 예를 들어, 전자 장치는 긴 시간동안 촬영된 영상을, 상대적으로 짧은 시간으로 압축하여 영상 데이터를 생성할 수 있다. 생성된 영상 데이터는, 상대적으로 짧은 시간으로 구성됨으로써, 동일한 촬영 시간의 일반 영상보다 적은 용량으로 구성될 수 있다.
일 실시 예에 따르면, 전자 장치는, 이미지 센서를 포함하는 카메라, 메모리, 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별될 수 있다. 상기 프로세서는, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치의 방법은, 상기 전자 장치의 카메라의 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하는 동작을 포함할 수 있다.
도 1은 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시 예에 따른, 전자 장치의 간소화된 블록도(simplified block diagram)들의 예를 도시한다.
도 3은 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 4는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 5는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 6a, 도 6b, 및 도 6c는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 7a 및 도 7b는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 8은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 9는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 10은 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 11은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 12는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 13a 및 도 13b는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 14는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 15는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다.
도 16은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다.
도 17a는 일 실시 예에 따른 전자 장치의 동작의 예를 도시한다.
도 17b는 일 실시 에에 따른 전자 장치의 동작의 예를 도시한다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면의 설명과 관련하여, 동일하거나 유사한 구성요소에 대해서는 동일하거나 유사한 참조 부호가 사용될 수 있다. 또한, 도면 및 관련된 설명에서는, 잘 알려진 기능 및 구성에 대한 설명이 명확성과 간결성을 위해 생략될 수 있다.
도 1은, 일 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나 와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
일 실시 예에 따르면, 전자 장치(예: 전자 장치(101))는 긴 시간동안 촬영된 이미지들(또는 영상)을 짧은 시간으로 압축함으로써, 영상 데이터를 획득할 수 있다. 전자 장치는 외부 객체(예: 별)를 나타내는 시각적 객체를 포함하는 영상 데이터를 획득할 수 있다. 전자 장치는 긴 시간 동안 촬영된 이미지들을 합성하는 것에 기반하여, 외부 객체(예: 별)의 궤적을 나타내는 영상 데이터를 획득할 수 있다. 이하 명세서에서는 외부 객체(예: 별)의 궤적을 나타내는 영상 데이터를 획득하기 위한 기술적 특징이 설명될 수 있다.
도 2는 일 실시 예에 따른, 전자 장치의 간소화된 블록도(simplified block diagram)들의 예를 도시한다.
도 2를 참조하면, 전자 장치(200)는 도 1에 도시된 전자 장치(101)의 구성 요소의 일부 또는 전부를 포함할 수 있다. 예를 들어, 전자 장치(200)는 도 1의 전자 장치(101)에 상응할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 프로세서(210), 카메라(220), 및/또는 메모리(230)를 포함할 수 있다. 실시 예에 따라, 전자 장치(200)는 프로세서(210), 카메라(220), 및 메모리(230) 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(210), 카메라(220), 및 메모리(230) 중 적어도 일부는 실시 예에 따라 생략될 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 프로세서(210)를 포함할 수 있다. 프로세서(210)는 카메라(220), 및 메모리(230)와 작동적으로(operatively 또는 operably) 결합하거나(coupled with), 연결될(connected with) 수 있다. 프로세서(210)가 카메라(220) 및 메모리(230)와 작동적으로 결합하거나, 연결된다는 것은, 프로세서(210)가 카메라(220) 및 메모리(230)를 제어할 수 있음을 의미할 수 있다.
예를 들어, 프로세서(210)는 카메라(220) 및 메모리(230)를 제어할 수 있다. 카메라(220) 및 메모리(230)는 프로세서(210)에 의해 제어될 수 있다. 예를 들어, 프로세서(210)는 적어도 하나의 프로세서로 구성될 수 있다. 예를 들어, 프로세서(210)는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 프로세서(210)는 도 1의 프로세서(120)에 상응할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 하나 이상의 인스트럭션에 기반하여 데이터를 처리하기 위한 하드웨어 컴포넌트를 포함할 수 있다. 데이터를 처리하기 위한 하드웨어 컴포넌트는, 예를 들어, ALU(arithmetic and logic unit), FPGA(field programmable gate array) 및/또는 CPU(central processing unit)를 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 카메라(220)를 포함할 수 있다. 예를 들어, 카메라(220)는 외부 객체에 대한 이미지 또는 영상 데이터를 획득하기 위해 사용될 수 있다. 예를 들어, 카메라(220)를 이용하여 캡쳐한 사진 데이터(및/또는 사진)는 카메라(220)로부터 획득한 하나의 이미지를 의미할 수 있다. 예를 들어, 카메라(220)를 이용하여 캡쳐한 영상 데이터는 카메라(220)로부터 지정된 프레임율(frame rate)을 따라 획득한 복수의 이미지들의 시퀀스(sequence)를 의미할 수 있다. 예를 들어, 카메라(220)는 도 1의 카메라 모듈(180)에 적어도 일부 상응할 수 있다.
예를 들어, 카메라(220)는 적어도 하나의 센서를 포함할 수 있다. 적어도 하나의 센서는 이미지 센서(또는 광 센서)를 포함할 수 있다. 이미지 센서는 카메라(220)(예: 카메라(220)의 렌즈)를 통해 획득된 데이터를 처리하는 것에 기반하여, 이미지를 획득하기 위해 사용될 수 있다. 이미지 센서는 카메라(220)의 렌즈를 통해 수신된 빛을 전기적 신호로 변환할 수 있다. 예를 들어, 이미지 센서는 CCD(charge-coupled device) 이미지 센서 및 CMOS(complementary metal oxide semiconductor) 이미지 센서 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(210)는 이미지 센서의 능력 정보에 기반하여, 카메라(220)의 최대 노출 시간(maximum exposure time)을 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 메모리(230)를 포함할 수 있다. 예를 들어, 메모리(230)는 하나 이상의 프로그램들을 저장하기 위해 사용될 수 있다. 하나 이상의 프로그램들은 전자 장치(200)의 프로세서(210)에 의해 실행될 시, 미리 정의된 동작을 수행하도록 전자 장치(200)를 야기하는 인스트럭션들을 포함할 수 있다. 예를 들어, 메모리(230)는 도 1의 메모리(130)에 상응할 수 있다. 예를 들어, 메모리(230)는 휘발성 메모리 유닛 또는 유닛들일 수 있다. 예를 들어, 메모리(230)는 비휘발성 메모리 유닛 또는 유닛들일 수 있다. 예를 들어, 메모리(230)는 자기 또는 광학 디스크와 같이, 다른 형태의 컴퓨터 판독가능 매체일 수 있다. 예를 들어, 메모리(230)는 프로세서(210)에서 수행되는 동작(예를 들어, 알고리즘 수행 동작)에 기반하여 획득된 데이터를 저장할 수 있다.
도 3은 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 3의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 3을 참조하면, 전자 장치(200)의 프로세서(210)는 하이퍼 랩스(hyper-lapse)(또는 타임 랩스(time-lapse)) 영상 데이터를 획득할 수 있다. 하이퍼 랩스 영상 데이터는, 카메라(예: 도 2의 카메라(220))를 통해 상대적으로 긴 시간동안 촬영된 적어도 하나의 이미지(또는 프레임)를 상대적으로 짧은 시간 동안 재생되도록 처리한 영상 데이터를 의미할 수 있다. 프로세서(210)는 카메라(220)를 통해 상대적으로 긴 시간동안 촬영된 적어도 하나의 이미지(또는 프레임)를 상대적으로 짧은 시간 동안 재생되도록 처리함으로써, 하이퍼 랩스 영상 데이터를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 카메라(220)의 노출 시간을 시간 구간(301)으로 설정할 수 있다. 프로세서(210)는 시간 구간(301)으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여 획득된 데이터를, 시간 구간(302)동안 처리(process)할 수 있다. 프로세서(210)는 상기 데이터를 시간 구간(302)동안 처리함으로써, 제1 이미지를 획득할 수 있다. 프로세서(210)는 제1 이미지를 제1 프레임(310-1)으로 설정할 수 있다. 예를 들어, 시간 구간(302)은 다음 프레임을 읽기 위해 이미지 센서를 재설정하기 위한 대기 시간을 포함할 수 있다. 예를 들어, 시간 구간(302)은 빛을 전기 신호로 변환하거나, 변환된 전기 신호를 출력하기 위한 리드 아웃 시간을 포함할 수 있다. 예를 들어, 시간 구간(302)은 시간 구간(301)에 기반하여 변경될 수 있다.
일 실시 예에 따르면, 제1 프레임(310-1)과 같이, 프로세서(210)는 복수의 프레임들(310)이 설정될 수 있다. 복수의 프레임들(310)은 영상 데이터(예: 하이퍼 랩스 영상 데이터)로 구성될 수 있다. 예를 들어, 프로세서(210)는 시간 구간(301) 및 시간 구간(302)을 포함하는 시간 구간(303) 당 하나의 프레임을 구성할 수 있다. 예를 들어, 시간 구간(303)이 0.5 초인 경우, 0.5 초당 하나의 프레임이 구성될 수 있다. 실시 예에 따라, 복수의 프레임들(310)로 구성된 영상 데이터는 1 초당 30 개의 프레임들이 재생되도록 설정될 수 있다. 예를 들어, 영상 데이터는 초당 30 프레임(30 fps(frame per sec))로 재생될 수 있다. 따라서, 영상 데이터에서 1 초간 재생되는 영상은 15초의 실제 시간을 나타낼 수 있다. 달리 표현하면, 프로세서(210)는 15배의 속도로 영상 데이터를 구성할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(303)이 경과한 뒤, 카메라(220)에 포함된 이미지 센서를 리셋(reset)할 수 있다. 프로세서(210)는 제1 이미지와 구별되는 제2 이미지를 획득하고, 제2 이미지를 프레임(310-2)로 설정하기 위해, 이미지 센서를 리셋할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 카메라(220)의 노출 시간을 변경할 수 있다. 프로세서(210)는 어두운 환경에서, 카메라(220)의 노출 시간을 길게 설정함으로써, 이미지를 획득하기 위한 광량을 증가시킬 수 있다. 일 실시 예에 따르면, 프로세서(210)는 광감도(예: ISO(international standard organization) 값)를 변경할 수 있다. 프로세서(210)는 어두운 환경에서, 카메라(220)의 광감도를 높게 설정함으로써, 획득되는 이미지의 밝기 값을 높게 설정할 수 있다.
도 4는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 4의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 410 내지 동작 450은 영상 데이터를 획득하기 위한 동작과 관련될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 4를 참조하면, 동작 410에서, 프로세서(210)는 이미지 센서의 능력 정보에 기반하여, 카메라(220)의 최대 노출 시간을 제1 시간 구간으로 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 카메라(220)의 이미지 센서의 능력 정보를 식별할 수 있다. 프로세서(210)는 이미지 센서가 처리할 수 있는 카메라(220)의 최대 노출 시간을 식별할 수 있다. 프로세서(210)는 카메라(220)의 최대 노출 시간을 제1 시간 구간으로 식별할 수 있다.
동작 420에서, 프로세서(210)는 제1 시간 구간으로 설정된 노출 시간에 기반하여, 제1 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 시간으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여, 제1 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 카메라(220)의 노출 시간을 카메라(220)의 최대 노출 시간인 제1 시간 구간으로 설정할 수 있다. 프로세서(210)는 제1 시간 구간으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여 획득된 데이터를, 제1 시간 구간과 구별되는 제2 시간 구간동안 처리함으로써, 제1 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 복수의 프레임들로 구성된 영상 데이터를 생성(또는 획득)하는 동안, 제1 이미지를 획득할 수 있다. 프로세서(210)는 제1 시간 구간 및 제2 시간 구간을 포함하는 제3 시간 구간 당 하나의 프레임을 구성하는 것에 기반하여, 복수의 프레임들로 구성된 영상 데이터를 획득할 수 있다. 예를 들어, 영상 데이터는, 1 초 당 30 개의 프레임들이 재생되도록 설정될 수 있다. 예를 들어, 영상 데이터는, 30 fps(frame per second)로 설정될 수 있다.
동작 430에서, 프로세서(210)는 제1 프레임을 구성하는 제2 이미지를 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지를 획득하기 전, 제2 이미지를 획득할 수 있다. 프로세서(210)는 제2 이미지를, 복수의 프레임들 중 제1 프레임으로 구성할 수 있다. 실시 예에 따라, 제2 이미지는 복수의 이미지들이 합성된 이미지일 수 있다. 실시 예에 따라, 제2 이미지는 동작 410 내지 동작 420과 동일 또는 유사한 동작에 따라 획득될 수 있다.
동작 440에서, 프로세서(210)는 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 및 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 프레임으로 구성된 제2 이미지 및 제1 프레임이 구성된 이후에 획득된 제1 이미지를 합성함으로써, 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지에 포함된 복수의 객체들 중, 외부 객체(예: 별)에 대응하는 제1 시각적 객체를 식별할 수 있다. 프로세서(210)는 제2 이미지에 포함된 복수의 객체들 중, 외부 객체(예: 별)에 대응하는 제2 시각적 객체를 식별할 수 있다. 프로세서(210)는, 제1 이미지 및 제2 이미지를 합성하는 것에 기반하여, 제1 시각적 객체 및 제2 시각적 객체를 포함하는 제3 이미지를 획득할 수 있다. 예를 들어, 제3 이미지는 외부 객체의 궤적을 나타낼 수 있다.
동작 450에서, 프로세서(210)는 제1 프레임 및 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득할 수 있다. 예를 들어, 프로세서(210)는 제3 이미지를 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 제1 프레임 및 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제3 이미지를, 제1 프레임의 다음 프레임인 제2 프레임으로 구성할 수 있다. 프로세서(210)는 영상 데이터를 통해, 외부 객체(예: 별)의 궤적이 나타날 수 있도록 제1 이미지와 제2 이미지가 합성된 제3 이미지를 제2 이미지로 구성된 제1 프레임의 다음 프레임인 제2 프레임으로 구성할 수 있다. 제3 이미지가 제2 프레임으로 구성됨에 따라, 시간 경과에 따른 외부 객체(예: 별)의 궤적이 영상 데이터로 표현될 수 있다. 예를 들어, 제1 프레임에 이어(follow) 제2 프레임이 순차적으로 표시(또는 재생)됨에 따라, 제1 시간 구간 및 제2 시간 구간을 포함하는 제3 시간 구간에서의 외부 객체(예: 별)의 궤적이 표시될 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제3 이미지가 제2 프레임으로 구성된 후, 제1 시간 구간으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여, 제4 이미지를 획득할 수 있다. 프로세서(210)는 제4 이미지에 관한 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 제4 이미지를 제2 프레임의 다음 프레임인 제3 프레임으로 구성할 수 있다. 예를 들어, 프로세서(210)는 제4 이미지에 관한 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 제4 이미지를, 제2 프레임을 구성하는 제3 이미지와 합성하는 것을 삼갈 수 있다. 프로세서(210)는 제4 이미지를 제3 이미지와 합성하지 않고, 제4 이미지를, 제3 프레임으로 구성할 수 있다. 예를 들어, 제4 이미지의 밝기 값이 지정된 밝기 값 이상인 경우, 외부 객체(예: 별)의 궤적이 식별되지 않을 수 있다. 프로세서(210)는 이미지 합성 프로세스를 리셋함으로써, 제4 이미지를 제3 이미지와 합성하지 않고, 제4 이미지를 제3 프레임으로 구성할 수 있다.
실시 예에 따라, 프로세서(210)는 제2 이미지의 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 제2 이미지를 제1 이미지와 합성하는 것을 삼갈 수도 있다.
일 실시 예에 따르면, 프로세서(210)는 제3 이미지가 제2 프레임으로 구성된 후, 제1 시간 구간으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여, 제4 이미지를 획득할 수 있다. 프로세서(210)는 제3 이미지 및 제4 이미지를 합성하는 것에 기반하여 획득된 제5 이미지를 메모리(230)(또는 메모리(230)의 버퍼)에 저장할 수 있다. 프로세서(210)는 제5 이미지가 저장된 후, 제1 시간 구간으로 설정된 노출 시간에 기반하여, 카메라(220)를 이용하여, 제6 이미지를 획득할 수 있다. 프로세서(210)는 제5 이미지 및 제6 이미지를 합성하는 것에 기반하여, 제7 이미지를 획득할 수 있다. 프로세서(210)는 제7 이미지를 제2 프레임의 다음 프레임은 제3 프레임으로 구성할 수 있다.
도 5는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 5의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 501 내지 동작 513은 영상 데이터를 획득(또는 저장)하기 위한 동작과 관련될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 5를 참조하면, 동작 501에서, 프로세서(210)는 카메라(예: 도 2의 카메라(220))의 최대 노출 시간을 식별할 수 있다. 예를 들어, 프로세서(210)는 카메라(220)에 포함된 이미지 센서의 능력 정보에 기반하여, 카메라(220)의 최대 노출 시간을 식별할 수 있다. 프로세서(210)는 카메라(220)의 최대 노출 시간에 기반하여, 실제 시간(real time) 대비 영상 데이터의 배속(speed)을 결정(또는 식별)할 수 있다.
동작 502에서, 프로세서(210)는 영상 데이터의 획득이 시작되는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 사용자 입력에 기반하여, 영상 데이터의 획득을 시작할 수 있다. 프로세서(210)는 영상 데이터의 획득을 시작하기 위한 사용자 입력이 수신되는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 영상 데이터의 획득이 시작되지 않는 경우(동작 502 - 아니오), 프로세서(210)는 동작 501을 수행할 수 있다. 프로세서(210)는 영상 데이터의 획득을 시작하기 위한 사용자 입력을 대기할 수 있다.
동작 503에서, 영상 데이터의 획득이 시작되는 경우(동작 502 - 예), 프로세서(210)는 프레임 카운터를 설정할 수 있다. 예를 들어, 프로세서(210)는 영상 데이터의 획득이 시작되는 것에 기반하여, 프레임 카운터를 설정할 수 있다. 프로세서(210)는 프레임 카운터를 0으로 설정할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 영상 데이터의 획득이 시작되는 경우, 영상 합성 프로세스를 수행하기 위한 비디오 코덱을 실행(또는 활성화)할 수 있다.
동작 504에서, 프로세서(210)는 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 최대 노출 시간으로 설정된 카메라(220)의 노출 시간에 기반하여 이미지를 획득할 수 있다. 동작 504는 도 4의 동작 420에 상응할 수 있다.
동작 505에서, 프로세서(210)는 프레임 카운터가 0인지 여부를 식별할 수 있다. 프로세서(210)는 영상 데이터를 획득하기 위한 첫번째 프레임인지 여부를 식별하기 위해. 프레임 카운터가 0인지 여부를 식별할 수 있다.
동작 506에서, 프레임 카운터가 0이 아닌 경우(동작 505 - 아니오), 프로세서(210)는 이미지 합성 프로세스의 리셋이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 프레임 카운터가 0이 아님을 식별하는 것에 기반하여, 이미지 합성 프로세스의 리셋이 필요한지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 지정된 조건에 따라, 이미지 합성 프로세스의 리셋이 필요한지 여부를 판단할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지의 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 이미지 합성 프로세스의 리셋이 필요한 것으로 판단할 수 있다.
동작 507에서, 프레임 카운터가 0이거나(동작 505 - 예), 이미지 프로세스의 리셋이 필요한 경우(동작 506 - 예), 프로세서(210)는 획득된 이미지를 버퍼에 저장할 수 있다. 예를 들어, 프로세서(210)는 프레임 카운터가 0임을 식별하는 것에 기반하여, 획득된 이미지를 메모리(예: 도 2의 메모리(230))에 구성된 버퍼에 저장할 수 있다. 예를 들어, 프로세서(210)는 이미지 프로세스의 리셋이 필요함을 식별하는 것에 기반하여, 획득된 이미지를 메모리(230)에 구성된 버퍼에 저장할 수 있다.
동작 508에서, 이미지의 합성 프로세스의 리셋이 필요하지 않은 경우(동작 506 - 아니오), 프로세서(210)는 버퍼에 저장된 이미지와 획득된 이미지를 합성할 수 있다. 예를 들어, 프로세서(210)는 이미지의 합성 프로세스의 리셋이 필요하지 않음을 식별하는 것에 기반하여, 버퍼에 저장된 이미지와 획득된 이미지를 합성할 수 있다. 프로세서(210)는 합성된 이미지를 버퍼에 저장할 수 있다.
동작 509에서, 프로세서(210)는 프레임 카운터를 증가시킬 수 있다. 예를 들어, 프로세서(210)는 프레임 카운터를 1 만큼 증가시킬 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지를 버퍼에 저장하거나 합성된 이미지를 버퍼에 저장한 뒤, 프레임 카운터를 1 만큼 증가시킬 수 있다.
동작 510에서, 프로세서(210)는 획득된 이미지(또는 합성된 이미지)가 영상 데이터로 구성될 이미지인지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 프레임 카운터에 기반하여, 획득된 이미지(또는 합성된 이미지)가 영상 데이터로 구성될 이미지인지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 프레임 카운터가 홀수(또는 짝수)임에 기반하여, 획득된 이미지를 영상 데이터로 구성될 이미지로 식별할 수 있다. 일 실시 예에 따르면, 프로세서(210)는 프레임 카운터가 기준 값들 중 하나임에 기반하여, 획득된 이미지를 영상 데이터로 구성될 이미지로 식별할 수 있다. 일 실시 예에 따르면, 프로세서(210)는 프레임 카운터의 개수에 기반하여, 샘플링 주기를 변경할 수 있다. 예를 들어, 프로세서(210)는 지정된 개수(또는 샘플링 주기에 따른 개수)의 이미지들을 획득한 뒤, 지정된 개수의 이미지들을 합성함으로써, 하나의 프레임을 구성할 수도 있다.
동작 511에서, 획득된 이미지(또는 합성된 이미지)가 영상 데이터로 구성될 이미지인 경우(동작 510 - 예), 프로세서(210)는 획득된 이미지(또는 합성된 이미지)를 영상 데이터를 구성하는 프레임으로 설정할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지가 영상 데이터로 구성될 이미지임을 식별하는 것에 기반하여, 획득된 이미지를 영상 데이터를 구성하는 프레임으로 설정할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지를, 영상 데이터를 구성하는 복수의 프레임들 중 하나로 설정할 수 있다.
동작 512에서, 프로세서(210)는 영상 데이터의 획득이 종료되는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지를 영상 데이터를 구성하는 프레임으로 설정한 뒤, 영상 데이터의 획득이 종료되는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지가 영상 데이터로 구성될 이미지가 아님을 식별하는 것에 기반하여, 영상 데이터의 획득이 종료되는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 영상 데이터의 획득을 시작하기 위한 사용자 입력과 구별되는 다른 사용자 입력이 수신되는지 여부에 기반하여, 영상 데이터의 획득이 종료되는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 영상 데이터의 획득이 종료되지 않는 경우(동작 512 - 아니오), 프로세서(210)는 동작 504를 수행할 수 있다. 예를 들어, 프로세서(210)는 영상 데이터의 획득이 종료되지 않음을 식별하는 것에 기반하여, 영상 데이터의 프레임을 추가하기 위해, 동작 504에 따라 다른 이미지를 획득할 수 있다.
동작 513에서, 영상 데이터의 획득이 종료되는 경우(동작 512 - 예), 프로세서(210)는 영상 데이터를 메모리(230)에 저장할 수 있다. 예를 들어, 프로세서(210)는 영상 데이터의 획득이 종료됨을 식별하는 것에 기반하여, 영상 데이터를 메모리(230)에 저장할 수 있다. 예를 들어, 프로세서(210)는 영상 데이터의 획득을 종료하기 위한 다른 사용자 입력을 수신하는 것에 기반하여, 영상 데이터를 메모리(230)에 저장할 수 있다.
도 6a 내지 도 6c는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 6a 내지 도 6c의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 6a를 참조하면, 프로세서(210)는 시간 구간(601) 내에서 이미지(611)를 획득할 수 있다. 프로세서(210)는 이미지(611)를 복수의 프레임들(630) 중 첫번째 프레임인 프레임(630-1)으로 설정할 수 있다. 프로세서(210)는 이미지(611)를 메모리(예: 도 2의 메모리(230))의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(602) 내에서 이미지(612)를 획득할 수 있다. 프로세서(210)는 이미지(612)와 버퍼에 저장된 이미지(611)를 합성함으로써, 이미지(622)를 획득할 수 있다. 프로세서(210)는 이미지(622)를 복수의 프레임들(630) 중 두 번째 프레임인 프레임(630-2)으로 설정할 수 있다. 프로세서(210)는 이미지(622)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(603) 내에서 이미지(613)를 획득할 수 있다. 프로세서(210)는 이미지(613)와 버퍼에 저장된 이미지(622)를 합성함으로써, 이미지(623)를 획득할 수 있다. 예를 들어, 프로세서(210)는 이미지(611) 내지 이미지(613)를 합성함으로써, 이미지(623)를 획득할 수 있다. 프로세서(210)는 이미지(623)를 복수의 프레임들(630) 중 세 번째 프레임인 프레임(630-3)으로 설정할 수 있다. 프로세서(210)는 이미지(623)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 상술한 동작을 반복함으로써, 이미지(611), 이미지(622), 및 이미지(623)를 포함하는 복수의 이미지들로 구성된 복수의 프레임들(630)을 식별(또는 획득)할 수 있다. 프로세서(210)는 복수의 프레임들(630)로 구성된 영상 데이터를 획득하고, 획득된 영상 데이터를 메모리(230)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 복수의 이미지들을 누적하여 합성하고, 합성된 이미지를 영상 데이터를 구성하는 복수의 프레임들 중 하나로 설정할 수 있다. 프로세서(210)는 합성된 이미지를 데이터를 구성하는 복수의 프레임들 중 하나로 설정함으로써, 외부 객체의 궤적을 영상 데이터를 통해 나타낼 수 있다.
도 6b를 참조하면, 프로세서(210)는 시간 구간(601) 내에서 이미지(611)를 획득할 수 있다. 프로세서(210)는 이미지(611)를 복수의 프레임들(640) 중 첫번째 프레임인 프레임(640-1)으로 설정할 수 있다. 프로세서(210)는 이미지(611)를 메모리(230)의 버퍼에 저장할 수 있다.
프로세서(210)는 시간 구간(602) 내에서 이미지(612)를 획득할 수 있다. 프로세서(210)는 이미지(612)와 버퍼에 저장된 이미지(611)를 합성함으로써, 이미지(622)를 획득할 수 있다. 프로세서(210)는 이미지(622)를 메모리(230)의 버퍼에 저장할 수 있다. 프로세서(210)는 이미지(622)를 영상 데이터의 프레임으로 구성하지 않을 수 있다. 프로세서(210)는 홀수 번째로 획득된 이미지만을 영상 데이터의 프레임으로 구성할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(603) 내에서 이미지(613)를 획득할 수 있다. 프로세서(210)는 이미지(613)와 버퍼에 저장된 이미지(622)를 합성함으로써, 이미지(623)를 획득할 수 있다. 예를 들어, 프로세서(210)는 이미지(611) 내지 이미지(613)를 합성함으로써, 이미지(623)를 획득할 수 있다. 프로세서(210)는 이미지(623)를 복수의 프레임들(640) 중 두 번째 프레임인 프레임(640-2)으로 설정할 수 있다. 프로세서(210)는 이미지(623)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 상술한 동작을 반복함으로써, 이미지(611), 이미지(623), 및 이미지(625)를 포함하는 복수의 이미지들로 구성된 복수의 프레임들(640)을 식별(또는 획득)할 수 있다. 프로세서(210)는 복수의 프레임들(640)로 구성된 영상 데이터를 획득하고, 획득된 영상 데이터를 메모리(230)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 획득된 이미지들 중 적어도 일부를 영상 데이터의 프레임들로 설정할 수 있다. 프로세서(210)는 획득된 이미지들 중 적어도 일부를 영상 데이터의 프레임들로 설정함으로써, 외부 객체의 궤적을 영상 데이터를 통해 나타낼 수 있다.
도 6c를 참조하면, 프로세서(210)는 시간 구간(601) 내에서 이미지(611)를 획득할 수 있다. 프로세서(210)는 이미지(611)를 복수의 프레임들(650) 중 첫번째 프레임인 프레임(650-1)으로 설정할 수 있다. 프로세서(210)는 이미지(611)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(602) 내에서 이미지(612)를 획득할 수 있다. 프로세서(210)는 이미지(612)와 버퍼에 저장된 이미지(611)를 합성함으로써, 이미지(622)를 획득할 수 있다. 프로세서(210)는 이미지(622)를 복수의 프레임들(650) 중 두 번째 프레임인 프레임(650-2)으로 설정할 수 있다. 프로세서(210)는 이미지(622)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(603) 내에서 이미지(613)를 획득할 수 있다. 프로세서(210)는 이미지(613)에 대한 밝기 값을 식별할 수 있다. 프로세서(210)는 이미지(613)에 대한 밝기 값이 지정된 밝기 값 이상임을 식별할 수 있다. 프로세서(210)는 이미지(613)에 대한 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 이미지 합성 프로세스를 리셋할 수 있다. 프로세서(210)는 이미지(613)를 복수의 프레임들(650) 중 세 번째 프레임인 프레임(650-3)으로 설정할 수 있다. 프로세서(210)는 이미지(613)를 메모리(230)의 버퍼에 저장할 수 있다.
상술한 동작을 반복함으로써, 프로세서(210)는 이미지(613) 및 시간 구간(604) 내에서 획득된 이미지(614)를 합성하는 것에 기반하여, 이미지(651)를 식별할 수 있다. 프로세서(210)는 이미지(651)를 프레임(650-4)으로 설정할 수 있다. 프로세서(210)는 이미지(651)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(651) 및 시간 구간(605) 내에서 획득된 이미지(615)를 합성하는 것에 기반하여, 이미지(652)를 식별할 수 있다. 프로세서(210)는 이미지(652)를 프레임(650-5)으로 설정할 수 있다. 프로세서(210)는 이미지(652)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 시간 구간(606) 내에서 이미지(616)를 획득할 수 있다. 프로세서(210)는 이미지(616)에 대한 밝기 값을 식별할 수 있다. 프로세서(210)는 이미지(616)에 대한 밝기 값이 지정된 밝기 값 이상임을 식별할 수 있다. 프로세서(210)는 이미지(616)에 대한 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 이미지 합성 프로세스를 리셋할 수 있다. 프로세서(210)는 이미지(616)를 프레임(650-6)으로 설정할 수 있다. 프로세서(210)는 이미지(616)를 메모리(230)의 버퍼에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 획득된 이미지에 대한 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 이미지 합성 프로세스를 리셋할 수 있다. 프로세서(210)는 이미지 합성 프로세스를 리셋함으로써, 획득된 이미지부터 이미지 합성 프로세스를 수행함으로써, 복수의 프레임들(650)을 식별할 수 있다.
도 7a 및 도 7b는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 7a 및 도 7b의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 7a를 참조하면, 상태(700-1)에서, 프로세서(210)는 카메라(220)의 노출 시간을 시간 구간(701)으로 설정할 수 있다. 예를 들어, 시간 구간(701)은 카메라(220)의 최대 노출 시간보다 작을 수 있다. 프로세서(210)는 시간 구간(702)에서, 시간 구간(701) 동안 획득된 데이터를 처리함으로써, 이미지(710-1)를 획득할 수 있다. 프로세서(210)는 이미지(710-1)를 복수의 프레임들 중 첫 번째 프레임으로 설정할 수 있다. 프로세서(210)는 시간 구간(703) 동안 하나의 프레임을 구성할 수 있다. 프로세서(210)는 도 6a의 동작과 같이, 이미지(710-1)와 새롭게 획득된 이미지를 합성함으로써, 이미지(710-2)를 획득할 수 있다. 프로세서(210)는 획득된 이미지들을 누적하여 합성함으로써, 이미지(710-n)를 식별할 수 있다.
일 실시 예에 따르면, 이미지(710-n)는 외부 객체의 궤적을 나타내는 시각적 객체(711)를 포함할 수 있다. 시각적 객체(711)는 외부 객체의 궤적이 연속적으로 표시되지 않을 수 있다.
도 7b를 참조하면, 상태(700-2)에서, 프로세서(210)는 카메라(220)의 노출 시간을 시간 구간(704)으로 설정할 수 있다. 예를 들어, 시간 구간(704)은 카메라(220)의 이미지 센서의 능력 정보에 기반하여 식별된 카메라(220)의 최대 노출 시간일 수 있다. 프로세서(210)는 시간 구간(705)에서, 시간 구간(704) 동안 획득된 데이터를 처리함으로써, 이미지(720-1)를 획득할 수 있다. 프로세서(210)는 이미지(720-1)를 복수의 프레임들 중 첫 번째 프레임으로 설정할 수 있다. 프로세서(210)는 시간 구간(703) 동안 하나의 프레임을 구성할 수 있다. 프로세서(210)는 도 6a의 동작과 같이, 이미지(720-1)와 새롭게 획득된 이미지를 합성함으로써, 이미지(720-2)를 획득할 수 있다. 프로세서(210)는 획득된 이미지들을 누적하여 합성함으로써, 이미지(720-n)를 식별할 수 있다.
일 실시 예에 따르면, 이미지(720-n)는 외부 객체의 궤적을 나타내는 시각적 객체(721)를 포함할 수 있다. 시각적 객체(721)는 외부 객체의 궤적이 연속적으로 표시될 수 있다.
도 7a 및 도 7b를 참조하면, 프로세서(210)는 동일한 시간 구간(703) 내에서, 카메라(220)의 노출 시간을 다르게 설정할 수 있다. 카메라(220)의 노출 시간이 카메라(220)의 최대 노출 시간으로 설정된 경우, 프로세서(210)는 외부 객체(예: 별)의 궤적이 연속적으로 표시되는 이미지(예: 이미지(720-n))를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 카메라(220)에 포함된 이미지 센서의 능력 정보에 기반하여, 카메라(220)의 최대 노출 시간을 식별할 수 있다. 또한, 프로세서(210)는 카메라(220)의 노출 시간 동안 획득된 데이터를 처리하기 위한 시간을 최소 시간으로 설정할 수 있다. 예를 들어, 프로세서(210)는 카메라(220)의 노출 시간을 최대 노출 시간으로 설정하고, 카메라(220)의 노출 시간 동안 획득된 데이터를 처리하기 위한 시간을 최소 시간으로 설정할 수 있다. 이 경우, 프로세서(210)는 외부 객체의 궤적이 연속적으로 표시되는 이미지를 식별할 수 있다.
도 8은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 8의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 810 내지 동작 830은 도 4의 동작 440과 관련될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 8을 참조하면, 동작 810에서, 프로세서(210)는 제1 이미지가 제1 시각적 객체를 포함함을 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지가, 외부 객체(예: 별)에 대응하고, 제1 이미지 내에서 제1 위치에 배치된 제1 시각적 객체를 포함함을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 이미지에 포함된 복수의 시각적 객체들 중, 외부 객체(예: 별)에 대응하는 제1 시각적 객체를 식별할 수 있다. 제1 이미지에 포함된 복수의 시각적 객체들 중, 제1 시각적 객체를 식별하는 구체적인 동작의 예가 도 11 및 도 12에서 후술될 것이다.
동작 820에서, 프로세서(210)는 제2 이미지가 제2 시각적 객체를 포함함을 식별할 수 있다. 예를 들어, 프로세서(210)는 제2 이미지가, 외부 객체(예: 별)에 대응하고, 제2 이미지 내에서 제2 위치에 배치된 제2 시각적 객체를 포함함을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 외부 객체(예: 별)가 시간에 따라 이동함을 식별할 수 있다. 예를 들어, 외부 객체는 지구의 자전에 기반하여 이동되는 것으로 식별될 수 있다. 외부 객체의 절대적인 위치는 변경되지 않으나, 지구의 자전에 의해 외부 객체가 이동되는 것으로 식별될 수 있다. 이하에서는 설명의 편의를 위해. 관측자(또는 전자 장치)를 기준으로 외부 객체가 이동되는 것으로 설명될 수 있다.
예를 들어, 카메라(예: 도 2의 카메라(220))(또는 도 2의 전자 장치(200))가 고정되고, 고정된 외부 영역을 촬영하는 동안, 외부 객체는 시간에 따라 이동될 수 있다. 따라서, 제1 이미지 내의 외부 객체에 대응하는 제1 시각적 객체의 위치는 제2 이미지 내의 외부 객체에 대응하는 제2 시각적 객체의 위치와 상이할 수 있다.
동작 830에서, 프로세서(210)는 제1 시각적 객체 및 제2 시각적 객체를 포함하는 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 및 제2 이미지를 합성하는 것에 기반하여, 제1 시각적 객체 및 제2 시각적 객체를 포함하는 제3 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 시각적 객체 및 제2 시각적 객체를 모두 포함하는 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 시각적 객체 및 제2 시각적 객체만을 포함하는 제3 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 이미지에 포함된 복수의 시각적 객체들 중, 제1 시각적 객체를 제외한 나머지 시각적 객체들 및 제2 이미지에 포함된 복수의 시각적 객체들 중 제2 시각적 객체를 제외한 나머지 시각적 객체들을 제3 이미지에서 제거할 수 있다. 프로세서(210)는 외부 객체의 궤적만을 나타내기 위해, 외부 객체에 대응하지 않는 시각적 객체들을 제거함으로써, 제3 이미지를 획득할 수 있다.
도 9는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 9의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 901 내지 동작 908은 외부 객체의 궤적을 나타내기 위해 제1 이미지 및 제2 이미지를 합성하는 동작과 관련될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 9를 참조하면, 동작 901에서, 프로세서(210)는 제1 이미지 내에서 외부 객체에 대응하는 제1 시각적 객체를 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 내에 포함된 복수의 시각적 객체들을 식별할 수 있다. 프로세서(210)는 제1 이미지 내에 포함된 복수의 시각적 객체들에 기반하여, 외부 객체에 대응하는 제1 시각적 객체를 식별할 수 있다. 이미지 내에서 외부 객체에 대응하는 시각적 객체를 식별하기 위한 프로세서(210)의 구체적인 동작은 도 11 및 도 12에서 후술될 것이다.
동작 902에서, 프로세서(210)는 제2 이미지가 버퍼에 저장되었는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 제2 이미지가 버퍼에 저장되었는지 여부를 식별함으로써, 영상 데이터를 구성하는 복수의 프레임들 중 첫 번째 프레임을 구성하기 위해 제1 이미지가 획득되었는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 제2 이미지가 버퍼에 저장되었는지 여부를 식별함으로써, 영상 합성 프로세스가 리셋된 후에 제1 이미지가 획득되었는지 여부를 식별할 수 있다.
동작 903에서, 제2 이미지가 버퍼에 저장되지 않은 경우(동작 902 - 아니오), 프로세서(210)는 제1 이미지를 버퍼에 저장할 수 있다. 예를 들어, 프로세서(210)는 제2 이미지가 메모리(230)의 버퍼에 저장되지 않음을 식별하는 것에 기반하여, 제1 이미지를 버퍼에 저장할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지를 영상 데이터를 구성하는 복수의 프레임들 중 하나의 프레임으로 구성할 수 있다.
동작 904에서, 제2 이미지가 버퍼에 저장된 경우(동작 902 - 예), 프로세서(210)는 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 제2 이미지가 버퍼에 저장 되어있음을 식별하는 것에 기반하여, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다.
예를 들어, 프로세서(210)는 제1 이미지의 밝기 값이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 제1 시각적 객체 및 제2 시각적 객체의 합성에 따라, 외부 객체의 궤적이 표현되지 않음을 식별할 수 있다. 따라서, 프로세서(210)는 제1 이미지의 밝기 값에 기반하여, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다.
예를 들어, 프로세서(210)는 제1 이미지를 luminance channel 및 chroma channel로 분리할 수 있다. 프로세서(210)는 luminance channel에 따른 제1 이미지의 luminance에 관한 값에 기반하여, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다. 예를 들어, luminance channel은 제1 이미지의 밝기 차이에 대한 정보를 나타낼 수 있다. 예를 들어, chroma channel은 제1 이미지에서 제1 이미지의 색 차이에 대한 정보를 나타낼 수 있다.
예를 들어, 프로세서(210)는 제1 시각적 객체 및 제2 시각적 객체의 합성에 따라, 외부 객체의 궤적이 표현되는지 여부를 식별할 수 있다. 제1 시각적 객체가 외부 객체(예: 별)에 대응하는 것으로 식별된 경우에도, 실제로 제1 시각적 객체가 외부 객체에 대응하지 않을 수 있다. 따라서, 프로세서(210)는 제1 시각적 객체의 특징 및 제2 시각적 객체의 특징(예: 크기, 형상, 또는 위치)를 비교함으로써, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다.
예를 들어, 프로세서(210)는 제1 시각적 객체의 크기 및 제2 시각적 객체의 크기를 비교하는 것에 기반하여, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 내에서 제1 시각적 객체의 제1 위치 및 제2 이미지 내에서 제2 시각적 객체의 제2 위치를 비교하는 것에 기반하여, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한지 여부를 식별할 수 있다.
동작 905에서, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요한 경우(동작 904 - 예), 프로세서(210)는 제2 시각적 객체의 밝기 값을 제1 비율에 따라 감소시킬 수 있다.
예를 들어, 프로세서(210)는 외부 객체의 궤적을 나타내기 위해, 제1 이미지보다 먼저 획득된 제2 이미지의 제2 시각적 객체의 밝기 값을 감소시킬 수 있다. 프로세서(210)는 제2 시각적 객체의 밝기 값을 제1 비율에 따라 감소시킬 수 있다.
동작 906에서, 제1 시각적 객체와 제2 시각적 객체의 합성이 필요하지 않은 경우(동작 904 - 아니오), 프로세서(210)는 제2 시각적 객체의 밝기 값을 제2 비율에 따라 감소시킬 수 있다.
예를 들어, 제2 비율은 제1 비율보다 크게 설정될 수 있다. 프로세서(210)는 제1 이미지보다 먼저 획득된 제2 이미지의 제2 시각적 객체의 밝기 값을 제1 시각적 객체의 밝기 값보다 상대적으로 큰 비율에 따라 감소시킬 수 있다. 제1 시각적 객체 및 제2 시각적 객체의 합성에 따라, 외부 객체의 궤적이 표현되지 않는 경우, 프로세서(210)는 제2 시각적 객체를 제외하고, 제1 이미지 및 제2 이미지의 합성을 수행할 수 있다. 따라서, 프로세서(210)는 제2 시각적 객체의 밝기 값을 제1 비율보다 큰 제2 비율에 따라 감소시킬 수 있다.
동작 907에서, 프로세서(210)는 제1 이미지 및 제2 이미지를 합성할 수 있다. 예를 들어, 프로세서(210)는 동작 905에 따라, 제1 이미지 내의 제1 시각적 객체의 밝기 값을 제1 비율에 따라 감소시킨 후, 제1 이미지 및 제2 이미지를 합성할 수 있다. 예를 들어, 프로세서(210)는 동작 906에 따라, 제2 이미지 내의 제2 시각적 객체의 밝기 값을 제2 비율에 따라 감소시킨 후, 제1 이미지 및 제2 이미지를 합성할 수 있다.
동작 908에서, 프로세서(210)는 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 및 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득할 수 있다. 예를 들어, 제3 이미지는 제1 시각적 객체 및 제2 시각적 객체를 포함할 수 있다. 제3 이미지에 포함된 제2 시각적 객체의 밝기 값은, 제2 이미지에 포함된 제2 시각적 객체의 밝기 값에 비해 제1 비율 또는 제2 비율만큼 감소된 상태일 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 이미지를 luminance channel 및 chroma channel로 분리할 수 있다. 프로세서(210)는 제2 이미지를 luminance channel 및 chroma channel로 분리할 수 있다. 프로세서(210)는 제1 이미지의 luminance를 나타내는 제1 값 및 제2 이미지의 luminance를 나타내는 제2 값에 기반하여, 합성 비율을 식별할 수 있다. 프로세서(210)는 식별된 합성 비율에 기반하여, 제1 이미지의 luminance channel 및 제2 이미지의 luminance channel을 합성할 수 있다. 프로세서(210)는 식별된 합성 비율에 기반하여, 제1 이미지의 chroma channel 및 제2 이미지의 chroma channel을 합성할 수 있다. 실시 예에 따라, 제1 이미지의 chroma channel 및 제2 이미지의 chroma channel를 합성하기 위한 합성 비율은 제1 이미지의 luminance channel 및 제2 이미지의 luminance channel을 합성하기 위한 합성 비율과 상이하게 설정될 수도 있다.
도 10은 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 10의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 10을 참조하면, 프로세서(210)는 이미지(1010)를 획득할 수 있다. 이미지(1010)는 시각적 객체(1011) 내지 시각적 객체(1015)를 포함할 수 있다. 예를 들어, 프로세서(210)는 시각적 객체(1011) 내지 시각적 객체(1015)가 모두 별에 대응하는 것으로 식별할 수 있다. 실제로 시각적 객체(1011) 내지 시각적 객체(1013)만 별에 대응하는 경우에도, 프로세서(210)는 시각적 객체(1011) 내지 시각적 객체(1015)가 모두 별에 대응하는 것으로 식별할 수 있다. 일 예로, 시각적 객체(1014)는 실제로 건물의 불빛에 대응할 수 있다. 시각적 객체(1015)는 실제로 가로수의 불빛에 대응할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(1020)를 획득할 수 있다. 예를 들어, 프로세서(210)는 이미지(1010)가 획득된 후, 이미지(1020)를 획득할 수 있다. 시간이 경과됨에 따라, 이미지(1020) 내에서 별에 대응하는 시각적 객체의 위치가 변경될 수 있다.
예를 들어, 프로세서(210)는 이미지(1020) 내의 시각적 객체(1021) 내지 시각적 객체(1023)의 위치가 이미지(1010) 내의 시각적 객체(1011) 내지 시각적 객체(1013)의 위치를 기준으로 변경되었음을 식별할 수 있다. 프로세서(210)는 시각적 객체(1011) 및 시각적 객체(1021)가 동일한 별에 대응함을 식별할 수 있다. 프로세서(210)는 시각적 객체(1011) 및 시각적 객체(1021)를 합성할 수 있다. 프로세서(210)는 시각적 객체(1012) 및 시각적 객체(1022)가 동일한 별에 대응함을 식별할 수 있다. 프로세서(210)는 시각적 객체(1012) 및 시각적 객체(1022)를 합성할 수 있다. 프로세서(210)는 시각적 객체(1013) 및 시각적 객체(1023)가 동일한 별에 대응함을 식별할 수 있다. 프로세서(210)는 시각적 객체(1013) 및 시각적 객체(1023)를 합성할 수 있다.
예를 들어, 프로세서(210)는 이미지(1020) 내의 시각적 객체(1024)의 위치가 이미지(1010) 내의 시각적 객체(1014)의 위치와 동일함을 식별할 수 있다. 프로세서(210)는 이미지(1020) 내의 시각적 객체(1025)의 위치가 이미지(1010) 내의 시각적 객체(1015)의 위치와 동일함을 식별할 수 있다. 프로세서(210)는 시각적 객체(1024) 및 시각적 객체(1025)가 별에 대응하지 않음을 식별할 수 있다. 프로세서(210)는 시각적 객체(1014) 및 시각적 객체(1024)를 합성하지 않을 수 있다. 프로세서(210)는 시각적 객체(1015) 및 시각적 객체(1025)를 합성하지 않을 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(1010) 및 이미지(1020)를 합성할 수 있다. 프로세서(210)는 이미지(1010) 및 이미지(1020)를 합성함으로써, 이미지(1030)를 획득할 수 있다. 이미지(1030)는 시각적 객체(1031) 내지 시각적 객체(1035)를 포함할 수 있다.
예를 들어, 프로세서(210)는 시각적 객체(1011) 및 시각적 객체(1021)를 합성하는 것에 기반하여, 시각적 객체(1031)를 획득할 수 있다. 프로세서(210)는 시각적 객체(1012) 및 시각적 객체(1022)를 합성하는 것에 기반하여, 시각적 객체(1032)를 획득할 수 있다. 프로세서(210)는 시각적 객체(1013) 및 시각적 객체(1023)를 합성하는 것에 기반하여, 시각적 객체(1033)를 획득할 수 있다.
예를 들어, 프로세서(210)는 시각적 객체(1014) 및 시각적 객체(1024)를 합성하지 않을 수 있다. 프로세서(210)는 시각적 객체(1034)를 시각적 객체(1024)에 상응하도록 구성할 수 있다. 프로세서(210)는 시각적 객체(1015) 및 시각적 객체(1025)를 합성하지 않을 수 있다. 프로세서(210)는 시각적 객체(1035)를 시각적 객체(1025)에 상응하도록 구성할 수 있다.
도시된 것과 달리, 이미지(1010) 및 이미지(1020)가 합성된 이미지(1030)는 시각적 객체(1034) 및 시각적 객체(1035)를 포함하지 않을 수 있다. 프로세서(210)는 별의 궤적만을 포함하도록 이미지(1030)를 구성할 수 있다. 예를 들어, 이미지(1030)는 시각적 객체(1031) 내지 시각적 객체(1033)만을 포함할 수 있다. 일 예로, 프로세서(210)는 시각적 객체(1014), 시각적 객체(1015), 시각적 객체(1024), 시각적 객체(1025)를 제외된 상태로 이미지(1010) 및 이미지(1020)의 합성을 수행할 수 있다.
도 11은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 11의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 1110 및 동작 1120은 제1 이미지에 포함된 복수의 시각적 객체들 중 외부 객체에 대응하는 제1 시각적 객체를 식별하는 동작과 관련될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 11을 참조하면, 동작 1110에서, 프로세서(210)는 제1 이미지에 포함된 복수의 시각적 객체들 각각의 형상 및 밝기 값을 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지의 복수의 시각적 객체들을 식별할 수 있다. 프로세서(210)는 복수의 시각적 객체들 각각의 형상 및 밝기 값을 식별할 수 있다.
동작 1120에서, 프로세서(210)는 복수의 시각적 객체들 중 지정된 조건을 만족하는 제1 시각적 객체를 식별할 수 있다. 예를 들어, 프로세서(210)는 복수의 시각적 객체들 각각의 형상 및 밝기 값에 기반하여, 복수의 시각적 객체들 중 지정된 조건을 만족하는 제1 시각적 객체를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 복수의 시각적 객체들 중 하나인 후보 시각적 객체를 식별할 수 있다. 프로세서(210)는 후보 시각적 객체가 지정된 조건을 만족함을 식별하는 것에 기반하여, 후보 시각적 객체를, 외부 객체에 대응하는 제1 시각적 객체로 식별할 수 있다.
예를 들어, 프로세서(210)는 후보 시각적 객체의 밝기 값을 식별할 수 있다. 프로세서(210)는 후보 시각적 객체를 구성하는 적어도 하나의 픽셀의 밝기 값에 기반하여, 후보 시각적 객체의 밝기 값을 식별할 수 있다. 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위 내인지 여부를 식별할 수 있다. 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체를, 외부 객체(예: 별)에 대응하는 제1 시각적 객체로 식별할 수 있다.
예를 들어, 프로세서(210)는 후보 시각적 객체의 형상을 식별할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상의 가로에 대한 세로의 비율을 식별할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상의 가로에 대한 세로의 비율이 제2 범위 내인지 여부를 식별할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상의 가로에 대한 세로의 비율이 제2 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체를, 외부 객체(예: 별)에 대응하는 제1 시각적 객체로 식별할 수 있다.
도 12는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 12의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다. 동작 1201 및 동작 1206은 제1 이미지에 포함된 복수의 시각적 객체들 중 외부 객체에 대응하는 제1 시각적 객체를 식별하는 동작과 관련될 수 있다.
도 12를 참조하면, 동작 1201에서, 프로세서(210)는 제1 이미지 내의 복수의 시각적 객체들 중 후보 시각적 객체를 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 이미지 내의 복수의 시각적 객체들 중 하나를 후보 시각적 객체로 설정할 수 있다. 예를 들어, 프로세서(210)는 복수의 시각적 객체를 순차적으로, 후보 시각적 객체로 설정할 수 있다.
동작 1202에서, 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위 내인지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체를 구성하는 적어도 하나의 픽셀의 밝기 값을 식별할 수 있다. 프로세서(210)는 적어도 하나의 픽셀의 밝기 값에 기반하여, 후보 시각적 객체의 밝기 값을 식별할 수 있다. 일 예로, 프로세서(210)는 적어도 하나의 픽셀의 밝기 값의 대표 값(예: 최대 값, 최소 값, 중간 값, 최빈 값 또는 평균 값)을 후보 시각적 객체의 밝기 값으로 식별할 수 있다. 일 예로, 프로세서(210)는 적어도 하나의 픽셀의 밝기 값의 중간 값을 후보 시각적 객체의 밝기 값으로 식별할 수 있다.
예를 들어, 외부 객체(예: 별)에 대응하는 시각적 객체의 밝기 값은 제1 범위 내일 수 있다. 일 예로, 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체가, 외부 객체에 대응함을 식별할 수 있다.
일 실시 예에 따르면, 후보 시각적 객체의 밝기 값이 제1 범위를 벗어나는 경우(동작 1202 - 아니오), 프로세서(210)는 동작 1201를 수행할 수 있다. 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위를 벗어남을 식별하는 것에 기반하여, 제1 이미지 내의 복수의 시각적 객체들 중 다른 후보 시각적 객체를 식별할 수 있다. 프로세서(210)는 다른 후보 시각적 객체들을 식별하는 것에 기반하여 동작 1202 내지 동작 1206을 수행할 수 잇다.
동작 1203에서, 후보 시각적 객체의 밝기 값이 제1 범위 내인 경우(동작 1202 - 예), 프로세서(210)는 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위 내인지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체의 밝기 값이 제1 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위 내인지 여부를 식별할 수 있다. 예를 들어, 제2 범위는 0.8 내지 1.2로 설정될 수 있다.
예를 들어, 외부 객체(예: 별)에 대응하는 시각적 객체의 형상의 가로 및 세로의 비율은 제2 범위 내일 수 있다. 일 예로, 프로세서(210)는 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체가, 외부 객체에 대응함을 식별할 수 있다.
일 실시 예에 따르면, 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위를 벗어나는 경우(동작 1203 - 아니오), 프로세서(210)는 동작 1201를 수행할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위를 벗어남을 식별하는 것에 기반하여, 제1 이미지 내의 복수의 시각적 객체들 중 다른 후보 시각적 객체를 식별할 수 있다. 프로세서(210)는 다른 후보 시각적 객체들을 식별하는 것에 기반하여 동작 1202 내지 동작 1206을 수행할 수 있다.
동작 1204에서, 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위 내인 경우(동작 1203 - 예), 프로세서(210)는 후보 시각적 객체의 형상이 지정된 형상에 상응하는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체의 형상의 가로 및 세로의 비율이 제2 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체의 형상이 지정된 형상에 상응하는지 여부를 식별할 수 있다. 예를 들어, 지정된 형상은 원형, 정사각형, 타원, 직사각형, 및 짧은 직선 중 하나로 설정될 수 있다. 일 실시 예에 따르면, 지정된 형상은 노출 시간에 기반하여 설정될 수 있다. 예를 들어, 노출 시간이 제1 시간 구간(예: 5 초)으로 설정된 경우, 지정된 형상은 원형 또는 직사각형 중 하나로 설정될 수 있다. 예를 들어, 노출 시간이 제2 시간 구간(예: 10초 내지 15초)으로 설정된 경우, 지정된 형상은 타원, 직사각형, 또는 짧은 직선 중 하나로 설정될 수 있다.
예를 들어, 외부 객체(예: 별)에 대응하는 시각적 객체의 형상은 지정된 형상에 상응할 수 있다. 일 예로, 프로세서(210)는 후보 시각적 객체의 형상이 지정된 형상에 상응하는 것에 기반하여, 후보 시각적 객체가, 외부 객체에 대응함을 식별할 수 있다.
일 실시 예에 따르면, 후보 시각적 객체의 형상이 지정된 형상에 상응하지 않는 경우(동작 1204 - 아니오), 프로세서(210)는 동작 1201를 수행할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상이 지정된 형상에 상응하지 않음을 식별하는 것에 기반하여, 제1 이미지 내의 복수의 시각적 객체들 중 다른 후보 시각적 객체를 식별할 수 있다. 프로세서(210)는 다른 후보 시각적 객체들을 식별하는 것에 기반하여 동작 1202 내지 동작 1206을 수행할 수 있다.
동작 1205에서, 후보 시각적 객체의 형상이 지정된 형상에 상응하는 경우(동작 1204 - 예), 프로세서(210)는 후보 시각적 객체의 형상의 중심 부(central portion)의 밝기 값이 후보 시각적 객체의 형상의 외곽 부(outer portion)의 밝기 값보다 큰지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체의 형상이 지정된 형상에 상응함을 식별하는 것에 기반하여, 후보 시각적 객체의 형상의 중심 부(central portion)의 밝기 값이 후보 시각적 객체의 형상의 외곽 부(outer portion)의 밝기 값보다 큰지 여부를 식별할 수 있다.
예를 들어, 외부 객체(예: 별)에 대응하는 시각적 객체의 형상의 중심 부의 밝기 값은 외곽 부의 밝기 값보다 클 수 있다. 일 예로, 프로세서(210)는 후보 시각적 객체의 형상의 중심 부의 밝기 값이 외곽 부의 밝기 값보다 큼을 식별하는 것에 기반하여, 후보 시각적 객체가, 외부 객체에 대응함을 식별할 수 있다.
일 실시 예에 따르면, 후보 시각적 객체의 형상의 중심 부의 밝기 값이 후보 시각적 객체의 형상의 외곽 부의 밝기 값 이하인 경우(동작 1205 - 아니오), 프로세서(210)는 동작 1201를 수행할 수 있다. 프로세서(210)는 후보 시각적 객체의 형상의 중심 부의 밝기 값이 후보 시각적 객체의 형상의 외곽 부의 밝기 값 이하임을 식별하는 것에 기반하여, 제1 이미지 내의 복수의 시각적 객체들 중 다른 후보 시각적 객체를 식별할 수 있다. 프로세서(210)는 다른 후보 시각적 객체들을 식별하는 것에 기반하여 동작 1202 내지 동작 1206을 수행할 수 있다.
동작 1206에서, 후보 시각적 객체의 형상의 중심 부의 밝기 값이 후보 시각적 객체의 형상의 외곽 부의 밝기 값보다 큰 경우(동작 1205 - 예), 프로세서(210)는 후보 시각적 객체를 외부 객체에 대응하는 제1 시각적 객체로 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체의 형상의 중심 부의 밝기 값이 후보 시각적 객체의 형상의 외곽 부의 밝기 값보다 큼을 식별하는 것에 기반하여, 후보 시각적 객체를 외부 객체에 대응하는 제1 시각적 객체로 식별할 수 있다.
동작 1202 내지 동작 1205는 순차적으로 수행되는 것으로 도시되었으나, 이에 제한되는 것은 아니다. 동작 1202 내지 동작 1205의 순서는 변경될 수 있고, 동작 1202 내지 동작 1205는 병렬적(또는 동시에)으로 수행될 수도 있다.
도 13a 및 도 13b는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 13a 및 도 13b의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 13a를 참조하면, 프로세서(210)는 이미지(1310)를 식별할 수 있다. 프로세서(210)는 획득된 제1 이미지의 일부인 이미지(1310)를 식별할 수 있다. 프로세서(210)는 제1 이미지에 포함된 후보 시각적 객체를 포함하고, 제1 이미지의 일부인 이미지(1310)를 식별할 수 있다. 예를 들어, 프로세서(210)는 지정된 크기(예: 17x16 pixels)의 이미지(1310)를 식별할 수 있다. 실시 예에 따라, 프로세서(210)는 줌 배율 및 해상도 크기에 기반하여, 지정된 크기를 변경할 수 있다. 예를 들어, 프로세서(210)는 1배 줌 및 UHD(ultra high definition) 해상도를 기준으로, 지정된 크기(예: 30x30 pixels)의 이미지를 식별할 수 있다.
일 실시 예에 따르면, 이미지(1310)는 복수의 픽셀들로 구성될 수 있다. 프로세서(210)는 복수의 픽셀들의 밝기 값을 식별할 수 있다. 프로세서(210)는 복수의 픽셀들의 밝기 값을 0 내지 255 중 하나로 식별할 수 있다. 프로세서(210)는 픽셀이 밝을수록, 픽셀의 밝기 값을 크게 설정할 수 있다. 이미지(1310)의 격자들은 각각 픽셀을 의미할 있다. 격자들 내의 숫자는 픽셀의 밝기 값을 의미할 수 있다.
일 실시 예에 따르면, 이미지(1310)는 후보 시각적 객체(1311)를 포함할 수 있다. 후보 시각적 객체(1311)는 이미지(1310) 내에서 적어도 하나의 픽셀로 구성될 수 있다. 프로세서(210)는 복수의 픽셀들의 밝기 값에 기반하여, 후보 시각적 객체(1311)를 식별할 수 있다.
이하에서 설명되는 시각적 객체(또는 중심 부, 외곽 부)의 밝기 값은 시각적 객체(또는 중심 부, 외곽 부)를 구성하는 적어도 하나의 픽셀들의 밝기 값들의 대표 값을 의미할 수 있다. 예를 들어, 시각적 객체(또는 중심 부, 외곽 부)를 구성하는 적어도 하나의 픽셀들의 밝기 값들의 대표 값은, 시각적 객체(또는 중심 부, 외곽 부)를 구성하는 적어도 하나의 픽셀들의 밝기 값들의 최대 값, 최소 값, 중간 값, 최빈 값 또는 평균 값 중 하나일 수 있다. 일 실시 예에 따르면, 프로세서(210)는 후보 시각적 객체(1311)의 특징에 관한 정보를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 밝기 값을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 형상의 가로 및 세로의 비율을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 형상이 지정된 형상에 상응하는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 형상의 중심 부(1312)의 밝기 값이 외곽 부(1313)의 밝기 값보다 큰지 여부를 식별할 수 있다. 예를 들어, 중심 부(1312)의 밝기 값은 중심 부(1312)에 상응하는 픽셀들의 밝기 값들의 대표 값(예: 최대 값, 최소 값, 중간 값, 최빈 값 또는 평균 값)을 의미할 수 있다. 예를 들어, 외곽 부(1313)의 밝기 값은 외곽 부(1313)에 상응하는 픽셀들의 밝기 값들의 대표 값(예: 최대 값, 최소 값, 중간 값, 최빈 값 또는 평균 값)을 의미할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 밝기 값이 제1 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체(1311)가 제1 조건을 만족함을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 형상의 가로 및 세로의 비율이 제2 범위 내임을 식별하는 것에 기반하여, 후보 시각적 객체(1311)가 제2 조건을 만족함을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1311)의 형상이 지정된 형상에 상응함을 식별하는 것에 기반하여, 후보 시각적 객체(1311)가 제3 조건을 만족함을 식별할 수 있다. 예를 들어, 후보 시각적 객체(1311)의 형상의 중심 부(1312)의 밝기 값이 외곽 부(1313)의 밝기 값보다 큼을 식별하는 것에 기반하여, 후보 시각적 객체(1311)가 제4 조건을 만족함을 식별할 수 있다.
프로세서(210)는 후보 시각적 객체(1311)가 제1 조건 내지 제4 조건을 모두 만족함을 식별하는 것에 기반하여, 후보 시각적 객체(1311)를 외부 객체(예: 별)에 대응하는 제1 시각적 객체로 식별할 수 있다. 실시 예에 따라, 프로세서(210)는 후보 시각적 객체(1311)가 제1 조건 내지 제4 조건 중 적어도 일부를 만족함을 식별하는 것에 기반하여, 후보 시각적 객체(1311)를 외부 객체(예: 별)에 대응하는 제1 시각적 객체로 식별할 수도 있다.
도 13b를 참조하면, 프로세서(210)는 이미지(1320)를 식별할 수 있다. 프로세서(210)는 획득된 제1 이미지의 일부인 이미지(1320)를 식별할 수 있다. 프로세서(210)는 제1 이미지에 포함된 후보 시각적 객체를 포함하고, 제1 이미지의 일부인 이미지(1320)를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 후보 시각적 객체(1321)의 특징에 관한 정보를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 밝기 값을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 형상의 가로 및 세로의 비율을 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 형상이 지정된 형상에 상응하는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 형상의 중심 부(1322)의 밝기 값이 외곽 부(1323)의 밝기 값보다 큰지 여부를 식별할 수 있다.
예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 밝기 값이 제1 범위 내인지 여부를 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 제1 조건을 만족하는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 형상의 가로 및 세로의 비율이 제2 범위 내인지 여부를 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 제2 조건을 만족하는지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 후보 시각적 객체(1321)의 형상이 지정된 형상에 상응하는지 여부를 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 제3 조건을 만족하는지 여부를 식별할 수 있다. 예를 들어, 후보 시각적 객체(1321)의 형상의 중심 부(1322)의 밝기 값이 외곽 부(1323)의 밝기 값보다 큰지 여부를 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 제4 조건을 만족하는지 여부를 식별할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 후보 시각적 객체(1321)가 제1 조건 내지 제4 조건 중 적어도 하나를 만족하지 않음을 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 외부 객체에 대응하지 않음을 식별할 수 있다. 실시 예에 따라, 프로세서(210)는 후보 시각적 객체(1321)가 제1 조건 내지 제4 조건 중 적어도 일부를 만족하지 않음을 식별하는 것에 기반하여, 후보 시각적 객체(1321)가 외부 객체(예: 별)에 대응하지 않음을 식별할 수 있다.
도 14는 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 14의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 14를 참조하면, 동작 1410에서, 프로세서(210)는 제1 시각적 객체의 크기가 제2 시각적 객체의 크기에 상응함을 식별할 수 있다. 예를 들어, 제1 시각적 객체는 획득된 제1 이미지에 포함될 수 있다. 제2 시각적 객체는 미리 합성된 제2 이미지에 포함될 수 있다. 예를 들어, 제1 시각적 객체는 현재 외부 객체를 나타낼 수 있다. 제2 시각적 객체는 시간에 따른 외부 객체의 궤적을 나타낼 수 있다.
일 실시 예에 따르면, 제1 시각적 객체는 원형으로 구성될 수 있다. 제2 시각적 객체는 타원으로 구성될 수 있다. 프로세서(210)는 원형으로 구성된 제1 시각적 객체의 지름을 제1 시각적 객체의 크기로 식별할 수 있다. 프로세서(210)는 타원으로 구성된 제2 시각적 객체의 긴 지름(major axis) 및 짧은 지름(minor axis) 중 짧은 지름을 제2 시각적 객체의 크기로 식별할 수 있다. 프로세서(210)는 제1 시각적 객체의 지름의 길이가 및 제2 시각적 객체의 짧은 지름의 길이에 상응함을 식별하는 것에 기반하여, 제1 시각적 객체의 크기가 제2 시각적 객체의 크기에 상응함을 식별할 수 있다.
일 실시 예에 따르면, 제1 시각적 객체는 외부 객체에 대응하고, 제1 이미지 내에서 제1 위치에 배치될 수 있다. 제2 시각적 객체는 외부 객체에 대응하고, 제2 이미지 내에서 제2 위치에 배치될 수 있다.
일 실시 예에 따르면, 프로세서(210)는 제1 시각적 객체의 크기가 제2 시각적 객체의 크기에 상응함을 식별하는 것에 기반하여, 제1 시각적 객체가 외부 객체에 대응함을 식별할 수 있다.
동작 1420에서, 프로세서(210)는 제1 위치 및 제2 위치 사이의 거리가 지정된 거리 이하임을 식별할 수 있다. 예를 들어, 프로세서(210)는 제1 시각적 객체의 크기가 제2 시각적 객체의 크기에 상응함을 식별하는 것에 기반하여, 제1 위치 및 제2 위치 사이의 거리가 지정된 거리 이하임을 식별할 수 있다.
예를 들어, 외부 객체(예: 별)는 시간에 따라 위치가 변경될 수 있다. 프로세서(210)는 제1 위치 및 제2 위치 사이의 거리를 식별함으로써, 외부 객체의 이동을 식별할 수 있다. 프로세서(210)는 지정된 시간 동안 외부 객체를 나타내는 시각적 객체가, 이미지 내에서 이동 가능한 거리인, 지정된 거리를 식별할 수 있다. 프로세서(210)는 제1 위치 및 제2 위치 사이의 거리가 지정된 거리 이하임을 식별하는 것에 기반하여, 제1 시각적 객체 및 제2 시각적 객체가 외부 객체에 대응함을 식별할 수 있다.
동작 1430에서, 프로세서(210)는 제1 시각적 객체 및 제2 시각적 객체를 포함하는 제3 이미지를 획득할 수 있다. 예를 들어, 프로세서(210)는 제1 위치 및 제2 위치 사이의 거리가 지정된 거리 이하임을 식별하는 것에 기반하여, 제1 시각적 객체 및 제2 시각적 객체를 포함하는 제3 이미지를 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 알파 블렌딩 알고리즘에 기반하여, 제1 이미지 및 제2 이미지를 합성할 수 있다. 예를 들어, 제3 이미지에 포함된 제1 시각적 객체의 밝기 값은, 제3 이미지에 포함된 제2 시각적 객체의 밝기 값보다 크게 설정될 수 있다. 예를 들어, 프로세서(210)는 알파 블렌딩 알고리즘에 기반하여, 제1 이미지에 포함된 제1 시각적 객체의 밝기 값을 제1 비율(예: a)에 따라 변경하고, 제2 이미지에 포함된 제2 시각적 객체의 밝기 값을 제2 비율(예: 1-a)에 따라 변경하고, 제1 비율 및 제2 비율에 따라 변경된 제1 시각적 객체 및 제2 시각적 객체를 합성함으로써, 제3 이미지를 획득할 수 있다.
도 15는 일 실시 예에 따른, 전자 장치의 동작의 예를 도시한다. 도 15의 이미지들을 획득하기 위한 따른 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 15를 참조하면, 프로세서(210)는 이미지(1510) 내지 이미지(1530)를 획득할 수 있다. 예를 들어, 프로세서(210)는 이미지(1510) 내지 이미지(1530)를 순차적으로 획득할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(1510)를 획득할 수 있다. 이미지(1510)는 외부 객체(예: 별)에 대응하는 시각적 객체(1511)를 포함할 수 있다. 프로세서(210)는 이미지(1510)가 획득된 후, 이미지(1520)를 획득할 수 있다. 이미지(1520)는 외부 객체에 대응하는 시각적 객체(1521)를 포함할 수 있다. 프로세서(210)는 이미지(1520)가 획득된 후, 이미지(1530)를 획득할 수 있다. 이미지(1530)는 외부 객체에 대응하는 시각적 객체(1531)를 포함할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(1510) 내지 이미지(1530)를 합성할 수 있다. 프로세서(210)는 이미지(1510) 내지 이미지(1530)를 합성하는 것에 기반하여, 이미지(1540)를 획득할 수 있다. 예를 들어, 프로세서(210)는 이미지(1510) 내지 이미지(1530)에 포함된 객체들 중, 외부 객체에 대응하는 시각적 객체(1511) 내지 시각적 객체(1531)만 합성할 수 있다. 프로세서(210)는 시각적 객체(1511) 내지 시각적 객체(1531)를 합성하는 것에 기반하여, 시각적 객체(1541)를 획득할 수 있다. 프로세서(210)는 시각적 객체(1541)를 포함하는 이미지(1540)를 획득할 수 있다. 예를 들어, 시각적 객체(1541)는 외부 객체의 궤적을 나타낼 수 있다.
일 실시 예에 따르면, 프로세서(210)는 외부 객체가 시간에 따라 이동됨을 나타내는 이미지(1550)를 획득할 수 있다. 예를 들어, 프로세서(210)는 알파 블렌딩 알고리즘에 기반하여, 이미지(1510) 내지 이미지(1530)를 합성할 수 있다. 예를 들어, 프로세서(210)는 시각적 객체(1511)의 밝기 값을 제1 비율에 따라 변경할 수 있다. 프로세서(210)는 시각적 객체(1521)의 밝기 값을 제2 비율에 따라 변경할 수 있다. 프로세서(210)는 시각적 객체(1531)의 밝기 값을 제3 비율에 따라 변경할 수 있다. 제3 비율은 제2 비율보다 크게 설정될 수 있다. 제2 비율은 제1 비율보다 크게 설정될 수 있다. 일 예로, 제1 비율 내지 제3 비율의 합은 1으로 설정될 수 있다.
프로세서(210)는 시각적 객체(1511) 내지 시각적 객체(1531)의 밝기 값을 상술한 비율들에 따라 변경하고, 시각적 객체(1511) 내지 시각적 객체(1531)를 합성할 수 있다. 프로세서(210)는 시각적 객체(1511) 내지 시각적 객체(1531)를 합성하는 것에 기반하여, 시각적 객체(1551)를 획득할 수 있다. 시각적 객체(1551)는 외부 객체의 궤적을 나타낼 수 있다. 예를 들어, 시각적 객체(1551)는 이전 궤적을 나타내는 부분의 밝기 값을 낮게 설정할 수 있다. 프로세서(210)는 영상 데이터 내에서, 이전 궤적들이 시간이 경과함에 따라 점점 어두워지도록 복수의 이미지들을 합성(또는 블렌딩)할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 이미지(1550)를 영상 데이터를 구성하는 복수의 프레임들 중 하나로 구성할 수 있다. 프로세서(210)는 상술한 동작에 따라, 복수의 프레임들을 구성함으로써, 영상 데이터를 식별할 수 있다. 예를 들어, 프로세서(210)는 하나의 프레임을 구성하는 이미지 내에 포함된 시각적 객체의 움직임이 발생하지 않음을 식별할 수 있다. 프로세서(210)는, 영상 데이터가 재생됨에 따라 외부 객체의 궤적이 빠르게 사라질 수 있도록, 합성을 위한 가중치(예: blending weight)를 변경할 수 있다.
도 16은 일 실시 예에 따른, 전자 장치의 동작을 도시하는 흐름도이다. 도 16의 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 16을 참조하면, 동작 1601 내지 동작 1605는 도 5의 동작 501 내지 동작 505에 각각 상응할 수 있다.
동작 1606에서, 프로세서(210)는 이미지 합성 프로세스의 리셋이 필요한지 여부를 식별할 수 있다. 동작 1606은 도 5의 동작 506에 상응할 수 있다.
일 실시예에 따르면, 프로세서(210)는 이미지가 획득되기 직전의 둘 이상의 이미지들이 연속적으로 스킵되었는지 여부를 식별할 수 있다. 프로세서(210)는 이미지가 획득되기 직전의 둘 이상의 이미지들이 연속적으로 스킵되었는지 여부를 식별하는 것에 기반하여, 이미지 합성 프로세스의 리셋이 필요한지 여부를 식별할 수 있다.
동작 1607에서, 프로세서(210)는 프레임 카운터가 0이거나, 이미지 프로세스의 리셋이 필요한 경우, 프로세서(210)는 획득된 이미지를 버퍼에 저장할 수 있다. 동작 1607은 동작 507에 상응할 수 있다.
동작 1608에서, 이미지 합성 프로세스의 리셋이 필요하지 않은 경우, 프로세서(210)는 획득된 이미지의 스킵이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 이미지 합성 프로세스의 리셋이 필요하지 않음을 식별하는 것에 기반하여, 획득된 이미지의 스킵이 필요한지 여부를 식별할 수 있다.
예를 들어, 프로세서(210)는 획득된 이미지의 밝기 값이 지정된 밝기 값 이상인지 여부를 식별하는 것에 기반하여, 획득된 이미지의 스킵이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 이미지가 획득되는 동안, 전자 장치(200)의 움직임이 발생하였는지 여부를 식별하는 것에 기반하여, 획득된 이미지의 스킵이 필요한지 여부를 식별할 수 있다. 예를 들어, 프로세서(210)는 이미지가 획득되는 동안, 전자 장치(200)의 움직임이 발생하고, 다시 원위치로 복귀함을 식별하는지 여부를 식별하는 것에 기반하여, 획득된 이미지의 스킵이 필요한지 여부를 식별할 수 있다.
동작 1609에서, 획득된 이미지의 스킵이 필요한 경우, 프로세서(210)는 버퍼에 저장된 이미지를 유지할 수 있다. 예를 들어, 프로세서(210)는 획득된 이미지를 버퍼에 저장된 이미지와 합성하지 않을 수 있다.
일 실시예에 따르면, 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별하는 것에 기반하여, 프로세서(210)는 획득된 이미지를 버퍼에 저장된 이미지와 합성할 수 있다. 다만, 프로세서(210)는 합성된 이미지를 버퍼에 저장하지 않을 수 있다.
예를 들어, 프로세서(210)는 획득된 이미지의 밝기 값이 지정된 밝기 값 이상인지 여부를 식별하는 것에 기반하여, 획득된 이미지의 스킵이 필요함을 식별할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별하는 것에 기반하여, 버퍼에 저장된 이미지를 유지할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별하는 것에 기반하여, 획득된 이미지를 버퍼에 저장된 이미지와 합성할 수 있다. 다만, 프로세서(210)는 합성된 이미지를 버퍼에 저장하지 않을 수 있다.
예를 들어, 프로세서(210)는 이미지가 획득되는 동안, 전자 장치(200)의 움직임이 발생하고, 다시 원위치로 복귀함을 식별할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별하는 것에 기반하여, 버퍼에 저장된 이미지를 유지할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요함을 식별하는 것에 기반하여, 획득된 이미지를 버퍼에 저장된 이미지와 합성할 수 있다. 다만, 프로세서(210)는 합성된 이미지를 버퍼에 저장하지 않을 수 있다.
동작 1610에서, 획득된 이미지의 스킵이 필요하지 않은 경우, 프로세서(210)는 버퍼에 저장된 이미지와 획득된 이미지를 합성할 수 있다. 프로세서(210)는 획득된 이미지의 스킵이 필요하지 않음을 식별하는 것에 기반하여, 버퍼에 저장된 이미지와 획득된 이미지를 합성할 수 있다. 동작 1610는 도 5의 동작 508에 상응할 수 있다.
동작 1611 내지 동작 1616는 도 5의 동작 509 내지 동작 513에 상응할 수 있다.
도 17a는 일 실시 예에 따른 전자 장치의 동작의 예를 도시한다.
도 17b는 일 실시 에에 따른 전자 장치의 동작의 예를 도시한다.
도 17a는 전자 장치(200)의 움직임이 발생된 경우, 이미지(1713)가 스킵되지 않은 상태에서 복수의 프레임들(1730)이 획득되는 예를 도시한다. 도 17b는 전자 장치(200)의 움직임이 발생된 경우, 이미지(1753)가 스킵된 상태에서, 복수의 프레임들(1760)이 획득되는 예를 도시한다. 도 17a 및 도 17b에 따른 동작들은, 도 2에 도시된 전자 장치(200)의 프로세서(210)에 의해 수행될 수 있다.
도 17a를 참조하면, 프로세서(210)는 시간 구간(1701) 내에서 이미지 (1711)를 획득할 수 있다. 프로세서(210)는 이미지(1711)를 복수의 프레임들(1730) 중 첫번째 프레임인 프레임(1730-1)으로 설정할 수 있다. 프로세서(210)는 이미지(1711)를 메모리(예: 도 2의 메모리(230))의 버퍼에 저장할 수 있다.
시간 구간(1702) 내에서 이미지 (1712)를 획득할 수 있다. 프로세서(210)는 이미지(1712)와 버퍼에 저장된 이미지(1711)를 합성함으로써, 이미지(1722)를 획득할 수 있다. 프로세서(210)는 이미지(1722)를 복수의 프레임들(1730) 중 두번째 프레임인 프레임(1730-2)으로 설정할 수 있다. 프로세서(210)는 이미지(1722)를 메모리(230)의 버퍼에 저장할 수 있다.
시간 구간(1703) 내에서 이미지 (1713)를 획득할 수 있다. 예를 들어, 이미지(1713)가 획득되는 동안, 전자 장치(200)의 움직임이 발생할 수 있다. 일 예로, 프로세서(210)는 이미지(1713)가 획득되는 동안, 전자 장치(200)의 움직임이 발생하고, 전자 장치(200)가 다시 원위치로 복귀할 수 있다. 이미지(1713)에 포함된 외부 객체(예: 별)에 상응하는 시각적 객체의 위치는 전자 장치(200)이 움직이지 않았을 경우의 위치와 상이할 수 있다.
프로세서(210)는 이미지(1713)와 버퍼에 저장된 이미지(1722)를 합성함으로써, 이미지(1723)를 획득할 수 있다. 프로세서(210)는 이미지(1723)를 복수의 프레임들(1730) 중 세 번째 프레임인 프레임(1730-3)으로 설정할 수 있다. 프로세서(210)는 이미지(1723)를 메모리(230)의 버퍼에 저장할 수 있다.
프로세서(210)는 상술한 동작을 반복함으로써, 이미지(1711), 이미지(1722), 이미지(1723), 및 이미지(1724)를 포함하는 복수의 이미지들로 구성된 복수의 프레임들(1730)을 식별(또는 획득)할 수 있다. 프로세서(210)는 복수의 프레임들(1730)로 구성된 영상 데이터를 획득하고, 획득된 영상 데이터를 메모리(230)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 복수의 이미지를 누적하여 합성하고, 합성된 이미지를 영상 데이터를 구성하는 복수의 프레임들 중 하나로 설정할 수 있다. 프로세서(210)는 합성된 이미지를 데이터를 구성하는 복수의 프레임들 중 하나로 설정함으로써, 외부 객체의 궤적을 영상 데이터를 통해 나타낼 수 있다.
예를 들어, 이미지(1713)을 획득하는 동안 전자 장치(200)의 움직임이 발생됨에 따라, 외부 객체의 궤적이 실제 궤적과 다르게 표현될 수 있다. 일 예로, 이미지(1713)이 획득된 후, 복수의 프레임들 중 하나는 이미지(1724)와 같이 획득될 수 있다. 외부 객체의 궤적에 대한 보정을 위해, 도 17b에서 설명되는 동작을 이용하여, 외부 객체의 궤적을 보정할 수 있다.
도 17b를 참조하면, 프로세서(210)는 시간 구간(1741) 내에서 이미지 (1751)를 획득할 수 있다. 프로세서(210)는 이미지(1751)를 복수의 프레임들(1760) 중 첫번째 프레임인 프레임(1760-1)으로 설정할 수 있다. 프로세서(210)는 이미지(1751)를 메모리(230)의 버퍼에 저장할 수 있다.
시간 구간(1742) 내에서 이미지 (1752)를 획득할 수 있다. 프로세서(210)는 이미지(1752)와 버퍼에 저장된 이미지(1751)를 합성함으로써, 이미지(1772)를 획득할 수 있다. 프로세서(210)는 이미지(1772)를 복수의 프레임들(1760) 중 두번째 프레임인 프레임(1760-2)으로 설정할 수 있다. 프로세서(210)는 이미지(1772)를 메모리(230)의 버퍼에 저장할 수 있다.
시간 구간(1743) 내에서 이미지 (1753)를 획득할 수 있다. 예를 들어, 이미지(1753)가 획득되는 동안, 전자 장치(200)의 움직임이 발생할 수 있다. 일 예로, 프로세서(210)는 이미지(1753)가 획득되는 동안, 전자 장치(200)의 움직임이 발생하고, 전자 장치(200)가 다시 원위치로 복귀할 수 있다. 이미지(1753)에 포함된 외부 객체(예: 별)에 상응하는 시각적 객체의 위치는 전자 장치(200)이 움직이지 않았을 경우의 위치와 상이할 수 있다.
프로세서(210)는 이미지(1753)와 버퍼에 저장된 이미지(1772)를 합성함으로써, 이미지(1773)를 획득할 수 있다. 프로세서(210)는 이미지(1773)를 복수의 프레임들(1760) 중 세 번째 프레임인 프레임(1760-3)으로 설정할 수 있다. 도 17a와 달리, 프로세서(210)는 이미지(1773)를 메모리(230)의 버퍼에 저장하지 않을 수 있다. 프로세서(210)는 이미지(1753)가 획득되는 동안, 전자 장치(200)의 움직임이 발생하고, 전자 장치(200)가 다시 원위치로 복귀하였음을 식별하는 것에 기반하여, 이미지(1773)를 메모리(230)의 버퍼에 저장하지 않을 수 있다.
프로세서(210)는 상술한 동작을 반복함으로써, 이미지(1751), 이미지(1772), 이미지(1773), 및 이미지(1774)를 포함하는 복수의 이미지들로 구성된 복수의 프레임들(1760)을 식별(또는 획득)할 수 있다. 프로세서(210)는 복수의 프레임들(1760)로 구성된 영상 데이터를 획득하고, 획득된 영상 데이터를 메모리(230)에 저장할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 복수의 이미지를 누적하여 합성하고, 합성된 이미지를 영상 데이터를 구성하는 복수의 프레임들 중 하나로 설정할 수 있다. 프로세서(210)는 합성된 이미지를 데이터를 구성하는 복수의 프레임들 중 하나로 설정함으로써, 외부 객체의 궤적을 영상 데이터를 통해 나타낼 수 있다.
예를 들어, 이미지(1753)을 획득하는 동안 전자 장치(200)의 움직임이 발생됨에 따라, 프레임(1760-3)만 외부 객체의 궤적이 실제 궤적과 다르게 표현될 수 있다. 프로세서(210)는 프레임(1760-3)을 구성하는 이미지(1773)을 이미지 합성 과정에서 제외함으로써, 이미지(1774)를 획득할 수 있다. 프로세서(210)는 프레임(1760-3)을 제외한 나머지 프레임들에서, 외부 객체의 궤적을 실제 궤적과 동일하게 표시할 수 있다. 복수의 프레임들(1760) 중 하나의 프레임인 프레임(1760-3)만 외부 객체의 궤적이 실제 궤적과 다르게 표현되므로, 사용자가 인지하기 어려울 수 있다.
실시 예에 따라, 프로세서(210)는 복수의 프레임들(1760) 중 프레임(1760-3)을 제외시킬 수 있다. 프로세서(210)는 복수의 프레임들(1760) 중 프레임(1760-3)을 제외시킴으로써, 복수의 프레임들(1760)에서, 외부 객체의 궤적을 실제 궤적과 동일하게 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(예: 전자 장치(200))는, 이미지 센서를 포함하는 카메라(예: 카메라(220)), 메모리(예: 메모리(230)), 및 상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서(예: 프로세서(210))를 포함할 수 있다. 상기 프로세서는, 상기 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여 획득된 데이터를, 상기 제1 시간 구간과 구별되는 제2 시간 구간동안 처리함으로써, 상기 제1 이미지를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 시간 구간 및 상기 제2 시간 구간을 포함하는 제3 시간 구간 당 하나의 프레임을 구성하는 것에 기반하여, 상기 복수의 프레임들로 구성된 상기 영상 데이터를 획득하도록 설정될 수 있다. 상기 영상 데이터는, 1 초 당 30 개의 프레임들이 재생되도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제4 이미지에 관한 밝기 값(brightness value)이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 상기 제4 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제4 이미지에 관한 밝기 값이 상기 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 상기 제4 이미지를 상기 제3 이미지와 합성하는 것을 삼가도록(refrain from) 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 이미지가, 외부 객체에 대응하고, 상기 제1 이미지 내에서 제1 위치에 배치된, 제1 시각적 객체를 포함함을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제2 이미지가, 상기 외부 객체에 대응하고, 상기 제2 이미지 내에서 상기 제1 위치와 구별되는 제2 위치에 배치된, 제2 시각적 객체를 포함함을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하는 것에 기반하여, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 지정된 거리 이하임을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 상기 지정된 거리 이하임을 식별하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 알파 블렌딩 알고리즘(alpha-blending algorithm)에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 합성하도록 설정될 수 있다. 상기 제3 이미지에 포함된 상기 제1 시각적 객체의 밝기 값은, 상기 제3 이미지에 포함된 상기 제2 시각적 객체의 밝기 값보다 크게 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 이미지에 포함된 복수의 시각적 객체들 중, 상기 외부 객체에 대응하는 상기 제1 시각적 객체를 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 제2 이미지에 포함된 복수의 시각적 객체들 중, 상기 외부 객체에 대응하는 상기 제2 시각적 객체를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 이미지에 포함된 복수의 시각적 객체들 각각의 형상 및 밝기 값을 식별하도록 설정될 수 있다. 상기 프로세서는, 상기 복수의 시각적 객체들 각각의 형상 및 밝기 값에 기반하여, 상기 복수의 시각적 객체들 중 지정된 조건을 만족하는 상기 제1 시각적 객체를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제1 이미지에 포함된 복수의 시각적 객체들 중 상기 제1 시각적 객체를 제외한 나머지 시각적 객체들 및 상기 제2 이미지에 포함된 복수의 시각적 객체들 중 상기 제2 시각적 객체를 제외한 나머지 시각적 객체들을 상기 제3 이미지에서 제거하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 프로세서는, 상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제3 이미지 및 제4 이미지를 합성하는 것에 기반하여 획득된 제5 이미지를 상기 메모리에 저장하도록 설정될 수 있다. 상기 프로세서는, 상기 제5 이미지가 저장된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제6 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제5 이미지 및 상기 제6 이미지를 합성하는 것에 기반하여, 제7 이미지를 획득하도록 설정될 수 있다. 상기 프로세서는, 상기 제7 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치의 방법은, 상기 전자 장치의 카메라의 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치의 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여 획득된 데이터를, 상기 제1 시간 구간과 구별되는 제2 시간 구간동안 처리함으로써, 상기 제1 이미지를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제1 시간 구간 및 상기 제2 시간 구간을 포함하는 제3 시간 구간 당 하나의 프레임을 구성하는 것에 기반하여, 상기 복수의 프레임들로 구성된 상기 영상 데이터를 획득하는 동작을 포함할 수 있다. 상기 영상 데이터는, 1 초 당 30 개의 프레임들이 재생되도록 설정될 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제4 이미지에 관한 밝기 값(brightness value)이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 상기 제4 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제1 이미지가, 외부 객체에 대응하고, 상기 제1 이미지 내에서 제1 위치에 배치된, 제1 시각적 객체를 포함함을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제2 이미지가, 상기 외부 객체에 대응하고, 상기 제2 이미지 내에서 상기 제1 위치와 구별되는 제2 위치에 배치된, 제2 시각적 객체를 포함함을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하는 것에 기반하여, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 지정된 거리 이하임을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 상기 지정된 거리 이하임을 식별하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 방법은, 알파 블렌딩 알고리즘에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 합성하는 동작을 포함할 수 있다. 상기 제3 이미지에 포함된 상기 제1 시각적 객체의 밝기 값은, 상기 제3 이미지에 포함된 상기 제2 시각적 객체의 밝기 값보다 크게 설정될 수 있다.
일 실시 예에 따르면, 상기 방법은, 상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제3 이미지 및 제4 이미지를 합성하는 것에 기반하여 획득된 제5 이미지를 상기 메모리에 저장하는 동작을 포함할 수 있다. 상기 방법은, 상기 제5 이미지가 저장된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제6 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제5 이미지 및 상기 제6 이미지를 합성하는 것에 기반하여, 제7 이미지를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제7 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, A 또는 B, A 및 B 중 적어도 하나, A 또는 B 중 적어도 하나, A, B 또는 C, A, B 및 C 중 적어도 하나, 및 A, B, 또는 C 중 적어도 하나와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. 제1, 제2, 또는 첫째 또는 둘째와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, 기능적으로 또는 통신적으로라는 용어와 함께 또는 이런 용어 없이, 커플드 또는 커넥티드라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시 예들에서, 사용된 용어 모듈은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    이미지 센서를 포함하는 카메라;
    메모리; 및
    상기 카메라 및 상기 메모리와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하고,
    상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하고,
    상기 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하고,
    상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하고,
    상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하도록 설정된
    전자 장치.
  2. 제1 항에 있어서, 상기 프로세서는,
    상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여 획득된 데이터를, 상기 제1 시간 구간과 구별되는 제2 시간 구간동안 처리함으로써, 상기 제1 이미지를 획득하도록 더 설정된
    전자 장치.
  3. 제2 항에 있어서, 상기 프로세서는,
    상기 제1 시간 구간 및 상기 제2 시간 구간을 포함하는 제3 시간 구간 당 하나의 프레임을 구성하는 것에 기반하여, 상기 복수의 프레임들로 구성된 상기 영상 데이터를 획득하도록 더 설정되고,
    상기 영상 데이터는,
    1 초 당 30 개의 프레임들이 재생되도록 설정된
    전자 장치.
  4. 제1 항 내지 제3 항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하고,
    상기 제4 이미지에 관한 밝기 값(brightness value)이 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 상기 제4 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하도록 더 설정된
    전자 장치.
  5. 제4 항에 있어서, 상기 프로세서는,
    상기 제4 이미지에 관한 밝기 값이 상기 지정된 밝기 값 이상임을 식별하는 것에 기반하여, 상기 제4 이미지를 상기 제3 이미지와 합성하는 것을 삼가도록(refrain from) 더 설정된
    전자 장치.
  6. 제1 항 내지 제5 항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 이미지가, 외부 객체에 대응하고, 상기 제1 이미지 내에서 제1 위치에 배치된, 제1 시각적 객체를 포함함을 식별하고,
    상기 제2 이미지가, 상기 외부 객체에 대응하고, 상기 제2 이미지 내에서 상기 제1 위치와 구별되는 제2 위치에 배치된, 제2 시각적 객체를 포함함을 식별하고,
    상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하도록 더 설정된
    전자 장치.
  7. 제6 항에 있어서, 상기 프로세서는,
    상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하고,
    상기 제1 시각적 객체의 크기가 상기 제2 시각적 객체의 크기에 상응함을 식별하는 것에 기반하여, 상기 제1 위치 및 상기 제2 위치 사이의 거리가 지정된 거리 이하임을 식별하고,
    상기 제1 위치 및 상기 제2 위치 사이의 거리가 상기 지정된 거리 이하임을 식별하는 것에 기반하여, 상기 제1 시각적 객체 및 상기 제2 시각적 객체를 포함하는 상기 제3 이미지를 획득하도록 더 설정된
    전자 장치.
  8. 제6 항 내지 제7 항 중 어느 한 항에 있어서, 상기 프로세서는,
    알파 블렌딩 알고리즘(alpha-blending algorithm)에 기반하여, 상기 제1 이미지 및 상기 제2 이미지를 합성하도록 더 설정되고,
    상기 제3 이미지에 포함된 상기 제1 시각적 객체의 밝기 값은,
    상기 제3 이미지에 포함된 상기 제2 시각적 객체의 밝기 값보다 크게 설정되는
    전자 장치.
  9. 제6 항 내지 제8 항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 이미지에 포함된 복수의 시각적 객체들 중, 상기 외부 객체에 대응하는 상기 제1 시각적 객체를 식별하고,
    상기 제2 이미지에 포함된 복수의 시각적 객체들 중, 상기 외부 객체에 대응하는 상기 제2 시각적 객체를 식별하도록 더 설정된
    전자 장치.
  10. 제9 항에 있어서, 상기 프로세서는,
    상기 제1 이미지에 포함된 복수의 시각적 객체들 각각의 형상 및 밝기 값을 식별하고,
    상기 복수의 시각적 객체들 각각의 형상 및 밝기 값에 기반하여, 상기 복수의 시각적 객체들 중 지정된 조건을 만족하는 상기 제1 시각적 객체를 식별하도록 더 설정된
    전자 장치.
  11. 제9 항 내지 제10 항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제1 이미지에 포함된 복수의 시각적 객체들 중 상기 제1 시각적 객체를 제외한 나머지 시각적 객체들 및 상기 제2 이미지에 포함된 복수의 시각적 객체들 중 상기 제2 시각적 객체를 제외한 나머지 시각적 객체들을 상기 제3 이미지에서 제거하도록 더 설정된
    전자 장치.
  12. 제1 항 내지 제11 항 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 제3 이미지가 상기 제2 프레임으로 구성된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제4 이미지를 획득하고,
    상기 제3 이미지 및 제4 이미지를 합성하는 것에 기반하여 획득된 제5 이미지를 상기 메모리에 저장하고,
    상기 제5 이미지가 저장된 후, 상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제6 이미지를 획득하고,
    상기 제5 이미지 및 상기 제6 이미지를 합성하는 것에 기반하여, 제7 이미지를 획득하고,
    상기 제7 이미지를 상기 제2 프레임의 다음 프레임인 제3 프레임으로 구성하도록 더 설정된
    전자 장치.
  13. 전자 장치의 방법에 있어서,
    상기 전자 장치의 카메라의 이미지 센서의 능력 정보에 기반하여, 상기 카메라의 최대 노출 시간(maximum exposure time)을 제1 시간 구간으로 식별하는 동작;
    상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여, 제1 이미지를 획득하는 동작;
    상기 전자 장치의 메모리에 저장된 제1 프레임을 구성하는 제2 이미지를 식별하는 동작;
    상기 제1 이미지 및 상기 제2 이미지를 합성하는 것에 기반하여, 제3 이미지를 획득하는 동작; 및
    상기 제3 이미지를 상기 제1 프레임의 다음 프레임인 제2 프레임으로 구성하는 것에 기반하여, 상기 제1 프레임 및 상기 제2 프레임을 포함하는 복수의 프레임들로 구성된 영상 데이터를 획득하는 동작을 포함하는
    방법.
  14. 제13 항에 있어서,
    상기 제1 시간 구간으로 설정된 노출 시간에 기반하여, 상기 카메라를 이용하여 획득된 데이터를, 상기 제1 시간 구간과 구별되는 제2 시간 구간동안 처리함으로써, 상기 제1 이미지를 획득하는 동작을 더 포함하는
    방법.
  15. 제14 항에 있어서,
    상기 제1 시간 구간 및 상기 제2 시간 구간을 포함하는 제3 시간 구간 당 하나의 프레임을 구성하는 것에 기반하여, 상기 복수의 프레임들로 구성된 상기 영상 데이터를 획득하는 동작을 더 포함하고,
    상기 영상 데이터는,
    1 초 당 30 개의 프레임들이 재생되도록 설정된
    방법.
PCT/KR2023/017038 2022-11-01 2023-10-30 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법 WO2024096494A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220144089 2022-11-01
KR10-2022-0144089 2022-11-01
KR1020220171022A KR20240067195A (ko) 2022-11-01 2022-12-08 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법
KR10-2022-0171022 2022-12-08

Publications (1)

Publication Number Publication Date
WO2024096494A1 true WO2024096494A1 (ko) 2024-05-10

Family

ID=90931070

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/017038 WO2024096494A1 (ko) 2022-11-01 2023-10-30 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024096494A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045585A (ko) * 2007-11-02 2009-05-08 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR20140089672A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR20160128366A (ko) * 2014-03-24 2016-11-07 누비아 테크놀로지 컴퍼니 리미티드 이동 단말의 촬영 방법 및 이동 단말
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
JP6700937B2 (ja) * 2015-10-02 2020-05-27 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090045585A (ko) * 2007-11-02 2009-05-08 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR101890305B1 (ko) * 2012-08-27 2018-08-21 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR20140089672A (ko) * 2013-01-04 2014-07-16 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR20160128366A (ko) * 2014-03-24 2016-11-07 누비아 테크놀로지 컴퍼니 리미티드 이동 단말의 촬영 방법 및 이동 단말
JP6700937B2 (ja) * 2015-10-02 2020-05-27 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム

Similar Documents

Publication Publication Date Title
WO2022010122A1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
WO2021049827A1 (ko) 외부 전자 장치의 위치를 결정하기 위한 전자 장치 및 그 방법
WO2022139262A1 (ko) 관심 객체를 이용하여 비디오를 편집하는 전자 장치 및 그 동작 방법
WO2019017641A1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
WO2022154387A1 (ko) 전자 장치 및 그의 동작 방법
WO2022102972A1 (ko) 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
WO2021141454A1 (en) Camera module and electronic device including the same
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2020017936A1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
WO2024096494A1 (ko) 이미지들을 합성하는 것에 기반하여 영상 데이터를 획득하기 위한 전자 장치 및 방법
WO2022203285A1 (ko) 이미지 안정화 어셈블리를 포함하는 카메라 모듈 및 상기 카메라 모듈을 포함하는 전자 장치
WO2023033333A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022191598A1 (ko) 전자 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체
WO2021256709A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022149812A1 (ko) 카메라 모듈을 포함하는 전자 장치 및 그 전자 장치의 동작 방법
WO2021210875A1 (ko) 다중 포토다이오드 센서에 의해 획득된 서브 이미지들의 차이에 기반하여 이미지의 결함을 검출하는 전자 장치 및 이의 동작 방법
WO2022005002A1 (ko) 이미지 센서를 포함하는 전자 장치
WO2024090803A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024029706A1 (ko) 자동 노출 제어를 수행하는 전자 장치, 그 제어 방법, 및 컴퓨터 프로그램이 기록된 기록매체
WO2024014761A1 (ko) 카메라 흔들림을 보정하기 위한 방법 및 이를 지원하는 전자 장치
WO2024128628A1 (ko) 전자 장치 및 상기 전자 장치에서 동영상을 역방향으로 재생하는 방법
WO2024076092A1 (ko) 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치
WO2022154388A1 (ko) 전자 장치 및 그의 이미지 처리 방법
WO2023146149A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2024034856A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23886190

Country of ref document: EP

Kind code of ref document: A1