WO2023068484A1 - 이미지를 처리하는 전자 장치 및 그 제어 방법 - Google Patents

이미지를 처리하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023068484A1
WO2023068484A1 PCT/KR2022/009650 KR2022009650W WO2023068484A1 WO 2023068484 A1 WO2023068484 A1 WO 2023068484A1 KR 2022009650 W KR2022009650 W KR 2022009650W WO 2023068484 A1 WO2023068484 A1 WO 2023068484A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
sharpness
value
area
neural network
Prior art date
Application number
PCT/KR2022/009650
Other languages
English (en)
French (fr)
Inventor
김명재
서유진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22883714.2A priority Critical patent/EP4325427A1/en
Priority to CN202280069997.9A priority patent/CN118119964A/zh
Priority to US17/892,727 priority patent/US20230125014A1/en
Publication of WO2023068484A1 publication Critical patent/WO2023068484A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device for image processing and a control method thereof.
  • Style conversion technology uses various optimization methods and pixel/feature-based regularization techniques to suppress excessive pixel value transformation compared to the original image or maintain smoothness among other controls.
  • the user may select an unwanted artifact area from the style-converted image, and may replace the artifact area with the source image by selecting a ratio of the source image.
  • the style conversion effect may be deteriorated due to low image sharpness.
  • the line expression disappears or is expressed as if it is crushed, so that a transformed result different from the original can be obtained.
  • the contrast ratio of the image is low or dark due to the influence of ambient illumination, detailed information in the dark area may be lost, and line expression may be lost during style conversion.
  • a color loss function is learned to maintain the original color or prevent color shift, or refinement operations such as deleting or adding training data are performed, but it is difficult to guarantee improvement results, There is a problem that requires a lot of time because it is empirically improved through an iterative learning process.
  • the electronic device may store the first neural network model learned to convert the style of an image and the first neural network model based on at least one quality of the first image. At least one image operation is performed on an image to obtain an image-processed first image, the image-processed first image is input to the first neural network model to obtain a style-converted second image, If the color difference between the first image and the second image is greater than or equal to a first threshold value, a weighted summed luminance value is obtained by weighting the luminance value of the first image and the luminance value of the second image, and and a processor that changes a luminance value to the weighted sum luminance value and outputs the second image when the color difference between the first image and the second image is less than the first threshold value.
  • the processor identifies at least one quality value of the first image from the sharpness of the first image, the contrast ratio of the first image, or the size of an object included in the first image, and based on the identified value
  • an image processing operation may be performed on the first image.
  • the memory further stores a second neural network model learned to improve the sharpness of the image, and the processor identifies a sharpness value of the first image based on a frequency component of the first image. If the sharpness value of the image is less than the critical sharpness value, the first image may be input to the second neural network model to obtain a first image having improved sharpness.
  • the memory further stores a second neural network model learned to improve the sharpness of an image
  • the processor identifies a representation of an object in the first image, and the first image is based on a frequency component of a first region. identifying a first sharpness value of an area, wherein the first area is an area of a predetermined size of the first image including the representation of the object, and if the first sharpness value is less than the threshold sharpness, the first sharpness value is less than the threshold sharpness value;
  • An image may be input to the second neural network model to obtain a first image having improved sharpness.
  • the processor identifies the second sharpness value of the second region based on the frequency components of the second region, which is the remaining region except for the first region, and the first sharpness value is the second sharpness value.
  • the first region with improved sharpness may be obtained by inputting the first region to the second neural network model.
  • the memory further stores a third neural network model learned to improve the contrast ratio of the image, and the processor converts the first image to the third neural network model when the contrast ratio value of the first image is less than a critical contrast ratio value.
  • a first image with an improved contrast ratio may be obtained by inputting in .
  • the processor obtains an up-scaled area by up-scaling an area of a predetermined size including the object, and converts the up-scaled area to the first image.
  • An upscaled region in which the style is converted may be obtained by inputting the input to the neural network model, and a downscaled region may be obtained by downscaling the upscaled region in which the style is converted.
  • the processor may update the second image based on the downscaled area.
  • the memory may further store a fourth neural network model learned to upscale an image, and the processor may upscale the region by inputting the region to the fourth neural network model or by interpolating the region.
  • the processor identifies one object among the plurality of objects based on the type of the plurality of objects, and when the size of the identified object is less than a threshold size, the processor identifies the object.
  • An area of the predetermined size including the object may be upscaled.
  • the processor converts the first image and the second image into YUV color coordinates, compares the first image converted into YUV color coordinates and the second image converted into YUV color coordinates, and compares the first image and the second image converted into YUV color coordinates. Can identify color differences between 2 images.
  • a control method of an electronic device includes the steps of image processing a first image based on the quality of the first image to obtain an image-processed first image; Acquiring a second image whose style is converted by inputting the first image to a first neural network model learned to convert the style of the image, if the color difference between the first image and the second image is greater than or equal to a first threshold value , obtaining a weighted summed luminance value by weighting the luminance value of the first image and the luminance value of the second image, and changing the luminance value of the first image to the weighted summed luminance value, and the first and outputting the second image when the color difference between the image and the second image is less than the first threshold value.
  • the image processing may include identifying at least one quality value of the first image from the sharpness of the first image, the contrast ratio of the first image, or the size of an object included in the first image, and Based on the value, the first image may be image-processed.
  • the image processing may include identifying a sharpness value of the first image based on a frequency component of the first image, and converting the first image into an image when the sharpness value of the first image is less than a critical sharpness value.
  • a first image with improved sharpness may be acquired by inputting the second neural network model trained to improve sharpness.
  • the image processing step may include identifying a representation of an object in the first image, identifying a first sharpness value of the first region based on a frequency component of the first region, and If it is a region of a preset size of the first image including a representation of an object, and the value of the first sharpness is less than the critical sharpness value, the first image is input to a second neural network model trained to improve the sharpness of the image.
  • a first image having improved sharpness may be obtained.
  • the electronic device may provide an improved style conversion result by pre-processing an image based on an element that may be a problem in the style conversion process.
  • the electronic device may provide a result in which the degree of color transformation is maintained below a certain level even when the style is converted by mixing the original image and the style conversion result.
  • FIG. 1 is a block diagram showing the configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing a detailed configuration of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining an image processing method according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining a first neural network model trained to convert a style of an image according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a result of performing deblur preprocessing according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for explaining a result of performing scaling preprocessing according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for explaining a result of performing contrast ratio preprocessing according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram for explaining a result of performing post-processing according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 is a block diagram showing the configuration of an electronic device 100 according to an embodiment of the present disclosure. As shown in FIG. 1 , the electronic device 100 includes a memory 110 and a processor 120 .
  • the electronic device 100 is a device that processes images, and may be a set top box (STB), a desktop PC, a laptop computer, a smart phone, a tablet PC, a server, a TV, and the like. However, it is not limited thereto, and the electronic device 100 may be any device as long as it is capable of image processing.
  • STB set top box
  • the electronic device 100 may be any device as long as it is capable of image processing.
  • the memory 110 may refer to hardware that stores information such as data in an electrical or magnetic form so that the processor 120 or the like can access it. To this end, the memory 110 may be implemented with at least one hardware among non-volatile memory, volatile memory, flash memory, hard disk drive (HDD) or solid state drive (SSD), RAM, ROM, and the like. .
  • At least one instruction or module necessary for the operation of the electronic device 100 or the processor 120 may be stored in the memory 110 .
  • the instruction is a code unit instructing the operation of the electronic device 100 or the processor 120, and may be written in machine language, which is a language that a computer can understand.
  • a module may be a set of instructions that perform a specific task of a unit of work.
  • the memory 110 may store data that is information in units of bits or bytes capable of representing characters, numbers, images, and the like. For example, an image may be stored in the memory 110 .
  • An image quality measurement module may be stored in the memory 110 .
  • Various neural network models may be stored in the memory 110 .
  • the memory 110 stores a first neural network model trained to change the style of an image, a second neural network model trained to improve image sharpness, a third neural network model trained to improve image contrast, and an image.
  • a fourth neural network model learned to upscale may be stored.
  • the memory 110 is accessed by the processor 120, and instructions, modules or data may be read/written/modified/deleted/updated by the processor 120.
  • the processor 120 controls the overall operation of the electronic device 100 .
  • the processor 120 may be connected to each component of the electronic device 100 to control the overall operation of the electronic device 100 .
  • the processor 120 may control the operation of the electronic device 100 by being connected to components such as a memory 110, a display (not shown), a camera (not shown), and the like.
  • the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON). However, it is not limited thereto, and the central processing unit ( central processing unit (CPU)), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (CP), ARM processor
  • the processor 120 may be implemented as a System on Chip (SoC) having a built-in processing algorithm, a large scale integration (LSI), or an FPGA ( It may be implemented in the form of a field programmable gate array).
  • SoC System on Chip
  • the processor 120 may image-process the first image based on the quality of the first image. For example, the processor 120 may improve the sharpness of the first image, improve the contrast ratio of the first image, or upscale a partial region of the first image.
  • the first image represents the original image.
  • the first image may represent individual frames of the original video.
  • the processor 120 may process at least one image quality based on the sharpness, contrast ratio, or size of the first image.
  • the processor 120 may input the image-processed first image to a first neural network model learned to convert the style of an image stored in the memory 110 to obtain a style-converted second image.
  • the processor 120 may convert the first image into a cartoon style. However, it is not limited thereto, and the processor 120 can freely convert various styles.
  • the processor 120 weights the luminance values of the first image and the luminance values of the second image, and calculates the weighted sum of the luminance values of the first image. It can be changed with the luminance value.
  • the processor 120 converts the first image and the second image into YUV color coordinates, compares the first image converted into YUV color coordinates and the second image converted into YUV color coordinates, and compares the first image and the second image. Color differences between the livers can be discerned. If the color difference between the first image and the second image is greater than or equal to the first threshold value, the processor 120 weights the Y value of the first image and the Y value of the second image, and calculates the U and V values of the first image and the weight An image including the summed Y value may be obtained.
  • the processor 120 may determine the degree of weighted sum based on the color difference.
  • the processor 120 outputs the first image as a Y value obtained by weighting the Y values, and the color between the first image and the second image If the difference is less than the first threshold value, the second image may be output.
  • the processor 120 determines at least one quality value of the image from the sharpness of the first image, the contrast ratio of the first image, or the size of an object included in the first image (ie, the size of a representation of an object depicted in the first image). and image processing of the first image based on the quality and its value.
  • this disclosure describes an object having a representation within an image as “embedded” or “embedded” in the image.
  • the processor 120 identifies the sharpness of the first image based on the frequency component of the first image, and if the sharpness of the first image is less than the critical sharpness, the first image is displayed as a learned first image to improve the sharpness of the image. 2
  • a first image with improved sharpness may be obtained by inputting the image to the neural network model. Since the processor 120 inputs the sharpness-enhanced first image to the first neural network model, line representation may be maintained clearly even when the style is changed.
  • the processor 120 identifies an object from the first image, identifies a first sharpness of the first region based on a frequency component of a first region having a predetermined size including the object, and if the first sharpness is less than a critical sharpness
  • the first image with improved sharpness may be acquired by inputting the first image to the second neural network model.
  • the processor 120 identifies a human face from the first image, identifies a first sharpness of the first region based on a frequency component of a first region of a predetermined size including the human face, If the first sharpness is less than the critical sharpness, the first image with improved sharpness may be acquired by inputting the first image to the second neural network model. That is, the processor 120 may determine whether or not to enhance sharpness based only on the person's face and important regions. Since it is determined whether or not to improve the sharpness of only a part of the area instead of the entire area, image processing speed can be improved. Then, since the processor 120 inputs the first image with improved sharpness to the first neural network model, even if the style is changed, the line representation can be maintained clearly.
  • the processor 120 identifies the second sharpness of the second area based on the frequency components of the second area, which is the remaining area except for the first area in the first image, and determines that the first sharpness is higher than the second sharpness as a second threshold. If the first area is larger than the value and the first sharpness is less than the critical sharpness, the first area with improved sharpness may be obtained by inputting the first area to the second neural network model.
  • the first image may be an out-of-focus picture centered on a person's face. In this case, the sharpness of the human face should be maintained even after the style conversion, but the sharpness of the background area need not be maintained.
  • the processor 120 may identify the first image as an out-focused image when the first sharpness of the region including the human face is greater than the second sharpness of the background region by a second threshold value or more. Also, if the first sharpness is less than the threshold sharpness, the processor 120 may identify that the face part of the out-focused image is not clear. In this case, since the sharpness of the background area does not need to be improved, the processor 120 may input only the area including the human face to the second neural network model to improve the sharpness of the area including the human face. Then, since the processor 120 inputs the first image, in which the sharpness of the area including the human face is improved, to the first neural network model, the line representation of the area including the human face can be maintained clearly even if the style is converted. there is.
  • the processor 120 acquires the first image with an improved contrast ratio by inputting the first image to a third neural network model trained to improve the contrast ratio of the image, or histogram smoothing (histogram smoothing).
  • a first image with an improved contrast ratio may be obtained through an equalization method. Thereafter, since the processor 120 inputs the first image having an improved contrast ratio to the first neural network model, the line representation may be maintained clearly even if the style is changed.
  • the processor 120 upscales an area of a predetermined size including the object, and inputs the upscaled area to the first neural network model to convert the style.
  • the up-scaled region may be obtained, and the up-scaled region in which the style is converted may be downscaled.
  • the processor 120 may update the second image based on the downscaled area.
  • the processor 120 identifies a human face in the first image, upscales a region including the human face, and inputs the upscaled region to a first neural network model to perform upscaling in which the style is converted.
  • the upscaled area where the style is converted can be downscaled.
  • line expression may be more clear.
  • the processor 120 may input the first image to the first neural network model to obtain a second image whose style is converted.
  • the first image itself may be in a state in which image processing is not performed.
  • the processor 120 may convert an area including a human face in the second image into a downscaled area, and accordingly, the line representation of the area including the human face may be clearer.
  • the processor 120 may obtain an up-scaled area by inputting an area of a preset size to the fourth neural network model learned to upscale an image, or obtain an up-scaled area by interpolating an area of a preset size. .
  • the processor 120 identifies one of the plurality of objects based on the type of the plurality of objects when a plurality of objects are identified from the first image, and includes the identified object when the size of the identified object is less than the threshold size.
  • An area of a preset size may be upscaled.
  • the processor 120 may determine whether to up-scale the area including the person's face based on the size of the area including the person's face. However, it is not limited thereto, and the processor 120 may upscale an area including a plurality of objects smaller than the critical size from the first image.
  • the size of each of the plurality of objects may be identified as the number of pixels occupied by each of the plurality of objects.
  • functions related to artificial intelligence according to the present disclosure are operated through the processor 120 and the memory 110.
  • Processor 120 may be composed of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphics-only processor such as a GPU, or a vision processing unit (VPU), or an artificial intelligence-only processor such as an NPU.
  • DSP digital signal processor
  • GPU graphics-only processor
  • VPU vision processing unit
  • NPU an artificial intelligence-only processor
  • One or more processors control input data to be processed according to predefined operating rules or artificial intelligence models stored in a memory.
  • the processors dedicated to artificial intelligence may be designed as a hardware structure specialized for processing a specific artificial intelligence model.
  • a predefined action rule or artificial intelligence model is characterized in that it is created through learning.
  • a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, and a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created. means burden.
  • Such learning may be performed in the device itself in which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples.
  • An artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weight values.
  • the plurality of weights of the plurality of neural network layers may be optimized according to the learning result of the artificial intelligence model. For example, a plurality of weights may be updated to reduce or minimize a loss value or a cost value obtained from an artificial intelligence model during a learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), A deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or deep Q-networks, but is not limited to the above examples.
  • DNN deep neural network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • BBN Restricted Boltzmann Machine
  • BBN deep belief network
  • BNN bidirectional recurrent deep neural network
  • Q-networks deep Q-networks
  • the electronic device 100 may include a memory 110 and a processor 120 . Also, according to FIG. 2 , the electronic device 100 may further include a display 130, a communication interface 140, a user interface 150, and a camera 160. Among the components shown in FIG. 2, detailed descriptions of components overlapping those shown in FIG. 1 will be omitted.
  • the display 130 may be implemented with various types of displays such as a liquid crystal display (LCD), organic light emitting diodes (OLED) display, and plasma display panel (PDP).
  • the display 130 may also include a driving circuit, a backlight unit, and the like that may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display 130 may be implemented as a touch screen combined with a touch sensor, a flexible display, a 3D display, and the like.
  • the communication interface 140 is a component that performs communication with various types of external devices according to various types of communication methods.
  • the electronic device 100 may communicate with a server through the communication interface 140 .
  • the communication interface 140 may include a Wi-Fi module, a Bluetooth module, an infrared communication module, and a wireless communication module.
  • each communication module may be implemented in the form of at least one hardware chip.
  • the Wi-Fi module and the Bluetooth module perform communication using the WiFi method and the Bluetooth method, respectively.
  • various types of connection information such as an SSID and a session key are first transmitted and received, and various types of information can be transmitted and received after a communication connection is established using the same.
  • the infrared communication module performs communication according to infrared data association (IrDA) technology that transmits data wirelessly over a short distance using infrared rays between visible rays and millimeter waves.
  • IrDA infrared data association
  • the wireless communication module can use Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), LTE Advanced (LTE-A), 4th Generation (4G), 5G (5th Generation) may include at least one communication chip that performs communication according to various wireless communication standards.
  • 3G 3rd Generation
  • 3GPP 3rd Generation Partnership Project
  • LTE Long Term Evolution
  • LTE-A LTE Advanced
  • 4th Generation (4G) may include at least one communication chip that performs communication according to various wireless communication standards.
  • the communication interface 140 may include a wired communication interface such as HDMI, DP, Thunderbolt, USB, RGB, D-SUB, DVI, and the like.
  • the communication interface 140 may include at least one of a local area network (LAN) module, an Ethernet module, or a wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • LAN local area network
  • Ethernet Ethernet
  • wired communication module that performs communication using a pair cable, a coaxial cable, or an optical fiber cable.
  • the user interface 150 may be implemented with buttons, a touch pad, a mouse, and a keyboard, or may be implemented as a touch screen capable of performing both a display function and a manipulation input function.
  • the buttons may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on an arbitrary area such as the front, side, or rear surface of the main body of the electronic device 100 .
  • the camera 160 is a component for capturing still images or moving images under user control.
  • the camera 160 may capture still images at a specific point in time, but may also continuously capture still images.
  • the camera 160 includes a lens, a shutter, an aperture, a solid-state imaging device, an analog front end (AFE), and a timing generator (TG).
  • the shutter adjusts the time when light reflected from the subject enters the camera 160
  • the aperture adjusts the amount of light incident on the lens by mechanically increasing or decreasing the size of an opening through which light enters.
  • the solid-state imaging device outputs an image generated by the photocharges as an electrical signal.
  • the TG outputs a timing signal for reading out pixel data of the solid-state imaging device, and the AFE samples and digitizes an electrical signal output from the solid-state imaging device.
  • the processor 120 converts the style after pre-processing the image, and post-processes the style-converted image, so that the result of the style processing can be improved.
  • the processor 120 may perform image processing other than style processing, and any method may be used as long as it can perform pre-processing and post-processing as in the present disclosure.
  • FIGS. 3 to 8 describe individual embodiments for convenience of description. However, the individual embodiments of FIGS. 3 to 8 may be implemented in any combination.
  • FIG. 3 is a diagram for explaining step by step an image processing method according to an embodiment of the present disclosure.
  • the input image quality measurement unit 310, the pre-processing unit 320, the style conversion unit 330, the result image quality measurement unit 340, and the post-processing unit 350 of FIG. 3 may each be implemented as a hardware module.
  • the processor 120 performs the respective operations of the input image quality measurement unit 310, the pre-processing unit 320, the style conversion unit 330, the resulting image quality measurement unit 340, and the post-processing unit 350.
  • It may include a hardware module that However, it is not limited thereto, and the input image quality measuring unit 310, the pre-processing unit 320, the style conversion unit 330, the resulting image quality measuring unit 340, and the post-processing unit 350 perform respective operations.
  • the hardware module may be implemented outside the processor 120 .
  • each of the input image quality measurement unit 310, the pre-processing unit 320, the style conversion unit 330, the result image quality measurement unit 340, and the post-processing unit 350 may be implemented in software.
  • the input image quality measuring unit 310 may identify at least one of the sharpness of the input image, the contrast ratio of the input image, or the size of an object included in the input image. For example, the input image quality measuring unit 310 applies FFT (Fast Fourier Transform) to the input image, and determines sharpness (eg, degree of blur) from the degree of distribution of high frequency components and low frequency components in the frequency domain. can be identified. Alternatively, the input image quality measurer 310 may measure the contrast ratio of the input image using a contrast noise ratio (CNR). Alternatively, the input image quality measurement unit 310 may identify a human face from the input image and identify the size of the object by identifying the size of the identified face. At this time, the input image quality measurement unit 310 may measure the size of the face region by labeling the face and the non-face region through semantic segmentation.
  • FFT Fast Fourier Transform
  • the pre-processing unit 320 may include at least one of a deblur processing unit, a scaling unit, and a high dynamic range (HDR) unit.
  • the pre-processing unit 320 includes a de-blur processing unit, and may de-blur process the input image when the sharpness of the input image measured by the input image quality measurement unit 310 is less than the threshold sharpness.
  • the deblur processing unit may be implemented as a deblurring learning model based on deep learning.
  • the pre-processing unit 320 may include a scaling unit, and if the size of the object measured by the input image quality measurement unit 310 is less than the critical size, up-scaling a region of a predetermined size including the object.
  • the scaling unit may perform upscaling using an interpolation method such as bilinear.
  • the scaling unit may be implemented as a deep learning-based super resolution learning model.
  • the area of the predetermined size may be the smallest rectangular area including the object.
  • the preprocessing unit 320 includes an HDR unit, and may increase the contrast ratio of the input image when the contrast ratio of the input image measured by the input image quality measurement unit 310 is less than the critical contrast ratio.
  • the HDR unit may improve the contrast ratio through a histogram smoothing method.
  • the HDR unit may be implemented as a deep learning-based HDR learning model.
  • the preprocessing unit 320 includes all of a deblurring unit, a scaling unit, and an HDR unit, and when at least two of the sharpness of the input image, the contrast ratio of the input image, or the size of an object included in the input image do not meet the standard, the input image A plurality of image processing may be performed on .
  • the style conversion unit 330 may be implemented to apply one of the learning models 335 such as neural style transfer, cycle GAN, and cartoon GAN to the preprocessed image.
  • the learning models 335 such as neural style transfer, cycle GAN, and cartoon GAN
  • Cartoon GAN can be composed of a generator network that learns to convert real photos into cartoons and a discriminator network that learns to distinguish between real photos and cartoons. Then, when learning is complete, a result image converted into a cartoon style from an input image can be generated using only the generator network.
  • the resulting image quality measuring unit 340 may identify a color difference between the input image and the resulting image. For example, the resulting image quality measuring unit 340 converts the input image and the resulting image into YUV color coordinates, compares the input image converted into YUV color coordinates and the resulting image converted into YUV color coordinates, and compares the color of the input image and the resulting image. difference can be discerned. For example, if each of Y, U, and V is assumed to be a coordinate value in a 3D space, the resulting image quality measurement unit 340 calculates the Euclidean distance of Y, U, and V of the input image and Y, U, and V of the output image. It can be obtained as a color difference between an input image and a result image.
  • the post-processing unit 350 weights the Y value of the input image and the Y value of the output image, and weights the Y value of the input image when the color difference measured by the resultant image quality measurement unit 340 is equal to or greater than the first threshold value. It can be changed to the set Y value. That is, if the color difference measured by the result image quality measurer 340 is greater than or equal to the first threshold, the post-processing unit 350 outputs an input image in which the Y value is changed to a weighted sum Y value, and the resulting image quality measurer If the color difference measured in step 340 is less than the first threshold value, an output image may be output.
  • FIG. 4 is a diagram for explaining a first neural network model trained to convert a style of an image according to an embodiment of the present disclosure.
  • the first neural network model may be a neural network model trained to convert the style of an image, such as neural style transfer, cycle GAN, or cartoon GAN. However, it is not limited thereto, and the first neural network model may be any model as long as it can convert the style of the image.
  • the learning process consists of a generator network and a discriminator network, and when learning is completed, the generator network can operate as a first neural network model.
  • Cartoon GAN learns through a Generator network that learns to convert real photos into cartoons and a Discriminator network that learns to distinguish between real photos and cartoons.
  • the Generator network operates as the first neural network model. can do.
  • FIG. 5 is a diagram for explaining a result of performing deblur preprocessing according to an embodiment of the present disclosure.
  • the upper left corner of FIG. 5 is the original image, and the upper right corner is the result of style conversion of the original image without preprocessing.
  • the lower left corner of FIG. 5 is the result of deblurring the original image, and the lower right corner is the result of style conversion of the deblurred image.
  • FIG. 6 is a diagram for explaining a result of performing scaling preprocessing according to an embodiment of the present disclosure.
  • the upper part of FIG. 6 is the original image 610, and the human face area 620 in the original image 610 is a very small area.
  • the lower left 630 of FIG. 6 is a diagram showing the human face area 620 after style conversion without preprocessing, and the lower right 640 of FIG. 6 shows the style conversion after upscaling the human face region 620, This is a downscaled drawing of the style-converted area.
  • FIG. 7 is a diagram for explaining a result of performing contrast ratio preprocessing according to an embodiment of the present disclosure.
  • the upper part of FIG. 7 is an original image 710 captured with a low contrast ratio or dark due to the influence of backlighting or ambient illumination.
  • the lower left 720 of FIG. 7 is a drawing in which the style is converted without preprocessing
  • the lower right 730 in FIG. 7 is a diagram in which the style is converted after preprocessing to increase the contrast ratio.
  • FIG. 8 is a diagram for explaining a result of performing post-processing according to an embodiment of the present disclosure.
  • the left side of FIG. 8 is the original image 810
  • the right side of FIG. 8 is the style-converted image 820.
  • the color of the style-converted image 820 may be excessively changed, and the processor 120 weights the Y value of the original image 810 and the Y value of the style-converted image 820, and the original image 810
  • the Y value of can be updated with a Y value that is a weighted sum.
  • the right side of FIG. 8 is an original image 830 converted into a Y value in which Y values are weighted, and shows a result of style conversion without a large color difference from the original image 810 .
  • FIG. 9 is a diagram for explaining a control method of an electronic device according to an embodiment of the present disclosure.
  • the first image is image-processed based on the quality of the first image (S910). Then, the image-processed first image is input to the first neural network model trained to convert the style of the image, and a second image with the converted style is acquired (S920). Then, if the color difference between the first image and the second image is equal to or greater than the first threshold value, the luminance value of the first image and the luminance value of the second image are weighted (S930). Then, the luminance value of the first image is changed to a weighted summed luminance value (S940).
  • the image processing step (S910) identifies at least one of the sharpness of the first image, the contrast ratio of the first image, or the size of an object included in the first image, and performs image processing on the first image based on the identified information. can do.
  • the sharpness of the first image is identified based on the frequency component of the first image, and when the sharpness of the first image is less than the critical sharpness, the first image is learned to improve the sharpness of the image.
  • a first image with improved sharpness may be obtained by inputting the image to the second neural network model.
  • the image processing step (S910) identifies an object from the first image, identifies a first sharpness of the first region based on a frequency component of a first region of a predetermined size including the object, and identifies the first sharpness of the first region. If is less than the threshold sharpness, the first image may be input to the second neural network model to obtain a first image having improved sharpness.
  • the second sharpness of the second region is identified based on the frequency component of the second region, which is the remaining region except for the first region in the first image, and the first sharpness is greater than the second sharpness. If the first area is larger than the second threshold and the first sharpness is less than the critical sharpness, the first area with improved sharpness may be obtained by inputting the first area to the second neural network model.
  • the image processing step (S910) if the contrast ratio of the first image is less than the critical contrast ratio, the first image is input to the third neural network model trained to improve the contrast ratio of the image to acquire the first image with the improved contrast ratio or a histogram.
  • a first image with an improved contrast ratio may be acquired through a histogram equalization method.
  • the image processing step (S910) if the size of the object included in the first image is less than the critical size, up-scaling an area of a predetermined size including the object, and acquiring the second image (S920)
  • the scaled region may be input to the first neural network model to obtain an upscaled region in which the style is converted, and the upscaled region in which the style is converted may be downscaled.
  • the second image may be updated based on the downscaled area.
  • an up-scaled area is acquired by inputting an area of a preset size to the fourth neural network model learned to upscale an image, or an up-scaled area is obtained by interpolating an area of a preset size. can be obtained.
  • the electronic device may provide an improved style conversion result by pre-processing an image based on an element that may be a problem in the style conversion process.
  • the electronic device may provide a result in which the degree of color transformation is maintained below a certain level even when the style is converted by mixing the original image and the style conversion result.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments.
  • the processor may perform a function corresponding to the command directly or by using other components under the control of the processor.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or online through an application store (eg Play StoreTM).
  • CD-ROM compact disc read only memory
  • application store eg Play StoreTM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • the various embodiments described above use software, hardware, or a combination thereof in a recording medium readable by a computer or similar device. can be implemented in In some cases, the embodiments described herein may be implemented by a processor itself. According to software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software modules. Each of the software modules may perform one or more functions and operations described herein.
  • Non-transitory computer-readable medium may be stored in a non-transitory computer-readable medium.
  • Computer instructions stored in such a non-transitory computer readable medium when executed by a processor of a specific device, cause a specific device to perform a processing operation in the device according to various embodiments described above.
  • a non-transitory computer readable medium is a medium that stores data semi-permanently and is readable by a device, not a medium that stores data for a short moment, such as a register, cache, or memory.
  • Specific examples of the non-transitory computer readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components are executed sequentially, in parallel, iteratively, or heuristically, or at least some operations are executed in a different order, are omitted, or other operations are added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델이 저장된 메모리 및 제1 이미지의 적어도 하나의 품질에 기초하여 제1 이미지에 대해 적어도 하나의 영상 처리 동작을 수행하여 영상 처리된 제1 이미지를 획득하고, 영상 처리된 제1 이미지를 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득하고, 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 제1 이미지의 휘도 값 및 제2 이미지의 휘도 값을 가중합하여 가중합된 휘도 값을 획득하고, 제1 이미지의 휘도 값을 가중합된 휘도 값으로 변경하고, 상기 제1 이미지 및 상기 제2 이미지 간의 상기 색상 차이가 상기 제1 임계 값 미만이면, 상기 제2 이미지를 출력하는 프로세서를 포함한다.

Description

이미지를 처리하는 전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 이미지를 영상 처리하기 위한 전자 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 서비스가 개발되고 있다. 특히, 최근에는 이미지의 스타일 변환과 같은 멀티미디어(ex) 이미지, 비디오 등) 서비스를 제공하는 다양한 방법이 제공되고 있다. 간단히 말해서, 스타일 변환은 사진과 같은 기존 이미지를 다른 이미지 또는 특정 예술가의 스타일이나 예술 운동과 같은 이미지 세트의 시각적 측면을 모방하도록 변형한다.
스타일 변환 기술은 다양한 최적화 방법과 pixel/feature-based regularization 기술들을 이용하여 다른 제어 중 원본 이미지 대비 과도하게 픽셀 값이 변형되는 것을 억제하거나 smoothness를 유지하고 있다. 또한, 사용자는 스타일 변환된 영상에서 원하지 않는 artifact 영역을 선택할 수 있고, 소스 영상의 비율을 선택하여 artifact 영역을 소스 영상으로 대체할 수도 있다.
다만, 종래의 방법에 의하면, 결과 이미지의 품질을 유지하면서 스타일을 변환하기가 어려웠다. 예를 들어, 텍스쳐 표현의 경우, 사물의 테두리 선이 사라지거나, 과도하게 선이 표현되는 문제가 있다. 또는, 색 표현의 경우, 원본 색과 전혀 다른 색으로의 색 변이 또는 얼룩과 같이 균일하지 않게 색이 표현되는 문제가 있다.
예를 들어, 촬영 시 카메라 떨림으로 인해 또는 움직이는 피사체를 촬영함에 따라 사진이 선명하지 않게 촬영된 경우, 이미지 선명도가 낮아 스타일 변환 효과가 저하될 수 있다. 추가적으로, 피사체가 작게 촬영된 경우에도 선 표현이 사라지거나 뭉개지듯이 표현되어 원본과 다른 변형된 결과를 얻을 수 있다. 또한, 주변의 조도의 영향으로 인해 이미지 대조 비가 낮게 또는 어두운 경우, 어두운 부분의 세부 정보가 손실되어 스타일 변환 시 선 표현이 손실될 수도 있다.
색상과 관련하여도, 원본의 색을 유지하거나 색 변이가 발생하지 않도록 하게 위해 color loss function이 학습되거나, 학습 데이터를 삭제 또는추가하는 등의 정제 작업을 수행하기도 하나, 개선 결과를 보장하기 어렵고, 반복된 학습 과정을 통해 경험적으로 개선하기 때문에 많은 시간을 필요로 하는 문제가 있다.
그에 따라, 스타일 변환과 같은 새로운 영상 생성 시, 사용자의 개입이 없더라도 생성 영상의 품질 열화 없이 최적의 결과를 생성하기 위한 방법이 개발될 필요가 있다.
스타일 변환이나 기타 이미지 조작 시 사용자의 개입 없이 최적의 영상 처리 결과를 제공하는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델이 저장된 메모리 및 제1 이미지의 적어도 하나의 품질에 기초하여 상기 제1 이미지에 대해 적어도 하나의 영상 동작을 수행하여 영상 처리된 제1 이미지를 획득하고, 상기 영상 처리된 제1 이미지를 상기 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득하고, 상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 상기 제1 이미지의 휘도 값 및 상기 제2 이미지의 휘도 값을 가중합하여 가중합된 휘도 값을 획득하고, 상기 제1 이미지의 휘도 값을 상기 가중합된 휘도 값으로 변경하고, 상기 제1 이미지 및 상기 제2 이미지 간의 상기 색상 차이가 상기 제1 임계 값 미만이면, 상기 제2 이미지를 출력하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 제1 이미지의 선명도, 상기 제1 이미지의 대조비 또는 상기 제1 이미지에 포함된 객체의 크기로부터 상기 제1 이미지의 적어도 하나의 품질 값을 식별하고, 상기 식별된 값에 기초하여 상기 제1 이미지를 영상 처리 동작을 수행할 수 있다.
그리고, 상기 메모리는 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델을 더 저장하고, 상기 프로세서는 상기 제1 이미지의 주파수 성분에 기초하여 상기 제1 이미지의 선명도의 값을 식별하고, 상기 제1 이미지의 선명도의 값이 임계 선명도 미만이면 상기 제1 이미지를 상기 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다.
또한, 상기 메모리는 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델을 더 저장하고, 상기 프로세서는 상기 제1 이미지 내에서 객체의 표현을 식별하고, 제1 영역의 주파수 성분에 기초하여 상기 제1 영역의 제1 선명도의 값을 식별하고, 상기 제1 영역은 상기 객체의 표현을 포함하는 상기 제1 이미지의 기설정된 크기의 영역이고, 상기 제1 선명도의 값이 상기 임계 선명도 미만이면 상기 제1 이미지를 상기 제2 신경망 모델에 입력하여 상기 선명도가 향상된 제1 이미지를 획득할 수 있다.
그리고, 상기 프로세서는 상기 제1 영역을 제외한 나머지 영역인 제2 영역의 주파수 성분에 기초하여 상기 제2 영역의 제2 선명도의 값을 식별하고, 상기 제1 선명도의 값이 상기 제2 선명도의 값보다 제2 임계 선명도 값 이상 크고 상기 제1 선명도의 값이 상기 임계 선명도 값 미만이면, 상기 제1 영역을 상기 제2 신경망 모델에 입력하여 선명도가 향상된 제1 영역을 획득할 수 있다.
또한, 상기 메모리는 이미지의 대조비가 향상되도록 학습된 제3 신경망 모델을 더 저장하고, 상기 프로세서는 상기 제1 이미지의 대조비의 값이 임계 대조비 값 미만이면, 상기 제1 이미지를 상기 제3 신경망 모델에 입력하거나 히스토그램 평활화(histogram equalization) 방법을 통해 대조비가 향상된 제1 이미지를 획득할 수 있다.
그리고, 상기 프로세서는 상기 제1 이미지에 포함된 객체의 크기가 임계 크기 미만이면 상기 객체를 포함하는 기설정된 크기의 영역을 업스케일링하여 업스케일링된 영역을 획득하고, 상기 업스케일링된 영역을 상기 제1 신경망 모델에 입력하여 스타일이 변환된 업스케일링된 영역을 획득하고, 상기 스타일이 변환된 업스케일링된 영역을 다운스케일링하여 다운스케일링된 영역을 획득할 수 있다.
또한, 상기 프로세서는 상기 다운스케일링된 영역에 기초하여 상기 제2 이미지를 업데이트할 수 있다.
그리고, 상기 메모리는 이미지를 업스케일링하도록 학습된 제4 신경망 모델을 더 저장하고, 상기 프로세서는 상기 영역을 상기 제4 신경망 모델에 입력하거나, 상기 영역을 보간하여 상기 영역을 업스케일링할 수 있다.
또한, 상기 프로세서는 상기 제1 이미지에서 복수의 객체가 식별되면 상기 복수의 객체의 타입에 기초하여 상기 복수의 객체 중 하나의 객체를 식별하고, 상기 식별된 객체의 크기가 임계 크기 미만이면 상기 식별된 객체를 포함하는 상기 기설정된 크기의 영역을 업스케일링할 수 있다.
그리고, 상기 프로세서는 상기 제1 이미지 및 상기 제2 이미지를 YUV 색좌표로 변환하고, 상기 YUV 색좌표로 변환된 제1 이미지 및 상기 YUV 색좌표로 변환된 제2 이미지를 비교하여 상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이를 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 영상 처리된 제1 이미지를 획득하기 위해, 제1 이미지의 품질에 기초하여 상기 제1 이미지를 영상 처리하는 단계, 상기 영상 처리된 제1 이미지를 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득하는 단계, 상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 상기 제1 이미지의 휘도 값 및 상기 제2 이미지의 휘도 값을 가중합하여 가중합된 휘도 값을 획득하고, 상기 제1 이미지의 휘도 값을 상기 가중합된 휘도 값으로 변경하는 단계 및 상기 제1 이미지 및 상기 제2 이미지 간의 상기 색상 차이가 상기 제1 임계 값 미만이면, 상기 제2 이미지를 출력하는 단계를 포함한다.
또한, 상기 영상 처리하는 단계는 상기 제1 이미지의 선명도, 상기 제1 이미지의 대조비 또는 상기 제1 이미지에 포함된 객체의 크기로부터 상기 제1 이미지의 적어도 하나의 품질 값을 식별하고, 상기 식별된 값에 기초하여 상기 제1 이미지를 영상 처리할 수 있다.
그리고, 상기 영상 처리하는 단계는 상기 제1 이미지의 주파수 성분에 기초하여 상기 제1 이미지의 선명도의 값을 식별하고, 상기 제1 이미지의 선명도의 값이 임계 선명도 값 미만이면 상기 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다.
또한, 상기 영상 처리하는 단계는 상기 제1 이미지 내에서 객체의 표현을 식별하고, 제1 영역의 주파수 성분에 기초하여 상기 제1 영역의 제1 선명도의 값을 식별하고, 상기 제1 영역은 상기 객체의 표현을 포함하는 상기 제1 이미지의 기설정된 크기의 영역이고, 상기 제1 선명도의 값이 상기 임계 선명도 값 미만이면 상기 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다.
본 개시 내용의 특정 실시 예의 상기 및 기타 양태, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 상세한 설명으로부터 더욱 명백해질 것이며, 여기서:
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 스타일 변환 과정에서 문제가 될 수 있는 요소에 기초하여 이미지를 전처리함에 따라 개선된 스타일 변환 결과물을 제공할 수 있다.
또한, 전자 장치는 원본 이미지 및 스타일 변환 결과물을 혼합함에 따라 스타일을 변환하더라도 색 변형 정도가 일정 수준 이하로 유지되는 결과물를 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 디블러(deblur) 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 스케일링 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 대조비 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 후처리를 수행한 결과를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 개시의 실시 예를 상세히 설명한다. 본 개시의 실시 예는 다양하게 변형될 수 있다. 따라서, 본 개시는 특정 실시 예에 한정되지 않고, 본 개시의 범위 및 사상을 벗어나지 않는 모든 수정, 균등물 및 치환을 포함하는 것으로 이해되어야 한다. 또한, 공지된 기능이나 구성에 대해서는 불필요한 세부 사항으로 인해 본 발명을 흐릴 수 있으므로 그 상세한 설명을 생략한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시는 주로 이미지 스타일 전송의 맥락에서 본 개시의 실시 예들을 논의하지만, 이것은 예시적인 예로서 의미되며 여기에 개시된 시스템 및 기술을 사용하는 다른 형태의 이미지 조작의 개선은 개시의 범위 내에 있다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 나타내는 블록도이다. 전자 장치(100)는 도 1에 도시된 바와 같이, 메모리(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 이미지를 영상 처리하는 장치로서, 셋탑박스(STB), 데스크탑 PC, 노트북, 스마트폰, 태블릿 PC, 서버, TV 등일 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 이미지를 영상 처리할 수 있는 장치라면 어떤 장치라도 무방하다.
메모리(110)는 프로세서(120) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있다. 이를 위해, 메모리(110)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.
메모리(110)에는 전자 장치(100) 또는 프로세서(120)의 동작에 필요한 적어도 하나의 인스트럭션(instruction) 또는 모듈이 저장될 수 있다. 여기서, 인스트럭션은 전자 장치(100) 또는 프로세서(120)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 언어인 기계어로 작성된 것일 수 있다. 모듈은 작업 단위의 특정 작업을 수행하는 일련의 인스트럭션의 집합체(instruction set)일 수 있다.
메모리(110)에는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 정보인 데이터가 저장될 수 있다. 예를 들어, 메모리(110)에는 이미지가 저장될 수 있다.
메모리(110)에는 영상 품질 측정 모듈, 전처리 모듈, 스타일 변환 모듈, 후처리 모듈 등이 저장될 수 있다.
메모리(110)에는 각종 신경망 모델이 저장될 수 있다. 예를 들어, 메모리(110)에는 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델, 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델, 이미지의 대조비가 향상되도록 학습된 제3 신경망 모델, 이미지를 업스케일링하도록 학습된 제4 신경망 모델 등이 저장될 수 있다.
메모리(110)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의해 인스트럭션, 모듈 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
프로세서(120)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(120)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(120)는 메모리(110), 디스플레이(미도시), 카메라(미도시) 등과 같은 구성과 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
일 실시 예에 따라 프로세서(120)는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 제1 이미지의 품질에 기초하여 제1 이미지를 영상 처리할 수 있다. 예를 들어, 프로세서(120)는 제1 이미지의 선명도를 향상시키거나, 제1 이미지의 대조비를 향상시키거나, 제1 이미지의 일부 영역을 업스케일링할 수 있다. 여기서, 제1 이미지는 원본 이미지를 나타낸다. 또는, 제1 이미지는 원본 동영상의 개별 프레임을 나타낼 수도 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(120)는 제1 이미지의 선명도, 대조비 또는 크기로부터 적어도 하나의 이미지 품질을 영상 처리할 수도 있다.
프로세서(120)는 영상 처리된 제1 이미지를 메모리(110)에 저장된 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득할 수 있다.
예를 들어, 프로세서(120)는 제1 이미지를 만화 스타일로 변환할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 얼마든지 다양한 스타일 변환이 가능하다.
프로세서(120)는 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 제1 이미지의 휘도 값 및 제2 이미지의 휘도 값을 가중합하고, 제1 이미지의 휘도 값을 가중합된 휘도 값으로 변경할 수 있다.
예를 들어, 프로세서(120)는 제1 이미지 및 제2 이미지를 YUV 색좌표로 변환하고, YUV 색좌표로 변환된 제1 이미지 및 YUV 색좌표로 변환된 제2 이미지를 비교하여 제1 이미지 및 제2 이미지 간의 색상 차이를 식별할 수 있다. 프로세서(120)는 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 제1 이미지의 Y값 및 제2 이미지의 Y값을 가중합하고, 제1 이미지의 U, V값 및 가중합된 Y값을 포함하는 이미지를 획득할 수 있다. 여기서, 프로세서(120)는 색상 차이에 기초하여 가중합 정도를 결정할 수 있다.
즉, 프로세서(120)는 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, Y값이 가중합된 Y값으로 제1 이미지를 출력하고, 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 미만이면, 제2 이미지를 출력할 수 있다.
프로세서(120)는 제1 이미지의 선명도, 제1 이미지의 대조비 또는 제1 이미지에 포함된 객체의 크기(즉, 제1 이미지 내에 묘사된 객체의 표현의 크기)로부터 이미지의 적어도 하나의 품질 값을 식별하고, 품질 및 그 값에 기초하여 제1 이미지를 영상 처리할 수 있다.
(여기서, 간결함을 위해, 본 개시는 이미지 내에 표현을 갖는 객체를 이미지 "내에 포함된" 또는 "포함된" 것으로 설명한다.)
예를 들어, 프로세서(120)는 제1 이미지의 주파수 성분에 기초하여 제1 이미지의 선명도를 식별하고, 제1 이미지의 선명도가 임계 선명도 미만이면 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다. 프로세서(120)는 선명도가 향상된 제1 이미지를 제1 신경망 모델에 입력하므로, 스타일이 변환되더라도 선 표현이 선명하게 유지될 수 있다.
프로세서(120)는 제1 이미지로부터 객체를 식별하고, 객체를 포함하는 기설정된 크기의 제1 영역의 주파수 성분에 기초하여 제1 영역의 제1 선명도를 식별하고, 제1 선명도가 임계 선명도 미만이면 제1 이미지를 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수도 있다.
예를 들어, 프로세서(120)는 제1 이미지로부터 사람의 얼굴을 식별하고, 사람의 얼굴을 포함하는 기설정된 크기의 제1 영역의 주파수 성분에 기초하여 제1 영역의 제1 선명도를 식별하고, 제1 선명도가 임계 선명도 미만이면 제1 이미지를 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수도 있다. 즉, 프로세서(120)는 사람의 얼굴과 중요 영역만을 기초로 선명도를 향상시킬지 여부를 결정할 수 있다. 전체 영역이 아닌 일부 영역만으로 선명도를 향상시킬지 여부를 결정하므로, 영상 처리 속도가 향상될 수 있다. 이후, 프로세서(120)는 선명도가 향상된 제1 이미지를 제1 신경망 모델에 입력하므로, 스타일이 변환되더라도 선 표현이 선명하게 유지될 수 있다.
또한, 프로세서(120)는 제1 이미지에서 제1 영역을 제외한 나머지 영역인 제2 영역의 주파수 성분에 기초하여 제2 영역의 제2 선명도를 식별하고, 제1 선명도가 제2 선명도보다 제2 임계 값 이상 크고 제1 선명도가 임계 선명도 미만이면, 제1 영역을 제2 신경망 모델에 입력하여 선명도가 향상된 제1 영역을 획득할 수도 있다. 예를 들어, 제1 이미지는 사람의 얼굴을 중심으로 아웃포커싱된 사진일 수 있다. 이 경우, 사람의 얼굴은 스타일 변환 후에도 선명도가 유지되어야 하나, 배경 영역은 선명도가 유지될 필요가 없다. 따라서, 프로세서(120)는 사람의 얼굴을 포함하는 영역의 제1 선명도가 배경 영역의 제2 선명도보다 제2 임계 값 이상 크면, 제1 이미지를 아웃포커싱된 이미지로 식별할 수 있다. 그리고, 프로세서(120)는 제1 선명도가 임계 선명도 미만이면, 아웃포커싱된 이미지의 얼굴 부분이 선명하지 않은 것으로 식별할 수 있다. 이 경우, 배경 영역은 선명도가 향상될 필요가 없으므로, 프로세서(120)는 사람의 얼굴을 포함하는 영역만을 제2 신경망 모델에 입력하여 사람의 얼굴을 포함하는 영역의 선명도만을 향상시킬 수도 있다. 이후, 프로세서(120)는 사람의 얼굴을 포함하는 영역의 선명도가 향상된 제1 이미지를 제1 신경망 모델에 입력하므로, 스타일이 변환되더라도 사람의 얼굴을 포함하는 영역의 선 표현이 선명하게 유지될 수 있다.
한편, 프로세서(120)는 제1 이미지의 대조비가 임계 대조비 미만이면, 제1 이미지를 이미지의 대조비가 향상되도록 학습된 제3 신경망 모델에 입력하여 대조비가 향상된 제1 이미지를 획득하거나 히스토그램 평활화(histogram equalization) 방법을 통해 대조비가 향상된 제1 이미지를 획득할 수 있다. 이후, 프로세서(120)는 대조비가 향상된 제1 이미지를 제1 신경망 모델에 입력하므로, 스타일이 변환되더라도 선 표현이 선명하게 유지될 수 있다.
한편, 프로세서(120)는 제1 이미지에 포함된 객체의 크기가 임계 크기 미만이면 객체를 포함하는 기설정된 크기의 영역을 업스케일링하고, 업스케일링된 영역을 제1 신경망 모델에 입력하여 스타일이 변환된 업스케일링된 영역을 획득하고, 스타일이 변환된 업스케일링된 영역을 다운스케일링할 수 있다. 그리고, 프로세서(120)는 다운스케일링된 영역에 기초하여 제2 이미지를 업데이트할 수 있다.
예를 들어, 프로세서(120)는 제1 이미지에서 사람의 얼굴을 식별하고, 사람의 얼굴을 포함하는 영역을 업스케일링하고, 업스케일링된 영역을 제1 신경망 모델에 입력하여 스타일이 변환된 업스케일링된 영역을 획득하고, 스타일이 변환된 업스케일링된 영역을 다운스케일링할 수 있다. 이 경우, 사람의 얼굴을 포함하는 영역이 업스케일링된 상태로 스타일이 변환되기 때문에 선 표현이 좀더 선명할 수 있다. 그리고, 프로세서(120)는 제1 이미지를 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득할 수 있다. 여기서, 제1 이미지 자체는 영상 처리가 되지 않은 상태일 수 있다. 프로세서(120)는 제2 이미지에서 사람의 얼굴을 포함하는 영역을 다운스케일링된 영역으로 변환할 수 있으며, 그에 따라 사람의 얼굴을 포함하는 영역의 선 표현이 좀더 선명할 수 있다.
프로세서(120)는 기설정된 크기의 영역을 이미지를 업스케일링하도록 학습된 제4 신경망 모델에 입력하여 업스케일링된 영역을 획득하거나, 기설정된 크기의 영역을 보간하여 업스케일링된 영역을 획득할 수 있다.
프로세서(120)는 제1 이미지로부터 복수의 객체가 식별되면 복수의 객체의 타입에 기초하여 복수의 객체 중 하나의 객체를 식별하고, 식별된 객체의 크기가 임계 크기 미만이면 식별된 객체를 포함하는 기설정된 크기의 영역을 업스케일링할 수 있다.
예를 들어, 프로세서(120)는 제1 이미지로부터 사람의 얼굴과 자동차가 식별되면, 사람의 얼굴을 포함하는 영역의 크기에 기초하여 사람의 얼굴을 포함하는 영역의 업스케일링 여부를 결정할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 제1 이미지로부터 임계 크기 미만의 복수의 객체를 포함하는 영역을 업스케일링할 수도 있다. 여기서, 복수의 객체 각각의 크기는 복수의 객체 각각이 차지하는 픽셀의 개수로 식별될 수 있다.
한편, 본 개시에 따른 인공 지능과 관련된 기능은 프로세서(120)와 메모리(110)를 통해 동작된다.
프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는, 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 기본 인공 지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 세부 구성을 나타내는 블럭도이다. 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 또한, 도 2에 따르면, 전자 장치(100)는 디스플레이(130), 통신 인터페이스(140), 사용자 인터페이스(150), 카메라(160)를 더 포함할 수도 있다. 도 2에 도시된 구성 요소들 중 도 1에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(130)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
통신 인터페이스(140)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 전자 장치(100)는 통신 인터페이스(140)를 통해 서버와 통신을 수행할 수 있다.
통신 인터페이스(140)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 여기서, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
또는, 통신 인터페이스(140)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.
그 밖에 통신 인터페이스(140)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.
사용자 인터페이스(150)는 버튼, 터치 패드, 마우스 및 키보드 등으로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
카메라(160)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(160)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.
카메라(160)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 카메라(160)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
이상과 같이 프로세서(120)는 이미지를 전처리한 후 스타일을 변환하고, 스타일이 변환된 이미지를 후처리함에 따라 스타일 처리 결과가 개선될 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 스타일 처리가 아닌 다른 영상 처리를 수행할 수도 있으며, 본 개시와 같은 전처리 및 후처리를 수행할 수 있는 방법이라면 어떠한 방법이라도 무방하다.
이하에서는 도 3 내지 도 8을 통해 전자 장치(100)의 동작을 좀더 구체적으로 설명한다. 도 3 내지 도 8에서는 설명의 편의를 위해 개별적인 실시 예에 대하여 설명한다. 다만, 도 3 내지 도 8의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 영상 처리 방법을 단계적으로 설명하기 위한 도면이다.
도 3의 입력 영상 품질 측정부(310), 전처리부(320), 스타일 변환부(330), 결과 영상 품질 측정부(340) 및 후처리부(350)는 각각이 하드웨어 모듈로 구현될 수 있다. 예를 들어, 프로세서(120)는 입력 영상 품질 측정부(310), 전처리부(320), 스타일 변환부(330), 결과 영상 품질 측정부(340) 및 후처리부(350) 각각의 동작을 수행하는 하드웨어 모듈을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 입력 영상 품질 측정부(310), 전처리부(320), 스타일 변환부(330), 결과 영상 품질 측정부(340) 및 후처리부(350) 각각의 동작을 수행하는 하드웨어 모듈은 프로세서(120) 외부에 구현될 수도 있다. 또는, 입력 영상 품질 측정부(310), 전처리부(320), 스타일 변환부(330), 결과 영상 품질 측정부(340) 및 후처리부(350) 각각은 소프트웨어적으로 구현될 수도 있다.
입력 영상 품질 측정부(310)는 입력 영상의 선명도, 입력 영상의 대조비 또는 입력 영상에 포함된 객체의 크기 중 적어도 하나를 식별할 수 있다. 예를 들어, 입력 영상 품질 측정부(310)는 입력 영상에 FFT(Fast Fourier Transform)를 적용하여, 주파수 도메인에서 고주파수 성분과 저주파수 성분의 분포 정도로부터 선명도(ex) 블러(blur)의 정도)를 식별할 수 있다. 또는, 입력 영상 품질 측정부(310)는 CNR(contrast noise ratio)을 사용하여 입력 영상의 대조비를 측정할 수도 있다. 또는, 입력 영상 품질 측정부(310)는 입력 영상으로부터 사람의 얼굴을 식별하고, 식별된 얼굴의 크기를 식별하여 객체의 크기를 식별할 수도 있다. 이때, 입력 영상 품질 측정부(310)는 semantic segmentation을 통해 얼굴과 얼굴 외 영역을 라벨링하여 얼굴 영역의 크기를 측정할 수 있다.
전처리부(320)는 디블러(deblur) 처리부, 스케일링부 또는 HDR(high dynamic range)부 중 적어도 하나를 포함할 수 있다. 예를 들어, 전처리부(320)는 디블러 처리부를 포함하며, 입력 영상 품질 측정부(310)에서 측정된 입력 영상의 선명도가 임계 선명도 미만이면 입력 영상을 디블러 처리할 수 있다. 여기서, 디블러 처리부는 딥 러닝(deep learning) 기반의 디블러 학습 모델로 구현될 수 있다.
또는, 전처리부(320)는 스케일링부를 포함하며, 입력 영상 품질 측정부(310)에서 측정된 객체의 크기가 임계 크기 미만이면 객체를 포함하는 기설정된 크기의 영역을 업스케일링할 수 있다. 가령, 스케일링부는 bilinear 등의 보간 방법으로 업스케일링을 수행할 수 있다. 또는, 스케일링부는 딥 러닝 기반의 super resolution 학습 모델로 구현될 수도 있다. 여기서, 기설정된 크기의 영역은 객체를 포함하는 가장 작은 사각형 영역일 수 있다.
또는, 전처리부(320)는 HDR부를 포함하며, 입력 영상 품질 측정부(310)에서 측정된 입력 영상의 대조비가 임계 대조비 미만이면 입력 영상의 대조비를 높일 수 있다. 가령, HDR부는 히스토그램 평활화 방법을 통해 대조비를 향상시킬 수 있다. 또는, HDR부는 딥 러닝 기반의 HDR 학습 모델로 구현될 수도 있다.
전처리부(320)는 디블러 처리부, 스케일링부 및 HDR부를 모두 포함하며, 입력 영상의 선명도, 입력 영상의 대조비 또는 입력 영상에 포함된 객체의 크기 중 적어도 둘 이상이 기준에 미달되는 경우, 입력 영상에 대한 복수의 영상 처리를 수행할 수도 있다.
스타일 변환부(330)는 neural style transfer, cycle GAN, Cartoon GAN 등과 같은 학습 모델(335) 중 하나를 전처리된 영상에 적용하도록 구현될 수 있다. 예를 들어, Cartoon GAN은 실제 사진을 만화로 변환하도록 학습하는 Generator 네트워크와 실제 사진과 만화를 구분하도록 학습하는 Discriminator 네트워크로 구성될 수 있다. 이후, 학습이 완료되면, Generator 네트워크만을 사용하여 입력 영상으로부터 만화 스타일로 변환된 결과 영상을 생성할 수 있다.
결과 영상 품질 측정부(340)는 입력 영상과 결과 영상의 색상 차이를 식별할 수 있다. 예를 들어, 결과 영상 품질 측정부(340)는 입력 영상과 결과 영상을 YUV 색좌표로 변환하고, YUV 색좌표로 변환된 입력 영상 및 YUV 색좌표로 변환된 결과 영상을 비교하여 입력 영상과 결과 영상의 색상 차이를 식별할 수 있다. 가령, Y, U, V 각각을 3차원 공간의 좌표값으로 가정하는 경우, 결과 영상 품질 측정부(340)는 입력 영상의 Y, U, V 및 출력 영상의 Y, U, V의 유클리드 거리를 입력 영상과 결과 영상의 색상 차이로 획득할 수 있다.
후처리부(350)는 결과 영상 품질 측정부(340)에서 측정된 색상 차이가 제1 임계 값 이상이면, 입력 영상의 Y값 및 출력 영상의 Y값을 가중합하고, 입력 영상의 Y값을 가중합된 Y값으로 변경할 수 있다. 즉, 후처리부(350)는 결과 영상 품질 측정부(340)에서 측정된 색상 차이가 제1 임계 값 이상이면, Y값이 가중합된 Y값으로 변경된 입력 영상을 출력하고, 결과 영상 품질 측정부(340)에서 측정된 색상 차이가 제1 임계 값 미만이면, 출력 영상을 출력할 수 있다.
도 4는 본 개시의 일 실시 예에 따른 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델을 설명하기 위한 도면이다.
제1 신경망 모델은 neural style transfer, cycle GAN, Cartoon GAN 등과 같이 이미지의 스타일을 변환하도록 학습된 신경망 모델일 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 신경망 모델은 이미지의 스타일을 변환할 수 있다면 어떠한 모델이라도 무방하다.
도 4에 도시된 바와 같이, 학습 과정에서는 Generator 네트워크와 Discriminator 네트워크로 구성되며, 학습이 완료되면 Generator 네트워크가 제1 신경망 모델로서 동작할 수 있다.
예를 들어, Cartoon GAN은 실제 사진을 만화로 변환하도록 학습하는 Generator 네트워크와 실제 사진과 만화를 구분하도록 학습하는 Discriminator 네트워크를 통해 학습이 이루어지며, 학습이 완료되면 Generator 네트워크가 제1 신경망 모델로서 동작할 수 있다.
도 5는 본 개시의 일 실시 예에 따른 디블러(deblur) 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 5의 좌측 상단은 원본 이미지이고, 우측 상단은 원본 이미지를 전처리 없이 스타일 변환한 결과이다.
도 5의 좌측 하단은 원본 이미지를 디블러 처리한 결과이고, 우측 하단은 디블러 처리된 이미지를 스타일 변환한 결과이다.
도 5의 우측 상단과 비교하여 도 5의 우측 하단이 좀더 선명하다.
도 6은 본 개시의 일 실시 예에 따른 스케일링 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 6의 상단은 원본 이미지(610)이고, 원본 이미지(610)에서 사람의 얼굴 영역(620)은 매우 작은 영역이다.
도 6의 좌측 하단(630)은 전처리 없이 스타일 변환 후 사람의 얼굴 영역(620)을 나타내는 도면이고, 도 6의 우측 하단(640)은 사람의 얼굴 영역(620)을 업스케일링 후 스타일 변환하고, 스타일 변환된 영역을 다시 다운스케일링한 도면이다.
도 6의 좌측 하단은 눈, 코, 입 등이 뭉개져 보이나, 도 6의 우측 하단은 눈, 코, 입 등이 좀더 선명하게 표현되었다.
도 7은 본 개시의 일 실시 예에 따른 대조비 전처리를 수행한 결과를 설명하기 위한 도면이다.
도 7의 상단은 역광 또는 주변 조도의 영향으로 대조비가 낮거나 어둡게 촬영된 원본 이미지(710)이다.
도 7의 좌측 하단(720)은 전처리 없이 스타일 변환한 도면이고, 도 7의 우측 하단(730)은 대조비를 높이는 전처리 후 스타일 변환한 도면이다.
도 7의 좌측 하단(720)의 일부 영역을 확대한 결과물(725) 및 도 7의 우측 하단(730)의 일부 영역을 확대한 결과물(735)을 비교하면, 후자가 더 선명한 것을 확인할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 후처리를 수행한 결과를 설명하기 위한 도면이다.
도 8의 좌측은 원본 이미지(810)이고, 도 8의 우측은 스타일 변환된 이미지(820)이다. 스타일 변환된 이미지(820)는 색상이 과도하게 변경될 수 있으며, 프로세서(120)는 원본 이미지(810)의 Y값 및 스타일 변환된 이미지(820)의 Y값을 가중합하고, 원본 이미지(810)의 Y값을 가중합한 Y값으로 업데이트할 수 있다. 도 8의 우측은 Y값이 가중합된 Y값으로 변환된 원본 이미지(830)로서, 원본 이미지(810)와 색상 차이가 크지 않으면서도 스타일이 변환된 결과물을 나타낸다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 도면이다.
먼저, 제1 이미지의 품질에 기초하여 제1 이미지를 영상 처리한다(S910). 그리고, 영상 처리된 제1 이미지를 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득한다(S920). 그리고, 제1 이미지 및 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 제1 이미지의 휘도 값 및 제2 이미지의 휘도 값을 가중합한다(S930). 그리고, 제1 이미지의 휘도 값을 가중합된 휘도 값으로 변경한다(S940).
여기서, 영상 처리하는 단계(S910)는 제1 이미지의 선명도, 제1 이미지의 대조비 또는 제1 이미지에 포함된 객체의 크기 중 적어도 하나를 식별하고, 식별된 정보에 기초하여 제1 이미지를 영상 처리할 수 있다.
그리고, 영상 처리하는 단계(S910)는 제1 이미지의 주파수 성분에 기초하여 제1 이미지의 선명도를 식별하고, 제1 이미지의 선명도가 임계 선명도 미만이면 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다.
여기서, 영상 처리하는 단계(S910)는 제1 이미지로부터 객체를 식별하고, 객체를 포함하는 기설정된 크기의 제1 영역의 주파수 성분에 기초하여 제1 영역의 제1 선명도를 식별하고, 제1 선명도가 임계 선명도 미만이면 제1 이미지를 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득할 수 있다.
그리고, 영상 처리하는 단계(S910)는 제1 이미지에서 제1 영역을 제외한 나머지 영역인 제2 영역의 주파수 성분에 기초하여 제2 영역의 제2 선명도를 식별하고, 제1 선명도가 제2 선명도보다 제2 임계 값 이상 크고 제1 선명도가 임계 선명도 미만이면, 제1 영역을 제2 신경망 모델에 입력하여 선명도가 향상된 제1 영역을 획득할 수 있다.
한편, 영상 처리하는 단계(S910)는 제1 이미지의 대조비가 임계 대조비 미만이면, 제1 이미지를 이미지의 대조비가 향상되도록 학습된 제3 신경망 모델에 입력하여 대조비가 향상된 제1 이미지를 획득하거나 히스토그램 평활화(histogram equalization) 방법을 통해 대조비가 향상된 제1 이미지를 획득할 수 있다.
또한, 영상 처리하는 단계(S910)는 제1 이미지에 포함된 객체의 크기가 임계 크기 미만이면 객체를 포함하는 기설정된 크기의 영역을 업스케일링하고, 제2 이미지를 획득하는 단계(S920)는 업스케일링된 영역을 제1 신경망 모델에 입력하여 스타일이 변환된 업스케일링된 영역을 획득하고, 스타일이 변환된 업스케일링된 영역을 다운스케일링할 수 있다.
여기서, 제2 이미지를 획득하는 단계(S920)는 다운스케일링된 영역에 기초하여 제2 이미지를 업데이트할 수 있다.
또한, 영상 처리하는 단계(S910)는 기설정된 크기의 영역을 이미지를 업스케일링하도록 학습된 제4 신경망 모델에 입력하여 업스케일링된 영역을 획득하거나, 기설정된 크기의 영역을 보간하여 업스케일링된 영역을 획득할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 스타일 변환 과정에서 문제가 될 수 있는 요소에 기초하여 이미지를 전처리함에 따라 개선된 스타일 변환 결과물을 제공할 수 있다.
또한, 전자 장치는 원본 이미지 및 스타일 변환 결과물을 혼합함에 따라 스타일을 변환하더라도 색 변형 정도가 일정 수준 이하로 유지되는 결과물를 제공할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    이미지의 스타일을 변환하도록 학습된 제1 신경망 모델이 저장된 메모리; 및
    제1 이미지의 적어도 하나의 품질에 기초하여 상기 제1 이미지에 대해 적어도 하나의 영상 처리 동작을 수행하여 영상 처리된 제1 이미지를 획득하고,
    상기 영상 처리된 제1 이미지를 상기 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득하고,
    상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 상기 제1 이미지의 휘도 값 및 상기 제2 이미지의 휘도 값을 가중합하여 가중합된 휘도 값을 획득하고, 상기 제1 이미지의 휘도 값을 상기 가중합된 휘도 값으로 변경하고,
    상기 제1 이미지 및 상기 제2 이미지 간의 상기 색상 차이가 상기 제1 임계 값 미만이면, 상기 제2 이미지를 출력하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지의 선명도, 상기 제1 이미지의 대조비 또는 상기 제1 이미지에 포함된 객체의 크기로부터 상기 제1 이미지의 적어도 하나의 품질 값을 식별하고,
    상기 식별된 값에 기초하여 상기 제1 에 대해 상기 영상 처리 동작을 수행하는, 전자 장치.
  3. 제2항에 있어서,
    상기 메모리는, 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델을 더 저장하고,
    상기 프로세서는,
    상기 제1 이미지의 주파수 성분에 기초하여 상기 제1 이미지의 선명도의 값을 식별하고,
    상기 제1 이미지의 선명도의 값이 임계 선명도 미만이면 상기 제1 이미지를 상기 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득하는, 전자 장치.
  4. 제2항에 있어서,
    상기 메모리는, 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델을 더 저장하고,
    상기 프로세서는,
    상기 제1 이미지 내에서 객체의 표현을 식별하고,
    제1 영역의 주파수 성분에 기초하여 상기 제1 영역의 제1 선명도의 값을 식별하고, 상기 제1 영역은 상기 객체의 표현을 포함하는 상기 제1 이미지의 기설정된 크기의 영역이고,
    상기 제1 선명도의 값이 상기 임계 선명도 값 미만이면 상기 제1 이미지를 상기 제2 신경망 모델에 입력하여 상기 선명도가 향상된 제1 이미지를 획득하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 제1 영역을 제외한 나머지 영역인 제2 영역의 주파수 성분에 기초하여 상기 제2 영역의 제2 선명도의 값을 식별하고,
    상기 제1 선명도의 값이 상기 제2 선명도의 값보다 제2 임계 선명도 값 이상 크고 상기 제1 선명도의 값이 상기 임계 선명도 값 미만이면, 상기 제1 영역을 상기 제2 신경망 모델에 입력하여 선명도가 향상된 제1 영역을 획득하는, 전자 장치.
  6. 제2항에 있어서,
    상기 메모리는, 이미지의 대조비가 향상되도록 학습된 제3 신경망 모델을 더 저장하고,
    상기 프로세서는,
    상기 제1 이미지의 대조비의 값이 임계 대조비 값 미만이면, 상기 제1 이미지를 상기 제3 신경망 모델에 입력하거나 히스토그램 평활화(histogram equalization) 방법을 통해 대조비가 향상된 제1 이미지를 획득하는, 전자 장치.
  7. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 이미지에 포함된 객체의 크기가 임계 크기 미만이면 상기 객체를 포함하는 기설정된 크기의 영역을 업스케일링하여 업스케일링된 영역을 획득하고,
    상기 업스케일링된 영역을 상기 제1 신경망 모델에 입력하여 스타일이 변환된 업스케일링된 영역을 획득하고,
    상기 스타일이 변환된 업스케일링된 영역을 다운스케일링하여 다운스케일링된 영역을 획득하는, 전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 다운스케일링된 영역에 기초하여 상기 제2 이미지를 업데이트하는, 전자 장치.
  9. 제7항에 있어서,
    상기 메모리는, 이미지를 업스케일링하도록 학습된 제4 신경망 모델을 더 저장하고,
    상기 프로세서는,
    상기 영역을 상기 제4 신경망 모델에 입력하거나, 상기 영역을 보간하여 상기 영역을 업스케일링하는, 전자 장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 이미지에서 복수의 객체가 식별되면 상기 복수의 객체의 타입에 기초하여 상기 복수의 객체 중 하나의 객체를 식별하고,
    상기 식별된 객체의 크기가 임계 크기 미만이면 상기 식별된 객체를 포함하는 상기 기설정된 크기의 영역을 업스케일링하는, 전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지를 YUV 색좌표로 변환하고,
    상기 YUV 색좌표로 변환된 제1 이미지 및 상기 YUV 색좌표로 변환된 제2 이미지를 비교하여 상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이를 식별하는, 전자 장치.
  12. 전자 장치의 제어 방법에 있어서,
    영상 처리된 제1 이미지를 획득하기 위해, 제1 이미지의 품질에 기초하여 상기 제1 이미지를 영상 처리하는 단계;
    상기 영상 처리된 제1 이미지를 이미지의 스타일을 변환하도록 학습된 제1 신경망 모델에 입력하여 스타일이 변환된 제2 이미지를 획득하는 단계;
    상기 제1 이미지 및 상기 제2 이미지 간의 색상 차이가 제1 임계 값 이상이면, 상기 제1 이미지의 휘도 값 및 상기 제2 이미지의 휘도 값을 가중합하여 가중합된 휘도 값을 획득하고, 상기 제1 이미지의 휘도 값을 상기 가중합된 휘도 값으로 변경하는 단계; 및
    상기 제1 이미지 및 상기 제2 이미지 간의 상기 색상 차이가 상기 제1 임계 값 미만이면, 상기 제2 이미지를 출력하는 단계;를 포함하는 제어 방법.
  13. 제12항에 있어서,
    상기 영상 처리하는 단계는,
    상기 제1 이미지의 선명도, 상기 제1 이미지의 대조비 또는 상기 제1 이미지에 포함된 객체의 크기로부터 상기 제1 이미지의 적어도 하나의 품질 값을 식별하고,
    상기 식별된 값에 기초하여 상기 제1 이미지를 영상 처리하는, 제어 방법.
  14. 제13항에 있어서,
    상기 영상 처리하는 단계는,
    상기 제1 이미지의 주파수 성분에 기초하여 상기 제1 이미지의 선명도의 값을 식별하고,
    상기 제1 이미지의 선명도의 값이 임계 선명도 값 미만이면 상기 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득하는, 제어 방법.
  15. 제14항에 있어서,
    상기 영상 처리하는 단계는,
    상기 제1 이미지 내에서 객체의 표현을 식별하고,
    제1 영역의 주파수 성분에 기초하여 상기 제1 영역의 제1 선명도의 값을 식별하고, 상기 제1 영역은 상기 객체의 표현을 포함하는 상기 제1 이미지의 기설정된 크기의 영역이고,
    상기 제1 선명도의 값이 상기 임계 선명도 값 미만이면 상기 제1 이미지를 이미지의 선명도가 향상되도록 학습된 제2 신경망 모델에 입력하여 선명도가 향상된 제1 이미지를 획득하는, 제어 방법.
PCT/KR2022/009650 2021-10-18 2022-07-05 이미지를 처리하는 전자 장치 및 그 제어 방법 WO2023068484A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22883714.2A EP4325427A1 (en) 2021-10-18 2022-07-05 Electronic device for processing image and method for controlling same
CN202280069997.9A CN118119964A (zh) 2021-10-18 2022-07-05 用于处理图像的电子设备及其控制方法
US17/892,727 US20230125014A1 (en) 2021-10-18 2022-08-22 Electronic apparatus for processing an image and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0138138 2021-10-18
KR1020210138138A KR20230054982A (ko) 2021-10-18 2021-10-18 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/892,727 Continuation US20230125014A1 (en) 2021-10-18 2022-08-22 Electronic apparatus for processing an image and control method thereof

Publications (1)

Publication Number Publication Date
WO2023068484A1 true WO2023068484A1 (ko) 2023-04-27

Family

ID=86059247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009650 WO2023068484A1 (ko) 2021-10-18 2022-07-05 이미지를 처리하는 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230054982A (ko)
WO (1) WO2023068484A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210095936A (ko) * 2019-04-01 2021-08-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체
KR20210100267A (ko) * 2020-02-06 2021-08-17 부경대학교 산학협력단 정확도가 향상된 콘볼루션 신경망 기반 분류 장치 및 방법
KR20210102413A (ko) * 2019-03-18 2021-08-19 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 주시 영역 검출 방법과 신경망 트레이닝 방법, 장치 및 디바이스
KR20210109244A (ko) * 2020-02-27 2021-09-06 에스케이텔레콤 주식회사 이미지 변환 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210102413A (ko) * 2019-03-18 2021-08-19 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 주시 영역 검출 방법과 신경망 트레이닝 방법, 장치 및 디바이스
KR20210095936A (ko) * 2019-04-01 2021-08-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체
KR20210100267A (ko) * 2020-02-06 2021-08-17 부경대학교 산학협력단 정확도가 향상된 콘볼루션 신경망 기반 분류 장치 및 방법
KR20210109244A (ko) * 2020-02-27 2021-09-06 에스케이텔레콤 주식회사 이미지 변환 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GATYS GATYS LEON LEON A A, ECKER ALEXANDER S, BETHGE MATTHIAS: "A Neural Algorithm of Artistic Style", 26 August 2015 (2015-08-26), XP093057980, Retrieved from the Internet <URL:https://arxiv.org/abs/1508.06576v1> DOI: 10.48550/arxiv.1508.06576 *

Also Published As

Publication number Publication date
KR20230054982A (ko) 2023-04-25

Similar Documents

Publication Publication Date Title
EP3871405A1 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
WO2021101087A1 (en) Electronic apparatus and controlling method thereof
WO2020226317A1 (en) Image processing apparatus and image processing method thereof
WO2017171465A1 (en) Electronic device and operating method thereof
EP4133715A1 (en) Electronic device and controlling method of electronic device
WO2020235860A1 (en) Image processing apparatus and image processing method thereof
US10397498B2 (en) Compressive sensing capturing device and method
WO2020017871A1 (ko) 영상 처리 장치 및 그 동작방법
WO2020027584A1 (en) Method and an apparatus for performing object illumination manipulation on an image
WO2021045599A1 (ko) 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체
WO2022197066A1 (en) Pixel blending for synthesizing video frames with occlusion and watermark handling
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
WO2023068484A1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
WO2020101300A1 (ko) 영상 처리 장치 및 그 동작방법
US20220398704A1 (en) Intelligent Portrait Photography Enhancement System
WO2022108008A1 (en) Electronic apparatus and controlling method thereof
US20200082516A1 (en) Generation of alpha masks of video frames
WO2021172744A1 (ko) 전자 장치 및 그 제어 방법
EP4325427A1 (en) Electronic device for processing image and method for controlling same
WO2019147028A1 (ko) 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
WO2022019513A1 (ko) 오토포커스를 보상하는 방법 및 오토포커스를 보상하는 전자 장치
WO2024010185A1 (ko) 잔상 발생을 최소화하기 위한 디스플레이 장치 및 그 제어 방법
WO2022145675A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2024111931A1 (en) Airy-disk correction for deblurring image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22883714

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022883714

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022883714

Country of ref document: EP

Effective date: 20231116

NENP Non-entry into the national phase

Ref country code: DE