WO2022191474A1 - 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법 - Google Patents

이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법 Download PDF

Info

Publication number
WO2022191474A1
WO2022191474A1 PCT/KR2022/002649 KR2022002649W WO2022191474A1 WO 2022191474 A1 WO2022191474 A1 WO 2022191474A1 KR 2022002649 W KR2022002649 W KR 2022002649W WO 2022191474 A1 WO2022191474 A1 WO 2022191474A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
person
artificial intelligence
intelligence model
electronic device
Prior art date
Application number
PCT/KR2022/002649
Other languages
English (en)
French (fr)
Inventor
이정민
이형동
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22767370.4A priority Critical patent/EP4303805A1/en
Priority to CN202280019697.XA priority patent/CN116964619A/zh
Publication of WO2022191474A1 publication Critical patent/WO2022191474A1/ko
Priority to US18/244,088 priority patent/US20230419721A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the disclosed embodiments relate to an electronic device for improving image quality and a method for improving image quality using the same.
  • An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike the existing rule-based smart system, the machine learns, judges, and becomes smarter by itself. As artificial intelligence systems are used, the recognition rate improves and users can understand user preferences more accurately, and the existing rule-based smart systems are gradually being replaced by deep learning-based artificial intelligence systems.
  • Machine learning Deep learning
  • elemental technologies using machine learning.
  • Machine learning is an algorithm technology that classifies/learns characteristics of input data by itself
  • element technology is a technology that uses machine learning algorithms such as deep learning, such as language understanding, visual understanding, reasoning/prediction, knowledge expression, motion control, etc. It consists of technical fields of
  • Linguistic understanding is a technology that recognizes and applies/processes human language/character. Natural Language Processing, Machine Translation, Dialog System, Question Answering, and Speech Recognition /Speech Recognition/Synthesis, etc.
  • Visual understanding is a technology that recognizes and processes objects as if they were human eyes. Object Recognition, Object Tracking, Image Retrieval, Human Recognition, Scene Recognition , spatial understanding (3D Reconstruction/Localization), image enhancement, and the like.
  • Inference prediction is a technology for logically reasoning and predicting information by judging information, such as Knowledge-based Reasoning, Optimization Prediction, Preference-based Planning, Recommendation, etc. includes
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation/classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
  • artificial intelligence technology can be used to acquire images such as photos or videos and to improve image quality.
  • the method for generating a second high-quality person image by an electronic device disclosed as a technical means for achieving the above-described technical problem performing image processing on a low-quality first person image using an artificial intelligence model, Recognizing a person image, applying the first person image to an artificial intelligence model, and acquiring the second person image output from the artificial intelligence model, wherein the artificial intelligence model is a face recognition artificial intelligence model.
  • the first face is recognized by performing face identification and face recognition on the first person image, and the image quality is improved for the area corresponding to the first face using the image quality improvement artificial intelligence model.
  • a second person image may be obtained, and the second person image may be output to the electronic device.
  • FIG. 1 is a diagram illustrating that an electronic device acquires a high-quality person image from a low-quality person image, according to an exemplary embodiment.
  • FIG. 2 is a flowchart of a method for obtaining, by an electronic device, a high-quality person image from a low-quality person image, according to an exemplary embodiment.
  • FIG. 3 is a diagram illustrating that an electronic device applies human images to an artificial intelligence model as training data, according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating that an electronic device applies human images to an artificial intelligence model as training data, according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating that an electronic device acquires facial features from a person image using an artificial intelligence model, according to an embodiment.
  • FIG. 6 is a diagram illustrating that an electronic device performs image quality improvement on an image quality improvement area received from a user, according to an embodiment.
  • FIG. 7 is a flowchart of a method of improving, by an electronic device, an image quality with respect to an image quality improvement area received from a user, according to an exemplary embodiment.
  • FIG. 8 is a diagram illustrating that an electronic device improves image quality according to an image quality improvement direction received from a user, according to an embodiment.
  • FIG. 9 is a flowchart of a method for improving picture quality according to a picture quality improvement direction received from a user by an electronic device, according to an exemplary embodiment.
  • FIG. 10 is a block diagram of an electronic device, according to an embodiment.
  • FIG. 11 is a block diagram of a software module stored in a memory of an electronic device, according to an exemplary embodiment.
  • FIG. 12 is a block diagram of a server, according to an embodiment.
  • FIG. 13 is a block diagram of a software module stored in a memory of a server, according to an embodiment.
  • the method for generating a second high-quality person image by an electronic device disclosed as a technical means for achieving the above-described technical problem performing image processing on a low-quality first person image using an artificial intelligence model, Recognizing a person image, applying the first person image to an artificial intelligence model, and acquiring the second person image output from the artificial intelligence model, wherein the artificial intelligence model is a face recognition artificial intelligence model.
  • the first face is recognized by performing face identification and face recognition on the first person image, and the image quality is improved for the area corresponding to the first face using the image quality improvement artificial intelligence model.
  • a second person image may be obtained, and the second person image may be output to the electronic device.
  • An electronic device for generating a high-quality second person image by performing image processing on a low-quality first person image by using an artificial intelligence model disclosed as a technical means for achieving the above-described technical problem, at least one command a memory for storing and a processor executing the at least one instruction, wherein the processor executes the at least one instruction to identify the first person image, apply the first person image to an artificial intelligence model, and , obtains the second person image output from the artificial intelligence model, and the artificial intelligence model uses the facial recognition artificial intelligence model to perform face identification and face recognition on the first person image, thereby performing a first By recognizing a face and performing image processing to improve image quality on an area corresponding to the first face using an image quality improvement artificial intelligence model, a second person image is obtained, and the second person image is converted into the electronic It can be output to the device.
  • a computer-readable recording medium may record a program for executing at least one of the embodiments of the disclosed method in a computer.
  • the application stored in the recording medium may be for executing at least one function among the disclosed method embodiments.
  • 'part' as used herein may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor, According to examples, a plurality of 'units' may be implemented as one unit (element), or one 'unit' may include a plurality of elements.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic configuration, signal processing, and/or data processing, and the like. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings only exemplify functional connections and/or physical or circuit connections.
  • a connection between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • first and second may be used to describe various components, but the components should not be limited by the terms.
  • the above terms may be used for the purpose of distinguishing one component from another.
  • first data and the second data are described in this specification, they are only used to distinguish different data, and thus should not be limited thereto.
  • the electronic device may use an artificial intelligence model to generate a high-quality image from a low-quality image.
  • Functions related to artificial intelligence according to the present disclosure are operated through a processor and a memory.
  • the processor may consist of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • the processor may perform a preprocessing process of converting data applied to the AI model into a form suitable for application to the AI model.
  • AI models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Generative Adversarial Network (GAN), a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN), or Deep Q-Networks, but is not limited to the above-described example.
  • DNN Deep neural network
  • GAN Generative Adversarial Network
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Restricted Boltzmann Machine
  • DBN Deep Belief Network
  • BNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • the disclosed artificial intelligence model may be generated by learning a plurality of text data and image data input as learning data according to a predetermined criterion.
  • the artificial intelligence model may generate result data by performing a learned function in response to input data, and may output the result data.
  • the disclosed artificial intelligence model may include a plurality of artificial intelligence models trained to perform at least one function.
  • FIG. 1 is a diagram illustrating that an electronic device acquires a high-quality person image from a low-quality person image, according to an exemplary embodiment.
  • the electronic device 10 may generate a high-quality second person image by performing image processing on a low-quality first person image using an artificial intelligence model.
  • the electronic device 10 may store the generated second person image in the memory 17 or output it to the display unit 12 - 1 .
  • the low-resolution image is usually difficult to identify, or is degraded, such as an image in which the number of pixels is smaller than a predetermined number, an image in which the boundary is blurred by noise contained in the image, and an image in which the color temperature and hue are incorrectly specified. means image.
  • the high-quality image refers to an image that is generally easy to identify, such as an image including the number of pixels greater than or equal to a predetermined number, an image with clear boundaries included in the image, and an image with accurate color temperature and color tone.
  • enhancement of image quality means improving the deterioration factor of an image.
  • image quality enhancement includes image processing such as resolution enhancement, noise reduction, artifact removal, color adjustment, and sharpness enhancement.
  • the electronic device 10 may identify a low-quality person image.
  • the electronic device 10 may apply a low-quality human image to the AI model.
  • the artificial intelligence model may be trained to generate and output a high-quality person image by performing image processing on a low-quality person image.
  • the electronic device 10 may store the high-definition person image output from the artificial intelligence model in the memory 17 or may output it through the display unit 12-1.
  • the artificial intelligence model may be built in at least one of the electronic device 10 and the server 20 .
  • an artificial intelligence model built in the electronic device 10 will be described as an example, but the present invention is not limited thereto.
  • the artificial intelligence model built in the electronic device 10 to be described below may be applied by analogy to the artificial intelligence model built in the server 20 .
  • the electronic device 10 includes a mobile device (eg, a smart phone, a tablet PC, etc.) capable of transmitting/receiving data to and from the server 20 through a network, a general-purpose computer (PC, Personal Computer), and The same computing device may be included.
  • the electronic device 10 includes an Internet of Things (ioT) device, various Internet of Things devices, and a home hub device (eg, a router, an interactive artificial intelligence speaker, etc.) connected to the server 20 . can do.
  • the electronic device 10 includes a computing device such as a mobile device (eg, a smart phone, a tablet PC, etc.), a general computer (PC, Personal Computer), and a server on which the artificial intelligence model 19 is built. may include
  • the electronic device 10 may perform predetermined operations using the artificial intelligence model 19 .
  • the electronic device 10 may perform operations of identifying and classifying input data using the artificial intelligence model 19 , and outputting data corresponding to the input data.
  • the server 20 may transmit/receive data to and from the electronic device 10 .
  • the server 20 may apply data received from the electronic device 10 as the AI model 29 , and transmit data output from the AI model 29 to the electronic device 10 .
  • the server 20 may transmit data used to update the artificial intelligence model 19 built in the electronic device 10 to the electronic device 10 .
  • the artificial intelligence model may be composed of a plurality of artificial intelligence models trained to perform a predetermined function.
  • the AI model is a preprocessing AI model that performs preprocessing as a type applicable to the AI model, a picture quality classification AI model that classifies the picture quality of a person image applied to the AI model, and at least one A face detection AI model that detects a face, a face recognition AI model that identifies a person corresponding to a face identified from a person image, and image processing on a low-quality person image It may include, but is not limited to, an image quality improvement artificial intelligence model for generating a person image of There may be a plurality of artificial intelligence models performing the same function, and one AI model may perform at least one or more functions of the disclosed embodiments.
  • the artificial intelligence model may perform learning of the artificial intelligence model using learning data.
  • the artificial intelligence model may use a plurality of person images as training data to learn the face identification AI model, the face recognition AI model, and the image quality improvement AI model.
  • the artificial intelligence model may use a low-quality person image and a high-quality person image obtained by converting a high-quality person image as a pair of learning data.
  • the artificial intelligence model may use a plurality of person images classified for each person as learning data.
  • the artificial intelligence model may use training data for the image quality improvement part selected by the user.
  • the artificial intelligence model may use training data for the image quality improvement direction selected by the user.
  • the electronic device 10 may perform image quality improvement in response to an input of a user selecting an image.
  • the electronic device 10 may perform image quality improvement by applying an image designated by the user to perform image quality improvement to the AI model.
  • the electronic device 10 may improve the image quality of an image stored in the electronic device 10 during a time when the user is not using the electronic device 10 .
  • the electronic device 10 may identify whether an image stored in the electronic device 10 is a low-quality image during idle time, and may perform image quality improvement.
  • the electronic device 10 may acquire a high-quality image by identifying a low-quality image and performing image quality improvement.
  • FIG. 2 is a flowchart of a method for obtaining, by an electronic device, a high-quality person image from a low-quality person image, according to an exemplary embodiment.
  • the electronic device 10 may identify a low-quality first person image.
  • the first person image stored in the memory 17 of the electronic device 10 may be identified.
  • the electronic device 10 may identify the first person image obtained by using the camera of the electronic device 10 .
  • the electronic device 10 may identify the first person image shared on the web.
  • the electronic device 10 may identify the first person image shared through the application.
  • the electronic device 10 may identify the first person image based on an input of a user selecting a low-quality person image. For example, the electronic device 10 may identify the first person image based on an input for selecting an image for which the user wants to improve image quality from among a plurality of person images.
  • the electronic device 10 may identify a low-quality first person image based on a predetermined criterion. For example, the electronic device 10 may identify an image including the number of pixels less than a predetermined number and an image having a frequency with respect to a boundary line equal to or less than a predetermined value.
  • the electronic device 10 may identify the first person image using the artificial intelligence model.
  • the electronic device 10 may identify a low-quality first person image from a plurality of images by using a disclaimer artificial intelligence model.
  • the discrimination AI model an AI model trained to distinguish a high-definition person image and a high-quality person image generated by the image quality improvement AI model from a low-quality person image may be used.
  • the electronic device 10 may apply the first person image to the AI model.
  • the electronic device 10 may apply the first person image identified in step S210 to the AI model.
  • the electronic device 10 may apply the pre-processed first person image to the AI model. For example, the electronic device 10 may identify a face in the first person image and apply information about the result of identifying the face as an AI model together with the first person image. As another example, the electronic device 10 may recognize a face in the first person image and apply information about a person corresponding to the recognized face as an artificial intelligence model together with the first person image. have. As another example, the electronic device 10 may apply information about a result of classifying the first person image as a low-quality image together with the first person image as an artificial intelligence model based on a predetermined criterion. Alternatively, the artificial intelligence model may directly perform pre-processing on the input first person image without performing the pre-processing described above.
  • the electronic device 10 may apply information about an input for selecting an image quality improvement part of a person included in the first person image received from the user to the AI model.
  • the electronic device 10 may apply information about a user input that selects to increase the detail of the person's eyes to the AI model.
  • the electronic device 10 may apply information about an input for selecting a picture quality improvement direction of the first person image received from the user to the AI model.
  • the electronic device 10 may apply information about a user's input selecting to revise the first person image similarly to a predetermined image to the AI model.
  • the electronic device 10 may apply information about at least one of color, sharpness, and resolution of the image selected by the user to the AI model.
  • the electronic device 10 may apply information about a user's input selecting to revise a person included in the first person image similarly to a predetermined person to the AI model.
  • the electronic device 10 may transmit the first person image to the server 20 in order to apply the first person image to the artificial intelligence model built in the server 20 .
  • the artificial intelligence model may be learned from a plurality of person images as learning data so as to perform face identification and face recognition from the person image and improve image quality on the recognized face.
  • the artificial intelligence model may be a pair of learning of a high-quality person image and a low-quality person image to which deterioration is applied to the high-quality person image so as to improve the quality of the low-quality person image.
  • the AI model may be a personalized learning for each of the people by using a plurality of person images classified for each person as learning data.
  • the artificial intelligence model on which the personalized learning has been performed may be weight-reduced.
  • the artificial intelligence model may be learned to acquire facial features for each person by performing personalized learning.
  • the AI model may be learned to identify and recognize a corresponding person from a person image based on the acquired facial features.
  • the artificial intelligence model may be trained to improve image quality based on the acquired facial features.
  • the artificial intelligence model may be trained to improve image quality by performing image processing on a region on the image corresponding to the image quality improvement region selected by the user based on the acquired facial features.
  • the artificial intelligence model may be learned to improve image quality by modifying acquired facial features according to the image quality improvement direction selected by the user.
  • the electronic device 10 may obtain a high-quality second person image output from the artificial intelligence model.
  • the electronic device 10 may obtain the second person image obtained by the artificial intelligence model performing image quality improvement on the first person image from the artificial intelligence model.
  • the electronic device 10 may acquire the second person image generated by performing image quality improvement on the face recognized from the first person image.
  • the electronic device 10 may obtain the second person image generated by performing image processing for increasing the resolution of the first person image.
  • the electronic device 10 may obtain the second person image generated by performing image processing for removing noise on the first person image.
  • the electronic device 10 may acquire the generated second person image by performing image processing for adjusting the color of the first person image.
  • the electronic device 10 may acquire the generated second person image by performing image processing for adjusting the color of the first person image.
  • the electronic device 10 may acquire the generated second person image by performing image processing for improving the sharpness of the first person image.
  • the electronic device 10 may obtain, from the artificial intelligence model, the second person image in which the image quality has been improved with respect to the region corresponding to the image quality improvement portion selected by the user.
  • the electronic device 10 may apply information about a user input that selects to increase the detail of the person's eyes to the AI model.
  • the electronic device 10 may obtain the second person image, on which the image quality is improved, from the AI model according to the image quality improvement direction selected by the user.
  • the electronic device 10 may acquire the second person image on which image quality has been improved according to a user's input selecting to correct the first person image similarly to a predetermined image.
  • the electronic device 10 may acquire a second person image whose image quality has been improved similarly to at least one of color, sharpness, and resolution of the image selected by the user.
  • the electronic device 10 may acquire a second person image in which a person included in the first person image is modified to be similar to a predetermined person according to a user input.
  • the electronic device 10 may receive the second person image generated from the artificial intelligence model built in the server 20 .
  • the electronic device 10 may display the second person image on the display unit 12-1.
  • the electronic device 10 may display the first person image and the second person image together so that they can be compared.
  • the electronic device 10 may store the second person image in the memory 17 according to a user's confirmation input for the image quality improvement result.
  • the electronic device 10 may store the second person image in a location where the first person image is stored.
  • the electronic device 10 may store the second person image together with the first person image.
  • the electronic device 10 may replace the first person image with the second person image and store it.
  • FIG. 3 is a diagram illustrating that an electronic device applies human images to an artificial intelligence model as training data, according to an exemplary embodiment.
  • the electronic device 10 may apply a plurality of high-quality images 310 and a plurality of low-resolution images 330 to the AI model as training data.
  • the electronic device 10 may identify a plurality of images stored in the memory 17 of the electronic device 10 and apply them to the AI model.
  • the electronic device 10 may download a plurality of images disclosed on the web and apply them to the AI model.
  • the electronic device 10 may apply a plurality of images shared through an application to the AI model.
  • the electronic device 10 applies the plurality of low-resolution images 330 and the plurality of high-quality images 310, each of which are deteriorated of the plurality of high-quality images 310, to the AI model as training data. can do.
  • the electronic device 10 uses the plurality of low-resolution images 330 and the plurality of high-quality images 310 obtained by performing down-sampling on each of the plurality of high-quality images 310 as an artificial intelligence model. can be applied to
  • the electronic device 10 obtains a plurality of low-resolution images 330 and a plurality of high-quality images 310 obtained by performing image processing in which noise is applied to each of the plurality of high-quality images 310 . ) can be applied to the AI model.
  • the electronic device 10 obtains a plurality of low-resolution images 330 and a plurality of high-quality images obtained by performing image processing for applying a blur to each of the plurality of high-quality images 310 .
  • 310 can be applied to the artificial intelligence model.
  • the electronic device 10 obtains a plurality of low-resolution images 330 and a plurality of high-quality images 310 obtained by performing image processing for changing each color of the plurality of high-quality images 310 .
  • the electronic device 10 obtains a plurality of low-resolution images 330 and a plurality of high-quality images 330 obtained by performing image processing for changing each color of the plurality of high-quality images 310 . can be applied to AI models.
  • the electronic device 10 may group a high-quality image and a low-resolution image in pairs and apply them to the AI model.
  • the electronic device 10 groups a first high-quality image 311 and a first low-resolution image 313 obtained by degradation conversion of the first high-quality image 311 from among the plurality of high-quality images 310 into a pair. and the first high-resolution image 311 and the first low-resolution image 313 may be applied to the AI model together.
  • the electronic device 10 may apply only the plurality of high-quality images 310 to the AI model.
  • the artificial intelligence model 19 may acquire a plurality of low-quality images 330 by performing deterioration application on each of the plurality of high-quality images 310 .
  • the artificial intelligence model 19 may perform learning by using a plurality of high-quality images 310 and a plurality of low-resolution images 330 as learning data.
  • the electronic device 10 may perform pre-processing on the plurality of high-quality images 310 and the plurality of low-resolution images 330 and apply them to the artificial intelligence model. For example, the electronic device 10 identifies a face with respect to a plurality of high-quality images 310 and a plurality of low-resolution images 330 , extracts regions corresponding to the identified face, and uses the artificial intelligence model as training data. can be applied to
  • the artificial intelligence model 19 may learn the applied first high-quality image 311 and the first low-resolution image 331 .
  • the artificial intelligence model 19 may train the image quality improvement artificial intelligence model to generate the first high-quality image 311 from the first low-resolution image 331 .
  • the artificial intelligence model 19 may train a discriminative artificial intelligence model for identifying a difference by comparing the second high-quality image generated from the first low-resolution image 331 with the first high-quality image 311 .
  • the artificial intelligence model may train the image quality improvement artificial intelligence model so that the loss function of Equation 1 is applied.
  • the loss function of the image quality improvement AI model is the loss function of the image quality improvement AI model, is the objective function (loss function) of the general GAN method artificial intelligence model, is an objective function (loss function) for the image quality improvement AI model to generate a high-quality image as closely as possible from a low-resolution image.
  • the artificial intelligence model 19 may train the discrimination artificial intelligence model to distinguish the first high-quality image 311 from the second high-quality image by using an objective function (Loss Function).
  • the electronic device 10 may receive information about the artificial intelligence model learned from the server 20 .
  • the server 20 may train the artificial intelligence model built in the server 20 , and transmit data about the artificial intelligence model 19 updated by learning to the electronic device 10 .
  • the electronic device 10 may receive information on the updated weight among the weights of the artificial intelligence model, and update the artificial intelligence model 19 built in the electronic device 10 using the received information. have.
  • FIG. 4 is a diagram illustrating that an electronic device applies human images to an artificial intelligence model as training data, according to an exemplary embodiment.
  • the electronic device 10 may create a database including various person images for a specific person by personalizing each of the plurality of person images to be included in one of the plurality of persons. . That is, the electronic device 10 may personalize the plurality of person images, such as the first person image 410 , the second person image 430 , and the third person image 450 . The electronic device 10 applies the classified first person image 410 , the second person image 430 , and the third person image 450 to the AI model as learning data, thereby performing personalized learning of the AI model. can
  • the electronic device 10 may personalize the plurality of person images based on an input selected by the user as the same person.
  • the electronic device 10 may personalize a plurality of person images based on a path in which the images are stored. For example, the electronic device 10 may personalize images stored in the same folder of the memory 17 as images relating to the same person.
  • the electronic device 10 may personalize the plurality of person images based on the user who provided the image. For example, the electronic device 10 may personalize images provided from the same user into images relating to the same person by using a messenger application.
  • the electronic device 10 may personalize a plurality of person images by using an artificial intelligence model. For example, the electronic device 10 may perform face detection from a plurality of person images using the face detection AI model. The electronic device 10 may identify the first face by performing face recognition on the detected face using the face recognition artificial intelligence model. The electronic device 10 may identify a first person corresponding to the first face from among a plurality of people based on the face recognition result.
  • the electronic device 10 may apply information about the personalized classification result of the plurality of person images together with the plurality of person images to the AI model. For example, the electronic device 10 may insert a tag related to a personalized classification result in the plurality of high-quality person images and the plurality of low-quality person images.
  • the electronic device 10 may apply a plurality of high-quality person images and a plurality of low-resolution person images into which tags are inserted to the AI model.
  • the plurality of low-quality person images may be generated by applying deterioration to the plurality of high-quality person images.
  • the electronic device 10 may apply a plurality of person images for which face identification is not performed to the AI model.
  • the artificial intelligence model 19 may use a plurality of person images as training data to train the face identification AI model and the facial recognition AI model.
  • the artificial intelligence model 19 may update the image quality improvement AI model by performing personalized learning on the image quality improvement AI model using a plurality of inputted person images.
  • the updated image quality improvement AI model may be a specialized model to improve the image quality of a low-quality image of a specific person.
  • the artificial intelligence model uses the first person image 410, the second person image 430, and the third person image 450 to learn the image quality improvement AI model, so that the first person, the second person and a specialized image quality improvement AI model to improve the image quality of the low-quality image for the third person may be acquired.
  • the artificial intelligence model 19 may perform weight reduction on at least one of a face detection AI model for performing personalized learning, a face recognition AI model, and an image quality improvement AI model.
  • the artificial intelligence model 19 may apply a weight reduction technique such as filter pruning to the image quality improvement artificial intelligence model.
  • the artificial intelligence model 19 may obtain an image quality improvement artificial intelligence model having excellent image quality improvement performance for a specific person who has been individually trained and light-weighted data.
  • the artificial intelligence model 19 may obtain a facial recognition artificial intelligence model with excellent facial recognition performance and light-weight data for a specific person who has been individually trained.
  • FIG. 5 is a diagram illustrating that an electronic device acquires facial features from a person image using an artificial intelligence model, according to an embodiment.
  • the electronic device 10 may acquire facial features of a person included in the person image 510 by applying the person image 510 to the artificial intelligence model 19 .
  • the artificial intelligence model 19 may perform face detection from the person image 510 .
  • the artificial intelligence model 19 may detect at least one face from the person image 510 using the face detection artificial intelligence model.
  • the artificial intelligence model 19 may acquire facial features from the detected face.
  • the artificial intelligence model 19 uses a facial recognition artificial intelligence model to detect facial contours and facial landmarks (eg, eyes, nose, mouth, ears, etc.) shape and size detected from a person image. , proportion and location, facial features such as facial details (eg, eyebrows, wrinkles, hair, skin tone).
  • the AI model 19 may acquire facial features of a specific person by performing personalized learning by the facial recognition AI model.
  • the artificial intelligence model 19 may acquire the facial features of the first person by learning the person image of the first person.
  • the AI model 19 may update the facial recognition AI model using the acquired facial features.
  • the AI model 19 may update the weight of the facial recognition AI model using facial features for a specific person.
  • the artificial intelligence model 19 may update the image quality improvement artificial intelligence model using the acquired facial features.
  • the artificial intelligence model 19 may include facial contours, facial landmarks (eg, eyes, nose, mouth, ears, etc.) shape, size and location, and facial details (eyebrows, wrinkles, hair). It is possible to train an image quality improvement AI model to correct facial features such as facial contours, facial landmarks (eg, eyes, nose, mouth, ears, etc.) shape, size and location, and facial details (eyebrows, wrinkles, hair). It is possible to train an image quality improvement AI model to correct facial features such as
  • FIG. 6 is a diagram illustrating that the electronic device performs image quality improvement on an image quality improvement area received from a user, according to an embodiment. It is a flowchart of a method for improving image quality for
  • the electronic device 10 may receive an input for selecting an image quality improvement part for a person included in a first person image 610 from a user.
  • the electronic device 10 may output the second person image 630 in which the quality of the first person image 610 is improved based on an input received from the user.
  • the electronic device 10 may receive an input for selecting an image enhancement region from the user 1 and may identify a region of image enhancement selected by the user.
  • the electronic device 10 may receive, from the user 1 , a user input for selecting a part requiring image quality improvement from among the facial parts of a person included in the first person image 610 .
  • the electronic device 10 may receive a user input for selecting eyes of a person included in the first person image 610 from the user 1 .
  • the electronic device 10 may receive a user's input for selecting a part requiring image quality improvement provided as a list (preset) from among the facial parts of the person included in the first person image 610 .
  • the electronic device 10 is illustrated to receive a user input for selecting an image quality improvement area based on a touch input of the user 1 , but the present invention is not limited thereto.
  • the electronic device 10 may identify an image quality improvement area based on a user input received through various interfaces capable of receiving a user input.
  • the electronic device 10 may detect the face of the first person and facial features of the first person from the first person image 610 using the face detection AI model.
  • the electronic device 10 may identify a region corresponding to the image quality improvement region selected by the user 1 by using the face detection AI model.
  • the electronic device 10 detects facial features using the face detection artificial intelligence model, and performs face parsing based on the detected facial features, so that the region where the user input is received is It can be identified that corresponds to the eyes of the first person.
  • the electronic device 10 may identify the first person corresponding to the face detected from the first person image 610 by using the face recognition artificial intelligence model.
  • the electronic device 10 may apply the information on the image quality improvement region to the artificial intelligence model 19 .
  • the electronic device 10 may apply the information on the image quality improvement region to the artificial intelligence model 19 together with the first person image 610 .
  • the electronic device 10 may apply the first person image 610 marked with the area where the user input is received to the artificial intelligence model 19 .
  • the electronic device 10 may apply the feature information on the area where the user input is received to the artificial intelligence model 19 together with the first face image 610 .
  • the electronic device 10 may apply the information on the facial region corresponding to the region where the user input is received to the artificial intelligence model 19 together with the first facial image 610 .
  • the electronic device 10 uses the facial recognition artificial intelligence model to collect information about the first person identified from the first person image 610 together with the first person image 610 as an artificial intelligence model ( 19) can be applied.
  • the electronic device 10 may apply a plurality of high-quality images including the first person together with the first person image 610 to the artificial intelligence model 19 .
  • the electronic device 10 may train an artificial intelligence model by using the training data for the image quality improvement region.
  • the artificial intelligence model 19 may identify the image quality improvement region from the first person image 610 based on the input image quality improvement region information. For example, the artificial intelligence model 19 may identify an image quality improvement region from the first person image 610 based on information on a facial region (eg, eyes) selected by the user 1 .
  • a facial region eg, eyes
  • the artificial intelligence model 19 may acquire learning data on the image quality improvement region based on the input information on the image quality improvement region. For example, the artificial intelligence model 19 obtains a plurality of high-quality images for the user-selected facial region (eg, eyes) based on information on the user-selected facial region (eg, eyes). can do. The artificial intelligence model 19 may output data requesting to apply a plurality of high-definition images to the electronic device 10 .
  • the artificial intelligence model 19 may train the face detection artificial intelligence model to perform face parsing by learning the learning data input from the electronic device 10 . have.
  • the artificial intelligence model 19 is based on the face parsing result data output from the face detection artificial intelligence model and information on the image quality improvement area selected by the user, the purpose of the image quality improvement artificial intelligence model You can set a Loss Function.
  • the artificial intelligence model 19 may set a weighted loss objective function (loss function) for the image quality improvement artificial intelligence model.
  • the artificial intelligence model 19 may train the image quality improvement artificial intelligence model by using the learning data input from the electronic device 10 .
  • the artificial intelligence model 19 may learn the image quality improvement AI model by using a loss function set for the image quality improvement AI model and learning data input from the electronic device 10 .
  • the artificial intelligence model 19 may train the image quality improvement artificial intelligence model using a plurality of high-definition images for a facial region (eg, eyes) selected by the user.
  • the artificial intelligence model 19 uses a plurality of high-quality images for the first person included in the first person image 610 to determine the facial region (eg, eyes) of the first person selected by the user. It is possible to train a picture quality improvement artificial intelligence model that improves picture quality.
  • the electronic device 10 may acquire a second person image with improved image quality in the image quality improvement area.
  • the artificial intelligence model 19 may generate the second person image 630 by performing image quality improvement on the first person image 610 using the image quality improvement AI model updated in step S750.
  • the artificial intelligence model 19 performs image quality improvement on a predetermined facial region (eg, eyes) of the first person included in the first person image 610 , so that the second person image 630 is ) can be created.
  • the artificial intelligence model 19 may output the generated second person image 630 to the electronic device.
  • the electronic device 10 may display the second person image on the display unit 12-1.
  • the electronic device 10 may display the first person image and the second person image together so that they can be compared.
  • the electronic device 10 may store the second person image 630 output from the artificial intelligence model 19 in the memory 17 .
  • the electronic device 10 may store the second person image in a path in which the first person image is stored.
  • the electronic device 10 may store the second person image together with the first person image.
  • the electronic device 10 may replace the first person image with the second person image and store it.
  • FIG. 8 is a diagram illustrating that the electronic device improves image quality according to the image quality improvement direction received from the user, according to an embodiment. Therefore, it is a flowchart of a method for improving image quality.
  • the electronic device 10 generates a third person image 820 based on an input of the user 1 selecting the third person image 820 in the direction of improving the quality of the first person image 810 . ) from which feature information can be obtained.
  • the electronic device 10 may acquire the second person image 830 by improving the quality of the first person image 810 by using the characteristic information obtained from the third person image 820 .
  • the electronic device 10 performs image processing to increase the resolution of the first person image 810 so as to correspond to the resolution of the third person image 820 by using the artificial intelligence model 19, 2 A person image 830 may be acquired.
  • the electronic device 10 performs image processing for adjusting the color of the first person image 810 to correspond to the color of the third person image 820 using the artificial intelligence model 19 .
  • a second person image 830 may be acquired.
  • the electronic device 10 performs image processing for adjusting the sharpness of the first person image 810 to correspond to the sharpness of the third person image 820 using the artificial intelligence model 19 .
  • a second person image 830 may be acquired.
  • the electronic device 10 uses the artificial intelligence model 19 to match the facial features of the second person included in the third person image 820 to the second person included in the first person image 810 .
  • a second person image 830 may be obtained.
  • the electronic device 10 may receive an input related to image quality improvement “Num ⁇ *” from the user.
  • the electronic device 10 receives from the user an input regarding the image quality improvement direction for adjusting at least one of the resolution, sharpness, color, noise removal, and artifact removal generated during image compression of the first person image 810 . can receive
  • the electronic device 10 provides information on the image quality improvement direction from the user through an interface that selects at least one of the resolution, sharpness, color, noise removal, and artifact removal generated during image compression of the first person image 810 . input can be received.
  • the electronic device 10 may receive a user input for selecting the third person image 820 such that the first person image 810 includes image properties similar to those of the third person image 820 . have. That is, the electronic device 10 may receive a user input for selecting an image quality improvement direction so that the first person image 810 corresponds to at least one of resolution, sharpness, color, noise, and artifacts of the third person image 820 . can
  • the electronic device 10 may receive an input from the user regarding the direction of image quality improvement for correcting the facial features of the first person included in the first person image 810 . Specifically, the electronic device 10 adjusts the facial features of the first person included in the first person image 810 to match the facial features of the second person included in the third person image 820 in the image quality improvement direction. input can be received.
  • the electronic device 10 may apply the information on the image quality improvement direction to the AI model.
  • the electronic device 10 may apply the information on the image quality improvement direction to the artificial intelligence model 19 together with the first person image 810 .
  • the electronic device 10 provides information about at least one of the resolution, sharpness, color, noise removal, and artifact removal of the compressed image of the first person image 810 selected by the user to the first person image 810 . It can be applied to the artificial intelligence model (19) together with As another example, the electronic device 10 may apply the third person image 820 selected by the user to the artificial intelligence model 19 together with the first person image 810 .
  • the electronic device 10 uses a plurality of high-definition data related to the second person included in the third person image 820 together with the first person image 810 as learning data as the artificial intelligence model 19 .
  • the electronic device 10 may detect a face from the third person image 820 and identify a second person corresponding to the detected face.
  • the electronic device 10 may acquire a plurality of high-quality images including the second person.
  • the electronic device 10 generates a plurality of low-resolution images by performing deterioration application on each of the plurality of high-quality images including the second person, and stores the generated low-resolution images together with the plurality of high-quality images in the artificial intelligence model. It can be applied as learning data.
  • the electronic device 10 may train the artificial intelligence model by using the learning data on the image quality improvement direction.
  • the artificial intelligence model 19 may obtain feature vectors of the third person image 820 from the third person image 820 .
  • the artificial intelligence model 19 may train the image quality improvement artificial intelligence model by using the feature vectors of the third person image 820 .
  • the artificial intelligence model 19 acquires feature vectors related to at least one of the resolution, sharpness, color, noise, and artifacts of the third person image 820 , and uses the acquired feature vectors to select the image quality of the user.
  • the image quality improvement AI model may be trained to improve the image quality of the first person image 810 .
  • the artificial intelligence model 19 may acquire the facial features of the second person from the third person image 820 .
  • the artificial intelligence model 19 uses the facial recognition artificial intelligence model to obtain the facial contour of the second person from the third person image 820, and facial landmarks (eg, eyes, nose, mouth, Facial features such as the shape, size and location of the ears) and facial details (eyebrows, wrinkles, hair, skin tone) can be acquired.
  • facial landmarks eg, eyes, nose, mouth, Facial features such as the shape, size and location of the ears
  • facial details eyebrows, wrinkles, hair, skin tone
  • the artificial intelligence model 19 may acquire the facial features of the second person from a plurality of images applied together with the third person image 820 .
  • the artificial intelligence model 19 may detect the face of the second person from each of a plurality of high-definition images including the second person, and obtain facial features of the second person.
  • the artificial intelligence model 19 detects the face of the second person from each of a plurality of low-quality images generated by applying deterioration to a plurality of high-quality images including the second person, and facial features of the second person can be obtained.
  • the artificial intelligence model 19 may train the image quality improvement artificial intelligence model by using the acquired facial features of the second person.
  • the artificial intelligence model 19 includes the facial features of the second person image 830 and the third person image ( 820), it is possible to set an objective function (loss function) of the image quality improvement artificial intelligence model so that the facial features obtained from it are similar.
  • the artificial intelligence model 19 may learn the image quality improvement artificial intelligence model using a loss function set for the image quality improvement AI model and learning data input from the electronic device 10 .
  • the electronic device 10 may acquire the second person image according to the image quality improvement direction.
  • the artificial intelligence model 19 uses the image quality improvement artificial intelligence model to correspond to the image quality improvement direction selected by the user to improve the resolution, sharpness, color adjustment, noise removal and
  • the second person image 830 may be obtained by performing image processing of at least one of removing artifacts generated in the compressed image.
  • the artificial intelligence model 19 may be applied to the first person image 810 so that the first person image 810 corresponds to at least one of the resolution, sharpness, color, noise, and artifacts of the third person image 820 . image processing can be performed.
  • the artificial intelligence model 19 uses the image quality improvement artificial intelligence model to match the facial features of the second person included in the third person image 820 to the second person included in the first person image 810 .
  • a second person image 830 may be obtained.
  • the artificial intelligence model 19 may determine the facial landmarks of the first person according to the shape, size and proportion of the facial landmarks (eg, eyes, nose, mouth, ears, etc.) of the second person. You can adjust the shape, size and proportions.
  • the artificial intelligence model 19 may adjust the facial details of the first person to match the facial details of the second person (eg, eyebrows, wrinkles, hair, skin tone, etc.).
  • FIG. 10 is a block diagram of an electronic device, according to an embodiment.
  • the electronic device 10 may include a user input unit 11 , an output unit 12 , a processor 13 , a communication unit 15 , and a memory 17 .
  • the electronic device 10 may be implemented by more components than those illustrated in FIG. 10 , or the electronic device 10 may be implemented by fewer components than those illustrated in FIG. 10 .
  • the user input unit 11 means a means for a user to input data for controlling the electronic device 10 .
  • the user input unit 11 includes a touch screen, a key pad, a dome switch, a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, Surface ultrasonic conduction method, integral tension measurement method, piezo effect method, etc.), a touch screen, a jog wheel, a jog switch, etc. may be used, but are not limited thereto.
  • the user input unit 11 may receive a user input necessary for the electronic device 10 to perform the embodiments described with reference to FIGS. 1 to 9 .
  • the output unit 12 outputs information processed by the electronic device 10 .
  • the output unit 12 may output information related to the embodiments described with reference to FIGS. 1 to 9 .
  • the output unit 12 may include an object, a user interface, and a display unit 12-1 that displays a result of performing an operation corresponding to a user's input.
  • the processor 13 generally controls the overall operation of the electronic device 10 .
  • the processor 13 executes at least one instruction stored in the memory 17 , so that the user input unit 11 , the output unit 12 , the communication unit 15 , and the memory 17 perform associative learning. ) can be controlled in general.
  • the processor 13 may control the electronic device 10 to detect a face from an image and identify a person corresponding to the detected face by executing instructions stored in the face identification and face recognition module 17a.
  • the processor 13 may control the electronic device 10 to detect a face from an image and identify a person corresponding to the detected face by executing instructions stored in the face identification and face recognition module 17a.
  • the processor 13 may control the electronic device 10 to acquire the facial feature detected from the image by executing an instruction stored in the facial feature acquiring module 17b.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 13 may control the electronic device 10 to improve the image quality by executing an instruction stored in the image quality improvement module 17c.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 13 may control the electronic device 10 so that the AI model learns the training data by executing the instructions stored in the AI model learning module 17d.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 13 may be at least one general-purpose processor.
  • the processor 13 may include at least one processor manufactured to perform the function of the artificial intelligence model.
  • the processor 13 may execute a series of instructions so that the artificial intelligence model learns new training data.
  • the processor 13 may perform the function of the artificial intelligence model described above with reference to FIGS. 1 to 9 by executing the software module stored in the memory 17 .
  • the communication unit 15 may include one or more components that allow the electronic device 10 to communicate with another device (not shown) and the server 20 .
  • Another device (not shown) may be a computing device such as the electronic device 10, but is not limited thereto.
  • the memory 17 may store at least one instruction and at least one program for processing and control of the processor 13 , and may store data input to or output from the electronic device 10 . have.
  • the memory 17 is a memory that temporarily stores data, such as a random access memory (RAM), a static random access memory (SRAM), a flash memory type, a hard disk type, and a multimedia card.
  • Multimedia card micro type card type memory (such as SD or XD memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Memory) Only memory), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium among data storage for non-temporarily storing data.
  • FIG. 11 is a block diagram of a software module stored in a memory of an electronic device, according to an exemplary embodiment.
  • the memory 17 is a software module including instructions for the electronic device 10 to perform the embodiments described above with reference to FIGS. 1 to 9 , and includes a face identification and face recognition module ( 17a), a facial feature acquisition module 17b, an image quality improvement module 17c, and an artificial intelligence model learning module 17d.
  • the electronic device 10 may perform image quality improvement by using more software modules than the software modules shown in FIG. 11 , and the electronic device 10 may use fewer software modules than the software modules shown in FIG. 10 . Image quality can be improved.
  • the electronic device 10 may detect a face from the image and identify a person corresponding to the detected face. .
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may acquire the facial features detected from the image by the processor 13 executing the instructions stored in the facial feature acquiring module 17b.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may improve the image quality of the image.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may train the artificial intelligence model by executing the instructions stored in the artificial intelligence model learning module 17d by the processor 13 .
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • FIG. 12 is a block diagram of a server, according to an embodiment.
  • the server 20 may perform at least one operation of the electronic device 10 .
  • the server 20 may perform at least one operation among the operations of the artificial intelligence model 19 described above.
  • the server 20 may include a communication unit 25 , a memory 26 , a DB 27 , and a processor 23 .
  • the communication unit 25 may include one or more components that allow the server 20 to communicate with the electronic device 10 .
  • the memory 26 may store at least one instruction and at least one program for processing and control of the processor 23 , and may store data input to or output from the server 20 .
  • the DB 27 may store data received from the electronic device 10 .
  • the DB 27 may store a plurality of training data sets to be used for learning the artificial intelligence model.
  • the processor 23 typically controls the overall operation of the server 20 .
  • the processor 23 may control the DB 27 and the communication unit 25 in general by executing programs stored in the memory 26 of the server 20 .
  • the processor 23 may perform at least one of the operations of the electronic device 10 described with reference to FIGS. 1 to 9 and the operations of the server 20 .
  • the processor 23 may control the server 20 to detect a face from an image and identify a person corresponding to the detected face by executing instructions stored in the face identification and face recognition module 17a. have.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 23 may control the server 20 to acquire the facial features detected from the image by executing the instructions stored in the facial feature acquisition module 17b.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 23 may control the server 20 to improve the image quality by executing an instruction stored in the image quality improvement module 17c.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the processor 23 may control the server 20 so that the artificial intelligence model learns the training data by executing the instructions stored in the artificial intelligence model learning module 17d.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • FIG. 13 is a block diagram of a software module stored in a memory of a server, according to an embodiment.
  • the memory 26 is a software module for the server 20 to perform the embodiments described above with reference to FIGS. 1 to 9 , a face identification and face recognition module 17a , a facial feature acquisition module (17b), an image quality improvement module 17c, and an artificial intelligence model learning module 17d.
  • the server 20 can perform image quality improvement by more software modules than the software modules shown in FIG. 13, and the server 20 can improve the image quality by using fewer software modules than the software modules shown in FIG. Image quality can be improved.
  • the electronic device 10 may detect a face from the image and identify a person corresponding to the detected face. .
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may acquire the facial features detected from the image by the processor 13 executing the instructions stored in the facial feature acquiring module 17b.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may improve the image quality of the image.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • the electronic device 10 may train the artificial intelligence model by executing the instructions stored in the artificial intelligence model learning module 17d by the processor 13 .
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 9 will be omitted.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer-readable media may include computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

개시된 실시예들은 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법에 관한 것이다. 개시된 전자 장치가 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 방법은, 상기 제1 인물 이미지를 식별하는 단계, 상기 제1 인물 이미지를 인공지능 모델에 적용하는 단계 및 상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하는 단계를 포함하고, 상기 인공지능 모델은, 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고, 화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고, 상기 제2 인물 이미지를 상기 전자 장치로 출력할 수 있다.

Description

이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
개시된 실시예들은 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다.
언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리(Natural Language Processing), 기계 번역(Machine Translation), 대화 시스템(Dialog System), 질의 응답(Question Answering), 음성 인식/합성(Speech Recognition/Synthesis) 등을 포함한다.
시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식(Object Recognition), 객체 추적(Object Tracking), 영상 검색(Image Retrieval), 사람 인식(Human Recognition), 장면 이해(Scene Recognition), 공간 이해(3D Reconstruction/Localization), 영상 개선(Image Enhancement) 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge-based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다
지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
또한, 인공지능 기술은 사진이나 동영상과 같은 이미지를 획득하고 화질을 개선하는데도 이용될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 전자 장치가 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 방법은, 상기 제1 인물 이미지를 식별하는 단계, 상기 제1 인물 이미지를 인공지능 모델에 적용하는 단계 및 상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하는 단계를 포함하고, 상기 인공지능 모델은, 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고, 화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고, 상기 제2 인물 이미지를 상기 전자 장치로 출력할 수 있다.
도 1은 일 실시예에 따른, 전자 장치가 저화질 인물 이미지로부터 고화질 인물 이미지를 획득하는 것을 나타내는 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 저화질 인물 이미지로부터 고화질 인물 이미지를 획득하는 방법의 순서도이다.
도 3은 일 실시예에 따른, 전자 장치가 인물 이미지들을 인공지능 모델에 학습 데이터로서 적용하는 것을 나타내는 도면이다.
도 4는 일 실시예에 따른, 전자 장치가 인물 이미지들을 인공지능 모델에 학습 데이터로서 적용하는 것을 나타내는 도면이다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 인물 이미지로부터 안면 특징을 획득하는 것을 나타내는 도면이다.
도 6은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 영역에 대해서 화질 개선을 수행하는 것을 나타내는 도면이다.
도 7은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 영역에 대해서 화질을 개선하는 방법의 순서도이다.
도 8은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 방향에 따라서 화질을 개선하는 것을 나타내는 도면이다.
도 9는 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 방향에 따라서 화질을 개선하는 방법의 순서도이다.
도 10은 일 실시예에 따른, 전자 장치의 블록도이다.
도 11은 일 실시예에 따른, 전자 장치의 메모리에 저장된 소프트웨어 모듈에 대한 블록도이다.
도 12는 일 실시예에 따른, 서버의 블록도이다.
도 13은 일 실시예에 따른, 서버의 메모리에 저장된 소프트웨어 모듈에 대한 블록도이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 전자 장치가 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 방법은, 상기 제1 인물 이미지를 식별하는 단계, 상기 제1 인물 이미지를 인공지능 모델에 적용하는 단계 및 상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하는 단계를 포함하고, 상기 인공지능 모델은, 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고, 화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고, 상기 제2 인물 이미지를 상기 전자 장치로 출력할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 전자 장치는, 적어도 하나의 명령어를 저장하는 메모리 및 상기 적어도 하나의 명령어를 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 적어도 하나의 명령어를 실행함으로써, 상기 제1 인물 이미지를 식별하고, 상기 제1 인물 이미지를 인공지능 모델에 적용하고, 상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하고, 상기 인공지능 모델은, 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고, 화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고, 상기 제2 인물 이미지를 상기 전자 장치로 출력할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터로 읽을 수 있는 기록매체는 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 기록매체에 저장된 어플리케이션은 개시된 방법의 실시예들 중에서 적어도 하나의 기능을 실행시키기 위한 것일 수 있다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다. 개시된 실시예들은 단독으로 구현되거나, 적어도 2이상의 실시예가 조합되어 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있으며, 실시예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 “제1” 또는 “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들면, 본 명세서에서는 제1 데이터, 제2 데이터를 기재하였으나, 이는 서로 다른 데이터임을 구분하기 위해서 사용한 것일 뿐이므로, 이에 의해서 한정되어서는 안 된다.
본 개시에 따른 전자 장치는 저화질의 이미지로부터 고화질의 이미지를 생성하기 위해서 인공지능 모델을 이용할 수 있다. 본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 프로세서는 인공지능 모델에 적용되는 데이터에 대해서 인공지능 모델에 적용되기에 적합한 형태로 변환하는 전처리 과정을 수행할 수 있다.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, GAN(Generative Adversarial Network), CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
개시된 인공지능 모델은 학습 데이터로서 입력된 복수의 텍스트 데이터 및 이미지 데이터를 소정의 기준에 의해 학습함으로써 생성된 것일 수 있다. 인공지능 모델은 입력된 데이터에 대응하여, 학습된 기능을 수행함으로써 결과 데이터를 생성하고, 결과 데이터를 출력할 수 있다.
또한, 개시된 인공지능 모델은 적어도 하나의 기능을 수행하도록 학습된(trained) 복수개의 인공지능 모델을 포함할 수 있다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 일 실시예에 따른, 전자 장치가 저화질 인물 이미지로부터 고화질 인물 이미지를 획득하는 것을 나타내는 도면이다.
도 1을 참조하면, 전자 장치(10)는 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성할 수 있다. 전자 장치(10)는 생성한 제2 인물 이미지를 메모리(17)에 저장하거나 디스플레이부(12-1)로 출력할 수 있다.
개시된 실시예에서, 저화질 이미지는 화소수가 소정의 숫자보다 작은 이미지, 이미지에 포함된 노이즈에 의해서 경계선이 흐려진 이미지, 색온도 및 색조가 잘못 지정된 이미지와 같이, 통상적으로 이미지를 식별하기 어렵거나, 열화된 이미지를 의미한다.
개시된 실시예에서, 고화질 이미지는 소정의 숫자 이상의 화소수를 포함하는 이미지, 이미지에 포함된 경계선들이 명확한 이미지, 색온도 및 색조가 정확한 이미지와 같이, 통상적으로 용이하게 식별하기 쉬운 이미지를 의미한다.
개시된 실시예에서, 화질 개선(Enhancement of image quality)은 이미지의 열화 요소를 개선하는 것을 의미한다. 예를 들면, 화질 개선은 해상도 향상, 노이즈 제거, 아티팩트 제거, 색상 조정, 선명도 향상과 같은 이미지 프로세싱을 포함한다.
개시된 실시예에서, 전자 장치(10)는 저화질의 인물 이미지를 식별할 수 있다. 전자 장치(10)는 저화질의 인물 이미지를 인공지능 모델에 적용할 수 있다. 인공지능 모델은 저화질의 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 인물 이미지를 생성하고 출력하도록 훈련된 것일 수 있다. 전자 장치(10)는 인공지능 모델로부터 출력되는 고화질의 인물 이미지를 메모리(17)에 저장하거나, 디스플레이부(12-1)를 통해서 출력할 수 있다.
개시된 실시예에서, 인공지능 모델은 전자 장치(10) 및 서버(20)에 중에서 적어도 하나에 구축될 수 있다. 이하에서는, 전자 장치(10)에 구축된 인공지능 모델을 예시로서 설명하나, 이에 한정될 것은 아니다. 이하에 설명되는 전자 장치(10)에 구축된 인공지능 모델은 서버(20)에 구축된 인공지능 모델에 유추 적용될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 네트워크를 통해서 서버(20)와 데이터를 송수신 할 수 있는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다. 또한, 전자 장치(10)는 사물 인터넷(ioT, internet of Things) 장치, 다양한 사물 인터넷 장치 및 서버(20)와 연결되는 홈 허브 장치(예를 들면, 라우터, 대화형 인공지능 스피커 등)를 포함할 수 있다. 또한, 전자 장치(10)는 인공지능 모델(19)이 구축된 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer), 서버(Server)와 같은 연산 장치를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)을 이용하여 소정의 동작들을 수행할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)을 이용하여 입력된 데이터를 식별하고, 분류하고, 입력된 데이터에 대응하는 데이터를 출력하는 동작들을 수행할 수 있다.
일 실시예에 따르면, 서버(20)는 전자 장치(10)와 데이터를 송수신할 수 있다. 예를 들면, 서버(20)는 전자 장치(10)로부터 수신한 데이터를 인공지능 모델(29)로 적용하고, 인공지능 모델(29)로부터 출력된 데이터를 전자 장치(10)로 전송할 수 있다. 다른 예를 들면, 서버(20)는 전자 장치(10)에 구축된 인공지능 모델(19)을 갱신하는데 이용되는 데이터를 전자 장치(10)로 전송할 수 있다.
일 실시예에 따르면, 인공지능 모델은 소정의 기능을 수행하기 위해서 학습된(trained) 복수개의 인공지능 모델로 구성될 수 있다. 예를 들면, 인공지능 모델은 인공지능 모델에 적용 가능한 유형으로 전처리를 수행하는 전처리 인공지능 모델, 인공지능 모델에 적용된 인물 이미지의 화질을 분류하는 화질 분류 인공지능 모델, 인물 이미지 내에서 적어도 하나의 안면을 검출하는 안면 식별(Face detection) 인공지능 모델, 인물 이미지로부터 식별된 안면에 대응하는 인물을 식별하는 안면 인식(Face recognition) 인공지능 모델, 저화질의 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 인물 이미지를 생성하는 화질 개선 인공지능 모델을 포함할 수 있으나, 이에 한정될 것은 아니다. 동일한 기능을 수행하는 인공지능 모델이 복수개 일 수 있으며, 하나의 인공지능 모델이 개시된 실시예들의 적어도 하나 이상의 기능을 수행할 수 있다.
일 실시예에 따르면, 인공지능 모델은 학습 데이터를 이용하여 인공지능 모델의 학습을 수행할 수 있다. 예를 들면, 인공지능 모델은 복수의 인물 이미지를 학습 데이터로 이용하여 안면 식별 인공지능 모델, 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델의 학습을 수행할 수 있다. 다른 예를 들면, 인공지능 모델은 고화질의 인물 이미지를 변환함으로써 획득된 저화질 인물 이미지와 고화질의 인물 이미지를 한 쌍의 학습 데이터로서 이용할 수 있다. 다른 예를 들면, 인공지능 모델은 인물별로 분류된 복수의 인물 이미지들을 학습 데이터로서 이용할 수 있다. 다른 예를 들면, 인공지능 모델은 사용자가 선택한 화질 개선 부위에 대한 학습 데이터를 이용할 수 있다. 다른 예를 들면, 인공지능 모델은 사용자가 선택한 화질 개선 방향에 대한 학습 데이터를 이용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 이미지를 선택하는 입력에 의해서 화질 개선을 수행할 수 있다. 예를 들면, 전자 장치(10)는 사용자가 화질 개선을 수행할 것을 지정한 이미지를 인공지능 모델에 적용하여 화질 개선을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 전자 장치(10)를 사용하지 않는 시간 동안 전자 장치(10)에 저장된 이미지의 화질 개선을 수행할 수 있다. 예를 들면, 전자 장치(10)는 유휴시간 동안에 전자 장치(10)에 저장된 이미지가 저화질 이미지인지를 식별하고, 화질 개선을 수행할 수 있다.
개시된 실시예에 따르면, 전자 장치(10)는 저화질 이미지를 식별하고, 화질 개선을 수행함으로써, 고화질 이미지를 획득할 수 있다.
도 2는 일 실시예에 따른, 전자 장치가 저화질 인물 이미지로부터 고화질 인물 이미지를 획득하는 방법의 순서도이다.
단계 S210을 참조하면, 전자 장치(10)는 저화질의 제1 인물 이미지를 식별할 수 있다. 예를 들면, 전자 장치(10)의 메모리(17)에 저장된 제1 인물 이미지를 식별할 수 있다. 다른 예를 들면, 전자 장치(10)는 전자 장치(10)의 카메라를 이용하여 획득한 제1 인물 이미지를 식별할 수 있다. 다른 예를 들면, 전자 장치(10)는 웹 상에 공유된 제1 인물 이미지를 식별할 수 있다. 다른 예를 들면, 전자 장치(10)는 애플리케이션을 통해서 공유된 제1 인물 이미지를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 저화질 인물 이미지를 선택하는 입력에 기초하여, 제1 인물 이미지를 식별할 수 있다. 예를 들면, 전자 장치(10)는 복수의 인물 이미지 중에서 사용자가 화질 개선을 원하는 이미지를 선택하는 입력에 기초하여 제1 인물 이미지를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 소정의 기준에 기초하여 저화질의 제1 인물 이미지를 식별할 수 있다. 예를 들면, 전자 장치(10)는 소정의 숫자 미만의 화소수를 포함하는 이미지, 경계선에 대한 주파수가 소정 값 이하인 이미지를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 이용하여, 제1 인물 이미지를 식별할 수 있다. 예를 들면, 전자 장치(10)는 판별(disclaimer) 인공지능 모델을 이용하여, 복수의 이미지들로부터 저화질의 제1 인물 이미지를 식별할 수 있다. 이 경우, 판별 인공지능 모델은 고화질 인물 이미지와 화질 개선 인공지능 모델이 저화질 인물 이미지로부터 생성한 고화질 인물 이미지를 구별하도록 학습된 인공지능 모델이 이용될 수 있다.
단계 S230을 참조하면, 전자 장치(10)는 제1 인물 이미지를 인공지능 모델에 적용할 수 있다. 전자 장치(10)는 단계 S210에서 식별한 제1 인물 이미지를 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전처리가 수행된 제1 인물 이미지를 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 제1 인물 이미지 내에 안면을 식별(Face detection)하고, 안면을 식별한 결과에 관한 정보를 제1 인물 이미지와 함께 인공지능 모델로 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 제1 인물 이미지 내에서 안면을 인식(Face recognition)하고, 인식된 안면에 대응하는 인물에 관한 정보를 제1 인물 이미지와 함께 인공지능 모델로 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 소정의 기준에 기초하여 제1 인물 이미지를 저화질 이미지로 분류한 결과에 관한 정보를 제1 인물 이미지와 함께 인공지능 모델로 적용할 수 있다. 또는, 인공지능 모델은 위에서 설명한 전처리가 수행되지 않고 입력된 제1 인물 이미지에 대해서 직접 전처리를 수행할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자로부터 수신한 제1 인물 이미지에 포함된 인물의 화질 개선 부위를 선택하는 입력에 관한 정보를 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 인물의 눈의 디테일을 높이는 것을 선택한 사용자 입력에 관한 정보를 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자로부터 수신한 제1 인물 이미지의 화질 개선 방향을 선택하는 입력에 관한 정보를 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 소정의 이미지와 유사하게 제1 인물 이미지를 수정할 것을 선택하는 사용자의 입력에 관한 정보를 인공지능 모델에 적용할 수 있다. 구체적으로, 전자 장치(10)는 사용자가 선택한 이미지의 색감, 선명도, 해상도 중에 적어도 하나에 관한 정보를 인공지능 모델에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 소정의 인물과 유사하게 제1 인물 이미지에 포함된 인물을 수정할 것을 선택하는 사용자의 입력에 관한 정보를 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)에 구축된 인공지능 모델에 제1 인물 이미지를 적용하기 위해서, 서버(20)로 제1 인물 이미지를 전송할 수 있다.
일 실시예에 따르면, 인공지능 모델은 인물 이미지로부터 안면 식별 및 안면 인식을 수행하고, 인식된 안면에 대해서 화질 개선을 수행하도록, 복수의 인물 이미지를 학습 데이터로서 학습한 것일 수 있다.
일 실시예에 따르면, 인공지능 모델은 저화질 인물 이미지에 대해서 화질 개선을 수행하도록, 고화질 인물 이미지와 고화질 인물 이미지에 대해서 열화가 적용된 저화질 인물 이미지를 쌍으로 학습한 것일 수 있다.
일 실시예에 따르면, 인공지능 모델은 인물별로 분류된 복수의 인물 이미지들을 학습 데이터로 이용하여, 인물들의 각각에 대해서 개인화 학습한 것일 수 있다. 또한, 개인화 학습을 수행한 인공지능 모델은 경량화가 수행된 것일 수 있다.
일 실시예에 따르면, 인공지능 모델은 개인화 학습을 수행함으로써, 인물별 안면 특징을 획득하도록 학습된 것일 수 있다. 또한, 인공지능 모델은 획득한 안면 특징에 기초하여, 인물 이미지로부터 해당 인물을 식별하고 인식하도록 학습된 것일 수 있다. 또한, 인공지능 모델은 획득한 안면 특징에 기초하여 화질을 개선하도록 학습된 것일 수 있다. 예를 들면, 인공지능 모델은 획득한 안면 특징에 기초하여, 사용자가 선택한 화질 개선 부위에 대응하는 이미지 상의 영역에 대해서 이미지 프로세싱을 수행함으로써, 화질을 개선하도록 학습된 것일 수 있다. 다른 예를 들면, 인공지능 모델은 사용자가 선택한 화질 개선 방향에 따라서 획득한 안면 특징을 수정함으로써, 화질을 개선하도록 학습된 것일 수 있다.
단계 S250을 참조하면, 전자 장치(10)는 인공지능 모델로부터 출력되는 고화질의 제2 인물 이미지를 획득할 수 있다. 전자 장치(10)는 인공지능 모델이 제1 인물 이미지에 대해서 화질 개선을 수행함으로써 획득한 제2 인물 이미지를 인공지능 모델로부터 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 인물 이미지로부터 인식된 안면에 대해서 화질 개선이 수행됨으로써 생성된 제2 인물 이미지를 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 인물 이미지에 대해서 해상도를 높이는 이미지 프로세싱을 수행함으로써 생성된 제2 인물 이미지를 획득할 수 있다. 다른 예를 들면, 전자 장치(10)는 제1 인물 이미지에 대해서 노이즈를 제거하는 이미지 프로세싱을 수행함으로써 생성된 제2 인물 이미지를 획득할 수 있다. 다른 예를 들면, 전자 장치(10)는 제1 인물 이미지의 색상을 조정하는 이미지 프로세싱을 수행함으로써 생성된 제2 인물 이미지를 획득할 수 있다. 다른 예를 들면, 전자 장치(10)는 제1 인물 이미지의 색상을 조정하는 이미지 프로세싱을 수행함으로써 생성된 제2 인물 이미지를 획득할 수 있다. 다른 예를 들면, 전자 장치(10)는 제1 인물 이미지의 선명도를 향상하는 이미지 프로세싱을 수행함으로써 생성된 제2 인물 이미지를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 선택한 화질 개선 부위에 대응하는 영역에 대해서 화질 개선이 수행된 제2 인물 이미지를 인공지능 모델로부터 획득할 수 있다. 예를 들면, 전자 장치(10)는 인물의 눈의 디테일을 높이는 것을 선택한 사용자 입력에 관한 정보를 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 선택한 화질 개선 방향에 따라서 화질 개선이 수행된 제2 인물 이미지를 인공지능 모델로부터 획득할 수 있다. 예를 들면, 전자 장치(10)는 소정의 이미지와 유사하게 제1 인물 이미지를 수정할 것을 선택하는 사용자의 입력에 따라서 화질 개선이 수행된 제2 인물 이미지를 획득할 수 있다. 구체적으로, 전자 장치(10)는 사용자가 선택한 이미지의 색감, 선명도, 해상도 중에 적어도 하나와 유사하게 화질 개선이 수행된 제2 인물 이미지를 획득할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자의 입력에 따라서 소정의 인물과 유사하게 제1 인물 이미지에 포함된 인물이 수정된 제2 인물 이미지를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)에 구축된 인공지능 모델로부터 생성된 제2 인물 이미지를 수신할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2 인물 이미지를 디스플레이부(12-1)에 디스플레이 할 수 있다. 전자 장치(10)는 제1 인물 이미지와 제2 인물 이미지가 비교 가능하도록 함께 디스플레이 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 화질 개선 결과에 대한 사용자의 확인 입력에 따라서, 제2 인물 이미지를 메모리(17)에 저장할 수 있다. 전자 장치(10)는 제2 인물 이미지를 제1 인물 이미지가 저장된 위치에 저장할 수 있다. 예를 들면, 전자 장치(10)는 제2 인물 이미지를 제1 인물 이미지와 함께 저장할 수 있다. 또는, 전자 장치(10)는 제2 인물 이미지로 제1 인물 이미지를 대체하여 저장할 수 있다.
도 3은 일 실시예에 따른, 전자 장치가 인물 이미지들을 인공지능 모델에 학습 데이터로서 적용하는 것을 나타내는 도면이다.
도 3을 참조하면, 전자 장치(10)는 복수의 고화질 이미지들(310) 및 복수의 저화질 이미지들(330)을 학습 데이터로서 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 전자 장치(10)의 메모리(17)에 저장된 복수의 이미지들을 식별하여 인공지능 모델에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 웹(web)에 개시된 복수의 이미지들을 다운로드 하여 인공지능 모델에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 애플리케이션을 통해서 공유된 복수의 이미지들을 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각이 열화된 복수의 저화질 이미지(330)와 복수의 고화질 이미지들(310)를 학습데이터로서 인공지능 모델에 적용할 수 있다.
예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각에 대해서 다운 샘플링을 수행함으로써 획득한 복수의 저화질 이미지들(330)과 복수의 고화질 이미지들(310)을 인공지능 모델에 적용할 수 있다.
다른 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각에 대해서 노이즈를 적용하는 이미지 프로세싱을 수행함으로써 획득한 복수의 저화질 이미지들(330)과 복수의 고화질 이미지들(310)을 인공지능 모델에 적용할 수 있다.
다른 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각에 대해서 블러(blur)를 적용하는 이미지 프로세싱을 수행함으로써 획득한 복수의 저화질 이미지들(330)과 복수의 고화질 이미지들(310)을 인공지능 모델에 적용할 수 있다.
다른 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각의 색상을 변경하는 이미지 프로세싱을 수행함으로써 획득한 복수의 저화질 이미지들(330)과 복수의 고화질 이미지들(310)을 인공지능 모델에 적용할 수 있다.
다른 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310)의 각각의 색상을 변경하는 이미지 프로세싱을 수행함으로써 획득한 복수의 저화질 이미지들(330)과 복수의 고화질 이미지들(330)을 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 고화질 이미지 및 저화질 이미지를 쌍으로 그룹화 하여 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310) 중에서 제1 고화질 이미지(311) 및 제1 고화질 이미지(311)를 열화 변환한 제1 저화질 이미지(313)를 한 쌍으로 그룹화 하고, 제1 고화질 이미지(311) 및 제1 저화질 이미지(313)를 함께 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 고화질 이미지들(310)만을 인공지능 모델에 적용할 수 있다. 인공지능 모델(19)은 복수의 고화질 이미지들(310)의 각각에 대해서 열화 적용을 수행함으로써 복수의 저화질 이미지들(330)을 획득할 수 있다. 인공지능 모델(19)은 복수의 고화질 이미지들(310)과 복수의 저화질 이미지들(330)을 학습 데이터로 이용하여 학습을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 고화질 이미지들(310) 및 복수의 저화질 이미지들(330)에 대해서 전처리를 수행하고, 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 복수의 고화질 이미지들(310) 및 복수의 저화질 이미지들(330)에 대해서 안면을 식별하고, 식별된 안면에 대응하는 영역들을 추출하여 학습 데이터로서 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 적용된 제1 고화질 이미지(311) 및 제1 저화질 이미지(331)을 학습할 수 있다.
예를 들면, 인공지능 모델(19)은 제1 저화질 이미지(331)로부터 제1 고화질 이미지(311)를 생성하도록 화질 개선 인공지능 모델을 학습시킬 수 있다. 또한, 인공지능 모델(19)은 제1 저화질 이미지(331)로부터 생성된 제2 고화질 이미지와 제1 고화질 이미지(311)를 비교하여 차이를 식별하는 판별 인공지능 모델을 학습시킬 수 있다.
구체적으로, 인공지능 모델은 수학식 1의 목적 함수(Loss Function)가 적용되도록 화질 개선 인공지능 모델을 학습시킬 수 있다.
Figure PCTKR2022002649-appb-img-000001
Figure PCTKR2022002649-appb-img-000002
은 화질 개선 인공지능 모델의 목적 함수(Loss Function)이고,
Figure PCTKR2022002649-appb-img-000003
은 일반적인 GAN 방식 인공지능 모델의 목적 함수(Loss Function)이고,
Figure PCTKR2022002649-appb-img-000004
은 화질 개선 인공지능 모델이 저화질 이미지로부터 고화질 이미지를 최대한 유사하게 생성하기 위한 목적 함수(Loss Function)이다.
또한, 인공지능 모델(19)은 목적 함수(Loss Function)를 이용하여 제1 고화질 이미지(311)와 제2 고화질 이미지를 구별하도록 판별 인공지능 모델을 학습시킬 수 있다.
이상에서는 전자 장치(10)에 구축된 인공지능 모델을 학습시키는 방법에 대해서 기재하였지만, 서버(20)에 구축된 인공지능 모델을 학습시키는 방법에도 유추 적용 가능하다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)로부터 학습된 인공지능 모델에 관한 정보를 수신할 수 있다. 예를 들면, 서버(20)는 서버(20)에 구축된 인공지능 모델을 학습시키고, 학습에 의해서 갱신된 인공지능 모델(19)에 관한 데이터를 전자 장치(10)로 전송할 수 있다. 이 경우, 전자 장치(10)는 인공지능 모델의 가중치들 중에서 갱신된 가중치에 관한 정보를 수신하고, 수신된 정보를 이용하여 전자 장치(10)에 구축된 인공지능 모델(19)을 갱신할 수 있다.
도 4는 일 실시예에 따른, 전자 장치가 인물 이미지들을 인공지능 모델에 학습 데이터로서 적용하는 것을 나타내는 도면이다.
도 4를 참조하면, 전자 장치(10)는 복수의 인물 이미지들의 각각을 복수의 인물들 중에 하나에 포함되도록 개인화 분류를 함으로써, 특정 인물에 대한 다양한 인물 이미지가 포함된 데이터 베이스를 생성할 수 있다. 즉, 전자 장치(10)는 복수의 인물 이미지들을 제1 인물 이미지(410), 제2 인물 이미지(430), 제3 인물 이미지(450)와 같이 개인화 분류를 할 수 있다. 전자 장치(10)는 분류된 제1 인물 이미지(410), 제2 인물 이미지(430), 제3 인물 이미지(450)를 학습 데이터로서 인공지능 모델에 적용함으로써, 인공지능 모델을 개인화 학습을 시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자가 동일인으로 선택한 입력에 기초하여, 복수의 인물 이미지들을 개인화 분류를 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 이미지들이 저장된 경로(path)에 기초하여, 복수의 인물 이미지들을 개인화 분류를 할 수 있다. 예를 들면, 전자 장치(10)는 메모리(17)의 같은 폴더에 저장된 이미지들을 동일한 인물에 관한 이미지로 개인화 분류를 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 이미지를 제공한 사용자에 기초하여 복수의 인물 이미지들을 개인화 분류를 할 수 있다. 예를 들면, 전자 장치(10)는 메신저 애플리케이션을 이용하여 동일한 사용자로부터 제공된 이미지들을 동일한 인물에 관한 이미지로 개인화 분류를 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 이용하여 복수의 인물 이미지들을 개인화 분류를 할 수 있다. 예를 들면, 전자 장치(10)는 안면 검출 인공지능 모델을 이용하여 복수의 인물 이미지들로부터 안면 검출을 수행할 수 있다. 전자 장치(10)는 안면 인식 인공지능 모델을 이용하여 검출된 안면에 대해서 안면 인식을 수행함으로써, 제1 안면을 식별할 수 있다. 전자 장치(10)는 안면 인식 결과에 기초하여, 복수의 인물들 중에서 제1 안면에 대응하는 제1 인물을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 인물 이미지들이 개인화 분류된 결과에 관한 정보를 복수의 인물 이미지들과 함께 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 복수의 고화질 인물 이미지 및 복수의 저화질 인물 이미지에 개인화 분류된 결과에 관한 태그를 삽입할 수 있다. 전자 장치(10)는 태그가 삽입된 복수의 고화질 인물 이미지와 복수의 저화질 인물 이미지를 인공지능 모델에 적용할 수 있다. 이 경우, 복수의 저화질 인물 이미지는 복수의 고화질 인물 이미지에 대해서 열화 적용됨으로써 생성된 것일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 안면 식별이 수행되지 않은 복수의 인물 이미지를 인공지능 모델에 적용할 수 있다. 인공지능 모델(19)은 복수의 인물 이미지들을 학습 데이터로 이용하여, 안면 식별 인공지능 모델 및 안면 인식 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 입력된 복수의 인물 이미지들을 이용하여 화질 개선 인공지능 모델을 개인화 학습을 시킴으로써, 화질 개선 인공지능 모델을 갱신할 수 있다. 갱신된 화질 개선 인공지능 모델은 특정 인물의 저화질 이미지의 화질을 개선하도록 특화된 모델일 수 있다. 예를 들면, 인공지능 모델은 제1 인물 이미지(410), 제2 인물 이미지(430), 제3 인물 이미지(450)를 이용하여 화질 개선 인공지능 모델을 학습시킴으로써, 제1 인물, 제2 인물 및 제3 인물에 대한 저화질 이미지의 화질을 개선하도록 특화된 화질 개선 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 개인화 학습을 수행하는 안면 검출 인공지능 모델, 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델 중에서 적어도 하나에 대해서 경량화를 수행할 수 있다. 예를 들면, 인공지능 모델(19)은 화질 개선 인공지능 모델에 대해서 filter pruning과 같은 경량화 기법을 적용할 수 있다. 인공지능 모델(19)은 개인화 학습한 특정 인물에 대한 화질 개선 성능이 우수하고 데이터가 경량화된 화질 개선 인공지능 모델을 획득할 수 있다. 다른 예를 들면, 인공지능 모델(19)은 개인화 학습한 특정 인물에 대한 안면 인식 성능이 우수하고 데이터가 경량화된 안면 인식 인공지능 모델을 획득할 수 있다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 인물 이미지로부터 안면 특징을 획득하는 것을 나타내는 도면이다.
도 5를 참조하면, 전자 장치(10)는 인물 이미지(510)를 인공지능 모델(19)에 적용함으로써, 인물 이미지(510)에 포함된 인물의 안면 특징을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 인물 이미지(510)로부터 안면 검출을 수행할 수 있다. 예를 들면, 인공지능 모델(19)은 안면 검출 인공지능 모델을 이용하여 인물 이미지(510)로부터 적어도 하나의 안면을 검출할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 검출된 안면으로부터 안면 특징을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 안면 인식 인공지능 모델을 이용하여 인물 이미지로부터 검출된 안면의 윤곽선, 안면의 랜드마크(예를 들면, 눈, 코, 입, 귀 등)의 모양, 크기, 비율 및 위치, 안면의 디테일(예를 들면, 눈썹, 주름, 모발, 피부톤)과 같은 안면 특징을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 안면 인식 인공지능 모델이 개인화 학습을 수행함으로써 특정 인물의 안면 특징을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 제1 인물에 대한 인물 이미지를 학습함으로써, 제1 인물의 안면 특징을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 획득한 안면 특징을 이용하여 안면 인식 인공지능 모델을 갱신할 수 있다. 예를 들면, 인공지능 모델(19)은 특정 인물에 대한 안면 특징을 이용하여 안면 인식 인공지능 모델의 가중치를 갱신할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 획득한 안면 특징을 이용하여 화질 개선 인공지능 모델을 갱신할 수 있다. 예를 들면, 인공지능 모델(19)은 안면의 윤곽선, 안면의 랜드마크(예를 들면, 눈, 코, 입, 귀 등)의 모양, 크기 및 위치, 안면의 디테일(눈썹, 주름, 모발)과 같은 안면 특징을 수정하도록 화질 개선 인공지능 모델을 학습시킬 수 있다.
도 6은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 영역에 대해서 화질 개선을 수행하는 것을 나타내는 도면이고, 도 7은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 영역에 대해서 화질을 개선하는 방법의 순서도이다.
도 6을 참조하면, 전자 장치(10)는 제1 인물 이미지(610)에 포함된 인물에 대해서 화질 개선 부위를 선택하는 입력을 사용자로부터 수신할 수 있다. 전자 장치(10)는 사용자로부터 수신된 입력에 기초하여 제1 인물 이미지(610)의 화질이 개선된 제2 인물 이미지(630)를 출력할 수 있다.
단계 S710을 참조하면, 전자 장치(10)는 사용자(1)로부터 화질 개선 영역을 선택하는 입력을 수신하고, 사용자의 선택한 화질 개선 영역(Region of image enhancement)을 식별할 수 있다.
예를 들면, 전자 장치(10)는 사용자(1)로부터 제1 인물 이미지(610)에 포함된 인물의 안면 부위 중에서 화질 개선이 필요한 부위를 선택하는 사용자의 입력을 수신할 수 있다. 도 6을 참조하여 예를 들면, 전자 장치(10)는 사용자(1)로부터 제1 인물 이미지(610)에 포함된 인물의 눈을 선택하는 사용자의 입력을 수신할 수 있다.
다른 예를 들면, 전자 장치(10)는 제1 인물 이미지(610)에 포함된 인물의 안면 부위 중에서 목록(프리셋)으로 제공된 화질 개선이 필요한 부위를 선택하는 사용자의 입력을 수신할 수 있다.
도 6에는, 전자 장치(10)가 사용자(1)의 터치 입력에 기초하여 화질 개선 영역을 선택하는 사용자의 입력을 수신하도록 도시되었지만, 이에 한정될 것은 아니다. 전자 장치(10)는 사용자의 입력을 수신할 수 있는 다양한 인터페이스를 통해서 수신된 사용자의 입력에 기초하여, 화질 개선 영역을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 안면 검출 인공지능 모델을 이용하여 제1 인물 이미지(610)로부터 제1 인물의 안면 및 제1 인물의 안면의 특징을 검출할 수 있다. 전자 장치(10)는 안면 검출 인공지능 모델을 이용하여, 사용자(1)가 선택한 화질 개선 영역에 대응하는 영역을 식별할 수 있다. 예를 들면, 전자 장치(10)는 안면 검출 인공지능 모델을 이용하여 안면의 특징을 검출하고, 검출된 안면의 특징에 기초하여 안면 분석(face parsing)을 수행함으로써, 사용자 입력이 수신된 영역이 제1 인물의 눈에 해당함을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 안면 인식 인공지능 모델을 이용하여, 제1 인물 이미지(610)로부터 검출된 안면에 대응하는 제1 인물을 식별할 수 있다.
단계 S730을 참조하면, 전자 장치(10)는 화질 개선 영역에 대한 정보를 인공지능 모델(19)에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 화질 개선 영역에 대한 정보를 제1 인물 이미지(610)와 함께 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 사용자 입력이 수신된 영역이 마킹된 제1 인물 이미지(610)를 인공지능 모델(19)에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력이 수신된 영역에 대한 특징 정보를 제1 안면 이미지(610)와 함께 인공지능 모델(19)에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력이 수신된 영역에 대응하는 안면 부위에 관한 정보를 제1 안면 이미지(610)와 함께 인공지능 모델(19)에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 안면 인식 인공지능 모델을 이용하여 제1 인물 이미지(610)로부터 식별한 제1 인물에 관한 정보를 제1 인물 이미지(610)와 함께 인공지능 모델(19)에 적용할 수 있다. 전자 장치(10)는 제1 인물 이미지(610)와 함께 제1 인물이 포함된 복수의 고화질 이미지들을 인공지능 모델(19)에 적용할 수 있다.
단계 S750을 참조하면, 전자 장치(10)는 화질 개선 영역에 대한 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 입력된 화질 개선 영역에 대한 정보에 기초하여, 제1 인물 이미지(610)로부터 화질 개선 영역을 식별할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자(1)가 선택한 안면 부위(예를 들면, 눈)에 대한 정보에 기초하여, 제1 인물 이미지(610)로부터 화질 개선 영역을 식별할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 입력된 화질 개선 영역에 대한 정보에 기초하여, 화질 개선 영역에 관한 학습 데이터를 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자가 선택한 안면 부위(예를 들면, 눈)에 대한 정보에 기초하여, 사용자가 선택한 안면 부위(예를 들면, 눈)에 대한 복수의 고화질 이미지를 획득할 수 있다. 인공지능 모델(19)은 전자 장치(10)로 복수의 고화질 이미지를 적용할 것을 요청하는 데이터를 출력할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 안면 검출 인공지능 모델이 전자 장치(10)로부터 입력되는 학습 데이터를 학습함으로써 안면 분석(face parsing)을 수행하도록 안면 검출 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 안면 검출 인공지능 모델로부터 출력되는 안면 분석(Face Parsing)결과 데이터와 사용자가 선택한 화질 개선 영역에 관한 정보에 기초하여, 화질 개선 인공지능 모델의 목적 함수(Loss Function)를 설정할 수 있다. 예를 들면, 인공지능 모델(19)은 화질 개선 인공지능 모델에 대해서 weighted loss 방식의 목적 함수(Loss Function)를 설정할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 전자 장치(10)로부터 입력되는 학습 데이터를 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다. 인공지능 모델(19)은 화질 개선 인공지능 모델에 대해서 설정된 목적 함수(Loss Function)과 전자 장치(10)로부터 입력되는 학습 데이터를 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다. 예를 들면, 인공지능 모델(19)은 사용자가 선택한 안면 부위(예를 들면, 눈)에 대한 복수의 고화질 이미지를 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다. 다른 예를 들면, 인공지능 모델(19)은 제1 인물 이미지(610)에 포함된 제1 인물에 대한 복수의 고화질 이미지를 이용하여 사용자가 선택한 제1 인물의 안면 부위(예를 들면 눈)의 화질을 개선하는 화질 개선 인공지능 모델을 학습시킬 수 있다.
단계 S770을 참조하면, 전자 장치(10)는 화질 개선 영역의 화질이 개선된 제2 인물 이미지를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 단계 S750에서 갱신된 화질 개선 인공지능 모델을 이용하여 제1 인물 이미지(610)에 대해서 화질 개선을 수행함으로써 제2 인물 이미지(630)를 생성할 수 있다. 예를 들면, 인공지능 모델(19)은 제1 인물 이미지(610)에 포함된 제1 인물의 소정의 안면 영역(예를 들면, 눈)에 대해서 화질 개선을 수행함으로써, 제2 인물 이미지(630)를 생성할 수 있다. 인공지능 모델(19)은 생성한 제2 인물 이미지(630)를 전자 장치로 출력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제2 인물 이미지를 디스플레이부(12-1)에 디스플레이 할 수 있다. 전자 장치(10)는 제1 인물 이미지와 제2 인물 이미지가 비교 가능하도록 함께 디스플레이 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 제2 인물 이미지(630)를 메모리(17)에 저장할 수 있다. 예를 들면, 전자 장치(10)는 제2 인물 이미지를 제1 인물 이미지가 저장된 경로에 저장할 수 있다. 예를 들면, 전자 장치(10)는 제2 인물 이미지를 제1 인물 이미지와 함께 저장할 수 있다. 또는, 전자 장치(10)는 제2 인물 이미지로 제1 인물 이미지를 대체하여 저장할 수 있다.
도 8은 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 방향에 따라서 화질을 개선하는 것을 나타내는 도면이고, 도 9는 일 실시예에 따른, 전자 장치가 사용자로부터 수신한 화질 개선 방향에 따라서 화질을 개선하는 방법의 순서도이다.
도 8을 참조하면, 전자 장치(10)는 제1 인물 이미지(810)의 화질 개선 방향으로 제3 인물 이미지(820)를 선택하는 사용자(1)의 입력에 기초하여, 제3 인물 이미지(820)로부터 특징 정보를 획득할 수 있다. 전자 장치(10)는 제3 인물 이미지(820)으로부터 획득한 특징 정보를 이용하여 제1 인물 이미지(810)의 화질을 개선함으로써, 제2 인물 이미지(830)를 획득할 수 있다.
예를 들면, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 제3 인물 이미지(820)의 해상도에 대응되도록 제1 인물 이미지(810)의 해상도를 높이는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지(830)를 획득할 수 있다.
다른 예를 들면, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 제3 인물 이미지(820)의 색상에 대응되도록 제1 인물 이미지(810)의 색상을 조정하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지(830)를 획득할 수 있다.
다른 예를 들면, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 제3 인물 이미지(820)의 선명도에 대응되도록 제1 인물 이미지(810)의 선명도를 조정하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지(830)를 획득할 수 있다.
다른 예를 들면, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 제3 인물 이미지(820)에 포함된 제2 인물의 안면 특징에 맞게 제1 인물 이미지(810)에 포함된 제1 인물의 안면 특징을 조정하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지(830)를 획득할 수 있다.
단계 S910을 참조하면, 전자 장치(10)는 사용자로부터 화질 개선 "눰藪* 관한 입력을 수신할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자로부터 제1 인물 이미지(810)의 해상도, 선명도, 색상, 노이즈 제거, 이미지 압축시 발생하는 아티팩트 제거 중에서 적어도 하나를 조정하는 화질 개선 방향에 관한 입력을 수신할 수 있다.
예를 들면, 전자 장치(10)는 제1 인물 이미지(810)의 해상도, 선명도, 색상, 노이즈 제거, 이미지 압축시 발생하는 아티팩트 제거 중에서 적어도 하나를 선택하는 인터페이스를 통해서 사용자로부터 화질 개선 방향에 관한 입력을 수신할 수 있다.
다른 예를 들면, 전자 장치(10)는 제1 인물 이미지(810)가 제3 인물 이미지(820)와 유사한 이미지 속성을 포함하도록 제3 인물 이미지(820)를 선택하는 사용자의 입력을 수신할 수 있다. 즉, 전자 장치(10)는 제3 인물 이미지(820)의 해상도, 선명도, 색상, 노이즈, 아티팩트 중에서 적어도 하나에 제1 인물 이미지(810)가 대응되도록 화질 개선 방향을 선택하는 사용자 입력을 수신할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 사용자로부터 제1 인물 이미지(810)에 포함된 제1 인물의 안면 특징을 수정하는 화질 개선 방향에 관한 입력을 수신할 수 있다. 구체적으로, 전자 장치(10)는 제3 인물 이미지(820)에 포함된 제2 인물의 안면 특징에 맞게 제1 인물 이미지(810)에 포함된 제1 인물의 안면 특징을 조정하는 화질 개선 방향에 관한 입력을 수신할 수 있다.
단계 S930을 참조하면, 전자 장치(10)는 화질 개선 방향에 대한 정보를 인공지능 모델에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 화질 개선 방향에 대한 정보를 제1 인물 이미지(810)와 함께 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 사용자가 선택한 제1 인물 이미지(810)의 해상도, 선명도, 색상, 노이즈 제거, 압축 이미지에서 발생한 아티팩트 제거 중에서 적어도 하나에 관한 정보를 제1 인물 이미지(810)와 함께 인공지능 모델(19)에 적용할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자가 선택한 제3 인물 이미지(820)를 제1 인물 이미지(810)와 함께 인공지능 모델(19)에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 인물 이미지(810)와 함께 제3 인물 이미지(820)에 포함된 제2 인물에 관련된 복수의 고화질 데이터를 학습데이터로서 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 제3 인물 이미지(820)로부터 안면을 검출하고, 검출된 안면에 대응하는 제2 인물을 식별할 수 있다. 전자 장치(10)는 제2 인물이 포함된 복수의 고화질 이미지를 획득할 수 있다. 전자 장치(10)는 제2 인물이 포함된 복수의 고화질 이미지들의 각각에 대해서 열화 적용을 수행함으로써 복수의 저화질 이미지를 생성하고, 생성된 복수의 저화질 이미지를 복수의 고화질 이미지와 함께 인공지능 모델에 학습 데이터로서 적용할 수 있다.
단계 S950을 참조하면, 전자 장치(10)는 화질 개선 방향에 대한 학습 데이터를 이용하여 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 제3 인물 이미지(820)로부터 제3 인물 이미지(820)의 특징 벡터들을 획득할 수 있다. 인공지능 모델(19)은 제3 인물 이미지(820)의 특징 벡터들을 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다. 예를 들면, 인공지능 모델(19)은 제3 인물 이미지(820)의 해상도, 선명도, 색상, 노이즈, 아티팩트 중에서 적어도 하나에 관한 특징 벡터들을 획득하고, 획득한 특징 벡터들을 이용하여 사용자가 선택한 화질 개선 방향에 따라서 제1 인물 이미지(810)의 화질을 개선하도록 화질 개선 인공지능 모델을 학습시킬 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 제3 인물 이미지(820)로부터 제2 인물의 안면 특징을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 안면 인식 인공지능 모델을 이용하여 제3 인물 이미지(820)로부터 제2 인물의 안면의 윤곽선, 안면의 랜드마크(예를 들면, 눈, 코, 입, 귀 등)의 모양, 크기 및 위치, 안면의 디테일(눈썹, 주름, 모발, 피부톤)과 같은 안면 특징을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 제3 인물 이미지(820)와 함께 적용된 복수의 이미지들로부터 제2 인물의 안면 특징을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 제2 인물이 포함된 복수의 고화질 이미지의 각각으로부터 제2 인물의 안면을 검출하고, 제2 인물의 안면 특징을 획득할 수 있다. 또한, 인공지능 모델(19)은 제2 인물이 포함된 복수의 고화질 이미지에 대해서 열화 적용이 수행됨으로써 생성된 복수의 저화질 이미지의 각각으로부터 제2 인물의 안면을 검출하고, 제2 인물의 안면 특징을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 획득한 제2 인물의 안면 특징을 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다. 예를 들면, 인공지능 모델(19)은 화질 개선 인공지능 모델이 제1 인물 이미지(810)로부터 획득한 안면 특징을 이용하여 생성한 제2 인물 이미지(830)의 안면 특징과 제3 인물 이미지(820)로부터 획득한 안면 특징이 유사하도록 화질 개선 인공지능 모델의 목적 함수(Loss Function)를 설정할 수 있다. 인공지능 모델(19)은 화질 개선 인공지능 모델에 대해서 설정된 목적 함수(Loss Function)와 전자 장치(10)로부터 입력되는 학습 데이터를 이용하여 화질 개선 인공지능 모델을 학습시킬 수 있다.
단계 S970을 참조하면, 전자 장치(10)는 화질 개선 방향에 따라서 제2 인물 이미지를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 사용자가 선택한 화질 개선 방향에 대응하도록 화질 개선 인공지능 모델을 이용하여 제1 인물 이미지(810)의 해상도 향상, 선명도 향상, 색상 조정, 노이즈 제거 및 압축 이미지에서 발생한 아티팩트 제거 중에서 적어도 하나의 이미지 프로세싱을 수행함으로써, 제2 인물 이미지(830)를 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 제3 인물 이미지(820)의 해상도, 선명도, 색상, 노이즈, 아티팩트 중에서 적어도 하나에 제1 인물 이미지(810)가 대응되도록 제1 인물 이미지(810)에 대해서 이미지 프로세싱을 수행할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 화질 개선 인공지능 모델을 이용하여 제3 인물 이미지(820)에 포함된 제2 인물의 안면 특징에 맞게 제1 인물 이미지(810)에 포함된 제1 인물의 안면 특징을 조정함으로써, 제2 인물 이미지(830)를 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 제2 인물의 안면의 랜드마크(예를 들면, 눈, 코, 입, 귀 등)의 모양, 크기 및 비율에 맞게 제1 인물의 안면의 랜드 마크의 모양, 크기 및 비율을 조정할 수 있다. 다른 예를 들면, 인공지능 모델(19)은 제2 인물의 안면의 디테일(예를 들면, 눈썹, 주름, 모발, 피부톤 등)에 맞게 제1 인물의 안면의 디테일을 조정할 수 있다.
도 10은 일 실시예에 따른, 전자 장치의 블록도이다.
도 10을 참조하면, 전자 장치(10)는, 사용자 입력부(11), 출력부(12), 프로세서(13), 통신부(15) 및 메모리(17)를 포함할 수 있다. 그러나, 도 10에 도시된 구성 요소 모두가 전자 장치(10)의 필수 구성 요소인 것은 아니다. 도 10에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있고, 도 10에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있다.
사용자 입력부(11)는, 사용자가 전자 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(11)에는 터치 스크린(touch screen), 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 터치스크린, 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(11)는 도 1 내지 도 9를 참조하여 설명한 실시예들을 전자 장치(10)가 수행하기 위해 필요한 사용자 입력을 수신할 수 있다.
출력부(12)는 전자 장치(10)에서 처리되는 정보를 출력한다. 출력부(12)는 도 1 내지 도 9를 참조하여 설명한 실시예들에 관련된 정보를 출력할 수 있다. 또한, 출력부(12)는 오브젝트, 사용자 인터페이스, 사용자의 입력에 대응하는 동작을 수행한 결과를 디스플레이하는 디스플레이부(12-1)를 포함할 수 있다.
프로세서(13)는, 통상적으로 전자 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(13)는, 메모리(17)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 연합 학습을 수행하기 위하여 사용자 입력부(11), 출력부(12), 통신부(15), 메모리(17) 등을 전반적으로 제어할 수 있다.
예를 들면, 프로세서(13)는 안면 식별 및 안면 인식 모듈(17a)에 저장된 인스트럭션을 실행함으로써, 이미지로부터 안면을 검출하고, 검출된 안면에 대응하는 인물을 식별하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 안면 특징 획득 모듈(17b)에 저장된 인스트럭션을 실행함으로써, 이미지로부터 검출된 안면의 특징을 획득하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 화질 개선 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 이미지의 화질을 개선하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 인공지능 모델 학습 모듈(17d)에 저장된 인스트럭션을 실행함으로써, 인공지능 모델이 학습 데이터를 학습하도록 전자 장치(10)룰 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
프로세서(13)는 범용적으로 이용되는 적어도 하나의 프로세서일 수 있다. 또한, 프로세서(13)는 인공지능 모델의 기능을 수행하기 위해서 제작된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(13)는 인공지능 모델이 새로운 학습 데이터를 학습하도록 일련의 인스트럭션를 실행할 수 있다. 프로세서(13)는 메모리(17)에 저장된 소프트웨어 모듈을 실행함으로써, 도 1 내지 도 9를 참조하여 위에서 설명한 인공지능 모델의 기능을 수행할 수 있다.
통신부(15)는, 전자 장치(10)가 다른 장치(미도시) 및 서버(20)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(10)와 같은 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
메모리(17)는, 프로세서(13)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 전자 장치(10)로 입력되거나 전자 장치(10)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(17)는 램(RAM, Random Access Memory) SRAM(Static Random Access Memory)과 같이 일시적으로 데이터를 저장하는 메모리 및 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크과 같이 비일시적으로 데이터를 저장하는 데이터 스토리지 중에서 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 11은 일 실시예에 따른, 전자 장치의 메모리에 저장된 소프트웨어 모듈에 대한 블록도이다.
도 11을 참조하면, 메모리(17)는 도 1 내지 도 9를 참조하여 위에서 설명한 실시예를 전자 장치(10)가 수행하기 위한 인스터럭션이 포함된 소프트웨어 모듈로서, 안면 식별 및 안면 인식 모듈(17a), 안면 특징 획득 모듈(17b), 화질 개선 모듈(17c) 및 인공지능 모델 학습 모듈(17d)을 포함할 수 있다. 그러나, 도 11에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 전자 장치(10)가 이미지의 화질 개선을 수행할 수 있고, 도 10에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 전자 장치(10)가 이미지의 화질 개선을 수행할 수 있다.
예를 들면, 안면 식별 및 안면 인식 모듈(17a)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지로부터 안면을 검출하고, 검출된 안면에 대응하는 인물을 식별할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 안면 특징 획득 모듈(17b)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지로부터 검출된 안면의 특징을 획득할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 화질 개선 모듈(17c)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지의 화질을 개선할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 모델 학습 모듈(17d)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 인공지능 모델을 학습시킬 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 12는 일 실시예에 따른, 서버의 블록도이다.
서버(20)는 전자 장치(10)의 적어도 하나의 동작을 수행할 수 있다. 또한, 서버(20)는 위에서 설명된 인공지능 모델(19)의 동작 중에서 적어도 하나의 동작을 수행할 수 있다.
도 12을 참조하면, 일부 실시예에 따른 서버(20)는 통신부(25), 메모리(26), DB(27) 및 프로세서(23)를 포함할 수 있다.
통신부(25)는 서버(20)가 전자 장치(10)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
메모리(26)는 프로세서(23)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 서버(20)로 입력되거나 서버(20)로부터 출력되는 데이터를 저장할 수도 있다.
DB(27)는 전자 장치(10)로부터 수신한 데이터를 저장할 수 있다. DB(27)는 인공지능 모델을 학습하는데 이용될 복수의 학습 데이터 세트를 저장할 수 있다.
프로세서(23)는 통상적으로 서버(20)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(23)는, 서버(20)의 메모리(26)에 저장된 프로그램들을 실행함으로써, DB(27) 및 통신부(25) 등을 전반적으로 제어할 수 있다. 프로세서(23)는 프로그램들을 실행함으로써, 도 1 내지 도 9를 참조하여 설명한 전자 장치(10)의 동작 중에서 적어도 하나 및 서버(20)의 동작을 수행할 수 있다.
예를 들면, 프로세서(23)는 안면 식별 및 안면 인식 모듈(17a)에 저장된 인스트럭션을 실행함으로써, 이미지로부터 안면을 검출하고, 검출된 안면에 대응하는 인물을 식별하도록 서버(20)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(23)는 안면 특징 획득 모듈(17b)에 저장된 인스트럭션을 실행함으로써, 이미지로부터 검출된 안면의 특징을 획득하도록 서버(20)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(23)는 화질 개선 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 이미지의 화질을 개선하도록 서버(20)를 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(23)는 인공지능 모델 학습 모듈(17d)에 저장된 인스트럭션을 실행함으로써, 인공지능 모델이 학습 데이터를 학습하도록 서버(20)룰 제어할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 13은 일 실시예에 따른, 서버의 메모리에 저장된 소프트웨어 모듈에 대한 블록도이다.
도 13을 참조하면, 메모리(26)는 도 1 내지 도 9을 참조하여 위에서 설명한 실시예들을 서버(20)가 수행하기 위한 소프트웨어 모듈로서, 안면 식별 및 안면 인식 모듈(17a), 안면 특징 획득 모듈(17b), 화질 개선 모듈(17c) 및 인공지능 모델 학습 모듈(17d)을 포함할 수 있다.
그러나, 도 13에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 서버(20)가 이미지의 화질 개선을 수행할 수 있고, 도 12에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 서버(20)가 이미지의 화질 개선을 수행할 수 있다.
예를 들면, 안면 식별 및 안면 인식 모듈(17a)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지로부터 안면을 검출하고, 검출된 안면에 대응하는 인물을 식별할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 안면 특징 획득 모듈(17b)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지로부터 검출된 안면의 특징을 획득할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 화질 개선 모듈(17c)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 이미지의 화질을 개선할 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 모델 학습 모듈(17d)에 저장된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 인공지능 모델을 학습시킬 수 있다. 도 1 내지 도 9를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

Claims (15)

  1. 전자 장치가 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 방법에 있어서,
    상기 제1 인물 이미지를 식별하는 단계;
    상기 제1 인물 이미지를 인공지능 모델에 적용하는 단계; 및
    상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하는 단계를 포함하고,
    상기 인공지능 모델은,
    안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고,
    화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고,
    상기 제2 인물 이미지를 상기 전자 장치로 출력하는,
    방법.
  2. 제1항에 있어서,
    상기 인공지능 모델은,
    복수의 고화질 인물 이미지들의 각각이 변환된 복수의 저화질 인물 이미지 및 상기 복수의 고화질 인물 이미지를 학습 데이터로서 학습함으로써, 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    방법.
  3. 제2항에 있어서,
    상기 인공지능 모델은,
    제1 고화질 인물 이미지와 상기 제1 고화질 인물 이미지에 대해서 이미지 열화가 적용됨으로써 생성된 제1 저화질 인물 이미지를 쌍으로 학습함으로써, 상기 제1 저화질 인물 이미지로부터 상기 제1 고화질 인물 이미지를 생성하도록 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    방법.
  4. 제1항에 있어서,
    상기 인공지능 모델은,
    인물별로 분류된 복수의 인물 이미지들을 이용하여 개인화 학습을 함으로써, 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 안면 및 상기 제1 안면에 대응하는 제1 인물을 식별하고,
    상기 제1 인물에 대하여 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    방법.
  5. 제4항에 있어서,
    상기 인공지능 모델은,
    상기 개인화 학습으로 갱신된 상기 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델에 대해서 경량화를 수행하고,
    상기 경량화된 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 인물을 식별하고,
    상기 경량화된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 인물에 대해서 화질을 개선한 상기 제2 인물 이미지를 획득하는,
    방법.
  6. 제4항에 있어서,
    상기 인공지능 모델은,
    상기 제1 인물에 대한 복수의 인물 이미지를 학습 데이터로서 학습함으로써, 상기 제1 인물의 안면 특징을 획득하고,
    상기 제1 인물의 안면 특징에 기초하여, 상기 제1 인물 이미지로부터 상기 제1 인물을 식별하고,
    상기 제1 인물의 안면 특징에 기초하여, 상기 제1 인물 이미지로부터 상기 제1 인물의 화질을 개선한 상기 제2 인물 이미지를 획득하는,
    방법.
  7. 제6항에 있어서,
    상기 방법은,
    사용자로부터 상기 제1 인물의 화질 개선 부위를 선택하는 입력을 수신하는 단계;
    상기 인공지능 모델로 상기 사용자가 선택한 화질 개선 부위에 대한 정보를 적용하는 단계를 더 포함하고,
    상기 인공지능 모델은,
    상기 제1 인물의 상기 화질 개선 부위에 대한 학습 데이터를 추가 학습함으로써, 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물의 상기 제1 안면에 대응하는 영역 중에서 상기 사용자가 선택한 화질 개선 부위에 대응하는 영역의 화질이 개선된 상기 제2 인물 이미지를 획득하는,
    방법.
  8. 제6항에 있어서,
    상기 방법은,
    사용자로부터 상기 제1 인물에 대한 화질 개선 방향을 선택하는 입력을 수신하는 단계;
    상기 인공지능 모델로 상기 사용자가 선택한 화질 개선 방향에 대한 정보를 적용하는 단계를 더 포함하고,
    상기 인공지능 모델은,
    상기 화질 개선 방향에 대한 학습 데이터를 추가 학습함으로써, 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 화질 개선 방향에 따라서 상기 제1 인물의 안면 특징을 수정함으로써 상기 제2 인물 이미지를 획득하는, 방법.
  9. 제8항에 있어서,
    상기 방법은,
    제2 인물을 지정하는 사용자 입력을 수신하는 단계;
    상기 제2 인물에 대한 데이터를 획득하는 단계;
    상기 제2 인물에 대한 데이터를 학습 데이터로서 인공지능 모델에 적용하는 단계;
    상기 인공지능 모델은,
    상기 제2 인물에 대한 데이터로부터 상기 제2 인물의 안면 특징을 획득하고,
    상기 제2 인물의 안면 특징에 기초하여, 상기 제1 인물의 안면 특징을 수정함으로써 상기 제2 인물 이미지를 획득하는,
    방법.
  10. 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 전자 장치가 읽을 수 있는 적어도 하나의 명령어들이 저장된 기록 매체에 있어서, 상기 기록 매체는, 상기 전자 장치가 상기 적어도 하나의 명령어를 실행함으로써,
    상기 제1 인물 이미지를 식별하고,
    상기 제1 인물 이미지를 인공지능 모델에 적용하고,
    상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하고,
    상기 인공지능 모델은,
    안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고,
    화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고,
    상기 제2 인물 이미지를 상기 전자 장치로 출력하는,
    기록 매체.
  11. 인공지능 모델을 이용하여 저화질의 제1 인물 이미지에 대해서 이미지 프로세싱을 수행함으로써, 고화질의 제2 인물 이미지를 생성하는 전자 장치에 있어서,
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 적어도 하나의 명령어를 실행하는 프로세서를 포함하고,
    상기 프로세서는 상기 적어도 하나의 명령어를 실행함으로써,
    상기 제1 인물 이미지를 식별하고,
    상기 제1 인물 이미지를 인공지능 모델에 적용하고,
    상기 인공지능 모델로부터 출력되는 상기 제2 인물 이미지를 획득하고,
    상기 인공지능 모델은,
    안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지에 대해서 안면 식별 및 안면 인식을 수행함으로써, 제1 안면을 인식하고,
    화질 개선 인공지능 모델을 이용하여, 상기 제1 안면에 대응하는 영역에 대해서 화질을 개선하는 이미지 프로세싱을 수행함으로써, 제2 인물 이미지를 획득하고,
    상기 제2 인물 이미지를 상기 전자 장치로 출력하는,
    전자 장치.
  12. 제11항에 있어서,
    상기 인공지능 모델은,
    복수의 고화질 인물 이미지들의 각각이 변환된 복수의 저화질 인물 이미지 및 상기 복수의 고화질 인물 이미지를 학습 데이터로서 학습함으로써, 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    전자 장치.
  13. 제12항에 있어서,
    상기 인공지능 모델은,
    제1 고화질 인물 이미지와 상기 제1 고화질 인물 이미지에 대해서 이미지 열화가 적용됨으로써 생성된 제1 저화질 인물 이미지를 쌍으로 학습함으로써, 상기 제1 저화질 인물 이미지로부터 상기 제1 고화질 인물 이미지를 생성하도록 상기 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    전자 장치.
  14. 제11항에 있어서,
    상기 인공지능 모델은,
    인물별로 분류된 복수의 인물 이미지들을 이용하여 개인화 학습함으로써, 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델을 갱신하고,
    상기 갱신된 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 안면 및 상기 제1 안면에 대응하는 제1 인물을 식별하고,
    상기 제1 인물에 대하여 갱신된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제2 인물 이미지를 획득하는,
    전자 장치.
  15. 제14항에 있어서,
    상기 인공지능 모델은,
    상기 개인화 학습으로 갱신된 상기 안면 인식 인공지능 모델 및 화질 개선 인공지능 모델에 대해서 경량화를 수행하고,
    상기 경량화된 안면 인식 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 인물을 식별하고,
    상기 경량화된 화질 개선 인공지능 모델을 이용하여, 상기 제1 인물 이미지로부터 상기 제1 인물에 대해서 화질을 개선한 상기 제2 인물 이미지를 획득하는,
    전자 장치.
PCT/KR2022/002649 2021-03-09 2022-02-23 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법 WO2022191474A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22767370.4A EP4303805A1 (en) 2021-03-09 2022-02-23 Electronic device for improving quality of image and method for improving quality of image by using same
CN202280019697.XA CN116964619A (zh) 2021-03-09 2022-02-23 用于增强图像质量的电子设备以及通过使用该电子设备增强图像质量的方法
US18/244,088 US20230419721A1 (en) 2021-03-09 2023-09-08 Electronic device for improving quality of image and method for improving quality of image by using same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0030934 2021-03-09
KR1020210030934A KR20220126535A (ko) 2021-03-09 2021-03-09 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/244,088 Continuation US20230419721A1 (en) 2021-03-09 2023-09-08 Electronic device for improving quality of image and method for improving quality of image by using same

Publications (1)

Publication Number Publication Date
WO2022191474A1 true WO2022191474A1 (ko) 2022-09-15

Family

ID=83226884

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/002649 WO2022191474A1 (ko) 2021-03-09 2022-02-23 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법

Country Status (5)

Country Link
US (1) US20230419721A1 (ko)
EP (1) EP4303805A1 (ko)
KR (1) KR20220126535A (ko)
CN (1) CN116964619A (ko)
WO (1) WO2022191474A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024096662A1 (ko) * 2022-11-04 2024-05-10 삼성전자 주식회사 투명 배경 이미지의 화질을 분석 및 개선하는 전자 장치, 동작 방법, 및 저장 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061028A (ko) * 2012-11-13 2014-05-21 재단법인대구경북과학기술원 주파수 성분과 영역 분할을 이용한 고해상도 얼굴 영상 복원 장치 및 방법
KR101737619B1 (ko) * 2016-11-30 2017-05-19 윈스로드(주) 얼굴 인식 장치 및 방법
JP2019501454A (ja) * 2016-03-03 2019-01-17 三菱電機株式会社 画像をアップサンプリングするコンピューターシステム及び方法
KR20200075063A (ko) * 2018-12-07 2020-06-26 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR102132690B1 (ko) * 2019-01-30 2020-07-13 인천대학교 산학협력단 초고해상도 영상 복원 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140061028A (ko) * 2012-11-13 2014-05-21 재단법인대구경북과학기술원 주파수 성분과 영역 분할을 이용한 고해상도 얼굴 영상 복원 장치 및 방법
JP2019501454A (ja) * 2016-03-03 2019-01-17 三菱電機株式会社 画像をアップサンプリングするコンピューターシステム及び方法
KR101737619B1 (ko) * 2016-11-30 2017-05-19 윈스로드(주) 얼굴 인식 장치 및 방법
KR20200075063A (ko) * 2018-12-07 2020-06-26 주식회사 포스코아이씨티 딥러닝 기반의 얼굴이미지 추출장치
KR102132690B1 (ko) * 2019-01-30 2020-07-13 인천대학교 산학협력단 초고해상도 영상 복원 시스템

Also Published As

Publication number Publication date
KR20220126535A (ko) 2022-09-16
EP4303805A1 (en) 2024-01-10
US20230419721A1 (en) 2023-12-28
CN116964619A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2018117428A1 (en) Method and apparatus for filtering video
WO2020085694A1 (ko) 이미지 획득 장치 및 그의 제어 방법
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2018143630A1 (ko) 상품을 추천하는 디바이스 및 방법
WO2020067633A1 (en) Electronic device and method of obtaining emotion information
EP3539056A1 (en) Electronic apparatus and operation method thereof
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2019027141A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE OPERATION OF A VEHICLE
WO2020179995A1 (ko) 전자 장치 및 이의 제어 방법
WO2021112631A1 (en) Device, method, and program for enhancing output content through iterative generation
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021006482A1 (en) Apparatus and method for generating image
WO2019050297A1 (ko) 뉴럴 네트워크 학습 방법 및 장치
WO2021150033A1 (en) Electronic device and controlling method of electronic device
EP3820369A1 (en) Electronic device and method of obtaining emotion information
WO2020159241A1 (ko) 이미지를 처리하기 위한 방법 및 그에 따른 장치
WO2022191474A1 (ko) 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
WO2019107674A1 (en) Computing apparatus and information input method of the computing apparatus
WO2021040192A1 (ko) 인공지능 모델을 학습시키는 시스템 및 방법
EP3545685A1 (en) Method and apparatus for filtering video
WO2019190142A1 (en) Method and device for processing image
EP3707678A1 (en) Method and device for processing image
WO2019231068A1 (en) Electronic device and control method thereof
WO2019088338A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22767370

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280019697.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022767370

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022767370

Country of ref document: EP

Effective date: 20231006