WO2021029719A1 - Computing apparatus for converting image and method for operating same - Google Patents

Computing apparatus for converting image and method for operating same Download PDF

Info

Publication number
WO2021029719A1
WO2021029719A1 PCT/KR2020/010810 KR2020010810W WO2021029719A1 WO 2021029719 A1 WO2021029719 A1 WO 2021029719A1 KR 2020010810 W KR2020010810 W KR 2020010810W WO 2021029719 A1 WO2021029719 A1 WO 2021029719A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dci
srgb
transformed
neural network
Prior art date
Application number
PCT/KR2020/010810
Other languages
French (fr)
Korean (ko)
Inventor
송원석
백준기
문영수
이상수
정유선
박관우
유수환
임영훈
Original Assignee
삼성전자주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 중앙대학교 산학협력단 filed Critical 삼성전자주식회사
Publication of WO2021029719A1 publication Critical patent/WO2021029719A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Definitions

  • the present disclosure relates to a computing device that converts an image and a method of operating the same, and more particularly, to a computing device that performs a function of converting a gamut of an input image, and an operating method thereof.
  • Images may be displayed according to various color gamuts.
  • Encoded video which is usually played on a personal computer, generally has a color gamut of sRGB (standard red green blue).
  • sRGB standard red green blue
  • an image reproduced in a movie theater has a Digital Cinema Initiative-P3 (DCI-P3) color gamut and is packaged in a Digital Cinema Package (DCP).
  • DCI-P3 Digital Cinema Initiative-P3
  • the DCI-P3 gamut covers a wider range of colors than the sRGB gamut. Accordingly, a DCI-P3 color gamut image reproduced in a movie theater or the like may have a richer color than an encoded image reproduced in a personal computer. However, in order to reproduce rich colors in a DCI-P3 gamut image, the display device must also support the DCI-P3 gamut.
  • an encoded video may be converted into a DCI-P3 color gamut according to the contents of the Society of Motion Picture and Television Engineers (SMPTE) standard.
  • SMPTE Society of Motion Picture and Television Engineers
  • the converted image is a method for displaying an image having a narrow gamut without color distortion in a display device having a wide gamut, and actual gamut expansion is not performed. Accordingly, there is a need for an image conversion method capable of achieving substantial gamut expansion.
  • the present disclosure is a method and a computing device for converting the color gamut of an input image to the same or similar to the color of an image of a DCI-P3 gamut for the same content as the input image in converting the gamut of an input image into a DCI-P3 gamut It aims to provide.
  • FIG. 1 is a diagram illustrating a concept of a method for converting an image by a computing device according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for describing a general color gamut.
  • FIG. 3 is a flowchart illustrating a method of converting an image by the computing device 100 according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a method of converting an image based on a neural network by the computing device 100 according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an operation of an error removal module of a computing device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram for describing a method of training a neural network to output a transformed image according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram for describing a method of training a neural network to output a residual image according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram showing the structure of a general CNN.
  • FIG. 9 is a diagram illustrating a method of converting an image using a CNN according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a method of generating input data for a neural network using a DCI-P3 image and an sRGB image related to content according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content according to an embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in a La * b * color space according to an embodiment of the present disclosure.
  • FIG. 13 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in an HSV gamut and an image in a La * b * color space according to an embodiment of the present disclosure to be.
  • FIG. 14 is a block diagram illustrating a configuration of a computing device according to an embodiment of the present disclosure.
  • 15 is a block diagram illustrating a configuration of a processor according to an embodiment of the present disclosure by dividing it in terms of learning and processing a neural network.
  • 16 is a diagram illustrating an example in which a data learning unit is mounted on a server and a data processing unit is mounted on a user computing device according to an embodiment of the present disclosure.
  • 17 is a diagram illustrating an example in which both a data learning unit and a data processing unit are mounted on a server according to an embodiment of the present disclosure.
  • a method of converting an image using a computing device includes: obtaining a first sRGB image having a gamut of sRGB (standard red green blue) for content; Obtaining a first transformed image obtained by converting a gamut of the first sRGB image into a gamut of a Digital Cinema Initiative-P3 (DCI-P3) using a neural network; And a final transformed image obtained by converting the color gamut of the first sRGB image to a DCI-P3 gamut based on the second transformed image and the first transformed image generated by applying a first color transform matrix to the first sRGB image. And generating.
  • a first sRGB image having a gamut of sRGB (standard red green blue) for content includes: obtaining a first sRGB image having a gamut of sRGB (standard red green blue) for content; Obtaining a first transformed image obtained by converting a gamut of the first sRGB image into a gamut of a Digital Cinema Initiative-
  • the method further comprises generating a binary map indicating an error in the first transformed image, and generating the final transformed image includes the second transforming And generating the final converted image based on an image, the first converted image, and the binary map.
  • generating a binary map indicating an error in the first transformed image includes a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image Determining; And determining a region in which the pixel value difference is greater than or equal to a reference value as a portion in which an error occurs in the first transformed image.
  • the method further includes training the neural network, and the training of the neural network comprises: a first DCI-P3 having a color gamut of DCI-P3 for the content.
  • Including the step, wherein the obtaining of the first transformed image may include obtaining the first transformed image by dividing the estimated residual image output from the neural network from the first sRGB image.
  • the method further includes training the neural network, and the training of the neural network comprises: a first DCI-P3 having a color gamut of DCI-P3 for the content.
  • Training to be minimized, and obtaining the first transformed image includes the second transformed image generated by applying the first color transform matrix to the first sRGB image and output from the neural network. It may include the step of obtaining the first transformed image by differentiating the estimated residual
  • the training of the neural network may include: obtaining a first La * b * image obtained by converting a color space of the first DCI-P3 image into a La * b * color space; Obtaining a second La * b * image obtained by converting the color space of the second DCI-P3 image into a La * b * color space; Obtaining a residual image between the first La * b * image and the second La * b * image as the actual residual image; And the neural network, when the second La * b * image is input as input data, outputs a third estimated residual image of the second La * b * image, and between the third estimated residual image and the actual residual image.
  • the step of training to minimize the difference may include the step of obtaining the first transformed image by differentiating the estimated residual image.
  • the training of the neural network may include obtaining an HSV image obtained by converting a color space of the second DCI-P3 image into a hue, saturation, value (HSV) color space. Step to do; Obtaining a second sLa * b * image obtained by combining a saturation channel of the HSV image and the second La * b * image; And the neural network, when the second sLa * b * image is input as input data, outputs a fourth estimated residual image for the second sLa * b * image, and between the fourth estimated residual image and the actual residual image.
  • the step of training to minimize the difference the step of obtaining the first transformed image, the estimated residual image output from the neural network from the first sLa * b * image transformed from the second transformed image
  • the difference may include obtaining the first transformed image.
  • a computing device for converting an image includes: a memory storing one or more instructions; And a first sRGB image having a gamut of sRGB (standard red green blue) for content by executing the one or more instructions, and DCI-P3 for the gamut of the first sRGB image using a neural network.
  • a second transformed image and the first transformed image generated by obtaining a first transformed image converted into a gamut of (Digital Cinema Initiative-P3) and applying a first color transform matrix to the first sRGB image,
  • a computer-readable recording medium storing one or more programs according to an embodiment of the present disclosure
  • the one or more programs when executed by one or more processors of the computing device, cause the computing device to:
  • a first sRGB image having a gamut of sRGB (standard red green blue) is obtained, and the color gamut of the first sRGB image is converted to a color gamut of the Digital Cinema Initiative-P3 (DCI-P3) using a neural network.
  • DCI-P3 Digital Cinema Initiative-P3
  • the color gamut of the first sRGB image is DCI-P3 gamut Contains commands that cause the final converted image to be generated.
  • the term "user” refers to a person who controls a function or operation of a computing device using a control device, and may include a viewer, an administrator, or an installer.
  • sRGB image refers to an image having a standard Red Green Blue (sRGB) color gamut.
  • DCI-P3 image refers to an image having a Digital Cinema Initiative-P3 (DCI-P3) color gamut.
  • La * b * image refers to an image having a CIE (Commission on Illumination) La * b * color space.
  • HSV image refers to an image having a color space of HSV (hue, saturation, value).
  • sLa * b * image means an image that combines the saturation channel of the HSV image and the La * b * image.
  • FIG. 1 is a diagram illustrating a concept of a method for converting an image by a computing device 100 according to an embodiment of the present disclosure.
  • the computing device 100 transmits an input sRGB image 10 having a gamut of sRGB (standard red green blue) using a neural network (Digital Cinema Initiative-P3) (DCI-P3). It can be converted into an output DCI-P3 image 20 having a gamut of.
  • DCI-P3 Digital Cinema Initiative-P3
  • the DCI-P3 color gamut is the color gamut of video files that are mainly played in a digital cinema theater or played by a video projector.
  • the DCI-P3 color gamut may be a gamut of an image reproduced by a digital cinema package (DCP), which is a distribution file package for a theater.
  • DCP digital cinema package
  • the sRGB gamut is a gamut of video files that are mainly used for download or streaming services on the Internet or played on a general-purpose computer.
  • the sRGB gamut may be a gamut of an image file according to a format such as AVI, MPEG, H.264, WMV, or MOV.
  • the image converted by the computing device 100 using the neural network is not limited to an image having an sRGB gamut.
  • an encoded image having a different color gamut such as Adobe RGB, may be input to the neural network and converted into an output DCI-P3 image 20 having a color gamut of DCI-P3.
  • a human detectable gamut 210, sRGB gamut 220, DCI-P3 gamut 230, and Rec. 2020 (or BT.2020) gamut 240 is shown.
  • the DCI-P3 gamut is wider than the sRGB gamut. Accordingly, a viewer can enjoy an image of a richer color gamut when viewing an image having a DCI-P3 gamut compared to a case of viewing an image having an sRGB gamut.
  • the color gamut of an image may be converted from sRGB to DCI-P3 using an equation or matrix.
  • the output DCI-P3 image 20 may be generated by applying a transformation matrix according to the standard of the Society of Motion Picture and Television Engineers (SMPTE), an expert group related to the media industry, to the input sRGB image 10.
  • SMPTE Society of Motion Picture and Television Engineers
  • the method of converting the gamut of an image using a transformation matrix is to convert an sRGB image of an already narrow gamut to use some of the DCI-P3 gamut, which is a relatively wide gamut, due to limitations such as that only linear transformation is possible. It just makes it possible, but the actual color gamut of the image is not expanded. Accordingly, an image of a DCI-P3 color gamut converted using the SMPTE standard may be less rich in color than an original DCI-P3 image.
  • the computing device 100 converts the input sRGB image 10 into an output DCI-P3 image 20 using a neural network, so that the converted image is An image can be transformed to be similar to an image having an actual DCI-P3 color gamut. That is, the computing device 100 converts the color gamut of the input sRGB image 10 using a neural network, so that the output DCI-P3 image 20 having the same color as or similar to the color of the original DCI-P3 image for the same content. Can be created.
  • FIG. 3 is a flowchart illustrating a method of converting an image by the computing device 100 according to an embodiment of the present disclosure.
  • the computing device 100 may acquire a first sRGB image having a gamut of a standard red green blue (sRGB) for content.
  • sRGB standard red green blue
  • the first sRGB image is an image to be converted into a DCI-P3 color gamut.
  • the computing device 100 may acquire a first sRGB image in which the original has an sRGB gamut.
  • the computing device 100 may acquire the first sRGB image by converting an original image having a color gamut other than the sRGB gamut.
  • image transformation for obtaining the first sRGB image may be performed using a transformation matrix according to the SMPTE standard.
  • the computing device 100 converts the color gamut of the first sRGB image to the color gamut of the Digital Cinema Initiative-P3 (DCI-P3) using a neural network.
  • DCI-P3 Digital Cinema Initiative-P3
  • the neural network may be trained to transform a gamut of an input image.
  • the neural network used for the computing device 100 to transform an image may include, for example, a convolutional neural network (CNN), but is of course not limited to CNN, and various networks such as a Generative Adversarial Network (GAN) Can be used.
  • CNN convolutional neural network
  • GAN Generative Adversarial Network
  • the computing device 100 may train the neural network to output a first transformed image. Further, the computing device 100 may process the first sRGB image and train to output the first transformed image when the neural network receives the processed image. In addition, the computing device 100 may train the neural network to output a residual image related to the first sRGB image.
  • the residual image may be an image representing a difference between an image having an actual DCI-P3 color gamut and an image originally converted to a DCI-P3 gamut for the same content.
  • the computing device 100 comprises a first sRGB image based on a second transformed image and a first transformed image generated by applying a first color transform matrix to the first sRGB image.
  • a final converted image may be generated by converting the color gamut of the image to the DCI-P3 gamut.
  • the first color transformation matrix may include at least one transformation matrix according to the SMPTE standard.
  • the first color conversion matrix may include an RGB to X'Y'Z' conversion matrix and an X'Y'Z' to DCI-P3 conversion matrix according to the SMPTE standard.
  • the computing device 100 generates a second transformed image converted into a DCI-P3 color gamut by applying the first color transform matrix to the first sRGB image.
  • at least one gamma conversion and at least one inverse gamma conversion may be applied to convert the first sRGB image to the second converted image. That is, the second converted image may mean that the color gamut of the image is converted from the sRGB gamut to the DCI-P3 gamut according to the content of the SMPTE standard.
  • the computing device 100 may generate a final transformed image by combining the first transformed image and the second transformed image.
  • the computing device 100 may generate a final transformed image by applying and combining at least one preset weight to each of the first transformed image and the second transformed image.
  • the weight one weight may be applied to one image, or different weights may be applied for each region by dividing the image into a plurality of regions.
  • the computing device 100 may detect an error in the first transformed image and correct an error in the first transformed image based on the second transformed image. For example, the computing device 100 generates a binary map representing a portion in which a saturation error occurs in the first transformed image, and generates a final transformed image by combining the first transformed image and the second transformed image based on the binary map. can do.
  • a method in which the computing device 100 corrects an error and generates a final converted image will be described in detail with reference to FIG. 5.
  • FIG. 4 is a diagram illustrating a method of converting an image based on a neural network by the computing device 100 according to an embodiment of the present disclosure.
  • the computing device 100 includes a neural network-based image conversion module 410.
  • the computing device 100 may further include at least one of a matrix transformation module 420, an error removal module 430, and an image combining module 440.
  • the neural network-based image conversion module 410 may receive a first sRGB image 401 having a color gamut of sRGB for content.
  • the neural network-based image conversion module 410 may convert the color gamut of the input first sRGB image 401 into the DCI-P3 gamut based on the neural network, and the first sRGB image 401 is converted
  • the image 402 can be output.
  • the computing device 100 may determine and output the first transformed image 402 as a final transformed image.
  • the first converted image 402 may contain an error when compared with the first sRGB image 401 that is an original image. For example, color saturation may occur in a portion of the first transformed image 402.
  • the first sRGB image 401 is converted to a color gamut of DCI-P3 according to the content of the SMPTE standard rather than a partial area in the first converted image 402 converted based on the neural network.
  • a corresponding area of the image 403 may have less errors such as color distortion.
  • the computing device 100 may combine the first transformed image 402 and the second transformed image 403.
  • the matrix conversion module 420 may convert a color gamut of the first sRGB image 401 into a DCI-P3 gamut by applying a transformation matrix according to the content of the SMPTE standard to the first sRGB image 401.
  • a method of generating a second transformed image by converting the gamut of the first sRGB image 401 by the matrix transformation module 420 corresponds to the contents described in step 330 of FIG. 3.
  • the image combining module 440 may generate a final transformed image 404 by combining the first transformed image 402 and the second transformed image 403.
  • the method of generating the final converted image 404 by the image combining module 440 corresponds to the contents described in step 330 of FIG. 3.
  • the computing device 100 may further include an error removing module 430.
  • the error removal module 430 detects a region in which an error occurs in the first transformed image 402 in which the first sRGB image 401 is converted based on a neural network, and an error occurs in the first transformed image 403.
  • the image from which the region has been removed may be output to the image combining module 440.
  • the error removal module 430 determines a pixel value difference between each pixel in the first sRGB image 401 and each pixel in the first converted image 402, and determines a region in which the pixel value difference is greater than or equal to the reference value. It may be determined as a part in which an error has occurred in the converted image 402. Alternatively, the error removal module 430 may convert a region in which the ratio of the pixel value of each pixel in the first sRGB image 401 and the pixel value of each pixel in the first converted image 402 is equal to or greater than a predetermined ratio to the first converted image ( In 402), it can be determined as the part where the error has occurred.
  • the method of determining the portion where the error occurs in the first converted image 402 by the error removal module 430 is not limited to the above-described example and may be variously determined.
  • the image combining module 440 combines the region corresponding to the region in which an error occurs in the first transformed image 402 in the second transformed image 403 and the region in which the error does not occur in the first transformed image 402 By doing so, the final converted image can be generated. That is, the image combining module 440 uses the corresponding area of the image converted to the DCI-P3 gamut according to the content of the SMPTE standard for the area where the error occurs in the image converted to the DCI-P3 gamut based on the neural network. Thus, a final converted image can be generated.
  • the error removal module 430 may remove an error in the first transformed image 402 by generating and using a binary map. Referring to FIG. 5, the error removal module 430 may generate a binary map 502 indicating a portion 501 in which an error such as saturation error or color saturation occurs in the first converted image 402.
  • the binary map 502 may be a map having a value of 0 for a part 501 in which an error occurs and 1 for a part that does not.
  • the image combining module 440 receives the binary map 502 from the error removal module 430, applies the binary map 502 to the first transformed image 402 and the second transformed image 403, and combines it. I can. For example, the image combining module 440 multiplies the first transformed image 402 by the binary map 502, the second transformed image 403 is multiplied by inverting the binary map 502, and the binary map 502 You can combine two images to which is applied.
  • the image combining module 440 may effectively remove an error in the transformed image based on the neural network by generating the final transformed image 404 based on the binary map 502.
  • FIG. 6 is a diagram for describing a method of training a neural network to output a transformed image according to an embodiment of the present disclosure.
  • the neural network 610 may be trained to output a first transformed image 603 having a DCI-P3 color gamut when receiving a first sRGB image 601 having an sRGB gamut.
  • a loss function 620 may be additionally used to train the neural network 610.
  • an original DCI-P3 image 602 related to the same content as the first sRGB image 601 may exist.
  • the original DCI-P3 image 602 refers to an image in which the original itself has a DCI-P3 color gamut, not an image converted from the first sRGB image 601.
  • Data corresponding to the difference between the first transformed image 603 and the original DCI-P3 image 602 (the original itself has a DCI-P3 gamut) may be generated by the loss function 620, and a neural network ( The 610 may receive data corresponding to the difference and update the neural network 610.
  • FIG. 7 is a diagram for describing a method of training a neural network to output a residual image according to an embodiment of the present disclosure.
  • the neural network 710 converts the color space of the first sRGB image 701 or the first sRGB image 701 having an sRGB color gamut into La * b * color space.
  • the * b * image 702 When the * b * image 702 is input, it may be trained to output an estimated residual image 704 for the first sRGB image 701.
  • the residual image may mean an image corresponding to a difference between an image predicted in a DCI-P3 gamut and an actual sRGB image for the same content. That is, the estimated residual image 704 for the first sRGB image 701 is a DCI-P3 image predicted to be generated when the color gamut of the first sRGB image 701 is converted to a DCI-P3 gamut, It may mean an image corresponding to a difference between 1 sRGB images 701. Alternatively, the estimated residual image 704 to the DCI-P3 picture is predicted corresponding to the difference between the color space La * b * are converted to the color space La * b * image with claim 1 La * b * image (702) It can also mean video.
  • the computing device 100 may generate a final transformed image by combining the first sRGB image 701 with the estimated residual image 704 output from the neural network.
  • the loss function 720 may be additionally used to train the neural network 710.
  • the actual residual image 703 may mean an image corresponding to a difference between the first sRGB image 701 and the original DCI-P3 image related to the same content as the first sRGB image 701.
  • the actual residual image 703 refers to an image corresponding to the difference between the second La * b * image and the first La * b * image 702 in which the original DCI-P3 image was converted to La * b * color space. You may.
  • Data corresponding to the difference between the estimated residual image 704 and the actual residual image 703 may be generated by the loss function 720, and the neural network 710 receives data corresponding to the difference and receives the neural network 710. ) Can be updated.
  • FIG. 8 is a diagram showing the structure of a general CNN.
  • the neural network used by the computing device 100 to transform an image may include, for example, a CNN 800.
  • the CNN 800 may include a convolutional feature extraction portion 810 and a classification portion 820.
  • the CNN 800 may extract features of an input image through convolutional layers, and classify them using an existing neural network based on the extracted features.
  • the convolutional layer serves to extract features from input data, and may consist of a filter that extracts features and an activation function that converts a filter value into a nonlinear value.
  • the filter can be said to be a function that detects whether the feature of the image to be extracted is present in the target data.
  • the value can be activated by applying an activation function to the feature map.
  • Representative activation functions include Sigmoid and Relu functions.
  • the extracted features are subjected to a sub-sampling process as necessary.
  • the sub-sampling process is to reduce the amount of computation by reducing the size of the extracted feature map, and is also called pooling.
  • the extracted feature values can be applied to the existing neural network to classify them.
  • a Softmax function is used. Can be.
  • a lower-level feature may include more local features such as a person's eyes or nose, and the higher-level feature may include a more general feature such as an entire human face.
  • FIG. 9 is a diagram illustrating a method of converting an image using a CNN according to an embodiment of the present disclosure.
  • the gamut of the computing device 100 is sLa learning network 910 based on CNN (or the neural network) * b * image input to 901, and sLa * b * image (901)
  • a first transformed image 903 converted into a DCI-P3 color gamut may be generated.
  • the computing device 100 acquires an HSV image obtained by converting a color space of a first sRGB image into a hue, saturation, value (HSV) color space, and saturation in the HSV image. (Saturation)
  • the channel image 901-1 may be separated.
  • the computing device 100 combines the La * b * image 901-2 obtained by converting the first sRGB image into a La * b * color space and the saturation channel image 901-1, thereby combining the sLa * b * image ( 901) can be obtained.
  • the computing device 100 inputs an sLa * b * image 901 or a La * b * image 901-2 to the learning network 910, and the estimated residual image output from the learning network 910 (902) can be obtained.
  • the estimated residual image 902 may be a residual image having a La * b * color space.
  • the computing device 100 combines (or differentiates) the estimated residual image 902 and the sLa * b * image 901, and applies a matrix according to the SMPTE standard to the combined image to change the color gamut from La * b * to DCI- By converting 920 to P3, a first converted image 903 may be generated.
  • the computing device 100 when the computing device 100 inputs only the La * b * image 901-2 except the saturation channel image 901-1 to the learning network 910, sLa * b * Compared to the case of inputting the image 901, a more accurate estimated residual image 902 may be obtained. That is, the computing device 100 receives the La * b * image 901-2 and outputs the La * b * image 901-2 and the chroma channel image 901-in the estimated residual image 902. By combining 1), an accurate first transformed image 903 may be generated.
  • FIG. 10 is a diagram illustrating a method of generating input data for a neural network using a DCI-P3 image and an sRGB image related to content according to an embodiment of the present disclosure.
  • a computing device 100 uses a first sRGB image ( f sRGB ) and a first DCI-P3 image ( f P3 ) for the same content to be used as a training set 1020. ), the input data and the actual residual image f Res may be generated or acquired.
  • Each of the first sRGB image ( f sRGB ) and the first DCI-P3 image ( f P3 ) may mean an original image whose color gamut has not been converted from another image.
  • the computing device 100 may include an sRGB to DCI-P3 conversion module 1010.
  • the sRGB to DCI-P3 conversion module 1010 may convert the first sRGB image f sRGB into a second DCI-P3 image f′ P3 according to the SMPTE standard.
  • Computing device 100 may input a first image 2 DCI-P3 (f 'P3) of claim 1 or sRGB image (f sRGB) as input data to the neural network. That is, the computing device 100 may input an original sRGB image to a neural network or an image in which the original sRGB image is converted into a DCI-P3 color gamut.
  • the neural network may be trained to output an estimated residual image for a first sRGB image or a first transformed image in a DCI-P3 gamut.
  • computing device 100 may generate the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 Video (f P3) image of the actual residual image (f Res) corresponding to the difference.
  • an actual residual image f Res may be used as ground truth for learning transformation performance of a neural network.
  • the actual residual image f Res may be transferred to the loss function 720 of FIG. 7.
  • the loss function 720 generates data corresponding to the difference between the actual residual image f Res and the estimated residual image 704 output from the neural network 710, and converts data corresponding to the estimated difference into the neural network 710 ), the neural network can be updated by back-propagation.
  • an original sRGB image (a first sRGB image ( f sRGB )) is converted into a DCI-P3 color gamut according to the SMPTE standard (a second DCI-P3 image ( , by receiving input to P3)), converted to DCI-P3 gamut image (claim 2 DCI-P3 image (f 'f between P3)) of the original DCI-P3 image (claim 1 DCI-P3 video (f P3))
  • a Digital Cinema Package may be used to train a neural network.
  • the DCP is a package that includes various information on content, and may include, for example, eXtensible Markup Language (XML) including information on movie content, and Material eXchange Format (MXF) for video and audio.
  • XML eXtensible Markup Language
  • MXF Material eXchange Format
  • the computing device 100 or the neural network receives an sRGB image (or other encoded image) and a DCP for the same content, and reproduces the color of the sRGB image (or other encoded image) in a movie theater by DCP. It can be converted to a color that is the same or similar to the video being used.
  • FIG. 11 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content according to an embodiment of the present disclosure.
  • the computing device 100 uses a first DCI-P3 image ( f P3 ) regarding content as a training set 1130, and input data and an actual residual image ( f Res ) can be created or acquired. That is, compared with FIG. 10, in FIG. 10, only the first DCI-P3 image f P3 is used as the original image, and the first sRGB image f sRGB is not used. It is the same in FIGS. 12 and 13 that the first sRGB image f sRGB is not used as the original.
  • the computing device 100 may include an sRGB to DCI-P3 conversion module 1110 and an sRGB to DCI-P3 conversion module 1120.
  • sRGB to DCI-P3 conversion module 1110 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard.
  • sRGB to DCI-P3 conversion module 1120 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard.
  • Computing device 100 may input a first image 2 DCI-P3 (f 'P3) of claim 2 or sRGB image (f' sRGB) as input data to the neural network. That is, the computing device 100 to the neural network image source DCI-P3 (claim 1 DCI-P3 Video (f P3)) is input to the image (claim 2 sRGB image (f 'sRGB)) converted to the sRGB gamut, or claim 2 sRGB image (f can enter the 'sRGB) is again DCI-P3 image (claim 2 DCI-P3 video (f converted into the gamut' P3)).
  • Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on.
  • computing device 100 may generate the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 Video (f P3) image of the actual residual image (f Res) corresponding to the difference. Since the contents of the actual residual image f Res correspond to the contents described in FIG. 10, overlapping contents are omitted.
  • the input data preprocessing method described with reference to FIG. 11 by generating input data for a neural network using only the first DCI-P3 image ( f P3 ) without using the original sRGB image, one original source, the first An error or color degradation that may occur in the process of reducing the color gamut of the DCI-P3 image ( f P3 ) to the sRGB gamut and expanding it to the DCI-P3 gamut may be considered for training the neural network.
  • FIG. 12 is a diagram illustrating a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in a La * b * color space according to an embodiment of the present disclosure.
  • the computing device 100 uses a first DCI-P3 image f P3 regarding content as a training set 1240 and input data and an actual residual image f Res La*b* ) can be created or acquired.
  • the computing device 100 includes an sRGB to DCI-P3 conversion module 1210, an sRGB to DCI-P3 conversion module 1220, and a DCI-P3 to La * b * conversion module 1230. It may include. sRGB to DCI-P3 conversion module 1210 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard. sRGB to DCI-P3 conversion module 1220 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard.
  • DCI-P3 to La * b * conversion module 1230 the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 video claim 2 La to (f P3) each * b * image (f' P3 La *b* ) and the first La * b * image ( f P3 La * b * ).
  • Computing device 100 may enter the first 2 La * b * image (f 'P3 La * b * ) as the input data to the neural network. That is, the computing device 100 to the neural network image source DCI-P3 (claim 1 DCI-P3 Video (f P3)) is converted to the sRGB color gamut (claim 2 sRGB image (f 'sRGB)) followed DCI-P3 gamut the image (claim 2 DCI-P3 video (f converted to 'P3)) the La * b * color space, the image converted into the (first 2 La * b * image (f' P3 La * b *)) can enter the have.
  • Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on.
  • computing device 100 of claim 2 La * b * image (f 'P3 La * b * ) and the 1 La * b * video image of the actual residual image corresponding to the difference between (f P3 La * b *) ( f Res La*b* ) can be created.
  • the contents of the actual residual image f Res La*b* correspond to the contents described in FIG. 10 except that they have a La * b * color space, and thus overlapping contents are omitted.
  • input data pre-processing method described in converts the conversion process via the 2 DCI-P3 image (f 'P3) and the source of claim 1 DCI-P3 Video (f P3) to La * b * color space, a picture (the 2 La * b * image (f 'P3 La * b * ) and a 1 La * b * image (f P3 La * b *) ) by using a by training the neural network, the neural network output It is possible to increase the accuracy of the estimated residual image or the first transformed image.
  • the neural network can be trained so that the color of the estimated residual image or the final transformed image generated based on the first transformed image is more similar to the color of the original DCI-P3 image (the first DCI-P3 image ( f P3 )). have.
  • FIG. 13 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in an HSV gamut and an image in a La * b * color space according to an embodiment of the present disclosure to be.
  • the computing device 100 uses a first DCI-P3 image ( f P3 ) related to content as a training set 1360 as input data and an actual residual image ( f Res La*b* ) can be created or acquired.
  • the computing device 100 includes an sRGB to DCI-P3 conversion module 1310, an sRGB to DCI-P3 conversion module 1320, and a DCI-P3 to La * b * conversion module 1330 , DCI-P3 to HSV conversion module 1340 and a combination module 1350 may be included.
  • sRGB to DCI-P3 conversion module 1310 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard.
  • sRGB to DCI-P3 conversion module 1320 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard.
  • DCI-P3 to La * b * conversion module 1330 is the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 video claim 2 La to (f P3) each * b * image (f' P3 La *b* ) and the first La * b * image ( f P3 La * b * ).
  • DCI-P3 to HSV transformation module 1340 is the "saturation channel image (f, by separating the (P3 saturation Convert to HSV images, and in the HSV video (Saturation) channel P3 sat) of claim 2 DCI-P3 image f) ' Can be generated.
  • Coupling module 1350 is saturation channel image (f 'P3 sat) and claim 2 La * b * image (f' P3 La * b * ) by a coupling (concatenate) sLa * b * image (f 'P3 sLa * b * ) Can be created.
  • Computing device 100 may enter a sLa * b * image (f 'P3 sLa * b * ) as the input data to the neural network.
  • Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on.
  • computing device 100 of claim 1 La * b * image (f 'P3 La * b *), the input and the estimated residual image and the saturation channel image (f output from the neural network' P3 as input data to the neural network sat ) can be combined to generate the first transformed image.
  • the neural network is sLa * b * image (f 'P3 sLa * b * ) receives input of, claim 1 La * b * image (f' P3 La * b * ) converting the estimated residual image, and estimated residual image and by combining the saturation channel image (f 'P3 sat) it can be trained to output a first converted image. That is, the neural network training method described in FIG. 13 may correspond to details of the neural network training method described in FIG. 9.
  • computing device 100 of claim 2 La * b * image (f 'P3 La * b * ) and the 1 La * b * video image of the actual residual image corresponding to the difference between (f P3 La * b *) ( f Res La*b* ) can be created.
  • the contents of the actual residual image f Res La*b* correspond to the contents described in FIG. 10 except that they have a La * b * color space, and thus overlapping contents are omitted.
  • the "cost of claim 1 La produced from (P3 * b * image (f P3 La * b *) and chroma channel image (f 2 DCI-P3 image f)" P3 sat) the combined sLa * b * image (f 'P3 sLa * b * ) has a by training the neural network can increase the accuracy of the estimated residual image or the first image to convert the neural network output is used. That is, the neural network can be trained so that the color of the estimated residual image or the final transformed image generated based on the first transformed image is more similar to the color of the original DCI-P3 image (the first DCI-P3 image ( f P3 )). have.
  • FIG. 14 is a block diagram illustrating a configuration of a computing device 100 according to an embodiment of the present disclosure.
  • the computing device 100 may include a processor 1401 and a memory 1402.
  • the computing device 100 may further include a display 1403.
  • the computing device 100 may be implemented by more components than the illustrated components, and some components may be omitted.
  • various modules of the computing device 100 described above with reference to FIGS. 1 to 13 may be included in the processor 1401, or operations of various modules may be performed by the processor 1401.
  • the processor 1401 controls the overall operation of the computing device 100.
  • the processor 1401 may perform a function of the computing device 100 described in the present disclosure by executing one or more instructions stored in the memory 1402.
  • the processor 1401 may convert a gamut of an image from sRGB to DCI-P3 using a learning model using a neural network and output the converted image.
  • the processor 1401 may execute one or more instructions stored in the memory 1402 and control the above-described operations to be performed.
  • the memory 1402 may store one or more instructions executable by the processor 1401.
  • the processor 1401 may control the above-described operations to be performed by storing one or more instructions in an internally provided memory and executing one or more instructions stored in an internally provided memory. have. That is, the processor 1401 may perform a predetermined operation by executing at least one instruction or program stored in an internal memory or memory 1402 provided in the processor 1401.
  • processor 1401 is shown in FIG. 14, a plurality of processors (not shown) may be provided. In this case, each of the operations performed by the computing device 100 according to an embodiment of the present disclosure may be performed through at least one of a plurality of processors.
  • the processor 1401 acquires a first sRGB image having a gamut of sRGB (standard red green blue) for content, and uses a neural network to obtain a gamut of the first sRGB image. Based on the second transformed image and the first transformed image generated by acquiring a first transformed image converted into a color gamut of DCI-P3 (Digital Cinema Initiative-P3) and applying a first color transform matrix to the first sRGB image Thus, a final converted image obtained by converting the color gamut of the first sRGB image to the DCI-P3 gamut may be generated.
  • DCI-P3 Digital Cinema Initiative-P3
  • the processor 1401 generates a binary map indicating an error in the first transformed image, and generates a final transformed image based on the second transformed image, the first transformed image, and the binary map. Can be generated.
  • the processor 1401 determines a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image, and determines a region in which the pixel value difference is greater than or equal to a reference value in the first transformed image. It can be determined as the part where the error occurred.
  • the processor 1401 obtains a first DCI-P3 image having a color gamut of DCI-P3 for content, and an actual residual image between the second transformed image and the first DCI-P3 image ( residual image), and training to minimize the difference between the first estimated residual image and the actual residual image by obtaining a neural network and outputting a first estimated residual image for the first sRGB image when the first sRGB image is input as input data
  • the first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the first sRGB image.
  • the processor 1401 acquires a first DCI-P3 image having a color gamut of DCI-P3 for content, and applies a second color conversion matrix to the first DCI-P3 image.
  • 2 Generate a sRGB image, generate a second DCI-P3 image by applying a first color conversion matrix to the second sRGB image, obtain an actual residual image between the second DCI-P3 image and the first DCI-P3 image,
  • the neural network is trained to output a second estimated residual image for the second DCI-P3 image and minimize the difference between the second estimated residual image and the actual residual image
  • the first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the second transformed image generated by applying the first color transform matrix to the first sRGB image.
  • the processor 1401 obtains a first La * b * image obtained by converting a color space of a first DCI-P3 image into a La * b * color space, and a second DCI-P3 image A second La * b * image obtained by converting the color space of La * b * into a La * b * color space is obtained, and a residual image between the first La * b * image and the second La * b * image is obtained as an actual residual image,
  • the neural network is trained to output a third estimated residual image for the second La * b * image and minimize the difference between the third estimated residual image and the actual residual image.
  • the first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the image transformed from the color space of the second transformed image into La * b * color space.
  • the processor 1401 obtains an HSV image obtained by converting a color space of a second DCI-P3 image into a hue, saturation, value (HSV) color space, and If a second sLa * b * image is obtained by combining a saturation channel and a second La * b * image, and a neural network, a second sLa * b * image is input as input data, a second sLa * b * image
  • the estimated residual image output from the neural network in the first sLa * b * image obtained by outputting the fourth estimated residual image of, training to minimize the difference between the fourth estimated residual image and the actual residual image, and transforming the second transformed image
  • the first transformed image may be obtained by differentiating.
  • the memory 1402 may store a program for processing and controlling the processor 1401, and may store data input to the computing device 100 or output from the computing device 100. have.
  • the memory 1402 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), and RAM.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic disk And at least one type of storage medium among optical disks.
  • FIG. 15 is a block diagram illustrating a configuration of a processor 1500 according to an embodiment of the present disclosure by dividing it in terms of learning and processing a neural network.
  • a processor 1500 may include a data learning unit 1510 and a data processing unit 1520.
  • the processor 1500 may correspond to the processor 1401 of the computing device 100 of FIG. 14.
  • the data learning unit 1510 may learn a criterion for converting a gamut of an input image or generating a residual image corresponding to an input image in order to learn a neural network according to an embodiment of the present disclosure.
  • the data learning unit 1510 may learn a criterion regarding which information (eg, feature information) of the input image is used to convert a gamut of the input image or generate a residual image corresponding to the input image.
  • the data learning unit 1510 may learn a criterion for how to convert a color gamut of an image or generate a residual image corresponding to an input image, using feature information of the image.
  • the data learning unit 1510 acquires data (e.g., an image) to be used for learning, and applies the acquired data to a data processing model (neural network), thereby converting the color gamut of the input image or corresponding to the input image.
  • a criterion for generating a residual image can be learned.
  • the data processing model (eg, neural network) may be constructed in consideration of an application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data processing models may be, for example, models based on a neural network.
  • a model such as a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as a data processing model, but is not limited thereto.
  • DNN deep neural network
  • CNN convolutional neural network
  • RNN recurrent neural network
  • BTDNN bidirectional recurrent deep neural network
  • the data learning unit 1510 may train data processing models using, for example, a learning algorithm including error back-propagation or gradient descent.
  • the data learning unit 1510 may train the data processing model through supervised learning using, for example, training data as an input value.
  • the data learning unit 1510 for example, by self-learning the types of data necessary for data processing without any special guidance, through unsupervised learning to discover the criteria for data processing, data processing You can train the model.
  • the data learning unit 1510 may train a data processing model through reinforcement learning using feedback on whether a result value according to the learning is correct, for example.
  • the data learning unit 1510 may store the learned data processing model.
  • the data learning unit 1510 may store the learned data processing models in the memory of the computing device.
  • the data learning unit 1510 may store the learned data processing model in a memory of a server connected to the computing device through a wired or wireless network.
  • the data processing unit 1520 inputs an image to a data processing model including the learned neural network, and the data processing model outputs an image obtained by converting the gamut of the input image as a result value or a residual image corresponding to the input image as a result.
  • the output result value may be used to update a data processing model including a neural network.
  • At least one of the data learning unit 1510 and the data processing unit 1520 may be manufactured in the form of at least one hardware chip and mounted on a computing device.
  • at least one of the data learning unit 1510 and the data processing unit 1520 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU or application processor) or a graphics dedicated processor (eg, GPU).
  • AI artificial intelligence
  • an existing general-purpose processor eg, CPU or application processor
  • a graphics dedicated processor eg, GPU
  • the data learning unit 1510 and the data processing unit 1520 may provide model information built by the data learning unit 1510 to the data processing unit 1520 using a wired connection or a wireless connection, or the data processing unit ( The data input to 1520 may be provided to the data learning unit 1510 as additional learning data.
  • At least one of the data learning unit 1510 and the data processing unit 1520 may be implemented as a software module.
  • the software module is a computer-readable non-transitory reading It may be stored in a non-transitory computer readable media.
  • at least one software module may be provided by an operating system (OS) or a predetermined application.
  • OS operating system
  • OS operating system
  • some of the at least one software module may be provided by an operating system (OS), and the remaining part may be provided by a predetermined application.
  • the data learning unit 1510 and the data processing unit 1520 may be mounted on one computing device, or may be mounted on separate computing devices, respectively.
  • one of the data learning unit 1510 and the data processing unit 1520 may be included in the computing device, and the other may be included in the server.
  • the data learning unit 1510 and the data processing unit 1520 are mounted on a user computing device, so that both learning and data processing may be performed by the user computing device.
  • the user computing device may correspond to the computing device 100 of FIG. 14.
  • the data learning unit 1510 is mounted on a server to learn, and the data processing unit 1520 including a model on which the learning has been completed may be mounted on a user computing device.
  • FIG. 16 is a diagram illustrating an example in which the data learning unit 1510 is mounted on the server 1610 and the data processing unit 1520 is mounted on the user computing device 1620 according to an embodiment of the present disclosure.
  • the server 1610 may acquire an image transformation neural network model by learning a method of transforming a gamut of an input image according to the method disclosed in the present disclosure using the data learning unit 1510.
  • the server 1610 may provide the learned neural network model to the user computing device 1620.
  • the user computing device 1620 may implement the data processing unit 1520 using the learned neural network model received from the server 1610.
  • the user computing device 1620 converts the gamut of the image according to the user's request using the data processing unit 1520 mounted on itself without communication with the server 1610, The converted image may be output on the display of 1620.
  • 17 is a diagram illustrating an example in which both the data learning unit 1510 and the data processing unit 1520 are mounted on the server 1610 according to an embodiment of the present disclosure.
  • both the data learning unit 1510 and the data processing unit 1520 are mounted on the server 1610. Therefore, the server 1610 acquires an image transformation neural network model by learning a method of transforming the gamut of an image according to the method disclosed in the present disclosure using the data learning unit 1510 and uses the acquired image transformation neural network model.
  • a data processing unit 1520 may be implemented.
  • the user computing device 1620 transmits an image synthesis request to the server 1610, and the server 1610 uses the mounted data processing unit 1520 to convert the image according to the user's request.
  • the converted image may be generated by transforming the gamut of and the image conversion result may be transmitted to the user computing device 1620 so that the converted image may be displayed on the display of the user computing device 1620.
  • a method of operating a computing device may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

A method for converting an image by using a computing apparatus is disclosed. The method comprises the steps of: acquiring a first standard red-green-blue (sRGB) image having an sRGB color gamut for a content; acquiring a first converted image obtained by converting the color gamut of the first sRGB image into a color gamut of a digital cinema initiative-P3 (DCI-P3) by using a neural network; and on the basis of a second converted image, generated by applying a first color conversion matrix to the first sRGB image, and the first converted image, generating a final converted image obtained by converting the color gamut of the first sRGB image into the DCI-P3 color gamut.

Description

영상을 변환하는 컴퓨팅 장치 및 그 동작 방법Computing device for converting an image and its operating method
본 개시는 영상을 변환하는 컴퓨팅 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 입력 영상의 색역을 변환하는 기능을 수행하는 컴퓨팅 장치 및 그 동작 방법에 관한 것이다.The present disclosure relates to a computing device that converts an image and a method of operating the same, and more particularly, to a computing device that performs a function of converting a gamut of an input image, and an operating method thereof.
영상은 다양한 색역(Color gamut)에 따라 디스플레이될 수 있다. 보통 개인 컴퓨터 등에서 재생되는 인코딩 영상은 일반적으로 sRGB(standard Red Green Blue)의 색역을 갖는다. 보통 영화관 등에서 재생되는 영상은 DCI-P3(Digital Cinema Initiative-P3) 색역을 가지며, DCP(Digital Cinema Package)로 패키징되어 있다. Images may be displayed according to various color gamuts. Encoded video, which is usually played on a personal computer, generally has a color gamut of sRGB (standard red green blue). Usually, an image reproduced in a movie theater has a Digital Cinema Initiative-P3 (DCI-P3) color gamut and is packaged in a Digital Cinema Package (DCP).
DCI-P3 색역은 sRGB 색역보다 넓은 범위의 색을 포함한다. 따라서, 영화관 등에서 재생되는 DCI-P3 색역의 영상은 개인 컴퓨터 등에서 재생되는 인코딩영상보다 풍부한 색상을 가질 수 있다. 단, DCI-P3 색역 영상의 풍부한 색상을 재생하기 위해서는 디스플레이 장치도 DCI-P3 색역을 지원해야 한다.The DCI-P3 gamut covers a wider range of colors than the sRGB gamut. Accordingly, a DCI-P3 color gamut image reproduced in a movie theater or the like may have a richer color than an encoded image reproduced in a personal computer. However, in order to reproduce rich colors in a DCI-P3 gamut image, the display device must also support the DCI-P3 gamut.
이 때, DCI-P3의 색역을 가지는 디스플레이 장치에서 sRGB 색역의 인코딩 영상을 재생하는 경우 인코딩 영상을 DCI-P3 색역으로 변환함으로써 사용자에게 풍부한 색상의 색상을 제공하기 위한 방법이 존재한다. 예를 들면, SMPTE(Society of Motion Picture and Television Engineers) 표준의 내용에 따라서 인코딩 영상을 DCI-P3 색역으로 변환할 수 있다. 그러나, 변환된 영상은 색역이 넓은 디스플레이 장치에서 색상의 왜곡 없이 색역이 좁은 영상을 보여주기 위한 방법이며, 실질적인 색역의 확장은 이루어지지 않는다. 따라서, 실질적인 색역 확장을 달성할 수 있는 영상 변환 방법이 요구된다.In this case, when playing an encoded image of an sRGB gamut in a display device having a color gamut of DCI-P3, there is a method for providing a user with rich colors by converting the encoded image to a DCI-P3 gamut. For example, an encoded video may be converted into a DCI-P3 color gamut according to the contents of the Society of Motion Picture and Television Engineers (SMPTE) standard. However, the converted image is a method for displaying an image having a narrow gamut without color distortion in a display device having a wide gamut, and actual gamut expansion is not performed. Accordingly, there is a need for an image conversion method capable of achieving substantial gamut expansion.
본 개시는 입력 영상의 색역을 DCI-P3 색역으로 변환하는 데에 있어서, 입력 영상과 동일한 컨텐트에 관한 DCI-P3 색역의 영상의 색상과 동일 또는 유사하도록 입력 영상의 색역을 변환하는 방법 및 컴퓨팅 장치를 제공하는 것을 목적으로 한다.The present disclosure is a method and a computing device for converting the color gamut of an input image to the same or similar to the color of an image of a DCI-P3 gamut for the same content as the input image in converting the gamut of an input image into a DCI-P3 gamut It aims to provide.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치가 영상을 변환하는 방법의 개념을 설명하기 위한 도면이다.1 is a diagram illustrating a concept of a method for converting an image by a computing device according to an embodiment of the present disclosure.
도 2는 일반적인 색역(Color Gamut)을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a general color gamut.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 영상을 변환하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of converting an image by the computing device 100 according to an embodiment of the present disclosure.
도 4는 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 뉴럴 네트워크를 기반으로 영상을 변환하는 방법을 설명하기 위한 도면이다.4 is a diagram illustrating a method of converting an image based on a neural network by the computing device 100 according to an embodiment of the present disclosure.
도 5는 본 개시의 일 실시예에 따른 컴퓨팅 장치의 오류 제거 모듈의 동작을 설명하기 위한 도면이다.5 is a diagram illustrating an operation of an error removal module of a computing device according to an embodiment of the present disclosure.
도 6은 본 개시의 일 실시예에 따른, 변환 영상을 출력하도록 뉴럴 네트워크를 트레이닝 하는 방법을 설명하기 위한 도면이다.6 is a diagram for describing a method of training a neural network to output a transformed image according to an embodiment of the present disclosure.
도 7은 본 개시의 일 실시예에 따른, 잔차 영상을 출력하도록 뉴럴 네트워크를 트레이닝 하는 방법을 설명하기 위한 도면이다.7 is a diagram for describing a method of training a neural network to output a residual image according to an embodiment of the present disclosure.
도 8은 일반적인 CNN의 구조를 나타내는 도면이다.8 is a diagram showing the structure of a general CNN.
도 9는 본 개시의 일 실시예에 따른 CNN을 이용하여 영상을 변환하는 방법을 설명하기 위한 도면이다. 9 is a diagram illustrating a method of converting an image using a CNN according to an embodiment of the present disclosure.
도 10은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상 및 sRGB 영상을 이용하여 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.10 is a diagram illustrating a method of generating input data for a neural network using a DCI-P3 image and an sRGB image related to content according to an embodiment of the present disclosure.
도 11은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.11 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content according to an embodiment of the present disclosure.
도 12는 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 La *b * 색 공간의 영상으로 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.FIG. 12 is a diagram illustrating a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in a La * b * color space according to an embodiment of the present disclosure.
도 13은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 HSV 색역의 영상 및 La *b * 색 공간의 영상으로 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.FIG. 13 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in an HSV gamut and an image in a La * b * color space according to an embodiment of the present disclosure to be.
도 14는 본 개시의 일 실시예에 따른 컴퓨팅 장치의 구성을 나타내는 블록도이다.14 is a block diagram illustrating a configuration of a computing device according to an embodiment of the present disclosure.
도 15는 본 개시의 일 실시예에 따른 프로세서의 구성을 뉴럴 네트워크의 학습과 처리 면에서 구분하여 설명하기 위한 블록도이다. 15 is a block diagram illustrating a configuration of a processor according to an embodiment of the present disclosure by dividing it in terms of learning and processing a neural network.
도 16은 본 개시의 일 실시예에 따른 데이터 학습부는 서버에 탑재되고 데이터 처리부는 사용자 컴퓨팅 장치에 탑재된 예를 나타내는 도면이다.16 is a diagram illustrating an example in which a data learning unit is mounted on a server and a data processing unit is mounted on a user computing device according to an embodiment of the present disclosure.
도 17은 본 개시의 일 실시예에 따른 데이터 학습부 및 데이터 처리부가 모두 서버에 탑재된 예를 나타내는 도면이다.17 is a diagram illustrating an example in which both a data learning unit and a data processing unit are mounted on a server according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따른 컴퓨팅 장치를 이용하여 영상을 변환하는 방법은, 컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하는 단계; 뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하는 단계; 및 상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하는 단계를 포함한다. A method of converting an image using a computing device according to an embodiment of the present disclosure includes: obtaining a first sRGB image having a gamut of sRGB (standard red green blue) for content; Obtaining a first transformed image obtained by converting a gamut of the first sRGB image into a gamut of a Digital Cinema Initiative-P3 (DCI-P3) using a neural network; And a final transformed image obtained by converting the color gamut of the first sRGB image to a DCI-P3 gamut based on the second transformed image and the first transformed image generated by applying a first color transform matrix to the first sRGB image. And generating.
본 개시의 일 실시예에 따르면, 상기 방법은, 상기 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하는 단계를 더 포함하고, 상기 최종 변환 영상을 생성하는 단계는, 상기 제2 변환 영상, 상기 제1 변환 영상 및 상기 이진 지도에 기초하여 상기 최종 변환 영상을 생성하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, the method further comprises generating a binary map indicating an error in the first transformed image, and generating the final transformed image includes the second transforming And generating the final converted image based on an image, the first converted image, and the binary map.
본 개시의 일 실시예에 따르면, 상기 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하는 단계는, 상기 제1 sRGB 영상 내의 각 픽셀과 상기 제1 변환 영상 내의 각 픽셀 간의 픽셀값 차이를 결정하는 단계; 및 상기 픽셀값 차이가 기준값 이상인 영역을 상기 제1 변환 영상에서 오류가 발생한 부분으로 결정하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, generating a binary map indicating an error in the first transformed image includes a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image Determining; And determining a region in which the pixel value difference is greater than or equal to a reference value as a portion in which an error occurs in the first transformed image.
본 개시의 일 실시예에 따르면, 상기 방법은, 상기 뉴럴 네트워크를 트레이닝하는 단계를 더 포함하고, 상기 뉴럴 네트워크를 트레이닝하는 단계는, 상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하는 단계; 상기 제2 변환 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상(residual image)을 획득하는 단계; 및 상기 뉴럴 네트워크를, 상기 제1 sRGB 영상이 입력 데이터로서 입력되면 상기 제1 sRGB 영상에 관한 제1 추정 잔차 영상을 출력하고 상기 제1 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 포함하고, 상기 제1 변환 영상을 획득하는 단계는, 상기 제1 sRGB 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, the method further includes training the neural network, and the training of the neural network comprises: a first DCI-P3 having a color gamut of DCI-P3 for the content. Obtaining an image; Acquiring a real residual image between the second transformed image and the first DCI-P3 image; And training the neural network to output a first estimated residual image of the first sRGB image when the first sRGB image is input as input data, and to minimize a difference between the first estimated residual image and the actual residual image. Including the step, wherein the obtaining of the first transformed image may include obtaining the first transformed image by dividing the estimated residual image output from the neural network from the first sRGB image.
본 개시의 일 실시예에 따르면, 상기 방법은, 상기 뉴럴 네트워크를 트레이닝하는 단계를 더 포함하고, 상기 뉴럴 네트워크를 트레이닝하는 단계는, 상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하는 단계; 상기 제1 DCI-P3 영상에 제2 색 변환 행렬을 적용함으로써 제2 sRGB 영상을 생성하는 단계; 상기 제2 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 제2 DCI-P3 영상을 생성하는 단계; 상기 제2 DCI-P3 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상을 획득하는 단계; 및 상기 뉴럴 네트워크를, 상기 제2 DCI-P3 영상이 입력 데이터로서 입력되면 상기 제2 DCI-P3 영상에 관한 제2 추정 잔차 영상을 출력하고 상기 제2 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 포함하고, 상기 제1 변환 영상을 획득하는 단계는, 상기 제1 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 생성된 상기 제2 변환 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, the method further includes training the neural network, and the training of the neural network comprises: a first DCI-P3 having a color gamut of DCI-P3 for the content. Obtaining an image; Generating a second sRGB image by applying a second color conversion matrix to the first DCI-P3 image; Generating a second DCI-P3 image by applying the first color conversion matrix to the second sRGB image; Acquiring an actual residual image between the second DCI-P3 image and the first DCI-P3 image; And outputting a second estimated residual image of the second DCI-P3 image when the second DCI-P3 image is input as input data to the neural network, and calculating a difference between the second estimated residual image and the actual residual image. Training to be minimized, and obtaining the first transformed image includes the second transformed image generated by applying the first color transform matrix to the first sRGB image and output from the neural network. It may include the step of obtaining the first transformed image by differentiating the estimated residual image.
본 개시의 일 실시예에 따르면, 상기 뉴럴 네트워크를 트레이닝하는 단계는, 상기 제1 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제1 La *b * 영상을 획득하는 단계; 상기 제2 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제2 La *b * 영상을 획득하는 단계; 상기 제1 La *b * 영상과 상기 제2 La *b * 영상 간의 잔차 영상을 상기 실제 잔차 영상으로서 획득하는 단계; 및 상기 뉴럴 네트워크를, 상기 제2 La *b * 영상이 입력 데이터로서 입력되면 상기 제2 La *b * 영상에 관한 제3 추정 잔차 영상을 출력하고 상기 제3 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 더 포함하고, 상기 제1 변환 영상을 획득하는 단계는, 상기 제2 변환 영상의 색 공간을 La *b * 색 공간으로 변환한 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, the training of the neural network may include: obtaining a first La * b * image obtained by converting a color space of the first DCI-P3 image into a La * b * color space; Obtaining a second La * b * image obtained by converting the color space of the second DCI-P3 image into a La * b * color space; Obtaining a residual image between the first La * b * image and the second La * b * image as the actual residual image; And the neural network, when the second La * b * image is input as input data, outputs a third estimated residual image of the second La * b * image, and between the third estimated residual image and the actual residual image. The step of training to minimize the difference, the step of obtaining the first transformed image, in the image converted from the color space of the second transformed image to La * b * color space, the output from the neural network It may include the step of obtaining the first transformed image by differentiating the estimated residual image.
본 개시의 일 실시예에 따르면, 상기 뉴럴 네트워크를 트레이닝하는 단계는, 상기 제2 DCI-P3 영상의 색 공간(color space)을 HSV(hue, saturation, value) 색 공간으로 변환한 HSV 영상을 획득하는 단계; 상기 HSV 영상의 채도(Saturation) 채널과 상기 제2 La *b * 영상을 결합한 제2 sLa *b * 영상을 획득하는 단계; 및 상기 뉴럴 네트워크를, 상기 제2 sLa *b * 영상이 입력 데이터로서 입력되면 상기 제2 sLa *b * 영상에 관한 제4 추정 잔차 영상을 출력하고 상기 제4 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 더 포함하고, 상기 제1 변환 영상을 획득하는 단계는, 상기 제2 변환 영상을 변환한 제1 sLa *b * 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함할 수 있다. According to an embodiment of the present disclosure, the training of the neural network may include obtaining an HSV image obtained by converting a color space of the second DCI-P3 image into a hue, saturation, value (HSV) color space. Step to do; Obtaining a second sLa * b * image obtained by combining a saturation channel of the HSV image and the second La * b * image; And the neural network, when the second sLa * b * image is input as input data, outputs a fourth estimated residual image for the second sLa * b * image, and between the fourth estimated residual image and the actual residual image. The step of training to minimize the difference, the step of obtaining the first transformed image, the estimated residual image output from the neural network from the first sLa * b * image transformed from the second transformed image The difference may include obtaining the first transformed image.
본 개시의 일 실시예에 따른 영상을 변환하는 컴퓨팅 장치는, 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행함으로써, 컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하고, 뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하고, 상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하는 적어도 하나의 프로세서를 포함한다. A computing device for converting an image according to an embodiment of the present disclosure includes: a memory storing one or more instructions; And a first sRGB image having a gamut of sRGB (standard red green blue) for content by executing the one or more instructions, and DCI-P3 for the gamut of the first sRGB image using a neural network. On the basis of the second transformed image and the first transformed image generated by obtaining a first transformed image converted into a gamut of (Digital Cinema Initiative-P3) and applying a first color transform matrix to the first sRGB image, And at least one processor for generating a final converted image obtained by converting a color gamut of the first sRGB image into a DCI-P3 gamut.
본 개시의 일 실시예에 따른 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 하나 이상의 프로그램들은, 컴퓨팅 장치의 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금: 컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하고, 뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하고, 상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하게 하는 명령어들을 포함한다.In a computer-readable recording medium storing one or more programs according to an embodiment of the present disclosure, the one or more programs, when executed by one or more processors of the computing device, cause the computing device to: A first sRGB image having a gamut of sRGB (standard red green blue) is obtained, and the color gamut of the first sRGB image is converted to a color gamut of the Digital Cinema Initiative-P3 (DCI-P3) using a neural network. Based on the second transformed image and the first transformed image generated by obtaining a first transformed image and applying a first color transform matrix to the first sRGB image, the color gamut of the first sRGB image is DCI-P3 gamut Contains commands that cause the final converted image to be generated.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.The terms used in the present specification will be briefly described, and the present disclosure will be described in detail.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present disclosure have selected general terms that are currently widely used as possible while considering functions in the present disclosure, but this may vary according to the intention or precedent of a technician engaged in the art, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, not the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit" and "module" described in the specification mean units that process at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
아래에서는 첨부한 도면을 참조하여 실시예들에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the embodiments. However, the present disclosure may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in the drawings, parts not related to the description are omitted in order to clearly describe the present disclosure, and similar reference numerals are attached to similar parts throughout the specification.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 컴퓨팅 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다. In the embodiments of the present specification, the term "user" refers to a person who controls a function or operation of a computing device using a control device, and may include a viewer, an administrator, or an installer.
이하에서, "sRGB 영상"은 sRGB(standard Red Green Blue) 색역(color gamut)을 갖는 영상을 의미한다. 마찬가지로, "DCI-P3 영상"은 DCI-P3(Digital Cinema Initiative-P3) 색역을 갖는 영상을 의미한다. Hereinafter, “sRGB image” refers to an image having a standard Red Green Blue (sRGB) color gamut. Similarly, "DCI-P3 image" refers to an image having a Digital Cinema Initiative-P3 (DCI-P3) color gamut.
이하에서, "La *b * 영상"은 CIE(Commission on Illumination) La *b * 색 공간을 갖는 영상을 의미한다. 마찬가지로, "HSV 영상"은 HSV(hue, saturation, value)의 색 공간(color space)을 갖는 영상을 의미한다. "sLa *b * 영상"은 HSV 영상의 채도(saturation) 채널과 La *b * 영상을 결합한 영상을 의미한다. Hereinafter, "La * b * image" refers to an image having a CIE (Commission on Illumination) La * b * color space. Similarly, "HSV image" refers to an image having a color space of HSV (hue, saturation, value). "sLa * b * image" means an image that combines the saturation channel of the HSV image and the La * b * image.
이하 본 개시에 첨부된 도면을 참조하여 본 개시의 실시예들을 설명한다. Hereinafter, exemplary embodiments of the present disclosure will be described with reference to the accompanying drawings.
도 1은 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 영상을 변환하는 방법의 개념을 설명하기 위한 도면이다. 1 is a diagram illustrating a concept of a method for converting an image by a computing device 100 according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 입력 sRGB 영상(10)을 뉴럴 네트워크를 이용하여 DCI-P3(Digital Cinema Initiative-P3)의 색역을 갖는 출력 DCI-P3 영상(20)으로 변환할 수 있다. The computing device 100 according to an embodiment of the present disclosure transmits an input sRGB image 10 having a gamut of sRGB (standard red green blue) using a neural network (Digital Cinema Initiative-P3) (DCI-P3). It can be converted into an output DCI-P3 image 20 having a gamut of.
DCI-P3 색역은 주로 디지털 시네마 극장에서 재생되거나 영상 프로젝터에 의해 재생되는 영상 파일의 색역이다. 예를 들면, DCI-P3 색역은 극장용 배포 파일 패키지인 DCP(Digital Cinema Package)에 의해 재생되는 영상의 색역일 수 있다. sRGB 색역은 주로 인터넷 상에서 다운로드(Download)나 스트리밍(Streaming) 서비스에 이용되거나 범용 컴퓨터 상에서 재생되는 영상 파일의 색역이다. 예를 들면, sRGB 색역은 AVI, MPEG, H.264, WMV, MOV 등의 포맷에 따른 영상 파일의 색역일 수 있다. The DCI-P3 color gamut is the color gamut of video files that are mainly played in a digital cinema theater or played by a video projector. For example, the DCI-P3 color gamut may be a gamut of an image reproduced by a digital cinema package (DCP), which is a distribution file package for a theater. The sRGB gamut is a gamut of video files that are mainly used for download or streaming services on the Internet or played on a general-purpose computer. For example, the sRGB gamut may be a gamut of an image file according to a format such as AVI, MPEG, H.264, WMV, or MOV.
한편, 컴퓨팅 장치(100)가 뉴럴 네트워크를 이용하여 변환하는 영상은 sRGB 색역을 갖는 영상으로 제한되지 않는다. 예를 들면, Adobe RGB 등 임의의 다른 색역을 갖는 인코딩 영상이 뉴럴 네트워크에 입력되고, DCI-P3의 색역을 갖는 출력 DCI-P3 영상(20)으로 변환될 수 있다. Meanwhile, the image converted by the computing device 100 using the neural network is not limited to an image having an sRGB gamut. For example, an encoded image having a different color gamut, such as Adobe RGB, may be input to the neural network and converted into an output DCI-P3 image 20 having a color gamut of DCI-P3.
도 2를 참조하면, 사람이 감지할 수 있는 색역(210), sRGB 색역(220), DCI-P3 색역(230) 및 Rec.2020(또는, BT.2020) 색역(240)이 도시된다. 도 2에 도시된 바와 같이, DCI-P3 색역은 sRGB 색역보다 넓다. 따라서, 시청자는 sRGB 색역을 갖는 영상을 시청하는 경우와 비교하면 DCI-P3 색역을 갖는 영상을 시청하는 경우에 보다 풍부한 색역의 영상을 감상할 수 있다. Referring to FIG. 2, a human detectable gamut 210, sRGB gamut 220, DCI-P3 gamut 230, and Rec. 2020 (or BT.2020) gamut 240 is shown. As shown in FIG. 2, the DCI-P3 gamut is wider than the sRGB gamut. Accordingly, a viewer can enjoy an image of a richer color gamut when viewing an image having a DCI-P3 gamut compared to a case of viewing an image having an sRGB gamut.
한편, 영상의 색역은 수식 또는 행렬을 이용하여 sRGB 에서 DCI-P3로 변환될 수 있다. 예를 들면, 미디어 산업과 관련된 전문가 단체인 SMPTE(Society of Motion Picture and Television Engineers)의 표준에 따른 변환 행렬을 입력 sRGB 영상(10)에 적용함으로써 출력 DCI-P3 영상(20)이 생성될 수 있다. 그러나, 변환 행렬을 이용하여 영상의 색역을 변환하는 방법은, 선형적인 변환만 가능한 점 등의 한계로 인하여, 이미 좁아진 색역의 sRGB 영상을 상대적으로 넓은 색역인 DCI-P3 색역 중 일부를 사용하도록 변환시켜줄 뿐, 영상의 실질적인 색역이 확장되는 것은 아니다. 따라서, SMPTE 표준을 사용하여 변환된 DCI-P3 색역의 영상은 원래의 DCI-P3 영상보다 색상의 풍부함이 떨어질 수 있다.Meanwhile, the color gamut of an image may be converted from sRGB to DCI-P3 using an equation or matrix. For example, the output DCI-P3 image 20 may be generated by applying a transformation matrix according to the standard of the Society of Motion Picture and Television Engineers (SMPTE), an expert group related to the media industry, to the input sRGB image 10. . However, the method of converting the gamut of an image using a transformation matrix is to convert an sRGB image of an already narrow gamut to use some of the DCI-P3 gamut, which is a relatively wide gamut, due to limitations such as that only linear transformation is possible. It just makes it possible, but the actual color gamut of the image is not expanded. Accordingly, an image of a DCI-P3 color gamut converted using the SMPTE standard may be less rich in color than an original DCI-P3 image.
다시 도 1을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는, 뉴럴 네트워크를 이용하여 입력 sRGB 영상(10)을 출력 DCI-P3 영상(20)으로 변환함으로써, 변환된 영상이 실제 DCI-P3 색역을 갖는 영상과 유사하도록 영상을 변환할 수 있다. 즉, 컴퓨팅 장치(100)는 뉴럴 네트워크를 이용하여 입력 sRGB 영상(10)의 색역을 변환함으로써, 동일한 컨텐트에 관한 원본 DCI-P3 영상의 색상과 동일하거나 유사한 색상의 출력 DCI-P3 영상(20)을 생성할 수 있다.Referring back to FIG. 1, the computing device 100 according to an embodiment of the present disclosure converts the input sRGB image 10 into an output DCI-P3 image 20 using a neural network, so that the converted image is An image can be transformed to be similar to an image having an actual DCI-P3 color gamut. That is, the computing device 100 converts the color gamut of the input sRGB image 10 using a neural network, so that the output DCI-P3 image 20 having the same color as or similar to the color of the original DCI-P3 image for the same content. Can be created.
이하 본 개시의 도면을 참조하여 컴퓨팅 장치(100)가 뉴럴 네트워크를 영상을 변환하는 방법을 구체적으로 설명한다.Hereinafter, a method of converting an image from a neural network by the computing device 100 will be described in detail with reference to the drawings of the present disclosure.
도 3은 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 영상을 변환하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of converting an image by the computing device 100 according to an embodiment of the present disclosure.
단계 310에서, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는, 컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득할 수 있다. In operation 310, the computing device 100 according to an embodiment of the present disclosure may acquire a first sRGB image having a gamut of a standard red green blue (sRGB) for content.
제1 sRGB 영상은 DCI-P3 색역으로 변환할 대상인 영상이다. 컴퓨팅 장치(100)는 원본이 sRGB 색역을 갖는 제1 sRGB 영상을 획득할 수 있다. 또는, 컴퓨팅 장치(100)는 sRGB 색역 외에 다른 색역을 갖는 원본 영상을 변환함으로써 제1 sRGB 영상을 획득할 수도 있다. 예를 들면, 제1 sRGB 영상을 획득하기 위한 영상 변환은 SMPTE 표준에 따른 변환 행렬을 이용하여 수행될 수 있다. The first sRGB image is an image to be converted into a DCI-P3 color gamut. The computing device 100 may acquire a first sRGB image in which the original has an sRGB gamut. Alternatively, the computing device 100 may acquire the first sRGB image by converting an original image having a color gamut other than the sRGB gamut. For example, image transformation for obtaining the first sRGB image may be performed using a transformation matrix according to the SMPTE standard.
단계 320에서, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는, 뉴럴 네트워크를 이용하여 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득할 수 있다. 뉴럴 네트워크는 입력되는 영상의 색역을 변환하도록 트레이닝된 것일 수 있다. In step 320, the computing device 100 according to an embodiment of the present disclosure converts the color gamut of the first sRGB image to the color gamut of the Digital Cinema Initiative-P3 (DCI-P3) using a neural network. Can be obtained. The neural network may be trained to transform a gamut of an input image.
컴퓨팅 장치(100)가 영상을 변환하는 데에 이용되는 뉴럴 네트워크는, 예를 들면 CNN(Convolutional　Neural Network) 등을 포함할 수 있으나, 물론 CNN에 한정되지 않고 GAN(Generative Adversarial Network) 등 다양한 네트워크가 이용될 수 있다. The neural network used for the computing device 100 to transform an image may include, for example, a convolutional neural network (CNN), but is of course not limited to CNN, and various networks such as a Generative Adversarial Network (GAN) Can be used.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 뉴럴 네트워크가 제1 sRGB 영상을 입력 받으면 제1 변환 영상을 출력하도록 뉴럴 네트워크를 트레이닝할 수 있다. 또한, 컴퓨팅 장치(100)는 제1 sRGB 영상을 가공하고, 뉴럴 네트워크가 가공된 영상을 입력 받으면 제1 변환 영상을 출력하도록 트레이닝할 수 있다. 또한, 컴퓨팅 장치(100)는 뉴럴 네트워크가 제1 sRGB 영상에 관한 잔차 영상(residual image)을 출력하도록 트레이닝할 수 있다. 잔차 영상은 동일한 컨텐트에 대해, 실제 DCI-P3 색역을 갖는 영상과, 원래는 다른 색역을 갖는 영상이 DCI-P3 색역으로 변환된 영상 간의 차이를 나타내는 영상일 수 있다. 컴퓨팅 장치(100)가 뉴럴 네트워크를 트레이닝하는 방법에 관해서는 도 6 내지 도 17에서 자세히 설명한다. According to an embodiment of the present disclosure, when the neural network receives a first sRGB image, the computing device 100 may train the neural network to output a first transformed image. Further, the computing device 100 may process the first sRGB image and train to output the first transformed image when the neural network receives the processed image. In addition, the computing device 100 may train the neural network to output a residual image related to the first sRGB image. The residual image may be an image representing a difference between an image having an actual DCI-P3 color gamut and an image originally converted to a DCI-P3 gamut for the same content. A method for the computing device 100 to train a neural network will be described in detail with reference to FIGS. 6 to 17.
단계 330에서, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는, 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 제1 변환 영상에 기초하여, 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성할 수 있다. In step 330, the computing device 100 according to an embodiment of the present disclosure comprises a first sRGB image based on a second transformed image and a first transformed image generated by applying a first color transform matrix to the first sRGB image. A final converted image may be generated by converting the color gamut of the image to the DCI-P3 gamut.
본 개시의 일 실시예에 따르면, 제1 색 변환 행렬은 SMPTE 표준에 따른 적어도 하나의 변환 행렬을 포함할 수 있다. 예를 들어, 제1 색 변환 행렬은 SMPTE 표준에 따른 RGB to X'Y'Z' 변환 행렬 및 X'Y'Z' to DCI-P3 변환 행렬을 포함할 수 있다. 컴퓨팅 장치(100)는 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써, DCI-P3 색역으로 변환된 제2 변환 영상을 생성할 후 있다. 또한, 제1 sRGB 영상이 제2 변환 영상으로 변환되는 데에는 적어도 하나의 감마 변환(Gamma conversion) 및 적어도 하나의 감마 역변환(Inverse Gamma Conversion) 등이 적용될 수 있다. 즉, 제2 변환 영상은 SMPTE 표준의 내용에 따라 영상의 색역을 sRGB 색역에서 DCI-P3 색역으로 변환한 것을 의미할 수 있다. According to an embodiment of the present disclosure, the first color transformation matrix may include at least one transformation matrix according to the SMPTE standard. For example, the first color conversion matrix may include an RGB to X'Y'Z' conversion matrix and an X'Y'Z' to DCI-P3 conversion matrix according to the SMPTE standard. The computing device 100 generates a second transformed image converted into a DCI-P3 color gamut by applying the first color transform matrix to the first sRGB image. In addition, at least one gamma conversion and at least one inverse gamma conversion may be applied to convert the first sRGB image to the second converted image. That is, the second converted image may mean that the color gamut of the image is converted from the sRGB gamut to the DCI-P3 gamut according to the content of the SMPTE standard.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 제1 변환 영상 및 제2 변환 영상을 결합함으로써 최종 변환 영상을 생성할 수 있다. 예를 들면, 컴퓨팅 장치(100)는 제1 변환 영상 및 제2 변환 영상에 각각 적어도 하나의 기설정된 가중치를 적용하고 결합함으로써 최종 변환 영상을 생성할 수 있다. 가중치는 하나의 영상에 대해 하나의 가중치가 적용될 수 있고, 또는 영상을 복수의 영역으로 나누어서 각각의 영역 별로 서로 다른 가중치가 적용될 수도 있다. According to an embodiment of the present disclosure, the computing device 100 may generate a final transformed image by combining the first transformed image and the second transformed image. For example, the computing device 100 may generate a final transformed image by applying and combining at least one preset weight to each of the first transformed image and the second transformed image. As for the weight, one weight may be applied to one image, or different weights may be applied for each region by dividing the image into a plurality of regions.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 제1 변환 영상에서 오류를 감지하고, 제2 변환 영상에 기초하여 제1 변환 영상의 오류를 수정할 수 있다. 예를 들면, 컴퓨팅 장치(100)는 제1 변환 영상에서 채도 오류가 발생한 부분을 나타내는 이진 지도를 생성하고, 이진 지도에 기초하여 제1 변환 영상 및 제2 변환 영상을 결합함으로써 최종 변환 영상을 생성할 수 있다. 컴퓨팅 장치(100)가 오류를 수정하고 최종 변환 영상을 생성하는 방법에 대해서는 도 5에서 자세히 설명한다. According to an embodiment of the present disclosure, the computing device 100 may detect an error in the first transformed image and correct an error in the first transformed image based on the second transformed image. For example, the computing device 100 generates a binary map representing a portion in which a saturation error occurs in the first transformed image, and generates a final transformed image by combining the first transformed image and the second transformed image based on the binary map. can do. A method in which the computing device 100 corrects an error and generates a final converted image will be described in detail with reference to FIG. 5.
도 4는 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)가 뉴럴 네트워크를 기반으로 영상을 변환하는 방법을 설명하기 위한 도면이다.4 is a diagram illustrating a method of converting an image based on a neural network by the computing device 100 according to an embodiment of the present disclosure.
도 4를 참조하면, 컴퓨팅 장치(100)는 뉴럴 네트워크 기반 영상 변환 모듈(410)을 포함한다. 또한, 컴퓨팅 장치(100)는 매트릭스 변환 모듈(420), 오류 제거 모듈(430) 및 영상 결합 모듈(440) 중 적어도 하나를 더 포함할 수 있다. Referring to FIG. 4, the computing device 100 includes a neural network-based image conversion module 410. In addition, the computing device 100 may further include at least one of a matrix transformation module 420, an error removal module 430, and an image combining module 440.
본 개시의 일 실시예에 따르면, 뉴럴 네트워크 기반 영상 변환 모듈(410)은 컨텐트에 관한 sRGB의 색역을 갖는 제1 sRGB 영상(401)을 입력 받을 수 있다. 뉴럴 네트워크 기반 영상 변환 모듈(410)은 입력된 제1 sRGB 영상(401)의 색역을 DCI-P3 색역으로 뉴럴 네트워크를 기반으로 변환할 수 있고, 제1 sRGB 영상(401)이 변환된 제1 변환 영상(402)을 출력할 수 있다. According to an embodiment of the present disclosure, the neural network-based image conversion module 410 may receive a first sRGB image 401 having a color gamut of sRGB for content. The neural network-based image conversion module 410 may convert the color gamut of the input first sRGB image 401 into the DCI-P3 gamut based on the neural network, and the first sRGB image 401 is converted The image 402 can be output.
컴퓨팅 장치(100)는 제1 변환 영상(402)을 최종 변환 영상으로 결정하고 출력할 수 있다. 다만, 제1 변환 영상(402)은 원본 영상인 제1 sRGB 영상(401)과 비교할 때 오류를 포함할 수 있다. 예를 들면, 제1 변환 영상(402)의 일부의 영역에서 색 포화(color saturation)가 발생할 수 있다. 또는, 경우에 따라서는 제1 sRGB 영상(401)이 뉴럴 네트워크를 기반으로 변환된 제1 변환 영상(402) 내의 일부의 영역 보다 SMPTE 표준의 내용에 따라 DCI-P3의 색역으로 변환된 제2 변환 영상(403)의 대응되는 영역이 색상 왜곡 등의 오차가 더 적을 수 있다. The computing device 100 may determine and output the first transformed image 402 as a final transformed image. However, the first converted image 402 may contain an error when compared with the first sRGB image 401 that is an original image. For example, color saturation may occur in a portion of the first transformed image 402. Alternatively, in some cases, the first sRGB image 401 is converted to a color gamut of DCI-P3 according to the content of the SMPTE standard rather than a partial area in the first converted image 402 converted based on the neural network. A corresponding area of the image 403 may have less errors such as color distortion.
따라서, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 제1 변환 영상(402)을 제2 변환 영상(403)과 결합할 수 있다. 매트릭스 변환 모듈(420)은 제1 sRGB 영상(401)에 SMPTE 표준의 내용에 따른 변환 행렬을 적용함으로써 제1 sRGB 영상(401)의 색역을 DCI-P3 색역으로 변환할 수 있다. 매트릭스 변환 모듈(420)이 제1 sRGB 영상(401)의 색역을 변환하여 제2 변환 영상을 생성하는 방법은 도 3의 단계 330에서 설명한 내용에 대응된다. Accordingly, the computing device 100 according to an embodiment of the present disclosure may combine the first transformed image 402 and the second transformed image 403. The matrix conversion module 420 may convert a color gamut of the first sRGB image 401 into a DCI-P3 gamut by applying a transformation matrix according to the content of the SMPTE standard to the first sRGB image 401. A method of generating a second transformed image by converting the gamut of the first sRGB image 401 by the matrix transformation module 420 corresponds to the contents described in step 330 of FIG. 3.
본 개시의 일 실시예에 따르면, 영상 결합 모듈(440)은 제1 변환 영상(402)과 제2 변환 영상(403)을 결합함으로써 최종 변환 영상(404)을 생성할 수 있다. 영상 결합 모듈(440)이 최종 변환 영상(404)을 생성하는 방법은 도 3의 단계 330에서 설명한 내용에 대응된다. According to an embodiment of the present disclosure, the image combining module 440 may generate a final transformed image 404 by combining the first transformed image 402 and the second transformed image 403. The method of generating the final converted image 404 by the image combining module 440 corresponds to the contents described in step 330 of FIG. 3.
본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 오류 제거 모듈(430)을 더 포함할 수 있다. 오류 제거 모듈(430)은 제1 sRGB 영상(401)이 뉴럴 네트워크를 기반으로 변환된 제1 변환 영상(402) 내에서 오류가 발생한 영역을 감지하고, 제1 변환 영상(403)에서 오류가 발생한 영역을 제거한 영상을 영상 결합 모듈(440)로 출력할 수 있다. The computing device 100 according to an embodiment of the present disclosure may further include an error removing module 430. The error removal module 430 detects a region in which an error occurs in the first transformed image 402 in which the first sRGB image 401 is converted based on a neural network, and an error occurs in the first transformed image 403. The image from which the region has been removed may be output to the image combining module 440.
예를 들면, 오류 제거 모듈(430)은 제1 sRGB 영상(401) 내의 각 픽셀과 제1 변환 영상(402) 내의 각 픽셀 간의 픽셀값 차이를 결정하고, 픽셀값 차이가 기준값 이상인 영역을 제1 변환 영상(402)에서 오류가 발생한 부분으로 결정할 수 있다. 또는, 오류 제거 모듈(430)은 제1 sRGB 영상(401) 내의 각 픽셀의 픽셀값과 제1 변환 영상(402) 내의 각 픽셀의 픽셀값의 비율이 소정의 비율 이상인 영역을 제1 변환 영상(402)에서 오류가 발생한 부분으로 결정할 수 있다. 물론, 오류 제거 모듈(430)이 제1 변환 영상(402)에서 오류가 발생한 부분을 결정하는 방법은 전술한 예시에 한정되지 않고 다양하게 정해질 수 있다. For example, the error removal module 430 determines a pixel value difference between each pixel in the first sRGB image 401 and each pixel in the first converted image 402, and determines a region in which the pixel value difference is greater than or equal to the reference value. It may be determined as a part in which an error has occurred in the converted image 402. Alternatively, the error removal module 430 may convert a region in which the ratio of the pixel value of each pixel in the first sRGB image 401 and the pixel value of each pixel in the first converted image 402 is equal to or greater than a predetermined ratio to the first converted image ( In 402), it can be determined as the part where the error has occurred. Of course, the method of determining the portion where the error occurs in the first converted image 402 by the error removal module 430 is not limited to the above-described example and may be variously determined.
영상 결합 모듈(440)은 제2 변환 영상(403) 내에서 제1 변환 영상(402)에서 오류가 발생한 영역에 대응되는 영역과, 제1 변환 영상(402)에서 오류가 발생하지 않은 영역을 결합함으로써 최종 변환 영상을 생성할 수 있다. 즉, 영상 결합 모듈(440)은 뉴럴 네트워크를 기반으로 DCI-P3의 색역으로 변환된 영상에서 오류가 발생한 영역은 SMPTE 표준의 내용에 따라 DCI-P3의 색역으로 변환된 영상의 대응되는 영역을 사용하여 최종 변환 영상을 생성할 수 있다. The image combining module 440 combines the region corresponding to the region in which an error occurs in the first transformed image 402 in the second transformed image 403 and the region in which the error does not occur in the first transformed image 402 By doing so, the final converted image can be generated. That is, the image combining module 440 uses the corresponding area of the image converted to the DCI-P3 gamut according to the content of the SMPTE standard for the area where the error occurs in the image converted to the DCI-P3 gamut based on the neural network. Thus, a final converted image can be generated.
본 개시의 일 실시예에 따르면, 오류 제거 모듈(430)은 이진 지도를 생성하고 이용함으로써 제1 변환 영상(402)의 오류를 제거할 수 있다. 도 5를 참조하면, 오류 제거 모듈(430)은 제1 변환 영상(402)에서 채도 오류, 색 포화 등의 오류가 발생한 부분(501)을 나타내는 이진 지도(502)를 생성할 수 있다. 이진 지도(502)는 오류가 발생한 부분(501)는 0, 그렇지 않은 부분은 1의 값을 갖는 지도일 수 있다. According to an embodiment of the present disclosure, the error removal module 430 may remove an error in the first transformed image 402 by generating and using a binary map. Referring to FIG. 5, the error removal module 430 may generate a binary map 502 indicating a portion 501 in which an error such as saturation error or color saturation occurs in the first converted image 402. The binary map 502 may be a map having a value of 0 for a part 501 in which an error occurs and 1 for a part that does not.
영상 결합 모듈(440)은 오류 제거 모듈(430)으로부터 이진 지도(502)를 전달 받고, 제1 변환 영상(402) 및 제2 변환 영상(403)에 이진 지도(502)를 각각 적용하고 결합할 수 있다. 예를 들면, 영상 결합 모듈(440)은 제1 변환 영상(402)에 이진 지도(502)를 곱하고, 제2 변환 영상(403)에는 이진 지도(502)를 반전하여 곱하고, 이진 지도(502)가 적용된 두 영상을 결합할 수 있다. 영상 결합 모듈(440)은 이진 지도(502)에 기초하여 최종 변환 영상(404)을 생성함으로써 뉴럴 네트워크를 기반으로 변환된 영상의 오류를 효과적으로 제거할 수 있다. The image combining module 440 receives the binary map 502 from the error removal module 430, applies the binary map 502 to the first transformed image 402 and the second transformed image 403, and combines it. I can. For example, the image combining module 440 multiplies the first transformed image 402 by the binary map 502, the second transformed image 403 is multiplied by inverting the binary map 502, and the binary map 502 You can combine two images to which is applied. The image combining module 440 may effectively remove an error in the transformed image based on the neural network by generating the final transformed image 404 based on the binary map 502.
이하 도 6 내지 도 13을 참조하여, 제1 sRGB 영상(401)을 제1 변환 영상(402)으로 변환하는 뉴럴 네트워크를 트레이닝하는 방법을 설명한다. Hereinafter, a method of training a neural network for converting a first sRGB image 401 into a first transformed image 402 will be described with reference to FIGS. 6 to 13.
도 6은 본 개시의 일 실시예에 따른, 변환 영상을 출력하도록 뉴럴 네트워크를 트레이닝 하는 방법을 설명하기 위한 도면이다. 6 is a diagram for describing a method of training a neural network to output a transformed image according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따르면, 뉴럴 네트워크(610)는 sRGB 색역을 갖는 제1 sRGB 영상(601)을 입력 받으면 DCI-P3 색역을 갖는 제1 변환 영상(603)을 출력하도록 트레이닝될 수 있다. According to an embodiment of the present disclosure, the neural network 610 may be trained to output a first transformed image 603 having a DCI-P3 color gamut when receiving a first sRGB image 601 having an sRGB gamut.
또한, 뉴럴 네트워크(610)를 트레이닝 하는 데에 손실 함수(620)(loss function)가 추가로 사용될 수 있다. 예를 들면, 제1 sRGB 영상(601)과 동일한 컨텐츠에 관한 원본 DCI-P3 영상(602)이 존재할 수 있다. 원본 DCI-P3 영상(602)은 제1 sRGB 영상(601)으로부터 변환된 영상이 아닌, 원본 자체가 DCI-P3 색역을 가진 영상을 의미한다. 손실 함수(620)에 의해 제1 변환 영상(603)과 원본 DCI-P3 영상(602)(원본 자체가 DCI-P3 색역을 가진 영상) 간의 차이에 대응하는 데이터가 생성될 수 있고, 뉴럴 네트워크(610)는 차이에 대응하는 데이터를 입력 받아서 뉴럴 네트워크(610)를 업데이트할 수 있다. In addition, a loss function 620 may be additionally used to train the neural network 610. For example, an original DCI-P3 image 602 related to the same content as the first sRGB image 601 may exist. The original DCI-P3 image 602 refers to an image in which the original itself has a DCI-P3 color gamut, not an image converted from the first sRGB image 601. Data corresponding to the difference between the first transformed image 603 and the original DCI-P3 image 602 (the original itself has a DCI-P3 gamut) may be generated by the loss function 620, and a neural network ( The 610 may receive data corresponding to the difference and update the neural network 610.
도 7은 본 개시의 일 실시예에 따른, 잔차 영상을 출력하도록 뉴럴 네트워크를 트레이닝 하는 방법을 설명하기 위한 도면이다.7 is a diagram for describing a method of training a neural network to output a residual image according to an embodiment of the present disclosure.
본 개시의 일 실시예에 따르면, 뉴럴 네트워크(710)는 sRGB 색역을 갖는 제1 sRGB 영상(701) 또는 제1 sRGB 영상(701)의 색 공간을 La *b * 색 공간으로 변환한 제1 La *b * 영상(702)을 입력 받으면 제1 sRGB 영상(701)에 관한 추정 잔차 영상(704)을 출력하도록 트레이닝될 수 있다. According to an embodiment of the present disclosure, the neural network 710 converts the color space of the first sRGB image 701 or the first sRGB image 701 having an sRGB color gamut into La * b * color space. When the * b * image 702 is input, it may be trained to output an estimated residual image 704 for the first sRGB image 701.
잔차 영상(residual image)은 동일한 컨텐트에 관한, DCI-P3 색역으로 예측된 영상과 실제 sRGB 영상 간의 차이에 대응하는 영상을 의미할 수 있다. 즉, 제1 sRGB 영상(701)에 관한 추정 잔차 영상(704)은, 제1 sRGB 영상(701)의 색역이 DCI-P3 색역으로 변환되는 경우에 생성될 것으로 예측되는 DCI-P3 영상과, 제1 sRGB 영상(701) 간의 차이에 대응하는 영상을 의미할 수 있다. 또는, 추정 잔차 영상(704)은 예측되는 DCI-P3 영상이 그 색 공간이 La *b * 색 공간으로 변환된 La *b * 영상과 제1 La *b * 영상(702) 간의 차이에 대응하는 영상을 의미할 수도 있다. La *b * 색 공간의 영상을 이용하여 뉴럴 네트워크(710)를 트레이닝하는 방법은 도 12 및 13에서 자세히 설명한다. 컴퓨팅 장치(100)는 뉴럴 네트워크가 출력한 추정 잔차 영상(704)에 제1 sRGB 영상(701)을 결합함으로써 최종 변환 영상을 생성할 수 있다. The residual image may mean an image corresponding to a difference between an image predicted in a DCI-P3 gamut and an actual sRGB image for the same content. That is, the estimated residual image 704 for the first sRGB image 701 is a DCI-P3 image predicted to be generated when the color gamut of the first sRGB image 701 is converted to a DCI-P3 gamut, It may mean an image corresponding to a difference between 1 sRGB images 701. Alternatively, the estimated residual image 704 to the DCI-P3 picture is predicted corresponding to the difference between the color space La * b * are converted to the color space La * b * image with claim 1 La * b * image (702) It can also mean video. A method of training the neural network 710 using an image in La * b * color space will be described in detail with reference to FIGS. 12 and 13. The computing device 100 may generate a final transformed image by combining the first sRGB image 701 with the estimated residual image 704 output from the neural network.
또한, 뉴럴 네트워크(710)를 트레이닝 하는 데에 손실 함수(720)가 추가로 사용될 수 있다. 예를 들면, 제1 sRGB 영상(701)에 관한 실제 잔차 영상(703)이 존재할 수 있다. 실제 잔차 영상(703)은 제1 sRGB 영상(701)과, 제1 sRGB 영상(701)과 동일한 컨텐츠에 관한 원본 DCI-P3 영상 간의 차이에 대응하는 영상을 의미할 수 있다. 또는, 실제 잔차 영상(703)은 원본 DCI-P3 영상이 La *b * 색 공간으로 변환된 제2 La *b * 영상과 제1 La *b * 영상(702) 간의 차이에 대응하는 영상을 의미할 수도 있다. 손실 함수(720)에 의해 추정 잔차 영상(704)과 실제 잔차 영상(703) 간의 차이에 대응하는 데이터가 생성될 수 있고, 뉴럴 네트워크(710)는 차이에 대응하는 데이터를 입력 받아서 뉴럴 네트워크(710)를 업데이트할 수 있다. In addition, the loss function 720 may be additionally used to train the neural network 710. For example, there may be an actual residual image 703 related to the first sRGB image 701. The actual residual image 703 may mean an image corresponding to a difference between the first sRGB image 701 and the original DCI-P3 image related to the same content as the first sRGB image 701. Alternatively, the actual residual image 703 refers to an image corresponding to the difference between the second La * b * image and the first La * b * image 702 in which the original DCI-P3 image was converted to La * b * color space. You may. Data corresponding to the difference between the estimated residual image 704 and the actual residual image 703 may be generated by the loss function 720, and the neural network 710 receives data corresponding to the difference and receives the neural network 710. ) Can be updated.
도 8은 일반적인 CNN의 구조를 나타내는 도면이다. 8 is a diagram showing the structure of a general CNN.
컴퓨팅 장치(100)가 영상을 변환하는 데에 이용되는 뉴럴 네트워크는, 예를 들면 CNN(800)을 포함할 수 있다. The neural network used by the computing device 100 to transform an image may include, for example, a CNN 800.
도 8을 참조하면, CNN(800)은 컨볼루션 특징 추출(Feature extraction) 부분(810)과 분류(Classification) 부분(820)으로 이루어질 수 있다. CNN(800)은 컨볼루션 계층들을 통해 입력 이미지에 대한 특징을 추출할 수 있고, 추출된 특징을 기반으로 기존의 신경망을 이용하여 분류할 수 있다. Referring to FIG. 8, the CNN 800 may include a convolutional feature extraction portion 810 and a classification portion 820. The CNN 800 may extract features of an input image through convolutional layers, and classify them using an existing neural network based on the extracted features.
컨볼루션 계층은 입력 데이터로부터 특징을 추출하는 역할을 하는 것으로, 특징을 추출하는 필터(Filter)와 필터의 값을 비선형 값으로 바꾸어주는 활성화 함수(Activation Function)로 이루어질 수 있다. 필터는 추출하려는 이미지의 특징이 대상 데이터에 있는지 없는지를 검출해주는 함수라고 할 수 있다. 이와 같이 필터들을 통해서 특징맵이 추출되면 이 특징맵에 활성화 함수를 적용하여 값을 활성화시킬 수 있다. 대표적인 활성화 함수로는 시그모이드(Sigmoid)와 렐루(Relu) 함수 등이 있다. The convolutional layer serves to extract features from input data, and may consist of a filter that extracts features and an activation function that converts a filter value into a nonlinear value. The filter can be said to be a function that detects whether the feature of the image to be extracted is present in the target data. When the feature map is extracted through the filters in this way, the value can be activated by applying an activation function to the feature map. Representative activation functions include Sigmoid and Relu functions.
이와 같이 추출된 특징들은 필요에 따라서 서브샘플링(sub-sampling) 과정을 거치는데, 서브샘플링 과정은 추출된 특징 맵의 사이즈를 줄여서 연산량을 줄이기 위한 것으로, 풀링(pooling) 이라고도 한다. The extracted features are subjected to a sub-sampling process as necessary. The sub-sampling process is to reduce the amount of computation by reducing the size of the extracted feature map, and is also called pooling.
완전 연결 계층(Fully Connected Layer)은 컨볼루션 계층에서 특징이 추출되었으면 추출된 특징 값을 기존의 신경망에 적용하여 분류하는 과정을 수행할 수 있으며, 예를 들어, 소프트맥스 함수(Softmax Function)가 이용될 수 있다. In the fully connected layer, if features are extracted from the convolution layer, the extracted feature values can be applied to the existing neural network to classify them. For example, a Softmax function is used. Can be.
통상 컨볼루션 계층의 깊이가 얕을수록 이미지의 하위 레벨 특징이 추출되고, 컨볼루션 계층의 깊이가 깊어질수록 이미지의 상위 레벨 특징이 추출될 수 있다. 예를 들어, 사람 얼굴을 예로 들면, 하위 레벨 특징은, 사람의 눈이나 코 등의 보다 지엽적인 특징을 포함하고, 상위 레벨 특징은, 전체적인 사람 얼굴 등 보다 전체적인 특징을 포함할 수 있다. In general, as the depth of the convolution layer is shallow, lower-level features of the image may be extracted, and as the depth of the convolution layer increases, the upper-level features of the image may be extracted. For example, taking a human face as an example, a lower-level feature may include more local features such as a person's eyes or nose, and the higher-level feature may include a more general feature such as an entire human face.
도 9는 본 개시의 일 실시예에 따른 CNN을 이용하여 영상을 변환하는 방법을 설명하기 위한 도면이다. 9 is a diagram illustrating a method of converting an image using a CNN according to an embodiment of the present disclosure.
도 9를 참조하면, 컴퓨팅 장치(100)는 CNN에 기초한 학습 네트워크(910)(또는, 뉴럴 네트워크)에 sLa *b * 영상(901)을 입력하고, sLa *b * 영상(901)의 색역이 DCI-P3 색역으로 변환된 제1 변환 영상(903)을 생성할 수 있다. Referring to Figure 9, the gamut of the computing device 100 is sLa learning network 910 based on CNN (or the neural network) * b * image input to 901, and sLa * b * image (901) A first transformed image 903 converted into a DCI-P3 color gamut may be generated.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 제1 sRGB 영상의 색 공간(color space)을 HSV(hue, saturation, value) 색 공간으로 변환한 HSV 영상을 획득하고, HSV 영상에서 채도(Saturation) 채널 영상(901-1)을 분리할 수 있다. 이어서, 컴퓨팅 장치(100)는 제1 sRGB 영상을 La *b * 색 공간으로 변환한 La *b * 영상(901-2)과 채도 채널 영상(901-1)을 결합함으로써 sLa *b * 영상(901)을 획득할 수 있다. According to an embodiment of the present disclosure, the computing device 100 acquires an HSV image obtained by converting a color space of a first sRGB image into a hue, saturation, value (HSV) color space, and saturation in the HSV image. (Saturation) The channel image 901-1 may be separated. Subsequently, the computing device 100 combines the La * b * image 901-2 obtained by converting the first sRGB image into a La * b * color space and the saturation channel image 901-1, thereby combining the sLa * b * image ( 901) can be obtained.
예를 들면, 컴퓨팅 장치(100)는 sLa *b * 영상(901) 또는 La *b * 영상(901-2)을 학습 네트워크(910)에 입력하고, 학습 네트워크(910)로부터 출력된 추정 잔차 영상(902)을 획득할 수 있다. 추정 잔차 영상(902)은 La *b * 색 공간을 갖는 잔차 영상일 수 있다. 컴퓨팅 장치(100)는 추정 잔차 영상(902)과 sLa *b * 영상(901)을 결합(또는 차분)하고, 결합된 영상에 SMPTE 표준에 따른 행렬을 적용하여 색역을 La *b * 에서 DCI-P3로 변환(920)함으로써, 제1 변환 영상(903)을 생성할 수 있다. For example, the computing device 100 inputs an sLa * b * image 901 or a La * b * image 901-2 to the learning network 910, and the estimated residual image output from the learning network 910 (902) can be obtained. The estimated residual image 902 may be a residual image having a La * b * color space. The computing device 100 combines (or differentiates) the estimated residual image 902 and the sLa * b * image 901, and applies a matrix according to the SMPTE standard to the combined image to change the color gamut from La * b * to DCI- By converting 920 to P3, a first converted image 903 may be generated.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)가 학습 네트워크(910)에 채도 채널 영상(901-1)을 제외하고 La *b * 영상(901-2)만을 입력하는 경우, sLa *b * 영상(901)을 입력하는 경우에 비해 더욱 정확한 추정 잔차 영상(902)을 획득할 수 있다. 즉, 컴퓨팅 장치(100)는 학습 네트워크가 La *b * 영상(901-2)을 입력 받아 출력한 추정 잔차 영상(902)에 La *b * 영상(901-2) 및 채도 채널 영상(901-1)을 결합함으로써 정확한 제1 변환 영상(903)을 생성할 수 있다. According to an embodiment of the present disclosure, when the computing device 100 inputs only the La * b * image 901-2 except the saturation channel image 901-1 to the learning network 910, sLa * b * Compared to the case of inputting the image 901, a more accurate estimated residual image 902 may be obtained. That is, the computing device 100 receives the La * b * image 901-2 and outputs the La * b * image 901-2 and the chroma channel image 901-in the estimated residual image 902. By combining 1), an accurate first transformed image 903 may be generated.
한편, 뉴럴 네트워크(또는, 학습 네트워크)가 입력 sRGB 영상에 관한 보다 정확한 추정 잔차 영상 또는 제1 변환 영상을 출력하도록 뉴럴 네트워크를 트레이닝하기 위해서는, 뉴럴 네트워크에 입력되는 입력 데이터를 가공 또는 전처리할 필요성이 존재할 수 있다. 따라서, 이하에서는 도 10 내지 도 13을 참조하여 컴퓨팅 장치가 뉴럴 네트워크를 트레이닝하기 위해 뉴럴 네트워크에 입력하기 위한 입력 데이터를 가공 또는 전처리하는 방법을 설명한다. On the other hand, in order to train the neural network so that the neural network (or the learning network) outputs a more accurate estimated residual image or the first transformed image of the input sRGB image, it is necessary to process or pre-process the input data input to the neural network. Can exist. Accordingly, hereinafter, a method of processing or preprocessing input data for input to the neural network by the computing device to train the neural network will be described with reference to FIGS. 10 to 13.
도 10은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상 및 sRGB 영상을 이용하여 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다. 10 is a diagram illustrating a method of generating input data for a neural network using a DCI-P3 image and an sRGB image related to content according to an embodiment of the present disclosure.
도 10을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 동일한 컨텐트에 관한 제1 sRGB 영상( f sRGB) 및 제1 DCI-P3 영상( f P3)을 이용하여 트레이닝 세트(1020)로서 입력 데이터 및 실제 잔차 영상( f Res)을 생성 또는 획득할 수 있다. 제1 sRGB 영상( f sRGB) 및 제1 DCI-P3 영상( f P3) 각각은 다른 영상으로부터 색역이 변환되지 않은 원본 영상을 의미할 수 있다. Referring to FIG. 10, a computing device 100 according to an embodiment of the present disclosure uses a first sRGB image ( f sRGB ) and a first DCI-P3 image ( f P3 ) for the same content to be used as a training set 1020. ), the input data and the actual residual image f Res may be generated or acquired. Each of the first sRGB image ( f sRGB ) and the first DCI-P3 image ( f P3 ) may mean an original image whose color gamut has not been converted from another image.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 sRGB to DCI-P3 변환 모듈(1010)을 포함할 수 있다. sRGB to DCI-P3 변환 모듈(1010)은 제1 sRGB 영상( f sRGB)을 SMPTE 표준에 따라 제2 DCI-P3 영상( f' P3)으로 변환할 수 있다. According to an embodiment of the present disclosure, the computing device 100 may include an sRGB to DCI-P3 conversion module 1010. The sRGB to DCI-P3 conversion module 1010 may convert the first sRGB image f sRGB into a second DCI-P3 image f′ P3 according to the SMPTE standard.
컴퓨팅 장치(100)는 뉴럴 네트워크에 입력 데이터로서 제2 DCI-P3 영상( f' P3) 또는 제1 sRGB 영상( f sRGB)을 입력할 수 있다. 즉, 컴퓨팅 장치(100)는 뉴럴 네트워크에 원본 sRGB 영상을 입력하거나 원본 sRGB 영상이 DCI-P3 색역으로 변환된 영상을 입력할 수 있다. 뉴럴 네트워크는 제1 sRGB 영상에 관한 추정 잔차 영상 또는 DCI-P3 색역의 제1 변환 영상을 출력하도록 트레이닝될 수 있다. Computing device 100 may input a first image 2 DCI-P3 (f 'P3) of claim 1 or sRGB image (f sRGB) as input data to the neural network. That is, the computing device 100 may input an original sRGB image to a neural network or an image in which the original sRGB image is converted into a DCI-P3 color gamut. The neural network may be trained to output an estimated residual image for a first sRGB image or a first transformed image in a DCI-P3 gamut.
또한, 컴퓨팅 장치(100)는 제2 DCI-P3 영상( f' P3)과 제1 DCI-P3 영상( f P3)의 차이에 대응하는 영상인 실제 잔차 영상( f Res)을 생성할 수 있다. 본 개시의 일 실시예에 따르면, 실제 잔차 영상( f Res)은 뉴럴 네트워크의 변환 성능을 학습하기 위한 실제 데이터(ground truth)로서 사용될 수 있다. 실제 잔차 영상( f Res)은 도 7의 손실 함수(720)에 전달될 수 있다. 손실 함수(720)는 실제 잔차 영상( f Res)과 뉴럴 네트워크(710)가 출력한 추정 잔차 영상(704) 간의 차이에 대응하는 데이터를 생성하고, 추정된 차이에 대응되는 데이터를 뉴럴 네트워크(710)에 역전파(back-propagation) 함으로써 뉴럴 네트워크를 업데이트할 수 있다.In addition, computing device 100 may generate the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 Video (f P3) image of the actual residual image (f Res) corresponding to the difference. According to an embodiment of the present disclosure, an actual residual image f Res may be used as ground truth for learning transformation performance of a neural network. The actual residual image f Res may be transferred to the loss function 720 of FIG. 7. The loss function 720 generates data corresponding to the difference between the actual residual image f Res and the estimated residual image 704 output from the neural network 710, and converts data corresponding to the estimated difference into the neural network 710 ), the neural network can be updated by back-propagation.
도 10을 참조하여 설명한 입력 데이터 전처리 방법에 의하면, 뉴럴 네트워크는 원본 sRGB 영상(제1 sRGB 영상( f sRGB))이 SMPTE 표준에 따라 DCI-P3 색역으로 변환된 영상(제2 DCI-P3 영상( f' P3))을 입력 받음으로써, DCI-P3 색역으로 변환된 영상(제2 DCI-P3 영상( f' P3))과 원본 DCI-P3 영상(제1 DCI-P3 영상( f P3)) 간의 차이를 나타내는 실제 잔차 영상( f Res)에 근접한 추정 잔차 영상을 생성하거나 출력하도록 트레이닝될 수 있다. According to the input data preprocessing method described with reference to FIG. 10, in the neural network, an original sRGB image (a first sRGB image ( f sRGB )) is converted into a DCI-P3 color gamut according to the SMPTE standard (a second DCI-P3 image ( , by receiving input to P3)), converted to DCI-P3 gamut image (claim 2 DCI-P3 image (f 'f between P3)) of the original DCI-P3 image (claim 1 DCI-P3 video (f P3)) It may be trained to generate or output an estimated residual image that is close to the actual residual image f Res representing the difference.
한편, 본 개시의 일 실시예에 따르면, 뉴럴 네트워크를 트레이닝 하는 데에는 DCP(Digital Cinema Package)가 이용될 수도 있다. DCP는 컨텐트에 관한 다양한 정보가 포함되어 있는 패키지로서, 예를 들면 영화 컨텐트에 관한 정보가 포함된 XML(eXtensible Markup Language) 및 비디오와 오디오에 관한 MXF(Material eXchange Format) 등이 포함될 수 있다. 예를 들면, 컴퓨팅 장치(100) 또는 뉴럴 네트워크는 동일한 컨텐트에 관한 sRGB 영상(또는, 기타 인코딩 영상)과 DCP를 입력 받아서, sRGB 영상(또는, 기타 인코딩 영상)의 색상을 DCP에 의해 영화관 등에서 재생되는 영상과 동일하거나 유사한 색상으로 변환할 수 있다. Meanwhile, according to an embodiment of the present disclosure, a Digital Cinema Package (DCP) may be used to train a neural network. The DCP is a package that includes various information on content, and may include, for example, eXtensible Markup Language (XML) including information on movie content, and Material eXchange Format (MXF) for video and audio. For example, the computing device 100 or the neural network receives an sRGB image (or other encoded image) and a DCP for the same content, and reproduces the color of the sRGB image (or other encoded image) in a movie theater by DCP. It can be converted to a color that is the same or similar to the video being used.
도 11은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.11 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content according to an embodiment of the present disclosure.
도 11을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 컨텐트에 관한 제1 DCI-P3 영상( f P3)을 이용하여 트레이닝 세트(1130)로서 입력 데이터 및 실제 잔차 영상( f Res)을 생성 또는 획득할 수 있다. 즉, 도 10과 비교하면 도 10에서는 원본 영상으로서 제1 DCI-P3 영상( f P3)만 이용되고 제1 sRGB 영상( f sRGB)은 이용되지 않는다. 이하 도 12 및 도 13에서도 원본으로서 제1 sRGB 영상( f sRGB)이 이용되지 않는 것은 마찬가지이다. Referring to FIG. 11, the computing device 100 according to an embodiment of the present disclosure uses a first DCI-P3 image ( f P3 ) regarding content as a training set 1130, and input data and an actual residual image ( f Res ) can be created or acquired. That is, compared with FIG. 10, in FIG. 10, only the first DCI-P3 image f P3 is used as the original image, and the first sRGB image f sRGB is not used. It is the same in FIGS. 12 and 13 that the first sRGB image f sRGB is not used as the original.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 sRGB to DCI-P3 변환 모듈(1110) 및 sRGB to DCI-P3 변환 모듈(1120)을 포함할 수 있다. sRGB to DCI-P3 변환 모듈(1110)은 제1 DCI-P3 영상( f P3)을 SMPTE 표준에 따라 제2 sRGB 영상( f' sRGB)으로 변환할 수 있다. sRGB to DCI-P3 변환 모듈(1120)은 제2 sRGB 영상( f' sRGB)을 SMPTE 표준에 따라 제2 DCI-P3 영상( f' P3)으로 변환할 수 있다. According to an embodiment of the present disclosure, the computing device 100 may include an sRGB to DCI-P3 conversion module 1110 and an sRGB to DCI-P3 conversion module 1120. sRGB to DCI-P3 conversion module 1110 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard. sRGB to DCI-P3 conversion module 1120 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard.
컴퓨팅 장치(100)는 뉴럴 네트워크에 입력 데이터로서 제2 DCI-P3 영상( f' P3) 또는 제2 sRGB 영상( f' sRGB)을 입력할 수 있다. 즉, 컴퓨팅 장치(100)는 뉴럴 네트워크에 원본 DCI-P3 영상(제1 DCI-P3 영상( f P3))이 sRGB 색역으로 변환된 영상(제2 sRGB 영상( f' sRGB))을 입력하거나, 제2 sRGB 영상( f' sRGB)이 다시 DCI-P3 색역으로 변환된 영상(제2 DCI-P3 영상( f' P3))을 입력할 수 있다. 뉴럴 네트워크는 제2 sRGB 영상( f' sRGB)에 관한 추정 잔차 영상 또는 DCI-P3 색역의 제1 변환 영상을 출력하도록 트레이닝될 수 있다. Computing device 100 may input a first image 2 DCI-P3 (f 'P3) of claim 2 or sRGB image (f' sRGB) as input data to the neural network. That is, the computing device 100 to the neural network image source DCI-P3 (claim 1 DCI-P3 Video (f P3)) is input to the image (claim 2 sRGB image (f 'sRGB)) converted to the sRGB gamut, or claim 2 sRGB image (f can enter the 'sRGB) is again DCI-P3 image (claim 2 DCI-P3 video (f converted into the gamut' P3)). Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on.
또한, 컴퓨팅 장치(100)는 제2 DCI-P3 영상( f' P3)과 제1 DCI-P3 영상( f P3)의 차이에 대응하는 영상인 실제 잔차 영상( f Res)을 생성할 수 있다. 실제 잔차 영상( f Res)에 관한 내용은 도 10에서 설명한 내용에 대응되므로, 중복되는 내용은 생략한다. In addition, computing device 100 may generate the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 Video (f P3) image of the actual residual image (f Res) corresponding to the difference. Since the contents of the actual residual image f Res correspond to the contents described in FIG. 10, overlapping contents are omitted.
도 11을 참조하여 설명한 입력 데이터 전처리 방법에 의하면, 원본 sRGB 영상을 이용하지 않고 제1 DCI-P3 영상( f P3)만을 이용하여 뉴럴 네트워크에 대한 입력 데이터를 생성함으로써, 하나의 원본 소스인 제1 DCI-P3 영상( f P3)이 색역이 sRGB 색역으로 축소되고 다시 DCI-P3 색역으로 확장되는 과정에서 발생할 수 있는 오차 또는 색상 저하 등이 뉴럴 네트워크를 트레이닝하는 데에 고려될 수 있다. According to the input data preprocessing method described with reference to FIG. 11, by generating input data for a neural network using only the first DCI-P3 image ( f P3 ) without using the original sRGB image, one original source, the first An error or color degradation that may occur in the process of reducing the color gamut of the DCI-P3 image ( f P3 ) to the sRGB gamut and expanding it to the DCI-P3 gamut may be considered for training the neural network.
도 12는 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 La *b * 색 공간의 영상으로 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.FIG. 12 is a diagram illustrating a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in a La * b * color space according to an embodiment of the present disclosure.
도 12를 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 컨텐트에 관한 제1 DCI-P3 영상( f P3)을 이용하여 트레이닝 세트(1240)로서 입력 데이터 및 실제 잔차 영상( f Res La*b*)을 생성 또는 획득할 수 있다. Referring to FIG. 12, the computing device 100 according to an embodiment of the present disclosure uses a first DCI-P3 image f P3 regarding content as a training set 1240 and input data and an actual residual image f Res La*b* ) can be created or acquired.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 sRGB to DCI-P3 변환 모듈(1210), sRGB to DCI-P3 변환 모듈(1220) 및 DCI-P3 to La *b * 변환 모듈(1230)을 포함할 수 있다. sRGB to DCI-P3 변환 모듈(1210)은 제1 DCI-P3 영상( f P3)을 SMPTE 표준에 따라 제2 sRGB 영상( f' sRGB)으로 변환할 수 있다. sRGB to DCI-P3 변환 모듈(1220)은 제2 sRGB 영상( f' sRGB)을 SMPTE 표준에 따라 제2 DCI-P3 영상( f' P3)으로 변환할 수 있다. DCI-P3 to La *b * 변환 모듈(1230)은 제2 DCI-P3 영상( f' P3) 및 제1 DCI-P3 영상( f P3)을 각각 제2 La *b * 영상( f' P3 La*b*) 및 제1 La *b * 영상( f P3 La*b*)으로 변환할 수 있다. According to an embodiment of the present disclosure, the computing device 100 includes an sRGB to DCI-P3 conversion module 1210, an sRGB to DCI-P3 conversion module 1220, and a DCI-P3 to La * b * conversion module 1230. It may include. sRGB to DCI-P3 conversion module 1210 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard. sRGB to DCI-P3 conversion module 1220 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard. DCI-P3 to La * b * conversion module 1230 the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 video claim 2 La to (f P3) each * b * image (f' P3 La *b* ) and the first La * b * image ( f P3 La * b * ).
컴퓨팅 장치(100)는 뉴럴 네트워크에 입력 데이터로서 제2 La *b * 영상( f' P3 La*b*)을 입력할 수 있다. 즉, 컴퓨팅 장치(100)는 뉴럴 네트워크에 원본 DCI-P3 영상(제1 DCI-P3 영상( f P3))이 sRGB 색역으로 변환되고(제2 sRGB 영상( f' sRGB)) 이어서 DCI-P3 색역으로 변환된 영상(제2 DCI-P3 영상( f' P3))이 La *b * 색 공간으로 변환된 영상(제2 La *b * 영상( f' P3 La*b*))을 입력할 수 있다. 뉴럴 네트워크는 제2 sRGB 영상( f' sRGB)에 관한 추정 잔차 영상 또는 DCI-P3 색역의 제1 변환 영상을 출력하도록 트레이닝될 수 있다. Computing device 100 may enter the first 2 La * b * image (f 'P3 La * b * ) as the input data to the neural network. That is, the computing device 100 to the neural network image source DCI-P3 (claim 1 DCI-P3 Video (f P3)) is converted to the sRGB color gamut (claim 2 sRGB image (f 'sRGB)) followed DCI-P3 gamut the image (claim 2 DCI-P3 video (f converted to 'P3)) the La * b * color space, the image converted into the (first 2 La * b * image (f' P3 La * b *)) can enter the have. Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on.
또한, 컴퓨팅 장치(100)는 제2 La *b * 영상( f' P3 La*b*)과 제1 La *b * 영상( f P3 La*b*) 간의 차이에 대응하는 영상인 실제 잔차 영상( f Res La*b*)을 생성할 수 있다. 실제 잔차 영상( f Res La*b*)에 관한 내용은, La *b * 색 공간을 갖는다는 것 외에는 도 10에서 설명한 내용에 대응되므로, 중복되는 내용은 생략한다. In addition, computing device 100 of claim 2 La * b * image (f 'P3 La * b * ) and the 1 La * b * video image of the actual residual image corresponding to the difference between (f P3 La * b *) ( f Res La*b* ) can be created. The contents of the actual residual image f Res La*b* correspond to the contents described in FIG. 10 except that they have a La * b * color space, and thus overlapping contents are omitted.
도 12를 참조하여 설명한 입력 데이터 전처리 방법에 의하면, 변환 과정을 거친 제2 DCI-P3 영상( f' P3) 및 원본인 제1 DCI-P3 영상( f P3)을 La *b * 색 공간으로 변환한 영상(제2 La *b * 영상( f' P3 La*b*) 및 제1 La *b * 영상( f P3 La*b*))을 이용하여 뉴럴 네트워크를 트레이닝함으로써, 뉴럴 네트워크가 출력하는 추정 잔차 영상 또는 제1 변환 영상의 정확도를 높일 수 있다. 즉, 추정 잔차 영상 또는 제1 변환 영상에 기초하여 생성되는 최종 변환 영상의 색상이 원본 DCI-P3 영상(제1 DCI-P3 영상( f P3))의 색상과 보다 유사하도록 뉴럴 네트워크를 트레이닝할 수 있다. According to the reference to Figure 12, input data pre-processing method described in, converts the conversion process via the 2 DCI-P3 image (f 'P3) and the source of claim 1 DCI-P3 Video (f P3) to La * b * color space, a picture (the 2 La * b * image (f 'P3 La * b * ) and a 1 La * b * image (f P3 La * b *) ) by using a by training the neural network, the neural network output It is possible to increase the accuracy of the estimated residual image or the first transformed image. That is, the neural network can be trained so that the color of the estimated residual image or the final transformed image generated based on the first transformed image is more similar to the color of the original DCI-P3 image (the first DCI-P3 image ( f P3 )). have.
도 13은 본 개시의 일 실시예에 따른 컨텐트에 관한 DCI-P3 영상을 HSV 색역의 영상 및 La *b * 색 공간의 영상으로 변환함으로써 뉴럴 네트워크에 대한 입력 데이터를 생성하는 방법을 설명하기 위한 도면이다.FIG. 13 is a diagram for describing a method of generating input data for a neural network by converting a DCI-P3 image related to content into an image in an HSV gamut and an image in a La * b * color space according to an embodiment of the present disclosure to be.
도 13을 참조하면, 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)는 컨텐트에 관한 제1 DCI-P3 영상( f P3)을 이용하여 트레이닝 세트(1360)로서 입력 데이터 및 실제 잔차 영상( f Res La*b*)을 생성 또는 획득할 수 있다. Referring to FIG. 13, the computing device 100 according to an embodiment of the present disclosure uses a first DCI-P3 image ( f P3 ) related to content as a training set 1360 as input data and an actual residual image ( f Res La*b* ) can be created or acquired.
본 개시의 일 실시예에 따르면, 컴퓨팅 장치(100)는 sRGB to DCI-P3 변환 모듈(1310), sRGB to DCI-P3 변환 모듈(1320), DCI-P3 to La *b * 변환 모듈(1330), DCI-P3 to HSV 변환 모듈(1340) 및 결합 모듈(1350)을 포함할 수 있다. sRGB to DCI-P3 변환 모듈(1310)은 제1 DCI-P3 영상( f P3)을 SMPTE 표준에 따라 제2 sRGB 영상( f' sRGB)으로 변환할 수 있다. sRGB to DCI-P3 변환 모듈(1320)은 제2 sRGB 영상( f' sRGB)을 SMPTE 표준에 따라 제2 DCI-P3 영상( f' P3)으로 변환할 수 있다. DCI-P3 to La *b * 변환 모듈(1330)은 제2 DCI-P3 영상( f' P3) 및 제1 DCI-P3 영상( f P3)을 각각 제2 La *b * 영상( f' P3 La*b*) 및 제1 La *b * 영상( f P3 La*b*)으로 변환할 수 있다. According to an embodiment of the present disclosure, the computing device 100 includes an sRGB to DCI-P3 conversion module 1310, an sRGB to DCI-P3 conversion module 1320, and a DCI-P3 to La * b * conversion module 1330 , DCI-P3 to HSV conversion module 1340 and a combination module 1350 may be included. sRGB to DCI-P3 conversion module 1310 may convert the image 1 DCI-P3 (f P3) in claim 2 sRGB image (f 'sRGB) according to SMPTE standard. sRGB to DCI-P3 conversion module 1320 may convert the sRGB image 2 (f a '(P3 the sRGB) of claim 2 DCI-P3 image f) according to the SMPTE standard. DCI-P3 to La * b * conversion module 1330 is the 2 DCI-P3 image (f 'P3) and a 1 DCI-P3 video claim 2 La to (f P3) each * b * image (f' P3 La *b* ) and the first La * b * image ( f P3 La * b * ).
DCI-P3 to HSV 변환 모듈(1340)은 제2 DCI-P3 영상( f' P3)을 HSV 영상으로 변환하고, HSV 영상에서 채도(Saturation) 채널을 분리함으로써 채도 채널 영상( f' P3 sat)을 생성할 수 있다. 결합 모듈(1350)은 채도 채널 영상( f' P3 sat)과 제2 La *b * 영상( f' P3 La*b*)을 결합(concatenate)함으로써 sLa *b * 영상( f' P3 sLa*b*)을 생성할 수 있다. DCI-P3 to HSV transformation module 1340 is the "saturation channel image (f, by separating the (P3 saturation Convert to HSV images, and in the HSV video (Saturation) channel P3 sat) of claim 2 DCI-P3 image f) ' Can be generated. Coupling module 1350 is saturation channel image (f 'P3 sat) and claim 2 La * b * image (f' P3 La * b * ) by a coupling (concatenate) sLa * b * image (f 'P3 sLa * b * ) Can be created.
컴퓨팅 장치(100)는 뉴럴 네트워크에 입력 데이터로서 sLa *b * 영상( f' P3 sLa*b*)을 입력할 수 있다. 뉴럴 네트워크는 제2 sRGB 영상( f' sRGB)에 관한 추정 잔차 영상 또는 DCI-P3 색역의 제1 변환 영상을 출력하도록 트레이닝될 수 있다. 또한, 컴퓨팅 장치(100)는 뉴럴 네트워크에 입력 데이터로서 제1 La *b * 영상( f' P3 La*b*)을 입력하고, 뉴럴 네트워크로부터 출력된 추정 잔차 영상과 채도 채널 영상( f' P3 sat)을 결합함으로써 제1 변환 영상을 생성할 수 있다. 또는, 뉴럴 네트워크가 sLa *b * 영상( f' P3 sLa*b*)을 입력 받으면, 제1 La *b * 영상( f' P3 La*b*)을 추정 잔차 영상으로 변환하고, 추정 잔차 영상과 채도 채널 영상( f' P3 sat)을 결합함으로써 제1 변환 영상을 출력하도록 트레이닝될 수도 있다. 즉, 도 13에서 설명하는 뉴럴 네트워크 트레이닝 방법은 도 9에서 설명한 뉴럴 네트워크 트레이닝 방법의 세부 내용에 대응될 수 있다. Computing device 100 may enter a sLa * b * image (f 'P3 sLa * b * ) as the input data to the neural network. Neural network may be trained to output claim 2 sRGB image (f 'sRGB) estimated residual image or DCI-P3 color gamut of the first image conversion on. In addition, computing device 100 of claim 1 La * b * image (f 'P3 La * b *), the input and the estimated residual image and the saturation channel image (f output from the neural network' P3 as input data to the neural network sat ) can be combined to generate the first transformed image. Alternatively, the neural network is sLa * b * image (f 'P3 sLa * b * ) receives input of, claim 1 La * b * image (f' P3 La * b * ) converting the estimated residual image, and estimated residual image and by combining the saturation channel image (f 'P3 sat) it can be trained to output a first converted image. That is, the neural network training method described in FIG. 13 may correspond to details of the neural network training method described in FIG. 9.
또한, 컴퓨팅 장치(100)는 제2 La *b * 영상( f' P3 La*b*)과 제1 La *b * 영상( f P3 La*b*) 간의 차이에 대응하는 영상인 실제 잔차 영상( f Res La*b*)을 생성할 수 있다. 실제 잔차 영상( f Res La*b*)에 관한 내용은, La *b * 색 공간을 갖는다는 것 외에는 도 10에서 설명한 내용에 대응되므로, 중복되는 내용은 생략한다. In addition, computing device 100 of claim 2 La * b * image (f 'P3 La * b * ) and the 1 La * b * video image of the actual residual image corresponding to the difference between (f P3 La * b *) ( f Res La*b* ) can be created. The contents of the actual residual image f Res La*b* correspond to the contents described in FIG. 10 except that they have a La * b * color space, and thus overlapping contents are omitted.
도 13을 참조하여 설명한 입력 데이터 전처리 방법에 의하면, 제2 DCI-P3 영상( f' P3)으로부터 생성된 제1 La *b * 영상( f P3 La*b*) 및 채도 채널 영상( f' P3 sat)을 결합한 sLa *b * 영상( f' P3 sLa*b*)을 이용하여 뉴럴 네트워크를 트레이닝함으로써, 뉴럴 네트워크가 출력하는 추정 잔차 영상 또는 제1 변환 영상의 정확도를 높일 수 있다. 즉, 추정 잔차 영상 또는 제1 변환 영상에 기초하여 생성되는 최종 변환 영상의 색상이 원본 DCI-P3 영상(제1 DCI-P3 영상( f P3))의 색상과 보다 유사하도록 뉴럴 네트워크를 트레이닝할 수 있다. According also to the input data pre-processing method described in 13, the "cost of claim 1 La produced from (P3 * b * image (f P3 La * b *) and chroma channel image (f 2 DCI-P3 image f)" P3 sat) the combined sLa * b * image (f 'P3 sLa * b * ) has a by training the neural network, can increase the accuracy of the estimated residual image or the first image to convert the neural network output is used. That is, the neural network can be trained so that the color of the estimated residual image or the final transformed image generated based on the first transformed image is more similar to the color of the original DCI-P3 image (the first DCI-P3 image ( f P3 )). have.
이상에서 뉴럴 네트워크를 트레이닝하는 방법 및 컴퓨팅 장치(100)가 영상을 변환하는 방법을 설명하였다. 이하에서는 컴퓨팅 장치(100)의 구성 및 뉴럴 네트워크의 학습 및 처리를 위한 프로세서의 구성에 대해 설명한다. In the above, a method of training a neural network and a method of converting an image by the computing device 100 have been described. Hereinafter, a configuration of the computing device 100 and a configuration of a processor for learning and processing a neural network will be described.
도 14는 본 개시의 일 실시예에 따른 컴퓨팅 장치(100)의 구성을 나타내는 블록도이다.14 is a block diagram illustrating a configuration of a computing device 100 according to an embodiment of the present disclosure.
도 14를 참조하면, 컴퓨팅 장치(100)는 프로세서(1401) 및 메모리(1402)를 포함할 수 있다. 또한, 컴퓨팅 장치(100)는 디스플레이(1403)을 추가로 포함할 수 있다. 그러나, 컴퓨팅 장치(100)는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 또한 일부의 구성요소는 생략될 수 있다. 또한, 도 1 내지 도 13을 참조하여 상술한 컴퓨팅 장치(100)의 다양한 모듈은 프로세서(1401)에 포함되거나, 다양한 모듈의 동작이 프로세서(1401)에 의해 수행될 수 있다. Referring to FIG. 14, the computing device 100 may include a processor 1401 and a memory 1402. In addition, the computing device 100 may further include a display 1403. However, the computing device 100 may be implemented by more components than the illustrated components, and some components may be omitted. In addition, various modules of the computing device 100 described above with reference to FIGS. 1 to 13 may be included in the processor 1401, or operations of various modules may be performed by the processor 1401.
프로세서(1401)는 컴퓨팅 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1401)는, 메모리(1402)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 컴퓨팅 장치(100)의 기능을 수행할 수 있다.The processor 1401 controls the overall operation of the computing device 100. For example, the processor 1401 may perform a function of the computing device 100 described in the present disclosure by executing one or more instructions stored in the memory 1402.
본 개시의 일 실시예에 따르면, 프로세서(1401)는, 뉴럴 네트워크를 이용한 학습 모델을 이용하여, 영상의 색역을 sRGB에서 DCI-P3로 변환하고 변환된 영상을 출력할 수 있다. According to an embodiment of the present disclosure, the processor 1401 may convert a gamut of an image from sRGB to DCI-P3 using a learning model using a neural network and output the converted image.
본 개시의 일 실시예에 따르면, 프로세서(1401)는 메모리(1402)에 저장된 하나 이상의 인스트럭션을 실행하여, 전술한 동작들이 수행되도록 제어할 수 있다. 이 경우, 메모리(1402)는 프로세서(1401)에 의해서 실행 가능한 하나 이상의 인스트럭션을 저장하고 있을 수 있다. According to an embodiment of the present disclosure, the processor 1401 may execute one or more instructions stored in the memory 1402 and control the above-described operations to be performed. In this case, the memory 1402 may store one or more instructions executable by the processor 1401.
또한, 본 개시의 실시예에 따르면, 프로세서(1401)는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서(1401)는 프로세서(1401)의 내부에 구비되는 내부 메모리 또는 메모리(1402)에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.In addition, according to an embodiment of the present disclosure, the processor 1401 may control the above-described operations to be performed by storing one or more instructions in an internally provided memory and executing one or more instructions stored in an internally provided memory. have. That is, the processor 1401 may perform a predetermined operation by executing at least one instruction or program stored in an internal memory or memory 1402 provided in the processor 1401.
또한, 도 14에서는 하나의 프로세서(1401)를 도시하였으나, 복수개의 프로세서(미도시)가 구비될 수도 있다. 이 경우, 본 개시의 실시예에 따른 컴퓨팅 장치(100)에서 수행되는 동작들 각각은 복수개의 프로세서 중 적어도 하나를 통하여 수행될 수 있다. In addition, although one processor 1401 is shown in FIG. 14, a plurality of processors (not shown) may be provided. In this case, each of the operations performed by the computing device 100 according to an embodiment of the present disclosure may be performed through at least one of a plurality of processors.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하고, 뉴럴 네트워크를 이용하여 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하고, 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 제1 변환 영상에 기초하여, 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성할 수 있다. According to an embodiment of the present disclosure, the processor 1401 acquires a first sRGB image having a gamut of sRGB (standard red green blue) for content, and uses a neural network to obtain a gamut of the first sRGB image. Based on the second transformed image and the first transformed image generated by acquiring a first transformed image converted into a color gamut of DCI-P3 (Digital Cinema Initiative-P3) and applying a first color transform matrix to the first sRGB image Thus, a final converted image obtained by converting the color gamut of the first sRGB image to the DCI-P3 gamut may be generated.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하고, 제2 변환 영상, 제1 변환 영상 및 이진 지도에 기초하여 최종 변환 영상을 생성할 수 있다.According to an embodiment of the present disclosure, the processor 1401 generates a binary map indicating an error in the first transformed image, and generates a final transformed image based on the second transformed image, the first transformed image, and the binary map. Can be generated.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 제1 sRGB 영상 내의 각 픽셀과 제1 변환 영상 내의 각 픽셀 간의 픽셀값 차이를 결정하고, 픽셀값 차이가 기준값 이상인 영역을 제1 변환 영상에서 오류가 발생한 부분으로 결정할 수 있다. According to an embodiment of the present disclosure, the processor 1401 determines a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image, and determines a region in which the pixel value difference is greater than or equal to a reference value in the first transformed image. It can be determined as the part where the error occurred.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하고, 제2 변환 영상과 제1 DCI-P3 영상 간의 실제 잔차 영상(residual image)을 획득하고, 뉴럴 네트워크를, 제1 sRGB 영상이 입력 데이터로서 입력되면 제1 sRGB 영상에 관한 제1 추정 잔차 영상을 출력하고 제1 추정 잔차 영상 및 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, 제1 sRGB 영상에서 뉴럴 네트워크로부터 출력된 추정 잔차 영상을 차분함으로써 제1 변환 영상을 획득할 수 있다. According to an embodiment of the present disclosure, the processor 1401 obtains a first DCI-P3 image having a color gamut of DCI-P3 for content, and an actual residual image between the second transformed image and the first DCI-P3 image ( residual image), and training to minimize the difference between the first estimated residual image and the actual residual image by obtaining a neural network and outputting a first estimated residual image for the first sRGB image when the first sRGB image is input as input data Then, the first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the first sRGB image.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하고, 제1 DCI-P3 영상에 제2 색 변환 행렬을 적용함으로써 제2 sRGB 영상을 생성하고, 제2 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 제2 DCI-P3 영상을 생성하고, 제2 DCI-P3 영상과 제1 DCI-P3 영상 간의 실제 잔차 영상을 획득하고, 뉴럴 네트워크를, 제2 DCI-P3 영상이 입력 데이터로서 입력되면 제2 DCI-P3 영상에 관한 제2 추정 잔차 영상을 출력하고 제2 추정 잔차 영상 및 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상에서 뉴럴 네트워크로부터 출력된 추정 잔차 영상을 차분함으로써 제1 변환 영상을 획득할 수 있다.According to an embodiment of the present disclosure, the processor 1401 acquires a first DCI-P3 image having a color gamut of DCI-P3 for content, and applies a second color conversion matrix to the first DCI-P3 image. 2 Generate a sRGB image, generate a second DCI-P3 image by applying a first color conversion matrix to the second sRGB image, obtain an actual residual image between the second DCI-P3 image and the first DCI-P3 image, , When the second DCI-P3 image is input as input data, the neural network is trained to output a second estimated residual image for the second DCI-P3 image and minimize the difference between the second estimated residual image and the actual residual image, The first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the second transformed image generated by applying the first color transform matrix to the first sRGB image.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 제1 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제1 La *b * 영상을 획득하고, 제2 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제2 La *b * 영상을 획득하고, 제1 La *b * 영상과 제2 La *b * 영상 간의 잔차 영상을 실제 잔차 영상으로서 획득하고, 뉴럴 네트워크를, 제2 La *b * 영상이 입력 데이터로서 입력되면 제2 La *b * 영상에 관한 제3 추정 잔차 영상을 출력하고 제3 추정 잔차 영상 및 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, 제2 변환 영상의 색 공간을 La *b * 색 공간으로 변환한 영상에서 뉴럴 네트워크로부터 출력된 추정 잔차 영상을 차분함으로써 제1 변환 영상을 획득할 수 있다.According to an embodiment of the present disclosure, the processor 1401 obtains a first La * b * image obtained by converting a color space of a first DCI-P3 image into a La * b * color space, and a second DCI-P3 image A second La * b * image obtained by converting the color space of La * b * into a La * b * color space is obtained, and a residual image between the first La * b * image and the second La * b * image is obtained as an actual residual image, When the second La * b * image is input as input data, the neural network is trained to output a third estimated residual image for the second La * b * image and minimize the difference between the third estimated residual image and the actual residual image. , The first transformed image may be obtained by differentiating the estimated residual image output from the neural network from the image transformed from the color space of the second transformed image into La * b * color space.
본 개시의 일 실시예예 따르면, 프로세서(1401)는, 제2 DCI-P3 영상의 색 공간(color space)을 HSV(hue, saturation, value) 색 공간으로 변환한 HSV 영상을 획득하고, HSV 영상의 채도(Saturation) 채널과 제2 La *b * 영상을 결합한 제2 sLa *b * 영상을 획득하고, 뉴럴 네트워크를, 제2 sLa *b * 영상이 입력 데이터로서 입력되면 제2 sLa *b * 영상에 관한 제4 추정 잔차 영상을 출력하고 제4 추정 잔차 영상 및 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, 제2 변환 영상을 변환한 제1 sLa *b * 영상에서 뉴럴 네트워크로부터 출력된 추정 잔차 영상을 차분함으로써 제1 변환 영상을 획득할 수 있다.According to an embodiment of the present disclosure, the processor 1401 obtains an HSV image obtained by converting a color space of a second DCI-P3 image into a hue, saturation, value (HSV) color space, and If a second sLa * b * image is obtained by combining a saturation channel and a second La * b * image, and a neural network, a second sLa * b * image is input as input data, a second sLa * b * image The estimated residual image output from the neural network in the first sLa * b * image obtained by outputting the fourth estimated residual image of, training to minimize the difference between the fourth estimated residual image and the actual residual image, and transforming the second transformed image The first transformed image may be obtained by differentiating.
본 개시의 일 실시예에 따른 메모리(1402)는, 프로세서(1401)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 컴퓨팅 장치(100)로 입력되거나 컴퓨팅 장치(100)로부터 출력되는 데이터를 저장할 수 있다.The memory 1402 according to an embodiment of the present disclosure may store a program for processing and controlling the processor 1401, and may store data input to the computing device 100 or output from the computing device 100. have.
메모리(1402)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 1402 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), and RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk And at least one type of storage medium among optical disks.
도 15는 본 개시의 일 실시예에 따른 프로세서(1500)의 구성을 뉴럴 네트워크의 학습과 처리 면에서 구분하여 설명하기 위한 블록도이다. 15 is a block diagram illustrating a configuration of a processor 1500 according to an embodiment of the present disclosure by dividing it in terms of learning and processing a neural network.
도 15을 참조하면, 일 실시예에 따른 프로세서(1500)는 데이터 학습부(1510) 및 데이터 처리부(1520)를 포함할 수 있다. 프로세서(1500)는 도 14의 컴퓨팅 장치(100)의 프로세서(1401)에 대응될 수 있다. Referring to FIG. 15, a processor 1500 according to an embodiment may include a data learning unit 1510 and a data processing unit 1520. The processor 1500 may correspond to the processor 1401 of the computing device 100 of FIG. 14.
데이터 학습부(1510)는 본 개시의 일 실시예에 따른 뉴럴 네트워크를 학습시키기 위하여, 입력 영상의 색역을 변환하거나 입력 영상에 대응하는 잔차 영상을 생성하기 위한 기준을 학습할 수 있다. 데이터 학습부(1510)는 입력 영상의 색역을 변환하거나 입력 영상에 대응하는 잔차 영상을 생성하기 위해 입력 영상의 어떤 정보(예를 들어, 특징 정보)를 이용하는지에 관한 기준을 학습할 수 있다. 또한, 데이터 학습부(1510)는 영상의 특징 정보를 이용하여, 어떻게 영상의 색역을 변환하거나 입력 영상에 대응하는 잔차 영상을 생성할지에 관한 기준을 학습할 수 있다. 데이터 학습부(1510)는 학습에 이용될 데이터(예를 들어, 영상)를 획득하고, 획득된 데이터를 데이터 처리 모델(뉴럴 네트워크)에 적용함으로써, 입력 영상의 색역을 변환하거나 입력 영상에 대응하는 잔차 영상을 생성하기 위한 기준을 학습할 수 있다.The data learning unit 1510 may learn a criterion for converting a gamut of an input image or generating a residual image corresponding to an input image in order to learn a neural network according to an embodiment of the present disclosure. The data learning unit 1510 may learn a criterion regarding which information (eg, feature information) of the input image is used to convert a gamut of the input image or generate a residual image corresponding to the input image. In addition, the data learning unit 1510 may learn a criterion for how to convert a color gamut of an image or generate a residual image corresponding to an input image, using feature information of the image. The data learning unit 1510 acquires data (e.g., an image) to be used for learning, and applies the acquired data to a data processing model (neural network), thereby converting the color gamut of the input image or corresponding to the input image. A criterion for generating a residual image can be learned.
데이터 처리 모델 (예를 들어, 뉴럴 네트워크)은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 데이터 처리 모델들은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 처리 모델로서 사용될 수 있으나, 이에 한정되지 않는다.The data processing model (eg, neural network) may be constructed in consideration of an application field of the recognition model, the purpose of learning, or the computer performance of the device. The data processing models may be, for example, models based on a neural network. For example, a model such as a deep neural network (DNN), a convolutional neural network (CNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as a data processing model, but is not limited thereto.
또한, 데이터 학습부(1510)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 데이터 처리 모델들을 학습시킬 수 있다.Further, the data learning unit 1510 may train data processing models using, for example, a learning algorithm including error back-propagation or gradient descent.
또한, 데이터 학습부(1510)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 데이터 처리 모델을 학습시킬 수 있다. 또한, 데이터 학습부(1510)는, 예를 들어, 별다른 지도 없이 데이터 처리를 위해 필요한 데이터의 종류를 스스로 학습함으로써, 데이터 처리를 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 데이터 처리 모델을 학습시킬 수 있다. 또한, 데이터 학습부(1510)는, 예를 들어, 학습에 따른 결과값이 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 데이터 처리 모델을 학습시킬 수 있다.In addition, the data learning unit 1510 may train the data processing model through supervised learning using, for example, training data as an input value. In addition, the data learning unit 1510, for example, by self-learning the types of data necessary for data processing without any special guidance, through unsupervised learning to discover the criteria for data processing, data processing You can train the model. In addition, the data learning unit 1510 may train a data processing model through reinforcement learning using feedback on whether a result value according to the learning is correct, for example.
또한, 데이터 처리 모델이 학습되면, 데이터 학습부(1510)는 학습된 데이터 처리 모델을 저장할 수 있다. 이 경우, 데이터 학습부(1510)는 학습된 데이터 처리 모델들을 컴퓨팅 장치의 메모리에 저장할 수 있다. 또는, 데이터 학습부(1510)는 학습된 데이터 처리 모델을 컴퓨팅 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.In addition, when the data processing model is trained, the data learning unit 1510 may store the learned data processing model. In this case, the data learning unit 1510 may store the learned data processing models in the memory of the computing device. Alternatively, the data learning unit 1510 may store the learned data processing model in a memory of a server connected to the computing device through a wired or wireless network.
데이터 처리부(1520)는 학습된 뉴럴 네트워크를 포함하는 데이터 처리 모델에 영상을 입력하고, 데이터 처리 모델은 결과값으로 입력 영상의 색역을 변환한 영상 또는 입력 영상에 대응하는 잔차 영상을 결과로서 출력할 수 있다. 출력된 결과 값은 뉴럴 네트워크를 포함하는 데이터 처리 모델을 업데이트하는데 이용될 수 있다. The data processing unit 1520 inputs an image to a data processing model including the learned neural network, and the data processing model outputs an image obtained by converting the gamut of the input image as a result value or a residual image corresponding to the input image as a result. I can. The output result value may be used to update a data processing model including a neural network.
데이터 학습부(1510) 및 데이터 처리부(1520) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 컴퓨팅 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1510) 및 데이터 처리부(1520) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 탑재될 수도 있다.At least one of the data learning unit 1510 and the data processing unit 1520 may be manufactured in the form of at least one hardware chip and mounted on a computing device. For example, at least one of the data learning unit 1510 and the data processing unit 1520 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general-purpose processor (eg, CPU or application processor) or a graphics dedicated processor (eg, GPU).
또한, 데이터 학습부(1510) 및 데이터 처리부(1520)는 유선 연결 또는 무선 연결을 이용하여, 데이터 학습부(1510)가 구축한 모델 정보를 데이터 처리부(1520)로 제공할 수도 있고, 데이터 처리부(1520)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1510)로 제공될 수도 있다.In addition, the data learning unit 1510 and the data processing unit 1520 may provide model information built by the data learning unit 1510 to the data processing unit 1520 using a wired connection or a wireless connection, or the data processing unit ( The data input to 1520 may be provided to the data learning unit 1510 as additional learning data.
한편, 데이터 학습부(1510) 및 데이터 처리부(1520) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1510) 및 데이터 처리부(1520) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.Meanwhile, at least one of the data learning unit 1510 and the data processing unit 1520 may be implemented as a software module. When at least one of the data learning unit 1510 and the data processing unit 1520 is implemented as a software module (or a program module including an instruction), the software module is a computer-readable non-transitory reading It may be stored in a non-transitory computer readable media. In addition, in this case, at least one software module may be provided by an operating system (OS) or a predetermined application. Alternatively, some of the at least one software module may be provided by an operating system (OS), and the remaining part may be provided by a predetermined application.
데이터 학습부(1510) 및 데이터 처리부(1520)는 하나의 컴퓨팅 장치에 탑재될 수도 있으며, 또는 별개의 컴퓨팅 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1510) 및 데이터 처리부(1520) 중 하나는 컴퓨팅 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. The data learning unit 1510 and the data processing unit 1520 may be mounted on one computing device, or may be mounted on separate computing devices, respectively. For example, one of the data learning unit 1510 and the data processing unit 1520 may be included in the computing device, and the other may be included in the server.
본 개시의 일 실시예에 따르면,, 데이터 학습부(1510) 및 데이터 처리부(1520)는 사용자 컴퓨팅 장치에 탑재되어, 사용자 컴퓨팅 장치에서 학습 및 데이터 처리가 모두 수행될 수 있다. 사용자 컴퓨팅 장치는 도 14의 컴퓨팅 장치(100)에 대응될 수 있다. According to an embodiment of the present disclosure, the data learning unit 1510 and the data processing unit 1520 are mounted on a user computing device, so that both learning and data processing may be performed by the user computing device. The user computing device may correspond to the computing device 100 of FIG. 14.
본 개시의 일 실시예에 따르면,, 데이터 학습부(1510)는 서버에 탑재되어 학습되고, 학습이 완료된 모델을 포함하는 데이터 처리부(1520)는 사용자 컴퓨팅 장치에 탑재될 수 있다. According to an embodiment of the present disclosure, the data learning unit 1510 is mounted on a server to learn, and the data processing unit 1520 including a model on which the learning has been completed may be mounted on a user computing device.
도 16은 본 개시의 일 실시예에 따른 데이터 학습부(1510)는 서버(1610)에 탑재되고 데이터 처리부(1520)는 사용자 컴퓨팅 장치(1620)에 탑재된 예를 나타내는 도면이다.16 is a diagram illustrating an example in which the data learning unit 1510 is mounted on the server 1610 and the data processing unit 1520 is mounted on the user computing device 1620 according to an embodiment of the present disclosure.
도 16을 참조하면, 서버(1610)는 데이터 학습부(1510)을 이용하여 본 개시에 개시된 방법에 따라 입력 영상의 색역을 변환하는 방법을 학습함으로써, 영상 변환 신경망 모델을 획득할 수 있다. 그리고 서버(1610)는 이와 같이 학습된 신경망 모델을 사용자 컴퓨팅 장치(1620)로 제공할 수 있다. 사용자 컴퓨팅 장치(1620)는 서버(1610)로부터 수신된 학습된 신경망 모델을 이용하여 데이터 처리부(1520)를 구현할 수 있다. 사용자가 영상의 색역을 변환하고자 하는 경우, 사용자 컴퓨팅 장치(1620)는 서버(1610)와의 통신 없이 자체적으로 탑재된 데이터 처리부(1520)를 이용하여 사용자 요청에 따라 영상의 색역을 변환하여 사용자 컴퓨팅 장치(1620)의 디스플레이에 변환된 영상을 출력할 수 있다.Referring to FIG. 16, the server 1610 may acquire an image transformation neural network model by learning a method of transforming a gamut of an input image according to the method disclosed in the present disclosure using the data learning unit 1510. In addition, the server 1610 may provide the learned neural network model to the user computing device 1620. The user computing device 1620 may implement the data processing unit 1520 using the learned neural network model received from the server 1610. When a user wants to convert the gamut of an image, the user computing device 1620 converts the gamut of the image according to the user's request using the data processing unit 1520 mounted on itself without communication with the server 1610, The converted image may be output on the display of 1620.
도 17은 본 개시의 일 실시예에 따른 데이터 학습부(1510) 및 데이터 처리부(1520)가 모두 서버(1610)에 탑재된 예를 나타내는 도면이다.17 is a diagram illustrating an example in which both the data learning unit 1510 and the data processing unit 1520 are mounted on the server 1610 according to an embodiment of the present disclosure.
도 17을 참조하면, 데이터 학습부(1510) 및 데이터 처리부(1520)는 모두 서버(1610)에 탑재된다. 따라서 서버(1610)는 데이터 학습부(1510)를 이용하여 본 개시에 개시된 방법에 따라 영상의 색역을 변환하는 방법을 학습함으로써, 영상 변환 신경망 모델을 획득하고, 획득된 영상 변환 신경망 모델을 이용하여 데이터 처리부(1520)를 구현할 수 있다. Referring to FIG. 17, both the data learning unit 1510 and the data processing unit 1520 are mounted on the server 1610. Therefore, the server 1610 acquires an image transformation neural network model by learning a method of transforming the gamut of an image according to the method disclosed in the present disclosure using the data learning unit 1510 and uses the acquired image transformation neural network model. A data processing unit 1520 may be implemented.
사용자가 영상의 색역을 변환하고자 하는 경우, 사용자 컴퓨팅 장치(1620)는 서버(1610)에 이미지 합성 요청을 전달하면, 서버(1610)는 탑재된 데이터 처리부(1520)를 이용하여 사용자 요청에 따라 영상의 색역을 변환하여 변환된 영상을 생성하고, 변환된 영상이 사용자 컴퓨팅 장치(1620)의 디스플레이에 표시될 수 있도록 영상 변환 결과를 사용자 컴퓨팅 장치(1620)로 전송할 수 있다. When a user wants to convert the gamut of an image, the user computing device 1620 transmits an image synthesis request to the server 1610, and the server 1610 uses the mounted data processing unit 1520 to convert the image according to the user's request. The converted image may be generated by transforming the gamut of and the image conversion result may be transmitted to the user computing device 1620 so that the converted image may be displayed on the display of the user computing device 1620.
일 실시예에 따른 컴퓨팅 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.A method of operating a computing device according to an embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and constructed for the present invention, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention defined in the following claims are also the scope of the present invention. Belongs to.

Claims (15)

  1. 컴퓨팅 장치를 이용하여 영상을 변환하는 방법에 있어서, In the method of converting an image using a computing device,
    컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하는 단계; Obtaining a first sRGB image having a gamut of sRGB (standard red green blue) for content;
    뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하는 단계; 및 Obtaining a first transformed image obtained by converting a gamut of the first sRGB image into a gamut of a Digital Cinema Initiative-P3 (DCI-P3) using a neural network; And
    상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하는 단계를 포함하는, 방법.On the basis of the second transformed image generated by applying the first color transform matrix to the first sRGB image and the first transformed image, a final transformed image obtained by converting the color gamut of the first sRGB image to a DCI-P3 gamut is generated A method comprising the step of:
  2. 제1항에 있어서, The method of claim 1,
    상기 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하는 단계를 더 포함하고, Further comprising the step of generating a binary map indicating a portion of the error in the first transformed image,
    상기 최종 변환 영상을 생성하는 단계는, The step of generating the final converted image,
    상기 제2 변환 영상, 상기 제1 변환 영상 및 상기 이진 지도에 기초하여 상기 최종 변환 영상을 생성하는 단계를 포함하는, 방법.And generating the final transformed image based on the second transformed image, the first transformed image, and the binary map.
  3. 제2항에 있어서, The method of claim 2,
    상기 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하는 단계는, Generating a binary map indicating an error in the first transformed image,
    상기 제1 sRGB 영상 내의 각 픽셀과 상기 제1 변환 영상 내의 각 픽셀 간의 픽셀값 차이를 결정하는 단계; 및 Determining a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image; And
    상기 픽셀값 차이가 기준값 이상인 영역을 상기 제1 변환 영상에서 오류가 발생한 부분으로 결정하는 단계를 포함하는, 방법. And determining a region in which the pixel value difference is greater than or equal to a reference value as a portion in which an error occurs in the first transformed image.
  4. 제1항에 있어서, The method of claim 1,
    상기 뉴럴 네트워크를 트레이닝하는 단계를 더 포함하고, Further comprising the step of training the neural network,
    상기 뉴럴 네트워크를 트레이닝하는 단계는, Training the neural network,
    상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하는 단계; Acquiring a first DCI-P3 image having a color gamut of DCI-P3 for the content;
    상기 제2 변환 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상(residual image)을 획득하는 단계; 및 Acquiring a real residual image between the second transformed image and the first DCI-P3 image; And
    상기 뉴럴 네트워크를, 상기 제1 sRGB 영상이 입력 데이터로서 입력되면 상기 제1 sRGB 영상에 관한 제1 추정 잔차 영상을 출력하고 상기 제1 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 포함하고, When the first sRGB image is input as input data, training the neural network to output a first estimated residual image for the first sRGB image and to minimize a difference between the first estimated residual image and the actual residual image Including,
    상기 제1 변환 영상을 획득하는 단계는, The step of obtaining the first transformed image,
    상기 제1 sRGB 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함하는, 방법. And obtaining the first transformed image by dividing the estimated residual image output from the neural network from the first sRGB image.
  5. 제1항에 있어서, The method of claim 1,
    상기 뉴럴 네트워크를 트레이닝하는 단계를 더 포함하고, Further comprising the step of training the neural network,
    상기 뉴럴 네트워크를 트레이닝하는 단계는, Training the neural network,
    상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하는 단계; Acquiring a first DCI-P3 image having a color gamut of DCI-P3 for the content;
    상기 제1 DCI-P3 영상에 제2 색 변환 행렬을 적용함으로써 제2 sRGB 영상을 생성하는 단계; Generating a second sRGB image by applying a second color conversion matrix to the first DCI-P3 image;
    상기 제2 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 제2 DCI-P3 영상을 생성하는 단계; Generating a second DCI-P3 image by applying the first color conversion matrix to the second sRGB image;
    상기 제2 DCI-P3 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상을 획득하는 단계; 및 Acquiring an actual residual image between the second DCI-P3 image and the first DCI-P3 image; And
    상기 뉴럴 네트워크를, 상기 제2 DCI-P3 영상이 입력 데이터로서 입력되면 상기 제2 DCI-P3 영상에 관한 제2 추정 잔차 영상을 출력하고 상기 제2 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 포함하고, When the second DCI-P3 image is input to the neural network as input data, a second estimated residual image of the second DCI-P3 image is output, and a difference between the second estimated residual image and the actual residual image is minimized. Including training to do,
    상기 제1 변환 영상을 획득하는 단계는, The step of obtaining the first transformed image,
    상기 제1 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 생성된 상기 제2 변환 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함하는, 방법.A method comprising the step of obtaining the first transformed image by differentiating the estimated residual image output from the neural network from the second transformed image generated by applying the first color transform matrix to the first sRGB image .
  6. 제5항에 있어서, The method of claim 5,
    상기 뉴럴 네트워크를 트레이닝하는 단계는, Training the neural network,
    상기 제1 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제1 La *b * 영상을 획득하는 단계; Obtaining a first La * b * image obtained by converting the color space of the first DCI-P3 image into a La * b * color space;
    상기 제2 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제2 La *b * 영상을 획득하는 단계; Obtaining a second La * b * image obtained by converting the color space of the second DCI-P3 image into a La * b * color space;
    상기 제1 La *b * 영상과 상기 제2 La *b * 영상 간의 잔차 영상을 상기 실제 잔차 영상으로서 획득하는 단계; 및 Obtaining a residual image between the first La * b * image and the second La * b * image as the actual residual image; And
    상기 뉴럴 네트워크를, 상기 제2 La *b * 영상이 입력 데이터로서 입력되면 상기 제2 La *b * 영상에 관한 제3 추정 잔차 영상을 출력하고 상기 제3 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 더 포함하고, In the neural network, when the second La * b * image is input as input data, a third estimated residual image of the second La * b * image is output, and the difference between the third estimated residual image and the actual residual image Further comprising the step of training to minimize the,
    상기 제1 변환 영상을 획득하는 단계는, The step of obtaining the first transformed image,
    상기 제2 변환 영상의 색 공간을 La *b * 색 공간으로 변환한 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함하는, 방법.And obtaining the first transformed image by differentiating the estimated residual image output from the neural network from an image obtained by transforming the color space of the second transformed image into a La * b * color space.
  7. 제6항에 있어서, The method of claim 6,
    상기 뉴럴 네트워크를 트레이닝하는 단계는, Training the neural network,
    상기 제2 DCI-P3 영상의 색 공간(color space)을 HSV(hue, saturation, value) 색 공간으로 변환한 HSV 영상을 획득하는 단계; Obtaining an HSV image obtained by converting a color space of the second DCI-P3 image into a hue, saturation, value (HSV) color space;
    상기 HSV 영상의 채도(Saturation) 채널과 상기 제2 La *b * 영상을 결합한 제2 sLa *b * 영상을 획득하는 단계; 및 Obtaining a second sLa * b * image obtained by combining a saturation channel of the HSV image and the second La * b * image; And
    상기 뉴럴 네트워크를, 상기 제2 sLa *b * 영상이 입력 데이터로서 입력되면 상기 제2 sLa *b * 영상에 관한 제4 추정 잔차 영상을 출력하고 상기 제4 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하는 단계를 더 포함하고, The neural network, when the second sLa * b * image is input as input data, outputs a fourth estimated residual image of the second sLa * b * image, and the difference between the fourth estimated residual image and the actual residual image Further comprising the step of training to minimize the,
    상기 제1 변환 영상을 획득하는 단계는, The step of obtaining the first transformed image,
    상기 제2 변환 영상을 변환한 제1 sLa *b * 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는 단계를 포함하는, 방법.And obtaining the first transformed image by differentiating the estimated residual image output from the neural network from the first sLa * b * image obtained by transforming the second transformed image.
  8. 영상을 변환하는 컴퓨팅 장치에 있어서, In the computing device for converting an image,
    하나 이상의 인스트럭션을 저장하는 메모리; 및 A memory for storing one or more instructions; And
    상기 하나 이상의 인스트럭션을 실행함으로써, By executing the one or more instructions,
    컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하고, Acquiring a first sRGB image having a gamut of sRGB (standard red green blue) for content,
    뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하고, Obtaining a first transformed image obtained by converting the color gamut of the first sRGB image into a gamut of Digital Cinema Initiative-P3 (DCI-P3) using a neural network,
    상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하는 적어도 하나의 프로세서를 포함하는, 컴퓨팅 장치.Based on the second transformed image and the first transformed image generated by applying a first color transform matrix to the first sRGB image, a final transformed image obtained by converting the color gamut of the first sRGB image into a DCI-P3 gamut Computing device comprising at least one processor.
  9. 제8항에 있어서, The method of claim 8,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 제1 변환 영상에서 오류가 발생한 부분을 나타내는 이진 지도를 생성하고, Generating a binary map indicating an error in the first converted image
    상기 제2 변환 영상, 상기 제1 변환 영상 및 상기 이진 지도에 기초하여 상기 최종 변환 영상을 생성하는, 컴퓨팅 장치.The computing device to generate the final transformed image based on the second transformed image, the first transformed image, and the binary map.
  10. 제9항에 있어서, The method of claim 9,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 제1 sRGB 영상 내의 각 픽셀과 상기 제1 변환 영상 내의 각 픽셀 간의 픽셀값 차이를 결정하고, Determining a pixel value difference between each pixel in the first sRGB image and each pixel in the first transformed image,
    상기 픽셀값 차이가 기준값 이상인 영역을 상기 제1 변환 영상에서 오류가 발생한 부분으로 결정하는, 컴퓨팅 장치. The computing device, wherein a region in which the pixel value difference is equal to or greater than a reference value is determined as a portion in which an error occurs in the first transformed image.
  11. 제8항에 있어서, The method of claim 8,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하고, Acquiring a first DCI-P3 image having a color gamut of DCI-P3 for the content,
    상기 제2 변환 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상(residual image)을 획득하고, Acquiring an actual residual image between the second transformed image and the first DCI-P3 image,
    상기 뉴럴 네트워크를, 상기 제1 sRGB 영상이 입력 데이터로서 입력되면 상기 제1 sRGB 영상에 관한 제1 추정 잔차 영상을 출력하고 상기 제1 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, When the first sRGB image is input as input data, the neural network is trained to output a first estimated residual image of the first sRGB image and to minimize a difference between the first estimated residual image and the actual residual image,
    상기 제1 sRGB 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는, 컴퓨팅 장치. The computing device, wherein the first transformed image is obtained by differentiating the estimated residual image output from the neural network from the first sRGB image.
  12. 제8항에 있어서, The method of claim 8,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 컨텐트에 관한 DCI-P3의 색역을 갖는 제1 DCI-P3 영상을 획득하고, Acquiring a first DCI-P3 image having a color gamut of DCI-P3 for the content,
    상기 제1 DCI-P3 영상에 제2 색 변환 행렬을 적용함으로써 제2 sRGB 영상을 생성하고, A second sRGB image is generated by applying a second color conversion matrix to the first DCI-P3 image,
    상기 제2 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 제2 DCI-P3 영상을 생성하고, Generating a second DCI-P3 image by applying the first color conversion matrix to the second sRGB image,
    상기 제2 DCI-P3 영상과 상기 제1 DCI-P3 영상 간의 실제 잔차 영상을 획득하고, Acquiring an actual residual image between the second DCI-P3 image and the first DCI-P3 image,
    상기 뉴럴 네트워크를, 상기 제2 DCI-P3 영상이 입력 데이터로서 입력되면 상기 제2 DCI-P3 영상에 관한 제2 추정 잔차 영상을 출력하고 상기 제2 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, When the second DCI-P3 image is input to the neural network as input data, a second estimated residual image of the second DCI-P3 image is output, and a difference between the second estimated residual image and the actual residual image is minimized. Training to do,
    상기 제1 sRGB 영상에 상기 제1 색 변환 행렬을 적용함으로써 생성된 상기 제2 변환 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는, 컴퓨팅 장치.The computing device, wherein the first transformed image is obtained by differentiating the estimated residual image output from the neural network from the second transformed image generated by applying the first color transform matrix to the first sRGB image.
  13. 제12항에 있어서, The method of claim 12,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 제1 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제1 La *b * 영상을 획득하고, Acquire a first La * b * image obtained by converting the color space of the first DCI-P3 image into a La * b * color space,
    상기 제2 DCI-P3 영상의 색 공간을 La *b * 색 공간으로 변환한 제2 La *b * 영상을 획득하고, Acquiring a second La * b * image obtained by converting the color space of the second DCI-P3 image into a La * b * color space,
    상기 제1 La *b * 영상과 상기 제2 La *b * 영상 간의 잔차 영상을 상기 실제 잔차 영상으로서 획득하고, Acquiring a residual image between the first La * b * image and the second La * b * image as the actual residual image,
    상기 뉴럴 네트워크를, 상기 제2 La *b * 영상이 입력 데이터로서 입력되면 상기 제2 La *b * 영상에 관한 제3 추정 잔차 영상을 출력하고 상기 제3 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, In the neural network, when the second La * b * image is input as input data, a third estimated residual image of the second La * b * image is output, and the difference between the third estimated residual image and the actual residual image Training to minimize
    상기 제2 변환 영상의 색 공간을 La *b * 색 공간으로 변환한 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는, 컴퓨팅 장치.The computing device, wherein the first transformed image is obtained by differentiating the estimated residual image output from the neural network from an image obtained by converting a color space of the second transformed image into a La * b * color space.
  14. 제13항에 있어서, The method of claim 13,
    상기 적어도 하나의 프로세서는, The at least one processor,
    상기 제2 DCI-P3 영상의 색 공간(color space)을 HSV(hue, saturation, value) 색 공간으로 변환한 HSV 영상을 획득하고, Obtaining an HSV image obtained by converting the color space of the second DCI-P3 image into a hue, saturation, value (HSV) color space,
    상기 HSV 영상의 채도(Saturation) 채널과 상기 제2 La *b * 영상을 결합한 제2 sLa *b * 영상을 획득하고, A second sLa * b * image obtained by combining the saturation channel of the HSV image and the second La * b * image,
    상기 뉴럴 네트워크를, 상기 제2 sLa *b * 영상이 입력 데이터로서 입력되면 상기 제2 sLa *b * 영상에 관한 제4 추정 잔차 영상을 출력하고 상기 제4 추정 잔차 영상 및 상기 실제 잔차 영상 간의 차이를 최소화하도록 트레이닝하고, The neural network, when the second sLa * b * image is input as input data, outputs a fourth estimated residual image of the second sLa * b * image, and the difference between the fourth estimated residual image and the actual residual image Training to minimize
    상기 제2 변환 영상을 변환한 제1 sLa *b * 영상에서 상기 뉴럴 네트워크로부터 출력된 상기 추정 잔차 영상을 차분함으로써 상기 제1 변환 영상을 획득하는, 컴퓨팅 장치.The computing device, wherein the first transformed image is obtained by differentiating the estimated residual image output from the neural network from the first sLa * b * image obtained by transforming the second transformed image.
  15. 하나 이상의 프로그램들을 저장하는 컴퓨터로 읽을 수 있는 저장매체를 포함하는 컴퓨터 프로그램 제품에 있어서, In the computer program product comprising a computer-readable storage medium storing one or more programs,
    상기 하나 이상의 프로그램들은, 컴퓨팅 장치의 하나 이상의 프로세서에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금: The one or more programs, when executed by one or more processors of the computing device, cause the computing device to:
    컨텐트에 관한 sRGB(standard Red Green Blue)의 색역(gamut)을 갖는 제1 sRGB 영상을 획득하고, Acquiring a first sRGB image having a gamut of sRGB (standard red green blue) for content,
    뉴럴 네트워크를 이용하여 상기 제1 sRGB 영상의 색역을 DCI-P3(Digital Cinema Initiative-P3)의 색역으로 변환한 제1 변환 영상을 획득하고, Obtaining a first transformed image obtained by converting the color gamut of the first sRGB image into a gamut of Digital Cinema Initiative-P3 (DCI-P3) using a neural network,
    상기 제1 sRGB 영상에 제1 색 변환 행렬을 적용함으로써 생성된 제2 변환 영상 및 상기 제1 변환 영상에 기초하여, 상기 제1 sRGB 영상의 색역을 DCI-P3 색역으로 변환한 최종 변환 영상을 생성하게 하는 명령어들을 포함하는, 컴퓨터 프로그램 제품.Based on the second transformed image and the first transformed image generated by applying a first color transform matrix to the first sRGB image, a final transformed image obtained by converting the color gamut of the first sRGB image into a DCI-P3 gamut A computer program product containing instructions for causing.
PCT/KR2020/010810 2019-08-14 2020-08-13 Computing apparatus for converting image and method for operating same WO2021029719A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190099844A KR20210020476A (en) 2019-08-14 2019-08-14 A computing apparatus and a method of converting image
KR10-2019-0099844 2019-08-14

Publications (1)

Publication Number Publication Date
WO2021029719A1 true WO2021029719A1 (en) 2021-02-18

Family

ID=74571173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010810 WO2021029719A1 (en) 2019-08-14 2020-08-13 Computing apparatus for converting image and method for operating same

Country Status (2)

Country Link
KR (1) KR20210020476A (en)
WO (1) WO2021029719A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516580B (en) * 2021-09-14 2021-12-28 翱捷智能科技(上海)有限公司 Method and device for improving neural network image processing efficiency and NPU

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278264A (en) * 2008-05-13 2009-11-26 Fuji Xerox Co Ltd Color processing apparatus, and program
KR20170106022A (en) * 2016-03-11 2017-09-20 삼성전자주식회사 Electronic device for processing video signal
US20170272780A1 (en) * 2016-03-15 2017-09-21 Apple Inc. Extended YCC Format for Backward-Compatible P3 Camera Video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009278264A (en) * 2008-05-13 2009-11-26 Fuji Xerox Co Ltd Color processing apparatus, and program
KR20170106022A (en) * 2016-03-11 2017-09-20 삼성전자주식회사 Electronic device for processing video signal
US20170272780A1 (en) * 2016-03-15 2017-09-21 Apple Inc. Extended YCC Format for Backward-Compatible P3 Camera Video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEE, JI-HYUN; KIM, JOO-YUNG; LEE, HAK-SUNG; HAN, DONG-IL: "Implementation of Real Time Color Gamut Mapping Using Neural Network", PROCEEDINGS OF 2004 SUMMER ANNUAL CONFERENCE OF IEIE, vol. 27, no. 1, June 2004 (2004-06-01), pages 719 - 722, XP009526094 *
YANG-HO CHO, OH-SEOL KWON, CHANG-HWAN SON, TAE-YONG PARK, YEONG-HO HA: "Gamut Mapping and Extension Method in the xy Chromaticity Diagram for Various Display Devices", THE INSTITUTE OF ELECTRONICS ENGINEERS OF KOREA - SIGNAL PROCESSING, vol. 43, no. 1, January 2006 (2006-01-01), pages 45 - 55, XP009526086, ISSN: 1229-6384 *

Also Published As

Publication number Publication date
KR20210020476A (en) 2021-02-24

Similar Documents

Publication Publication Date Title
WO2020130309A1 (en) Image masking device and image masking method
WO2020027519A1 (en) Image processing device and operation method therefor
WO2020226317A1 (en) Image processing apparatus and image processing method thereof
WO2014148829A1 (en) Method and apparatus for processing an image based on detected information
WO2009151292A2 (en) Image conversion method and apparatus
WO2020017871A1 (en) Image processing apparatus and operation method thereof
WO2017213439A1 (en) Method and apparatus for generating image by using multi-sticker
WO2020116768A1 (en) Image processing device and method for operating same
WO2016076497A1 (en) Method and device for image display based on metadata, and recording medium therefor
WO2015102203A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
WO2020105979A1 (en) Image processing apparatus and control method thereof
WO2021029719A1 (en) Computing apparatus for converting image and method for operating same
WO2022158667A1 (en) Method and system for displaying a video poster based on artificial intelligence
WO2022085958A1 (en) Electronic device and method for operating same
WO2020231035A1 (en) Image processing apparatus and operating method of the same
WO2020159185A1 (en) Electronic device and control method thereof
WO2020101434A1 (en) Image processing device and method for retargeting of image
WO2016190472A1 (en) Device and method for producing augmented reality image by using chroma key
WO2019160275A1 (en) Electronic device and method for generating summary image of electronic device
WO2021162237A1 (en) Method and apparatus for extracting color schema from video
WO2020122389A1 (en) Image processing device and method for operating same
WO2022080680A1 (en) Artificial-intelligence-based image inpainting method and device
WO2023282425A2 (en) Electronic device, system, and method for intelligent horizontal-vertical image transform
WO2021182750A1 (en) Display apparatus and method thereof
WO2019209006A1 (en) Method for improving resolution of streaming files

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20852017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20852017

Country of ref document: EP

Kind code of ref document: A1