WO2021161453A1 - 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 - Google Patents
画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2021161453A1 WO2021161453A1 PCT/JP2020/005562 JP2020005562W WO2021161453A1 WO 2021161453 A1 WO2021161453 A1 WO 2021161453A1 JP 2020005562 W JP2020005562 W JP 2020005562W WO 2021161453 A1 WO2021161453 A1 WO 2021161453A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- color
- hint
- unit
- image
- target portion
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 94
- 238000010801 machine learning Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 14
- 238000000034 method Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 19
- 230000002349 favourable effect Effects 0.000 description 15
- 239000003086 colorant Substances 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/465—Conversion of monochrome to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
Definitions
- the present disclosure relates to an image processing system for colorizing a monochrome image, an image processing method, and a non-temporary computer-readable medium.
- Patent Document 1 An image processing system that converts a monochrome image into a colorized image by a trained prediction model based on a color (color hint) specified by a user using a general-purpose color palette is known (see Non-Patent Document 1). .. Further, in Patent Document 1, the classification item of the subject included in the monochrome image and the preferable color of the subject are stored in advance in association with the color database, and the color to be arranged is determined according to the input of the classification item by the user. The method of doing so is disclosed.
- An object of the present disclosure is to provide an image processing system, an image processing method, and a non-temporary computer-readable medium capable of more easily improving the color reproduction accuracy in colorizing a monochrome image in view of the above-mentioned problems. It is in.
- the image processing system includes an image acquisition unit that acquires a monochrome image including a target portion. Further, the image processing system includes a hint acquisition unit for acquiring a classification item of the target portion and a first color hint suggesting a color of the target portion. Further, the image processing system includes a hint conversion unit that converts the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item. Further, the image processing system uses a prediction model learned by machine learning to generate a colorization generation unit that generates a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion. Be prepared.
- the image processing method in one aspect of the present disclosure includes a step of acquiring a monochrome image including a target portion. Further, the image processing method includes a step of acquiring a classification item of the target portion and a first color hint suggesting a color of the target portion. Further, the image processing method includes a step of converting the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item. Further, the image processing method includes a step of generating a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using a prediction model learned by machine learning.
- the non-temporary computer-readable medium in one aspect of the present disclosure includes an image acquisition function for acquiring a monochrome image including a target portion, a classification item of the target portion, and a first color hint suggesting a color of the target portion.
- a hint conversion function for converting the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item, and a hint conversion function for learning by machine learning.
- An image processing program for realizing a colorization generation function for generating a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using the predicted model. Is stored.
- the present disclosure makes it possible to provide an image processing system, an image processing method, and a non-temporary computer-readable medium that can more easily improve the color reproduction accuracy in colorizing a monochrome image.
- FIG. 1 It is a block diagram which shows the structure of the apparatus which concerns on the outline of embodiment. It is an outline of the processing of the apparatus which concerns on Embodiment 1. It is a schematic block diagram of the apparatus which concerns on Embodiment 1. FIG. It is a figure which shows an example of the user interface of the apparatus which concerns on Embodiment 1. FIG. It is a flowchart which shows the process of the apparatus which concerns on Embodiment 1. FIG. It is a figure for demonstrating an example of the colorized image generation processing of the colorization generation part which concerns on Embodiment 1. FIG. It is a figure which shows an example of the data structure of the 1st conversion table which concerns on Embodiment 1. FIG.
- FIG. It is a flowchart which shows the color hint conversion process using the 1st conversion table which concerns on Embodiment 1.
- FIG. It is a figure which shows an example of the data structure of the 2nd conversion table which concerns on Embodiment 1.
- FIG. It is a flowchart which shows the color hint conversion process using the 2nd conversion table which concerns on Embodiment 1.
- FIG. It is a figure which shows an example of the data structure of the 3rd conversion table which concerns on Embodiment 1.
- FIG. It is a flowchart which shows the color hint conversion process using the 3rd conversion table which concerns on Embodiment 1.
- FIG. It is a schematic block diagram of the apparatus which concerns on Embodiment 2.
- FIG. It is a schematic block diagram of the apparatus which concerns on Embodiment 2.
- FIG. 1 It is a flowchart which shows the processing of the apparatus which concerns on Embodiment 2. It is a conceptual diagram for demonstrating the color hint adjustment process which concerns on Embodiment 2. It is a schematic block diagram of the apparatus which concerns on Embodiment 3. FIG. It is a flowchart which shows the processing of the apparatus which concerns on Embodiment 3. It is a figure which shows an example of the user interface of the apparatus which concerns on Embodiment 3. FIG.
- FIG. 1 is a block diagram showing a configuration of an image processing system (here, simply referred to as a device 10) according to an outline of an embodiment.
- the device 10 includes an image acquisition unit 102, a hint acquisition unit 105, a hint conversion unit 106, and a colorization generation unit 120.
- the image acquisition unit 102 acquires a monochrome image including a subject including the target portion.
- the hint acquisition unit 105 acquires the classification item of the target portion and the first color hint suggesting the color of the target portion.
- the hint conversion unit 106 converts the first color hint into a second color hint that suggests the color of the target portion based on the acquired classification item.
- the colorization generation unit 120 generates a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using the prediction model learned by machine learning.
- the color of the specified color hint can be adjusted based on the classification item of the target part, and the color can be colored using the adjusted color hint. Therefore, it is possible to more easily improve the color reproduction accuracy in the colorization of a monochrome image.
- FIG. 2 is an outline of the processing of the apparatus 20 according to the first embodiment.
- the device 20 is a computer or the like that colors a monochrome image M using a prediction model from a monochrome image M and a color hint H corresponding to the monochrome image M to generate a colorized image C.
- the monochrome image M is an image drawn using a background color and a single color other than the background color.
- the monochrome image M has a number of pixels corresponding to the number of pixels.
- Each pixel of the monochrome image M includes a pixel value indicating a step of shading between the background color and a single color.
- the pixel value of the monochrome image M includes a value of any dimension in the color space.
- the pixel value of the monochrome image M includes the luminance value of the monochrome image M, for example, the L value.
- the black-and-white image M is a photographic image including one or more subjects. The subject is, for example, a person, the sky, the setting sun, a tree, a grass, or the like.
- the subject includes one or a plurality of target portions.
- the target portion is a portion of the subject whose color is similar.
- the target portion may be a pixel region including a plurality of adjacent pixels whose pixel value differences are within a predetermined range.
- the target parts are, for example, a person's skin, a person's eyes, a person's clothes, the sky, the setting sun, a tree trunk, leaves and grass, and the like.
- the monochrome image M may be a grayscale image using white as the background color and black as the single color.
- the present invention is not limited to this, and the monochrome image M may be an image using a color other than black as a single color.
- the monochrome image M may be a single-color halftone dot image that has been subjected to a blurring process using a Gaussian filter, a median filter, or the like.
- the colorized image C has a number of pixels corresponding to the number of pixels corresponding to the monochrome image M.
- Each pixel of the colorized image C includes a complementary color dimension value in addition to the pixel value.
- the complementary color dimension values may be, for example, a and b values.
- the prediction model is a prediction model that predicts the pixel color of the monochrome image M learned by machine learning.
- the prediction model has, for example, a neural network that includes an input layer, an intermediate layer, and an output layer.
- a neural network includes a convolutional neural network (CNN).
- the neural network may include an autoencoder that compresses the dimensions of the input layer, particularly a conditional autoencoder.
- the prediction model is a model learned by end-to-end deep learning, but is not limited to this.
- Color hint H is a color index that suggests the color of the target part.
- the color hint H is a color defined using a color space.
- the color hint H is a condition added to the prediction model.
- the color hint H may be a condition added to the autoencoder included in the neural network.
- the color hint H improves the color prediction accuracy of the pixels of the monochrome image M.
- the color hint H is preferably a "favorable color” as a photographic image, particularly a color suitable for human perception.
- the "favorable color” may have reflectance characteristics under a predetermined light source such as sunlight and a white light source.
- the "favorable color” may be a color empirically determined based on human perception.
- the "favorable color” is the latter color when the color difference between the color of the object under a predetermined light source and the color of the object displayed on the predetermined display device is small (preferably the minimum). There may be.
- the "favorable color” can be obtained as follows.
- the color of the object is detected by the first image sensor, the detected color is displayed on a predetermined display device, and the displayed color is further detected by the second image sensor.
- the detection color of the second image sensor is selected. It can be the "favorable color" of the object. By setting the color hint H to such a "favorable color", it is possible to improve the color reproduction accuracy in the colorization of a monochrome image.
- FIG. 3 is a schematic configuration diagram of the device 20 according to the first embodiment.
- the device 20 includes an acquisition unit 200, a storage unit 210, a colorization generation unit 220, an output unit 240, and a model generation unit 260.
- the acquisition unit 200 acquires various data related to the input data of the prediction model.
- the acquisition unit 200 outputs the acquired data to the colorization generation unit 220.
- the acquisition unit 200 may store the acquired data in the storage unit 210.
- the acquisition unit 200 has an image acquisition unit 202 and a hint determination unit 204.
- the image acquisition unit 202 acquires a monochrome image M, which is one of the input data of the prediction model.
- the image acquisition unit 202 may acquire a monochrome image M and a colorized image C corresponding thereto as learning data.
- the hint determination unit 204 acquires the first color hint of the target portion of the subject of the monochrome image M and determines the second color hint.
- the first color hint is a color hint designated by the user as a color suggesting a color of a target portion of the subject.
- the second color hint is a "favorable color" corresponding to the first color hint, and is a color hint input as a condition in the prediction model.
- the hint determination unit 204 outputs the determined second color hint to the colorization generation unit 220.
- the hint determination unit 204 includes a hint acquisition unit 205 and a hint conversion unit 206.
- the hint acquisition unit 205 acquires the target position information P of the monochrome image M, the classification item of the target portion, and the first color hint.
- the classification item is information indicating the type of the target part, and as an example, "human skin”, “human eyes”, “sky”, “sunset”, “tree trunk”, “leaf” and “Grass” etc.
- the target position information P may be the position information of at least a part of the pixels constituting the target portion.
- the hint conversion unit 206 converts the first color hint into the second color hint based on the classification items acquired by the hint acquisition unit 205.
- the hint conversion unit 206 may convert the first color hint into the second color hint by using the conversion table stored in the storage unit 210.
- the storage unit 210 is a storage medium that stores various data and the like related to the color hint conversion process and the learning process of the prediction model.
- the storage unit 210 has a conversion table and a learning database 216.
- the conversion table is a table that stores the classification items of the target portion in association with the parameters and the like related to the color hint conversion process. Details will be described later.
- the learning database 216 stores training data and the like of the prediction model.
- the colorization generation unit 220 generates a colorized image C corresponding to the monochrome image M from the monochrome image M and the color hint H (particularly, the second color hint) of the target portion by using the prediction model.
- the colorization generation unit 220 uses a prediction model output from the model optimization unit 264 of the model generation unit 260, which will be described later. Then, the colorization generation unit 220 outputs the colorization image C to the output unit 240.
- the output unit 240 outputs the colorized image C generated by the colorization generation unit 220 in a predetermined output format.
- the model generation unit 260 generates a prediction model by machine learning using the training data.
- the model generation unit 260 has a learning processing unit 262 and a model optimization unit 264.
- the learning processing unit 262 manages the learning data of the prediction model.
- the learning processing unit 262 acquires a data set including a monochrome image M for learning, a colorized image C, and a color hint H, that is, learning data, and stores it in the learning database 216.
- the learning data stored in the learning database 216 may be data acquired by the learning processing unit 262 from the acquisition unit 200, and the learning processing unit 262 may use an arbitrary communication means (not shown) from another device. It may be received data.
- the learning processing unit 262 outputs the learning data stored in the learning database 216 to the model optimization unit 264.
- the model optimization unit 264 optimizes the prediction model by machine learning using the training data.
- the prediction model optimization unit 184 outputs the optimized prediction model to the colorization generation unit 220.
- FIG. 4 is a diagram showing an example of the user interface of the device 20 according to the first embodiment.
- the user interface includes a monochrome image display unit 1, a colorized image display unit 2, a color palette 3, a classification item input unit 4, a color space display unit 5, a hint display unit 6, and an image input unit 7. , And an image output unit 8.
- the monochrome image display unit 1 displays the acquired monochrome image M, and superimposes the color indicated by the first color hint or the second color hint on the pixels corresponding to the target position information P of the target portion of the monochrome image M. To display.
- the monochrome image display unit 1 receives input of the target position information P from the user via a pointing device or the like.
- the monochrome image display unit 1 is included in the hint determination unit 204 and may be connected to the hint acquisition unit 205.
- the colorized image display unit 2 displays the generated colorized image C.
- the colorized image display unit 2 is included in the output unit 240.
- the color palette 3 is a general-purpose color palette that holds a plurality of colors, and accepts a color designation from the user.
- the specified color is the first color hint.
- the color palette 3 is included in the hint acquisition unit 205 of the hint determination unit 204.
- the classification item input unit 4 displays a list of classification items of the target portion and accepts input of the classification item from the user.
- the classification item input unit 4 is included in the hint determination unit 204 and may be connected to the hint acquisition unit 205.
- the color space display unit 5 displays the currently selected color hint (the first color hint designated by the user or the second color hint after conversion) in the color space.
- the color space display unit 5 may accept a color designation (that is, input of a first color hint) from the user via a pointing device or the like.
- the hint display unit 6 displays the color hint currently selected in color.
- the image input unit 7 is included in the image acquisition unit 202 and receives an input of a monochrome image M from a user.
- the image output unit 8 is included in the output unit 240, and outputs the colorized image C to the outside in a predetermined data format.
- FIG. 5 is a flowchart showing the processing of the apparatus 20 according to the first embodiment.
- the image acquisition unit 202 of the acquisition unit 200 acquires the monochrome image M related to colorization.
- the image acquisition unit 202 performs the above processing in response to the user selecting the image input unit 7 shown in FIG. 4 and transferring a predetermined monochrome image M.
- the image acquisition unit 202 outputs the acquired monochrome image M to the colorization generation unit 220.
- the hint acquisition unit 205 determines whether or not the target position information P of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has designated at least a part of the pixels on the monochrome image display unit 1 shown in FIG. 4 by a pointing device or the like. If the hint acquisition unit 205 has acquired (designated) (Y in S11), the process proceeds to S12, and if not (N in S11), the process proceeds to S18.
- the hint acquisition unit 205 determines whether or not the first color hint of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has specified a color included in the color palette 3 shown in FIG. 4 or a color displayed in the color space display unit 5. If the hint acquisition unit 205 has acquired (designated) (Y in S12), as shown in FIG. 4, the hint acquisition unit 205 is the first pixel corresponding to the target position information P on the monochrome image M of the monochrome image display unit 1. The colors indicated by the color hints are displayed in a superimposed manner, and the process proceeds to S13. If not (N in S12), the hint acquisition unit 205 advances the process to S18.
- the hint acquisition unit 205 determines whether or not the classification item of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has specified the classification item displayed in the classification item input unit 4. If the hint acquisition unit 205 has acquired (designated) (Y in S13), the process proceeds to S14, and if not (N in S13), the first color hint is output to the colorization generation unit 220. , The process proceeds to S15.
- the hint conversion unit 206 refers to the conversion table of the storage unit 210 and converts the first color hint into the second color hint according to the acquired classification item. Details of this color hint conversion process will be described later.
- the hint conversion unit 206 outputs a second color hint to the colorization generation unit 220. Further, as shown in FIG. 4, the hint conversion unit 206 shows a second color hint instead of the first color hint on the pixel corresponding to the target position information P on the monochrome image M of the monochrome image display unit 1. Display colors in a superimposed manner.
- the colorization generation unit 220 acquires a prediction model from the model optimization unit 264.
- the colorization generation unit 220 uses the acquired monochrome image M as input data, and uses the prediction model on the condition of the color hint H (first color hint or second color hint) to obtain the monochrome image M.
- a colorized image C corresponding to is generated.
- the colorization generation unit 220 outputs the colorization image C to the output unit 240.
- the output unit 240 outputs the colorized image C.
- the output unit 240 causes the colorized image display unit 2 shown in FIG. 4 to display the colorized image C. Further, the output unit 240 outputs the colorized image C in a predetermined data format according to the user's selection of the image output unit 8 shown in FIG. Then, the output unit 240 ends the process.
- the hint acquisition unit 205 indicates an error depending on whether the target position information P has not been acquired in S11 or the first color hint of the target portion has not been acquired in S12. Is output. Then, the hint acquisition unit 205 ends the process.
- the hint conversion unit 206 converts the first color hint into the second color hint based on the classification item, the color adjustment of the designated color hint is based on the classification item. This can be done, and colorization can be performed using the color hint after the color adjustment. This makes it possible to more easily improve the color reproduction accuracy in colorizing a monochrome image.
- FIG. 6 is a diagram for explaining an example of the colorized image generation process (that is, the process shown in S16 of FIG. 5) of the colorization generation unit 220 according to the first embodiment.
- the colorization generation unit 220 corresponds to the monochrome image M, that is, the matrix diagram M (L) corresponding to the luminance dimension (L) of the monochrome image M, and the luminance and complementary color dimensions (a, b) of the color hint H, respectively.
- Matrix diagrams H (L), H (a), and H (b) are acquired.
- the colorization generation unit 220 inputs these into the input layer and the conditions of the prediction model.
- the prediction model outputs matrix diagrams C (a) and C (b) corresponding to the complementary color dimensions of the colorized image C in the output layer.
- the colorization generation unit 220 synthesizes the output C (a), C (b) and M (L) to generate a colorized image C. In this way, the colorization generation unit 220 can generate the colorization image C from the monochrome image M and the color hint H.
- the conversion table may include at least one of a first conversion table, a second conversion table, and a third conversion table, and the hint conversion unit 206 depends on the type of conversion table stored in the storage unit 210.
- the conversion process may be performed.
- FIG. 7A is a diagram showing an example of the data structure of the first conversion table according to the first embodiment
- FIG. 7B is a flowchart showing a color hint conversion process using the first conversion table.
- the first conversion table stores the classification items of the target portion in association with the plurality of second color hint candidates.
- the first conversion table may include a classification item of the target portion and color space coordinates of a plurality of second color hint candidates corresponding to the classification item.
- the color space coordinates include components (that is, pixel values) corresponding to the dimensions of the color space, and in this figure, include three components L, a, and b corresponding to the luminance dimension (L) and the complementary color dimension, respectively.
- the candidate for the second color hint may be a color predetermined as the above-mentioned "preferred color" according to the classification item.
- the hint conversion unit 206 acquires the color space coordinates of a plurality of second color hint candidates according to the acquired classification items by using the first conversion table.
- the hint conversion unit 206 sets the color difference between each of the second color hint candidates and the first color hint, that is, the color space coordinates of each of the second color hint candidates, and the first. Calculate the distance between the color hints and the color space coordinates of. The distance here may be Euclidean distance, Manhattan distance, Chebyshev distance or any other distance.
- the hint conversion unit 206 selects the candidate having the smallest color difference from the first color hint among the candidates for the second color hint, and determines the second color hint.
- the hint conversion unit 206 uses the first conversion table to select the color closest to the user-specified color (first color hint) among the preferable colors predetermined for each classification item. It can be easily determined as the color hint of 2.
- FIG. 8A is a diagram showing an example of the data structure of the second conversion table according to the first embodiment
- FIG. 8B is a flowchart showing a color hint conversion process using the second conversion table.
- the second conversion table stores the first color hint, the classification item of the target portion, and the second color hint in association with each other.
- the second conversion table stores the color space coordinates assigned according to the range of the color space coordinates of the first color hint as the second color hint for each classification item.
- the second color hint may be a color predetermined as the above-mentioned "favorable color" corresponding to the color space of the first color hint for each classification item.
- the hint conversion unit 206 refers to the second conversion table.
- the hint conversion unit 206 acquires the second color hint associated with the range corresponding to the acquired classification item and the color space coordinate component of the first color hint. In this way, by using the second conversion table, the hint conversion unit 206 can easily use a predetermined "favorable color" corresponding to the color specified by the user as the second color hint for each classification item. Can be decided.
- FIG. 9A is a diagram showing an example of the data structure of the third conversion table according to the first embodiment
- FIG. 9B is a flowchart showing a color hint conversion process using the third conversion table.
- the third conversion table stores conversion parameters for converting from the first color hint to the second color hint according to the classification item of the target portion.
- the hint conversion unit 206 acquires conversion parameters corresponding to the acquired classification items stored in the third conversion table.
- the hint conversion unit 206 calculates the second color hint from the first color hint using the conversion parameter.
- the hint conversion unit 206 uses the third conversion table to perform arithmetic processing based on the conversion parameters predetermined for each classification item for the color specified by the user, and outputs the output result to the second. It can be easily determined as a color hint of.
- the learning database 216 is included in the storage unit 210 of the device 20, but instead, it may be included in another device (not shown) or the like that is communicably connected.
- the learning processing unit 262 may acquire learning data from the other device via an arbitrary communication means (not shown) and output it to the model optimization unit 264.
- FIG. 10 is a schematic configuration diagram of the device 30 according to the second embodiment.
- the device 30 has substantially the same configuration and function as the device 20 of the first embodiment. However, the device 30 is different from the device 20 in that the acquisition unit 300 is provided instead of the acquisition unit 200.
- the acquisition unit 300 has substantially the same configuration and function as the acquisition unit 200, but has a hint determination unit 304 instead of the hint determination unit 204.
- the hint determination unit 304 includes a hint adjustment unit 307 in addition to the configuration of the hint determination unit 204.
- the hint adjustment unit 307 adjusts the color space coordinates of the converted second color hint output from the hint conversion unit 206 based on the distance from the color space coordinates of the first color hint.
- FIG. 11 is a flowchart showing the processing of the apparatus 30 according to the second embodiment.
- the step shown in FIG. 11 has S50 in addition to the step shown in FIG. 5 of the first embodiment.
- the same steps as those shown in FIG. 5 are designated by the same symbols and the description thereof will be omitted.
- the hint adjustment unit 307 of the hint determination unit 304 performs the color hint adjustment process in response to the output of the second color hint from the hint conversion unit 206 in S14. Then, the hint adjustment unit 307 outputs the second color hint to the colorization generation unit 220, and proceeds to the process in S15.
- the colorization generation unit 220 generates a colorization image corresponding to the monochrome image based on the adjusted second color hint.
- FIG. 12 is a conceptual diagram for explaining the color hint adjustment process (that is, the process shown in S50 of FIG. 11) according to the second embodiment.
- the point v shown in this figure is the color space coordinates of the first color hint acquired (that is, specified by the user) by the hint acquisition unit 205 in S12.
- the point p is the color space coordinate of the second color hint (that is, “preferred color”) converted by the hint conversion unit 206 in S14.
- the point X is the color space coordinate of the second color hint adjusted by the hint adjusting unit 307 in S50.
- the hint adjustment unit 307 adjusts the color of the second color hint after conversion by setting the point X on the straight line connecting the point p and the point v. As a result, the hint adjusting unit 307 can perform a processing process for moving the second color hint closer to or away from the "favorable color" by a predetermined amount from the first color hint.
- this figure shows an example in which the hint adjusting unit 307 sets a point X between a point v and a point p in a color space, that is, a case where a second color hint is brought closer to a “favorable color” by a predetermined amount.
- l be the distance between points v and p
- the color space coordinates of points v, p, and X be v, p, and X, respectively, using a position vector.
- t (-1 ⁇ t ⁇ 1) be a parameter indicating how close the color is to the “favorable color”.
- X l ⁇ t ⁇ v + l ⁇ (1-t) ⁇ p is obtained.
- the hint adjustment unit 307 can set the point X at a position on the straight line connecting the point v and the point p in the color space, which is opposite to the point p with respect to the point v. Is. That is, the hint adjusting unit 307 can move the second color hint away from the "favorable color" by a predetermined amount.
- the device 30 can perform colorization according to the taste of the user's preference based on a predetermined "favorable color”.
- FIG. 13 is a schematic configuration diagram of the device 40 according to the third embodiment.
- the device 40 has substantially the same configuration and function as the device 20 of the first embodiment.
- the device 40 includes an acquisition unit 400 instead of the acquisition unit 200.
- the acquisition unit 400 has substantially the same configuration and function as the acquisition unit 200, but has a hint determination unit 404 instead of the hint determination unit 204.
- the hint determination unit 404 includes a target detection unit 406 and a detection display unit 408 in addition to the configuration of the hint determination unit 204.
- the target detection unit 406 automatically detects the target portion from the monochrome image M and acquires the target position information P. For example, the target detection unit 406 may detect a subject and detect a pixel region of the subject, which is presumed to have similar colors, as the target portion. The target detection unit 406 may detect a pixel region in which colors are presumed to be similar, based on the difference in pixel values between pixels included in the subject and the position of the pixels. Then, the target detection unit 406 estimates the classification item of the target portion based on the detected target portion. The target detection unit 406 outputs the estimated classification item to the hint conversion unit 206.
- the detection display unit 408 selects and displays the detected target portion. Therefore, the user can specify the first color hint without specifying the target position information P of the target portion.
- the detection display unit 408 may display the detected subject in addition to the target portion.
- the hint acquisition unit 205 may accept the input of the first color hint from the user corresponding to the displayed target portion.
- the target detection unit 406 since the target detection unit 406 automatically detects the target position information P, the user's operation of designating the target position information P is omitted, and the convenience is improved. Further, since the target detection unit 406 estimates the classification item of the target portion in response to the automatic detection of the target position information P, the classification item of the target portion can be automatically acquired. As a result, the operation of specifying the classification item of the user is omitted, and the convenience is further improved.
- FIG. 14 is a flowchart showing the processing of the apparatus 40 according to the third embodiment.
- FIG. 15 is a diagram showing an example of the user interface of the device 40 according to the third embodiment.
- the step shown in FIG. 14 has the steps shown in S60 to S64 instead of the step S11 shown in FIG. 5 of the first embodiment.
- the same steps as those shown in FIG. 5 are designated by the same symbols and the description thereof will be omitted.
- the target detection unit 406 automatically detects the subject and the target portion of the subject from the monochrome image M in response to the image acquisition unit 202 acquiring the monochrome image M related to colorization in S10. It is determined whether or not the position information P has been acquired. If the target position information P has been acquired (Y in S60), the target detection unit 406 advances the process to S62, and if not (N in S60), advances the process to S61.
- the hint acquisition unit 205 performs the same process as the step shown in S11 of FIG. 5, and if the target position information P is acquired (Y in S11), the process proceeds to S12, otherwise (Y). N) in S11, the process proceeds to S18.
- the target detection unit 406 estimates the classification item of the detected target portion according to the acquisition of the target position information P in S60. Then, as shown in FIG. 15, the estimated classification item is displayed on the classification item input unit 4.
- the target detection unit 406 may detect the subject and the target portion using a predetermined object recognition model learned by machine learning, acquire the target position information P, and estimate the classification item of the target portion. ..
- a given object recognition model may include a neural network that detects and recognizes an object from an image, especially a CNN.
- the target detection unit 406 detects the subject using the predetermined object recognition model and estimates the positions of the face, arms, legs, etc. using the skeleton estimation technique or the like. May be good.
- the target detection unit 406 may use these estimated positions as the target position information P of the target portion and estimate the classification item of the target portion as “human skin”.
- the target detection unit 406 recognizes the target portion from the monochrome image M using a rectangular frame, and acquires the target position information P and the classification item.
- the target detection unit 406 may acquire the target position information P by estimating which classification item each region portion of the monochrome image M belongs to by region segmentation (Semantic Segmentation). ..
- the detection display unit 408 displays the pixels corresponding to the detection subject F and the target position information P of the target portion on the monochrome image display unit 1.
- the black-and-white image display unit 1 may superimpose a rectangular frame indicating the detected subject F and pixels corresponding to the target position information P on the acquired black-and-white image M.
- the target detection unit 406 uses the area division, the frame or the like surrounding the outline of the detected area may be displayed superimposed on the monochrome image M as the detection subject F. Then, the detection display unit 408 advances the process to S12.
- the detection display unit 408 displays the detection target portions in order and prompts the hint acquisition unit 205 to input the first color hint. You may request it.
- the detection display unit 408 selects the plurality of target portions at a time and displays them on the monochrome image display unit 1. You may let me. As a result, it is possible to prevent the user from designating the first color hint a plurality of times in the subsequent S12, and the convenience is improved.
- the computer is composed of a computer system including a personal computer, a word processor, and the like.
- the computer may be composed of a LAN (local area network) server, a computer (personal computer) communication host, a computer system connected to the Internet, and the like. It is also possible to distribute the functions to each device on the network and configure the computer in the entire network.
- the present invention has been described as a hardware configuration in the above-described embodiment, the present invention is not limited thereto.
- the present invention can also realize arbitrary functions (processing), particularly the processing shown in FIGS. 2, 7 to 9, 11 and 14, by causing a CPU (Central Processing Unit) to execute a computer program.
- CPU Central Processing Unit
- Non-temporary computer-readable media include various types of tangible storage mediums. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
- the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本開示に係る画像処理システム(10)は、対象部分を含む被写体を有するモノクロ画像を取得する画像取得部(102)と、対象部分の分類項目と対象部分の色を示唆する第1の色ヒントとを取得するヒント取得部(105)と、取得した分類項目に基づいて、第1の色ヒントを、対象部分の色を示唆する第2の色ヒントに変換するヒント変換部(106)と、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第2の色ヒントから、モノクロ画像に対応するカラー化画像を生成するカラー化生成部(120)とを備える。
Description
本開示は、モノクロ画像をカラー化する画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。
ユーザが汎用のカラーパレットを用いて指定した色(色ヒント)に基づいて、学習済の予測モデルによりモノクロ画像をカラー化画像に変換する画像処理システムが知られている(非特許文献1参照)。また特許文献1には、モノクロ画像に含まれる被写体の分類項目と被写体の好ましい色とを色データベースに予め関連付けて記憶しておき、ユーザが分類項目を入力したことに応じて配色する色を決定する方法が開示されている。
Richard Zhang, Jun-Yan Zhu, "Real-Time User-Guided Image Colorization with Learned Deep Priors.", ACM Transactions on Graphics, 2017年5月8日提出
しかし上述した画像処理システムにおいては、ユーザが汎用のカラーパレットから被写体に合った好ましい色ヒントを選択するために、指定および確認操作を何度も行う必要が生じ、時間と手間がかかるという問題点がある。
また上述した特許文献1に記載の方法においては、被写体の分類項目に対して予め定められた色を配色する色として決定するだけであるため、ユーザの指定した色に応じた色の調整を行うことができない。したがって、当該色を色ヒントとして用いてモノクロ画像をカラー化しても、色の再現精度が十分でないという問題点がある。
また上述した特許文献1に記載の方法においては、被写体の分類項目に対して予め定められた色を配色する色として決定するだけであるため、ユーザの指定した色に応じた色の調整を行うことができない。したがって、当該色を色ヒントとして用いてモノクロ画像をカラー化しても、色の再現精度が十分でないという問題点がある。
本開示の目的は、上述した課題を鑑み、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することにある。
本開示の一態様における画像処理システムは、対象部分を含むモノクロ画像を取得する画像取得部を備える。また画像処理システムは、前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得するヒント取得部を備える。また画像処理システムは、取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換するヒント変換部を備える。また画像処理システムは、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部を備える。
本開示の一態様における画像処理方法は、対象部分を含むモノクロ画像を取得する段階を備える。また画像処理方法は、前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得する段階を備える。また画像処理方法は、取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換する段階を備える。また画像処理方法は、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階を備える。
本開示の一態様における非一時的なコンピュータ可読媒体は、対象部分を含むモノクロ画像を取得する画像取得機能と、前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得するヒント取得機能と、取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換するヒント変換機能と、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能とをコンピュータに実現させるための画像処理プログラムが格納されたものである。
本開示により、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することができる。
以下では、具体的な実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。なお、本明細書で色は、具体的には1976年に国際照明委員会(CIE)によって規格化されたCIE L*a*b*色空間を用いて定義される。しかしこれに限らず、RGB、HSVおよびYCrCb等の他の任意の色空間を用いて定義されてもよい。以下L*、a*、およびb*を、単にL、aおよびbと表記する。
まず実施形態を詳細に説明する前に、その概要について簡単に説明する。図1は、実施形態の概要にかかる画像処理システム(ここでは、単に装置10と呼ぶ)の構成を示すブロック図である。装置10は、画像取得部102と、ヒント取得部105と、ヒント変換部106と、カラー化生成部120とを備える。
画像取得部102は、対象部分を含む被写体を有するモノクロ画像を取得する。
ヒント取得部105は、対象部分の分類項目と対象部分の色を示唆する第1の色ヒントとを取得する。
ヒント変換部106は、取得した分類項目に基づいて、第1の色ヒントを、対象部分の色を示唆する第2の色ヒントに変換する。
カラー化生成部120は、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第2の色ヒントから、モノクロ画像に対応するカラー化画像を生成する。
ヒント取得部105は、対象部分の分類項目と対象部分の色を示唆する第1の色ヒントとを取得する。
ヒント変換部106は、取得した分類項目に基づいて、第1の色ヒントを、対象部分の色を示唆する第2の色ヒントに変換する。
カラー化生成部120は、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第2の色ヒントから、モノクロ画像に対応するカラー化画像を生成する。
このような構成により、対象部分の分類項目に基づいて、指定された色ヒントの色調整を行い、調整後の色ヒントを用いてカラー化を行うことができる。したがってモノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。
(実施形態1)
次に図2~9を用いて、本開示の実施形態1について説明する。図2は、実施形態1にかかる装置20の処理の概要である。装置20は、モノクロ画像Mおよびモノクロ画像Mに対応する色ヒントHから、予測モデルを用いてモノクロ画像Mを着色し、カラー化画像Cを生成するコンピュータ等である。
次に図2~9を用いて、本開示の実施形態1について説明する。図2は、実施形態1にかかる装置20の処理の概要である。装置20は、モノクロ画像Mおよびモノクロ画像Mに対応する色ヒントHから、予測モデルを用いてモノクロ画像Mを着色し、カラー化画像Cを生成するコンピュータ等である。
モノクロ画像Mは、背景色および背景色以外の単一色を用いて描画される画像である。モノクロ画像Mは、画素数に応じた数の画素を有する。モノクロ画像Mの各画素は、背景色と単一色との間の濃淡の段階を示す画素値を含む。モノクロ画像Mの画素値は、色空間の任意の次元の値を含む。本実施形態1でモノクロ画像Mの画素値は、モノクロ画像Mの輝度値、たとえばL値を含む。
モノクロ画像Mは、1または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。ここで被写体は、1または複数の対象部分を含む。対象部分は、被写体のうち色が類似する部分である。対象部分は、画素値の差が所定範囲内の複数の隣接する画素を含む画素領域であってよい。対象部分は一例として、人物の肌、人物の目、人物の服、空、夕日、木の幹、木の葉および草等である。本実施形態1でモノクロ画像Mは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Mは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Mは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。
モノクロ画像Mは、1または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。ここで被写体は、1または複数の対象部分を含む。対象部分は、被写体のうち色が類似する部分である。対象部分は、画素値の差が所定範囲内の複数の隣接する画素を含む画素領域であってよい。対象部分は一例として、人物の肌、人物の目、人物の服、空、夕日、木の幹、木の葉および草等である。本実施形態1でモノクロ画像Mは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Mは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Mは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。
カラー化画像Cは、モノクロ画像Mに対応する、画素数に応じた数の画素を有する。カラー化画像Cの各画素は、画素値に加えて補色次元の値を含む。補色次元の値は、たとえばa値およびb値であってよい。
予測モデルは、機械学習により学習した、モノクロ画像Mの画素の色を予測する予測モデルである。予測モデルは、たとえば入力層、中間層および出力層を含むニューラルネットワークを有する。一例としてニューラルネットワークは、畳み込みニューラルネットワーク(Convolutional neural network,CNN)を含む。なおニューラルネットワークは、入力層の次元を圧縮するオートエンコーダ、特に条件付きオートエンコーダを含んでよい。本実施形態1では予測モデルはエンドツーエンドの深層学習により学習したモデルであるが、これに限らない。
色ヒントHは、対象部分の色を示唆する色の指標である。本実施形態1で色ヒントHは、色空間を用いて定義される色である。色ヒントHは、予測モデルに付加される条件である。色ヒントHは、特にニューラルネットワークに含まれるオートエンコーダに付加される条件であってよい。色ヒントHは、モノクロ画像Mの画素の色の予測精度を向上させる。
ここで色ヒントHは、写真画像として「好ましい色」、特に人間の知覚に合った色であることが好ましい。たとえば「好ましい色」は、太陽光および白色光源等の所定の光源下での反射率特性を有するものであってよい。また「好ましい色」は、人間の知覚に基づいて経験的に定められた色であってもよい。
また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい(好ましくは、最小の)場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第1のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第2のイメージセンサで検出する。このとき、第1のイメージセンサの検出色と、第2のイメージセンサの検出色との間の色差が小さくなる(好ましくは、最小となる)場合に、第2のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
色ヒントHをこのような「好ましい色」とすることにより、モノクロ画像のカラー化における色の再現精度を向上させることができる。
また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい(好ましくは、最小の)場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第1のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第2のイメージセンサで検出する。このとき、第1のイメージセンサの検出色と、第2のイメージセンサの検出色との間の色差が小さくなる(好ましくは、最小となる)場合に、第2のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
色ヒントHをこのような「好ましい色」とすることにより、モノクロ画像のカラー化における色の再現精度を向上させることができる。
図3は、実施形態1にかかる装置20の概略構成図である。装置20は、取得部200と、記憶部210と、カラー化生成部220と、出力部240と、モデル生成部260とを備える。
取得部200は、予測モデルの入力データに関連する各種データを取得する。取得部200は、取得したデータをカラー化生成部220に出力する。これに加えて取得部200は、取得したデータを記憶部210に格納してもよい。ここで取得部200は、画像取得部202と、ヒント決定部204とを有する。
画像取得部202は、予測モデルの入力データの1つであるモノクロ画像Mを取得する。画像取得部202は、学習データとしてモノクロ画像Mおよびこれに対応するカラー化画像Cを取得してもよい。
ヒント決定部204は、モノクロ画像Mの被写体の対象部分の第1の色ヒントを取得し、第2の色ヒントを決定する。ここで第1の色ヒントは、ユーザが被写体の対象部分の色を示唆する色として指定した色ヒントである。そして第2の色ヒントは、第1の色ヒントに応じた「好ましい色」であり、予測モデルに条件として入力される色ヒントである。ヒント決定部204は、決定した第2の色ヒントをカラー化生成部220に出力する。ここでヒント決定部204は、ヒント取得部205と、ヒント変換部206とを含む。
ヒント取得部205は、モノクロ画像Mの対象位置情報Pと、対象部分の分類項目と、第1の色ヒントとを取得する。ここで分類項目とは、対象部分の種別を示す情報であり、一例として、「人物の肌」、「人物の目」、「空」、「夕日」、「木の幹」、「木の葉」および「草」等である。また対象位置情報Pとは、対象部分を構成する画素のうち少なくとも一部の画素の位置情報であってよい。
ヒント変換部206は、ヒント取得部205が取得した分類項目に基づいて、第1の色ヒントを第2の色ヒントに変換する。ヒント変換部206は、記憶部210に格納される変換テーブルを用いて第1の色ヒントを第2の色ヒントに変換してよい。
記憶部210は、色ヒント変換処理および予測モデルの学習処理に関連する各種データ等を記憶する記憶媒体である。記憶部210は、変換テーブルと、学習データベース216とを有する。
変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
学習データベース216は、予測モデルの学習データ等を記憶する。
変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
学習データベース216は、予測モデルの学習データ等を記憶する。
カラー化生成部220は、予測モデルを用いて、モノクロ画像Mおよび対象部分の色ヒントH(特に、第2の色ヒント)から、モノクロ画像Mに対応するカラー化画像Cを生成する。なおカラー化生成部220は、後述するモデル生成部260のモデル最適化部264から出力される予測モデルを用いる。そしてカラー化生成部220は、カラー化画像Cを出力部240に出力する。
出力部240は、カラー化生成部220によって生成されたカラー化画像Cを所定の出力形式により出力する。
モデル生成部260は、学習データを用いた機械学習によって、予測モデルを生成する。モデル生成部260は、学習処理部262と、モデル最適化部264とを有する。
学習処理部262は、予測モデルの学習データを管理する。学習処理部262は、学習用のモノクロ画像M、カラー化画像Cおよび色ヒントHを含むデータセット、すなわち学習データを取得し、学習データベース216に格納する。なお学習データベース216に格納される学習データは、学習処理部262が取得部200から取得したデータであってもよく、学習処理部262が任意の通信手段(不図示)を介して他の装置から受信したデータであってもよい。そして学習処理部262は、学習データベース216に格納された学習データをモデル最適化部264に出力する。
モデル最適化部264は、学習データを用いて機械学習により予測モデルを最適化する。予測モデル最適化部184は、最適化した予測モデルをカラー化生成部220に出力する。
学習処理部262は、予測モデルの学習データを管理する。学習処理部262は、学習用のモノクロ画像M、カラー化画像Cおよび色ヒントHを含むデータセット、すなわち学習データを取得し、学習データベース216に格納する。なお学習データベース216に格納される学習データは、学習処理部262が取得部200から取得したデータであってもよく、学習処理部262が任意の通信手段(不図示)を介して他の装置から受信したデータであってもよい。そして学習処理部262は、学習データベース216に格納された学習データをモデル最適化部264に出力する。
モデル最適化部264は、学習データを用いて機械学習により予測モデルを最適化する。予測モデル最適化部184は、最適化した予測モデルをカラー化生成部220に出力する。
図4は、実施形態1にかかる装置20のユーザインターフェイスの一例を示す図である。たとえばユーザインターフェイスは、モノクロ画像表示部1と、カラー化画像表示部2と、カラーパレット3と、分類項目入力部4と、色空間表示部5と、ヒント表示部6と、画像入力部7と、画像出力部8とを備える。
モノクロ画像表示部1は、取得したモノクロ画像Mを表示するとともに、当該モノクロ画像Mの対象部分の対象位置情報Pに対応する画素に第1の色ヒントまたは第2の色ヒントが示す色を重畳的に表示する。なおモノクロ画像表示部1は、ポインティングデバイス等を介してユーザから対象位置情報Pの入力を受け付ける。モノクロ画像表示部1は、ヒント決定部204に含まれ、ヒント取得部205に接続されてよい。
カラー化画像表示部2は、生成されたカラー化画像Cの表示を行う。カラー化画像表示部2は、出力部240に含まれる。
カラーパレット3は、複数の色を保持する汎用のカラーパレットであり、ユーザから色の指定を受け付ける。指定された色は、第1の色ヒントである。カラーパレット3は、ヒント決定部204のヒント取得部205に含まれる。
分類項目入力部4は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部4は、ヒント決定部204に含まれ、ヒント取得部205に接続されてよい。
分類項目入力部4は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部4は、ヒント決定部204に含まれ、ヒント取得部205に接続されてよい。
色空間表示部5は、現時点で選択されている色ヒント(ユーザから指定を受け付けた第1の色ヒントまたは変換後の第2の色ヒント)を色空間で表示する。色空間表示部5は、ポインティングデバイス等を介してユーザから色の指定(つまり、第1の色ヒントの入力)を受け付けてもよい。
ヒント表示部6は、現時点で選択されている色ヒントを色で表示する。
ヒント表示部6は、現時点で選択されている色ヒントを色で表示する。
画像入力部7は、画像取得部202に含まれ、ユーザからのモノクロ画像Mの入力を受け付ける。
画像出力部8は、出力部240に含まれ、カラー化画像Cを所定のデータ形式で外部に出力する。
画像出力部8は、出力部240に含まれ、カラー化画像Cを所定のデータ形式で外部に出力する。
次に実施形態1にかかる装置20の処理について、図4を参照しながら図5を用いて説明する。図5は、実施形態1にかかる装置20の処理を示すフローチャートである。
まずS10において、取得部200の画像取得部202は、カラー化に係るモノクロ画像Mを取得する。たとえば画像取得部202は、ユーザが図4に示す画像入力部7を選択し、所定のモノクロ画像Mを転送することに応じて、上記処理を行う。そして画像取得部202は、取得したモノクロ画像Mをカラー化生成部220に出力する。
まずS10において、取得部200の画像取得部202は、カラー化に係るモノクロ画像Mを取得する。たとえば画像取得部202は、ユーザが図4に示す画像入力部7を選択し、所定のモノクロ画像Mを転送することに応じて、上記処理を行う。そして画像取得部202は、取得したモノクロ画像Mをカラー化生成部220に出力する。
次にS11において、ヒント取得部205は、対象部分の対象位置情報Pを取得したか否かを判定する。たとえばヒント取得部205は、ユーザが図4に示すモノクロ画像表示部1上の少なくとも一部の画素をポインティングデバイス等により指定したか否かを判定する。ヒント取得部205は、取得(指定)していれば(S11でY)、処理をS12に進め、そうでなければ(S11でN)、処理をS18に進める。
S12において、ヒント取得部205は、対象部分の第1の色ヒントを取得したか否かを判定する。たとえばヒント取得部205は、ユーザが図4に示すカラーパレット3に含まれる色または色空間表示部5に表示される色を指定したか否かを判定する。ヒント取得部205は、取得(指定)していれば(S12でY)、図4に示すようにモノクロ画像表示部1のモノクロ画像M上の、対象位置情報Pに対応する画素に第1の色ヒントが示す色を重畳的に表示させ、処理をS13に進める。ヒント取得部205は、そうでなければ(S12でN)、処理をS18に進める。
S13において、ヒント取得部205は、対象部分の分類項目を取得したか否かを判定する。たとえばヒント取得部205は、ユーザが分類項目入力部4に表示された分類項目を指定したか否かを判定する。ヒント取得部205は、取得(指定)していれば(S13でY)、処理をS14に進め、そうでなければ(S13でN)、第1の色ヒントをカラー化生成部220に出力し、処理をS15に進める。
S14において、ヒント変換部206は、記憶部210の変換テーブルを参照し、取得した分類項目に応じて、第1の色ヒントを第2の色ヒントに変換する。この色ヒント変換処理についての詳細は、後述する。ヒント変換部206は、カラー化生成部220に第2の色ヒントを出力する。またヒント変換部206は、図4に示すように、モノクロ画像表示部1のモノクロ画像M上の、対象位置情報Pに対応する画素に第1の色ヒントに代えて第2の色ヒントが示す色を重畳的に表示させる。
次にS15において、カラー化生成部220は、モデル最適化部264から予測モデルを取得する。
次にS16において、カラー化生成部220は、取得したモノクロ画像Mを入力データとし、色ヒントH(第1の色ヒントまたは第2の色ヒント)を条件として、予測モデルを用いてモノクロ画像Mに対応したカラー化画像Cを生成する。カラー化生成部220は、出力部240にカラー化画像Cを出力する。
次にS16において、カラー化生成部220は、取得したモノクロ画像Mを入力データとし、色ヒントH(第1の色ヒントまたは第2の色ヒント)を条件として、予測モデルを用いてモノクロ画像Mに対応したカラー化画像Cを生成する。カラー化生成部220は、出力部240にカラー化画像Cを出力する。
S17において、出力部240はカラー化画像Cを出力する。たとえば出力部240は、図4に示すカラー化画像表示部2にカラー化画像Cを表示させる。また出力部240は、ユーザが図4に示す画像出力部8を選択したことに応じてカラー化画像Cを所定のデータ形式で出力する。そして出力部240は、処理を終了する。
S18において、ヒント取得部205は、S11において対象位置情報Pを取得していないことに応じて、またはS12において対象部分の第1の色ヒントを取得していないことに応じて、エラーを示す信号を出力する。そしてヒント取得部205は、処理を終了する。
このように本実施形態1によれば、ヒント変換部206が分類項目に基づいて第1の色ヒントを第2の色ヒントに変換するため、指定された色ヒントの色調整を分類項目に基づいて行い、当該色調整後の色ヒントを用いてカラー化を行うことができる。これにより、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。
図6は、実施形態1にかかるカラー化生成部220のカラー化画像生成処理(つまり、図5のS16に示す処理)の一例を説明するための図である。
まずカラー化生成部220は、モノクロ画像M、つまりモノクロ画像Mの輝度次元(L)に対応するマトリクス図M(L)と色ヒントHの輝度および補色次元(a,b)のそれぞれに対応するマトリクス図H(L),H(a),H(b)とを取得する。カラー化生成部220は、これらを予測モデルの入力層および条件に入力する。そして予測モデルは、出力層においてカラー化画像Cの補色次元に対応するマトリクス図C(a),C(b)を出力する。カラー化生成部220は、出力されたC(a),C(b)と、M(L)とを合成し、カラー化画像Cを生成する。
このようにしてカラー化生成部220は、モノクロ画像Mおよび色ヒントHからカラー化画像Cを生成することができる。
まずカラー化生成部220は、モノクロ画像M、つまりモノクロ画像Mの輝度次元(L)に対応するマトリクス図M(L)と色ヒントHの輝度および補色次元(a,b)のそれぞれに対応するマトリクス図H(L),H(a),H(b)とを取得する。カラー化生成部220は、これらを予測モデルの入力層および条件に入力する。そして予測モデルは、出力層においてカラー化画像Cの補色次元に対応するマトリクス図C(a),C(b)を出力する。カラー化生成部220は、出力されたC(a),C(b)と、M(L)とを合成し、カラー化画像Cを生成する。
このようにしてカラー化生成部220は、モノクロ画像Mおよび色ヒントHからカラー化画像Cを生成することができる。
次に、ヒント変換部206による変換テーブルを用いた色ヒント変換処理(つまり、図5のS14に示す処理)について説明する。変換テーブルは、第1の変換テーブル、第2の変換テーブルおよび第3の変換テーブルのうち少なくとも1つを含んでよく、ヒント変換部206は、記憶部210に格納される変換テーブルの種類に応じた変換処理を行ってよい。
図7Aは、実施形態1にかかる第1の変換テーブルのデータ構造の一例を示す図であり、図7Bは、第1の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
第1の変換テーブルは、対象部分の分類項目と、複数の第2の色ヒントの候補とを関連付けて記憶する。図7Aに示すように、第1の変換テーブルは、対象部分の分類項目と、分類項目に対応する複数の第2の色ヒントの候補の色空間座標とを含んでよい。色空間座標は、色空間の次元に対応した成分(つまり画素値)を含み、本図では輝度次元(L)および補色次元にそれぞれ対応する3つの成分L,a,bを含む。ここで第2の色ヒントの候補は、分類項目に応じて、上述の「好ましい色」として予め定められた色であってよい。
第1の変換テーブルは、対象部分の分類項目と、複数の第2の色ヒントの候補とを関連付けて記憶する。図7Aに示すように、第1の変換テーブルは、対象部分の分類項目と、分類項目に対応する複数の第2の色ヒントの候補の色空間座標とを含んでよい。色空間座標は、色空間の次元に対応した成分(つまり画素値)を含み、本図では輝度次元(L)および補色次元にそれぞれ対応する3つの成分L,a,bを含む。ここで第2の色ヒントの候補は、分類項目に応じて、上述の「好ましい色」として予め定められた色であってよい。
図7Bに示すように、まずS20においてヒント変換部206は、第1の変換テーブルを用いて、取得した分類項目に応じた複数の第2の色ヒントの候補の色空間座標を取得する。
次にS22において、ヒント変換部206は、第2の色ヒントの候補の各々と第1の色ヒントとの間の色差、すなわち第2の色ヒントの候補の各々の色空間座標と、第1の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離,チェビシェフ距離またはその他の任意の距離であってよい。
次にS24において、ヒント変換部206は、第2の色ヒントの候補のうち、第1の色ヒントとの間の色差が最も小さいものを選択し、第2の色ヒントを決定する。
次にS22において、ヒント変換部206は、第2の色ヒントの候補の各々と第1の色ヒントとの間の色差、すなわち第2の色ヒントの候補の各々の色空間座標と、第1の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離,チェビシェフ距離またはその他の任意の距離であってよい。
次にS24において、ヒント変換部206は、第2の色ヒントの候補のうち、第1の色ヒントとの間の色差が最も小さいものを選択し、第2の色ヒントを決定する。
このようにヒント変換部206は、第1の変換テーブルを用いることで、分類項目ごとに予め定められた好ましい色のうち、ユーザが指定した色(第1の色ヒント)に最も近い色を第2の色ヒントとして容易に決定することができる。
図8Aは、実施形態1にかかる第2の変換テーブルのデータ構造の一例を示す図であり、図8Bは、第2の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
第2の変換テーブルは、第1の色ヒントと、対象部分の分類項目と、第2の色ヒントとを関連付けて記憶する。図8Aに示すように、第2の変換テーブルは、分類項目ごとに、第1の色ヒントの色空間座標の範囲に応じて割り当てられた色空間座標を第2の色ヒントとして記憶する。ここで第2の色ヒントは、分類項目ごとに、第1の色ヒントの色空間に対応して上述の「好ましい色」として予め定められた色であってよい。
第2の変換テーブルは、第1の色ヒントと、対象部分の分類項目と、第2の色ヒントとを関連付けて記憶する。図8Aに示すように、第2の変換テーブルは、分類項目ごとに、第1の色ヒントの色空間座標の範囲に応じて割り当てられた色空間座標を第2の色ヒントとして記憶する。ここで第2の色ヒントは、分類項目ごとに、第1の色ヒントの色空間に対応して上述の「好ましい色」として予め定められた色であってよい。
図8Bに示すように、まずS30においてヒント変換部206は、第2の変換テーブルを参照する。
次にS32において、ヒント変換部206は、取得した前記分類項目および第1の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第2の色ヒントを取得する。
このようにヒント変換部206は、第2の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第2の色ヒントとして容易に決定することができる。
次にS32において、ヒント変換部206は、取得した前記分類項目および第1の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第2の色ヒントを取得する。
このようにヒント変換部206は、第2の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第2の色ヒントとして容易に決定することができる。
図9Aは、実施形態1にかかる第3の変換テーブルのデータ構造の一例を示す図であり、図9Bは、第3の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
図9Aに示すように、第3の変換テーブルは、対象部分の分類項目に応じた、第1の色ヒントから第2の色ヒントに変換する変換パラメータを記憶する。
図9Aに示すように、第3の変換テーブルは、対象部分の分類項目に応じた、第1の色ヒントから第2の色ヒントに変換する変換パラメータを記憶する。
図9Bに示すように、まずS40においてヒント変換部206は、第3の変換テーブルに記憶される、取得した分類項目に応じた変換パラメータを取得する。
次にS42に示すように、ヒント変換部206は、変換パラメータを用いて第1の色ヒントから第2の色ヒントを算出する。
次にS42に示すように、ヒント変換部206は、変換パラメータを用いて第1の色ヒントから第2の色ヒントを算出する。
このようにヒント変換部206は、第3の変換テーブルを用いることで、分類項目ごとに予め定められた変換パラメータに基づいた演算処理をユーザが指定した色に対して行い、出力結果を第2の色ヒントとして容易に決定することができる。
なお、本実施形態1では学習データベース216は、装置20の記憶部210に含まれるが、これに代えて、通信可能に接続された他の装置(不図示)等に含まれていてもよい。このとき学習処理部262は、任意の通信手段(不図示)を介して当該他の装置から学習データを取得し、モデル最適化部264に出力してよい。
(実施形態2)
次に図10~12を用いて、本開示の実施形態2について説明する。実施形態2は、変換後の第2の色ヒントをさらに調整することに特徴を有する。
図10は、実施形態2にかかる装置30の概略構成図である。装置30は、実施形態1の装置20とほぼ同様の構成および機能を有する。ただし装置30は、取得部200に代えて、取得部300を備える点で装置20と相違する。
次に図10~12を用いて、本開示の実施形態2について説明する。実施形態2は、変換後の第2の色ヒントをさらに調整することに特徴を有する。
図10は、実施形態2にかかる装置30の概略構成図である。装置30は、実施形態1の装置20とほぼ同様の構成および機能を有する。ただし装置30は、取得部200に代えて、取得部300を備える点で装置20と相違する。
取得部300は、取得部200とほぼ同様の構成および機能を有するが、ヒント決定部204に代えてヒント決定部304を有する。
ヒント決定部304は、ヒント決定部204の構成に加えて、ヒント調整部307を含む。
ヒント調整部307は、ヒント変換部206から出力された、変換された第2の色ヒントの色空間座標を、第1の色ヒントの色空間座標との間の距離に基づいて調整する。
ヒント決定部304は、ヒント決定部204の構成に加えて、ヒント調整部307を含む。
ヒント調整部307は、ヒント変換部206から出力された、変換された第2の色ヒントの色空間座標を、第1の色ヒントの色空間座標との間の距離に基づいて調整する。
図11は、実施形態2にかかる装置30の処理を示すフローチャートである。図11に示すステップは、実施形態1の図5に示すステップに加えて、S50を有する。なお図5に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
S50において、ヒント決定部304のヒント調整部307は、S14においてヒント変換部206から第2の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部307は、カラー化生成部220に第2の色ヒントを出力し、処理をS15に進める。
なお、S16においてカラー化生成部220は、調整された第2の色ヒントに基づいてモノクロ画像に対応するカラー化画像を生成する。
S50において、ヒント決定部304のヒント調整部307は、S14においてヒント変換部206から第2の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部307は、カラー化生成部220に第2の色ヒントを出力し、処理をS15に進める。
なお、S16においてカラー化生成部220は、調整された第2の色ヒントに基づいてモノクロ画像に対応するカラー化画像を生成する。
図12は、実施形態2にかかる色ヒント調整処理(つまり、図11のS50に示す処理)を説明するための概念図である。本図に示す点vは、S12においてヒント取得部205が取得した(つまり、ユーザが指定した)第1の色ヒントの色空間座標である。また点pは、S14においてヒント変換部206が変換した第2の色ヒント(すなわち、「好ましい色」)の色空間座標である。また点Xは、S50においてヒント調整部307が調整した第2の色ヒントの色空間座標である。
ヒント調整部307は、点pと点vとを結ぶ直線上に点Xを設定することで、変換後の第2の色ヒントの色を調整する。これによりヒント調整部307は結果的に、第2の色ヒントを、第1の色ヒントから「好ましい色」に所定量近づける、または遠ざける加工処理を行うことが可能となる。
たとえば本図は、ヒント調整部307が色空間で点vと点pとの間に点Xを設定する場合、すなわち第2の色ヒントを「好ましい色」に所定量近づける場合の一例を示す。たとえば点vと点pとの間の距離をlとし、点v、pおよびXの色空間座標を、位置ベクトルを用いてそれぞれv、p、Xとする。そして「好ましい色」にどの程度近づけるかを示すパラメータをt(-1≦t≦1)とする。本図では、t>0であり、X=l・t・v+l・(1-t)・pが得られる。
またヒント調整部307は、t<0とすれば、色空間で点vと点pとを結ぶ直線上の、点vに対して点pと反対側の位置に点Xを設定することも可能である。すなわちヒント調整部307は、第2の色ヒントを「好ましい色」に所定量遠ざけることが可能である。
このように本実施形態2によれば、装置30は予め定められた「好ましい色」を基準としてユーザの好みのテイストでカラー化を実行することができる。
(実施形態3)
次に図13~15を用いて、本開示の実施形態3について説明する。実施形態3は、モノクロ画像Mの対象位置情報Pを自動取得することに特徴を有する。
図13は、実施形態3にかかる装置40の概略構成図である。装置40は、実施形態1の装置20とほぼ同様の構成および機能を有する。ただし装置40は、取得部200に代えて、取得部400を備える。
次に図13~15を用いて、本開示の実施形態3について説明する。実施形態3は、モノクロ画像Mの対象位置情報Pを自動取得することに特徴を有する。
図13は、実施形態3にかかる装置40の概略構成図である。装置40は、実施形態1の装置20とほぼ同様の構成および機能を有する。ただし装置40は、取得部200に代えて、取得部400を備える。
取得部400は、取得部200とほぼ同様の構成および機能を有するが、ヒント決定部204に代えてヒント決定部404を有する。
ヒント決定部404は、ヒント決定部204の構成に加えて、対象検出部406と、検出表示部408とを含む。
ヒント決定部404は、ヒント決定部204の構成に加えて、対象検出部406と、検出表示部408とを含む。
対象検出部406は、モノクロ画像Mから対象部分を自動で検出し、対象位置情報Pを取得する。たとえば対象検出部406は、被写体を検出し、被写体のうち色が類似すると推定される画素領域を対象部分として検出してよい。なお対象検出部406は、被写体に含まれる画素同士の画素値の差および画素の位置に基づいて、色が類似すると推定される画素領域を検出してよい。
そして対象検出部406は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部406は、推定した分類項目をヒント変換部206に出力する。
そして対象検出部406は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部406は、推定した分類項目をヒント変換部206に出力する。
検出表示部408は、検出された対象部分を選択し、表示する。したがってユーザは、対象部分の対象位置情報Pを指定することなく、第1の色ヒントを指定することができる。なお検出表示部408は、対象部分に加えて、検出された被写体も表示してよい。
なお、ヒント取得部205は、表示された対象部分に対応するユーザからの第1の色ヒントの入力を受け付けてよい。
なお、ヒント取得部205は、表示された対象部分に対応するユーザからの第1の色ヒントの入力を受け付けてよい。
本実施形態3によれば、対象検出部406が対象位置情報Pを自動で検出するため、ユーザの対象位置情報Pの指定操作が省略され、利便性が向上する。また当該対象位置情報Pの自動検出に応じて、対象検出部406が対象部分の分類項目を推定するため、対象部分の分類項目を自動で取得することができる。これにより、ユーザの分類項目の指定操作が省略され、利便性がさらに向上する。
次に実施形態3にかかる装置40の処理について、図15を参照しながら図14を用いて説明する。図14は、実施形態3にかかる装置40の処理を示すフローチャートである。また図15は、実施形態3にかかる装置40のユーザインターフェイスの一例を示す図である。
図14に示すステップは、実施形態1の図5に示すステップのS11に代えて、S60~S64に示すステップを有する。なお図5に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
S60において、対象検出部406は、S10において画像取得部202がカラー化に係るモノクロ画像Mを取得したことに応じて、モノクロ画像Mから被写体および被写体の対象部分を自動で検出することにより、対象位置情報Pを取得したか否かを判定する。
対象検出部406は、対象位置情報Pを取得していれば(S60でY)、処理をS62に進め、そうでなければ(S60でN)、処理をS61に進める。
S60において、対象検出部406は、S10において画像取得部202がカラー化に係るモノクロ画像Mを取得したことに応じて、モノクロ画像Mから被写体および被写体の対象部分を自動で検出することにより、対象位置情報Pを取得したか否かを判定する。
対象検出部406は、対象位置情報Pを取得していれば(S60でY)、処理をS62に進め、そうでなければ(S60でN)、処理をS61に進める。
S61において、ヒント取得部205は、図5のS11に示すステップと同様の処理を行い、対象位置情報Pを取得していれば(S11でY)、処理をS12に進め、そうでなければ(S11でN)、処理をS18に進める。
S62において、対象検出部406は、S60で対象位置情報Pを取得したことに応じて、検出した対象部分の分類項目を推定する。そして図15に示すように、分類項目入力部4上に推定した分類項目を表示する。
なお、S60およびS62に示すステップは、並行して実行されてよい。ここで対象検出部406は、機械学習により学習済の所定の物体認識モデルを用いて、被写体および対象部分を検出し、対象位置情報Pを取得し、当該対象部分の分類項目を推定してよい。所定の物体認識モデルは、画像から物体を検出し認識するニューラルネットワーク、特にCNNを含んでよい。
また被写体が人物等である場合は、対象検出部406は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部406は、推定したこれらの位置を対象部分の対象位置情報Pとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のS12においてユーザが第1のヒントを複数回指定することを回避でき、利便性が向上する。
また被写体が人物等である場合は、対象検出部406は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部406は、推定したこれらの位置を対象部分の対象位置情報Pとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のS12においてユーザが第1のヒントを複数回指定することを回避でき、利便性が向上する。
なお本実施形態3で対象検出部406は、モノクロ画像Mから対象部分を、矩形枠を用いて認識し、対象位置情報Pおよび分類項目を取得する。しかしこれに代えて、対象検出部406は、領域分割(Semantic Segmentation)により、モノクロ画像Mの各領域部分がどの分類項目に属するかを推定することで対象位置情報Pの取得を行ってもよい。
S64において、検出表示部408は、モノクロ画像表示部1上に検出被写体Fおよび対象部分の対象位置情報Pに対応する画素を表示する。たとえば図15に示すように、モノクロ画像表示部1は、取得したモノクロ画像Mに、検出被写体Fを示す矩形枠および対象位置情報Pに対応する画素を重畳的に表示してよい。
なお、対象検出部406が領域分割を用いる場合は、検出した領域部分の輪郭を囲む枠等を検出被写体Fとしてモノクロ画像Mに対して重畳的に表示させてよい。そして検出表示部408は、処理をS12に進める。
なお、対象検出部406が領域分割を用いる場合は、検出した領域部分の輪郭を囲む枠等を検出被写体Fとしてモノクロ画像Mに対して重畳的に表示させてよい。そして検出表示部408は、処理をS12に進める。
なお検出表示部408は、モノクロ画像Mが複数の検出対象部分を含む場合、順番に検出対象部分の表示を行い、ヒント取得部205に対してユーザへ第1の色ヒントの入力を促すように要求してよい。
また図15に示すように、モノクロ画像Mが同一の分類項目を有する対象部分を複数含む場合には、検出表示部408は一度に当該複数の対象部分を選択し、モノクロ画像表示部1に表示させてよい。これにより、後続のS12においてユーザが第1の色ヒントを複数回指定することを回避することができ、利便性が向上する。
上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
なお上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の機能(処理)、特に図2、7~9、11および14に示す処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 モノクロ画像表示部、2 カラー化画像表示部、3 カラーパレット、4 分類項目入力部、5 色空間表示部、6 ヒント表示部、7 画像入力部、8 画像出力部、10,20,30,40 装置、102 画像取得部、105,205 ヒント取得部、106,206 ヒント変換部、120,220 カラー化生成部、200,300,400 取得部、202 画像取得部、204 ヒント決定部、210 記憶部、216 学習データベース、240 出力部、260 モデル生成部、262 学習処理部、264 モデル最適化部、304,404 ヒント決定部、307 ヒント調整部、406 対象検出部、408 検出表示部、M モノクロ画像、C カラー化画像、H 色ヒント、P 対象位置情報、F 検出被写体
Claims (9)
- 対象部分を含むモノクロ画像を取得する画像取得部と、
前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得するヒント取得部と、
取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換するヒント変換部と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部と
を備える画像処理システム。 - 分類項目と、複数の第2の色ヒントとを関連付けて記憶する第1の変換テーブルをさらに備え、
前記ヒント変換部は、前記第1の変換テーブルを用いて、取得した前記分類項目に関連付けられた複数の第2の色ヒントのうち、前記第1の色ヒントとの間の色差が最も小さい第2の色ヒントを選択する、請求項1に記載の画像処理システム。 - 第1の色ヒントと、分類項目と、第2の色ヒントとを関連付けて記憶する第2の変換テーブルをさらに備え、
前記ヒント変換部は、前記第2の変換テーブルを用いて、取得した前記分類項目および前記第1の色ヒントに関連付けられた前記第2の色ヒントを取得する、請求項1に記載の画像処理システム。 - 分類項目に応じた変換パラメータを記憶する第3の変換テーブルをさらに備え、
前記ヒント変換部は、前記第3の変換テーブルに記憶される、取得した前記分類項目に応じた変換パラメータを用いて、前記第1の色ヒントを前記第2の色ヒントに変換する、請求項1に記載の画像処理システム。 - 変換された前記第2の色ヒントの色空間座標を、前記第1の色ヒントの色空間座標との間の距離に基づいて調整するヒント調整部をさらに備え、
前記カラー化生成部は、調整された前記第2の色ヒントに基づいて前記モノクロ画像に対応するカラー化画像を生成する、請求項1から4のいずれか一項に記載の画像処理システム。 - 前記モノクロ画像から前記対象部分を検出する対象検出部と、
検出された前記対象部分を表示する検出表示部と
をさらに備え、
前記ヒント取得部は、表示された前記対象部分の前記第1の色ヒントの入力をユーザから受け付ける、請求項1から5のいずれか一項に記載の画像処理システム。 - 前記対象検出部は、検出された前記対象部分に基づいて前記対象部分の分類項目を推定する,請求項6に記載の画像処理システム。
- 対象部分を含むモノクロ画像を取得する段階と、
前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得する段階と、
取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換する段階と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階と
を備える画像処理方法。 - 対象部分を含むモノクロ画像を取得する画像取得機能と、
前記対象部分の分類項目と前記対象部分の色を示唆する第1の色ヒントとを取得するヒント取得機能と、
取得した前記分類項目に基づいて、前記第1の色ヒントを、前記対象部分の色を示唆する第2の色ヒントに変換するヒント変換機能と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第2の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能と
をコンピュータに実現させるための画像処理プログラムが格納された非一時的なコンピュータ可読媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021577792A JP7351358B2 (ja) | 2020-02-13 | 2020-02-13 | 画像処理システム、画像処理方法および画像処理プログラム |
US17/795,678 US12034900B2 (en) | 2020-02-13 | 2020-02-13 | Image processing system, image processing method, and non-transitory computer readable medium for generating a colorized image |
PCT/JP2020/005562 WO2021161453A1 (ja) | 2020-02-13 | 2020-02-13 | 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/005562 WO2021161453A1 (ja) | 2020-02-13 | 2020-02-13 | 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021161453A1 true WO2021161453A1 (ja) | 2021-08-19 |
Family
ID=77291468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/005562 WO2021161453A1 (ja) | 2020-02-13 | 2020-02-13 | 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12034900B2 (ja) |
JP (1) | JP7351358B2 (ja) |
WO (1) | WO2021161453A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230055204A1 (en) * | 2021-08-18 | 2023-02-23 | Adobe Inc. | Generating colorized digital images utilizing a re-colorization neural network with local hints |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019117558A (ja) * | 2017-12-27 | 2019-07-18 | 日本放送協会 | カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム |
JP2019128889A (ja) * | 2018-01-26 | 2019-08-01 | 日本放送協会 | 画像情報変換器およびそのプログラム |
JP2019140538A (ja) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | 画像処理装置、画像形成装置、画像処理方法、及びプログラム |
JP2019145030A (ja) * | 2018-02-23 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像形成装置、画像処理方法、及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04248684A (ja) | 1991-02-05 | 1992-09-04 | Fujitsu Ltd | カラ−画像描画装置 |
GB9605527D0 (en) | 1996-03-15 | 1996-05-15 | Vlsi Vision Ltd | Image restoration |
WO2006075536A1 (ja) * | 2005-01-11 | 2006-07-20 | Pioneer Corporation | 車両前方画像表示装置及び方法 |
US7672509B2 (en) * | 2005-05-02 | 2010-03-02 | Regents Of The University Of Minnesota | Fast image and video data propagation and blending using intrinsic distances |
JP2013070173A (ja) * | 2011-09-21 | 2013-04-18 | Fuji Xerox Co Ltd | 画像読取装置、画像形成装置、及びプログラム |
US20140132429A1 (en) | 2012-11-10 | 2014-05-15 | John Conant Scoville | Method for data compression and inference |
JP6366935B2 (ja) | 2013-12-25 | 2018-08-01 | 一般財団法人 リモート・センシング技術センター | 擬似カラー化画像処理システム |
JP6564285B2 (ja) | 2015-09-08 | 2019-08-21 | 理想科学工業株式会社 | 画像処理装置及び画像形成装置 |
US10387746B2 (en) * | 2016-05-06 | 2019-08-20 | Ohio State Innovation Foundation | Image color data normalization and color matching system for translucent material |
JP2018098630A (ja) * | 2016-12-13 | 2018-06-21 | 富士フイルム株式会社 | 色変換テーブル作成装置及び方法、色変換装置、並びにプログラム |
DE112017007579T5 (de) * | 2017-05-24 | 2020-03-12 | HELLA GmbH & Co. KGaA | Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern |
JP6731011B2 (ja) | 2018-02-23 | 2020-07-29 | シナノケンシ株式会社 | 電子図書の表示用データの作成装置 |
JP2019153917A (ja) | 2018-03-02 | 2019-09-12 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
US11158286B2 (en) * | 2018-10-05 | 2021-10-26 | Disney Enterprises, Inc. | Machine learning color science conversion |
-
2020
- 2020-02-13 US US17/795,678 patent/US12034900B2/en active Active
- 2020-02-13 JP JP2021577792A patent/JP7351358B2/ja active Active
- 2020-02-13 WO PCT/JP2020/005562 patent/WO2021161453A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019117558A (ja) * | 2017-12-27 | 2019-07-18 | 日本放送協会 | カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム |
JP2019128889A (ja) * | 2018-01-26 | 2019-08-01 | 日本放送協会 | 画像情報変換器およびそのプログラム |
JP2019140538A (ja) * | 2018-02-09 | 2019-08-22 | キヤノン株式会社 | 画像処理装置、画像形成装置、画像処理方法、及びプログラム |
JP2019145030A (ja) * | 2018-02-23 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像形成装置、画像処理方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
RICHARD ZHANG ; JUN-YAN ZHU ; PHILLIP ISOLA ; XINYANG GENG ; ANGELA S. LIN ; TIANHE YU ; ALEXEI A. EFROS: "Real-time user-guided image colorization with learned deep priors", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 36, no. 4, 20 July 2017 (2017-07-20), US, pages 1 - 11, XP058372846, ISSN: 0730-0301, DOI: 10.1145/3072959.3073703 * |
Also Published As
Publication number | Publication date |
---|---|
US20230059407A1 (en) | 2023-02-23 |
JPWO2021161453A1 (ja) | 2021-08-19 |
JP7351358B2 (ja) | 2023-09-27 |
US12034900B2 (en) | 2024-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210073953A1 (en) | Method for applying bokeh effect to image and recording medium | |
US10958829B2 (en) | Capturing digital images that align with a target image model | |
KR20200026808A (ko) | 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적 | |
WO2021161454A1 (ja) | 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 | |
US8478072B2 (en) | Device, method, and program for image processing | |
JP5655334B2 (ja) | 画像処理装置および方法、並びにプログラム | |
KR20200092492A (ko) | 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치 | |
KR20210007276A (ko) | 영상 생성 장치 및 방법 | |
CN110516598A (zh) | 用于生成图像的方法和装置 | |
WO2021161453A1 (ja) | 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 | |
US11930303B2 (en) | Automated digital parameter adjustment for digital images | |
JP7336033B2 (ja) | データ増強基盤事物分析モデル学習装置及び方法 | |
JP2016122905A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Fischer et al. | NICER: Aesthetic image enhancement with humans in the loop | |
JP5824423B2 (ja) | 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム | |
JP2018128950A (ja) | 画像処理装置及びプログラム | |
CN115810081A (zh) | 三维模型生成方法及装置 | |
CN113763524A (zh) | 基于物理光学模型和神经网络的双流散景渲染方法及*** | |
JP2023508639A (ja) | データ増強基盤空間分析モデル学習装置及び方法 | |
CN108986052B (zh) | 一种自适应的图像去光照方法和*** | |
CN113709438A (zh) | 一种图像的白平衡校正方法、装置、存储介质及设备 | |
JP2006287689A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 | |
JP2014067129A (ja) | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 | |
US20230368490A1 (en) | Preview and capture of stroke outlines from images and video | |
JP7451443B2 (ja) | 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20918504 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021577792 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20918504 Country of ref document: EP Kind code of ref document: A1 |