WO2021161453A1 - 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 - Google Patents

画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2021161453A1
WO2021161453A1 PCT/JP2020/005562 JP2020005562W WO2021161453A1 WO 2021161453 A1 WO2021161453 A1 WO 2021161453A1 JP 2020005562 W JP2020005562 W JP 2020005562W WO 2021161453 A1 WO2021161453 A1 WO 2021161453A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
hint
unit
image
target portion
Prior art date
Application number
PCT/JP2020/005562
Other languages
English (en)
French (fr)
Inventor
貴裕 戸泉
塚田　正人
知里 舟山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021577792A priority Critical patent/JP7351358B2/ja
Priority to US17/795,678 priority patent/US12034900B2/en
Priority to PCT/JP2020/005562 priority patent/WO2021161453A1/ja
Publication of WO2021161453A1 publication Critical patent/WO2021161453A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/465—Conversion of monochrome to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables

Definitions

  • the present disclosure relates to an image processing system for colorizing a monochrome image, an image processing method, and a non-temporary computer-readable medium.
  • Patent Document 1 An image processing system that converts a monochrome image into a colorized image by a trained prediction model based on a color (color hint) specified by a user using a general-purpose color palette is known (see Non-Patent Document 1). .. Further, in Patent Document 1, the classification item of the subject included in the monochrome image and the preferable color of the subject are stored in advance in association with the color database, and the color to be arranged is determined according to the input of the classification item by the user. The method of doing so is disclosed.
  • An object of the present disclosure is to provide an image processing system, an image processing method, and a non-temporary computer-readable medium capable of more easily improving the color reproduction accuracy in colorizing a monochrome image in view of the above-mentioned problems. It is in.
  • the image processing system includes an image acquisition unit that acquires a monochrome image including a target portion. Further, the image processing system includes a hint acquisition unit for acquiring a classification item of the target portion and a first color hint suggesting a color of the target portion. Further, the image processing system includes a hint conversion unit that converts the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item. Further, the image processing system uses a prediction model learned by machine learning to generate a colorization generation unit that generates a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion. Be prepared.
  • the image processing method in one aspect of the present disclosure includes a step of acquiring a monochrome image including a target portion. Further, the image processing method includes a step of acquiring a classification item of the target portion and a first color hint suggesting a color of the target portion. Further, the image processing method includes a step of converting the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item. Further, the image processing method includes a step of generating a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using a prediction model learned by machine learning.
  • the non-temporary computer-readable medium in one aspect of the present disclosure includes an image acquisition function for acquiring a monochrome image including a target portion, a classification item of the target portion, and a first color hint suggesting a color of the target portion.
  • a hint conversion function for converting the first color hint into a second color hint suggesting the color of the target portion based on the acquired classification item, and a hint conversion function for learning by machine learning.
  • An image processing program for realizing a colorization generation function for generating a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using the predicted model. Is stored.
  • the present disclosure makes it possible to provide an image processing system, an image processing method, and a non-temporary computer-readable medium that can more easily improve the color reproduction accuracy in colorizing a monochrome image.
  • FIG. 1 It is a block diagram which shows the structure of the apparatus which concerns on the outline of embodiment. It is an outline of the processing of the apparatus which concerns on Embodiment 1. It is a schematic block diagram of the apparatus which concerns on Embodiment 1. FIG. It is a figure which shows an example of the user interface of the apparatus which concerns on Embodiment 1. FIG. It is a flowchart which shows the process of the apparatus which concerns on Embodiment 1. FIG. It is a figure for demonstrating an example of the colorized image generation processing of the colorization generation part which concerns on Embodiment 1. FIG. It is a figure which shows an example of the data structure of the 1st conversion table which concerns on Embodiment 1. FIG.
  • FIG. It is a flowchart which shows the color hint conversion process using the 1st conversion table which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the data structure of the 2nd conversion table which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the color hint conversion process using the 2nd conversion table which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the data structure of the 3rd conversion table which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows the color hint conversion process using the 3rd conversion table which concerns on Embodiment 1.
  • FIG. It is a schematic block diagram of the apparatus which concerns on Embodiment 2.
  • FIG. It is a schematic block diagram of the apparatus which concerns on Embodiment 2.
  • FIG. 1 It is a flowchart which shows the processing of the apparatus which concerns on Embodiment 2. It is a conceptual diagram for demonstrating the color hint adjustment process which concerns on Embodiment 2. It is a schematic block diagram of the apparatus which concerns on Embodiment 3. FIG. It is a flowchart which shows the processing of the apparatus which concerns on Embodiment 3. It is a figure which shows an example of the user interface of the apparatus which concerns on Embodiment 3. FIG.
  • FIG. 1 is a block diagram showing a configuration of an image processing system (here, simply referred to as a device 10) according to an outline of an embodiment.
  • the device 10 includes an image acquisition unit 102, a hint acquisition unit 105, a hint conversion unit 106, and a colorization generation unit 120.
  • the image acquisition unit 102 acquires a monochrome image including a subject including the target portion.
  • the hint acquisition unit 105 acquires the classification item of the target portion and the first color hint suggesting the color of the target portion.
  • the hint conversion unit 106 converts the first color hint into a second color hint that suggests the color of the target portion based on the acquired classification item.
  • the colorization generation unit 120 generates a colorized image corresponding to the monochrome image from the monochrome image and the second color hint of the target portion by using the prediction model learned by machine learning.
  • the color of the specified color hint can be adjusted based on the classification item of the target part, and the color can be colored using the adjusted color hint. Therefore, it is possible to more easily improve the color reproduction accuracy in the colorization of a monochrome image.
  • FIG. 2 is an outline of the processing of the apparatus 20 according to the first embodiment.
  • the device 20 is a computer or the like that colors a monochrome image M using a prediction model from a monochrome image M and a color hint H corresponding to the monochrome image M to generate a colorized image C.
  • the monochrome image M is an image drawn using a background color and a single color other than the background color.
  • the monochrome image M has a number of pixels corresponding to the number of pixels.
  • Each pixel of the monochrome image M includes a pixel value indicating a step of shading between the background color and a single color.
  • the pixel value of the monochrome image M includes a value of any dimension in the color space.
  • the pixel value of the monochrome image M includes the luminance value of the monochrome image M, for example, the L value.
  • the black-and-white image M is a photographic image including one or more subjects. The subject is, for example, a person, the sky, the setting sun, a tree, a grass, or the like.
  • the subject includes one or a plurality of target portions.
  • the target portion is a portion of the subject whose color is similar.
  • the target portion may be a pixel region including a plurality of adjacent pixels whose pixel value differences are within a predetermined range.
  • the target parts are, for example, a person's skin, a person's eyes, a person's clothes, the sky, the setting sun, a tree trunk, leaves and grass, and the like.
  • the monochrome image M may be a grayscale image using white as the background color and black as the single color.
  • the present invention is not limited to this, and the monochrome image M may be an image using a color other than black as a single color.
  • the monochrome image M may be a single-color halftone dot image that has been subjected to a blurring process using a Gaussian filter, a median filter, or the like.
  • the colorized image C has a number of pixels corresponding to the number of pixels corresponding to the monochrome image M.
  • Each pixel of the colorized image C includes a complementary color dimension value in addition to the pixel value.
  • the complementary color dimension values may be, for example, a and b values.
  • the prediction model is a prediction model that predicts the pixel color of the monochrome image M learned by machine learning.
  • the prediction model has, for example, a neural network that includes an input layer, an intermediate layer, and an output layer.
  • a neural network includes a convolutional neural network (CNN).
  • the neural network may include an autoencoder that compresses the dimensions of the input layer, particularly a conditional autoencoder.
  • the prediction model is a model learned by end-to-end deep learning, but is not limited to this.
  • Color hint H is a color index that suggests the color of the target part.
  • the color hint H is a color defined using a color space.
  • the color hint H is a condition added to the prediction model.
  • the color hint H may be a condition added to the autoencoder included in the neural network.
  • the color hint H improves the color prediction accuracy of the pixels of the monochrome image M.
  • the color hint H is preferably a "favorable color” as a photographic image, particularly a color suitable for human perception.
  • the "favorable color” may have reflectance characteristics under a predetermined light source such as sunlight and a white light source.
  • the "favorable color” may be a color empirically determined based on human perception.
  • the "favorable color” is the latter color when the color difference between the color of the object under a predetermined light source and the color of the object displayed on the predetermined display device is small (preferably the minimum). There may be.
  • the "favorable color” can be obtained as follows.
  • the color of the object is detected by the first image sensor, the detected color is displayed on a predetermined display device, and the displayed color is further detected by the second image sensor.
  • the detection color of the second image sensor is selected. It can be the "favorable color" of the object. By setting the color hint H to such a "favorable color", it is possible to improve the color reproduction accuracy in the colorization of a monochrome image.
  • FIG. 3 is a schematic configuration diagram of the device 20 according to the first embodiment.
  • the device 20 includes an acquisition unit 200, a storage unit 210, a colorization generation unit 220, an output unit 240, and a model generation unit 260.
  • the acquisition unit 200 acquires various data related to the input data of the prediction model.
  • the acquisition unit 200 outputs the acquired data to the colorization generation unit 220.
  • the acquisition unit 200 may store the acquired data in the storage unit 210.
  • the acquisition unit 200 has an image acquisition unit 202 and a hint determination unit 204.
  • the image acquisition unit 202 acquires a monochrome image M, which is one of the input data of the prediction model.
  • the image acquisition unit 202 may acquire a monochrome image M and a colorized image C corresponding thereto as learning data.
  • the hint determination unit 204 acquires the first color hint of the target portion of the subject of the monochrome image M and determines the second color hint.
  • the first color hint is a color hint designated by the user as a color suggesting a color of a target portion of the subject.
  • the second color hint is a "favorable color" corresponding to the first color hint, and is a color hint input as a condition in the prediction model.
  • the hint determination unit 204 outputs the determined second color hint to the colorization generation unit 220.
  • the hint determination unit 204 includes a hint acquisition unit 205 and a hint conversion unit 206.
  • the hint acquisition unit 205 acquires the target position information P of the monochrome image M, the classification item of the target portion, and the first color hint.
  • the classification item is information indicating the type of the target part, and as an example, "human skin”, “human eyes”, “sky”, “sunset”, “tree trunk”, “leaf” and “Grass” etc.
  • the target position information P may be the position information of at least a part of the pixels constituting the target portion.
  • the hint conversion unit 206 converts the first color hint into the second color hint based on the classification items acquired by the hint acquisition unit 205.
  • the hint conversion unit 206 may convert the first color hint into the second color hint by using the conversion table stored in the storage unit 210.
  • the storage unit 210 is a storage medium that stores various data and the like related to the color hint conversion process and the learning process of the prediction model.
  • the storage unit 210 has a conversion table and a learning database 216.
  • the conversion table is a table that stores the classification items of the target portion in association with the parameters and the like related to the color hint conversion process. Details will be described later.
  • the learning database 216 stores training data and the like of the prediction model.
  • the colorization generation unit 220 generates a colorized image C corresponding to the monochrome image M from the monochrome image M and the color hint H (particularly, the second color hint) of the target portion by using the prediction model.
  • the colorization generation unit 220 uses a prediction model output from the model optimization unit 264 of the model generation unit 260, which will be described later. Then, the colorization generation unit 220 outputs the colorization image C to the output unit 240.
  • the output unit 240 outputs the colorized image C generated by the colorization generation unit 220 in a predetermined output format.
  • the model generation unit 260 generates a prediction model by machine learning using the training data.
  • the model generation unit 260 has a learning processing unit 262 and a model optimization unit 264.
  • the learning processing unit 262 manages the learning data of the prediction model.
  • the learning processing unit 262 acquires a data set including a monochrome image M for learning, a colorized image C, and a color hint H, that is, learning data, and stores it in the learning database 216.
  • the learning data stored in the learning database 216 may be data acquired by the learning processing unit 262 from the acquisition unit 200, and the learning processing unit 262 may use an arbitrary communication means (not shown) from another device. It may be received data.
  • the learning processing unit 262 outputs the learning data stored in the learning database 216 to the model optimization unit 264.
  • the model optimization unit 264 optimizes the prediction model by machine learning using the training data.
  • the prediction model optimization unit 184 outputs the optimized prediction model to the colorization generation unit 220.
  • FIG. 4 is a diagram showing an example of the user interface of the device 20 according to the first embodiment.
  • the user interface includes a monochrome image display unit 1, a colorized image display unit 2, a color palette 3, a classification item input unit 4, a color space display unit 5, a hint display unit 6, and an image input unit 7. , And an image output unit 8.
  • the monochrome image display unit 1 displays the acquired monochrome image M, and superimposes the color indicated by the first color hint or the second color hint on the pixels corresponding to the target position information P of the target portion of the monochrome image M. To display.
  • the monochrome image display unit 1 receives input of the target position information P from the user via a pointing device or the like.
  • the monochrome image display unit 1 is included in the hint determination unit 204 and may be connected to the hint acquisition unit 205.
  • the colorized image display unit 2 displays the generated colorized image C.
  • the colorized image display unit 2 is included in the output unit 240.
  • the color palette 3 is a general-purpose color palette that holds a plurality of colors, and accepts a color designation from the user.
  • the specified color is the first color hint.
  • the color palette 3 is included in the hint acquisition unit 205 of the hint determination unit 204.
  • the classification item input unit 4 displays a list of classification items of the target portion and accepts input of the classification item from the user.
  • the classification item input unit 4 is included in the hint determination unit 204 and may be connected to the hint acquisition unit 205.
  • the color space display unit 5 displays the currently selected color hint (the first color hint designated by the user or the second color hint after conversion) in the color space.
  • the color space display unit 5 may accept a color designation (that is, input of a first color hint) from the user via a pointing device or the like.
  • the hint display unit 6 displays the color hint currently selected in color.
  • the image input unit 7 is included in the image acquisition unit 202 and receives an input of a monochrome image M from a user.
  • the image output unit 8 is included in the output unit 240, and outputs the colorized image C to the outside in a predetermined data format.
  • FIG. 5 is a flowchart showing the processing of the apparatus 20 according to the first embodiment.
  • the image acquisition unit 202 of the acquisition unit 200 acquires the monochrome image M related to colorization.
  • the image acquisition unit 202 performs the above processing in response to the user selecting the image input unit 7 shown in FIG. 4 and transferring a predetermined monochrome image M.
  • the image acquisition unit 202 outputs the acquired monochrome image M to the colorization generation unit 220.
  • the hint acquisition unit 205 determines whether or not the target position information P of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has designated at least a part of the pixels on the monochrome image display unit 1 shown in FIG. 4 by a pointing device or the like. If the hint acquisition unit 205 has acquired (designated) (Y in S11), the process proceeds to S12, and if not (N in S11), the process proceeds to S18.
  • the hint acquisition unit 205 determines whether or not the first color hint of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has specified a color included in the color palette 3 shown in FIG. 4 or a color displayed in the color space display unit 5. If the hint acquisition unit 205 has acquired (designated) (Y in S12), as shown in FIG. 4, the hint acquisition unit 205 is the first pixel corresponding to the target position information P on the monochrome image M of the monochrome image display unit 1. The colors indicated by the color hints are displayed in a superimposed manner, and the process proceeds to S13. If not (N in S12), the hint acquisition unit 205 advances the process to S18.
  • the hint acquisition unit 205 determines whether or not the classification item of the target portion has been acquired. For example, the hint acquisition unit 205 determines whether or not the user has specified the classification item displayed in the classification item input unit 4. If the hint acquisition unit 205 has acquired (designated) (Y in S13), the process proceeds to S14, and if not (N in S13), the first color hint is output to the colorization generation unit 220. , The process proceeds to S15.
  • the hint conversion unit 206 refers to the conversion table of the storage unit 210 and converts the first color hint into the second color hint according to the acquired classification item. Details of this color hint conversion process will be described later.
  • the hint conversion unit 206 outputs a second color hint to the colorization generation unit 220. Further, as shown in FIG. 4, the hint conversion unit 206 shows a second color hint instead of the first color hint on the pixel corresponding to the target position information P on the monochrome image M of the monochrome image display unit 1. Display colors in a superimposed manner.
  • the colorization generation unit 220 acquires a prediction model from the model optimization unit 264.
  • the colorization generation unit 220 uses the acquired monochrome image M as input data, and uses the prediction model on the condition of the color hint H (first color hint or second color hint) to obtain the monochrome image M.
  • a colorized image C corresponding to is generated.
  • the colorization generation unit 220 outputs the colorization image C to the output unit 240.
  • the output unit 240 outputs the colorized image C.
  • the output unit 240 causes the colorized image display unit 2 shown in FIG. 4 to display the colorized image C. Further, the output unit 240 outputs the colorized image C in a predetermined data format according to the user's selection of the image output unit 8 shown in FIG. Then, the output unit 240 ends the process.
  • the hint acquisition unit 205 indicates an error depending on whether the target position information P has not been acquired in S11 or the first color hint of the target portion has not been acquired in S12. Is output. Then, the hint acquisition unit 205 ends the process.
  • the hint conversion unit 206 converts the first color hint into the second color hint based on the classification item, the color adjustment of the designated color hint is based on the classification item. This can be done, and colorization can be performed using the color hint after the color adjustment. This makes it possible to more easily improve the color reproduction accuracy in colorizing a monochrome image.
  • FIG. 6 is a diagram for explaining an example of the colorized image generation process (that is, the process shown in S16 of FIG. 5) of the colorization generation unit 220 according to the first embodiment.
  • the colorization generation unit 220 corresponds to the monochrome image M, that is, the matrix diagram M (L) corresponding to the luminance dimension (L) of the monochrome image M, and the luminance and complementary color dimensions (a, b) of the color hint H, respectively.
  • Matrix diagrams H (L), H (a), and H (b) are acquired.
  • the colorization generation unit 220 inputs these into the input layer and the conditions of the prediction model.
  • the prediction model outputs matrix diagrams C (a) and C (b) corresponding to the complementary color dimensions of the colorized image C in the output layer.
  • the colorization generation unit 220 synthesizes the output C (a), C (b) and M (L) to generate a colorized image C. In this way, the colorization generation unit 220 can generate the colorization image C from the monochrome image M and the color hint H.
  • the conversion table may include at least one of a first conversion table, a second conversion table, and a third conversion table, and the hint conversion unit 206 depends on the type of conversion table stored in the storage unit 210.
  • the conversion process may be performed.
  • FIG. 7A is a diagram showing an example of the data structure of the first conversion table according to the first embodiment
  • FIG. 7B is a flowchart showing a color hint conversion process using the first conversion table.
  • the first conversion table stores the classification items of the target portion in association with the plurality of second color hint candidates.
  • the first conversion table may include a classification item of the target portion and color space coordinates of a plurality of second color hint candidates corresponding to the classification item.
  • the color space coordinates include components (that is, pixel values) corresponding to the dimensions of the color space, and in this figure, include three components L, a, and b corresponding to the luminance dimension (L) and the complementary color dimension, respectively.
  • the candidate for the second color hint may be a color predetermined as the above-mentioned "preferred color" according to the classification item.
  • the hint conversion unit 206 acquires the color space coordinates of a plurality of second color hint candidates according to the acquired classification items by using the first conversion table.
  • the hint conversion unit 206 sets the color difference between each of the second color hint candidates and the first color hint, that is, the color space coordinates of each of the second color hint candidates, and the first. Calculate the distance between the color hints and the color space coordinates of. The distance here may be Euclidean distance, Manhattan distance, Chebyshev distance or any other distance.
  • the hint conversion unit 206 selects the candidate having the smallest color difference from the first color hint among the candidates for the second color hint, and determines the second color hint.
  • the hint conversion unit 206 uses the first conversion table to select the color closest to the user-specified color (first color hint) among the preferable colors predetermined for each classification item. It can be easily determined as the color hint of 2.
  • FIG. 8A is a diagram showing an example of the data structure of the second conversion table according to the first embodiment
  • FIG. 8B is a flowchart showing a color hint conversion process using the second conversion table.
  • the second conversion table stores the first color hint, the classification item of the target portion, and the second color hint in association with each other.
  • the second conversion table stores the color space coordinates assigned according to the range of the color space coordinates of the first color hint as the second color hint for each classification item.
  • the second color hint may be a color predetermined as the above-mentioned "favorable color" corresponding to the color space of the first color hint for each classification item.
  • the hint conversion unit 206 refers to the second conversion table.
  • the hint conversion unit 206 acquires the second color hint associated with the range corresponding to the acquired classification item and the color space coordinate component of the first color hint. In this way, by using the second conversion table, the hint conversion unit 206 can easily use a predetermined "favorable color" corresponding to the color specified by the user as the second color hint for each classification item. Can be decided.
  • FIG. 9A is a diagram showing an example of the data structure of the third conversion table according to the first embodiment
  • FIG. 9B is a flowchart showing a color hint conversion process using the third conversion table.
  • the third conversion table stores conversion parameters for converting from the first color hint to the second color hint according to the classification item of the target portion.
  • the hint conversion unit 206 acquires conversion parameters corresponding to the acquired classification items stored in the third conversion table.
  • the hint conversion unit 206 calculates the second color hint from the first color hint using the conversion parameter.
  • the hint conversion unit 206 uses the third conversion table to perform arithmetic processing based on the conversion parameters predetermined for each classification item for the color specified by the user, and outputs the output result to the second. It can be easily determined as a color hint of.
  • the learning database 216 is included in the storage unit 210 of the device 20, but instead, it may be included in another device (not shown) or the like that is communicably connected.
  • the learning processing unit 262 may acquire learning data from the other device via an arbitrary communication means (not shown) and output it to the model optimization unit 264.
  • FIG. 10 is a schematic configuration diagram of the device 30 according to the second embodiment.
  • the device 30 has substantially the same configuration and function as the device 20 of the first embodiment. However, the device 30 is different from the device 20 in that the acquisition unit 300 is provided instead of the acquisition unit 200.
  • the acquisition unit 300 has substantially the same configuration and function as the acquisition unit 200, but has a hint determination unit 304 instead of the hint determination unit 204.
  • the hint determination unit 304 includes a hint adjustment unit 307 in addition to the configuration of the hint determination unit 204.
  • the hint adjustment unit 307 adjusts the color space coordinates of the converted second color hint output from the hint conversion unit 206 based on the distance from the color space coordinates of the first color hint.
  • FIG. 11 is a flowchart showing the processing of the apparatus 30 according to the second embodiment.
  • the step shown in FIG. 11 has S50 in addition to the step shown in FIG. 5 of the first embodiment.
  • the same steps as those shown in FIG. 5 are designated by the same symbols and the description thereof will be omitted.
  • the hint adjustment unit 307 of the hint determination unit 304 performs the color hint adjustment process in response to the output of the second color hint from the hint conversion unit 206 in S14. Then, the hint adjustment unit 307 outputs the second color hint to the colorization generation unit 220, and proceeds to the process in S15.
  • the colorization generation unit 220 generates a colorization image corresponding to the monochrome image based on the adjusted second color hint.
  • FIG. 12 is a conceptual diagram for explaining the color hint adjustment process (that is, the process shown in S50 of FIG. 11) according to the second embodiment.
  • the point v shown in this figure is the color space coordinates of the first color hint acquired (that is, specified by the user) by the hint acquisition unit 205 in S12.
  • the point p is the color space coordinate of the second color hint (that is, “preferred color”) converted by the hint conversion unit 206 in S14.
  • the point X is the color space coordinate of the second color hint adjusted by the hint adjusting unit 307 in S50.
  • the hint adjustment unit 307 adjusts the color of the second color hint after conversion by setting the point X on the straight line connecting the point p and the point v. As a result, the hint adjusting unit 307 can perform a processing process for moving the second color hint closer to or away from the "favorable color" by a predetermined amount from the first color hint.
  • this figure shows an example in which the hint adjusting unit 307 sets a point X between a point v and a point p in a color space, that is, a case where a second color hint is brought closer to a “favorable color” by a predetermined amount.
  • l be the distance between points v and p
  • the color space coordinates of points v, p, and X be v, p, and X, respectively, using a position vector.
  • t (-1 ⁇ t ⁇ 1) be a parameter indicating how close the color is to the “favorable color”.
  • X l ⁇ t ⁇ v + l ⁇ (1-t) ⁇ p is obtained.
  • the hint adjustment unit 307 can set the point X at a position on the straight line connecting the point v and the point p in the color space, which is opposite to the point p with respect to the point v. Is. That is, the hint adjusting unit 307 can move the second color hint away from the "favorable color" by a predetermined amount.
  • the device 30 can perform colorization according to the taste of the user's preference based on a predetermined "favorable color”.
  • FIG. 13 is a schematic configuration diagram of the device 40 according to the third embodiment.
  • the device 40 has substantially the same configuration and function as the device 20 of the first embodiment.
  • the device 40 includes an acquisition unit 400 instead of the acquisition unit 200.
  • the acquisition unit 400 has substantially the same configuration and function as the acquisition unit 200, but has a hint determination unit 404 instead of the hint determination unit 204.
  • the hint determination unit 404 includes a target detection unit 406 and a detection display unit 408 in addition to the configuration of the hint determination unit 204.
  • the target detection unit 406 automatically detects the target portion from the monochrome image M and acquires the target position information P. For example, the target detection unit 406 may detect a subject and detect a pixel region of the subject, which is presumed to have similar colors, as the target portion. The target detection unit 406 may detect a pixel region in which colors are presumed to be similar, based on the difference in pixel values between pixels included in the subject and the position of the pixels. Then, the target detection unit 406 estimates the classification item of the target portion based on the detected target portion. The target detection unit 406 outputs the estimated classification item to the hint conversion unit 206.
  • the detection display unit 408 selects and displays the detected target portion. Therefore, the user can specify the first color hint without specifying the target position information P of the target portion.
  • the detection display unit 408 may display the detected subject in addition to the target portion.
  • the hint acquisition unit 205 may accept the input of the first color hint from the user corresponding to the displayed target portion.
  • the target detection unit 406 since the target detection unit 406 automatically detects the target position information P, the user's operation of designating the target position information P is omitted, and the convenience is improved. Further, since the target detection unit 406 estimates the classification item of the target portion in response to the automatic detection of the target position information P, the classification item of the target portion can be automatically acquired. As a result, the operation of specifying the classification item of the user is omitted, and the convenience is further improved.
  • FIG. 14 is a flowchart showing the processing of the apparatus 40 according to the third embodiment.
  • FIG. 15 is a diagram showing an example of the user interface of the device 40 according to the third embodiment.
  • the step shown in FIG. 14 has the steps shown in S60 to S64 instead of the step S11 shown in FIG. 5 of the first embodiment.
  • the same steps as those shown in FIG. 5 are designated by the same symbols and the description thereof will be omitted.
  • the target detection unit 406 automatically detects the subject and the target portion of the subject from the monochrome image M in response to the image acquisition unit 202 acquiring the monochrome image M related to colorization in S10. It is determined whether or not the position information P has been acquired. If the target position information P has been acquired (Y in S60), the target detection unit 406 advances the process to S62, and if not (N in S60), advances the process to S61.
  • the hint acquisition unit 205 performs the same process as the step shown in S11 of FIG. 5, and if the target position information P is acquired (Y in S11), the process proceeds to S12, otherwise (Y). N) in S11, the process proceeds to S18.
  • the target detection unit 406 estimates the classification item of the detected target portion according to the acquisition of the target position information P in S60. Then, as shown in FIG. 15, the estimated classification item is displayed on the classification item input unit 4.
  • the target detection unit 406 may detect the subject and the target portion using a predetermined object recognition model learned by machine learning, acquire the target position information P, and estimate the classification item of the target portion. ..
  • a given object recognition model may include a neural network that detects and recognizes an object from an image, especially a CNN.
  • the target detection unit 406 detects the subject using the predetermined object recognition model and estimates the positions of the face, arms, legs, etc. using the skeleton estimation technique or the like. May be good.
  • the target detection unit 406 may use these estimated positions as the target position information P of the target portion and estimate the classification item of the target portion as “human skin”.
  • the target detection unit 406 recognizes the target portion from the monochrome image M using a rectangular frame, and acquires the target position information P and the classification item.
  • the target detection unit 406 may acquire the target position information P by estimating which classification item each region portion of the monochrome image M belongs to by region segmentation (Semantic Segmentation). ..
  • the detection display unit 408 displays the pixels corresponding to the detection subject F and the target position information P of the target portion on the monochrome image display unit 1.
  • the black-and-white image display unit 1 may superimpose a rectangular frame indicating the detected subject F and pixels corresponding to the target position information P on the acquired black-and-white image M.
  • the target detection unit 406 uses the area division, the frame or the like surrounding the outline of the detected area may be displayed superimposed on the monochrome image M as the detection subject F. Then, the detection display unit 408 advances the process to S12.
  • the detection display unit 408 displays the detection target portions in order and prompts the hint acquisition unit 205 to input the first color hint. You may request it.
  • the detection display unit 408 selects the plurality of target portions at a time and displays them on the monochrome image display unit 1. You may let me. As a result, it is possible to prevent the user from designating the first color hint a plurality of times in the subsequent S12, and the convenience is improved.
  • the computer is composed of a computer system including a personal computer, a word processor, and the like.
  • the computer may be composed of a LAN (local area network) server, a computer (personal computer) communication host, a computer system connected to the Internet, and the like. It is also possible to distribute the functions to each device on the network and configure the computer in the entire network.
  • the present invention has been described as a hardware configuration in the above-described embodiment, the present invention is not limited thereto.
  • the present invention can also realize arbitrary functions (processing), particularly the processing shown in FIGS. 2, 7 to 9, 11 and 14, by causing a CPU (Central Processing Unit) to execute a computer program.
  • CPU Central Processing Unit
  • Non-temporary computer-readable media include various types of tangible storage mediums. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, Includes CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (random access memory)).
  • the program may also be supplied to the computer by various types of temporary computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る画像処理システム（１０）は、対象部分を含む被写体を有するモノクロ画像を取得する画像取得部（１０２）と、対象部分の分類項目と対象部分の色を示唆する第１の色ヒントとを取得するヒント取得部（１０５）と、取得した分類項目に基づいて、第１の色ヒントを、対象部分の色を示唆する第２の色ヒントに変換するヒント変換部（１０６）と、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第２の色ヒントから、モノクロ画像に対応するカラー化画像を生成するカラー化生成部（１２０）とを備える。

Description

画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体
　本開示は、モノクロ画像をカラー化する画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。
　ユーザが汎用のカラーパレットを用いて指定した色（色ヒント）に基づいて、学習済の予測モデルによりモノクロ画像をカラー化画像に変換する画像処理システムが知られている（非特許文献１参照）。また特許文献１には、モノクロ画像に含まれる被写体の分類項目と被写体の好ましい色とを色データベースに予め関連付けて記憶しておき、ユーザが分類項目を入力したことに応じて配色する色を決定する方法が開示されている。
特開平４－２４８６８４号公報
Richard Zhang, Jun-Yan Zhu, "Real-Time User-Guided Image Colorization with Learned Deep Priors.", ACM Transactions on Graphics, ２０１７年５月８日提出
　しかし上述した画像処理システムにおいては、ユーザが汎用のカラーパレットから被写体に合った好ましい色ヒントを選択するために、指定および確認操作を何度も行う必要が生じ、時間と手間がかかるという問題点がある。
　また上述した特許文献１に記載の方法においては、被写体の分類項目に対して予め定められた色を配色する色として決定するだけであるため、ユーザの指定した色に応じた色の調整を行うことができない。したがって、当該色を色ヒントとして用いてモノクロ画像をカラー化しても、色の再現精度が十分でないという問題点がある。
　本開示の目的は、上述した課題を鑑み、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することにある。
　本開示の一態様における画像処理システムは、対象部分を含むモノクロ画像を取得する画像取得部を備える。また画像処理システムは、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得部を備える。また画像処理システムは、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換部を備える。また画像処理システムは、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部を備える。
　本開示の一態様における画像処理方法は、対象部分を含むモノクロ画像を取得する段階を備える。また画像処理方法は、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得する段階を備える。また画像処理方法は、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換する段階を備える。また画像処理方法は、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階を備える。
　本開示の一態様における非一時的なコンピュータ可読媒体は、対象部分を含むモノクロ画像を取得する画像取得機能と、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得機能と、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換機能と、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能とをコンピュータに実現させるための画像処理プログラムが格納されたものである。
　本開示により、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することができる。
実施形態の概要にかかる装置の構成を示すブロック図である。 実施形態１にかかる装置の処理の概要である。 実施形態１にかかる装置の概略構成図である。 実施形態１にかかる装置のユーザインターフェイスの一例を示す図である。 実施形態１にかかる装置の処理を示すフローチャートである。 実施形態１にかかるカラー化生成部のカラー化画像生成処理の一例を説明するための図である。 実施形態１にかかる第１の変換テーブルのデータ構造の一例を示す図である。 実施形態１にかかる第１の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。 実施形態１にかかる第２の変換テーブルのデータ構造の一例を示す図である。 実施形態１にかかる第２の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。 実施形態１にかかる第３の変換テーブルのデータ構造の一例を示す図である。 実施形態１にかかる第３の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。 実施形態２にかかる装置の概略構成図である。 実施形態２にかかる装置の処理を示すフローチャートである。 実施形態２にかかる色ヒント調整処理を説明するための概念図である。 実施形態３にかかる装置の概略構成図である。 実施形態３にかかる装置の処理を示すフローチャートである。 実施形態３にかかる装置のユーザインターフェイスの一例を示す図である。
　以下では、具体的な実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。なお、本明細書で色は、具体的には１９７６年に国際照明委員会（ＣＩＥ）によって規格化されたＣＩＥ　Ｌ＊ａ＊ｂ＊色空間を用いて定義される。しかしこれに限らず、ＲＧＢ、ＨＳＶおよびＹＣｒＣｂ等の他の任意の色空間を用いて定義されてもよい。以下Ｌ＊、ａ＊、およびｂ＊を、単にＬ、ａおよびｂと表記する。
　まず実施形態を詳細に説明する前に、その概要について簡単に説明する。図１は、実施形態の概要にかかる画像処理システム（ここでは、単に装置１０と呼ぶ）の構成を示すブロック図である。装置１０は、画像取得部１０２と、ヒント取得部１０５と、ヒント変換部１０６と、カラー化生成部１２０とを備える。
　画像取得部１０２は、対象部分を含む被写体を有するモノクロ画像を取得する。
　ヒント取得部１０５は、対象部分の分類項目と対象部分の色を示唆する第１の色ヒントとを取得する。
　ヒント変換部１０６は、取得した分類項目に基づいて、第１の色ヒントを、対象部分の色を示唆する第２の色ヒントに変換する。
　カラー化生成部１２０は、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第２の色ヒントから、モノクロ画像に対応するカラー化画像を生成する。
　このような構成により、対象部分の分類項目に基づいて、指定された色ヒントの色調整を行い、調整後の色ヒントを用いてカラー化を行うことができる。したがってモノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。
　（実施形態１）
　次に図２～９を用いて、本開示の実施形態１について説明する。図２は、実施形態１にかかる装置２０の処理の概要である。装置２０は、モノクロ画像Ｍおよびモノクロ画像Ｍに対応する色ヒントＨから、予測モデルを用いてモノクロ画像Ｍを着色し、カラー化画像Ｃを生成するコンピュータ等である。
　モノクロ画像Ｍは、背景色および背景色以外の単一色を用いて描画される画像である。モノクロ画像Ｍは、画素数に応じた数の画素を有する。モノクロ画像Ｍの各画素は、背景色と単一色との間の濃淡の段階を示す画素値を含む。モノクロ画像Ｍの画素値は、色空間の任意の次元の値を含む。本実施形態１でモノクロ画像Ｍの画素値は、モノクロ画像Ｍの輝度値、たとえばＬ値を含む。
　モノクロ画像Ｍは、１または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。ここで被写体は、１または複数の対象部分を含む。対象部分は、被写体のうち色が類似する部分である。対象部分は、画素値の差が所定範囲内の複数の隣接する画素を含む画素領域であってよい。対象部分は一例として、人物の肌、人物の目、人物の服、空、夕日、木の幹、木の葉および草等である。本実施形態１でモノクロ画像Ｍは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Ｍは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Ｍは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。
　カラー化画像Ｃは、モノクロ画像Ｍに対応する、画素数に応じた数の画素を有する。カラー化画像Ｃの各画素は、画素値に加えて補色次元の値を含む。補色次元の値は、たとえばａ値およびｂ値であってよい。
　予測モデルは、機械学習により学習した、モノクロ画像Ｍの画素の色を予測する予測モデルである。予測モデルは、たとえば入力層、中間層および出力層を含むニューラルネットワークを有する。一例としてニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional neural network,CNN）を含む。なおニューラルネットワークは、入力層の次元を圧縮するオートエンコーダ、特に条件付きオートエンコーダを含んでよい。本実施形態１では予測モデルはエンドツーエンドの深層学習により学習したモデルであるが、これに限らない。
　色ヒントＨは、対象部分の色を示唆する色の指標である。本実施形態１で色ヒントＨは、色空間を用いて定義される色である。色ヒントＨは、予測モデルに付加される条件である。色ヒントＨは、特にニューラルネットワークに含まれるオートエンコーダに付加される条件であってよい。色ヒントＨは、モノクロ画像Ｍの画素の色の予測精度を向上させる。
　ここで色ヒントＨは、写真画像として「好ましい色」、特に人間の知覚に合った色であることが好ましい。たとえば「好ましい色」は、太陽光および白色光源等の所定の光源下での反射率特性を有するものであってよい。また「好ましい色」は、人間の知覚に基づいて経験的に定められた色であってもよい。
　また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい（好ましくは、最小の）場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第１のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第２のイメージセンサで検出する。このとき、第１のイメージセンサの検出色と、第２のイメージセンサの検出色との間の色差が小さくなる（好ましくは、最小となる）場合に、第２のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
　色ヒントＨをこのような「好ましい色」とすることにより、モノクロ画像のカラー化における色の再現精度を向上させることができる。
　図３は、実施形態１にかかる装置２０の概略構成図である。装置２０は、取得部２００と、記憶部２１０と、カラー化生成部２２０と、出力部２４０と、モデル生成部２６０とを備える。
　取得部２００は、予測モデルの入力データに関連する各種データを取得する。取得部２００は、取得したデータをカラー化生成部２２０に出力する。これに加えて取得部２００は、取得したデータを記憶部２１０に格納してもよい。ここで取得部２００は、画像取得部２０２と、ヒント決定部２０４とを有する。
　画像取得部２０２は、予測モデルの入力データの１つであるモノクロ画像Ｍを取得する。画像取得部２０２は、学習データとしてモノクロ画像Ｍおよびこれに対応するカラー化画像Ｃを取得してもよい。
　ヒント決定部２０４は、モノクロ画像Ｍの被写体の対象部分の第１の色ヒントを取得し、第２の色ヒントを決定する。ここで第１の色ヒントは、ユーザが被写体の対象部分の色を示唆する色として指定した色ヒントである。そして第２の色ヒントは、第１の色ヒントに応じた「好ましい色」であり、予測モデルに条件として入力される色ヒントである。ヒント決定部２０４は、決定した第２の色ヒントをカラー化生成部２２０に出力する。ここでヒント決定部２０４は、ヒント取得部２０５と、ヒント変換部２０６とを含む。
　ヒント取得部２０５は、モノクロ画像Ｍの対象位置情報Ｐと、対象部分の分類項目と、第１の色ヒントとを取得する。ここで分類項目とは、対象部分の種別を示す情報であり、一例として、「人物の肌」、「人物の目」、「空」、「夕日」、「木の幹」、「木の葉」および「草」等である。また対象位置情報Ｐとは、対象部分を構成する画素のうち少なくとも一部の画素の位置情報であってよい。
　ヒント変換部２０６は、ヒント取得部２０５が取得した分類項目に基づいて、第１の色ヒントを第２の色ヒントに変換する。ヒント変換部２０６は、記憶部２１０に格納される変換テーブルを用いて第１の色ヒントを第２の色ヒントに変換してよい。
　記憶部２１０は、色ヒント変換処理および予測モデルの学習処理に関連する各種データ等を記憶する記憶媒体である。記憶部２１０は、変換テーブルと、学習データベース２１６とを有する。
　変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
　学習データベース２１６は、予測モデルの学習データ等を記憶する。
　カラー化生成部２２０は、予測モデルを用いて、モノクロ画像Ｍおよび対象部分の色ヒントＨ（特に、第２の色ヒント）から、モノクロ画像Ｍに対応するカラー化画像Ｃを生成する。なおカラー化生成部２２０は、後述するモデル生成部２６０のモデル最適化部２６４から出力される予測モデルを用いる。そしてカラー化生成部２２０は、カラー化画像Ｃを出力部２４０に出力する。
　出力部２４０は、カラー化生成部２２０によって生成されたカラー化画像Ｃを所定の出力形式により出力する。
　モデル生成部２６０は、学習データを用いた機械学習によって、予測モデルを生成する。モデル生成部２６０は、学習処理部２６２と、モデル最適化部２６４とを有する。
　学習処理部２６２は、予測モデルの学習データを管理する。学習処理部２６２は、学習用のモノクロ画像Ｍ、カラー化画像Ｃおよび色ヒントＨを含むデータセット、すなわち学習データを取得し、学習データベース２１６に格納する。なお学習データベース２１６に格納される学習データは、学習処理部２６２が取得部２００から取得したデータであってもよく、学習処理部２６２が任意の通信手段（不図示）を介して他の装置から受信したデータであってもよい。そして学習処理部２６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
　モデル最適化部２６４は、学習データを用いて機械学習により予測モデルを最適化する。予測モデル最適化部１８４は、最適化した予測モデルをカラー化生成部２２０に出力する。
　図４は、実施形態１にかかる装置２０のユーザインターフェイスの一例を示す図である。たとえばユーザインターフェイスは、モノクロ画像表示部１と、カラー化画像表示部２と、カラーパレット３と、分類項目入力部４と、色空間表示部５と、ヒント表示部６と、画像入力部７と、画像出力部８とを備える。
　モノクロ画像表示部１は、取得したモノクロ画像Ｍを表示するとともに、当該モノクロ画像Ｍの対象部分の対象位置情報Ｐに対応する画素に第１の色ヒントまたは第２の色ヒントが示す色を重畳的に表示する。なおモノクロ画像表示部１は、ポインティングデバイス等を介してユーザから対象位置情報Ｐの入力を受け付ける。モノクロ画像表示部１は、ヒント決定部２０４に含まれ、ヒント取得部２０５に接続されてよい。
　カラー化画像表示部２は、生成されたカラー化画像Ｃの表示を行う。カラー化画像表示部２は、出力部２４０に含まれる。
　カラーパレット３は、複数の色を保持する汎用のカラーパレットであり、ユーザから色の指定を受け付ける。指定された色は、第１の色ヒントである。カラーパレット３は、ヒント決定部２０４のヒント取得部２０５に含まれる。
　分類項目入力部４は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部４は、ヒント決定部２０４に含まれ、ヒント取得部２０５に接続されてよい。
　色空間表示部５は、現時点で選択されている色ヒント（ユーザから指定を受け付けた第１の色ヒントまたは変換後の第２の色ヒント）を色空間で表示する。色空間表示部５は、ポインティングデバイス等を介してユーザから色の指定（つまり、第１の色ヒントの入力）を受け付けてもよい。
　ヒント表示部６は、現時点で選択されている色ヒントを色で表示する。
　画像入力部７は、画像取得部２０２に含まれ、ユーザからのモノクロ画像Ｍの入力を受け付ける。
　画像出力部８は、出力部２４０に含まれ、カラー化画像Ｃを所定のデータ形式で外部に出力する。
　次に実施形態１にかかる装置２０の処理について、図４を参照しながら図５を用いて説明する。図５は、実施形態１にかかる装置２０の処理を示すフローチャートである。
　まずＳ１０において、取得部２００の画像取得部２０２は、カラー化に係るモノクロ画像Ｍを取得する。たとえば画像取得部２０２は、ユーザが図４に示す画像入力部７を選択し、所定のモノクロ画像Ｍを転送することに応じて、上記処理を行う。そして画像取得部２０２は、取得したモノクロ画像Ｍをカラー化生成部２２０に出力する。
　次にＳ１１において、ヒント取得部２０５は、対象部分の対象位置情報Ｐを取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが図４に示すモノクロ画像表示部１上の少なくとも一部の画素をポインティングデバイス等により指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１１でＹ）、処理をＳ１２に進め、そうでなければ（Ｓ１１でＮ）、処理をＳ１８に進める。
　Ｓ１２において、ヒント取得部２０５は、対象部分の第１の色ヒントを取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが図４に示すカラーパレット３に含まれる色または色空間表示部５に表示される色を指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１２でＹ）、図４に示すようにモノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントが示す色を重畳的に表示させ、処理をＳ１３に進める。ヒント取得部２０５は、そうでなければ（Ｓ１２でＮ）、処理をＳ１８に進める。
　Ｓ１３において、ヒント取得部２０５は、対象部分の分類項目を取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが分類項目入力部４に表示された分類項目を指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１３でＹ）、処理をＳ１４に進め、そうでなければ（Ｓ１３でＮ）、第１の色ヒントをカラー化生成部２２０に出力し、処理をＳ１５に進める。
　Ｓ１４において、ヒント変換部２０６は、記憶部２１０の変換テーブルを参照し、取得した分類項目に応じて、第１の色ヒントを第２の色ヒントに変換する。この色ヒント変換処理についての詳細は、後述する。ヒント変換部２０６は、カラー化生成部２２０に第２の色ヒントを出力する。またヒント変換部２０６は、図４に示すように、モノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントに代えて第２の色ヒントが示す色を重畳的に表示させる。
　次にＳ１５において、カラー化生成部２２０は、モデル最適化部２６４から予測モデルを取得する。
　次にＳ１６において、カラー化生成部２２０は、取得したモノクロ画像Ｍを入力データとし、色ヒントＨ（第１の色ヒントまたは第２の色ヒント）を条件として、予測モデルを用いてモノクロ画像Ｍに対応したカラー化画像Ｃを生成する。カラー化生成部２２０は、出力部２４０にカラー化画像Ｃを出力する。
　Ｓ１７において、出力部２４０はカラー化画像Ｃを出力する。たとえば出力部２４０は、図４に示すカラー化画像表示部２にカラー化画像Ｃを表示させる。また出力部２４０は、ユーザが図４に示す画像出力部８を選択したことに応じてカラー化画像Ｃを所定のデータ形式で出力する。そして出力部２４０は、処理を終了する。
　Ｓ１８において、ヒント取得部２０５は、Ｓ１１において対象位置情報Ｐを取得していないことに応じて、またはＳ１２において対象部分の第１の色ヒントを取得していないことに応じて、エラーを示す信号を出力する。そしてヒント取得部２０５は、処理を終了する。
　このように本実施形態１によれば、ヒント変換部２０６が分類項目に基づいて第１の色ヒントを第２の色ヒントに変換するため、指定された色ヒントの色調整を分類項目に基づいて行い、当該色調整後の色ヒントを用いてカラー化を行うことができる。これにより、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。
　図６は、実施形態１にかかるカラー化生成部２２０のカラー化画像生成処理（つまり、図５のＳ１６に示す処理）の一例を説明するための図である。
　まずカラー化生成部２２０は、モノクロ画像Ｍ、つまりモノクロ画像Ｍの輝度次元（L）に対応するマトリクス図Ｍ（Ｌ）と色ヒントＨの輝度および補色次元（ａ，ｂ）のそれぞれに対応するマトリクス図Ｈ（Ｌ），Ｈ（ａ），Ｈ（ｂ）とを取得する。カラー化生成部２２０は、これらを予測モデルの入力層および条件に入力する。そして予測モデルは、出力層においてカラー化画像Ｃの補色次元に対応するマトリクス図Ｃ（ａ），Ｃ（ｂ）を出力する。カラー化生成部２２０は、出力されたＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、カラー化画像Ｃを生成する。
　このようにしてカラー化生成部２２０は、モノクロ画像Ｍおよび色ヒントＨからカラー化画像Ｃを生成することができる。
　次に、ヒント変換部２０６による変換テーブルを用いた色ヒント変換処理（つまり、図５のＳ１４に示す処理）について説明する。変換テーブルは、第１の変換テーブル、第２の変換テーブルおよび第３の変換テーブルのうち少なくとも１つを含んでよく、ヒント変換部２０６は、記憶部２１０に格納される変換テーブルの種類に応じた変換処理を行ってよい。
　図７Ａは、実施形態１にかかる第１の変換テーブルのデータ構造の一例を示す図であり、図７Ｂは、第１の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
　第１の変換テーブルは、対象部分の分類項目と、複数の第２の色ヒントの候補とを関連付けて記憶する。図７Ａに示すように、第１の変換テーブルは、対象部分の分類項目と、分類項目に対応する複数の第２の色ヒントの候補の色空間座標とを含んでよい。色空間座標は、色空間の次元に対応した成分（つまり画素値）を含み、本図では輝度次元（Ｌ）および補色次元にそれぞれ対応する３つの成分Ｌ，ａ，ｂを含む。ここで第２の色ヒントの候補は、分類項目に応じて、上述の「好ましい色」として予め定められた色であってよい。
　図７Ｂに示すように、まずＳ２０においてヒント変換部２０６は、第１の変換テーブルを用いて、取得した分類項目に応じた複数の第２の色ヒントの候補の色空間座標を取得する。
　次にＳ２２において、ヒント変換部２０６は、第２の色ヒントの候補の各々と第１の色ヒントとの間の色差、すなわち第２の色ヒントの候補の各々の色空間座標と、第１の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離，チェビシェフ距離またはその他の任意の距離であってよい。
　次にＳ２４において、ヒント変換部２０６は、第２の色ヒントの候補のうち、第１の色ヒントとの間の色差が最も小さいものを選択し、第２の色ヒントを決定する。
　このようにヒント変換部２０６は、第１の変換テーブルを用いることで、分類項目ごとに予め定められた好ましい色のうち、ユーザが指定した色（第１の色ヒント）に最も近い色を第２の色ヒントとして容易に決定することができる。
　図８Ａは、実施形態１にかかる第２の変換テーブルのデータ構造の一例を示す図であり、図８Ｂは、第２の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
　第２の変換テーブルは、第１の色ヒントと、対象部分の分類項目と、第２の色ヒントとを関連付けて記憶する。図８Ａに示すように、第２の変換テーブルは、分類項目ごとに、第１の色ヒントの色空間座標の範囲に応じて割り当てられた色空間座標を第２の色ヒントとして記憶する。ここで第２の色ヒントは、分類項目ごとに、第１の色ヒントの色空間に対応して上述の「好ましい色」として予め定められた色であってよい。
　図８Ｂに示すように、まずＳ３０においてヒント変換部２０６は、第２の変換テーブルを参照する。
　次にＳ３２において、ヒント変換部２０６は、取得した前記分類項目および第１の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第２の色ヒントを取得する。
　このようにヒント変換部２０６は、第２の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第２の色ヒントとして容易に決定することができる。
　図９Ａは、実施形態１にかかる第３の変換テーブルのデータ構造の一例を示す図であり、図９Ｂは、第３の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
　図９Ａに示すように、第３の変換テーブルは、対象部分の分類項目に応じた、第１の色ヒントから第２の色ヒントに変換する変換パラメータを記憶する。
　図９Ｂに示すように、まずＳ４０においてヒント変換部２０６は、第３の変換テーブルに記憶される、取得した分類項目に応じた変換パラメータを取得する。
　次にＳ４２に示すように、ヒント変換部２０６は、変換パラメータを用いて第１の色ヒントから第２の色ヒントを算出する。
　このようにヒント変換部２０６は、第３の変換テーブルを用いることで、分類項目ごとに予め定められた変換パラメータに基づいた演算処理をユーザが指定した色に対して行い、出力結果を第２の色ヒントとして容易に決定することができる。
　なお、本実施形態１では学習データベース２１６は、装置２０の記憶部２１０に含まれるが、これに代えて、通信可能に接続された他の装置（不図示）等に含まれていてもよい。このとき学習処理部２６２は、任意の通信手段（不図示）を介して当該他の装置から学習データを取得し、モデル最適化部２６４に出力してよい。
　（実施形態２）
　次に図１０～１２を用いて、本開示の実施形態２について説明する。実施形態２は、変換後の第２の色ヒントをさらに調整することに特徴を有する。
　図１０は、実施形態２にかかる装置３０の概略構成図である。装置３０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置３０は、取得部２００に代えて、取得部３００を備える点で装置２０と相違する。
　取得部３００は、取得部２００とほぼ同様の構成および機能を有するが、ヒント決定部２０４に代えてヒント決定部３０４を有する。
　ヒント決定部３０４は、ヒント決定部２０４の構成に加えて、ヒント調整部３０７を含む。
　ヒント調整部３０７は、ヒント変換部２０６から出力された、変換された第２の色ヒントの色空間座標を、第１の色ヒントの色空間座標との間の距離に基づいて調整する。
　図１１は、実施形態２にかかる装置３０の処理を示すフローチャートである。図１１に示すステップは、実施形態１の図５に示すステップに加えて、Ｓ５０を有する。なお図５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
　Ｓ５０において、ヒント決定部３０４のヒント調整部３０７は、Ｓ１４においてヒント変換部２０６から第２の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部３０７は、カラー化生成部２２０に第２の色ヒントを出力し、処理をＳ１５に進める。
　なお、Ｓ１６においてカラー化生成部２２０は、調整された第２の色ヒントに基づいてモノクロ画像に対応するカラー化画像を生成する。
　図１２は、実施形態２にかかる色ヒント調整処理（つまり、図１１のＳ５０に示す処理）を説明するための概念図である。本図に示す点ｖは、Ｓ１２においてヒント取得部２０５が取得した（つまり、ユーザが指定した）第１の色ヒントの色空間座標である。また点ｐは、Ｓ１４においてヒント変換部２０６が変換した第２の色ヒント（すなわち、「好ましい色」）の色空間座標である。また点Ｘは、Ｓ５０においてヒント調整部３０７が調整した第２の色ヒントの色空間座標である。
　ヒント調整部３０７は、点ｐと点ｖとを結ぶ直線上に点Ｘを設定することで、変換後の第２の色ヒントの色を調整する。これによりヒント調整部３０７は結果的に、第２の色ヒントを、第１の色ヒントから「好ましい色」に所定量近づける、または遠ざける加工処理を行うことが可能となる。
　たとえば本図は、ヒント調整部３０７が色空間で点ｖと点ｐとの間に点Ｘを設定する場合、すなわち第２の色ヒントを「好ましい色」に所定量近づける場合の一例を示す。たとえば点ｖと点ｐとの間の距離をｌとし、点ｖ、ｐおよびＸの色空間座標を、位置ベクトルを用いてそれぞれｖ、ｐ、Ｘとする。そして「好ましい色」にどの程度近づけるかを示すパラメータをｔ（－１≦ｔ≦１）とする。本図では、ｔ＞０であり、Ｘ＝ｌ・ｔ・ｖ＋ｌ・（１－ｔ）・ｐが得られる。
　またヒント調整部３０７は、ｔ＜０とすれば、色空間で点ｖと点ｐとを結ぶ直線上の、点ｖに対して点ｐと反対側の位置に点Ｘを設定することも可能である。すなわちヒント調整部３０７は、第２の色ヒントを「好ましい色」に所定量遠ざけることが可能である。
　このように本実施形態２によれば、装置３０は予め定められた「好ましい色」を基準としてユーザの好みのテイストでカラー化を実行することができる。
　（実施形態３）
　次に図１３～１５を用いて、本開示の実施形態３について説明する。実施形態３は、モノクロ画像Ｍの対象位置情報Ｐを自動取得することに特徴を有する。
　図１３は、実施形態３にかかる装置４０の概略構成図である。装置４０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置４０は、取得部２００に代えて、取得部４００を備える。
　取得部４００は、取得部２００とほぼ同様の構成および機能を有するが、ヒント決定部２０４に代えてヒント決定部４０４を有する。
　ヒント決定部４０４は、ヒント決定部２０４の構成に加えて、対象検出部４０６と、検出表示部４０８とを含む。
　対象検出部４０６は、モノクロ画像Ｍから対象部分を自動で検出し、対象位置情報Ｐを取得する。たとえば対象検出部４０６は、被写体を検出し、被写体のうち色が類似すると推定される画素領域を対象部分として検出してよい。なお対象検出部４０６は、被写体に含まれる画素同士の画素値の差および画素の位置に基づいて、色が類似すると推定される画素領域を検出してよい。
　そして対象検出部４０６は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部４０６は、推定した分類項目をヒント変換部２０６に出力する。
　検出表示部４０８は、検出された対象部分を選択し、表示する。したがってユーザは、対象部分の対象位置情報Ｐを指定することなく、第１の色ヒントを指定することができる。なお検出表示部４０８は、対象部分に加えて、検出された被写体も表示してよい。
　なお、ヒント取得部２０５は、表示された対象部分に対応するユーザからの第１の色ヒントの入力を受け付けてよい。
　本実施形態３によれば、対象検出部４０６が対象位置情報Ｐを自動で検出するため、ユーザの対象位置情報Ｐの指定操作が省略され、利便性が向上する。また当該対象位置情報Ｐの自動検出に応じて、対象検出部４０６が対象部分の分類項目を推定するため、対象部分の分類項目を自動で取得することができる。これにより、ユーザの分類項目の指定操作が省略され、利便性がさらに向上する。
　次に実施形態３にかかる装置４０の処理について、図１５を参照しながら図１４を用いて説明する。図１４は、実施形態３にかかる装置４０の処理を示すフローチャートである。また図１５は、実施形態３にかかる装置４０のユーザインターフェイスの一例を示す図である。
　図１４に示すステップは、実施形態１の図５に示すステップのＳ１１に代えて、Ｓ６０～Ｓ６４に示すステップを有する。なお図５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
　Ｓ６０において、対象検出部４０６は、Ｓ１０において画像取得部２０２がカラー化に係るモノクロ画像Ｍを取得したことに応じて、モノクロ画像Ｍから被写体および被写体の対象部分を自動で検出することにより、対象位置情報Ｐを取得したか否かを判定する。
　対象検出部４０６は、対象位置情報Ｐを取得していれば（Ｓ６０でＹ）、処理をＳ６２に進め、そうでなければ（Ｓ６０でＮ）、処理をＳ６１に進める。
　Ｓ６１において、ヒント取得部２０５は、図５のＳ１１に示すステップと同様の処理を行い、対象位置情報Ｐを取得していれば（Ｓ１１でＹ）、処理をＳ１２に進め、そうでなければ（Ｓ１１でＮ）、処理をＳ１８に進める。
　Ｓ６２において、対象検出部４０６は、Ｓ６０で対象位置情報Ｐを取得したことに応じて、検出した対象部分の分類項目を推定する。そして図１５に示すように、分類項目入力部４上に推定した分類項目を表示する。
　なお、Ｓ６０およびＳ６２に示すステップは、並行して実行されてよい。ここで対象検出部４０６は、機械学習により学習済の所定の物体認識モデルを用いて、被写体および対象部分を検出し、対象位置情報Ｐを取得し、当該対象部分の分類項目を推定してよい。所定の物体認識モデルは、画像から物体を検出し認識するニューラルネットワーク、特にＣＮＮを含んでよい。
　また被写体が人物等である場合は、対象検出部４０６は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部４０６は、推定したこれらの位置を対象部分の対象位置情報Ｐとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のＳ１２においてユーザが第１のヒントを複数回指定することを回避でき、利便性が向上する。
　なお本実施形態３で対象検出部４０６は、モノクロ画像Ｍから対象部分を、矩形枠を用いて認識し、対象位置情報Ｐおよび分類項目を取得する。しかしこれに代えて、対象検出部４０６は、領域分割（Semantic Segmentation）により、モノクロ画像Ｍの各領域部分がどの分類項目に属するかを推定することで対象位置情報Ｐの取得を行ってもよい。
　Ｓ６４において、検出表示部４０８は、モノクロ画像表示部１上に検出被写体Ｆおよび対象部分の対象位置情報Ｐに対応する画素を表示する。たとえば図１５に示すように、モノクロ画像表示部１は、取得したモノクロ画像Ｍに、検出被写体Ｆを示す矩形枠および対象位置情報Ｐに対応する画素を重畳的に表示してよい。
　なお、対象検出部４０６が領域分割を用いる場合は、検出した領域部分の輪郭を囲む枠等を検出被写体Ｆとしてモノクロ画像Ｍに対して重畳的に表示させてよい。そして検出表示部４０８は、処理をＳ１２に進める。
　なお検出表示部４０８は、モノクロ画像Ｍが複数の検出対象部分を含む場合、順番に検出対象部分の表示を行い、ヒント取得部２０５に対してユーザへ第１の色ヒントの入力を促すように要求してよい。
　また図１５に示すように、モノクロ画像Ｍが同一の分類項目を有する対象部分を複数含む場合には、検出表示部４０８は一度に当該複数の対象部分を選択し、モノクロ画像表示部１に表示させてよい。これにより、後続のＳ１２においてユーザが第１の色ヒントを複数回指定することを回避することができ、利便性が向上する。
　上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
　なお上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の機能（処理）、特に図２、７～９、１１および１４に示す処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
　プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
　以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１　モノクロ画像表示部、２　カラー化画像表示部、３　カラーパレット、４　分類項目入力部、５　色空間表示部、６　ヒント表示部、７　画像入力部、８　画像出力部、１０，２０，３０，４０　装置、１０２　画像取得部、１０５，２０５　ヒント取得部、１０６，２０６　ヒント変換部、１２０，２２０　カラー化生成部、２００，３００，４００　取得部、２０２　画像取得部、２０４　ヒント決定部、２１０　記憶部、２１６　学習データベース、２４０　出力部、２６０　モデル生成部、２６２　学習処理部、２６４　モデル最適化部、３０４，４０４　ヒント決定部、３０７　ヒント調整部、４０６　対象検出部、４０８　検出表示部、Ｍ　モノクロ画像、Ｃ　カラー化画像、Ｈ　色ヒント、Ｐ　対象位置情報、Ｆ　検出被写体

Claims (9)

  1. 　対象部分を含むモノクロ画像を取得する画像取得部と、
    　前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得部と、
    　取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換部と、
    　機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部と
    　を備える画像処理システム。
  2. 　分類項目と、複数の第２の色ヒントとを関連付けて記憶する第１の変換テーブルをさらに備え、
    　前記ヒント変換部は、前記第１の変換テーブルを用いて、取得した前記分類項目に関連付けられた複数の第２の色ヒントのうち、前記第１の色ヒントとの間の色差が最も小さい第２の色ヒントを選択する、請求項１に記載の画像処理システム。
  3. 　第１の色ヒントと、分類項目と、第２の色ヒントとを関連付けて記憶する第２の変換テーブルをさらに備え、
    　前記ヒント変換部は、前記第２の変換テーブルを用いて、取得した前記分類項目および前記第１の色ヒントに関連付けられた前記第２の色ヒントを取得する、請求項１に記載の画像処理システム。
  4. 　分類項目に応じた変換パラメータを記憶する第３の変換テーブルをさらに備え、
    　前記ヒント変換部は、前記第３の変換テーブルに記憶される、取得した前記分類項目に応じた変換パラメータを用いて、前記第１の色ヒントを前記第２の色ヒントに変換する、請求項１に記載の画像処理システム。
  5. 　変換された前記第２の色ヒントの色空間座標を、前記第１の色ヒントの色空間座標との間の距離に基づいて調整するヒント調整部をさらに備え、
    　前記カラー化生成部は、調整された前記第２の色ヒントに基づいて前記モノクロ画像に対応するカラー化画像を生成する、請求項１から４のいずれか一項に記載の画像処理システム。
  6. 　前記モノクロ画像から前記対象部分を検出する対象検出部と、
    　検出された前記対象部分を表示する検出表示部と
    　をさらに備え、
    　前記ヒント取得部は、表示された前記対象部分の前記第１の色ヒントの入力をユーザから受け付ける、請求項１から５のいずれか一項に記載の画像処理システム。
  7. 　前記対象検出部は、検出された前記対象部分に基づいて前記対象部分の分類項目を推定する，請求項６に記載の画像処理システム。
  8. 　対象部分を含むモノクロ画像を取得する段階と、
    　前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得する段階と、
    　取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換する段階と、
    　機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階と
    　を備える画像処理方法。
  9. 　対象部分を含むモノクロ画像を取得する画像取得機能と、
    　前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得機能と、
    　取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換機能と、
    　機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能と
    　をコンピュータに実現させるための画像処理プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2020/005562 2020-02-13 2020-02-13 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体 WO2021161453A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021577792A JP7351358B2 (ja) 2020-02-13 2020-02-13 画像処理システム、画像処理方法および画像処理プログラム
US17/795,678 US12034900B2 (en) 2020-02-13 2020-02-13 Image processing system, image processing method, and non-transitory computer readable medium for generating a colorized image
PCT/JP2020/005562 WO2021161453A1 (ja) 2020-02-13 2020-02-13 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/005562 WO2021161453A1 (ja) 2020-02-13 2020-02-13 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2021161453A1 true WO2021161453A1 (ja) 2021-08-19

Family

ID=77291468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005562 WO2021161453A1 (ja) 2020-02-13 2020-02-13 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US12034900B2 (ja)
JP (1) JP7351358B2 (ja)
WO (1) WO2021161453A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230055204A1 (en) * 2021-08-18 2023-02-23 Adobe Inc. Generating colorized digital images utilizing a re-colorization neural network with local hints

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019117558A (ja) * 2017-12-27 2019-07-18 日本放送協会 カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム
JP2019140538A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 画像処理装置、画像形成装置、画像処理方法、及びプログラム
JP2019145030A (ja) * 2018-02-23 2019-08-29 キヤノン株式会社 画像処理装置、画像形成装置、画像処理方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04248684A (ja) 1991-02-05 1992-09-04 Fujitsu Ltd カラ−画像描画装置
GB9605527D0 (en) 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
WO2006075536A1 (ja) * 2005-01-11 2006-07-20 Pioneer Corporation 車両前方画像表示装置及び方法
US7672509B2 (en) * 2005-05-02 2010-03-02 Regents Of The University Of Minnesota Fast image and video data propagation and blending using intrinsic distances
JP2013070173A (ja) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd 画像読取装置、画像形成装置、及びプログラム
US20140132429A1 (en) 2012-11-10 2014-05-15 John Conant Scoville Method for data compression and inference
JP6366935B2 (ja) 2013-12-25 2018-08-01 一般財団法人 リモート・センシング技術センター 擬似カラー化画像処理システム
JP6564285B2 (ja) 2015-09-08 2019-08-21 理想科学工業株式会社 画像処理装置及び画像形成装置
US10387746B2 (en) * 2016-05-06 2019-08-20 Ohio State Innovation Foundation Image color data normalization and color matching system for translucent material
JP2018098630A (ja) * 2016-12-13 2018-06-21 富士フイルム株式会社 色変換テーブル作成装置及び方法、色変換装置、並びにプログラム
DE112017007579T5 (de) * 2017-05-24 2020-03-12 HELLA GmbH & Co. KGaA Verfahren und System zum automatischen Kolorieren von Nachtsichtbildern
JP6731011B2 (ja) 2018-02-23 2020-07-29 シナノケンシ株式会社 電子図書の表示用データの作成装置
JP2019153917A (ja) 2018-03-02 2019-09-12 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
US11158286B2 (en) * 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019117558A (ja) * 2017-12-27 2019-07-18 日本放送協会 カラー情報推定モデル生成装置、画像カラー化装置およびそれらのプログラム
JP2019128889A (ja) * 2018-01-26 2019-08-01 日本放送協会 画像情報変換器およびそのプログラム
JP2019140538A (ja) * 2018-02-09 2019-08-22 キヤノン株式会社 画像処理装置、画像形成装置、画像処理方法、及びプログラム
JP2019145030A (ja) * 2018-02-23 2019-08-29 キヤノン株式会社 画像処理装置、画像形成装置、画像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICHARD ZHANG ; JUN-YAN ZHU ; PHILLIP ISOLA ; XINYANG GENG ; ANGELA S. LIN ; TIANHE YU ; ALEXEI A. EFROS: "Real-time user-guided image colorization with learned deep priors", ACM TRANSACTIONS ON GRAPHICS, ACM, NY, US, vol. 36, no. 4, 20 July 2017 (2017-07-20), US, pages 1 - 11, XP058372846, ISSN: 0730-0301, DOI: 10.1145/3072959.3073703 *

Also Published As

Publication number Publication date
US20230059407A1 (en) 2023-02-23
JPWO2021161453A1 (ja) 2021-08-19
JP7351358B2 (ja) 2023-09-27
US12034900B2 (en) 2024-07-09

Similar Documents

Publication Publication Date Title
US20210073953A1 (en) Method for applying bokeh effect to image and recording medium
US10958829B2 (en) Capturing digital images that align with a target image model
KR20200026808A (ko) 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적
WO2021161454A1 (ja) 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体
US8478072B2 (en) Device, method, and program for image processing
JP5655334B2 (ja) 画像処理装置および方法、並びにプログラム
KR20200092492A (ko) 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
KR20210007276A (ko) 영상 생성 장치 및 방법
CN110516598A (zh) 用于生成图像的方法和装置
WO2021161453A1 (ja) 画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体
US11930303B2 (en) Automated digital parameter adjustment for digital images
JP7336033B2 (ja) データ増強基盤事物分析モデル学習装置及び方法
JP2016122905A (ja) 画像処理装置、画像処理方法及びプログラム
Fischer et al. NICER: Aesthetic image enhancement with humans in the loop
JP5824423B2 (ja) 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム
JP2018128950A (ja) 画像処理装置及びプログラム
CN115810081A (zh) 三维模型生成方法及装置
CN113763524A (zh) 基于物理光学模型和神经网络的双流散景渲染方法及***
JP2023508639A (ja) データ増強基盤空間分析モデル学習装置及び方法
CN108986052B (zh) 一种自适应的图像去光照方法和***
CN113709438A (zh) 一种图像的白平衡校正方法、装置、存储介质及设备
JP2006287689A (ja) 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路
JP2014067129A (ja) スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法
US20230368490A1 (en) Preview and capture of stroke outlines from images and video
JP7451443B2 (ja) 画像処理方法および装置、機械学習モデルの訓練方法および装置、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918504

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021577792

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20918504

Country of ref document: EP

Kind code of ref document: A1