JP2023011381A

JP2023011381A - Image coloring method and device, generation device for colored image generation model, and program

Info

Publication number: JP2023011381A
Application number: JP2021115211A
Authority: JP
Inventors: 友悟清水; Yugo Shimizu; 諒佑古田; Ryosuke Furuta; 徳龍欧陽; Tokuryu Oyo; 行信谷口; Yukinobu Taniguchi; 遼太日並; Ryota HINAMI; 祥之佑石渡; Shonosuke ISHIWATARI
Original assignee: Mantra; Mantra Co Ltd; Tokyo University of Science
Current assignee: Mantra; Mantra Co Ltd; Tokyo University of Science
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2023-01-24

Abstract

To provide an image coloring method and device capable of appropriately coloring an uncolored monochrome image, a generation device for a colored image generation model, and a program.SOLUTION: An image coloring device 100 generates a colored image generation model 130 for generating a colored image 30 from a monochrome image 10 and a solid-colored image 20, by machine learning which uses the monochrome image 10, the solid-colored image 20, and the colored image 30 as learning data. The image coloring device 100 generates a corresponding colored image 30a based on the colored image generation model 130, a target monochrome image 10a and a corresponding solid-colored image 20a.SELECTED DRAWING: Figure 1

Description

本発明は、漫画などの無彩色のモノクローム画像に着色する技術に関する。 The present invention relates to a technique for coloring achromatic monochrome images such as cartoons.

漫画は、伝統的に無彩色のモノクローム画像として作成されることが多い。一方、近年では、モノクロームの漫画だけではなく着色された漫画の供給が要望されている。このため、モノクローム画像からなる既に完成された漫画に対して、後から着色処理を行う要求が増加している。そして、このような着色処理を人手で行うと多大なコストと時間がかかることから、モノクローム画像に対する着色処理を自動的に又は半自動で行うシステムが開発されている。このような着色処理としては、例えば非特許文献１に記載されたものが知られている。 Cartoons are traditionally often created as achromatic monochrome images. On the other hand, in recent years, there has been a demand to supply not only monochrome cartoons but also colored cartoons. For this reason, there is an increasing demand for coloring the already completed cartoon consisting of monochrome images. Manually performing such coloring processing requires a great deal of cost and time, so systems have been developed that automatically or semi-automatically perform coloring processing on monochrome images. As such a coloring treatment, for example, one described in Non-Patent Document 1 is known.

非特許文献１に記載のものは、Ｐｉｘ２Ｐｉｘと呼ばれる画像生成アルゴリズムをベースにした機械学習による着色を行うものであり、特に入力情報として線画画像に加えて利用者による色のヒント情報を加えたものである。 The one described in Non-Patent Document 1 performs coloring by machine learning based on an image generation algorithm called Pix2Pix, and in particular, adds color hint information by the user in addition to the line drawing image as input information. is.

Lvmin Zhang, Chengze Li, Tien-Tsin Wong, Yi Ji, and Chunping Liu,“Two-stage sketch colorization,”ACM Transactions on Graphics, vol. 37, no. 6, pp. 261:1-261:14, 2018.Lvmin Zhang, Chengze Li, Tien-Tsin Wong, Yi Ji, and Chunping Liu,“Two-stage sketch colorization,”ACM Transactions on Graphics, vol. 37, no. 6, pp. 261:1-261:14, 2018 . Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros, “Image-to-image translation with conditional adversarial networks,” CVPR, pp. 5967-5976, 2017.Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros, “Image-to-image translation with conditional adversarial networks,” CVPR, pp. 5967-5976, 2017.

しかし、非特許文献１に記載のものでは、漫画の着色には精度の点で十分ではないという問題があった。以下、この問題点について説明する。 However, the method described in Non-Patent Document 1 has a problem that the accuracy is not sufficient for coloring comics. This problem will be described below.

非特許文献１に記載のものでは、事前に大量の学習データを用いた学習が必要であるため、いきおい学習データとして複数の作者の作品が用いられることになる。しかし、漫画のスタイルは作者によって大きく異なるだけでなく、同じ作者であっても作品や制作時期によってスタイルが異なることがある。このため、特定の漫画に適した学習を行うことが困難であり、したがって着色精度の向上が困難であるという問題があった。 Since the method described in Non-Patent Document 1 requires learning using a large amount of learning data in advance, works of a plurality of authors are eventually used as learning data. However, not only does the style of manga differ greatly depending on the author, but even the same author may have different styles depending on the work and the time of production. For this reason, it is difficult to perform learning suitable for a specific cartoon, and therefore there is a problem that it is difficult to improve the coloring accuracy.

また、漫画は線画だけで構成されているものではなく、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部が含まれることが一般的である。この陰影等表現部は、紙媒体では「スクリーントーン」と呼ばれるテンプレートを線画に貼り付けて形成される。しかし、非特許文献１に記載のものは、陰影等表現部が含まれる漫画では、学習段階や着色処理の段階において陰影等表現部の位置を指定することができない。このため、出力結果として、陰影等表現部を、当該陰影等表現部に適した陰影・色彩・テクスチャで表現することが困難であり、したがって着色精度の向上が困難であるという問題があった。 Moreover, cartoons are not composed only of line drawings, and generally include expression portions such as shadows, colors, or textures expressed by achromatic patterns or shadings. This shading and the like expression portion is formed by pasting a template called "screen tone" on a line drawing in a paper medium. However, in the method described in Non-Patent Document 1, the position of the expression part such as shadow cannot be specified in the learning stage or the coloring process stage in the cartoon including the expression part such as shadow. Therefore, as an output result, it is difficult to express the shading expression portion with shading, color, and texture suitable for the shading expression portion, and thus there is a problem that it is difficult to improve the coloring accuracy.

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、無彩色のモノクローム画像に対して適切な着色が可能な画像着色方法及び装置、着色画像生成モデルの生成装置、並びにプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and aims to provide an image coloring method and apparatus capable of appropriately coloring an achromatic monochrome image, a colored image generation model generating apparatus, and to provide the program.

上記目的を達成するために、本願発明に係る画像着色方法は、コンピュータが、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成ステップと、生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記ベタ画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色画像生成ステップとを備えたことを特徴とする。 In order to achieve the above object, an image coloring method according to the present invention provides a method for generating an achromatic monochrome image and a solid image in which a predetermined coloring area corresponding to the monochrome image is colored with a single color. , a model generation step of generating a colored image generation model for generating the colored image from the monochrome image and the solid image by machine learning using a colored image corresponding to the monochrome image as learning data; A colored image corresponding to the target monochrome image based on a colored image generation model, a target monochrome image that is the target monochrome image to be colored, and a corresponding solid image that is a solid image and corresponds to the target monochrome image. and a colored image generating step of generating a corresponding colored image corresponding to the color image.

また、本願発明に係る画像着色装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部と、前記モデル生成部により生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えたことを特徴とする。 Further, the image coloring apparatus according to the present invention comprises an achromatic monochrome image, a solid image in which a predetermined coloring area corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image. and a model generation unit for generating a colored image generation model for generating the colored image from the monochrome image and the solid image by machine learning using as learning data; and a colored image generation model generated by the model generation unit. and corresponding coloring corresponding to the target monochrome image which is the colored image based on the target monochrome image which is the monochrome image to be colored and the corresponding solid image which is the solid image and corresponds to the target monochrome image. and a coloring processing unit that generates an image.

また、本願発明に係る画像着色装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により生成され、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルと、前記着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えたことを特徴とする。 Further, the image coloring apparatus according to the present invention comprises an achromatic monochrome image, a solid image in which a predetermined coloring area corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image. is generated by machine learning using as learning data, a colored image generation model for generating the colored image from the monochrome image and the solid image, the colored image generation model, and the monochrome image of the coloring target. a coloring processing unit for generating a corresponding colored image corresponding to the target monochrome image, which is a colored image, based on a monochrome image and a corresponding solid image corresponding to the target monochrome image, which is a solid image. It is characterized by

また、本願発明に係る着色画像生成モデルの生成装置は、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部を備えたことを特徴とする。 Further, the apparatus for generating a colored image generation model according to the present invention includes an achromatic monochrome image, a solid image in which a predetermined colored region corresponding to the monochrome image is colored with a single color, and the monochrome image. A model generation unit is provided for generating a colored image generation model for generating the colored image from the monochrome image and the solid image by machine learning using corresponding colored images as learning data.

本発明によれば、着色画像生成モデルは、無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色され且つ前記モノクローム画像を含まないべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いて機械学習により生成される。すなわち、着色対象の位置及びその色彩の情報を含むべた塗り画像が機械学習に用いられるので、対象モノクローム画像に対して着色する位置及びその色彩の精度が向上する。すなわち、本発明によれば適切な着色が可能となる。さらに、少ない学習データ（モノクローム画像、べた塗り画像、着色画像の組み）を用意するだけで着色画像生成モデルを作成できるため、学習データ作成の手間が削減できるだけでなく、作品や作者のスタイルにあわせた着色が可能になる。 According to the present invention, the colored image generation model includes an achromatic monochrome image, a solid image in which a predetermined colored region corresponding to the monochrome image is colored with a single color and does not contain the monochrome image, and the It is generated by machine learning using a colored image corresponding to a monochrome image as learning data. That is, since the solid image including information on the position of the object to be colored and its color is used for machine learning, the accuracy of the position to be colored and its color with respect to the object monochrome image is improved. That is, according to the present invention, appropriate coloring becomes possible. In addition, since it is possible to create a colored image generation model by preparing only a small amount of training data (a set of monochrome images, solid images, and colored images), not only does it reduce the time and effort required to create learning data, but it can also be used to match the work and the artist's style. Coloring becomes possible.

なお、上述のように、本発明ではべた塗り画像が必要である。しかし、当該べた塗り画像は、高度な専門的技能や知識がなくても、人手により又は画像処理装置によりモノクローム画像から容易に導出することができる。したがって、本発明によれば、高度な専門的技能や知識がなくても、容易且つ適切な着色が可能となる。 As noted above, the present invention requires a solid image. However, such a solid image can be easily derived from a monochrome image, either manually or by an image processor, without a high degree of technical skill or knowledge. Therefore, according to the present invention, easy and appropriate coloring can be achieved without advanced technical skills or knowledge.

第１の実施の形態に係る画像着色装置の機能ブロック図Functional block diagram of the image coloring device according to the first embodiment モノクローム画像の一例を示す図A diagram showing an example of a monochrome image べた塗り画像の一例を示す図A diagram showing an example of a solid image 着色画像の一例を示す図A diagram showing an example of a colored image 学習処理の第１ステージを説明する図Diagram for explaining the first stage of learning processing 学習処理の第２ステージを説明する図Diagram for explaining the second stage of the learning process 画像着色装置の動作を説明するフローチャートFlowchart explaining the operation of the image coloring device 着色処理の一例を示す図A diagram showing an example of coloring processing 第２の実施の形態に係る画像着色装置の機能ブロック図Functional block diagram of an image coloring device according to the second embodiment カラーヒント作成画面の一例Example of color hint creation screen

（第１の実施の形態）
本発明の第１の実施の形態に係る画像着色装置について図面を参照して説明する。図１は第１の実施の形態に係る画像着色装置の機能ブロック図、図２はモノクローム画像の一例を示す図、図３はべた塗り画像の一例を示す図、図４は着色画像の一例を示す図である。なお、本願では、画像サンプルとして、Ｍａｎｇａ１０９－ｓデータセットに含まれている、著作者「えびふらい」の作品「ねこだま」を利用している。 (First embodiment)
An image coloring apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram of an image coloring apparatus according to the first embodiment, FIG. 2 is a diagram showing an example of a monochrome image, FIG. 3 is a diagram showing an example of a solid image, and FIG. 4 is an example of a colored image. FIG. 10 shows. In the present application, the work "Nekodama" by the author "Ebifrai" included in the Manga109-s data set is used as an image sample.

本実施の形態に係る画像着色装置１００は、無彩色のモノクローム画像１０と、前記モノクローム画像１０に対応する所定の着色領域に単一の色彩が着色され且つ前記モノクローム画像１０を含まないべた塗り画像２０と、前記モノクローム画像１０に対応した着色画像３０とを学習データとして用いた機械学習により、前記モノクローム画像１０及び前記べた塗り画像２０から前記着色画像３０を生成する着色画像生成モデルを生成する。 The image coloring apparatus 100 according to the present embodiment comprises an achromatic monochrome image 10 and a solid image in which a predetermined coloring area corresponding to the monochrome image 10 is colored with a single color and which does not include the monochrome image 10. 20 and a colored image 30 corresponding to the monochrome image 10 as learning data, a colored image generation model for generating the colored image 30 from the monochrome image 10 and the solid image 20 is generated.

また、画像着色装置１００は、着色対象のモノクローム画像１０である対象モノクローム画像１０ａと、べた塗り画像２０であり前記対象モノクローム画像１０に対応する対応べた塗り画像２０ａとに基づき、着色画像３０であり前記対象モノクローム画像１０に対応する対応着色画像３０ａを生成する装置である。各画像１０，１０ａ，２０，２０ａ，３０，３０ａは、任意のファイル形式・解像度・深度のデジタルデータからなる。 Further, the image coloring apparatus 100 produces a colored image 30 based on a target monochrome image 10a which is a monochrome image 10 to be colored and a corresponding solid image 20a which is a solid image 20 and corresponds to the target monochrome image 10. A device for generating a corresponding colored image 30 a corresponding to the target monochrome image 10 . Each image 10, 10a, 20, 20a, 30, 30a consists of digital data of any file format, resolution and depth.

モノクローム画像１０には対象モノクローム画像１０ａが含まれる。すなわち、対象モノクローム画像１０ａは、モノクローム画像１０の１つであり、着色処理の対象として画像着色装置１００に入力されるものである。 The monochrome image 10 includes a target monochrome image 10a. That is, the target monochrome image 10a is one of the monochrome images 10, and is input to the image coloring apparatus 100 as a target for coloring processing.

モノクローム画像１０は無彩色の画像を意味する。ここで、モノクローム画像１０は、白黒二値のデジタルデータであってもよいし、グレースケールのデジタルデータであってもよい。本実施の形態では、モノクローム画像１０は、漫画を所定の解像度でスキャンしたデジタルデータ、又は、漫画をスキャンしたモノクローム画像１０と同等のスタイルとなるようにコンピュータにより作成されたデジタルデータからなる。 A monochrome image 10 means an achromatic image. Here, the monochrome image 10 may be black and white binary digital data or grayscale digital data. In this embodiment, the monochrome image 10 consists of digital data obtained by scanning a cartoon at a predetermined resolution, or digital data created by a computer so as to have the same style as the monochrome image 10 obtained by scanning a cartoon.

図２に示すように、漫画に係るモノクローム画像１０は、無彩色の線画部１１と、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部１２とを含む。 As shown in FIG. 2, a monochrome image 10 related to a cartoon includes an achromatic line drawing portion 11 and a shading or the like expression portion 12 expressing shading, color, or texture by an achromatic pattern or shade.

線画部１１は、紙媒体ではペンや筆などにより描画された領域であり、強いコントラストをもつモノクローム画像を主とする。すなわち、線画部１１は、実質的に白黒二値画像を主とする。なお、線画部１１は、中間階調のグレーにより描画されていてもよい。また、線画部１１は、デジタルデータとしてのモノクローム画像１０においては、白黒二値による線画がスムーズとなるように中間階調のグレーのピクセルが含まれていてもよい。図２の例では、顔・手・体・服・アクセサリー等の各パーツの輪郭線や稜線を表現している箇所が線画部１１である。 The line drawing portion 11 is an area drawn with a pen or brush on a paper medium, and is mainly a monochrome image with high contrast. That is, the line drawing section 11 is mainly composed of black and white binary images. Note that the line drawing portion 11 may be drawn in gray of intermediate gradation. In addition, in the monochrome image 10 as digital data, the line drawing portion 11 may include gray pixels of intermediate gradation so that the black and white binary line drawing becomes smooth. In the example of FIG. 2, the line drawing portion 11 represents the outlines and ridges of each part such as the face, hands, body, clothes, and accessories.

陰影等表現部１２は、紙媒体では「スクリーントーン」と呼ばれるテンプレートを貼り付けることにより形成することができる。スクリーントーンは、白黒二値の細かいドット・模様・ラインなどの連続的なパターンにより擬似的に中間階調を表現可能とするものである。陰影等表現部１２は、中間階調のグレーを含んでいてもよい。なお、陰影等表現部１２は、スクリーントーンと同等の効果が得られるように手書きにより形成することもできる。図２の例では、顎下や脇下の肌の陰影、髪の毛の色彩及びテクスチャ、服の色彩及びテクスチャを表現している箇所が陰影等表現部１２である。陰影等表現部１２は、デジタルデータとしてのモノクローム画像１０においては、白黒二値によるパターンがスムーズとなるように中間階調のグレーのピクセルが含まれていてもよい。なお、画像データの解像度によっては、陰影等表現部１２は、デジタルデータとしてのモノクローム画像１０においては実質的に中間階調のグレーのピクセルの集合となっていてもよい。 The shading and the like expression part 12 can be formed by pasting a template called "screen tone" on a paper medium. A screen tone is a continuous pattern such as black and white binary fine dots, patterns, lines, etc., which makes it possible to express intermediate gradations in a pseudo manner. The shade and the like representation section 12 may include gray of intermediate gradation. Note that the shading and the like expression section 12 can also be formed by handwriting so as to obtain the same effect as screen tone. In the example of FIG. 2 , the shade representation section 12 represents the shade of the skin under the chin and armpits, the color and texture of the hair, and the color and texture of the clothes. In the monochrome image 10 as digital data, the shading expression unit 12 may include gray pixels of intermediate gradation so that the black-and-white binary pattern is smooth. Note that, depending on the resolution of the image data, the shading and the like representation section 12 may be a set of pixels of substantially intermediate grayscale in the monochrome image 10 as digital data.

べた塗り画像２０には対応べた塗り画像２０ａが含まれる。すなわち、対応べた塗り画像２０ａは、べた塗り画像２０の１つであり、着色処理において対象モノクローム画像１０ａと組になるものとして画像着色装置１００に入力されるものである。 Solid image 20 includes a corresponding solid image 20a. That is, the corresponding solid image 20a is one of the solid images 20, and is input to the image coloring apparatus 100 as a pair with the target monochrome image 10a in the coloring process.

べた塗り画像２０は、モノクローム画像１０に対応する画像である。べた塗り画像２０は、対応するモノクローム画像１０への着色についての色彩及び位置（領域）を指示する画像である。べた塗り画像２０は、対応するモノクローム画像１０に基づき、人手により又はコンピュータにより生成される。本実施の形態では、べた塗り画像２０は人手により生成されたものを用いた。 A solid image 20 is an image corresponding to the monochrome image 10 . The solid image 20 is an image that indicates the color and position (region) for coloring the corresponding monochrome image 10 . The solid image 20 is manually or computer generated based on the corresponding monochrome image 10 . In this embodiment, the solid image 20 is manually generated.

図３は、図２に例示するモノクローム画像１０に対応するべた塗り画像の一例である。べた塗り画像２０は、図３に示すように、所定の着色領域２１に単一の任意の色彩が着色されている。べた塗り画像２０には複数の着色領域２１が含まれていてもよい。この場合、複数の着色領域２１は隣接していてもよいし互いに離隔していてもよい。本実施の形態では、べた塗り画像２０は、モノクローム画像１０に対応するが、前記モノクローム画像１０は含まない。着色領域２１は、対応するモノクローム画像１０における陰影等表現部１２に対応する領域を含む。図３の例では、顔から首にかけての着色領域２１が、図２において顎下に形成された陰影等表現部１２に対応する領域を含む。 FIG. 3 is an example of a solid image corresponding to the monochrome image 10 illustrated in FIG. In the solid image 20, as shown in FIG. 3, a predetermined colored area 21 is colored with a single arbitrary color. A solid image 20 may include a plurality of colored regions 21 . In this case, the plurality of colored regions 21 may be adjacent or separated from each other. In this embodiment, solid image 20 corresponds to monochrome image 10 but does not include said monochrome image 10 . The colored region 21 includes a region corresponding to the shadow representation portion 12 in the corresponding monochrome image 10 . In the example of FIG. 3, the colored region 21 extending from the face to the neck includes a region corresponding to the shade expression portion 12 formed under the chin in FIG.

着色画像３０には対応着色画像３０ａが含まれる。すなわち、対応着色画像３０ａは、着色画像３０の１つであり、対象モノクローム画像１０ａ及び対応べた塗り画像２０ａを入力とする着色処理により画像着色装置１００から出力されるものである。画像着色装置１００の学習処理において入力画像の１つとして用いられる着色画像３０は、対応するモノクローム画像１０及びべた塗り画像２０に基づき人手により生成されたものである。この学習処理において用いられる着色画像３０は、当該学習処理における「正解（Ground Truth）」に相当する。 The colored image 30 includes a corresponding colored image 30a. That is, the corresponding colored image 30a is one of the colored images 30, and is output from the image coloring apparatus 100 through coloring processing with input of the target monochrome image 10a and the corresponding solid image 20a. The colored image 30 used as one of the input images in the learning process of the image coloring apparatus 100 is manually generated based on the corresponding monochrome image 10 and solid image 20 . The colored image 30 used in this learning process corresponds to "Ground Truth" in the learning process.

図４は、図２に例示するモノクローム画像１０及び図３に例示するべた塗り画像２０に対応する着色画像の一例である。着色画像３０は、図４に示すように、モノクローム画像１０における陰影等表現部１２に対応する領域が、べた塗り画像２０における当該陰影等表現部１２が含まれる着色領域２１に付された色彩とは異なる色彩で着色されていてもよい。すなわち、モノクローム画像１０は無彩色であることから陰影又は色彩或いはテクスチャを表現するために無彩色のパターンや濃淡からなる陰影等表現部１２を形成していたが、着色画像３０では当該表現を色彩による表現に置換したものである。 FIG. 4 is an example of a colored image corresponding to the monochrome image 10 illustrated in FIG. 2 and the solid image 20 illustrated in FIG. In the colored image 30, as shown in FIG. 4, the area corresponding to the shadow expression part 12 in the monochrome image 10 is the color given to the colored area 21 including the shadow expression part 12 in the solid image 20. may be colored in different colors. That is, since the monochrome image 10 is achromatic, the shading expression portion 12 made up of achromatic patterns and shades is formed in order to express shading, color, or texture. is replaced by the expression by

次に、画像着色装置１００について詳述する。図１に示すように、画像着色装置１００は、学習処理部１１０と、着色画像生成処理部１２０と、着色画像生成モデル１３０とを備えている。 Next, the image coloring apparatus 100 will be described in detail. As shown in FIG. 1, the image coloring apparatus 100 includes a learning processing section 110, a coloring image generation processing section 120, and a coloring image generation model .

画像着色装置１００は、主演算装置・主記憶装置・補助記憶装置・入力装置・表示装置・ネットワーク装置等を備えた従来周知のコンピュータからなる。画像着色装置１００の各部は、コンピュータにプログラムをインストールすることにより構成することができる。画像着色装置１００の実装形態は不問である。例えば、画像着色装置１００は複数の装置に分散して実装することができる。 The image coloring apparatus 100 comprises a conventionally known computer equipped with a main computing device, a main storage device, an auxiliary storage device, an input device, a display device, a network device, and the like. Each part of the image coloring apparatus 100 can be configured by installing a program in a computer. The implementation form of the image coloring apparatus 100 does not matter. For example, the image coloring device 100 can be distributed and implemented in a plurality of devices.

学習処理部１１０は、モノクローム画像１０と、モノクローム画像１０に対応するべた塗り画像２０と、モノクローム画像１０及びべた塗り画像２０に対応した着色画像３０とを学習データとして用いた機械学習により、モノクローム画像１０及びべた塗り画像２０から着色画像３０を生成する着色画像生成モデル１３０を生成する。各画像１０，２０，３０は、自身の所定の記憶装置に予め保存していてもよいし、所定の外部記憶媒体から取得してもよいし、ネットワークを介して他の装置から取得してもよい。 The learning processing unit 110 performs machine learning using the monochrome image 10, the solid image 20 corresponding to the monochrome image 10, and the colored image 30 corresponding to the monochrome image 10 and the solid image 20 as learning data. 10 and a colored image generation model 130 that generates a colored image 30 from the solid image 20 . Each image 10, 20, 30 may be stored in advance in its own predetermined storage device, may be obtained from a predetermined external storage medium, or may be obtained from another device via a network. good.

着色画像生成処理部１２０は、生成された着色画像生成モデル１３０と、着色対象のモノクローム画像１０である対象モノクローム画像１０ａと、べた塗り画像２０であり前記対象モノクローム画像１０ａに対応する対応べた塗り画像２０ａとに基づき、着色画像３０であり前記対象モノクローム画像１０ａに対応する対応着色画像３０ａを生成する。対象モノクローム画像１０ａ及び対応べた塗り画像２０ａは、自身の所定の記憶装置に予め保存していてもよいし、所定の外部記憶媒体から取得してもよいし、ネットワークを介して他の装置から取得してもよい。着色画像生成処理部１２０は、生成した対応着色画像３０ａを自身の表示装置に出力したり、自身の所定の記憶装置に出力したり、所定の外部記憶媒体に出力したり、ネットワークを介して他の装置に出力することができる。 The colored image generation processing unit 120 generates the generated colored image generation model 130, the target monochrome image 10a which is the monochrome image 10 to be colored, and the corresponding solid image which is the solid image 20 and corresponds to the target monochrome image 10a. 20a, a corresponding colored image 30a, which is a colored image 30 and corresponds to the target monochrome image 10a, is generated. The target monochrome image 10a and the corresponding solid image 20a may be stored in advance in its own predetermined storage device, may be obtained from a predetermined external storage medium, or may be obtained from another device via a network. You may The colored image generation processing unit 120 outputs the generated corresponding colored image 30a to its own display device, to its own predetermined storage device, to a predetermined external storage medium, or to other devices via a network. can be output to any device.

着色画像生成モデル１３０は、敵対的生成ネットワークからなる。着色画像生成モデル１３０の実体は、画像着色装置１００の所定の記憶装置に記憶されたプログラム及び当該プログラムにより用いられ学習処理により変化する各種パラメータからなる。以下、着色画像生成モデル１３０の構成及び学習処理部１１０の処理について図５及び図６を参照して詳述する。図５は学習の第１ステージについて説明する図、図６は学習の第２ステージについて説明する図である。 The colored image generation model 130 consists of a generative adversarial network. The entity of the coloring image generation model 130 consists of a program stored in a predetermined storage device of the image coloring apparatus 100 and various parameters used by the program and changed by learning processing. The configuration of the colored image generation model 130 and the processing of the learning processing unit 110 will be described in detail below with reference to FIGS. 5 and 6. FIG. FIG. 5 is a diagram for explaining the first stage of learning, and FIG. 6 is a diagram for explaining the second stage of learning.

着色画像生成モデル１３０は、２つの生成器（生成ネットワーク）を備える。第１の生成器は、図５に示すように、着色画像３０をモノクローム画像１０に変換する。一方、第２の生成器は、図６に示すように、モノクローム画像１０及びべた塗り画像２０の組から着色画像３０を生成する。これらの２つの生成器は別々に学習される。ここでは、着色画像３０をモノクローム画像１０に変換する段階を第１ステージと呼ぶ。また、モノクローム画像１０及びべた塗り画像２０の組から着色画像３０を生成する段階を第２ステージと呼ぶ。 The colored image generation model 130 includes two generators (generation networks). The first generator transforms the colored image 30 into a monochrome image 10, as shown in FIG. The second generator, on the other hand, generates a colored image 30 from the set of monochrome image 10 and solid image 20, as shown in FIG. These two generators are trained separately. Here, the step of converting the colored image 30 into the monochrome image 10 is called the first stage. Also, the step of generating the colored image 30 from the set of the monochrome image 10 and the solid image 20 is called the second stage.

学習データは、着色画像３０、モノクローム画像２０、べた塗り画像２０の組（ｘ，ｙ，ｚ）からなる。まず、第１ステージでは、生成器Ｇ_Ａが、いかに着色画像３０からモノクローム画像１０を生成するかを学習する。この処理は、着色画像３０から色彩情報を取り除き、対応するモノクローム画像１０の位置とパターンを予測（predict）する。図４に示すように、着色画像３０は、モノクローム画像１０を予測するために十分な情報を含んでいる。この学習処理は、Ｐｉｘ２Ｐｉｘにおける処理に準ずる。なお、Ｐｉｘ２Ｐｉｘにおける処理については、非特許文献２を参照されたい。 The learning data consists of a set (x, y, z) of a colored image 30, a monochrome image 20, and a solid image 20. FIG. First, in a first stage, the generator _GA learns how to generate a monochrome image 10 from a colored image 30 . This process removes the color information from the colored image 30 and predicts the position and pattern of the corresponding monochrome image 10 . As shown in FIG. 4, colored image 30 contains sufficient information to predict monochrome image 10 . This learning process conforms to the process in Pix2Pix. Please refer to Non-Patent Document 2 for processing in Pix2Pix.

［第１ステージ］
本実施の形態では、ＵＮｅｔアーキテクチャを生成器Ｇ_Ａに適用する。着色画像３０をｘ、モノクローム画像１０をｙとすると、生成器Ｇ_Ａの損失関数（discriminative loss）は次式（１）により表される。 [1st stage]
In this embodiment, we apply the _UNet architecture to the generator GA. Assuming that the colored image 30 is x and the monochrome image 10 is y, the discriminative loss of the generator _GA is expressed by the following equation (1).

ここで、生成器Ｇ_Ａは、いかに判別器（識別ネットワーク）Ｄ_Ａを騙すかを学習する。一方、判別器Ｄ_Ａは、偽物と本物とを判別するよう学習する。前記式（１）の損失関数に加えて、本実施の形態では、下記式（２）に示すように、正解モノクローム画像ｙと生成された画像Ｇ_Ａ（ｘ）との間のＬ_１距離に基づく損失を用いる。 Now the generator _GA learns how to fool the discriminator (identification network) _DA . On the other hand, the discriminator _DA learns to discriminate between fake and genuine products. In addition to the loss function of the above equation (1), in this embodiment, as shown in the following equation (2), the L ₁ distance between the correct monochrome image y and the generated image G _A (x) is using loss based.

生成器Ｇ_Ａの最終目標は下記式（３）のようになる。 The final goal of the generator _GA is given by the following equation (3).

［第２ステージ］
第１ステージによる学習の後に第２ステージに移る。第２ステージでは、べた塗り画像２０とモノクローム画像１０の組を入力とする。生成器Ｇ_Ｂは、べた塗り画像２０とモノクローム画像１０から着色画像３０をいかに生成するかを学習する。生成モデルはＵＮｅｔの拡張である。２つの入力から１つの出力を取得するために、モデルは２つのストリーム構造を有する。 [Second stage]
After learning by the first stage, the second stage is performed. In the second stage, a set of solid image 20 and monochrome image 10 is input. Generator G _B learns how to generate colored image 30 from solid image 20 and monochrome image 10 . Generative models are extensions of UNet. To get one output from two inputs, the model has two stream structures.

着色画像３０をｘ、モノクローム画像１０をｙ、べた塗り画像２０をｚとする。生成器Ｇ_Ｂの損失関数は次式（４）により表される。 Let the colored image 30 be x, the monochrome image 10 be y, and the solid image 20 be z. The loss function of generator _GB is expressed by the following equation (4).

ここで、生成器Ｇ_Ｂは、いかに判別器（識別ネットワーク）Ｄ_Ｂを騙すかを学習する。一方、判別器Ｄ_Ａは、偽物と本物とを分類するよう学習する。また、本実施の形態では、下記式（５）に示すように、出力の品質（精度）を向上させるためにＬ_１距離に基づく損失を用いる。 Now the generator G _B learns how to trick the discriminator (discrimination network) D _B . On the other hand, the discriminator _DA learns to classify fakes and genuine products. Also, in this embodiment, as shown in the following equation ( ₅ ), the loss based on the L1 distance is used to improve the quality (accuracy) of the output.

さらに、サイクル・コンシステンシー（cycle consistency）を維持するために、生成器Ｇ_Ｂによって生成された着色画像３０を、学習済みの生成器Ｇ_Ａに入力する。学習済み生成器Ｇ_Ａからの偽モノクローム画像と正解モノクローム画像との間のＬ_１距離を算出する（次式（６）の第２項）。生成器Ｇ_Ｂの最終目標は下記式（６）のようになる。 Further, to maintain cycle consistency, the colored image 30 generated by generator _GB is input to _trained generator GA. Calculate the L1 distance between the false monochrome image from the _trained generator GA and the correct monochrome image (the _second term in the following equation (6)). The final goal of the generator _GB is given by the following equation (6).

このように、本実施の形態に係る着色画像生成モデル１３０では、第２ステージにおいては、生成器Ｇ_Ｂで生成された着色画像３０を入力として学習済みの生成器Ｇ_Ａにより生成されたモノクローム画像も用いて学習処理を行っている。 As described above, in the colored image generation model 130 according to the present embodiment, in the second stage, the colored image 30 generated by the generator G _B is input, and the monochrome image generated by the trained generator G _A is also used for the learning process.

前記着色画像生成処理部１２０は、学習済みの生成器Ｇ_Ｂを用いて対象モノクローム画像１０ａ及び対応べた塗り画像２０ａから対応着色画像３０ａを生成する。 The colored image generation processing unit 120 uses the learned generator _GB to generate the corresponding colored image 30a from the target monochrome image 10a and the corresponding solid image 20a.

次に本実施の形態に係る画像着色装置１００の動作について図７のフローチャートを参照して説明する。 Next, the operation of the image coloring apparatus 100 according to this embodiment will be described with reference to the flowchart of FIG.

まず、画像着色装置１００は、モノクローム画像１０、べた塗り画像２０、着色画像３０からなる学習データを用いて学習処理を行って着色画像生成モデル１３０を生成する（ステップＳ１）。次に、画像着色装置１００は、処理対象となるモノクローム画像１０ａと、当該モノクローム画像１０ａに対応する対応べた塗り画像２０ａとをそれぞれ取得し（ステップＳ２，Ｓ３）、着色画像生成モデル１３０を用いて対応着色画像３０ａを生成する（ステップＳ４）。 First, the image coloring apparatus 100 performs learning processing using learning data consisting of the monochrome image 10, the solid image 20, and the colored image 30 to generate the colored image generation model 130 (step S1). Next, the image coloring apparatus 100 acquires the monochrome image 10a to be processed and the corresponding solid image 20a corresponding to the monochrome image 10a (steps S2 and S3), and uses the colored image generation model 130 to A corresponding colored image 30a is generated (step S4).

図８に本実施の形態に係る画像着色装置１００による着色処理例を示す。本例では、上述した作品「ねこだま」からランダムに１０ページを選び、５ページを学習処理に用い、その他の５ページを着色対象とした。なお、図８の例では、比較対象画像として、本実施の形態の着色画像生成モデル１３０から第１ステージの処理と第２ステージにおける生成器Ｇ_Ａについての処理を省略した着色画像生成モデルを用いたものを示している。 FIG. 8 shows an example of coloring processing by the image coloring apparatus 100 according to this embodiment. In this example, 10 pages were randomly selected from the above-mentioned work "Nekodama", 5 pages were used for learning processing, and the other 5 pages were used for coloring. In the example of FIG. 8, a colored image generation model obtained by omitting the processing of the first stage and the processing of the generator _GA in the second stage from the colored image generation model 130 of the present embodiment is used as an image to be compared. It shows what you have.

図８に示すように、本実施の形態に係る画像着色装置１００によれば、出力画像である対応着色画像３０ａは正解画像である着色画像３０と極めて近似しており着色精度が高いことが確認できた。特に、本実施の形態に係る画像着色装置１００では、少ない学習データでの学習処理でも高い着色精度を得られること、また陰影等表現部１２の着色が適切であることが確認できた。 As shown in FIG. 8, according to the image coloring apparatus 100 according to the present embodiment, the corresponding colored image 30a, which is the output image, is very similar to the colored image 30, which is the correct image, and it is confirmed that the coloring accuracy is high. did it. In particular, in the image coloring apparatus 100 according to the present embodiment, it has been confirmed that high coloring accuracy can be obtained even with a small amount of learning data, and that the coloring of the shade expression section 12 is appropriate.

このような画像着色装置１００によれば、着色画像生成モデルは、無彩色のモノクローム画像１０と、モノクローム画像１０に対応する所定の着色領域に単一の色彩が着色され且つモノクローム画像１０を含まないべた塗り画像２０と、モノクローム画像１０に対応した着色画像３０とを学習データとして用いて機械学習により生成される。すなわち、着色対象の位置及びその色彩の情報を含むべた塗り画像２０が機械学習に用いられるので、対象モノクローム画像１０ａに対する着色位置及びその色彩の精度が向上する。すなわち、本発明によれば適切な着色が可能となる。 According to such an image coloring apparatus 100, a colored image generation model includes an achromatic monochrome image 10, and a predetermined coloring area corresponding to the monochrome image 10, which is colored with a single color and does not include the monochrome image 10. It is generated by machine learning using the solid image 20 and the colored image 30 corresponding to the monochrome image 10 as learning data. That is, since the solid image 20 including information on the position of the coloring target and its color is used for machine learning, the accuracy of the coloring position and its color for the target monochrome image 10a is improved. That is, according to the present invention, appropriate coloring becomes possible.

なお、上述のように、本発明ではべた塗り画像２０が必要である。しかし、当該べた塗り画像２０は、高度な専門的技能や知識がなくても、人手により又は画像処理装置によりモノクローム画像１０から容易に導出することができる。したがって、本発明によれば、高度な専門的技能や知識がなくても、容易且つ適切な着色が可能となる。 Note that the solid image 20 is required in the present invention as described above. However, the solid image 20 can be easily derived from the monochrome image 10 either manually or by an image processing device without a high degree of technical skill or knowledge. Therefore, according to the present invention, easy and appropriate coloring can be achieved without advanced technical skills or knowledge.

（第２の実施の形態）
本発明の第２の実施の形態に係る画像着色装置について図面を参照して説明する。図９は第２の実施の形態に係る画像着色装置の機能ブロック図、図１０はカラーヒント作成画面の一例である。 (Second embodiment)
An image coloring apparatus according to a second embodiment of the present invention will be described with reference to the drawings. FIG. 9 is a functional block diagram of an image coloring apparatus according to the second embodiment, and FIG. 10 is an example of a color hint creation screen.

本実施の形態に係る画像着色装置が第１の実施の形態と異なる点は、べた塗り画像２０の作成方法にある。すなわち、第１の実施の形態ではべた塗り画像２０は対応するモノクローム画像１０から人手により作成していたが、本実施の形態では画像着色装置１００’においてモノクローム画像１０から作成する。他の点については第１の実施の形態と同様なので、ここでは相違点のみを説明する。 The image coloring apparatus according to this embodiment differs from the first embodiment in the method of creating the solid image 20 . That is, in the first embodiment, the solid image 20 was manually created from the corresponding monochrome image 10, but in the present embodiment, it is created from the monochrome image 10 in the image coloring apparatus 100'. Since other points are the same as those of the first embodiment, only the points of difference will be described here.

本実施の形態に係る画像着色装置１００’は、図９に示すように、べた塗り画像生成部１４０を備えている。べた塗り画像生成部１４０は、モノクローム画像１０から当該モノクローム画像１０に対応するべた塗り画像２０を生成する。より詳しくは、べた塗り画像生成部１４０は、図１０に示すように、モノクローム画像１０を所定の表示装置（図示省略）に出力し、利用者から１つ以上のカラーヒント１４１の入力を受け付ける。カラーヒント１４１は、色彩情報及び画像内の位置情報を示す。べた塗り画像生成部１４０は、入力されたカラーヒント１４１をモノクローム画像１０に所定の表示形態で重畳表示する。図１０の例では、カラーヒント１４１は色彩を有する円形のマークとして表示している。べた塗り画像生成部１４０は、入力されたカラーヒント１４１の位置情報に基づき、モノクローム画像１０において線画部１１を境界とする閉領域を探索し、当該閉領域を着色領域としてカラーヒントの色彩で着色することによりべた塗り画像２０を生成する。閉領域の探索アルゴリズムは従来周知の種々のものを用いることができる。なお、べた塗り画像生成部１４０は、生成したべた塗り画像２０を所定の記憶装置や外部の記憶装置に保存したり、外部の装置に送信したりすることができる。 The image coloring apparatus 100' according to the present embodiment includes a solid image generation section 140, as shown in FIG. The solid image generation unit 140 generates a solid image 20 corresponding to the monochrome image 10 from the monochrome image 10 . More specifically, as shown in FIG. 10, the solid image generation unit 140 outputs the monochrome image 10 to a predetermined display device (not shown) and receives input of one or more color hints 141 from the user. Color hints 141 indicate color information and location information within the image. The solid image generation unit 140 superimposes the input color hint 141 on the monochrome image 10 in a predetermined display form. In the example of FIG. 10, the color hint 141 is displayed as a colored circular mark. Based on the input positional information of the color hint 141, the solid image generation unit 140 searches for a closed area bounded by the line drawing part 11 in the monochrome image 10, and colors the closed area as a colored area with the color of the color hint. By doing so, a solid image 20 is generated. Various conventionally known algorithms can be used as the closed region search algorithm. Note that the solid image generation unit 140 can store the generated solid image 20 in a predetermined storage device or an external storage device, or transmit it to an external device.

このような画像着色装置１００’によれば、べた塗り画像２０を半自動で生成することができるので着色処理の効率が向上する。他の作用・効果については第１の実施の形態と同様である。 According to such an image coloring apparatus 100', the solid image 20 can be generated semi-automatically, thereby improving the efficiency of the coloring process. Other functions and effects are the same as those of the first embodiment.

以上、本発明の一実施の形態について詳述したが、本発明は上記実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよい。 Although one embodiment of the present invention has been described in detail above, the present invention is not limited to the above-described embodiment, and various improvements and modifications may be made without departing from the gist of the present invention. .

例えば、上記実施の形態では、スクリーン等による陰影等表現部１２が形成されたモノクローム画像１０を着色対象としたが、陰影等表現部１２が形成されていないモノクローム画像１０であっても本発明を適用できる。 For example, in the above-described embodiment, the monochrome image 10 in which the shadow expression portion 12 is formed by a screen or the like is used as the object to be colored. Applicable.

また、上記実施の形態では、ベタ画像２０として、モノクローム画像１０に対応するが、当該モノクローム画像１０自体は含まれないものを用いたが、対応するモノクローム画像１０の一部又は全部を含んでいてもよい。 In the above-described embodiment, the solid image 20 corresponds to the monochrome image 10 but does not include the monochrome image 10 itself. good too.

また、上記実施の形態では、着色画像生成モデル１３０として敵対的生成ネットワークを用いたが他のモデルを用いても本発明を適用できる。例えば、べた塗り画像とモノクローム画像とを入力として着色画像を出力する畳み込みニューラルネットワークであっても本発明を適用できる。 Further, in the above embodiment, the adversarial generation network is used as the colored image generation model 130, but the present invention can be applied even if other models are used. For example, the present invention can be applied to a convolutional neural network that inputs a solid image and a monochrome image and outputs a colored image.

また、上記実施の形態では、着色画像生成モデル１３０を生成する学習処理部１１０と、着色画像生成モデル１３０を用いて対応着色画像３０ａを生成する着色画像生成部１２０とを同一の装置に実装していたが、異なる装置に分散して実装してもよい。この場合、学習処理部１１０により生成された着色画像生成モデル１３０は、学習処理部１１０が実装された装置から着色画像生成部１２０が実装された装置に転送・実装すればよい。これにより、着色画像生成モデル１３０の生成処理と、着色画像生成モデル１３０による着色処理とを、それぞれ異なる者・場所・時間で独立して実施することができるので、利便性が向上したものとなる。 Further, in the above embodiment, the learning processing unit 110 that generates the colored image generation model 130 and the colored image generation unit 120 that generates the corresponding colored image 30a using the colored image generation model 130 are mounted on the same device. However, it may be distributed and implemented in different devices. In this case, the colored image generation model 130 generated by the learning processing unit 110 may be transferred and mounted from the device in which the learning processing unit 110 is implemented to the device in which the colored image generation unit 120 is implemented. As a result, the generation processing of the colored image generation model 130 and the coloring processing by the colored image generation model 130 can be performed independently by different people, places, and times, thereby improving convenience. .

１０…モノクローム画像
１０ａ…対象モノクローム画像
２０…べた塗り画像
２０ａ…対応べた塗り画像
３０…着色画像
３０ａ…対応着色画像
１００，１００’…画像着色装置
１１０…学習処理部
１２０…着色画像生成処理部
１３０…着色画像生成モデル
１４０…べた塗り画像生成部 Reference Signs List 10 Monochrome image 10a Target monochrome image 20 Solid image 20a Corresponding solid image 30 Colored image 30a Corresponding colored image 100, 100' Image coloring device 110 Learning processing unit 120 Colored image generation processing unit 130 ... colored image generation model 140 ... solid image generation unit

Claims

コンピュータが、
無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成ステップと、
生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色画像生成ステップとを備えた
ことを特徴とする画像着色方法。 the computer
By machine learning using achromatic monochrome image, a solid image in which a predetermined colored area corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image as learning data, a model generation step of generating a colored image generation model for generating the colored image from the monochrome image and the solid image;
Based on the generated colored image generation model, the target monochrome image that is the monochrome image of the coloring target, and the corresponding solid image that is the solid image and corresponds to the target monochrome image, the colored image that is the target and a colored image generating step of generating a corresponding colored image corresponding to the monochrome image.

前記モノクローム画像は、無彩色の線画部と、無彩色のパターン又は濃淡により陰影又は色彩或いはテクスチャを表現した陰影等表現部とを含み、
前記べた塗り画像の着色領域は前記陰影等表現部に対応する領域を含む
ことを特徴とする請求項１記載の画像着色方法。 The monochrome image includes an achromatic line drawing portion and a shading expression portion that expresses shading, color, or texture with an achromatic pattern or shade,
2. The image coloring method according to claim 1, wherein the coloring area of the solid image includes an area corresponding to the expression portion such as shadow.

前記着色画像は、前記モノクローム画像における前記陰影等表現部に対応する領域が、前記べた塗り画像における当該陰影等表現部が含まれる着色領域に付された色彩とは異なる色彩で着色されている
ことを特徴とする請求項２記載の画像着色方法。 In the colored image, the area corresponding to the shade expression part in the monochrome image is colored with a color different from the color applied to the colored area including the shadow expression part in the solid image. 3. The image coloring method according to claim 2, characterized by:

前記着色画像生成モデルは敵対的生成ネットワークである
ことを特徴とする請求項１乃至３何れか１項記載の画像着色方法。 4. The image coloring method according to claim 1, wherein the coloring image generation model is a generative adversarial network.

前記着色画像生成モデルは、
前記着色画像に基づき前記モノクローム画像を生成する第１の生成ネットワークと、前記第１の生成ネットワークに入力された前記着色画像及び前記第１の生成ネットワークで生成された前記モノクローム画像に基づき真偽判定を行う第１の識別ネットワークとを備えた第１の敵対的生成ネットワークと、
前記べた塗り画像及び前記モノクローム画像に基づき前記着色画像を生成する第２の生成ネットワークと、前記第２の生成ネットワークに生成された前記着色画像並びに前記第２の生成ネットワークで入力された前記べた塗り画像及び前記モノクローム画像に基づき真偽判定を行う第２の識別ネットワークとを備えた第２の敵対的生成ネットワークとを備え、
前記モデル生成ステップは、前記第１の敵対的生成ネットワークの学習ステップと、前記第２の敵対的生成ネットワークの学習ステップとを備え、
前記第２の敵対的生成ネットワークの学習ステップにおいては、前記第２の生成ネットワークで生成された前記着色画像並びに前記第２の生成ネットワークに入力された前記べた塗り画像及び前記モノクローム画像に加えて、前記第２の生成ネットワークで生成された前記着色画像を入力として学習済みの前記第１の生成ネットワークにより生成された前記モノクローム画像を用いて学習処理を行い、
前記着色画像生成ステップにおいては、学習済みの前記第２の敵対的生成ネットワークの第２の生成ネットワークを用いて前記対象モノクローム画像及び前記対応べた塗り画像から前記対応着色画像を生成する
ことを特徴とする請求項４記載の画像着色方法。 The colored image generation model is
a first generation network for generating the monochrome image based on the colored image; and authenticity determination based on the colored image input to the first generation network and the monochrome image generated by the first generation network a first generative adversarial network comprising a first discriminating network that performs
a second generation network for generating the colored image based on the solid image and the monochrome image; and the colored image generated by the second generation network and the solid color input by the second generation network. a second generative adversarial network comprising an image and a second identification network that authenticates based on the monochrome image;
the model generation step comprises a step of learning the first generative adversarial network and a step of learning the second generative adversarial network;
In the learning step of the second adversarial generation network, in addition to the colored image generated by the second generation network and the solid image and the monochrome image input to the second generation network, performing a learning process using the monochrome image generated by the learned first generation network with the colored image generated by the second generation network as input;
In the colored image generation step, the corresponding colored image is generated from the target monochrome image and the corresponding solid image using a second generation network of the learned second adversarial generation network. 5. The image coloring method according to claim 4.

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部と、
前記モデル生成部により生成された着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えた
ことを特徴とする画像着色装置。 By machine learning using achromatic monochrome image, a solid image in which a predetermined colored area corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image as learning data, a model generation unit that generates a colored image generation model that generates the colored image from the monochrome image and the solid image;
The coloring based on the colored image generation model generated by the model generation unit, the target monochrome image which is the monochrome image to be colored, and the corresponding solid image which is the solid image and corresponds to the target monochrome image. and a coloring processor that generates a corresponding colored image that is an image and corresponds to the target monochrome image.

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により生成され、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルと、
前記着色画像生成モデルと、着色対象の前記モノクローム画像である対象モノクローム画像と、前記べた塗り画像であり前記対象モノクローム画像に対応する対応べた塗り画像とに基づき、前記着色画像であり前記対象モノクローム画像に対応する対応着色画像を生成する着色処理部とを備えた
ことを特徴とする画像着色装置。 Generated by machine learning using an achromatic monochrome image, a solid image in which a predetermined colored region corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image as learning data. a colored image generation model for generating the colored image from the monochrome image and the solid image;
The target monochrome image which is the colored image based on the colored image generation model, the target monochrome image which is the monochrome image to be colored, and the corresponding solid image which is the solid image and corresponds to the target monochrome image. and a coloring processor that generates a corresponding colored image corresponding to the image coloring device.

無彩色のモノクローム画像と、前記モノクローム画像に対応する所定の着色領域に単一の色彩が着色されたべた塗り画像と、前記モノクローム画像に対応した着色画像とを学習データとして用いた機械学習により、前記モノクローム画像及び前記べた塗り画像から前記着色画像を生成する着色画像生成モデルを生成するモデル生成部を備えた
ことを特徴とする着色画像生成モデルの生成装置。 By machine learning using achromatic monochrome image, a solid image in which a predetermined colored area corresponding to the monochrome image is colored with a single color, and a colored image corresponding to the monochrome image as learning data, A colored image generation model generation apparatus comprising: a model generation unit for generating a colored image generation model for generating the colored image from the monochrome image and the solid image.

コンピュータを請求項６又は７記載の画像着色装置として機能させることを特徴とするプログラム。 A program for causing a computer to function as the image coloring apparatus according to claim 6 or 7.

コンピュータを請求項８記載の着色画像生成モデルの生成装置として機能させることを特徴とするプログラム。 A program that causes a computer to function as the colored image generation model generation device according to claim 8 .