JP6317180B2 - 画像生成装置及びプログラム - Google Patents

Description

本発明は、画像生成装置及びプログラムに関する。

写真などの静止画像や映像などの動画像を撮影する際に、撮影したい被写体に被さって不要なものを撮影してしまうことがある。被写体に被さった不要なものが撮影された静止画像や動画像は視聴の体感品質を大きく損なってしまう恐れがあり、静止画像や動画像に含まれる不要なものを見た目に違和感なく除去する手法に対する需要は極めて高い。

また、自由視点映像合成と呼ばれる技術では、複数のカメラで撮影された映像群から任意の視点からの画像を合成する。このとき、オブジェクトによる遮蔽などが原因で、合成された任意の視点からの映像の一部が欠損してしまうことがある。このような欠損も画像の視聴の体感品質を大きく損なう恐れがあるため、欠損を見た目に違和感なく補完する手法に対する需要は高い。

以下、静止画像や動画像における、不要なものの映り込みを除去したい領域及び遮蔽などで観測されていない領域などの補完したい領域を欠損領域という。また、欠損領域がマスクで与えられた画像を入力して、入力した画像において欠損領域が欠損領域以外の領域との見た目に違和感なく補完された画像を取得する処理をコンプリーション（Completion）処理という。

欠損領域の位置や大きさを示すマスクは、静止画像や動画像に拘わらず手動又は公知の技術によって与えられるものとする。マスクを取得する公知の技術としては、例えば非特許文献１に記載の技術がある。なお、マスクとは、画像処理の対象となる画像において、当該画像処理を行う領域であるか否かを示す情報である。

図３は、欠損領域を表すマスクの例を示す図である。図３（Ａ）は、マスクを二値の画像で与える一例である。図３（Ａ）に示すマスクは、画像処理を施す対象の画像とは別に与えられる。このマスクは、領域９１ａで示す領域に対して画像処理を行うことを示し、領域９１ｂで示す領域に対して画像処理を行わないことを示している。図３（Ｂ）は、画像処理を施す対象の画像にマスクを重畳した画像でマスクを与える一例である。図３（Ｂ）に示すマスクは、領域９２で示す領域に対して画像処理を行うことを示し、他の領域に対して画像処理を行わないことを示している。図３（Ｂ）のようにマスクを与える場合には、領域９２は、他の領域との区別が容易な色やパターンなどで与えられる。

Xue Bai, Jue Wang, David Simons and Guillermo Sapiro, "Video SnapCut: Robust Video Object Cutout Using Localized Classifiers", ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGGRAPH 2009, Volume 28, Issue 3, August 2009, Article No.70

しかしながら、複雑な構造や色変化を含む静止画像又は複雑な構造や色変化、激しい動きを有する動画像に対してコンプリーション処理を行って得られた画像において、欠損領域内外で見た目に違和感が生じることがあるという問題があった。

上記事情に鑑み、本発明は、欠損領域に対してコンプリーション処理を行った画像において、欠損領域内外における見た目の違和感を低減させる画像生成装置及びプログラムを提供することを目的としている。

本発明の一態様は、欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とから前記原画像内の欠損領域を除去した画像を生成する画像生成装置であって、前記原画像の各画素値を示すパラメータで定められる原画像空間と異なる画像空間への変換を前記原画像に対して行うことにより、前記異なる画像空間における第１の画像を生成する情報量空間変換部と、前記マスク情報と前記第１の画像とに基づいて、前記第１の画像における前記欠損領域に対するコンプリーション処理を行うことにより第２の画像を生成するコンプリーション処理部と、前記原画像及び前記第２の画像の画素値に基づいて、前記異なる画像空間から前記画像空間への変換を前記第２の画像に対して行う情報量空間逆変換部とを備えることを特徴とする画像生成装置である。

また、本発明の一態様は、上記の画像生成装置において、前記情報量空間変換部は、前記原画像空間における画素値よりも画素の特徴を示す値の取り得る範囲が狭い前記異なる画像空間への変換を、前記原画像に対して行うことを特徴とする。

また、本発明の一態様は、上記の画像生成装置において、前記情報量空間変換部は、前記原画像空間であるカラー画像からグレイスケール画像空間への変換を、前記原画像に対して行うことにより前記第１の画像としてグレイスケール画像を生成し、前記情報量空間逆変換部は、グレイスケール画像空間からカラー画像空間への変換を前記第２の画像に対して行うことを特徴とする。

また、本発明の一態様は、上記の画像生成装置において、前記情報量空間変換部は、前記グレイスケール画像に対して、グレイスケール画像空間から特徴量空間への変換を行うことにより特徴量画像を生成し、前記コンプリーション処理部は、前記特徴量画像における前記欠損領域に対してコンプリーション処理を行うことにより第３の画像を生成し、前記マスク情報と前記グレイスケール画像と前記第３の画像とに基づいて、前記グレイスケール画像における前記欠損領域に対するコンプリーション処理を行うことにより前記第２の画像を生成することを特徴とする。

また、本発明の一態様は、上記の画像生成装置としてコンピュータを機能させるためのプログラムである。

本発明によれば、コンプリーション処理の対象となる第１の画像を原画像空間から異なる画像空間への変換を原画像に対して行うことにより取得し、コンプリーション処理を施して得られた第２の画像を原画像空間へ逆変換を原画像及び第２の画像の画素値に基づいて行うことにより、欠損領域における画素値を原画像に基づいた画素値にするとともに、異なる画像空間における画素値が取り得る値域による制約によって欠損領域における画素値のばらつきを抑えることができ、欠損領域内外における見た目の違和感を低減させることが可能となる。

画像生成装置１の構成例を示すブロック図である。 画像生成装置１が入力する原画像とマスク情報との一例を示す図である。 欠損領域を表すマスクの例を示す図である。

［本発明の実施形態の概要］
画像生成装置は、入力される静止画像又は動画像において指定される欠損領域における画像を補完することにより、欠損領域を除去した静止画像又は動画像を生成する装置である。以下、静止画像と動画像とを区別しない場合に静止画像と動画像とを画像という。なお、動画像は、複数の連続した静止画像（フレーム）の集合である。図１は、画像生成装置１の構成例を示すブロック図である。図１に示すように、画像生成装置１は、情報量空間変換部１１、コンプリーション処理部１２及び情報量空間逆変換部１３を備える。

画像生成装置１は、欠損領域の画像を補完するコンプリーション処理の対象とする静止画像又は動画像である原画像と、欠損領域を示すマスク情報とを外部から入力する。図２は、画像生成装置１が入力する原画像とマスク情報との一例を示す図である。画像生成装置１は、図２（Ａ）に示すように、原画像とマスク情報とを個別に入力する。或いは画像生成装置１は、図２（Ｂ）に示すように、原画像に対してマスクが重畳された画像を入力する。

情報量空間変換部１１は、入力された原画像を、原画像を表すパラメータで定められる空間と異なる空間の画像へ変換する。以下、原画像を表すパラメータで定められる空間を原画像空間という。原画像の変換先の空間であって原画像空間と異なる空間を変換後空間という。

なお、図２（Ｂ）に示したように原画像にマスクが重畳された画像が入力された場合には、情報量空間変換部１１は、以下の手順で、原画像を変換後空間の画像に変換する。
（手順１）情報量空間変換部１１は、入力された画像においてマスクが示す欠損領域と欠損領域以外の領域とを二値で表したマスク情報を生成する。
（手順２）情報量空間変換部１１は、入力された画像のうち欠損領域以外の領域に対して、原画像空間から変換後空間への変換を行って変換後空間における画像を取得する。

コンプリーション処理部１２は、外部から入力されたマスク情報と、情報量空間変換部１１が取得した変換後空間の画像とを取得する。コンプリーション処理部１２は、変換後空間の画像においてマスク情報で示される欠損領域に対してコンプリーション処理を行う。静止画像及び動画像に対するコンプリーション処理に関する研究は多数行われており、コンプリーション処理部１２は、公知の技術を用いて変換後空間の画像にコンプリーション処理を行う。なお、マスクが原画像に重畳された画像を画像生成装置１が入力した場合には、コンプリーション処理部１２はマスク情報を情報量空間変換部１１から取得する。

情報量空間逆変換部１３は、コンプリーション処理部１２によってコンプリーション処理が施された画像を取得する。情報量空間逆変換部１３は、情報量空間変換部１１が行う変換と逆の変換を取得した画像に対して行うことにより、原画像空間における画像を生成する。情報量空間逆変換部１３は、生成した画像を、原画像における欠損領域が除去された画像として出力する。

画像生成装置１は、情報量空間変換部１１、コンプリーション処理部１２及び情報量空間逆変換部１３が上述の動作を行うことにより、入力される原画像の欠損領域を除去した画像を生成する。

［第１の実施形態］
第１の実施形態における画像生成装置１では、情報量空間変換部１１がカラー画像空間からグレイスケール画像空間への変換を行う。第１の実施形態においては、原画像がカラーの画像であり、原画像空間がカラー画像空間である。また、情報量空間変換部１１は、原画像の各画素における３つのパラメータである画素値（Ｒ，Ｇ，Ｂ）で定められるカラー画像空間から１つのパラメータである画素値Ｙで定められるグレイスケール画像空間への変換を行う。情報量空間変換部１１は、変換により生成したグレイスケール画像をコンプリーション処理部１２に出力する。

例えば、情報量空間変換部１１は、次式（１）を用いて、原画像の画素それぞれに対して、原画像空間（カラー画像空間）の画素値（Ｒ，Ｇ，Ｂ）から変換後空間（グレイスケール画像空間）の画素値Ｙへの変換を行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ …（１）

コンプリーション処理部１２は、情報量空間変換部１１が生成したグレイスケール画像において、マスク情報で示される欠損領域に対してコンプリーション処理を行う。コンプリーション処理部１２は、コンプリーション処理を施したグレイスケール画像を情報量空間逆変換部１３に出力する。

情報量空間逆変換部１３は、グレイスケール画像空間の画像をカラー画像空間の画像に変換する。情報量空間逆変換部１３は、コンプリーション処理部１２によってコンプリーション処理が施されたグレイスケール画像を取得する。情報量空間逆変換部１３は、取得したグレイスケール画像に対してカラリゼーション（Colorization）を行うことにより、カラー画像空間における画素値（Ｒ，Ｇ，Ｂ）を有するカラー画像を復元する。

情報量空間逆変換部１３は、カラー画像を復元する際に、コンプリーション処理が施された画像と原画像との対応する画素における画素値の組み合わせを一定数サンプルとして取得する。情報量空間逆変換部１３は、取得したサンプルにおける画素値の対応に基づいて、グレイスケール画像をカラー画像に復元する。情報量空間逆変換部１３は、復元したカラー画像を、原画像における欠損領域が除去された画像として出力する。

なお、画像に対するカラリゼーションは、画像における隣接画素のうち輝度の等しい領域は等しい色成分をもつという仮定に基づいて、画像内の少数を占めるＲＧＢサンプル点から画像全体のＲＧＢ画素値を最適化により求める技術である。情報量空間逆変換部１３は、公知の技術を用いて、コンプリーション処理が施されたグレイスケール画像に対してカラリゼーションを行う。カラリゼーションには、例えば参考文献１や参考文献２などに記載の技術を用いることができる。
［参考文献１］Anat Levin, Dani Lischinski and Yair Weiss, "Colorization Using Optimization," SIGGRAPH'04 ACM SIGGRAPH 2004 Papers, August 2004, p.689-694
［参考文献２］Tomihisa Welsh, Michael Ashikhmin and Klaus Mueller, "Transferring Color to Greyscale Images," SIGGRAPH'02 Proceedings of the 29th annual conference on Computer graphics and interactive techniques, July 2002, P.277-280

情報量空間逆変換部１３によるサンプルの取得は、例えば以下の手順で行われる。
（手順Ａ）情報量空間逆変換部１３の入力であるカラー画像と、コンプリーション処理部１２の入力であるグレイスケール画像とにおける特徴点を取得し、カラー画像とグレイスケール画像とにおける特徴点のマッチングをとる。特徴点のマッチングをとる際には、例えばＳＩＦＴやＳＵＲＦによる特徴点検出・特徴量抽出を用いることができる。
（手順Ｂ）マッチングのとれた特徴点の組に対し、カラー画像の画素値（Ｒ，Ｇ，Ｂ）をグレイスケール画像の画素値Ｙに対するサンプルとして取得する。

第１の実施形態における画像生成装置１は、コンプリーション処理を行う対象の画像を、原画像であるカラー画像の画像空間より各画素の特徴を示す画素値の取り得る値の範囲が狭いグレイスケール画像の画像空間に変換している。各画素の特徴を示す画素値が取り得る値の範囲を狭くしてコンプリーション処理を行うことにより、欠損領域の各画素に割り当てられる画素値のばらつきを抑えることができ、カラー画像に復元した際に欠損領域内外における見た目の違和感を低減できる。

［第２の実施形態］
第２の実施形態における画像生成装置１では、情報量空間変換部１１がカラー画像空間から動きベクトル空間への変換を行う。第２の実施形態においては、原画像がカラーの動画像であり、原画像空間がカラー画像空間である。情報量空間変換部１１は、原画像の各画素又は予め定められた各部分領域に対して動きベクトルを算出し、動画像に含まれる各静止画像の画素又は部分領域それぞれに動きベクトルを割り当てた画像を生成する。情報量空間変換部１１は、生成した画像をコンプリーション処理部１２に出力する。

カラー画像空間から動きベクトル空間への変換には、Lucas-Kanade法を用いて動画像のオプティカルフローを取得する公知の技術を用いることができる。例えば、オプティカルフローを取得する公知の技術には、参考文献３や参考文献４などに記載の技術がある。
［参考文献３］Bruce D. Lucas and Takeo Kanade, "An Iterative Image Registration Technique with an Application to Stereo Vision," IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume.2, 1981, P.674-679
［参考文献４］Jean-Yves Bouguet, "Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm," In Intel Research Laboratory, Technical Report, 1999

コンプリーション処理部１２は、情報量空間変換部１１が生成した動きベクトル空間における各画像において、マスク情報で示される欠損領域に対してコンプリーション処理を行う。コンプリーション処理部１２は、コンプリーション処理を施した画像を情報量空間逆変換部１３に出力する。

情報量空間逆変換部１３は、コンプリーション処理部１２によってコンプリーション処理が施された画像を取得する。情報量空間逆変換部１３は、動きベクトル空間からカラー画像空間への変換を、取得した画像に対して行う。この変換は、例えば参考文献５に記載の技術で行われているように、ある画素αに対する動きベクトルの情報から前のフレームのどの画素が画素αに移動しているかを検出し、検出した画素の画素値を原画像の前のフレームから取得して画素αに対する画素値にすることにより行われる。
［参考文献５］Takaaki Shiratori, Yasuyuki Matsushita, Sing Bing Kang and Xiaoou Tang, " Video Completion by Motion Field Transfer," In IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR 2006), Volume 1, 2006

情報量空間逆変換部１３は、上述の手法で、コンプリーション処理が施された画像における各画素又は各部分領域の動きベクトルを画素値（Ｒ，Ｇ，Ｂ）に置き換えることにより、動きベクトル空間における画像をカラー画像空間のカラー画像に復元する。情報量空間逆変換部１３は、復元したカラー画像を、欠損領域が除去された画像として出力する。

第２の実施形態における画像生成装置１は、コンプリーション処理を行う対象の動画像を、原画像であるカラー画像の画像空間より各画素の特徴を示すパラメータ（動きベクトル）の取り得る値の範囲が狭い動きベクトル空間の画像に変換している。カラー画像は前述の通り画素値（Ｒ，Ｇ，Ｂ）の３次元のパラメータであるのに対して、動きベクトルは画像上におけるベクトルであるため２次元のパラメータである。すなわち、情報量空間変換部１１は、原画像の画像空間より各画素に対するパラメータが取り得る値の範囲が狭められた画像空間の画像へ原画像を変換している。動画像を構成する各静止画像を動きベクトル空間の画像に変換して、欠損領域における画素それぞれの動きベクトルを補完することにより、激しい動きを含む動画像においても、欠損領域内外における見た目の違和感を低減できる。更に、動きベクトル空間の画像をカラー画像空間に変換する際に、原画像である動画像を構成する静止画像における画素値を用いてカラー画像に復元することにより、画素値（Ｒ，Ｇ，Ｂ）が取り得る値の範囲を狭くしているので、欠損領域内外における見た目の違和感を低減できる。

［第３の実施形態］
第３の実施形態における画像生成装置１では、情報量空間変換部１１がカラー画像空間からグレイスケール画像空間への変換を原画像に対して行い、更にグレイスケール画像空間の画像を特徴量空間に変換する。コンプリーション処理部１２が、特徴量空間の画像に基づいて、グレイスケール画像空間の画像に対してコンプリーション処理を行う。第３の実施形態においては、原画像がカラー画像であり、原画像空間がカラー画像空間である。

情報量空間変換部１１は、第１の実施形態と同様に、カラー画像空間からグレイスケール画像空間への変換を原画像に対して行い、グレイスケール画像を生成する。情報量空間変換部１１は、生成したグレイスケール画像を複製する。情報量空間変換部１１は、複製したグレイスケール画像に対してグレイスケール画像空間から特徴量空間への変換を行うことにより、特徴量空間の画像を生成する。情報量空間変換部１１は、グレイスケール画像と特徴量空間の画像とをコンプリーション処理部１２に出力する。なお、特徴量空間として、例えばＣａｎｎｙ特徴量空間やＨｏｇ特徴量空間などが用いられる。

コンプリーション処理部１２は、情報量空間変換部１１が生成した特徴量空間の画像において、マスク情報で示される欠損領域に対してコンプリーション処理を行う。コンプリーション処理部１２は、コンプリーション処理により得られた特徴量空間の画像を事前知識として用いて、グレイスケール画像の欠損領域に対してコンプリーション処理を行う。コンプリーション処理部１２は、例えば特徴量空間の画像の欠損領域における位置（ｘ，ｙ）＝（ｘ１，ｙ１）の画素に対して位置（ｘ，ｙ）＝（ｘ２，ｙ２）の画素の画素値をコピーしたことを事前知識として用い、グレイスケール画像の欠損領域における位置（ｘ，ｙ）＝（ｘ１，ｙ１）の画素に対してコンプリーション処理を行う際に、位置（ｘ，ｙ）＝（ｘ２，ｙ２）の画素の画素値をコピーする。コンプリーション処理部１２は、コンプリーション処理を施したグレイスケール画像を情報量空間逆変換部１３に出力する。

情報量空間逆変換部１３は、コンプリーション処理部１２から出力されるグレイスケール画像を、カラー画像空間のカラー画像に変換する。第３の実施形態における情報量空間逆変換部１３は、第１の実施形態における情報量空間逆変換部１３と同様に、グレイスケール画像空間からカラー画像空間への変換をグレイスケール画像に対して行うことにより、カラー画像を復元する。情報量空間逆変換部１３は、復元したカラー画像を、欠損領域が除去された画像として出力する。

第３の実施形態における画像生成装置１は、コンプリーション処理の対象の画像を、原画像であるカラー画像の画像空間より各画素の特徴を示す画素値の取り得る値の範囲が狭いグレイスケール画像の画像空間に変換している。各画素の特徴を示す画素値が取り得る値の範囲を狭くしてコンプリーション処理を行うことにより、欠損領域の各画素に割り当てられる画素値のばらつきを抑えることができ、カラー画像に復元した際に欠損領域内外における見た目の違和感を低減できる。

更に、画像生成装置１は、グレイスケール画像から得られた特徴量空間の画像に対するコンプリーション処理結果に基づいて、グレイスケール画像に対してコンプリーション処理を行う。すなわち、画像生成装置１は、特徴量空間の画像内における欠損領域の近傍に類似した特徴を有する領域に基づいてコンプリーション処理を行うので、カラー画像に復元した際に欠損領域内外における見た目の違和感をより低減できる。

以上の各実施形態において説明した画像生成装置１は、原画像空間より各画素の画素値が取り得る値域が狭い画像空間においてコンプリーション処理を行うことにより、原画像が複雑な構成や色変化、激しい動きを有する場合においても、欠損領域の画素に割り当てる画素値の範囲を抑制することができる。その結果、画像における欠損領域内外で或いは動画像におけるフレーム間で、画像構造や輝度などの一貫性を保った状態で原画像の欠損領域を除去することが可能となる。

また、原画像の画像空間と異なる画像空間へ原画像を変換した後にコンプリーション処理を行うことにより、限られた個数のデータから学習に用いることのできるサンプルが多く得られるので、密に学習を行うことができる。また、それに伴い学習に用いるデータの数が少なくても精度の高い学習ができるため、学習に必要な演算コストを低くすることができるといった利点を享受することができる。

上述した実施形態における画像生成装置をコンピュータで実現するようにしてもよい。その場合、画像生成装置が有する構成要素を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

静止画像又は動画像における欠損領域に対するコンプリーション処理において、欠損領域内外の見た目の違和感を低減することが不可欠な用途にも適用できる。

１…画像生成装置
１１…情報量空間変換部
１２…コンプリーション処理部
１３…情報量空間逆変換部

Claims (5)

1. 欠損領域の除去対象である１枚の原静止画像と前記欠損領域を示すマスク情報とから前記１枚の原静止画像内の欠損領域を除去した画像を生成する画像生成装置であって、
   前記１枚の原静止画像の各画素値を示すパラメータで定められる原画像空間と異なる画像空間への変換を前記１枚の原静止画像に対して行うことにより、前記異なる画像空間における第１の画像を生成する情報量空間変換部と、
   前記マスク情報と前記第１の画像とに基づいて、前記第１の画像における前記欠損領域に対するコンプリーション処理を行うことにより第２の画像を生成するコンプリーション処理部と、
   前記１枚の原静止画像及び前記第２の画像の画素値に基づいて、前記異なる画像空間から前記原画像空間への変換を前記第２の画像に対して行う情報量空間逆変換部と
   を備えることを特徴とする画像生成装置。
2. 前記情報量空間変換部は、前記原画像空間における画素値よりも画素の特徴を示す値の取り得る範囲が狭い前記異なる画像空間への変換を、前記１枚の原静止画像に対して行う
   ことを特徴とする請求項１に記載の画像生成装置。
3. 欠損領域の除去対象の原画像と前記欠損領域を示すマスク情報とから前記原画像内の欠損領域を除去した画像を生成する画像生成装置であって、
   前記原画像の各画素値を示すパラメータで定められる原画像空間と異なる画像空間への変換を前記原画像に対して行うことにより、前記異なる画像空間における第１の画像を生成する情報量空間変換部と、
   前記マスク情報と前記第１の画像とに基づいて、前記第１の画像における前記欠損領域に対するコンプリーション処理を行うことにより第２の画像を生成するコンプリーション処理部と、
   前記原画像及び前記第２の画像の画素値に基づいて、前記異なる画像空間から前記原画像空間への変換を前記第２の画像に対して行う情報量空間逆変換部と
   を備え、
   前記情報量空間変換部は、前記原画像空間であるカラー画像からグレイスケール画像空間への変換を、前記原画像に対して行うことにより前記第１の画像としてグレイスケール画像を生成し、
   前記情報量空間逆変換部は、グレイスケール画像空間からカラー画像空間への変換を前記第２の画像に対して行う
   ことを特徴とする画像生成装置。
4. 前記情報量空間変換部は、前記グレイスケール画像に対して、グレイスケール画像空間から特徴量空間への変換を行うことにより特徴量画像を生成し、
   前記コンプリーション処理部は、前記特徴量画像における前記欠損領域に対してコンプリーション処理を行うことにより第３の画像を生成し、前記マスク情報と前記グレイスケール画像と前記第３の画像とに基づいて、前記グレイスケール画像における前記欠損領域に対するコンプリーション処理を行うことにより前記第２の画像を生成する
   ことを特徴とする請求項３に記載の画像生成装置。
5. 請求項１から請求項４のいずれか一項に記載の画像生成装置としてコンピュータを機能させるためのプログラム。