JP6985609B2 - 符号化装置、画像補間システム及び符号化プログラム - Google Patents

Description

本発明は、符号化装置、画像補間システム及び符号化プログラムに関する。

映像データを圧縮符号化するための標準規格として、ＭＰＥＧ−４やＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ（以下、「ＨＥＶＣ」という。）が知られている。また、ＨＥＶＣに次ぐ新たな規格の標準化も検討が進められている。これらの映像圧縮符号化規格では、画像を矩形のブロックに分割した単位で処理を行い、予測対象ブロックに隣接する予測ブロックを参照して予測対象ブロックの画素値を予測し、予測残差信号のみを送信する予測符号化方式が採用されている。以下、ＨＥＶＣを例に、フレーム内に閉じて画素信号の予測を行うイントラ予測符号化の方法を述べる。

ＨＥＶＣでは、図１７に示すように画面全体を６４画素×６４画素（以下、「６４×６４」という。）のブロックに区切り、各ユニットをＣＴＵ（Coding Tree Unit）として定義する。ＣＴＵは、ＣＵ（Coding Unit）と呼ばれる４つの正方形に分割することができ、これを再帰的に処理することで、細かなブロックに分割を行う。ＨＥＶＣでは、ＣＵのサイズは６４×６４、３２×３２、１６×１６及び８×８の４種類を用いることができ、このＣＵをさらに分割したＰＵ（Prediction Unit）と呼ばれる単位で予測処理を行う。イントラ予測の場合、ＣＵを４つの正方形に分割するか否かの２通りのＰＵを用いることができる。各ＰＵは３５種類の予測パラメータを選択的に適用可能であり、例えば原画像との予測残差信号が最小となる予測パラメータを符号化側で選択し、予測パラメータ及び予測残差信号を復号側に送信する。

ＨＥＶＣでは、予測方式はＰｌａｎａｒ予測、ＤＣ（Direct Current；直流成分）予測及び方向性予測の３種類から選択可能であり、方向性予測には３３の予測パラメータが割り当てられていることから、予測パラメータの総数は３５である。各予測方式は、図１８に示すように、予測対象ブロックの左及び上に位置する参照画素の画素値を用いて予測を行い、方向性予測では、定義された３３方向から１つの方向を参照方向として選択し、参照方向の画素値を参照ブロックに割り当てることで、予測対象ブロックの予測画素を生成する。Ｐｌａｎａｒ予測では、予測対象ブロックの左下、右上、予測対象画素の左、上の４画素を参照し、それらの重み付き平均として予測対象ブロック内の各画素を予測する。ＤＣ予測では、予測対象ブロックの左及び上に位置する参照画素の平均として、予測対象ブロックの予測値を単一に生成する。

このように、上記の各予測方式は、参照可能な画素を参照し、上記のような単純な予測ルールに基づいて予測を行うが、例えば画面内に高周波成分が無作為に分布する画像では予測効率が低下するという課題がある。このような画像に対しても主観品質を保持したまま符号量を削減する圧縮符号化を実現するための方法として、擬似的に画像を再構成する処理方式を導入する方法が考えられる。

非特許文献１に記載の技術によれば、畳み込みニューラルネットワークにより構成される補間ネットワークと、畳み込みニューラルネットワークにより構成され補間ネットワークが補間した補間画像と補間されていない真の画像を識別する識別ネットワークの２つのネットワークを、敵対的生成ネットワークの枠組みに倣って交互に学習する。これにより、補間ネットワークが、画像の欠損領域を擬似的に再構成できるようになる。

S.Iizuka, E.Simo-Serra, H.Ishikawa， "Globally and Locally Consistent Image Completion", ACM Transactions on Graphics, Vol.36, No.4, July 2017

しかしながら、非特許文献１に記載の技術による構成では、補間すべき欠損領域の面積が大きくなるほど、補間ネットワークに入力される情報量が少なくなるため、画像補間処理における欠損領域の推定が困難となり、出力画像の主観画質が劣化する。また、上記の構成では、補間すべき欠損領域に、参照可能な領域から推論できない複雑な要素が含まれていた場合に、出力画像の主観画質が劣化する。

上記事情に鑑み、本発明は、主観画質の劣化を抑制しつつ画像補間処理を実行することができる技術の提供を目的としている。

本発明の一態様は、画像を符号化する符号化装置であって、第一の画像に含まれる、所定の条件に合致する領域を取得する領域取得部と、前記第一の画像と、取得された領域と、前記第一の画像から前記取得された領域が除かれた領域と、を関連付けることで、第二の画像を得る画像取得部と、前記第二の画像を符号化する符号化部と、を備える符号化装置である。

また、本発明の一態様は、上記の符号化装置であって、前記第一の画像と前記取得された領域とを入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、前記取得された領域が除かれた領域と前記取得された領域とを入力として欠損画像参照による第二の中間画像を出力する欠損画像参照ネットワークと、前記第一の中間画像と前記第二の中間画像とを入力として前記第二の画像を出力する再構成ネットワークと、を更に備える。

また、本発明の一態様は、上記の符号化装置であって、前記第一の画像と欠損画像参照ネットワークから出力された第二の中間画像との差分画像と、前記取得された領域と、を入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、前記取得された領域が除かれた領域と前記取得された領域とを入力として欠損画像参照による前記第二の中間画像を出力する前記欠損画像参照ネットワークと、前記第一の中間画像と前記第二の中間画像とを入力として前記第二の画像を出力する再構成ネットワークと、を更に備える。

また、本発明の一態様は、上記の符号化装置であって、前記欠損画像参照ネットワークは、前記第二の中間画像と前記第一の画像との画素誤差を最小化するように、前記第二の中間画像についての学習パラメータの学習を行う。

また、本発明の一態様は、上記の符号化装置であって、前記補助情報抽出ネットワークは、前記補助情報参照ネットワークによって出力される第一の中間画像と第一の画像との画素誤差を最小化するように、前記補助情報についての学習パラメータの学習を行う。

また、本発明の一態様は、上記の符号化装置であって、前記補助情報参照ネットワークは、前記第一の中間画像と前記第一の画像との画素誤差を最小化するように、前記第一の中間画像についての学習パラメータの学習を行う。

また、本発明の一態様は、第一の画像を補間する画像補間システムであって、第二の画像と、前記第二の画像に含まれる所定の条件に合致する領域である合致領域と、前記第二の画像から前記合致領域を除いた領域と、を関連付けることで、前記第一の画像及び補助情報を得る取得部と、前記補助情報を用いて前記第一の画像を補間し、前記第二の画像に近似する画像を得る補間部と、を有する画像補間システムである。

また、本発明の一態様は、上記の符号化装置としてコンピュータを機能させるための符号化プログラムである。

本発明により、主観画質の劣化を抑制しつつ画像補間処理を実行することができる。

第１の実施形態に係る符号化装置１０による処理の流れを示すフローチャートである。 第１の実施形態に係る符号化装置１０の機能構成を示すブロック図である。 第１の実施形態に係る復号装置２０による処理の流れを示すフローチャートである。 第１の実施形態に係る復号装置２０の機能構成を示すブロック図である。 第２の実施形態に係る符号化装置３０の機能構成を示すブロック図である。 第２の実施形態に係る復号装置４０の機能構成を示すブロック図である。 従来技術に係る符号化装置５０及び復号装置６０による処理の流れを示すフローチャートである。 従来技術に係る符号化装置５０及び復号装置６０の機能構成を示すブロック図である。 第３の実施形態に係る符号化装置７０及び復号装置８０による処理の流れを示すフローチャートである。 第３の実施形態に係る符号化装置７０及び復号装置８０の機能構成を示すブロック図である。 第３の実施形態に係る符号化装置７０及び復号装置８０によるネットワークの構成を示すブロック図である。 第３の実施形態に係る符号化装置７０及び復号装置８０による学習処理の流れを示すフローチャートである。 第３の実施形態に係る欠損画像参照ネットワーク学習処理におけるネットワークの構成を示すブロック図である。 第４の実施形態に係る符号化装置７０及び復号装置８０によるネットワークの構成を示すブロック図である。 第４の実施形態に係る符号化装置７０及び復号装置８０によるネットワークの構成を示すブロック図である。 第４の実施形態に係る補助情報抽出／参照ネットワーク学習処理におけるネットワークの構成を示すブロック図である。 ＨＥＶＣ画面内予測のブロック分割の構成を説明するための模式図である。 ＨＥＶＣにおけるイントラ予測の構成を説明するための模式図である。

以下、ＨＥＶＣのイントラ予測符号化との併用を例に、本発明の実施形態について説明するが、本発明はＨＥＶＣならびにイントラ予測に限定されるものではない。つまり、本発明は、ＨＥＶＣ以外の画像符号化方式ならびにインター予測に対しても適用できるものである。

本発明では、ＨＥＶＣのＣＴＵやＣＵ等のブロック毎に符号化側で再構成対象とするか非再構成対象とするかを判定し、再構成対象と判定されたブロック（以下、再構成対象ブロック）から補助情報を抽出し送信する。ここで、再構成とはＴｅｘｔｕｒｅ合成や画像の補間合成処理等によって、画像の着目領域に適合する擬似的な画像を生成する処理を指す。なお、ここでいう擬似的な画像とは、例えば、入力画像と比較して、主観的な観点から差異を感じ辛い画像のことである。
また、再構成対象ブロックには、ＨＥＶＣのイントラ予測で予測残差の情報量が小さくなるよう、ブロック全体に均一な画像処理を施して、ＨＥＶＣ符号化器に入力する。言い換えると、ＨＥＶＣでは予測精度が低いブロックや、一定の精度の主観画質を確保できれば符号化前の画像の画素を正確に再現する必要が少ない被写体に係るブロックを、再構成対象ブロックとし、ＨＥＶＣが予測しやすい画素で構成させるようにすることで所望の画質を保ったまま符号化に要する符号量の低減を図る。復号側では、ブロック全体に均一な画像処理が施されているか否かを判定することにより、再構成対象ブロックを判別する。

＜第１の実施形態＞
以下、第１の実施形態について、図面を参照しながら説明する。

［符号化装置の処理］
まず、本発明による符号化装置の処理について説明する。
図１に、本発明の第１の実施形態における符号化装置の処理フローを示す。

ブロック分割処理は、入力ピクチャから符号化処理ブロックの形状を決定する（ステップＳ１０１）。出力されるブロック分割の形状は、図１７に示したようなＣＴＵ、ＣＵ及びＰＵに倣い、このブロックを復号側の再構成処理の単位かつＨＥＶＣ符号化処理の単位とする。

分割形状の決定方法としては、ＣＴＵのように均一の矩形として決定する方法のほか、ＨＥＶＣテストモデル（ＨＭ；HEVC Test Model）に実装されるようなレート歪最適化により決定されるＣＵ分割形状として決定する方法、又は、画像認識で用いられる物体毎に領域分割を実行した結果をブロック単位で近似したものとして決定する方法等を用いることができる。

符号化方式判定処理は、ブロック分割処理により分割されたブロック単位で、再構成対象ブロックとするか又は非再構成対象ブロックとするかを判定する（ステップＳ１０２）。なお、判定方法としては、例えば、再構成対象とする場合と非再構成対象とする場合とで、推定発生符号量ならびに推定歪量をそれぞれ導出し、レート歪最適化を適用することで判定する方法を用いることができる。

再構成対象ブロックとして判定された場合（ステップＳ１０３・Ｙｅｓ）、補助情報抽出処理により、再構成処理を補助するために復号装置へ送信する補助情報を、再構成対象ブロックから抽出する（ステップＳ１０４）。なお、再構成処理とは、再構成対象のブロックに対し、後述するような何らかの変換を施したブロックを、復号側で逆変換する処理のことである。なお、補助情報抽出処理は、例えば画像合成により再構成対象ブロックを合成することによって再構成する場合には、合成時に使用する代表Ｔｅｘｔｕｒｅ又は物体を識別したラベル等を補助情報として抽出する。

抽出された補助情報は、補助情報エントロピー符号化処理によりエントロピー符号化され、補助情報の符号化データとなる。なお、補助情報エントロピー符号化処理には、例えばハフマン符号化又はランレングス符号化等の任意の符号化方法を用いることができる（ステップＳ１０５）。

補助情報が抽出された後の再構成対象ブロックは、画像変換処理により、ＨＥＶＣでより少ない符号量で送信可能な画像に変換される（ステップＳ１０６）。なお、画像変換処理は、例えば再構成対象ブロックを当該ブロックの平均値に置き換えてもよいし、ＨＥＶＣイントラ方向性予測において任意又は特定のモード番号で予測した場合の予測残差がゼロに漸近するような変換を施してもよい。

また、変換に用いたＨＥＶＣイントラ予測のモード番号を、補助情報の一部として復号側に送信してもよく、ＨＥＶＣイントラ予測の特定のモード番号と復号側での再構成処理の方法とを対応付けて画像変換を行い、その対応関係を補助情報の一部として復号側へ送信してもよい。

例えば、Ｔｅｘｔｕｒｅ合成を再構成処理とする場合、イントラ予測モード番号と代表Ｔｅｘｔｕｒｅとを対応付けて、その対応関係を補助情報として復号側へ送信してもよい。また、画像変換の方法は、ＨＥＶＣイントラ予測に基づく変換以外の方法でもよい。入力ピクチャに存在しない出力を得ることができる任意の変換方法を、画像変換処理の過程で定義又は事前に定義したものから選択し、その変換方法を補助情報として復号側へ送信してもよい。

変換後の画像（以下、「変換後画像」という。）は、変換後画像イントラ符号化処理で符号化し、変換後画像の符号化データを得る（ステップＳ１０７）。

上記の処理を、全てのブロックに対して処理順に適用し（ステップＳ１０８及びステップＳ１０９）、送信情報として補助情報の符号化データならびに変換後画像の符号化データを得る。

［符号化装置の構成例］
次に、上記の処理を実現するための符号化装置の構成例について説明する。
図２に、第１の実施形態における符号化装置１０の構成例を示す。図示するように、符号化装置１０は、ブロック分割部１０１と、符号化方式判定部１０２と、補助情報抽出部１０３と、補助情報エントロピー符号化部１０４と、画像変換部１０５と、イントラ予測部１０７と、変換／量子化部１０８と、エントロピー符号化部１０９と、逆量子化／逆変換部１１０と、予測用メモリ１１１と、を含んで構成される。

ブロック分割部１０１は、入力ピクチャを入力として、ブロック分割処理を行う。ブロック分割部１０１は、ブロック分割された入力ピクチャを出力する。

符号化方式判定部１０２は、ブロック分割された入力ピクチャを入力として、符号化方式判定処理を行う。符号化方式判定部１０２は、ブロックの符号化方式の判定結果を出力する。

補助情報抽出部１０３は、再構成対象ブロック及び参照ブロックを入力として、補助情報抽出処理を行う。参照ブロックは、再構成処理で参照すべき画素を含むブロックであり、例えば再構成処理として画像の補間合成を用いる場合、補間処理で参照する画素を含むブロックである。補助情報抽出部１０３は、補助情報を出力する。

補助情報エントロピー符号化部１０４は、入力された補助情報に対してエントロピー符号化を行い、補助情報の符号化データを得る。補助情報エントロピー符号化部１０４は、補助情報の符号化データを出力する。

画像変換部１０５は、再構成対象ブロックを入力として、画像変換処理を行う。画像変換部１０５は、変換後ブロックを出力する。

変換後ブロック及び非再構成対象ブロックは、イントラ符号化により符号化される。イントラ符号化では、イントラ予測部１０７から出力される予測画像との予測残差が、変換／量子化部１０８により直行変換及び量子化され、エントロピー符号化部１０９により符号化される。これにより、画像の符号化データが得られる。
なお、本実施形態においては、上記予測残差を符号化するエントロピー符号化部１０９と補助情報を符号化する補助情報エントロピー符号化部１０４とが別々の機能ブロックである構成としたが、これらが同一の機能ブロックで構成されてもよい。すなわち、１つの符号化部によって、例えば共通のエントロピー符号化方式で、上記予測残差の符号化及び補助情報の符号化が行われる構成であってもよい。

変換／量子化部１０８により量子化された予測残差は、逆量子化／逆変換部１１０により逆量子化及び逆変換の処理がなされ、予測用メモリ１１１に蓄積される。予測用メモリ１１１に蓄積されたデータは、イントラ予測部１０７によるイントラ予測処理、及び、補助情報抽出部１０３による補助情報報抽出処理に用いられる。

［復号装置の処理］
次に、上記の処理方法及び機能構成によって生成された符号化データから画像を復号する復号装置の処理について説明する。
図３に、第１の実施形態における復号装置の処理フローを示す。

変換後画像復号処理は、変換後画像の符号化データを復号し、変換後画像の復号画像のブロックを得る（ステップＳ２０１）。なお、復号画像は、入力画像に相当する単位の画像でもよいし、入力画像がブロック化されたブロックに相当する単位の画像でもよい。以下の各処理では、復号画像は、ブロックに相当する単位の画像であるものとして説明を続ける。

符号化方式判定処理は、符号化装置１０の画像変換部１０５によって用いられた画像変換方法で変換されたブロックを、再構成対象ブロックとして判定する（ステップＳ２０２）。例えば、符号化装置１０の画像変換部１０５が再構成対象ブロックを平均値で均一に置き換える処理を行う場合、符号化方式判定処理は、変換後画像の復号画像から得たブロックに対して、当該処理がなされたブロックを再構成対象ブロックとして判定する。

再構成対象ブロックに対しては（ステップＳ２０３・Ｙｅｓ）、符号化方式判定処理は、符号化装置１０の補助情報エントロピー符号化部１０４で適用した符号化方式に基づき、当該再構成対象ブロックに対応する補助情報の符号化データを復号する（ステップＳ２０４）。

再構成処理は、補助情報と当該再構成対象ブロックが参照できる参照ブロックとを入力として、再構成処理を行う（ステップＳ２０５）。

上記の処理を、全てのブロックに対して処理順に適用し（ステップＳ２０６及びステップＳ２０７）、最終的な復号画像を得る。

［復号装置の構成例］
次に、上記の処理を実現するための復号装置の構成例について説明する。
図４に、第１の実施形態における復号装置２０の構成例を示す。図示するように、復号装置２０は、エントロピー復号部２０１と、逆変換／逆量子化部２０２と、イントラ予測部２０３と、予測用メモリ２０４と、再構成部２０５と、符号化方式判定部２０６と、補助情報エントロピー復号部２０７と、を含んで構成される。

変換後画像の符号化データは、ＨＥＶＣにより復号される。ＨＥＶＣによる復号では、まず変換後画像の符号化データがエントロピー復号部２０１によりエントロピー復号され、逆変換／逆量子化部２０２により逆変換及び逆量子化の処理が施される。これにより、予測残差画像が復号され、イントラ予測部２０３による予測結果が加算されることで、変換後画像の復号画像のブロックが得られる。

復号された変換後画像は、予測用メモリ２０４に蓄積されて、イントラ予測部２０３及び再構成部２０５への入力として用いられる。

符号化方式判定部２０６は、変換後画像の復号画像のブロックを入力とし、符号化方式判定処理を行い、判定結果を出力する。

補助情報エントロピー復号部２０７は、入力された補助情報の符号化データに対してエントロピー復号を行い、補助情報を得る。補助情報エントロピー復号部２０７は、補助情報を再構成部２０５へ出力する。

再構成部２０５は、補助情報、再構成対象ブロックが参照できる参照画素及び再構成対象ブロックを入力として再構成処理を行い、最終的な出力ピクチャを出力する。

以上説明したように、上記実施形態に係る符号化方法及び復号方法では、従来技術とは異なり、入力画像に対し、処理ブロックの単位で再構成対象とするか又は非再構成対象とするかに分類して、再構成処理を適用する。上記実施形態に係る符号化方法及び復号方法は、ブロック単位で処理を行うことに制約することによって、境界情報を送信する際の符号量を少なくすることができる。上記実施形態に係る符号化方法及び復号方法は、例えば再構成対象ブロック内を平均値で置き換えるという規則を符号化装置１０と復号装置２０との間で共有させることにより、境界情報を送信することなく再構成対象ブロック位置の特定を実現することができる。

従来、任意の形状で再構成対象を指定できる一方で、領域毎に、再構成対象であるか否かの情報及び再構成の方法を復号側に補助情報として送信する必要があった。これにより、従来、補助情報の符号量が多くなるという課題があった。一方、上記実施形態に係る符号化方法及び復号方法では、ブロック毎に再構成対象ブロックを指定し、指定された再構成対象ブロックに対して、符号化側でより少ない符号量でＨＥＶＣによって符号化できる処理（例えば、ブロック全体を平均値に置き換える処理）を施し、復号側で当該処理の有無を判定する処理を施す。これにより、上記実施形態に係る符号化方法及び復号方法では、補助情報として境界情報を復号側へ送信しなくても、復号側で再構成ブロックを判定することができる。また、ＨＥＶＣのモード番号と再構成の方法とを関連付けることにより、再構成の方法も復号側へ同時に送信することができる。

＜第２の実施形態＞
以下、第２の実施形態について、図面を参照しながら説明する。以下に説明する第２の実施形態では、上述した第１の実施形態に対して、符号化装置及び復号装置の構成が異なる。

［符号化装置の構成例］
第２の実施形態における符号化装置３０の構成を図５に示す。図示するように、符号化装置３０は、前処理装置３１と、従来型符号化装置３２と、から構成される。前処理装置３１は、ブロック分割部３０１と、符号化方式判定部３０２と、補助情報抽出部３０３と、補助情報エントロピー符号化部３０４と、画像変換部３０５と、変換後画像メモリ３０６と、を含んで構成される。従来型符号化装置３２は、イントラ予測部３０７と、変換／量子化部３０８と、エントロピー符号化部３０９と、逆量子化／逆変換部３１０と、予測用メモリ３１１と、を含んで構成される。

図５に示すように、第２の実施形態における符号化装置３０と第１の実施形態における符号化装置１０との違いは、ブロック分割部、符号化方式判定部、画像変換部、補助情報抽出部及びエントロピー符号化部を備える装置が、前処理装置３１として、その他の構成部（すなわち、従来型の符号化装置が備える構成部）とは独立して備えられる点である。

この場合、図５に例示した構成のように、変換後画像メモリ３０６に変換後画像が蓄積され、補助情報抽出部３０３が変換後画像メモリ３０６に蓄積された変換後画像を参照する構成であってもよい。前処理装置３１に含まれる構成部以外の構成部は、従来型符号化装置３２として独立して構成される。従来型符号化装置３２として、例えば、ＨＥＶＣのイントラ符号化装置のほか、ＪＰＥＧ（Joint Photographic Experts Group）等の画像符号化標準に則った符号化装置等を用いることができる。

なお、符号化装置３０の処理の流れは図１に示した処理フローと共通であるため、説明を省略する。

［復号装置の構成例］
次に、第２の実施形態における復号装置４０の構成を図６に示す。図示するように、復号装置４０は、従来型復号装置４１と、後処理装置４２と、から構成される。従来型復号装置４１は、エントロピー復号部４０１と、逆変換／逆量子化部４０２と、イントラ予測部４０３と、予測用メモリ４０４と、を含んで構成される。後処理装置４２は、再構成部４０５と、符号化方式判定部４０６と、補助情報エントロピー復号部４０７と、を含んで構成される。

図６に示すように、第２の実施形態における復号装置４０と第１の実施形態における復号装置２０との違いは、符号化方式判定部、補助情報エントロピー復号部、再構成部を備える装置が、後処理装置４２として、その他の構成部（すなわち、従来型の復号装置が備える構成部）とは独立して備えられる点である。

この場合、図６に例示した構成のように、出力ピクチャメモリ４０８に出力ピクチャが蓄積され、再構成部４０５が出力ピクチャメモリ４０８に蓄積された出力ピクチャを参照する構成であってもよい。後処理装置４２に含まれる構成部以外の構成部は、従来型復号装置４１として独立して構成される。

なお、復号装置４０の処理の流れは図３に示した処理フローと共通であるため、説明を省略する。

以上説明した第２の実施形態に係る符号化方法及び復号方法によれば、従来の符号化装置及び復号装置と併用が可能な、前処理装置３１及び後処理装置４２を実現することができる。これにより、標準規格と、前処理装置３１及び後処理装置４２とにおいて、符号化効率の改善が加算的となるため、第２の実施形態に係る符号化方法及び復号方法によれば、標準規格に基づく符号化装置が高効率化した場合に、符号化装置３０全体の符号化効率を改善できる。

以下、再構成対象ブロックを、機械学習を用いた画像の補間合成処理により復号側で再構成する手段について説明する。当然、本手段を上記第１及び第２の実施形態において用いることは可能である。
＜第３の実施形態＞
以下、第３の実施形態について、図面を参照しながら説明する。

上述したように、ＨＥＶＣにおいて選択可能な各予測方式（Ｐｌａｎａｒ予測、ＤＣ予測及び方向性予測）は参照可能な画素を参照し、単純な予測ルールに基づいて予測を行うが、例えば画面内に高周波成分が無作為に分布する画像では予測効率が低下するという課題がある。このような画像では、予測残差信号の情報量が多くなるため、予測残差信号の量子化幅を一定として符号化した場合、符号量が過剰に発生する。

このような画像に対しても主観品質を保持したまま符号量を削減する圧縮符号化を実現する方法として、予測方式の高精度化以外に、上記の予測とは異なり、擬似的に画像を再構成する処理方式を導入する方法が考えられる。

非特許文献１に記載の技術（以下、「従来技術１」という。）によれば、畳み込みニューラルネットワークにより構成される補間ネットワークと、畳み込みニューラルネットワークにより構成され補間ネットワークが補間した補間画像と補間されていない真の画像を識別する識別ネットワークの２つのネットワークを、敵対的生成ネットワークの枠組みに倣って交互に学習することで、補間ネットワークが画像の欠損領域を擬似的に再構成できるようになる。

従来技術１の補間ネットワークを復号側に適用することで、上述の予測効率が低下する画像の領域に対し復号側で画像を再構成でき、再構成領域の送信が不要になることから、符号量を削減することができる。

［補間ネットワークを用いた画像符号化、復号処理の例］
補間ネットワークを用いた画像符号化、復号処理の例を図７に示す。

画像欠損処理は、入力画像から画像補間により復号側で再構成対象とする領域を選択し、欠損させて欠損画像を生成し、欠損領域を示す欠損領域情報とともに出力する（ステップＳ３０１）。ここで、欠損領域情報は欠損領域を示す２値画像等である。

欠損領域情報符号化処理は、欠損領域情報を復号側に送信するため、欠損領域情報を符号化する処理を、ＪＰＥＧ（Joint Photographic Experts Group）やＨＥＶＣ等の従来の画像符号化方式や、ランレングス符号化等のエントロピー符号化方式により行う。これにより、欠損領域情報符号化処理は、欠損領域情報の符号化データを得る（ステップＳ３０２）。

画像符号化処理は、欠損画像をＪＰＥＧやＨＥＶＣ等の従来の画像符号化方式を用いて符号化処理を行う。これにより、画像符号化処理は、欠損画像の符号化データを得る（ステップＳ３０３）。

画像復号処理は、欠損画像の符号化データから復号済み欠損画像を得る（ステップＳ３０４）。

欠損領域情報復号処理は、欠損領域情報の符号化データから、欠損領域情報を得る（ステップＳ３０５）。

画像補間処理は、従来技術１の補間ネットワークに対し、復号済み欠損画像と欠損領域情報とを入力し、最終的な出力画像を得る。なお、符号化処理及び復号処理の処理単位は、画面全体としてもよいし、ＨＥＶＣのＣＴＵのような構造を用いて画面を分割したブロック単位としてもよい（ステップＳ３０６）。

［符号化装置及び復号装置の構成例］
上記の符号化処理及び復号処理を実現する符号化装置５０及び復号装置６０の構成例を、図８に示す。図示するように、符号化装置５０は、画像欠損処理部５０１と、画像符号化部５０２と、欠損領域情報符号化部５０３と、から構成される。

画像欠損処理部５０１は、入力画像を入力とし、画像欠損処理を行う。これにより、画像欠損処理部５０１は、欠損画像と欠損領域情報を出力する。

画像符号化部５０２は、欠損画像を入力とし、画像符号化処理を行う。これにより、画像符号化部５０２は、欠損画像の符号化データを出力する。

欠損領域情報符号化部５０３は、欠損領域情報を入力とし、欠損領域情報符号化処理を行う。これにより、欠損領域情報符号化部５０３は、欠損領域情報の符号化データを出力する。

欠損画像の符号化データならびに欠損領域情報の符号化データは、復号装置６０に送信される。

図８に示すように、復号装置６０は、画像復号部６０１と、欠損領域情報復号部６０２と、画像補間部６０３と、から構成される。

画像復号部６０１は、欠損画像の符号化データを入力とし、画像復号処理を行う。これにより、画像復号部６０１は、復号済み欠損画像を得る。

欠損領域情報復号部６０２は、欠損領域情報の符号化データを入力とし、欠損領域情報復号処理を行う。これにより、欠損領域情報を得る。

画像補間部６０３は、画像補間ネットワーク６０４を備え、復号済み欠損画像と欠損領域情報を入力とし、画像補間処理を行う。これにより、画像補間部６０３は、最終的な出力画像を得る。

上記の構成では、画像補間処理において欠損画像の欠損領域の面積に出力画像の主観画質が大きく依存する。具体的には、補間すべき欠損領域の面積が大きくなるほど、補間ネットワークに入力される情報量が少なくなるため、画像補間処理における欠損領域の推定が困難となり、出力画像の主観画質が劣化する。また、上記の構成では、補間すべき欠損領域に、参照可能な領域から推論できない複雑な要素が含まれていた場合に、復号側で再構成されない、もしくは出力の主観画質が劣化する。

よって、欠損領域の面積が大きな場合や欠損領域が複雑な場合にも、主観画質の劣化を抑制しながら画像補間処理を実行できる画像補間処理を含む符号化方式及び復号方式、ならびに構成要素となるネットワークの効率的な学習方法が望まれる。

以下、畳み込みニューラルネットワークを用い、識別ネットワークを用いた敵対的生成ネットワークによる学習を例に、本発明の第３の実施形態について説明するが、本発明は畳み込みニューラルネットワークによる画像補間及び敵対的生成ネットワークの枠組みによる学習に限定されるものではない。つまり、画像補間に対しては、学習によりその画像補間方法が獲得される任意の学習モデルを適用できる。また、その学習方法に対しては、任意の誤差関数を用いた学習方法を適用できる。

第３の実施形態では、符号化装置は、原画像を参照して特徴抽出を行い、画像補間を補助するための画像補間補助情報を、復号装置へ送信する。復号装置は、画像補間補助情報を用いて画像補間を行う。また、画像補間補助情報の抽出及び画像補間に用いられるネットワークは、ネットワーク毎に個別に最適化がなされた後、各ネットワークが結合されて全体最適化される。

［符号化処理及び復号処理の流れ］
まず、本発明による補間ネットワーク及び補助情報抽出ネットワークを用いた符号化処理及び復号処理について概要を説明する。
図９に、第３の実施形態による符号化処理及び復号処理の流れを示す。

画像欠損処理は、入力画像から画像補間により復号側で再構成対象とする領域を選択する。画像欠損処理は、当該領域を、例えば平均値に置き換える等の処理により欠損させて欠損画像を生成する。画像欠損処理は、生成した欠損画像を、欠損させた領域の画素値の集合である欠損領域の位置を示す欠損領域情報とともに出力する。

ここで、欠損領域情報としては、例えば欠損領域を示す２値マスク画像（以下、欠損領域マスク画像）を用いることができる。また、画像欠損処理における領域選択方法としては、ＨＥＶＣのイントラ符号化において固定量子化幅を用いた際の発生符号量が多い領域を選択する方法、又は、画像認識で用いられる物体毎に領域分割を実行し補間可能な領域として選択する方法等を用いることができる（ステップＳ４０１）。

補助情報抽出処理は、入力画像のうち欠損領域情報から導出される欠損領域に対応する領域、又は、入力画像そのものから、画像補間補助情報抽出のためのネットワークを用いて画像補間補助情報を抽出する（ステップＳ４０２）。画像補間補助情報抽出のためのネットワークの詳細は後述する。

補助情報符号化処理は、補助情報抽出処理によって抽出された画像補間補助情報を、ハフマン符号化等の従来のエントロピー符号化方式により符号化する。これにより、補助情報符号化処理は、画像補間補助情報の符号化データを得る（ステップＳ４０３）。

欠損領域情報符号化処理は、欠損領域情報を復号側に送信するため、再構成対象領域を符号化する処理を、ＪＰＥＧやＨＥＶＣ等の従来の画像符号化方式や、ランレングス符号化等のエントロピー符号化方式により行う。これにより、欠損領域情報符号化処理は、欠損領域情報の符号化データを得る（ステップＳ４０４）。

画像符号化処理は、欠損画像に対して、ＪＰＥＧやＨＥＶＣ等の従来の画像符号化方式を用いて符号化処理を行う。これにより、画像符号化処理は、欠損画像の符号化データを得る（ステップＳ４０５）。

画像復号処理は、欠損画像の符号化データから、復号済み欠損画像を得る（ステップＳ４０６）。

欠損領域情報復号処理は、欠損領域情報の符号化データから、欠損領域情報を得る（ステップＳ４０７）。

補助情報復号処理は、画像補間補助情報の符号化データから、画像補間補助情報を得る（ステップＳ４０７）。

画像補間処理は、画像補間のためのネットワークに、復号済み欠損画像、欠損領域情報、及び画像補間補助情報を入力し、最終的な出力画像を得る。画像補間のためのネットワークの詳細については、後述する（ステップＳ４０８）。

なお、符号化処理及び復号処理の処理単位は、画面全体としてもよいし、ＨＥＶＣのＣＴＵのような構造を用いて画面を分割したブロック単位としてもよい。

［符号化装置及び復号装置の構成例］
次に、上記の符号化処理及び復号処理を実現する符号化装置及び復号装置の構成例を、図１０に示す。図示するように、符号化装置７０は、画像欠損処理部７０１と、画像符号化部７０２と、欠損領域情報符号化部７０３と、補助情報抽出部７０４と、補助情報符号化部７０５と、から構成される。

画像欠損処理部７０１は、入力画像を入力とし、画像欠損処理を行う。これにより、画像欠損処理部７０１は、欠損画像と欠損領域情報とを出力する。

画像符号化部７０２は、欠損画像を入力とし、画像符号化処理を行う。これにより、画像符号化部７０２は、欠損画像の符号化データを出力する。

欠損領域情報符号化部７０３は、欠損領域情報を入力とし、欠損領域情報符号化処理を行う。これにより、欠損領域情報符号化部７０３は、欠損領域情報の符号化データを出力する。

補助情報抽出部７０４は、入力画像のうち欠損領域情報から導出される欠損領域に対応する領域、又は、欠損領域でない領域を含む画像全体を入力とし、補助情報抽出処理を行う。これにより、補助情報抽出部７０４は、画像補間補助情報を抽出する。

補助情報符号化部７０５は、画像補間補助情報を入力とし、補助情報符号化処理を行う。これにより、補助情報符号化部７０５は、画像補間補助情報の符号化データを出力する。

欠損画像の符号化データ、欠損領域情報の符号化データ及び画像補間補助情報の符号化データは、復号装置８０へ送信される。

図１０に示すように、復号装置８０は、画像復号部８０１と、欠損領域情報復号部８０２と、画像補間部８０３と、補助情報復号部８０５と、から構成される。

画像復号部８０１は、欠損画像の符号化データを入力とし、画像復号処理を行う。これにより、画像復号部８０１は、復号済み欠損画像を得る。

欠損領域情報復号部８０２は、欠損領域情報の符号化データを入力とし、欠損領域情報復号処理を行う。これにより、欠損領域情報復号部８０２は、欠損領域情報を得る。

補助情報復号部８０５は、画像補間補助情報の符号化データを入力とし、補助情報復号処理を行う。これにより、補助情報復号部８０５は、画像補間補助情報を得る。

画像補間部８０３は、復号済み欠損画像、欠損領域情報及び画像補間補助情報を入力とし、画像補間補助情報を参照した画像補間処理を行う。これにより、画像補間部８０３は、最終的な出力画像を得る。

［補助情報抽出部と画像補間部の構成ならびに学習方法］
次に、補助情報抽出部７０４及び画像補間部８０３の構成、ならびに学習方法について説明する。

補助情報抽出部７０４及び画像補間部８０３のネットワークの構成を図１１に示す。図示するように、補助情報抽出部７０４は、復号側に送信する画像補間補助情報を抽出するための補助情報抽出ネットワーク７０４１から構成される。

補助情報抽出ネットワーク７０４１は、入力画像及び欠損領域情報を入力として、画像補間補助情報を出力するネットワークである。補助情報抽出ネットワーク７０４１は、例えば入力を入力画像及び欠損領域マスク画像の２枚の画像とし、出力を任意の数のユニットとして、畳み込み層や全結合層等により中間層を構成する。

図１１に示すように、画像補間部８０３は、画像補間補助情報を参照して欠損領域を予測するための補助情報参照ネットワーク８０３１、欠損画像を参照して欠損領域を予測するための欠損画像参照ネットワーク８０３２、及び、前記２つのネットワークの出力から最終的な補間画像を生成するための再構成ネットワーク８０３３から構成される。

補助情報参照ネットワーク８０３１は、画像補間補助情報を入力として、補助情報参照による中間画像を出力するネットワークである。補助情報参照ネットワーク８０３１は、例えば入力を画像補間補助情報と同数のユニットとし、出力を１枚の補助情報参照による中間画像として、全結合層、逆畳み込み層、及び、畳み込み層等により中間層を構成する。

欠損画像参照ネットワーク８０３２は、入力画像の欠損画像及び欠損領域マスク画像を入力として、欠損画像参照による中間画像を出力するネットワークである。欠損画像参照ネットワーク８０３２は、例えば入力を入力画像の欠損画像及び欠損領域マスク画像の２枚の画像、出力を１枚の欠損画像参照による中間画像として、畳み込み層、全結合層、及び、逆畳み込み層等により中間層を構成する。

再構成ネットワーク８０３３は、補助情報参照による中間画像及び欠損画像参照による中間画像を入力として、欠損領域が補間された最終的な出力画像を出力するネットワークである。再構成ネットワーク８０３３は、例えば入力を２枚の中間画像とし、出力を１枚の出力画像として、畳み込み層、全結合層、及び、逆畳み込み層等により中間層を構成する。

以上の構成により、補助情報抽出部７０４及び画像補間部８０３を学習する。学習時は、従来技術１と同様に、敵対的生成ネットワークの枠組みを用いることができる。このとき、従来技術１と同様、補間した領域の自然さを評価するための識別ネットワーク９０００は、画像補間部８０３の出力画像を入力とし、出力画像が補間されていない真の画像である確率を出力する。

次に、図１１の構成を用いたネットワークの学習方法について説明する。学習処理は、教師データとして、原画像と、原画像に欠損領域をランダムに与えて生成した原画像の欠損画像と、欠損領域情報との組を多数用意する。学習で用いる誤差関数としては、例えば原画像とネットワークの出力画像の画素の平均二乗誤差（以下、平均二乗誤差）、及び敵対的生成ネットワークの枠組みを適用し、識別ネットワークによってネットワークの出力画像が識別された誤差（以下、「識別ネットワーク誤差」という。）、又は平均二乗誤差と識別ネットワーク誤差の重み付き和による誤差（以下、重み付き誤差）のいずれかを用いることができる。

［ネットワークの学習方法］
学習処理の流れを図１２に示す。

欠損画像参照ネットワーク学習処理は、図１１の欠損画像参照ネットワーク８０３２及び識別ネットワーク９０００を切り出し、図１３のように結合して、欠損画像参照ネットワーク８０３２の出力を識別ネットワーク９０００への入力とみなし、欠損画像参照ネットワーク８０３２を学習する（ステップＳ５０１）。

具体的には、欠損画像参照ネットワーク学習処理は、原画像の欠損画像と欠損領域情報とを欠損画像参照ネットワーク８０３２に入力し、出力される画像が原画像に近付くよう、誤差逆伝播法によりネットワークのパラメータを更新する。ここで、欠損画像参照ネットワーク学習処理は、誤差関数として、まず平均二乗誤差を適用して学習を行った後、重み付き誤差を適用して学習を行う。以降の各ネットワークの学習処理でも、同様に平均二乗誤差を用いて学習が行われた後、重み付き誤差を用いて学習が行われる。

補助情報抽出／参照ネットワーク学習処理は、図１１の補助情報抽出ネットワーク７０４１、補助情報参照ネットワーク８０３１、及び識別ネットワーク９０００を切り出し、図１４のように結合して、補助情報参照ネットワーク８０３１の出力を識別ネットワーク９０００への入力とみなし、補助情報抽出ネットワーク７０４１と補助情報参照ネットワーク８０３１とを学習する（ステップＳ５０２）。

具体的には、補助情報抽出／参照ネットワーク学習処理は、原画像と欠損領域情報とを、補助情報抽出ネットワーク７０４１及び補助情報参照ネットワーク８０３１が結合されたネットワークに入力する。補助情報抽出／参照ネットワーク学習処理は、出力される画像が原画像に近付くよう、平均二乗誤差と重み付き誤差を順に適用して、誤差逆伝播法によりネットワークのパラメータを更新する。

再構成ネットワーク学習処理は、欠損画像参照ネットワーク学習処理及び補助情報抽出／参照ネットワーク学習処理で構築された欠損画像参照ネットワーク８０３２、補助情報抽出ネットワーク７０４１、補助情報参照ネットワーク８０３１、再構成ネットワーク８０３３、及び識別ネットワーク９０００を図１１のように結合し、再構成ネットワーク８０３３のみ学習する（ステップＳ５０３）。

具体的には、再構成ネットワーク学習処理は、原画像、原画像の欠損画像、及び欠損領域情報を結合されたネットワークに入力し、出力される画像が原画像に近付くよう、平均二乗誤差と重み付き誤差を順に適用して、再構成ネットワークのパラメータのみを誤差逆伝播法により更新する。

全体学習処理は、再構成ネットワーク学習処理において図１１のように結合された、欠損画像参照ネットワーク８０３２、補助情報抽出ネットワーク７０４１、補助情報参照ネットワーク８０３１、及び再構成ネットワーク８０３３を同時に学習する（ステップＳ５０４）。

具体的には、全体学習処理は、原画像、原画像の欠損画像、及び欠損領域情報を結合されたネットワークに入力し、出力される画像が原画像に近付くよう、平均二乗誤差と重み付き誤差を順に適用して、全ネットワークのパラメータを誤差逆伝播法により更新する。なお、補助情報抽出ネットワークのみネットワークのパラメータを固定して学習する構成であってもよい。

なお、上記の誤差関数の適用順は一例であり、識別ネットワーク９０００を含む敵対的生成ネットワークの枠組みを用いずに学習してもよく、識別ネットワーク誤差や平均二乗誤差、もしくは重み付き誤差を、学習の反復回数等に応じて随時変更しながら適用してもよい。

また、敵対的生成ネットワークの枠組みで学習する場合には、図１２の各ネットワークの学習処理とは独立に、識別ネットワーク９０００を、反復回数や識別ネットワーク９０００の正解率に応じて学習する構成であってもよい。

識別ネットワーク９０００の学習では、例えば図１２の各学習処理で用いられるネットワークの出力画像と原画像とを交互に識別ネットワーク９０００に入力して、入力が原画像である確率を出力させ、出力と０又は１の正解値との誤差を相互情報量等の誤差関数によって評価して、誤差逆伝播法によりパラメータを更新すればよい。

また、各学習処理の終了は、反復回数や誤差の減少に対する閾値処理を用いて判定してもよい。なお、処理の単位は、画面全体としてもよいし、ＨＥＶＣのＣＴＵのような構造を用いて画面を分割したブロック単位としてもよい。

以上説明したように、第３の実施形態における符号化方法及び復号方法は、従来技術における補間ネットワークを復号側に適用し画像生成により出力画像を得る方法とは異なり、画像補間補助情報を用いて画像生成を行う。これにより、第３の実施形態における符号化方法及び復号方法は、従来技術を用いる方法に対して予測精度を向上させることができ、原画の特徴を用いた生成を実現することができる。

また、第３の実施形態における符号化方法及び復号方法は、送信する画像補間補助情報を学習により決定可能なことから、従来のＨＥＶＣのような人手の試行錯誤により決定された画像補間補助情報の抽出に比べて、より高精度な再構成結果が得られる画像補間補助情報を抽出することができる。さらに、第３の実施形態における符号化方法及び復号方法は、ネットワークの学習順序や適用する誤差関数を制御することで、学習すべき複雑な構成のネットワークに対し、意図する動作を各ネットワークに獲得させることができる。

上述した従来技術１では、画像の補間ネットワークを学習により獲得する方法が提案されているが、この補間ネットワークを画像符号化の枠組みにおける復号側に適用する場合、特に広い面積を補間する場合や、補間したい領域が周囲から推論できない程度に複雑な場合に生成精度が低下する。

一方、第３の実施形態における符号化方法及び復号方法は、符号化側に補助情報抽出部７０４を設け、補間ネットワークに画像補間補助情報を与えることでこれを解決する。また、このとき、画像補間補助情報を定義する補助情報抽出ネットワーク７０４１も学習により獲得することで、第３の実施形態における符号化方法及び復号方法は、ＨＥＶＣ等の画像符号化のように、人手で設計した画像補間補助情報に比べて、画像生成の精度がより高まる画像補間補助情報を抽出することができる。

第３の実施形態における符号化方法及び復号方法の構成は、画像補間補助情報を生成する補助情報抽出部７０４も含めて、学習によりネットワークのパラメータを獲得させることから、補助情報抽出部７０４及び画像補間部８０３を同時に学習した場合に、各ネットワークに意図する動作を学習させることが難しい。特に、敵対的生成ネットワークの枠組みを用いた場合は、学習の調整が難しいためこの傾向は顕著となる。

しかしながら、第３の実施形態における符号化方法及び復号方法では、補助情報抽出部７０４及び画像補間部８０３を、役割毎のネットワークに分割し、学習の反復回数によって学習対象とするネットワーク及び適用する誤差関数を制御することで、各ネットワークに意図する動作を獲得させることができる。

＜第４の実施形態＞
以下、第４の実施形態について、図面を参照しながら説明する。

第４の実施形態は、第３の実施形態と，補助情報抽出部及び画像補間部のネットワークの構成が異なり、画像補間補助情報を、欠損画像参照ネットワークの出力と入力画像の差分とから生成する。

第４の実施形態におけるネットワークの構成を、図１５に示す。図示するように、補助情報抽出部７０４は、補助情報抽出ネットワーク７０４１と、画像補間部８０３と共通のネットワークのパラメータを用いた欠損画像参照ネットワーク８０３２と、から構成される。

補助情報抽出ネットワーク７０４１は、入力画像と欠損画像参照による中間画像の差分、及び欠損領域情報を入力として、画像補間補助情報を出力するネットワークである。補助情報抽出ネットワーク７０４１は、例えば入力を入力画像と欠損画像参照による中間画像との差分画像、及び欠損領域マスク画像の２枚の画像とし、出力を任意の数のユニットとして、畳み込み層及び全結合層等により中間層を構成する。

図１５に示すように、画像補間部８０３は、補助情報参照ネットワーク８０３１と、欠損画像参照ネットワーク８０３２と、再構成ネットワーク８０３３と、から構成される。これら各ネットワークの入出力は、欠損画像参照ネットワーク８０３２を除き第３の実施形態と共通である。

補助情報参照ネットワーク８０３１は、画像補間補助情報を入力として、補助情報参照による中間画像を出力するネットワークである。

欠損画像参照ネットワーク８０３２は、入力画像の欠損画像と欠損領域マスク画像とを入力として、欠損画像参照による中間画像を出力するネットワークである。

欠損画像参照による中間画像は、画像補間部８０３の構成要素として、再構成ネットワーク８０３３に入力される。また、欠損画像参照による中間画像と入力画像との差分が、補助情報抽出部７０４の構成要素として、補助情報抽出ネットワーク７０４１に入力される。

再構成ネットワーク８０３３は、補助情報参照による中間画像と欠損画像参照による中間画像とを入力として、欠損領域が補間された最終的な出力画像を出力するネットワークである。

以上の構成によって、補助情報抽出部７０４及び画像補間部８０３の学習が行われる。なお、学習の処理は第３の実施形態と共通であるが、補助情報抽出／参照ネットワーク学習処理におけるネットワークの構成が図１６のようになる。当該処理では、図１６の構成で、補助情報抽出ネットワーク７０４１及び補助情報参照ネットワーク８０３１のみの学習が行われる。

以上説明したように、第４の実施形態による補助情報抽出部７０４は、第３の実施形態のように原画像を直接入力とすることもできるが、上述したように復号側と符号化側で周辺ブロックからの予測結果（欠損画像参照による中間画像）を共通にするという前提を置くことによって、原画像と周辺ブロックからの予測画像との差分画像を入力とすることができる。これにより、画像補間部８０３の出力画像が原画像から離れすぎないようにする制約を明示的に導入することができ、補間結果の主観品質が向上する。

上述した実施形態における符号化装置及び復号装置の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０，３０…符号化装置、１０１，３０１…ブロック分割部、１０２，３０２…符号化方式判定部、１０３，３０３…補助情報抽出部、１０４．３０４…補助情報エントロピー符号化部、１０５，３０５…画像変換部、３０６…変換後画像メモリ、１０７，３０７…イントラ予測部、１０８，３０８…変換／量子化部、１０９，３０９…エントロピー符号化部、１１０，３１０…逆量子化／逆変換部、１１１，３１１…予測用メモリ、２０…復号装置、２０１，４０１…エントロピー復号部、２０２，４０２…逆変換／逆量子化部、
２０３，４０３…イントラ予測部、２０４，４０４…予測用メモリ、２０５，４０５…再構成部、２０６，４０６…符号化方式判定部、２０７，４０７…補助情報エントロピー復号部、４０８…出力ピクチャメモリ、５０，７０…符号化装置、５０１，７０１…画像欠損処理部、５０２，７０２…画像符号化部、５０３，７０３…欠損領域情報符号化部、７０４…補助情報抽出部、７０４１…補助情報抽出ネットワーク、７０５…補助情報符号化部、６０，８０…復号装置、６０１，８０１…画像復号部、６０２，８０２…欠損領域情報復号部、６０３，８０３…画像補間部、８０３１…補助情報参照ネットワーク、８０３２…欠損画像参照ネットワーク、８０３３…再構成ネットワーク、６０４…画像補間ネットワーク、８０５…補助情報復号部、９０００…識別ネットワーク

Claims (8)

1. 画像を符号化する符号化装置であって、
   第一の画像に含まれる、所定の条件に合致する領域を取得する領域取得部と、
   前記第一の画像と、取得された領域と、前記第一の画像から前記取得された領域が除かれた領域と、を関連付けることで、第二の画像を得る画像取得部と、
   前記第二の画像を符号化する符号化部と、
   前記第一の画像と前記取得された領域とを入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、
   前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、
   前記取得された領域が除かれた領域と前記取得された領域とを入力として欠損画像参照による第二の中間画像を出力する欠損画像参照ネットワークと、
   前記第一の中間画像と前記第二の中間画像とを入力として前記第二の画像を出力する再構成ネットワークと、
   を備える符号化装置。
2. 画像を符号化する符号化装置であって、
   第一の画像に含まれる、所定の条件に合致する領域を取得する領域取得部と、
   前記第一の画像と、取得された領域と、前記第一の画像から前記取得された領域が除かれた領域と、を関連付けることで、第二の画像を得る画像取得部と、
   前記第二の画像を符号化する符号化部と、
   前記第一の画像と欠損画像参照ネットワークから出力された第二の中間画像との差分画像と、前記取得された領域と、を入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、
   前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、
   前記取得された領域が除かれた領域と前記取得された領域とを入力として欠損画像参照による前記第二の中間画像を出力する前記欠損画像参照ネットワークと、
   前記第一の中間画像と前記第二の中間画像とを入力として前記第二の画像を出力する再構成ネットワークと、
   を備える符号化装置。
3. 前記欠損画像参照ネットワークは、前記第二の中間画像と前記第一の画像との画素誤差を最小化するように、前記第二の中間画像についての学習パラメータの学習を行う
   請求項１又は請求項２に記載の符号化装置。
4. 前記補助情報抽出ネットワークは、前記補助情報参照ネットワークによって出力される第一の中間画像と第一の画像との画素誤差を最小化するように、前記補助情報についての学習パラメータの学習を行う
   請求項１から請求項３のうちいずれか一項に記載の符号化装置。
5. 前記補助情報参照ネットワークは、前記第一の中間画像と前記第一の画像との画素誤差を最小化するように、前記第一の中間画像についての学習パラメータの学習を行う
   請求項１から請求項４のうちいずれか一項に記載の符号化装置。
6. 第一の画像を補間する画像補間システムであって、
   第二の画像と、前記第二の画像に含まれる所定の条件に合致する領域である合致領域と、前記第二の画像から前記合致領域を除いた領域と、を関連付けることで、前記第一の画像及び補助情報を得る取得部と、
   前記補助情報を用いて前記第一の画像を補間し、前記第二の画像に近似する画像を得る補間部と、
   前記第二の画像と前記合致領域とを入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、
   前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、
   前記合致領域が除かれた領域と前記合致領域とを入力として欠損画像参照による第二の中間画像を出力する欠損画像参照ネットワークと、
   前記第一の中間画像と前記第二の中間画像とを入力として前記第一の画像を出力する再構成ネットワークと、
   を有する画像補間システム。
7. 第一の画像を補間する画像補間システムであって、
   第二の画像と、前記第二の画像に含まれる所定の条件に合致する領域である合致領域と、前記第二の画像から前記合致領域を除いた領域と、を関連付けることで、前記第一の画像及び補助情報を得る取得部と、
   前記補助情報を用いて前記第一の画像を補間し、前記第二の画像に近似する画像を得る補間部と、
   前記第二の画像と欠損画像参照ネットワークから出力された第二の中間画像との差分画像と、前記合致領域と、を入力として画像補間を補助する情報である補助情報を出力する補助情報抽出ネットワークと、
   前記補助情報を入力として補助情報参照による第一の中間画像を出力する補助情報参照ネットワークと、
   前記合致領域が除かれた領域と前記合致領域とを入力として欠損画像参照による前記第二の中間画像を出力する前記欠損画像参照ネットワークと、
   前記第一の中間画像と前記第二の中間画像とを入力として前記第一の画像を出力する再構成ネットワークと、
   を有する画像補間システム。
8. 請求項１から請求項５のうちいずれか一項に記載の符号化装置としてコンピュータを機能させるための符号化プログラム。

Images