JP5673550B2 - 画像修復システム、画像修復方法及び画像修復プログラム - Google Patents

Description

本発明は、画像修復システム、画像修復方法および画像修復プログラムに関し、特に利用者の意図と異なる画像中の領域を修復する画像修復システム、画像修復方法及び画像修復プログラムに関する。

コンテンツを作成するために画像を利用する場合、その画像中に利用者の意図と反する領域が存在する場合がある。利用者の意図と反する領域の具体的な例としては、画像中の傷や汚れ、もしくは、撮影中に写りこんでしまった人物などが挙げられる。このような領域を含む画像を修正することなくコンテンツ作成に利用した場合、コンテンツの質の低下、もしくは、プライバシーの侵害といった問題を生じさせる可能性がある。このような問題を解決するため、利用者は、意図と反する領域を画像中から取り除き、取り除かれた部分を違和感無く修復した画像を用いてコンテンツを作成すればよい。

図２０を用いてより詳しく説明する。図２０は、利用者の意図と反する領域を修復する方法を示す説明図である。図２０において、画像２０００は、画像修復前の画像を表しており、画像２００２は画像修復後の画像を表している。例えば、画像利用者にとって、画像２０００中の領域２００１が利用者の意図と反する領域である場合、画像２０００から領域２００１の部分を取り除き、さらに取り除かれた部分を２００３のように周囲の画像に応じて修復する。このように修復された画像を利用することで、上述の問題を解決することができる。

このように画像を修復する場合、画像中のある領域に含まれる画素の集合（以下、パッチと記す。）を利用する手法が有効である。以下の説明では、画像中で修復対象になる領域（すなわち、利用者の意図と異なる領域）を欠損領域と記し、欠損領域が含まれる画像を欠損画像と記す。また、欠損画像中の欠損領域以外の領域（すなわち、欠損領域を含まない画像中の領域）を非欠損領域と記す。パッチを利用した手法では、欠損領域中の修復したい箇所に、画像中の非欠損領域のある箇所の画素値を貼り付けることで画像を修復する。

欠損領域を有する画像をパッチを利用して修復する方法について、図２１及び図２２を用いてより詳しく説明する。図２１は、修復前の画像を表す説明図である。また、図２２は修復後の画像を表す説明図である。以下、図２１に示す、修復される領域１０１を含む画像１０２が、図２２に示す画像１０５の状態に修復されるプロセスについて具体的に説明する。図２１における画像１０２には、欠損領域として箇所１０３、箇所１０６及び箇所１０７が存在し、非欠損領域として箇所１０４、箇所１０８及び箇所１０９が存在する。まず、画像１０２中の欠損領域である箇所１０３に、非欠損領域の箇所１０４の画素値を対応付ける。そして、箇所１０４を用いて箇所１０３を修復することで、欠損領域１０１の一部が修復された画像１０５を得ることができる。このようなプロセスを欠損領域がなくなるまで繰り返すことで、図２２のような修復された画像１１０が得られる。

なお、以下の説明では、箇所１０３のように、画像中に修復される箇所（すなわち、欠損領域）を含む小領域を欠損パッチと記し、箇所１０４のように欠損パッチの修復箇所を修復するために利用される小領域を参照パッチと記す。参照パッチは、欠損パッチを修復する範囲に対応する領域であり、欠損領域を含まない領域である。欠損パッチとしては、箇所１０３以外に、箇所１０６や箇所１０７などが候補として挙げられる。以下の説明では、これらの候補を欠損パッチ候補と記す。同様に、参照パッチとしては、箇所１０４以外に、箇所１０８や箇所１０９などが候補として挙げられる。以下の説明では、これらの候補を参照パッチ候補と記す。

パッチを利用した技術として、例えば、非特許文献１に記載された方法が知られている。非特許文献１に記載された方法は、欠損領域の境界上でのみ定義される欠損パッチ候補から、非欠損領域の輝度勾配などを元に修復する欠損パッチや修復順序を決定する。そして、決定された欠損パッチと参照パッチ候補との間で、非欠損領域における画素値の差分により得られる類似度を元に参照パッチを決定する。以下、これらの処理を逐次的に行うことで画像を修復する。

図２３を用いて、非特許文献１に記載された方法についてより詳しく説明する。図２３は、非特許文献１に記載された方法を説明する説明図である。図２３における画像３００のような欠損画像が存在するとき、非特許文献１に記載された方法では、まず、欠損領域の境界上でのみ定義される欠損パッチ候補から、非欠損領域の輝度勾配などの情報より修復対象の欠損パッチを選択する。具体的には、欠損領域上のパッチ候補であるパッチ３０１、パッチ３０２、パッチ３０３などから、非欠損領域の輝度勾配などの情報より、修復対象として欠損パッチ３０１が選択される。

次に、欠損パッチ３０１と参照パッチ候補（例えば、パッチ３０４、パッチ３０５、パッチ３０６など）との類似度を計算し、類似度が最も高い参照パッチ３０４を選択する。なお、類似度は、欠損パッチ３０１の非欠損領域部分と最も近いパターンを持つ参照パッチが高い値を持つように定義される。具体的には、類似度は、欠損パッチ３０１における非欠損領域の画素と、その画素に対応する参照パッチの画素との画素値の差分の二乗和により定義される。最後に、欠損パッチ３０１の非欠損領域の画素の画素値を、選択された参照パッチ３０４の画素値に置き換えることで、画像３０７を得る。以上の処理を欠損領域がなくなるまで繰り返すことで、修復された画像を得ることができる。

図２４は、欠損パッチの画素に対応する参照パッチの画素について説明する説明図である。上述した欠損パッチの画素に対応する参照パッチの画素とは、例えば、図２４に示すように、５×５画素で構成されている欠損パッチ２１０１及び参照パッチ２１０２が存在する場合、欠損パッチの画素に対応する参照パッチの画素とは、画素２１０３に対応する画素が画素２１０４であり、画素２１０５に対応する画素が画素２１０６であることを意味する。

また、非特許文献１の方法を改良した手法として、非特許文献２に記載された方法が知られている。非特許文献２に記載された方法では、欠損パッチを選択する際に、輝度勾配量に加え、以前に選択された欠損パッチ及び参照パッチ間の類似度も考慮される。

A.Criminisi, P.Perez, and K.Toyama, "Region filling and object removal by exemplar-based image inpainting" IEEE Trans. Image Processing, vol.13, no.9, pp.1200−1212, 2004. B. Li, Y. Qi, and X. Shen, "An Image Inpainting Method," IEEE Conf. Computer Aided Design and Computer Graphics, pp 531−536, 2005.

しかし、非特許文献１及び非特許文献２に記載された技術は、いずれも、参照パッチ候補の画素値及び欠損パッチ候補中の非欠損領域の画素値のみを用いて、修復順序、もしくは、欠損パッチ候補と参照パッチ候補の類似度を決定する。そのため、欠損パッチ中の非欠損領域と、これに対応する参照パッチの領域を比較したときに、欠損パッチ中の非欠損領域とパターンが類似しているものが参照パッチ候補中に複数存在する場合、これら参照パッチ候補の区別をすることができない。そのため、参照パッチ候補の中から、修復画像を破綻させる参照パッチが選択される可能性がある。ここで、破綻した修復画像とは、欠損領域外から類推される構造とは異なる構造をもつ画像のことを意味する。

図２５及び図２６は、修復画像を破綻させる参照パッチが選択される場合を説明する説明図である。図２５に示す欠損画像には、欠損領域４０１が含まれる。このような画像に対し、非特許文献１に記載された手法を用いて画像修復を行った場合、図２６に示す破綻した修復画像が生成されてしまう。

以下、図２７を用いて、修復画像が破綻する原因についてより詳しく説明する。図２７は、欠損画像から破綻した修復画像が生成される過程を示す説明図である。図２７では、図２５に示す場合と同様に、欠損画像に欠損領域６０１を含んでいるものとする。非特許文献１に記載された手法により画像修復を行う場合、まず、画像中の輝度勾配量により、修復する領域として欠損パッチ６０２が選択される。次に、欠損パッチ６０２の欠損領域を修復するために、参照パッチが選択される。ここでは、参照パッチ候補がパッチ６０３及びパッチ６０４であるものとする。

図２８は、拡大したパッチを示す説明図である。図２８では、図２７に示す欠損パッチ６０２、参照パッチ候補であるパッチ６０３及びパッチ６０４を拡大したものを、それぞれ欠損パッチ６０２ａ、参照パッチ候補６０３ａ、参照パッチ候補６０４ａと記す。この場合、欠損パッチ６０２ａにおける非欠損領域６０２ｂと、参照パッチ候補６０３ａにおける領域６０３及び参照パッチ候補６０４ａにおける領域６０４ｂとのパターンは類似している。

非特許文献１に記載された手法では、修復に用いられる参照パッチを選択する際、欠損パッチと参照パッチ候補とを比較し、対応する非欠損領域のパターンの類似度のみにより決定する。よって、図２８に示す場合では、参照パッチ候補６０３及び参照パッチ候補６０４のどちらも、修復に利用されるパッチとして選択される可能性が高い。しかし、参照パッチ候補６０４が参照パッチとして選択され、参照パッチ候補６０４を用いて欠損パッチ６０２の欠損領域が修復された場合、図２７における画像６０５のように、修復画像に破綻が生じてしまうという問題がある。

そこで、本発明は、利用者の意図と異なる領域の存在する画像を破綻させることなく修復可能な画像修復システム、画像修復方法及び画像修復プログラムを提供することを目的とする。

本発明による画像修復システムは、画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する欠損画素値推定手段と、欠損領域を含む領域の画像である欠損パッチと、欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択するパッチ選択手段と、選択されたパッチの組における参照パッチをもとに欠損パッチを修復する画像修復手段とを備え、パッチ選択手段が、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択することを特徴とする。

本発明による画像修復方法は、画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定し、欠損領域を含む領域の画像である欠損パッチと、欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択し、パッチの組を選択する際には、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択し、選択されたパッチの組における参照パッチをもとに欠損パッチを修復することを特徴とする。

本発明による画像修復プログラムは、コンピュータに、画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する欠損画素値推定処理、欠損領域を含む領域の画像である欠損パッチと、欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択するパッチ選択処理、および、選択されたパッチの組における参照パッチをもとに欠損パッチを修復する画像修復処理を実行させ、パッチ選択処理で、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択させることを特徴とする。

本発明によれば、利用者の意図と異なる領域の存在する画像を破綻させることなく修復できる。

本発明の第１の実施形態における画像修復システムの例を示すブロック図である。 入力された画像から欠損領域を抽出するために用いられる処理の例を示す説明図である。 解析された情報をもとに確率分布を算出する方法の例を示す説明図である。 欠損パッチ候補及び参照パッチ候補の例を示す説明図である。 参照パッチを選択する方法の例を示す説明図である。 第１の実施形態における画像修復システムの動作の例を示すフローチャートである。 本発明の第２の実施形態における画像修復システムの例を示すブロック図である。 第２の実施形態における画像修復システムの動作の例を示すフローチャートである。 本発明の第３の実施形態における画像修復システムの例を示すブロック図である。 第３の実施形態における画像修復システムの動作の例を示すフローチャートである。 本発明の第４の実施形態における画像修復システムの例を示すブロック図である。 第４の実施形態における画像修復システムの動作の例を示すフローチャートである。 本発明の第５の実施形態における画像修復システムの例を示すブロック図である。 第５の実施形態における画像修復システムの動作の例を示すフローチャートである。 画像を修復する処理の例を説明する説明図である。 エッジの端点における角度と長さとの関係を説明する説明図である。 エッジ周辺の画素の画素値を修復する処理の例を示す説明図である。 欠損領域中の画素の画素値を修復する処理の例を示す説明図である。 本発明による画像修復システムの最小構成例を示すブロック図である。 利用者の意図と反する領域を修復する方法を示す説明図である。 修復前の画像を表す説明図である。 修復後の画像を表す説明図である。 非特許文献１に記載された方法を説明する説明図である。 欠損パッチの画素に対応する参照パッチの画素について説明する説明図である。 修復画像を破綻させる参照パッチが選択される場合を説明する説明図である。 修復画像を破綻させる参照パッチが選択される場合を説明する説明図である。 欠損画像から破綻した修復画像が生成される過程を示す説明図である。 拡大したパッチを示す説明図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明の第１の実施形態における画像修復システムの例を示すブロック図である。本実施形態における画像修復システムは、プログラム制御により動作するコンピュータ８００と、画像入力手段８０１と、修復画像出力手段８０２とを備えている。

これらの手段は、それぞれ概略次のように動作する。画像入力手段８０１は、例えば、利用者の指示に応じて、欠損領域を含む画像（欠損画像）をコンピュータ８００に入力する。画像入力手段８０１は、例えば、スキャナなどの入力装置により実現される。なお、画像入力手段８０１に入力される欠損画像は、欠損領域が明らかになるように、その欠損領域が予めマーカーなどを用いて指定された欠損画像であってもよい。

もしくは、入力画像がＲＧＢ（Red-Green-Blue color model）信号により表現されるＲＧＢ画像であり、例えば、欠損領域の画素値が（Ｒ、Ｇ、Ｂ）＝（２５５、０、０）と定義される場合、画像入力手段８０１は、欠損領域の画素にこの画素値が与えられた欠損画像を受け取り、コンピュータ８００に入力してもよい。あるいは、画像入力手段８０１は、欠損領域を含む画像（欠損画像）とともに、欠損領域か否かを示す２値のマスク画像を受け取り、コンピュータ８００に入力してもよい。なお、以下の説明では、欠損画像中の画素を画素ｉと記すこともある。

修復画像出力手段８０２は、コンピュータ８００が修復した画像を出力する。画像入力手段８０１は、例えば、ディスプレイなどの出力装置により実現される。

コンピュータ８００は、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、パッチ選択手段８０６と、画像修復手段８０７とを備えている。

欠損領域抽出手段８０３は、画像入力手段８０１に入力された画像、もしくは、後述の画像修復手段８０７が修復した画像から欠損領域の画素を抽出する。すなわち、欠損領域抽出手段８０３は、欠損画像から欠損領域を抽出する。例えば、欠損領域が予めマーカーなどにより指定された欠損画像が入力された場合、欠損領域抽出手段８０３は、例えば、コンピュータ８００の画像記憶手段（図示せず）に記憶されているマーカーの色を識別する値をもとに、欠損画像から欠損領域を抽出すればよい。具体的には、マーカーで指定された欠損領域の画素値がＲＧＢ信号として、（Ｒ、Ｇ、Ｂ）＝（２５５、０、０）と定義されている場合、欠損領域抽出手段８０３は、その画素値を持つ画素を欠損領域として抽出すればよい。

また、利用者によって欠損領域が指定されていない場合、欠損領域抽出手段８０３は、利用者の意図と反する画像中の領域を自動的に検出し、その領域を欠損領域として抽出すればよい。より具体的には、欠損領域抽出手段８０３は、例えば、画像分割技術、一般物体認識技術、もしくは、特定物体認識技術などを用いて物体を認識し、その物体に含まれる画素をもとに欠損領域を判断してもよい。あるいは、欠損領域抽出手段８０３は、画像中のノイズもしくはボケを抽出する処理を行うことで、入力された欠損画像中のノイズもしくはボケが発生している領域を抽出し、この領域を欠損領域としてもよい。

以下、画像分割技術、一般物体認識技術、及び、特定物体認識技術について、図２を用いて説明する。図２は、入力された画像から欠損領域を抽出するために用いられる処理の例を示す説明図である。まず、画像分割技術について説明する。画像分割技術は、例えば、図２（ａ）に例示する画像を、図２（ｂ）に例示するように、関係がありそうな画素同士を画素の色の情報などをもとにグループ化し、領域を分割する技術である。画像分割技術としては、「ｉｎｔｅｒａｃｔｉｖｅ Ｇｒａｐｈ Ｃｕｔｓ」などが挙げられる。

一般物体認識技術は、制約のない実世界シーンの画像に対し、その中に含まれる物体を一般的な名称で計算機に認識させる技術である。一般物体認識技術は、例えば、図２（ａ）に例示する画像を、図２（ｃ）に例示するように、「人」、「川」、「森」、「空」などと計算機に認識させる技術である。一般物体認識技術を適用した具体的な方法として、自然シーン画像中の領域の配置の関係を学習して認識したい各クラスについてテンプレートを自動構築し、その自動構築されたテンプレートから画像を識別する方法などが挙げられる。

特定物体認識技術は、例えば、図２（ａ）に例示する画像を、図２（ｄ）に例示するように、画像中のある部分（本例では、網掛けの領域）に特定の物体（ここでは、人）が存在していることを計算機に認識させる技術である。特定物体認識技術は、一般物体認識技術のように全ての物体を計算機に認識させるのではなく、人などの特定の物体を計算機に認識させる技術である。特定物体認識技術を適用した具体的な方法として、撮影された物の輪郭など、濃淡が変化する部分のヒストグラム（ＨＯＧ：Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いて人物を検出する方法などが挙げられる。

次に、画像中のノイズ或いはボケを抽出する処理について説明する。画像中のノイズを抽出する処理としては、画像の高周波成分を抽出するフィルタ（すなわち、ハイパスフィルタ）を適用する方法などが挙げられる。また、画像中のぼけている領域は、その他の領域に比べて高周波成分が少ないという特徴がある。そこで、画像中のボケは、画像にハイパスフィルタなどを適用し、高周波成分が少ない領域をぼけている領域とすることでボケを抽出することができる。

フレームメモリ８０４は、欠損領域抽出手段８０３に入力された欠損画像及び抽出された欠損領域を示す情報を記憶する。フレームメモリ８０４は、欠損画像の欠損領域を示す情報を記憶する方法として、例えば、欠損領域の画素を記憶する方法を用いてもよい。もしくは、フレームメモリ８０４は、欠損領域か否かで２値化したマスク画像を記憶してもよい。フレームメモリ８０４は、例えば、コンピュータ８００が備える磁気ディスク装置等によって実現される。

欠損画素値推定手段８０５は、画像中の欠損領域について、各画素が取りうる画素値を、非欠損領域の画素の画素値をもとに推定する。画素値を推定する方法としては、例えば、画素ごとに画素値の確率分布を算出する方法が適用できる。すなわち、欠損画素値推定手段８０５は、画素ごとに画素値の確率分布を算出し、その確率分布により導出される確率がより高い画素値を、欠損領域の画素の画素値と推定してもよい。

欠損画素値推定手段８０５は、例えば、欠損領域中の画素ｉを中心とする、ある大きさを持った小領域ψ中に存在する非欠損領域の画素値の平均と分散から、ガウス確率分布関数もしくは混合ガウス分布関数などの確率分布関数を構成することで、確率分布を算出してもよい。具体的には、小領域ψ中には、非欠損領域に属する複数の画素が存在する。そこで、欠損画素値推定手段８０５は、それら複数の画素の画素値ｘの平均μと分散（共分散行列）Λを計算する。そして、欠損画素値推定手段８０５は、計算した平均μ及び分散Λをもとに、以下の式１に例示するガウス確率分布を構成して画素値ｘの確率分布を定義してもよい。

なお、小領域ψ中に非欠損領域が存在しない場合には、欠損画素値推定手段８０５は、全ての画素値を等確率であると推定すればよい。

また、混合ガウス分布を算出する場合であれば、欠損画素値推定手段８０５は、画素値の集合をいくつかのグループに分類し、これらのグループ内での画素の画素値ｘ_ｉの平均μ_ｉと分散（共分散行列）Λを計算する。ここで、ｉは、グループを識別する識別子である。そして、欠損画素値推定手段８０５は、計算した平均μ_ｉ及び分散Λ_ｉをもとに、以下の式２に例示する混合ガウス分布を構成して画素値ｘの確率分布を定義してもよい。

ここで、τ_ｉは、分類されたグループごとに定められる係数であり、以下の式３の関係を満たす。

他にも、欠損画素値推定手段８０５は、欠損領域中のある画素ｉから特定の方向ごとに非欠損領域の画素の画素値を放射状にサンプリングし、サンプリングされた画素値に基づいてガウス確率分布関数もしくは混合ガウス分布関数などの確率分布を算出してもよい。そして、欠損画素値推定手段８０５は、このように算出した確率分布をもとに画素値を推定してもよい。なお、欠損画素値推定手段８０５は、上記場合と同様、サンプリングされた画素値の平均と分散をもとに、確率分布を算出してもよい。

他にも、欠損画素値推定手段８０５は、欠損領域中のある画素ｉをもとに特定の規則（例えば、ランダムに抽出する、など）に従って非欠損領域中の画素を複数個サンプリングし、サンプリングされた画素値をもとにガウス確率分布関数もしくは混合ガウス分布関数などの確率分布関数を算出してもよい。

もしくは、欠損画素値推定手段８０５は、画像分割処理や物体認識処理を行い、非欠損領域にどのようなオブジェクトが撮影されているかを解析し、解析された情報をもとに確率分布を算出してもよい。

以下、解析された情報をもとに確率分布を算出する方法について、図３を用いて説明する。図３は、解析された情報をもとに確率分布を算出する方法の例を示す説明図である。例えば、図３（ａ）に例示する画像における非欠損領域の画像を解析した結果、欠損領域中に人物の顔が存在することが判明したとする。また、画像が人の顔を示す場合の欠損領域中の画素値が、例えば、図３（ｂ）に例示する画像が示す画素値であると仮定する。このとき、欠損画素値推定手段８０５は、欠損領域中の画素値ｘの確率分布関数を、図３（ｂ）の画素値の平均μとし、分散Λをパラメータとして構成した、以下の式４に例示するガウス関数により定義してもよい。

なお、式４に例示する分散Λは定数であり、比較する画像（ここでは、図３（ｂ）に例示する画像）の画素値が確からしいほど小さくなるように決定される値である。

パッチ選択手段８０６は、修復に利用される欠損パッチと参照パッチの組を選択し、その値をメモリ（図示せず）に記憶する。具体的には、パッチ選択手段８０６は、画像（画素値）がより近似している参照パッチと欠損パッチの組を選択する。すなわち、パッチ選択手段８０６は、欠損領域中の画像の構造により近い参照パッチと欠損パッチの組合せを選択する。

以下の説明では、このようなパッチの組を選択する方法に、パッチ選択関数Ｅ（Ψｐ，Ψｑ）を用いる場合について説明する。パッチ選択関数Ｅ（Ψｐ，Ψｑ）は、どの欠損パッチΨｐ中の欠損領域を修復するか、そして、どの参照パッチΨｑを用いて欠損領域を修復するかを選択するか決定する関数である。ここで、パッチ選択関数Ｅ（Ψｐ，Ψｑ）は、欠損パッチ候補の数がＮ個、参照パッチ候補の数がＭ個であるとき、ＭＮ個の引数の組合せを持つ関数であり、修復により適したパッチの組合せほど、より小さな値をとる関数であるとする。すなわち、パッチ選択手段８０６は、ある欠損パッチ候補Ψｐと、ある参照パッチ候補Ψｑの組合せを引数としたパッチ選択関数Ｅ（Ψｐ，Ψｑ）を計算し、パッチ選択関数の値が最も小さい組（Ψｐ０，Ψｑ０）を選択し、（Ψｐ０，Ψｑ０）をメモリ（図示せず）に記憶する。ここで、欠損パッチ候補Ψｐ及び参照パッチ候補Ψｑは、欠損画像中のある画素ｐ及びｑを含む小領域の画素の集合を表すものとする。パッチ選択手段８０６は、例えば、欠損領域を含む画像を等間隔で分割して各領域に欠損領域が含まれているか否かを判断し、欠損領域が含まれている領域を欠損パッチ候補Ψｐとし、欠損領域が含まれていない領域を参照パッチ候補Ψｑとして、それぞれ分類する。

図４を用いて、欠損パッチ候補Ψｐと参照パッチ候補Ψｑについて、より詳しく説明する。図４は、欠損パッチ候補及び参照パッチ候補の例を示す説明図である。図４に示す例では、領域９００が欠損領域であるとする。このとき、例えば、パッチ９０１，９０２，９０３が欠損パッチ候補であり、パッチ９０４，９０５，９０６が参照パッチ候補である。

ここで、パッチ選択関数Ｅ（Ψｐ，Ψｑ）を、欠損パッチ候補Ψｐをもとに定義される関数Ａ（Ψｐ）と、欠損パッチ候補Ψｐ及び参照パッチ候補Ψｑをもとに定義される関数Ｂ（Ψｐ，Ψｑ）とを含む関数と定義する。

関数Ａ（Ψｐ）は、欠損パッチ候補Ψｐの輝度勾配が大きくなるほど小さな値をとる関数である。具体的には、関数Ａ（Ψｐ）は、非欠損領域中の輝度勾配量あるいは画素値の分散などをもとに定義される関数である。例えば、関数Ａ（Ψｐ）の値は、欠損パッチ候補Ψｐの構造情報などにより決定され、欠損パッチ候補Ψｐの非欠損領域の画素における輝度勾配の大きさの二乗和の逆数を、関数Ａ（Ψｐ）と定義してもよい。もしくは、欠損パッチ候補Ψｐの非欠損領域の画素ｉにおける欠損画像の輝度勾配ベクトルと、フレームメモリ８０４にて記憶されているマスク画像の勾配ベクトルとのベクトル積の大きさの二乗和の逆数を、関数Ａ（Ψｐ）と定義してもよい。

関数Ｂ（Ψｐ，Ψｑ）は、欠損パッチ候補Ψｐの画像と参照パッチ候補Ψｑ中の画像とが似ているほど小さな値をとる関数である。すなわち、関数Ｂ（Ψｐ，Ψｑ）の値は、欠損パッチの画像と参照パッチの画像との類似の度合を示している。関数Ｂ（Ψｐ，Ψｑ）の値は、欠損画素値推定手段８０５に記憶されている欠損領域中の画素の画素値の確率分布及び欠損パッチ候補Ψｐと参照パッチ候補Ψｑの非欠損領域の画素値をもとに計算される。

パッチ選択手段８０６が、関数Ｂ（Ψｐ，Ψｑ）を定義する一例について説明する。まず、パッチ選択手段８０６は、欠損パッチ候補Ψｐの欠損領域に属する画素については、確率分布関数が示す確率が最も高い画素値（最尤値と記すこともある。）を選択し、欠損パッチ候補Ψｐの非欠損領域に属する画素については、すでに得られている画素値を選択する。そして、パッチ選択手段８０６は、選択した画素値と対応する参照パッチ候補Ψｑの画素値との差分の二乗和を、関数Ｂ（Ψｐ，Ψｑ）として定義してもよい。

さらに、パッチ選択手段８０６が、関数Ｂ（Ψｐ，Ψｑ）を定義する他の例について説明する。まず、パッチ選択手段８０６は、欠損パッチ候補Ψｐの欠損領域に属する画素については、確率分布関数が示す確率が最も高い画素値を選択し、欠損パッチ候補Ψｐの非欠損領域に属する画素については、すでに得られている画素値を選択する。そして、パッチ選択手段８０６は、選択した画素値と対応する参照パッチ候補Ψｑの画素値との差分の二乗和を、欠損画素値推定手段８０５が定義した画素値の推定値の確率分布関数の分散値などを重みとして加重平均したものを関数Ｂ（Ψｐ，Ψｑ）として定義してもよい。

さらに、パッチ選択手段８０６が、関数Ｂ（Ψｐ，Ψｑ）を定義する他の例について説明する。まず、パッチ選択手段８０６は、欠損パッチ候補Ψｐの非欠損領域に属する画素については、参照パッチ候補Ψｑの対応する画素との画素値の差分の二乗を計算する。次に、パッチ選択手段８０６は、欠損パッチ候補Ψｐの欠損領域に属する画素については、欠損画素値推定手段８０５が推定した画素値の確率分布をもとに、対応する参照パッチ候補Ψｑの画素の画素値を取りうる確率の対数値の二乗を計算する。そして、パッチ選択手段８０６は、これらを合計したものを関数Ｂ（Ψｐ，Ψｑ）として定義してもよい。

ただし、パッチ選択手段８０６が、関数Ｂ（Ψｐ，Ψｑ）を定義する方法は、上記方法に限定されない。パッチ選択手段８０６は、関数Ｂ（Ψｐ，Ψｑ）が欠損パッチ候補Ψｐの画像と参照パッチ候補Ψｑ中の画像とが似ているほど小さな値をとるような関数を定義すればよい。

なお、パッチ選択関数Ｅ（Ψｐ，Ψｑ）は、関数Ａ（Ψｐ）と関数Ｂ（Ψｐ，Ψｑ）との積、もしくは和として表現され、パッチ選択手段８０６は、パッチ選択関数Ｅ（Ψｐ，Ψｑ）の値が最も小さなパッチの組を修復するパッチの組として選択する。

以上のように定義された関数Ａ（Ψｐ）は、より修復画像を破綻させる可能性が小さな候補を選択するための関数である。また、以上のように定義された関数Ｂ（Ψｐ，Ψｑ）は、欠損パッチ候補Ψｐと参照パッチ候補Ψｑの中から、より類似しているパッチを選択するための関数である。そのため、これらの積、もしくは和として表現されるパッチ選択関数Ｅ（Ψｐ，Ψｑ）は、欠損領域を、その領域が本来もつと推測される構造に近い候補に置き換えるための関数であると言える。

パッチ選択手段８０６がパッチ選択関数Ｅ（Ψｐ，Ψｑ）を構成する他の方法について説明する。パッチ選択関数を構成する際、パッチ選択手段８０６は、画像分割技術、一般物体認識技術、特定物体認識技術などを用いて欠損画像中のテクスチャもしくはオブジェクトを解析する。そして、パッチ選択手段８０６は、欠損パッチと参照パッチの間で同一のテクスチャが含まれるほど値が小さくなるように（同一のテクスチャが含まれないほど値が大きくなるように）パッチ選択関数Ｅ（Ψｐ，Ψｑ）を構成する。具体的には、パッチ選択手段８０６は、欠損パッチ及び参照パッチが有するテクスチャもしくはオブジェクトの集合を定義する。そして、パッチ選択手段８０６は、これらの集合が異なっているほど関数の値が大きくなるようにパッチ選択関数Ｅ（Ψｐ，Ψｑ）を定義してもよい。

なお、上記説明では、欠損値画素推定手段８０５が確率分布関数を算出して欠損領域の画素値を推定し、パッチ選択手段８０６がその確率分布関数をもとにパッチ選択関数を計算する場合について説明した。他にも、欠損画素値推定手段８０５が、確率分布関数を算出するのではなく、Ｂｉｌｉｎｅａｒ補間もしくはＢｉｃｕｂｉｃ補間などの補間処理により非欠損領域中の画素の画素値から、欠損領域中の画素の画素値を推定してもよい。そして、パッチ選択手段８０６が、この値を用いてパッチ選択関数を構成してもよい。もしくは、以下に示す参考文献等に記載された方法を用いて、欠損領域中の画素値を推定し、パッチ選択手段８０６がこの値を用いてパッチ選択関数を構成してもよい。

［参考文献］
M. Bertalmio, A.L. Bertozzi, and G. Sapiro. ”Navier-stokes, fluid dynamics, and image and video inpainting” Conf. CVPR, pp. 355-362, 2001.

また、欠損画素値推定手段８０５は、上述する方法などで各画素の確率分布関数もしくは画素値を算出する際に、欠損画像をダウンサンプリングして得られた画像を用いて確率分布関数もしくは画素値を算出し、これをアップサンプリングした欠損画像に適用してもよい。

以上のように、パッチ選択手段８０６が、欠損画素値推定手段８０５が推定した欠損領域の画素値と対応する参照パッチの画素値とを比較して、画像がより近似しているパッチの組を選択する。そのため、修復に用いられる参照パッチを選択する際、欠損領域の画素の画素値を予測することで、欠損パッチの非欠損領域のみと比較する方法に比べて両者を比較する情報が増加する。そのため、より適切な参照パッチを選択できるようになる。

画像修復手段８０７は、パッチ選択手段８０６が選択した欠損パッチΨｐ０と参照パッチΨｑ０とを用いて、欠損パッチΨｐ０における欠損領域の画素の画素値を修復する。画像修復手段８０７は、例えば単純に、欠損パッチの欠損領域における画素を参照パッチの画素の画素値に置き換えて修復してもよい。また、画像修復手段８０７は、画像を修復する際、参照パッチの画素値をもとにαブレンディングなどの方法を用いて欠損パッチ中の欠損領域と非欠損領域の境界を修復してもよい。あるいは、画像修復手段８０７は、画像を修復する際、欠損パッチ中の欠損領域に、参照パッチの全ての領域を用いる代わりに、その一部だけを用いてもよい。

パッチ選択手段８０６が、推定された画素値用いて修復するパッチの組を選択する方法について、図５を用いてさらに説明する。図５は、参照パッチを選択する方法の例を示す説明図である。画像７００は、図２７と同様、欠損領域を含む画像である。また、画像７０１は、欠損領域中の画素値を予め推定することで得られたパターンである。また、領域７０２は欠損パッチであり、領域７０３及び領域７０４は参照パッチ候補である。これらの
領域の拡大図が、領域７０２ａ、領域７０３ａ及び領域７０４であり、領域７０２が領域７０２ａに、領域７０３が領域７０３ａに、領域７０４が領域７０４ａに、それぞれ対応する。また、パターン７０５は、領域７０２において推定された画素値を表す画像である。

パッチ選択手段８０６は、推定されたパターン７０５と、参照パッチ候補７０３及び７０４を比較する。そのため、修復後に画像を破綻させる参照パッチ候補７０４が参照パッチとして選択されることを防ぎ、参照パッチ候補７０３が参照パッチとして選択されるようになる。パッチ選択手段８０６は、このように選択した参照パッチ７０３を用いて画像７００を修復するため、画像７０６のように破綻の無い画像を生成することが出来る。

欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６と、画像修復手段８０７とは、プログラム（画像修復プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、コンピュータ８００の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、欠損領域抽出手段８０３、欠損画素値推定手段８０５、パッチ選択手段８０６、及び、画像修復手段８０７として動作してもよい。また、欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６と、画像修復手段８０７とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、動作について説明する。図６は、本実施形態における画像修復システムの動作の例を示すフローチャートである。以下、図１に例示するブロック図及び図６に例示するフローチャートを参照して本実施形態の全体の動作について説明する。

まず、画像入力手段８０１に基準画像（欠損画像）が入力される（ステップＳ１００１）。次に、欠損領域抽出手段８０３は、画像入力手段８０１に入力された欠損画像から欠損領域を抽出し、欠損画像と欠損領域とをフレームメモリ８０４に記憶させる（ステップＳ１００２）。フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損画素値推定手段８０５は、欠損領域の画素の画素値を推定し、メモリ（図示せず）に記憶する（ステップＳ１００３）。具体的には、欠損画素値推定手段８０５は、欠損領域の画素値の確率分布を計算し、計算した確率分布を記憶する。フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した画素値の推定値とをもとに、パッチ選択手段８０６は、パッチ選択関数を用いて欠損パッチと参照パッチの組を選択する（ステップＳ１００４）。具体的には、パッチ選択手段８０６は、欠損画素値推定手段８０５が推定した欠損領域の画素値と、対応する参照パッチの画素値とをもとに、パッチ選択関数がより小さくなる欠損パッチと参照パッチの組を選択する。

画像修復手段８０７は、パッチ選択手段８０６が選択した欠損パッチと参照パッチの組、及び、フレームメモリ８０４に記憶された欠損画像をもとに、選択された欠損パッチ中の欠損領域に属する画素の画素値を参照パッチの画素の画素値を用いて修復し、その値をメモリ（図示せず）に記憶する（ステップＳ１００５）。画像修復手段８０７は、修復した画像に欠損領域がなくなったか否かを判断する（ステップＳ１００６）。修復された欠損領域以外に欠損領域が存在する場合（ステップＳ１００６におけるＮｏ）、画像修復手段８０７は、修復した画像を画像記憶手段（図示せず）に記憶する（ステップＳ１００７）。そして、画像修復手段８０７は、修復した画像を欠損領域抽出手段８０３に通知する。以降、欠損領域抽出手段８０３、欠損画素値推定手段８０５、パッチ選択手段８０６及び画像修復手段８０７は、ステップＳ１００２以降の処理を繰り返す。

一方、修復された欠損領域以外に欠損領域が存在しない場合（ステップＳ１００６におけるＹｅｓ）、画像修復手段８０７は、修復画像出力手段８０２に修復画像を出力させる（ステップＳ１００８）。例えば、画像修復手段８０７は、ディスプレイ装置に復元した修復画像を表示させる。

次に、本実施形態の効果について説明する。以上のように、本実施形態によれば、欠損画素値推定手段８０５が、画像中の欠損領域の各画素が取りうる画素値を非欠損領域の画素の画素値をもとに推定する。そして、パッチ選択手段８０６が、欠損パッチと参照パッチとからなるパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択する。パッチの組を選択する際、パッチ選択手段８０６は、推定された欠損領域の画素値と、対応する参照パッチの画素値とを比較することにより、パッチの組の中から、より画像が類似しているパッチの組を選択する。そして、画像修復手段８０７が、選択されたパッチの組における参照パッチをもとに欠損パッチを修復する。そのため、利用者の意図と異なる領域の存在する画像を修復する際に、修復画像が破綻することを防ぐことができる。

すなわち、本実施形態によれば、欠損画素値推定手段８０５が、非欠損領域における画素の画素値から、欠損領域中における画素の画素値を予め推定する。そして、パッチ選択手段８０６は、推定された画素値を用いて、欠損パッチと参照パッチの組をパッチ選択関数に基づいて決定する。このように、欠損領域中の画素値を予め推定することで、画像を修復する際、画像が破綻する可能性のあるパッチが欠損パッチと参照パッチの組として選択されることを抑制できる。そのため、利用者の意図と異なる領域の存在する画像を修復する際に、修復された画像が破綻することを防ぐことができる。

言い換えると、本発明は画像修復処理に利用でき、その効果は、修復画像が破綻するパッチが参照パッチとして選択されることを防ぐことで、より高画質な修復画像を得ることができることである。その理由は、予め欠損領域中の画素値を推定し、推定された量（画素値）を用いて欠損パッチ候補と参照パッチ候補の類似性を比較するため、一般的な手法と異なり、修復画像が破綻するパッチが参照パッチとして選択されることを抑制できるためである。

実施形態２．
図７は、本発明の第２の実施形態における画像修復システムの例を示すブロック図である。第１の実施形態と同様の構成については、図１と同一の符号を付し、詳細な説明は省略する。第２の実施形態における画像処理システムは、コンピュータ８００ａと、画像入力手段８０１と、修復画像出力手段８０２とを備えている。画像入力手段８０１及び修復画像出力手段８０２については、第１の実施形態と同様であるため、説明を省略する。

コンピュータ８００ａは、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、パッチ選択手段８０６ａと、画像修復手段８０７と、尤度初期値設定手段１１０１と、尤度記憶手段１１０２と、尤度更新手段１１０３とを備えている。欠損領域抽出手段８０３、フレームメモリ８０４、欠損画素値推定手段８０５、及び、画像修復手段８０７については、第１の実施形態と同様である。

尤度初期値設定手段１１０１は、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、各画素に対して尤度を設定する。尤度は、欠損画像中のある画素ｉに与えられている画素値の尤もらしさを表す量として画素ごとに定義される。欠損領域中の画素の尤度は、非欠損領域の画素値及びすでに修復された画素値をもとに、近似的に画素値の確率分布関数が推定され、推定された確率分布をもとに計算される量である。なお、以下の説明では、欠損画像中の全画素の尤度の集合をＬと記し、各画素の尤度をＬｉと記す。尤度初期値設定手段１１０１は、画像修復が行われていない画像（すなわち、画像入力手段８０１に入力された画像）の各画素に対して、一度だけ尤度を設定する。尤度初期値設定手段１１０１は、例えば、欠損領域の画素ｉにはＬｉ＝０を、非欠損領域の画素ｊにはＬｊ＝１を設定する。

尤度記憶手段１１０２は、各画素の尤度を記憶する。具体的には、尤度記憶手段１１０２は、尤度計算手段１１０１が設定した尤度を記憶する。もしくは、尤度記憶手段１１０２は、後述の尤度更新手段１１０３が尤度を更新した場合、更新された画素の尤度を既存の尤度に上書きして記憶する。尤度記憶手段１１０２は、例えば、コンピュータ８００ａが備える磁気ディスク装置等によって実現される。

パッチ選択手段８０６ａは、修復に適した欠損パッチと参照パッチの組を選択する。具体的には、パッチ選択手段８０６ａは、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した欠損領域の画素の推定値と、尤度記憶手段１１０２に記憶されている欠損画像の尤度とをもとに、修復に適した欠損パッチと参照パッチの組（Ψｐ０，Ψｑ０）を選択する。すなわち、パッチ選択手段８０６ａは、第１の実施形態におけるパッチ選択手段８０６と同様に、パッチ選択関数を用いて修復に利用される欠損パッチと参照パッチの組を選択する。さらに、本実施形態におけるパッチ選択手段８０６ａは、尤度記憶手段１１０２に記憶された尤度も用いてパッチの組を選択する。

以下の説明では、このようなパッチの組を選択する方法に、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）を用いる場合について説明する。以下の説明では、第１の実施形態と同様、欠損パッチ候補Ψｐ及び参照パッチ候補Ψｑは、欠損画像中のある画素ｐ及びｑを含む小領域の画素の集合を表すものとする。また、パッチ選択手段８０６ａは、例えば、欠損領域を含む画像を等間隔で分割して各領域に欠損領域が含まれているか否かを判断し、欠損領域が含まれている領域を欠損パッチ候補Ψｐと、欠損領域が含まれていない領域を参照パッチ候補Ψｑとそれぞれ分類する。

パッチ選択関数Ｅ１（Ψｐ，Ψｑ）は、第１の実施形態におけるパッチ選択関数Ｅ（Ψｐ，Ψｑ）と同様に、どの欠損パッチΨｐ中の欠損領域を修復するか、そして、どの参照パッチΨｑを用いて欠損領域を修復するかを選択するか決定するための関数である。また、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）は、修復により適したパッチの組合せほど、より小さな値をとる関数であるとする。このとき、パッチ選択手段８０６ａは、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）を計算し、パッチ選択関数Ｅ１の値が最も小さい組（Ψｐ０，Ψｑ０）を選択する。パッチ選択関数Ｅ１（Ψｐ，Ψｑ）は、第１の実施形態においてパッチ選択手段８０６が定義した関数Ａ（Ψｐ）及び関数Ｂ（Ψｐ，Ψｑ）と、尤度記憶手段１１０２に記憶されている尤度とにより構成される。

ここで、欠損パッチ候補Ψｐに含まれる画素を画素ｉとしたときの尤度をＬｉ、参照パッチ候補Ψｑに含まれる画素を画素ｊとしたときの尤度をＬｊとする。このとき、パッチ選択手段８０６ａは、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）として、Ｌｉ、Ｌｊ、Ａ（Ψｐ）、Ｂ（Ψｐ，Ψｑ）の関数としてパッチ選択関数Ｅ１を構成する。具体的には、パッチ選択手段８０６ａは、尤度Ｌｉ、尤度Ｌｊの値が大きいほど、パッチ選択関数Ｅ１の値を小さくするような関数を構成すればよい。

上記説明では、パッチ選択手段８０６ａが、尤度Ｌｉ、Ｌｊを用いて関数Ｅ１（Ψｐ，Ψｑ）を構成する場合について説明した。他にも、パッチ選択手段８０６ａは、尤度Ｌｉの代わりに、欠損パッチ候補Ψｐに含まれる画素の尤度についての相加平均もしくは相乗平均を計算する関数を関数Ｅ１（Ψｐ，Ψｑ）に適用してもよい。同様に、パッチ選択手段８０６ａは、Ｌｊの代わりに、参照パッチ候補Ψｑに含まれる画素の尤度についての相加平均もしくは相乗平均を計算する関数を関数Ｅ１（Ψｐ，Ψｑ）に適用してもよい。

このように、パッチ選択手段８０６ａが、パッチの組の中から、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組であって、かつ、欠損パッチの中で尤度がより高い欠損パッチと、参照パッチの中で尤度がより高い参照パッチとからなるパッチの組を選択する。そのため、尤もらしくない画素を含む欠損パッチや参照パッチが選択されることを抑止できる。

尤度更新手段１１０３は、欠損パッチ中の欠損画素の尤度を算出し、尤度記憶手段１１０２に記憶された各画素の尤度を更新する。例えば、尤度更新手段１１０３は、パッチ選択手段８０６ａが計算したパッチ選択関数Ｅ１（Ψｐ０，Ψｑ０）の値、欠損パッチΨｐ０に含まれる欠損領域の画素数、欠損パッチΨｐ０に含まれる画素の尤度などを利用して、更新する欠損パッチ中の欠損画素の尤度を算出する。

尤度更新手段１１０３は、例えば、選択された欠損パッチΨｐ０及び参照パッチΨｑ０をもとに算出されるパッチ選択関数Ｅ１（Ψｐ０，Ψｑ０）の値と、欠損パッチΨｐ０に含まれる欠損領域の割合と、欠損パッチΨｐ０に含まれる非欠損領域の画素の尤度の平均値との加重平均などを用いて、欠損画素の尤度を算出してもよい。

すなわち、パッチ選択関数Ｅ１（Ψｐ０，Ψｑ０）の値が小さいほど、より修復画像を破綻させる可能性が小さなパッチの組合せが選択される。この場合、尤度更新手段１１０３は、尤度をより高く算出する。また、欠損パッチΨｐ０に含まれる欠損領域の割合が小さいほど、推定値を用いて比較する領域が少なく、それ故、より修復画像を破綻させる可能性が小さなパッチの組合せが選択される。この場合、尤度更新手段１１０３は、尤度をより高く算出する。さらに、欠損パッチΨｐ０に含まれる非欠損領域の画素の尤度の平均値が高いほど、尤もらしい画素を含む欠損パッチを対象にしている。この場合も、尤度更新手段１１０３は、尤度をより高く算出する。また、以上のことから、パッチを選択する際、尤度がより低い画素は、より後回しにしたい画素であるとする。

欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ａと、画像修復手段８０７と、尤度初期値設定手段１１０１と、尤度更新手段１１０３とは、プログラム（画像修復プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ａと、画像修復手段８０７と、尤度初期値設定手段１１０１と、尤度更新手段１１０３とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、動作について説明する。図８は、本実施形態における画像修復システムの動作の例を示すフローチャートである。

まず、画像入力手段８０１に基準画像（欠損画像）が入力される（ステップＳ１２０１）。次に、欠損領域抽出手段８０３は、画像入力手段８０１に入力された欠損画像から欠損領域を抽出し、欠損画像と欠損領域とをフレームメモリ８０４に記憶させる（ステップＳ１２０２）。フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損画素値推定手段８０５は、欠損領域の画素の画素値を推定し、メモリ（図示せず）に記憶する（ステップＳ１２０３）。

尤度初期値設定手段１１０１は、欠損画像の各画素に対して尤度を設定し、その尤度を尤度記憶手段１１０２に記憶させる（ステップＳ１２０４）。パッチ選択手段８０６ａは、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した画素値の推定値とに加え、尤度記憶手段１１０２に記憶された尤度をもとに、パッチ選択関数を用いて欠損パッチと参照パッチの組を選択する（ステップＳ１２０５）。具体的には、パッチ選択手段８０６ａは、欠損画素値推定手段８０５が推定した欠損領域の画素値、対応する参照パッチの画素値、及び、欠損画像の尤度をもとに、パッチ選択関数がより小さくなる欠損パッチと参照パッチの組を選択する。この場合、パッチ選択手段８０６ａは、より尤もらしい画素を含む欠損パッチ及び参照パッチの組を尤度をもとに選択する。そして、尤度更新手段１１０３は、選択されたパッチの組を用いて、欠損パッチ中の欠損領域の画素の尤度を更新する（ステップＳ１２０６）。

画像修復手段８０７は、パッチ選択手段８０６ａが選択した欠損パッチと参照パッチの組、及び、フレームメモリ８０４に記憶された欠損画像をもとに、選択された欠損パッチ中の欠損領域に属する画素の画素値を参照パッチの画素の画素値を用いて修復し、その値をメモリ（図示せず）に記憶する（ステップＳ１２０７）。画像修復手段８０７は、修復した画像に欠損領域がなくなったか否かを判断する（ステップＳ１２０８）。修復された欠損領域以外に欠損領域が存在する場合（ステップＳ１２０８におけるＮｏ）、画像修復手段８０７は、修復した画像を画像記憶手段（図示せず）に記憶する（ステップＳ１２０９）。そして、画像修復手段８０７は、修復した画像を欠損領域抽出手段８０３に通知する。以降、欠損領域抽出手段８０３、欠損画素値推定手段８０５、パッチ選択手段８０６ａ、画像修復手段８０７、尤度初期値設定手段１１０１、及び尤度更新手段１１０３は、ステップＳ１２０２以降の処理を繰り返す。

一方、修復された欠損領域以外に欠損領域が存在しない場合（ステップＳ１２０８におけるＹｅｓ）、画像修復手段８０７は、修復画像出力手段８０２に修復画像を出力させる（ステップＳ１２１０）。例えば、画像修復手段８０７は、ディスプレイ装置に復元した修復画像を表示させる。

次に、本実施形態の効果について説明する。以上のように、本実施形態によれば、第１の実施形態の構成に加え、パッチ選択手段８０６ａが、欠損パッチと参照パッチとからなるパッチの組の中から、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組であって、欠損パッチの中で尤度がより高い欠損パッチと、参照パッチの中でより尤度が高い参照パッチとからなるパッチの組を選択する。そのため、尤もらしくない画素を含む欠損パッチや参照パッチが選択されることを抑止できる。

また、尤度更新手段１１０３が、欠損パッチ及び参照パッチの組として選択された画像がより類似しているほど、尤度をより高く算出する方法により尤度を算出し、算出した尤度を用いて、入力された画像中の欠損領域に応じてその画像中の各画素に予め設定された尤度を更新する。そして、パッチ選択手段８０６ａが、更新された尤度が欠損パッチの中でより高い欠損パッチと、その尤度が参照パッチの中でより高い参照パッチとからなるパッチの組を選択する。このように、より適切な尤度を用いることで、より利用者の意図に適した画像に修復できる。

すなわち、本実施形態によれば、パッチ選択手段８０６ａが、尤度初期値設定手段１１０１及び尤度更新手段１１０３により得られる欠損画像の画素ごとの画素値の尤度をもとにパッチを選択する。そのため、画像修復によって修復された画素の画素値の尤度の小さい、すなわち、画素値が尤もらしくない画素を含む欠損パッチと参照パッチの組が選択されることを抑制できる。

実施形態３．
図９は、本発明の第３の実施形態における画像修復システムの例を示すブロック図である。第１の実施形態と同様の構成については、図１と同一の符号を付し、詳細な説明は省略する。第３の実施形態における画像処理システムは、コンピュータ８００ｂと、画像入力手段８０１と、修復画像出力手段８０２とを備えている。画像入力手段８０１及び修復画像出力手段８０２については、第１の実施形態と同様であるため、説明を省略する。

コンピュータ８００ｂは、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、画像修復手段８０７と、欠損パッチ選択手段１３０１と、参照パッチ選択手段１３０２とを備えている。欠損領域抽出手段８０３、フレームメモリ８０４、欠損画素値推定手段８０５、及び、画像修復手段８０７については、第１の実施形態と同様である。

欠損パッチ選択手段１３０１は、修復に適した欠損パッチを選択する。例えば、欠損パッチ選択手段１３０１は、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した欠損領域の画素の推定値とをもとに、欠損パッチを選択し、メモリ（図示せず）に記憶する。以下の説明では、欠損パッチを選択する方法に、欠損パッチ選択関数ｅ１（Ψｐ）を用いる場合について説明する。本実施形態において定義される欠損パッチ選択関数ｅ１（Ψｐ）は、より修復に適した欠損パッチほど、より小さな値をとる関数であるとする。このとき、欠損パッチ選択手段１３０１は、欠損パッチ選択関数ｅ１（Ψｐ）が最も小さい値をとる欠損パッチを選択する。

欠損パッチ選択関数ｅ１（Ψｐ）として、例えば、第１の実施形態における関数Ａ（Ψｐ）を用いてもよい。関数Ａ（Ψｐ）は、修復画像を破綻させる可能性がより小さい候補を選択するための関数であるため、関数Ａ（Ψｐ）を用いて選択された欠損パッチは、より修復に適した欠損パッチといえる。以下、欠損パッチ選択手段１３０１が選択した欠損パッチをΨｐ０とする。

参照パッチ選択手段１３０２は、欠損パッチ選択手段１３０１が選択した欠損パッチΨｐ０をもとに、修復に利用される参照パッチΨｑを選択する。以下の説明では、参照パッチを選択する方法に、参照パッチ選択関数ｅ２（Ψｐ，Ψｑ）を用いる場合について説明する。参照パッチ選択関数ｅ２（Ψｐ，Ψｑ）は、より修復に適した参照パッチほど、より小さな値をとる関数であるとする。このとき、参照パッチ選択手段１３０２は、参照パッチ選択関数ｅ２（Ψｐ，Ψｑ）が最も小さい値をとる参照パッチを選択する。

参照パッチ選択関数ｅ２（Ψｐ，Ψｑ）として、例えば、第１の実施形態における関数Ｂ（Ψｐ０，Ψｑ）を用いてもよい。関数Ｂ（Ψｐ，Ψｑ）は、より類似しているパッチを選択するための関数であるため、関数Ｂ（Ψｐ，Ψｑ）を用いて選択された参照パッチは、より修復に適した参照パッチといえる。

このように、本実施形態では、欠損パッチ選択手段１３０１が推定された画素値と欠損画像と欠損領域とから修復される欠損パッチを選択する。そして、参照パッチ選択手段１３０２が推定された画素値と欠損画像と欠損領域と欠損パッチとから修復に利用される参照パッチを選択する。

欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、欠損パッチ選択手段１３０１と、参照パッチ選択手段１３０２と、画像修復手段８０７とは、プログラム（画像修復プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、欠損パッチ選択手段１３０１と、参照パッチ選択手段１３０２と、画像修復手段８０７とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、動作について説明する。図１０は、本実施形態における画像修復システムの動作の例を示すフローチャートである。

まず、画像入力手段８０１に基準画像（欠損画像）が入力される（ステップＳ１４０１）。次に、欠損領域抽出手段８０３は、画像入力手段８０１に入力された欠損画像から欠損領域を抽出し、欠損画像と欠損領域とをフレームメモリ８０４に記憶させる（ステップＳ１４０２）。フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損画素値推定手段８０５は、欠損領域の画素の画素値を推定し、メモリ（図示せず）に記憶する（ステップＳ１４０３）。

欠損パッチ選択手段１３０１は、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損パッチ選択関数を用いて欠損パッチを選択する（ステップＳ１４０４）。そして、参照パッチ選択手段１３０２は、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報、欠損画素値推定手段８０５が推定した画素値の推定値、及び、欠損パッチ選択手段１３０１が選択した欠損パッチをもとに、参照パッチ選択関数を用いて参照パッチを選択する（ステップＳ１４０５）。参照パッチ選択手段１３０２は、選択された欠損パッチと参照パッチをメモリ（図示せず）に記憶してもよい。

画像修復手段８０７は、選択された欠損パッチと参照パッチの組、及び、フレームメモリ８０４に記憶された欠損画像をもとに、選択された欠損パッチ中の欠損領域に属する画素の画素値を参照パッチの画素の画素値を用いて修復し、その値をメモリ（図示せず）に記憶する（ステップＳ１４０６）。画像修復手段８０７は、修復した画像に欠損領域がなくなったか否かを判断する（ステップＳ１４０７）。修復された欠損領域以外に欠損領域が存在する場合（ステップＳ１４０７におけるＮｏ）、画像修復手段８０７は、修復した画像を画像記憶手段（図示せず）に記憶する（ステップＳ１４０８）。そして、画像修復手段８０７は、修復した画像を欠損領域抽出手段８０３に通知する。以降、欠損領域抽出手段８０３、欠損画素値推定手段８０５、欠損パッチ選択手段１３０１、参照パッチ選択手段１３０２、及び、画像修復手段８０７は、ステップＳ１４０２以降の処理を繰り返す。

一方、修復された欠損領域以外に欠損領域が存在しない場合（ステップＳ１４０７におけるＹｅｓ）、画像修復手段８０７は、修復画像出力手段８０２に修復画像を出力させる（ステップＳ１４０９）。例えば、画像修復手段８０７は、ディスプレイ装置に復元した修復画像を表示させる。

次に、本実施形態の効果について説明する。以上のように、本実施形態によれば、欠損パッチ選択手段１３０１が、欠損パッチ候補の構造情報をもとに欠損パッチを選択する。そして、参照パッチ選択手段１３０２が、選択された欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値とを比較することにより、参照パッチの中から、欠損パッチにより類似している参照パッチを選択する。そのため、パッチ選択の際にパッチ選択関数を計算する回数を少なくすることができるため、画像修復に必要な計算負荷を低減できる。すなわち、参照パッチがＭ個、欠損パッチがＮ個存在する場合、ＭＮ個の参照パッチと欠損パッチの組合せが存在する場合、参照パッチと欠損パッチの全ての組合せを計算するとＭＮ回の試行が必要である。しかし、本実施形態によれば、欠損パッチの選択にＮ回、参照パッチの選択にＭ回の合計Ｍ＋Ｎ回の試行をすることで欠損パッチと参照パッチの組合せを選択することが出来る。

実施形態４．
図１１は、本発明の第４の実施形態における画像修復システムの例を示すブロック図である。第１の実施形態と同様の構成については、図１と同一の符号を付し、詳細な説明は省略する。第４の実施形態における画像処理システムは、コンピュータ８００ｃと、画像入力手段８０１と、修復画像出力手段８０２とを備えている。画像入力手段８０１及び修復画像出力手段８０２については、第１の実施形態と同様であるため、説明を省略する。

コンピュータ８００ｃは、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｃと、画像修復手段８０７と、パッチ分類手段１５０１とを備えている。欠損領域抽出手段８０３、フレームメモリ８０４、欠損画素値推定手段８０５、及び、画像修復手段８０７については、第１の実施形態と同様である。

パッチ分類手段１５０１は、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報を用いて、予め参照パッチ候補と欠損パッチ候補を分類し、ラベル付けを行う。パッチ分類手段１５０１は、ラベル付けを行う方法として、例えば、各パッチの画素の画素値の平均や分散、ヒストグラムを算出し、クラスタリングを行うことでラベル付けを行ってもよい。もしくは、パッチ分類手段１５０１は、オブジェクト認識技術などを用いて、各パッチに撮影されているオブジェクトを特定し、特定したオブジェクトをもとにラベル付けを行ってもよい。パッチ分類手段１５０１は、分類されたパッチのラベルをメモリ（図示せず）に記憶する。

パッチ分類手段１５０１が参照パッチ候補と欠損パッチ候補を分類し、ラベル付けを行う方法について、具体的に説明する。まず、パッチ分類手段１５０１は、欠損パッチ候補Ψｐと参照パッチ候補Ψｑとに画像の領域を分類する。分類の方法は、第１の実施形態に記載したように、欠損領域を含む画像を等間隔で分割して各領域に欠損領域が含まれているか否かを判断して分類してもよい。次に、パッチ分類手段１５０１は、それぞれの候補の中で、例えば、境界の領域、背景色の領域、あるオブジェクトの領域など、共通の特徴に基づいてクラスタリングを行い、クラスごとにラベル付けを行う。このとき、パッチ分類手段１５０１は、Ｋ平均法などを用いてクラスタリングを行う。ただし、クラスタリング方法は、Ｋ平均法に限定されない。このように、パッチ分類手段１５０１は、欠損パッチ及び参照パッチに分類された各パッチ候補（Ψｐ及びΨｑ）を、共通の特徴に基づいて、各欠損パッチ及び参照パッチの候補内でクラスタリングする。

パッチ選択手段８０６ｃは、パッチ分類手段１５０１が分類したラベルと、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した欠損領域の画素値の推定値とをもとに、欠損パッチ及び参照パッチの組を選択する。このようなパッチの組を選択する方法に、本実施形態では、第１の実施形態と同様、パッチ選択関数Ｅ（Ψｐ，Ψｑ）を用いる場合について説明する。すなわち、パッチ選択手段８０６ｃは、Ｅ（Ψｐ，Ψｑ）の最小値を求めることでパッチの組を選択する。ただし、本実施形態では、パッチ選択手段８０６ｃが欠損パッチ候補Ψｐのラベルと参照パッチ候補Ψｑのラベルとが同じであるパッチの組を選択する。具体的には、パッチ選択手段８０６ｃは、欠損パッチ候補Ψｐと参照パッチ候補Ψｑが同じラベルであるもののみパッチ選択関数を計算して、パッチの組（Ψｐ０，Ψｑ０）を選択する。そして、パッチ選択手段８０６ｃは、選択された欠損パッチと参照パッチの組（Ψｐ０，Ψｑ０）を、メモリ（図示せず）に記憶する。

第１の実施形態では、パッチ選択手段８０６がＭＮ個の全てのパッチ候補の組についてパッチ選択関数を計算して、パッチの組（Ψｐ０，Ψｑ０）を選択していた。一方、本実施形態では、パッチ選択手段８０６ｃは、欠損パッチ候補Ψｐと参照パッチ候補Ψｑが同じラベルであるもののみパッチ選択関数を計算し、パッチの組（Ψｐ０，Ψｑ０）を選択する。そのため、画像修復に必要な計算負荷を削減できる。言い換えると、パッチ分類手段１５０１が、修復される欠損パッチと修復に利用される参照パッチとを予め分類するため、画像修復手段８０７は、欠損パッチ及び参照パッチを高速に選択可能になる。

欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｃと、画像修復手段８０７と、パッチ分類手段１５０１とは、プログラム（画像修復プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｃと、画像修復手段８０７と、パッチ分類手段１５０１とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、動作について説明する。図１２は、本実施形態における画像修復システムの動作の例を示すフローチャートである。

まず、画像入力手段８０１に基準画像（欠損画像）が入力される（ステップＳ１６０１）。次に、欠損領域抽出手段８０３は、画像入力手段８０１に入力された欠損画像から欠損領域を抽出し、欠損画像と欠損領域とをフレームメモリ８０４に記憶させる（ステップＳ１６０２）。パッチ分類手段１５０１は、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報を用いて、参照パッチ候補と欠損パッチ候補を分類し、ラベル付けを行う（ステップＳ１６０３）。パッチ分類手段１５０１は、ラベル付けを行った情報を、メモリ（図示せず）に記憶してもよい。

次に、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損画素値推定手段８０５は、欠損領域の画素の画素値を推定し、メモリ（図示せず）に記憶する（ステップＳ１６０４）。パッチ選択手段８０６ｃは、パッチ分類手段１５０１が分類したラベルと、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した欠損領域の画素値の推定値とをもとに、欠損パッチ及び参照パッチの組を選択する（ステップＳ１６０５）。パッチ選択手段８０６ｃは、選択したパッチの組を、メモリ（図示せず）に記憶してもよい。

画像修復手段８０７は、パッチ選択手段８０６ｃが選択した欠損パッチと参照パッチの組、及び、フレームメモリ８０４に記憶された欠損画像をもとに、選択された欠損パッチ中の欠損領域に属する画素の画素値を参照パッチの画素の画素値を用いて修復し、その値をメモリ（図示せず）に記憶する（ステップＳ１６０６）。画像修復手段８０７は、修復した画像に欠損領域がなくなったか否かを判断する（ステップＳ１６０７）。修復された欠損領域以外に欠損領域が存在する場合（ステップＳ１６０７におけるＮｏ）、画像修復手段８０７は、修復した画像を画像記憶手段（図示せず）に記憶する（ステップＳ１６０８）。そして、画像修復手段８０７は、修復した画像を欠損領域抽出手段８０３に通知する。以降、欠損領域抽出手段８０３、欠損画素値推定手段８０５、パッチ選択手段８０６ｃ、画像修復手段８０７及びパッチ分類手段１５０１は、ステップＳ１６０２以降の処理を繰り返す。

一方、修復された欠損領域以外に欠損領域が存在しない場合（ステップＳ１６０７におけるＹｅｓ）、画像修復手段８０７は、修復画像出力手段８０２に修復画像を出力させる（ステップＳ１６０９）。例えば、画像修復手段８０７は、ディスプレイ装置に復元した修復画像を表示させる。

次に、本実施形態の効果について説明する。以上のように、本実施形態によれば、パッチ分類手段１５０１が、欠損パッチ及び参照パッチに分類された各パッチ候補を、共通の特徴に基づいてクラスタリングし、パッチ選択手段８０６ｃが、同一のクラスに分類された欠損パッチと参照パッチ同士をパッチの組として選択する。すなわち、パッチ分類手段１５０１が、欠損パッチ候補と参照パッチ候補を予めパッチ分類によりラベル付けを行う。そして、その後に、パッチ選択手段８０６ｃが、欠損パッチと参照パッチの組を決定する。このことから、パッチ選択の際、パッチを分類しない方法と比べて、パッチ選択関数を用いて計算する回数を少なくできるため、画像修復に必要な計算負荷を低減できる。

実施形態５．
図１３は、本発明の第５の実施形態における画像修復システムの例を示すブロック図である。第１の実施形態と同様の構成については、図１と同一の符号を付し、詳細な説明は省略する。第５の実施形態における画像処理システムは、コンピュータ８００ｄと、画像入力手段８０１と、修復画像出力手段８０２と、パッチ入力手段１７０１とを備えている。画像入力手段８０１及び修復画像出力手段８０２については、第１の実施形態と同様であるため、説明を省略する。

パッチ入力手段１７０１は、欠損画像とは別に、欠損画像中の欠損領域を修復するために参照されうるパッチ候補が入力され、後述のパッチ記憶手段１７０２にパッチ候補を記憶する。例えば、人物や風景などの画像が予めデータベースに収集されている場合、パッチ入力手段１７０１は、その画像から生成されたパッチをパッチ候補としてパッチ記憶手段１７０２に記憶してもよい。もしくは、入力画像が、時系列に構成された画像の一フレームにあたる場合、パッチ入力手段１７０１は、その時系列画像から生成されたパッチをパッチ候補としてパッチ記憶手段１７０２に記憶してもよい。

コンピュータ８００ｄは、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｄと、画像修復手段８０７と、パッチ記憶手段１７０２とを備えている。欠損領域抽出手段８０３、フレームメモリ８０４、欠損画素値推定手段８０５、及び、画像修復手段８０７については、第１の実施形態と同様である。

パッチ記憶手段１７０２は、パッチ入力手段１７０１が入力するパッチ候補を記憶する。パッチ記憶手段１７０２は、例えば、コンピュータ８００ｄが備える磁気ディスク装置等によって実現される。なお、パッチ記憶手段１７０２が、パッチ候補を予め記憶している場合、画像修復システムは、パッチ入力手段１７０１を備えていなくてもよい。

パッチ選択手段８０６ｄは、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報と、欠損画素値推定手段８０５が推定した画素値の推定値とに加え、パッチ記憶手段１７０２に記憶されているパッチ候補をもとに、欠損パッチと参照パッチの組を選択する。パッチ選択手段８０６ｄは、欠損画像から選択する参照パッチにパッチ候補を加えてパッチの組を選択すればよい。また、パッチの組を選択する方法は、第１の実施形態と同様に、パッチ選択関数を用いればよい。第１の実施形態では、パッチ選択手段８０６が画像入力手段８０１に入力された画像から選択される参照パッチのみを修復対象のパッチとして選択していた。本実施形態において、パッチ選択手段８０６ｄは、画像入力手段８０１に入力された画像から選択される参照パッチに加え、パッチ記憶手段１７０２に記憶されているパッチ候補を修復対象のパッチとして選択する。そのため、入力画像中にその画像を破綻させること無く修復可能な参照パッチが存在しない場合でも、パッチ記憶手段１７０２に記憶されているパッチ候補から参照パッチを選択可能になる。そのため、修復するためにより適した参照パッチを選択することが可能になる。

欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｄと、画像修復手段８０７とは、プログラム（画像修復プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、欠損領域抽出手段８０３と、欠損画素値推定手段８０５と、パッチ選択手段８０６ｄと、画像修復手段８０７とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、動作について説明する。図１４は、本実施形態における画像修復システムの動作の例を示すフローチャートである。

まず、画像入力手段８０１に基準画像（欠損画像）が入力される。さらに、パッチ入力手段１７０１は、入力したパッチ候補をパッチ記憶手段１７０２に記憶する（ステップＳ１８０１）。次に、欠損領域抽出手段８０３は、画像入力手段８０１に入力された欠損画像から欠損領域を抽出し、欠損画像と欠損領域とをフレームメモリ８０４に記憶させる（ステップＳ１８０２）。フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報をもとに、欠損画素値推定手段８０５は、欠損領域の画素の画素値を推定し、メモリ（図示せず）に記憶する（ステップＳ１８０３）。次に、フレームメモリ８０４に記憶された欠損画像及び欠損領域を示す情報、欠損画素値推定手段８０５が推定した画素値の推定値と、パッチ記憶手段１７０２に記憶されているパッチ候補をもとに、パッチ選択手段８０６ｄは、パッチ選択関数を用いて欠損パッチと参照パッチの組を選択する（ステップＳ１８０４）。

画像修復手段８０７は、パッチ選択手段８０６ｄが選択した欠損パッチと参照パッチの組、及び、フレームメモリ８０４に記憶された欠損画像をもとに、選択された欠損パッチ中の欠損領域に属する画素の画素値を参照パッチの画素の画素値を用いて修復し、その値をメモリ（図示せず）に記憶する（ステップＳ１８０５）。画像修復手段８０７は、修復した画像に欠損領域がなくなったか否かを判断する（ステップＳ１８０６）。修復された欠損領域以外に欠損領域が存在する場合（ステップＳ１８０６におけるＮｏ）、画像修復手段８０７は、修復した画像を画像記憶手段（図示せず）に記憶する（ステップＳ１８０７）。そして、画像修復手段８０７は、修復した画像を欠損領域抽出手段８０３に通知する。以降、欠損領域抽出手段８０３、欠損画素値推定手段８０５、パッチ選択手段８０６ｄ、及び、画像修復手段８０７は、ステップＳ１８０２以降の処理を繰り返す。

一方、修復された欠損領域以外に欠損領域が存在しない場合（ステップＳ１８０６におけるＹｅｓ）、画像修復手段８０７は、修復画像出力手段８０２に修復画像を出力させる（ステップＳ１８０８）。例えば、画像修復手段８０７は、ディスプレイ装置に復元した修復画像を表示させる。

次に、本実施形態の効果について説明する。以上のように、本実施形態によれば、パッチ選択手段８０６ｄが画像を修復する際に必要な参照パッチを画像中のみから決定するのではなく、予めパッチ記憶手段１７０２に入力されているパッチ候補も用いて決定する。そのため、破綻させること無く画像を修復可能な参照パッチが画像中に存在しない場合でも、画像を修復することが出来る。

以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。本実施例は、第２の実施形態に対応するものである。以下、図７を参照して、本発明の実施例について説明する。

本実施例では、画像入力手段８０１及び修復画像出力手段８０２に処理結果を出力させる装置として、ＮＴＳＣ（National Television System Committee）信号を入出力できるビデオキャプチャボードを用いるものとする。また、修復画像出力手段８０２としてディスプレイ装置を用いるものとする。また、本実施例では、コンピュータ８００ａとして、画像処理プロセッサを搭載した画像処理ボードを用いるものとする。これらは、以下のように動作する。

まず、ビデオキャプチャボードは、入力されたビデオ信号をＲＧＢ信号に変換し、その信号を画像処理ボードに送信する。また、ビデオキャプチャボードは、画像処理ボードにおける処理結果が転送されると、その処理結果をビデオ信号に変換して、ディスプレイ装置に表示させる。このように、本実施例では、画像処理ボードの処理結果をビデオキャプチャボードに転送し、ビデオキャプチャボードが画像をディスプレイ装置に表示させる。また、画像処理ボードは、欠損領域抽出手段８０３と、フレームメモリ８０４と、欠損画素値推定手段８０５と、尤度計算手段１１０１と、尤度記憶手段１１０２と、尤度更新手段１１０３と、パッチ選択手段８０６ａと、画像修復手段８０７とを備えているものとする。

欠損画像の入力信号が画像入力手段８０１に入力されると、欠損領域抽出手段８０３は欠損画像中の欠損領域を抽出する。本実施例では、欠損画像の信号はＲＧＢ形式で表現されているとする。また、欠損画像の画素ｉの画素値を要素とするベクトルをｘｉ＝（Ｒｉ、Ｇｉ、Ｂｉ）^ｔで表す。また、画素ｉの輝度値をＩｉと記し、輝度勾配を∇Ｉｉと記す。さらに、欠損領域の画素の集合をΩで表し、非欠損領域の画素の集合をζで表す。

本実施例では、欠損画像中の欠損領域はユーザにより予め与えられているものとする。具体的には、欠損画像中の欠損領域の画素をｊとしたとき、画素ｊの画素値ｘｊがユーザにより予めｘｊ＝（０、２５５、０）^ｔとして定義されている。欠損領域抽出手段８０３は、画素値が（Ｒｉ、Ｇｉ、Ｂｉ）^ｔ＝（０、２５５、０）^ｔである画素を検出することで、欠損領域を抽出する。また、画像修復手段８０７が修復した画像中に欠損領域が存在する場合、欠損領域抽出手段８０３は修復された画像を入力として、再度欠損領域を抽出する。

欠損領域抽出手段８０３に入力された欠損画像と、抽出された欠損領域を示す情報は、フレームメモリ８０４に記憶される。また、欠損画像及び欠損領域を示す情報が更新された場合、欠損領域抽出手段８０３は、以前に記憶されていた欠損画像と欠損領域を示す情報とを上書きする。本実施例では、欠損領域を示す情報は、マスク画像の形式で保存される。具体的には、マスク画像中の画素ｉの値をＹｉで表す場合、以下に示す式５のようにマスク画像が定義され、この値がフレームメモリ８０４に記憶される。

Ｙｉ＝１ （ｉ∈Ω）
Ｙｉ＝０ （ｉ∈ζ） （式５）

尤度初期値設定手段１１０１は、フレームメモリ８０４に記憶されている欠損画像と欠損領域を示す情報とをもとに、画素ごとに尤度Ｌを設定する。尤度初期値設定手段１１０１は、画素ｉにおける尤度Ｌｉを、以下に示す式６のように設定する。

Ｌｉ＝０ （ｉ∈Ω）
Ｌｉ＝１ （ｉ∈ζ） （式６）

尤度記憶手段１１０２は、尤度初期値設定手段１１０１が設定した尤度を画素ごとに記憶する。また、尤度記憶手段１１０２は、尤度更新手段１１０３が画素ｉの尤度を更新した場合には、更新された画素の尤度を既存の尤度に上書きして記憶する。

欠損画素値推定手段８０５は、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報を用いて、欠損領域に属する画素の画素値の確率分布関数を計算する。そのため、欠損画素値推定手段８０５は、まず、欠損領域中の画素ｊについて、Ｋ個の方向に放射状に非欠損領域の画素を探索する。ここで、探索に得られた画素を画素ｋ（ｋ=１・・・Ｋ）とし、これらの画素の画素値の集合を｛ｘｋ｝と表す。欠損画素値推定手段８０５は、｛ｘｋ｝をもとに、画素ｊが取りうる画素値の確率分布関数を以下の式７に示す混合ガウス分布で近似する。

ここで、Λは共分散行列でありパラメータσと３×３の単位行列Ｉを用いて以下の式８を用いて定義される。

Λ＝σ^−２I （式８）

また、Ｚは確率分布関数の規格化定数であり、式７で表わされる確率分布関数を確率変数ｘｊで積分したときに、その積分値が１になるように定められる。また、σはｘｋの内容が信頼できるほど、より小さな値になるように予め定められるパラメータである。

欠損画素値推定手段８０５は、以上のように欠損領域中の画素ごとに確率分布関数ｐ（ｘｊ｜｛ｘｋ｝）を算出し、メモリ（図示せず）に記憶する。

パッチ選択手段８０６ａは、尤度記憶手段１１０２に記憶されている画素ごとの尤度と、フレームメモリ８０４に記憶されている欠損画像及び欠損領域を示す情報と、欠損領域に属する画素の画素値の確率分布関数ｐ（ｘｊ｜｛ｘｋ｝）とを用いて、修復に用いられる欠損パッチΨｐ０及び参照パッチΨｑ０を選択する。このとき、パッチ選択手段８０６ａは、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）の最小値を求めることで、欠損パッチΨｐ０及び参照パッチΨｑ０の組を選択する。

以下、欠損パッチ候補Ψｐ及び参照パッチ候補Ψｑの大きさ及び形状は、ｎ×ｍ画素の大きさの長方形とする。また、本実施例では、欠損パッチ候補Ψｐ及び参照パッチ候補Ψｑの中心の画素を、それぞれ画素ｐ及び画素ｑと定義し、画素ｐの尤度をＬｐ、画素ｑの尤度をＬｑとする。このとき、パッチ選択関数Ｅ１（Ψｐ，Ψｑ）は以下の式９のように定義される。

Ｅ１（Ψｐ，Ψｑ）＝Ａ（Ψｐ）・Ｂ（Ψｐ，Ψｑ）／（Ｌｐ・Ｌｑ＋ε） （式９）

ここでεは、０より大きい実数であり、算出するパッチ選択関数Ｅ１の値の範囲に応じて予め設定されるパラメータである。なお、本実施例では、参照パッチ候補Ψｑに欠損領域は存在しないものとする。また、本実施例では、各パッチ候補の中心の画素に着目して説明する。ただし、選択される画素はパッチ領域中の中心である場合に限定されず、任意の場所の画素であってもよい。

また、関数Ａ（Ψｐ）を以下の式１０のように定義する。

Ａ（Ψｐ）＝１／｜∇Ｉｐ×∇Ｙｐ｜ （式１０）

ここで、∇Ｉｐは画素ｐにおける輝度勾配値であり、∇Ｙｐはマスク画像の画素ｐにおける勾配である。また、∇Ｉｐ×∇Ｙｐは、ベクトル∇Ｉｐとベクトル∇Ｙｐとのベクトル積（外積）を表す。また、関数Ｂ（Ψｐ，Ψｑ）は、Ｂ１（Ψｐ，Ψｑ）とＢ２（Ψｐ，Ψｑ）とＢ３（Ψｐ，Ψｑ）との３項から以下の式１１のように構成される。

ここで、β１、β２、β３は、各関数によって算出される値の重みを調整するための係数である。

パッチ選択手段８０６ａは、Ｂ１（Ψｐ，Ψｑ）を以下のように定義する。まず、パッチ選択手段８０６ａは、欠損画像中の非欠損領域の画像の画素値をＫ平均法を用いてＣ個の組にクラスタリングし、クラスタリングされた各画素をクラスごとにラベル付けを行う。以下、各クラスのラベルをｃ（ｃ＝１・・・Ｃ）で表し、クラスタ中心をμ（ｃ）で表す。また、画素ｉのラベルをｃｉで表す。次に、パッチ選択手段８０６ａは、欠損パッチ候補Ψｐに含まれているラベルを検出し、検出対象のラベルが付された画素の集合をｃｐ０とする。そして、パッチ選択手段８０６ａは、参照パッチ候補Ψｑの各画素のうち、欠損パッチ候補Ψｐの対応する画素が欠損領域であるという条件を満たす画素ｊについて、以下の式１２を用いて、量φｊを計算する。

パッチ選択手段８０６ａは、得られたφｊについて二乗和を算出し、これを以下の式１３に示す関数Ｂ１（Ψｐ，Ψｑ）とする。

ここで、関数Ｂ１（Ψｐ，Ψｑ）は、欠損パッチ候補Ψｐに存在するクラスのラベルと異なるラベルが参照パッチ候補Ψｑの画素に存在するときに、画素値の差が大きくなる関数である。なお、関数Ｂ１（Ψｐ，Ψｑ）において、パッチ選択手段８０６ａは、上述の条件（すなわち、「参照パッチ候補Ψｑの各画素のうち、欠損パッチ候補Ψｐの対応する画素が欠損領域である」という条件）を満たす画素ｊについての和を算出する。

次に、パッチ選択手段８０６ａは、欠損パッチ候補Ψｐに対応する参照パッチ候補Ψｑの画素をｊとしたとき、欠損画素値推定手段８０５により得られた確率分布関数ｐ（ｘｊ｜｛ｘｋ｝）を用いて、関数Ｂ２（Ψｐ，Ψｑ）を以下の式１４のように定義する。

ここで、関数Ｂ２（Ψｐ，Ψｑ）は、欠損パッチ候補Ψｐに存在する欠損領域中の画素の推定値と、対応する参照パッチ候補Ψｑの画素の画素値がどの程度異なるかを表した関数であり、両パッチ候補の画素値が近いほど値が小さくなる関数である。なお、関数Ｂ２（Ψｐ，Ψｑ）において、パッチ選択手段８０６ａは、上述の条件（すなわち、「参照パッチ候補Ψｑの各画素のうち、欠損パッチ候補Ψｐの対応する画素が欠損領域である」という条件）を満たす画素ｊについての和を算出する。

次に、パッチ選択手段８０６ａは、欠損パッチ候補Ψｐの非欠損領域の画素の画素値と、対応する参照パッチ候補Ψｑの画素の画素値との差分の二乗和として、関数Ｂ３（Ψｐ，Ψｑ）を定義する。すなわち、欠損パッチ候補Ψｐの画素ｊと参照パッチ候補Ψｑの画素ｉとが対応する画素同士であるとき、パッチ選択手段８０６ａは、関数Ｂ３（Ψｐ，Ψｑ）を以下の式１５のように定義する。

ここで、関数Ｂ３（Ψｐ，Ψｑ）は、欠損パッチ候補Ψｐに存在する非欠損領域中の画素の画素値と、対応する参照パッチ候補Ψｑの画素の画素値がどの程度異なるかを表した関数であり、両パッチ候補の画素値が近いほど値が小さくなる関数である。なお、関数Ｂ３（Ψｐ，Ψｑ）において、パッチ選択手段８０６ａは、「非欠損領域中に属する画素である」という条件を満たす画素ｊについての和を算出する。

パッチ選択手段８０６ａは、以上により得られた関数Ｅ１（Ψｐ，Ψｑ）の値が最小になるパッチの組（Ψｐ０，Ψｑ０）を選択する。パッチ選択手段８０６ａは、選択したパッチの組（Ψｐ０，Ψｑ０）と、パッチ選択関数の最小値Ｅ１（Ψｐ０，Ψｑ０）の値とをメモリ（図示せず）に記憶する。

尤度更新手段１１０３は、欠損パッチ及び参照パッチの組として選択された画像が、より類似している（すなわち、両パッチ候補の画素値が近い）ほど、尤度をより高くする方法により尤度を算出し、算出した尤度を用いて既存の尤度を更新する。具体的には、尤度更新手段１１０３は、パッチ選択手段８０６ａが選択したパッチの組（Ψｐ０，Ψｑ０）及び、最小値Ｅ１（Ψｐ０，Ψｑ０）をもとに、尤度Ｌｊの逆数Ｌｊ^−１を以下の式１６を用いて算出する。尤度更新手段１１０３は、算出したＬｊ^−１に基づいて、欠損パッチ中の欠損領域中に属する画素ｊの尤度Ｌｊを更新する。

ここで、＃Ψｐ０は欠損パッチΨｐ０の画素数を示す。また、（Ψｐ０∩Ω）は、欠損パッチΨｐ０における欠損領域の画素を示し、＃（Ψｐ０∩Ω）は欠損パッチΨｐ０における欠損領域の画素数を示す。また、（Ψｐ０∩ζ）は欠損パッチΨｐ０における非欠損領域の画素を示し、＃（Ψｐ０∩ζ）は欠損パッチΨｐ０における非欠損領域の画素数を示す。そして、ΣＬｊ^−１は、欠損パッチΨｐ０における非欠損領域に属する画素の尤度の逆数の総和である。γは、更新された画像の尤度をどの程度の割合で増加させるかを示すパラメータであり、利用者等により予め定められる。

なお、式１６に例示する各項の内容は、以下のとおりである。まず、パッチ選択関数における１画素あたりの平均値が小さいほど、より修復画像を破綻させる可能性が小さなパッチの組み合わせを選択することが出来ることから、第１項が定義される。また、欠損パッチにおける欠損領域の画素数が少ないほど、相対的に欠損パッチ中の非欠損領域の画素数が多くなるため、より修復画像を破綻させる可能性が小さなパッチの組み合わせを選択することが出来ることから、第２項が定義される。さらに、欠損パッチにおける非欠損領域の画素数が多いほど、より修復画像を破綻させる可能性が小さなパッチの組み合わせを選択することが出来る情報であり、また、その各非欠損領域における画素の尤度が大きい画素が集まっているほど、より修復画像を破綻させる可能性が小さなパッチの組み合わせを選択することが出来ることから、第３項が定義される。

式１６に例示する各項は、上記に示す理由により定義される。したがって、尤度Ｌｊの逆数Ｌｊ^−１の算出方法は、式１６の内容に限定されない。式１６に含まれる各項の任意の組合せで尤度Ｌｊを算出してもよい。また、上記各項の内容を示す他の算出方法によって尤度Ｌｊを算出してもよい。

画像修復手段８０７は、パッチ選択手段８０６ａが選択したパッチの組（Ψｐ０，Ψｑ０）をもとに、欠損パッチΨｐ０の欠損領域中に属する画素の画素値を、対応する参照パッチΨｑ０の画素の画素値で置き換える。

次に、欠損画素値推定手段８０５が欠損画像中の画素値を推定する他の方法について説明する。以下の説明では、欠損画素値推定手段８０５が、以下に例示する２段階の処理に基づいて欠損領域中の画素値を推定する場合について説明する。

まず、第１段階として、欠損画素値推定手段８０５は、欠損領域中のエッジ構造を推定し、次に第２段階として、このエッジ構造に基づいて欠損領域中の画素値を推定する。具体的には、欠損画素値推定手段８０５は、まず、エッジ構造を推定する。次に、このエッジ構造から推定されるエッジ近傍の画素の画素値を推定し、欠損画素値推定手段８０５は、推定した画素値と非欠損領域中の画素値との重み付き平均を算出して、欠損領域中の画素値を推定する。以下、この第１段階の処理を、図１５及び図１６を用いて具体的に説明する。

図１５は、エッジ近傍の画素値を推定して画像を修復する処理の例を説明する説明図である。図１５（ａ）に例示する画像は欠損画像であり、画像中の領域１０１が欠損領域である。欠損画素値推定手段８０５は、以下に例示する手順でエッジ構造を推定する。

初めに、欠損画素値推定手段８０５は、欠損領域外の画像をもとにエッジセグメントを検出する。欠損画素値推定手段８０５は、エッジセグメントを検出する方法として、例えば、Ｃａｎｎｙエッジ検出などの方法を用いてエッジセグメントを検出する。次に、欠損画素値推定手段８０５は、得られたエッジ領域（エッジセグメント）のうち、非欠損領域と隣接するエッジ画素を欠損領域中に存在するエッジの端として検出する。以下、エッジの端として検出された画素をｉとする。

欠損画素値推定手段８０５は、得られたエッジの端が、非欠損領域中にどの程度連続して存在しているかを計算する。そして、欠損画素値推定手段８０５は、ある一定画素数以上連続しているエッジを連続性の高いエッジとして検出する。例えば、欠損画素値推定手段８０５は、画素ｉが属するエッジの画素数が５画素以上である場合に、そのエッジを連続性の高いエッジとして検出する。以下、連続性の高いエッジの端として検出された画素をｉ’とする 。例えば、欠損画素値推定手段８０５は、図２１（ｂ）に例示する画像から、連続性が高いエッジの端の画素ｉ’として画素１０２，１０３，１０４を検出する。なお、画素ｉ’からなる集合は、画素ｉからなる集合の部分集合である。

欠損画素値推定手段８０５は、エッジの端として検出した画素同士のうち、同一のエッジセグメントに属する画素を検出する。具体的には、欠損画素値推定手段８０５は、エッジの端の画素同士から定義されるエッジ相違度ｄ（ｉ，ｊ）を、以下に例示する式１７のように定義する。そして、欠損画素値推定手段８０５は、相違度ｄ（ｉ，ｊ）が小さいエッジの端の画素同士から順に、ｄ（ｉ，ｊ）が閾値以下のものを同一のエッジセグメントに属すると判定する。なお、ｉ，ｊは、エッジの端の画素を表す。

ｄ（ｉ，ｊ）＝ｆ（ｉ，ｊ）・ｇ（ｉ，ｊ）・ｃ（ｉ，ｊ） （式１７）

また、ｆ（ｉ，ｊ）は、エッジを表す特徴ベクトルの相違度であり、以下に例示する式１８のように定義される。

ｆ（ｉ，ｊ）＝｜ｖ_ｉ−ｖ_ｊ｜^２ （式１８）

ここで、ｖ_ｉはエッジを表す画素ｉの特徴ベクトルである。ｖ_ｉは、画素ｉにおけるＲＧＢ値を、それぞれＲ_ｉ、Ｇ_ｉ、Ｂ_ｉとし、輝度値をＩ_ｉとしたとき、以下の式１９に例示する１０次元のベクトルで定義される。

また、ｇ（ｉ，ｊ）は、エッジ同士の幾何学的配置のペナルティである。以下、幾何学的配置について図１６を用いて説明する。図１６は、エッジの端点における角度と長さとの関係を説明する説明図である。図１６中のｌ_ij は、画素ｉと画素ｊを端とする直線の長さである。θ_ijは、画素ｉと画素ｊを端とする直線と、画素ｉにて推定されたエッジｅ_iとの為す角度［ｒａｄｉａｎ］である。また、θ_jiも同様に、画素ｊと画素ｉを端とする直線と、画素ｊにて推定されたエッジｅ_jとの為す角度である。エッジの端点における角度と長さの関係が、図１６に例示する関係にある場合、ｇ（ｉ，ｊ）は、以下に例示する式２０のように定義される。

ｇ（ｉ，ｊ）＝（１＋α・（θ_ij＋θ_ji）^２）・l_ij （式２０）

ここで、αは、画素ｉと画素ｊを結ぶ直線と、推定されたエッジとのなす角度に対して定められるパラメータであり、角度が異なるエッジに与えられるペナルティの大きさに応じて予め定められる。

また、ｃ（ｉ，ｊ）は、エッジの信頼度であり、以下に例示する式２１のように定義される。

ここで、∇Ｉ_i及び∇Ｉ_iは、それぞれ画素ｉ及び画素ｊにおける輝度勾配の大きさを表す。

欠損画素値推定手段８０５は、図１５（ｃ）に例示するように、検出された画素１０２及び画素１０４が両端になるエッジセグメント１０５を欠損領域中に存在するエッジセグメントであると推定する。そして、欠損画素値推定手段８０５は、このエッジセグメント１０５に属する画素を算出し、メモリ（図示せず）に記憶する。

次に、欠損画素値推定手段８０５は、選択されなかったエッジの端の画素のうち、連続性の高いエッジの端として検出されている画素についてのエッジセグメントを推定する。例えば、欠損画素値推定手段８０５は、図１５（ｄ）に例示するように、画素１０３から直線状に延長させたエッジ１０６についても、欠損画像中に存在するエッジセグメントであると推定する。具体的には、欠損画素値推定手段８０５は、連続性の高いエッジの端として検出されている画素１０３から、他のエッジセグメント１０５と衝突するまで、この画素１０３が属する欠損領域外のエッジの傾きに沿ってエッジを延長させる。欠損画素値推定手段８０５は、このように延長させたエッジ１０６を、欠損画像中に存在するエッジセグメントであると推定する。そして、欠損画素値推定手段８０５は、このエッジセグメント１０６に属する画素を、メモリ（図示せず）に記憶する。

次に、第２段階として、欠損画素値推定手段８０５は、推定されたエッジ構造に基づいて、以下に例示する手順で欠損領域中の画素値を補間する。まず、欠損画素値推定手段８０５は、推定されたエッジの周辺の画素の画素値を、エッジの端点の画素とその隣接画素の画素値から算出し、図１５（ｅ）に例示するように、エッジの近傍だけを修復する。

エッジの近傍を修復する処理について、図１７を用いてより詳しく説明する。図１７は、エッジ周辺の画素の画素値を修復する処理の例を示す説明図である。図１７に示す例では、各格子は１つの画素を表しており、中央の長方形の領域３００が欠損領域である。ここで、図１７（ａ）に例示する画素３０１及び画素３０２がエッジ端として抽出されたとする。このとき、欠損画素値推定手段８０５は、画素３０１と画素３０２、及び、その上下の画素（画素３０１ａ、画素３０１ｂ、画素３０２ａ及び画素３０２ｂ）を用いて画像を修復する。ここで、欠損画素値推定手段８０５は、画素３０１と３０２とをペアと決定し、ペア同士を結ぶ画素の画素値を、各ペアの画素からの距離に基づいて線形に補間する。欠損画素値推定手段８０５が欠損領域の画素を補間した結果の例を図１７（ｂ）に示す。図１７（ｂ）に示す例では、欠損画素値推定手段８０５が、画素３０１と画素３０２を結ぶ矢印で示す領域の画素を修復したことを示す。

欠損画素値推定手段８０５が、画素３０１と画素３０２の上下の画素（具体的には、画素３０１ａと画素３０２ａのペア、画素３０１ｂと画素３０２ｂのペア）に対して同様の処理を行うことで、図１７（ｃ）に例示する画像のようにエッジ周辺の画素の画素値が修復される。

次に、欠損画素値推定手段８０５は、欠損領域中の残りの画素の画素値を、注目している画素の上下左右４方向の画素の重み付平均値として算出する。そして、欠損画素値推定手段８０５は、算出した画素を欠損画像に適用することで、図１５（ｆ）に例示する画像を得ることができる。

欠損領域中の残りの画素を修復する処理について、図１８を用いてより詳しく説明する。図１８は、欠損領域中の画素の画素値を修復する処理の例を示す説明図である。図１８に示す例では、各格子は１つの画素を表しており、中央の長方形の領域４００が欠損領域である。修復する画素を４０１とした場合、欠損画素値推定手段８０５は、欠損領域に隣接する非欠損領域の画素であって、修復する画素４０１の上下左右方向の画素（すなわち、画素４０２、画素４０３、画素４０４及び画素４０５）の画素値を選択する。そして、欠損画素値推定手段８０５は、修復する画素とこれらの画素との距離に応じた重み付けを行い、その重みを用いて各画素値の平均を算出することにより、画素４０１の画素値を算出する。

以上のように、エッジ構造を推定し、推定されたエッジをもとに欠損領域中の画素の画素値を補間することで、欠損領域中の画素値を推定できる。

なお、上記説明では、欠損領域中の画素の画素値を修復する際、まずエッジ構造を推定し、次に推定されたエッジ近傍の画素の画素値を推定し、さらに欠損領域に隣接する上下左右の非欠損領域における画素の画素値の平均を算出することで、欠損領域のそれ以外の画素の画素値を推定する場合について説明した。このような方法のかわりに、推定されたエッジ構造から、以下のような手法で欠損領域中の画素値を推定してもよい。欠損領域中の画素の画素値に対し、推定されたエッジ構造近傍に画素が存在する場合には、そのエッジ構造をまたぐ方向に隣接する画素同士の画素値は変化が生じやすく、推定されたエッジ構造近傍に画素が存在しない場合には、隣接する画素同士の画素値は変化が生じにくいとする。そこで、上述の性質に反する画素値が存在する場合に値が大きくなるような、各画素の画素値を変数とする関数（以下、最適化関数と記す。）を定義し、欠損画素値推定手段８０５は、この関数が最小値をとる画素値を、推定された画素値としてもよい。例えば、最適化関数をＥとしたとき、欠損画素値推定手段８０５は、以下に例示する式２２をもとに、最適化関数Ｅが最小になる画素値を推定された画素値としてもよい。

ここで、添字ｉ，ｊは欠損画像中の各画素を示す。最適化関数Ｅは、画素値の値より定義される画素ごとの関数ｇ_ｉ（第１項）と、隣接画素間の画素値の関係から定義される関数ｈ_ｉｊ（第２項）との和で定義される。関数ｇ_ｉは、非欠損領域中の画素の画素値が欠損画像と同じ値になることを制約する項である。関数ｈ_ｉｊは、欠損領域中の画素の画素値に対し、推定されたエッジ構造近傍に画素が存在する場合には、そのエッジ構造をまたぐ方向に隣接する画素同士の画素値は変化が生じやすく、推定されたエッジ構造近傍に画素が存在しない場合には、隣接する画素同士の画素値は変化が生じにくいことを制約する項である。なお、画素ｉと画素ｊは隣接画素同士である。ここで、最適化関数Ｅの大域的最小値を示す画素値を求める方法として、画素値を離散的な値とし離散値最適化手法を用いる方法と、画素値を連続的な値とし連続値最適手法を用いる方法がある。離散値最適化手法としては、例えば、Ｇｒａｐｈ Ｃｕｔｓ、Ｂｅｌｉｅｆ Ｐｒｏｐａｇａｔｉｏｎ、Ｔｒｅｅ−Ｒｅｗｅｉｇｈｔｅｄ Ｍｅｓｓａｇｅ Ｐａｓｓｉｎｇ、Ｉｔｅｒａｔｅｄ Ｃｏｎｄｉｔｉｏｎａｌ Ｍｏｄｅｓ、もしくは、Ｓｉｍｕｌａｔｅｄ Ａｎｎｅａｌｉｎｇなどを用いればよい。また、連続値最適化手法としては、勾配法、共役勾配法、Ｇａｕｓｓ−Ｎｅｗｔｏｎ法、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法などを用いればよい。もしくは、上述の方法により大域的最小値を求めるのではなく、欠損領域中の画素値を逐次的に決定することで、最適化関数Ｅの近似的な最小値（局所最小値）を求めてもよい。

次に、本発明による画像修復システムの最小構成例を説明する。図１９は、本発明による画像修復システムの最小構成の例を示すブロック図である。本発明による画像修復システムは、画像（例えば、欠損画像）中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する（例えば、確率分布ｐ（ｘｉ｜｛ｘｋ｝）を構成して画素を推定する）欠損画素値推定手段９１（例えば、欠損画素値推定手段８０５）と、欠損領域を含む領域の画像である欠損パッチと、欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択するパッチ選択手段９２（例えば、パッチ選択手段８０６）と、選択されたパッチの組における参照パッチをもとに欠損パッチを修復する（例えば、αブレンディングにより修復する）画像修復手段９３（例えば、画像修復手段８０７）とを備えている。

パッチ選択手段９２は、欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係（例えば、パッチ選択関数Ｅ（Ψｐ，Ψｑ））をもとに、欠損パッチの画像と参照パッチの画像とがより類似している（例えば、パッチ選択関数Ｅ（Ψｐ，Ψｑ）の値が最も小さい）パッチの組（例えば、（Ψｐ０，Ψｑ０））を選択する。

そのような構成により、利用者の意図と異なる領域の存在する画像を破綻させることなく修復できる。

なお、少なくとも以下に示すような画像修復システムも、上記に示すいずれかの実施形態に開示されている。

（１）画像（例えば、欠損画像）中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する（例えば、確率分布ｐ（ｘｉ｜｛ｘｋ｝）を構成して画素を推定する）欠損画素値推定手段（例えば、欠損画素値推定手段８０５）と、欠損領域を含む領域の画像である欠損パッチと、欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択するパッチ選択手段（例えば、パッチ選択手段８０６）と、選択されたパッチの組における参照パッチをもとに欠損パッチを修復する（例えば、αブレンディングにより修復する）画像修復手段（例えば、画像修復手段８０７）とを備え、パッチ選択手段が、欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係（例えば、パッチ選択関数Ｅ（Ψｐ，Ψｑ））をもとに、欠損パッチの画像と参照パッチの画像とがより類似している（例えば、パッチ選択関数Ｅ（Ψｐ，Ψｑ）の値が最も小さい）パッチの組（例えば、（Ψｐ０，Ψｑ０））を選択する画像修復システム。

（２）パッチ選択手段（例えば、パッチ選択手段８０６ａ）が、欠損パッチと参照パッチとを含むパッチの組の中から、欠損パッチの画像と参照パッチの画像との類似の度合（例えば、関数Ｂ（Ψｐ，Ψｑ）の値）と、欠損パッチ及び参照パッチ中の各画素に設定された画素値の尤もらしさを表す量である尤度（例えば、尤度Ｌｐ及びＬｑ）とに基づいて（例えば、（式９）に基づいて）パッチの組を選択する画像修復システム。

（３）欠損パッチ及び参照パッチの組として選択された画像がより類似しているほど、尤度をより高く算出する方法により尤度を算出し、算出した尤度を用いて、入力された画像中の欠損領域に応じてその画像中の各画素に予め設定（例えば、尤度初期値設定手段１１０１により尤度記憶手段１１０２に記憶）された尤度を更新する尤度更新手段（例えば、尤度更新手段１１０３）を備え、パッチ選択手段が、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素の更新された尤度とに基づいてパッチの組を選択する画像修復システム。

（４）パッチ選択手段が、欠損パッチ候補の構造情報をもとに欠損パッチを選択する欠損パッチ選択手段（例えば、欠損パッチ選択手段１３０１）と、選択された欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係をもとに、参照パッチの中から、より欠損パッチに類似している参照パッチを選択する参照パッチ選択手段（例えば、参照パッチ選択手段１３０２）とを含む画像修復システム。

（５）欠損パッチ及び参照パッチに分類された各パッチ候補を、共通の特徴（例えば、境界の領域、背景色の領域、あるオブジェクトの領域など）に基づいて、各欠損パッチ及び参照パッチの候補内でグループに分類する（例えば、クラスタリングを行う）パッチ分類手段（例えば、パッチ分類手段１５０１）を備え、パッチ選択手段（例えば、パッチ選択手段８０６ｃ）が、同一のグループに分類された欠損パッチと参照パッチ同士をパッチの組として選択する画像修復システム。

（６）参照パッチの候補であるパッチ候補を記憶するパッチ記憶手段（例えば、パッチ記憶手段１７０２）を備え、パッチ選択手段（例えば、パッチ選択手段８０６ｄ）が、参照パッチもしくはパッチ記憶手段に記憶されたパッチ候補と、欠損パッチとからなるパッチの組の中から、参照パッチもしくはパッチ候補と、欠損パッチとがより類似しているパッチの組を選択する画像修復システム。

（７）パッチ候補が入力され、入力されたパッチ候補をパッチ記憶手段に記憶させるパッチ入力手段（例えば、パッチ入力手段１７０１）を備え、パッチ選択手段が、参照パッチもしくはパッチ入力手段に入力されたパッチ候補と、欠損パッチとからなるパッチの組の中から、参照パッチもしくはパッチ候補と、欠損パッチとがより類似しているパッチの組を選択する画像修復システム。

（８）欠損領域を含む画像である欠損画像から欠損領域を抽出する欠損領域抽出手段（例えば、欠損領域抽出手段８０３）を備え、パッチ選択手段が、抽出された欠損領域を含む領域の画像である欠損パッチと、参照パッチとからなるパッチの組の中から、欠損パッチと参照パッチとがより類似しているパッチの組を選択する画像修復システム。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１１月２０日に出願された日本特許出願２００９−２６５０３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、利用者の意図と異なる画像中の領域を修復する画像修復システムに好適に適用される。さらに、本発明は、ウェブ上に公開されている画像中に本人の許可無く撮影されている人物について、その領域を欠損領域として修復することでプライバシー保護を行うといった用途に適用できる。また、物理的な損傷（傷、汚れ等）のあるアナログ写真をスキャナなどで取り込みデジタル画像とした際に、その物理的な損傷部位を欠損領域とし修復することで画像の価値を高めるといった用途にも適用可能である。さらに、以前に放映された画像を再度利用する際に、画像中に存在しているテロップなどの部分を欠損領域として修復することで、画像の価値を高めるといった用途にも適用可能である。また、画像中のノイズやボケが存在する部分を欠損領域として修復することで、より高画質な画像を得るといった用途にも適用可能である。

８００ コンピュータ
８０１ 画像入力手段
８０２ 修復画像出力手段
８０３ 欠損領域抽出手段
８０４ フレームメモリ
８０５ 欠損画素値推定手段
８０６ パッチ選択手段
８０７ 画像修復手段
１３０１ 欠損パッチ選択手段
１３０２ 参照パッチ選択手段

Claims (24)

1. 画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する欠損画素値推定手段と、
   前記欠損領域を含む領域の画像である欠損パッチと、前記欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、前記欠損パッチと前記参照パッチとがより類似しているパッチの組を選択するパッチ選択手段と、
   選択された前記パッチの組における参照パッチをもとに前記欠損パッチを修復する画像修復手段とを備え、
   前記パッチ選択手段は、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択する
   ことを特徴とする画像修復システム。
2. パッチ選択手段は、欠損パッチと参照パッチとを含むパッチの組の中から、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素に設定された画素値の尤もらしさを表す量である尤度とに基づいてパッチの組を選択する
   請求項１記載の画像修復システム。
3. 欠損パッチ及び参照パッチの組として選択された画像がより類似しているほど、尤度をより高く算出する方法により尤度を算出し、算出した尤度を用いて、入力された画像中の欠損領域に応じて当該画像中の各画素に予め設定された尤度を更新する尤度更新手段を備え、
   パッチ選択手段は、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素の更新された尤度とに基づいてパッチの組を選択する
   請求項２記載の画像修復システム。
4. パッチ選択手段は、
   欠損パッチ候補の構造情報をもとに欠損パッチを選択する欠損パッチ選択手段と、
   選択された欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係をもとに、参照パッチの中から、より欠損パッチに類似している参照パッチを選択する参照パッチ選択手段とを含む
   請求項１から請求項３のうちのいずれか１項に記載の画像修復システム。
5. 欠損パッチ及び参照パッチに分類された各パッチ候補を、共通の特徴に基づいて、各欠損パッチ及び参照パッチの候補内でグループに分類するパッチ分類手段を備え、
   パッチ選択手段は、同一のグループに分類された欠損パッチと参照パッチ同士をパッチの組として選択する
   請求項１から請求項４のうちのいずれか１項に記載の画像修復システム。
6. 参照パッチの候補であるパッチ候補を記憶するパッチ記憶手段を備え、
   パッチ選択手段は、参照パッチもしくは前記パッチ記憶手段に記憶されたパッチ候補と、欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択する
   請求項１から請求項５のうちのいずれか１項に記載の画像修復システム。
7. パッチ候補が入力され、入力されたパッチ候補をパッチ記憶手段に記憶させるパッチ入力手段を備え、
   パッチ選択手段は、参照パッチもしくは前記パッチ入力手段に入力されたパッチ候補と、欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択する
   請求項６記載の画像修復システム。
8. 欠損領域を含む画像である欠損画像から欠損領域を抽出する欠損領域抽出手段を備え、
   パッチ選択手段は、抽出された欠損領域を含む領域の画像である欠損パッチと、参照パッチとを含むパッチの組の中から、前記欠損パッチと参照パッチとがより類似しているパッチの組を選択する
   請求項１から請求項７のうちのいずれか１項に記載の画像修復システム。
9. 画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定し、
   前記欠損領域を含む領域の画像である欠損パッチと、前記欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、前記欠損パッチと前記参照パッチとがより類似しているパッチの組を選択し、
   前記パッチの組を選択する際には、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択し、
   選択された前記パッチの組における参照パッチをもとに前記欠損パッチを修復する
   ことを特徴とする画像修復方法。
10. パッチの組を選択する際には、欠損パッチと参照パッチとを含むパッチの組の中から、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素に設定された画素値の尤もらしさを表す量である尤度とに基づいてパッチの組を選択する
    請求項９記載の画像修復方法。
11. 欠損パッチ及び参照パッチの組として選択された画像がより類似しているほど、尤度をより高く算出する方法により尤度を算出し、
    算出した尤度を用いて、入力された画像中の欠損領域に応じて当該画像中の各画素に予め設定された尤度を更新し、
    パッチの組を選択する際には、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素の更新された尤度とに基づいてパッチの組を選択する
    請求項１０記載の画像修復方法。
12. パッチの組を選択する際には、欠損パッチ候補の構造情報をもとに欠損パッチを選択し、選択された欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係をもとに、参照パッチの中から、より欠損パッチに類似している参照パッチを選択する
    請求項９から請求項１１のうちのいずれか１項に記載の画像修復方法。
13. 欠損パッチ及び参照パッチに分類された各パッチ候補を、共通の特徴に基づいて、各欠損パッチ及び参照パッチの候補内でグループに分類し、
    パッチの組を選択する際には、同一のグループに分類された欠損パッチと参照パッチ同士をパッチの組として選択する
    請求項９から請求項１２のうちのいずれか１項に記載の画像修復方法。
14. パッチの組を選択する際には、参照パッチもしくは参照パッチの候補であるパッチ候補を記憶するパッチ記憶手段に記憶された当該パッチ候補と欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択する
    請求項９から請求項１３のうちのいずれか１項に記載の画像修復方法。
15. パッチ入力手段に入力されたパッチ候補をパッチ記憶手段に記憶させ、
    パッチの組を選択する際には、参照パッチもしくは前記パッチ入力手段に入力されたパッチ候補と、欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択する
    請求項１４記載の画像修復方法。
16. 欠損領域を含む画像である欠損画像から欠損領域を抽出し、
    パッチの組を選択する際には、抽出された欠損領域を含む領域の画像である欠損パッチと、参照パッチとを含むパッチの組の中から、前記欠損パッチと参照パッチとがより類似しているパッチの組を選択する
    請求項９から請求項１５のうちのいずれか１項に記載の画像修復方法。
17. コンピュータに、
    画像中の修復対象領域である欠損領域の各画素が取りうる画素値を、欠損領域を含まない画像中の領域である非欠損領域の画素の画素値をもとに推定する欠損画素値推定処理、
    前記欠損領域を含む領域の画像である欠損パッチと、前記欠損領域を含まない領域の画像である参照パッチとを含むパッチの組の中から、前記欠損パッチと前記参照パッチとがより類似しているパッチの組を選択するパッチ選択処理、および、
    選択された前記パッチの組における参照パッチをもとに前記欠損パッチを修復する画像修復処理を実行させ、
    前記パッチ選択処理で、欠損パッチにおける欠損領域の画素値に推定された画素値を用い、当該欠損領域の画素値と、対応する参照パッチの画素値とを比較して、欠損パッチの画像と参照パッチの画像とがより類似しているパッチの組を選択させる
    ことを特徴とする画像修復プログラム。
18. コンピュータに、
    パッチ選択処理で、欠損パッチと参照パッチとを含むパッチの組の中から、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素に設定された画素値の尤もらしさを表す量である尤度とに基づいてパッチの組を選択させる
    請求項１７記載の画像修復プログラム。
19. コンピュータに、
    欠損パッチ及び参照パッチの組として選択された画像がより類似しているほど、尤度をより高く算出する方法により尤度を算出し、算出した尤度を用いて、入力された画像中の欠損領域に応じて当該画像中の各画素に予め設定された尤度を更新する尤度更新処理を実行させ、
    パッチ選択処理で、欠損パッチの画像と参照パッチの画像との類似の度合と、欠損パッチ及び参照パッチ中の各画素の更新された尤度とに基づいてパッチの組を選択させる
    請求項１８記載の画像修復プログラム。
20. コンピュータに、
    パッチ選択処理で、
    欠損パッチ候補の構造情報をもとに欠損パッチを選択する欠損パッチ選択処理、および、
    選択された欠損パッチにおいて推定された欠損領域の画素値と、対応する参照パッチの画素値との関係をもとに、参照パッチの中から、より欠損パッチに類似している参照パッチを選択する参照パッチ選択処理を実行させる
    請求項１７から請求項１９のうちのいずれか１項に記載の画像修復プログラム。
21. コンピュータに、
    欠損パッチ及び参照パッチに分類された各パッチ候補を、共通の特徴に基づいて、各欠損パッチ及び参照パッチの候補内でグループに分類するパッチ分類処理を実行させ、
    パッチ選択処理で、同一のグループに分類された欠損パッチと参照パッチ同士をパッチの組として選択させる
    請求項１７から請求項２０のうちのいずれか１項に記載の画像修復プログラム。
22. 参照パッチの候補であるパッチ候補を記憶するパッチ記憶手段を備えたコンピュータに適用される画像修復プログラムであって、
    前記コンピュータに、
    パッチ選択処理で、参照パッチもしくは前記パッチ記憶手段に記憶されたパッチ候補と、欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択させる
    請求項１７から請求項２１のうちのいずれか１項に記載の画像修復プログラム。
23. コンピュータに、
    パッチ入力手段に入力されたパッチ候補をパッチ記憶手段に記憶させるパッチ入力処理を実行させ、
    パッチ選択処理で、参照パッチもしくは前記パッチ入力手段に入力されたパッチ候補と、欠損パッチとを含むパッチの組の中から、参照パッチもしくは前記パッチ候補と、欠損パッチとがより類似しているパッチの組を選択させる
    請求項２２記載の画像修復プログラム。
24. コンピュータに、
    欠損領域を含む画像である欠損画像から欠損領域を抽出する欠損領域抽出処理を実行させ、
    パッチ選択処理で、抽出された欠損領域を含む領域の画像である欠損パッチと、参照パッチとを含むパッチの組の中から、前記欠損パッチと参照パッチとがより類似しているパッチの組を選択させる
    請求項１７から請求項２３のうちのいずれか１項に記載の画像修復プログラム。

Images