JP4658223B2 - 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 - Google Patents

Description

本発明は、複数の画像から高い解像度の画像を生成する技術に関するものである。
本願は、２００７年１０月１５日に出願された特願２００７−２６７９２７号に基づき優先権を主張し、その内容をここに援用する。

図１１は直線配列の多視点撮像系、図１２は平面配列の多視点撮像系、図１３はアーク状配列の多視点撮像系、図１４は球面配列の多視点撮像系のカメラ配置例を示す図である。

一つのシーンを異なる方向から撮影する多視点撮像系が開発されている。多視点撮像系において、カメラ配置は、図１１に示すように直線上に１次元配列であったり、図１２に示すように平面上に２次元配列であったり、また、図１３に示すようにアーク状に配列したものや、図１４に示すように球面状に配列したものなど、さまざまである。このような多視点撮像系を利用すれば、多面的な映像シーンをアーカイブする（１つにまとめる）ことが可能となる。

さらに、多視点で撮影されたカメラ映像から、撮影されていない仮想カメラ位置の画像情報を生成する技術がある。これを画像合成技術と呼ぶ。画像合成では、元のカメラ映像は空間中のどの方向から撮影した画像情報であるかを示すカメラパラメータがわかっているとする。画像合成には種々の方法がある。
例えば、奥行き情報を推定して合成する方法がある。まず元のカメラ映像間で画像情報の対応点探索を行い視差情報を求め、視差情報からシーンの奥行き情報を推定する。そして、仮想カメラ位置の奥行き情報を推定して、対応する画像情報を元のカメラの画像情報から作成する（非特許文献１参照）。

また、奥行き情報の推定まで行わずに、元の画像の視差情報を利用して直接仮想カメラ位置の画像情報を作成する方法もある（非特許文献２参照）。

あるいは、複数のカメラ映像からシーンに存在するオブジェクトの３次元モデル情報を推定しておき、仮想カメラ位置からの当該モデルの投影画像を生成する方法もある（非特許文献３参照）。

このような撮像系では、通常解像度の同じカメラを用いるが、解像度の異なるカメラを用いてもよい。解像度の高いカメラと解像度の低いカメラとを組み合わせて用いることで、得られる画像情報の情報量を低減することが可能である。また、カメラのフォーカス位置や視野角を変えてもよい。この場合には、撮影される画像信号の解像度が同じであっても、実際に撮影されている領域部分の解像度が異なる。

解像度の低い画像から解像度の高い画像を得る方法として、低解像度の画像中の画像信号にアップサンプリングフィルタを適用する拡大方法と、超解像を用いる方法が挙げられる。

拡大方法では、周辺近傍の画像信号に対して適当なフィルタを適用して画像信号を得る。一方、超解像方法では、一般的に連続して撮影された複数の同じ解像度の画像情報を用いる（非特許文献４参照）。まず、目的の画像として、撮影された画像よりも大きな解像度の画像を定義しておく。すなわち、生成する対象の画素位置を定義しておく。そして、複数の撮影された画像の間で、対応関係を推定し、撮影して得られた画像信号を目的の画素位置に埋めていく。これにより、高い解像度の画像情報を得る。
Keita Takahashi and Takeshi Naemura,"Layered Light-Field Rendering with Focus Measurement", EURASIP Signal Processing: Image Communication, vol.21, no.6, pp.519-530（2006.7. M. Droese, T. Fujii and M. Tanimoto,"Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation", Proc. of IWSSIP2004, pp.247-250, Poznan, Poland, Sept. 2004. 松山隆司、高井勇志、ウ 小軍、延原章平：「３次元ビデオ映像の撮影・編集・表示」、日本バーチャルリアリティ学会論文誌、Vol.7, No.4, pp.521-532, 2002.12． 田中正行、奥富正敏、「再構成型超解像処理の高速化アルゴリズムとその精度評価」、信学論 D-II vol.J88-D-II, no.11, pp.2200-2209, 2005.

本発明は、解像度の異なる多視点映像を扱うという発明者の着眼した新規な技術について、低解像度の画像が失っている高周波成分の情報を復元し、高解像度の画像に比べて主観的な品質の低い低解像度で撮影した画像を、品質よく高解像度化する方式を提供することを目的とする。

解像度の異なる多視点映像を扱うということは従来行われていなかった。即ち、本発明の課題は、解像度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
多視点撮像系で解像度の異なるカメラを用いた場合には、低解像度の画像と高解像度の画像が混在することになる。また、同じ解像度のカメラで撮影した場合であっても、例えば一部のカメラ映像の解像度を低減することで情報量を削減できるため、多視点画像の圧縮には好適な場合がある。この場合においても、低解像度の画像と高解像度の画像が混在することになる。

以上のような場合においては、低解像度の画像情報では高周波成分が欠落している。このため、低解像度で撮影されたカメラ位置の画像情報は、高解像度で撮影されたカメラ位置の画像情報に比べて、主観品質が劣化するという問題がある。

本発明は、上記問題点の解決を図り、低解像度の画像が失っている高周波成分の情報を復元し、高解像度の画像に比べて主観的な品質の低い低解像度で撮影した画像を、品質よく高解像度化する技術を提供する。

本発明の概要について説明する。例えば、解像度の異なる複数のカメラで同一シーンを撮影することにより、扱う画像信号の総量を減らすことができる。したがって、この場合、多視点映像の符号量を大幅に下げることができる。しかしながら、低解像度で撮影したカメラの映像は、高解像度の画像に比べて、主観的な品質が低いという問題がある。
本発明は、この低解像度で撮影した映像を、品質良く高解像度化する方式をもって、この問題を解決する。そもそも解像度の異なる多視点映像を扱うといったことは従来行われていなかった。本発明の課題は、解像度の異なる多視点映像を扱うという新しい技術的着想から生じた課題である。
本発明は、具体的には実施例として後述するように、解像度の異なる多視点映像だけでなく、一つのカメラ入力映像中のフレーム間で解像度の異なる映像などに対しても適用することができる。

本発明は、基本的には低解像度の画像が失っている高周波成分の情報を復元する手段を提供することにより、解像度の異なる多視点映像を扱う場合の扱う画像信号の総量の削減、すなわち多視点映像の符号量の大幅な削減を可能にする。

低解像度の画像の画素数を増やす、即ち解像度を上げる従来方法としては、前述したように、アップサンプリングフィルタを用いて画像信号を拡大する方法、あるいは他の画像の画像信号を利用して高解像度の画像を作る超解像技術を使う方法が挙げられる。このうち、画像信号を拡大する方法では、失っている高周波成分の情報は得られない。一方、超解像の方法は、高周波成分の情報を得られるが、やり方と扱っている対象が本発明とは異なる。

超解像の方法では、まず複数の低解像度の画像情報があることが前提となっている。そして、目的の高解像度の画像の画素位置を設定し、この画素位置に、低解像度の画像情報を埋めていく。したがって、超解像は、元々存在しない画像そのものを合成して作成する技術といえる。

これに対し、本発明は、超解像とは本質的に扱う課題が異なり、低解像度の画像情報の元々ある高周波成分を復元することを要旨とする。このときに他の高解像度の画像の対応する画像情報を利用して作成するが、元々の低解像度の画像情報は対応点探索だけに利用し、低解像度の画像を拡大した画像に対して、対応する高解像度の画像の画像情報を用いて埋めるという技術的手段を用いる点で、超解像の発想とは根本的に異なる。

上記の課題を解決するため、本発明は、画像Ａと、画像Ａよりも解像度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａを拡大して、画像Ｂと同じ解像度を有する画像Ｃを作成する画像拡大ステップと、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、を実行する方法を提供する。

この画像生成方法によれば、他の画像に含まれる高周波成分の情報を使い、所望の低解像度の画像に対する高解像度の画像を生成することができる。このとき生成する画素位置に対応する画像信号が他の画像にない場合には、元々の低解像度を拡大した画像情報を用いることにより画像情報の欠落を防ぐことができる。

対応点の推定では、対応点情報を別途入力として与える場合と、対応点を画像情報を使って探索する場合が挙げられる。対応点情報を別途与える場合には、シーンの奥行き情報や幾何情報を予め推定しておき、そこから画像間の対応点を推定するようにしてもよい。

対応点の探索では、対応する画素間（画像Ｃの各画素に対して、画像Ｂの１〜複数の画素候補）で差分の絶対値を求めて、その値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、対応点はないと推定してもよい。
この場合の閾値を低解像度の画像情報と一緒にファイル化しておくことも好適である。ファイル化された低解像度の画像情報から高解像度の画像情報を生成する際に、ファイルに含まれる閾値を使用することで、生成する際に常に同じ画像が得られることを保障できる。

あるシーンを複数の方向から撮影する場合で、解像度の異なるカメラを利用する場合に、低解像度のカメラの画像に対して、他の高解像度のカメラの画像を利用して、高い解像度の画像を生成することができる。この方法は多視点画像だけではなく、単眼の動画像にも適用できる。すなわち、動画像中の各フレームの解像度が異なる場合に、低解像度のフレームの画像に対して、他の高解像度のフレームの画像を利用して、高い解像度の画像を生成することができる。

上記方法において、対応点推定ステップで対応点がないと推定された、画像Ｃ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップを、更に設けても良い。

この場合、生成する画素位置に対応する画像信号が他の画像にない場合には、周囲にある生成した高解像度の画像信号から補間して作成することにより画像情報の欠落を防ぐことができる。

また、本発明は、画像Ａと、画像Ａよりも解像度の高い画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａを拡大して、画像Ｂと同じ解像度を有する画像Ｄを作成する画像拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅを縮小して、画像Ａと同じ解像度を有する画像Ｆを作成する画像縮小ステップと、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、差分作成ステップで求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、を実行する方法を提供する。

典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。

この画像生成方法によれば、所望の低解像度の画像と他の画像との対応点の推定に誤差がある場合に、前述した発明と同様に生成した高解像度の画像を用いる代わりに、元々の低解像度を高解像度に拡大した画像情報を用いたり、生成した高解像度の画像情報と元々の低解像度を高解像度に拡大した画像情報の重み付け平均値を用いることにより、推定誤差による画質の劣化を低減できる。

また、本発明は、同じ解像度を有する画像Ａと画像Ｂから画像Ｃの画像情報を生成する画像生成方法であって、画像Ａを縮小して解像度の小さい画像Ｇを作成する基準画像縮小ステップと、画像Ｇを拡大して、画像Ａと同じ解像度を有する画像Ｄを作成する画像拡大ステップと、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定ステップと、対応点推定ステップで対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、対応点推定ステップで対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定ステップで設定された画像情報から作成する画像補間ステップと、画像Ｅを縮小して、画像Ｇと同じ解像度を有する画像Ｆを作成する画像縮小ステップと、画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成ステップと、を実行し、さらに、予め設定した範囲で閾値を設定する閾値設定ステップと、差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、画像情報設定ステップで得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、を閾値を変えながら実行し、生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップを実行する方法を提供する。

典型例として、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、
(i) 対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する、もしくは、
(ii) 対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する
ようにする。

この画像生成方法によれば、画像を低解像度化して高解像度化する場合において、前述した方法で高解像度の画像を生成する際に、対応点の推定誤差による劣化の大きさを検出し、劣化が最も小さくなるように、生成した高い解像度の画像を選択する閾値を決定できる。元々の高い解像度の画像情報も存在するため、劣化の大きさを検出することができる。

この閾値パラメータは次のように利用できる。まず、この閾値を推定しておき、閾値パラメータとして低解像度の画像情報に付随させておく。例えば、低解像度の画像と他の画像と一緒に、この閾値パラメータもファイル化しておく。このファイルには低解像度化する前の画像情報は含めない。従って、元の画像よりも低解像度の画像情報をファイル化するため、ファイルサイズを小さくすることができる。このファイルを再生する際は、低解像度の画像と他の画像から、上記閾値パラメータを利用して、高解像度画像を生成することができる。このとき、主観品質の劣化を最小化した高解像度の画像を生成することができる。

また、前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合に、上記(ii)の手法を用いる場合には、低い解像度の画像を拡大した画像を生成した画像の信号に用いるのではなく、高い解像度の画像と重み付け平均した値を用いるので、低解像度の画像を拡大することによる画像のボケを低減することができる。

本発明はまた、上記各方法により画像を生成する画像生成装置も提供する。

本発明によれば、低解像度で撮影されたカメラ位置の画像情報に対して、別の高解像度で撮影されたカメラ位置の画像情報を利用して、高い解像度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。

本発明の第１の実施例である、画像生成装置の構成を示す図である。 同実施例の、画像生成装置の動作を示すフローチャートである。 本発明の第２の実施例である、画像生成装置の構成を示す図である。 同実施例の、画像生成装置の動作を示すフローチャートである。 本発明の第３の実施例である、画像生成装置の構成を示す図である。 同実施例の、画像生成装置の動作を示すフローチャートである。 同実施例の変形例である、画像生成装置の構成を示す図である。 本発明の第４の実施例である、画像生成装置の構成を示す図である。 同実施例の、画像生成装置の動作を示すフローチャートである。 同実施例の変形例である、画像生成装置の構成を示す図である。 直線配列の多視点撮像系の例を示す図である。 平面配列の多視点撮像系の例を示す図である。 アーク状配列の多視点撮像系の例を示す図である。 球面配列の多視点撮像系の例を示す図である。

符号の説明

１０１、２０１、３０１、４０１ 画像拡大部
１０２、２０２、３０２、４０２ 対応点推定部
１０３、２０３、３０３、４０３ 対応画像設定部
２０４、３０４、４０４ 画像補間部
３０５、４０５ 画像縮小部
３０６、４０６ 差分作成部
３０７、４０７ 画像選択部
３０８、４０８ 画像生成部
４０９ 生成差分合計部
４１０ 閾値設定部
４１１ 閾値決定部
４１２ 基準画像縮小部

図面を用いて本発明の画像生成装置の実施例を説明する。

〔第１の実施例〕
第１の実施例として、別のカメラで撮影された低解像度の画像Ａと高解像度の画像Ｂから、画像Ａに対応する高解像度（画像Ｂの高解像に対応）の画像Ｃを生成する場合の例を示す。ここでカメラで撮影される信号は、全てＹＵＶ信号（輝度Ｙ、色差Ｕ，Ｖ）により色信号が設定されているものとし、実施例ではＹ信号のみを扱うものとする。

図１に装置概要を示す。本実施例における画像生成装置は、画像Ａを拡大して画像Ｂと同じ解像度を有する画像Ｃを作成する画像拡大部１０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部１０２と、対応点推定部１０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部１０３とを備える。

ここで、画像拡大部１０１では、分数位置の画像情報を双一次補間により求め、拡大画像を作成するものとする。
また、対応点推定部１０２では、カメラパラメータもしくは既知のマッチング技術を用いて、画像Ｃの各画素について（画像Ｂ中の）対応する画素の候補を（１〜複数）仮定し、対応する画素間で差分の絶対値を求めて、それら絶対値の最小値が予め設定した閾値よりも小さい場合には、その最小値となる点を対応点と推定し、閾値よりも大きい場合には、画像Ｃの当該画素については対応点はないと推定するものとする。

以上を前提として、図１に示す画像生成装置は次のように動作する。図２に、そのフローチャートを示す。

まず、画像拡大部１０１は、画像Ａを上述のように拡大して画像Ｃを作成する（ステップＳ１０）。そして、対応点推定部１０２は、画像Ｃと画像Ｂの対応点の有無と位置を、上述のような方法で推定する（ステップＳ１１）。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ１２）。以上により、画像Ｃを生成する。

なお、画像拡大部１０１では、タップ数の長いフィルタを適用してもよいし、２次元フィルタを適用してもよいし、１次元フィルタを横縦の順に適用してもよい。また、エッジ情報を保存するようなフィルタを適用してもよい。いずれの場合においても、画像Ｂを利用せずに、拡大する対象の画像Ａの画像情報を使用して解像度を拡大する処理を行う。

また、対応点推定部１０２は、画素間で差分の絶対値を求めたが、推定する対象の画素を中心とする複数画素からなるブロックを使い推定してもよい。例えば、画像Ｃの各画素について、画像Ｂ中の対応する画素の候補を（１〜複数）仮定し、各候補を中心とする複数画素からなるブロック内の画素との差分の絶対値の合計を求めて、その合計値が最小となる候補の位置を対応点として推定してもよい。

以上の例では、別のカメラで撮影された低解像度の画像Ａと高解像度の画像Ｂから高解像度の画像Ｃを生成したが、同じカメラで撮影した、ある時刻の低解像度の画像Ａと、別の時刻の高解像度の画像Ｂから、高解像度の画像Ｃを生成してもよい。

また、上述のように、画像Ａと画像Ｂから、画像Ａに対応する画像Ｃを作成したが、画像Ｂは複数あってもよい。画像Ｂが２つ（Ｂ１とＢ２）ある場合の例を次に示す。構成は同じであるが、画像生成装置は、次のように動作する。

まず、画像拡大部１０１は、画像Ａを、上述したように拡大して画像Ｃを作成する。そして、対応点推定部１０２は、画像Ｃと画像Ｂ１の対応点の有無と位置を、上記と同様の方法で推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ１の画像情報を画像Ｃへ設定する。
次に、対応点推定部１０２は、画像Ｃと画像Ｂ２の対応点の有無と位置を、同様に推定する。対応画像設定部１０３は、対応点推定部１０２で対応点があると推定された各位置における画像Ｂ２の画像情報を画像Ｃへ設定する。
以上により、画像Ｃを生成する。

画像Ｂ１と画像Ｂ２の双方に対応点があると推定された場合、予め定めたどちらかの画像情報を優先させて画像Ｃに設定してもよいし、対応する画像Ｃの画素との差分が小さいほうの画像Ｂ１または画像Ｂ２の画像情報を画像Ｃに設定してもよいし、画像Ｂ１と画像Ｂ２の画像情報の平均値を画像Ｃに設定してもよい。
画像Ｂが３つ以上ある場合にも同様に高解像度の画像Ｃを生成することができる。
以下に説明する他の実施例についても複数の画像Ｂがある場合に、同様に実施することができる。

〔第２の実施例〕
次に、第２の実施例として、第１の実施例と同様に、別のカメラで撮影された低解像度の画像Ａと高解像度の画像Ｂから、画像Ａに対応する高解像度の画像Ｃを生成する場合の例を示す。ただし、対応点がない場合には、周囲の高解像度の画像情報から補間して生成する場合の例を示す。

図３に装置概要を示す。本実施例における画像生成装置は、画像Ａの解像度を拡大して画像Ｃを作成する画像拡大部２０１と、画像Ｃの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部２０２と、対応点推定部２０２で対応点があると推定された画像Ｃ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部２０３と、対応点推定部２０２で対応点がないと推定された画像Ｃ中の画素位置の画像情報を、対応画像設定部２０３で設定された画像情報から作成する画像補間部２０４とを備える。

画像補間部２０４では、画像Ｃ中の画素で、対応点がないと推定された画素の画像情報を、対応点があるとして画像Ｂから画像情報を設定された画素位置の当該画像情報から作成する。このとき、画像Ｂから画像情報を設定された画素位置からの距離に応じて線形補間をする。

以上を前提として、画像生成装置は次のように動作する。図４に、そのフローチャートを示す。

まず、画像拡大部２０１は、画像Ａの解像度を拡大して画像Ｃを作成する（ステップＳ２０）。そして、対応点推定部２０２は、画像Ｃと画像Ｂの対応点の有無と位置を推定する（ステップＳ２１）。対応画像設定部２０３は、対応点推定部２０２で対応点があると推定された画像Ｃの各画素に対し、画像Ｂの対応点の画像情報を設定する（ステップＳ２２）。画像補間部２０４は、対応点推定部２０２で対応点がないと推定された画素位置について、対応画像設定部２０３で既に設定された画像情報から補間して画像情報を作成する（ステップＳ２３）。以上により、画像Ｃを生成する。

画像補間部２０４では、線形補間により画像情報を生成したが、非線形処理を用いて画像情報を生成してもよい。いずれも、対応画像設定部２０３で設定された画像情報を利用して生成する。

〔第３の実施例〕
次に、第３の実施例として、第１の実施例と同様に、別のカメラで撮影された低解像度の画像Ａと高解像度の画像Ｂから、画像Ａに対応する高解像度（画像Ｂの解像度に対応）の画像Ｃを生成する場合の例を示す。ただし、生成した画像情報の縮小画像と元の画像Ａとの差が小さい画素位置にだけ生成した画像情報を適用する場合の例を示す。
以下の説明で、画像Ｄは、画像Ａを初めに拡大した（解像度を上げた）画像、画像Ｅは、画像Ｄと同サイズ（同じ画素構成）の一時的な処理用画像である。
また、画像Ｆは、画像Ｅを縮小して作成した、解像度の小さい画像（画像Ａと同じ解像度を有する、一時的な処理用画像）である。

図５に装置概要を示す。本実施例における画像生成装置は、画像Ａを拡大して（解像度を上げて）画像Ｄを作成する画像拡大部３０１と、画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部３０２と、対応点推定部３０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部３０３と、対応点推定部３０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部３０３で設定された画像情報から作成する画像補間部３０４と、画像Ｅを縮小して（解像度を下げて）画像Ｆを作成する画像縮小部３０５と、画像Ａの各画素位置において、画像Ａの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部３０６と、差分作成部３０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部３０７とを備える。

画像縮小部３０５では、画素を間引いて縮小画像（即ち、画像Ｆ）を作成する。
差分作成部３０６では、各画素位置で差分を作成するものとする。
画像選択部３０７では、予め差分の閾値を設定しておき、差分作成部３０６で得られる差分との比較をするものとする。

以上を前提として、画像生成装置は次のように動作する。図６に、そのフローチャートを示す。

まず、画像拡大部３０１は、画像Ａを上述のように拡大して画像Ｄを作成する（ステップＳ３０）。そして、対応点推定部３０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ３１）。
対応画像設定部３０３は、対応点推定部３０２で対応点があると推定された位置における画像Ｂの画像情報を画像Ｅへ設定する（ステップＳ３２）。画像補間部３０４は、対応点推定部３０２で対応点がないと推定された位置について、対応画像設定部３０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ３３）。
画像縮小部３０５は、画像Ｅを縮小して画像Ｆを作成する（ステップＳ３４）。差分作成部３０６は、画像Ａと画像Ｆの差分を作成する（ステップＳ３５）。
画像選択部３０７では、差分作成部３０６で得られる差分に従い、各画素位置について、画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ３６）。

なお、画像縮小部３０５では、他の手法を使って縮小画像を作成してもよい。
また、差分作成部３０６では、対象画素を中心とするブロック間の差分を作成してもよい（第１の実施例参照）。

この実施例では、画像選択部３０７は、差分作成部３０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定した。この画像選択部３０７の代わりに、画像生成部を設けてもよい。

図７に装置概要を示す。図７に示す画像生成部３０８では、差分作成部３０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部３０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。
これによれば、差分が大きい場合に拡大した（高解像度の）画像Ｄを用いるのではなく、拡大した画像Ｄと他の画像から生成した画像Ｅの重み付け平均を用いることができる。本手法は、拡大した画像Ｄの高周波成分が少ない場合に好適である。

〔第４の実施例〕
次に、第４の実施例として、別のカメラで撮影された同じ解像度の画像Ａと画像Ｂがあり、画像Ａの縮小画像と画像Ｂから画像Ａに近い画像Ｃを生成する場合の例を示す。ここでは、生成した画像情報の縮小画像と元の画像Ａの縮小画像との差が小さい画素位置にだけ生成した画像情報を適用する。この実施例では、各画素位置における２画像間の差分に対する閾値も推定することが特徴である。

図８に装置概要を示す。本実施例における画像生成装置は、
・画像Ａを縮小して解像度の小さい画像Ｇを作成する基準画像縮小部４１２と、画像Ｇを拡大して、画像Ａ，Ｂと同じ解像度の画像Ｄを作成する画像拡大部４０１と、
・画像Ｄの各画素位置と画像Ｂ中の対応点の有無および対応点位置を推定する対応点推定部４０２と、
・対応点推定部４０２で対応点があると推定された、画像Ｄ中の画素位置と同じ画像Ｅ（同サイズの一時的な処理画像）中の画素位置に、画像Ｂ中の対応位置の画像情報を設定する対応画像設定部４０３と、
・対応点推定部４０２で対応点がないと推定された、画像Ｄ中の画素位置と同じ画像Ｅ中の画素位置の画像情報を、対応画像設定部４０３で設定された画像情報から作成する画像補間部４０４と、
・画像Ｅを縮小して（画像Ｇと同じ解像度の）画像Ｆを作成する画像縮小部４０５と、
・画像Ｇの各画素位置において、画像Ｇの画像情報と、同じ画素位置の画像Ｆの画像情報との差分を求める差分作成部４０６と、
・予め設定した範囲で複数の閾値を設定する閾値設定部４１０と、
・閾値設定部４１０で設定した各閾値に対し、差分作成部４０６で求めた各画素位置における差分が閾値よりも小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が閾値よりも大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報を設定する画像選択部４０７と、
・画像選択部４０７で得られる画像Ｃと画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部４０９と、
・生成差分合計部４０９で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部４１１と
を備える。

閾値設定部４１０では、閾値として１０から５０まで１０ずつ閾値を増加させるものとする。

以上を前提として、画像生成装置は次のように動作する。図９に、そのフローチャートを示す。

まず、基準画像縮小部４１２は、画像Ａを縮小して解像度の低い画像Ｇを作成する（ステップＳ４０）。
画像拡大部４０１は、画像Ｇを拡大して解像度の高い（画像Ａ，Ｂと同じ解像度を有する）画像Ｄを作成する（ステップＳ４１）。
そして、対応点推定部４０２は、画像Ｄと画像Ｂの対応点の有無と位置を推定する（ステップＳ４２）。
対応画像設定部４０３は、対応点推定部４０２で対応点があると推定された位置における画像Ｂの画像情報を画像Ｅへ設定する（ステップＳ４３）。
画像補間部４０４は、対応点推定部４０２で対応点がないと推定された位置について、対応画像設定部４０３で既に設定された画像情報から補間して画像Ｅの画像情報を作成する（ステップＳ４４）。
画像縮小部４０５は、画像Ｅを縮小して、解像度の低い画像Ｆを作成する（ステップＳ４５）。
差分作成部４０６は、画像Ｇと画像Ｆの差分を作成する（ステップＳ４６）。

続いて、閾値設定部４１０では、閾値を１０に設定する（ステップＳ４７）。
画像選択部４０７では、差分作成部４０６で得られる差分と閾値を比較し、各画素位置毎に画像Ｅまたは画像Ｄを選択して画像Ｃを生成する（ステップＳ４８）。
生成差分合計部４０９は、画像Ｃと画像Ａとの差分の合計を求める（ステップＳ４９）。
以上の閾値設定部４１０と画像選択部４０７と生成差分合計部４０９の処理を閾値を１０ずつ増やしながら５０まで繰り返し実行する（ステップＳ５０、Ｓ５１）。

続いて、閾値決定部４１１は、生成差分合計部４０９で得られる値が最小となる場合の閾値を決定する（ステップＳ５２）。

上記構成において、画像選択部４０７の代わりに、画像生成部を用いてもよい。図１０に装置概要を示す。
図１０に示す画像生成部４０８では、差分作成部４０６で求めた各画素位置における差分が小さい場合には、対応する画像Ｃの各画素位置に画像Ｅの画像情報を設定し、差分作成部４０６で求めた各画素位置における差分が大きい場合には、対応する画像Ｃの各画素位置に画像Ｄの画像情報と画像Ｅの画像情報を重み付け平均した値を設定する。

以上の実施例では、複数のカメラ入力映像に対する処理を説明した。この方法は、このような多視点画像だけではなく、単眼の動画像にも適用することができる。
すなわち、動画像中の各フレームの解像度が異なる場合に、低解像度のフレームの画像に対して、他の高解像度のフレームの画像を利用して、高い解像度の画像を生成することができる。
例えば、低解像度のフレームを画像Ａとし、他の高解像度のフレームを画像Ｂとして、高解像度の画像Ｃを生成する処理に適用できる。

また、本実施例では、扱う信号をＹ信号としたが、これ・BR>ヘＲＧＢなどのほかの色信号でもよい。
また、ＹＵＶ信号がありＹ信号の解像度が同じであるが、ＵＶ信号の解像度が異なる場合にも適用することができる。この場合には、画像拡大部においてＵＶ信号のみを拡大し、Ｙ信号はそのままコピーする。そして、対応点推定部における対応点推定の処理をＵまたはＶ信号を拡大した信号ではなく、Ｙ信号で行ってもよい。

以上の画像生成の処理は、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。

本発明によれば、低解像度で撮影されたカメラ位置の画像情報に対して、別の高解像度で撮影されたカメラ位置の画像情報を利用して、高い解像度の画像情報を生成することができる。これにより主観品質の劣化を低減することができる。

Claims (16)

1. 第１の画像Ａと、画像Ａよりも解像度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成方法であって、
   第１の画像Ａを拡大して、画像Ｂと同じ解像度を有する第３の画像Ｃを作成する画像拡大ステップと、
   第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定ステップと、
   前記対応点推定ステップで対応点が「有」と推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
   前記対応点推定ステップで対応点が「無」と推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定ステップで設定された第３の画像Ｃ中の画像情報から補間して作成する画像補間ステップと、
   を実行することを特徴とする画像生成方法。
2. 第１の画像Ａと、画像Ａよりも解像度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成方法であって、
   第１の画像Ａを拡大して、画像Ｂと同じ解像度を有する第４の画像Ｄを作成する画像拡大ステップと、
   第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定ステップと、
   前記対応点推定ステップで対応点が「有」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
   前記対応点推定ステップで対応点が「無」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された第５の画像Ｅ中の画像情報から補間して作成する画像補間ステップと、
   第５の画像Ｅを縮小して、画像Ａと同じ解像度を有する第６の画像Ｆを作成する画像縮小ステップと、
   第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
   前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
   を実行することを特徴とする画像生成方法。
3. 前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項２記載の画像生成方法。
4. 前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項２記載の画像生成方法。
5. 同じ解像度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成方法であって、
   第１の画像Ａを縮小して解像度の小さい第７の画像Ｇを作成する基準画像縮小ステップと、
   第７の画像Ｇを拡大して、画像Ａと同じ解像度を有する第４の画像Ｄを作成する画像拡大ステップと、
   第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定ステップと、
   前記対応点推定ステップで対応点が「有」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定ステップと、
   前記対応点推定ステップで対応点が「無」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定ステップで設定された第５の画像Ｅ中の画像情報から補間して作成する画像補間ステップと、
   第５の画像Ｅを縮小して、画像Ｇと同じ解像度を有する第６の画像Ｆを作成する画像縮小ステップと、
   第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成ステップと、
   閾値を設定する閾値設定ステップと、
   前記差分作成ステップで求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定ステップと、
   前記画像情報設定ステップで得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計ステップと、
   前記閾値設定ステップで設定した閾値を予め定められた範囲内で変えながら前記画像情報設定ステップと前記生成差分合計ステップとを繰り返した結果から、前記生成差分合計ステップで得られる差分の合計が最も小さくなる閾値を決定する閾値決定ステップと、
   を実行することを特徴とする画像生成方法。
6. 前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項５記載の画像生成方法。
7. 前記画像情報設定ステップにおいて、前記差分作成ステップで求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項５記載の画像生成方法。
8. 第１の画像Ａと、画像Ａよりも解像度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
   第１の画像Ａを拡大して、画像Ｂと同じ解像度を有する第３の画像Ｃを作成する画像拡大部と、
   第３の画像Ｃの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定部と、
   前記対応点推定部で対応点が「有」と推定された、第３の画像Ｃ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
   前記対応点推定部で対応点が「無」と推定された、第３の画像Ｃ中の画素位置の画像情報を、前記対応画像設定部で設定された第３の画像Ｃ中の画像情報から補間して作成する画像補間部と、
   を備えることを特徴とする画像生成装置。
9. 第１の画像Ａと、画像Ａよりも解像度の高い第２の画像Ｂから第３の画像Ｃの画像情報を生成する画像生成装置であって、
   第１の画像Ａを拡大して、画像Ｂと同じ解像度を有する第４の画像Ｄを作成する画像拡大部と、
   第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定部と、
   前記対応点推定部で対応点が「有」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
   前記対応点推定部で対応点が「無」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された第５の画像Ｅ中の画像情報から補間して作成する画像補間部と、
   第５の画像Ｅを縮小して、画像Ａと同じ解像度を有する第６の画像Ｆを作成する画像縮小部と、
   第１の画像Ａの各画素位置において、第１の画像Ａの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
   前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
   を備えることを特徴とする画像生成装置。
10. 前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項９記載の画像生成装置。
11. 前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項９記載の画像生成装置。
12. 同じ解像度を有する第１の画像Ａと第２の画像Ｂから第３の画像Ｃの画像情報を、第４〜第７の画像Ｄ〜Ｇを用いて生成する画像生成装置であって、
    第１の画像Ａを縮小して解像度の小さい第７の画像Ｇを作成する基準画像縮小部と、
    第７の画像Ｇを拡大して、画像Ａと同じ解像度を有する第４の画像Ｄを作成する画像拡大部と、
    第４の画像Ｄの各画素位置と第２の画像Ｂ中の対応点の「有」「無」および対応点位置を推定する対応点推定部と、
    前記対応点推定部で対応点が「有」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置に、第２の画像Ｂ中の対応位置の画像情報を設定する対応画像設定部と、
    前記対応点推定部で対応点が「無」と推定された、第４の画像Ｄ中の画素位置と同じ第５の画像Ｅ中の画素位置の画像情報を、前記対応画像設定部で設定された第５の画像Ｅ中の画像情報から補間して作成する画像補間部と、
    第５の画像Ｅを縮小して、画像Ｇと同じ解像度を有する第６の画像Ｆを作成する画像縮小部と、
    第７の画像Ｇの各画素位置において、第７の画像Ｇの画像情報と、同じ画素位置の第６の画像Ｆの画像情報との差分を求める差分作成部と、
    閾値を設定する閾値設定部と、
    前記差分作成部で求めた各画素位置における差分が閾値よりも小さい場合には、対応する第３の画像Ｃの各画素位置に第５の画像Ｅの画像情報を設定し、前記差分作成部で求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報に基づいた画像情報を設定する画像情報設定部と、
    前記画像情報設定部で得られる第３の画像Ｃと第１の画像Ａの各画素位置における画像情報の差分の合計を算出する生成差分合計部と、
    前記閾値設定部で設定した閾値を予め定められた範囲内で変えながら前記画像情報設定部と前記生成差分合計部とによる処理を繰り返した結果から、前記生成差分合計部で得られる差分の合計が最も小さくなる閾値を決定する閾値決定部と、
    を備えることを特徴とする画像生成装置。
13. 前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報を設定することを特徴とする請求項１２記載の画像生成装置。
14. 前記画像情報設定部は、前記差分作成部が求めた各画素位置における差分が閾値よりも大きい場合には、対応する第３の画像Ｃの各画素位置に第４の画像Ｄの画像情報と第５の画像Ｅの画像情報を重み付け平均した値を設定することを特徴とする請求項１２記載の画像生成装置。
15. 請求項１、２、及び５のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラム。
16. 請求項１、２、及び５のいずれか１項に記載の画像生成方法を、コンピュータに実行させるための画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images