JP2010009417A - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】大画面に投影される画像の解像度を高めること。
【解決手段】第１の画像５と第２の画像６ａ〜６ｃを受け取り、第１の画像に対する第２の画像の座標位置及び第１のカメラの撮像方向に対する第２のカメラの撮像方向の差を演算する撮像情報演算部１１と、座標位置に基づいて、第２の画像の座標位置に対応する第１の画像の一部をズームして低域画像７を生成するズーム変換部１２と、第１のカメラの撮像方向に対する第２のカメラの撮像方向の差に基づいて、第２のカメラの視点を第１のカメラの視点に合わせて変換した視点変換画像を生成し、視点変換画像のずれを演算する視点変換部１３と、第２の画像から所定の周波数帯域以上の周波数成分からなる高域画像を取り出し、低域画像７に対する視点変換画像のずれをなくすように合成画像を生成する画像合成部１４を備える。
【選択図】図２

Description

本発明は、例えば、広画角で撮像された画像をスクリーンに投影する場合に適用して好適な画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

従来、風景等を広画角で撮像するため、例えば、パノラマ撮像方式、複数台のカメラを複数の場所に設置したマルチカメラによる撮像方式、高解像度の静止画に低解像度の動画を合わせる撮像方式、複数の焦点を有するカメラを用いたマルチ焦点撮像方式などが用いられていた。以下、各撮像方式について簡単に説明する。

パノラマ撮像方式では、複数台のカメラで撮像した画像をつなぎ合わせて、広域の画像を生成する。パノラマ撮像方式には、複数のカメラが１カ所の同じ場所で被写体を撮像するため、つなぎ合わせた画像に境界がない視点一致方式と、複数のカメラが別々の場所で被写体を撮像するため、つなぎ合わせた画像に境界が生じる視点不一致方式が存在する。

視点一致方式の場合、つなぎ合わせる前の各画像の周縁部は、カメラに取り付けられるレンズの特性等によって歪んでしまう。画像の歪みは、つなぎ合わせた画像が劣化する要因となる。歪んだ画像をそのままスクリーンに投影すると、スクリーンの端の画像に生じる歪みがさらに目立ってしまう。また、隣り合うカメラ毎に撮像した画像の境界付近には、隣り合う画像が重なる共通部分が生じる。ここで、図２７を参照して隣り合う画像の共通部分について説明する。

図２７は、各カメラの撮像方向が一点に交わるようにして配置されたカメラを用いて撮像する方式の例である。
この方式では、仮想焦点１０２を基準とした撮像方向の延長線上に３台のカメラ１０１ａ〜１０１ｃが配置される。なお、撮像方向は、各カメラの光軸に一致する。そして、複数の光軸が交わる点を仮想的な「カメラアレイ（複数台のカメラ）の視点」とする。複数のカメラで撮像した画像を合成する場合、「カメラアレイの視点」と、「各カメラの視点」の２つの視点について留意しなければならない。ここで、「各カメラの視点」を一致させる方式は２種類あり、これらの方式を「視点一致方式」とも称している。第１の方式としては、物理的に１枚のレンズでリレー光学系を用いて撮影する方式がある。第２の方式としては、隣り合う画像が重なる共通部分を一切持たないで、各カメラが各画角を担当して撮影する方式がある。これら２種類の視点一致方式以外の方式を用いて「各カメラの視点」を一致させようとしても、カメラ毎にレンズの大きさが異なるため困難となる。

図２７の説明に戻ると、カメラ１０１ａ〜１０１ｃは、同一の画角で遠景１０３，近景１０５に位置する被写体を撮像する。そして、カメラ１０１ａ〜１０１ｃは、前側焦点面１０４上に焦点を合わせる。このとき、遠景１０３には、隣り合うカメラ１０１ａとカメラ１０１ｂで撮像箇所が重なる共通部分１０３ａが存在する。同様に、遠景１０３には、隣り合うカメラ１０１ｂとカメラ１０１ｃで撮像箇所が重なる共通部分１０３ｂが存在する。また、前側焦点面１０４には、隣り合うカメラ１０１ａと１０１ｂの撮像箇所が重なる共通部分１０４ａが存在する。同様に、前側焦点面１０４には、隣り合うカメラ１０１ｂとカメラ１０１ｃで撮像箇所が重なる共通部分１０４ｂが存在する。

カメラ１０１ａ〜１０１ｃで撮像した画像は、共通部分１０３ａ，１０３ｂ，１０４ａ，１０４ｂを画素毎に色味を混ぜ合わせる。しかし、複数のカメラの視点が不一致であると、各カメラから被写体までの物体距離が変わる。ある特定の焦点面(本例では、前側焦点面１０４の面)で撮像された複数の画像をなめらかにつなげるが、カメラから被写体までの物体距離が異なると（本例では、遠景１０３と近景１０５が混ざった状態）と画像のつなぎ目に違和感が生じやすい（「近景割れ」とも称される。）。このため、複数の画像の共通部分を混ぜ合わせても、画像を高解像度に保つことは難しい。

近景割れについては、例えば特許文献１に記載されている。
特許文献１は、高品位表現及び低品位表現で学習させた品位向上関数を用いて、画像データ、ビデオデータ及び音声データの品位を向上させる技術について開示されている。

他方、視点不一致方式では、同じ解像度、色味の画像が得られるカメラを複数の場所に配置して被写体を撮像する。カメラ毎の個体差は、ズーム率の違い等によって現れるため、個体差の影響を排除することでカメラの性能を均一化する。このとき、仮想的に特性が均一化されたカメラを用いて被写体を撮像するために、カメラ毎に得られる画像を様々な手段でキャリブレーションしている。

特許文献２には、低解像度で動画を撮像する動画撮像部と高解像度で静止画を撮像する静止画撮像部を一体化し、所望のシャッタチャンスで高画質の画像を得る画像撮像装置について開示されている。

特許文献３には、第１の画像データ列（低解像度かつ高フレームレートの画像データ列）と第２の画像データ列（高解像度かつ低フレームレートの画像データ列）が同一の範囲となるように撮像する技術について開示されている。これら２つの画像データ列を統合して画像処理を行なうと、高解像度かつ高フレームレートな画像が得られる。

特許文献２及び３に開示された方式では、カメラ毎に時間と解像度を分担する。例えば、１台のカメラが狭い範囲を長時間かけて撮像すると、得られる画像の解像度は高い。一方、他のカメラが広い範囲を短時間で撮像すると、得られる画像の解像度は低い。このように、撮像時間と解像度はトレードオフの関係となる。そして、各カメラが設置される位置（視点位置）を共通として、狭い範囲と広い範囲を撮像するカメラを別にして各画像を合成すると、広い範囲でありながら高い解像度で撮像された画像が得られるため、時間と解像度のトレードオフの関係が解消される。

複数の画像を合成する場合、以下のような画像処理装置１１０が用いられる。
図２８は、従来の画像処理装置１１０の構成例を示すものである。
画像処理装置１１０は、狭い画角で被写体を撮像する第１のカメラが生成する高解像度画像１２１を入力とし、所定の周波数帯域以下の低域画像１２２を抽出する低域抽出部（ＬＰＦ：Low Pass Filter）１１１を備える。図２８では、各処理ブロックとともに、高解像度画像１２１と低域画像１２２について、横軸を周波数、縦軸を周波数のゲインとしたヒストグラムを併記する。

また、画像処理装置１１０は、入力された高解像度画像１２１と低域画像１２２から、低域画像１２２に対する高解像度画像１２１の対応関係を学習する学習部１１２と、各種のパラメータを設定するパラメータ設定部１１３を備える。そして、画像処理装置１１０は、不図示の第２のカメラで撮像された広画角で低解像度の画像１２３に対して、パラメータ設定部１１３から供給された高解像度画像１２１を重ね合わせ合成画像１２４を生成するマッピング部１１４を備える。マッピング部１１４は、合成画像１２４を外部の出力装置に出力する。

図２９は、画像処理装置１１０が行う従来の画像処理の例を示す。
始めに、低域抽出部１１１は、広画角で撮像された低解像度の画像１２３の低域まで狭画角で撮像された高解像度画像１２１の帯域を落として、低域画像１２２を抽出する（ステップＳ１０１）。次に、学習部１１２は、高解像度画像１２１と、低域抽出部１１１で抽出された低域画像１２２の間で学習を行い、パラメータ設定部１１３は、パラメータを求める（ステップＳ１０２）。

マッピング部１１４は、パラメータ設定部１１３で設定されたパラメータを用いて、広画角で低解像度の画像１２３の対応する位置に、高解像度画像１２１を重ね合わせるマッピングを行う（ステップＳ１０３）。低解像度の画像１２３に高解像度画像１２１がマッピングされた画像が合成画像として出力される。

特許文献４には、多焦点で撮像する技術について開示されている。この技術は、遠景と近景のいずれにも焦点が合った画像を得ることを目的としている。そして、複数台のカメラが有するレンズは、遠景に焦点を合わせる外側のレンズと、近景に焦点を合わせる中心のレンズを含む構成としている。
特開２００５−５２２１０８号公報 特開平７−１４３４３９号公報 特開２００５−３１８５４８号公報 特開平９−１３９８７８号公報

ところで、特許文献１に記載される技術では、隣り合う画像が重なる共通部分の幅を可変にして近景割れに対処するが、カメラの撮像範囲内に複数の物体が存在したり、上下左右に複数のカメラが配置されたりすると、画像をなめらかにつなげない。

ＤＲＣ（Digital Reality Creation：登録商標）のように、様々な処理で劣化した低解像度の画像であっても高解像度の画像に変換する処理が存在する。しかし、ＤＲＣを使っても、得られる高解像度の帯域には限度があるため、例えば、画像を拡大すると画素毎に粗が目立ってしまう。

また、特許文献２及び３に記載された技術は、ＭＰＥＧ（Moving Picture Experts Group）に用いられるＩピクチャ、Ｐピクチャの構造に基づく処理である。Ｉピクチャは高解像度の画像であり、Ｐピクチャは被写体の動きに関する情報が含まれる。この技術では、高解像度の画像を撮像するカメラと、動き情報を算出するカメラの分担が固定されるため、解像度を高めることは容易でない。このため、画像の解像度は、静止画を撮像するカメラに設けられる固体撮像素子（例えば、ＣＭＯＳ：Complementary Metal Oxide Semiconductor、ＣＣＤ：Charge Coupled Device）の解像度より高めることができない。

また、特許文献４に記載される技術において、各レンズは遠景と近景に合わせた焦点を分担して撮像を行っているが、多数のカメラに共通する焦点がない。このため、カメラ毎に焦点がずれやすく、つなぎ合わせた画像に違和感が生じやすい。

本発明はこのような状況に鑑みて成されたものであり、複数のカメラで撮像された複数の画像をつなぎ合わせて広い範囲の合成画像を得る場合に、各画像の周縁部に違和感を生じさせないようにしながら合成画像を高解像度にすることを目的とする。

本発明は、第１の画角で所定の範囲を撮像する第１のカメラが生成した第１の画像を取得すると共に、第１の画角より狭い第２の画角で所定の範囲の一部を撮像する複数の第２のカメラが生成した、第１の画像より高解像度である複数の第２の画像を取得し、第１の画像に対する第２の画像の座標位置及び第１のカメラの撮像方向に対する第２のカメラの撮像方向の差を撮像情報として演算する。
撮像方向の差に基づいて、複数の第２の画像を、第２のカメラの視点を第１のカメラの視点に合わせて変換した視点変換画像を生成し、第１の画像及び視点変換画像をマッチングして、第１の画像に対する視点変換画像の位相のずれを演算する。
第２の画像から所定の周波数帯域以上の周波数成分からなる高域画像を取り出し、第１の画像に対する視点変換画像のずれをなくすように、第１の画像に対応する座標位置に高域画像を貼り合わせて合成画像を生成する。

このような構成により、広い範囲でありながら各画像の周縁部に違和感を生じさせない高解像度の合成画像が得られる。

本発明によれば、広い範囲でありながら各画像の周縁部に違和感を生じさせない高解像度の合成画像が得られるため、大画面に合成画像が表示されても、画像の繋ぎ目がなめらかになるという効果がある。

以下、本発明の一実施の形態例について、図１〜図２５を参照して説明する。本実施の形態例では、本発明の画像処理装置１０を用いて、広い範囲の撮像領域でありながら高解像度の合成画像を生成する画像処理システム１に適用した例について説明する。

＜画像処理システム１の構成例＞
図１は、本例の画像処理システム１の構成例を示す。
画像処理システム１は、第１の画角で所定の範囲を撮像し、第１の画像５を生成する第１のカメラ２と、第１の画角に比べて狭い第２の画角で所定の範囲の一部を撮像し、第２の画像６ａ〜６ｃを生成する第２のカメラ３ａ〜３ｃを備える。第１の画像５と第２の画像６ａ〜６ｃは、複数の画像を合成して広い範囲でありながら高解像度の画像を生成する画像処理装置１０に供給される。画像処理装置１０が生成した合成画像は、プロジェクタ装置等からなる表示装置２０に出力される。表示装置２０は、入力された合成画像３０をスクリーンに投影する。

第１のカメラ２と第２のカメラ３ａ〜３ｃには、高解像度カメラやＨＤ（High Definition）カメラ等が用いられる。これらのカメラにはそれぞれ個体差が存在しており、個体差を調整するキャリブレーションを行うと非常にコストがかかる。しかし、本例では、第１のカメラ２の視点、色味、輝度、フォーカスを基準とする「共通情報」に基づいて、第２のカメラ３ａ〜３ｃのキャリブレーションを行うことで、低コストかつ容易にカメラ毎の個体差を調整している。第２のカメラ３ａ〜３ｃの個体差は、「個別情報」として別途管理する。また、本例の画像処理装置１０は、各カメラが撮像する領域毎の輝度分布によるが、例えば、８ビットの階調で撮像できる第１のカメラ２、第２のカメラ３ａ〜３ｃを用いて、１０ビットの階調を持つ画像を作成できる。

＜画像処理装置１０の内部構成例＞
図２は、画像処理装置１０の内部構成例を示す。
画像処理装置１０は、第１のカメラ２から入力された第１の画像５と、第２のカメラ３ａ〜３ｃから入力された第２の画像６ａ〜６ｃを取得する撮像情報演算部１１を備える。撮像情報演算部１１は、第１の画像５に対する第２の画像６ａ〜６ｃの座標位置を演算する。また、撮像情報演算部１１は、第２の画像６ａ〜６ｃに基づいて、第１のカメラ２の撮像方向に対する第２のカメラ３ａ〜３ｃの撮像方向の差を演算する。これら座標位置と撮像方向の差を「撮像情報」と称する。

また、画像処理装置１０は、撮像情報演算部１１で演算された座標位置に基づいて、第２の画像６ａ〜６ｃの座標位置に対応する第１の画像５の一部をズームして低域画像７を生成するズーム変換部１２を備える。

また、画像処理装置１０は、撮像情報演算部１１で演算された撮像方向の差に基づいて、第２のカメラ３ａ〜３ｃの視点を第１のカメラ２の視点に合わせて変換した視点変換画像を生成する視点変換部１３を備える。ここで、各カメラの「視点」は、撮像方向上にある。通常、第１のカメラ２の撮像方向に対して、所定の角度を有する撮像方向上に第２のカメラ３ａ〜３ｃが設置される。そして、第１のカメラ２の撮像方向と第２のカメラ３ａ〜３ｃの撮像方向が一致した点を、仮想的に各カメラで一致する視点とすることができる。このとき、視点変換部１３は、各カメラで一致した視点で撮像される理想的な画像を視点変換画像として生成する。そして、視点変換部１３は、低域画像７と視点変換画像をマッチングして、低域画像７に対する視点変換画像の位相のずれを演算する。

また、画像処理装置１０は、低域画像７に対応する座標位置に、所定の周波数帯域以上の周波数成分からなる高域画像９ａ〜９ｃを貼り合わせる画像合成部１４を備える。このとき、画像合成部１４は、第２の画像６ａ〜６ｃから抽出した高域画像９ａ〜９ｃを用いて、低域画像７に対する視点変換画像のずれをなくすように、低域画像７に対応する座標位置に高域画像９ａ〜９ｃを貼り合わせ、合成画像を生成する。

視点変換部１３は、第２の画像６ａ〜６ｃから所定の周波数帯域未満の周波数成分を分離して、低域画像８ａ〜８ｃを生成する帯域分離部１５を備える。低域画像８ａ〜８ｃは、低域画像７に帯域を合わせた画像である。帯域分離部１５は、所定の周波数帯域未満の画像を生成するローパスフィルタとして機能する。この視点変換部１３は、ズーム変換部１２から供給される低域画像７に対応する座標位置で低域画像８ａ〜８ｃをマッチングするマッチング部１６を備える。また、視点変換部１３は、マッチング部１６でマッチングされた低域画像７に対する低域画像８ａ〜８ｃの位相のずれを補償ベクトルとして演算し、画像合成部１４に補償ベクトルを供給する補償ベクトル演算部１７を備える。

画像合成部１４は、第２の画像６ａ〜６ｃの周波数成分から帯域分離部１５で分離された低域画像８ａ〜８ｃの周波数成分を減じて高域画像９ａ〜９ｃを生成する減算部１８を備える。この高域画像９ａ〜９ｃは、所定の周波数帯域以上の周波数成分からなる画像である。また、画像合成部１４は、補償ベクトル演算部１７から供給された補償ベクトルに基づいて画像の位相のずれを補正して、低域画像７の対応する位置に高域画像９ａ〜９ｃをマッピングした合成画像を生成するマッピング部１９を備える。マッピング部１９で生成された合成画像は、表示装置２０（図１参照）に出力される。

ここで、各処理ブロックの動作例について説明する。
まず、撮像情報演算部１１は、第１の画像５と第２の画像６ａ〜６ｃに含まれる周波数成分に基づいて画像間の相関を計測する。ここで、「相関」とは、第１の画像５に対する第２の画像６ａ〜６ｃの位置関係を表す。そして、撮像情報演算部１１は、第１の画像５に対する第２の画像６ａ〜６ｃの座標位置を求める。また、第１のカメラ２の撮像方向に対する第２のカメラ３ａ〜３ｃの撮像方向を求める。第１の画像５のうち、第２の画像６ａ〜６ｃに対応する画素領域に画角を合わせ、第１の画像５の一部をズームするためのズーム率を求める。撮像情報演算部１１は、求めたズーム率をズーム変換部１２と帯域分離部１５に供給する。

このとき、撮像情報演算部１１は、第２の画像６ａ〜６ｃが第１の画像５に含まれる範囲のうち、どの部分を拡大した画像であるかをマッチングして求める。マッチングを行うと、第２のカメラ３ａ〜３ｃから被写体までの距離に応じて、第２の画像６ａ〜６ｃの位相が第１の画像５の位相とずれる。本例では、ＤＲＣ等の技術を用いて、第２のカメラ３ａ〜３ｃであっても、第１のカメラ２の視点で撮像されたように高解像度な画像を取得することが可能となる。

また、第１の画像５に対する第２の画像６ａ〜６ｃの座標とズーム率を求めるためには、例えば、非特許文献（An FFT-Based Technique for Translation, Rotation, Scale-Invariant Image Registration, IEEE Transaction on Image Processing vol5 no8 August1996）に記されたフーリエ変換と位相相関を用いた技術を用いればよい。この結果、撮像情報演算部１１は、座標値とズーム率を取得できる。

ズーム変換部１２は、撮像情報演算部１１から供給される座標位置とズーム率に基づいて、第２の画像６ａ〜６ｃに対応する第１の画像５の画素領域をズーム変換した低域画像７を生成する。

帯域分離部１５は、撮像情報演算部１１から供給されるズーム率に基づいて、第２の画像６ａ〜６ｃをズームする。このズーム率は可変であり、第２の画像６ａ〜６ｃ毎に異なる値となる。また、帯域分離部１５は、ズーム率に基づいて第２の画像６ａ〜６ｃにどれだけのローパスフィルタをかければ、生成される低域画像８ａ〜８ｃと第１の画像５の周波数帯域が一致するか分かる。例えば、撮像情報演算部１１から供給されたズーム率に基づいて第１の画像５の一部をズームして低域画像７を生成する場合を想定する。

撮像情報演算部１１は、始めに第２の画像６ａ〜６ｃの画枠が第１の画像５のどこに位置するかという情報を求める（後述の図１８参照）。この情報から、撮像情報演算部１１は、例えば第２の画像６ａ〜６ｃのズーム率が第１の画像５の８倍であることが分かる。つまり、ズーム率が縦横８倍であれば、帯域分離部１５は、ズーム率の逆数である値（１／８）を第２の画像６ａ〜６ｃの周波数成分に乗じたローパスフィルタを施す。この結果、第２の画像６ａ〜６ｃは、帯域が１／８とされた低域画像８ａ〜８ｃとなる。なお、第２の画像６ａ〜６ｃや３２×３２のブロック毎に求めた最高の周波数値（又は平均の周波数値）を、ローパスフィルタを施す基準となる帯域としてもよい。

マッチング部１６は、低域画像７と低域画像８ａ〜８ｃをマッチングする。このとき、マッチングされる低域画像７は、低域画像８ａ〜８ｃ毎に異なる。本例では、画素毎に３２×３２（ピクセル）のブロックマッチングを行う。
そして、補償ベクトル演算部１７は、マッチング部１６で行ったブロックマッチングから補償ベクトルを演算する。この結果、第２のカメラ３ａ〜３ｃの視点を、第１のカメラ２の視点に合わせることができる。

補償ベクトル演算部１７は、低域画像７と低域画像８ａ〜８ｃの画像に含まれる周波数成分の位相のずれを補償ベクトルとして算出する。この補償ベクトルが求まると、低域画像７に含まれる被写体に対する低域画像８ａ〜８ｃの被写体のずれが判明する。
減算部１８は、第２の画像６ａ〜６ｃから低域画像８ａ〜８ｃをそれぞれ減ずる。この結果、高域成分のみからなる高域画像９ａ〜９ｃが得られる。

マッピング部１９は、補償ベクトル演算部１７で演算された補償ベクトルに基づいて、低域画像７に対する高域画像９ａ〜９ｃのずれを補正しながら、高域画像９ａ〜９ｃを低域画像７の対応する座標位置にマッピングする。このマッピングによって、第１の画像５の低域成分と第２の画像６ａ〜６ｃの高域成分を混ぜることができる。そして、第１の画像５に含まれる色成分を利用しながら、輝度成分の高域のみをマッチングすると合成画像の色が劣化しない。そして、マッピング部１９は、生成した合成画像を表示装置２０に出力する。

本例の画像処理装置１０は、カメラ毎に得意な属性を融通し合う処理を行う。ここで、解像度が低く視点が基準となる第１のカメラ２で撮像された第１の画像５と、解像度が高いが基準となる視点に対して視差が存在する第２のカメラ３ａで撮像された第２の画像６ａを想定する。この場合に、第１のカメラ２に視点を合わせた状態でありながら、高い解像度の画像を生成する処理を行う。この処理によって、第２の画像６ａの解像度が高いという属性と、第１のカメラ２の視点を基準とする属性を包含した合成画像が得られる。

同様に、第１のカメラ２と第２のカメラ３ａで共通する輝度を設定した上で、解像度が低い第１の画像５と、輝度（カメラ個体差)がずれていて、解像度が高い第２の画像６ａを想定する。この場合、他のカメラ（第２のカメラ３ｂ，３ｃ）と共通の輝度でありながら、解像度が高い画像を出力画像として生成できる。

図３は、第１の画像５と第２の画像６ａの輝度ヒストグラムを用いた輝度分布の例を示す。
第１の画像５の輝度は、輝度ヒストグラム３１として示される。輝度ヒストグラム３１には、第１の画像５全体の輝度分布３２と、第２の画像６ａが撮像する範囲の輝度分布３３が示される。第２の画像６ａ全体の輝度は、輝度ヒストグラム３５として示される。輝度分布３３，３６はスケールが異なるものの同じ輝度分布を表している。

輝度ヒストグラム３１に示すように、第１のカメラ２だけでは、高輝度な被写体であったり、ダイナミックレンジが広い被写体であったりすると、階調不足により撮像できない部分が生じる場合がある。図３の例では、輝度分布３２における輝度値の中間付近では、輝度分布３６に比べて輝度が不足している。このため、第２のカメラ３ａ〜３ｃで撮像したが画像６ａ〜６ｃを第１の画像５に重ねると、本来被写体が有する輝度を再現できる。そして、詳細な輝度情報が得られるため、第１のカメラ２より多ビットで画像を表示装置に表示できたり、画像を調整できたりすることが可能となる。

図４は、ズーム率の変化による画角の例である。
図４において、第１のカメラ２と第２のカメラ３ａ〜３ｃの配置は、図１と同様である。例えば、被写体を詳しく見るときは、第２のカメラ３ｂをズームし、他の第２のカメラ３ａ，３ｃをズームアウトしてもよい。そして、第１のカメラ２で広範囲を撮像している範囲内で動く物体を見つけた場合に、第２のカメラ３ｂをズームしてこの物体を撮像できる。このため、カメラ毎にズーム率を変えられることが必要となる。

また、第１のカメラ２が撮像した広い範囲の画像から、部分的に低解像度の画像を得られるため、第２のカメラ３ａ〜３ｃの撮像範囲が連続していないときは、撮像範囲の隙間に第１のカメラ２で撮像した第１の画像５を埋めて合成画像を生成できる。また、ある被写体を重点的に撮像する場合、第２のカメラ３ａ〜３ｃのズーム率を変える。この被写体を検出するためには、撮像した画像にハイパスフィルタをかけて高周波成分からなる画像を得る。この画像において、細かい模様等が含まれる領域には、多くの高周波成分が含まれる。その後、多くの高周波成分が含まれる領域を撮像するように、ズーム率、画枠を変えることによって、細かい模様等が含まれる領域を解像度を高めて撮像することが可能となる。

本例では、第１のカメラ２で撮像した画像を画像合成時の基準とするため、第１のカメラ２のズーム率は変えない。このため、第１のカメラ２の画角は変わらない。
一方、第２のカメラ３ａ〜３ｃは、それぞれズーム率を変えた画角は、元のズーム率における画角に比べて狭くなる。このため、元のズーム率で撮像可能であった領域２２に比べて、ズーム率の変化後の領域２１は狭くなるが、より高解像度の画像が得られる。

そして、マッチング部１６は、少なくとも色、輝度及び焦点のいずれかに関する情報を、低域画像７に対する低域画像８ａ〜８ｃの画素毎の特徴量が定まるパラメータとして求める。このように、パラメータを用いて第２のカメラ３ａ〜３ｃの特性を変えることで、互いのカメラで撮像した画像に不足する情報を補える。このとき補う情報を「パラメータ」と称する。パラメータには、解像度、輝度、焦点、ホワイトバランス、視点等がある。以下、このパラメータについて説明する。

（１）解像度の場合
第２のカメラ３ａ〜３ｃは、ズーム率を変えることで、撮像領域毎に解像度を自由に変えて撮像できる。
（２）視点の場合
第２のカメラ３ａ〜３ｃは、対象となる被写体に合わせて視点を自由に変えて撮像できる。
（３）ホワイトバランス（色味）の場合
第２のカメラ３ａ〜３ｃは、被写体の色彩に合わせて撮像領域毎にホワイトバランスを自由に変えて撮像できる。
（４）輝度の場合
第２のカメラ３ａ〜３ｃは、オートゲインなどを用いて撮像領域毎に輝度を自由に変えて撮像できる。
（５）フォーカスの場合
第２のカメラ３ａ〜３ｃは、被写体までの距離に応じて撮像領域毎に焦点を自由に変えて撮像できる。

第２のカメラ３ａ〜３ｃは、ズーム率によって撮像領域毎に解像度と輝度を変える。そして、被写体までの距離に応じて撮像領域毎に焦点を変え、撮像した画像の色彩に合わせて撮像領域毎にホワイトバランスを変え、被写体に対する視点を変える。

図５は、共通情報と個別情報の例を示す。
本例では、第１のカメラ２のパラメータに関する情報を「共通情報」としている。共通情報とは第１のカメラ２と第２のカメラ３ａ〜３ｃの全体で基準となる情報であり、主に、第１のカメラ２に対する第２のカメラ３ａ〜３ｃの差を示す。この共通情報を用いると、各カメラで撮像した複数の画像を繋ぐときにカメラ毎の個体差、視差等の影響を除くことができる。ただし、共通情報は広範囲を撮像して得られる情報であるため解像度は非常に低くなる。

一方、共通情報に対する第２のカメラ３ａ〜３ｃのパラメータに関する情報を「個別情報」としている。個別情報とは、カメラアレイ全体の共通情報と異なるが情報の質（解像度の分解能、輝度の分解能、色味の分解能、フォーカスが合う場所等)が高い情報である。上記のとおり、共通情報とは、個別情報とは逆に解像度などの情報の質は高いものの、カメラ間の個体差を考慮していない情報である。そして、共通情報と個別情報は、複数台のカメラに関する情報であるため、撮像情報演算部１１によって管理される。共通情報に対する個別情報の差を求めることで、第１のカメラ２に対する第２のカメラ３ａ〜３ｃのパラメータの変化量が判明する。そして、判明したパラメータの変化量は、画像合成部１４が画像を合成する際に、画像のずれや色味の補正等を行うために用いられる。

図５（ａ）は、共通情報と個別情報の管理の仕方の例を示す。
本例では、第１のカメラ２の視点と第１の画像５の色味を基準として、第２の画像６ａ〜６ｃを重ねる。第１のカメラ２の画角は広いため、第１の画像５は低解像度である。一方、第２のカメラ３ａ〜３ｃは、画角が狭く、第１の画像５の一部をズームして撮像するため、第２の画像６ａ〜６ｃは高解像度である。
第１のカメラ２の視点、色味、輝度、フォーカスは、第１の画像５に第２の画像６ａ〜６ｃを重ねる際の基準となる共通情報として用いられる。また、第２のカメラ３ａ〜３ｃの色味、輝度、フォーカスは、カメラ毎に特性が異なる。

図５（ｂ）は、共通情報と個別情報の両方を用いて生成する情報の例を示す。
個別情報は、第１のカメラ２に第２のカメラ３ａ〜３ｃの特性を合わせるために用いられる解像度、視点、色味、輝度、フォーカスに関する情報である。
本例において、第２のカメラ３ａ〜３ｃと同じ高解像度の画像を得ることを目的とする。また、第１のカメラ２が設置された位置を一つの視点とした場合に、第２のカメラ３ａ〜３ｃが設置された位置を第１のカメラ２の視点に一致させる。そして、低解像度の第１の画像５に比べて、第２の画像６ａ〜６ｃは詳細な色情報を有する。また、低輝度の輝度情報しか持たない第１の画像５に比べて、第２の画像６ａ〜６ｃは高輝度の輝度情報を持つ。また、第２のカメラ３ａ〜３ｃは、被写体が含まれる撮像領域毎にフォーカスを合わせる。

従来、狭い画角で被写体を撮像するカメラを複数台並べて、画像をつなぎ合わせた場合、各カメラの視点が一致していないため、画像のつなぎ目に違和感が生じていた。本例では、第１のカメラ２と第２のカメラ３ａ〜３ｃを用意し、共通情報と個別情報に分けて被写体を撮像する。共通情報と個別情報には、解像度、視点、色味、輝度、フォーカスの情報が含まれる。共通情報と個別情報を用いると、各カメラの特性を生かした画像が得られる。

図６は、合成画像の作成処理の例を示すメインフローチャートである。
始めに、画像処理装置１０は、第１のカメラ２から第１の画像５を取得し、第２のカメラ３ａ〜３ｃから第２の画像６ａ〜６ｃを取得する（ステップＳ１）。

次に、画像処理装置１０は、第１の画像５と第２の画像６ａ〜６ｃに基づいて、合成画像を作成する（ステップＳ２）。そして、画像処理装置１０は、ユーザによって撮像終了命令がされたか否かを判断する（ステップＳ３）。

撮像終了命令は、不図示のリモートコントロール装置や、画像処理装置の操作ボタンによって行われる。撮像終了命令がされた場合、画像処理装置１０は、合成画像の作成処理を終了する。一方、撮像終了命令がされていない場合、画像処理装置１０は、引き続き合成画像の作成処理を続ける。

図７は、合成画像の作成処理の例を示すフローチャートである。
始めに、画像処理装置１０は、第１のカメラ２から第１の画像５を取得し、第２のカメラ３ａ〜３ｃから第２の画像６ａ〜６ｃを取得する（ステップＳ１１）。

次に、撮像情報演算部１１は、第１の画像５に第２の画像６ａ〜６ｃをマッチングして、第１のカメラ２の視点と、第１の画像５に対する第２の画像６ａ〜６ｃの座標、第２の画像６ａ〜６ｃに対する第１の画像５の一部のズーム率を求める（ステップＳ１２）。このとき、撮像情報演算部１１は、上述した位相相関等の技術を用いて座標を求める。

次に、ズーム変換部１２は、求めた座標、ズーム率に応じて、第２の画像６ａ〜６ｃが撮像した部分が含まれる第１の画像５の一部をズームし、低域画像７を生成する（ステップＳ１３）。一方、帯域分離部１５は、求めた座標、ズーム率に応じて、第２の画像６ａ〜６ｃの低域成分を分離して低域画像８ａ〜８ｃを生成する（ステップＳ１４）。

次に、補償ベクトル演算部１７は、低域画像７と低域画像８ａ〜８ｃをマッチングし、補償ベクトルを求める（ステップＳ１５）。そして、減算部１８は、第２の画像６ａ〜６ｃから低域成分（低域画像８ａ〜８ｃ）を除去した高域画像９ａ〜９ｃを求める（ステップＳ１６）。

次に、マッピング部１９は、低域画像７に対して、高域画像９ａ〜９ｃを補償ベクトルに応じてマッチングし、低域画像７に高域画像９ａ〜９ｃを加えて合成画像を生成する（ステップＳ１７）。

ところで、画素毎の補償ベクトルに応じて画素を移動させる場合、単に線形写像を利用しても合成画像が得られない。このため、本例の画像処理装置１０は、「非線形な画素演算」を行うことで合成画像を得る。また、低域画像７の対応する画素毎に、高域画像９ａ〜９ｃの画素を足し合わせることを、「低域と高域の画素を混ぜ合わせる」と称する。なお、「画素を足し合わせる」とは、輝度値を足し合わせることを指す。補償ベクトルの精度が悪い場合、高解像度の画像を低域画像にそのまま貼り付けると画像のずれが大きくなり、合成画像に違和感が生じやすい。しかし、広い範囲を撮像した低域画像７を基準として用いることで、演算された補償ベクトルが乱れても合成画像に違和感が生じにくくなる。

ここで、「線形写像」とは加算、乗算で線形性が保たれることを指す。線形写像は、逆変換を施すことによって、一度変換された画像が変換前の画像に戻ることが特徴として挙げられる。アフィン変換のように、画像全体を一定のパラメータで変換する演算が、線形写像に該当する。

本例の画像処理装置１０では、カメラと物体の距離に応じて、物体の移動量が変わる。このため、２つ以上の物体間でオクルージョンが生じた際、アフィン変換のように１つのパラメータだけを用いて画像変換することはできない。さらに、画素毎、もしくはブロック毎に補償ベクトルの値を任意に変化させる必要があるため、非線形に画像変換を行うことになる。また、オクルージョンが生じた物体Ａの視差を解消するため、物体Ａの画像に物体Ｂの画像を上書きすると、物体Ａの画像（画素）が消えてしまう。このため、単に逆変換を施しても元の画像（例えば、物体Ａ）に戻せない。

そして、複数の物体毎、ブロック毎、画素毎など、画像の構成要素によって補償ベクトルが変化すると、線形写像を用いて画像変換するだけでは適当な合成画像が得られない。そこで、本例の画像処理装置１０は、低解像度の第１の画像５に対して、高解像度の第２の画像６ａ〜６ｃの高域成分の輝度値を加算することで合成画像を得る（後述する図１１参照）。ただし、第２の画像６ａの輝度値と、第２の画像６ａの低域成分の輝度値を任意の倍率で、第１の画像５の輝度値に乗じて合成画像の輝度値を求めてもよい。なお、「輝度値」とは、１画素の輝度を表し、後述する輝度グラフに画素毎の輝度値を表現することが可能である。また、「輝度値」は、「画素値」とも称される場合がある。

ここで、各画像の輝度値と、複数の輝度値の足し合わせの例について、図８〜図１４を参照して説明する。以下の輝度グラフにおいて、横軸を第１の画像５または第２の画像６ａにおける水平ライン上の画素の座標を示すＸ座標、縦軸を輝度とする。所定の間隔で示される破線はＸ座標上で隣り合う画素毎の間隔を示す。なお、第２の画像６ｂ，６ｃについても、同様に輝度グラフを求め、第１の画像５に貼り付けるが、ここでは第２の画像６ａについてのみ説明する。

図８は、画像処理装置１０で作成する合成画像で、目標輝度値で示される輝度グラフの例である。画像処理装置１０は、画像合成処理を行って第１の画像５のように広い領域が含まれながら、高解像度である画像の輝度を目標輝度値としている。この目標輝度値は、撮像した画像から直接得ることはできないものの、生成された合成画像から求めることが可能である。

始めに、被写体として、暗い物体Ａと明るい物体ＢがＸ座標上に隣接して配置されている場合について検討する。画像処理装置１０で作成する合成画像の目標輝度値は、図８のヒストグラムで表される。輝度グラフの下方には、物体Ａ，Ｂが実際に映っている状態を単純化して示している。図９より、物体Ａ，Ｂの境界は明瞭であり、コントラスト比が高いため、輝度グラフは、物体Ａが含まれる座標位置で低く、物体Ｂが含まれる座標位置で高くなることが分かる。そして、物体Ａ，Ｂの境界付近では、輝度値が急激に高くなる。

図９は、第１の画像５の輝度グラフの例である。
図９では、第１の画像５の輝度グラフを実線で示し、目標輝度値の輝度グラフを破線で示す。第１の画像５は低解像度であるため、物体Ａ，Ｂの境界は不明瞭である。このため、第１の画像５の輝度グラフは、物体Ａ，Ｂの境界付近では、輝度値が緩やかに高くなる。

図１０は、第２の画像６ａの輝度グラフの例である。
図１０では、第２の画像６ａの輝度グラフを実線で示す。本例における第２の画像６ａは、物体Ａに注目して撮像しているとすると、物体Ａの画像が第２の画像６ａに多く含まれる。そして、物体Ａ，Ｂは、高解像度の画像として撮像されるため、物体Ａ，Ｂの境界付近の輝度は急激に変化する。つまり、物体Ａ，Ｂのコントラスト比が高いと言える。

図１１は、輝度値の足し合わせの例を示す。
ここでは、第１の画像５と第２の画像６ａに共通する座標に含まれる１つの輝度値を足し合わせる例について説明する。目標輝度値４１は、第１の画像５に示される撮像領域を撮像した場合に求められる理想的な輝度値を示す。そして、第１の画像５の輝度値４４に、第２の画像６ａの高域成分の差分値４３を加算することで合成画像の輝度値４２が求まる。

図１２は、第２の画像６ａにローパスフィルタをかけた画像の輝度グラフの例を示す。
図１２では、第２の画像６ａの輝度グラフを破線で示し、第２の画像６ａの低域成分の輝度グラフを実線で示す。そして、各Ｘ座標において、第２の画像６ａの輝度値に対する第２の画像６ａの低域成分の輝度値の差分を差分値として、上下方向の矢印で示す。
本例では、帯域分離部１５を用いて、第２の画像６ａの低域成分を取り出すことによって、図１０に示した第２の画像６ａの輝度グラフの起伏が緩やかに変化することが分かる。

図１３は、差分値として求まる高域成分の例を示す。
図１３では、Ｘ座標毎に、図１２に示した差分値を示す。ここで、第２の画像６ａの輝度値から第２の画像６ａの低域成分の輝度値を減じて得られる高域成分が、プラスの値であれば、輝度がゼロより高く、マイナスの値であれば、輝度がゼロより低くなる。

図１４は、第１の画像５の所定の位置に第２の画像６ａの高域成分を貼り付ける場合の輝度グラフの例を示す。
図１４では、第１の画像５の輝度グラフを実線で示し、合成画像の輝度グラフを太い破線で示し、目標輝度値の輝度グラフを細い破線で示す。矢印４５は、補償ベクトルを表す。合成画像の輝度値は、図９で求めた第１の画像５の輝度グラフに対して、図１３で求めた高域成分を足し合わせて得られる。このとき、合成画像の輝度グラフが目標輝度値の輝度グラフにほぼ一致することが分かる。このため、高解像度、かつ、コントラスト比が高い状態でありながら、広い領域を撮像した画像が得られる。

ここで、図１５〜図１７を参照して、本例の画像処理装置１０が行うマッチングの処理の例について説明する。ここでは、補償ベクトルを所定の画素毎にずらして画像をマッチングする方式について説明する。この方式は、目標輝度値に対する合成画像の輝度値の二乗誤差を有効に用いることが可能な点が特徴として挙げられる。

図１５は、図１４に示す補償ベクトル４５を１画素ずらして得られる輝度グラフの例を示す。ここでは、第２の画像６ａが第１の画像５に貼付けられる際、本来の座標に位置する画素に対して１画素ずれて貼付けられた場合に、目標輝度値に対してどれだけ合成画像の輝度値がずれるかを示している。
図１５（ａ）は、合成画像の輝度グラフの例を示す。
図１５（ｂ）は、目標輝度に対する合成画像の差分の例を示す。
図１５（ａ）では、第１の画像５の輝度グラフを実線で示し、合成画像の輝度グラフを太い破線で示し、目標輝度値の輝度グラフを細い破線で示す。複数台のカメラである被写体を撮像する場合、カメラ毎に視差が異なるため、単に画像を貼り合わせただけでは、第１の画像５に対して第２の画像６ａがずれてしまう。

ここで、図１５（ａ）に示すように、補償ベクトル４５が１画素間違って指定されたとする。この場合、目標輝度値に対する合成画像の輝度値の差分値４６は、物体Ａ，Ｂの境界付近で大きくなる。しかし、この差分値４６は、従来のリファレンス方式による差分値よりも小さい。このため、得られる画像の歪みを抑えることができる。

図１６は、従来のリファレンス方式によって第１の画像５に第２の画像６ａをマッチングした場合における輝度グラフの例を示す。
図１６では、第１の画像５に第２の画像６ａをマッチングして得られる合成画像の輝度グラフを太い破線で示し、目標輝度値の輝度グラフを細い破線で示す。

このとき、合成画像の輝度グラフが目標輝度値の輝度グラフにほぼ一致することが分かる。ここで、第１の画像５に第２の画像６ａをマッチングする場合に、補償ベクトル４５を用いてマッチングの精度を上げることを検討する。補償ベクトルに応じて画像をマッチングする方式は、ＭＰＥＧ等に用いられる。この方式では、目標輝度値に対して、各輝度値の高低は問題とならず、目標輝度値にマッチング前の輝度値が近づくかどうかを判断することが重要となる。

図１７は、図１６に示す補償ベクトル４５が１画素ずれた場合における輝度グラフの例を示す。
図１６（ａ）は、合成画像の輝度グラフの例を示す。
図１６（ｂ）は、目標輝度に対する合成画像の差分の例を示す。
図１６（ａ）では、合成画像の輝度グラフを太い破線で示し、目標輝度値の輝度グラフを細い破線で示す。

図１５に示した場合と同様に、補償ベクトルが１画素ずれていると、コントラスト比が高い箇所では目標輝度値に対する合成画像の輝度値の差分値４７が大きくなる。この場合、従来のリファレンス方式によって得られる合成画像は、本発明に係る画像処理によって得られる合成画像に比べて、画像に歪みが生じる場合がある。この画像の歪みは、例えば後述する図２５に示される。

本例の画像処理装置１０が生成する合成画像は、低域である第１の画像５に高域である第２の画像６ａ〜６ｃを貼り付けて作成される。このため、補償ベクトルが１画素ずれてマッチングされていても、従来のリファレンス方式を用いた場合に比べて画像の歪みを抑えることができる。本例の画像処理装置１０は、低域成分と高域成分の画像をマッチングして、両方の輝度値を足し合わせて合成画像を生成するため、補償ベクトルがずれていても、目標輝度値に対する画像の歪みが少ない。

また、第２のカメラ６ａ〜６ｃの固体差がある場合に、図１４と図１５に示した本発明に係る方式が一番高い効果を得られる。例えば２枚の高精細画像（第２の画像６ａ，６ｂ）を、第１の画像５の輝度値に合わせるとき、カメラ毎の固体差が生じる高精細画像の低域成分を除去することで、カメラ間の固体差を無視できる。従来のように高精細画像そのものをマッチングすると、各画像の固体差が除去されないため、固体差を除去する処理が必要であった。本例の画像処理装置１０は、固体差を除去する処理が不要となるため、構成を簡素化できる。

ここで、各ブロックで処理される画像の例について、図１８〜図２５を参照して説明する。

図１８は、第１の画像５の例である。
第１の画像５は、第１のカメラ２が被写体を撮像した画像である。本例の第１の画像５には、風景の写真を背景として、着物を着た人形と、クマのぬいぐるみが配置された被写体を撮像したものである。なお、第１の画像５には、第２の画像６ａ（後述の図１９参照）の位置を示す黒枠を加えている。ただし、この黒枠は説明の便宜上設けるものであって、実際の第１の画像５に黒枠は表示されない。

図１９は、第２の画像６ａの例である。
第２の画像６ａは、第２のカメラ３ａが被写体（クマのぬいぐるみ）を撮像した画像である。このとき、第２のカメラ３ａは、第１のカメラ２に比べて狭い画角でズームして被写体を撮像する。このため、第２の画像６ａは、第１の画像５に比べて高解像度となる。

図２０は、第１の画像５に第２の画像６ａを重ねた例である。
このときの画像は、撮像情報演算部１１でマッチングする際の画像に相当する。図２０においても、第２の画像６ａを示す黒枠は便宜上設けるものであって、第１の画像５に黒枠は表示されない。この場合、クマのぬいぐるみが含まれる領域は、周りの領域と比べて高解像度であることが分かる。ただし、第１の画像５に対して、第２の画像６ａは、位相がずれる（後述の図２１参照）ため、輪郭は不鮮明となる。

図２１は、図２０における第２の画像６ａが重ねられた第１の画像５をズームした例である。このとき、第１の画像５と第２の画像６ａは、少し位相がずれており、不鮮明となっていることが分かる。

図２２は、低域成分からなる第２の画像６ａの例である。
本例では、帯域分離部１５によって、第２の画像６ａの低域成分が抽出されると、低域画像８ａが生成される。低域画像８ａは、輪郭がぼやけた状態の画像となる。

図２３は、高域成分からなる第２の画像６ａ（高域画像９ａ）の例である。
本例では、減算部１８によって、第２の画像６ａの高域成分が抽出されると、高域画像９ａが生成される。高域画像９ａは輪郭が見える程度の画像となる。

図２４は、高域成分の第２の画像９ａを第１の画像８ａにマッピングした例である。
この画像は、画像処理装置１０から表示装置２０に出力される。高域成分からなる第２の画像６ａ（図２３参照）を第１の画像５にマッピングしたものである。

図２５は、高域成分の第２の画像９ａのみをマッピングした例である。
この場合、被写体の一部画像２５で視差が生じ、被写体と背景の境界が不明確となる。
例えば、第１の画像５の低域成分の輝度値が１００、第２の画像６ａの輝度値が１４０、第２の画像６ａの高域成分の輝度値が１３０である場合を想定する。このとき、従来のリファレンス方式を用いると、輝度値が１４０となる。しかし、本例の画像処理装置１０が行う画像合成方式では、輝度値が１００＋１４０−１３０＝１１０となる。

以上説明した本実施の形態例に係る画像処理装置１０によれば、複数台のカメラ３ａ〜３ｃで撮像する際、カメラ３ａ〜３ｃの属性(解像度、視点、色、輝度、焦点)を分担させて撮像できる。そして、属性(解像度、視点、色、輝度、焦点)が異なるカメラ３ａ〜３ｃで撮像した複数の画像から新しい画像を合成する際に、各画像で持つ詳細なパラメータの情報を融通する。

この結果、第１の画像５と第２の画像６ａ〜６ｃから高解像度の合成画像が得られる。このとき、第２の画像６ａ〜６ｃの高域成分のみを第１の画像５の低域成分に貼り合わせるため、第１の画像５に含まれる色味を生かした状態で違和感なく画像が合成される。そして、本例で生成する合成画像は、静止画、動画のいずれであってもよい。

また、複数台のカメラの視点が不一致であっても、共通情報に対する個別情報を第２のカメラ３ａ〜３ｃ毎に把握できる。そして、個別情報に基づいて、パラメータを調整するため、各画像をなめらかにつなげた合成画像が得られる。このため、第２のカメラ３ａ〜３ｃの台数制限や配置の制約がない。

また、第１のカメラ２のみを用いて輝度の差が大きい被写体を撮像すると、得られる第１の画像５は低輝度または高輝度な部分を正確に撮像しきれない。しかし、これらの部分は、第２のカメラ３ａ〜３ｃで撮像した第２の画像６ａ〜６ｃで補うことができる。このため、得られる合成画像は、多階調（ハイダイナミックレンジ）の画像となる。

なお、上述した実施の形態例に係る画像処理装置は、この構造は多段に重ねることが可能で、カメラの機構が許す限りの高い解像度で撮像することが可能になる。ここでは、他の実施の形態例について、図２６を参照して説明する。

図２６は、複数のカメラユニットの配置例である。
図４に示した、第１のカメラ２と第２のカメラ３ａ〜３ｃの１つのユニットとして、複数のユニットを並べて配置したものである。本例では、さらに、第１のカメラ２より広い画角で被写体を撮像する第３のカメラ９を備える。ただし、基本的な動作は、第１のカメラ２と第２のカメラ３ａ〜３ｃの１つのユニットを用いた場合と同様である。
このとき、第３のカメラ９で撮像した画像４０を基準として、画像４０に対するずれを補正した状態で、各ユニットが撮像し、合成した画像が配置される。そして、多段構成でありながら高い解像度の合成画像が得られる。このため、高解像度でありながら歪みが生じないステレオ画像が得られるという効果がある。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させる。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行い、その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

さらに、本発明は上述した実施の形態例に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。

本発明の一実施の形態例における画像処理システムの例を示す構成図である。 本発明の一実施の形態例における画像処理装置の内部構成例を示すブロック図である。 本発明の一実施の形態例における各画像の輝度分布の例を示す説明図である。 本発明の一実施の形態例におけるズーム率の変化の例を示す説明図である。 本発明の一実施の形態例における共通情報と個別情報の例を示す説明図である。 本発明の一実施の形態例における合成画像の作成処理の例を示すフローチャートである。 本発明の一実施の形態例における合成画像の作成処理の例を示すフローチャートである。 本発明の一実施の形態例における作成したい画像の輝度グラフの例を示す説明図である。 本発明の一実施の形態例における第１の画像の輝度グラフの例を示す説明図である。 本発明の一実施の形態例における第２の画像の輝度グラフの例を示す説明図である。 本発明の一実施の形態例における輝度値の足し合わせの例を示す説明図である。 本発明の一実施の形態例における第２の画像にローパスフィルタをかけた画像の輝度グラフの例を示す説明図である。 本発明の一実施の形態例における高域成分（差分）の輝度値の例を示す説明図である。 本発明の一実施の形態例における第１の画像に第２の画像の高域成分を貼り付ける場合の輝度グラフの例を示す説明図である。 本発明の一実施の形態例における第１の画像に第２の画像をマッチングした場合における輝度グラフの例を示す説明図である。 従来のリファレンス方式における第１の画像に第２の画像をマッチングした場合における輝度グラフの例を示す説明図である。 本発明の一実施の形態例における従来のリファレンス方式における第2の画像をマッチングした画像（１画素補償ベクトル間違い）の例を示す説明図である。 本発明の一実施の形態例における第１の画像の例を示す説明図である。 本発明の一実施の形態例における第２の画像の例を示す説明図である。 本発明の一実施の形態例における第１の画像に第２の画像を重ねた場合の例を示す説明図である。 本発明の一実施の形態例におけるズームした第１の画像の例を示す説明図である。 本発明の一実施の形態例における低域成分の第２の画像の例を示す説明図である。 本発明の一実施の形態例における高域成分の第２の画像の例を示す説明図である。 本発明の一実施の形態例における高域成分の第２の画像を第１の画像にマッピングした画像の例を示す説明図である。 本発明の一実施の形態例における第２の画像をマッピングした画像の例を示す説明図である。 本発明の他の実施の形態例における合成画像の出力例を示す説明図である。 従来の視点一致方式によるカメラの配置例を示す説明図である。 従来の画像処理装置の構成例を示すブロック図である。 従来の画像処理の例を示すフローチャートである。

符号の説明

１…画像処理システム、２…第１のカメラ、３ａ〜３ｃ…第２のカメラ、５…第１の画像、６ａ〜６ｃ…第２の画像、１０…画像処理装置、１１…撮像情報演算部、１２…ズーム変換部、１３…視点変換部、１４…画像合成部、１５…帯域分離部、１６…マッチング部、１７…補償ベクトル演算部、１８…減算部、１９…マッピング部、２０…表示装置、３０…合成画像

Claims (11)

1. 第１の画角で所定の範囲を撮像する第１のカメラが生成した第１の画像を取得すると共に、前記第１の画角より狭い第２の画角で前記所定の範囲の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像を取得し、前記第１の画像に対する前記複数の第２の画像の座標位置及び前記第１のカメラの撮像方向に対する前記複数の第２のカメラの撮像方向の差を撮像情報として演算する撮像情報演算部と、
   前記撮像情報演算部で演算された前記撮像方向の差に基づいて、前記複数の第２の画像を、前記複数の第２のカメラの視点を前記第１のカメラの視点に合わせて変換した視点変換画像を生成し、前記第１の画像及び前記視点変換画像をマッチングして、前記第１の画像に対する前記視点変換画像の位相のずれを演算する視点変換部と、
   前記複数の第２の画像から所定の周波数帯域以上の周波数成分からなる高域画像を取り出し、前記視点変換部で演算された前記第１の画像に対する前記視点変換画像の位相のずれをなくすように、前記第１の画像に対応する前記座標位置に前記高域画像を貼り合わせて合成画像を生成する画像合成部を備える
   画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記撮像情報演算部で演算された前記座標位置及び前記第１の画像の一部をズームするズーム率に基づいて、前記第２の画像の座標位置に対応する前記第１の画像の一部をズームしたズーム画像を生成するズーム変換部を備え、
   前記視点変換部は、前記ズーム画像及び前記視点変換画像をマッチングして、前記第１の画像に対する前記視点変換画像の位相のずれを演算する
   画像処理装置。
3. 請求項２記載の画像処理装置において、
   前記視点変換部は、
   前記複数の第２の画像から前記所定の周波数帯域未満の複数の低域画像を分離する帯域分離部と、
   前記ズーム変換部によってズームされた前記ズーム画像と前記帯域分離部によって分離された前記複数の低域画像をマッチングするマッチング部と、
   前記マッチング部でマッチングされた前記ズーム画像及び複数の低域画像の位相のずれを補償ベクトルとして演算し、前記画像合成部に前記補償ベクトルを供給する補償ベクトル演算部を備え、
   前記画像合成部は、
   前記第２の画像の周波数成分から、前記帯域分離部で分離された前記複数の低域画像の周波数成分を減じて、前記高域画像を生成する減算部と、
   前記補償ベクトル演算部から供給された前記補償ベクトルに基づいて位相のずれを補正して、前記ズーム画像に対応する前記座標位置に前記高域画像をマッピングするマッピング部を備える
   画像処理装置。
4. 請求項３記載の画像処理装置において、
   前記マッチング部は、少なくとも色、輝度及び焦点のいずれかに関する情報を、前記ズーム画像に対する前記複数の低域画像の画素毎の特徴量が定まるパラメータとして求める
   画像処理装置。
5. 請求項４記載の画像処理装置において、
   前記撮像情報演算部は、前記パラメータを、前記第１のカメラを基準とした共通情報として管理すると共に、前記共通情報に対する前記複数の第２のカメラの情報を個別情報として管理する
   画像処理装置。
6. 請求項５記載の画像処理装置において、
   前記複数の低域画像は、前記ズーム画像に帯域を合わせた画像である
   画像処理装置。
7. 請求項５記載の画像処理装置において、
   前記ズーム変換部で変換される前記第１の画像のズーム率は可変であって、
   前記帯域分離部が分離する前記所定の周波数の値は、前記撮像情報演算部によって演算されるズーム率の逆数を乗じた値である
   画像処理装置。
8. 請求項６記載の画像処理装置において、
   前記第２のカメラは、前記ズーム率によって撮像領域毎に解像度及び輝度を変え、被写体までの距離に応じて撮像領域毎に焦点を変え、撮像した画像の色彩に合わせて撮像領域毎にホワイトバランスを変え、被写体に対する視点を変える
   画像処理装置。
9. 第１の画角で所定の範囲を撮像する第１のカメラが生成した第１の画像を取得すると共に、前記第１の画角より狭い第２の画角で前記所定の範囲の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像を取得し、前記第１の画像に対する前記複数の第２の画像の座標位置及び前記第１のカメラの撮像方向に対する前記複数の第２のカメラの撮像方向の差を撮像情報として演算するステップと、
   前記撮像方向の差に基づいて、前記複数の第２の画像を、前記複数の第２のカメラの視点を前記第１のカメラの視点に合わせて変換した視点変換画像を生成し、前記第１の画像及び前記視点変換画像をマッチングして、前記第１の画像に対する前記視点変換画像の位相のずれを演算するステップと、
   前記複数の第２の画像から所定の周波数帯域以上の周波数成分からなる高域画像を取り出し、前記第１の画像に対する前記視点変換画像の位相のずれをなくすように、前記第１の画像に対応する前記座標位置に前記高域画像を貼り合わせて合成画像を生成するステップと、を含む
   画像処理方法。
10. 第１の画角で所定の範囲を撮像する第１のカメラが生成した第１の画像を取得すると共に、前記第１の画角より狭い第２の画角で前記所定の範囲の一部を撮像する複数の第２のカメラが生成した、前記第１の画像より高解像度である複数の第２の画像を取得し、前記第１の画像に対する前記複数の第２の画像の座標位置及び前記第１のカメラの撮像方向に対する前記複数の第２のカメラの撮像方向の差を撮像情報として演算するステップと、
    前記撮像方向の差に基づいて、前記複数の第２の画像を、前記複数の第２のカメラの視点を前記第１のカメラの視点に合わせて変換した視点変換画像を生成し、前記第１の画像及び前記視点変換画像をマッチングして、前記第１の画像に対する前記視点変換画像の位相のずれを演算するステップと、
    前記複数の第２の画像から所定の周波数帯域以上の周波数成分からなる高域画像を取り出し、前記第１の画像に対する前記視点変換画像の位相のずれをなくすように、前記第１の画像に対応する前記座標位置に前記高域画像を貼り合わせて合成画像を生成するステップと、を含む処理を
    コンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記録した
    記録媒体。