JP2016042212A - 画像補正方法、画像補正装置及び画像補正プログラム - Google Patents

Abstract

【課題】カメラ等で撮影した画像の歪を補正する。【解決手段】互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と第１撮像部及び第２撮像部との間の距離である被写体距離を画素毎に求め、第１画像に含まれる画素を、画素の位置と画素に対応して求めた被写体距離と第１撮像部の歪特性とで決定される第１関数により、画素で示される被写体の部位が正射投影される位置に写像することで、被写体を含む正射画像を生成し、第１関数により第１画像の画素が写像されなかった正射画像の領域である第１領域に正射投影される被写体または背景を表す第２画像の第２領域を、第１領域の各画素の位置と第１領域に正射投影される被写体または背景に対応する被写体距離と第２撮像部の歪特性とで決定される第２関数により特定し、特定した第２領域により正射画像を補完する。【選択図】 図１

Description

本発明は、画像補正方法、画像補正装置及び画像補正プログラムに関する。

カメラや携帯電話及びスマートホンなどの携帯端末に搭載されたカメラ機能などのように、有限の焦点距離のレンズを含む光学系を用いて撮影された画像は、光学系の中心からの距離である像高に応じた歪曲収差による歪を含んでいる。

画像に含まれる歪曲収差を補正する技術として、例えば、テストパターンを撮影した画像などに基づいてカメラの光学系の特性を推定し、推定した特性に基づいて主要な被写体までの距離における歪曲収差量を求める技術がある（例えば、特許文献１乃至４参照）。

また、カメラによって撮影された範囲の地形などを示す３次元データを用いて、撮影された画像を正射画像に変換することで、撮影された画像に含まれる歪を補正する技術がある（例えば、特許文献５参照）。

また、複数の視点のそれぞれにおいて利用者に被写体を立体視させる複数の画像に基づいて、複数の視点の間に位置する別の視点に対応する立体視を実現するための画像をレンダリングにより生成する技術がある（例えば、特許文献６参照）。

特開Ｈ５−１１０９２６号公報 特開２００７−２０６７８９号公報 特開２００９−０２２３０８号公報 ＷＯ２００８／１３９５７７ 特開２００３−３１６２５６号公報 特開２０１２−１４１９７５号公報

ところで、推定された光学系の特性に基づいて歪を補正する技術では、例えば、撮影された画像に含まれる複数の被写体のそれぞれと撮影に用いられたカメラとの間の距離が異なる場合に、どちらかの被写体の画像の歪の補正が困難となる場合がある。なぜなら、撮影された画像に含まれる歪の大きさは、撮影された画像に含まれる各被写体とカメラ等との間の距離によって異なるのに対して、従来技術では、画像全体に対して単一の距離を想定して補正量を算出しているからである。同様の理由から、同じ補正量を適用できる距離の範囲よりも奥行き方向の寸法が大きい被写体を撮影した画像について、単一の距離を想定して補正量を算出する従来技術によって歪曲収差を補正することは困難である。

一方、地形などを示す３次元データにより歪を補正する技術やレンダリングにより所望の視点からの画像を生成する技術では、画像に含まれる複数の被写体のそれぞれまでの距離が反映された画像を生成することが可能である。その半面、３次元データにより歪を補正する技術やレンダリングにより所望の視点からの画像を生成する技術は、カメラの光学系の特性に基づく補正を行う場合に比べて処理量が多いため、例えば、デジタルカメラなどに搭載することは困難である。

本件開示の画像補正方法、画像補正装置及び画像補正プログラムは、カメラ等で撮影した画像の歪を補正する技術を提供することを目的とする。

一つの観点によれば、画像補正方法は、互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と第１撮像部及び第２撮像部との間の距離である被写体距離を画素毎に求め、第１画像に含まれる画素を、画素の位置と画素に対応して求めた被写体距離と第１撮像部の歪特性とで決定される第１関数により、画素で示される被写体の部位が正射投影される位置に写像することで、被写体を含む正射画像を生成し、第１関数により第１画像の画素が写像されなかった正射画像の領域である第１領域に正射投影される被写体または背景を表す第２画像の第２領域を、第１領域の各画素の位置と第１領域に正射投影される被写体または背景に対応する被写体距離と第２撮像部の歪特性とで決定される第２関数により特定し、特定した第２領域により正射画像を補完する。

別の観点によれば、画像補正装置は、互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と第１撮像部及び第２撮像部との間の距離である被写体距離を画素毎に求める算出部と、第１画像に含まれる画素を、画素の位置と画素に対応して求めた被写体距離と第１撮像部の歪特性とで決定される第１関数により、画素で示される被写体の部位が正射投影される位置に写像することで、被写体を含む正射画像を生成する生成部と、第１関数により第１画像の画素が写像されなかった正射画像の領域である第１領域に正射投影される被写体または背景を表す第２画像の第２領域を、第１領域の各画素の位置と第１領域に正射投影される被写体または背景に対応する被写体距離と第２撮像部の歪特性とで決定される第２関数により特定し、特定した第２領域により正射画像を補完する補完部と、を有する。

別の観点によれば、画像補正プログラムは、互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と第１撮像部及び第２撮像部との間の距離である被写体距離を画素毎に求め、第１画像に含まれる画素を、画素の位置と画素に対応して求めた被写体距離と第１撮像部の歪特性とで決定される第１関数により、画素で示される被写体の部位が正射投影される位置に写像することで、被写体を含む正射画像を生成し、第１関数により第１画像の画素が写像されなかった正射画像の領域である第１領域に正射投影される被写体または背景を表す第２画像の第２領域を、第１領域の各画素の位置と第１領域に正射投影される被写体または背景に対応する被写体距離と第２撮像部の歪特性とで決定される第２関数により特定し、特定した第２領域により正射画像を補完する、処理をコンピュータに実行させる。

本件開示の画像補正方法、画像補正装置及び画像補正プログラムは、カメラ等で撮影した画像の歪を補正することができる。

画像補正装置の一実施形態を示す図である。 図１に示したカメラで撮像された画像と正射画像の例を示す図である。 第１関数および第２関数の例を示す図である。 図１に示した画像補正装置の動作を示す図である。 図１に示したカメラで撮像された画像と正射画像の別例を示す図である。 画像補正装置の別実施形態を示す図である。 図６に示した生成部の動作を示す図である。 図６に示した補完部の動作を示す図である。 複数のカメラの配置例を示す図である。 画像補正装置の別実施形態を示す図である。 撮像された画像において被写体の一つが他の被写体を覆い隠している例を示す図である。 図１０に示した補完部の動作を示す図である。 図１０に示した画像補正装置を搭載したデジタルカメラのハードウェア構成の一例を示す図である。 図１３に示したデジタルカメラの動作を示す図である。

以下、図面に基づいて、実施形態を説明する。

図１は、画像補正装置の一実施形態を示す。図１に示した画像補正装置１０は、算出部１１と生成部１２と補完部１３とを含んでおり、カメラＣＡＭ１及びカメラＣＡＭ２のそれぞれにより被写体Ｓａ及び被写体Ｓｂを撮像した画像ＩＭＧ１、ＩＭＧ２を受ける。

図１の例では、被写体Ｓａは球状の物体であり、被写体Ｓｂは角柱状の物体である。なお、図１に示した被写体Ｓｂは、側面を平面ＰＬｆから傾けて、被写体ＳａよりもカメラＣＡＭ１、ＣＡＭ２から離れた位置に配置されている。

図１に示したカメラＣＡＭ１、ＣＡＭ２は、例えば、同じ焦点距離を持つ結像光学系を搭載している。そして、カメラＣＡＭ１、ＣＡＭ２は、カメラＣＡＭ１の結像光学系の光軸Ｚ１とカメラＣＡＭ２の結像光学系の光軸Ｚ２とが互いに平行となる位置に配置されている。即ち、カメラＣＡＭ１，ＣＡＭ２は、互いに平行な光軸を持つ第１撮像部及び第２撮像部の一例である。

また、図１に示したカメラＣＡＭ１の結像光学系の焦点Ｆｐ１及びカメラＣＡＭ２の結像光学系の焦点Ｆｐ２は、光軸Ｚ１、Ｚ２に垂直な平面ＰＬｆ上に位置する。以下の説明において、焦点Ｆｐ１，Ｆｐ２を含む平面ＰＬｆと被写体Ｓａ，Ｓｂの表面上の各点を含む平面ＰＬｆに平行な平面のそれぞれとの間の距離は、カメラＣＡＭ１、ＣＡＭ２と被写体Ｓａ，Ｓｂの表面上の各点との間の距離と称される。例えば、図１に示した距離Ｌａ、Ｌｂは、被写体Ｓａ、Ｓｂの平面ＰＬｆの側の端Ｐａ，Ｐｂと平面ＰＬｆとの距離であり、算出部１１により算出される被写体距離の一例である。

図１に示した算出部１１は、画像ＩＭＧ１、ＩＭＧ２のそれぞれに含まれる被写体の相互に対応する部位の視差に基づいて、画像ＩＭＧ１，ＩＭＧ２において被写体を示す領域内の画素毎に、各画素が示す被写体の部位と平面ＰＬｆとの間の被写体距離を算出する。また、算出部１１は、カメラＣＡＭ１、ＣＡＭ２の結像光学系の焦点距離から特定される仮想の像面ＰＬｔと平面ＰＬｆとの間の距離Ｌｔを背景までの距離とする。

画像ＩＭＧ１、ＩＭＧ２の各画素で示される被写体の部位までの距離として算出部１１により算出された被写体距離と画像ＩＭＧ１、ＩＭＧ２の各画素とを対応付ける情報は、生成部１２及び補完部１３に渡される。なお、画像ＩＭＧ１，ＩＭＧ２において背景を示す領域に含まれる各画素には、算出部１１により、図１に示した仮想の像面ＰＬｔと平面ＰＬｆとの間の距離Ｌｔが対応付けられる。

生成部１２は、画像ＩＭＧ１の各画素を、各画素の位置と各画素に対応付けられた被写体距離とカメラＣＡＭ１の歪特性とで決定される第１関数により写像することで、画像ＩＭＧ１で示される被写体を含む正射画像ＩＭＧｔを生成する。ここで、正射画像ＩＭＧｔは、例えば、被写体Ｓａ，Ｓｂを含む領域Ｓｒを図１に示した仮想の像面ＰＬｔに無限遠から投影することで得られる画像である。また、第１関数は、画像ＩＭＧ１の各画素の位置と各画素に対応付けられた被写体距離とに対して、画像ＩＭＧ１の各画素で示される前記被写体の部位が正射投影される位置を与える関数であり、図２及び図３を用いて説明される。

生成部１２は、例えば、画像ＩＭＧ１において被写体Ｓａを示す領域Ｓａ１に含まれる画素のそれぞれを第１関数で示される位置に写像することにより、被写体Ｓａの正射投影による投影像Ｓａｔを正射画像ＩＭＧｔ上に生成する。同様に、生成部１２は画像ＩＭＧ１において被写体Ｓｂを示す領域Ｓｂ１に含まれる画素のそれぞれを、第１関数で示される位置に写像することにより、被写体Ｓｂの正射投影による投影像Ｓｂｔを正射画像ＩＭＧｔ上に生成する。更に、生成部１２は、画像ＩＭＧ１において背景を示す領域の各画素を第１関数で示される位置に写像することで、被写体Ｓａ，Ｓｂの背景の正射投影による投影像を正射画像ＩＭＧｔ上に生成する。

ここで、図１の正射画像ＩＭＧｔにおいて網掛けで示した領域Ａ１は、生成部１２により画像ＩＭＧ１の画素が写像されなかった第１領域の一例である。図１に示した第１領域Ａ１は、被写体Ｓａ，Ｓｂを含む領域Ｓｒのうち、画像ＩＭＧ１において被写体像Ｓａ１の陰となる領域に含まれる被写体または背景が正射投影される領域である。なお、図１の例では、正射画像ＩＭＧｔに示した第１領域Ａ１は、被写体Ｓａの背景のうち、画像ＩＭＧ１において被写体像Ｓａ１の陰となる領域を示す。一方、図１に示した画像ＩＭＧ２は、画像ＩＭＧ１において被写体像Ｓａ１の陰となる領域を、例えば、画像ＩＭＧ２において網掛けで示した領域Ａ２として含んでいる。即ち、正射画像ＩＭＧｔの第１領域Ａ１は、画像ＩＭＧ２中の領域Ａ２を用いて補完することが可能である。そして、画像ＩＭＧ２中の領域Ａ２は、図２及び図３で説明するように、第１領域Ａ１の各画素の位置と背景までの距離ＬｔとカメラＣＡＭ２の歪特性とに基づいて特定することができる。

そこで、補完部１３は、図２及び図３で説明する第２関数により、生成部１２により画像ＩＭＧ１の画素が写像されなかった正射画像ＩＭＧｔ中の第１領域Ａ１に正射投影される被写体または背景を表す画像ＩＭＧ２の領域Ａ２を、第２領域として特定する。そして、補完部１３は、例えば、画像ＩＭＧ２において特定した第２領域Ａ２を、正射画像ＩＭＧｔの第１領域Ａ１に複写することで、正射画像ＩＭＧｔを補完する。ここで、第２関数は、図２及び図３を用いて後述するように、第１領域Ａ１の各画素の位置と第１領域Ａ１に正射投影される被写体または背景に対応する被写体距離とカメラＣＡＭ２の歪特性とで決定される関数である。なお、図１の例では、第１領域Ａ１は、画像ＩＭＧ１において被写体像Ｓａ１の陰となる背景の一部に相当するため、被写体距離として距離Ｌｔを設定した第２関数により、画像ＩＭＧ２中の第２領域Ａ２を特定することができる。同様に、画像ＩＭＧ１において、ある被写体の陰により別の被写体が隠されている場合にも、隠された被写体を示す領域が画像ＩＭＧ２に含まれていれば、画像ＩＭＧ２を用いて正射画像ＩＭＧｔを補完することが可能である。なお、画像ＩＭＧ１において、ある被写体の陰により別の被写体が隠されている場合に、画像ＩＭＧ２を用いて正射画像ＩＭＧｔを補完する手法は、図９〜図１４を用いて後述される。

画像ＩＭＧ１はカメラＣＡＭ１の光軸Ｚ１を基準とする像高に応じた歪曲収差を含んでおり、同様に、画像ＩＭＧ２はカメラＣＡＭ２の光軸Ｚ２を基準とする像高に応じた歪曲収差を含んでいる。つまり、画像ＩＭＧ１、ＩＭＧ２のそれぞれに含まれる被写体Ｓａ，Ｓｂの像は、像高が大きくなるほど大きく歪んでいる。これに対して、正射画像ＩＭＧｔに含まれる被写体Ｓａ，Ｓｂのそれぞれの正射投影像Ｓａｔ，Ｓｂｔは、無限遠からの投影像であるので、正射投影像Ｓａｔ，Ｓｂｔの正射画像ＩＭＧｔにおける位置にかかわらず歪むことはない。

即ち、図１に示した画像補正装置１０は、それぞれ歪曲収差を含む画像ＩＭＧ１、ＩＭＧ２から、歪みのない正射画像ＩＭＧｔを生成することができる。

次に、図２及び図３を用いて、図１に示した生成部１２で用いる第１関数および補完部１３で用いる第２関数が説明される。図２及び図３では、説明の簡単のため、例えば、図１に示した球状の被写体Ｓａを光軸Ｚ１，Ｚ２を含む平面で切った断面に相当する２次元の物体を撮像することで、画像ＩＭＧ１、ＩＭＧ２として１次元の画像を生成する場合が説明される。

図２は、図１に示したカメラＣＡＭ１，ＣＡＭ２で撮像された画像ＩＭＧ１、ＩＭＧ２と正射画像ＩＭＧｔの例を示す。なお、図２に示す要素のうち、図１に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。また、図２においては、図の見易さのために、画像ＩＭＧ１，ＩＭＧ２及び正射画像ＩＭＧｔは、仮想の像面ＰＬｔと離れた位置に示されている。しかしながら、画像ＩＭＧ１，ＩＭＧ２及び正射画像ＩＭＧｔが結像される像面と平面ＰＬｆとの距離は、仮想の像面ＰＬｔと平面ＰＬｆとの距離と同等である。

図２に円形で示した被写体Ｓａは、図１に示した球状の被写体Ｓａを光軸Ｚ１，Ｚ２を含む平面で切った断面に相当する。また、図２に点線で示した画像ＩＭＧ１において、点Ｑ１Ｌと点Ｑ１Ｒとを結ぶ線分は、画像ＩＭＧ１において被写体Ｓａを示す画素が含まれる領域Ｓａ１である。ここで、点Ｑ１Ｌは、カメラＣＡＭ１の焦点Ｆｐ１を通る被写体Ｓａの接線Ｔ１Ｌと被写体Ｓａを示す円との接点Ｃ１Ｌの像に相当する。そして、点Ｑ１Ｒは、カメラＣＡＭ１の焦点Ｆｐ１を通る被写体Ｓａの接線Ｔ１Ｒと被写体Ｓａを示す円との接点Ｃ１Ｒの像に相当する。

また、図２において一点鎖線で示した画像ＩＭＧ２において、点Ｑ２Ｌと点Ｑ２Ｒとを結ぶ線分は、画像ＩＭＧ２において被写体Ｓａを示す画素が含まれる領域Ｓａ２である。なお、図２に示した画像ＩＭＧ１において、領域Ｓａ１を除く範囲に含まれる各画素は被写体Ｓａの背景を示す。同様に、図２に示した画像ＩＭＧ２において、領域Ｓａ２を除く範囲に含まれる各画素は被写体Ｓａの背景を示す。

また、図２において実線で示した仮想の像面ＰＬｔ上に線幅を変えて示した線分Ｓａｔは、被写体Ｓａの正射投影像を示す。そして、正射画像ＩＭＧｔにおいて点ＱｔＬと点ＱｔＲとを結ぶ線分で示した領域は、仮想の像面ＰＬｔ上の正射投影像Ｓａｔに対応する領域である。ここで、例えば、点Ｑ１Ｌの画像ＩＭＧ１上の位置と点ＱｔＬの正射画像ＩＭＧｔ上の位置との差δは、画像ＩＭＧ１において点Ｑ１Ｌの像高Ｄでの歪みを示しており、差δの大きさは、接点Ｃ１Ｌと平面ＰＬｆとの間の距離Ｌと像高Ｄとに依存する。そして、カメラＣＡＭ１に搭載された結像光学系の特性を考慮すれば、図３で説明するようにして、画像ＩＭＧ１の各画素の像高と各画素で示される被写体までの距離との組み合わせ毎に、歪みの大きさを示す第１関数を予め求めておくことが可能である。

つまり、図１に示した生成部１２は、第１関数を用いて、図２に示した領域Ｓａ１の各画素を、正射画像ＩＭＧｔ上に点ＱｔＬと点ＱｔＲとを結ぶ線分で示した領域の各画素に写像することで、仮想の像面ＰＬｔ上の正射投影像Ｓａｔに相当する画像を生成できる。

図３は、第１関数および第２関数の例を示す。なお、図３に示す要素のうち、図１または図２に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。

図３では、説明の簡単のため、カメラＣＡＭ１及びカメラＣＡＭ２のそれぞれに搭載された結像光学系が厚みを持たない理想光学系である場合に、図１に示した生成部１２で用いる第１関数および補完部１３で用いる第２関数を求める手法が説明される。

図３において仮想の像面ＰＬｔ上に示した点Ｑ１は、図１に示したカメラＣＡＭ１による、点状の被写体Ｓｐの像を示し、同様に、図３に示した点Ｑ２は、図１に示したカメラＣＡＭ２による被写体Ｓｐの像を示す。即ち、点Ｑ１は、図２に示した画像ＩＭＧ１において被写体Ｓｐを示す画素の位置を示す、点Ｑ２は、同じく図２に示した画像ＩＭＧ２において被写体Ｓｐを示す画素の位置を示す。

図３の例では、被写体Ｓｐと光軸Ｚ１との距離Ｄｔ１は、仮想の像面ＰＬｔと平面ＰＬｆとの距離を示す定数Ｌｔと、被写体Ｓｐと平面ＰＬｆとの距離Ｌｓと、点Ｑ１で示される画像ＩＭＧ１における像高Ｄ１とを用いて、式（１）で示される。

ここで、式（１）で示される距離Ｄｔ１は、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の像高を示す。即ち、式（１）は、画像ＩＭＧ１において被写体Ｓｐを示す画素と、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の位置との対応関係を、被写体Ｓｐまでの距離Ｌｓと画像ＩＭＧ１における像高Ｄ１との関数として示す。つまり、式（１）は、図１に示した生成部１２で用いられる第１関数の一例である。

また、同様に、被写体Ｓｐと光軸Ｚ２との距離Ｄｔ２は、仮想の像面ＰＬｔと平面ＰＬｆとの距離を示す定数Ｌｔと、被写体Ｓｐと平面ＰＬｆとの距離Ｌｓと、点Ｑ２で示される画像ＩＭＧ２における像高Ｄ２とを用いて、式（２）で示される。

式（１）と同様に、式（２）で示される距離Ｄｔ２は、光軸Ｚ２を像高の基準とした場合の、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の像高を示す。即ち、式（２）は、画像ＩＭＧ２において被写体Ｓｐを示す画素と、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の位置との対応関係を示す。したがって、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の位置に対応付けられる画像ＩＭＧ２の画素は、式（２）の逆関数を示す式（３）により求められる。即ち、式（３）は、正射画像ＩＭＧｔにおける被写体Ｓｐの正射投影像の位置に無限遠から投影される画像ＩＭＧ２の画素を、被写体Ｓｐまでの距離Ｌｓと正射画像ＩＭＧｔにおける像高Ｄ２との関数で示す。つまり、式（３）は、図１に示した補完部１３で用いられる第２関数の一例である。

ところで、図２に示した画像ＩＭＧ１において、点Ｕ１Ｌと点Ｑ１Ｌとを結ぶ線分で示した領域及び点Ｑ１Ｒと点Ｒ１Ｒとを結ぶ線分で示した領域に含まれる各画素は被写体Ｓａの背景を示す。したがって、図１に示した算出部１１により、点Ｕ１Ｌと点Ｑ１Ｌとを結ぶ線分で示した領域及び点Ｑ１Ｒと点Ｒ１Ｒとを結ぶ線分で示した領域に含まれる各画素に対応して算出される被写体までの距離は、仮想の像面ＰＬｔまでの距離Ｌｔと同等である。

ここで、式（１）において、被写体Ｓｐまでの距離Ｌｓを距離Ｌｔとすると、画像ＩＭＧ１において背景を示す画素が写像される正射画像ＩＭＧｔの画素の像高Ｄｔは、第１画像における像高Ｄ１と同等であることが示される。

したがって、図２に示した画像ＩＭＧ１において点Ｒ１Ｌと点Ｒ１Ｒとを結ぶ線分で示した領域の各画素は、第１関数により、正射画像ＩＭＧｔにおいて、点ＱｔＲと点ＲｔＲとを結ぶ線分で示した領域の各画素に写像される。同様に、図２に示した画像ＩＭＧ１において点Ｕ１Ｌと点Ｑ１Ｌとを結ぶ線分で示した領域の各画素は、第１関数により、正射画像ＩＭＧｔにおいて点ＵｔＬと点ＵｔＲとを結ぶ線分で示した領域の各画素に写像される。つまり、生成部１２により、図２に示した画像ＩＭＧ１の各画素を第１関数により写像することで、図２において点ＵｔＲと点ＱｔＬとを結ぶ線分で示した領域を除く正射画像ＩＭＧｔが生成される。正射画像ＩＭＧｔにおいて点ＵｔＲと点ＱｔＬとを結ぶ線分で示した領域は、被写体Ｓａの背景のうち焦点Ｆｐ１から見て被写体Ｓａによって隠される領域であり、生成部１２により画像ＩＭＧ１の画素が写像されない第１領域の一例である。

一方、図２に示した画像ＩＭＧ２は、被写体Ｓａの背景のうち焦点Ｆｐ１から見て被写体Ｓａによって隠される領域を、点Ｕ２Ｌと点Ｕ２Ｒとを結ぶ線分で示される領域として含んでいる。したがって、画像ＩＭＧ２の点Ｕ２Ｌと点Ｕ２Ｒとを結ぶ線分で示される領域に含まれる各画素を、正射画像ＩＭＧｔの点ＵｔＲと点ＱｔＬとを結ぶ線分で示した領域の各画素に写像することにより、正射画像ＩＭＧｔを補完することができる。

式（３）において、被写体Ｓｐまでの距離Ｌｓを距離Ｌｔとすると、正射画像ＩＭＧｔにおいて背景を示す画素に無限遠から投影される被写体を示す画像ＩＭＧ２の画素の像高Ｄ２は、正射画像ＩＭＧｔにおける像高Ｄｔと同等であることが示される。

したがって、画像ＩＭＧ２の点Ｕ２Ｌと点Ｕ２Ｒとを結ぶ線分で示される領域に含まれる各画素は、第２関数により、正射画像ＩＭＧｔにおいて点ＵｔＲと点ＱｔＬとを結ぶ線分で示した領域の各画素に正射投影される画素として特定される。そして、補完部１３は、第２関数を用いて特定された画像ＩＭＧ２の各画素を、生成部１２により画像ＩＭＧ１の画素が写像されない第１領域の各画素に写像することで、正射画像ＩＭＧｔを補完する。

即ち、生成部１２及び補完部１３により画像ＩＭＧ１及び画像ＩＭＧ２の各画素を写像することで、焦点Ｆｐ１から見て被写体Ｓａによって隠される領域を含めて、正射画像ＩＭＧｔを完成させることができる。

なお、図１に示したカメラＣＡＭ１及びカメラＣＡＭ２のそれぞれに実際に搭載される結像光学系は、それぞれに固有の厚みを持っているため、実際に搭載される結像光学系のそれぞれの特性は、図３に示した理想光学系の特性とは異なっている。このため、図１に示した生成部１２は、正射画像ＩＭＧｔへの写像のための第１関数として、式（１）で示した関係にカメラＣＡＭ１に搭載される結像光学系の歪特性を反映した関数を用いる。同様に、図１に示した補完部１３は、正射画像ＩＭＧｔ上の任意の画素に対応付けられる画像ＩＭＧ２の画素を示す第２関数として、式（３）で示した関係にカメラＣＡＭ２に搭載される結像光学系の歪特性を反映した関数を用いる。ここで、カメラＣＡＭ１、ＣＡＭ２のそれぞれに搭載される結像光学系は、同じ像高においては同等の特性を示す。したがって、生成部１２で用いる第１関数および補完部１３で用いる第２関数において、画像ＩＭＧ１、ＩＭＧ２及び正射画像ＩＭＧｔにおける画素の位置は、光学中心を原点とする極座標で示されることが望ましい。なお、光学中心は、カメラＣＡＭ１の光軸Ｚ１と仮想の像面ＰＬｔとの交点に設定されることが望ましい。

生成部１２は、例えば、画像ＩＭＧ１上で注目する画素の位置を示す像高ｈ及び偏角θと注目する画素が示す被写体までの距離Ｌｓとを引数とし、式（１）の関係に結像光学系の歪特性を反映した関数Ｆ（ｈ，θ，Ｌｓ）を第１関数として用いる。そして、生成部１２は、関数Ｆ（ｈ，θ，Ｌｓ）によって得られた極座標を直交座標に変換することで、正射画像ＩＭＧｔにおける画素を特定し、特定した画素に画像ＩＭＧ１の注目する画素の画素値を複写する。

同様に、補完部１３は、正射画像ＩＭＧｔ上で注目する画素の位置を示す像高Ｄ及び偏角θを引数とし、図１に示したカメラＣＡＭ２の結像光学系の特性を式（３）の関係に反映した関数Ｇ（Ｄ，θ）を第２関数として用いる。補完部１３は、図１に示した第１領域Ａ１に含まれる各画素を順次に注目する画素として選択し、注目する画素に正射投影される被写体または背景の部位を示す画像ＩＭＧ２の画素を、関数Ｇ（Ｄ，θ）を用いて特定する。

ここで、画像ＩＭＧ１において、画像ＩＭＧ１に含まれる被写体の陰となる領域に他の被写体が含まれない場合に、正射画像ＩＭＧｔにおいて画像ＩＭＧ１の画素が写像されない第１領域Ａ１は、被写体に隠された背景部分を示す。したがって、この場合に、補完部１３は、被写体までの距離Ｌｓとして、仮想の像面ＰＬｔまでの距離Ｌｔを設定した関数Ｇ（Ｄ，θ）を第２関数として用いて、第１領域Ａ１内の注目する画素の位置から画像ＩＭＧ２の画素を特定することができる。

そして、補完部１３は、第２関数で特定された画像ＩＭＧ２の画素が示す被写体までの距離として算出部１１で算出した値が距離Ｌｔを示す場合に、特定された画像ＩＭＧ２の画素は、第１領域Ａ１に対応する画像ＩＭＧ２内の第２領域Ａ２に含まれると判断する。この場合に、補完部１３は、第２関数を用いて特定した画像ＩＭＧ２の画素の画素値を、正射画像ＩＭＧｔで注目した画素に複写する。

例えば、図１に示した第１領域Ａ１に含まれる各画素を注目する画素として、以上に説明した処理を繰り返すことにより、補完部１３は、正射像ＩＭＧｔ内の第１領域Ａ１を、画像ＩＭＧ２内の第２領域Ａ２を用いて補完することができる。

図４は、図１に示した画像補正装置１０の動作を示す。図４に示したステップＳ３０１〜ステップＳ３０３の処理は、図１に示した画像補正装置１０の動作を示すとともに、画像補正方法および画像補正プログラムの例を示す。図４に示す処理は、画像補正装置１０に搭載されたプロセッサが画像補正プログラムを実行することで実現されてもよいし、画像補正装置１０に搭載されるハードウェアによって実行されてもよい。

ステップＳ３０１において、図１に示した算出部１１は、画像ＩＭＧ１、ＩＭＧ２に含まれる被写体の各部位の視差に基づいて、画像ＩＭＧ１、ＩＭＧ２において被写体を示す画素毎に、各画素で示される被写体の部位までの被写体距離を算出する。

ステップＳ３０２において、図１に示した生成部１２は、ステップＳ３０１の処理で算出された距離を用いた第１関数により画像ＩＭＧ１の各画素を写像することで、画像ＩＭＧ１に含まれる被写体の正射投影像を含む正射画像ＩＭＧｔを生成する。

ステップＳ３０３において、図１に示した補完部１３は、ステップＳ３０２の処理で画像ＩＭＧ１の画素が写像されなかった領域の各画素に、第２関数で示される画像ＩＭＧ２の画素を写像することで正射画像ＩＭＧｔを補完する。

以上に説明したように、図１に示した画像補正装置１０の生成部１２は、画像ＩＭＧ１の各画素を第１関数により写像することで、例えば、図１に示した被写体Ｓａ，Ｓｂの形状を歪みなく示す正射投影像Ｓａｔ，Ｓｂｔを含む正射画像ＩＭＧｔを生成する。また、補完部１３は、正射画像ＩＭＧｔにおいて、カメラＣＡＭ１の焦点Ｆｐ１から見て被写体Ｓａ，Ｓｂの陰となる部分に、第２関数を用いて特定された画像ＩＭＧ２の画素を写像することで、正射画像ＩＭＧｔを補完する。したがって、図１に示した画像補正装置１０によって生成される正射画像ＩＭＧｔは、焦点Ｆｐ１から見て被写体Ｓａ，Ｓｂの陰となる部分を含めて、被写体Ｓａ，Ｓｂ及び被写体Ｓａ，Ｓｂの背景を無限遠から見た画像となる。ここで、正射画像ＩＭＧｔに含まれる正射投影像Ｓａｔ，Ｓｂｔのそれぞれは、画像ＩＭＧ１及び画像ＩＭＧ２のそれぞれに含まれる被写体Ｓａ，Ｓｂの形状を歪なく表す。したがって、図１に示した画像補正装置１０は、被写体Ｓａ，Ｓｂとの距離Ｌａ，Ｌｂの違いや被写体Ｓａ，Ｓｂのそれぞれの奥行きにかかわらず、被写体Ｓａ，Ｓｂの形状を歪みなく示す正射投影像Ｓａｔ，Ｓｂｔを含む正射画像ＩＭＧｔを生成することができる。

即ち、図１に示した画像補正装置１０は、距離の異なる複数の被写体や奥行きのある被写体を撮像した場合でも、カメラで撮像された画像ＩＭＧ１、ＩＭＧ２から正射画像ＩＭＧｔを生成することで、画像ＩＭＧ１及び画像ＩＭＧ２に含まれる歪みを補正できる。

また、図１に示した生成部１２及び補完部１３のそれぞれは、画像ＩＭＧ１及び画像ＩＭＧ２のそれぞれに含まれる画素の画素値を第１関数および第２関数のそれぞれに基づいて写像することで、正射画像ＩＭＧｔを生成する。生成部１２及び補完部１３により画像ＩＭＧ１及び画像ＩＭＧ２に含まれる画素を写像する処理は、例えば、撮像された画像に含まれる歪みを被写体Ｓａ，Ｓｂ及び背景を示す３次元データ等に基づいて補正する従来技術の処理に比べて簡易な処理である。同様に、画像ＩＭＧ１及び画像ＩＭＧ２に含まれる画素を写像する処理は、例えば、被写体Ｓａ，Ｓｂを表す頂点モデル等に基づくレンダリングにより所望の視点から見た画像を生成する従来技術の処理に比べて簡易な処理である。

つまり、図１に示した画像補正装置１０は、距離の異なる複数の被写体や奥行きのある被写体を撮像した画像の歪みが補正された画像を、３次元データ等に基づいて撮像した画像を補正する従来技術やレンダリングを用いる技術よりも簡易な処理で生成できる。そして、３次元データ等に基づいて撮像した画像を補正する従来技術やレンダリングを用いる技術よりも簡易な処理により、歪みのない画像を生成可能であるという特徴は、図１に示した画像補正装置１０をデジタルカメラ等に搭載する場合に有用である。なお、画像補正装置１０を搭載する装置は、デジタルカメラに限らず、画像を撮像する機能を有する端末装置であればスマートホンや携帯電話等でもよいし、画像を受ける機能を有するコンピュータ装置でもよい。画像補正装置１０を搭載したデジタルカメラの例は、図１３及び図１４を用いて後述される。

ところで、複数のカメラでカメラから有限の距離にある被写体を撮像した場合には、図５に示すように、被写体の背景の一部が、複数のカメラの両方から見て被写体の影となることがある。

図５は、図１に示したカメラＣＡＭ１，ＣＡＭ２で撮像された画像ＩＭＧ１，ＩＭＧ２と正射画像ＩＭＧｔの別例を示す。なお、図５に示す要素のうち、図２に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。

図５に円形で示した被写体Ｓｃは、図１に示した球状の被写体Ｓａ及び角柱状の被写体Ｓｂとは別の被写体を示す。また、図５に点線で示した画像ＩＭＧ１において、点Ｑ１ａＬと点Ｑ１ａＲとを結ぶ線分は、画像ＩＭＧ１において被写体Ｓａを示す画素が含まれる領域Ｓａ１を示す。同様に、図５に点線で示した画像ＩＭＧ１において、点Ｑ１ｃＬと点Ｑ１ｃＲとを結ぶ線分は、画像ＩＭＧ１において被写体Ｓｃを示す画素が含まれる領域Ｓｃ１を示す。また、図５に一点鎖線で示した画像ＩＭＧ２において、点Ｑ２ａＬと点Ｑ２ａＲとを結ぶ線分は、画像ＩＭＧ２において被写体Ｓａを示す画素が含まれる領域Ｓａ２を示す。同様に、図５に一点鎖線で示した画像ＩＭＧ２において、点Ｑ２ｃＬと点Ｑ２ｃＲとを結ぶ線分は、画像ＩＭＧ２において被写体Ｓｃを示す画素が含まれる領域Ｓｃ２を示す。

また、図５において実線で示した仮想の像面ＰＬｔ上に線幅を変えて示した線分Ｓａｔ及び線分Ｓｃｔのそれぞれは、被写体Ｓａ、Ｓｃのそれぞれの正射投影像を示す。そして、正射画像ＩＭＧｔにおいて点ＱｔａＬと点ＱｔａＲとを結ぶ線分で示した領域は、正射投影像Ｓａｔに対応する領域を示し、点ＱｔｃＬと点ＱｔｃＲとを結ぶ線分で示した領域は、正射投影像Ｓｃｔに対応する領域を示す。

図５の正射画像ＩＭＧｔにおいて正射投影像Ｓａｔ，Ｓｃｔに対応する領域は、図１に示した生成部１２により、画像ＩＭＧ１の領域Ｓａ１、Ｓｃ１に含まれる各画素を写像することで生成される。また、図５の正射画像ＩＭＧｔにおいて点ＵｔＬと点ＵｔＲとを結ぶ線分で示した領域は、生成部１２により、画像ＩＭＧ１において点Ｕ１Ｌと点Ｑ１ａＬとを結ぶ線分で示した領域に含まれる各画素を写像することで生成される。同様に、図５の正射画像ＩＭＧｔにおいて点ＱｔａＲと点ＱｔｃＬとを結ぶ線分で示した領域は、生成部１２により、画像ＩＭＧ１において点Ｖ１Ｌと点Ｖ１Ｒとを結ぶ線分で示した領域に含まれる各画素を写像することで生成される。そして、図５の正射画像ＩＭＧｔにおいて点ＲｔＬと点ＲｔＲとを結ぶ線分で示した領域は、生成部１２により、画像ＩＭＧ１において点Ｑ１ｃＲと点Ｒ１Ｒとを結ぶ線分で示した領域に含まれる各画素を写像することで生成される。また、図５の正射画像ＩＭＧｔにおいて点ＵｔＲと点ＱｔａＬとを結ぶ線分で示した領域は、補完部１３により、画像ＩＭＧ２において点Ｑ１ｃＲと点Ｒ１Ｒとを結ぶ線分で示した領域に含まれる各画素を写像することで生成される。

しかしながら、図５の正射画像ＩＭＧｔにおいて点ＱｔｃＲと点ＲｔＬとを結ぶ線分で示した領域は、図５に示した画像ＩＭＧ２の画素を写像する処理の後にも、画素値が設定されずに残ってしまう。なぜなら、図５において点ＱｔｃＲと点ＲｔＬとを結ぶ線分で示した領域は、画像ＩＭＧ１及び画像ＩＭＧ２の双方において、被写体Ｓｃによって隠された背景部分に相当するからである。

以下では、図６から図８を用いて、カメラＣＡＭ１、ＣＡＭ２の双方から見て被写体の陰となる領域に対応する正射画像ＩＭＧｔの領域を生成する手法が説明される。

図６は、画像補正装置の別実施形態を示す。なお、図６に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図６に示した画像補正装置１０ａは、図１に示した算出部１１に相当する算出部１１ａと、生成部１２ａと、補完部１３ａと、フレームメモリ１４とを含む。図６に示した生成部１２ａは、図１に示した生成部１２に相当する構成要素であり、第１変換部１２１と第１書込部１２２とを含む。また、図６に示した補完部１３ａは、図１に示した補完部１３に相当する構成要素であり、検出部１３１と、第２変換部１３２と、第２書込部１３３と、補間部１３４とを含む。

フレームメモリ１４は、第１画像格納部１４１と、第２画像格納部１４２と、正射画像格納部１４３とを含む。フレームメモリ１４は、カメラＣＡＭ１、ＣＡＭ２のそれぞれから画像ＩＭＧ１、ＩＭＧ２を受け、受けた画像ＩＭＧ１を第１画像格納部１４１に保持し、受けた画像ＩＭＧ２を第２画像格納部１４２に保持する。第１画像格納部１４１は、画像ＩＭＧ１の各画素に対応して画素値を含む情報を格納する容量を有する、算出部１１ａ及び生成部１２ａからアクセス可能な記憶領域である。第２画像格納部１４２は、画像ＩＭＧ２の各画素に対応して画素値を含む情報を格納する容量を有する、算出部１１ａ及び補完部１３ａからアクセス可能な記憶領域である。また、正射画像格納部１４３は、正射画像ＩＭＧｔの各画素に対応して画素値を含む情報を格納する容量を有する、生成部１２ａ及び補完部１３ａからアクセス可能な記憶領域である。

図６に示した算出部１１ａは、図１で説明した算出部１１と同様にして、画像ＩＭＧ１、ＩＭＧ２に含まれる被写体の各部位までの被写体距離を画素毎に算出する。算出部１１ａにより、画像ＩＭＧ１の各画素で示される被写体の部位を対象として算出された被写体距離は、第１画像格納部１４１に、画像ＩＭＧ１の各画素に対応して格納される。同様に、算出部１１ａにより、画像ＩＭＧ２の各画素で示される被写体の部位を対象として算出された被写体距離は、第２画像格納部１４２に、画像ＩＭＧ２の各画素に対応して格納される。

図６に示した生成部１２ａに含まれる第１変換部１２１は、第１画像格納部１４１に保持された画像ＩＭＧ１の各画素を注目画素として順次に選択する。そして、第１変換部１２１は、注目画素に対応して保持された被写体距離Ｌｓと注目画素の位置を示す像高ｈ及び偏角θとを引数とする関数Ｆ（ｈ，θ，Ｌｓ）を第１関数として用い、注目画素の写像となる正射画像ＩＭＧｔの画素を特定する。ここで、関数Ｆ（ｈ，θ，Ｌｓ）は、図２及び図３で説明したように、カメラＣＡＭ１の結像光学系の歪特性を式（１）に反映することで得られる関数である。なお、第１変換部１２１において、画像ＩＭＧ１の各画素が写像される正射画像ＩＭＧｔの画素を特定するために用いる手法は、関数（ｈ，θ，Ｌｓ）を第１関数として用いる手法に限られない。例えば、第１変換部１２１は、被写体距離Ｌｓとして想定される距離のそれぞれでの結像光学系の歪特性に基づき、画像ＩＭＧ１の各画素と各画素で示される被写体が正射投影される位置との対応関係を示すテーブルを予め作成してもよい。そして、第１変換部１２１は、予め作成したテーブルを第１関数として用いることで、注目画素が写像される正射画像ＩＭＧｔの画素を特定してもよい。

図６に示した生成部１２ａに含まれる第１書込部１２２は、第１変換部１２１によって特定された画素を示す情報を受け、また、第１画像格納部１４１から、注目画素の画素値を読み出す。そして、第１書込部１２２は、図７で説明するようにして、受けた情報で示される正射画像ＩＭＧｔの画素の画素値として、画像ＩＭＧ１から選択された画素の画素値を書き込む。

なお、図６に示した生成部１２ａに含まれる第１変換部１２１及び第１書込部１２２の動作は、図７を用いて後述される。

また、図６に示した補完部１３ａに含まれる検出部１３１は、正射画像格納部１４３に格納された正射画像ＩＭＧｔを参照し、正射画像ＩＭＧｔの画素の中で、まだ画素値が書き込まれていない画素を検出する。検出部１３１で検出された正射画像ＩＭＧｔの画素を示す情報は、第２変換部１３２に渡される。

第２変換部１３２は、検出部１３１から渡された情報と図２及び図３で説明した第２関数とを用いて、検出部１３１で検出された正射画像ＩＭＧｔの画素に対応する画像ＩＭＧ２の画素を特定する。例えば、第２変換部１３２は、検出された画素の位置を示す像高Ｄ及び偏角θを引数とし、カメラＣＡＭ２の結像光学系の歪特性を式（３）に反映することで得られる関数Ｇ（Ｄ，θ）を第２関数として用いる。第２変換部１３２は、図１で説明した補完部１３と同様に、被写体までの距離Ｌｓとして仮想の像面ＰＬｔまでの距離Ｌｔを設定した第２関数を用いて、検出された画素に対応する画像ＩＭＧ２の画素を特定する。

第２書込部１３３は、第２変換部１３２で特定された画像ＩＭＧ２の画素に対応して保持された被写体距離及び特定された画素の画素値を、第２画像格納部１４２から読み出す。また、第２書込部１３３は、第２画像格納部１４２から読み出した被写体距離が、仮想の像面ＰＬｔまでの距離Ｌｔと同等である場合に、第２変換部１３２で特定された画素は、画像ＩＭＧ２において第１領域Ａ１に対応する第２領域Ａ２に含まれると判断する。そして、この場合に、第２書込部１３３は、読み出した画素値を、検出部１３１により正射画像ＩＭＧｔから検出された画素に書き込む。

一方、第２画像格納部１４２から読み出した被写体距離が距離Ｌｔを示さない場合に、第２書込部１３３は、検出部１３１で検出された画素は、画像ＩＭＧ１，ＩＭＧ２の双方において被写体の陰となる背景部分を示すと判断する。この場合に、第２書込部１３３は、補間部１３４に対して、次に述べる補間処理の実行を指示する。

補間部１３４は、第２書込部１３３からの指示を受けた場合に、例えば、正射画像格納部１４３に保持された画素値を用いて、検出部１３１によって検出された画素の画素値を補間する。補完部１３４によって画素値の補間に用いられる画素値は、検出部１３１で検出された画素に正射画像ＩＭＧｔにおいて所定の閾値よりも近接する画素に対応して正射画像格納部１４３に保持された画素値である。

なお、図６に示した補完部１３ａに含まれる検出部１３１、第２変換部１３２、第２書込み部１３３及び補間部１３４の動作は、図８を用いて後述される。

ここで、補完部１３ａの動作の説明に先立って、図７を用いて、図６に示した生成部１２ａの動作が説明される。

図７は、図６に示した生成部１２ａの動作を示す。図７に示したステップＳ３１１〜ステップＳ３１６の処理は、図４においてステップＳ３０２として示した正射画像ＩＭＧｔを生成する処理の一例である。

ステップＳ３１１において、第１変換部１２１は、画像ＩＭＧ１の画素の一つを順次に選択し、選択した画素を注目画素とする。また、第１変換部１２１は、選択した注目画素に対応して保持された被写体距離を第１画像格納部１４１から読み出す。

ステップＳ３１２において、第１変換部１２１は、図２及び図３で説明した第１関数により、注目画素で示される被写体の正射投影像を示す画素として注目画素に対応付けられる正射画像ＩＭＧｔの画素を特定する。第１変換部１２１は、注目画素に対応する正射画像ＩＭＧｔの画素を特定する処理において、ステップＳ３１１の処理で第１画像格納部１４１から読み出した被写体距離と注目画素の画像ＩＭＧ１における位置を示す像高ｈ及び偏角θを用いる。

ステップＳ３１３において、第１書込部１２２は、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に、既に画素値が設定されているか否かを判定する。

ステップＳ３１２で特定された正射画像ＩＭＧｔの画素の画素値が未設定である場合に（ステップＳ３１３の否定判定（ＮＯ））、第１書込部１２２による処理は、ステップＳ３１４に移行する。

ステップＳ３１４において、第１書込部１２２は、ステップＳ３１１で選択された注目画素の画素値を第１画像格納部１４１から読み出し、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に対応して、読み出した画素値を正射画像格納部１４３に書き込む。また、第１書込部１２２は、ステップＳ３１４において、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に対応して、注目画素の画素値を正射画像格納部１４３に書き込むとともに、ステップＳ３１１の処理で読みだした被写体距離を書き込む。

一方、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に既に設定された画素値がある場合に（ステップＳ３１３の肯定判定（ＹＥＳ））、第１書込部１２２による処理は、ステップＳ３１５に移行する。

ステップＳ３１５において、第１書込部１２２は、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に書き込まれた被写体距離と注目画素に対応する被写体距離との比較により、注目画素が書き込み済みの画素よりも手前の被写体を示すか否かを判定する。ここで、手前とは、画像ＩＭＧ１を撮像したカメラＣＡＭ１に近い側である。

ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に書き込まれた被写体距離よりも注目画素に対応する被写体距離が小さい場合に、第１書込部１２２は、注目画素で示される被写体は書き込み済みの画素で示される被写体よりも手前にあると判定する。この場合に、第１書込部１２２は、ステップＳ３１５の肯定判定（ＹＥＳ）ルートに従ってステップＳ３１４の処理を実行し、注目画素の画素値により、ステップ３１２で特定された正射画像ＩＭＧｔの画素に設定された画素値を上書きする。

一方、ステップＳ３１２で特定された正射画像ＩＭＧｔの画素に書き込まれた被写体距離が注目画素に対応する被写体距離以下である場合に、第１書込部１２２は、注目画素で示される被写体は書き込み済みの画素で示される被写体よりも手前にないと判定する。この場合に、第１書込部１２２は、ステップＳ３１５の否定判定（ＮＯ）ルートに従ってステップＳ３１４の処理をスキップし、ステップＳ３１６の処理に進む。

これにより、画像ＩＭＧ１の複数の画素が正射画像ＩＭＧｔの一つの画素に対応付けられた場合に、複数の画素のうち、カメラＣＡＭ１に近い被写体を示す画素の画素値を正射画像ＩＭＧｔの画素値として残すことができる。

ステップＳ３１６において、第１変換部１２１は、画像ＩＭＧ１に含まれる全ての画素を注目画素として選択したか否かに基づいて、画像ＩＭＧ１に含まれる全ての画素を正射画像ＩＭＧｔに写像したか否かを判定する。

まだ注目画素として選択されていない画像ＩＭＧ１の画素がある場合に、第１変換部１２１は、画像ＩＭＧ１の画素を正射画像に写像する処理は完了していないと判定する（ステップＳ３１６の否定判定（ＮＯ））。この場合に、処理は、ステップＳ３１１に戻り、第１変換部１２１により、新たな注目画素が選択される。そして、新たに選択された注目画素について、ステップＳ３１２からステップＳ３１６の処理が繰り返される。

一方、まだ注目画素として選択されていない画像ＩＭＧ１の画素がない場合に、第１変換部１２１は、画像ＩＭＧ１の画素を正射画像に写像する処理は完了したと判定する（ステップＳ３１６の肯定判定（ＹＥＳ））。この場合に、生成部１２ａの処理は終了し、図６に示した補完部１３ａにより、図４に示したステップＳ３０３の処理として、図８に示す処理が開始される。

図８は、図６に示した補完部１３ａの動作を示す。図８に示したステップＳ３２１〜ステップＳ３２７の処理は、図４においてステップＳ３０３として示した正射画像ＩＭＧｔを補完する処理の一例である。

ステップＳ３２１において、検出部１３１は、正射画像格納部１４３に格納された正射画像ＩＭＧｔから、まだ画素値が書き込まれていない正射画像ＩＭＧｔの画素を検出し、検出した画素の正射画像ＩＭＧｔにおける位置を示す情報を第２変換部に渡す。

ステップＳ３２２において、第２変換部１３２は、図６で説明したように、図２及び図３で説明した第２関数を用いて、ステップＳ３２１で検出された画素に対応する画像ＩＭＧ２の画素を特定する。

ステップＳ３２３において、第２書込部１３３は、ステップＳ３２２の処理で特定された画素に対応して第２画像格納部１４２に保持された被写体距離が距離Ｌｔを示す否かにより、特定された画像ＩＭＧ２の画素が背景部分を示す否かを判定する。

ステップＳ３２２で特定された画素に対応して第２画像格納部１４２に保持された被写体距離が距離Ｌｔを示す場合に、第２書込部１３３は、特定された画素は、画像ＩＭＧ１において被写体に隠された背景部分を示す画像ＩＭＧ２の領域に含まれると判断する。この場合に、第２書込部１３３は、ステップＳ３２３の肯定判定（ＹＥＳ）ルートに従ってステップＳ３２４の処理を実行する。

ステップＳ３２４において、第２書込部１３３は、ステップＳ３２２で特定された画像ＩＭＧ２の画素の画素値を、ステップＳ３２１で正射画像ＩＭＧｔから検出された画素の画素値として正射画像格納部１４２に書き込む。また、第２書込部１３３は、ステップＳ３２４において、ステップＳ３２１で検出された正射画像ＩＭＧｔの画素で示される被写体の部位までの距離を示す情報を、検出された画素に対応して正射画像格納部１４３に書き込む。第２書込部１３３により、ステップＳ３２１で検出された正射画像ＩＭＧｔの画素に対応して正射画像格納部１４３に書き込まれる情報は、ステップＳ３２２で特定された画像ＩＭＧ２の画素に対応付けられた距離Ｌｔを示す情報である。

一方、特定された画素に対応して第２画像格納部１４２に保持された被写体距離が距離Ｌｔを示さない場合に、第２書込部１３３は、特定された画素は、画像ＩＭＧ１において被写体に隠された背景部分を示さないと判定する。この場合に、処理は、ステップＳ３２３の否定判定（ＮＯ）ルートに進み、第２書込部１３３により、補間部１３４に対して、ステップＳ３２５及びステップＳ３２６で示される補間処理の実行が指示される。

ステップＳ３２５において、補間部１３４は、ステップＳ３２１で検出された画素の周囲の画素に対応して正射画像格納部１４３に保持された画素値に基づいて、検出された画素の画素値を推定する。ここで、補間部１３４による補間処理の対象となる正射画像ＩＭＧｔの画素は、図５に点ＱｔｃＲと点ＲｔＬとを結ぶ線分で示す領域のように、画像ＩＭＧ１及び画像ＩＭＧ２において被写体Ｓｃの影となる背景または被写体Ｓｃより遠方の被写体を示す。そこで、補間部１３４は、ステップＳ３２１で検出された画素に正射画像ＩＭＧｔにおいて所定値よりも近接する画素の中で、次に述べる条件を満たす画素の画素値を用いて、検出された画素の画素値を推定する。補間部１３４により、ステップＳ３２１で検出された画素の画素値の補間に用いられる画素の条件は、画素に対応して正射画像格納部１４３に保持された被写体の部位までの距離が他の画素よりも大きいことである。例えば、補間部１３４は、検出された画素に正射画像ＩＭＧｔにおいて近接する画素の中に、図３に示した距離Ｌｔに相当する距離が対応付けられた画素がある場合に、距離Ｌｔが対応付けられた画素の画素値を用いて、検出された画素の画素値を推定する。

ステップＳ３２６において、補間部１３４は、ステップＳ３２５の処理で推定した画素値を、ステップＳ３２１で検出された画素の画素値として正射画像格納部１４３に書き込む。また、補間部１３４は、ステップＳ３２５の処理で画素値の推定に用いられた画素に対応して正射画像格納部１４３に保持された距離と同等の距離を示す情報を、ステップＳ３２１で検出された画素に対応して正射画像格納部１４３に書き込む。これにより、ステップＳ３２１で検出された画素で示される被写体の部位までの距離と、ステップＳ３２５の処理で画素値の推定に用いられた画素で示される被写体の部位までの距離とが同等であることが示される。

ステップＳ３２３の肯定（ＹＥＳ）ルートの処理と否定判定（ＮＯ）ルートの処理は、ステップＳ３２７において合流する。

ステップＳ３２７において、検出部１３１は、正射画像格納部１４３に格納された正射画像ＩＭＧｔの中に画素値が未定の画素があるか否かを判定する。

正射画像格納部１４３に格納された正射画像ＩＭＧｔの中に画素値が未定の画素がある場合に（ステップＳ３２７の肯定判定（ＹＥＳ））、検出部１３１の処理は、ステップＳ３２１に戻り、正射画像ＩＭＧｔから新たな画素を検出する。そして、新たに検出された画素について、ステップＳ３２２からステップＳ３２７の処理が繰り返される。

一方、正射画像ＩＭＧｔに含まれる全ての画素に画素値が設定されたことにより、画素値が未定の画素がなくなった場合に（ステップＳ３２７の否定判定（ＮＯ））、補完部１３ａは、処理を終了する。

図６及び図８を用いて説明したように、図６に示した補完部１３ａを含む画像補正装置１０ａは、カメラＣＡＭ１及びカメラＣＡＭ２の双方から見て被写体の陰となる背景部分を示す領域を含めて、正射画像ＩＭＧｔに含まれる画素の画素値をもれなく生成できる。

ところで、図１及び図６に示したカメラＣＡＭ２は、１つに限られず、例えば、図９に示すように、カメラＣＡＭ１と複数のカメラＣＡＭ２とが一つの装置に配置されてもよい。

図９は、複数のカメラＣＡＭ１、ＣＡＭ２の配置例を示す。図９（Ａ）及び図９（Ｂ）のそれぞれは、カメラＣＡＭ１と複数のカメラＣＡＭ２とをデジタルカメラなどの撮像装置に搭載する場合の配置例を示す。

図９（Ａ）の例は、カメラＣＡＭ１とほぼ同等の性能を持つ２つのカメラＣＡＭ２ａ，ＣＡＭ２ｂが搭載された撮像装置ＥＱ１を示す。図９（Ａ）の例では、カメラＣＡＭ１で撮像された画像ＩＭＧ１と２つのカメラＣＡＭ２ａ，ＣＡＭ２ｂのそれぞれで撮像された２つの第２画像ＩＭＧは、ほぼ同等の解像度を持つことになる。

図９（Ｂ）の例は、カメラＣＡＭ１よりも小さい開口を持つ４つのカメラＣＡＭ２ａ，ＣＡＭ２ｂ，ＣＡＭ２ｃ，ＣＡＭ２ｄが搭載された撮像装置ＥＱ２を示す。図９（Ｂ）の例では、カメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれで撮像された画像ＩＭＧ２のそれぞれは、カメラＣＡＭ１で撮像された画像ＩＭＧ１よりも解像度の低い画像となる。一方、図９（Ｂ）の例では、４つのカメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれの開口が小さいため、カメラＣＡＭ１とカメラＣＡＭ２とが同等の開口を持つ場合に比べて、カメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれを配置する場合の自由度が大きい。したがって、カメラＣＡＭ１とカメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれとの間及び４つのカメラＣＡＭ２ａ〜ＣＡＭ２ｄの相互で被写体を見た場合の視差が、図９（Ａ）の例よりも大きくなる位置にカメラＣＡＭ２ａ〜ＣＡＭ２ｄを配置することが可能である。

以下では、図９（Ｂ）に示した撮像装置ＥＱ２に搭載されたカメラＣＡＭ１及びカメラＣＡＭ２ａ〜ＣＡＭ２ｄが図６に示した画像補正装置１０ａと同等の機能を有する画像補正装置１０ｂに接続される場合が説明される。

図１０は、画像補正装置の別実施形態を示す。なお、図１０に示す構成要素のうち、図６に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１０に示した画像補正装置１０ｂは、生成部１２ａと、図６に示した算出部１１ａに相当する算出部１１ｂと、図６に示した補完部１３ａに相当する補完部１３ｂと、図６に示したフレームメモリ１４に相当するフレームメモリ１４ｂとを含む。

フレームメモリ１４ｂは、第１画像格納部１４１及び正射画像格納部１４３とともに、図９（Ｂ）に示した４つのカメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれに対応して設けられた第２画像格納部１４２ａ，１４２ｂ，１４２ｃ，１４２ｄを含む。

算出部１１ｂは、図６に示した算出部１１ａと同様にして、第１画像格納部１４１に格納された画像ＩＭＧ１と第２画像格納部１４２ａ〜１４２ｄに格納された画像ＩＭＧ２ａ〜ＩＭＧ２ｄとに含まれる各画素が示す被写体の部位までの距離を算出する。更に、算出部１１ｂは、例えば、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの相互における被写体の視差に基づいて、画像ＩＭＧ２ａ〜ＩＭＧ２ｄに含まれる各画素が示す被写体の部位までの距離を算出する。ここで、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの相互における被写体の視差に基づく計算を行うことで、算出部１１ｂは、図１１で説明するように、画像ＩＭＧ１において別の被写体で隠された被写体の部位までの距離を算出することができる。

補完部１３ｂは、検出部１３１と、図６に示した第２変換部１３２に相当する第２変換部１３２ａ，１３２ｂ，１３２ｃ，１３２ｄと、抽出部１３５ａ，１３５ｂ，１３５ｃ，１３５ｄと、補完制御部１３６と、補間部１３４とを含む。

第２変換部１３２ａ〜１３２ｄのそれぞれは、検出部１３１から、検出部１３１により検出された正射画像ＩＭＧｔの画素の正射画像ＩＭＧｔにおける位置を示す情報を受ける。また、第２変換部１３２ａ〜１３２ｄのそれぞれは、検出部１３１から受けた情報に基づいて、検出部１３１で検出された画素に正射投影される被写体を示す可能性のある画像ＩＭＧ２ａ〜ＩＭＧ２ｄの候補画素を特定する。第２変換部１３２ａ〜１３２ｄのそれぞれは、候補画素の特定に、カメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれの歪特性が反映された第２関数を用いる。

ここで、画像ＩＭＧ１において複数の被写体が互いに重なり合っている場合に、画像ＩＭＧ１の画素が写像されなかった正射画像ＩＭＧｔの領域である第１領域は、画像ＩＭＧ１において被写体に隠された他の被写体に対応することがある。言い換えれば、画像ＩＭＧ１において被写体に隠された他の被写体の部位が、第１領域に正射投影される場合がある。そして、画像ＩＭＧ１において被写体に隠された他の被写体が第１領域に正射投影される場合に、隠された被写体とカメラＣＡＭ２ａ〜ＣＡＭ２ｄとの間の距離に応じて、第１領域に対応する画像ＩＭＧ２ａ〜ＩＭＧ２ｄの領域は異なる。また、第１領域の中に、隠された被写体が正射投影される領域と背景が正射投影される領域とが混在している場合もある。

そこで、第２変換部１３２ａ〜１３２ｄは、カメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれにつき、カメラからｎ（ｎは２以上の整数）通りの異なる距離に隠された被写体が存在する場合を想定する。そして、第２変換部１３２ａ〜１３２ｄは、想定されるｎ通りの各場合について、第１領域に対応する画像ＩＭＧ２ａ〜ＩＭＧ２ｄの領域を、検出部１３１によって第１領域から検出された画素のそれぞれに対応する候補画素の集合として特定する。第２変換部１３２ａ〜１３２ｄは、画像ＩＭＧ２ａ〜ＩＭＧ２ｄ中の候補画素の特定に、隠された被写体までの距離が異なるｎ通りの場合のそれぞれに対応して、カメラＣＡＭ２ａ〜ＣＡＭ２ｄの各距離における特性が反映された第２関数を用いる。なお、ｎ個の距離は、図３に示した距離Ｌｔと、カメラＣＡＭ１，ＣＡＭ２ａ〜ＣＡＭ２ｄで撮像される被写体の距離として想定される範囲を分割した複数の区間のそれぞれに対応する距離を含むことが望ましい。

第２変換部１３２ａ〜１３２ｄのそれぞれにより特定された、第１領域から検出された画素に対応する候補画素の画像ＩＭＧ２ａ〜ＩＭＧ２ｄにおける位置を示す情報は、抽出部１３５ａ，１３５ｂ，１３５ｃ，１３５ｄのそれぞれに渡される。候補画素の画像ＩＭＧ２ａ〜ＩＭＧ２ｄにおける位置を示す情報は、想定されるｎ通りの場合に対応して、それぞれｎ個の情報が抽出部１３５ａ，１３５ｂ，１３５ｃ，１３５ｄに渡される。また、各第２変換部１３２ａ〜１３２ｄのそれぞれにより各候補画素を特定する際に第２関数に設定されたカメラＣＡＭ２ａ〜ＣＡＭ２ｄからの距離と特定された候補画素との対応関係を示す情報は、補完制御部１３６に渡される。

抽出部１３５ａ〜１３５ｄのそれぞれは、第２変換部１３２ａ〜１３２ｄのそれぞれから受けた情報で示される候補画素の画素値及び各候補画素に対応して保持された被写体距離を第２画像格納部１４２ａ〜１４２ｄのそれぞれから抽出する。抽出部１３５ａ〜１３５ｄにより抽出された画素値及び被写体距離は、補完制御部１３６に渡される。

補完制御部１３６は、図１１及び図１２で説明するようにして、第２変換部１３２ａ〜１３２ｄのそれぞれによりｎ個の距離ごとに特定された候補画素の中から、検出部１３１で検出された正射画像ＩＭＧｔの画素に写像される画素として適切な画素を判別する。そして、補完制御部１３６は、適切な画素として判別した候補画素の画素値を、検出部１３１で検出された画素の画素値として正射画像格納部１４３に書き込む。一方、候補画素の中に、検出部１３１で検出された正射画像ＩＭＧｔの画素に写像される画素として適切な画素が含まれない場合に、補完制御部１３６は、補間部１３４に対して図６及び図８で説明した補間処理を実行させる。

次に、図１１及び図１２を用いて、画像ＩＭＧ１に含まれる被写体の一つが、画像ＩＭＧ１に含まれる別の被写体の一部を覆い隠している場合に、隠された被写体の一部の画像を複数の画像ＩＭＧ２を用いて補完する手法が説明される。

図１１は、撮像された画像ＩＭＧ１において被写体の一つが他の被写体を覆い隠している例を示す。図１１（Ａ）は、図９（Ａ）に示したカメラＣＡＭ１及びカメラＣＡＭ２ａ，ＣＡＭ２ｂにより、二つの被写体Ｓｄ，Ｓｅを撮像することで得られた画像ＩＭＧ１及び画像ＩＭＧ２ａ，ＩＭＧ２ｂの例を示す。図１１（Ｂ）は、図１０に示した生成部１２ａにより、図１１（Ａ）に示した画像ＩＭＧ１の各画素を写像することで生成される正射画像ＩＭＧｔの例を示す。また、図１１（Ｃ）は、図１０に示した補完部１３ｂにより、図１１（Ａ）に示した画像ＩＭＧ２ａ，ＩＭＧ２ｂを用いて、図１１（Ｂ）に示した正射画像ＩＭＧｔを補完することで得られる正射画像ＩＭＧｔの例を示す。

図１１（Ａ）に示した画像ＩＭＧ１において、被写体Ｓｅの一部は、被写体ＳｅよりもカメラＣＡＭ１に近い位置にある被写体Ｓｄによって隠されている。

一方、図１１（Ａ）に示した画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれに含まれる被写体Ｓｅは、いずれも被写体Ｓｄによって隠されていない。したがって、図１０に示した算出部１１ｂは、２つの画像ＩＭＧ２ａ，ＩＭＧ２ｂにおける被写体Ｓｅの視差に基づいて、２つの画像ＩＭＧ２ａ，ＩＭＧ２ｂにおいて被写体Ｓｅを示す領域内の画素毎に、図２及び図３で説明した被写体距離を算出することができる。

図１１（Ｂ）において斜線で示した領域Ｈｄは、図１１（Ａ）に示した画像ＩＭＧ１に含まれる被写体Ｓｄによって隠された第１領域の例である。図１１（Ｂ）に示した領域Ｈｄは、画像ＩＭＧ１に含まれる被写体Ｓｄによって隠された被写体Ｓｅを示す部分と背景を示す部分とを含んでいる。しかしながら、領域Ｈｄに含まれる画素の位置に基づいて、領域Ｈｄに含まれる画素が被写体Ｓｅの部位を示すか背景を示すかを判別することは困難である。また、領域Ｈｄの正射画像ＩＭＧｔにおける位置は、領域Ｈｄに正射投影される被写体Ｓｅの部位とカメラＣＡＭ２ａ，ＣＡＭ２ｂとの距離にかかわらず、カメラＣＡＭ１の光軸と被写体Ｓｅの部位との位置関係を示す。このため、領域Ｈｄの正射画像ＩＭＧｔにおける位置に基づいて、領域Ｈｄに正射投影される被写体Ｓｅの部位とカメラＣＡＭ２ａ，ＣＡＭ２ｂとの距離を判別することはできない。一方、領域Ｈｄに正射投影される被写体Ｓｅの部位とカメラＣＡＭ２ａ，ＣＡＭ２ｂとの距離に応じて、画像ＩＭＧ２ａ，ＩＭＧ２ｂにおいて領域Ｈｄに正射投影される被写体Ｓｅの部位を示す領域の位置は異なる。

このため、図１０に示した第２変換部１３２ａ，１３２ｂは、領域Ｈｄ内の各画素に正射投影される被写体Ｓｅの部位が、カメラＣＡＭ２ａ，ＣＡＭ２ｂからｎ個の異なる距離が離れている場合の各々につき、画像ＩＭＧ２ａ，ＩＭＧ２ｂ中の候補画素を特定する。第２変換部１３２ａ，１３２ｂは、各場合の候補画素の特定に、ｎ個の距離のそれぞれに被写体がある場合のカメラＣＡＭ２ａ，ＣＡＭ２ｂの歪特性が反映された第２関数を用いる。

ここで、ある候補画素の特定の際に、領域Ｈｄに正射投影される被写体Ｓｅの部位からカメラＣＡＭ２ａ，ＣＡＭ２ｂまでの間に想定された距離と、特定された候補画素に対応して第２画像格納部１４２ａ，１４２ｂに保持された被写体距離との比較を考える。

例えば、背景までの距離Ｌｔを想定して特定された画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおける候補画素に対応して、第２画像格納部１４２ａ，１４２ｂに距離Ｌｔと同等の被写体距離が格納されている場合がある。この場合に、特定された候補画素は領域Ｈｄに正射投影される背景を示す。また、背景までの距離Ｌｔよりも小さい距離を想定して特定された画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおける候補画素に対応して、想定された距離と同等の被写体距離が第２画像格納部１４２ａ，１４２ｂに格納されている場合がある。この場合に、各候補画素が画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおいて示す被写体は、カメラＣＡＭ２ａ，ＣＡＭ２ｂから想定された距離が離れた被写体Ｓｅである。これらの場合のように、特定された候補画素に対応する被写体距離が候補画素の特定の際に想定された距離と同等である場合に、候補画素は、領域Ｈｄに正射投影される被写体Ｓｅまたは背景を画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおいて示す。即ち、候補画素に対応する被写体距離が候補画素の特定の際に想定された距離と同等であるとされた候補画素は、正射画像ＩＭＧｔにおいて領域Ｈｄに含まれる画素に写像される画素として適切である。

一方、例えば、背景までの距離Ｌｔを想定して特定された画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおける候補画素に対応して、第２画像格納部１４２ａ，１４２ｂに距離Ｌｔよりも小さい被写体距離が格納されている場合がある。また、背景までの距離Ｌｔよりも小さい距離を想定して特定された画像ＩＭＧ２ａ，ＩＭＧ２ｂのそれぞれにおける候補画素に対応して、第２画像格納部１４２ａ，１４２ｂに距離Ｌｔを示す被写体距離が格納されている場合がある。これらの場合のように、特定された候補画素に対応する被写体距離と、候補画素を特定する際に想定された距離とが異なる場合に、特定された候補画素は、領域Ｈｄに正射投影される被写体Ｓｅあるいは背景を示さない。

そこで、補完制御部１３６は、第２変換部１３２ａ，１３２ｂで特定された候補画素に対応して第２画像格納部１４２ａ、１４２ｂに保持された被写体距離と候補画素を特定する際に用いられた第２関数において想定された距離とを比較する。そして、補完制御部１３６は、候補画素に対応付けられた被写体距離と候補画素を特定する際に想定された距離とが同等である場合に、候補画素は、検出部１３１で検出された領域Ｈｄ内の画素に正射投影される被写体または背景を示すと判断する。この場合に、補完制御部１３６は、領域Ｈｄ内の画素に正射投影される被写体または背景を示すと判断した候補画素を、検出部１３１によって検出された正射画像ＩＭＧｔの画素に写像される画素として適切な画素であると判別する。なお、補完制御部１３６は、候補画素に対応付けられた被写体距離と候補画素の特定で想定された距離との差が、例えば、図１０で説明したｎ個の距離相互の差の最小値程度に設定される閾値以下である場合に、両者が同等であるとしてもよい。

そして、補完制御部１３６により判別された候補画素を正射画像ＩＭＧｔ中の領域Ｈｄ内の画素に写像することで、図１１（Ｃ）に示すように、画像ＩＭＧ２ａ，ＩＭＧ２ｂを用いて領域Ｈｄが補完された正射画像ＩＭＧｔを生成することができる。

図１２は、図１０に示した補完部１３ｂの動作を示す。なお、図１２に示すステップのうち、図８に示したステップと同等のものは、同一の符号で示すとともにステップの説明を省略する場合がある。図１２に示したステップＳ３２１及びステップＳ３２５〜ステップＳ３２７とステップＳ３３１〜ステップＳ３３６の処理は、図４においてステップＳ３０３として示した正射画像ＩＭＧｔを補完する処理の別例である。

図１２の例では、図８に示したステップＳ３２２からステップＳ３２４の処理に代えて、ステップＳ３３１からステップＳ３３６の処理が、第２変換部１３２ａ〜１３２ｄ、抽出部１３５ａ〜１３５ｄ及び補完制御部１３６によって実行される。

ステップＳ３３１において、第２変換部１３２ａ〜１３２ｄのそれぞれは、ステップＳ３２１で検出された正射画像ＩＭＧｔの画素に正射投影される被写体を示す可能性のある候補画素を、画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれにおいて特定する。ステップＳ３３１で、各第２変換部１３２ａ〜１３２ｄは、画像ＩＭＧ２ａ〜ＩＭＧ２ｄ中の候補画素の特定に、図１０で説明したように、ｎ個の距離の各々が被写体までの距離である場合のカメラＣＡＭ２ａ〜ＣＡＭ２ｄの歪特性が反映された第２関数を用いる。つまり、各第２変換部１３２ａ〜１３２ｄは、正射画像ＩＭＧｔから検出された画素に正射投影される被写体を示す候補画素として、被写体までの距離として互いに異なる距離を想定した第２関数により、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの各々のｎ個の画素を特定する。これにより、正射画像ＩＭＧｔの１画素に対し、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの各画像についてそれぞれｎ個の画素が候補画素として特定される。

ステップＳ３３２において、抽出部１３５ａ〜１３５ｄのそれぞれは、ステップＳ３３１の処理で特定されたｎ個の候補画素のそれぞれに対応して第２画像格納部１４２ａ〜１４２ｄのそれぞれに保持された画素値及び被写体距離を抽出する。

ステップＳ３３３において、補完制御部１３６は、ステップＳ３３２の処理で各候補画素に対応して抽出された被写体距離のそれぞれと、候補画素を特定する際に想定された被写体または背景までの距離とを照合する。例えば、補完制御部１３６は、背景までの距離Ｌｔを想定した第２関数により特定された画像ＩＭＧ２ａ〜ＩＭＧ２ｄの候補画素に対応して、ステップＳ３３２で第２画像格納部１４２ａ〜１４２ｄのそれぞれから抽出された被写体距離と、距離Ｌｔとを照合する。同様に、補完制御部１３６は、他の距離を想定した第２関数により特定された画像ＩＭＧ２ａ〜ＩＭＧ２ｄの候補画素に対応して、ステップＳ３３２の処理で抽出された被写体距離と、候補画素を特定する際に想定された距離とを照合する。

ステップＳ３３４において、補完制御部１３６は、ステップＳ３３３の照合結果に基づいて、ステップＳ３３１で画像ＩＭＧ２ａ〜ＩＭＧ２ｄ毎に特定されたｎ個の候補画素の中に、被写体距離に関する条件を満たす候補画素があるか否かを判定する。補完制御部１３６は、例えば、各候補画素の特定に用いられた距離と当該候補画素に対応付けられた被写体距離との差が閾値以下である場合に、候補画素に対応する被写体距離は条件を満たすと判定する。ここで、補完制御部１３６で用いる被写体距離に関する条件は、図１１で説明したように、候補画素で示される被写体の部位または背景の一部が、ステップＳ３２１で検出された正射画像ＩＭＧｔの画素の位置に正射投影される条件を示す。

ステップＳ３３３の照合処理により、被写体距離に関する条件を満たす候補画素があることが示された場合に（ステップＳ３３４の肯定判定（ＹＥＳ））、補完制御部１３６は、条件を満たすとされた候補画素について、ステップ３３５、Ｓ３３６の処理を実行する。

ステップＳ３３５において、補完制御部１３６は、条件を満たすとされた候補画素のそれぞれに対応する被写体距離を互いに比較し、条件を満たすとされた候補画素の中から、他の候補画素よりも小さい被写体距離が対応付けられた候補画素を選択する。例えば、被写体距離に関する条件を満たす画像ＩＭＧ２ａの候補画素が背景の一部を示し、被写体距離に関する条件を満たす画像ＩＭＧ２ｂの候補画素が距離ＬｔよりもカメラＣＡＭ２ｂに近い被写体を示す場合がある。この場合に、条件を満たすとされた候補画素の中で、他の候補画素よりも小さい被写体距離が対応付けられた候補画素を選択することにより、背景よりもカメラＣＡＭ２ａ，ＣＡＭ２ｂに近い位置にある被写体を示す候補画素を選択することができる。

ステップＳ３３６において、補完制御部１３６は、ステップＳ３３５の処理で選択した候補画素の画素値を、ステップＳ３２１の処理で検出された正射画像ＩＭＧｔの画素の画素値として正射画像格納部１４３に書き込む。

以上に説明したステップＳ３３５及びステップＳ３３６の処理を補完制御部１３６により実行することで、図１１（Ｂ）に示した領域Ｈｄに含まれる各画素を、図１１（Ａ）に示した画像ＩＭＧ２ａ，ＩＭＧ２ｂの画素を用いて補完することができる。

一方、ステップＳ３３３の照合処理により、被写体距離に関する条件を満たす候補画素がないことが示された場合に、処理は、ステップＳ３３４の否定判定（ＮＯ）ルートに従ってステップＳ３２５及びステップＳ３２６に移行する。そして、ステップＳ３２５，Ｓ３２６において、図１０に示した補間部１３４により、ステップＳ３２１の処理で正射画像ＩＭＧｔから検出された画素の周囲の画素に基づいて、検出された画素の画素値を補間する処理が行われる。

なお、ステップＳ３３１〜ステップＳ３３６の処理は、画像ＩＭＧ２ａ〜ＩＭＧ２ｄについて並列に実行する場合に限らず、例えば、画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれについて順次に行ってもよい。そして、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの何れにも、被写体距離に関する条件を満たす候補画素が含まれていないとされた場合に、ステップＳ３２５及びステップＳ３２６の処理が行われてもよい。

また、ステップＳ３３１の処理は、画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれにおいて、検出された画素に正射投影される被写体を示す候補画素の特定に、被写体までの距離としてｎ個の互いに異なる距離を想定した第２関数を用いる処理に限られない。例えば、画像ＩＭＧ２ａ〜ＩＭＧ２ｄに含まれる各画素で示される被写体が正射投影される正射画像ＩＭＧｔの画素を特定することで生成される、正射画像ＩＭＧｔの各画素と画像ＩＭＧ２の画素との対応関係を示す対応情報を第２関数として用いてもよい。この場合に、補完制御部１３６は、検出部１３１によって検出された正射画像ＩＭＧｔの画素に対して、対応情報により対応付けられる画像ＩＭＧ２の画素があるか否かにより、正射画像ＩＭＧｔに写像される画素として適切な画素の有無を判定してもよい。

図９から図１２で説明したように、図１０に示した算出部１１ｂは、複数の画像ＩＭＧ２ａ〜ＩＭＧ２ｄを用いることで、図１１（Ａ）に示した画像ＩＭＧ１において隠された被写体Ｓｅについても被写体距離を算出することができる。そして、画像ＩＭＧ１において隠された被写体Ｓｅを示す画像ＩＭＧ２ａ〜ＩＭＧ２ｄの画素毎に算出された被写体距離を用いることで、図１０〜図１２で説明したように、補完部１３ｂは、画像ＩＭＧ２ａ〜ＩＭＧ２ｄを用いて領域Ｈｄを補完することができる。即ち、図１０に示した画像補正装置１０ｂは、図１１（Ａ）のように画像ＩＭＧ１において一方の被写体Ｓｅの一部が他方の被写体Ｓｄに隠されていても、図１１（Ｃ）に示すように、被写体Ｓｄ，Ｓｅの双方の形状を歪みなく示す正射画像ＩＭＧｔを生成できる。

しかも、画像ＩＭＧ１と画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれとの比較により、算出部１１ｂは、画像ＩＭＧ１に含まれる各画素で示される被写体までの距離を、画像ＩＭＧ２が一つである場合よりも高い精度で算出することが可能である。ここで、画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれの解像度が画像ＩＭＧ１に比べて低い場合にも、例えば、超解像技術などを用いることで、画像ＩＭＧ２ａ〜ＩＭＧ２ｄの解像度を向上させることが可能である。したがって、画像ＩＭＧ２ａ〜ＩＭＧ２ｄを用いる場合も、画像ＩＭＧ１と同等の解像度を持つ画像ＩＭＧ２ａ，ＩＭＧ２ｂを用いる場合と同様の精度で、算出部１１ｂは、画像ＩＭＧ１に含まれる各画素で示される被写体までの距離を算出できる。

以上に説明した本件開示の画像補正装置１０，１０ａ，１０ｂは、例えば、デジタルカメラやスマートホンなどに搭載されたプロセッサ及びメモリなどのハードウェアを用いて実現することができる。以下では、図１３及び図１４を用いて、図１０に示した画像補正装置１０ｂを搭載したデジタルカメラの例が説明される。なお、図１０に示した画像補正装置１０ｂは、デジタルカメラに限らず、画像を撮像する機能を有する装置であれば、スマートホンや携帯電話などの端末装置やタブレット型の端末装置に搭載されてもよい。また、図１０に示した画像補正装置１０ｂは、図９に示したカメラＣＡＭ１及びカメラＣＡＭ２ａ〜ＣＡＭ２ｄに接続されたコンピュータ装置に搭載されてもよい。

図１３は、図１０に示した画像補正装置１０ｂを搭載したデジタルカメラのハードウェア構成の一例を示している。なお、図１３に示した構成要素のうち、図１０に示した構成要素と同等のものは同一の符号で示され、構成要素の説明は省略される場合がある。

デジタルカメラＤＳＣは、プロセッサ２１と、メモリ２２と、フレームメモリ１４ｂと、物体認識エンジン２３と、信号処理部２４と、操作パネル２５と、液晶表示部２６と、メモリカードインタフェース２７とを含んでいる。また、メモリカードインタフェース２７には、ＳＤ（Secure Digital）メモリカードなどの着脱可能なメモリカードＭＣが装着されている。

また、デジタルカメラＤＳＣは、図９（Ｂ）に示したカメラＣＡＭ１に相当する主撮像部２８と、同じく図９（Ｂ）に示したカメラＣＡＭ２ａ〜ＣＡＭ２ｄのそれぞれに相当する副撮像部２９ａ〜２９ｄとを含んでいる。なお、図１３においては、副撮像部２９ｂ、２９ｃの図示は省略されている。図１３に示したプロセッサ２１、メモリ２２、フレームメモリ１４ｂ、物体認識エンジン２３、信号処理部２４、操作パネル２５、液晶表示部２６及びメモリカードインタフェース２７は、バスを介して互いに接続されている。そして、プロセッサ２１とメモリ２２とフレームメモリ１４ｂは、画像補正装置１０ｂに含まれる。また、プロセッサ２１に接続されたバスは、主撮像部２８及び副撮像部２９ａ〜２９ｄのそれぞれに接続されている。そして、主撮像部２８及び副撮像部２９ａ〜２９ｄのそれぞれから出力される信号は、信号処理部２４により、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄに変換される。信号処理部２４による変換で生成された画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄは、バスを介して、画像補正装置１０ｂに渡され、フレームメモリ１４ｂに格納される。

メモリ２２は、デジタルカメラＤＳＣの動作を制御するための制御プログラムを保持するとともに、プロセッサ２１に、図４に示した画像補正処理を実行させるためのアプリケーションプログラムを保持する。プロセッサ２１は、メモリ２２に保持された制御プログラムを実行することで、撮像部２３、信号処理部２４、操作パネル２５及び液晶表示部２６の動作を制御する。また、プロセッサ２１は、メモリ２２に保持された画像補正処理のためのアプリケーションプログラムを実行することにより、図１０に示した算出部１１ｂ、生成部１２ａ及び補間部１３ｂの機能を果たす。

つまり、図１０に示した画像補正装置１０ｂは、例えば、図１３に示したデジタルカメラＤＳＣに搭載されたプロセッサ２１と、メモリ２２と、フレームメモリ１４ｂとの協働によって実現することができる。

また、図１３に示した操作パネル２５は、デジタルカメラＤＳＣの利用者からの指示を受けるための入力装置であり、例えば、主撮像部２８及び副撮像部２９ａ〜２９ｄに対して撮像を実行させる指示を入力するためのレリーズボタンなどを含んでいる。また、液晶表示部２６は、メモリ２２あるいはフレームメモリ１４ｂに保持された画像データ及びデジタルカメラＤＳＣの制御に用いる情報を表示する表示装置である。

また、デジタルカメラＤＳＣに含まれる物体認識エンジン２３は、画像補正装置１０ｂによって歪が補正された後の画像である正射画像ＩＭＧｔを受け、正射画像ＩＭＧｔに含まれる被写体を認識するための処理を行う。

図１４は、図１３に示したデジタルカメラＤＳＣの動作を示す。図１４に示したステップＳ３０１〜ステップＳ３０３の各処理は、図４において同じ符号で示したステップに相当する処理であり、画像補正処理のためのアプリケーションプログラムに含まれる処理の一例である。また、図１４に示したステップＳ３４１からステップＳ３４４の各処理は、デジタルカメラＤＳＣの動作を制御するための制御プログラムに含まれる処理の一例である。図１４に示したステップのうち、ステップＳ３４２の処理は、図１３に示した物体認識エンジン２３によって実行され、他のステップの処理は、プロセッサ２１によって実行される。

プロセッサ２１及び物体認識エンジン２３は、例えば、操作パネル２５からレリーズボタンにより撮像の実行が指示されたことが通知される毎に、図１４に示した各処理を実行する。

ステップＳ３４１において、プロセッサ２１は、主撮像部２８及び副撮像部２９ａ〜２９ｄに対して撮像の実行を指示し、主撮像部２８及び副撮像部２９ａ〜２９ｄで撮像された画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄを受ける。

ステップＳ３０１において、プロセッサ２１は、図９から図１１で説明したようにして、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄに含まれる各画素で示される被写体と主撮像部２８及び副撮像部２９ａ〜２９ｄとの間の被写体距離を算出する。

ステップＳ３０２において、プロセッサ２１は、図７で説明したようにして、画像ＩＭＧ１の各画素を、各画素が示す被写体までの距離における主撮像部２８の特性が反映された第１関数を用いて写像することで、正射画像ＩＭＧｔを生成する。

ステップＳ３０３において、プロセッサ２１は、図１２で説明したようにして、副撮像部２９ａ〜２９ｄのそれぞれの特性が反映された第２関数で示される画像ＩＭＧ２ａ〜ＩＭＧ２ｄの画素を写像することで、正射画像ＩＭＧｔを補完する。

ステップＳ３４２において、物体認識エンジン２３は、ステップＳ３０３の処理で補完された正射画像ＩＭＧｔにおいて被写体を示す領域のそれぞれの特徴を解析することで、正射画像ＩＭＧｔに含まれる個々の被写体についての物体認識を行う。ここで、図１０〜図１２で説明したように、フレームメモリ１４ｂに設けられた正射画像格納部１４３は、正射画像ＩＭＧｔの各画素の画素値とともに、各画素で示される被写体までの距離を示す情報を保持している。したがって、物体認識エンジン２３は、正射画像ＩＭＧｔにおいて個々の被写体を示す領域を特定する処理に、各画素の画素値に基づいて特定されるエッジとともに、被写体までの距離の変化に基づいて特定される被写体の輪郭を用いることができる。これにより、物体認識エンジン２３は、被写体までの距離の変化を考慮しない場合に比べて、正射画像ＩＭＧｔにおいて個々の被写体を示す領域を高い精度で特定することが可能である。しかも、図１〜図１２で説明したように、ステップＳ３０３の処理によって補完された正射画像ＩＭＧｔにおいて、個々の被写体は歪みのない形状で示される。したがって、補完された正射画像ＩＭＧｔに基づく物体認識を行うことにより、物体認識エンジン２３は、例えば、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれに基づいて物体認識を行った場合よりも精度の高い認識結果を得ることができる。

ステップＳ３４３において、プロセッサ２１は、ステップＳ３４２の処理で得られた認識結果を含むタグ情報を作成し、作成したタグ情報を正射画像ＩＭＧｔ、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれに付加する。

ステップＳ３４４において、プロセッサ２１は、タグ情報が付加された正射画像ＩＭＧｔ、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれをメモリカードインタフェース２７に渡し、メモリカードＭＣに記録させる。

以上に説明したように、図１３に示したデジタルカメラＤＳＣは、画像ＩＭＧ１及び画像ＩＭＧ２ａ〜ＩＭＧ２ｄのそれぞれに基づいて物体認識を行った場合よりも精度の高い認識結果を示すタグ情報が付加された画像を記録することができる。

図１〜図１４を用いて説明した画像補正装置１０，１０ａ，１０ｂによって歪が補正された画像である正射画像ＩＭＧｔは、図１に示したように、被写体Ｓａ，Ｓｂ相互の位置関係及び被写体Ｓａ，Ｓｂそれぞれの奥行にかかわらず、被写体の形状を歪みなく示す。したがって、図１〜図１４を用いて説明した画像補正装置１０，１０ａ，１０ｂによって生成される正射画像ＩＭＧｔは、立体的な文化財などの画像を保存するデジタルアーカイブに蓄積する画像としても有用である。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

以上の説明に関して、更に、以下の各項を開示する。
（付記１）互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮像された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求め、
前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特定とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成し、
前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する
ことを特徴とする画像補正方法。
（付記２）互いに平行な光軸を持つ第１撮像部及び第２撮像部で撮像された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求め、
前記画素の位置と前記被写体距離とに応じた前記第１撮像部の歪特性に基づいて、前記第１画像中の被写体を正射投影される位置に写像することで正射画像を生成し、
前記正射画像における画素の位置と前記被写体距離と前記第２撮像部の歪特性とに基づいて、前記第１画像中の被写体が写像されなかった前記正射画像の領域に対応する前記第２画像の領域を特定し、特定した領域により前記正射画像を補完する
ことを特徴とする画像補正方法。
（付記３）付記１または付記２に記載の画像補正方法において、
前記正射画像を補完する処理は、
前記第１領域に、前記第２画像の画素が写像されていない第１画素が残された場合に、前記第１画像または前記第２画像の画素が写像された前記正射画像の画素のうち、他の画素よりも前記第１画素に近接する画素であって、前記他の画素よりも大きい被写体距離が算出された前記第１画像または前記第２画像の画素が写像された画素の画素値を用いて前記第１画素の画素値を補間することで行われる
ことを特徴とする画像補正方法。
（付記４）付記１乃至付記３のいずれか１に記載の画像補正方法において、
前記正射画像を生成する処理は、
前記第１画像に含まれる複数の被写体のそれぞれを示す画素が前記第１関数により前記正射画像の同一の位置に写像される場合に、前記画素のうち、他の被写体よりも前記第１撮像部に近い被写体を示す画素を前記正射画像に写像することで行われる
ことを特徴とする画像補正方法。
（付記５）付記１乃至付記４のいずれか１に記載の画像補正方法において、
前記被写体距離を求める処理は、
前記第１画像と複数の第２撮像部のそれぞれによる撮像で得られた複数の第２画像とを受けた場合に、前記第１画像と前記複数の第２画像のそれぞれとにおける視差に基づいて、前記第１画像と前記第２画像のそれぞれに共通して含まれる被写体を対象として前記被写体距離を前記被写体を示す画素毎に求め、
前記複数の第２画像相互における視差に基づいて、前記第２画像相互に共通して含まれる被写体を対象として前記被写体距離を前記被写体を示す画素毎に求めることで実行され、
前記正射画像を補完する処理は、
前記複数の第２撮像部のそれぞれの歪特性を用いて決定された前記第２関数により、前記第１領域に含まれる画素に対応する可能性のある前記第２画像の複数の候補画素が示される場合に、前記複数の候補画素のうち、前記被写体距離が他の画素よりも小さい候補画素を写像することで実行される
ことを特徴とする画像補正方法。
（付記６）互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮像された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求める算出部と、
前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特定とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成する生成部と、
前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する補間部と、
を有することを特徴とする画像補正装置。
（付記７）付記６に記載の画像補正装置において、
前記補完部は、
前記第１領域に、前記第２画像の画素が写像されていない第１画素が残された場合に、前記第１画像または前記第２画像の画素が写像された前記正射画像の画素のうち、他の画素よりも前記第１画素に近接する画素であって、前記他の画素よりも大きい被写体距離が算出された前記第１画像または前記第２画像の画素が写像された画素の画素値を用いて前記第１画素の画素値を補間する補間部を有する
ことを特徴とする画像補正装置。
（付記８）付記６または付記７に記載の画像補正装置において、
前記生成部は、
前記第１画像に含まれる複数の被写体のそれぞれを示す画素が前記第１関数により前記正射画像の同一の位置に写像される場合に、前記画素のうち、他の被写体よりも前記第１撮像部に近い被写体を示す画素を前記正射画像に写像する
ことを特徴とする画像補正装置。
（付記９）互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮像された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求め、
前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特定とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成し、
前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する、
処理をコンピュータに実行させることを特徴とする画像補正プログラム。

１０，１０，１０ｂ…画像補正装置；１１，１１ｂ…算出部；１２，１２ａ…生成部；１３，１３ａ，１３ｂ…補完部；１４，１４ｂ…フレームメモリ；１２１…第１変換部；１２２…第１書込部；１３１…検出部；１３２，１３２ａ，１３２ｂ，１３２ｃ，１３２ｄ…第２変換部；１３３…第２書込部；１３４…補間部；１３５ａ，１３５ｂ，１３５ｃ，１３５ｄ…抽出部；１３６…補完制御部；１４１…第１画像格納部；１４２，１４２ａ，１４２ｂ，１４２ｃ，１４２ｄ…第２画像格納部；１４３…正射画像格納部；２１…プロセッサ；２２…メモリ；２３…物体認識エンジン；２４…信号処理部；２５…操作パネル；２６…液晶表示部；２７…メモリカードインタフェース；２８…主撮像部；２９ａ，２９ｂ，２９ｃ，２９ｄ…副撮像部；ＣＡＭ１，ＣＡＭ２，ＣＡＭ２ａ，ＣＡＭ２ｂ，ＣＡＭ２ｃ，ＣＡＭ２ｄ…カメラ；ＤＳＣ…デジタルカメラ；ＭＣ…メモリカード

Claims (5)

1. 互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求め、
   前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特性とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成し、
   前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する
   ことを特徴とする画像補正方法。
2. 請求項１に記載の画像補正方法において、
   前記正射画像を補完する処理は、
   前記第１領域に、前記第２画像の画素が写像されていない第１画素が残された場合に、前記第１画像または前記第２画像の画素が写像された前記正射画像の画素のうち、他の画素よりも前記第１画素に近接する画素であって、前記他の画素よりも大きい被写体距離が算出された前記第１画像または前記第２画像の画素が写像された画素の画素値を用いて前記第１画素の画素値を補間することで行われる
   ことを特徴とする画像補正方法。
3. 互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求める算出部と、
   前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特性とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成する生成部と、
   前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する補完部と、
   を備えたことを特徴とする画像補正装置。
4. 請求項３に記載の画像補正装置において、
   前記補完部は、
   前記第１領域に、前記第２画像の画素が写像されていない第１画素が残された場合に、前記第１画像または前記第２画像の画素が写像された前記正射画像の画素のうち、他の画素よりも前記第１画素に近接する画素であって、前記他の画素よりも大きい被写体距離が算出された前記第１画像または前記第２画像の画素が写像された画素の画素値を用いて前記第１画素の画素値を補間する補間部を有する
   ことを特徴とする画像補正装置。
5. 互いに平行な光軸を持つ第１撮像部及び第２撮像部のそれぞれで撮影された第１画像と第２画像との視差に基づいて、被写体と前記第１撮像部及び前記第２撮像部との間の距離である被写体距離を画素毎に求め、
   前記第１画像に含まれる画素を、前記画素の位置と前記画素に対応して求めた被写体距離と前記第１撮像部の歪特性とで決定される第１関数により、前記画素で示される前記被写体の部位が正射投影される位置に写像することで、前記被写体を含む正射画像を生成し、
   前記第１関数により前記第１画像の画素が写像されなかった前記正射画像の領域である第１領域に正射投影される被写体または背景を表す前記第２画像の第２領域を、前記第１領域の各画素の位置と前記第１領域に正射投影される被写体または背景に対応する被写体距離と前記第２撮像部の歪特性とで決定される第２関数により特定し、特定した前記第２領域により前記正射画像を補完する、
   処理をコンピュータに実行させることを特徴とする画像補正プログラム。

Images