JP7106399B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、撮影された複数の画像を合成する画像処理技術に関する。

従来、撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で互いに共通領域が写るようにして複数の画像を撮像し、隣接する画像同士の共通領域を順次重ね合わせて合成することで、広い撮影範囲の画像を生成する技術（特許文献１参照）が知られている。
一方、複数の画像を合成して広い撮影範囲の画像を生成する場合、撮影方式に応じて適切な合成処理方式を設定することが重要であり、特に、特許文献２には、撮影焦点距離を半径とする仮想円筒面上に円筒座標変換を行う技術が開示されている。

特開２００５－３２８４９７号公報 特開平１１－３３１６９６号公報

しかしながら円筒座標変換では、焦点距離が長いレンズよりも焦点距離が短い広角レンズほど、画像中心からの変換量が大きくなる。このため、撮影レンズとして広角レンズを用いた場合、順次撮影された複数の画像のうち、特に１枚目と最後に撮影した画像で使用できる部分が少なくなり、最終的に生成される合成画像の有効高さが狭くなるという問題がある。

そこで、本発明は、撮影された複数の画像を円筒座標変換して合成する場合に、撮影レンズの焦点距離に応じた画角を維持した合成画像を生成可能にすることを目的とする。

本発明の画像処理装置は、撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で共通領域を含むように撮影された複数の画像を取得する取得手段と、仮想円筒の半径を決定する決定手段と、前記複数の各画像を、前記仮想円筒に投影された画像に円筒座標変換する変換手段と、隣接する撮影方向間の移動量を検出する検出手段と、前記検出された移動量に基づいて、前記円筒座標変換された各画像の位置合わせを行う位置合わせ手段と、前記位置合わせが行われた各画像の前記共通領域を重ね合わせて各画像を順次つなぐように合成する合成手段と、を有し、前記決定手段は、前記仮想円筒の半径を前記撮像装置が有する撮影レンズの焦点距離よりも大きい半径に決定することを特徴とする。

本発明によれば、撮影された複数の画像を円筒座標変換して合成する場合に、撮影レンズの焦点距離に応じた画角を維持した合成画像を生成可能となる。

実施形態の撮像装置の一構成例を示すブロック図である。 パノラマ撮影の概念の説明図である。 焦点距離と有効高さとの関係を示した図である。 焦点距離による円筒座標変換結果と合成結果の違いの説明図である。 撮影時の撮像装置の基本動作フローチャートである。 第１の実施形態に係るパノラマ撮影の処理フローチャートである。 パノラマ撮影時のデータフローダイアグラムである。 第２の実施形態に係るパノラマ撮影の処理フローチャートである。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る画像処理装置の一適用例としての撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、様々な撮影機能を備えており、その一つとしてパノラマ撮影機能をも備えた、例えばデジタルカメラである。
図１に示した撮像装置の詳細な構成について説明する前に、以下の図２（ａ）および図２（ｂ）から図４までを用いて、パノラマ撮影について説明する。

パノラマ撮影では、撮像装置の撮影方向を所望の方向（水平方向や垂直方向など）に順次変更しながら、全景のそれぞれ一部を構成する複数の画像を順番に連続的に撮影（いわゆる流し撮り連写のように撮影）することが行われる。つまりパノラマ撮影の際には、レリーズボタンを押した状態で撮像装置の撮影方向を所望の方向に移動させるようになされ、撮像装置では、レリーズボタンが押された状態が続いている間、連写撮影のように所定の時間毎に自動的な撮影を行う。またパノラマ撮影の際には、撮影方向を順次変更する所望の方向において隣接した撮影画角（隣接した撮影方向）内で、互いに一部の領域（共通領域とする。）が重複して写るように各画像が撮影される。なおパノラマ撮影において撮影方向を順次変更する際の所望の方向は、一般的には地面等と平行な水平方向となされるが、垂直方向（重力方向）等の他の方向になされる場合もある。本実施形態の説明では、撮影方向を順次変更する所望の方向が、一般的な水平方向となされた場合のパノラマ撮影を一例として挙げている。また撮像装置は、パノラマ撮影により取得した複数の画像に対し、後述するように、それぞれ歪曲等の補正処理と円筒座標変換処理を行い、さらに円筒座標変換後の画像の共通領域を重ね合わせるような合成処理を行ってパノラマ画像を生成する。本実施形態の撮像装置では、このようなパノラマ撮影機能によって、撮影レンズの画角よりも広い全景の撮影範囲のパノラマ画像を生成可能となされている。

図２（ａ）は、パノラマ撮影時において、撮像装置２０１の撮影方向を所望の方向に順次変更している様子を概略的に示した図である。図２（ａ）に示すように、パノラマ撮影時には、例えばユーザ２００が回転の中心となって、撮像装置２０１の撮影方向を矢印２１０に示す所望の方向に順次変更する。なお、撮影方向の変更は、例えば雲台に撮像装置２０１を設置し、その雲台を水平方向等に回転駆動することにより行われてもよい。以下の説明では、ユーザ（又は雲台）を回転の中心として撮像装置の撮影方向を順次変更することを「スイング」と呼ぶことにする。そして、撮像装置２０１は、スイングにより所望の方向に変更された撮影方向毎に、それぞれ隣接する撮影画角内で互いに一部の領域（共通領域）が重複して写るようにして複数の画像を撮影する。これにより、撮像装置２０１により順次取得された各画像は、スイングの方向において隣接する画像同士でそれぞれ共通領域を有する画像となる。その後、撮像装置２０１は、それら各画像に対して歪曲補正と円筒座標変換処理を行い、円筒座標変換後の隣接する画像同士の共通領域を重ね合わせるようにして各画像を合成することによりパノラマ画像を生成する。言い換えると、パノラマ画像の合成処理は、スイングの方向において隣接する各画像から、スイング時の回転角度に応じてそれぞれ中心付近の部分画像を切り出し、それら切り出した部分画像を繋ぐような合成処理となっている。

図２（ｂ）は、パノラマ撮影の対象となされた全景２２０と、撮像装置２０１をスイングさせて撮影された２枚の隣接した画像２２１，２２２と、それら２枚の画像２２１，２２２を共通領域で重ね合わせて合成した合成結果画像２２３の一例を示している。なお図２（ｂ）の例では、パノラマ撮影の際の１枚目の画像２２１と、その画像２２１の次に撮影された２枚目の画像２２２のみを示している。画像２２１と画像２２２にはそれぞれ共通領域が含まれており、パノラマ画像の合成時には、それらの共通領域を重ね合わせて繋ぎ合わせるような合成が行われることにより、合成結果画像２２３が生成される。図２（ｂ）の全景２２０のパノラマ画像を生成する場合には、前述同様にして全景２２０をカバーできる複数の各画像が撮影され、隣接する各画像同士の共通領域を順次重ね合わせて繋ぐような合成処理が行われる。

またパノラマ画像の生成の際には、各画像の合成処理に先立ち、各画像に対して、撮像装置の撮影レンズの歪曲等を補正する処理と、撮影レンズの焦点距離に応じた半径の仮想円筒上にマッピングするような円筒座標変換処理とが行われる。さらに円筒座標変換後の各画像について、スイングの方向において隣接する各画像の共通領域から特徴点を抽出し、その特徴点がどのくらい動いたかを表す移動ベクトルの検出が行われる。移動ベクトルは、水平成分（Ｘ成分、横方向成分）と垂直成分（Ｙ成分、縦方向成分）とを含み、パノラマ撮影で取得された隣接画像同士の位置を一致させるための位置合わせパラメータとして検出される。そして、移動ベクトルからは例えばアフィン変換の係数が算出され、パノラマ画像の生成時には、そのアフィン変換係数を基に、特徴点が一致するように隣接画像同士の共通領域を重ね合わせるような合成処理が行われる。

以下、円筒座標変換について詳細に説明する。
円筒座標変換では、円筒変換パラメータの一つとして仮想円筒の半径が用いられる。円筒座標変換における仮想円筒の半径は、撮像装置が有する撮影レンズの焦点距離に対応した半径にすることが好ましい。このため、撮影レンズの焦点距離が短くなるほど、つまり広角レンズであるほど、仮想円筒の半径は小さくなる。

一般に、撮像された画像に対して撮影レンズの歪曲を補正する処理を行った後の着目点の座標（Ｘ，Ｙ）は、円筒座標変換を行うことにより、仮想円筒上の座標（Ｘ・ｃｏｓθ，Ｙ・ｃｏｓθ）へと投影される。つまり、円筒座標変換によって、撮像された画像は、仮想円筒上に投影した状態の画像に変換される。ここで、撮像装置が有する撮像素子の有効撮像エリア幅をｗ［ｍｍ］、撮影レンズの焦点距離をｆ［ｍｍ］とすると、画像中心と画像右端と角度θ［ｒａｄ］との関係は、以下の式（１）で表される。

θ＝arctan(ｗ／２／ｆ) 式（１）

また撮像素子の１画素のサイズ（画素ピッチ）をｐ[μｍ］、高さ方向の画素数をｈ［ｐｉｘ（ピクセル）］とすると、画像の有効高さＨ［ｐｉｘ］は、式（２）のようになる。

Ｈ＝(ｈ／２)・cosθ 式（２）

すなわち例えば、焦点距離ｆが小さくなると角度θが大きくなり、したがって有効高さＨは小さくなる。
具体例として、撮像装置の撮像素子のサイズが幅２２．３２ｍｍで高さ１４．８８ｍｍのいわゆるＡＰＳ－Ｃサイズであり、画素ピッチが３．７２μｍ、画素数が６０００×４０００ピクセルであるとする。この例において、撮影レンズの焦点距離ｆが例えば１１ｍｍである場合、式（１）および式（２）から、有効高さＨは２８０９ピクセルとなり、撮像素子の高さ（４０００ピクセル）の約７０％になる。また例えば、撮影レンズの焦点距離ｆが１８ｍｍである場合、有効高さＨは３４００ピクセルとなり、撮像素子の高さ（４０００ピクセル）の約８５％になる。図３には、焦点距離ｆを横軸とし、撮像素子の高さに対する有効高さの割合［％］を縦軸として、撮影レンズの焦点距離ｆと有効高さの割合との対応点をプロットしたグラフを示している。図３に示すように、撮影レンズの焦点距離ｆが短くなるほど、撮像素子の高さに対する有効高さの割合が減る。つまりこれは、撮影レンズの焦点距離が短い広角レンズになるほど、円筒座標変換における座標変換量が大きくなることを表している。そしてこのことは、撮影レンズが広角レンズであるほど、円筒座標変換後の画像として使える領域が小さくなってしまうことを意味している。一方で、パノラマ撮影を行う際、ユーザは、広い範囲を撮影しようとして画角が広い広角レンズ、つまり撮影レンズの焦点距離を短くして撮影を行おうとするが、この場合、逆に画像として使用できる有効高さが減ってしまうことになる。

図４は、撮影レンズの焦点距離によって有効高さが変化し、パノラマ画像の高さ方向の大きさ（有効高さ）が変わる一例を示した図である。図４において、円筒座標変換前の元画像４００に対し、例えば撮影レンズの焦点距離ｆが１８ｍｍである場合には、仮想円筒の半径を１８ｍｍとして円筒座標変換が行われる。画像４０１は、仮想円筒の半径を１８ｍｍとして元画像４００を円筒座標変換した後の画像を表している。また例えば、撮影レンズの焦点距離が１１ｍｍである場合には、元画像４００に対して、仮想円筒の半径を１１ｍｍとして円筒座標変換が行われる。画像４０２は、仮想円筒の半径を１１ｍｍとして元画像４００を円筒座標変換した後の画像を表している。これら二つの画像を比較して分かるように、仮想円筒の半径が１８ｍｍの場合の円筒座標変換後の画像４０１よりも、仮想円筒の半径が短い１１ｍｍの場合の円筒座標変換後の画像４０２の方が、高さ方向において大きく変形（湾曲）した画像となる。このため、画像４０２は、画像４０１よりも、高さ方向において合成時に使用できる領域が小さくなる。すなわち、仮想円筒の半径を１１ｍｍとして円筒座標変換した複数の画像４０２を合成したパノラマ画像４０５は、仮想円筒の半径を１８ｍｍとして円筒座標変換した各画像４０１を合成したパノラマ画像４０４よりも有効高さが小さい画像になってしまう。

そこで、本実施形態の撮像装置は、撮影レンズの焦点距離より仮想円筒の半径を大きくして円筒座標変換を行い、焦点距離を仮想円筒の半径とした円筒座標変換よりも、有効高さを大きくすることを可能としている。本実施形態では、少なくとも、撮像装置がスイングされてパノラマ撮影を行った際の隣接する撮像方向間の移動量と、撮影レンズの焦点距離とに基づいて、仮想円筒の半径を決定する。なお、隣接撮影方向間の移動量は、例えば角速度センサからの情報を基に算出してもよいし、撮影された各画像から算出してもよい。隣接撮影方向間の移動量を、角速度センサの情報を基に算出する場合、または、撮影された画像を基に算出する場合の詳細については後述する。

以下、パノラマ撮影の際の隣接撮影方向間の移動量と撮影レンズの焦点距離とに基づく仮想円筒の半径の算出処理について説明する。
パノラマ撮影の際には、図２（ａ）で説明したように、ユーザ２００等を中心として回転するように撮像装置２０１をスイングさせて撮像方向を順次変更しつつ、連写のように連続的な画像撮影が行われる。そして、パノラマ画像は、パノラマ撮影で取得された各画像から、隣接する撮影方向間におけるスイング時の回転の角度βに応じて各画像の中心付近の部分画像を切り出して順次合成することにより生成される。ここで、撮像素子の１画素のサイズが例えばｐ［μｍ］であり、前述した移動ベクトルのＸ方向の成分（大きさ）がｘ［ｐｉｘ］、仮想円筒の半径がＲ［ｍｍ］であるとすると、角度βは、式（３）により表される。

β＝arctan(ｘ・ｐ／Ｒ／1000) 式（３）

したがって、パノラマ画像の合成に使用される部分画像における有効高さＨ［ｐｉｘ］は、式（４）で表される。

Ｈ＝(ｈ／２)・cos｛arctan(ｘ・ｐ／Ｒ／1000)｝ 式（４）

また本実施形態では、例えば、仮想円筒の半径Ｒを焦点距離ｆと同じにした場合と、仮想円筒の半径Ｒを焦点距離ｆより大きくした場合とで、部分画像の有効高さが実質的に変わらない場合に、仮想円筒の半径Ｒを焦点距離ｆとは異なる値に変更可能とする。本実施形態では、隣接する画像の境界部分で位置ずれが無いか、もしくは気にならない程度に少ない場合に、部分画像の有効高さが実質的に変わらないとする。例えば、合成後のパノラマ画像を等倍で出力するならば、境界部分での位置ずれが例えば０．５～１ピクセル程度未満である場合に、部分画像の有効高さが実質的に変わらないとする。また例えば、パノラマ画像を縮小して出力するならば、縮小後において境界部分での位置ずれが０．５～１ピクセル程度未満である場合に、部分画像の有効高さが実質的に変わらないとする。なお、これらの数値は一例であり、適宜変更可能である。

本実施形態では、撮像素子の高さ方向の画素数をｈ［ｐｉｘ］、画素ピッチをｐ［μｍ］、仮想円筒の半径をＲ［ｍｍ］、焦点距離をｆ［ｍｍ］、移動ベクトルのＸ成分をｘ［ｐｉｘ］とした場合、式（５）と式（６）との差を基に判断する。すなわち式（５）の演算値と式（６）の演算値との差が、所定の閾値未満（例えば１ピクセル未満）である場合に、部分画像の有効高さが実質的に変わらないとする。

(ｈ／２)・ｘ・cos｛arctan(ｘ・ｐ／Ｒ／1000)／２｝ 式（５）
(ｈ／２)・ｘ・cos｛arctan(ｘ・ｐ／ｆ／1000)／２｝ 式（６）

また前述の例では撮像素子の高さ方向の画素数をｈピクセルとしたが、撮影時にはいわゆる手ぶれも発生するため、その手ぶれ分を考慮して、実際にはｈピクセル全てが使用されることは少ない。すなわち、手ぶれによる移動分が撮像素子の高さ方向に対して例えば１０％～３０％程度になると想定した場合、実際のパノラマ画像は、撮像素子の高さ方向の画素数ｈに対して例えば９０％～７０％となるような高さにトリミングされて生成される。したがって、手ぶれ分を予め考慮して、式（５）と式（６）におけるｈは、撮像素子の高さ方向の画素数の９０％～７０％として用いてもよい。

一例として、撮像素子の画素数が６０００×４０００ピクセル、１画素のサイズが３．７２μｍ、手ぶれによる移動分が撮像素子上で２０％程度、スイングによる隣接撮影方向間の移動量が画素数換算で１４５ピクセル相当であるとする。この場合、手ぶれ分を考慮した有効高さの画素数ＥＰ［ｐｉｘ］は、式（７）により表される。

ＥＰ＝4000／２×0.8・cos｛arctan(145・3.72／Ｒ／1000)｝ 式（７）

そしてこの時、仮想円筒の半径Ｒが例えば１１ｍｍの場合と１４ｍｍの場合とでは、それぞれの有効高さの差が０．８ピクセルとなり、前述した閾値未満（１ピクセル未満）となる。したがってこの場合、焦点距離ｆが１１ｍｍで撮影されていたとしても、仮想円筒の半径を１４ｍｍとした円筒座標変換を行っても問題ないことになる。

しかしながら、例えばスイングの速度が速くなり、隣接撮影方向間の移動量が画素数換算で前述した１４５ピクセルの２倍の２９０ピクセル相当になった場合、仮想円筒の半径Ｒが１１ｍｍの場合と１４ｍｍの場合とで有効高さの差は３．３ピクセルとなる。つまりこの時の有効高さの差（３．３ピクセル）は閾値（例えば１ピクセル）より大きくなる。この場合、パノラマ画像の合成を行うと、各画像の境界部分が段差となって見えてしまうようになる。したがって、パノラマ撮影時のスイングの速度が速く、隣接する撮影方向間での移動量が大きい場合には、仮想円筒の半径を変更しないようにするか、もしくは半径の変化量を小さくすることが必要となる。なお、パノラマ撮影を行う場合において、撮影開始前は撮像装置をスイングさせておらず、撮影開始直後から撮像装置のスイングが開始される。つまり、パノラマ撮影の開始時にはスイング速度が遅いため、前述のような有効高さの差が大きくなる問題が生ずることは略々ないと考えられる。

これに対し、パノラマ撮影の開始後、徐々にスイングの速度が速くなってくると前述した有効高さの差の問題が顕著になる。このため、本実施形態では、隣接する撮影方向間における移動量、つまりスイングの速度に応じて、円筒座標変換時の仮想円筒の半径を変えていくようにする。例えば焦点距離が１１ｍｍの撮影レンズで撮影した場合、撮影開始直後でスイング速度が遅い時の１枚目の画像の円筒座標変換時には仮想円筒の半径を１５ｍｍとし、２枚目では半径を１３ｍｍ、３枚目以降では半径を１１ｍｍとするように半径を変える。こうすることで、撮影開始後にスイング速度が速くなったころには、仮想円筒の半径を撮影レンズの焦点距離と同じ値に戻せるため、スイングの速度に影響されることがなくなる。

また、パノラマ撮影を終了させる際にも前述同様に、スイングの速度に応じて仮想円筒の半径を変えるようにすることが望ましい。つまりパノラマ撮影を終了させる際には、スイング速度が遅くなっていくことになる。このため例えば、焦点距離が１１ｍｍの撮影レンズで撮影した場合、パノラマ撮影を終了させるためにスイングの速度が遅くなるにつれて、仮想円筒の半径を１１ｍｍ、１３ｍｍのように順に大きくする。そして、パノラマ撮影時の最後の画像については、仮想円筒の半径を例えば１５ｍｍにするようなことを行う。

本実施形態では、前述したように、仮想円筒の半径を可変とし、１枚目に撮影した画像と最後に撮影した画像については半径を大きくして画像の有効高さを増やすことにより、パノラマ画像の有効高さが減ってしまうことを防止可能となる。パノラマ撮影において開始時と終了時以外の撮影途中の画像については、撮影レンズの焦点距離を仮想円筒の半径にする。

また、前述したような有効高さの減少が顕著になるのは、前述の図３に示したように、焦点距離（仮想円筒の半径）が概ね２０ｍｍ程度以下になる場合である。そのため、焦点距離に対する閾値を予め用意しておき、その閾値よりも焦点距離が短い広角レンズでの撮影が行われる場合にのみ、本実施形態の手法を適用するようにしてもよい。また、閾値よりもさらに焦点距離が短い超広角側と広角側、もしくは閾値付近などで、仮想円筒の半径を大きくして、座標変換量を少なくするようなことも好ましい様態のひとつである。

以下、図１に示した本実施形態の撮像装置の構成について説明する。
図１において、撮影レンズ１０１は、フォーカスレンズやズームレンズを有し、被写体等の光学像を撮像センサ１１２の撮像面上に結像させる。撮影レンズ１０１は、撮像装置本体に着脱可能な交換レンズであってもよいし、撮像装置に固定されたレンズであってもよい。絞り１０３は、絞り駆動回路１０４により駆動され、撮影レンズ１０１を介した入射光量の調節を行う。絞り駆動回路１０４は、マイクロコンピュータ（以下、マイコンとする。）１２３により算出された絞り駆動量を基に、絞り１０３における光学的な絞り値を変化させる。ＡＦ（オートフォーカス）駆動回路１０２は、例えばＤＣモータやステッピングモータを有して構成され、マイコン１２３からのフォーカス制御信号を基に、撮影レンズ１０１のフォーカスレンズを駆動してピント合わせを行う。

主ミラー１０５は、撮影レンズ１０１から入射した光束を、ファインダ部側と撮像センサ１１２側とに切り替えるためのミラーである。主ミラー１０５は、常時はファインダ部側へと光束を反射させるように配されているが、撮像が行われる場合やライブビュー表示がなされる場合には、撮影レンズ１０１からの光束が撮像センサ１１２へと入射するように、上方に跳ね上げられる。この主ミラー１０５を跳ね上げる等のミラー駆動は、マイコン１２３による制御の下、ミラー駆動回路１０７により行われる。また、主ミラー１０５は、その中央部が光の一部を透過できるようにハーフミラーとなされている。

ペンタプリズム１０８はファインダ部の一部を構成しており、撮影レンズ１０１から入射して主ミラー１０５により反射した光束を不図示の接眼部に導くためのプリズムである。なお、不図示の接眼部は、それぞれ不図示のピント板、アイピースレンズなどが設けられて構成されている。

サブミラー１０６は、主ミラー１０５の中央部に設けられたハーフミラーを透過した光束を反射させて、不図示の焦点検出用のセンサや、露光量算出回路１０９に併設されている不図示の露光量検出用センサに導くためのミラーである。

露光量検出用のセンサは、主ミラー１０５の中央部のハーフミラーを透過してサブミラー１０６で反射されてきた入射光を光電変換して露光量算出回路１０９に送る。露光量算出回路１０９は、露光量検出用のセンサの検出出力から露光量を算出し、その算出した露光量の信号をマイコン１２３に出力する。マイコン１２３は、露光量の信号を基に、絞り駆動量、シャッタスピードや露光時間等を制御する。

焦点検出用のセンサは、主ミラー１０５の中央部のハーフミラーを透過してサブミラー１０６で反射されてきた光束を受光し、そのセンサ出力をマイコン１２３に送る。マイコン１２３は、そのセンサ出力からデフォーカス量を算出し、そのデフォーカス量を基にフォーカス演算を行ってフォーカス制御信号を生成し、そのフォーカス制御信号によりＡＦ駆動回路１０２を制御する。

フォーカルプレーンシャッタ（以下、シャッタ１１０とする。）は、マイコン１２３による制御の下、シャッタ駆動回路１１１により駆動される。すなわち、シャッタ１１０の開口時間は、マイコン１２３により制御される。

撮像センサ１１２は、マイコン１２３により駆動制御がなされるＣＣＤやＣＭＯＳセンサなどからなる撮像素子であり、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。ＡＤ変換器１１５は、マイコン１２３による制御の下、撮像センサ１１２からのアナログ出力信号をデジタル信号に変換する。ＡＤ変換器１１５から出力されたデジタル信号は、画像処理回路１１６に送られる。

画像処理回路１１６は、デジタル化された画像データに対し、フィルタ処理、色変換処理、ガンマ処理などを行うと共に、ＪＰＥＧなどへの圧縮処理を行い、メモリコントローラ１１９に出力する。その際、画像処理回路１１６は、処理途中の画像データを、メモリコントローラ１１９を介してバッファメモリ１２２に一時的に蓄積させることも可能である。また、画像処理回路１１６は、撮像センサ１１２により撮像された画像データや、メモリコントローラ１１９から入力される画像データを、表示駆動回路１１７を通して表示部１１８に出力することも可能である。画像処理回路１１６におけるこれらの機能の切り替えはマイコン１２３の指示により行われる。また、画像処理回路１１６は、必要に応じて、撮像センサ１１２による撮像がなされた際の露出情報やホワイトバランスなどの情報を、マイコン１２３に出力することも可能である。それらの情報を基に、マイコン１２３は、ホワイトバランスやゲイン調整の指示を行う。

また前述したパノラマ撮影などの連続撮影動作が行われた場合、画像処理回路１１６は、メモリコントローラ１１９を介して、撮影された未処理画像データをバッファメモリ１２２に一旦格納させた後に読み出して画像処理や圧縮処理を行う。これらバッファメモリ１２２への格納と画像処理、圧縮処理は、パノラマ撮影などの連続撮影動作が行われている間、続けられる。なお、連像撮影が可能な枚数は、バッファメモリ１２２の容量や、パノラマ撮影の際に撮像される画像サイズに応じた枚数となる。

画像処理回路１１６は、ゲートアレイなどのロジックデバイスにより実現され、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂ、現像回路１１６ｋ、圧縮・伸長回路１１６ｌなどを有する。また、画像処理回路１１６は、移動量算出回路１１６ｃ、位置合わせ回路１１６ｄ、幾何変換回路１１６ｅ、変倍回路１１６ｆ、トリミング回路１１６ｇ、合成回路１１６ｊなども有する。現像回路１１６ｋは、現像処理を行う。輝度調整回路１１６ａは、デジタルゲインによって明るさを調整する。ガンマ補正回路１１６ｂは、ガンマ特性によって輝度を調整する。圧縮・伸長回路１１６ｌは、ＪＰＥＧなどの一般的な画像形式への変換を行う。移動量算出回路１１６ｃは、例えばパノラマ撮影が行われた場合に、前述した隣接する撮影方向間の移動量を求める。また移動量算出回路１１６ｃは撮像装置のぶれ量についても算出する。位置合わせ回路１１６ｄは、例えばパノラマ撮影が行われた場合に、移動量算出回路１１６ｃにて算出された移動量を基に前述したように画像の位置合わせを行う。また位置合わせ回路１１６ｄはぶれ補正のための位置合わせも行う。幾何変換回路１１６ｅは、撮影レンズ１０１の歪曲収差補正、アフィン変換、射影変換、円筒座標変換などを行う。特にパノラマ撮影が行われた場合には、幾何変換回路１１６ｅは、前述したような歪曲収差補正や円筒座標変換を行う。変倍回路１１６ｆは、画像のサイズを変倍する。トリミング回路１１６ｇは、画像の一部を切り出す。合成回路１１６ｊは、複数の画像を合成する。特にパノラマ撮影が行われた場合、合成回路１１６ｊは、前述したように共通領域を重ね合わせて各画像を繋ぐようにしてパノラマ画像を合成する。本実施形態の撮像装置においてパノラマ撮影が行われた際の移動量算出回路１１６ｃ、位置合わせ回路１１６ｄ、幾何変換回路１１６ｅ、変倍回路１１６ｆ、トリミング回路１１６ｇ、合成回路１１６ｊにおける動作の説明は後述する。

メモリコントローラ１１９は、メモリ１２０へのデータの書き込みと読み出し、バッファメモリ１２２への一時的なデータの蓄積等を制御する。なお、メモリ１２０は着脱可能なカード型等のメモリであってもよい。メモリコントローラ１１９は、画像処理回路１１６による処理がなされていない未処理の画像データをバッファメモリ１２２に格納し、画像処理回路１１６による処理済みのデジタル画像データをメモリ１２０に格納する。また、メモリコントローラ１１９は、バッファメモリ１２２やメモリ１２０から読み出した画像データを画像処理回路１１６に出力する。また、メモリコントローラ１１９は、メモリ１２０に記憶されている画像を、外部インターフェイス１２１を介してコンピュータ等の外部機器に出力することも可能となされている。

表示部１１８は、ＴＦＴや有機ＥＬなどの表示デバイスである。表示駆動回路１１７は、ＶＲＡＭとしても用いられるバッファメモリ１２２に格納された表示データを、メモリコントローラ１１９と画像処理回路１１６を介して受け取り、その表示データにより表示部１１８を駆動して画面上に画像等を表示させる。

操作部１２４は、各種のボタンやスイッチが接続されており、それらボタンやスイッチの状態を検知し、それら状態検知信号をマイコン１２３に伝える。マイコン１２３は、操作部１２４からの状態検知信号に応じて各部をコントロールする。

操作部１２４に接続された各種のスイッチのうち、スイッチ１２５（以後、ＳＷ１とする）とスイッチ１２６（以後、ＳＷ２とする）は、レリーズボタンの操作でオンオフするスイッチである。ＳＷ１のみがオンとなっている状態は、いわゆるレリーズボタン半押し状態である。このレリーズボタン半押し状態の時、マイコン１２３は、撮像装置のオートフォーカスの動作を開始させると共に測光動作を開始させる。ＳＷ１及びＳＷ２が共にオンとなっている状態は、いわゆるレリーズボタンの全押し状態である。このレリーズボタン全押し状態の時、マイコン１２３は、撮像装置の画像撮影と記録を行わせる。また、レリーズボタン全押し状態が続いている間、マイコン１２３は、撮像装置に連続撮影動作を行わせる。前述したパノラマ撮影の際にはレリーズボタン全押し状態となされる。

また、操作部１２４には、不図示のボタンやスイッチとして、例えば、露出補正ボタン、絞りボタン、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタンなども接続されている。また操作部１２４に接続された不図示のボタン等には、例えば、メニューや再生画像移動のための移動＋（プラス）ボタンや移動－（マイナス）ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、消去ボタン、情報表示ボタンなども含まれる。なお、絞りボタンは、予め設定された絞り値にまで絞り１０３を絞り込ませる際に操作されるボタンである。消去ボタンは、撮影した画像を消去する際に操作されるボタンである。情報表示ボタンは、撮影や再生に関する情報表示を行う際に操作されるボタンである。また、操作部１２４には、例えば回転ダイアルが接続されていてもよい。例えば移動＋（プラス）ボタンや移動－（マイナス）ボタンの各機能は回転ダイアルが備えてもよい。回転ダイアルの回転操作によって、より軽快に数値や機能を選択することが可能となる。

液晶駆動回路１２７は、外部液晶表示部１２８やファインダ内液晶表示部１２９を駆動する。マイコン１２３は、液晶駆動回路１２７に対して表示内容を送り、液晶駆動回路１２７が外部液晶表示部１２８やファインダ内液晶表示部１２９を駆動させることで、撮像装置の動作状態やメッセージ等を文字や画像を用いて表示させる。また、ファインダ内液晶表示部１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２７により駆動される。

マイコン１２３は、撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データを基に、メモリコントローラ１１９を介してメモリ１２０の容量を確認した上で撮影可能残数を演算することができる。そして、マイコン１２３は、その撮影可能残数を表示部１１８に表示させる。また、マイコン１２３は、撮影可能残数を、必要に応じて外部液晶表示部１２８やファインダ内液晶表示部１２９に表示させることもできる。

不揮発性メモリ１３０は、ＥＥＰＲＯＭであり、撮像装置に電源が入れられていない状態でも、記憶内容を保存することができる。マイコン１２３の動作プログラムは、不揮発性メモリ１３０に格納されている。なお、例えばパノラマ撮影等により取得された画像に対する画像処理がソフトウェア構成によって実現される場合、本実施形態に係る画像処理プログラムも不揮発性メモリ１３０に格納され、マイコン１２３はその画像処理プログラムを実行する。

ジャイロセンサ１３３は、例えば２軸若しくは３軸の角速度センサであり、撮像装置における回転の角速度を検出し、その検出信号（以下、ジャイロ情報とする。）としてマイコン１２３に出力する。
温度計１３４は、温度を検出し、その検出信号をマイコン１２３に出力する。本実施形態の場合、温度計１３４は、ジャイロセンサ１３３付近に配置することが好ましいが、一般的に撮像装置やメモリ１２０等の保護のために撮像センサ１１２やメモリ１２０などの近傍に設置されている温度センサを流用してもよい。

外部インターフェイス１２１は、本実施形態の撮像装置と、コンピュータ等の外部機器とを接続する。
電源部１３１は、例えば着脱可能なバッテリを備えており、本実施形態の撮像装置の各部に必要な電力を供給する。
内部時計１３２は、時刻情報や撮像装置の動作に必要な時間情報を出力してマイコン１２３に出力する。マイコン１２３は、例えば内部時計１３２からの時刻情報に基づく撮影時刻データを、メモリ１２０に記録される画像ファイルに付加又は重畳することができる。

以下、図５フローチャートを用いて、本実施形態の撮像装置における基本的な撮影動作を説明する。図５のフローチャートに示した撮影動作は、マイコン１２３が撮像装置の各部を制御することにより行われる。撮影動作が開始される前には、予め露光量算出回路１０９により露光量が算出され、絞り量、蓄積時間（シャッタスピード）、ＩＳＯ感度等が決定されているとする。なお、以下の説明では、図５のフローチャートの各処理ステップＳ５０１～ステップＳ５０７をＳ５０１～Ｓ５０７と略記する。

ユーザによりレリーズボタンが全押し状態となされてＳＷ１及びＳＷ２が共にオンの状態になると、Ｓ５０１として、マイコン１２３は、図５のフローチャートに示した撮影動作の制御を開始する。

撮影動作の制御を開始すると、マイコン１２３は、Ｓ５０２として、以下の一連の動作を行うように各部を制御する。先ず、マイコン１２３は、予め決められた絞り量を絞り駆動回路１０４に通知して、絞り１０３を目標の絞り量にする。また、マイコン１２３は、撮像センサ１１２、ＡＤ変換器１１５などを動作可能な状態にする撮影準備を行う。そして、マイコン１２３は、撮影準備が完了すると、ミラー駆動回路１０７を制御して主ミラー１０５を上方に跳ね上げさせ、またシャッタ駆動回路１１１を制御してシャッタ１１０の不図示の先幕を開けさせる。これにより、撮影レンズ１０１を介した被写体像が撮像センサ１１２上に結像されることになる。続いて、マイコン１２３は、シャッタ駆動回路１１１を制御して、予め設定された蓄積時間後にシャッタ１１０の不図示の後幕を閉じる。これにより、撮像センサ１１２には、蓄積時間の間だけ光が入ることになる。Ｓ５０２では、この一連の動作により、撮像センサ１１２の露光が行われる。

続いて、Ｓ５０３として、マイコン１２３は、撮像センサ１１２から出力されてＡＤ変換器１１５で変換された画像データを、画像処理回路１１６を介し、さらにメモリコントローラ１１９を介してバッファメモリ１２２に格納させる。さらに、Ｓ５０４として、マイコン１２３は、メモリコントローラ１１９を介してバッファメモリ１２２から読み出した画像データを画像処理回路１１６に送り、現像回路１１６ｋによる現像処理を行わせる。またＳ５０４において、マイコン１２３は、画像処理回路１１６を制御し、ホワイトバランス処理や、ガンマ補正回路１１６ｂで暗部にゲインをかける処理などの画像処理を行わせてもよい。

次に、Ｓ５０５として、マイコン１２３による制御の下、画像処理回路１１６は、画像処理が施された画像データを圧縮・伸長回路１１６ｌによりＪＰＥＧなどの汎用的なデータフォーマットへと変換して、メモリ１２０に記録させる。その後、マイコン１２３は、レリーズボタンが全押し状態でなければ、Ｓ５０７として、図５のフローチャートの撮影動作の制御を終了する。

なお、メモリ１２０に記録される画像データは、画像処理回路１１６での画像処理や現像処理が行われていないＲＡＷデータを、圧縮・伸長回路１１６ｌにより可逆圧縮したデータであってもよい。マイコン１２３は、操作部１２４を介したユーザからの指示を基に、メモリ１２０に記録する画像データをＪＰＥＧ等の画像データか又は可逆圧縮されたＲＡＷデータの何れにするかを決定する。

次に、図１に示した本実施形態の撮像装置において、パノラマ撮影が行われている場合の動作について説明する。
本実施形態の撮像装置はパノラマ撮影モードを含む種々の撮影モードでの動作が可能となされており、前述したパノラマ撮影は、ユーザが撮像装置の撮影モードをパノラマ撮影モードに設定することにより実行可能となる。

ユーザから操作部１２４を介してパノラマ撮影モードへの切り替え指示が入力されると、マイコン１２３は、撮像装置をパノラマ撮影モードに設定し、撮像センサ１１２とＡＤ変換器１１５に電源が供給されるよう制御すると共に初期設定を行う。また、マイコン１２３は、ミラー駆動回路１０７を制御して主ミラー１０５を上げさせるとともに、シャッタ駆動回路１１１を制御してシャッタ１１０を開き、撮影レンズ１０１による被写体像等が撮像センサ１１２に結像されるようにする。これにより、撮像センサ１１２から読み出されてＡＤ変換器１１５にてデジタル変換された画像信号は画像処理回路１１６に送られる。さらに、マイコン１２３は、画像処理回路１１６を制御し、現像回路１１６ｋによる現像処理、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂによる画像処理、変倍回路１１６ｆによる変倍処理を行わせる。変倍回路１１６ｆにより表示に適した画像サイズへと変倍された画像は、表示部１１８に送られて表示される。撮像装置では、このような撮像センサ１１２による撮像から表示部１１８の表示までの処理が、１秒間に２４回～６０回繰り返して行われることにより、いわゆるライブビューの表示がなされる。

ここで、本実施形態の撮像装置においてパノラマ撮影を行う場合、ユーザは、パノラマ撮影の開始準備作業として、表示部１１８のライブビュー表示を確認しながら撮影レンズ１０１を所望の画角（所望の焦点距離）に設定する。さらに、ユーザは、全景２２０の撮影範囲内でメインとなる被写体に対して撮影レンズ１０１を向けた上でＳＷ１を押下（レリーズボタンを半押し）する。ユーザによりＳＷ１が押下されると、マイコン１２３は、パノラマ撮影の準備のために、撮像装置の各部を制御し、画角内の被写体に対する適切な露光量の算出と、画角内の被写体に対する焦点合わせとを行わせる。例えばライブビュー表示がなされている場合、マイコン１２３は、画像処理回路１１６に含まれる不図示の露光量算出回路により最適な露光量を算出させて、その露光量の情報を取得する。また例えばライブビューの表示がなされていない場合、マイコン１２３は、サブミラー１０６にて反射された光の受光信号に応じた最適な露光量を露光量算出回路１０９に算出させ、その算出された露光量の情報を取得する。そして、マイコン１２３は、露光量の情報を基に、絞り駆動回路１０４を介した絞り１０３の駆動制御、撮像センサ１１２の感度制御や蓄積時間の制御を行う。また、マイコン１２３は、ＡＦ駆動回路１０２を介して撮影レンズ１０１を駆動させることにより、画角内のメインの被写体に対して焦点を合わせるように制御する。これらパノラマ撮影のための開始準備が完了すると、マイコン１２３は、不図示のスピーカ等からの通知音の出力や通知表示等を行って、パノラマ撮影の開始準備が整ったことをユーザに知らせる。

次に、ユーザは、撮像装置を全景２２０のなかで、パノラマ撮影で撮り始めたい向きに撮影方向（撮影レンズ１０１）を向けた上で、ＳＷ２を押下（レリーズボタンを全押し）する。これにより、撮像装置では実際にパノラマ撮影がスタートし、画像の撮像が開始される。そして、パノラマ撮影が開始されると、撮像装置では、図５に示すフローチャートの処理を開始する。
以下、図５のフローチャートと図６に示すデータフローダイアグラムを用いて、パノラマ撮影時の撮像装置における処理の流れを説明する。図５のフローチャートおよび図６のデータフローダイアグラムに示した動作は、マイコン１２３が撮像装置の各部を制御することにより行われる。なお、図５に示すフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えば不揮発性メモリ１３０に記憶されているプログラムをマイコン１２３が実行することにより実現される。本実施形態に係るプログラムは、不揮発性メモリ１３０に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。

Ｓ６０１においてパノラマ撮影が開始されると、マイコン１２３は、先ずＳ６０２として、レンズ情報とセンサ情報とを取得する。レンズ情報には、撮影レンズ１０１における歪曲や周辺光量低下の補正時に使用されるレンズ補正データや、円筒座標変換の際に使用する焦点距離、画角の情報などが含まれる。それらレンズ情報は、例えば撮影レンズ１０１に内蔵された不図示のメモリあるいは不揮発性メモリ１３０等に保存されており、マイコン１２３は取得したレンズ情報を内部メモリに記憶する。センサ情報には、撮像センサ１１２の有効撮像エリアの縦横幅のサイズ、画素数、１画素あたりのサイズ、画素ピッチなどが含まれる。それらセンサ情報は、例えば不揮発性メモリ１３０等に予め保存されていても良いし、マイコン１２３が演算により求めても良い。マイコン１２３は、取得したセンサ情報を内部メモリに記憶する。

次にＳ６０３として、マイコン１２３は、撮像装置の各部を制御して１枚目の画像の撮影を行わせる。このときの撮像センサ１１２とＡＤ変換器１１５は例えばライブビュー用の駆動に設定されているので、マイコン１２３は、これらを静止画撮影用の駆動に切り替える。またマイコン１２３は、絞り駆動回路１０４を介して絞り１０３を先ほど決めた露光量になるように調整し、さらにシャッタ駆動回路１１１を介してシャッタ１１０を開閉させて、撮像センサ１１２に被写体像が結像されるようにする。これにより、撮像センサ１１２では静止画の撮影が行われ、撮像センサ１１２から読み出された画像信号はＡＤ変換器１１５でデジタル信号に変換される。そして、画像処理回路１１６では、ＡＤ変換器１１５からのデジタル信号に対し、不図示の回路により撮像センサ１１２のシェーディング補正処理のような最小限の画像処理を施す。この画像処理回路１１６による最小限の処理がなされた画像データは、１枚目のＲＡＷ画像のデータとして、メモリコントローラ１１９を介してバッファメモリ１２２に格納される。

また、Ｓ６０４において、マイコン１２３は、１枚目の画像の撮影から次の２枚目の画像の撮影が行われるまでに撮像装置がどのくらいスイング（回転）されたのかを検出可能にするために、ジャイロセンサ１３３を初期化（リセット）する。

Ｓ６０３においてバッファメモリ１２２に格納された１枚目のＲＡＷ画像データは、メモリコントローラ１１９により読み出されて画像処理回路１１６の現像回路１１６ｋに送られる。現像回路１１６ｋは、ＲＡＷ画像に対して現像処理を行って、輝度（Ｙ）と色差（ＵＶ）からなる１枚目のＹＵＶ画像に変換し、そのＹＵＶ画像データを幾何変換回路１１６ｅと変倍回路１１６ｆに送る。なお、Ｓ６０３で撮影された１枚目のＲＡＷ画像が、図７のデータフローダイアグラムのＮ枚目ＲＡＷ画像７０５であるとすると、１枚目のＹＵＶ画像は、図７のＮ枚目ＲＡＷ画像７０５を現像回路１１６ｋで現像したＮ枚目現像後画像７０６である。

画像処理回路１１６の変倍回路１１６ｆでは、１枚目のＹＵＶ画像に対し表示部１１８の画素数に応じた縮小処理が行われ、その縮小処理により得られた縮小画像がバッファメモリ１２２のＶＲＡＭ領域に格納される。なお、１枚目のＹＵＶ画像が図７のＮ枚目現像後画像７０６であるとすると、ＶＲＡＭ領域７０８には、Ｎ枚目現像後画像７０６を変倍回路１１６ｆで縮小処理した縮小画像が格納される。そして、ＶＲＡＭ領域から読み出された１枚目のＹＵＶ画像は表示駆動回路１１７を介して表示部１１８の画面上に表示される。この表示を見ることにより、ユーザはパノラマ撮影において１枚目に撮影された画像を確認できる。

また画像処理回路１１６の幾何変換回路１１６ｅでは、Ｓ６０５の処理として、マイコン１２３を介して取得したレンズ補正データを用いて、ＹＵＶ画像に対して撮影レンズ１０１の歪曲収差を補正する処理を施す。歪曲収差の補正処理は既存の技術であるためその説明は省略する。なお、１枚目のＹＵＶ画像が図７のＮ枚目現像後画像７０６であるとすると、図７のＮ枚目現像後画像７０６が幾何変換回路１１６ｅで歪曲収差補正された後の画像は、Ｎ枚目幾何変換後画像７０７である。このＮ枚目幾何変換後画像７０７はバッファメモリ１２２に格納され、次の画像が撮影されて後述する移動量算出回路１１６ｃでの移動量算出の際に、Ｎ－１枚目幾何変換後画像７０３としてバッファメモリ１２２から読み出されることになる。

次にＳ６０６において、マイコン１２３は、撮像装置の各部を制御して２枚目の静止画撮影を行わせる。２枚目の画像撮影の場合も１枚目の画像撮影と同様に、マイコン１２３は、露光量の制御、シャッタ駆動の制御を行う。そして、撮像センサ１１２から読み出された２枚目の画像信号も１枚目と同様、ＡＤ変換器１１５でデジタル信号に変換され、画像処理回路１１６で最小限の画像処理が施され、２枚目のＲＡＷ画像のデータとしてバッファメモリ１２２に格納される。なお、２枚目のＲＡＷ画像が撮影された場合、この２枚目のＲＡＷ画像は、図７のデータフローダイアグラムではＮ枚目ＲＡＷ画像７０５となる。

またＳ６０６では、バッファメモリ１２２に格納された２枚目のＲＡＷ画像データも１枚目と同様、画像処理回路１１６の現像回路１１６により現像処理されて２枚目のＹＵＶ画像に変換される。Ｓ６０６で撮影された２枚目のＲＡＷ画像が、図７のＮ枚目ＲＡＷ画像７０５であるとすると、２枚目のＹＵＶ画像は、図７のＮ枚目ＲＡＷ画像７０５を現像回路１１６ｋで現像したＮ枚目現像後画像７０６となる。そして、２枚目のＹＵＶ画像も１枚目と同様、画像処理回路１１６の変倍回路１１６ｆにより縮小処理が行われて、ＶＲＡＭ領域に格納された後、表示駆動回路１１７を介して表示部１１８の画面上に表示される。この表示を見ることにより、ユーザはパノラマ撮影において２枚目に撮影された画像を確認できる。

さらにＳ６０７において、マイコン１２３は、ジャイロセンサ１３３からジャイロ情報（図７のデータフローダイアグラムではジャイロ情報７２４）を取得して不図示の内部メモリ等に記憶する。ここで、ジャイロ情報としては、撮像装置のヨー（Ｙａｗ）方向、ピッチ（Ｐｉｔｃｈ）方向の２軸の情報を取得するが、光軸回りの回転であるロール（Ｒｏｌｌ）方向を加えた３軸の情報を取得することが好ましい。なお、ジャイロセンサ１３３からの出力そのものは角速度の情報であるが、パノラマ撮影では隣接する撮像方向間、つまり前回の撮影から今回の撮影までの間にどのくらいスイングされたかの検出が必要である。このため、マイコン１２３は、前回の撮影から今回の撮影までの間のスイングによる角速度を積分するような演算を２枚目以降の画像の撮影時においてそれぞれ実行して、隣接撮影方向間の回転角度を算出して不図示の内部メモリ等に記憶する。

次にＳ６０８において、移動量算出回路１１６ｃは、マイコン１２３から、前述したレンズ情報の焦点距離や画角の情報、センサ情報、スイング時の隣接撮影方向間の回転角度の情報を取得する。そして、移動量算出回路１１６ｃは、それらの情報を基に、前回の撮影から今回の撮影までの間つまり隣接する撮影方向間におけるスイングの回転角度を、画素単位で表される移動量に変換する。本実施形態において、このＳ６０８にて求められた移動量が、角速度センサからのジャイロ情報を基に算出される移動量である。

ここで、撮影レンズ１０１の焦点距離をｆ［ｍｍ］、撮像センサ１１２の有効撮像エリア幅をｗ［ｍｍ］とすると、歪曲収差補正後の画角α［°］（もしくは歪曲収差の無いレンズの画角α）は、以下の式（８）により算出できる。

α＝２×arctan(ｗ／２／ｆ) 式（８）

また撮像センサ１１２の１画素当たりのサイズをｐ［μｍ］、前回の撮影から今回の撮影までの間のスイング角をβ［°］とすると、移動量ｄ［ｐｉｘ］は、式（９）により算出できる。
ｄ＝tan(β／２)×ｆ／ｐ×1000 式（９）

次にＳ６０９において、幾何変換回路１１６ｅでは、２枚目のＹＵＶ画像に対して１枚目と同様に歪曲収差を補正する処理が行われる。
続いてマイコン１２３は、Ｓ６１０として、幾何変換回路１１６ｅが円筒座標変換を行う際に用いる、仮想円筒の半径を算出する。
ここで、前述したように、撮影レンズ１０１が焦点距離の短い広角レンズになっている場合、その焦点距離を仮想円筒の半径にして円筒座標変換を行うと、画像の左右端近辺の座標変換量が大きくなり、高さ方向の有効画素数が少なくなってしまう。

このため、本実施形態では、前述したように、焦点距離ｆを仮想円筒の半径Ｒにした場合と、仮想円筒の半径Ｒを焦点距離ｆよりも大きくした場合とで、画像の上下端で実質的な差が生じない範囲で、仮想円筒の半径を大きくして円筒座標変換を行う。なお、仮想円筒の半径Ｒの算出処理は、最初に１度だけ行い、その後の仮想円筒の半径は固定の値としても良いし、本実施形態のように画像の撮影毎に行っても良い。さらには、最初に行った仮想円筒の半径の算出結果から、順次画像が撮影される毎に、仮想円筒の半径を徐々に焦点距離ｆの値に近づけていくことも好ましい様態の一つである。

続いてＳ６１１において、幾何変換回路１１６ｅにより円筒座標変換が行われる。本実施形態において、円筒座標変換と歪曲収差補正とは共に幾何変換回路１１６ｅで行われるため、幾何変換回路１１６ｅは、それら円筒座標変換と歪曲収差補正を前述した通り別に行ってもよいし、同時に行ってもよい。
なお、２枚目のＹＵＶ画像が図７のＮ枚目現像後画像７０６である場合、図７のＮ枚目現像後画像７０６が幾何変換回路１１６ｅで円筒座標変換および歪曲収差補正された後の画像は、Ｎ枚目幾何変換後画像７０７となる。このＮ枚目幾何変換後画像７０７はバッファメモリ１２２に格納され、次の画像（３枚目の画像）が撮影されて移動量算出回路１１６ｃで移動量が算出される際に、Ｎ－１枚目幾何変換後画像７０３としてバッファメモリ１２２から読み出されることになる。

次にＳ６１２として、移動量算出回路１１６ｃにより、Ｎ枚目幾何変換後画像７０７とＮ－１枚目幾何変換後画像７０３とを用いた移動量の算出処理が行われる。画像から移動量を算出する処理に関しては既知の方法を使用可能である。本実施形態では、移動量算出回路１１６ｃにおいて画像からエッジを検出して幾つかの特徴点を抽出し、さらに標本化することでアフィン変換の係数を算出する。このように、移動量算出回路１１６ｃでは、エッジを検出し、さらに特徴点を抽出することにより、撮影された画像の移動量を算出する。

ここで例えば、前回撮影された画像と今回撮影された画像との間で、特徴点１の座標が（ｘ１，ｙ１）から（ｕ１，ｖ１）にずれ、特徴点２の座標が（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３の座標が（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれたとする。この場合、前述した式（１）を基に連立方程式を作ると式（１０）、式（１１）のようになる。

これら式（１０）、式（１１）の方程式を解くことで、式中のａ～ｆのアフィン係数を算出することが可能となる。そして、移動量算出回路１１６ｃは、４点以上の特徴点が抽出された場合には、それらの中で距離が近い特徴点を除外し、残りの特徴点を最小二乗法により正規化する。一方、３点の特徴点が抽出できなかった場合や、検出された３点の特徴点が直線状に並んでいる場合、あるいは３点のうち２点が近い場合、移動量算出回路１１６ｃは、移動量の算出を失敗したと判断する。また画像の特徴点を基に算出した移動量（アフィン係数）と、前述したジャイロ情報７２４を基に算出した移動量とが大きく異なる場合（例えば移動量の差分が閾値を超える場合）には、画像に繰り返しパターンや移動体が含まれていることが考えられる。このため、画像に基づく移動量とジャイロ情報に基づく移動量とが大きく異なっている場合、移動量算出回路１１６ｃは、画像の特徴点を基に算出した移動量をキャンセルして、別の条件下で再度移動量を算出してもよい。また画像に基づく移動量とジャイロ情報に基づく移動量とが大きく異なった場合、マイコン１２３は、撮影された画像を失敗画像として次の撮影（Ｓ６０６）を行うように制御したり、パノラマ撮影自体が失敗したものとして図６の処理を終了したりしてもよい。一方、画像に基づく移動量とジャイロ情報に基づく移動量との差が閾値未満であり、それら両移動量が略々一致している場合には、Ｓ６１３の処理に進む。

Ｓ６１３に進むと、位置合わせ回路１１６ｄは、移動量算出回路１１６ｃが画像を基に算出した移動量（アフィン係数）を基に、Ｎ枚目の画像とＮ－１枚目の画像の位置合わせを行わせる。本実施形態の場合、位置合わせ回路１１６ｄでは、アフィン係数を用いたアフィン変換により位置合わせを行う。なお図７の例の場合、位置合わせ回路１１６ｄによる位置合わせが行われた後の位置合わせ画像７１１が得られる。

次にＳ６１４として、合成回路１１６ｊは、位置合わせ画像７１１とそれ以前の合成処理済みの合成画像とを用いた合成処理が行われる。すなわち、画像処理回路１１６においてＮ枚目（Ｎ＞２）の画像の処理が行われている場合、合成回路１１６ｊでは、Ｎ枚目の位置合わせ画像７１１と、それ以前のＮ－１枚目までで合成された合成画像７１０との合成が行われる。この合成回路１１６ｊによる合成画像７１２が、前述した共通領域を重ね合わせて繋いだ合成画像に相当する。なお、パノラマ撮影される範囲に例えば水面など全体に亘って動きのある被写体が存在する場合には、合成結果の品位が落ちることがあるため、合成される画像の境界部分の合成比率を変えることで品位向上を図ってもよい。

次にＳ６１５において、マイコン１２３は、ＳＷ２が押下されているか否かを判定し、ＳＷ２が押下されていると判定した場合には、Ｓ６０６に処理を戻して、次の画像の撮影を行わせる。一方、Ｓ６１５においてＳＷ２が押下されていないと判定した場合、マイコン１２３は、パノラマ撮影のための画像撮影が終了したと判断してＳ６１６に処理を進める。

Ｓ６１６に進むと、マイコン１２３は、画像処理回路１１６の圧縮・伸長回路１１６ｌに対し、合成画像７１２（パノラマ画像）をＪＰＥＧ等の汎用フォーマットへ圧縮する処理を行わせる。
その後、Ｓ６１７において、マイコン１２３は、合成画像７１２の圧縮データを、メモリコントローラ１１９を介してメモリ１２０に保存させる。なお、圧縮処理の前に、合成画像７１２の暗部を見易くするためにガンマ補正回路１１６ｂでγ補正を行ってもよく、また、画像全体の色調を統一するための色調補正を行ってもよい。また、合成画像のサイズが大きい場合には、予めユーザにより指定されたサイズになるように、変倍回路１１６ｆによる変倍処理が行われてもよい。さらに、手ぶれなどを考慮し、最大内接矩形或いは予め決められた領域でトリミング回路１１６ｇによる切り出しを行ってから、圧縮処理および保存処理を行ってもよい。

なおここでは、図２（ａ）に示したようにユーザ２００が撮像装置２０１を正位置（横位置）に構えた状態で水平方向にスイングする例を挙げたが、撮像装置２０１を縦位置に構えた状態で水平方向にスイングする場合も本実施形態に含まれる。その他にも、ユーザが撮像装置を重力方向（縦方向）等の他の方向にスイングする場合も本実施形態に含まれる。

以上説明したように、本実施形態においては、撮像装置における隣接撮影方向間の移動量をジャイロ情報に基づいて算出し、その算出した移動量を基に仮想円筒の半径を決定している。そして、本実施形態では、仮想円筒の半径を撮影レンズの焦点距離よりも大きくすることで、円筒座標変換によって有効高さが小さくなるのを抑えている。これにより、本実施形態によれば、撮影方向を順次変更して撮影した複数の画像を円筒座標変換して合成する場合において、焦点距離の短いレンズを用いた際の広い画角を維持した合成画像を生成可能となる。

＜第２の実施形態＞
次に第２の実施形態について説明する。第２の実施形態に係る撮像装置の構成等は前述同様であるため、その図示と説明は省略する。
前述した第１の実施形態では、図６のフローチャートで説明したように、ジャイロ情報を基にスイング量（移動量）を算出し、その移動量に基づいて仮想円筒の半径を決定していた。これに対し、第２の実施形態では、撮影された画像から移動量を算出し、その移動量に基づいて仮想円筒の半径を決定する。図８には、パノラマ撮影された画像から隣接撮影方向間の移動量を算出し、その移動量に基づいて仮想円筒の半径を決定する処理を含む第２の実施形態のフローチャートを示す。なお、図８においてＳ８０１～Ｓ８０５は前述のＳ６０１～Ｓ６０５と同様であり、またＳ８０７はＳ６０６と、Ｓ８０８はＳ６０９と、Ｓ８１３～Ｓ８１９はＳ６１２～Ｓ６１９と概ね同様の処理であるため、それらの詳細な説明は省略する。以下、図６のフローチャートとは異なる処理を主に説明する。

図８のフローチャートの場合、マイコン１２３は、Ｓ８０５における歪曲補正処理の後、Ｓ８０６に処理を進める。
Ｓ８０６において、マイコン１２３は、撮影レンズ１０１の実焦点距離を仮想円筒の半径に決定し、１枚目の画像について、幾何変換回路１１６ｅによる円筒座標変換を行わせる。なお、Ｓ８０６における円筒座標変換は、後述するＳ８１０で行われる移動量算出において正確な移動量を算出するために行われる。このＳ８０６の後は、Ｓ８０７において前述のＳ６０６と同様に２枚目以降の撮影が行われ、次のＳ８０８において前述のＳ６０９と同様に歪曲補正処理が行われる。

Ｓ８０８の後のＳ８０９において、マイコン１２３は、２枚目以降の画像についても、撮影レンズ１０１の実焦点距離を仮想円筒の半径に決定し、画像処理回路１１６の幾何変換回路１１６ｅによる円筒座標変換を行わせる。このＳ８０９における円筒座標変換も、Ｓ８０６と同様に、後述するＳ８１０で行われる移動量算出で正確な移動量を算出するために行われる。

次にＳ８１０において、移動量算出回路１１６ｃは、前述のように実焦点距離に対応した仮想円筒半径を用いて円筒座標変換がなされた後のＮ枚目（今回）の画像とＮ－１枚目（前回）の画像とを用い、前述のＳ６１２と同様にして移動量を算出する。

次にＳ８１１において、マイコン１２３は、Ｓ８１０で画像から算出した移動量を基に、前述した第１の実施形態と同様にして、仮想円筒の半径を算出する。すなわち、第１の実施形態と同様に、焦点距離ｆを仮想円筒の半径Ｒにした場合と、仮想円筒の半径Ｒを焦点距離ｆよりも大きくした場合とで、画像の上下端で実質的な差が生じない範囲で、つまり閾値未満となる場合に、仮想円筒の半径を大きくする。

次にＳ８１２において、幾何変換回路１１６ｅでは、Ｓ８１１で算出された仮想円筒半径を用い、図６のＳ６１１と同様にして円筒座標変換を行う。すなわち、幾何変換回路１１６ｅでは、順次撮影された各画像に対し、Ｓ８１１で算出された仮想円筒半径を用いた円筒座標変換を行う。

次にＳ８１３において、移動量算出回路１１６ｃは、Ｓ８１２で円筒座標変換がなされた後のＮ枚目（今回）の画像とＮ－１枚目（前回）の画像とを用い、前述のＳ６１２と同様にして移動量を再算出する。Ｓ８１３で移動量の再計算を行うのは、Ｓ８１０で算出した移動量が実焦点距離の仮想円筒半径で円筒座標変換した画像から得られており、その時の仮想円筒半径はＳ８１１で算出した仮想円筒半径とは異なり、その結果、移動量も異なってくるからである。そのため、スイングの速度が速い場合など、Ｓ８０９とＳ８１２で円筒座標変換に用いた仮想円筒半径が同じかもしくは許容できる範囲の差である場合には、Ｓ８１３の再計算は省略可能である。また円筒座標変換の違いを考慮して、Ｓ８０９で算出した移動量（アフィン変換の係数）を変換しても良い。

その後、Ｓ８１４～Ｓ８１９では、前述のＳ６１３～Ｓ６１８と同様にして、位置合わせ、合成、終了判定、圧縮、保存、さらにパノラマ撮影の終了までの各処理が行われる。

以上説明したように、第２の実施形態では、撮影された各画像から、スイング時における隣接撮影方向間の移動量を算出し、その移動量を基に仮想円筒の半径を決定している。第２の実施形態の場合も第１の実施形態と同様に、仮想円筒の半径を撮影レンズ１０１の焦点距離よりも大きくすることにより、円筒座標変換によって有効高さが小さくなるのを最小限に抑えることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本実施形態は、特に撮像センサや撮影レンズなどを備えず、ＳＤカード等の外部メモリから画像と撮影時のレンズ情報を取得して合成する画像処理装置や、これらの処理をコンピュータ上で動作させるためのプログラム、あるいは記録媒体にも適用可能である。また、実施形態に係る撮像装置はデジタルカメラだけでなく、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、車載カメラ、工業用カメラなどにも適用可能である。

本実施形態では、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶ないし記録媒体を、画像処理装置に供給することでも実現できる。算出部のコンピュータ（または、ＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出して前述した機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラム、これを格納した記憶媒体は本発明を構成することになる。本発明のプログラムは、所定の結像光学系と所定の撮像部、コンピュータを備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとすることができる。本発明のコンピュータは、記憶媒体の他、インターネットを通じて頒布することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮影レンズ、１１２：撮像センサ、１１６：画像処理回路、１１６ｃ：移動量算出回路、１１６ｄ：位置合わせ回路、１１６ｅ：幾何変換回路、１１６ｆ：変倍回路、１１６ｊ：合成回路、１１６ｋ：現像回路、１１６ｌ：圧縮・伸長回路、１２３：マイクロコンピュータ、１３３：ジャイロセンサ

Claims (15)

1. 撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で共通領域を含むように撮影された複数の画像を取得する取得手段と、
   仮想円筒の半径を決定する決定手段と、
   前記複数の各画像を、前記仮想円筒に投影された画像に円筒座標変換する変換手段と、
   隣接する撮影方向間の移動量を検出する検出手段と、
   前記検出された移動量に基づいて、前記円筒座標変換された各画像の位置合わせを行う位置合わせ手段と、
   前記位置合わせが行われた各画像の前記共通領域を重ね合わせて各画像を順次つなぐように合成する合成手段と、を有し、
   前記決定手段は、前記仮想円筒の半径を前記撮像装置が有する撮影レンズの焦点距離よりも大きい半径に決定することを特徴とする画像処理装置。
2. 前記決定手段は、少なくとも、前記移動量と、前記撮影レンズの焦点距離とを基に、前記仮想円筒の半径を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記移動量が第１の閾値よりも小さい場合に、前記仮想円筒の半径を前記焦点距離より大きい半径に決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記撮影レンズの焦点距離を前記仮想円筒の半径にして前記円筒座標変換を行う場合と、前記仮想円筒の半径を前記撮影レンズの焦点距離より大きい半径にして前記円筒座標変換を行う場合とで、前記合成における前記画像の境界での位置ずれが第２の閾値未満となる場合に、前記仮想円筒の半径を前記焦点距離よりも大きい半径に決定することを特徴とする請求項２に記載の画像処理装置。
5. 前記決定手段は、
   画像の高さをｈ［ｐｉｘ］、画素ピッチをｐ［μｍ］、前記仮想円筒の半径をＲ［ｍｍ］、前記焦点距離をｆ［ｍｍ］、前記移動量を表すベクトルのＸ成分をｘ［ｐｉｘ］としたとき、
   (ｈ／２)・ｘ・cos｛arctan(ｘ・ｐ／Ｒ／1000)／２｝の式と、
   (ｈ／２)・ｘ・cos｛arctan(ｘ・ｐ／ｆ／1000)／２｝の式と
   の差が第２の閾値未満となる場合に、前記仮想円筒の半径を前記の焦点距離よりも大きい半径に決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記撮影レンズの焦点距離が第３の閾値よりも小さい場合に、前記仮想円筒の半径を前記焦点距離よりも大きい半径に決定する処理を実行することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記画像ごとに前記仮想円筒の半径を異ならせることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、１枚目に撮影された画像と最後に撮影された画像との少なくともいずれかの画像と、前記１枚目と前記最後の間に撮影された各画像とで、前記仮想円筒の半径を異ならせることを特徴とする請求項７に記載の画像処理装置。
9. 前記検出手段は、前記撮像装置が有する角速度センサからの情報を取得し、前記角速度センサの情報に基づいて、前記移動量を算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記検出手段は、隣接した撮影方向で撮影された画像の特徴点を基にさらに移動量を算出し、
    前記位置合わせ手段では、前記角速度センサの情報を基に算出された前記移動量と、前記特徴点を基に算出された移動量との差が、第４の閾値未満である場合に、前記特徴点を基に算出された移動量を用いて前記位置合わせを行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記検出手段は、隣接した異なる撮影方向で撮影された画像の特徴点と、前記撮影レンズの焦点距離と、前記撮像装置が有する撮像素子のサイズおよび画素数の情報とを基に、前記移動量を算出することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 前記検出手段は、前記焦点距離を前記半径とした仮想円筒による前記円筒座標変換が行われた後の前記画像の特徴点を基に移動量を算出し、
    前記決定手段は、前記算出された移動量と、前記焦点距離と、前記撮像素子のサイズおよび画素数の情報とを基に、前記焦点距離よりも大きい前記仮想円筒の半径を決定し、
    さらに前記検出手段は、前記決定された半径の仮想円筒による前記円筒座標変換が行われた後の前記画像の特徴点を基に前記移動量を再計算することを特徴とする請求項１１に記載の画像処理装置。
13. 撮影レンズによる光学像を撮像する撮像素子と、
    所定の時間ごとに連続して画像を撮像する制御を行う制御手段と、
    請求項１から１２のいずれか１項に記載の画像処理装置と、
    を有することを特徴とする撮像装置。
14. 撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で共通領域を含むように撮影された複数の画像を取得する取得工程と、
    仮想円筒の半径を決定する決定工程と、
    前記複数の各画像を、前記仮想円筒に投影された画像に円筒座標変換する変換工程と、
    隣接する撮影方向間の移動量を検出する検出工程と、
    前記検出された移動量に基づいて、前記円筒座標変換された各画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせが行われた各画像の前記共通領域を重ね合わせて各画像を順次つなぐように合成する合成工程と、を有し、
    前記決定工程では、前記仮想円筒の半径を前記撮像装置が有する撮影レンズの焦点距離よりも大きい半径に決定することを特徴とする画像処理装置の画像処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images