JPH09322040A

JPH09322040A - 画像生成装置

Info

Publication number: JPH09322040A
Application number: JP8133646A
Authority: JP
Inventors: Tatsushi Katayama; 達嗣片山; Kotaro Yano; 光太郎矢野; Hideo Takiguchi; 英夫滝口; Kenji Hatori; 健司羽鳥
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-05-28
Filing date: 1996-05-28
Publication date: 1997-12-12
Anticipated expiration: 2016-05-28
Also published as: JP3817302B2

Abstract

(57)【要約】【課題】常に高画質のパノラマ画像を簡便に得る画像
生成装置を提供する。【解決手段】撮影手段１１０で隣り合う画面の一部が
重複するように複数画面に分割して撮影する際の撮影条
件を検出手段１９０により検出する。記憶手段１３０
は、撮影手段１１０により得られた一連の複数の画像を
記憶すると共に、検出手段１９０により得られた撮影条
件を各画像に対応させて記憶する。画像合成手段１７２
は、各画像に対応する撮影条件に基づいて、複数の合成
手段を適応的に切り換えて合成画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パノラマ撮影モー
ドを有する電子カメラシステム等に用いて好適な画像生
成装置に関し、特に、画像の一部が重複する複数の画像
を接合させてパノラマ画像を生成する画像生成装置に関
するものである。

【０００２】

【従来の技術】従来より、画界の一部が重複するように
撮影して得られた複数の画像を合成してパノラマ画像
（以下、合成画像とも言う）を生成する画像生成装置と
して、例えば、特開平５−１２２６０６に開示されてい
る画像合成処理装置がある。この画像合成処理装置は、
接合すべき複数の画像を互いに一部重複するように撮影
し、接合される画像の端部の領域の輝度差又は色度差を
求め、輝度差又は色度差が「０」もしくは最小値を取る
領域を重複するように連結することにより画像を合成す
る装置である。これにより、上記画像合成処理装置は、
複数の画像を接合するための撮像装置や撮像対象を精密
に移動させて位置決めする必要がないため簡便で、しか
も画像間に輝度差又は色度差を用いて連結位置を求める
ため、正確に連結性を失うことなく画像を合成すること
ができる。

【０００３】また、上述のような画像生成装置におい
て、画界の一部が重複するように撮影して得られた複数
の画像から画角の広いパノラマ画像を生成する場合、２
つの画像の重複する領域内の同一な点が一致するように
アフィン変換等の幾何学変換を行って２つの画像を平面
上で連結する、という処理が行われる。具体的に説明す
ると、まず、カメラを水平方向にパンニングして２つの
画像を撮影する場合、図３５に示すように、カメラレン
ズの被写体側の主点Ｏをパンニング動作の際に略一致さ
せるようにして撮影する。ここで、上記図３５におい
て、Ｉ１，Ｉ２は、各々パンニング動作前後の撮像面で
あり、ｈ１はパンニング動作前に撮影した画像の水平方
向の視野、ｈ２はパンニング動作後に撮影した画像の水
平方向の視野である。そこで、カメラレンズの水平視野
の角度を「θ」とすると、撮像面Ｉ１，Ｉ２から各々左
右に「θ」の広さの視野の画像が得られる。したがっ
て、２つの画像の重複する角度を「α」とすると、２つ
の画像から得られる画像の水平方向の視野は、（２θ−
α）となる。このとき、２つの撮像面Ｉ１，Ｉ２に対し
て略均等な角度でカメラの前に長方形の枠がある平面が
存在する場合、２つの撮像面Ｉ１，Ｉ２の画像は、図３
６に示すような画像ａ，ｂとなる。この２つの画像ａ，
ｂにマフィン変換処理を行い、例えば、拡大及び画像平
面内での回転を含まない平行移動のみで２つの画像ａ，
ｂを合成すると、図３７に示すような合成画像ａｂが得
られる。

【０００４】しかし、上述のようにして得られた合成画
像ａｂは、上記図３７に示すように、重複部分Ｐ_abにお
いて枠線が二重に生じてしまい、不自然な画像になって
しまっていた。これは、撮影時での２つの撮像面Ｉ１，
Ｉ２が空間的に１つの平面内に存在しないため、画像平
面内での平行移動、拡大及び画像平面内での回転では、
正確に画像を合成できないためである。

【０００５】そこで、上述のような重複部分Ｐ_abでの画
像の不自然さを解消するために、特開平５−１４７５１
には、画像の一部が重複するように撮影して得られた複
数の画像を円柱面上に投影して幾何学変換することによ
り画像を合成するパノラマ画像取り込み装置が開示され
ている。このパノラマ画像取り込み装置によれば、２つ
の撮像面Ｉ１，Ｉ２の各画像ａ，ｂを一旦共通の円柱面
上に投影変換することにより、重複部分Ｐａｂで枠線が
２重に生じる様なことなく、不自然さのない合成画像を
得ることができる。

【０００６】

【発明が解決しようとする課題】しかしながら、各画像
の重複部の輝度差又は色度差が「０」もしくは最小値を
取る領域を接合して各画像を合成するような従来の画像
生成装置は、輝度差又は色度差が「０」もしくは最小値
を取る領域を単純に接合していたため、接合する画像に
対して接合される画像が回転している画像であったり、
接合する画像と接合される画像の間に倍率比が生じてい
る場合には、合成画像の画質が著しく低下してしまって
いた。

【０００７】また、各画像を円柱面に投影し幾何学変換
して各画像を合成するような従来の画像生成装置は、例
えば、水平方向及び垂直方向の両方向にパンニンングし
て撮影して得られた複数の画像を合成した場合、平行移
動のみを行って得られた上記図３７の合成画像ａｂと同
様に、合成画像の重複部分において枠線が二重に生じる
ような不自然な画像となってしまっていた。例えば、長
方形の枠を４回のフレーミングで撮影した場合、図３８
に示すような４つの画像ｃ１〜ｃ４が得られる。そこ
で、円柱面上への画像の投影は行わずに平行移動のみで
画像ｃ１〜ｃ４を合成すると、図３９に示すように、重
複部分Ｐｃにおいて枠線が二重に生じるような不自然な
合成画像ｃとなり、一旦円柱面上への画像の投影を行っ
て平行移動して画像ｃ１〜ｃ４を合成した場合も、図４
０に示すように、重複部分Ｐｃ’において枠線が二重に
生じるような不自然な合成画像ｃ’となってしまってい
た。また、このことは、パンして撮影して得られた２つ
の画像を水平方向に合成する場合においても、撮影時に
多少のカメラのチルトが生じた場合には合成画像の重複
部分において枠線が二重に生じるような不自然な画像に
なってしまうことを意味している。

【０００８】そこで、本発明は、上記の欠点を除去する
ために成されたもので、常に高画質のパノラマ画像を簡
便に得る画像生成装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明に係る画像生成装
置は、画面の一部が重複するように被写体像を複数画面
に分割して撮影し、上記撮影手段で得られた一連の複数
の画像を合成して合成画像を生成する画像生成装置であ
って、撮影時の撮影条件を検出する検出手段と、上記撮
影手段で得られた複数の画像と共に各画像に対応して上
記検出手段により検出された撮影条件を記憶する記憶手
段と、上記記憶手段に記憶された一連の複数の画像を合
成して合成画像を生成する画像合成手段と、上記画像合
成手段を制御する制御手段とを備え、上記画像合成手段
は、上記撮影条件に対応した複数の合成手段からなり、
上記制御手段は、各画像に対応する撮影条件に基づいて
上記複数の合成手段を選択的に切り替え、上記制御手段
により選択的に切り替えられた合成手段は、一連の複数
の画像を合成することを特徴とする。また、本発明に係
る画像生成装置は、上記画像合成手段に、各画像の重複
部分における対応点を検出する対応点検出手段と、各画
像に座標変換処理を施して合成画像を生成する座標変換
手段と、上記対応点検出手段で検出された対応点に基い
て撮影パラメータを生成するパラメータ生成手段とを設
け、上記座標変換手段は、上記パラメータ生成手段で生
成された撮影パラメータを用いて上記座標変換処理を行
うことを特徴とする。また、本発明に係る画像生成装置
は、上記検出手段により、撮影条件として撮影時の焦点
位置情報を検出し、上記画像合成手段は、近距離撮影に
より得られた一連の複数の画像を合成する近距離合成手
段と、遠距離撮影により得られた一連の複数の画像を合
成する遠距離合成手段とを備え、上記制御手段は、各画
像に対応する焦点位置情報により合成する一連の複数の
画像が近距離撮影により得られたものであるか遠距離撮
影により得られたものであるかを判別し、その判別結果
に基づいて上記近距離合成手段と上記遠距離合成手段を
選択的に切り替えることを特徴とする。また、本発明に
係る画像生成装置は、上記画像合成手段に、各画像に対
応する撮影条件に基づいて各画像の重複部分の画素値を
変換する変換手段を設けることを特徴とする。また、本
発明に係る画像生成装置は、上記検出手段により、撮影
条件として撮影時の露出情報を検出し、上記変換手段
は、各画像に対応する露出情報に基づいて各画像の重複
部分の濃度レベルを補正することを特徴とする。また、
本発明に係る画像生成装置は、上記画像合成手段に、各
画像に対応する撮影条件に基づいて各画像を球面上に投
影変換して球面投影画像を生成する球面投影変換手段を
設け、上記球面投影変換手段で得られた複数の球面投影
画像を合成することを特徴とする。また、本発明に係る
画像生成装置は、上記球面投影変換手段により、撮影時
の焦点位置を中心とする球面に投影変換することを特徴
とする。また、本発明に係る画像生成装置は、上記画像
合成手段に、上記球面投影変換手段で得られた複数の球
面投影画像を合成した合成画像を平面上に投影変換して
平面投影合成画像を生成する平面投影変換手段を設ける
ことを特徴とする。また、本発明に係る画像生成装置
は、上記画像合成手段に、処理対象となる画像が上記球
面投影画像であるか上記平面投影合成画像であるかを示
す投影面タイプ情報を上記画像に付加する付加手段を設
けることを特徴とする。また、本発明に係る画像生成装
置は、上記画像合成手段に、上記球面投影変換手段で得
られた複数の球面投影画像を合成した合成画像の視野に
応じて、上記合成画像と上記平面投影合成画像を選択的
に切り換えて出力する出力手段を設けることを特徴とす
る。また、本発明に係る画像生成装置は、上記撮影手段
に、複数の撮像手段を設け、上記検出手段により検出さ
れた撮影条件に基づいて上記複数の撮像手段の各光軸の
向きを制御する光軸制御手段とを備えることを特徴とす
る。また、本発明に係る画像生成装置は、複数の撮影画
像を合成して一枚の画像を生成する画像生成装置であっ
て、パノラマ撮影モードを設定する手段と、装置の角度
を検出する手段と、パノラマ撮影モードにより撮影して
得られた複数の撮影画像と共に上記角度の情報を保持す
る手段と、上記複数の撮影画像を合成する手段を備え、
上記複数の撮影画像を合成する際に、上記角度の情報に
基づいて適応的に合成方式を切り換えることを特徴とす
る。また、本発明に係る画像生成装置は、複数の撮影画
像を合成して一枚の画像を生成する画像生成装置であっ
て、パノラマ撮影モードを設定する手段と、装置の位置
を検出する手段と、パノラマ撮影モードにより撮影して
得られた複数の撮影画像と共に上記位置の情報を保持す
る手段と、上記複数の撮影画像を合成する手段を備え、
上記複数の撮影画像を合成する際に、上記位置の情報に
基づいて適応的に合成方式を切り換えることを特徴とす
る。

【００１０】

【作用】本発明によれば、撮影手段で被写体像を撮影す
る際の撮影条件を検出手段により検出する。記憶手段
は、上記撮影手段により得られた一連の複数の画像を記
憶すると共に、上記検出手段により得られた撮影条件を
各画像に対応させて記憶する。そして、制御手段は、各
画像に対応する撮影条件に基づいて、複数の合成手段を
適応的に切り換える。これにより、合成する一連の複数
の画像に対して、適切な合成手段が選択され、適切な合
成処理が行われる。また、本発明によれば、対応点検出
手段は、合成する一連の複数の画像の重複部分における
対応点を検出する。パラメータ生成手段は、座標変換手
段で合成処理を行う際に用いる撮影パラメータを、上記
対応点検出手段で検出された対応点に基づいて生成す
る。そして、上記座標変換手段は、上記パラメータ生成
手段で得られた撮影パラメータを用いて合成処理を行
う。また、本発明によれば、上記検出手段は、撮影条件
として撮影時の焦点位置情報を検出する。したがって、
上記記憶手段には、各画像に対応して焦点位置情報が記
憶される。上記制御手段は、合成する一連の複数の画像
に対応した焦点位置情報により、それらの画像が近距離
撮影により得られたものであるか、又は遠距離撮影によ
り得られたものであるかを判定する。そして、制御手段
は、その判定結果により、近距離撮影であった場合には
近距離合成手段を選択し、遠距離撮影であった場合には
遠距離合成手段を選択する。これにより、近距離撮影で
得られた一連の複数の画像は、上記近距離合成手段で適
切な合成処理により合成され、遠距離撮影で得られた一
連の複数の画像は、上記遠距離合成手段で適切な合成処
理により合成される。また、本発明によれば、変換手段
は、合成する一連の複数の画像に対応する撮影条件に基
づいて、各画像の重複部分の画素値を変換する。これに
より、隣り合う各画像の連結部付近の画像が変換され
る。また、本発明によれば、上記検出手段は、撮影条件
として撮影時の露出情報を検出する。したがって、上記
記憶手段には、各画像に対応して焦点位置情報が記憶さ
れる。上記変換手段は、合成する一連の複数の画像に対
応する露出情報に基づいて、各画像の重複部分の濃度レ
ベルを補正する。また、本発明によれば、上記画像合成
手段は、合成する一連の複数の画像に対応する撮影条件
に基づいて、球面投影変換手段により得られた複数の球
面投影画像を合成する。また、本発明によれば、上記球
面投影変換手段は、撮影時の焦点位置を中心とする球面
に各画像を投影変換して、合成する複数の球面投影画像
を生成する。また、本発明によれば、上記画像合成手段
は、上記球面投影変換手段で得られた複数の球面投影画
像を合成し、平面投影変換手段により、その合成画像を
再度平面上に投影変換して平面投影合成画像を生成す
る。また、本発明によれば、付加手段は、上記球面投影
変換手段で得られた画像には、球面投影画像であること
を示す投影面タイプ情報を付加し、上記平面投影変換手
段で得られた画像には、平面投影合成画像であることを
示す投影面タイプ情報を付加する。また、本発明によれ
ば、上記画像合成手段は、上記球面投影変換手段で得ら
れた複数の球面投影画像を合成し、その合成画像の視野
に応じて、出力手段により上記合成画像と上記平面投影
合成画像を選択的に切り換えて出力する。また、本発明
によれば、光軸制御手段は、上記検出手段により検出さ
れた撮影条件に基づいて複数の撮像手段の各光軸の向き
を制御する。したがって、上記複数の撮像手段により、
画像の一部が重複するように分割して撮影される。ま
た、本発明によれば、装置の角度を検出し、その角度の
情報をパノラマ撮影モードにより撮影して得られた各画
像と共に保持する。そして、各画像を合成する際には、
上記角度の情報に基づいて、適応的に合成方式を切り換
える。これにより、装置の角度に対して最適な合成方式
で画像合成処理が行われる。また、本発明によれば、装
置の位置を検出し、その位置の情報をパノラマ撮影モー
ドにより撮影して得られた各画像と共に保持する。そし
て、各画像を合成する際には、上記位置の情報に基づい
て、適応的に合成方式を切り換える。これにより、装置
の位置に対して最適な合成方式で画像合成処理が行われ
る。

【００１１】

【発明の実施の形態】まず、本発明の第１の実施の形態
について図面を用いて説明する。

【００１２】本発明に係る画像生成装置は、例えば、図
１に示すような電子カメラシステム１００に適用され
る。この電子カメラシステム１００は、例えば、撮影し
た被写体のＲＧＢ成分の輝度情報としての各画素データ
が二次元配列のディジタル画素データとして得られる電
子スチルカメラからなる。また、電子カメラシステム１
００において、画像合成処理部１７２は、計算機からな
り、この画像合成処理部１７２は、予め設定されたプロ
グラムに従って動作するようになされている。さらに、
画像合成処理部１７２は、外部記憶装置である画像メモ
リ１３０を有しており、画像メモリ１３０は、上記ディ
ジタル画素データを記憶するようになされている。

【００１３】すなわち、電子カメラ１００は、上記図１
に示すように、撮像部１１０と、撮像部１１０の出力が
供給される映像信号処理部１０７と、映像信号処理部１
０７の出力が各々供給される画像メモリ１３０、合焦検
出部１４２及び露出検出部１４３と、映像信号処理部１
０７と接続されたホワイトバランス検出部１４１及び信
号処理ユニット１９０と、信号処理ユニット１９０の出
力が供給されるコントローラ１２０と、コントローラ１
２０の出力が各々供給されるズーム制御部１２１、フォ
ーカス制御部１２２、絞り制御部１２３、シャッタ制御
部１２４及びフラッシュ制御部１２５と、信号処理ユニ
ット１９０に接続された撮影モード設定部１６０及び入
出力インターフェース（Ｉ／Ｆ）部１７０と、Ｉ／Ｆ部
１７０の出力が供給される画像合成処理部１７２と、画
像合成処理部１７２の出力が供給される表示部１７３と
を備えており、信号処理ユニット１９０の出力は撮像部
１１０及び画像メモリ１３０にも供給され、合焦検出部
１４２及び露出検出部１４３の各出力は信号処理ユニッ
ト１９０に供給され、画像メモリ１３０の出力はＩ／Ｆ
部１７０に供給されるようになされている。また、電子
カメラシステム１００は、フラッシュ制御部１２５によ
り制御されるフラッシュ１０９と、レリーズボタン検出
部１５０とを備えており、レリーズボタン検出部１５０
の出力は信号処理ユニット１９０に供給されるようにな
されている。そして、撮像部１１０は、被写体側から順
次設けられた撮像レンズ１０１、絞り１０２、シャッタ
１０８及び撮像素子１０３と、撮像素子１０３の出力が
供給される増幅器１０４と、増幅器１０４の出力が供給
される自動利得制御（ＡＧＣ）回路１０５と、ＡＧＣ回
路１０５の出力が供給されるアナログ／ディジタル（Ａ
／Ｄ）変換器１０６とを備えており、ＡＧＣ回路１０５
に信号処理ユニット１９０の出力が供給され、Ａ／Ｄ変
換器１０６の出力は映像信号処理部１０７に供給される
ようになされている。

【００１４】上述のような電子カメラシステム（以下、
単に電子カメラと言う）１００は、撮影モード設定部１
６０を操作することにより、通常撮影モード及びパノラ
マ撮影モードを設定することができるようになされてい
る。

【００１５】そこで、まず、電子カメラ１００がパノラ
マ撮影モードに設定され、近距離の対象物、又は遠距離
の対象物をパノラマ撮影する場合についての概略を説明
する。

【００１６】例えば、電子カメラ１００で図２に示すよ
うな近距離の原稿１０を撮影する場合、図３に示すよう
に、先ず、電子カメラ１００を位置Ｐ１１に設置して原
稿１０の領域Ｒ１１を撮影し、次に、電子カメラ１００
を位置Ｐ１２に設置して原稿１０の領域Ｒ１２を撮影す
る。このとき、領域Ｒ１１と領域Ｒ１２を互いに一部が
重複するように撮影する。したがって、位置Ｐ１１での
撮影では、図４に示すような画像Ｉ１１が得られ、位置
Ｐ１２での撮影では、同図に示すような画像Ｉ１２が得
られる。ここで、電子カメラ１００では、近距離の対象
物をパノラマ撮影する（以下、近距離パノラマ撮影と言
う）場合、電子カメラ１００を移動する際のパラメータ
として、上記図３に示すように、上下左右の並進Δｘ及
びΔｙと、光軸回りの回転角θと、光軸に沿った並進に
よる倍率の変化ｆとを用い、画像Ｉ１１と画像Ｉ１２を
合成する際、上記パラメータに基づいて座標変換処理を
行うことにより、図５に示すような合成画像Ｉ１３を得
ることができるようになされている。

【００１７】一方、電子カメラ１００で図６に示すよう
な遠距離の風景２０をパノラマ撮影する場合、近距離パ
ノラマ撮影時とは異なり、電子カメラ１００を上下左右
に並進させても撮影領域は殆どかわらない。このため、
上記図６に示すように、先ず、電子カメラ１００を位置
Ｐ２１に設置した状態において、座標系ＸＹＺ、各座標
軸まわりの回転角を「Ψ」、「Φ」及び「θ」とし、Ｙ
軸まわりの回転（パン）あるいはＸ軸まわりの回転（チ
ルト）の動作を行うことにより、風景２０の領域Ｒ２１
を撮影する。また、位置Ｐ２２及びＰ２３においても、
位置Ｐ２１の場合と同様にして、パンあるいはチルト動
作を行うことにより、風景２０の領域Ｒ２２及びＲ２３
を撮影する。このとき、領域Ｒ２１と領域Ｒ２２を互い
に一部が重複するように、また、領域Ｒ２２と領域Ｒ２
３を互いに一部が重複するように撮影する。したがっ
て、位置Ｐ２１での撮影では、図７に示すような画像Ｉ
２１が得られ、位置Ｐ２２での撮影では、同図に示すよ
うな画像Ｉ２２が得られ、位置Ｐ２３での撮影では、同
図に示すような画像Ｉ２３が得られる。ところで、遠距
離の対象物をパノラマ撮影する（以下、遠距離パノラマ
撮影と言う）場合、電子カメラ１００をパンしながら撮
影するため、上記図７に示すように、風景２０の中央の
領域Ｒ２２に対応した画像Ｉ２２を基準とした場合、風
景２０の両端の領域Ｒ２１、Ｒ２３に対応した画像Ｉ２
１及びＩ２３の被写体像に点線Ｌ２１及びＬ２３で示す
台形状の歪みが発生する。このような台形状の歪みは、
近距離パノラマ撮影時の画像合成処理では一般には考慮
されていないため、近距離パノラマ撮影時の画像合成処
理と同様にして３つの画像Ｉ２１〜Ｉ２３を合成する
と、画質劣化が生じた合成画像が得られることとなる。
そこで、この電子カメラ１００では、遠距離パノラマ撮
影時には、電子カメラ１００を移動する際のパラメータ
として、各座標軸まわりの回転角Ψ、Φ及びθを用い、
３つの画像Ｉ２１〜Ｉ２３を合成する際、上記パラメー
タに基づいて座標変換処理を行うことにより、図８に示
すような台形状の歪みのない合成画像Ｉ２４を得ること
ができるようになされている。

【００１８】すなわち、電子カメラ１００は、パノラマ
撮影モード設定時において、撮影状態が近距離パノラマ
撮影又は遠距離パノラマ撮影であるかを判別し、その判
別結果に応じた画像合成処理を行うようになされてい
る。

【００１９】以下、上記図１を用いて、電子カメラ１０
０について具体的に説明する。

【００２０】先ず、被写体像は、撮像レンズ１０１によ
り、絞り１０２を介して撮像素子１０３の受光面に投影
される。このとき、撮像レンズ１０１のズーム位置及び
フォーカス位置は、ズーム制御部１２１及びフォーカス
制御部１２２により制御され、絞り１０２の絞り量は、
絞り制御部１２３により制御される。

【００２１】撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ
ｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）等からなり、受光
した被写体像を電気信号に変換して増幅器１０４に供給
する。増幅器１０４は、撮像素子１０３からの電気信号
（以下、映像信号と言う）を増幅してＡＧＣ回路１０５
に供給する。ＡＧＣ回路１０５は、信号処理ユニット１
９０からの制御信号に基づいて、増幅器１０４からの映
像信号を増幅又は減衰してＡ／Ｄ変換器１０６に供給す
る。Ａ／Ｄ変換器１０６は、ＡＧＣ回路１０５からの映
像信号をディジタル化して画像データとして映像信号処
理部１０７に供給する。このとき、信号処理ユニット１
９０は、映像信号処理部１０７に供給された画像データ
の信号レベルを検出し、検出した信号レベルが所定のレ
ベルより低い場合には、ＡＧＣ回路１０５で映像信号に
与える利得が上がるような制御信号を生成してＡＧＣ回
路１０５に供給し、検出した信号レベルが所定のレベル
より高い場合には、ＡＧＣ回路１０５で映像信号に与え
る利得が下がるような制御信号を生成してＡＧＣ回路１
０５に供給する。これにより、ＡＧＣ回路１０５から出
力される映像信号は、映像信号処理部１０７で行われる
信号処理に適した所定のレベル幅の信号となる。

【００２２】映像信号処理部１０７は、Ａ／Ｄ変換器１
０６からの画像データに所定の信号処理を施して画像メ
モリ１３０に記憶すると共に、ホワイトバランス検出部
１４１、合焦検出部１４２及び露出検出部１４３に各々
供給する。ホワイトバランス検出部１４１は、映像信号
処理部１０７からの画像データのホワイトバランスの状
態を検出し、その検出結果を映像信号処理部１０７に供
給する。合焦検出部１４２は、映像信号処理部１０７か
らの画像データから撮像レンズ１０１の焦点を検出し、
その検出結果を信号処理ユニット１９０に供給する。露
出検出部１４３は、映像信号処理部１０７からの画像デ
ータから撮像素子１０３における露光量を検出し、その
検出結果を信号処理ユニット１９０に供給する。

【００２３】映像信号処理部１０７は、ホワイトバラン
ス検出部１４１からの検出結果に基づいて、Ａ／Ｄ変換
器１０６からの画像データに対してカラーバランスの調
整を行う。したがって、画像メモリ１３０には、カラー
バランスの調整が行われた画像データが記憶されること
となる。信号処理ユニット１９０は、合焦検出部１４２
及び露出検出部１４３からの各検出結果に基づいて、撮
影条件設定のための制御信号を生成してコントローラ１
２０に供給する。また、信号処理ユニット１９０は、後
述する撮影条件に関する情報を画像メモリ１３０に記憶
する。コントローラ１２０は、信号処理ユニット１９０
からの制御信号に基づいて、ズーム制御部１２１、フォ
ーカス制御部１２２、絞り制御部１２３、シャッタ制御
部１２４及びフラッシュ制御部１２５に各々制御信号を
供給する。

【００２４】したがって、ズーム制御部１２１、フォー
カス制御部１２２及び絞り制御部１２３は、各々、コン
トローラ１２０からの制御信号に基づいて、撮像レンズ
１０１のズーム位置、撮像レンズ１０１のフォーカス位
置、及び絞り１０２の絞り量が適切な状態となるように
制御することとなる。

【００２５】上述のようにして、電子カメラ１００にお
ける撮影条件が適切に設定される。

【００２６】次に、撮影者は、撮影モード設定部１６０
を操作することにより、撮影モードを通常撮影モード又
はパノラマ撮影モードに設定して撮影を開始する。ま
た、撮影者は、レリーズボタン検出部１５０の図示して
いない第１及び第２ストロークを操作することにより、
撮影条件のロック又は撮影の実行を指示する。

【００２７】撮影モード設定部１６０は、撮影者の操作
により、どの撮影モードが設定されたかを検出し、その
検出結果を信号処理ユニット１９０に供給する。レリー
ズボタン検出部１５０は、撮影者の上記第１及び第２ス
トロークの操作により、各ストロークが押し下げられた
かを検出し、各ストロークに対応した２つの第１及び第
２検出信号を信号処理ユニット１９０に供給する。

【００２８】信号処理ユニット１９０は、撮影モード設
定部１６０からの検出結果により、設定された撮影モー
ド応じた制御信号を生成してコントローラ１２０に供給
する。また、信号処理ユニット１９０は、レリーズボタ
ン検出部１５０からの第１検出信号により、第１ストロ
ークが押し下げられたと判断した場合には、撮影条件が
ロックされるような制御信号を生成し、レリーズボタン
検出部１５０からの第２検出信号により、第２ストロー
クが押し下げられたと判断した場合には、シャッタ動作
が行われるような制御信号を生成してコントローラ１２
０に供給する。コントローラ１２０は、信号処理ユニッ
ト１９０からの制御信号に基づいて、ズーム制御部１２
１、フォーカス制御部１２２、絞り制御部１２３、シャ
ッタ制御部１２４及びフラッシュ制御部１２５に各々制
御信号を供給すると共に、シャッタ制御部１２４及びフ
ラッシュ制御部１２５にも供給する。

【００２９】したがって、撮像レンズ１０１のズーム位
置、撮像レンズ１０１のフォーカス位置、及び絞り１０
２の絞り量は、撮影者の操作に応じた状態となる。ま
た、シャッタ制御部１２４がコントローラ１２０からの
制御信号に基づいてシャッタ１０８を制御することによ
り、シャッタ１０８が撮影者の操作に応じたシャッタ速
度に制御され、フラッシュ制御部１２５がコントローラ
１２０からの制御信号に基づいてフラッシュ１０９を制
御することにより、撮影者の操作に応じてフラッシュ１
０９のＯＮ／ＯＦＦ動作が制御される。

【００３０】上述のようにして撮影が開始されると、映
像信号処理部１０７から出力される画像データは、信号
処理ユニット１９０により予め記憶されている撮影条件
と共に、画像メモリ１３０に記憶される。

【００３１】すなわち、画像メモリ１３０には、図９に
示すように、ヘッダ部Ｈとデータ部Ｄからなる画像デー
タが記憶される。ヘッダ部Ｈには、画像データの番号Ｎ
ｏと、撮影モードに応じた識別情報Ｐｘが書き込まれ、
撮影条件に関する情報ｆｃ，ｆｌ，ｓ，ｖが信号処理ユ
ニット１９０により予め書き込まれる。ここで、ヘッダ
部Ｈに書き込む撮影条件に関する情報ｆｃ，ｆｌ，ｓ，
ｖは、例えば、フォーカス情報ｆｃ、焦点距離ｆｌ、絞
りｓ、シャッタ速度ｖとする。一方、データ部Ｄには、
例えば、パノラマ撮影モード設定時に得られた上記図７
に示したような一連の画像Ｉ２１、Ｉ２２、Ｉ２３の各
データが、画像データ番号Ｎｏ２、３、４に対応して書
き込まれる。この場合、ヘッダ部Ｈに書き込まれる識別
情報Ｐｘは、画像Ｉ２１、Ｉ２２、Ｉ２３が一連のパノ
ラマ画像であることを示す識別情報Ｐ１として書き込ま
れる。

【００３２】したがって、画像メモリ１３０に記憶され
た複数の画像データにおいて、識別情報Ｐｘが同一であ
る画像が一組のパノラマ画像となる。これにより、この
電子カメラ１００では、画像メモリ１３０に記憶された
複数の画像データを合成してパノラマ画像を生成する場
合、各画像データに付加されている識別情報Ｐｘを判別
することにより、自動的に画像合成処理を行うことがで
きるようになされている。このような画像合成処理は、
画像合成処理部１７２で行うようになされており、例え
ば、使用者が図示していない画像出力操作部を操作する
ことにより行われる。

【００３３】すなわち、使用者により上記画像出力操作
部が操作されると、上記画像出力操作部は、その操作に
応じた信号を信号処理ユニット１９０に供給する。信号
処理ユニット１９０は、上記画像出力操作部からの信号
に基づいて、例えば、パノラマ画像の出力動作を示す制
御信号を画像メモリ１３０及びＩ／Ｆ回路１７０に各々
供給する。これにより、画像メモリ１３０に記憶されて
いる複数の画像データは、Ｉ／Ｆ回路１７０を介して画
像合成処理部１７２に供給される。

【００３４】画像合成処理部１７２は、例えば、図１０
に示すように、上記図１のＩ／Ｆ回路１７０からの画像
データが入出力（Ｉ／Ｏ）回路１７２ａを介して供給さ
れる画像情報分離部１７２ｆと、画像情報分離部１７２
ｆの出力が供給されるコントローラ１７２ｅ及び画像メ
モリ１７２ｇと、画像メモリ１７２ｇの出力が供給され
る対応点検出部１７２ｂ、近距離撮影座標変換処理部１
７２ｉ及び遠距離撮影座標変換処理部１７２ｊと、近距
離撮影座標変換処理部１７２ｉ及び遠距離撮影座標変換
処理部１７２ｊの各出力が供給される合成画像メモリ１
７２ｈと、対応点検出部１７２ｂの出力が供給されるセ
レクタ１７２ｋと、セレクタ１７２ｋの出力が供給され
る近距離撮影パラメータ抽出部１７２ｃ及び遠距離撮影
パラメータ抽出部１７２ｄとを備えており、近距離撮影
座標変換処理部１７２ｉには近距離撮影パラメータ抽出
部１７２ｃの出力も供給され、遠距離撮影座標変換処理
部１７２ｊには遠距離撮影パラメータ抽出部１７２ｄの
出力も供給されるようになされている。また、コントロ
ーラ１７２ｅは、画像メモリ１７２ｇと対応点検出部１
７２ｂに接続されている。そして、合成画像メモリ１７
２ｈの出力は、Ｉ／Ｏ回路１７２ａを介して上記図１の
表示部１７３等に供給されるようになされている。

【００３５】この画像合成処理部１７２において、先
ず、画像情報分離部１７２ｆは、Ｉ／Ｏ回路１７２ａか
らの画像データ、すなわち上記図９に示したような画像
データをヘッダ部とデータ部に分離し、データ部の情報
（以下、画像情報と言う）を画像メモリ１７２ｇに記憶
すると共に、ヘッダ部の情報（以下、ヘッダ情報と言
う）をコントローラ１７２ｅに供給する。コントローラ
１７２ｅは、画像情報分離部１７２ｆからのヘッダ情報
に基づいて画像合成処理部１７２の各部を制御する。

【００３６】例えば、コントローラ１７２ｅは、画像情
報分離部１７２ｆからのヘッダ情報を基に、パノラマ撮
影で得られた一連の複数の画像情報を画像メモリ１７２
ｇから読み出して対応点検出部１７２ｂに供給する。対
応点検出部１７２ｂは、コントローラ１７２ｅからの複
数の画像情報において、各画像の重複部分の対応点を検
出する。この対応点の検出は、相関法やテンプレートマ
ッチング法等が用いられる。そして、対応点検出部１７
２ｂは、検出した対応点をセレクタ１７２ｋに供給す
る。

【００３７】ここで、上述したように、近距離パノラマ
撮影及び遠距離パノラマ撮影に応じた最適な画像合成処
理を行うために、コントローラ１７２ｅは、処理対象と
なる一連の複数の画像が近距離パノラマ撮影で得られた
ものであるか、又は遠距離パノラマ撮影で得られたもの
であるかを、画像情報分離部１７２ｆからのヘッダ情報
により判別する。

【００３８】すなわち、コントローラ１７２ｅは、例え
ば、画像情報分離部１７２ｆからのヘッダ情報に含まれ
るフォーカス情報ｆｃを用いて、フォーカス情報ｆｃと
所定のしきい値の大小関係を検出し、フォーカス情報ｆ
ｃが所定のしきい値以上であった場合には遠距離パノラ
マ撮影、フォーカス情報ｆｃが所定のしきい値より小さ
い場合には近距離パノラマ撮影であると判別する。そし
て、コントローラ１７２ｅは、その判別結果をセレクタ
１７２ｋに供給する。また、コントローラ１７２ｅは、
上記判別結果に基づいて、上述のようにして画像メモリ
１７２ｇから読み出した一連の複数の画像情報を近距離
撮影座標変換処理部１７２ｉ又は遠距離撮影座標変換処
理部１７２ｊに供給する。セレクタ１７２ｋは、コント
ローラ１７２ｅからの判別結果に応じて、対応点検出部
１７２ｂからの対応点を近距離撮影パラメータ抽出部１
７２ｃ又は遠距離撮影パラメータ抽出部１７２ｄに供給
する。

【００３９】したがって、コントローラ１７２ｅの判別
結果により、処理対象となる一連の複数の画像が近距離
パノラマ撮影で得られたものであった場合、近距離撮影
パラメータ抽出部１７２ｃに対応点検出部１７２ｂで得
られた対応点が供給され、近距離撮影座標変換処理部１
７２ｉに合成する一連の複数の画像情報が供給される。
この場合、近距離撮影パラメータ抽出部１７２ｃは、対
応点検出部１７２ｂからの対応点から、上記図３に示し
たような上下左右の並進Δｘ及びΔｙと、光軸回りの回
転角θと、光軸に沿った並進による倍率の変化ｆとをパ
ラメータとして抽出し、そのパラメータを近距離撮影座
標変換処理部１７２ｉに供給する。近距離撮影座標変換
処理部１７２ｉは、近距離撮影パラメータ抽出部１７２
ｃからのパラメータに基づいて、コントローラ１７２ｅ
により供給された一連の複数の画像情報に座標変換処理
を施して合成画像を生成し、その合成画像を合成画像用
メモリ１７２ｈに書き込む。

【００４０】一方、コントローラ１７２ｅの判別結果に
より、処理対象となる一連の複数の画像が遠距離パノラ
マ撮影で得られたものであった場合、遠距離撮影パラメ
ータ抽出部１７２ｄに対応点検出部１７２ｂで得られた
対応点が供給され、遠距離撮影座標変換処理部１７２ｊ
に合成する一連の複数の画像情報が供給される。この場
合、遠距離撮影パラメータ抽出部１７２ｄは、対応点検
出部１７２ｂからの対応点から、上記図６に示したよう
な各座標軸まわりの回転角Ψ、Φ及びθをパラメータと
して抽出し、そのパラメータを遠距離撮影座標変換処理
部１７２ｊに供給する。遠距離撮影座標変換処理部１７
２ｊは、遠距離撮影パラメータ抽出部１７２ｄからのパ
ラメータに基づいて、コントローラ１７２ｅにより供給
された一連の複数の画像情報に座標変換処理を施して合
成画像を生成し、その合成画像を合成画像用メモリ１７
２ｈに書き込む。

【００４１】したがって、合成画像用メモリ１７２ｈに
は、撮影状況に応じた適切な画像合成処理により得られ
た合成画像が書き込まれ、この合成画像は、Ｉ／Ｏ部１
７２ａを介して上記図１の表示部１７３に供給され、表
示部１７３により画面表示される。

【００４２】上述のように、電子カメラ１００では、撮
影して得られた画像データを画像メモリ１３０に記憶す
る際、撮影モードに応じた識別情報Ｐｘを各画像データ
に対応させて記憶すると共に、撮影時の撮影条件に関す
る情報として、フォーカス情報ｆｃ、焦点距離ｆｌ、絞
りｓ、シャッタ速度ｖ等も各画像データに対応させて記
憶するようになされているため、処理対象となる画像デ
ータがどの撮影モードで撮影されたものであるか、ま
た、パノラマ撮影モードに関しては、撮影状況が近距離
パノラマ撮影であるか遠距離パノラマ撮影であるかを容
易に判別することができる。また、識別情報Ｐｘが同一
であるか否かを判別することにより、画像メモリ１３０
に記憶された複数の画像データから一連のパノラマ画像
を容易に判別することができるため、画像合成処理を自
動的に行うことができる。また、電子カメラ１００で
は、画像合成処理を行う際に、撮影状況に応じて適切な
画像合成処理を自動的に選択するようになされているた
め、近距離パノラマ撮影で得られた複数の画像データに
対して最適な画像合成処理を行うことができ、遠距離パ
ノラマ撮影で得られた複数の画像データに対して最適な
画像合成処理を行うことができる。また、電子カメラ１
００では、合成する複数の画像において、各画像の重複
部分の対応点から撮影パラメータを抽出し、抽出した撮
影パラメータを用いて画像処理を行うようになされてい
るため、使用者は、画像を合成するための特別な操作を
行う必要はない。したがって、電子カメラ１００は、画
像合成する複数の画像が近距離パノラマ撮影された画像
であっても遠距離パノラマ撮影された画像であっても、
画質が劣化することなく、簡便にしかも常に高画質のパ
ノラマ画像を得ることができる。

【００４３】尚、上記図１０の画像合成処理部１７２で
は、合成する画像用の画像メモリ１７２ｇと、合成画像
用の合成画像用メモリ１７２ｈとを各々設けることとし
たが、１つの画像メモリを合成する画像用と合成画像用
で共用するようにしてもよい。また、Ｉ／Ｏ部１７２ａ
から出力される合成画像は、ハードディスク等の記録部
に保存されるようにしてもよい。

【００４４】つぎに、本発明の第２の実施の形態につい
て図面を用いて説明する。

【００４５】本発明に係る画像生成装置は、例えば、図
１１に示すような画像合成処理部１８２を備える電子カ
メラシステムに適用される。この電子カメラシステム
（以下、単に電子カメラと言う）は、上述した電子カメ
ラ１００に設けられた上記図１０の画像合成処理部１７
２の代わりに上記図１１の画像合成処理部１８２を設け
たものである。

【００４６】尚、この電子カメラにおいて、画像合成処
理部１８２の構成及び動作以外は、上述した電子カメラ
１００と同様であるため、画像合成処理部１８２以外の
各部についての詳細な説明は省略する。また、上記図１
１の画像合成処理部１８２において、上記図１０の画像
合成処理部１７２と同様に動作する箇所には同じ符号を
付し、その詳細な説明は省略する。

【００４７】すなわち、画像合成処理部１８２は、上記
図１１に示すように、球面写像変換処理部１８２ａを備
えており、球面写像変換処理部１８２ａには、セレクタ
１７２ｋの出力が供給されるようになされている。ま
た、対応点検出部１７２ｂは、セレクタ１７２ｋの後段
に設けられており、コントローラ１７２ｅ及び画像メモ
リ１７２ｇの各出力がセレクタ１７２ｋに供給され、セ
レクタ１７２ｋの出力が対応点検出部１７２ｂに直接供
給されると共に球面写像変換処理部１８２ａを介して対
応点検出部１７２ｂに供給されるようになされている。
さらに、画像合成処理部１８２では、撮影パラメータ抽
出部及び座標変換処理部としては、近距離撮影パラメー
タ抽出部１７２ｃ及び近距離撮影座標変換処理部１７２
ｉのみが設けられており、対応点検出部１７２ｂの出力
が近距離撮影パラメータ抽出部１７２ｃに供給され、近
距離撮影パラメータ抽出部１７２ｃの出力が近距離撮影
座標変換処理部１７２ｉに供給されるようになされてい
る。したがって、画像メモリ１７２ｇの出力は、近距離
撮影座標変換処理部１７２ｉに供給され、近距離撮影座
標変換処理部１７２ｉの出力が合成画像用メモリ１７２
ｈに供給されるようになされている。

【００４８】以下、画像合成処理部１８２の動作につい
て説明する。

【００４９】先ず、上記図１０の画像合成処理部１７２
と同様にして、画像情報分離部１７２ｆは、Ｉ／Ｏ回路
１７２ａからの画像データをヘッダ部とデータ部に分離
し、画像情報を画像メモリ１７２ｇに記憶すると共に、
ヘッダ情報をコントローラ１７２ｅに供給する。コント
ローラ１７２ｅは、画像情報分離部１７２ｆからのヘッ
ダ情報に含まれるフォーカス情報ｆｃを用いて、処理対
象となる一連の複数の画像が近距離パノラマ撮影で得ら
れたものであるか、又は遠距離パノラマ撮影で得られた
ものであるかを判別し、その判別結果をセレクタ１７２
ｋに供給する。また、コントローラ１７２ｅは、画像情
報分離部１７２ｆからのヘッダ情報に含まれる焦点距離
ｆ１もセレクタ１７２ｋに供給する。

【００５０】セレクタ１７２ｋは、コントローラ１７２
ｅからの判別結果により、処理対象となる一連の複数の
画像が近距離パノラマ撮影で得られたものであった場合
には、その一連の複数の画像情報を画像メモリ１７２ｇ
から読み出して直接対応点検出部１７２ｂに供給する。
一方、処理対象となる一連の複数の画像が遠距離パノラ
マ撮影で得られたものであった場合、セレクタ１７２ｋ
は、その一連の複数の画像情報を画像メモリ１７２ｇか
ら読み出して球面写像変換処理部１８２ａに供給すると
共に、コントローラ１７２ｅからの焦点距離ｆ１を球面
写像変換処理部１８２ａに供給する。

【００５１】したがって、球面写像変換処理部１８２ａ
には、遠距離パノラマ撮影により得られた複数の画像を
合成する場合に、その複数の画像情報及び焦点距離ｆ１
が供給されることとなる。

【００５２】球面写像変換処理部１８２ａは、セレクタ
１７２ｋからの複数の画像情報に対して、球面写像変換
処理を施す。

【００５３】この球面写像変換処理とは、図１２に示す
ように、任意の画像Ｉ３１に接する球面３０を仮定し、
上記図１の撮影レンズ１０１の主点Ｏについて画像Ｉ３
１を球面３０に投影することにより、球面画像Ｉ３２を
生成する処理のことである。

【００５４】そこで、球面写像変換処理部１８２ａに供
給される複数の画像情報を、例えば、任意の位置で遠距
離パノラマ撮影して得られた画像Ｉ３１と、任意の角度
パンニングして得られた画像Ｉ３３とした場合、球面写
像変換処理部１８２ａは、図１３に示すように、セレク
タ１７２ｋからの焦点距離ｆ１を用いて、焦点距離ｆ１
として画像Ｉ３１を球面３０に投影することにより球面
画像Ｉ３２を生成し、また、焦点距離ｆ１として画像Ｉ
３３を球面３０に投影することにより球面画像Ｉ３４を
生成する。

【００５５】したがって、焦点距離ｆ１が同一で、かつ
光軸まわりの回転がない場合、球面写像変換処理部１８
２ａで得られた球面画像Ｉ３２と球面画像Ｉ３４は、球
面３０上で連続しているため、上記図３に示したような
上下左右の並進Δｘ及びΔｙのみを座標変換処理で用い
るパラメータとすることにより、球面画像Ｉ３２と球面
画像Ｉ３４を合成することができる。しかし、実際に
は、焦点距離ｆ１及び光軸まわりの回転θの誤差等があ
るため、ここでは、座標変換処理を行う際に、上下左右
の並進Δｘ及びΔｙと、焦点距離ｆ１と、光軸まわりの
回転θとを上記パラメータとして用いる。すなわち、こ
の電子カメラでは、遠距離パノラマ撮影により得られた
複数の画像を合成する場合にも、上述した近距離パノラ
マ撮影により得られた複数の画像を座標変換する際に用
いたパラメータと同一のパラメータを用いて座標変換処
理を行うことにより、合成画像を得るようになされてい
る。

【００５６】したがって、対応点検出部１７２ｂには、
撮影状況に応じて、セレクタ１７２ｋからの複数の画像
情報、又は球面写像変換処理部１８２ａからの複数の球
面画像の情報が供給される。対応点検出部１７２ｂは、
供給された複数の画像情報において、各画像の重複部分
の対応点を検出し、検出した対応点、及びセレクタ１７
２ｋ又は球面写像変換処理部１８２ａからの複数の画像
情報を近距離撮影パラメータ抽出部１７２ｃに供給す
る。近距離撮影パラメータ抽出部１７２ｃは、対応点検
出部１７２ｂからの対応点から、上記図３に示したよう
な上下左右の並進Δｘ及びΔｙと、光軸回りの回転角θ
と、光軸に沿った並進による倍率の変化ｆとをパラメー
タとして抽出し、抽出したパラメータ及び対応点検出部
１７２ｂからの複数の画像情報を近距離撮影座標変換処
理部１７２ｉに供給する。近距離撮影座標変換処理部１
７２ｉは、近距離撮影パラメータ抽出部１７２ｃからの
パラメータに基づいて、近距離撮影パラメータ抽出部１
７２ｃからの複数の画像情報に座標変換処理を施して合
成画像を生成し、その合成画像を合成画像用メモリ１７
２ｈに書き込む。

【００５７】上述のように、この電子カメラでは、処理
対象となる一連の複数の画像が遠距離パノラマ撮影で得
られたものであった場合、球面写像変換処理部１８２ａ
で球面写像変換処理を行うようになされているため、上
記図７に示したような台形状の歪みの成分が除去された
画像を得ることができる。このため、遠距離パノラマ撮
影で得られた一連の複数の画像を合成する場合も、近距
離パノラマ撮影で得られた複数の画像を合成する場合の
撮影パラメータ抽出処理及び座標変換処理と同一の処理
で高画質の合成画像を得ることができる。したがって、
上記電子カメラは、撮影状況に係わらず常に高画質のパ
ノラマ画像を得ることができる。また、上記電子カメラ
は、遠距離パノラマ撮影用及び近距離パノラマ撮影用と
して各々撮影パラメータ抽出処理部及び座標変換処理部
を設ける必要がないため、装置の構成を簡略化すること
ができる。これは、装置のコストダウンにもつながる。

【００５８】つぎに、本発明の第３の実施の形態につい
て図面を用いて説明する。

【００５９】本発明に係る画像生成装置は、例えば、図
１４に示すような画像合成処理部１９２を備える電子カ
メラシステムに適用される。この電子カメラシステム
（以下、単に電子カメラと言う）は、上述した電子カメ
ラ１００に設けられた上記図１０の画像合成処理部１７
２の代わりに上記図１４の画像合成処理部１９２を設け
たものである。また、この電子カメラでは、上記図９に
示した画像メモリ１３０において、ヘッダ部Ｈに書き込
む撮影条件に関する情報は、フォーカス情報ｆｃ、焦点
距離ｆｌ、絞りｓ、シャッタ速度ｖに、露出レベルｅ
と、上記図１のＡＧＣ回路１０５の利得レベル（ゲイン
レベル）ｇとを加えたものとする。

【００６０】尚、この電子カメラにおいて、画像合成処
理部１９２の構成及び動作以外は、上述した電子カメラ
１００と同様であるため、画像合成処理部１９２以外の
各部についての詳細な説明は省略する。また、上記図１
４の画像合成処理部１９２において、上記図１０の画像
合成処理部１７２と同様に動作する箇所には同じ符号を
付し、その詳細な説明は省略する。

【００６１】すなわち、画像合成処理部１９２は、上記
図１４に示すように、上記図１０の画像合成処理部１７
２の構成要件に加えて、近距離撮影パラメータ抽出部１
７２ｃ及び遠距離撮影パラメータ抽出部１７２ｄと近距
離撮影座標変換処理部１７２ｉ及び遠距離撮影座標変換
処理部１７２ｊの間に設けられた濃度レベル補正処理部
１９２ａと、遠距離撮影座標変換処理部１７２ｊの後段
に設けられたシームレス処理部１９２ｂとを備えてい
る。そして、濃度レベル補正処理部１９２ａは、コント
ローラ１７２ｅと接続されており、画像メモリ１７２ｇ
の出力が供給されるようになされている。また、合成画
像メモリ１７２ｈには、近距離撮影座標変換処理部１７
２ｉ及びシームレス処理部１９２ｂの各出力が供給され
るようになされている。

【００６２】以下、画像合成処理部１９２の動作につい
て説明する。

【００６３】まず、画像合成処理部１９２で合成される
複数の画像は、例えば、図１５に示すような画像Ｉ４０
Ｌ及びＩ４０Ｒとする。これらの画像Ｉ４０Ｌ及びＩ４
０Ｒは、上記図６に示したようにして遠距離パノラマ撮
影により得られたものである。ここで、上記図６の３つ
の領域Ｒ２１〜Ｒ２３において、左側の領域Ｒ２１を撮
影して得られた画像を、上記図１５に示すように画像Ｉ
４０Ｌとし、中央の領域Ｒ２２を撮影して得られた画像
を、上記図１５に示すように画像Ｉ４０Ｒとする。ま
た、画像Ｉ４０Ｌと、画像Ｉ４０Ｌに隣り合う画像Ｉ４
０Ｒとの重複する領域を領域Ｒ４１とし、画像Ｉ４０Ｒ
と、画像Ｉ４０Ｒに隣り合う画像との重複する領域を領
域Ｒ４２とする。

【００６４】そこで、画像情報分離部１７２ｆは、Ｉ／
Ｏ回路１７２ａからの画像データ、すなわち画像Ｉ４０
Ｌ及びＩ４０Ｒのデータをヘッダ部とデータ部に分離
し、データ部の情報（画像情報）を画像メモリ１７２ｇ
に記憶すると共に、ヘッダ部の情報（ヘッダ情報）をコ
ントローラ１７２ｅに供給する。

【００６５】コントローラ１７２ｅは、画像情報分離部
１７２ｆからのヘッダ情報に含まれる画像Ｉ４０Ｌの露
出レベルｅＬと画像Ｉ４０Ｒの露出レベルｅＲを読み出
し、各露出レベルｅＬ、ｅＲのレベル差と所定値の比較
処理を行う。そして、コントローラ１７２ｅは、その比
較結果により、各露出レベルｅＬ、ｅＲのレベル差が所
定値よりも大きい場合に、濃度レベル補正処理部１９２
ａに動作命令を発行し、これと同時に画像情報分離部１
７２ｆからのヘッダ情報も濃度レベル補正処理部１９２
ａに供給する。一方、各露出レベルｅＬ、ｅＲのレベル
差が所定値以下の場合、コントローラ１７２ｅは、非動
作命令を濃度レベル補正処理部１９２ａに発行する。

【００６６】このとき、濃度レベル補正処理部１９２ａ
には、遠距離撮影パラメータ抽出部１７２ｄで得られた
パラメータが供給されると共に、コントローラ１７２ｅ
により画像メモリ１７２ｇから読み出された画像Ｉ４０
Ｌ及びＩ４０Ｒの画像情報が供給される。

【００６７】濃度レベル補正処理部１９２ａは、コント
ローラ１７２ｅから動作命令が与えられると、コントロ
ーラ１７２ｅにより供給された画像Ｉ４０Ｌ及びＩ４０
Ｒの画像情報において、図１６に示すように、画像Ｉ４
０Ｌ及びＩ４０Ｒの重複領域Ｒ４１における各平均濃度
レベルの差Δｍを求める。そして、濃度レベル補正処理
部１９２ａは、上記動作命令と同時に供給されたコント
ローラ１７２ｅからのヘッダ情報に含まれる絞りｓ、シ
ャッタ速度ｖ及びＡＧＣ回路１０５のゲインレベルｇ等
に基づいて、重複領域Ｒ４１における各画像Ｉ４０Ｌ及
びＩ４０Ｒの各濃度レベルが同一レベルとなるように、
差Δｍを用いて、画像Ｉ４０Ｒの濃度レベルを補正す
る。これにより、画像Ｉ４０Ｒから、画像Ｉ４０Ｌの重
複領域Ｒ４１における平均濃度レベルに合わせられた画
像Ｉ４０Ｒ’が生成される。そして、濃度レベル補正処
理部１９２ａは、画像Ｉ４０Ｌと、濃度レベルが補正さ
れた画像Ｉ４０Ｒ’と、遠距離撮影パラメータ抽出部１
７２ｄからのパラメータとを遠距離撮影座標変換処理部
１７２ｊに供給する。

【００６８】遠距離撮影座標変換処理部１７２ｊは、濃
度レベル補正処理部１９２ａからのパラメータに基づい
て、濃度レベル補正処理部１９２ａからの画像Ｉ４０Ｌ
及びＩ４０Ｒ’に座標変換処理を施して、画像Ｉ４０Ｌ
と画像Ｉ４０Ｒ’の合成画像を生成し、その合成画像を
シームレス処理部１９２ｂに供給する。

【００６９】シームレス処理部１９２ｂは、上記図１５
に示すように、重複領域Ｒ４１における合成画像のＸＹ
座標（ｉ，ｊ）に対応する画像Ｉ４０Ｌ及び画像Ｉ４０
Ｒ’の画素値を各々「ＳＬ」及び「ＳＲ」とし、重複領
域Ｒ４１の幅を「Ｗ」として、上記合成画像の画素値Ｓ
（ｉ，ｊ）を、Ｓ（ｉ，ｊ）＝ＳＬ（１．０−Ｘ／Ｗ）＋ＳＲＸ／Ｗなる重み付け加算の演算式により求める。そして、シー
ムレス処理部１９２ｂは、上記演算式により得られた画
素値Ｓ（ｉ，ｊ）で重複領域Ｒ４１の各画素を置換し、
その結果得られた合成画像を合成画像用メモリ１７２ｈ
に書き込む。

【００７０】また、画像合成処理部１９２で合成される
複数の画像が近距離パノラマ撮影により得られたもので
あっても、上述した遠距離パノラマ撮影の場合と同様に
して、濃度レベル補正処理部１９２ａで濃度レベル補正
処理が行われた後、近距離撮影パラメータ抽出部１７２
ｃにより得られたパラメータに基づいて近距離撮影座標
変換処理部１７２ｉで座標変換処理が行われることによ
り合成画像が生成され、合成画像用メモリ１７２ｈに書
き込まれる。

【００７１】そして、合成画像用メモリ１７２ｈに書き
込まれた合成画像は、Ｉ／Ｏ部１７２ａを介して上記図
１の表示部１７３に供給され、表示部１７３により、画
面表示される。

【００７２】上述のように、この電子カメラは、接合す
る各画像の重複領域の濃度レベルが略同一となるような
構成としているため、その接合部分を目立たなくするこ
とができる。したがって、この電子カメラは、さらに高
画質のパノラマ画像を得ることができる。

【００７３】尚、上述した電子カメラでは、濃度レベル
補正処理部１９２ａで用いる撮影条件を、露出レベルｅ
と、上記図１のＡＧＣ回路１０５のゲインレベルｇとし
たが、この限りではない。また、上述した電子カメラで
は、遠距離パノラマ撮影により得られた複数の画像を合
成する場合のみ、シームレス処理を行うこととしたが、
近距離パノラマ撮影により得られた複数の画像を合成す
る場合にもシームレス処理を行うようにしてもよい。但
し、合成する画像が近距離パノラマ撮影で得られた原稿
等の文字画像であった場合、撮影パラメータの微小な誤
差により文字エッジが一致しないため、合成した結果、
二重像となる可能性がある。そこで、この場合には、近
距離撮影座標変換処理部１７２ｉの後段にシームレス処
理部１９２ｂに相当するシームレス処理部を設けると共
に、近距離パノラマ撮影と判断された場合に合成する画
像が原稿画像であるか否かを判別する手段（原稿画像判
別部）を設けるようにする。そして、上記原稿画像判別
部の判別結果により原稿画像であると判別された場合の
み、上記シームレス処理部が非動作状態となるようにす
る。

【００７４】つぎに、本発明の第４の実施の形態につい
て図面を用いて説明する。

【００７５】本発明に係る画像生成装置は、例えば、図
１７に示すような電子カメラシステム２００に適用され
る。この電子カメラシステム（以下、電子カメラと言
う）２００は、上記図１７に示すように、上記図１の電
子カメラ１００の構成要件に加えて、撮像部２１０を備
えており、撮像部１１０と撮像部２１０の２つの撮像部
からなる複眼撮像系により構成されるものである。撮像
部２１０は、撮像部１１０と同様の構成をしており、被
写体側から順次設けられた撮像レンズ２０１、絞り２０
２、シャッタ２０８及び撮像素子２０３と、撮像素子２
０３の出力が供給される増幅器２０４と、増幅器２０４
の出力が供給されるＡＧＣ回路２０５と、ＡＧＣ回路２
０５の出力が供給されるＡ／Ｄ変換器２０６とを備えて
おり、Ａ／Ｄ変換器２０６の出力は映像信号処理部２０
７に供給されるようになされている。そして、撮像部２
１０において、ズーム、フォーカス、絞り及びシャッタ
の各制御は、撮像部１１０と同様に、ズーム制御部１２
１、フォーカス制御部１２２、絞り制御部１２３及びシ
ャッタ制御部１２４により行われるようになされてい
る。また、電子カメラ２００は、撮像部１１０の光軸Ｌ
と撮像部２１０の光軸Ｒの向きを制御する輻輳角制御部
２２０を備えており、輻輳角制御部２２０は、コントロ
ーラ１２０により制御されるようになされている。さら
に、電子カメラ２００では、コントローラ１２０及び信
号処理ユニット１９０は、複眼撮像系に対応した処理を
行うようになされている。

【００７６】尚、上記図１７の電子カメラ２００におい
て、上記図１の電子カメラ１００と同様に動作する箇所
には同じ符号を付し、その詳細な説明は省略する

【００７７】以下、電子カメラ２００の動作について説
明する。

【００７８】先ず、合焦検出部１４２により合焦が検出
されると、信号処理ユニット１９０は、合焦検出部１４
２の検出結果により、フォーカス制御のための制御信号
をコントローラ１２０に供給すると共に、撮影されてい
る被写体が近距離被写体であるか遠距離被写体であるか
を判別する。そして、信号処理ユニット１９０は、近距
離被写体であると判別した場合、図１８（ａ）に示すよ
うに、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが
平行となるような制御信号をコントローラ１２０を介し
て輻輳角制御部２２０に供給する。また、信号処理ユニ
ット１９０は、遠距離被写体であると判別した場合、同
図（ｂ）に示すように、撮像部１１０の光軸Ｌと撮像部
２１０の光軸Ｒが外向きとなるような制御信号をコント
ローラ１２０を介して輻輳角制御部２２０に供給する。

【００７９】したがって、輻輳角制御部２２０は、コン
トローラ１２０からの制御信号により、近距離パノラマ
撮影時には、撮像部１１０の光軸Ｌと撮像部２１０の光
軸Ｒが平行となるように、また、遠距離パノラマ撮影時
には、撮像部１１０の光軸Ｌと撮像部２１０の光軸Ｒが
外向きとなるように、撮像部１１０と撮像部２１０を各
々制御する。

【００８０】ここで、上記図１８（ａ）、（ｂ）に示し
たように、撮像部１１０の光軸Ｌと撮像部２１０の光軸
Ｒの向きが制御されて撮影が行われる状況は、上記図３
の撮影状況及び上記図６の撮影状況と同じである。この
ため、上記図１８（ａ）に示したようにして撮影して得
られた複数の画像からは、上述した近距離パノラマ撮影
時の合成処理により合成画像を得ることができ、同図
（ｂ）に示したようにして撮影して得られた複数の画像
からは、上述した遠距離パノラマ撮影時の合成処理によ
り合成画像を得ることができる。

【００８１】したがって、上記図１の電子カメラ１００
と同様に、画像合成処理部１７２において、合成する複
数の画像が近距離パノラマ撮影により得られたものであ
るか、遠距離パノラマ撮影により得られたものであるか
を判別し、その判別結果に応じて適切な合成処理を選択
することにより、高画質の合成ラマ画像を得ることがで
きる。

【００８２】上述のように、この電子カメラ２００で
は、被写体距離に応じて自動的に撮像部１１０の光軸と
撮像部２１０の光軸の向きが制御されるようになされて
いるため、使用者は、パノラマ撮影する際に画像の一部
が重複するように撮影するための操作を行う必要がな
い。したがって、電子カメラ２００は、操作性を向上さ
せることができると共に、簡便に高画質の合成画像を得
ることができる。

【００８３】尚、上記図１７において、画像合成処理部
１７２を上記図１１の画像合成処理部１８２、又は上記
図１４の画像合成処理部１９２としてもよい。

【００８４】つぎに、本発明の第５の実施の形態につい
て図面を用いて説明する。

【００８５】本発明に係る画像生成装置は、例えば、図
１９のフローチャートに従って画像合成処理を行う電子
カメラシステムに適用される。この電子カメラシステム
（以下、電子カメラと言う）は、上記図１の電子カメラ
１００と同様の構成をしており、特に、電子カメラを上
記図３３に示したようにして水平にパンニングして撮影
された２つの画像から水平方向に画角の広い合成画像を
生成するものである。また、この電子カメラでは、画像
合成処理部１７２に相当する画像合成処理部に、上記図
１９のフローチャートに対応するプログラムが予め設定
されており、上記画像合成処理部は、上記プログラムに
従った処理を行うようになされている。

【００８６】尚、この電子カメラにおいて、上記画像合
成処理部が行う画像合成処理以外については、上記図１
の電子カメラ１００と同様であるため、上記画像合成処
理以外についての詳細な説明は省略する。また、この電
子カメラを電子カメラ１００として、上記図１及び上記
１９を用いて以下の説明を行う。

【００８７】まず、電子カメラ１００では、例えば、撮
像部１１０により得られた６４０×４８０画素の画素デ
ータが画像メモリ１３０に記憶される。また、画像メモ
リ１３０には、パノラマ撮影により得られた一連の複数
の画像データが１つのファイルデータとして記憶され
る。

【００８８】そこで、画像合成処理部１７２において、
先ず、画像メモリ１３０に記憶されたファイルデータの
うち、一連の２つの画像データからなる任意のファイル
データを図示していないメモリ上に読み出す（ステップ
Ｓ１１）。

【００８９】次に、上記メモリに読み出した各画像デー
タに対して、撮影レンズ１０１により生じた歪みを補正
する（ステップＳ１２）。

【００９０】具体的に説明すると、撮影レンズ１０１の
歪みが画像中心に対して回転対称であるとした場合、画
像中心を原点とした画素の撮影レンズ１０１の歪みのな
い時の理想位置を（ｘ，ｙ）とし、歪みのある時の位置
を（ｘｄ，ｘｙ）とすると、ｘｄ＝ｘ・（１＋ｋ１・ｒ²＋ｋ２・ｒ⁴）ｙｄ＝ｙ・（１＋ｋ１・ｒ²＋ｋ２・ｒ⁴）・・・（１）なる関係式（１）が成り立つ。ここで、この関係式
（１）において、「ｋ１」及び「ｋ２」は、歪曲補正係
数であり、ｒ²＝ｘ²＋ｙ² の関係式が成り立つものとする。

【００９１】そこで、このステップＳ１２では、関係式
（１）を用いて画像データの歪みを補正する処理を行
う。

【００９２】このステップＳ１２においては、図２０に
示すように、先ず、歪みを補正した補正画像データを格
納する領域を入力画像データと同じ二次元配列のサイズ
分だけ上記メモリ上に確保する（ステップＳ１２１）。
そして、画像データの各画素に対して、後述するステッ
プＳ１２１〜Ｓ１２５の処理を行うことにより、撮影レ
ンズ１０１の歪みを補正した補正画像データを得る。

【００９３】すなわち、画像データの各画素に対して
は、先ず、入力画像データ取得時の水平及び垂直方向の
撮像面の大きさ及び画素ピッチを用いて、補正画像デー
タの画素アドレスを画像中心を原点とした座標系に変換
する（ステップＳ１２２）。このステップＳ１２２で得
られた座標は、歪みのない時の理想位置（ｘ，ｙ）とな
る。

【００９４】次に、ステップＳ１２２で得られた理想位
置（ｘ，ｙ）を関係式（１）に代入することにより、歪
みのある時の位置（ｘｄ，ｘｙ）を求める（ステップＳ
１２３）。ここで、関係式（１）において、歪曲補正係
数ｋ１及びｋ２は、撮像レンズ１０１の３次及び５次の
歪曲収差係数に比例する値であり、撮像レンズ１０１の
材料の屈折率、面形状及びレンズ配置を含む構成情報に
より決定できる。したがって、ここでは、上記構成情報
により決定された所定値が歪曲補正係数ｋ１及びｋ２と
して予め与えられているものとし、この歪曲補正係数ｋ
１及びｋ２を用いて、関係式（１）により歪みのある時
の位置（ｘｄ，ｘｙ）を求める。

【００９５】次に、入力画像データ取得時の水平及び垂
直方向の撮像面の大きさ及び画素ピッチを用いて、ステ
ップＳ１２２で行った変換処理の逆変換処理を行い、歪
みを補正する前の画像データでの、ステップＳ１２３で
得られた歪みのある時の位置（ｘｄ，ｘｙ）に対応する
画素アドレスを求める（ステップＳ１２４）。

【００９６】そして、ステップＳ１２４で得られた画素
アドレスの画素値であるＲＧＢデータを補正画像データ
の画素アドレスの画素値としてコピーする（ステップＳ
１２５）。この時、ステップＳ１２４で得られた画素ア
ドレスが画像領域外である場合は、ダミー画素値とし
て、例えば、白画素値を割り当てるようにする。

【００９７】上述のようなステップＳ１２の処理によ
り、２つの入力画像データから、撮像レンズ１０１の歪
みを補正した２つの補正画像データが得られ、その後、
ステップＳ１２１で補正画像データを格納するために確
保したメモリ領域を解放する。

【００９８】尚、２つの入力画像データが、撮像レンズ
１０１の歪みを殆ど無視できる程度の画像であった場合
には、ステップＳ１２の処理は行わなくてもよい。

【００９９】次に、ステップＳ１２で歪みが補正された
２つの補正画像データに対して、球面に投影変換した球
面画像データを生成する（ステップＳ１３）。

【０１００】具体的に説明すると、このステップＳ１３
では、図２１に示すように、先ず、球面投影変換後の画
像データを格納する領域を入力画像データ（補正画像デ
ータ）と同じ二次元配列のサイズ分だけ上記メモリ上に
確保する（ステップＳ１３１）。

【０１０１】次に、球面投影変換を行う際の画素の角度
ピッチを求める（ステップＳ１３２）。このとき、水平
及び垂直方向の画素の角度ピッチは、球面投影変換後の
画像データの水平及び垂直方向の画角が、元の入力画像
データの水平及び垂直方向の画角と等価となるような等
しいピッチに設定する。すなわち、入力画像データ取得
時の水平及び垂直方向の画像面のサイズを「ｈ×ｖ」画
素、撮像レンズ１０１の焦点距離を「ｆ」とすると、水
平及び垂直方向の画角は、（２・Ｔａｎ^-1（ｈ／（２・ｆ）））（２・Ｔａｎ^-1（ｖ／（２・ｆ）））となる。尚、焦点距離ｆは、撮像レンズ１０１の被写体
像側主点と撮像素子１０３の受光面の距離を示す。した
がって、補正画像データのサイズを「Ｈ×Ｖ」画素とす
ると、球面投影を行う際の画素の水平及び垂直方向の角
度ピッチｄθ及びｄφは、ｄθ＝（２・Ｔａｎ^-1（ｈ／（２・ｆ）））／Ｈｄφ＝（２・Ｔａｎ^-1（ｖ／（２・ｆ）））／Ｖ・・・（２）なる式（２）により求められる。尚、式（２）におい
て、「Ｔａｎ^-1」は、「Ｔａｎ」の逆変換を示す。

【０１０２】そして、画像データの各画素に対して、後
述するステップＳ１３３〜Ｓ１３７の処理を行うことに
より、球面投影画像データを得る。

【０１０３】すなわち、画像データの各画素に対して
は、先ず、ステップＳ１３２で得られた水平及び垂直方
向の角度ピッチｄθ及びｄφと、補正画像データのサイ
ズとを用いて、球面投影画像データの画素アドレスを画
像中心を原点とした角度座標系（θ，φ）に変換する
（ステップＳ１３３）。

【０１０４】次に、ステップＳ１３３で得られた角度座
標系（θ，φ）を直交座標系（Ｘ，Ｙ，Ｚ）に、Ｘ＝ｃｏｓφ・ｓｉｎθ Ｙ＝ｓｉｎφ Ｚ＝ｃｏｓφ・ｓｉｎθ ・・・（３）なる式（３）により変換する（ステップＳ１３４）。
尚、式（３）に示すように、Ｙ軸を回転軸とした極座標
から直交座標変換への変換を行うものとし、半径方向の
座標値は、このステップＳ１３４以後の処理で影響しな
いため「１」とする。

【０１０５】次に、撮影レンズ１０１の焦点位置（以
下、視点と言う）を中心とした透視変換処理により、ス
テップＳ１３４で得られた直交座標系（Ｘ，Ｙ，Ｚ）か
ら焦点距離ｆの位置にある撮像面上での位置（ｘ，ｙ）
を、ｘ＝Ｘ・ｆ／Ｚｙ＝Ｙ・ｆ／Ｚ・・・（４）なる式（４）により求める（ステップＳ１３５）。

【０１０６】次に、入力画像データ取得時の水平及び垂
直方向の撮像面の大きさ及び画素ピッチを用いて、上述
したステップＳ１２４の処理と同様にして、ステップＳ
１３４で行った変換処理の逆変換処理を行い、球面投影
変換前の補正画像データでの、ステップＳ１３５で得ら
れた位置（ｘ，ｙ）に対応する画素アドレスを求める
（ステップＳ１３６）。

【０１０７】そして、上述したステップＳ１２５の処理
と同様にして、ステップＳ１３６で得られた画素アドレ
スの画素値であるＲＧＢデータを球面投影画像データの
画素アドレスの画素値としてコピーする（ステップＳ１
３７）。

【０１０８】上述のようなステップＳ１３の処理によ
り、ステップＳ１２で得られた２つの補正画像データか
ら、例えば、図２２に示すような球面に投影した２つの
球面画像Ｉ６１，Ｉ６２のデータが得られる。そして、
２つの球面画像データが得られた後、ステップＳ１３１
で球面画像データを格納するために確保したメモリ領域
を解放する。

【０１０９】次に、ステップＳ１３で得られた２つの球
面画像データ間の対応点を抽出する（ステップＳ１
４）。

【０１１０】ここで、この電子カメラ１００では、使用
者が２つの球面画像データ間の対応点の組を数点カーソ
ル等で指定することができるようになされている。そこ
で、ステップＳ１４では、その指定された対応点の正確
な位置をテンプレートマッチング処理により求める。

【０１１１】具体的に説明すると、ステップＳ１４で
は、図２３に示すように、先ず、２つの球面画像データ
を表示部１７３により画面表示する（ステップＳ１４
１）。ここで、２つの球面画像データを、以下、左画
像、右画像とも言う。

【０１１２】次に、使用者が図示していない操作部を操
作することにより、対応点の組が数点指定され、この指
定された数組の対応点の座標を読み取る（ステップＳ１
４２）。

【０１１３】そして、指定された数組の対応点各々に対
して、後述するステップＳ１４３〜Ｓ１４６に示すテン
プレートマッチング処理を行う。

【０１１４】すなわち、各対応点の組に対しては、先
ず、２つの球面画像データのうち、左画像から画像デー
タをテンプレートとして切り出す（ステップＳ１４
３）。この切り出されるテンプレートは、左画像の指示
された点を中心とした所定の大きさの矩形領域の画像デ
ータである。

【０１１５】次に、ステップＳ１４３で切り出されたテ
ンプレートに対応する点を検索する領域を右画像から設
定する（ステップＳ１４４）。この検索領域は、右画像
の指示された点を中心とした所定の大きさの矩形領域と
する。

【０１１６】次に、ステップＳ１４４で設定された検索
領域内において、ステップＳ１４３で切り出されたテン
プレートを平行にずらしていき、左画像と右画像の差分
を求める。この差分は、画像データのＲＧＢ成分のう
ち、Ｇ成分のみで求める。そして、求めた差分の絶対値
の総和が最小となる位置を対応点位置とする（ステップ
Ｓ１４５）。

【０１１７】そして、ステップＳ１４５で得られた対応
点位置に対する信頼性の判定を行う（ステップＳ１４
６）。この信頼性の判定処理は、最小値となった差分の
絶対値の総和、及び２番目に小さい値となった差分の絶
対値の総和を用いて行う。例えば、差分の絶対値の総和
の最小値が第２の所定のしきい値以下であり、差分の絶
対値の総和の２番目に小さい値が第１の所定のしきい値
以上であった場合に、ステップＳ１４５で得られた対応
点位置に信頼性があると判定する。このようにして、信
頼性ありと判定された対応点位置の左右画像の座標を、
抽出した対応点データとして上記メモリに格納する。

【０１１８】上述のようなステップＳ１４の処理によ
り、ステップＳ１３で得られた２つの球面画像データ間
の対応点の位置座標が得られる。

【０１１９】次に、ステップＳ１４で得られた対応点の
位置座標から、２つの球面画像データを合成するための
パラメータを算出する（ステップＳ１５）。ここでは、
パンニング前後の撮影レンズ１０１の焦点距離は変化し
ていないものとし、上記パラメータとして、水平及垂直
方向の平行移動と回転の３つのパラメータを算出するも
のとする。また、これら３つのパラメータの算出は、２
組以上の対応点の位置座標から最小自乗法により行う。
したがって、このステップＳ１５により、右画像の左画
像に対しての水平及び垂直方向の平行移動と回転のパラ
メータが得られる。

【０１２０】尚、ステップＳ１５において、パンニング
前後の撮影レンズ１０１の焦点距離が変化している場合
には、拡大／縮小のパラメータも算出する必要がある。
また、水平及垂直方向の平行移動と回転の３つのパラメ
ータのうち、垂直方向の平行移動と回転のパラメータは
殆ど「０」に近い値であるため、これら２つのパラメー
タに対して拘束条件を設定して最適化を行い、パラメー
タを算出するようにしてもよい。

【０１２１】次に、ステップＳ１５で得られたパラメー
タに従って、右画像を水平及び垂直方向の平行移動させ
回転させることにより、左右画像を合成する（ステップ
Ｓ１６）。ここで、ステップＳ１６で合成される２つの
画像は、予めステップＳ１３で球面投影された画像であ
るため、画像の水平及び垂直方向の平行移動は球面投影
前の画像の水平及び垂直方向のパンニングの相当する。

【０１２２】具体的に説明すると、ステップＳ１６にお
いて、図２４に示すように、先ず、合成後の画像データ
の二次元配列のサイズを求め、求めたサイズ分の領域を
合成画像データを格納する領域として上記メモリに確保
する（ステップＳ１６１）。ここで、垂直方向の平行移
動と回転のパラメータは殆ど「０」に近い値であるた
め、ステップＳ１６１において、垂直方向のサイズは合
成前の画像データの垂直方向のサイズと同じ値とし、水
平方向のサイズは合成前の画像データの水平方向のサイ
ズにステップＳ１５で得られた水平方向の平行移動のパ
ラメータの画素数に相当するサイズ分加えた値とする。

【０１２３】そして、合成画像データの各画素に対し
て、後述するステップＳ１６２〜Ｓ１６５の処理を行
う。

【０１２４】すなわち、合成画像データの各画素に対し
ては、先ず、ステップＳ１３で得られた球面投影時の角
度ピッチを用いて、合成画像データの画素アドレスを角
座標系に変換する（ステップＳ１６２）。このとき、角
座標系の原点は、左画像の中心点と一致させることによ
り、左画像に関しては、座標変換なしでそのまま画素デ
ータをコピーできるようにする。

【０１２５】次に、ステップＳ１５で得られたパラメー
タに従って、合成画像データを水平及び垂直方向に平行
移動させ回転させることにより、ステップＳ１６２で得
られた合成画像データの角座標系を右画像の角座標系に
変換する（ステップＳ１６３）。

【０１２６】次に、右画像のサイズと、ステップＳ１３
で得られた球面投影時の角度ピッチとを用いて、右画像
の角座標系を右画像の画素アドレスに変換する（ステッ
プＳ１６４）。

【０１２７】そして、合成画像データの画素アドレスに
対して画素値を割り当てる（ステップＳ１６５）。この
とき、画素アドレスが左画像の画像領域内で、かつステ
ップＳ１６４で得られた画素アドレスが右画像の画像領
域内である画素に対しては、ＲＧＢ成分各々に対して左
右画像の画素値の平均値を割り当てる。また、左画像の
みの画像領域内の画素に対しては、右画像の画素値を割
り当て、左画像と右画像の両方の画像の画像領域外の画
素に対しては、ダミー画素値として、例えば、白画素値
を割り当てる。

【０１２８】上述のようなステップＳ１６の処理によ
り、ステップＳ１３で得られた２つの球面画像データが
合成された、例えば、図２５に示すような合成画像Ｉ６
３が得られ、その後、ステップＳ１６１で合成画像デー
タを格納するために確保したメモリ領域を解放する。

【０１２９】次に、ステップＳ１６で得られた合成画像
データに対して、平面上に再投影変換した画像データを
得る（ステップＳ１７）。

【０１３０】具体的に説明すると、ステップＳ１７にお
いて、図２６に示すように、先ず、平面投影変換後の画
像データを格納する領域を合成画像データと同じ二次元
配列のサイズ分だけ上記メモリ上に確保する（ステップ
Ｓ１７１）。

【０１３１】次に、平面投影を行う際の画素ピッチを求
める（ステップＳ１７２）。このときの水平及び垂直方
向の画素ピッチは、焦点距離ｆの撮像面において、平面
投影変換後の画像データ（平面合成画像データ）の水平
及び垂直方向の画角と等価となるようなピッチに設定す
る。すなわち、水平及び垂直方向の半画角は、合成画像
データのサイズを「Ｈ×Ｖ」画素とし、ステップＳ１３
で得られた球面投影画像データの角度ピッチｄθ及びｄ
φを用いて、（ｔａｎ（ｄθ・（Ｈ／２）））（ｔａｎ（ｄφ・（Ｖ／２）））で表される。したがって、平面投影変換した画像の画素
ピッチは、ｄｘ＝ｆｔａｎ（ｄθ・（Ｈ／２））／（Ｈ／２）ｄｙ＝ｆｔａｎ（ｄφ・（Ｖ／２））／（Ｖ／２）・・・（５）なる式（５）により求められる。この式（５）で得られ
る画素ピッチは、撮影時と同じ焦点距離の撮像面に投影
した画像を生成する場合、撮影時に得られた画像の画素
ピッチと等しくなる。

【０１３２】そして、画像データの各画素に対して、後
述するステップＳ１７３〜Ｓ１７７の処理を行うことに
より、平面合成画像データを得る。

【０１３３】すなわち、画像データの各画素に対して
は、先ず、ステップＳ１７２で得られた水平及び垂直方
向の画素ピッチと画像データのサイズを用いて、上述し
たステップＳ１２２の処理と同様にして、合成画像デー
タの画素アドレスを画像中心を原点とした座標系（ｘ，
ｙ）に変換する（ステップＳ１７３）。

【０１３４】次に、視点から撮像面上の点（ｘ，ｙ，
ｆ）に引いた直線と、視点を中心とした球面との交点
（Ｘ，Ｙ，Ｚ）を求める（ステップＳ１７４）。このと
き、球面の半径は、このステップＳ１７４以降の処理に
影響しないため「１」とする。次に、ステップＳ１７４
で得られた交点、すなわち直交座標系（Ｘ，Ｙ，Ｚ）
を、 θ＝ｓｉｎ^-1（Ｘ／ｓｑｒｔ（Ｘ²＋Ｚ²）） φ＝ｓｉｎ^-1（Ｙ／Ｚ）・・・（６）なる式（６）により、球面座標系に変換する（ステップ
Ｓ１７５）。ここで、式（６）において、「ｓｉｎ^-1」
は「ｓｉｎ」の逆変換を表し、「ｓｑｒｔ」は平方根を
表す。

【０１３５】次に、合成画像データの水平及び垂直方向
の撮像面の大きさと角度ピッチを用いて、平面投影変換
前の画像データでの、ステップＳ１７５で得られた球面
座標に対応する画素アドレスを求める（ステップＳ１７
６）。

【０１３６】そして、上述したステップＳ１２５の処理
と同様にして、ステップＳ１７６で得られた画素アドレ
スの画素値であるＲＧＢデータを平面投影変換後の画像
データの画素アドレスの画素値としてコピーする（ステ
ップＳ１７７）。

【０１３７】上述のようなステップＳ１７の処理によ
り、ステップＳ１６で得られた合成画像データから、例
えば、図２７に示すような平面上に投影した平面合成画
像Ｉ６４が得られ、その後、ステップＳ１７１で平面合
成画像データを格納するために確保したメモリ領域を解
放する。

【０１３８】そして最後に、ステップＳ１７で得られた
平面合成画像データを表示部１７３により画面表示し、
必要に応じて、画像メモリ１３０に記憶する（ステップ
Ｓ１８）。

【０１３９】上述のように、この電子カメラ１００で
は、画像合成処理時の画像の平行移動が、撮影時の画像
の水平及び垂直方向のパンニングに相当するような構成
とすることにより、撮影レンズ１０１の焦点位置を中心
にパンして撮影して得られた２つの画像を合成する場
合、撮影時に多少のカメラのチルトが生じた場合でも合
成画像の重複部分において枠線が二重に生じるようなこ
とがない。したがって、この電子カメラ１００は、実際
に撮影したカメラレンズよりも広角のカメラレンズで撮
影したような、自然な合成画像を得ることができる。

【０１４０】尚、上述した電子カメラでは、上記図１の
電子カメラ１００と同様な構成であるとしたが、例え
ば、上記図２の電子カメラ２００と同様な構成であるも
のとしてもよい。

【０１４１】つぎに、本発明の第６の実施の形態につい
て図面を用いて説明する。

【０１４２】本発明に係る画像生成装置は、例えば、図
２８に示すような画像合成処理部３００を備える電子カ
メラシステムに適用される。この電子カメラシステム
（以下、電子カメラと言う）は、上記図１の電子カメラ
１００と同様の構成をしており、画像合成処理部１７２
の代わりに上記図２８の画像合成処理部３００が設けら
れたものである。また、画像合成処理部３００には、所
定のプログラムが予め設定されており、画像合成処理部
３００は、上記プログラムに従った処理を行うようにな
されている。

【０１４３】尚、この電子カメラにおいて、画像合成処
理部３００以外の各部は、上記図１の電子カメラ１００
と同様であるため、画像合成処理部３００以外の各部に
ついての詳細な説明は省略する。

【０１４４】まず、画像合成処理部３００は、上記図２
８に示すように、制御部３０１と、制御部３０１に各々
接続された画像入力部３０２、画像変換部３０３及び画
像合成部３０４とを備えている。

【０１４５】制御部３０１は、上記プログラムに従った
処理を行うように装置全体の動作制御を行うものであ
り、例えば、使用者の図示していない操作部の操作に従
って、画像入力部３０２、画像変換部３０３及び画像合
成部３０４に各々制御信号を供給する。これにより、画
像合成処理部３００により得られた合成画像等が上記図
１の表示部１７３により画面表示される。画像入力部３
０２には、上記図１９に示したステップＳ１１と同様の
処理を行うプログラムが予め設定されている。これによ
り、画像入力部３０２は、制御部３０１からの制御信号
に基づいて、使用者により指定された一連の複数の画像
データを図示していないメモリに読み出す。画像変換部
３０３には、上記図１９に示したステップＳ１２、Ｓ１
３及びＳ１７と同様の処理を行うプログラムが予め設定
されている。これにより、この画像変換部３０３は、制
御部３０１からの制御信号に基づいて、画像入力部３０
２で読み出された複数の画像データに対して、歪み補正
処理、球面投影変換処理及び平面投影変換処理を行う。
画像合成部３０４には、上記図１９に示したステップＳ
１４〜Ｓ１６と同様の処理を行うプログラムが予め設定
されている。これにより、この画像合成部３０４は、制
御部３０１からの制御信号に基づいて、画像入力部３０
２で読み出された複数の画像データに対して、対応点抽
出処理、上記対応点抽出処理で得られた対応点の座標か
ら複数の画像データを合成するためのパラメータ算出処
理、及び上記パラメータ算出処理で得られたパラメータ
に従って平行移動及び回転を行うって合成画像を生成す
る合成処理を行う。

【０１４６】以下、上述のような画像合成処理部３００
において、例えば、上記図３６に示したように、水平及
び垂直方向の両方向にパンして４回のフレーミングで撮
影して得られた画像ｃ１〜ｃ４を合成する場合について
説明する。

【０１４７】ここで、使用者は、図示していない操作部
を操作することにより、画像ｃ１とｃ２、画像ｃ３とｃ
４を合成し、各合成結果の画像を合成するように装置に
指示（コマンド）を与えるものとする。また、画像ｃ１
〜ｃ４は、画像メモリ１３０に記憶されており、画像変
換処理時に必要な画像サイズ、画素ピッチ及び焦点距離
等のパラメータは、予め与えられているものとする。

【０１４８】そこで、図２９は、上述のような場合にお
ける画像合成処理部３００の処理を示すフローチャート
である。以下、上記図２９を用いて、画像合成処理部３
００の各部の動作及び画像合成処理について説明する。

【０１４９】先ず、画像入力部３０２は、制御部３０１
からの制御信号に基づいて、画像メモリ１３０に記憶さ
れた画像ｃ１のデータを図示していないメモリ上に読み
出す（ステップＳ２０１）。この読み出された画像ｃ１
は、制御部３０１の制御により、表示部１７３で画面表
示される。

【０１５０】次に、使用者は、表示部１７３で画面表示
された画像ｃ１を確認し、図示していない操作部を操作
することにより、画像変換部３０３で画像ｃ１に対する
歪み補正処理、球面投影変換処理が行われるようなコマ
ンドを装置に与える。このコマンドに基づいて制御部３
０１が画像変換部３０３に制御信号を供給することによ
り、画像変換部３０３は、画像ｃ１に対して、歪み補正
処理及び球面投影変換処理を行う（ステップＳ２０
２）。そして、制御部３０１は、画像変換部３０３で歪
み補正処理及び球面投影変換処理が行われた画像ｃ１を
表示部１７３により画面表示する。

【０１５１】次に、ステップＳ２０１、Ｓ２０２の各処
理と同様にして、画像ｃ２も上記メモリ上に読み出さ
れ、歪み補正処理及び球面投影変換処理が行われて表示
部１７３で画面表示される（ステップＳ２０３、Ｓ２０
４）。

【０１５２】次に、使用者は、図示していない操作部を
操作することにより、表示部１７３に表示された２つの
画像ｃ１、ｃ２の対応する点を数組指定する。この指定
に基づいて制御部３０１が画像合成部３０４に制御信号
を供給することにより、画像合成部３０４は、指定され
た数組の対応点の座標を求め、正確な対応点の位置を検
出するために、各対応点に対してテンプレートマッチン
グ処理を行う。そして、画像合成部３０４は、上記テン
プレートマッチング処理により検出された対応点の位置
から、２つの画像ｃ１、ｃ２間の平行移動及び回転のパ
ラメータを最小自乗法により求め、求めたパラメータに
基づいて２つの画像ｃ１、ｃ２を合成する（ステップＳ
２０５）。

【０１５３】そして、制御部３０１は、画像合成部３０
４で得られた図３０に示すような合成画像ｃ１２を表示
部１７３により画面表示する。また、制御部３０１は、
合成画像ｃ１２を一旦画像メモリ１３０に記憶する（ス
テップＳ２０６）。

【０１５４】次に、ステップＳ２０１〜Ｓ２０６と同様
にして、２つの画像ｃ３、ｃ４を合成し、上記図３０に
示すような合成画像ｃ３４を生成して一旦メモリ１３０
に記憶する（ステップＳ２０７〜Ｓ２１２）。

【０１５５】次に、画像入力部３０２は、制御部３０１
からの制御信号に基づいて、画像メモリ１３０に記憶さ
れた２つの合成画像ｃ１２、ｃ３４を図示していないメ
モリ上に読み出す（ステップＳ２１３、Ｓ２１４）。

【０１５６】次に、画像合成部３０４は、ステップＳ２
０５及びＳ２１１の処理と同様にして、２つの合成画像
ｃ１２、ｃ３４を合成する（ステップＳ２１５）。ここ
で、合成画像ｃ１２、ｃ３４は、画像変換部３０３で歪
み補正処理及び球面投影変換処理が行われた画像である
ため、画像変換部３０３で歪み補正処理及び球面投影変
換処理は行う必要はない。このステップＳ２１５によ
り、図３１に示すような、４つの画像ｃ１〜ｃ４を合成
した合成画像Ｉ７１が得られる。尚、合成画像Ｉ７１は
球面投影変換された２つの画像を合成したものであるた
め、以下、球面合成画像Ｉ７１と言う。

【０１５７】次に、画像変換部３０３は、画像合成部３
０４で得られた球面合成画像Ｉ７１から、平面上に投影
変換した図３２に示すような平面合成画像Ｉ７２を得る
（ステップＳ２１６）。

【０１５８】そして、制御部３０１は、画像変換部３０
３で得られた平面合成画像Ｉ７２を画像メモリ１３０に
記憶する（ステップＳ２１７）。

【０１５９】上述のように、この電子カメラは、使用者
が図示していない操作部を操作することにより与えられ
た所定のコマンドに従って画像合成処理を行うような構
成としているため、使用者は、所望の合成画像を得るこ
とができる。また、この電子カメラは、カメラレンズの
焦点位置を中心に水平及び垂直方向の両方にパンして撮
影して得られた複数の画像に対して、２つの画像を合成
する処理を順次繰り返して合成画像を生成し、その合成
画像を平面上に再度投影変換するようになされているた
め、実際に撮影したカメラレンズより広角なカメラレン
ズで撮影したような、画角の広い自然な合成画像を得る
ことができる。

【０１６０】尚、上記図２８の画像合成処理部３００に
おいて、合成する画像が常に球面投影変換された画像で
ある場合には、画像変換部３０３の処理を自動化するよ
うにしてもよい。具体的に説明すると、画像合成処理部
３００で合成する画像データに対して、歪み補正処理済
のデータであるか否かを示すフラグ（歪み補正フラ
グ）、及び球面投影変換処理済のデータ又は平面投影変
換処理済のデータであるかを示すフラグ（投影面フラ
グ）が付加情報として付加するものとする。そこで、画
像変換部３０３は、歪み補正処理を行った場合には、歪
み補正フラグを処理済に設定し、球面投影変換処理を行
った場合には、投影面フラグを球面投影変換処理済に設
定し、平面投影変換処理を行った場合には、投影面フラ
グを平面投影変換処理済に設定するようにする。また、
画像合成処理を行う際には、画像変換部３０３は、合成
する画像データの付加情報に基づいて、常に歪み補正処
理を行い、画像合成部３０４は、球面投影変換された画
像を合成するようにする。さらに、合成画像を出力する
際には、画像合成部３０４は、合成する画像データの付
加情報に基づいて、常に平面投影変換した合成画像を出
力するようにする。上述のような構成とすることによ
り、効率よく高画質の合成画像を得ることができる。

【０１６１】また、上述した電子カメラは、平面投影変
換処理を行うことにより、実際に撮影したカメラレンズ
より広角なカメラレンズで撮影したような自然な合成画
像を得るようになされているが、必ずしも平面投影変換
処理が行われた合成画像を出力する必要はない。具体的
に説明すると、上記電子カメラは、２つの画像を合成す
る処理を順次繰り返して合成画像を生成する構成として
いるため、例えば、５つ以上の画像をも合成することが
できる。しかし、合成画像の視野が１８０°に達する
と、平面投影変換処理を行うことはできないため、この
ような場合、球面投影変換処理を行った合成画像を出力
することが望ましい。したがって、合成画像の視野に応
じて、平面投影変換処理で得られた画像と球面投影変換
処理で得られた画像を選択的に出力するようにしてもよ
い。

【０１６２】また、上述した電子カメラでは、画像変換
処理時に必要な画像サイズ、画素ピッチ及び焦点距離等
のパラメータが予め与えられているものとしたが、これ
らのパラメータを、画像合成処理部３００で合成する画
像データに付加情報として付加するようにしてもよい。
この場合、画像変換部３０３及び画像合成部３０４は、
合成する画像データに付加された付加情報からパラメー
タを読み出し、そのパラメータに基づいて処理を行うよ
うにする。
このとき、平面投影変換処理が行われた画像
に対しては、画素ピッチのパラメータとして、撮像面上
でのピッチを用い、球面投影変換処理が行われた画像に
対しては、画素ピッチのパラメータとして、角度ピッチ
を用いるのが望ましい。

【０１６３】また、上述した電子カメラでは、所定のプ
ログラムに従って上述したような各処理を行うこととし
たが、上記プログラムをそのままハードウェア化して、
画像合成処理装置として用いることもできる。

【０１６４】また、上述した電子カメラでは、上記図１
の電子カメラ１００と同様な構成であるとしたが、例え
ば、上記図２の電子カメラ２００と同様の構成であると
してもよい。

【０１６５】つぎに、本発明の第７の実施の形態につい
て図面を用いて説明する。

【０１６６】本発明に係る画像生成装置は、例えば、図
３３に示すような電子カメラシステム４００に適用され
る。

【０１６７】この電子カメラシステム（以下、単に電子
カメラと言う）４００は、上記図３３に示すように、上
記図１の電子カメラ１００の構成要件に加えて、信号処
理ユニット１９０に接続された角度検出部４０１を備え
ている。この角度検出部４０１は、ジャイロ等を使用し
ており、撮影時に電子カメラ４００が移動されたことに
より発生するパンニング角度を検出するものである。そ
して、電子カメラ４００は、角度検出部４０１により検
出されたパンニング角度の情報に基づいた画像合成処理
を行うようになされている。

【０１６８】尚、上記図３３の電子カメラ４００におい
て、上記１の電子カメラ１００と同様に動作する箇所に
は同じ符号を付し、その詳細な説明は省略する。また、
後述する画像合成処理部１７２の動作については、上述
した第１の実施の形態での動作と異なる箇所を具体的に
説明し、その他の箇所については上記第１の実施の形態
と同様であるため、その詳細な説明は省略する。

【０１６９】すなわち、角度検出部４０１は、図３４に
示すように、角速度センサ４０１ａと、角速度センサ４
０１ａの出力が供給されるＡ／Ｄ変換器４０１ｂと、Ａ
／Ｄ変換器４０１ｂの出力が供給される角度演算器４０
１ｃからなり、角度演算器４０１ｃの出力が信号処理ユ
ニット１９０に供給されるようになされている。

【０１７０】先ず、角度センサ４０１ａは、装置の移動
により発生する角度変化に従った出力信号ＶをＡ／Ｄ変
換器４０１ｂに供給する。この出力信号Ｖのレベルは、
角速度に比例したものである。Ａ／Ｄ変換器４０１ｂ
は、角度センサ４０１ａからの出力信号Ｖをディジタル
化してディジタルデータＤとして角度演算器４０１ｃに
供給する。角度演算器４０１ｃは、Ａ／Ｄ変換器４０１
ｂからのディジタルデータＤを、例えば、１ｓ分積分す
ることにより平均レベルＤａｖｇを求め、この平均レベ
ルＤａｖｇを角度成分に変換して角度信号を得る。そし
て、角度演算器４０１ｃで得られた角度信号は、信号処
理ユニット１９０に供給される。

【０１７１】そして、信号処理ユニット１９０は、角度
検出部４０１により得られた角度信号の情報を、画像メ
モリ１３０に書き込まれる画像データに対応ずけて画像
メモリ１３０のヘッダ部に書き込む。

【０１７２】次に、画像合成処理部１７２においては、
上記図１０に示すように、画像情報分離部１７２ｆによ
り画像メモリ１３０から読み出された画像データがヘッ
ダ部とデータ部に分離され、コントローラ１７２ｅに
は、ヘッダ部の情報（ヘッダ情報）が供給され、画像メ
モリ１７２ｇには、データ部の情報（画像情報）が書き
込まれる。

【０１７３】コントローラ１７２ｅは、画像情報分離部
１７２ｆから供給されたヘッダ情報に含まれる撮影時の
角度成分の情報と、予め設定されているしきい値とを比
較し、上記角度成分がしきい値以上であった場合には遠
距離パノラマ撮影と判別し、上記角度成分がしきい値以
下であった場合には近距離パノラマ撮影と判別して、そ
の判別結果をセレクタ１７２ｋに供給する。

【０１７４】セレクタ１７２ｋは、コントローラ１７２
ｅからの判別結果に応じて、近距離パラメータ抽出部１
７２ｃ又は遠距離パラメータ抽出部１７２ｄの何れかを
選択して、対応点検出部１７２ｂで得られた対応点の情
報を供給する。

【０１７５】以降、上述した第１の実施の形態と同様の
処理を行うことにより、合成画像を生成する。

【０１７６】上述のように、電子カメラ４００では、撮
影時の装置の移動により発生する角度成分に基づいて、
画像合成処理を自動的に選択するようになされているた
め、パンイング等の装置の移動に対して適切な画像合成
処理を行うことができる。したがって、電子カメラ４０
０は、高画質のパノラマ画像を効率良く得ることができ
る。

【０１７７】尚、上述した電子カメラ４００では、角速
度センサ４０１ａを設けることにより、電子カメラ４０
０の移動により発生する角度成分を検出することとした
が、加速度センサ等を設けることにより、電子カメラ４
００の移動により発生する並進成分（並進移動量）を検
出するようにしてもよい。この場合、画像合成処理部１
７２において、コントローラ１７２ｅは、検出された撮
影時の並進移動量が予め設定されているしきい値より大
きい場合には近距離パノラマ撮影と判別し、上記並進移
動量がしきい値より小さい場合には遠距離パノラマ撮影
と判別する。この場合も、角度成分を検出する場合と同
様に、高画質のパノラマ画像を効率良く得ることができ
る。

【０１７８】

【発明の効果】以上説明したように本発明によれば、撮
影条件に応じて選択された適切な画像合成処理で合成画
像を生成するように構成したことにより、常に高画質の
合成画像を得ることができる。また、本発明によれば、
使用者が画像を合成するための操作を行うことなく、自
動的に合成画像を生成するように構成したことにより、
使用者の負荷を低減することができ、簡便に合成画像を
得ることができる。また、本発明によれば、焦点位置情
報により、合成する画像が近距離撮影で得られたもので
あるか、遠距離撮影で得られたものであるかを自動的に
判別し、その判別結果により選択した適切な画像合成処
理で合成画像を生成するように構成したことにより、被
写体距離に依存せずに簡便に高画質の合成画像を得るこ
とができる。また、本発明によれば、複数の画像を合成
する際に、撮影条件に基づいて複数の画像において隣り
合う画像との連結部付近の画像を変換して、上記連結部
付近目立たなくするように構成したことにより、違和感
のない高画質の合成画像を得ることができる。また、本
発明によれば、撮影条件に基づいて複数の画像において
隣り合う画像との連結部付近の画像の濃度レベルを補正
して、上記連結部付近目立たなくするように構成したこ
とにより、違和感のない高画質の合成画像を得ることが
できる。また、本発明によれば、撮影条件に基づいて合
成する複数の画像に球面変換処理を行うように構成した
ことにより、歪みの除去された自然な高画質の合成画像
を得ることができる。また、本発明によれば、撮影時の
焦点位置を中心に水平及び垂直の両方向にパンして得ら
れた複数の画像を合成する場合でも、複数の画像におい
て隣り合う画像との連結部付近の画像が重複することが
ないように構成したことにより、自然な高画質の合成画
像を得ることができる。また、本発明によれば、合成画
像を平面上に再投影変換するように構成したことによ
り、実際に撮影したカメラレンズよりも広角のカメラレ
ンズで撮影したような高画質の合成画像を得ることがで
きる。例えば、２つの画像の合成処理を順次繰り返すこ
とにより、自由なフレーミングで撮影した多数の画像か
ら、さらに画角の広い合成画像を得ることができる。ま
た、本発明によれば、球面投影変換処理及び平面投影変
換処理を指示することなく自動的に行うように構成した
ことにより、簡便に高画質の合成画像を得ることができ
る。また、本発明によれば、合成画像の視野に応じた適
切な画像合成処理で合成画像を生成するように構成した
ことにより、撮影する画像の視野に依存することなく、
常に高画質の合成画像を得ることができる。また、本発
明によれば、使用者が近距離撮影及び遠距離撮影のため
の操作を行うことなく、被写体距離に応じて自動的に近
距離撮影及び遠距離撮影を行うように構成したことによ
り、簡便に合成画像を得ることができる。また、本発明
によれば、撮影時の撮影情報に応じて画像の合成方式を
切り換えるように構成したことにより、装置の移動情報
に対して最適な画像合成処理を行うことができる。した
がって、高画質の合成画像を効率よく得ることができ
る。例えば、パンニング等の装置の移動に対して最適な
画像合成処理を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態において、本発明に
係る画像生成装置を適用した電子カメラシステムの構成
を示すブロック図である。

【図２】近距離パノラマ撮影をする被写体を示す平面図
である。

【図３】上記近距離パノラマ撮影の撮影状況を説明する
ための図である。

【図４】上記近距離パノラマ撮影で得られた２つの画像
を示す平面図である。

【図５】上記２つの画像を合成して得られた合成画像を
示す平面図である。

【図６】遠距離パノラマ撮影の撮影状況を説明するため
の図である。

【図７】上記遠距離パノラマ撮影で得られた３つの画像
を示す平面図である。

【図８】上記３つの画像を合成して得られた合成画像を
示す平面図である。

【図９】上記電子カメラシステムの画像メモリに記憶さ
れる画像データを説明するための図である。

【図１０】上記電子カメラシステムの画像合成処理部の
構成を示すブロック図である。

【図１１】本発明の第２の実施の形態において、本発明
に係る撮像装置を適用した電子カメラシステムの画像合
成処理部の構成を示すブロック図である。

【図１２】上記画像合成処理部の球面投影処理を説明す
るための図である。

【図１３】上記球面投影処理により得られる球面投影画
像を説明するための図である。

【図１４】本発明の第３の実施の形態において、本発明
に係る撮像装置を適用した電子カメラシステムの画像合
成処理部の構成を示すブロック図である。

【図１５】上記画像合成処理部で処理対象となる画像を
示す平面図である。

【図１６】上記画像合成処理部の濃度レベル補正処理を
説明するための図である。

【図１７】本発明の第４の実施の形態において、本発明
に係る撮像装置を適用した電子カメラシステムの構成を
示すブロック図である。

【図１８】２つの撮像部の各光軸を制御する処理を説明
するための図である。

【図１９】本発明の第５の実施の形態において、本発明
に係る撮像装置を適用した電子カメラシステムの画像合
成処理部の処理を示すフローチャートである。

【図２０】上記画像合成処理部の処理において、画像入
力処理を具体的に示すフローチャートである。

【図２１】上記画像合成処理部の処理において、球面投
影変換処理を具体的に示すフローチャートである。

【図２２】上記球面投影変換処理により得られる２つの
球面投影画像を示す平面図である。

【図２３】上記画像合成処理部の処理において、対応点
抽出処理を具体的に示すフローチャートである。

【図２４】上記画像合成処理部の処理において、画像合
成処理を具体的に示すフローチャートである。

【図２５】上記画像合成処理により得られる球面投影合
成画像を示す平面図である。

【図２６】上記画像合成処理部の処理において、平面投
影変換処理を具体的に示すフローチャートである。

【図２７】上記平面投影変換処理により得られる平面投
影合成画像を示す平面図である。

【図２８】本発明の第６の実施の形態において、本発明
に係る撮像装置を適用した電子カメラシステムの画像合
成処理部の構成を示すブロック図である。

【図２９】上記画像合成処理部の処理を示すフローチャ
ートである。

【図３０】上記画像合成処理部において、各々２つの球
面投影画像を合成して得られる２つの合成画像を示す平
面図である。

【図３１】上記２つの合成画像を合成して得られる合成
画像を示す平面図である。

【図３２】上記合成画像に平面投影変換処理を行うこと
により得られる画像を示す平面図である。

【図３３】本発明の第７の実施の形態において、本発明
に係る画像生成装置を適用した電子カメラシステムの構
成を示すブロック図である。

【図３４】上記電子カメラシステムの角度検出部の構成
を示すブロック図である。

【図３５】従来の電子カメラシステムを水平方向にパン
ニングして２つの画像を撮影する場合を説明するための
図である。

【図３６】上記電子カメラシステムにより得られた２つ
の画像を示す平面図である。

【図３７】上記２つの画像を合成して得られる合成画像
を示す平面図である。

【図３８】上記電子カメラシステムにより、長方形の枠
を４回のフレーミングで撮影した場合に得られる４つの
画像を示す平面図である。

【図３９】円柱面上への画像の投影は行わずに平行移動
のみで上記４つの画像を合成して得られる合成画像を示
す平面図である。

【図４０】一旦円柱面上への画像の投影を行って平行移
動して上記４つの画像を合成して得られる合成画像を示
す平面図である。

【符号の説明】

１７２画像合成処理部１７２ａ入出力部１７２ｂ対応点検出部１７２ｃ近距離撮影パラメータ抽出部１７２ｄ遠距離撮影パラメータ抽出部１７２ｅコントローラ１７２ｆ画像情報分離部１７２ｇ画像メモリ１７２ｈ合成画像用メモリ１７２ｉ近距離撮影座標変換処理部１７２ｊ遠距離撮影座標変換処理部１７２ｋセレクタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者羽鳥健司東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】撮影手段により画面の一部が重複するよ
うに被写体像を複数画面に分割して撮影し、上記撮影手
段で得られた一連の複数の画像を合成して合成画像を生
成する画像生成装置であって、撮影時の撮影条件を検出する検出手段と、上記撮影手段で得られた複数の画像と共に各画像に対応
して上記検出手段により検出された撮影条件を記憶する
記憶手段と、上記記憶手段に記憶された一連の複数の画像を合成して
合成画像を生成する画像合成手段と、上記画像合成手段を制御する制御手段とを備え、上記画像合成手段は、上記撮影条件に対応した複数の合
成手段からなり、上記制御手段は、各画像に対応する撮影条件に基づいて
上記複数の合成手段を選択的に切り替え、上記制御手段により選択的に切り替えられた合成手段
は、一連の複数の画像を合成することを特徴とする画像
生成装置。
【請求項２】上記画像合成手段は、各画像の重複部分
における対応点を検出する対応点検出手段と、各画像に
座標変換処理を施して合成画像を生成する座標変換手段
と、上記対応点検出手段で検出された対応点に基いて撮
影パラメータを生成するパラメータ生成手段とを備え、上記座標変換手段は、上記パラメータ生成手段で生成さ
れた撮影パラメータを用いて上記座標変換処理を行うこ
とを特徴とする請求項１記載の画像生成装置。
【請求項３】上記検出手段は、撮影条件として撮影時
の焦点位置情報を検出し、上記画像合成手段は、近距離撮影により得られた一連の
複数の画像を合成する近距離合成手段と、遠距離撮影に
より得られた一連の複数の画像を合成する遠距離合成手
段とを備え、上記制御手段は、各画像に対応する焦点位置情報により
合成する一連の複数の画像が近距離撮影により得られた
ものであるか遠距離撮影により得られたものであるかを
判別し、その判別結果に基づいて上記近距離合成手段と
上記遠距離合成手段を選択的に切り替えることを特徴と
する請求項１記載の画像生成装置。
【請求項４】上記画像合成手段は、各画像に対応する
撮影条件に基づいて各画像の重複部分の画素値を変換す
る変換手段を備えることを特徴とする請求項１記載の画
像生成装置。
【請求項５】上記検出手段は、撮影条件として撮影時
の露出情報を検出し、上記変換手段は、各画像に対応する露出情報に基づいて
各画像の重複部分の濃度レベルを補正することを特徴と
する請求項４記載の画像生成装置。
【請求項６】上記画像合成手段は、各画像に対応する
撮影条件に基づいて各画像を球面上に投影変換して球面
投影画像を生成する球面投影変換手段を有し、上記球面
投影変換手段で得られた複数の球面投影画像を合成する
ことを特徴とする請求項１記載の画像生成装置。
【請求項７】上記球面投影変換手段は、撮影時の焦点
位置を中心とする球面に投影変換することを特徴とする
請求項６記載の画像生成装置。
【請求項８】上記画像合成手段は、上記球面投影変換
手段で得られた複数の球面投影画像を合成した合成画像
を平面上に投影変換して平面投影合成画像を生成する平
面投影変換手段を備えることを特徴とする請求項６記載
の画像生成装置。
【請求項９】上記画像合成手段は、処理対象となる画
像が上記球面投影画像であるか上記平面投影合成画像で
あるかを示す投影面タイプ情報を上記画像に付加する付
加手段を備えることを特徴とする請求項８記載の画像生
成装置。
【請求項１０】上記画像合成手段は、上記球面投影変
換手段で得られた複数の球面投影画像を合成した合成画
像の視野に応じて、上記合成画像と上記平面投影合成画
像を選択的に切り換えて出力する出力手段を備えること
を特徴とする請求項８記載の画像生成装置。
【請求項１１】上記撮影手段は、複数の撮像手段から
なり、上記検出手段により検出された撮影条件に基づいて上記
複数の撮像手段の各光軸の向きを制御する光軸制御手段
とを備えることを特徴とする請求項１記載の画像生成装
置。
【請求項１２】複数の撮影画像を合成して一枚の画像
を生成する画像生成装置であって、パノラマ撮影モードを設定する手段と、装置の角度を検出する手段と、パノラマ撮影モードにより撮影して得られた複数の撮影
画像と共に上記角度の情報を保持する手段と、上記複数の撮影画像を合成する手段を備え、上記複数の撮影画像を合成する際に、上記角度の情報に
基づいて適応的に合成方式を切り換えることを特徴とす
る画像生成装置。
【請求項１３】複数の撮影画像を合成して一枚の画像
を生成する画像生成装置であって、パノラマ撮影モードを設定する手段と、装置の位置を検出する手段と、パノラマ撮影モードにより撮影して得られた複数の撮影
画像と共に上記位置の情報を保持する手段と、上記複数の撮影画像を合成する手段を備え、上記複数の撮影画像を合成する際に、上記位置の情報に
基づいて適応的に合成方式を切り換えることを特徴とす
る画像生成装置。