JP4556745B2 - 画像合成装置及び方法、並びに記録媒体 - Google Patents

Description

本発明は、撮像方向を順次変化させて撮像することにより複数の画像領域が貼り合わされたパノラマ状の全体画像を合成する画像合成装置及び方法、並びに記録媒体に関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、1回の撮影での撮影範囲はレンズの画角によって制限された狭い範囲のものとなり、レンズの画角を越えた広範囲の撮影ができなかった。

このため、パノラマ状の画像を撮影するカメラシステムが近年において提案されている。このカメラシステムは、広い視野を複数のレンズで一度に撮影する多眼式と、単眼レンズを用いて撮影方向を順にシフトさせつつ個々の単位画像に分けて連続撮影する単眼式に分類される。

多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成することができるという利点があるが、システム全体が高価になるという欠点がある。

これに対し、単眼式のカメラシステム（例えば、特許文献１参照）は、比較的安価であるが、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要があるからである。また重なり合う単位画像からパノラマ状の全体画像を取得すべく、各単位画像の中心からの距離に関するボロノイ分割法を用いることにより、得られた境界線に基づいて最適な単位画像を選択する方法が提案されている。更には、相互に重複する画像領域における画素値の平均を用いることにより隣接する単位画像を滑らかにつなぐ方法、或いはメディアンフィルターを用いることにより、最適な単位画像を選択する方法も提案されている。

特開平１１−４６３１７号公報

ところで、上述の単眼式のカメラシステムでは、連続撮影された個々の単位画像の撮影時刻が異なるため、動いている物体を連続撮影し、一枚の全体画像を生成する場合、動いている物体の輪郭が不自然なものとなってしまう。

本発明は、このような課題を解決するために提案されたものであり、物体が動くために生じる画像の不自然さを緩和することかできる画像合成装置及び方法、並びに記録媒体を提供することを目的とする。

上記課題を解決するために、本発明に係る画像合成装置は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成装置であって、第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定手段と、上記判定手段により画素値に差があると判定された位置にフィルタ処理する処理手段と、上記処理手段によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ手段と、上記重ね合わせ手段により重ね合わされた合成画像を出力する出力手段とを備えることを特徴としている。

また、本発明に係る画像合成装置は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成装置であって、第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定手段と、上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ手段と、上記判定手段により画素値に差があると判定された位置にフィルタ処理する処理手段と、上記処理手段によりフィルタ処理された合成画像を出力する出力手段とを備えることを特徴としている。

また、本発明に係る画像合成方法は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成方法であって、第１の画像と該第１の画像の次に撮像された第２の画像と重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、上記処理工程によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、上記重ね合わせ工程により重ね合わされた合成画像を出力する出力工程とを有することを特徴としている。

また、本発明に係る画像合成方法は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成方法であって、第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、上記処理工程によりフィルタ処理された合成画像を出力する出力工程とを有することを特徴としている。

また、本発明に係る記録媒体は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成するプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、上記処理工程によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、上記重ね合わせ工程により重ね合わされた合成画像を出力する出力工程とを有することを特徴としている。

また、本発明に係る記録媒体は、被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成するプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、上記処理工程によりフィルタ処理された合成画像を出力する出力工程とを有することを特徴としている。

移動物体の所定の画像領域を検出し、その画像領域をぼかして合成画像を生成することにより、移動物体の輪郭の不自然さを緩和することができる。

以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明は、例えば図１に示すような撮像装置１に適用される。この撮像装置１は、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光する図示しないシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１１とを有している。

また、この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化した撮像信号Ｃ２としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するメモリ１７とを備えている。

この撮像装置１は、ＤＳＰ１５から供給される画像データをデジタル／アナログ変換処理して出力するＤ／Ａ変換部１８と、このＤ／Ａ変換部１８からの画像データをビデオ信号に変換するビデオエンコーダ部１９と、ビデオエンコーダ部１９に接続されてなり、上述のビデオ信号に基づく画像をユーザに表示するためのモニタ部２０とを備え、またこの撮像装置１は、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、内部バス１４に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵ２１から内部バス１４を介して送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＤＳＰ１５に至るまでの信号処理系を制御するタイミングジェネレータ２３と、内部バス１４にそれぞれ接続されてなるモータ２４並びに露出計２６とを備えている。

撮像部１０は、ＣＰＵ２１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。

ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。

ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これをＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。

ＤＳＰ１５は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。図示しない信号処理用プロセッサは、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。この図示しない画像用ＲＡＭにおいて画像処理された画像は、コーデック処理部１６とＤ／Ａ変換部１８の何れか、或いは双方へ送信される。

コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。

メモリ１７は、例えば半導体メモリ,磁気記録媒体,光磁気記録媒体等で構成され、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。

モニタ部２０は、Ｄ／Ａ変換部１８においてアナログ信号に変換され、さらにビデオエンコーダ部１９においてビデオ信号に変換された画像を表示する。このモニタ部２０は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。

ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１や露出計２６から送信される明るさに関する情報に基づいて、動作信号を生成し、これを内部バス１４を介して撮像部１０へ送信する。

操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。

モータ２４は、例えばステッピングモータ等のように、撮像部１０を旋回させるための駆動源として構成される。このモータ２４は、ＣＰＵ２１からの動作信号に応じて回転する。これにより、撮像部１０の撮影方向を水平方向、或いは垂直方向に変更することができる。

露出計２６は、撮像部１０により撮像される対象の明るさを識別するためのセンサであり、この識別した明るさに関する情報をＣＰＵ２１へ送信する。

上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後、Ｄ／Ａ変換部１８によりデジタル／アナログ変換処理されてモニタ部２０において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。

本発明は、さらに以下に説明する撮像装置３に適用することができる。この撮像装置３において上述した撮像装置１と同一の構成、要素については、図１の説明を引用することにより、ここでの説明を省略する。

この撮像装置３は、例えば図２に示すように、レンズ部１０ａを含む撮像部１０を介して被写体を撮像し、連結された回転軸を回転中心として図２中の矢印Ａ方向へ回転可能な第１の筐体３１と、第１の筐体の下側に配設され、ユーザの片手で把持可能な第２の筐体３２とを備えている。ちなみに、この第２の筐体３２には、シャッタボタン２２１と、撮像した画像をユーザ自身が視認するための表示部４３とが配設されている。

図３(a)、(b)は、この撮像装置３の内部構成を示している。この第１の筐体３１は、レンズ部１０ａと、ＣＭＯＳイメージセンサ１１と、少なくともＣＤＳ回路１２並びにＡ／Ｄ変換部１３を有する第１の電子回路４１とを備えている。

また、第２の筐体３２は、回転軸３８を介して第１の筐体３１に連結されてなり、この回転軸３８を回転させるためのモータ５１と、この回転軸３８の回転角を制御するためのフォトインターラプタ５２並びに遮蔽板５３と、この回転軸３８の回転動作に対して物理的な制限を加えるためのストッパー５４と、第２の筐体３２の上面に設けられた連結穴に挿設されてなり、上記回転軸３８を支持することにより円滑な回転動作を実現するためのベアリング５５と、撮像装置３の各構成要素を制御するための第２の電子回路４２と、各構成要素を動作させるためのバッテリー４４とを備えている。

第２の電子回路４２は、図３(b)に示すように、ＤＳＰ１５と、メモリ１７と、ＣＰＵ２１と、操作部２２と、シャッタボタン２２１と、表示部４３と、モータやフォトインターラプタ、または外部機器との間で画像データを送受信するためのインターフェース４７とを備え、また第１の電子回路４１との間で電気的な信号を送受信するための配線５６が接続されている。

ちなみに、この第２の筐体３２は、上述した各構成要素に加えて、一般撮影モードと、パノラマ撮影モードとを切り換えるためのボタンや、一般的なデジタルカメラが有する各種ボタンが配設されている。

モータ５１は、供給された駆動パルスに応じた角速度で回転軸３８を回転させるステッピングモータ等で構成される。このモータ５１により回転させられる回転軸３８の一端側には第１の筐体３１が連結され、その中間にはストッパー５４が固着される。またこの回転軸３８の他端側には遮蔽板５３が固着されている。即ち、このモータ５１に基づく回転軸３８の回転動作に応じて第１の筐体３１が回転するとともに、遮蔽板５３並びにストッパー５４も同様に回転することになる。ちなみに、このモータ５１による回転軸３８の回転角度における相対的な変位は、モータ５１に与えるパルス数で検出することができる。

表示部４３は、Ｄ／Ａ変換部１８,ビデオエンコーダ部１９,モニタ部２０に準ずる構成を全て含み、第２の筐体３２側面に設けた液晶表示素子を介して生成した画像を表示する。この表示部４３は、回転軸３８により回転させられる第１の筐体３１と離間して設けられているため、回転軸３８の回転に支配されることなく、視認性を向上させることができる。

フォトインターラプタ５２は、発光体５２ａと受光体５２ｂとが上下に亘って設けられてなる。この受光体５２ｂは、発光体５２ａからの光信号を受光し続けることになるが、回転軸３８の回転に応じて遮蔽板５３がフォトインターラプタ５２付近まで回転されてきた場合には、かかる光信号が遮蔽板５３により遮蔽されることになる。即ち、この受光体５２ｂが受光する光信号の遮蔽状況から、回転軸３８の回転状況を識別することが可能となる。

なお、回転軸３８が可動範囲を超えて回転した場合には、この遮蔽板５３が光信号を遮蔽し、当該遮蔽に応じてモータ５１が停止するように構成としてもよい。この図４は、フォトインターラプタ５２並びに遮蔽板５３を図３中のＢ方向から捉えたものである。この図４に示すように、可動範囲内においては、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることがないため、モータ５１が停止することなく、回転軸３８を自在に回転させることができる。これに対して、可動範囲を超えた場合には、遮蔽板５３が受光体５２により受光される光信号を遮ることになり、モータ５１が停止することになる。なお、この可動範囲を超えた場合には、さらにストッパー５４を介して第１の筐体３１の回転動作を物理的に抑え込むようにしてもよい。

このように、第２の筐体３２に対する第１の筐体３１の回転範囲を制限する仕組みを導入することにより、第１の筐体３１から第２の筐体３２へのデータの伝送を、フォトカプラを用いた特殊なジョイント部品を使用することなく、通常の可動部分で用いられるようなフレキシブルな配線素材を用いて実現することができる。

上述の構成からなる撮像装置３を用いるユーザは、第２の筐体３２を把持しつつ、撮影を行う。かかる場合において第２の筐体３２外部に設けられたシャッタボタン２２１を押圧することにより、上述した撮影開始のタイミング、撮影終了のタイミングを指定することができる。第２の筐体３２を片手で把持するユーザの指先に当たる箇所に、このシャッタボタン２２１を設けることにより、指先の小さな動きで撮影の開始及び終了を支持することができる。

従って、このような第２の筐体３２を片手で把持し、シャッタボタン２２１を押圧することにより、図５(a)に示す状態から、第１の筐体３１が徐々に回転し、図５(b)に示すように撮像部１０の撮影方向が変化する。また、このシャッタボタン２２１を更に押圧し続けることにより、図５(c)に示すように、第１の筐体３１が更に回転する結果、撮像部１０の撮影方向がさらに変化することになる。即ち、この第１の筐体３１は、連結された回転軸３８を回転中心として撮像部１０の撮影方向が順次変化するように回転可能となるように構成されてなる。

ちなみに、この図５(c)に示す状態においてこのシャッタボタン２２１を押し続けた場合に、上述したフォトインターラプタ５２により、モータ５１の回転を抑制させた上で、この第１の筐体３１を更に反対方向へ向かって回転させるようにしてもよい。

ちなみに、この第２の筐体３２には、バッテリー４４やモータ５１等の質量の大きい部品や、多くの回路より構成される第２の電子回路４２が搭載されるのに対し、第１の筐体３１には、撮影に必要なレンズ部１０ａや、ＣＭＯＳイメージセンサ１１、第１の電子回路４１等のように比較的質量の小さい部品が搭載されている。即ち、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされている。これにより、第１の筐体３１を回転させる回転軸３８やベアリング５５等の部品、更にはモータ５１等への機械的負荷を軽減させ、製品全体のコストを低く抑え込むことが可能となり、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することも可能となる。

図６は、撮像装置３による撮影工程を示すフローチャートである。

撮像装置３は、ハードウェアの診断や初期化を行った後、ステップＳ６１へ移行する。

ステップＳ６１では、通常のカメラと同様に、自動露出機能等の補助を利用しつつ、絞り量や露出等をユーザ自身が調整する。その結果、各種撮影パラメータが決定される。

次にステップＳ６２へ移行し、シャッタボタン２２１の押圧を調べ、撮影開始タイミングを識別する。シャッタボタン２２１が押圧されていればそのままステップＳ６３へ移行し、押圧されていなければステップＳ６１へ戻る。

ステップＳ６３へ移行した場合には、撮像部１０により撮像を行う。撮像により取得されたデータは、ＣＤＳ回路１２、Ａ／Ｄ変換部１３を経て、ＤＳＰ１５へ転送される。

ステップＳ６４では、ＤＳＰ１５が画像処理を実行することによりパノラマ状の全体画像を合成する。図７は、連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子を示している。ここで、連続して撮影された各単位画像は、互いに重複領域が生じるように撮影されているものとする。この重複領域については、従来より知られている合成方法に基づいてつなぎ合わせることにより、図７に示すような全体画像を合成することができる。ちなみに、この合成方法として、例えば、アルファブレンディング等の合成技法を用いるようにしてもよい。

次にステップＳ６５へ移行し、第１の筐体３１を第２の筐体３２に対して回転させることにより、撮像部１０による撮影方向を僅かに変化させる。この第１の筐体３１の回転量は、少なくとも連続して撮影された各単位画像間において互いに重複領域が生じるように調整される。この回転量は、撮像装置３の設計時において幾何学的な計算により予め求めておくこともできる。また、撮影時における撮像装置３全体の揺れ量を検出するための機能を実装しておくことにより、第１の筐体３１の回転量を動的に微調整するようにしてもよい。

なお、このステップＳ６５において、モータ５１の回転量をできるだけ小さく設定しておき、かつ単位時間当たりの撮影枚数を増加させて連続撮影を実行することにより、視差による歪みや動被写体を撮影することによる画像の不連続さを解消することができ、高画質な全体画像を合成することが可能となる。このような撮影を行うためには、モータ５１の断続的かつ高精度の制御が必要となるが、上述の如く、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされているため、これらを低コストで実現することが可能となる。

ステップＳ６６では、再びシャッタボタン２２１の押圧を調べ、撮影終了のタイミングを識別する。このステップＳ６６においてシャッタボタン２２１の押圧が確認できた場合には、撮影を継続させるべくステップＳ６３へ戻る。これに対し、このステップＳ６６においてシャッタボタン２２１の押圧が確認できなかった場合には、撮影の終了動作へ移行すべくステップＳ６７へ移行する。

ステップＳ６７では、撮影終了時の処理として、合成したパノラマ状の全体画像をメモリ１７へ格納する。

このように、第１の筐体３１と離間した第２の筐体３２にシャッタボタン２２１を搭載することにより、指先の小さな操作だけで撮影の開始、終了を指示することができる。また、第２の筐体３２に表示部４３を備えることにより、得られた画像の視認性を向上させることができる。

また、実際に回転する第１の筐体３１内部にレンズ部１０ａやＣＭＯＳイメージセンサ１１等のように撮影に最低限必要な部品を少なくとも実装することにより、回転部分の質量が軽くなるため、この第１の筐体３１における回転部分を支える部品やこれを回転駆動させるモータ５１のコストを下げることができる。またモータ５１等の駆動源となる部品をユーザにより把持される第２の筐体３２内に実装することにより、モータ５１の回転に伴う振動による影響を極力抑えることもできる。

またフォトインターラプタ５２を用いて、第１の筐体３１の回転範囲を制限することにより、回転部分とホールド部分間のデータ転送を通常の安価なフレキシブルな配線素材を用いて実現することができる。

なお、この撮像装置３において、上述した撮像装置１の動作を全て行わせるようにしてもよい。これにより、上述した撮像装置３自体の効果に加えて、切り出したスリット状の画像領域間を重複させることによる画質の向上、システム全体のコスト低減等の撮像装置１の効果を相乗的に奏するような撮影システムを構築することも可能となる。

また、本発明を適用した撮像装置３は、上述した実施の形態に限定されるものではなく、ＤＳＰ１５、ＣＰＵ２１、表示部４３、モータ５１、操作部２２（シャッタボタン２２１）、バッテリー４４のうち、何れか１つ以上が第２の筐体３２内に設けられていればよい。

ところで、このように連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する場合において、例えば、暗い風景の前を明るい物体が移動している場面を撮影する場合、物体の輪郭が不自然となっていた。この不自然な輪郭を１つのカメラで、撮影方向を変えて２枚連写し、これら２枚の画像からパノラマ画像を作成する場合を用いて説明する。ここで、２枚の画像を撮影したときの撮影方向の角度差に応じた画像上での位置関係を（ｐ，０）とする。つまり、２枚の画像の位置は、横方向にｐだけずれたものである。

図８は、第１番目の画像を示す図である。この画像は、暗い風景の前を白い長方形物体が移動している場面を撮影したものである。

また、図９は、第２番目の画像を示す図である。この第２番目の画像は、図８で示した第１番目の画像に対して（ｐ，０）だけずれた位置で撮影されたものである。第１番目の画像と第２番目の画像とは撮影時刻に差があるので、白い長方形物体は、第１番目の画像を撮影した時点から移動している。

ここで、図１０に示すように、第２番目の画像を第１番目の画像に対して（ｐ，０）だけずらして重ね合わせたパノラマ画像を生成する。ここで、パノラマ画像とは、第１番目の画像（あるいは第２番目の画像）よりも広い部分を撮影した画像である。

図１１は、第１番目の画像と第２番目の画像とを適切な位置関係となるように重ね合わせたパノラマ画像を示す図である。このパノラマ画像には、２つの画像時刻に差があるために白い長方形の物体の左右の周辺部分に不自然な輪郭が現れている。

次に、上述した不自然な輪郭が、どのようにして生じるかについて図１２を用いて説明する。図１２は、図１１に示すパノラマ画像の直線ａ上の白黒の度合いを説明するための図である。この図１２では、白黒の度合いを０（黒）〜２５５（白）を用いて示している。

図１２に示すように、図１２（ａ）に示す「第１番目の画像」と図１２（ｂ）に示す「第２番目の画像」との位置はｐだけずれている。また、白い長方形物体は、「第１番目の画像」を撮影した際には、図１２（ａ）に示すようにＢからＤまでの位置に存在し、「第２番目の画像」を撮影した際には、その白い長方形物体が移動して、図１２（ｂ）に示すようにＣからＥまでの位置に存在している。ここで、「第１番目の画像」と「第２番目の画像」の重なり部分は、ＡからＦまでである。

ところで、一般的に画像を重ねて合成画像を作る場合、その重なりの境界部分を滑らかに接続するために、位置に依存した重み関数を使った重み付き平均が用いられる。すなわち、重ねる画像の周辺部分の寄与率が０になるように重み関数を設定することで境界部分を滑らかにすることができる。この技術は、例えば、P. J. Burt and E. H. Adelson, 鄭 multiresolution spline with application to image mosaics, ACM Trans. on Graphics, Vol. 2, no. 4, pp. 217-236, 1983 の Fig. 2において説明されている。

この技術に基づいて、「第１番目の画像の重み（寄与率）」を、図１２（ｃ）に示すように、Ａ地点で１、Ｆ地点で０になるように設定する。また、第２番目の画像の重み（寄与率）は、１から第１番目の画像の重み（寄与率）を引いた値である。

続いて、図１２（ｄ）に示す「合成画像」の白黒の度合いについて詳細に説明する。まず、ＡからＢまでの区間について説明する。この区間では、「第１番目の画像」と「第２番目の画像」とは、ともに黒（値は０）であるから、各画像の寄与率が何であっても、結果画像である「合成画像」は、黒（値は０）である。

また、ＢからＣまでの区間では、「第１番目の画像」は白（値は２５５）であり、「第２番目の画像」は黒（値は０）である。そして、ＢからＣに向かって、図１２（ｃ）に示す「第１番目の画像の寄与率」は小さくなっているので、結果として、図１２（ｄ）に示す「合成画像」の白黒の度合いは、ＢからＣに向かって小さな値となる。

また、ＣからＤまでの区間では、「第１番目の画像」と「第２番目の画像」とは、ともに白（値は２５５）であるから、各画像の寄与率が何であっても、結果画像である「合成画像」は、白（値は２５５）である。

また、ＤからＥまでの区間では、「第１番目の画像」は黒（値は０）であり、「第２番目の画像」は白（値は２５５）である。そして、ＢからＣに向かって、「第１番目の画像の寄与率」は小さくなっているので、結果として、図１２（ｄ）に示す「合成画像」の白黒の度合いは、ＤからＥに向かって大きな値となる。

また、ＥからＦまでの区間では、「第１番目の画像」と「第２番目の画像」とは、ともに黒（値は０）であるから、各画像の寄与率が何であっても、結果画像である「合成画像」は、黒（値は０）である。

また、Ａより左では、「第１番目の画像」がそのまま「合成画像」として使われ、Ｆより右側では、「第２番目の画像」がそのまま「合成画像」として使われる。

図１２（ｄ）の「合成画像」に示すＢからＣまでの区間と、ＤからＥまでの区間を見て分かるように、暗い風景の前を白い長方形物体が移動している場合、「合成画像」は、白い長方形物体の輪郭部分で、黒(背景)（Ａより左）から白（Ｂ）へ、徐々に黒くなり（ＢからＣ）、さらに白（移動物体）（Ｃ）になり、奇妙なものとなってしまう。つまり、実際の画像では、図１１に示すように、白い長方形の物体の左右の周辺部分に不自然な輪郭が現れてしまう。

そこで、本実施の形態では、動いている物体の周辺部分を検出し、その部分のみをぼかすことにより、不自然な輪郭を軽減する。具体的には、動いている物体の周辺部分に高周波成分の帯域を制限するローパスフィルタ（Low-Pass Filter）（以下、ＬＰＦという。）を適用する。

図１３は、撮像装置３におけるＬＰＦを用いた画像処理を、ハードウェア的に実現するための画像処理装置１００の構成を示すブロック図である。なお、以下、ＤＳＰ１５における画像処理を、ハードウェア的に実現することとして説明するが、これに限定されるものではない。

この画像処理装置１００は、複数の画像を入力する画像入力端子１０１と、複数の画像の位置情報を入力する画像位置入力端子１０２と、位置情報に基づいて各画像のＬＰＦ適用範囲を決定するＬＰＦ適用範囲決定回路１０３と、ＬＰＦ処理を施すＬＰＦ回路１０４と、ＬＰＦ適用範囲に基づいて画像入力端子１０１から入力された画像又はＬＰＦ処理を施された画像を選択する選択回路１０５と、選択された画像を重ね合わせる重ね合わせ回路１０６と、重ね合わせた合成画像を出力する画像出力端子１０７とを備えている。

画像入力端子１０１には、複数の画像が入力され、例えば、図１１に示す合成画像の例では第１番目の画像や第２番目の画像が入力される。

画像位置入力端子１０２には、画像入力端子１０１に入力される複数の画像の位置情報が入力される。例えば、図１０に示す例では、第１番目画像と第２番目画像との位置関係を示す位置情報（ｐ，０）が入力される。

ＬＰＦ適用範囲決定回路１０３は、画像入力端子１０１から入力された各画像を、画像位置入力端子１０２から入力された位置情報に基づいて配置し、重なり合う部分の画素同士の値が、一致するか否かを判定し、ＬＰＦ適用範囲を決定する。また、重ね合わせを行おうとしている画像（２枚、あるいは、それ以上の枚数）の対応している位置における画素の値を比較し、その値が一致するか否かを判定することにより、撮影された物体が静止している物体か、動いている物体かを判別することができる。

ＬＰＦ回路１０４は、画像入力端子１０１から入力された各画像に対し、ローパスフィルタ処理を施す。

選択回路１０５は、ＬＰＦ適用範囲決定回路１０３にて決定された各画像の画素毎に、ＬＰＦ回路１０４にて処理された画像の画素又は画像入力端子１０１から入力された画像の画素を選択する。ＬＰＦ適用範囲決定回路１０３にて画素同士の値が一致すると判定した場合は、画像入力端子１０１から入力された画像の画素を選択し、画素同士の値が異なると判定した場合は、ＬＰＦ回路１０４にて処理された画像の画素を選択する。つまり、各画像の各画素の中で、移動物体部分の画素に対してのみ、ＬＰＦ（ローパスフィルタ）をかけるという処理が行われる。

重ね合わせ回路１０６は、選択回路１０５にて選択された画素を用いて合成画像を生成する。

画像出力端子１０７は、重ね合わせ回路１０６で合成された合成画像を出力する。

続いて、図１４に示すフローチャートを用いて、画像処理装置１００の動作を説明する。まず、ステップＳ１において、画像入力端子１０１に複数の画像を入力するとともに、それら画像の位置関係を画像位置入力端子１０２に入力する。

ステップＳ２では、移動物体判定処理を行う。すなわち、ＬＰＦ適用範囲決定回路１０３において各画像を位置情報の示す位置関係になるように配置した際、重なり合う部分の画素同士の値が、違うかどうかの判定を行い、ＬＰＦ適用範囲を決定する。

また、重なり合う部分の画素同士の値が、違うかどうかの判定を行う場合、ノイズなどにより誤判定をしてしまう可能性があるため、ノイズの多い画像には、孤立点除去を行って、誤判定を減少させることができる。すなわち、ある着目している画素位置において「画素同士の値が違う」と判定されても、その周辺のすべての画素位置において「画素同士の値が同じ」と判定された場合には、着目している画素はノイズのために誤判定したと考えられるので、強制的に「画素同士の値が同じ」と判定する。逆に、ある着目している画素位置において「画素同士の値が同じ」と判定されても、その周辺のすべての画素位置において「画素同士の値が違う」と判定された場合には、着目している画素はノイズのために誤判定したと考えられるので、強制的に「画素同士の値が違う」と判定する。これは、移動物体の輪郭部分は、ある程度の大きさをもって画像上に映っているので、１点だけが孤立して「画素同士の値が違う（あるいは同じ）」と判定されることは、ノイズのために誤判定したと考えられるからである。

ステップＳ３では、適応的ＬＰＦ処理を行う。すなわち、ステップＳ２の上記移動物体判定処理において、各画像の各画素の中で、「画素同士の値が違う」と判定された場合には、ＬＰＦ回路１０４にて、その画素に対してＬＰＦ処理を行う。ＬＰＦ処理では、例えば、式（１）に示す計算を行う。

式（１）において、ｄ（ｓ，ｔ）は、位置（ｓ，ｔ）における入力画像の画素値である。また、（ｘ，ｙ）は、上記移動物体判定処理での判定において「画素同士の値が違う」と判定された位置である。この位置（ｘ，ｙ）では、式（１）に示すように、その周辺の前後左右の画素との重み付き平均が行われ、高周波成分が除去される。

ステップＳ４では、重ね合わせ処理を行う。すなわち、重ね合わせ回路１０６は、上記適応的ＬＰＦ処理後の画像同士を、位置情報の示す位置関係になるように配置して重ね合わせを行い、結果画像を作成する。

ステップＳ５では、上記重ね合わせ処理により作成された結果画像を出力する。

このような画像処理により、移動物体の輪郭における不自然さを緩和することができる。

次に、上述の画像処理によって合成された合成画像について、図１５を用いて説明する。この図１５では、画像の白黒の度合いを０（黒）〜２５５（白）を用いて示している。図１５において、「第１番目の画像」と「第２番目の画像」との位置は、図１２と同様にｐだけずれている。また、「第１番目の画像」と「第２番目の画像」との重なり部分は、図１２と同様にＡからＦである。また、図１２と同様に、白い長方形物体は、「第１番目の画像」を撮影した際には、図１５に示すＢからＤの位置に存在し、「第２番目の画像」を撮影した際には、その白い長方形物体が移動して、ＣからＥの位置に存在している。

ＬＰＦ適用範囲決定回路１０３は、図１５（ａ）に示す「第１番目の画像」と、図１５（ｂ）に示す「第２番目の画像」との対応している位置における画素の値を比較する。つまり、「第１番目の画像」に対してｐだけずらした位置に、「第２番目の画像」を置いたときの、各位置における２つの画像の画素値を比較する。ここで、図１５から明らかなように、ＡからＢまでの区間、ＣからＤまでの区間、及びＥからＦまでの区間では、「画素値は同じ」と判定される。また、ＢからＣまでの区間、及びＤからＥまでの区間では、「画素値は違う」と判定される。つまり、ＡからＢまでの区間、ＣからＤまでの区間、及びＥからＦまでの区間では、静止している物体の投影像であり、ＢからＣまでの区間、および、ＤからＥまでの区間では、動いている物体の投影像である。

ところで、図１５（ａ）に示す「第１番目の画像」の全ての領域に対して、ＬＰＦ処理を施した場合、図１６（ｂ）に示すようにＢの位置近傍及びＤの位置近傍の画像がボケてしまう。ここで、図１６に示すＡ〜Ｆは、図１５に示すＡ〜Ｆと同じ位置である。また、図１６（ａ）は、図１５（ａ）に示す「第１番目の画像」である。

同様に１５（ｂ）に示す「第２番目の画像」の全ての領域に対して、ＬＰＦ処理を施した場合は、Ｃの位置近傍及びＥの位置近傍の画像がボケてしまう。

したがって、全ての領域に対してＬＰＦ処理を施した画像を重ね合わせて合成画像を生成すると、全体的にボケた不自然な合成画像となってしまう。

そこで、本実施形態の画像処理では、図１５（ａ）に示す「第１番目の画像」に対して、「画素値は違う」と判定した領域にのみＬＰＦ処理を施す。すなわち、選択回路１０５は、第１番目の画像のＢからＣまでの区間及びＤからＥまでの区間の画素を、ＬＰＦ回路１０４にてＬＰＦ処理された画素とする。この処理結果を、図１５（ｃ）に示すように、「第１番目のＬＰＦ画像」とする。

また、「第２番目の画像」に対しても、「画素値は違う」と判定した領域にのみＬＰＦ処理を施す。すなわち、選択回路１０５は、第２番目の画像のＢからＣまでの区間及びＤからＥまでの区間の画素を、ＬＰＦ回路１０４にてＬＰＦ処理された画素とする。この処理結果を、図１５（ｄ）に示すように、「第２番目のＬＰＦ画像」とする。

このように「画素値は違う」と判定した領域にのみＬＰＦ処理を施すことにより、「第１番目の画像」の白い長方形物体の輪郭部分であるＢからＣまでの位置及びＤからＥまでの位置、及び「第２番目の画像」の白い長方形物体の輪郭部分であるＢからＣまでの位置及びＤからＥまでの位置は、ボケた画像となる。

次に、「第１番目のＬＰＦ画像」と、「第２番目のＬＰＦ画像」の重ね合わせを行う。今回の場合も図１２と同様に、「第１番目のＬＰＦ画像の重み（寄与率）」を、図１５（ｅ）に示すように、Ａ地点で１、Ｆ地点で０になるように設定する。第２番目のＬＰＦ画像の重み（寄与率）は、１から第１番目のＬＰＦ画像の重み（寄与率）を引いた値である。

このように寄与率が位置により変化していくと、動物体の輪郭部分の不自然さが緩和される。これを、図１５に示すＡからＢまでの区間、ＢからＣまでの区間、ＣからＤまでの区間、ＤからＥまでの区間、ＥからＦまでの区間に区切って説明していく。

図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、重ね合わせ回路１０６によって図１５（ｃ）に示す「第１番目のＬＰＦ画像」と、図１５（ｄ）に示す「第２番目のＬＰＦ画像」とを重ね合わせて作成された画像である。

まず、ＡからＢまでの区間について説明する。この区間では、図１５（ｃ）に示す「第１番目のＬＰＦ画像」と、図１５（ｄ）に示す「第２番目のＬＰＦ画像」とは、ともに黒（値とは０）であるから、各画像の寄与率が何であっても、図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、黒（値は０）である。

ＢからＣまでの区間では、図１５（ｃ）に示す「第１番目のＬＰＦ画像」は黒（値は０）から白（値は２５５）に変化しており、図１５（ｄ）に示す「第２番目のＬＰＦ画像」も黒（値として０）から白（値として２５５）に変化している。そして、ＢからＣに向かって、図１５（ｅ）に示す「第１番目のＬＰＦ画像の寄与率」は小さくなっているので、図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、図１２（ｄ）に示す「合成画像」に比べて、ＢからＣに向かって滑らかな変化となる。

ＣからＤまでの区間では、図１５（ｃ）に示す「第１番目のＬＰＦ画像」と、図１５（ｄ）に示す「第２番目のＬＰＦ画像」は、ともに白（値は２５５）であるから、各画像の寄与率が何であっても、図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、白（値として２５５）である。

ＤからＥまでの区間では、図１５（ｃ）に示す「第１番目のＬＰＦ画像」は白（値は２５５）から黒（値は０）に変化しており、図１５（ｄ）に示す「第２番目のＬＰＦ画像」も白（値は２５５）から黒（値は０）に変化している。そして、ＤからＥに向かって、図１５（ｅ）に示す「第１番目のＬＰＦ画像の寄与率」は小さくなっているので、図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、図１２（ｄ）に示す「合成画像」に比べて、ＤからＥに向かって滑らかな変化となる。

ＥからＦまでの区間では、図１５（ｃ）に示す「第１番目のＬＰＦ画像」と、図１５（ｄ）に示す「第２番目のＬＰＦ画像」とは、ともに黒（値は０）であるから、各画像の寄与率が何であっても、図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」は、黒（値は０）である。

また、Ａより左側では、第１番目の画像がそのまま「ＬＰＦ画像からの合成画像」として使われ、Ｆより右側では、第２番目の画像がそのまま「ＬＰＦ画像からの合成画像」として使われる。

このようにして、図１５（ｆ）に示す白黒の度合いを有する合成画像が生成される。この図１５（ｆ）に示す「ＬＰＦ画像からの合成画像」と図１２（ｄ）に示す「合成画像」とを比べれば明らかなように、本発明を適用した画像処理を施すことにより、暗い風景の前を白い長方形物体が移動している場合の合成画像の移動物体の輪郭の不自然さを緩和することができる。

また、上述の画像処理では、入力された各画像の「画素値は違う」と判定した領域にＬＰＦ処理を施すこととしたが、入力された各画像を合成した後に、「画素値は違う」と判定した領域に対し、ＬＰＦ処理をほどこしてもよい。

次に、この合成画像に対しＬＰＦ処理を行う画像処理について、図１７を用いて説明する。この図１７の（ａ）〜（ｄ）は、図１２の（ａ）〜（ｄ）にそれぞれ対応するものであるから、ここでは説明を省略する。

この画像処理では、図１７（ｅ）に示す「合成画像」、すなわち、図１２（ｄ）に示す「合成画像」に対して、「画素値は違う」と判定した領域にＬＰＦ処理を施す。つまり、ＢからＣまでの区間及びＤからＥまでの区間のみにＬＰＦ処理を施す。この処理結果が、図１７（ｅ）に示す「合成画像に対してＬＰＦを適用した画像」である。

この図１７（ｅ）に示す「合成画像に対してＬＰＦを適用した画像」と図１２（ｄ）に示す「合成画像」とを比べれば明らかなように、図１７を用いて説明した画像処理を施すことにより、暗い風景の前を白い長方形物体が移動している場合の合成画像の移動物体の輪郭の不自然さを緩和することができる。

以上説明したように、重ね合わせを行おうとしている２以上の画像の対応している位置の画素の値を比較することにより、そこに投影されている物体が静止していた物体か、又は動いている物体かを判別することができる。

また、動いていると判定された箇所にのみに物体をぼかす効果があるＬＰＦ処理を施すことにより、合成画像の不自然さを解消することができる。また、静止していると判定された箇所には、ＬＰＦ処理が施されないので、鮮明な画像となる。

また、ＬＰＦ処理を施す対象画像は、入力される画像でも、重ね合わせた結果の合成画像でもよい。

本発明を適用したパノラマ画像の撮像装置の構成につき説明するための図である。 第１の筐体と第２の筐体を有するパノラマ画像の撮像装置の外観につき説明するための図である。 本発明を適用した撮像装置の他の構成につき説明するための図である。 フォトインターラプタにより第１の筐体の回転を制御する方法につき説明するための図である。 シャッタボタンを押圧することにより第１の筐体を徐々に回転させる例につき説明するための図である。 撮像装置による撮影工程を示すフローチャートである。 連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子につき示す図である。 第１番目の画像を示す図である。 第２番目の画像を示す図である。 パノラマ画像を説明するための図である。 第１番目の画像と第２番目の画像とを適切な位置関係となるように重ね合わせたパノラマ画像を示す図である。 図１１に示すパノラマ画像の直線ａ上の白黒の度合いを説明するための図である。 画像処理装置の構成を示すブロック図である。 画像処理装置の動作を示すフローチャートである。 画像処理によって合成された合成画像を説明するための図である。 画像全体に対するＬＰＦ処理を説明するための図である。 他の画像処理を説明するための図である。

符号の説明

１，３ 撮像装置、１０ 撮像部、１１ ＣＭＯＳイメージセンサ、１２ ＣＤＳ回路、１３ Ａ／Ｄ変換部、１４ 内部バス、１５ ＤＳＰ、１６ コーデック処理部、１７ メモリ、１８ Ｄ／Ａ変換部、１９ ビデオエンコーダ部、２０ モニタ部、２１ ＣＰＵ、２２ 操作部、２３ タイミングジェネレータ、２４ モータ、２６ 露出計、１００ 画像処理装置、１０１ 画像入力端子、１０２ 画像位置入力端子、１０３ ＬＰＦ適用範囲決定回路、１０４ ＬＰＦ回路、１０５ 選択回路、１０６ 重ね合わせ回路、１０７ 画像出力端子

Claims (10)

1. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成装置であって、
   第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定手段と、
   上記判定手段により画素値に差があると判定された位置にフィルタ処理する処理手段と、
   上記処理手段によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ手段と、
   上記重ね合わせ手段により重ね合わされた合成画像を出力する出力手段と
   を備える画像合成装置。
2. 上記判定手段は、上記画素値に差があるか否かを周辺画素の画素値の判定結果に基づいて判定する請求項１記載の画像合成装置。
3. 上記処理手段は、ローパスフィルタによってぼかし処理する請求項１記載の画像合成装置。
4. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成装置であって、
   第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定手段と、
   上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ手段と、
   上記判定手段により画素値に差があると判定された位置にフィルタ処理する処理手段と、
   上記処理手段によりフィルタ処理された合成画像を出力する出力手段と
   を備える画像合成装置。
5. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成方法であって、
   第１の画像と該第１の画像の次に撮像された第２の画像と重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、
   上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、
   上記処理工程によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、
   上記重ね合わせ工程により重ね合わされた合成画像を出力する出力工程と
   を有する画像合成方法。
6. 上記判定工程では、上記画素値に差があるか否かを周辺画素の画素値の判定結果に基づいて判定する請求項５記載の画像合成方法。
7. 上記処理工程では、ローパスフィルタによってぼかし処理する請求項５記載の画像合成方法。
8. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成する画像合成方法であって、
   第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、
   上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、
   上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、
   上記処理工程によりフィルタ処理された合成画像を出力する出力工程と
   を有する画像合成方法。
9. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成するプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
   第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、
   上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、
   上記処理工程によりフィルタ処理された第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、
   上記重ね合わせ工程により重ね合わされた合成画像を出力する出力工程と
   を有する記録媒体。
10. 被写体が撮影方向を順次変化させて撮影され、上記被写体が撮影された複数の画像を重ね合わせて合成画像を生成するプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    第１の画像と該第１の画像の次に撮像された第２の画像とを重ね合わせた際に対応する位置の画素値を比較し、画素値に差があるか否かを判定する判定工程と、
    上記第１の画像と第２の画像とを、第１の画像の寄与率が撮影方向に向かって小さくなるように重ね合わせる重ね合わせ工程と、
    上記判定工程により画素値に差があると判定された位置にフィルタ処理する処理工程と、
    上記処理工程によりフィルタ処理された合成画像を出力する出力工程と
    を有する記録媒体。

Images