JP2001223874A - 任意焦点画像合成装置及びこれに用いる複数画像同時撮像型カメラ - Google Patents

Abstract

(57)【要約】 【課題】 異なる焦点合わせの複数画像から任意に各奥
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための装置を提供する。 【解決手段】 外部から入力される第１のぼけパラメー
タに基づき第１の部分に焦点が合っている第１画像を変
換する第１のフィルタと、外部から入力される第２のぼ
けパラメータに基づき第２の部分に焦点が合っている第
２画像を変換する第２のフィルタと、前記第１のフィル
タの出力及び前記第２のフィルタの出力を合成して任意
焦点画像を生成する合成部と、前記第１画像と前記第２
画像の輝度が同程度になるように、画像のブロック単位
で輝度補正を行い、輝度補正後の画像を前記第１のフィ
ルタと前記第２のフィルタに供給する輝度補正部とを備
える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数の画像か
ら、任意に各奥行きのぼけの程度を抑制・強調した画像
である任意焦点画像を再構成するための任意焦点画像合
成装置及びこれに用いる複数画像同時撮像型カメラに関
する。

【０００２】

【従来の技術】複数の画像から所望の画像を生成する画
像処理方法の従来例としては、例えば領域分割に基づく
画像処理方法がある。この従来の画像処理方法では、例
えば異なる焦点合わせの画像を複数枚用意し、個々の画
像において焦点の合っている領域をそれぞれ判定し、こ
の判定結果に基づいて前記複数の画像の領域分割を行
い、各領域に対し所定の視覚効果を与える一連の処理を
行うことにより、所望の画像の生成を行う。その際、上
記一連の処理を、人手を介さずに自動的に実行する場合
には、上述した領域判定、領域分割、視覚効果の処理を
順次行うための手順を記述した画像処理プログラムを用
いるのが一般的である。

【０００３】複数の画像から所望の画像を生成するため
には、まず、同一の対象について複数の画像を得る必要
がある。従来のカメラを使用して、同一シーンについて
異なる焦点合わせにより撮像した複数枚の画像を取得す
るためには、焦点合わせを変化させて複数回の撮像を行
う必要がある。

【０００４】すなわち、従来のカメラ装を使用して異な
る焦点合わせのｎ種類の画像を撮像する場合には、ズー
ムレンズを手動またはカメラ外部に設けたサーボレンズ
制御装置により制御して、まず１番目の奥行きに焦点が
合うようにズームレンズの焦点合わせを制御してから１
枚目の画像を撮像し、次に、２番目の奥行きに焦点が合
うようにズームレンズの焦点合わせを制御してから２枚
目の画像を撮像する。以下同様にしてｎ番目の奥行きに
焦点が合うようにズームレンズ５３の焦点合わせを制御
してからｎ枚目の画像を撮像する。このように、ｎ種類
の奥行きに対して焦点が合った画像を撮像したい場合に
は、ｎ回の焦点合わせおよび撮像が必要となる。

【０００５】

【発明が解決しようとする課題】上記従来の画像処理方
法は、「焦点が合っている領域」という判定条件を用い
ているため、撮像対象シーンの中に一様な輝度値を有す
る領域や奥行き変化のある領域が存在する場合には、そ
れら領域については領域判定の判定精度を十分に確保す
ることができない。このため、上記従来の画像処理方法
の適用範囲は、焦点の合った領域を統合することによる
画像の鮮鋭化等に限定されてしまい、領域毎に焦点ぼけ
を任意に調整したり、擬似的な視差を与えて立体画像を
生成する等の、より高次の画像処理への拡張は極めて困
難である。また、従来の画像処理方法は、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を得ることもできない。

【０００６】本発明は係る課題を解決するためになされ
たもので、異なる焦点合わせの複数画像から任意に各奥
行きのぼけの程度を抑制・強調した画像である任意焦点
画像を再構成するための任意焦点画像合成装置を提供す
ることを目的とする。また、本発明は、異なる焦点合わ
せの複数画像を同時に撮像可能な複数画像同時撮像型カ
メラを提供することを目的とする。

【０００７】

【課題を解決するための手段】この発明に係る任意焦点
画像合成装置は、外部から入力される第１のぼけパラメ
ータに基づき第１の部分に焦点が合っている第１画像を
変換する第１のフィルタと、外部から入力される第２の
ぼけパラメータに基づき第２の部分に焦点が合っている
第２画像を変換する第２のフィルタと、前記第１のフィ
ルタの出力及び前記第２のフィルタの出力を合成して任
意焦点画像を生成する合成部と、前記第１画像と前記第
２画像の輝度が同程度になるように、画像のブロック単
位で輝度補正を行い、輝度補正後の画像を前記第１のフ
ィルタと前記第２のフィルタに供給する輝度補正部とを
備えるものである。

【０００８】この発明に係る任意焦点画像合成装置は、
外部から入力される第１のぼけパラメータに基づき第１
の部分に焦点が合っている第１画像を変換する第１のフ
ィルタと、外部から入力される第２のぼけパラメータに
基づき第２の部分に焦点が合っている第２画像を変換す
る第２のフィルタと、前記第１のフィルタの出力及び前
記第２のフィルタの出力を合成して任意焦点画像を生成
する合成部と、前記第１画像と前記第２画像の位置合わ
せを、画像データを水平及び垂直方向に投影して得られ
た輝度分布に基づいて行い、位置合わせされた画像を前
記第１のフィルタと前記第２のフィルタに供給する位置
合わせ部とを備えるものである。

【０００９】この発明に係る任意焦点画像合成装置は、
外部から入力される第１のぼけパラメータに基づき第１
の部分に焦点が合っている第１画像を変換する第１のフ
ィルタと、外部から入力される第２のぼけパラメータに
基づき第２の部分に焦点が合っている第２画像を変換す
る第２のフィルタと、前記第２のフィルタの出力に対し
て所定の処理を行う特殊効果フィルタと、前記第１のフ
ィルタの出力及び前記特殊効果フィルタの出力を合成し
て任意焦点画像を生成する合成部とを備えるものであ
る。

【００１０】好ましくは、前記特殊効果フィルタの入力
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。

【００１１】この発明に係る任意焦点画像合成装置は、
外部から入力される第１乃至第Ｎのぼけパラメータに基
づき第１乃至第Ｎの部分にそれぞれ焦点が合っている第
１乃至第Ｎ画像を焦点位置の順に並べ、これら画像のひ
とつである第ｉの画像内の一部分に関して、前記第ｉの
画像を中心としてその前後の複数の画像において前記部
分の焦点が合っているかどうかを判定する判定部と、前
記判定部の判定パターンによりどの画像において前記部
分の焦点が合っているか比較する比較部と、前記比較部
の比較結果により前記第１乃至第Ｎの画像を合成して全
焦点画像を生成する合成部とを備えるものである。

【００１２】好ましくは、前記判定部は、パラメータを
変化させつつ前記第ｉの画像に対してフィルタ処理を行
うガウシアンフィルタと、前記ガウシアンフィルタの出
力と前記前後の複数の画像の差分値を求める差分処理部
と、前記差分値が極小になる値を求めることにより前記
パラメータを推定する推定部とを備える。

【００１３】この発明に係る複数画像同時撮像型カメラ
は、撮像素子と、前記撮像素子から信号を受けて画像デ
ータに変換する処理部と、前記処理部で処理された画像
データを表示する表示部と、画像内の複数の対象を指定
してそれぞれ異なる焦点の複数の画像を要求する焦点指
定部と、前記焦点指定部の指定により焦点位置を設定す
る焦点調整機構と、画像データを記憶するメモリとを備
え、前記処理部は、指定された前記複数の対象について
順番にそれぞれ焦点を合わせ、それぞれ撮像し、前記メ
モリに得られた複数の画像データをそれぞれ格納する。

【００１４】好ましくは、１回のシャッター動作で複数
の焦点の異なる画像を撮像する。

【００１５】好ましくは、外部から入力される第１のぼ
けパラメータに基づき第１の部分に焦点が合っている第
１画像を変換する第１のフィルタと、外部から入力され
る第２のぼけパラメータに基づき第２の部分に焦点が合
っている第２画像を変換する第２のフィルタと、前記第
１のフィルタの出力及び前記第２のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第１画像
と前記第２画像の輝度が同程度になるように、画像のブ
ロック単位で輝度補正を行い、輝度補正後の画像を前記
第１のフィルタと前記第２のフィルタに供給する輝度補
正部とを含む任意焦点画像合成装置を備える。

【００１６】好ましくは、外部から入力される第１のぼ
けパラメータに基づき第１の部分に焦点が合っている第
１画像を変換する第１のフィルタと、外部から入力され
る第２のぼけパラメータに基づき第２の部分に焦点が合
っている第２画像を変換する第２のフィルタと、前記第
１のフィルタの出力及び前記第２のフィルタの出力を合
成して任意焦点画像を生成する合成部と、前記第１画像
と前記第２画像の位置合わせを、画像データを水平及び
垂直方向に投影して得られた輝度分布に基づいて行い、
位置合わせされた画像を前記第１のフィルタと前記第２
のフィルタに供給する位置合わせ部とを含む任意焦点画
像合成装置を備える。

【００１７】好ましくは、外部から入力される第１のぼ
けパラメータに基づき第１の部分に焦点が合っている第
１画像を変換する第１のフィルタと、外部から入力され
る第２のぼけパラメータに基づき第２の部分に焦点が合
っている第２画像を変換する第２のフィルタと、前記第
２のフィルタの出力に対して所定の処理を行う特殊効果
フィルタと、前記第１のフィルタの出力及び前記特殊効
果フィルタの出力を合成して任意焦点画像を生成する合
成部とを含む任意焦点画像合成装置を備える。

【００１８】好ましくは、前記特殊効果フィルタの入力
側及び出力側に、それぞれ画像データの座標を直交座標
から極座標に変換する直交座標−極座標変換部と、画像
データの座標を極座標から直交座標に戻す極座標−直交
座標変換部とを備える。

【００１９】この発明に係る記録媒体は、コンピュータ
を、前記任意焦点画像合成装置又は複数画像同時撮像型
カメラとして機能させるためのプログラムを記録したも
のである。

【００２０】媒体には、例えば、フロッピーディスク、
ハードディスク、磁気テープ、光磁気ディスク、ＣＤ−
ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバック
アップ付きのＲＡＭメモリカートリッジ、フラッシュメ
モリカートリッジ、不揮発性ＲＡＭカートリッジ等を含
む。

【００２１】また、電話回線等の有線通信媒体、マイク
ロ波回線等の無線通信媒体等の通信媒体を含む。インタ
ーネットもここでいう通信媒体に含まれる。

【００２２】媒体とは、何等かの物理的手段により情報
（主にデジタルデータ、プログラム）が記録されている
ものであって、コンピュータ、専用プロセッサ等の処理
装置に所定の機能を行わせることができるものである。
要するに、何等かの手段でもってコンピュータにプログ
ラムをダウンロードし、所定の機能を実行させるもので
あればよい。

【００２３】

【発明の実施の形態】発明の実施の形態１．本発明の実
施の形態では、複数の画像から、近景及び遠景の両方に
ついて完全に焦点が合った全焦点画像や、任意に各奥行
きのぼけの程度を抑制・強調した画像である任意焦点画
像を再構成する装置／方法について説明する。

【００２４】近景合焦画像ｇ1と遠景合焦画像ｇ2から所
望の任意焦点画像ｆを再構成する方法について簡単に説
明する。図１はこの発明の実施の形態に係る装置の概略
ブロック図を示す。この装置は、近景画像ｇ１と遠景画
像ｇ２から全焦点画像と任意焦点画像の両方の画像を再
構成することができる。フィルタ１０ａは近景画像ｇ１
に対して所定の処理を行い、フィルタ１０ｂは遠景画像
ｇ２に対して所定の処理を行う。フィルタの詳細につい
ては後述する。合成部１１は、フィルタ１０ａの出力と
フィルタ１０ｂの出力を合成して再構成画像ｆを出力す
る。フィルタ１０ａ、１０ｂは、それぞれパラメータＲ
ａ、Ｒｂを外部から受ける。パラメータＲａとＲbはそ
れぞれ所望の画像の近景と遠景のぼけ半径である。Ｒａ
＝Ｒｂ＝０のとき、再構成画像ｆは全焦点画像となる。
パラメータＲａ，Ｒｂを調整することにより、任意焦点
画像を再構成することができる。

【００２５】例えば、全焦点画像を生成する場合、近景
用の第１フィルタ、遠景用の第２のフィルタとも高域通
過特性を有する。第1画像、第２画像に第１、第２のフ
ィルタでバランスよく高域成分を抽出し足し合わせるこ
とで、全焦点画像を得ることができる。任意焦点画像に
おいても、フィルタ特性を工夫することで生成が可能で
ある。具体的なフィルタの特性については後述する。

【００２６】この発明の実施の形態の装置／方法は、焦
点画像と任意焦点画像の取得モデルにおいて，一意に目
的の画像を再構成するためのフィルタが存在することに
基づく。従来の反復復元法では、目的の画像の直流成分
が、画像復元の意味でいわゆる悪条件（ill−conditio
n）となっていた．本発明の実施の形態では，再構成フ
ィルタの直流成分が存在し、全ての周波数成分を再構成
できる．

【００２７】まず、焦点画像の取得と任意焦点画像の再
構成のモデルを検討する。任意焦点画像の再構成方法で
は，取得画像の対象シーンの奥行きが段差状に変化して
いると仮定する。以下では，対象シーンが近景と遠景の
2層の奥行きをもつ場合について，各焦点画像の取得と
任意焦点画像の再構成をモデル化する。

【００２８】＜焦点画像の取得モデル＞焦点画像の取得
モデルは画像の重ね合わせを用いておこなう。画像ｆ1
を近景領域にのみ焦点の合った輝度値をもち，それ以外
の領域，つまり遠景領域では輝度値が0である画像と定
義する。逆に，画像ｆ２を遠景領域にのみ焦点の合った
輝度値をもち，近景領域では輝度値が0である画像と定
義する。近景合焦画像をｇ１，遠景合焦画像をｇ2と表
す。また，画像ｇ１の遠景領域のぼけ関数をｈ2，画像
ｇ2の近景領域のぼけ関数をｈ1と表す。各焦点画像ｇ１
とｇ2の取得モデルを図Ｄに示すような重ね合わせで表
す。すなわち，次式のように表す。 g1＝f1＋h2＊f2 g2＝h1＊f1＋f2 （６） ただし、＊はたたみ込み演算を示す。

【００２９】＜任意焦点画像の再構成モデル＞任意焦点
画像の再構成モデルも同様に，画像の重ね合わせを用い
る。所望の任意焦点画像をｆと表し，近景と遠景の領域
のぼけをそれぞれぼけ関数ｈａとｈbにより与える。し
たがって，図２に示すように，任意焦点画像ｆの再構成
モデルを次式のように表す。 ｆ＝ha＊f1＋hb＊f2 （７） ぼけ関数ｈａ，ｈｂはユーザが任意に指定する。ぼけ関
数は次式に示すガウス関数を用いる。

【００３０】

【数１】

【００３１】Ｒｉ（ｉ＝1，2、ａ，ｂ）は、ぼけ半径を
表し，ガウス関数の標準偏差の√２倍に相当する。Ｒａ
＝Ｒｂ＝0とすれば、ｈａ＝ｈb＝δ（デルタ関数）とな
るので，式（7）は全焦点画像の再構成モデルとなる。

【００３２】次に、フィルタによる再構成方法について
説明する。フィルタを用いて、焦点画像ｇ１とｇ2から
所望の任意焦点画像ｆを再構成することができる。シミ
ュレーションによれば本方法が従来の反復復元法に比べ
て高精度かつ高速であることがわかった。以下、この方
法について述べる．

【００３３】＜再構成フィルタの導出＞再構成フィルタ
を式（7）のｇ１とｇ2の取得モデルと式（7）のｆの再
構成モデルから導出する。はじめに、各モデルを周波数
領域に変換する。G１とG２の取得モデルは次式のよう
に、行列で表現できる。 G＝HF (17) ただし、各行列は

【００３４】

【数２】

【００３５】である。Fの再構成モデルは次式のように
なる。 F＝HaF１＋HbF2 （18）

【００３６】次に、式（17）と式（18）からFを求め
る。行列式｜H｜の値によって次の場合分けをする。な
お、｜H｜＝1−H１H2であり、｜H｜は、画像ｆ、ｇ、ぼ
け関数ｈとしたとき、ｇ＝ｈ＊ｆであり、この両辺をフ
ーリエ変換したG=HFのHに等しい。

【００３７】（i）｜H｜≠０の場合 1−H１H２≠0の場合、すなわち、直流以外の周波数で
は、逆行列H^−１が存在する。よって、行列Fは以下のよ
うに求まる。

【００３８】

【数３】

【００３９】Fを式（18）に代入し、整理すると、

【００４０】

【数４】 が求まる。

【００４１】（ii）｜H｜＝0の場合 直流では（１−H１H２）＝0であるから、逆行列H^−１が
存在しない。よって，行列Fを求めることができない。
しかし，式（20）における、G１とG2の係数の分子もHa
−HｂH1＝0，Hb−HaH2＝0となる．そこで、これらの係
数の直流への極限値をロピタルの定理を用いて解くと

【００４２】

【数５】

【００４３】が存在する。したがって、（i）と（ii）
により、

【００４４】

【数６】

【００４５】で表されるフィルタKａとＫｂによって、F
は次式のように再構成できることがわかる。 Ｆab＝ＫａＧ１＋ＫｂＧ２ （25）

【００４６】図１に示すように，焦点画像ｇ１とｇ２を
それぞれフィルタＫａとＫｂに通した後，加算すること
で任意焦点画像ｆを得ることができる。ＲａをＲbを変
えることで、近景と遠景のぼけをそれぞれ任意に設定で
きる。公知の反復復元法においては直流成分が悪条件と
なったが、フィルタ法を用いれば適切問題として解ける
ことを示している。すなわち、本方法によりｆが一意に
存在し、決定できることが示された。

【００４７】＜再構成フィルタの特性＞再構成フィルタ
ＫａとＫbの周波数特性の例を図３に示す。まず、２枚
の画像において、遠景に焦点の合っている画像（ｇ２）
では、近景のぼけ半径R1＝３、近景に焦点の合っている
画像（ｇ１）では遠景のぼけ半径R2＝２とした。このと
き、任意焦点画像として、Ra=0とし、Rbを0から4まで変
化させた場合のフィルタＫａ、Ｋｂの特性を図３に示し
ている。これは近景領域に焦点を合わせたまま、遠景領
域のぼけの程度を大きく変化させる処理を意味する。

【００４８】Ra＝０としているので、Rb=0の場合は、全
焦点画像を再構成するフィルタの特性を示している。両
フィルタともに高域通過フィルタのような特性を示して
いる。つまり、それぞれの焦点画像の高周波成分を統合
して仝焦点画像を再構成していることがわかる。Rb=2の
場合、Ｋaは全域通過、Kbは全域遮断の特性となる。こ
の理由は、再構成される任意焦点画像ｆは焦点画像g１
と同一であるからである。Rb＞2の場合、Kaは高域通過
のまま、低域強調の特性を示す。 Kbは高域遮断のま
ま、低域を負に強調した特性を示す。焦点画像で強調さ
れた低域成分を引くことによって遠景領域のぼけを強調
することがわかる。

【００４９】シミュレーション結果によれば、フィルタ
法を用いることにより、反復法に比べて、精度と計算時
間ともに向上していることがわかった。反復法では空間
領域でのぼけ関数の畳み込み演算に多くの時間を要す
る。また、ぼけ関数の畳み込みの回数が増えるごとに、
誤差が大きく伝搬する可能性もある。本フィルタ法で
は、フィルタを用いることにより直接所望の画像を１回
の処理で高精度に再構成できる。

【００５０】発明の実施の形態２．2枚の焦点画像をフ
ィルタ処理することにより任意焦点画像を再構成して生
成する上述の手法において、利用する複数の画像間に平
均的な輝度レベルの差があると良好な画像を再構成でき
ない場合がある。デジタルカメラ等の撮像装置は、明る
さを自動的に調整する機能（AGC）をもつので、近景画
像の輝度と遠景画像の輝度とは必ずしも一致しない。そ
のため、以下のような輝度補正を行うことが望ましい。

【００５１】近景合焦画像ｇ1と遠景合焦画像ｇ2から所
望の任意焦点画像ｆを再構成する場合、以下のコスト関
数を最小とするパラメータＡとＢを最小自乗法を用いて
推定する。この際、両画像間のぼけ量の差を考慮して階
層化した画像間で以下のコスト関数を評価することが望
ましい。ここに、ｇ１（ｋ）とｇ２（ｋ）はそれぞれガ
ウシアンビラミッドの第ｋ層の画像を表す（詳細は後述
する）。ただし、第0層を原画像とする。

【００５２】

【数７】

【００５３】シミュレーション結果によれば、本方法に
よりパラメータA,Bを高精度に推定できた。補正前の画
像ｇ2を用いて生成した画像では、画面全体で輝度値が
低下し、遠景領域でエッジが強調されるアーティフアク
トが確認された。これに対して、補正後の画像を用いて
生成した画像は良好に生成できた。観測画像におけるぼ
け量よりも大きなぼけを与える任意焦点画像の生成で
は，生成のためのフィルタKａとＫｂの低域成分がそれ
ぞれ正負に大きくなる。このため、平均的な輝度値の差
が生成画像にこのようなアーティフアクトを生じさせる
と考えることができる。したがって、輝度補正を行うこ
とにより、ぼけを強調した生成画像にエッジ強調と輝度
の低下のアーティフアクトが生じるという問題を回避す
ることができる。

【００５４】画面の中央と端部とで焦点を変えて撮影し
たときには、画面内に輝度変動が生じる。この場合、画
面を各ブロックに分割してそれぞれのブロック毎に適切
な補正パラメータを求める必要がある。この場合、上記
の処理をブロック毎に行うことになる。また、ブロック
間での補正のばらつきを減らすためには、図４のように
ブロック毎の補正パラメータは各々のブロックの中心画
素に対して用い、それ以外の画素は双一次補間された補
正パラメータを用いる。また、補正パラメータの推定精
度を安定させるために、評価量として次式を用いること
もある。 ［Σ g1（ｉ，ｊ）−Ａ・Σ g2（ｉ，ｊ）］^２ ただし、（ｉ，ｊ）∈Ｂ（ブロックＢ内の要素について
総和を求める）この場合、いわばブロック内の平均輝度
値の比（Ａ）により補正を行うことになる。

【００５５】多数枚の画像を合成するときは、ブロック
単位で輝度補正を行っても良い。例えば、N枚の画像を
合成する場合、図４のように、N枚の撮像画像をそれぞ
れ正方形ブロックに分割する。k＋1枚目の画像をk枚目
に合わせるよう順次補正を行うものとする（k＝1，2，
‥‥，N−1）。ブロック毎に画像間の平均輝度値の比を
求め、そのブロックの中心画素の補正パラメータとす
る。中心画素以外に対しては双一次内挿により求める。
最後に補正パラメータを画素の輝度値に乗じることで輝
度補正を行う。なお、どちらかの画像でブロック内に輝
度飽和が生じている領域の割合が、ある大ささ以上の場
合、そのブロックの中心画素の補正パラメータは周囲の
ブロックのものの平均値として補間する。

【００５６】発明の実施の形態３．複数の焦点画像を再
構成処理に用いるには、これらの画像間の位置合わせ
（レジストレーション）が必要となる。複数枚の焦点画
像を撮像する場合，互いに正確に撮像位置が一致した画
像を得ることは困難であり，撮像画像間では位置ずれが
生じることが考えられる。また，焦点合わせの違いによ
る倍率変化も生じる。位置合わせの精度が悪ければ、再
構成画像にぶれが生じるだけでなく、再構成に必要とな
るぼけパラメータの推定の精度に影響を与える。その結
果、再構成画像の精度の低下も招く。したがって，位置
合わせは高精度な画像再構成・生成を行なうために必要
な前処理である。

【００５７】＜複数の焦点画像間の位置合わせ（その
１：階層的マッチング方法）＞近景合焦画像ｇ1と遠景
合焦画像ｇ2から所望の任意焦点画像ｆを再構成するた
めには、まず、各焦点画像間で位置合わせを行う必要が
ある。以下、複数の焦点画像間の位置合わせの方法につ
いて説明する。

【００５８】近景に焦点の合った画像Inと、遠景に焦点
の合った画像Ifが得られたとする。画像Inは例えば花壇
の前に立つ人物の画像であり、画像Ifは例えば背景の花
壇の画像である。Inを基準としてIfの回転、伸縮、並進
（順に、θ，ｓ，ベクトルｔ＝（ｕ，ｖ）と表す）の差
違を推定する。この場合、伸縮は焦点距離の関係から拡
大のみを考慮すればよい。本方法ではこの間題に対し
て、階層化マッチング法に回転と伸縮のパラメータを組
み入れて疎密に各パラメータを探索する。InとIfは互い
に合焦領域と非合焦領域が異なるために直接マッチング
を行うと誤差が生じる可能性が大きい。階層化マッチン
グ法を用いれば，画像の階層化によって，両画像間のぼ
けの差を低減してマッチングを行うことができる。その
結果，ぼけの差に対してロバストな位置合わせを行うこ
とができると考えられる。

【００５９】本方法の処理の流れは、（1）画像の階層
化、（2）各層でのパラメータの推定となる。はじめ
に，両画像を階層化し，最も解像度の低い最上層におい
てパラメータを広い探索範囲で求める。以下、順次上層
で推定されたパラメータの周辺のみに探索範囲を限定し
ながらマッチングを最下層に至るまで行い、最終的に原
画像間でのパラメータを求める。以下では処理の流れに
沿って具体的に方法を述べる。

【００６０】（1）画像の階層化 両画像の階層化は，ガウシアンビラミッドを形成するこ
とでおこなう。ガウシアンピラミッドは次のようにして
形成される。原画像を第0層とし、最も解像度の低い最
上層を第L層として、第k(=0,1,‥,L)層の焦点画像をIn
(k)及びIf(k)と表す。次式により各層の画像が順次形成
される。

【００６１】

【数８】

【００６２】ここで、wは標準偏差が1である2次元ガウ
ス関数を近似したものである。［・］↓2はダウンサン
プリングを表す。第ｋ層の画像は1つ下の第ｋ−1層の画
像をガウシアンフィルタに通し，ダウンサンプリングす
ることによって得られる。ガウシアンフィルタは低域通
過フィルタの働きをするので，上層ではより両画像間の
ぼけの程度の差が低減される。

【００６３】（2）各層におけるパラメータの推定 本方法では画像If（ｘ，y）に回転、伸縮、並進を施し
た画像If（ｘ′，y′）とIn（ｘ，y）との平均自乗誤差
（MSE）を最小にする各パラメータを求める。第ｋ層に
おける各パラメータをθ（ｋ），ｓ（ｋ），ｕ（ｋ），
ｖ（ｋ）とすれば，第ｋ層において最小にすべき評価関
数Ｊ（ｋ）は

【００６４】

【数９】

【００６５】と表すことができる。ここに，

【００６６】

【数１０】

【００６７】である。ただし，Ｂ（ｋ）はIｎ（ｋ）
（ｘ、ｙ）とIf（ｋ）（ｘ′，y′）の重複領域，ＮＢ
（ｋ）はその画素数である。各パラメータの探索点は階
層によって次のように設定する。

【００６８】

【数１１】

【００６９】ただし、ｉ、ｊ、ｍ、ｎは整数、△θ、△
ｓ、△ｕ、△ｖは原画像間における探索間隔、つまり各
パラメータの推定精度である。ハットθ（ｋ＋１），ハ
ットｓ（ｋ＋１），ハットｕ（ｋ＋１）、ハットｖ（ｋ
＋１）は上層の第ｋ＋1層で推定された各パラメータを
表す。θmax、ｓmax、ｕmax、ｖmaxは最上層において探
索範囲を限定する値で，あらかじめ設定する。ただし，
ｕmaxとｖmaxの値はそれぞれ最上層の画像各辺のサイズ
の半分とする。各層において並進のパラメータの探索間
隔△ｕと△ｖが一定であるのは，第ｋ層での並進量は第
ｋ＋1層でのそれの2倍に相当するからである。

【００７０】本方法における推定のながれを図５に示
す。各層では，画像In（ｋ）（ｘ、ｙ）と回転、伸縮、
並進の変換を行なった画像If（ｋ）（ｘ′、y′）とのM
SEを最小にする各パラメータを求める。最も解像度の低
い最上層（ｋ＝Ｌ）においては，あらかじめ設定した探
索範囲内で、各パラメータを広い間隔で粗く推定を行な
う。探索間隔は最下層におけるそれの2^Ｌ倍に相当す
る。最上層以外の層では，順次上層で推定されたパラメ
ータの周囲5点のみに探索範囲を限定しながら推定精度
を2倍にして探索を行なう。この探索を最下層に至るま
で行い，最終的に各パラメータを推定する。

【００７１】最後に，推定した各パラメータ，回転伸
縮，並進を施した画像If（ｘ′，ｙ′）とIn（ｘ，y）
との共通領域を切り取りそれぞれの補正画像を得る。対
象シーンが3層以上の場合でも最も近景の焦点画像を基
準として，他の画像の位置合わせを行ない，共通領域を
抽出すれば補正を行なうことができる。

【００７２】シミュレーションによれば、各伸縮におい
てぼけ半径が小さければすべての場合で正しい推定が行
なわれた。ぼけ半径が大きい場合においても誤差は最大
2［pixels］までに抑えられ，良好な結果が得られた。
誤差が3［pixels］以上生じることはなかった。

【００７３】発明の実施の形態４． ＜複数の焦点画像間の位置合わせ（その２：輝度投影）
＞上記発明の実施の形態３の階層化マッチング方法は精
度の点で問題はないが、処理に複雑であり時間がかかる
という問題があった。そこで、簡単かつ高速処理が可能
な輝度投影方法を提案する。

【００７４】この方法は、近景画像Inを基準としたとき
の遠景画像Ifの伸縮、並進（ｓ，ベクトルｔ＝（ｕ，
ｖ））の差違を推定することができる。図６に輝度投影
法による複数の焦点画像間の位置合わせ装置のブロック
図を示す。図７にその動作説明図を示す。各行・各列の
平均輝度値計算部２０ａ，２０ｂは、それぞれ入力画像
InとIfの各行および各列の平均輝度値を計算する。輝度
投影分布作成部２１ａ，２１ｂは、それぞれIn、Ifの輝
度投影分布を作成する。各行の平均輝度値の分布を垂直
分布、各列の平均輝度値の分布を水平分布とする。これ
らの処理により、図７（ａ）（ｂ）のようなIn、Ifの輝
度分布が得られる。なお、図７（ｂ）の点線の円は、図
７（ａ）の円と同じ大きさの円を示す。この様に、各画
像は水平分布と垂直分布という2つの1次元分布の組み合
わせとして表される。比較部２２は、Inを基準としてこ
れら2つの分布を比較し、比較結果に基づき、拡大・並
進推定部２３はIfの拡大と並進（順に、ｓ、ｔ＝（ｕ，
ｖ））の差異を推定する。例えば、被写体が円形をして
いる場合、図７（ａ）の近景画像Inの輝度投影は、その
水平分布の中心ｃ、直径ａ、その垂直分布の中心ｄ、直
径ｂであるとする。図７（ｂ）の遠景画像Ifの輝度投影
は、その水平分布の中心ｃ‘、直径ａ’、その垂直分布
の中心ｄ‘、直径ｂ’であるとする。拡大ｓは、ａ‘／
ａ及びｂ’／ｂから推定できる。並進ｔのうち水平成分
ｕはｃ‘−ｃから推定でき、垂直成分ｖはｄ’−ｄから
推定できる。

【００７５】輝度投影方法は、階層化マッチング方法に
比べて計算量が著しく少なくなり非常に速くなる。シミ
ュレーション結果によると、処理時間が約１／２００に
なった。その代わり若干精度が落ちるが、それでも誤差
は1pixel程度までの変化に抑えられ、良好な結果が得ら
れる。

【００７６】発明の実施の形態５．全焦点画像を得るた
めの装置の構成は図１に示されている。この構成は最も
基本的なものである。この構成にさらにフィルタを追加
することにより、全焦点画像に特殊な効果を施すことが
できる。

【００７７】図８（ａ）は、その一例を示す。フィルタ
１０ａ，１０ｂは焦点処理のためのフィルタであり、フ
ィルタ１２は別の特殊処理のためのフィルタである。遠
景画像ｇ２側にフィルタ１２が設けられている。このフ
ィルタは任意のフィルタであるが、その一例を挙げると
横（あるいは縦）方向に画素データを足し合わせるもの
が考えられる。横（あるいは縦）方向にデータd0,d1,d
2,d3,d4,・・・があるとき、d2=（d2+d1+d0）／３、d3=
（d3+d2+d1）／３、・・・である。縦（あるいは横）方
向のデータはそのままである。このフィルタを用いる
と、遠景画像ｇ２は横方向に流れるような画像に変換さ
れ、この変換された画像が近景画像ｇ１と合成される。
合成された画像は、いわば「流し撮り」のような画像で
ある。

【００７８】また、図８（ｂ）のように、フィルタの前
後に直交座標―極座標変換部１３、極座標−直交座標変
換部１４を備えても良い。この構成によれば、遠景画像
ｇ２が放射状に流れるような画像に変換され、これが近
景画像ｇ１に合成される。すなわち、極座標の原点を近
景画像の中心に一致させれば、合成画像は近景画像（例
えば人物）を中心に流れるような背景をもつ画像であ
る。上記フィルタは、対数変換のように非線形幾何変換
処理を行うものであってもよい。例えば、上記フィルタ
は、中心付近（ｒ＝０）において加算処理する範囲が小
さく、中心から離れるほど加算処理する範囲が大きくな
るものであってもよい。このフィルタによれば、近景画
像から離れるにしたがって画像は大きく流れ、スピード
感ある画像になる。

【００７９】なお、以上の説明において、遠景画像ｇ２
に対してフィルタをかけているが、本発明はこれに限る
ものではない。近景画像ｇ１と遠景画像ｇ２の両方にフ
ィルタをかけてもよいし、近景画像ｇ１に対してのみフ
ィルタをかけてもよい。

【００８０】発明の実施の形態６．近景画像ｇ１と遠景
画像ｇ２を得るには、通常のデジタルカメラを用いて焦
点を違えて撮影すればよい。しかし、通常のやり方では
カメラの位置や向きが変わったりして近景画像ｇ１と遠
景画像ｇ２がずれることが多い。わずかなずれであれば
前述のレジストレーションにより補正できるが、大きく
ずれていると完全な補正には時間を要する。したがっ
て、簡単な操作でずれが少ない２枚の画像を得ることが
できる装置が望まれる。

【００８１】この種の装置のブロック図を、図９に示
す。レンズ３０を通った光はＣＣＤ３１に入射され、処
理部で画像データに変換される。画像はビューワ３３に
表示され利用者が見ることができる。ビューワ３３に表
示される画像は、図１０のように所定の領域に分割され
ている。図１０の例では、合計９つの領域に分割されて
いる。利用者はビューワ３３の画像を見ながら焦点指定
部３４を操作し、焦点を合わせるべき領域を少なくとも
２つ指定する。例えば、近景画像ｇ１を得るために、被
写体Ｔが写っている真中の領域（２，２）に焦点を指定
し、遠景画像ｇ２を得るために、左上の領域（１，１）
に焦点を指定する。焦点指定部３４からの信号を受け
て、処理部３２は焦点調整機構３６を駆動する。焦点調
整機構３６は指定された領域に焦点を合わせて撮像す
る。撮像した画像のデータはメモリ３５に蓄えられる。
次に、焦点調整機構３６は次の指定された領域に焦点を
合わせて撮像し、画像データをメモリ３５に蓄える。

【００８２】また、図１１のような処理も可能である。
高速に焦点を動かし、１度のシャッターで複数画像を取
得する。焦点指定のとき、焦点合わせに必要なデータを
設定し記憶しておくことにより、高速な焦点合わせが可
能になる。

【００８３】この発明の実施の形態６の装置により、簡
単な操作で近景画像ｇ１と遠景画像ｇ２をほぼ同時に撮
影できる。したがって、回転、大きさ、位置に関してず
れの少ない２つの近景画像ｇ１と遠景画像ｇ２を得るこ
とができる。なお、指定する領域は２つに限らない。３
つ以上を指定すれば３枚の近景画像と遠景画像が得られ
る。

【００８４】発明の実施の形態７． ＜多数の画像に基づく全焦点画像の生成と３次元構造の
取得＞上記説明において、近景と遠景の２枚の画像を用
いて全焦点画像を生成したが、これに限らず３枚以上の
画像を用いても全焦点画像を生成することができる。例
えば、微小に焦点をずらしながら撮像した多数枚の昆虫
顕微鏡画像に基づいて全焦点画像を生成できる。通常の
顕微鏡画像の鮮鋭化処理では、輝度レベルの変動フィル
タによる高域成分を利用して合焦判定が行われている。
本発明の実施の形態では、ぼかした画像を生成し連続的
に比較することで合焦領域の判定を行う。また、合焦位
置に基づいて各k画像に奥行き情報を付与することによ
り対象の3次元構造を取得することができる。

【００８５】この発明の実施の形態においては、連続的
な比較による選択統合法を用いて全焦点画像を再構成す
る。従来の選択統合法では、2枚の撮像画像に対しぼけ
関数を繰り返し畳み込んだぼけ画像を作成し、他方の画
像との比較を行う。微小に焦点を変える顕微鏡画像の場
合、2枚だけでの判定は信頼度を下げる。

【００８６】このため、対象画像の前後複数枚（例えば
前後2枚の計4枚）に対し対象画像との比較を行い、判定
パターン列を利用して最終的な判定を行う。例えば、図
１２（a）のように、複数の画像ｇn-2、ｇn-1、ｇn、ｇ
n+1、ｇn+2を合焦の順に配列する。画像ｇn-2は遠くに
焦点が合っており、画像ｇn+2は近くに焦点が合ってい
る。画像ｇnを注目画像とする。次に、注目画像ｇnのあ
る部分を基準として、焦点が合っているか（合焦）／焦
点が合っていないか（非合焦）を判定する。すなわち、
注目画像ｇnの第１の部分を、他の画像ｇn-2、ｇn-1、
ｇn+1、ｇn+2の対応する部分と比較して、これらが合焦
／非合焦のどちらであるか判定する。合焦／非合焦は、
例えば、ガウシアンフィルタのパラメータに基づき判定
できる。例えば、図１２（ａ）に示すように「１，１，
０，０」のような判定パターンが生成される。ここで、
0，1は各々対象画像を比して、より合焦／非合焦を示
す。すなわち、この第１の部分は画像ｇn-2、ｇn-1につ
いては非合焦であり、画像ｇn+1、ｇn+2については合焦
である。このことから注目画像ｇnの第１の部分は非合
焦の可能性があり、むしろ画像ｇn+1、ｇn+2において焦
点が合っていると推測される。同様に、注目画像ｇnの
第２の部分について「０，０，１，１」、第３の部分に
ついて「０，０，０，０」、第４の部分について「０，
０，１，０」、第５の部分について「０，１，０，０」
の判定パターンが得られる。

【００８７】以上のことから明らかなように、注目画像
ｇnのある部分について、全ての画像において焦点が合
っていることを意味する「０，０，０，０」のパターン
が得られたとき、当該部分を採用すれば最も焦点が合っ
た画像を選択することができることがわかる。

【００８８】以上の処理を複数の画像・・・、ｇn-2、
ｇn-1、ｇn、ｇn+1、ｇn+2、・・・について行う。する
と、図１２（ｂ）のようなパターン列が得られる。各パ
ターンは、その上の画像を注目画像として図１２（ａ）
の処理を行ったときに得られたパターンを意味する。１
段目（第１の部分）について着目すれば、画像ｇｎのパ
ターンが「０，０，０，０」でもっとも焦点が合ってい
ることがわかるから、当該部分については画像ｇnを採
用すればよい。他の画像ｇn-2、ｇn-1、ｇn+1、ｇn+2の
パターンは、それぞれ「０，０，１，１」「０，０，
１，１」「０，１，０，０」「１，１，０，０」であ
り、焦点が合ってない可能性が高い。２段目（第２の部
分）についても同様である。３段目（第３の部分）につ
いては、画像ｇn-2、ｇn-1、ｇn、ｇn+1、ｇn+2のパタ
ーンは、それぞれ「０，０，１，１」「０，０，１，
０」「０，１，０，０」「１，１，０，０」「１，１，
０，０」であり、最も焦点が合っているパターンはな
い。しかし、画像ｇn-2、ｇn-1、ｇn、ｇn+1、ｇn+2全
体において比較すれば、相対的に画像ｇn-1、ｇnのパタ
ーンは合焦（０）が３つあるので比較的焦点が合ってい
るといえる。したがって、３段目においては画像ｇn-1
又はｇnのいずれかを選択する。なお、この例の３段目
において画像ｇn-1とｇnの間において焦点が合っている
と考えられる。

【００８９】以上のように、図１２（ａ）の処理を全て
の画像について行い、画像ごとに図１２（ｂ）のような
パターン列を得る。そして、上述のように比較する画素
においてパターン列を比較することにより、図１２
（b）の画像ｇn-1又はｇnが最も合焦している画像であ
ると判断する。このように、本実施の形態では全画像の
比較結果のパターン列から各画素の合焦の判定を行う。
この処理を用いることにより高い精度で判定を行うこと
ができる。このための処理はさほど複雑ではなく、比較
的短い時間で処理できる。

【００９０】また、上述の合焦領域判定結果から、各画
素の合焦画像が焦点距離の短い方からn枚目であるとい
う情報を奥行き情報として付与することができる。例え
ば、第１の部分を画像ｇｎから採用したのであれば、第
１の部分は画像ｇｎの合焦位置にあると判定できる。第
３の部分については、画像ｇn-1とｇｎの中間位置にあ
ると判定できる。なお、本実施の形態において同じ対象
物に対して連続的に少しづつ焦点を移動して撮影してい
るところから、合焦位置は最初の焦点位置及び最後の焦
点位置に基づき簡単かつ比較的正確に得ることができ
る。

【００９１】本発明の実施の形態によれば、多数枚の顕
微鏡画像を連続的に比較することにより、精度よく全焦
点画像を得ることができる。また、合焦情報に基づき対
象の3次元構造を知ることができる。

【００９２】発明の実施の形態８．発明の実施の形態１
において、ぼけ量（R1とR2）の推定を行う必要がある。
ぼけの処理にはガウシンアンフィルタを用いるが、この
パラメータを調整することによりぼけ量を可変できる。
したがって、ガウシンアンフィルタのパラメータ（回
数）を推定することで、ぼけ量を推定することができ
る。

【００９３】この手順を図１３を用いて説明する。この
グラフは、ガウシンアンフィルタの回数と誤差の関係を
示す。縦軸は、ぼけのない画像とガウシアンフィルタを
かけた画像との自乗差分値であり、横軸は、ガウシンア
ンフィルタの回数である。このグラフからわかるよう
に、下に凸の曲線になる。この曲線は３次曲線で近似で
きる。

【００９４】パラメータを１、２、３、４としていった
とき、２と３の間で極小値をとることがわかる。さらに
正確なパラメータを求めるため、図１３のグラフに近似
する３次曲線を求める。次に、３次曲線の極小値をもと
め、そのときのパラメータを求める（図１３において約
２．４）。この手順によりぼけ量を正確に推定すること
ができる。

【００９５】なお、実際には、パラメータ＝０の近く、
例えば０．５についても差分値を求めておき、これも考
慮して近似曲線を求めるとよい。シミュレーション結果
によれば、このように設定することにより、より良い結
果が得られた。

【００９６】本発明は、以上の実施の形態に限定される
ことなく、特許請求の範囲に記載された発明の範囲内
で、種々の変更が可能であり、それらも本発明の範囲内
に包含されるものであることは言うまでもない。

【００９７】また、本明細書において、手段とは必ずし
も物理的手段を意味するものではなく、各手段の機能
が、ソフトウェアによって実現される場合も包含する。
さらに、一つの手段の機能が、二つ以上の物理的手段に
より実現されても、若しくは、二つ以上の手段の機能
が、一つの物理的手段により実現されてもよい。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る全焦点画像及
び／又は任意焦点画像再構成装置の概略ブロック図を示
す。

【図２】 発明の実施の形態１に係る任意焦点画像ｆの
再構成モデルである。

【図３】 発明の実施の形態１に係る再構成フィルタＫ
ａとＫbの周波数特性である。

【図４】 発明の実施の形態２に係るブロック単位で輝
度補正の説明図である。

【図５】 発明の実施の形態３に係る階層的マッチング
方法による複数の焦点画像間の位置合わせ手順のフロー
チャート及び説明図である。

【図６】 発明の実施の形態４に係る輝度投影法による
複数の焦点画像間の位置合わせ装置のブロック図であ
る。

【図７】 発明の実施の形態４に係る輝度投影法による
複数の焦点画像間の位置合わせの説明である。

【図８】 発明の実施の形態５に係る特殊効果のための
フィルタを備える全焦点画像及び／又は任意焦点画像再
構成装置の概略ブロック図を示す。

【図９】 発明の実施の形態６に係るデジタルカメラの
概略ブロック図である。

【図１０】 発明の実施の形態６に係るデジタルカメラ
の動作説明図である。

【図１１】 発明の実施の形態６に係るデジタルカメラ
の動作フローチャートである。

【図１２】 発明の実施の形態７に係る多数の画像に基
づく全焦点画像の生成方法の説明図である。

【図１３】 発明の実施の形態８に係るぼけ量推定の説
明図である。

【符号の説明】

１０ 画像再構成のためのフィルタ １１ 合成部 １２ 特殊効果用フィルタ １３ 直交座標−極座標変換部 １４ 極座標−直交座標変換部 ２０ 各行・各列の平均輝度値計算部 ２１ 輝度投影分布作成部 ２２ 比較部 ２３ 拡大・並進推定部 ３０ レンズ ３１ ＣＣＤ ３２ 処理部 ３３ ビューワ ３４ 焦点指定部 ３５ メモリ ３６ 焦点調整機構

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/265 Ｇ０６Ｆ 15/66 ４５０ // Ｈ０４Ｎ 101:00 15/68 ４００Ａ (72)発明者 コニー リアニグナディ 東京都世田谷区上祖師谷４−24−１−Ｂ 215 Ｆターム(参考） 5B057 BA12 CD18 CE08 CE11 CH04 CH09 CH11 5C022 AA13 AB29 AB68 AC01 AC42 CA02 5C023 AA11 AA31 AA37 BA01 BA11 BA15 CA03 CA08 DA01 EA10 5C076 AA11 AA19 AA27 BA06

Claims (12)

【特許請求の範囲】
1. 【請求項１】 外部から入力される第１のぼけパラメー
   タに基づき第１の部分に焦点が合っている第１画像を変
   換する第１のフィルタと、外部から入力される第２のぼ
   けパラメータに基づき第２の部分に焦点が合っている第
   ２画像を変換する第２のフィルタと、前記第１のフィル
   タの出力及び前記第２のフィルタの出力を合成して任意
   焦点画像を生成する合成部と、前記第１画像と前記第２
   画像の輝度が同程度になるように、画像のブロック単位
   で輝度補正を行い、輝度補正後の画像を前記第１のフィ
   ルタと前記第２のフィルタに供給する輝度補正部とを備
   える任意焦点画像合成装置。
2. 【請求項２】 外部から入力される第１のぼけパラメー
   タに基づき第１の部分に焦点が合っている第１画像を変
   換する第１のフィルタと、外部から入力される第２のぼ
   けパラメータに基づき第２の部分に焦点が合っている第
   ２画像を変換する第２のフィルタと、前記第１のフィル
   タの出力及び前記第２のフィルタの出力を合成して任意
   焦点画像を生成する合成部と、前記第１画像と前記第２
   画像の位置合わせを、画像データを水平及び垂直方向に
   投影して得られた輝度分布に基づいて行い、位置合わせ
   された画像を前記第１のフィルタと前記第２のフィルタ
   に供給する位置合わせ部とを備える任意焦点画像合成装
   置。
3. 【請求項３】 外部から入力される第１のぼけパラメー
   タに基づき第１の部分に焦点が合っている第１画像を変
   換する第１のフィルタと、外部から入力される第２のぼ
   けパラメータに基づき第２の部分に焦点が合っている第
   ２画像を変換する第２のフィルタと、前記第２のフィル
   タの出力に対して所定の処理を行う特殊効果フィルタ
   と、前記第１のフィルタの出力及び前記特殊効果フィル
   タの出力を合成して任意焦点画像を生成する合成部とを
   備える任意焦点画像合成装置。
4. 【請求項４】 前記特殊効果フィルタの入力側及び出力
   側に、それぞれ画像データの座標を直交座標から極座標
   に変換する直交座標−極座標変換部と、画像データの座
   標を極座標から直交座標に戻す極座標−直交座標変換部
   とを備えることを特徴とする請求項３記載の任意焦点画
   像合成装置。
5. 【請求項５】 外部から入力される第１乃至第Ｎのぼけ
   パラメータに基づき第１乃至第Ｎの部分にそれぞれ焦点
   が合っている第１乃至第Ｎ画像を焦点位置の順に並べ、
   これら画像のひとつである第ｉの画像内の一部分に関し
   て、前記第ｉの画像を中心としてその前後の複数の画像
   において前記部分の焦点が合っているかどうかを判定す
   る判定部と、前記判定部の判定パターンによりどの画像
   において前記部分の焦点が合っているか比較する比較部
   と、前記比較部の比較結果により前記第１乃至第Ｎの画
   像を合成して全焦点画像を生成する合成部とを備える任
   意焦点画像合成装置。
6. 【請求項６】 前記判定部は、パラメータを変化させつ
   つ前記第ｉの画像に対してフィルタ処理を行うガウシア
   ンフィルタと、前記ガウシアンフィルタの出力と前記前
   後の複数の画像の差分値を求める差分処理部と、前記差
   分値が極小になる値を求めることにより前記パラメータ
   を推定する推定部とを備えることを特徴とする請求項５
   記載の任意焦点画像合成装置。
7. 【請求項７】 撮像素子と、前記撮像素子から信号を受
   けて画像データに変換する処理部と、前記処理部で処理
   された画像データを表示する表示部と、画像内の複数の
   対象を指定してそれぞれ異なる焦点の複数の画像を要求
   する焦点指定部と、前記焦点指定部の指定により焦点位
   置を設定する焦点調整機構と、画像データを記憶するメ
   モリとを備え、 前記処理部は、指定された前記複数の対象について順番
   にそれぞれ焦点を合わせ、それぞれ撮像し、前記メモリ
   に得られた複数の画像データをそれぞれ格納することを
   特徴とする複数画像同時撮像型カメラ。
8. 【請求項８】 １回のシャッター動作で複数の焦点の異
   なる画像を撮像することを特徴とする請求項７記載の複
   数画像同時撮像型カメラ。
9. 【請求項９】 外部から入力される第１のぼけパラメー
   タに基づき第１の部分に焦点が合っている第１画像を変
   換する第１のフィルタと、外部から入力される第２のぼ
   けパラメータに基づき第２の部分に焦点が合っている第
   ２画像を変換する第２のフィルタと、前記第１のフィル
   タの出力及び前記第２のフィルタの出力を合成して任意
   焦点画像を生成する合成部と、前記第１画像と前記第２
   画像の輝度が同程度になるように、画像のブロック単位
   で輝度補正を行い、輝度補正後の画像を前記第１のフィ
   ルタと前記第２のフィルタに供給する輝度補正部とを含
   む任意焦点画像合成装置を備えることを特徴とする請求
   項７記載の複数画像同時撮像型カメラ。
10. 【請求項１０】 外部から入力される第１のぼけパラメ
    ータに基づき第１の部分に焦点が合っている第１画像を
    変換する第１のフィルタと、外部から入力される第２の
    ぼけパラメータに基づき第２の部分に焦点が合っている
    第２画像を変換する第２のフィルタと、前記第１のフィ
    ルタの出力及び前記第２のフィルタの出力を合成して任
    意焦点画像を生成する合成部と、前記第１画像と前記第
    ２画像の位置合わせを、画像データを水平及び垂直方向
    に投影して得られた輝度分布に基づいて行い、位置合わ
    せされた画像を前記第１のフィルタと前記第２のフィル
    タに供給する位置合わせ部とを含む任意焦点画像合成装
    置を備えることを特徴とする請求項７記載の複数画像同
    時撮像型カメラ。
11. 【請求項１１】 外部から入力される第１のぼけパラメ
    ータに基づき第１の部分に焦点が合っている第１画像を
    変換する第１のフィルタと、外部から入力される第２の
    ぼけパラメータに基づき第２の部分に焦点が合っている
    第２画像を変換する第２のフィルタと、前記第２のフィ
    ルタの出力に対して所定の処理を行う特殊効果フィルタ
    と、前記第１のフィルタの出力及び前記特殊効果フィル
    タの出力を合成して任意焦点画像を生成する合成部とを
    含む任意焦点画像合成装置を備えることを特徴とする請
    求項７記載の複数画像同時撮像型カメラ。
12. 【請求項１２】 前記特殊効果フィルタの入力側及び出
    力側に、それぞれ画像データの座標を直交座標から極座
    標に変換する直交座標−極座標変換部と、画像データの
    座標を極座標から直交座標に戻す極座標−直交座標変換
    部とを備えることを特徴とする請求項１１記載の複数画
    像同時撮像型カメラ。