JP2883648B2 - 画像入出力装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は画像情報を入出力するための画像入出力装置
に関する。

［従来の技術］ 一般に解像度にすぐれ、かつ倍率および明るさの大き
な画像を光学的に取込むためには、開口の大きな光学素
子を用いた結像光学系が必要である。ところがレンズに
代表される結像用光学素子は、一般に開口が大きくなる
と焦点深度が浅くなる。しかるに顕微鏡、カメラ、内視
鏡等の画像機器を利用する分野においては、得られた画
像が解像度や明るさに優れていることが望ましいのは勿
論であるが、同時に焦点深度の深い画像であることが強
く要求される。

焦点深度の深い画像を得る従来技術として、例えば文
献「W.T.Welford.Journal of Optical Socienty Of Ame
rica.Vol.50 p.749（1960）」に示されるように、輪帯
開口等の特殊な開口を設けた結像光学系を用いる手段が
ある。この手段によれば焦点深度の深い画像が簡便に得
られるという利点があるが、解像度や光量を著しく損う
という欠点がある。

また他の技術的手段として、例えば文献「S.A.Sugimo
to and Y.Ichioka,Applied Optics Vol.24.p.2076（198
5）」あるいは「太田亨寿、杉原厚吉、杉工昇、電子通
信学会論文誌（Ｄ）,J66−D,1245,（1983）」に紹介さ
れているように、画像処理技術を用いる方法がある。こ
の方法は、物体空間において焦点の合った位置（以下、
合焦点位置という）の異なる画像を複数枚入力し、これ
らから局所的な分散情報を得、これに基づき焦点の合っ
た部分を合成する手段である。この手段によれば、解像
度や明るさを損わずに焦点深度の深い画像を得ることが
できる。したがって、この点では極めて有用な手段であ
るといえる。しかし対象物が、表面が滑らかな対象物で
ある場合や、場所によって構造の起状が大きく異ってい
る対象物である場合には、その対象物に対しての適用が
難しい。その上、装置として実現するには規模の大きな
ハードウェアが必要であること、アルゴリズムが複雑で
あること、等々実用上不都合が多い。

［発明が解決しようとする課題］ 上記したように、従来の技術的手段には次のような欠
点がある。

（１）輪帯開口等の特殊な開口を設けた結像光学系を用
いて焦点深度を深くする手段では、解像度や光量を著し
く損うという欠点がある。つまり焦点深度の深い画像を
得ることは可能であるが、解像度や明るさを失なうこと
になり、焦点深度、解像度、明るさの全てを満足する光
学系とはなり得ないという欠点があった。

（２）合焦点位置の異なる画像を複数枚入力し、これら
の局所的な分散情報から焦点の合った部分画像を合成す
る手段では、対象物の条件如何により適用が難しい場合
があり、実用上不都合を来たすことが多いという欠点が
あった。

本発明者らは、上記のような従来技術の欠点を解決す
べく種々研究を重ねた結果、解像度や明るさを失うこと
なく焦点深度の深い画像を再生し得、しかも実用的で対
象物に対する適用範囲が広い、新規な画像入出力装置を
案出した。この装置については、既に特願昭63−039936
号として本出願人が出願済みである。この装置において
採用した技術的手段は、合焦点位置の異なる複数枚の画
像を入力し、これらを加え合せたのち適当な回復処理を
施すことにより、焦点深度の深い画像を合成するという
ものである。この手段によれば、簡単な構成でありなが
ら大きな効果が得られるという利点がある。しかし次の
ような解決すべき課題が残されていた。すなわち、加え
合わせた画像に施す適切な回復処理手段を如何にして迅
速かつ適確に設定するかが問題となる。つまり、最適な
回復フィルタを得るためには、複雑な計算を行なった
り、何らかの予備実験等を行なったりする必要があり、
その設定に手間がかかるという問題があった。

そこで本発明は、解像度や明るさを失うことなく焦点
深度の深い画像を再生し得、しかも実用的で対象物に対
する適用範囲が広く、さらに極めて迅速かつ適確に実用
に供し得る利点をもった画像入出力装置を提供すること
を目的とする。

［課題を解決するための手段］ 本発明は上記課題を解決し目的を達成するために次の
ような手段を講じた。

合焦点位置の異なる画像を複数枚入力する。

入力した合焦点位置の異なる画像をそれぞれフーリエ
変換する。

フーリエ変換した合焦点位置の異なる画像間で空間周
波数毎に適当な重み付をしながら加算する。

加重加算して得たフーリエスペクトル画像を逆フーリ
エ変換する。

［作用］ このような手段を講じたことにより次のような作用を
呈する。焦点位置の異なる画像が離散的に入力され、そ
のフーリエ変換画像の加重加算が行なわれ、得られたフ
ーリエスペクトル画像の逆フーリエ変換が行なわれるの
で、解像度や明るさを失うことなく、実質的に焦点深度
の深い画像を再生し得る。しかも対象物の表面がたとえ
どのような状態ないし性質を有していても、その影響を
受けないので対象物の条件如何を問わず広く適用可能な
ものとなる。さらに実施するに際し、格別の準備や設定
操作等を必要としないので、迅速かつ適確に実用に供し
得るものとなる。

［実施例］ （第１実施例） 第１図は本発明の第１実施例の構成を示す図である。
図中右上に示すレンズ１によってとらえられた対象物の
像は、電荷結合素子（以下、CCDと略称する）あるいは
撮像管等からなる撮像素子２の受光部に結像される。な
お通常の場合、入力光学系は複数のレンズの組み合せで
構成されるが、本図では簡略化して一枚のレンズのみ示
す。前記撮像素子２からの出力信号すなわち画像信号
は、アナログ・デジタル変換器（以下、A/D変換器と略
称する）３によりデジタル信号に変換される。このデジ
タル信号は、次いでセレクタ４によりメモリ５−１〜５
−ｍの内の所定の一つに記録される。上記の動作は合焦
点位置制御器６によって合焦点位置を適当に設定した距
離間隔および距離範囲で離散的に変えながら行なわれ
る。そして入力したｎ枚（ｎ≦ｍ）の画像は前記メモリ
５−１〜５−ｍのうちのｎ個に記録される。次にFET演
算器７によって、前記メモリ５−１〜５−ｍに記録され
ている画像について、それぞれフーリエ変換が実行さ
れ、その結果は再びメモリ５−１〜５−ｍに格納され
る。前記メモリ５−１〜５−ｍに記録されているフーリ
エ変換後の画像信号は、比較器８に送られる。そしてこ
の比較器８で、同じ空間周波数ごとに前記フーリエ変換
画像間でスペクトル強度が比較され、大きい順にならび
かえられて乗算器10−１〜10−ｐ（ｐ≦ｍ）に転送され
る。乗算器10−１〜10−ｐにはメモリ９に設定されてい
る係数値が乗数として与えられている。したがって乗算
器10−１〜10−ｐでは上記係数値と、前記比較器８から
のフーリエ変換画像信号との乗算が行なわれる。乗算器
10−１〜10−ｐの出力信号は、加算器11に送られて加算
される。この加算器11により加算された画像信号は、メ
モリ12に記録される。こうして前記メモリ12に記録され
た空間周波数ごとに加重加算されたフーリエ変換画像
は、前記FET演算器７により逆フーリエ変換が実行さ
れ、その結果は再び前記メモリ12に記録される。前記メ
モリ12に記録された処理後の画像信号は、デジタル・ア
ナログ変換器（以下、D/A変換器と略称する）13により
アナログ信号に変換されたのち、ディスプレイモニタ14
上に表示される。以上の動作におけるタイミングや信号
の流れ等の制御はコントローラ15によって行われる。

なお前記係数設定用のメモリ９と乗算器10−１〜10−
ｐの変わりに、ルックアップテーブルメモリを用い、テ
ーブル変換により、所定の係数を掛けるのと同等の処理
を行なわせるようにしてもよい。また前記メモリ５−１
〜５−ｍに記録された原画像信号をフロッピーディス
ク、磁気テープ、光メモリ等の記録媒体に記録してお
き、画像再生の時に前記記録媒体から読込んだ画像信号
に対しフーリエ変換、加重加算、逆フーリエ変換等を行
なって表示するという具合に、画像入力の記録部と画像
再生部とをオフラインで連結するようにしてもよい。ま
た空間周波数毎の加重加算における加重係数は、最初か
ら固定してしまってもよいし、前記コントローラ15に接
続したマン・マシーンインターフェースにより、操作者
が予め前記メモリ９に記憶されている複数の係数値のパ
ターンのうちの一つを選択するとか、あるいはメモリ９
の内容を書き変えるようにしてもよい。

上記構成の第１実施例によれば次のような作用効果を
奏する。今、例えば第２図に示すような階段状の構造を
有する物体20を考える。そして上記物体20の段階部にお
ける各表面はそれぞれ固有の周波数特性をもつものとす
る。このような深さ方向に起状構造を持った物体20を、
光学顕微鏡等の焦点深度の比較的浅い光学系で観察しよ
うとする場合、焦点の合った面は良く観察できるが、他
の面はボケてしまう。ところがある面に焦点が合ってい
れば、入力画像はその面特有の周波数特性を強く有する
ことになる。したがってそれぞれの面に焦点を合わせて
入力した画像のフーリエスペクトルFS1,FS2,FS3〜は、
各面の固有の空間周波数情報を主に現わすものと考えら
れる。そこで焦点位置を変えながら、入力した複数の画
像のフーリエスペクトルFS1,FS2,FS3〜に対し、空間周
波数ごとに適当な加重加算を行なう。こうすることによ
り、全ての面の空間周波数情報を含んだ画像のフーリエ
スペクトルが合成される。

この場合の重み付けの方法としては、次のようなもの
が考えられる。例えばある空間周波数に着目し、合焦点
位置の異なる画像間でその周波数のスペクトル強度を比
較し、最も大きなものに「10」を加重して、あとは
「０」をかけてしまう方法、あるいは周波数のスペクト
ル強度の大きな順に「４」，「３」，「２」，「１」と
加重する方法、さらにはスペクトル強度に比例した加重
を行なう方法などが考えられる。高い空間周波数領域に
おいて、ほとんどノイズしか見られないときは、全て同
じ加重をかけるとか、全て「０」をかけてしまうことに
より、ノイズの低減を行なうこともできる。このような
加重のかけかたは、対象物体あるいは光学系統の特徴に
応じて適当に設定すればよい。

このようにして得られたフーリエスペクトル画像を逆
フーリエ変換することにより、実質的に焦点深度の深い
画像を得ることができる。なお上記の説明では説明を分
り易くするために、１次元フーリエ変換についての説明
を行なったが、画像を実際に取扱う場合には当然２次元
フーリエ変換を用いることになる。

（第２実施例） 第３図は本発明の第２実施例の構成を示す図である。
本実施例においては、画像入力光学系にわざと色収差が
でるように設計された光学素子、例えば図示の如くレン
ズ16を設ける。さらに上記レンズ16の後方にダイクロイ
ックミラー17−1,17−２を設け、撮像素子２−１〜２−
３により異なる波長帯域の画像を撮像するように構成す
る。前記ダイクロイックミラー17−1,17−２としては、
例えば第４図に示すようなフィルター特性をもったもの
を用いる。

第４図に示すように、ミラー17−１としては、青の領
域の光を反射し、緑より長い波長領域の光を通過させる
ようなミラーを用い、ミラー17−２としては、緑より短
い波長領域の光を反射し、赤を通過させるようなミラー
を用いる。こうすることによって撮像素子２−１には青
の領域の画像、撮像素子２−２には緑の画像、撮像素子
２−３には赤の画像、がそれぞれ入力するように設定す
る。第３図に説明を戻す。

第３図に示すように、前記撮像素子２−１〜２−３か
らの画像信号は、対応するA/D変換器３−１〜３−３に
よってそれぞれディジタル信号に変換され、メモリ５−
１〜５−ｍに記録される。上記した以外の点は前記第１
実施例と同様であるので説明は省略する。

なお本実施例では、画像を青、緑、赤の三つの領域に
分けた例を示したが、これに限られるものではなく、例
えばバンド数を上記の場合よりも増加させたり、逆に二
つだけに制限したり、さらには干渉フィルタを用いる等
して、いくつかの特定の狭い波長領域の画像を入力する
ようにしてもよい。また前記ダイクロイックミラー17−
1,17−２の代わりに複数の異なるバンドパス・色フィル
タを用い、これらを時間的にチェンジしながら一つの撮
像素子２によって多バンドの画像を入力するようにして
もよい。

上記構成の第２実施例によれば次のような作用効果を
奏する。すなわち一般的な対象物の反射分光特性は、可
視光のほぼ全域に亙る広い範囲に亙って分布しており、
各波長での画像は、互いに強い相関をもつという特性を
有している。すなわち、作為的に色収差をもつような光
学素子を用いることにより、波長毎に異なる位置に焦点
の合った像を結像し、これらを複数の異なる波長領域に
より入力することにより、実質的に異なる合焦点位置の
画像を同時に入力することができる。かくして、合焦点
位置を変えるという機械的な動作を行なわずに、複数の
位置に焦点のあった画像群を入力することができるの
で、機械的な動きに起因する「ブレ」等が生じることの
ない装置を得ることができる。

（第３実施例） 第５図は本発明の第３実施例の構成を示す図である。
本実施例においては、画像入力光学系におけるレンズ１
の後方位置にハーフミラー18−1,18−２を設け、さらに
前記レンズ１から撮像素子２−１〜２−３までの距離が
全て異なるように設定する。上記以外の構成は前記第２
ないし第１実施例と同様であるので説明は省略する。

なお前記撮像素子２−１〜２−３の位置を、対象物に
応じて適当に可変設定できるようにしてもよい。

上記構成の第３実施例によれば次のような作用効果を
奏する。本実施例においては、複数の異なる面で結像さ
れた像を入力することにより、合焦点位置の異なる複数
の画像を同時に入力することが可能となる。したがって
合焦点位置をかえるという機械的な動作を行なわずに済
む上、その構成上、より適用範囲の広い装置が得られ
る。

（第４実施例） 第６図は本発明の第４実施例の構成を示す図で、本発
明を反射型顕微鏡に適用した応用例である。第６図に示
すように光源100から発せられた光は落射照明装置101に
よって導かれ、最終的には対物レンズ102を介して試料
の表面に照射される。試料からの反射光像は前記対物レ
ンズ102によって結像され、鏡筒103の上に設置されたTV
カメラ104によって撮像される。なおこの際、試料に対
する合焦点面はフォーカスレベル駆動装置105によって
離散的に変えられ、それぞれの合焦面における画像は前
記TVカメラ104により撮像される。なお試料はＸ−Ｙス
テージ制御装置106によってＸ−Ｙ方向に移動走査され
る。前記TVカメラ104から送られた画像信号はカメラド
ライバ107に転送される。なお前記カメラドライバ107は
前記TVカメラ104に対する電力供給等の制御も行なうも
のである。前記カメラドライバ107に転送された画像信
号は、さらにプロセッサ108に送られる。プロセッサ108
は、A/D変換器、画像メモリ、FET演算器、比較器、加重
加算器、D/A変換器等からなる。そして108は前記合焦点
面の異なる複数の入力画像に対して本発明の処理を施
す。前記プロセッサ108により処理された画像信号はTV
モニタ109により表示される。上記の動作はＸ−Ｙステ
ージ制御装置106の制御によって試料の異なる部分につ
いて繰返し行われ、かつ表示される。本実施例における
顕微鏡はコントローラ110によって総合的に制御され、
条件設定等はマン・マシーンインターフェース111を通
じて観測者によって行われる。

本実施例によれば、顕微鏡に対して解像度や明るさを
保ったまま、焦点深度の大きい画像の合成を、比較的簡
単な装置構成により実現できる。顕微鏡の場合、非常に
細かい構造を観測しようとすると、高い倍率の対物レン
ズを使用しなけけばならないが、一般に高倍率の対物レ
ンズになる程、N.A.が大きく焦点深度は浅くなる。この
ような場合において本実施例の如く構成すれば、焦点深
度の深い画像を表示する手段として極めて有効である。
特に顕微鏡観察において、焦点深度が浅いために起こる
煩雑なフォーカスレベル合せが不要となり、検査の際に
大幅な省力化が実現できる。かくして本実施例の構成
は、IC,LSIの検査をはじめとして鉱物、紙、繊維、生体
組織など広範囲な産業分野における様々な対象物の観察
において有用である。

なお本実施例では反射型顕微鏡への適用例を示した
が、透過型顕微鏡、蛍光顕微鏡など他の方式の顕微鏡に
対しても適用可能である。

（第５実施例） 第７図は本発明の第５実施例の構成を示す図で、本発
明を電子カメラに応用した例を示す図である。本実施例
は前記第１〜第３実施例における画像入力部と画像処理
部表示部とを、記録媒体を介してオフラインで連結した
ものに相当する。第７図に示すように、電子カメラ200
により撮像した異なる位置に焦点の合った複数枚の画像
が同カメラ200内に電気信号として入力される。入力さ
れた画像信号は全て前記カメラ200内の記録媒体201に記
録される。この記録媒体201は、フロッピーディスク，
磁気デープ，光メモリ，半導体IC,強誘電体薄膜，固体
メモリ等で構成されている。記録媒体201に記録された
画像信号は、読込み装置202内に読込まれる。前記記録
媒体201に記録されている画像信号がアナログ信号であ
る場合には、前記読込み装置202内にA/D変換器を設け、
前記画像信号をデジタル信号に変換するようにする。プ
ロセッサ203は、第１〜第３実施例に示したメモリ５−
１〜５−m,FET演算器7,比較器8,メモリ9,乗算器10,加算
器11,メモリ12,D/A変換器13,およびコントローラ15等に
より構成されている。したがってこのプロセッサ203
は、前記読込み装置202から転送されてくるデジタル画
像信号に対し、第１〜第３実施例に記した場合と同様の
処理が実行される。前記処理が施された画像信号はTVモ
ニタ204に転送されて表示される。なお前記プロセッサ2
03における処理の諸条件等の設定は、前記プロセッサ20
3内のコントローラと連結されているマン・マシーンイ
ンターフェース205により観察者が設定できるようにな
っている。

本実施例によれば、電子カメラ200によって焦点の異
なる複数枚の画像を記録することにより、第１〜第３実
施例と同様の作用効果をもたらし得る。特に撮影中にレ
ンズの細かいピント合わせや絞りをあまり気にせずに撮
影してしまったような場合でも、画像を再生する際に焦
点深度を自由に工夫できるという大きな利点がある。か
くして、従来の電子カメラの入力光学系では実現できな
かった課題、すなわち明るさ、解像度を保ちつつ、焦点
深度の深い画像を得ることが可能となり、機能の大幅な
拡大を図ることができる。

（第６実施例） 第８図Ａ〜第８図Ｃは本発明の第６実施例の構成を示
す図で、本発明を面順次方式の電子内視鏡に適用した応
用例を示した図である。本装置は大きく分けて内視鏡プ
ローブ300,画像入力装置301,色ズレ補正装置302,色彩情
報記録装置303,焦点深度増大装置304,画像表示装置305,
コントローラ306からなる。

内視鏡プローブ300は、先端にCCD等のモノクロ用固体
撮像素子310を備えており、合焦点位置制御器311による
対物レンズで結像された画像を撮影する。この場合の照
明光は、前記画像入力装置301内に設置されている回転
色フィルタ312を通過したXeランプ等の白色光源313から
の光を、光ファイバー等で構成されるライトガイド314
によって前記内視鏡プローブ300内に導くことにより、
プローブ300の先端より照射される。

第９図は前記回転色フィルタ312の構造を示す平面図
である。図に示すように赤（Ｒ），緑（Ｇ），青（Ｂ）
の原スペクトル透過フィルタ要素312R,312G,312Bを回転
角方向に間欠的に配設したものである。

第８図に説明を戻す。前記回転色フィルタ312は、前
記画像入力装置301内に設置されているモータ312Mによ
って回転駆動されることにより、照明光を時間的にR,G,
Bの順に変える。このため前記撮像素子310は夫々の色の
光で照明された対象物をモノクロ画像として撮像する。
前記撮像素子310からの出力画像信号は、前記画像入力
装置301内のA/D変換器315によりデジタル信号に変換さ
れ、セレクタ316によりフレームメモリ317−１〜317−
３の所定の色の領域に格納される。なお以上の動作は画
像入力用コントローラ318により制御される。そして逐
次的に前記フレームメモリ317に格納された各原色画像
は、セレクタ319によってR,G,Bの原色画像のうち、Ｒと
ＧもしくはＧとＢが選択される。そして選択された画像
信号は、色ズレ補正装置302内の原色画像間の対応領域
検出装置302に入力され、Ｇ画像に対するＲ画像または
Ｂ画像のズレ量が局所的に検出される。アドレス発生器
321はR,B画像に対し、原色画像間対応領域検出装置320
で求めたズレ量を基に、これを補正するようなアドレス
を発生し、前記フレームメモリ317−１〜317−３に送
る。フレームメモリ317−１〜317−３では前記アドレス
信号とバッファメモリ317−４を利用して、R,B画像の補
正が行なわれる。

このようにして得られた一枚のカラー画像は、前記セ
レクタ319を介して色彩情報記録装置303に入力される。
色彩情報記録装置303では、加算器322によって各色成分
を加え合せることにより明度Ｒ＝Ｒ＋Ｇ＋Ｂの値が算出
されると共に、除算器323−１〜323−３によって各色成
分値R,G,Bの値をＹで除すための割り算が実行される。
その結果すなわち、R/Y,G/Y,B/Yの値は夫々メモリ324−
１〜324−３に格納される。

一方、前記内視鏡プローブ300内の前記合焦点位置制
御器311によって焦点位置を変えながら入力したR,G,B画
像すなわち画像入力装置301内のフレームメモリ317−１
〜317−３に格納されているR,G,B画像は、焦点深度増大
装置304のフレームメモリ325−１〜325−３に改めて記
録される。前記焦点深度増大装置304は、前記フレーム
メモリ325−１〜325−３の他、FET演算器326,比較器32
7,乗算器328−１〜328−3,メモリ329,加算器330,フレー
ムメモリ331により構成され、第１実施例と同様の動作
が行われる。その処理結果は明度Ｙ′＝Ｒ＋Ｇ＋Ｂ画像
として前記フレームメモリ331に格納される。

前記メモリ324−１〜324−３に格納されている色彩情
報と、前記フレームメモリ331内に記録されている画像
信号とは、乗算器332−１〜332−３によって夫々の色成
分ごとに掛け算が行われる。その結果は前記画像表示装
置305内に導かれる。

画像表示装置305内に導かれた前記乗算器332−１〜33
2−３からの信号は、D/A変換器333−１〜333−３によっ
てアナログ信号に変換された後、TVモニタ334によって
表示される。以上の画像処理，表示部は前記コントロー
ラ306により制御される。

このように本実施例は、本発明を画像入力装置に適用
するに際し、内視鏡画像は一般にR,G,Bのカラー３原色
画像間に強い相関があるという性質と、画像のボケ具合
のほとんどがカラーの情報のうちの、明度に依存すると
いう性質とを利用し、面順次方式の電子内視鏡において
各原色画像ごとに異なる焦点位置の画像を入力し、本発
明の手段による処理を行なうものである。

以下本実施例の作用を説明する。先ず画像入力装置30
1によって逐次的にR,G,Bの各原色画像が入力される。そ
の際に対象物や内視鏡プローブ300自身が急激に動いて
しまうと、各原色画像の相対的な位置が異なってしま
い、所謂色ズレが起こる。ここで色ズレ補正装置302で
は、Ｇ画像を基準としてＲ画像およびＢ画像のズレ量を
局所的な部分画像間のマッチングを計算することにより
求めていく。そして求めた色ズレ量を基にＲ画像および
Ｂ画像を修正する。この様な方法により先ずある設定合
焦位置におけるカラー画像を入力する。そして色彩情報
記録装置303によってR,G,Bの値を夫々明度の情報Ｙ＝Ｒ
＋Ｇ＋Ｂでノーマライズした色彩の情報R/Y,G/Y,B/Yを
記録する。次に焦点位置を変えながら各原色画像を入力
し、色ズレ補正処理を施した後、焦点深度増大装置304
により、前記R,G,B画像を利用して焦点深度の大きな画
像が合成され、これを新たな明度Ｙ′画像とする。そし
て最終的に前記Ｙ′画像に前記色彩情報R/Y,G/Y,B/Yを
乗じることにより、焦点深度の深いカラー画像が合成さ
れるものである。

したがって本実施例によれば、内視鏡画像において、
焦点深度の深い画像を合成できる利点がある。また焦点
深度が浅く、開口が大きい対物レンズを使用することが
可能となるため、光源のパワーを減らすことができる
上、撮像素子の光蓄積時間を短縮でき、色ズレ等の影響
を少なくすることができる。

（第７実施例） 第10図は本発明の第７実施例の構成を示す図であり、
本発明を単板式カラー撮像素子を用いた電子内視鏡へ適
用した例である。図示の如く、内視鏡プローブ400の先
端には受像面がRGBフィルタで構成されたカラーモザイ
クフィルタ401で覆われた固体撮像素子402が設置されて
おり、焦点位置制御器403内の対物レンズに結像された
画像を撮像するものとなっている。なおこの場合の照明
光は、装置本体内の白色光源405が発した光を、ライト
ガイド404によって前記内視鏡プローブ400内に導くこと
により、プローブ先端から照射される。前記撮像素子40
2からの出力信号は、色分離回路406によりRGBの各色信
号に分離される。なお本実施例では前記カラーモザイク
フィルタ401がR,G,Bフィルタで構成されていると仮定し
たが、他の色フィルタ、例えばシアン，イエロー等の補
色フィルタで構成してもよい。いずれにしても、前記色
分離回路406では、前記カラーモザイクフィルタ401を構
成する色信号が分離される。そしてマトリクス回路407
によりY,R−Y,B−Ｙ信号に変換される。前記Y,R−Y,B−
Ｙ信号はNTSCエンコーダ408によってNTSC信号に変換さ
れた後、A/D変換器409によりデジタル信号に変換され
る。このデジタル信号はセレクタ410によって、フレー
ムメモリ411−１〜411−ｍのうちの所定の一つに記録さ
れる。

以上の構成により合焦点位置を適当に変えながら入力
したｎ枚（ｎ≦ｍ）の画像を前記メモリ411−１〜411−
ｍのうちのｎ枚に記録する。なお、装置内には、FFT演
算器412,比較器413,乗算器414−１〜414−P,メモリ415,
加算器416,フレームメモリ417,D/A変換器418,TVモニタ4
19,およびコントローラ420が設けられており、第１実施
例と同様の処理が実行される。

上記したように、本実施例はカラーモザイクフィルタ
401を用いた単板式カラー撮像素子402で得た内視鏡画像
を、NTSC信号に変換し、この変換したカラー画像信号に
ついて本発明の手段による処理を施すようにしたもので
ある。したがって本実施例によれば、装置の規模を小さ
くでき、しかも内視鏡画像について第６実施例と同様の
作用を奏し得る。

（第８実施例） 第11図Ａ〜第11図Ｄは本発明の第８実施例の構成を示
す図である。本実施例は少ない入力画像から焦点深度の
大きい画像を再生することをねらった実施例であって，
合焦点が異なる画像のフーリエ変換画像を、空間周波数
ごとに加重加算する場合において、S/Nを考慮した回復
処理の効果がもたらされるように加重係数を算定するよ
うにしたものである。以下、より効果的な応用例とし
て、反射型顕微鏡を用いて層状構造をなす半導体ICの検
査を行なう場合について述べる。本実施例においては、
条件設定のための「前処理動作」と「本動作」の二つの
動作が行なわれる。

まず「前処理動作」について説明する。観察者は、顕
微鏡500のステージ501を光軸方向へ動作させながら顕微
鏡画像を観察する。前記ステージ501は、モータ502によ
り上下方向に駆動される。このモータ502はモータドラ
イバ503により駆動され、このモータドライバ503はプロ
セッサ600内のステージ駆動コントーラ601によって制御
される。ステージ駆動コントローラ601はマン・マシー
ン・インターフェース510と結合されている。かくし
て、観察者が自由にステージ501を上下動させ得るもの
となっている。観察者は、顕微鏡画像を見ながら観察対
象である半導体ICの各層について最も上の層からピント
を合わせていく。そして各層にピントがあったときに前
記マン・マシーン・インターフェース510の所定のキー
を押す。こうすることにより、前記ステージ駆動コント
ローラ601へインフォーカス・シグナルが送られる。前
記モータドライバ503は、ステージ501の位置を検知する
手段を有している。この手段により検知した位置情報は
前記ステージ駆動コントローラ601へフィードバックさ
れる。ステージ駆動コントローラ601は、前記マン・マ
シーン・インターフェース510からのインフォーカス・
シグナルを受け取った時点での前記位置情報を、前記ス
テージ駆動コントローラ601内の内臓メモリに記録する
ようになっている。

一方、前記インフォーカス・シグナルが発せられた時
点の顕微鏡画像は、前記顕微鏡500の鏡筒上に取り付け
たTVカメラ520により撮像される。その撮像信号はA/D変
換器611によりディジタル変換されたのち、セレクタ612
を介してメモリ613−１に記録される。このメモリ613−
１の内容はセレクタ621を介してFFT演算器622へ導入さ
れ、ここで前記ディジタル画像に対する２次元フーリエ
変換が実行される。そして最終的にその実数部は前記メ
モリ613−１に記録され、虚数部はメモリ613−２に記録
される。メモリ613−1,613−２に記録されたフーリエ変
換画像は、それぞれセレクタ614−1,614−２によって分
配され、同じ値が乗算器615−1,2に導かれて実数部，虚
数部のそれぞれの２乗が計算される。この２つの計算の
結果は加算器616により加算される。こうしてフーリエ
変換画像のパワースペクトル Φ（fx,fy）＝Ｆ（fx,fy）・Ｆ^＊（fx,fy） ＝｛F_R（fx,fy）＋iFi（fx,fy）｝ ｛F_R（fx,fy）−iFi（fx,fy）｝ ＝F_R（fx,fy）^２＋Fi（fx,fy）^２ （ただし、 Ｆ（fx,fy）＝F_R（fx,fy）＋iFi（fx,fy） はフーリエ変換画像を表わす。）が計算される。以下、
式を簡略化するために、Φ（f_x,f_y）→Φ、Ｆ（f_x,f_y）
→Ｆと略記することもある。この計算結果は、セレクタ
617を介してメモリ618に記録される。以下同様にして、
観測者が選んだ対象ICの各層にピントが合った画像のパ
ワースペクトルが、次々の前記メモリ618に記録され
る。同時に前記ステージ501の各ピント位置の情報が前
記ステージ駆動コントローラ601内のメモリに記録され
る。ここで観測者が選んだ対象ICのピント面の総数をｎ
とする。

前記ステージ駆動コントローラ601内に記録された各
ピント面の位置情報は、アドレス発生器602によって所
定のアドレス情報となり、ROM603に送られる。ROM603に
は、いくつかの画像劣化関数H_jkがあらかじめ記録され
ている。なお、画像劣化関数（つまりボケ関数）H
_jkは、ｊ番目の層（ピント面）にピントが合った時のｋ
番目の層の画像劣化の度合を表わしている。この劣化は
ｊ番目とｋ番目の層の距離に依存している。つまり光軸
方向の座標をｚとし、ｊ番目,k番目の層の位置をz_j,z_k
とすると、 H_jk＝Ｈ（z_j,z_k）＝Ｈ（|z_j−z_k|） ……（１） と表わすことができる。かくして観察者が選択した前記
各ピント面の位置情報z_j（ｉ＝1,2,…ｎ）から任意の２
つの面（j,k番目）に対する劣化関数画像H_jkが選択され
る。前記ROM603に記録されている劣化関数画像の数には
限りがある。このため任意の層間距離|z_j−z_k|に対する
劣化関数を求めることはできない。しかし、これと最も
近い値に対応する劣化関数で代用すれば実用上支障はな
い。前記ROM603からは、ｉ番目の層にピントが合った時
の所定の注目層ｐにおける劣化関数画像H_ipの空間周波
数（f_x,f_y）の値H_ip（f_x,f_y）が送出され、これがセレ
クタ604を介してラッチング回路605に保持される。次
に、前記ROM603からはｉ番目の層にピントが合った時の
ある注目層ｑにおける劣化関数画像H_iqの前記空間周波
数（f_x,f_y）の値H_iq（f_x,f_y）が出力される。この出力
は前記セレクタ604を介して乗算器606に入力され、前記
ラッチング回路605に保持されていた前記H_ip（f_x,f_y）
と乗算される。この結果はセレクタ607を介して乗算器6
31に入力される。

前記メモリ618に保存されている各層のパワースペク
トルΦのうち、ｉ番目のスペクトルΦ_ｉの前記空間周波
数（f_x,f_y）における値Φ_ｉ（f_x,f_y）が読み出される。
読み出された値Φ_ｉはセレクタ619を介して、乗算器631
に送られ、前記セレクタ607からの出力結果と乗算され
る。この乗算器631の出力はセレクタ632を介して加算器
633に送られる。この加算器633にはバッファメモリ635
に保存されている値がセレクタ636を介して入力する。
かくして加算器633にて二つの入力値が加算される。そ
の結果は、セレクタ634を介しバッファメモリ635に入力
し、前に保存されていた値と入れ代わって記録される。
こうして、異なるｉ（ｉ＝1,2,…ｎ）について上記の処
理がくり返された後に、前記バッファメモリ635に保存
された値は、除算器637に入力され、この除算器637で、
ROM638に記録されている値Ｓとの除算が実行される。な
お前記ROM638からの値はノイズのスペクトル密度Ｓを表
わし、前記スペクトル値Φ_ｉ（f_x,f_y）との比｛（Φ_ｉ
（f_x,f_y）/S｝が空間周波数（f_x,f_y）におけるS/Nに相
当する。このノイズのスペクトル密度Ｓは先験情報とし
てあらかじめ推定し、前記ROM638に記録しておくもので
ある。前記除算器637からの出力は、前記セレクタ632を
介して前記加算器633の一方の入力として入力される。
また前記ROM638からは値“1"が読み出され、前記セレク
タ636を介して前記加算器633に他方の入力として入力さ
れる。二つの入力の加算結果は、セレクタ634を介し
て、メモリ639に記録される。以上の動作により、上記
メモリ639には の三つの値が記録される。

一方、前記ROM603に記録されている前記空間周波数
（f_x,f_y）における、ｉ番目の層にピントが合った時の
前記注目層p,qの劣化関数の値H_ip（f_x,f_y）,H_iq（f_x,
f_y）はセレクタ604,607を介して前記乗算器631に入力さ
れる。ここで前記メモリ618に記録されている前記パワ
ースペクトル値Φ_ｉ（f_x,f_y）と乗算される。この結果
は、前記加算器633と前記バッファメモリ635とによるｎ
回の累積加算がなされた後に、前記ROM638から読み出さ
れた前記ノイズスペクトル密度Ｓと前記除算器637によ
り除算される。この結果は前記メモリ639に記録され
る。このようにして前記メモリ639には新たに の二つの値が記録される。なお２つの注目層ｐおよびｑ
は、観測者が選んだｎ個の層のうち、中央付近の二つを
選べば良い。なお、p,qは各層のパワースペクトルΦ_ｉ
に応じて適当に設定するようにしても良い。

次に、前記メモリ639に記録されているデータは図示
構成のセレクタ640,ラッチング回路641,乗算器642によ
ってデータ間の乗算が行なわれる。その結果、A_pp・
A_qq,A_pq ²,A_qqB_p,A_pqB_q,A_ppB_q,A_pqB_pの６個の値が一段目
のメモリ643に記録される。さらに前記メモリ643に記録
されているデータは、図示構成のセレクタ644,ラッチン
グ回路645,減算器646にてデータ間の減算が実行され
る。その結果A_pp・A_qq−A_pq ²,A_qqB_p−A_pqB_q,A_ppB_q,−A
_pqB_pなる三つの値が二段目のメモリ647に記録される。
前記メモリ647に記録されているデータは、図示構成の
セレクタ648,ラッチング回路649,除算器650にてデータ
間の除算が実行される。その結果の一つ なる値はセレクタ651を介してメモリ652−１に記録され
る他の結果、 なる値は前記セレクタ651を介してメモリ652−２に記録
される。

以上の動作により、前記ディジタル入力した画像の全
空間周波数についてω_p,ω_ｑが計算される。その結果は
前記メモリ652−1,652−２に記録される。

次に「本動作」について述べる。上記の「前処理動
作」が終わった後に、観察者は前記ステージ501を光軸
と直角な方向、つまり水平方向へ動かし、任意の箇所に
ついて検査を行う。このとき、前記ステージ駆動コント
ローラ601からは、まずｐ層にピントが合うように前記
モータドライバ503に指令が送られる。前記TVカメラ520
により撮像された画像は前記A/D変換器611によりディジ
タル変換された後、前記セレクタ612を介して前記メモ
リ613−１に記録される。同様にしてｑ層にピントの合
った画像は前記メモリ613−２に記録される。次に記録
されたこれらのディジタル画像は、前記FFT演算器622に
より２次元フーリエ変換される。その結果は再び前記メ
モリ613−1,613−２に記録される。これらフーリエ変換
画像は各空間周波数ごとに読み出され、前記セレクタ61
4−1,614−２を介して前記乗算器615−1,615−２にそれ
ぞれ入力される。また、前記乗算器615−1,615−２に
は、前記メモリ652−1,652−２に記録されている前記空
間周波数に対応する係数値ω_p,ω_ｑがそれぞれ入力され
る。かくしてこの入力した係数値と前記フーリエ変換画
像の値との乗算が行なわれ、その二つの結果は前記加算
器616により加算される。この加算結果は前記メモリ618
に記録される。つまり、ｐ層,q層にピントの合った画像
のフーリエ成分が空間周波数ごとにω_p,ω_ｑの係数で次
式の如く加重加算される。

F_a＝ω_pF_p＋ω_qF_q ただし、F_p,F_qはそれぞれｐ層,q層にピントの合った
画像のフーリエ変換画像を示す。加重加算の結果は前記
メモリ618に記録される。そして、この記録された加重
加算されたフーリエ変換画像は、前記FFT演算器622によ
り逆フーリエ変換されて、再び前記メモリ618に記録さ
れる。この記録内容はD/A変換器620によりアナログビデ
オ信号に変換されて、TVモニタ700に表示される。

以上の「本動作」は前記ステージ501の位置が変わる
毎に繰り返し行なわれ、処理画像が随時表示される。な
お、前記ステージ501を、水平方向への駆動を行なう如
く設けられたモータにより自動的に水平方向の位置が変
化するように構成しても良い。

以上の動作はプロセッサ600に内蔵されているコント
ローラ660により制御される。なお、コントローラ660か
ら、各構成要素への結線は、繁雑さを避けるため省略し
た。

上記した第８実施例によれば、第12図に示す様なｎ個
の層状構造を有する半導体IC530の検査をする際に、任
意に設定した第Ｐ層（PL）、第ｑ層（qL）の２つの層だ
けにフォーカスを合わせた画像を入力し、この画像を処
理することにより層全部に同時にフォーカスが合った画
像を表示可能となる。以下にその作用の詳細を述べる。

まず、第ｋ層の画像をf_k（x,y）とし、これをフーリ
エ変換した画像をF_k（f_x,f_y）とする。また、第ｊ層に
フォーカスを合わせた時の第ｋ層の劣化関数（つまりOT
F:Optical Transfer Function）をH_jk（f_x,f_y）とし、
さらに前記第ｊ層にフォーカスを合わせて入力した画像
に混入する加法的ノイズをN_j（f_x,f_y）とする。第ｊ層
にフォーカスを合わせて入力した画像のフーリエ変換画
像G_j（f_x,f_y）は、 と表わせられる、また、最終的に求めたい画像のフーリ
エ変換画像F_oは で表すことができる。本発明では、異なる層にフォーカ
スを合わせて入力したフーリエ変換画像間で、空間周波
数ごとに加重加算を行なう。入力画像G_jに対する加重係
数をω_ｊとすると、処理画像は、 で表わされる。上記（10）式と（11）式の差が最も小さ
くなるような係数ω_ｊを求める必要がある。そこで両者
の平均２乗誤差Ｅを次式で定義する。

ただし、第ｋ層の画像の統計的平均パワースペクトル
_ｋは、 _ｋ（fx,fy）＝＜|F_k（fx,fy）|²＞ ＝＜|F_k（fx,fy）・F_k ^＊（fx,fy）|²
＞ ……（13） 加法的ノイズを白色ノイズと仮定し、スペクトル密度を
Ｓと仮定し、さらに、層の画像間は無相関の関係にある
（F_u・F_v ^＊＝δ_uv）但しｕ＝ｖのときδ_uv＝1,u≠ｖの
ときδ_uv＝０と仮定した。また＜・＞は集合平均を表す
オペレータである。（12）式の極小値を求めるために、
_ｋをω_ｉで微分し、これを０とおく。

ただし、ｊ＝p,q;l＝p,q（ｊ≠ｌ） また、劣化関数OTFであるＨを位相を持たない実関数と
した。（14）式より次式が導出される。

（15）式よりｊ＝p,qの２つの式が立つ。これを行列式
の形に改めると と表される。各空間周波数における（16）式の各行列要
素を（２）〜（６）式のようにおくと、 と表わせられる。この解は、次式のようになる。

前記前処理動作は、（18），（19）式で表される解を
算出するように行なわれる。なお（15），（16）式で現
れる_k/SはS/Nを表わしている。これは本来統計的な推
定をして求める量であるが、実際には推定が困難であ
る。そこで_ｋは、前処理の段階で観察者が対象物の各
層にフォーカスを合わせた時に入力した画像のパワース
ペクトル_ｋで代用する。またノイズのスペクトル密度
Ｓは、TVカメラ520の特性等を予め考慮に入れて、適当
に設定しておけば良い。

本実施例は、ある層にフィーカスを合わせた場合の各
層の劣化関数と、推定したS/Sとを考慮し、最小二乗フ
ィルターの手法を応用して、各空間周波数における加重
係数を求めるようにした例である。このため少ない数の
ある層の入力画像から全ての層にフォーカスの合った画
像を再生できる。なお本実施例では４〜５層の半導体IC
を想定し、入力画像を二として説明したが、対象物が層
数の非常に多いものである場合には、入力する画像数を
X_m枚（多数枚）とすれば良い。その際、（16），（17）
式の行列はX_m元の式になるので、X_m元連立一次方程式を
解くようなプロセッサを構成すればよい。

以上説明したように第８実施例では、加重係数を、S/
Nを考慮した回復処理の効果がもたらされるように設定
するようにしたので、少ない入力画像から焦点深度の大
きい画像を再生できる。従って、「前処理動作」にて条
件を設定しておけば、「本動作」ではより短い時間で画
像処理を完了できる利点がある。

（第９実施例） 第13図は第９実施例の構成を示す図である。本実施例
は、入力する画像の焦点面を選択する手段に関する実施
例である。前処理として、合焦点位置制御装置806を適
当な位置に調整設定しながら、レンズ系801により結像
した画像を撮像素子802にて撮像する。撮像素子802の出
力信号はバンドパスフィルター803を通ることによって
所定の周波数帯域の信号のみが抽出される。抽出された
信号のスペクトル強度はメモリ804に記録される。この
ためメモリ804には合焦点面が異なる複数の画像の前記
周波数帯域におけるスペクトル強度が記録される。プロ
セッサ805は上記各スペクトル強度に基づいて「本動
作」を行うための入力画像の合焦点面を設定し、これを
前記合焦点位置制御装置806に指令信号として送る。な
お、前記合焦点位置制御装置806には、前記レンズ系801
の焦点位置の情報を取出すエンコーダが設けられてお
り、焦点位置の情報を前記プロセッサ805に送り返すよ
うになっている。

第14図、第15図は本実施例の作用を示す図である。第
14図に示すような表面構造を持つ物体810を考える。こ
のような物体810を焦点深度の浅い光学系で撮像する
と、物体810のどこかに焦点が合っている画像と全くど
の部分にも焦点が合っていない画像とが得られる。前者
のフーリエスペクトルは、比較的高い空間周波数成分も
有するが、後者のフーリエスペクトルは低い空間周波数
成分しか持っていない。この様子を同図右方に概念的に
示す。すなわち物体810に対して、合焦点面を破線で示
した位置に設定したときの像におけるフーリエスペクト
ルＦ（ｕ）を示している。第15図は第14図に示すスペク
トルについて、ある空間周波数領域（u₁,u₂）のスペク
トルを斜線で示した面積だけを積分した値Ｆ（u₁,u₂）
が、焦点面の位置を変えた場合にどのように変化するか
を示したものである。この図よりＦ（u₁,u₂）の値が所
定のしきい値より大きくなる領域をz₁〜z₂とすれば、こ
の域以外の画像すなわち焦点の合った部分が全くない画
像を加算の対象から除外できることになる。その結果、
より鮮明な長焦点深度画像を合成できる。

本実施例によれば入力する画像の合焦点面の範囲が前
処理により予め設定されるので、効率良く本動作を実行
でき、より鮮明な画像を再生できる。

なお、第１〜第３実施例に示した様に、本発明の装置
では、画像メモリとFFT演算器とを有している。従っ
て、第13図に示したような構成をわざわざ設けずに、デ
ィジタル入力した画像をフーリエ変換し、特定の周波数
領域のスペクトル強度を調べることによって、本実施例
と同様の処理を行なうようにしても良い。

（第10実施例） 第16図は本実施例の第10実施例の構成を示す図であ
る。本実施例は第９実施例と同様に、入力する画像の合
焦点面を選択する手段に関する実施例である。

レンズ系901の中央部を通って入力された対象物の像
は、ミラー902により反射され、オートフォーカス（以
下AFと略称する）センサ903に入力される。AFセンサ903
は、位相差AF方式を用いたものである。すなわち視差を
設けて結像させた二つの画像の位相差に相当するデータ
を得、これを測距回路904に送る。測距回路904は、前記
AFセンサ903から送られてきたデータに基づいて、カメ
ラから対象物までの距離を計算し、その結果を出力す
る。出力された距離データはメモリ905に記録される。
以上の動作は、撮影者が設定した数か所の対象物につい
て同様に行なわれる。メモリ905に記録された複数点の
距離データはコントローラ906に送られる。かくして
「本撮像」における条件が設定される。

このように、同時にフォーカスを合わせたい複数の被
写体をファインダーの中央部にとらえた状態で測距ボタ
ンを押すと、各被写体までの距離データが装置内の前記
メモリ905に記録される。そして記録された距離データ
に基づいた入力条件がコントローラ906によって設定さ
れる。

第10実施例によれば、撮影者が任意に選択した全ての
被写体に対してフォーカスが合うように入力条件が設定
される。

なお本実施例の変形例として、コントローラ906と合
焦点制御装置907だけで前処理装置を構成しても良い。
この場合、撮影者は前記した方法と同様にして写したい
被写体を次々と狙いながら手動によりフォーカスを合わ
すと同時に測距ボタンを押す。こうすることにより前記
合焦点制御装置907に設置してある焦点面を示すエンコ
ーダからの位置情報が、前記コントローラ906に送られ
る。前記コントローラ906は、前記位置信号に基づいて
作動し、「本撮像」において前記撮影者が選んだ複数に
被写体に対して次々と焦点を合わせながら画像を入力し
かつ処理を行なう如く制御する。

［発明の効果］ 本発明は、画像情報を入出力する装置において、主と
して異なる物体面に焦点の合った複数の画像を入力する
手段と、この手段により入力した前記画像をフーリエ変
換する手段と、この種段によりフーリエ変換した画像を
加重加算する手段と、この手段により加重加算して得た
フーリエスペクトル画像を逆フーリエ変換する手段とを
備えたことを特徴とする装置である。

したがって本発明によれば、解像度や明るさを失うこ
となく、焦点深度の深い画像を再生し得、しかも実用的
で対象物に対する適用範囲が広く、容易に実現可能であ
る上、極めて迅速かつ適確に実用に供し得る利点をもっ
た画像入出力装置を提供できる。

【図面の簡単な説明】

第１図〜第10図は本発明の実施例を示す図で、第１図は
第１実施例の構成を示す図、第２図は同第１実施例の作
用説明図、第３図は第２実施例の構成を示す図、第４図
は同第２実施例の作用説明図、第５図は第３実施例の構
成を示す図、第６図は第４実施例の構成を示す図、第７
図は第５実施例の構成を示す図、第８図Ａ〜第８図Ｃは
第６実施例の構成を示す図、第９図は同第６実施例の回
復色フィルターの構造を示す平面図、第10図は第７実施
例の構成を示す図である。第11図Ａ〜第11図Ｄは第８実
施例の構成を示す図、第12図は同第８実施例の作用説明
図、第13図は第９実施例の構成を示す図、第14図および
第15図は同第９実施例の作用説明図、第16図は第10実施
例の構成を示す図である。 １……レンズ、２……撮像素子、３……A/D変換器、４
……セレクタ、５−１〜５−ｍ……メモリ、６……合焦
点位置制御器、７……FFT演算器、８……比較器、９…
…係数設定用メモリ、10−１〜10−ｐ……乗算器、11…
…加算器、12……メモリ、13……D/A変換器、14……デ
ィスプレイ、15……コントローラ。

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】画像情報を入出力する装置において、 複数の異なる物体面に焦点を合わせる合焦手段と、 この合焦手段により異なる物面体に焦点の合った複数の
   画像を入力する画像入力手段と、 この画像入力手段により入力した前記複数の画像のそれ
   ぞれに対してフーリエ変換を施すフーリエ変換手段と、 このフーリエ変換手段によって変換された各画像を加重
   加算する画像加算手段と、 この画像加算手段により加重加算された画像に対して逆
   フーリエ変換を施す逆フーリエ変換手段と、 を有することを特徴とする画像入出力装置。
2. 【請求項２】前記合焦手段は、 焦点の合った物体面の位置を変える手段と、光の波長領
   域を変える手段とを有し、 前記逆フーリエ変換手段により変換された画像と、前記
   画像入力手段により入力された画像を加算した画像で除
   算した各画像とを乗算し、１つの画像を合成する画像合
   成手段と、 を備えたことを特徴とする請求項１に記載の画像入出力
   装置。
3. 【請求項３】前記画像入力手段は、 複数の異なる画像に複数の撮像手段をそれぞれ配置し、
   これらの撮像手段によって前記複数の異なる物体面に焦
   点のあった複数の画像を同時に入力することを特徴とす
   る請求項１に記載の画像入出力装置。
4. 【請求項４】前記加重加算手段は、 入力画像の信号対雑音比（S/N）とぼけ関数（劣化関
   数）とを考慮して、回復処理の効果がもたらされるよう
   に各加重係数を算定する加重係数算定手段を有すること
   を特徴とする請求項１に記載の画像入出力装置。
5. 【請求項５】前記画像入力手段は、 バンドパスフィルタリングを行なうフィルタ手段を有
   し、前記合焦手段は、前記フィルタ手段により得られた
   出力に基づいて、焦点が合った物体面の位置を変化させ
   る範囲の選択を行なう範囲選択手段を有することを特徴
   とする請求項１に記載の画像入出力装置。
6. 【請求項６】前記範囲選択手段は、撮像部から被写体ま
   での距離を計測する測距手段を有し、この測距手段によ
   り計測した測距データに基づいて前記焦点の合った物体
   面の位置を変化させる範囲の選択を行なうものであるこ
   とを特徴とする請求項５に記載の画像入出力装置。