JP3191928B2

JP3191928B2 - 画像入出力装置

Info

Publication number: JP3191928B2
Application number: JP04402189A
Authority: JP
Inventors: 順平辻内; 捷夫本田; 永昭大山; 達夫長崎; 奨菊地
Original assignee: Olympus Optic Co Ltd
Current assignee: Olympus Corp
Priority date: 1988-02-23
Filing date: 1989-02-23
Publication date: 2001-07-23
Anticipated expiration: 2016-07-23
Also published as: JPH01309478A

Description

【発明の詳細な説明】［産業上の利用分野］本発明は画像情報を入出力するための画像入出力装置
に関する。

［従来の技術］一般に解像度にすぐれ、かつ倍率および明るさの大き
な画像を光学的に取込むためには、開口の大きな光学素
子を用いた結像光学系が必要である。ところがレンズに
代表される結像用光学素子は、一般に開口が大きくなる
と焦点深度が浅くなる。しかるに顕微鏡，カメラ，内視
鏡等の画像機器を利用する分野においては、得られた画
像が解像度や明るさに優れていることが望ましいのは勿
論であるが、同時に焦点深度の深い画像であることが強
く要求される。

焦点深度の深い画像を得る従来技術として、例えば文
献「W.T.Welford,Journal of Optical Society of Amer
ica.Vol.50 p.749（1960）」に示されるように、輪帯開
口等の特殊な開口を設けた結像光学系を用いる手段があ
る。この手段によれば焦点深度の深い画像が簡便に得ら
れるという利点があるが、解像度や光量を著しく損うと
いう欠点がある。

また他の技術的手段として、例えば文献「S.A.Sugimo
to and Y.Ichioka,Applied Optics Vol.24.p.2076（198
5）」あるいは、「太田亨寿，杉原厚吉，杉江昇，電子
通信学会論文誌（Ｄ）,J66−D,1245,（1983）」に紹介
されているように、画像処理技術を用いる方法がある。
この方法は、物体空間において焦点の合った位置（以
下、合焦点位置という）の異なる画像を複数枚入力し、
これらから局所的な分散情報を得、これに基づき焦点の
合った部分を合成する手段である。この手段によれば、
解像度や明るさを損わずに焦点深度の深い画像を得るこ
とができる。したがって、この点では極めて有用な手段
であるといえる。しかし対象物が、表面が滑らかな対象
物である場合や、場所によって構造の起伏が大きく異っ
ている対象物である場合には、その対象物に対しての適
用が難しい。その上、装置として実現するには規模の大
きなハードウエアが必要であること、アルゴリズムが複
雑であること、等々実用上不都合が多い。

［発明が解決しようとする課題］上記したように、従来の技術的手段には次のような欠
点がある。

（１）輪帯開口等の特殊な開口を設けた結像光学系を用
いて焦点深度を深くする手段では、解像度や光量を著し
く損うという欠点がある。つまり焦点深度の深い画像を
得ることは可能であるが、解像度や明るさを失なうこと
になり、焦点深度，解像度，明るさの全てを満足する光
学系とはなり得ないという欠点があった。

（２）合焦点位置の異なる画像を複数枚入力し、これら
の局所的な分散情報から焦点の合った部分画像を合成す
る手段では、対象物の条件如何により適用が難しい場合
があり、実用上不都合を来たすことが多いという欠点が
あった。

そこで本発明の目的は、解像度や明るさを失うことな
く焦点深度の深い画像を再生し得、しかも実用的で対象
的に対する適用範囲が広く、容易に実現可能な画像入出
力装置を提供することにある。

［課題を解決するための手段］上記課題を解決し目的を達成するために、本発明の画
像入出力装置は下記の如く構成されている。なお下記以
外の本発明の特徴ある構成については実施例の中で明ら
かにする。

本発明の画像入出力装置は、画像情報を入出力する装
置において、複数の異なる物体面に焦点を合わせる合焦
手段と、この合焦手段により異なる物体面に焦点の合っ
た複数の画像を入力する画像入力手段と、この画像入力
手段により入力される複数の画像の合焦点面位置の範囲
を選択する範囲選択手段と、この囲選択手段により選択
された上記複数の画像を加え合わせる画像加算手段と、
この画像加算手段により加え合わせた画像に対して空間
周波数フィルタリングによる回復処理を施す画像処理手
段とを有することを特徴とする。

［実施例］（第１実施例）第１図は本発明の第１実施例の構成を示す図である。
対象物の像は、レンズ１によって電荷結合素子（以下で
はCCDと略す），撮像管等で構成される撮像素子２の受
光部に結像される。なお通常の場合、入力光学系は複数
のレンズでの組み合わせで構成されるが、図では簡略化
するために一枚のみ示している。前記撮像素子２からの
出力信号は、アナログ・デジタル変換器（以下ではA/D
変換器と略称する）３によりデジタル信号に変換され
る。上記ディジタル信号は、加算器４において、メモリ
５に記録されている画像信号と加算される。その加算結
果は再びメモリ５に記録される。上記動作は、合焦点位
置制御器６によってレンズ１を移動させながら繰返して
行なわれる。すなわち上記動作は、光学系の合焦点位置
を、適当に設定した距離間隔および距離範囲で離散的に
変えながら行なわれる。かくして入力した各々の画像に
ついて加算が行われ、その結果が前記メモリ５に記憶さ
れる。

次に前記加算された画像は回復処理装置７により、適
当な回復処理が行なわれる。例えば空間周波数に対する
ハイパスフィルタリングあるいはバンドパスフィルタリ
ング処理が行われる。上記の処理結果は再び前記メモリ
５に格納される。前記メモリ５内に格納されている前記
回復処理を施された画像信号は、デジタル・アナログ変
換器（以下ではD/A変換器と略称する）８によってアナ
ログ信号に変換され、ディスプレイモニタ９上に表示さ
れる。以上の動作におけるタイミングや信号の流れ等の
制御は、コントローラ10によって行なわれる。

なお光学系の合焦点位置を変える手段としては、前記
合焦点位置制御器６により前記撮像素子２を動かすよう
にし、レンズ系は固定化するようにしてもよい。また前
記回復処理装置７として、パイプライン処理方式のもの
を採用することにより、回復処理結果を前記D/A変換器
８に直接的に出力するようにしてもよい。また前記メモ
リ５に記録された加算画像を、フロッピーディスク，磁
気テープ，光メモリ等の他の記録媒体に記録しておき、
画像再生の際に前記記録媒体から記録されている画像信
号を読込み、この読込んだ画像信号に回復処理を施して
表示するようにしてもよい。つまり画像の記録部と再生
部との間を、記録媒体を介してオフラインで連結するよ
うにしてもよい。

上記構成の第１実施例によれば次のような作用効果を
奏する。すなわち本実施例によれば、焦点位置の異なる
画像を離散的に入力し、入力すると同時に加算するよう
にしたので、比較的簡単な構成の装置で処理を行なうこ
とができ、しかも画像の入力，加算を高速度で行なうこ
とができる。

（第２実施例）第２図は本発明の第２実施例の構成を示す図である。
本実施例においては、合焦点位置制御器６により、焦点
位置を所定の距離範囲にわたって連続的に変える。これ
と同時に撮像素子２の受光部（具体的には固体撮像素子
のフォトセンサ部や撮像管の受光面等）に結像される像
を蓄積していくように構成されている。前記撮像素子２
に蓄積された画像はA/D変換器３により、デジタル信号
に変換された後、メモリ５に記録される。次に回復処理
装置７によって適当な回復フィルタリング処理が行われ
たのち、再びメモリ５に記録される。前記回復処理が施
されて前記メモリ５に記録された画像は、D/A変換器８
によりアナログ信号に変換され、ディスプレイモニタ９
に表示される。以上の動作におけるタイミングやデータ
の流れ等の制御はコントローラ10によって行なわれる。

上記構成の第２実施例によれば次のような作用効果を
奏する。すなわち本実施例においては、撮像素子２自身
の光エネルギーの積算効果を利用し、連続的に焦点を変
えた画像を入力すると同時に蓄積していくようにしてい
る。したがって、画像の入力と加算とが撮像素子２自身
で同時に行なわれることになり、構成が非常に簡単化す
る上、高速に処理できる。また適当な距離範囲にわたっ
て焦点位置を連続的に変えれば良いことから、焦点位置
の制御も簡単となる。

（第３実施例）第３図は本発明の第３実施例の構成を示す図である。
本実施例においては、レンズ１により結像された像は、
撮像素子２により画像信号に変換され、更にA/D変換器
３によりデジタル信号に変換される。前記デジタル信号
は、次いでセレクタ11によりメモリ５−１〜５−ｍのう
ちの所定の一つに記録される。上記動作は、合焦点位置
制御器６によってレンズ１を移動させながら繰返し行な
われる。すなわち、上記動作は、光学系の合焦点位置
を、適当に設定した距離間隔および距離範囲で離散的に
変えながら行なわれる。かくして、入力したｎ枚（ｎ≦
ｍ）の画像が前記ｎ個のメモリ５−１〜５−ｍに各々記
録される。次にアドレス補正装置12により、前記メモリ
５−１〜５−ｍに記録されている画像について倍率補
正，位置ズレの補正等が行なわれる。その結果は再びメ
モリ５−１〜５−ｍに記録される。前記メモリ５−１〜
５−ｍに記録されたアドレス補正が施された画像信号
は、セレクタ13によって選択される。すなわち、ｎ枚の
画像の内、所定の設定条件を満たしたｋ枚（ｋ≦ｎ）の
画像が選び出される。選び出されたｋ枚の画像は加算器
14により加算される。加算器14により加算された画像信
号は、メモリ15に記録される。メモリ15に記録された画
像信号は、回復処理装置７により適当な回復フィルタリ
ング処理を施された後、再び前記メモリ15に記録され
る。前記メモリ15に記録された回復処理後の画像は、D/
A変換器８によりアナログ信号に変換されたのち、ディ
スプレイモニタ９に表示される。以上の動作のタイミン
グ，データの流れ，前記セレクタ11,13の設定等の制御
は、コントローラ10によって行なわれる。

なお前記メモリ５−１〜５−ｍに記録された原画像信
号を、別の記録媒体に記録しておき、画像再生の際に前
記記録媒体から記録されている画像信号を読込み、この
読込んだ画像信号にアドレス補正および加算，回復処理
等を行なって表示するようにしても良い。つまり、画像
の記録部と再生部との間を、記録媒体を介してオフライ
ンで連結するようにしてもよい。

上記構成の第３実施例によれば次のような作用効果を
奏する。すなわち本実施例においては、焦点位置の異な
る複数枚の画像を全て記録保存しておき、これらから所
要の画像を選択して合成するようにしたので、画像内の
任意に設定した部分に焦点の合った画像を再生できる利
点がある。また前記アドレス補正装置12によって、ボケ
具合の差に伴う倍率の違い、或いは画像入力時のブレや
被写体の動きによる位置ズレが補正されるので、本装置
を適用可能な範囲を広げ得る利点もある。なお前記アド
レス補正装置12では、例えば画像間で局所的なマッチン
グを行なうことにより、位置合せ操作を行なうものとな
っている。したがって本実施例によれば、焦点深度や画
像内における合焦点部分の設定を様々に変えることが可
能である。また加算処理に対して、倍率を変える必要が
ある場合においても有用なものとなる。さらに画像入力
時に、装置または対象物が動くことによって各画像間に
位置ズレが起こり、再生画像にブレ等が生じる場合であ
っても、その悪影響を補正できる。従って本装置の適用
範囲を広げることができる。

（第４実施例）第４図は本発明の第４実施例の構成を示す図である。
本実施例においては、画像入力光学系におけるレンズ１
の後方位置にハーフミラー16−1,16−２を設け、さらに
前記レンズ１からの距離がそれぞれ異なるように、例え
ば３個の撮像素子２−1,2−2,2−３を配設する。各撮像
素子２−1,2−2,2−３からの画像信号は、対応するＡ−
Ｄ変換器３−1,3−2,3−３によってそれぞれディジタル
信号に変換される。上記した点以外は、前記第１および
第３実施例と同様であるので、図示および説明は省略す
る。

なお前記撮像素子２−1,2−2,2−３の位置を可変に
し、対象物に応じてその位置を適当に可変設定できるよ
うにしてもよい。

上記構成の第４実施例は次のような作用効果を奏す
る。本実施例においては、複数の異なる面で結像された
像を入力することにより、合焦位置の異なる複数の画像
を同時に入力することが可能となる。したがって合焦点
位置を変えるという機械的な動作を行なわずに済む上、
その構成上、より適用範囲の広い装置が得られる。

（第５実施例）第５図は本発明の第５実施例の構成を示す図である。
本実施例においては、複数の位置に焦点の合うように設
定されたフレネルゾーンプレート17を画像入力光学系に
設け、複数の物体面に焦点の合った複数の画像を撮像素
子２へ同時に入力する。なお実際の入力光学系は前記フ
レネルゾーンプレート17の他に複数のレンズを用いて構
成されるが、図では簡略化のため前記フレネルゾーンプ
レート17のみを示した。前記撮像素子２からの画像信号
はA/D変換器３によりデジタル信号に変換されたメモリ
５に記録される。前記メモリ５に記録された画像は、回
復処理装置７によって適当な回復フィルタリング処理を
施された後、再びメモリ５に記録される。前記回復処理
が施されて前記メモリ５に記録された画像は、D/A変換
器８によりアナログ信号に変換され、ディスプレイモニ
タ９によって表示される。以上の動作におけるタイミン
グやデータの流れ等の制御はコントローラ10で行なわれ
る。

なお第５図の構成に、前述した合焦点位置制御器６を
付設し、合焦点位置を互いに補うように設定すると共
に、入力した画像について第１〜第３の実施例と同様な
処理を行なうようにしてもよい。

上記構成の第５実施例によれば次のような作用効果を
奏する。本実施例においては、複数の位置に焦点を結ぶ
ように設計されたフレネルゾーンプレート17をレンズ
（不図示）と共に用いる事により、一度に複数の物体面
に焦点の合った像を結像し、これを撮像素子２へ同時に
入力して、実質的に加算を行なうようにしたものであ
る。

第６図は複数の位置に焦点が合うように設計されたフ
レネルゾーンプレート17の正面図である。一般にフレネ
ルゾーンプレート17は、円形開口を各々の面積が等しく
なるような輪帯（フレネル輪帯）に分け、一つおきに不
透明になるように設計される。このようなフレネルゾー
ンプレート17は ±f₀＝r²/λ （但しr₁はフレネルゾーンプレート17の中心の円の半径
であり、λは光の波長である）の焦点距離を持つレンズ
と同じ作用をする。したがって、このフレネルゾーンプ
レート17を、結像レンズと組合わせると、その合成焦点
距離が複数となり、レンズを固定した状態のまま、距離
の異なる複数の物体面に焦点を合せる事ができる。理論
的には一つのフレネルゾーンプレート17は±f₀の他に±
f₀/3,f₀/5…なる焦点距離を持つが、実際には±f₀の焦
点に集光される光の強度が強く、他の焦点の効果は小さ
い。その上、非回折光によるレンズの元の焦点距離も保
存される。ところが一つおきの輪帯を不透明にする代わ
りに、通過した光の位相がπだけ遅れるように作ると、
±f₀の位置は同じであるが、そこに集光する光の強度は
増大する。またレンズの元の焦点位置は消滅する。更に
位相差を適当に選ぶと、±f₀とレンズの元の焦点位置の
３箇所に焦点が生じるようになる。このフレネルゾーン
プレートは元来特定の波長だけで厳密にはたらくが、そ
の波長を可視光の中心波長（λ＝550nm）付近に選ぶ
と、色収差の影響は実用上それほど大きくない。なお所
定の位相差を持つ輪帯は、例えばMgF₂の様な透明薄膜を
真空蒸着することにより作成される。

かくして本実施例によれば、焦点位置を変えるという
機械的な動作をすることなしに、１枚の光学素子を用い
るだけで複数の物体面に焦点の合った画像を入力加算す
ることができる。したがって構成を非常に簡略化するこ
とができ、しかも対象物等の動きによるブレ等に強くな
る。

（第６実施例）第７図は本発明の第６実施例の構成を示す図である。
本実施例においては、画像入力光学系にわざと色収差が
出るように設計された光学素子、図ではレンズ18を設け
る。撮像素子２としては、可視光のスペクトル全幅に対
して感度をもつモノクロの撮像管もしくは固体撮像素子
を用いる。以上の構成により光の波長により異なる位置
に焦点の合った画像を一度に結像し、これらを前記撮像
素子２で入力，加算する。以下の構成は第５実施例と同
様である。

なお前記撮像素子２の前にバンドパス色フィルタを設
けて複数の異なる波長領域の画像を入力し、かつ記録す
ることにより、第３実施例と同様の構成でアドレス補正
や焦点深度操作等の処理を行なうようにしてもよい。

上記構成の第６実施例によれば次のような作用効果を
奏する。本実施例は、一般的な対象物の反射分光スペク
トルは可視光のほぼ全域にわたる広い幅にわたって分布
しており、各波長での画像は互いに強い相関をもつとい
う性質を利用した実施例である。すなわち、作為的に色
収差を持つような光学素子を使うことにより、各波長ご
とに異なる位置に焦点の合った像を結像し、これを撮像
素子２で入力することにより実質的に加算を行なうよう
にしている。したがって、合焦点位置を変えるという機
械的な動作を行なわずに、色収差の大きな光学素子を用
いるだけで、複数の位置に焦点の合った画像を入力，加
算することができる。かくして構成を非常に簡略化する
ことができ、しかも対象物等の動きによるブレ等に対し
て強くなる。

ここで第１〜第６の実施例で用いられる回復処理装置
７の具体例について説明する。回復処理装置７は、前述
したように合焦点位置の異なる画像を加算した画像に対
し、空間周波数に対する適当なハイパスフィルタあるい
はバンドパスフィルタをかけるための処理を行なう装置
である。

第８図は回復処理装置７の一つの具体的構成例を示す
ブロック図である。メモリ５に格納されている合焦点位
置の異なる画像について加算された画像は、回復処理装
置７内のFFT演算器20によって、２次元フーリエ変換が
実行され、その結果はメモリ21に記録される。一方、メ
モリ22内には空間周波数面上で適当に設計されたフィル
タの係数が記録されている。前記メモリ21に記録されて
いる画像の空間周波数スペクトルと、上記メモリ22に記
録されているフィルタ係数との乗算が、乗算器23におい
て実行される。その結果は再び前記メモリ21に記録され
る。メモリ21に記録されたフィルタリングに施された空
間周波数画像は、前記FFT演算器20によって２次元逆フ
ーリエ変換が実行され、その結果は前記メモリ５に記録
される。本構成によれば、空間周波数面上でフィルタを
任意の形状に設計できる。

第９図は回復処理装置７の他の具体的構成例を示すブ
ロック図である。メモリ５に格納されている合焦点位置
の異なる画像について加算された画像のうち、回復処理
装置７の内部に設けてあるアドレス発生器30によって指
定された画素成分値が、乗算器32に入力される。これと
同時に前記アドレス発生器30によって指定されたメモリ
31に記録されている係数が、前記乗算器32に入力され、
両者間の乗算が実行される。この乗算器32における演算
結果は、加算器33においてメモリ34に記録されている値
と加算され、その結果は再びメモリ34に記録される。以
上の構成により、画像内の３×3pixel,5×5pixelといっ
た局所領域における「たたみ込み演算」が実行され、そ
の結果は再びメモリ５に記録される。

本構成例は、フィルタリングを空間周波数面上で行な
う代わりに、画像面上で適当に設計されたマスクとの
「たたみ込み演算」をすることにより回復処理を行なう
ものである。したがって本構成例によれば、簡単な回路
構成で処理を実現でる。特に小さなマスクサイズで効果
的なフィルタが設計可能な場は、演算量も少なくなり有
利となる。

この他、画面上でマスク処理を行なう構成例としてパ
イプライン方式のプロセッサを用い、高速に処理を実行
することも可能である。

ここで回復フィルタの設計の方法について述べる。先
ずシミュレーションにより回復フィルタを設計する方法
について記載する。一般にインコヒーレント結像光学系
の空間周波数特性は、瞳関数の自己相関で表されるOpti
cal Transfer Function（以下ではOTFと略す）で表現で
きる。円形開口を仮定した場合、焦点の合った面のOTF
は式で示される瞳関数の自己相関（式）で表現でき
る。

但し（x,y）は瞳面を直交座標で表した場合の座標軸で
あり、（r,θ）は円筒座標で表した場合の動径成分と角
度成分である。

a₀は瞳の大きさを表し、例えばレンズの絞りの半径を設
定すれば良い。また円形開口の場合、角度方向に無関係
のためθは省略できる。次に焦点はずれのOTFは式に
示す一般化された瞳関数の自己相関で表すことができ
る。

Ｐ（x,y）＝Ｐ（r,θ）＝Ｐ（ｒ）exp［jkW（r;z）］ … ここでｋ＝２π／λは波数，またＷ（r;z）は波面収
差であり、ある物体面に焦点が合うような光の波面W1と
焦点はずれの波面W2との瞳面上における差で表される。
ｚは光軸上の座標であり、焦点が合った位置をｚ＝０と
し、どれだけ焦点位置からはずれているかを示す量であ
る。波面収差Ｗ（r;z）は近軸領域の近似であれば、ほ
ぼＷ（r;z）＝r²・ｚ（２・f²） … で表され、レンズの開口が大きい場合はＷ（r;z）＝r²・z/［２（f²＋r²）］ … で表される。但しｆはレンズの焦点距離であり、ｆ≫ｚ
を仮定した。

第10図は、以上の幾何学的関係を示した図である。こ
のようにして、ある焦点はずれ量ｚに対するOTFを求め
ることができる。

第11図（ａ）〜第11図（ｄ）は上記の如く求めたOTF
に基づいて回復フィルタを求める操作手順を示す図であ
る。先ず設定条件に基づいてｚを変えることにより、第
11図（ａ）に示すようなOTFを求める。次にこれらのOTF
を加算することにより、第11図（ｂ）に示すような合成
OTFを求める。そしてこの加算された合成OTFが第11図
（ｃ）に示すように焦点が合っている場合のOTFに回復
される様に、回復フィルタを設計する。この回復フィル
タは、合成されたOTFをＨ（u,v）＝Ｈ（μ，φ）＝Ｈ
（μ）とし、焦点の合っている場合のOTFをH₀（μ）と
すると、回復フィルタＶ（μ）はＶ（μ）＝H₀（μ）/H（μ） … で表される。第11図（ｄ）は上記Ｖ（μ）を示す。但し
（u,v）は直交系で表した空間周波数座標であり、
（μ，φ）は円筒系で表した空間周波数座標である。円
形開口の場合は角度方向に依存しないため、動径方向の
空間周波数μのみで表現した。

なお対象物がある程度限定され、その画像の統計的な
性質が予測でき、しかもノズルの性質もわかっている場
合には、回復フィルタとして次に示すようなウィナーフ
ィルタを用いることができる。このウィナーフィルタを
用いることにより、ノイズの影響を低減することが可能
である。

Ｗ（μ）＝［H₀（μ）・|H（μ）|²］／［Ｈ（μ）｛|H（μ）＋|²＋Snn（μ） /Sgg（μ）｝］ … 但しSnn（μ）はノイズのパワースペクトル,Sgg
（μ）は画像のパワースペクトルである。また擬似的な
ウィナフィルタとして、次式に示すように定義したフィ
ルタを設定し、パラメータＰを適当に設定してもよい。

Ｗ′（μ）＝［H₀（μ）・|H（μ）|²］／［Ｈ（μ）｛|H（μ）＋|²＋Ｐ｝］ … 次に実験的に回復フィルタを求める方法を説明する。
表面が十分平坦であるテストチャートのようなものを所
定位置に置き、この画像を設定した条件で合焦点位置を
変えながら入力し加え合せる。次に前記テストチャート
の表面に焦点の合った画像を入力する。そして合焦点位
置を変えながら入力し、かつ加え合せた画像に対し、適
当な回復フィルタをかけてみて、前記焦点の合った画像
と比較する。この比較により両画像が同等に見えるよう
に回復フィルタを調整して再び比較する。このような操
作を繰返すことにより、所要の回復フィルタを求める。
本方法は実用的に有効である。

以上シミュレーションと実験とによる回復フィルタの
求め方について記載した。なお回復フィルタは必ずしも
焦点の合った場合の周波数特性まで戻せばよいというも
のではなく、例えば高周波領域をより強調して「メリハ
リ」の効いた画像にしてもよいし、また逆に完全には回
復させずにソフトフォーカス効果の効いた画像にしても
よい。

（第７実施例）第12図は本発明の第７実施例の構成を示す図であっ
て、本発明（特に第２実施例）を反射型顕微鏡に適用し
た応用例を示す図である。第12図に示すように光源100
から発せられた光は落射照明装置101によって導びか
れ、最終的には対物レンズ102を介して資料の表面に照
射される。試料からの反射光像は前記対物レンズ102に
よって結像され、鏡筒103の上に設置されたTVカメラ104
によって撮像される。なおこの際、資料に対する合焦点
面はフォーカスレベル駆動装置105によって設定時間内
に連続的に変えられる。この間に入力される画像は前記
TVカメラ104の受光素子部に蓄積される。なお資料はＸ
−Ｙステージ制御装置106によってＸ−Ｙ方向に移動操
作される。前記設定時間内に蓄積された画像は、TVカメ
ラ104内の読出し装置により読出され、電気信号として
カメラドライバ107に転送される。なお前記カメラドラ
イバ107は前記TVカメラ104に対する電力供給等の制御も
行なうものである。前記カメラドライバ107に転送され
た画像信号は、次にプロセッサ108に送られる。プロセ
ッサ108はA/D変換器，画像メモリ，回復処理装置,D/A変
換器等からなり、前記画像信号に対して適当な回復処理
を施した後、結果をTVモニタ109に与える。かくして上
記結果はTVモニタ109によって表示される。以上の動作
は、Ｘ−Ｙステージ制御装置106の制御によって資料の
異なる部分について繰返し行なわれ、かつ表示される。
本実施例における顕微鏡はコントローラ110によって総
合的に制御され、条件設定等はマン・マシンインターフ
ェース111を通じて観測者によって行なわれる。

本実施例によれば、顕微鏡に対して解像度や明るさを
保ったまま、焦点深度の大きい画像の合成を比較的簡単
な装置構成により実現できる。顕微鏡の場合、非常に細
かい構造を観測しようとすると、高い倍率の対物レンズ
を使用しなければならないが、一般に高倍率の対物レン
ズになる程、N.A.が大きく焦点深度は浅くなる。このよ
うな場合において、本実施例の如く構成すれば焦点深度
の深い画像を表示する方法として有効である。特にフォ
ーカスレベル駆動装置105やプロセッサ108を高速動作で
きるようにすれば、リアルタイムで表示することも可能
であり、より実用的なものとなる。かくして本実施例の
構成は、IC,LSIの検査をはじめとして鉱物，紙，繊維，
生体組織などの広範囲な産業分野における様々な対象物
の観察において有用である。

なお本実施例では反射型顕微鏡への適用例を示した
が、透過型顕微鏡，蛍光顕微鏡など他の方式の顕微鏡に
対しても適用可能である。また画像入力，加算方法に関
してはプロセッサ108内に加算器を設け、本発明の第１
実施例と同様に構成するようにしても良い。

（第８実施例）第13図は本発明の第８実施例の構成を示す図であっ
て、本発明を面順次方式の電子内視鏡に適用した応用例
を示す図である。第13図に示すように本装置は大きく分
けて内視鏡プローブ200,画像入力装置201,色ズレ補正装
置202,色彩情報記録装置203,焦点深度増大装置204,画像
表示装置205,コントローラ206からなる。

内視鏡プローブ200は、先端にCCD等のモノクロ用固体
撮像素子210を備えており、合焦点位置制御器211におけ
る対物レンズで結像された画像を撮像する。この場合の
照明光は、前記画像入力装置201内に設置されているXe
ランプ等の白色光源212からの光を、回転色フィルタ213
を通過させたのち、光ファイバー等で構成されるライト
ガイド214によって前記内視鏡プローブ200内に導き、プ
ローブ先端より照射される。

第14図は前記回転色フィルタ213の構造を示す平面図
である。図に示すように赤（Ｒ），緑（Ｇ），青（Ｂ）
の各ベクトル透過フィルタ要素213R,213G,213Bを回転角
方向に間欠的に配設したものである。

第13図に説明を戻す。前記回転色フィルタ213は前記
画像入力装置201内のモータ213Mによって回転駆動され
ることにより、照射光をR,G,Bの順に順次変える。この
ため前記撮像素子210は夫々の色の光で照射された対象
物をモノクロ画像として撮像する。前記撮像素子210か
らの出力画像信号は、前記画像入力装置201内のA/D変換
器215によりデジタル信号に変換されたのち、セレクタ2
16によりフレームメモリ217内のR,G,B各色毎の領域に振
分けられ、該当する領域に格納される。なお以上の動作
は画像入力用コントローラ218により制御される。そし
て逐次的に前記フレームメモリ217の各領域に格納され
た各原色画像は、別のセレクタ219によってR,G,Bの各原
色画像のうち、ＲとＧもしくはＧとＢが選択される。セ
レクタ219からの出力は色ズレ補正装置202内に導かれ、
原色画像間の対応領域検出装置220に入力される。そし
て、この検出装置220により、Ｇ画像に対するＲ画像ま
たはＢ画像のズレ量が局所的に検出される。アドレス発
生器221は、原色画像間の対応領域検出装置220で求めた
ズレ量に基づいてＲ画像,B画像を補正するようなアドレ
ス信号を発生させ、これを前記フレームメモリ217に送
る。フレームメモリ217では前記アドレス信号とバッフ
ァメモリを利用してＲ画像,B画像の補正を行なう。

このようにして得られた一枚のカラー画像は、前記セ
レクタ219を介して色彩情報記録装置203に導びかれる。
色彩情報記録装置203に導かれたカラー画像は、加算器2
22によって各色成分を加え合され、明度Ｙ＝Ｒ＋Ｇ＋Ｂ
の値が算出される。また、除算器223−１〜223−３によ
って各成分値R,G,Bの値を上記明度Ｙで除すための割り
算が実行される。その結果すなわち、R/Y,G/Y,B/Yの値
はメモリ224−１〜224−３にそれぞれ格納される。

一方、前記画像入力装置201内のフレームメモリ217に
格納されているR,G,B画像は、焦点深度増大装置204内に
導かれ、加算器225によって加算される。その加算結果
はフレームメモリ226に格納される。フレームメモリ226
内に格納された画像に対し、回復処理装置227による回
復フィルタリング処理が行なわれる。その結果は再びフ
レームメモリ226に記録される。このフレームメモリ226
に記録された回復処理後の画像信号は、前記色彩情報装
置203内に導かれる。

色彩情報装置203内に導かれた画像信号と、前記メモ
リ224−１〜224−３に格納されている色彩情報とは、乗
算器228−１〜228−３によって夫々の色成分ごとに掛け
算が行なわれる。その結果は画像表示装置205内に導か
れる。

画像表示装置205内に導かれた前記乗算器228−１〜22
8−３からの信号は、D/A変換器229−１〜229−３によっ
てアナログ信号に変換された後、TVモニタ230によって
表示される。以上の画像処理，表示部は前記コントロー
ラ206により制御される。

このように本実施例は、一般にR,G,Bのカラー３原色
画像間には強い相関があるという性質と、画像のボケ具
合のほとんどはカラー情報のうちの明度に依存するとい
う性質とを利用し、本発明を面順次方式の電子内視鏡に
適用するのに際し、各原色画像ごとに異なる焦点位置の
画像を入力し、これらを加えて回復処理を行なうという
手段を用いたものである。

以下本実施例の動作を説明する。先ず画像入力装置20
1によってR,G,Bの各原色画像を逐次的に入力する。この
とき対象物や内視鏡プローブ200自身が急激に動くと、
各原色画像の相対的な位置が異なってしまい、所謂色ズ
レが起こる。そこで色ズレ補正装置202では、Ｇ画像を
基準としてＲ画像およびＢ画像のズレ量を局所的な部分
画像間のマッチングを計算することにより求めている。
この求められた色ズレ量に基づいてＲ画像およびＢ画像
は修正される。この様な方法により、ある設定された合
焦位置におけるカラー画像が入力されると、色彩情報記
録装置203によってR,G,Bの値が明度の情報Ｙ＝Ｒ＋Ｇ＋
Ｂでそれぞれノーマライズされる。そして得られた色彩
の情報R/Y,G/Y,B/Yが記録される。一方、焦点位置の異
なった複数の原色画像が入力されると、これらの画像は
上記と同様に補正処理を施された後、加え合せられ、回
復処理が行なわれる。この操作によって焦点深度の深い
明度Ｙ′の画像が合成される。そして最終的に前記Ｙ′
画像に前記色彩情報R/Y,G/Y,B/Yを乗じることにより、
焦点深度の深いカラー画像が合成されるものである。

したがって本実施例によれば、内視鏡画像において、
焦点深度の深い画像を比較的簡単な構成で合成できる利
点がある。また焦点深度が浅く、開口が大きい対物レン
ズを使用することが可能となるため、光源のパワーを減
らすことができる。しかも上記の様な対物レンズを使用
すれば、撮像素子の光蓄積時間を短縮でき、色ズレ等の
影響を少なくすることができる。

なお本実施例の変形例として、次のような例が考えら
れる。フレームメモリ226に記録されている加算画像
に、入力されてくるR,G,B画像を更に加算していく。こ
うすることにより、３箇所以上の焦点位置の画像から焦
点深度の深い画像を合成するようにしてもよい。上記の
場合、前記フレームメモリ226に記録されている画像
と、新たに入力されたＧ画像との間の位置ズレは、前記
色ズレ補正装置202を利用して補正を行なうようにすれ
ばよい。また、もし画像入力が高速に行われ、色ズレが
ほとんど問題にならない場合には、前記色ズレ補正装置
202は必ずしもに必要ではない。さらに、各原色画像を
入力する際に、本発明の第１実施例あるいは第２実施例
と同様に、入力，加算を行ない、各原色画像ごとに焦点
深度の深い画像を合成するようにしてもよい。

（第９実施例）第15図は本発明の第９実施例を示す図であって、本発
明を、カラー単板撮像素子を用いた電子内視鏡へ適用し
た例である。図に示すように、内視鏡プローブ300の先
端には、R,G,Bフィルタで構成されたカラーモザイクフ
ィルタ301で受像面を覆われた固体撮像素子302が設置さ
れている。この撮像素子302により焦点位置制御器303内
の対物レンズにて結像された画像を撮像するものとなっ
ている。なおこの場合の照明光は、装置本体内の白色光
源305から発せられた光を、ライトガイド304によって前
記内視鏡プローブ300内に導くことにより、プローブ先
端より照射される。前記撮像素子302からの出力信号
は、装置本体内に導かれ、色分離回路306によってR,G,B
信号に分離される。なお本実施例では前記カラーモザイ
クフィルタ301がR,G,Bフィルタで構成されていると仮定
しているが、他の色フィルタ、例えばシアン，イエロー
等の補色フィルタで構成しても良い。いずれにしても前
記色分離回路306では、前記カラーモザイクフィルタ301
を通して得られた色信号が分離される。この分離された
R,G,B信号はマトリクス回路307に入力され、Y,R−Y,B−
Ｙ信号に変換される。前記Y,R−Y,B−Ｙ信号は夫々A/D
変換器308−１〜308−３においてデシタル信号に変換さ
れる。このディジタル信号は、フレームメモリ310−１
〜310−３に記録されるが、その際、加算器309−１〜30
9−３によって前記フレームメモリ310−１〜310−３に
すでに記録されている信号と加算されて記録される。つ
まり累積加算記録が行なわれる。以上の構成により前記
内視鏡プローブ300内の焦点位置制御器303により制御さ
れて設定された異なる焦点位置における画像の入力，加
算が行なわれる。

次に前記フレームメモリ310−１に記録されているＹ
信号画像は、回復処理装置311によって回復処理が施さ
れ、再び前記フレームメモリ310−１に記録される。次
に前記フレームメモリ310−１〜310−３に記録されてい
る各信号は、D/A変換器312−１〜312−３により、それ
ぞれアナログ信号に変換された後、NTSCエンコーダ313
においてNTSC信号に変換される。そして、TVモニタ314
によって表示される。以上の処理はコントローラ315に
より制御される。

このように本実施例は、カラーモザイクフィルタ301
を用いた単板式カラー撮像素子302から入力した内視鏡
画像を処理して明るさ成分Ｙを抽出し、本発明の処理を
行なうことにより焦点深度を増大し、これに平均的な色
彩情報を加えてカラー画像として再生，表示するように
した例である。すなわち内視鏡プローブ300内の焦点位
置制御器303によって制御されて設定された異なる焦点
位置における画像の明るさ成分Ｙは、加算器309−1,フ
レームメモリ310−１によって累積加算記録され、回復
処理装置311により回復フィルタリング処理が行われる
ことにより、焦点深度が増大される。一方、色彩成分で
あるＲ−ＹおよびＢ−Ｙ信号は、加算器309−2,フレー
ムメモリ310−２および加算器309−3,フレームメモリ31
0−３によりそれぞれ累積加算記録され、焦点位置が異
なる画像間の平均的な色彩情報が求められる。これらは
合成され、NTSC信号として出力される。かくして、焦点
深度の大きいカラー画像が得られる。焦点ズレによるボ
ケた感じは、ほとんど明るさ成分Ｙに依存するものであ
り、色彩成分について多少ボケていても人間が観察する
上にはほとんど影響がない。したがって、上記のような
処理を行なうことにより、所期の目的を十分に達し得
る。かくして本実施例によれば、単板式カラー撮像素子
を用いた電子内視鏡について、第８実施例と同様の効果
を奏する。

（第10実施例）第16図は本発明の第10実施例の構成を示す図であっ
て、第９実施例と同様に本発明を単板式カラー撮像素子
を用いた電子内視鏡へ応用した例である。図示の如く、
内視鏡プローブ300の内部構成および白色光源305の構成
は第15図に示した第９実施例の構成と同じである。撮像
素子302からの信号は、色分離回路306によりR,G,Bの各
色信号に分離され、次にマトリクス回路307によりY,R−
Y,B−Ｙ信号に変換される。前記Y,R−Y,B−Ｙ信号はNTS
Cエンコーダ313によってNTSC信号に変換された後、A/D
変換器308によりデジタル信号に変換される。このデジ
タル信号はフレームメモリ318に予め記録されている信
号と加算器316により加算されたのち、セレクタ317を介
して前記フレームメモリ318に再び記録される。以上の
構成により前記内視鏡プローブ300内の焦点位置制御器3
03により設定された異なる焦点位置における画像は入
力，加算される。前記フレームメモリ318内に記録され
ている加算された画像は、くし形フィルタ319に与えら
れる。このくし形フィルタ319により画像信号、すなわ
ちデジタルのNTSC信号からＹ信号のみが分離抽出され
る。分離抽出されたＹ信号は、パイプライン方式により
空間周波数のフィルタリングを行なう回復処理装置320
によって、適当な回復処理を施される。前記回復処理を
施されたＹ信号は、加算器321において、遅延回路322に
より時間差を調整された元のNTSC信号と加算され、焦点
深度の深いNTSC信号となる。そして前記セレクタ317を
介して前記フレームメモリ318に記録される。このフレ
ームメモリ318に記録された処理画像は、D/A変換器312
によりアナログ信号に変換されたのち、TVモニタ314に
よって表示される。以上の動作はコントローラ315によ
り制御される。

このように本実施例においては、NTSC信号に変換され
たカラー画像信号を、一個のフレームメモリを用いて入
力，加算を行なうようにしたので、第９実施例と同様の
効果を奏する上、装置の規模を小さくできる。

（第11実施例）第17図は本発明の第11実施例の構成を示す図であっ
て、本発明を光学ファイバー束を用いた内視鏡（ファイ
バースコープ）への応用例である。第17図に示すよう
に、内視鏡プローブ400には、対物レンズと合焦点位置
を連続的に変える駆動装置とから成る合焦点位置制御器
401と、光学ファイバー束で構成されるイメージガイド4
02とが設けられており、画像をそのまま光学的に伝送す
るようになっている。なおこの場合の照明光は、光源装
置404から発せられた白色光をライトガイド403によって
前記内視鏡プローブ400内に導びくことにより、プロー
ブ先端より照射される。前記内視鏡プローブ400の上端
にはカメラ405が設置されている。このカメラ405は、前
記イメージガイド402により伝送された画像を、銀塩フ
ィルムに記録するようになっている。以上の構成におい
て、前記カメラ405のシャッターが開放される間に、前
記合焦点位置制御器401により合焦点位置を連続的に変
えられると、前記カメラ405内の銀塩フィルム上に画像
が加算，記録される。

第18図は前記銀塩フィルムに記録された画像に対する
回復処理を光学的に行なう手段の構成例を示す図であ
る。マルチスペクトル光源500は、可視光全域にわたっ
て均一なスペクトルを有する白色光源、あるいはR,G,B
の３原色が混合されたり、時間をおいて異なる波長領域
の光が発せられるような光源である。前記マルチスペク
トル光源500からの光は、コリメータレンズ501によりス
リット502上に集光され、近似的な点光源となる。前記
スリット502を通過した光は、レンズ503により平行光に
され、第17図に示した前記カメラ405により画像を記録
したカラーフィスム504に照射される。前記カラーフィ
ルム504を通過した光は、レンズ505により集光される。
この集光された光は、レンズ505の焦平面に設置された
カラー空間周波数フィルタ506によって適当なフィルタ
リングを施される。フィルタリングを施された光は、レ
ンズ507により平行光とされ、画像が再生される。上記
再生画像はカメラ508により銀塩フィルム上に記録され
る。なお上記再生画像を電気信号に変換し、メモリに記
憶しておくようにしても良い。

このように本実施例は、本発明の第２の実施例と同様
な方法で入力した画像を、銀塩フィルム上に蓄積，記録
するものである。またカラーの銀塩フィルムに記録した
再生画像を第18図に示す光学系で回復フィルタリング処
理を行なうものである。

次に第18図に示した光学的回復処理の作用を詳しく説
明する。前記カラーフィルム504に記録されている内視
鏡画像は、前記レンズ505により光学的にフーリエ変換
され、前記カラー空間周波数フィルタ506により適当な
空間周波数のフィルタリングが行なわれる。一般にファ
イバースコープで得られた画像は、個々の光学ファイバ
ーを画素として構成されている。したがって、第19図に
示すような網目構造510を有する。そこで前記カラー空
間周波数フィルタ506は、回復フィルタリング処理作用
と、網目構造510の除去作用とが同時に発揮されるよう
に設計される。前記レンズ505の焦平面に現われるファ
イバースコープ画像のフーリエスペクトルは、第20図に
示すようなものとなる。すなわち、中心部に画像自体の
０次のスペクトル511が現われ、周辺部に光学ファイバ
ーの配列構造に由来する高次のスペクトル512が現われ
る。そこで第21図に示すように、中心部521では０次ス
ペクトル511に対して回復処理を行ない得、周辺部522で
は高次のスペクトル512をカットするような振幅透過率
を有するフィルト520を設け、これを前記フィルタ506と
して用いればよい。このようにすれば網目構造510がな
く、しかも焦点深度の深い画像が再生される。なお回復
フィルタは最大振幅透過率が「１」を越えることができ
ないため、相対的に低空間周波数領域の振幅透過率を抑
え込む様に設計する。なお第18図では光源にマルチスペ
クトル光源を用いているため、前記レンズ505の焦平面
のスペクトルは、波長により異なる位置に現われる。そ
こで前記カラー空間周波数フィルタ506は、カラーリバ
ーサルフィルムなどで構成し、各々の波長のスペクトル
について適切なフィルタリングが行なえるような分光特
性を持つように設計する。

なお、本実施例における光学的な回復処理の方法につ
いては、特願昭61−227454号に詳しく記載されている。

かくして本実施例によれば比較的簡単な構成で、焦点
深度の深いファイバースコープ画像を再生することがで
きる。したがって、第８実施例と同様に、光源のパワー
を縮小することができる。なお本実施例ではカメラ405
によってファイバースコープ画像を銀塩フィルムに記録
する場合について述べたが、前記カメラ405の代わりにT
Vカメラを用い、電子的に信号を処理し、記録を行なう
ようにしてもよい。すなわち、TVカメラで撮像した画像
をA/D変換器により、ファイバースコープの綱目構造に
比べ十分にサンプリングピッチの細かいデジタル画像に
変換し、このディジタル画像について本実施例と同様な
処理をディジタル的に行なうようにしてもよい。

（第12実施例）第22図は本発明の第12実施例の構成を示す図であっ
て、本発明を電子カメラに応用した例を示す図である。
本実施例は前記第３実施例における画像入力部と画像処
理表示部とを記録媒体を介してオフラインで連結したも
のに相当する。第22図に示すように、電子カメラ600に
より撮像した異なる位置に焦点の合った複数枚の画像が
同カメラ600内に電気信号として入力される。入力され
た画像信号は全て前記カメラ600内の記録媒体601に記録
される。この記録媒体601は、フロッピーディスク，磁
気テープ，光メモリ，半導体ICや強誘電体薄膜を用いた
固体メモリ等で構成されている。記録媒体601に記録さ
れた画像信号は読込み装置602内に読込まれる。前記記
録媒体601に記録されている画像信号がアナログ信号で
ある場合には、前記読込み装置602内にA/D変換器を設
け、前記画像信号をデジタル信号に変換するようにす
る。プロセッサ603は、第３図に示した第３実施例にお
けるメモリ５−１〜５−m,アドレス補正装置12,セレク
タ13,加算器14,メモリ15,回復処理装置7,D/A変換器８お
よびコントローラ10等により構成されている。したがっ
て、このプロセッサ603により、前記読込み装置602から
転送されてくるデジタル画像信号に対し、第３実施例に
記した場合と同様の処理が実行される。前記処理が施さ
れた画像信号はTVモニタ604に転送され，表示される。
なお前記プロセッサ603における処理の諸条件設定は、
プロセッサ603内のコントローラと連結されているマン
マシーン・インターフェース605により観察者が設定で
きるようになっている。

本実施例によれば電子カメラ600によって焦点の異な
る複数枚の画像を記録することにより、第３実施例と同
様の作用効果をもたらし得る。なお本実施例は、電子カ
メラ600に対して第３実施例を適用したものであるが、
第1,第2,第4,第5,第６の各実施例を適用することもでき
る。すなわち、カメラ内で異なる位置にピントの合った
画像の入力，加算を行ない、これを記録媒体に記録し、
オフラインで連結した画像処理部において回復処理だけ
を行なうようにしてもよい。このようにした場合には、
装置の構成がより一層簡単なものとなる。

なお銀塩フィルムに記録するカメラに対して本発明を
適用する場合において、例えば連写方式でピントの異な
る画像を次々と記録し、第12実施例と同様な構成で処理
を行なうこともできる。さらに第11実施例で示したよう
に銀塩フィルム上で焦点の異なる画像の入力，加算を行
ない、光学的あるいは電気的に回復処理を行なうように
することも可能である。

（第13実施例）第23図は本発明の第13実施例の構成を示す図であっ
て、第12図に示した第７実施例と同様に本発明を反射型
顕微鏡に適用した応用例である。第23図に示すように、
光源700から発せられた光は落射照明装置701によって導
かれ、最終的には対物レンズ702を介して資料の表面に
照射される。資料からの反射光像は前記対物レンズ702
によって結像され、鏡筒703の上に設置されたTVカメラ7
04によって撮像される。この際、資料はステージ705の
上に設置された振動アクチュエータ706により、顕微鏡
の光軸方向に特定の周波数で振動するように駆動され
る。なお、振動アクチュエータ706は、振動アクチュエ
ータドライバ707により、適当な周期および振幅で駆動
される。前記TVカメラ704により撮像された画像信号は
カメラドライバ708に転送される。なお、前記カメラド
ライバ708は、前記TVカメラ704に対する電力供給等も行
なうものである。前記カメラドライバ708に転送された
画像信号は、次にプロセッサ709に送られる。プロセッ
サ709はA/D変換器、画像メモリ、回復処理装置、D/A変
換器等から成り、前記画像信号に対して適当な回復処理
をディジタル処理で行なうか、あるいはアナログ回路に
よるバンドパスフィルターまたはハイパスフィルターで
回復処理を行なうように構成される。前記プロセッサ70
9により回復処理を施された画像信号はTVモニタ710に転
送され、表示される。

また、前記プロセッサ709内には、入力されてきた画
像信号に対してバンドパスフィルターにより特定の空間
周波数領域のパワーをモニタできる手段が設けられてい
る。かくして前記振動アクチュエータ706の振幅を自動
的に決定し、その決定内容にしたがって振動アクチュエ
ータ707を作動させるものとなっている。

上記構成の第13実施例によれば次のような作用効果を
奏する。本実施例においては、TVカメラ704が１フレー
ムあるいは１フィールドの画像を入力する間に、対象物
を１回以上特定の振幅で振動させるように構成されてい
るので、TVカメラ704の撮像面に合焦点面の異なる画像
を積算させる作用を有する。なお、振動アクチュエータ
706の振幅を初期設定するには、次のような方法を用い
る。まず振幅を変えながら画像を入力し、プロセッサ70
9において、入力画像の特定の空間周波数領域のパワー
をモニタする。振幅に対する特定空間周波数のパワーの
変化は、およそ第24図に示すようになる。つまり、振幅
の大きさが対象物の深さ方向の構造より大きくなってく
ると、画像にはボケの成分が多く含まれるようになる。
このためパワーは低下してくる。従って、あらかじめス
レッショルド値THを適当に設定しておき、パワーがその
値を下回った時の振幅値Ａを、実際の処理に用いるよう
にする。このようにすれば、より鮮明でかつ物体の構造
に対して適当な焦点深度をもった画像が得られる。な
お、この方法による積算範囲の決定法は第７の実施例に
も応用することが可能である。

かくして本実施例によれば、簡単な構成で十分な効果
が得られる。また回復処理をビデオレートで実行できれ
ば、リアルタイムで処理画像が得られるなど、実用上の
利点が大きい。

なお、上記実施例では、対象物側を振動させるように
構成したが、光学系側つまり対物レンズ702や鏡筒703内
に設けたリレーレンズまたは撮像素子を振動させるよう
にしても良い。また、本実施例を顕微鏡以外の光学機
器、例えば電子カメラや内視鏡などに応用して光学系ま
たは撮像素子を振動させるように構成してもよい。

（第14実施例）第25図は、本発明の第14実施例の構成を示す図であっ
て、第13実施例と同様に、本発明を反射型顕微鏡に適用
した応用例である。なお、説明を簡略化するために、反
射型顕微鏡装置は光源800,落射照明装置801,対物レンズ
802、鏡筒803、のみを図示した。鏡筒803の上にはカラ
ーTVカメラ804が設置されている。このカラーTVカメラ8
04における撮像素子のダイナミックレンジは例えば40dB
であると仮定する。落射照明装置801には回転式光シャ
ッター805が設けられている。この光シャッター805は前
記光源800から発せられる照明光を特定のタイミングで
透過、遮断する。つまり、この回転式光シャッター805
は第26図に示すように、円板805Dの回転方向に３等分さ
れた領域805A〜805Cを有している。そして各領域805A〜
805Cには面積比が10000:100:1となるように設定された
窓（斜線部）a,b,cがそれぞれ設けてある。かくして、
この円板805Dがモータードライバ806により駆動制御さ
れるモータ807によって1/10秒間に１回転するように回
転駆動されると、1/30秒間（TVカメラによる１フレーム
のスキャン時間）に所定の露光量を資料に与えることに
なる。この場合の照明光はハーフミラー808および対物
レンズ802を介して照射される。そして資料からの反射
光像はカメラドライバ809により制御される前記カラーT
Vカメラ804によって撮像される。なお、前記落射照明装
置801内には、複数のレンズと絞りとにより、ケーラー
照明系が構成されるが、図示は省略する。ステージ駆動
装置810は、第13実施例に示したような振動アクチュエ
ータ等で構成されており、ステージ811を1/30秒間に少
なくとも１回、所定の振幅で振動させるものとなってい
る。かくして、合焦点面の異なる画像を前記カラーTVカ
メラ804の受光面に積算させる。このようにして異なる
露光量で３フレームのカラー画像を入力する。これらの
カラー画像はそれぞれR,G,Bの３原色信号としてプロセ
ッサ820に転送される。

前記プロセッサ820に転送された画像信号は、A/D変換
器821によりディジタル信号に変換される。この変換さ
れたディジタル信号のうち最初の１フレーム目の画像信
号、つまり前記回転式光シャッター805の窓ａで露光さ
れ、入力された画像信号は、加算器822を単に通過して
そのままフレームメモリ823に記録される。次に、２フ
レーム目および３フレーム目の画像信号、つまり前記回
転式光シャッターの窓ｂおよびｃで露光され、入力され
た画像信号は、加算器822により前記フレームメモリ823
にすでに記録されている画像信号と加算される。その加
算結果は再び前記フレームメモリ823に記録される。こ
のようにして折れ線近似の対数特性を持ったR,G,Bの３
原色画像データがフレームメモリ823に蓄積される。こ
のフレームメモリ823に蓄積された画像データlogR,log
G,logBは、logY変換回路824によりlogY（Ｙ＝0.3R＋0.5
9G＋0.11B）の値に変換され、別のフレームメモリ825に
記録される。このフレームメモリ825に記録された画像
信号は、回復処理回路826に転送される。回復処理回路8
26に転送された画像信号は、対数特性を持った状態のま
ま空間周波数に対する適当なフィルタリング処理を施さ
れる。フィルタリング処理を施された画像信号は、ダイ
ナミックレンジおよび利得調整回路827に送られる。そ
うすると、この回路827において、前記後処理を施され
た画像信号logY′に対して利得調整値log bが加えられ
ると共に、ダイナミックレンジ調整値ａが乗算され、信
号a log bY′が出力される。前記画像信号a log bY′は
対数変換器828により対数圧縮され、log（a log bY′）
となって出力される。この出力値は減算器829に入力
し、ここで前記フレームメモリ825に記録されている画
像信号logYとの減算が実行され、信号log（a log bY′/
Y）となって出力される。前記減算器829からの出力信号
log（a log bY′/Y）は、前記フレームメモリ823に記録
されている対数圧縮された３原色信号logR,logG,logBと
加算器830R,830G,830Bにおいてそれぞれ加算される。こ
の各加算出力は逆数変換器（指数変換器）831に入力
し、ここで逆対数変換が実行されて、信号a log bY′/Y
・Ｒ、a log bY′/Y・Ｇ、a log bY′/Y・Ｂが算出され
る。これらの算出値は、D/A変換器832によりR,G,Bビデ
オ信号に変換され、TVモニタ833によって表示される。
なお、前記プロセッサ820の構成は特願昭62−234133号
に記載されているカラー対数撮像用映像処理装置に基づ
いて構成されたものである。上記の構成の装置における
動作の制御はコントローラ834で行なわれ、その条件設
定等は前記コントローラ834と連結されたマンマシン・
インターフェース835により観察者が行なえるようにな
っている。

上記構成の第14実施例は次のような作用効果を奏す
る。本実施例は、カラー対数撮像方式を採用したことに
より、色バランスをくずさずに、TVカメラ804の撮像素
子の性能を上回るダイナミックレンジをもった画像を入
力する作用と、対数フィルタリングにより効果的な回復
処理を行なう作用を有する。そこでまず、カラー対数撮
像方式の作用について説明する。なおここでは、前記TV
カメラ804の撮像素子のダイナミックレンジが仮に40dB
であるとして説明する。被写体が40dBのダイナミックレ
ンジでは撮像しきれないほどの明暗情報を有する場合、
本実施例では次のようにして実質的なダイナミックレン
ジを拡大している。なず、十分大きな露光量で撮像し、
暗い部分の情報を有する画像を入力する。この画像にお
いては、明るい部分は飽和している。次に、さきに入力
した画像の1/100の露光量で画像を入力する。そうする
と先に入力した画像で飽和した部分のうち暗い方から40
dB分の情報が得られる。同様にしてさらに1/00の露光量
で画像を入力すると、さらに明るい領域40dB分の情報を
有する画像が入力される。これらを加え合わせることに
より、折れ線近似の対数特性を有する画像信号が得ら
れ、実質的に広いダイナミックレンジを有する画像信号
として扱える。さらに、処理後の画像のバランスをくず
さないために、輝度信号Ｙについてのみ対数圧縮を行な
っている。そしてカラー画像の色相、彩度に影響がない
ようにするために、輝度信号Ｙの圧縮度logY/YをR,G,B
にそれぞれ乗算して、（logY/Y）R,（logY/Y）G,（logY
/Y）Ｂを得、これを３原色信号として出力している。ま
た、本実施例では表示の際の利得とダイナミックレンジ
を調整し、（a logY/Y）R,（a logY/Y）G,（a log bY/
Y）Ｂなる３原色信号を出力するようになっている。こ
の利得ダイナミックレンジの制御は手動で行なってもよ
いが、自動調整にしても良い。以上のカラー対数圧縮方
式の詳細な作用については前掲した特願昭62−234133号
に記載されている通りである。

次に、対数特性を有する輝度信号logYに対する空間周
波数フィルタリング処理、いわゆる対数フィルタリング
を行なうことにより、生じる作用を説明する。反射光の
分布関数を次のように定義する。

とする。（ａ）式の両辺を対数変換すると、となる。このうち照明光、あるいは照明装置をもたない
光学機器の場合は、自然光や外部照明の分布に相当するは主に低空間周波数成分を有する。これに対して、物体
の反射率分布関数は低から中域の空間周波数成分を主に有する。そこで第
27図に示すような特性を有するフィルターを作成するこ
とにより、低空間周波数成分の照明光のムラや、主にノ
イズ成分が支配する高空間周波数領域をカットし、物体
の構造を示す領域を強調することができる。従って、こ
の対数フィルタリングを用いれば、より効果的な回復処
理を行なうことができる。なお、第27図における空間周
波数値ｆl,fhはマンマシン・インターフェース835によ
り観察者が処理結果を見ながら任意に設定してもよい
し、画像の種類が限られ成分が分っている場合は、あら
かじめ設定しておいても良い。

かくして本実施例によれば、ダイナミックレンジの狭
い撮像カメラを用いても、実質的に広いダイナミックレ
ンジを有する画像として処理することが可能となる。一
般に、ダイナミックレンジの狭いカメラでは、受光面で
積算することにより、画面の平均強度（つまり、０次周
波数強度）ばかり大きくなり、高空間周波数領域の情報
は後で回復処理をかけても回復不能な程度にノイズの中
に埋もれてしまうという不具合がある。本実施例によれ
ば上記不具合を解決でき、高空間周波数領域の画像成分
を所望のS/Nで積算しながら入力することが可能とな
る。また、対数フィルタリングを行なうことにより、よ
り効果的な回復処理が可能であり、鮮鋭な画像を表示で
きる。

なお、本実施例は反射型顕微鏡についての応用例とし
て記述したが、電子内視鏡などの照明装置を有する他の
光学機器についても同様に応用できることはもちろんで
ある。また、光シャッター805としては本実施例で示し
たようなメカニカルシャッター以外に、液晶板などを用
いた光シャッターであっても良い。

（第15実施例）第28図は、本発明の第15実施例の構成を示す図であ
て、第14実施例に示したカラー対数撮像と対数フィルタ
リングの手法を、照明装置をもたない光学機器に適用し
た応用例を示す図である。対象物の像はレンズ901によ
りCCDなどの固体撮像素子902の受光部に結像される。こ
の撮像素子902は対数撮像用ドライバ903によって制御さ
れる、例えば、撮像素子902がCCD固体撮像素子の場合、
オーバーフロードレインゲートや水平転送ゲートの高さ
を露光時間内に変化させることにより、出力信号が対数
特性を持つように制御される。この固体撮像素子による
対数圧縮の詳細は、前掲の特願昭62−234133号に記載さ
れている通りである。前記撮像素子902からの出力信号
は、ビデオプロセッサ904によって、logR,logG,logBの
３原色信号に変換され、さらにA/D変換器905によってデ
ィジタル信号に変換された後、画像処理部910に転送さ
れる。なお、前記レンズ901は振動アクチュエータドラ
イバ906によって駆動制御される振動アクチュエータ907
によって、前記撮像素子902の露光時間に対して十分速
い周期で光軸方向に振動するように駆動される。かくし
て合焦点位置の異なる画像が前記撮像素子902の受光面
上に積算されて入力するようになっている。

前記画像処理部910は、logY変換器911、回復処理回路
912、ダイナミックレンジおよび利得調整回路913、対数
変換器914、減算器915、加算器916R,916G,916B、逆対数
変換器917で構成されている。この画像処理部910におい
ては、第25図に示した第14実施例と同様に、輝度信号Ｙ
に対して対数フィルタリング処理が施され、ダイナミッ
クレンジと利得が適当に調整された３原色信号（a log
bY′/Y）R,（a log bY′/Y）G,（a log bY′/Y）Ｂが出
力される。この画像処理部910からの出力信号はD/A変換
器920によりカラーアナログ信号に変換され、TVモニタ9
21によって表示される。以上の動作はコントローラ930
により制御される。

上記構成の第15実施例は次のような作用効果を奏す
る。本実施例は固体撮像素子902自体に対数圧縮入力特
性を持たせるようにしたので、第14実施例と同様に、色
バランスを崩さずに、ダイナミックレンジを拡大する作
用と、対数フィルタリングによる回復処理を行なう作用
とを有する上、構成が簡略化する利点をもっている。

かくして本実施例によれば、電子カメラなど照明装置
を通常は有していない光学機器に対しても、第14実施例
と同様の作用効果を発揮させ得る。また、撮像素子902
自体に合焦点位置の異なる画像を積算するようにしたの
で、装置を簡便化できる。

なお、撮像素子自体に対数入力特性を持たせる代わり
に、露光時間を変えて数枚の画像を入力させ、これらを
加え合せることにより、折れ線近似の対数特性を持つ画
像を合成し、第14実施例におけるプロセッサ820と同様
の構成で処理を行なわせるようにしても良い。

（第16実施例）第29図は本発明の第16実施例の構成を示す図であっ
て、第25図に示す第14実施例と同様に本発明を反射型顕
微鏡へ応用した例である。光源1001より発せられた光は
落射照明装置1002に導かれ、ハーフミラー1003と対物レ
ンズ1004を介して、資料の表面に照射される。資料から
の反射光像は前記対物レンズ1004と鏡筒1005内の結像レ
ンズ1006によって拡大されて記鏡筒1005上に設置された
空間光変調器（以下SLMと略称する）1007の受光面に結
像される。SLM1007はSLMドライバ1008によって駆動制御
され、インコヒーレント＝コヒーレント変換器として機
能する。なお、ステージ駆動装置1009は、前記SLM1007
の変換応答速度を考慮して設定されたスキャン時間内
に、資料載置用ステージ1010を顕微鏡の光軸方向に設定
された距離範囲だけ駆動するようになっている。レーザ
ー1011によって発せられたレーザー光は、レーザービー
ムエキスパンダー1012によりビーム径を拡大され、ハー
フミラー1013により光路を変えられて、前記SLM1007の
受光面とは反対側の面（以下反射面と呼ぶ）に照射され
る。前記SLM1007の反射面には顕微鏡像が屈折率分布と
して表示されている。したがって前記レーザービームの
反射空間パターンが顕微鏡像として伝搬される。この顕
微鏡像すなわち反射レーザ光は、次にレンズ1014によっ
て空間的にフーリエ変換され、このレンズ1014の後方焦
点面に置れたフィルター1015によって空間周波数に対す
るフィルタリングが行なわれる。しかる後、上記反射レ
ーザー光はレンズ1016により逆フーリエ変換され、その
画像はTVカメラ1017に入力される。なお、前記フィルタ
ー1015は中心部から周辺部にかけて振幅透過率が大きく
なるように形成されており、空間周波数に対するハイパ
スフィルターとなるように設計されている。なお、前記
TVカメラ1017の電力供給およびタイミング制御は、カメ
ラドライバ1018により行なわれる。このようにして入力
された画像は、前記カメラドライバ1018を介してプロセ
ッサ1020に転送される。プロセッサ1020に入力された画
像信号は、A/D変換器1021によってディジタル信号に変
換され、フレームメモリ1022に記録される。このフレー
ムメモリ1022に記録されたディジタル画像は、回路処理
装置1023によって適当な回復処理が施され、再び前記フ
レームメモリ1022に記録される。こうして回復処理が施
された画像信号は、D/A変換器1024によりアナログビデ
オ信号に変換されて、TVモニタ1025によってに表示され
る。以上の動作は、コントローラ1026によって制御さ
れ、条件設定はコントローラ1026に接続されたマンマシ
ン・インタフェース1027により観測者が行なうようにな
っている。

ここで、前記SLM1007について若干の説明を加える。
ここで用いるSLM1007は光入力型空間変調器であって、
２次元の光信号を書込み記録すること、および光での読
み出しを行なうこと、等が可能な光機能素子である。こ
の光機能素子としては、Bi₁₂SiO₂₀（BSO）の光導伝性と
電気光学効果とを利用したPROM（Pockls Read−out Opt
ical Modulator）や、光導伝材料と液晶を組合せたLCLV
（Liquid Crystal Light Value）などがある。いずれも
入力光信号を電界分布に変換し、反射面の屈折率分布を
制御する作用がある。従ってSLM1007は、その反射面側
に入射するレーザー光の偏光状態が、SLM1007の反射面
の屈折率分布に応じて変化し、検光子を通すことによ
り、コヒーレント光像として読出すことができるように
構成されている。本実施例では、特にダイナミックレン
ジが大きく応答速度の速いSLMを用いるものとする。

上記構成の第16実施例は次のような作用を奏する。本
実施例は、TVカメラ1017の受光面に画像を積算させる際
の前処理として、光学的にハイパスフィルタリングを行
なうようにしたものである。つまり、本実施例は顕微鏡
で入力した画像を、SLM1007を介してレーザー光に伝搬
させる如く構成した。したがってコヒーレント光学系に
よる空間周波数フィルタリングを行ない、低空間周波数
をおさえながら、TVカメラ1017の受光面に合焦点面の異
なる画像を積算していく作用を有する。このようにする
ことにより、TVカメラ1017のダイナミックレンジの限界
による積算効果の制限が解決できる。その結果、空間周
波数成分についても所望のS/Nで積算入力を行なうこと
ができる。

かくして本実施例によれば、TVカメラ1017のダイナミ
ックレンジを有効に使うことができ、プロセッサ内にお
ける回復処理によって、一層鮮明な画像を表示すること
ができる。

（第17実施例）第30図は、本発明の第17実施例の構成を示す図であっ
て、本発明を第16実施例と同様に反射型顕微鏡へ応用し
た例である。本実施例の構成は第29図に示した第16実施
例の構成からプロセッサ1020を省き、TVカメラ1017から
の画像信号をカメラドライバ1018を介してTVモニタ1025
に直接入力するようにしたものである。したがって第29
図と同一部分には同一符号を付し、詳しい説明は省略す
る。

上記構成の第16実施例は次のような作用効果を奏す
る。ステージ駆動装置1009によりステージ1010を、顕微
鏡の光軸方向に距離範囲にわたって駆動し、その駆動時
間中、顕微鏡画像がSLM1007の受光面に蓄積されるよう
に構成されているので、合焦点面の異なる複数の画像が
積算されることになる。上述の動作が完了した時点で、
前記SLM1007の反射面に表示された積算画像がレーザー
ビームで読み出され、コヒーレント光学系による空間周
波数フィルタリングにより回復処理が実行される。その
結果はTVカメラ1017により撮像され、TVモニタ1025によ
って表示される。つまり、本実施例はSLM1007の受光面
における画像の積算効果を利用し、光学的なフィルタリ
ングによる回復処理を行なうような作用を有するもので
ある。

かくして本実施例によれば、回復処理が完全なリアル
タイイムで行なえるため、全体の処理速度を短縮するこ
とができる利点がある。

ここで、上述した第16実施例および第17実施例におい
て、カラー画像を処理しかつ表示する方法について説明
する。まず、第31図に示すように顕微鏡の落射照明装置
1002内に回転色フィルター1030を設ける。この回転色フ
ィルター1030は、第14図に示した第８実施例における回
転式光フィルター213と同様に、R,G,Bの３原色フィルタ
ーを円板の回転方向に並べたものである。この色フィル
ター1030をモータ1031によって回転駆動すると、白色光
源1001から発せられた光が、前記回転色フィルター1030
を透過する際に、その光の色を時間的にR,G,Bの順に変
えられる。このようにして得られた各原色照明光が鏡筒
1005に導かれると、それぞれの原色照明光により、第16
実施例，第17実施例に記載した構成に基づく動作が逐次
行なわれる。

第32図は、第29図に示す第16実施例に於けるプロセッ
サ1020をカラー画像用に構成した例を示すブロック図で
ある。プロセッサ1100に入力してきた各原色照明光によ
る出力信号は、A/D変換器1101によりディジタル信号に
変換された後、セレクタ1102によりフレームメモリ1103
R,1103G,1103Bのうち、所定の色のメモリ内に格納され
る。３原色照明による処理結果が全て前記フレームメモ
リ1103R,1103G,1103Bに記録されると、これらは、（R,
G,B）→Ｙ変換器1104に送られ、ここで輝度信号Ｙ＝
（0.3R＋0.59G＋011B）が算出される。前記（R,G,B）→
Ｙ変換器1104から出力される輝度信号Ｙは、前記フレー
ムメモリ1103R,1103G,1103Bにより出力された３原色信
号を除すための信号として除算器1105R,1105G,1105Bに
供給される。したがって、上記各除算器によって、それ
ぞれ除算が行なわれ、R/Y,G/Y,B/Yが算出される。これ
らの算出結果は乗算器1106R,1106G,1106Bに送られる。

一方、前記輝度信号Ｙは回復処理回路1107により適当
な回復処理を施される。この結果Ｙ′は前記乗算器1106
R,1106G,1106Bに送られ、前記R/Y,G/Y,B/Y信号との乗算
がそれぞれ行なわれる。乗算の結果得られた（R/Y）
Ｙ′，（G/Y）Ｙ′，（B/Y）Ｙ′はそれぞれD/A変換器1
108R,1108G,1108Bにより、アナログビデオ信号に変換さ
れて出力される。以上の構成における動作はコントロー
ラ1109により制御される。

このような構成により、逐次的に入力される各原色信
号に対し、色バランスをくずさないように輝度成分に対
してのみ回復処理が行なわれる。そして回復処理の結果
は３原色同時に出力され、カラー画像として表示でき
る。

なお、第17実施例に適用する場合は、第32図に示した
構成から（R,G,B）→Ｙ変換器1104、除算器1105R,1105
G,1105B、回復処理回路1107,乗算器1106R,1106G,1106B,
をとり除き、フレームメモリ1103R,1103G,1103Bと、D/A
変換器1108R,1108G,1108Bとを直接接続したプロッセサ
を設け、これを第30図におけるカメラドライバ1018とTV
モニタ1025との間に介在させればよい。このようにする
ことにより、すでに回復処理が施され、逐次的に入力さ
れてきた３原色画像信号を、プロセッサ内のフレームメ
モリに一次保持し、これらを同時に出力することによ
り、カラー画像として表示することができる。

（第18実施例）第33図は、本発明の第18実施例の構成を示す略式図で
あって、本発明を透過型顕微鏡に応用するに際して用い
る光学的なハイパスフィルタリングの部分構成図であ
る。図に示す如く透過照明光学系は、ケーラー照明装置
1200で構成される。光源1201から発せられた照明光は、
コレクタレンズ1202で集光され、視野絞り1203,コンデ
ンサ絞り1204を通過して、コンデンサレンズ1205により
資料1206に対して照射される。この際、前記コンデンサ
絞り1204は、十分に小さく絞られ、資料1206にほぼ平行
な光が照射されるようにする。資料1206を通過した光
は、対物レンズ1207に導かれ、この対物レンズ1207の後
ろ焦点面に設置されたフィルター1208により、前記資料
1206の像の空間周波数に対するフィルタリングが行なわ
れる。なお、前記フィルター1208は、中央部が光の吸収
率が大きく、周辺部にいくに従って、その吸収率が次第
に小さくなっていくように構成されている。つまり、低
空間周波数成分をおさえることにより、ハイパスフィル
タリングが行なわれるようになっている。前記ハイパス
フィルタリングが行なわれた像は、結像レンズ1209によ
り、画像入力系に結像される。

上記以外の部分の構成は、第7,第13,第14,第17の実施
例において、透過型顕微鏡に適用するようにアレンジし
た構成に準ずる。

上記構成の第18実施例においては、次のような作用効
果を奏する。本実施例は、透過型顕微鏡において資料12
06を平行照明することにより、コヒーレント光学系を実
現し、像のハイパスフィルタリングを光学的に行なう作
用を有する。

かくして本実施例によれば、第29図に示した第16実施
例と同様に、像の低空間周波数成分をおさえながらTVカ
メラなどの画像入力装置で撮像することにより、画像入
力装置のダイナミックレンジを有効に使うことができ
る。したがって、焦点深度の大きな画像をより鮮明に表
示することができる。

ここで、加え合わせる画像の枚数もしくは積算する範
囲の選択法について記述する。

第34図（ａ），第34図（ｂ）は上記選択方の概念図で
ある。第34図ａの左方部に示すような階段状の表面構造
をもつ物体1210を考える。このような物体1210を焦点深
度の浅い光学系で撮像すると、物体のどこかに焦点が合
っている画像のフーリエスペクトルは比較的高い空間周
波数成分も有するが、全くどの部分にも焦点が合ってい
ない画像の場合は低周波数成分しか持たない。その様子
は第34図（ａ）の右方部に示されている。すなわち、前
記物体1210に対して合焦点面を破線で示した位置に設定
したときの像のフーリエスペクトルＦ（ｕ）を示してい
る。このフーリエスペクトルにおける、ある空間周波数
領域（u1,u2）についてのスペクトルを積分した値Ｆ（u
1,u2）（斜線部1220の面積）に着目してみる。この積分
値Ｆが合焦点面位置を変えた場合にどう変化するかを示
したのが第34図（ｂ）である。この図より,F（u1,u2）
の値があるしきい値より大きくなる領域（z1,z2）を加
算範囲とすれば、全く焦点の合った部分のない画像を加
算の対象から除外できる。その結果、より鮮明な長焦点
深度画像を合成できる。そこで、第３実施例，第12実施
例に示したように、合焦点面の異なる画像を記録する場
合は、記録された画像信号にバンドパスフィルターをか
け、その結果得られた値を調べる。こうすることによ
り、第34図（ｂ）に示したような関係を求め、これを基
に加算に用いる画像を決定すれば良い。また、第７実施
例，第14実施例，第16実施例、第17実施例に示した反射
型顕微鏡に応用する場合は、前処理としてステージ（ま
たは対物レンズ）をステップ的に所定の小さい間隔で上
昇あるいは下降させていく。そして各々のフォーカスレ
ベルに於ける入力画像信号にバンドパスフィルターをか
ける。こうすることにより、第34図（ｂ）に示したよう
な関係を求め、積算範囲を決定するようにする。特に、
IC,LSI等の検査に用いる場合には，同じようなパターン
が繰返されるため、一度積算範囲を決定しておけば同じ
条件で対象物のどの部分についても最適な処理が可能と
なる。なお、バンドパスフィルターとしては、周波数帯
域の異なるものを複数用いて、これらのいづれか、ある
いは、それらを全て使うことにより、総合的に判定して
範囲を決めるようにしても良い。

（第19実施例）第35図（ａ），第35図（ｂ）は、本発明の第19実施例
を示す図であって、本発明を電子カメラへ応用した例を
示す図である。本実施例の構成は大きく分けると、カメ
ラ本体1300,記録媒体1400,プロセッサ1500,マンマシン
・インターフェース1600、そしてTVモニタ1700に分けら
れる。第35図（ａ）に示す前記カメラ本体1300は、レン
ズ1301,シャッター1302,合焦点位置制御器1303,撮像素
子1304,A/D変換器1305,メモリ1306,マッチング回路130
7,メモリ1308,距離算出回路1309,コントローラ1310,お
よび前記記録媒体1400へ書き込みを行なう書込み装置13
11で構成されている。このカメラ本体1300は次のような
作用を呈する。このカメラ1300は、プリ撮像と本撮像の
２つの動作を行なう。まず、プリ撮像では、前記シャッ
ター1302が、前記レンズ1301の半面を隠す。そして、隠
されていない側の半面を使って結像した像を、前記撮像
素子1304に入力する。このときの撮像素子1304の出力信
号はA/D変換器1305によりディタル信号に変換されて、
前記メモリ1306に記録される。次に、前記シャッター13
02は、前記レンズ1301に対し、上述の場合とは反対側の
半面を隠す。かくして前と同様にして入力した画像は前
記メモリ1306に記録される。このようにして、レンズ13
01の２つの半面を交互に利用し、視差を設けて入力した
２枚の画像に対し、マッチング回路1307によるステレオ
マッチングを行なう。こうすることにより、対象物まで
の距離を計測する。上記マッチングは、例えば、第36図
（ａ），第36図（ｂ）に示すように、画像内に何点かの
検出点1315を設け、各々の検出点1315を中心として設定
した局所領域1316および1317を対象として行なう。第36
図（ａ）は左画像面、第36図（ｂ）は右画像面を示して
いる。

第37図はマッチング回路1307の構成の一例をメモリ13
06および1308と共に示す図である。メモリ1306には、左
右の視野を持つ２枚の画像を記録する左画像メモリ1306
aと右画像メモリ1306bとが設けてある。前記マッチング
回路1307内にはアドレス発生器1320が設けられている。
このアドレス発生器1320は第36図（ａ），第36図（ｂ）
に示すように、左画像に対しては、ある検出点1315を中
心とする設定領域1316、右画像に対しては、ある検出点
1315より数画素だけ視差方向にずらした点（ずらした画
素数をＳとする）を中心とする設定領域1317（左画像の
設定領域と同じ大きさの設定領域）のアドレスをそれぞ
れに発生させる。この発生したアドレスは前記メモリ13
06に送る。前記メモリ1306からは、設定された領域131
6,1317の左右の画像信号がマッチング回路1307内の減算
器1321に送られる。この減算器1321では両画像信号の減
算が画素ごとに行なわれる。この減算結果の絶対値が絶
対値演算器1322によって計算される。このようにして、
左右の設定領域1316,1317の各対応画素信号の差の絶対
値が計算される。そしてこれらの値は、累積加算器1323
によって全て加え合わされて、その結果は判定器1324に
送られる。次に、前記アドレス発生器1320は、前記メモ
リ1306内の左画像については、最初と同じアドレスを発
生する。そして右画像については、設定領域1317のアド
レスを最初に設定した右画像のアドレスより視差方向に
１あるいは２画素程度ずらした位置（つまり新しい設定
領域の中心点を、検出点よりＳ−１あるいはＳ−２だけ
視差方向にずらした点とする）に設定する。そして同様
の計算結果を前記判定器1324に送る。このような操作を
１つの検出点について、ある設定した範囲（例えば、右
画像の設定領域1317の中心点を、検出点に対してＳ〜−
Ｓまで動かす範囲）について繰返す。前記判定器1324
は、各ずれ量に対する計算結果を比較し、最小になった
時のずれ量を検出して、前記メモリ1308に送る。このよ
うな動作は各検出点について行なわれる。以上の動作は
マッチング回路コントローラ1325により制御される。

次に、上述したマッチング回路1307の作用について述
べる。ステレオマッチングには視差を持った左右の画像
の対応点を見つけることが必要である。本回路では、そ
のために次に示すような演算を行なっている。

ρ（ｔ）＝Σ_R|fr（ｘ＋t,y）−fl（x,y）｜…（ｃ）ただし、ｘ :視差方向、ｔ :ずれ量、 fr（x,y）：右画像、 fl（x,y）：左画像、 Σ_Ｒ :設定領域における全加算を表わすオペレ
ータ、である。ある検出点についてｔをある範囲（例えば、ｔ
＝Ｓ〜−Ｓ）にわたって変えながら（ｃ）式を計算し、
最小となるｔを見つける。こうすることによって、左画
像の検出点に対する右画像の対応点を求めることができ
る。なお、対応点を検出する方法として、（ｃ）式の代
わりに、次式に示すような相関演算を行なわせるよう
に、前記マッチング回路1307を構成してもよい。

φ（ｔ）＝Σ_Rfr（ｘ＋t,y）・fl（x,y） …（ｄ）また、次式のように正規化相互相関により、左右量画
像のバイアスやゲインを補正し、より精度の高い相関演
算を行なうようにしても良い。

ただし、 r：右画像の設定領域における平均値 l：左画像の設定領域における平均値 σr：右画像の設定領域における標準偏差 σr：左画像の設定領域における標準偏差なお、本実施例では、左画像における設定領域1316の
位置を固定して、右画像内では対応点を捜すように記述
したが、両者の関係は逆でもよい。また、両画像内の設
定領域の位置を検出点を中心として、どちらも動かすこ
とにより、対応点を検出するようにしても良い。さら
に、フーリエ変換における相関定理を応用し、前記マッ
チング回路1307内にFFT演算器を設けて、次式に示すよ
うな相関演算を行なわせても良い。

φ_Ｆ（u,v）＝F^-1[Ｆ{fr（x,y）}・Ｆ{fl（x,y）}^＊] …（ｆ）ただし、 F :フーリエ変換のオペレータ F^-1:逆フーリエ変換のオペレータこの場合は、（ｃ）〜（ｅ）式を計算する場合のよう
に、両画像の相対的な位置ｔをずらしながら相関値を求
めていく必要はなく、相互相関画像φＦ（u,v）のピー
クの位置を検出することにより対応点を求め得る。さら
に、ノイズの影響が少ない場合には、次式で表わされる
位相相関法により、精度良く対応点を検出するようにし
ても良い。

一方、前記メモリ1306および前記マッチング回路1307
をセレクタ1330と共に第38図に示すように構成し、画像
を視差方向と垂直な方向に分離して記録し、各々の部分
画像に対するマッチング処理を並列に行なうことによ
り、全体の計算時間を短縮させても良い。

さて、前記メモリ1308に記録された各検出点における
左右のずれ量は、第35図（ａ）に示すように距離算出回
路1309に送られる。距離算出回路1309ではレンズ1301の
半面づつを用いて画像を入力したことによる視差と前記
ずれ量とから、カメラ本体1300と各検出点との間の距離
が算出される。その結果はコントローラ1310へ送られ
る。なお、プリ撮像後に画面の中央の検出点における距
離データから、ファインダーにおいて中央にフォーカス
が合って見えるように、合焦点位置制御器1303を自動制
御し、オートフォーカス動作を行なわせても良い。

次に、前記カメラ1300に於ける本撮像について説明す
る。前記コントローラ1310は、前記距離算出回路1309か
ら送られてきた距離情報に基づいて積算入力を行なうた
めの物体面における合焦点位置の移動範囲を設定する。
合焦点位置の範囲の設定の仕方の一例を説明する。各検
出点における距離データから、そのばらつき具合いを表
わす標準偏差を求める。そして距離の平均値から±ｋσ
の範囲（ｋは１〜２の間ぐらい）を求め、積算範囲とす
る。ただし、距離の平均値，標準偏差を計算する際に、
空など無限遠であると算出されたデータは除外する。な
お、積算範囲はマニュアルで撮影者が任意に設定できる
ようにしても良い。本撮像においては、前記シャッター
1302を全て解放し、その露光時間内に、前記コントロー
ラ1310で設定した積算範囲に対応して合焦点位置制御器
1303を駆動し、合焦点位置の異なる画像を前記撮像素子
1304の受光面に積算する。前記撮像素子1304からの出力
信号は、前記A/D変換器1305によりディジタル信号に変
換され、メモリ1306に記録される。前記メモリ1306に記
録された積算画像および前記メモリ1308に記録されてい
る画像内の各検出点における左右のずれ量は、書込み装
置1311によって、前記記録媒体1400に記録される。な
お、前記カメラ本体1300内に加算器を設け、本撮像にお
いて合焦点位置の異なる画像を累積加算するようにして
もよい。

前記記録媒体1400は、フロッピーディスク，光メモ
リ，半導体ICを組込んだカード，磁気テープ，磁性体以
外の固体メモリ，有機物質によるメモリ等で構成され、
前記カメラ本体1300において得られたデータを、前記プ
ロセッサ1500へオフラインで転送する役割を持つ。

次に、第35図（ｂ）に示す前記プロセッサ1500の構成
と作用について記す。前記記録媒体1400に書込まれてい
るデータは、読込み装置1501により読み出される。そし
て画像データはメモリ1502へ記録され、各検出点におけ
る左右のずれ量はメモリ1503に記録される。そして前記
画像メモリ1502に記録された画像データは、回復処理回
路1504に送られる。また、前記メモリ1503内に記録され
たずれ量のデータは係数発生器1505へ送られる。係数発
生器1505は、入力したずれ量に対応した係数値を発生さ
せ、前記回復回路1504へ送る。前記回復処理回路1504で
適当な回復処理を施された画像信号は、D/A変換器1506
でアナログビデオ信号に変換され、前記TVモニタ1700に
よって表示される。なお、前記プロセッサ1500における
動作は、コントローラ1507で制御される。また、条件設
定および画像表示等の指令は前記コントローラ1507と連
結された前記マンマシン・インターフェース1600により
観察者が行なえるようになっている。

前記プロセッサ1500における回復処理の作用について
説明する。前記回復処理回路1504では、局所領域のコン
ボリューションにより、空間フィルタリングが行なわ
れ、回復処理が実行される。

第39図は、上記回復処理の概念図である。この図で
は、ある画素に対し、その近傍の５×５の画素領域につ
いて、設定したマウス1510との「たたみ込み演算）（コ
ンボリューション）を行なう。そしてその演算結果を対
象画素におき換えるという処理を、前記画素（ただし、
周辺の２ラインについては行なわない）について順次実
行していく作用を示している。このような方法で回復処
理を行なうことにより、画像内の位置に応じて異なるフ
ィルタリングを行なうことができる。そこで、前記カメ
ラ本体1300において積算入力した画像が一様にぼけた画
像にならない場合に、上記マスク1510の係数を画像の位
置に応じて変えてやることによって、どの部分でもフォ
ーカスの合った画像を表示できる。このような処理を行
なうために、前記プリ撮像においては画像内の何点かの
検出点1315におけるカメラ本体1300と被写体との距離を
計測しておき、積算画像内のどの部分がどの程度ぼける
かを把握し、その情報に基いてマスク1510の係数を決定
するという処理を行なうものである。

かくして本実施例（第19実施例）によれば、プリ撮像
によって積算する合焦点位置の範囲を決定できる。ま
た、ぼけ方が画像内の場所に依存する場合でも適当な回
復処理を施すことができる。したがって、本発明を電子
カメラへ応用した場合の適用範囲を拡大することができ
る。なお、本実施例のプロセッサ1500における回復処理
用マスク1510の係数は、場所に応じて任意可変できるの
で、これを応用して観察者が好みに応じて焦点深度を自
由に変えられるように構成しても良い。

（第20実施例）第40図（ａ），第40図（ｂ）は本発明の第20実施例の
構成を示す図であって、第19実施例と同様に、本発明を
電子カメラへ応用した例である。本実施例の構成は、大
きく分けると、カメラ本体1800、記録媒体1900、プロセ
ッサ2000、マンマシン・インターフェース2100、TVモニ
タ2200等からなる。まず、カメラ本体1800は第19実施例
で示したのと同様にプリ撮像と本撮像の動作を行う。ま
ず、プリ撮像においては、レンズ1801の中央部より入力
された対象物の像がミラー1802により反射され、オート
フォーカス（以下AFと略す）センサ1803に入力される。
前記AFセンサ1803は、第19実施例で示したステレオマッ
チングに類似した位相差AF方式に基づくもので、視差を
設けて結像させた２つの画像の位相差に相当するデータ
を測距回路1804に送る。前記測距回路1804では、前記AF
センサ1803から送られてきたデータを基に、カメラ本体
1800から対象物までの距離を計測する。この計測した距
離データはメモリ1805に記録される。以上の動作は撮影
者が設定した数か所の対象物について同様に行なわれ、
それらの結果が前記メモリ1805に記録される。次に、前
記メモリ1805に記録された複数点の測距結果はコントロ
ーラ1806に送られ、本撮像における条件が設定される。

次に、本撮像における動作を説明する。前記コントロ
ーラ1806はプリ撮像において測定したカメラ本体1800か
ら対象物までの距離データを基に、合焦点位置の異なる
画像に対し適当な重み付けを行なって加重加算入力を行
うよう制御する。つまり、合焦点位置制御器1807は前記
プリ撮像によって設定した範囲にわたって合焦点位置を
離散的に変える。その結果生じた各々の状態においてレ
ンズ1801により結像された画像は、撮像素子1808に入力
される。この撮像素子1808に入力した画像信号は、A/D
変換器1809によりディジタル信号に変換された後、メモ
リ1810に記録されている所定の係数値と乗算器1811によ
って乗算される。そしてこの乗算された値は加算器1812
により、メモリ1813に記録されている画像信号と加算さ
れ、その結果は再び前記メモリ1813に格納される。以上
の構成により、合焦点位置を離散的に変えながら入力さ
れた複数枚の画像が加重加算され、その結果は前記メモ
リ1813に記録される。なお前記キラー1802は、本撮像が
行なわれるときには、メカニカルに光路からはずされる
か、あるいは撮像に邪魔にならないように最初から光学
的に設計されている。前記メモリ1805に記録されている
幾つかの観測点における測距データ、および前記メモリ
1813に記録されている画像データは、書き込み装置1814
により記録媒体1900に記録される。

次に、第40図（ｂ）に示すプロセッサ2000の構成およ
び作用について説明する。前記記録媒体1900に記録され
ているデータは読み込み装置2001によって読み出され
る。そして画像データはメモリ2002に記録され、測距デ
ータはコントローラ2003に入力される。前記メモリ2002
に入力された画像データは、回復処理装置2004に送られ
る。そして前記測距データを基に前記コントローラ2003
で設定された条件に従って、適当な回復処理が施され
る。前記回復処理装置2004により回復処理が施された画
像信号は、D/A変換器2005でアナログビデオ信号に変換
された後、TVモニタ2200によって表示される。なお、上
記プロセッサ2000における回復処理や、画像出力の際の
諸操作は、前記コントローラ2003と連結されたマンマシ
ン・インターフェース2100で行なえるようになってい
る。

上記構成の第20実施例においては、次のような作用効
果を奏する。まず、カメラ1800におけるプリ撮像におい
て、撮影者は写したい数か所の被写体を画面の中央部に
狙い定め、測距ボタンを押す。こうすることによって、
各被写体までの距離がカメラ内のメモリ1805に記録され
る。コントローラ1806ではそれらの測距データを基に、
加算入力した画像が撮影者が選択した被写体についてほ
ぼ同じぼけ方になるように入力条件を設定する。この状
態で本撮像が行なわれる。またプロセッサ2000では、プ
リ撮像によって測定した距離データを基に適当な回復処
理を行う作用を有する。

複数の測距データから加重加算入力の条件を設定する
方法について説明する。ここでは説明を簡単にするため
に、カメラ本体1800からの距離が異なっている２つの被
写体があると仮定する。本発明の主旨により、合焦点位
置を変えながら加算入力した画像に対して、場所により
不変（Space invariant）な回復フィルターをかけるこ
とによって、焦点深度の大きな画像を表示する為には、
加算入力した画像のぼけ方がSpace invariantである必
要がある。そこで、まず焦点はずれによりぼけ量を幾何
的近似により示す。

第41図はその幾何的関係を示す図である。カメラ本体
1800の撮像面1820からl1の距離に物点A1があり、l2の距
離に物点A2があるとする。そして物点A1とA2との距離は
ｄであるとする。第41図の上方図は物点A1にフォーカス
を合わせた場合の幾何的関係を示す。このときの物点A2
のばけ量δ２はA2から出た光線束の撮像面1820での投影
の直径で表わす。第41図の下方図は物点A2にフォーカス
を合わせた場合の幾何学的関係を示す。このとき物点A1
のぼけ量δ１は物点A1から出た光線束の撮像面1820での
投影の直径で表わす。レンズ1801の焦点距離をｆとし、
ｆ≪l1を仮定すると、δ2,δ２は近似を用いて次式で表
わされる。

ただし、ＦはカメラのＦナンバーで、Ｆ＝f/D（D:レ
ンズの射出瞳の直径）。（ｈ）式と（ｉ）式とを比較す
ると、物点A1にフォーカスを合せたときの物点A2のぼけ
量δ２と、物点A2にフォーカスを合わせたときの物点A1
のぼけ量δ１との大小関係は、δ２＞δ１である。そし
てその違いはl1が小さい場合、つまり手前の被写体A1が
より近くにある場合において顕著になることがわかる。
このような場合、合焦点面の位置を物点A1からA2にわた
って等間隔に変えながら加算入力した画像における物点
A1,A2の被写体のぼけ方は等しくならない。つまり物点A
2にある被写体の方がぼけが大きくなる。したがって本
実施例では、加重加算を行うことによって加算入力画像
のぼけ方をSpace invariantに近いものにしている。そ
の際の加重係数の決定法について以下説明する。

第42図に示すように合焦点位置をA1からA2点までの範
囲で等間隔にｍか所設定するものとする。そして各位置
にそれぞれ重みωｉ（ｉ＝1,2,..,m）を乗じて加え合わ
せるものとする。それぞれの合焦点位置におけるA2点,A
1点にある物体のぼけ量δ２（ｉ），δ１（ｉ）（ｉ＝
1,2,..,m）は次式で表わされる。

従って、加重加算された画像における物点A2,A1点に
ある物体のぼけ量はで表わすことができる。これらの点がの拘束条件の下で最小になるような ωｉ（ｉ＝1,2,…ｍ）を求めるために、Lagrangeの未定乗数法を用いる。つま
り、なる式の演算を行なう。（ｏ），（ｍ）式より、未知数
ωｉ（ｉ＝1,2,..,m）に対して次の連立方式（ｐ）が成
立する。なお、（ｐ）式は表現をし易くするために行列
表示する。

この（ｐ）式を解くことにより最適なωｉ（ｉ＝1,
2,..,m）が求まる。

以上のような方法で、カメラ本体1800から被写体まで
の距離（l1およびｄ）が分かった場合に、加重係数をど
のように設定したら良いかをあらかじめ調べておく。そ
して、これらのデータをカメラ本体1800内に記憶してお
いて、実際の操作ではプリ撮像で計測した各被写体まで
の距離から適当な加重加算入力を行うようにする。前記
加重係数のデータは撮像レンズ1801が交換可能なカメラ
の場合、撮影レンズ1801内に設置したリードオンリーメ
モリ（ROM）に記録しておき、撮影時にカメラ本体1800
のコントローラ1806にデータを転送し動作を行なわせる
ようにしても良い。

本実施例（第20実施例）によれば、撮影者が任意に選
択した全ての被写体に対し、フォーカスが合うように焦
点深度を制御することができる。また加重加算を行うこ
とによって画像のぼけ方がSpace invariantに近い状態
になるため回復処理を簡便に行なえる。

（第21実施例）第43図は、本発明の第21実施例の構成を示す図であっ
て、第19実施例、20実施例と同様に、本発明を電子カメ
ラへ応用した例である。本実施例は、第40図（ａ）に示
す第20実施例のカメラ本体1800の構成から、メモリ1810
と乗算器1811とを除いたものに相当する。本実施例にお
けるカメラ本体2300もプリ撮像と本撮像の２つの動作を
行う。このうち、プリ撮像は第20実施例に記載した内容
と同様である。したがってその説明は省く。本実施例に
おける本撮像の動作を説明する。コントローラ2306はプ
リ撮像において決定した条件に従って画像の入力、加算
が行なわれるように合焦点位置制御器2307を制御する。
この合焦点位置制御器2307は、前記条件に従って合焦点
位置を離散的に変える。各々の状態においてレンズ2301
により結像された画像は、撮像素子2308に入力される。
この撮像素子2308に入力された画像信号は、A/D変換器2
309によりディジタル信号に変換された後、加算器2312
によりメモリ2313に記録されている画像信号と加算され
る。加算結果は再び前記メモリ2313に記録される。以上
の構成により、合焦点位置が離散的に変えられながら入
力された複数枚の画像が累積加算される。その結果は前
記メモリ2313に記録される。そして、前記メモリ2305に
記録されている幾つかの観測点における測距データ、お
よび前記メモリ2313に記録されている画像データは、書
込み装置2314によって記録媒体1900に記録される。この
記録媒体1900に記録された加算入力画像は、前記第20実
施例と同様にプロセッサにおいて読み出され、同じく前
記記録媒体1900から読み出された測距データを基に、適
当な回復処理が施されてTVモニタ上に表示される。な
お、本実施例におけるプロセッサ,TVモニタ，マンマシ
ン・インターフェイスの構成は第20実施例と同様であ
る。

上記構成の第21実施例においては次のような作用効果
を奏する。第20実施例で説明した通り、第42図における
A1点からA2点にわたって合焦点位置を等間隔に変えなが
ら加算入力した画像のぼけ方はSpace invariantにはな
らない。しかるに、本実施例では次のような手段を採用
しているので、加算入力画像のぼけ方をSpace invarian
tに近いものになる。合焦点を第44図に示すように物点A
1からA2にわたって設定していく。すなわち物点Ａの近
くでは合焦点面間の間隔が疎に、物点A2に近づくに従っ
て密になるようにする。合焦点面をこのように設定した
場合のカメラ本体2300から遠い物点A2の被写体に着目し
てみる。カメラ本体2300のフォーカスをより近い点に合
わせたときのぼけ量の大きい画像が、合焦点面を等間隔
に設定したときに比べて少なくなる。したがって、加算
された画像において物点A2にある被写体のぼけ方がより
小さくなる。一方、物点A1にある対象物については、合
焦点面を等間隔に設定したときに比べて加算画像のぼけ
方が大きくなる。よって、加算画像全体で見ると、ぼけ
方をSpace invariantに近いものとすることができる。
なお、本実施例における合焦点面間の間隔は、第20実施
例に示した求め方により算出した係数ωｉ（ｉ＝1,
2,..,m）の値から容易に設定可能である。したがって、
本実施例においても予め設定しておいたデータに基づい
て、プリ撮像で計測した各被写体までの距離から適当な
加算入力を行なうようにすれば良い。

このように本実施例によれば、より簡単な構成で、第
20実施例と同様な効果をもたらすことができる。

（第22実施例）第45図は本発明の第22実施例の構成を示す図であっ
て、第19,第20,第21の各実施例と同様に、本発明を電子
カメラへ応用した例である。本実施例のカメラ本体2400
の構成は、第20実施例のカメラ2300の構成から加算器23
12を除いたものに相当する。本実施例における、カメラ
本体2400もプリ撮像と本撮像の２つの動作を行う。この
うち、プリ撮像は第20実施例に記載した内容と同様であ
るので説明は省く。本撮像においては、プリ撮像によっ
て決定した条件に従って画像の積算入力が行われるよう
に、コントローラ2406が合焦点位置制御器2407を制御す
る。そして露光時間内に合焦点位置を所定の速度で変え
ながら、レンズ2401で結像した画像を撮像素子2408の受
光面上に積算する。積算入力された画像はA/D変換器240
9によってディタル信号に変換された後、メモリ2413に
記録される。この記録された画像データは、メモリ2405
に記録されている測距データと共に書込み装置2414によ
って記録媒体1900に記録される。前記記録媒体1900に記
録された積算入力画像は第20実施例で示したものと同様
のプロセッサにおいて読み出され、同じく前記記録媒体
1900から読み出された測距データを基に、適当な回復処
理が施されてTVモニタ上に表示される。なお、本実施例
におけるプロセッサ,TVモニタおよび観察者が諸操作を
行うためのマンマシン・インターフェースの構成は第20
実施例と同様である。

上記構成の第22実施例においては、次のような作用効
果を奏する。本実施例は第20,21の実施例と同様に、撮
影者が任意に選んだいくつかの被写体の測距データから
積算画像のぼけ方が場所に依存しないように合焦点面を
制御する作用を有する。第41図に示したような幾何的関
係が存在している場合に対応して、本実施例では露光時
間内における合焦点面の位置を、第46図に示すような変
化特性をもって制御する。つまり、カメラ本体2400に対
してより手前にあるA1点の付近については、合焦点位置
を速く動かすことにより疎に画像を積算し、遠くのA2点
付近ではゆっくり動かすことにより密に積算する。この
ようにすることにより、積算画像は第20実施例で示した
作用と同様に、ぼけ方が場所に依存しないSpace invari
antに近いものとなる。なお、第46図の曲線ｆ（ｘ）
は、第20実施例で求めた係数ωｉ（ｉ＝1,2,..,m）が合
焦点位置を表わす座標軸ｘに対する微係数になるように
定める。つまり、とする。なお、第47図に示すように合焦点位置をステッ
プ状に変えながら積算入力しても良い。この場合、各々
の合焦点位置での露光時間が第20実施例で求めた係数ω
ｉ（ｉ＝1,2,..,m）の比になるようにすることが望まし
い。

本実施例によれば、より簡単な構成で第20実施例，第
21実施例と同様の効果をもたらすことができる。

ここで、第1,第2,第3,第15,第19,第20,第21,第22実施
例等で用いられる合焦点位置の異なる画像を入力するた
めの光学系の一例を示す。

第48図はズームレンズに対する構成例を示す図であ
る。レンズ系はフォーカシング系2501,バリエータ系250
2,コンペンセータ系2503,リレーレンズ系2504で構成さ
れている。各レンズ系はさらに複数枚のレンズで構成さ
れる場合があるが、図では省略する。これらのうちリレ
ーレンズ系2504は、ズーム動作に伴う機械的な動きは行
なわず、コンペンセータ系2503から送られてきた像を、
撮像素子2506の受光面上に結像する役割を持つ。従っ
て、前記リレーレンズ系2504をリレーレンズ駆動器2505
で光軸方向に駆動することによって、レンズの焦点距離
等とは無関係に合焦点面の異なる画像を入力することが
できる。前記リレーレンズ駆動器2505（前述した各実施
例における合焦点位置制御器に相当）は、電磁モータ，
超音波モータ，ピエゾ素子等を用いたアクチュエータで
構成される。

なお本発明は上述した各実施例に限定されるものでは
なく、本発明の要旨を逸脱しない範囲で種々変形実施可
能であるのは勿論である。

［発明の効果］本発明によれば、解像度や明るさを失うことなく、焦
点深度の深い画像を再生することができ、しかも処理は
簡単であり、特に画像に対して局所的な処理を必要とし
ないため、装置化が容易であるなどの実益があり、更に
対象物の表面がどのような性質であっても影響を受けな
いことから適用範囲が広く、加えて合焦点部分の範囲の
設定を種々選択することにより、対象物の深さ構造に対
応した最適な焦点深度およびS/Nを有する画像を得るこ
とができる、等の利点をもつ画像入出力装置を提供する
ことができる、等の利点をもった画像入出力装置を提供
できる。

【図面の簡単な説明】

第１図〜第48図は本発明の実施例を示す図で、第１図は
第１実施例の構成を示す図、第２図は第２実施例の構成
を示す図、第３図は第３実施例の構成を示す図、第４図
は第４実施例の構成を示す図、第５図は第５の実施例の
構成を示す図、第６図は第５図に示したフレネルゾーン
プレートの正面図、第７図は第６実施例の構成を示す
図、第８図および第９図は第１実施例〜第６実施例にお
ける回復処理装置の異なる具体例をそれぞれ示すブロッ
ク図、第10図は上記回復処理装置における回復フィルタ
の設計方法に関する幾何学的関係図、第11図（ａ）〜
（ｄ）は同じく回復フィルタの設計方法に関する操作手
順を示す図、第12図は第７実施例の構成を示す図、第13
図は第８実施例の構成を示す図、第14図は第13図に示す
回復色フィルタの構造を示す平面図、第15図は第９実施
例の構成を示す図、第16図は第10実施例の構成を示す
図、第17図は第11実施例の構成を示す図、第18図は第17
図に示すフィルム記録画像の光学的回復処理を示す図、
第19図はファイバスコープ画像における網目構造を示す
図、第20図は上記光学的回復処理時に現われるファイバ
ースコープ画像のフーリエスペクトル像を示す図、第21
図は上記光学的回復処理に用いるフィルタを示す正面
図、第22図は第12実施例の構成を示す図である。第23図は第13実施例の構成を示す図、第24図は同第13実
施例の作用を説明するための図で、振幅対特定空間周波
数のパワー特性を示す図、第25図は第14実施例の構成を
示す図、第26図は第14実施例の回転式光シャッターの正
面図、第27図は第14実施例の対数フィルター特性図、第
28図は第15実施例の構成を示す図、第29図は第16実施例
の構成を示す図、第30図は第17実施例の構成を示す図、
第31図は第16実施例および第17実施例におけるカラー画
像の処理表示方法を説明するための概略図、第32図は第
17実施例の部分変形例を示す図でカラー画像用プロセッ
サの構成を示す図、第33図は第18実施例における光学的
ハイパスフィルタリングの部分構成図、第34図（ａ）お
よび第34図（ｂ）は同第18実施例の画像選択法を説明す
るための図、第35図（ａ）および第35図（ｂ）は第19実
施例の構成を示す図、第36図（ａ）および第36図（ｂ）
は同第19実施例のステレオマッチング手段を示す図でそ
れぞれ左画像面および右画像面を示す図、第37図は同第
19実施例のマッチング回路の構成を示す図、第38図は同
第19実施例のマッチング回路およびメモリ構成の変形例
を示す図、第39図は同第19実施例の回復処理手段を説明
する為の図、第40図（ａ）および第40図（ｂ）は第20実
施例の構成を示す図、第41図および第42図は同第20実施
例の作用説明図、第43図は第21実施例の構成を示す図、
第44図は同第21実施例の作用説明図、第45図は第22実施
例の構成を示す図、第46図および第47図は同第22実施例
の作用説明図、第48図は第１実施例等の合焦点位置制御
における光学系の構成例を示す図である。１……レンズ、２……撮像素子、３……A/D変換器、４
……加算器、５……メモリ、６……合焦点位置制御器、
７……回復処理装置、８……D/A変換器、９……ディス
プレイ、10……コントローラ。

フロントページの続き合議体審判長田口英雄審判官小林秀美審判官小池正彦 (56)参考文献特開昭59−34769（ＪＰ，Ａ) 特開昭63−8621（ＪＰ，Ａ) 特開昭63−298211（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】画像情報を入出力する装置において、複数の異なる物体面に焦点を合わせる合焦手段と、この合焦手段により異なる物体面に焦点の合った複数の
画像を入力する画像入力手段と、この画像入力手段により入力される複数の画像の合焦点
面位置の範囲を選択する範囲選択手段と、この範囲選択手段により選択された上記複数の画像を加
え合わせる画像加算手段と、この画像加算手段により加え合わせた画像に対して空間
周波数フィルタリングによる回復処理を施す画像処理手
段とを有することを特徴とする画像入出力装置。
【請求項２】画像情報を入出力する装置において、複数の異なる物体面に焦点を合わせる合焦手段と、この合焦手段により異なる物体面に焦点の合った複数の
画像を、入力すると同時に加え合わせる画像加算入力手
段と、この画像加算入力手段により加え合わせた画像に対して
空間周波数フィルタリングによる回復処理を施す画像処
理手段と、からなることを特徴とする画像入出力装置。
【請求項３】上記画像入力手段は、バンドパスフィルタ
リングを行なうフィルタ手段を有し、上記範囲選択手段
は、上記フィルタ手段にて得られた出力に基づいて、焦
点の合った物体面の位置を変化させる範囲の選択を行な
うことを特徴とする請求項１に記載の画像入出力装置。
【請求項４】上記範囲選択手段は、選択された範囲内
で、複数の物体面の間隔を不等間隔に設定する物体面間
隔設定手段を有することを特徴とする請求項１に記載の
画像入出力装置。
【請求項５】上記画像入力手段は、複数の異なる物体面
に焦点の合った複数の画像を同時に入力するように、複
数の異なる像面にそれぞれ配置された複数の画像撮像手
段を備えたことを特徴とする請求項１に記載の画像入出
力装置。
【請求項６】上記画像加算入力手段は、光像を電気的に
変換する撮像素子と、この撮像素子の出力を原色または
補色ごとに分離する色分離手段と、この色分離手段の出
力を原色または補色ごとに対数圧縮する第１の対数圧縮
回路とを有し、上記画像処理手段は、前記第１の対数圧
縮回路からの信号を逆対数変換する逆対数変換回路と、
この逆対数変換回路の出力について線形マトリクス変換
を行なうマトリクス変換回路と、このマトリクス変換回
路の出力信号を対数圧縮する第２の対数圧縮回路と、こ
の第２の対数圧縮回路の出力信号と前記第１の対数圧縮
回路の出力信号とを用いてカラー信号を合成するカラー
信号合成手段と、を有することを特徴とする請求項２に
記載の画像入出力装置。
【請求項７】上記画像加算手段は、加重加算を行なうこ
とを特徴とする請求項１に記載の画像入出力装置。
【請求項８】上記画像加算手段は、光学結像系の特性と
上記画像入力手段により複数の画像を入力する際の合焦
条件に基づいて、上記複数の入力画像の全てについて加
重係数を算出する加重係数導出手段を備え、上記複数の
入力画像の全てについて上記加重係数を掛けて画像を加
算することを特徴とする請求項７に記載の画像入出力装
置。
【請求項９】上記画像処理手段は、上記画像入力手段に
おける空間周波数特性を考慮した画像の空間周波数フィ
ルタの係数を、予め記録しておく係数記憶手段を有する
ことを特徴とする請求項１又は２に記載の画像入出力装
置。
【請求項１０】上記画像入力手段は、異なる各波長領域
ごとに複数の画像を入力するものであり、上記画像加算
手段は、上記画像入力手段により入力された焦点の異な
る複数の画像を、異なる波長領域ごとにそれぞれ加算す
るものであり、上記画像処理手段は、上記画像加算手段
により加算された画像から輝度信号を抽出する輝度信号
抽出手段と、この抽出された輝度信号に回復処理を施す
輝度信号回復手段と、この輝度信号回復手段により回復
処理を施された輝度信号および上記波長領域ごとに加算
された各画像に基づいて一つの画像を合成する画像合成
手段とを有することを特徴とする請求項１に記載の画像
入出力装置。
【請求項１１】上記画像入力手段は、焦点の合った物体
面の位置を変える手段と、光の波長領域を変える手段と
を有し、上記合焦手段により焦点の合った物体面の位置
と光の波長領域とが共に異なる複数の画像を入力するも
のであり、この画像入力手段により入力した前記画像を
加え合わせる手段と、上記画像処理手段は、上記画像加
算手段により加算された複数の画像により各画像を除算
を行なったところの各画像と前記回復処理を施された画
像とを乗算して一つの画像を合成する画像合成手段と、
を有することを特徴とする請求項１に記載の画像入出力
装置。
【請求項１２】上記合焦手段は、合焦点位置に応じて、
焦点の合った物体面の位置の移動速度を変化させる手段
を有することを特徴とする請求項２に記載の画像入出力
装置。