JP2005091865A - 被写界深度拡大システム - Google Patents

Abstract

【課題】ゴーストを除去し被写界深度を拡大した画像を得ること。
【解決手段】瞳変調素子３を各回転角度０°と１８０°とに回転させたときにそれぞれ取得される各中間像Ｉ_１、Ｉ_２の各画像データＤ_１、Ｄ_２を取得し、これら画像データＤ_１、Ｄ_２間で和、差の演算処理を行って、リアルタイムにゴーストを除去した被写界深度を拡大した画像を得る。
【選択図】 図１

Description

本発明は、被写体からの光を波面変換素子により位相変調して得られる画像データを、画像処理して被写界深度を拡大した画像を得る被写界深度拡大システムに関する。

図１１は例えば特許文献１に記載されている、光学系の被写界深度を拡大することのできる被写界深度拡大システムの概略構成図である。被写体（サンプル）１の上方には、対物レンズ２と、波面変換素子としての瞳変調素子３と、結像レンズ４と、ＣＣＤ撮像装置５とからなる光学系６が光軸Ｐを中心として設けられている。

瞳変調素子３は、光学系６の瞳位置に配置され、被写体１からの光に対し位相分布の変調を行う。これは例えば、光学系６の光学的伝達関数（ＯＴＦ：Optical Transfer Function）が被写体１の合焦位置からの距離に関わらずほぼ一定になるように、瞳位置の位相分布を変形させる、キュービック位相変調マスクとして機能する。

このような光学系６の構成において、被写体１からの光は対物レンズ２を通って瞳変調素子３に入射し位相変調された後、結像レンズ４を通ってＣＣＤ撮像装置５上に中間像として結像される。

こうして得られる前記中間像のＯＴＦ強度分布は、通常の光学系の場合と被写界深度拡大システムで大きく異なる。通常の光学系では、被写体１が光学系６の合焦位置からずれるに従ってＯＴＦ強度分布も変化していくが、被写界深度拡大システムではその変化が小さい。すなわち、像の見え方で表現すれば、通常の光学系では合焦位置からずれた量に応じたボケが生じるが、被写界深度拡大システムでは、合焦位置からのずれ量によらず画像（前記中間像）にボケが生じそのボケ方が変化しない。

従ってＣＣＤ撮像装置５は、合焦位置からのずれ量によらずボケを生じさせた被写体１の中間像を撮像し、その画像信号を出力することになる。

画像処理装置７は、ＣＣＤ撮像装置５から画像信号を入力し画像データとして記憶し、この画像データに対して、合焦時の画像のＯＴＦ強度分布に復元するような空間フィルタを施す。

このように被写界深度拡大システムは、画像のＯＴＦ強度分布に着目し、合焦位置からずれた場合でも合焦時の強度分布と等しくなるように機能することで、被写界深度を拡大した画像を得るものである。
特開２０００−２７５５８２号公報

しかしながら、被写界深度を拡大した画像には、瞳変調素子３を除いた光学系では発生しない被写体１のゴースト像が現れてしまう。これは顕微鏡の一般的な被写体１であればそれほど影響ないが、半導体パターン等の規則性の高いパターンで欠陥検査等を行なう場合には半導体パターンとゴーストとが重なり合って観察しづらくなり、問題となる場合が発生する。

本発明は、被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像し撮像する光学系を有し、この光学系で取得された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡大した画像を得る被写界深度拡大システムにおいて、被写体と波面変換素子との相対的な角度を、光学系の光軸に対し直交する面で設定可能な回転手段と、回転手段により設定された少なくとも２つの角度にて取得された複数の画像データ間で、画像処理演算を行なって被写界深度を拡大した画像を得る画像処理手段とを具備した被写界深度拡大システムである。

本発明は、ゴーストを除去し被写界深度を拡大した画像を得ることができる被写界深度拡大システムを提供できる。

以下、本発明の第１の実施の形態について図面を参照して説明する。なお、図１１と同一部分には同一符号を付してその詳しい説明は省略する。

始めに、上記復元画像に生じるゴーストは、瞳変調素子３を光軸Ｐに対し直交方向に回転させた場合、これに応じてゴースト像も被写体像の周囲に移動して現れる。本発明はこのゴースト像が移動する現象に着目し、復元画像からゴースト像のみを除去しようとするものである。

従来例と同様に、光学系６により瞳変調素子３で位相変調された中間像がＣＣＤ撮像装置５上に結像される。ここで図１の瞳変調素子３には新たに回転駆動部１０が設けられている。この回転駆動部１０は、瞳変調素子３を光軸Ｐに対し垂直な平面内で矢印Ａ方向に初期角度０°からさらに少なくとも１８０°回転させることができる。

よって、回転駆動部１０の設定角度を０°としておき、瞳変調素子３の回転角度０°における中間像I_１を取得し、次に回転駆動部１０の設定角度を１８０°として、瞳変調素子３の回転角度が１８０°における中間像I_２を取得する。これが画像処理装置１１に入力される。

画像処理装置１１内では図２に示すような処理が行なわれる。まず、画像取得部１４は、ＣＣＤ撮像装置５からの画像信号が入力され、瞳変調素子３の回転角度０°と１８０°とで取得された各中間像I_１、I_２の各画像データに対し回復フィルタ（空間フィルタ）１２，１３を施して、復元画像データI_１’、I_２’を求める。回復フィルタの作用は従来と同様に働き、復元画像I_１’、I_２’は焦点位置によらずＯＴＦ強度分布が合焦時のものに復元され、被写界深度が拡大された画像となる。

さらに和演算部１５は、復元画像データI_１’と復元画像データI_２’が加算され、加算画像データ（I_１’＋I_２’）が求められる。

一方、復元画像データI_１’は微分演算部１７に入力され、各ライン毎に微分つまり、隣の画素との差分が行なわれる。各画素毎の微分結果は予め定められたしきい値と比較され、しきい値以上の微分値を示す画素を残し、他の画素はゼロに置換されたデータΔI_１’が得られる。

差演算部１６は、復元画像データI_１’と復元画像データI_２’との差を演算しさらに絶対値が求められる。次に、微分演算部１７の出力つまり復元画像データI_１’の微分値ΔI_１’が示す、絶対値データの反転を必要とする画素に対してのみ、極性を反転させた画像データＦ（I_１’−I_２’）が求められる。

画像成形部１８は、前記和演算部１５の出力（I_１’＋I_２’）と前記差演算部１６の出力F（I_１’−I_２’）とを加算し、これを不図示の画像表示装置に被写体画像として出力する。

これらの画像処理装置１１内での動作を図３の画像例を用いて模式的に説明する。

復元画像データＤ_１が瞳変調素子３の回転角度０°における画像であり、復元画像データＤ_２が瞳変調素子３の回転角度１８０°における画像であるとする。復元画像データＤ_１及びＤ_２には、被写体１の像１ｉと共にそのゴースト像１ｇ、１ｈが現れている。ただし、ゴースト像１ｇ、１ｈは被写体１の像１ｉに対し中心対象の位置、つまり画像中心から相対的に１８０°回転した方向に生じている。

和演算部１５で上記２画像が加算されると画像データＤ_３のようになり、加算画像データ（I_１’＋I_２’）では被写体１の像１ｉの周囲に中心対象な位置に、ゴースト像１ｇ及び１ｈが含まれることになる。微分演算部１７で復元画像データＤ_１を基に被写体１の像１ｉの立ち上がりエッジ及び立ち下がりエッジが検出され、その結果、画像データＤ_５が得られる。なお、この微分からエッジ検出までの処理を、図３ではΔで表している。

差演算部１６ではまず、復元画像データＤ_１と復元画像データＤ_２の差を演算しさらに絶対値を求めて、ゴースト１ｇ及び１ｈのみを抽出する。次に微分演算部１７の結果、画像データＤ_５を基に、ゴースト１ｇ及び１ｈの各画素における影響の方向を判断し、ゴーストを除去するように必要な各画素に対して差分値の極性を反転させる。これにより、ゴースト１ｇ及び１ｈを補正する補正データＤ_４が得られる。なお、この絶対値演算からゴースト補正データ算出までの処理を、図３ではＦで表している。

加算画像データＤ_３は補正データＤ_４と加算することにより、ゴースト１ｇ及び１ｈの影響が取り除かれ、被写体１の像１ｉのみが残ることになる。これが画像データＤ_６に相当する。

以下に、図３に示す画像データからいずれかの１ラインを抜き出した例を図４に示し、画像処理の動作をさらに詳しく説明する。

復元画像データＤ_１のラインデータｄ１（図４（ｂ）参照）に対し、これと同じラインを復元画像データＤ_２から取り出したものがラインデータｄ２（図５（ｂ）参照）である。なお、図４（ａ）及び図５（ａ）は、図４（ｂ）及び図５（ｂ）に示すラインデータｄ１、ｄ２が被写体１の像１iにゴースト像１ｇ、１ｈがそれぞれ含まれて形成されていることをイメージ的に表現したものである。ラインデータｄ１とｄ２を和演算部１５にて加算すると図６に示すようになりゴースト像１ｇ及び１ｈの両方の影響が含まれていることが分かる。

図８に示すラインデータｄ１２は、ラインデータｄ１を微分した結果である。ここでマイナス側に微分値が現れる位置は、ラインデータｄ１において立ち下がりエッジの存在を示し、プラス側に微分値が現れる位置は立ち上がりエッジの存在を示している。ゴースト像は被写体像よりも小さい成分であるから、ラインデータｄ１２に現れている大きな変化は被写体像自身のエッジであり、小さな変化はゴーストのものと判断される。従って、しきい値ｔｈを設定しておけば、しきい値ｔｈ以下のデータをゼロに置換してラインデータｄ１２から被写体のエッジのみを検出したラインデータｄ５が得られる。これが微分演算部１７からの出力となる。

一方でラインデータｄ１からラインデータｄ２を引くと、図７に示すラインデータｄ１０が得られ、ゴースト成分のみの抽出が行なわれる。さらにラインデータｄ１０の絶対値を取りラインデータｄ１１が得られるが、これをゴースト成分を補正する補正値として用いるためにはそのままでは不十分であり、微分演算部１７の出力ｄ５に従ってラインデータｄ１１のデータの極性を一部反転させる必要がある。つまり被写体１の像１ｉにおいて、周囲より小さい数値を示す暗部ではラインデータｄ１１の極性を反転させる。ラインデータｄ５においてマイナス値を示すのが立ち下がりエッジであるから、ラインデータｄ５でマイナス値を示す位置からプラス値を示す部分までを暗部と判断しラインデータｄ１１の極性を反転させると、ラインデータｄ４のようになる。これが差演算部１６の出力となる。図６及び図７に示すように差演算部１６の出力（ラインデータ）ｄ４は、和演算部１５の出力（ラインデータ）ｄ３に含まれるゴーストの成分を完全に補正するデータであることが分かる。

よって、これら差演算部１６の出力ｄ４と和演算部１５の出力ｄ３が、画像成形部１８にて加算され、図９に示すゴーストの除去された被写界深度拡大画像が得られるのである。

このように上記第１の実施の形態によれば、瞳変調素子３を各回転角度０°と１８０°とに回転させて取得される各中間像Ｉ_１，Ｉ_２を基に画像演算を行なうだけで、被写界深度を拡大した復元画像に生じるゴーストを除去することができる。

これにより、半導体パターン等のような規則性の高いパターンが形成された被写体１を観察する場合でも、ゴーストの無い鮮明な画像の観察が可能となる。また、空間フィルタを用いるときに強調されてしまう高周波成分に含まれるノイズ成分も、ある程度は除去でき、若干のＳ／Ｎ比の改善により画質の向上が図れる。

なお、第１実施例において、微分演算部１７は復元画像データI_１’を用いて被写体１の像１ｉのエッジ検出を行なったが、復元画像データI_２’を用いてもよい。また、上記において微分演算部１７の微分方向は図３の画像例の水平方向であってもよいが、これを規制する必要は無く、例えば図３の画像例の垂直方向でもよい。

また、瞳変調素子３を回転させる上記の方法に限らず、被写体１自体を回転させて瞳変調素子３との相対的な回転角度を０°と１８０°とにしてもよい。これは例えば、被写体１を回転ステージ上に載置し、この回転ステージを各回転角度０°と１８０°とに駆動制御すればよい。この場合には、復元画像データI_２’の被写体像が、復元画像データI_１’の被写体像に対し１８０°回転する為、上記のような画像間演算を行なう前に、復元画像データI_１’若しくはI_２’を１８０°回転させておく必要がある。

また、瞳変調素子３を回転させると共に回転ステージを互いに逆方向に回転駆動して瞳変調素子３と被写体１とを相対的に回転させ、互いに角度１８０°異なる回転角度０°と回転角度１８０°の状態を作ってもよい。

次に、本発明の第２の実施の形態について図１０の構成図を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。

光学系６における対物レンズ２と瞳変調素子３との間に、ハーフミラー２０が設けられ、このハーフミラー２０の反射光路上にミラー２１を介してイメージローテータ２２が設けられている。一方、ハーフミラー２０の透過光路上には、瞳変調素子３とハーフミラー２０との間にシャッタ２６、ハーフミラー２５が順に設けられている。

このイメージローテータ２２は、対物レンズ２からハーフミラー２０、ミラー２１を介して入射する被写体１からの光を１８０°回転して出射するものである。

このイメージローテータ２２の出射光路上にはミラー２３が設けられ、このミラー２３の反射光路上、ミラー２３とハーフミラー２５との間にシャッタ２４が設けられている。

上記の如く構成された被写界深度拡大システムの動作について、以下に説明する。

先ず、シャッタ２６が開放されると共に、シャッタ２４が閉じている。

この状態で、被写体１からの光は、対物レンズ２、ハーフミラー２０、開放状態のシャッタ２６、ハーフミラー２５を順に通って瞳変調素子３に入射し位相分布を変調され、結像レンズ４により中間像がＣＣＤ撮像装置５上に結像される。なお、ハーフミラー２０で反射した被写体１からの光は、シャッタ２４により遮光される。ＣＣＤ撮像装置５からは、位相変調された中間像が画像処理装置１１に出力される。この中間像は、上記第１の実施形態において瞳変調素子の回転角度が０°のときの中間像Ｉ_１に等しい。

次に、シャッタ２６が閉じると共に、シャッタ２４が開放される。

この状態で被写体１からの光は、対物レンズ２を通ってハーフミラー２０で反射しイメージローテータ２２に入射する。このイメージローテータ２２は入射した被写体１からの光を１８０°回転して出射する。

このイメージローテータ２２から出射された光は、ミラー２３で反射し、開放状態のシャッタ２４を通ってハーフミラー２５で反射し、瞳変調素子３に入射する。ここで上記と同様に瞳変調素子３により位相分布が変調され、中間像がＣＣＤ撮像装置５上に結像される。ＣＣＤ撮像装置５からは、位相変調された中間像が画像処理装置１１に出力される。この中間像は、イメージローテータ２２の作用により、上記第１の実施の形態において瞳変調素子の回転角度が１８０°のときの中間像Ｉ２に相当するのであるが、イメージローテータ２２による画像の回転では被写体１の像が、中間像Ｉ_１に対し１８０°回転して得られてしまう。そこで、画像処理装置１１内において２つの復元画像データのうち１つを回転させて、２つの復元画像データに含まれる被写体１の像が、同じ位置にくるようにしておく必要がある。

その後、このようにして得られた復元画像データに対して、上記第１の実施の形態と同様の画像処理を行なえば、ゴーストを除去した被写界深度拡大画像を得ることができる。

このように、上記第２の実施の形態によれば、瞳変調素子３に入射する前に、被写体１からの光をイメージローテータ２２により１８０°回転させる光学系を設けたので、上記第１の実施の形態と同様な効果を奏することができる。

また、各中間像Ｉ_１，Ｉ_２を取得する時には、各シャッタ２４、２６を開閉させればよいので、短時間で画像データが取得でき、瞳変調素子を用いて被写界深度拡大を行なう時の利点であるリアルタイム性を損なうことは無い。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に掲示されている複数の構成要素の適宜な組み合わせにより様々な発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせても良い。

例えば、上記各実施の形態では、瞳変調素子３と被写体１との相対的な角度を回転角度０°と１８０°とで説明したが、この角度に限らず、ゴーストが２つの復元画像データ間で異なる位置に生じるようであれば、任意の角度でもよい。例えば、図１の構成において瞳変調素子３を０°と４５°とに回転させた場合の復元画像データは、図３ではＤ１とＤ２のゴーストが点対称つまり互いに１８０°回転した方向に生じているのに対し、４５°回転した方向にゴーストが生じる。しかしその場合でも、上記と同様の画像処理演算を行なえばよい。

また、瞳変調素子３を２つ用いて、瞳変調素子３を回転角度０°に設定した第１の光学系と、もう１つの瞳変調素子を回転角度１８０°に設定した第２の光学系とをあらかじめ用意し、これら光学系に被写体１からの光を通してＣＣＤ撮像装置に入射するようにしてもよい。

また、上記のように、被写体１自体を回転させたり、イメージローテータ２２を用いて各回転角度０°、１８０°などに対応する各中間像Ｉ_１，Ｉ_２を取得する方法を用いれば、被写界深度拡大システムに限らず、通常の顕微鏡やその他の光学系に現れる画像上のゴーストを除去することができる。

本発明に係る被写界深度拡大システムの第１の実施の形態を示す構成図。 同被写界深度拡大システムにおける画像処理装置を示す構成図。 同被写界深度拡大システムにおける画像処理を示す摸式図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 同被写界深度拡大システムにおいて画像データから抜き出した１ラインに対する画像処理の動作を示す図。 本発明に係る被写界深度拡大システムの第２の実施の形態を示す構成図。 従来の被写界深度拡大システムの概略構成図。

符号の説明

１：被写体（サンプル）、２：対物レンズ、３：瞳変調素子、４：結像レンズ、５：ＣＣＤ撮像装置、６：光学系、１０：回転駆動部、１１：画像処理装置、１４：画像取得部、１２，１３：回復フィルタ（空間フィルタ）、１５：和演算部、１７：微分演算部、１６：差演算部、１８：画像成形部、２０，２５：ハーフミラー、２１，２３：ミラー、２２：イメージローテータ、２４，２６：シャッタ。

Claims (4)

1. 被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像し撮像する光学系を有し、この光学系で取得された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡大した画像を得る被写界深度拡大システムにおいて、
   前記被写体と前記波面変換素子との相対的な角度を、前記光学系の光軸に対し直交する面で設定可能な回転手段と、
   前記回転手段により設定された少なくとも２つの角度にて取得された複数の画像データ間で、画像処理演算を行なって被写界深度を拡大した画像を得る画像処理手段と、
   を具備したことを特徴とする被写界深度拡大システム。
2. 前記回転手段は、所定の回転角度だけ前記被写体と前記波面変換素子とのうちの少なくとも一方を回転駆動することを特徴とする請求項１記載の被写界深度拡大システム。
3. 前記回転手段は、前記波面変換素子と前記被写体との間に配置されるイメージローテータを有し、前記イメージローテータは被写体からの光を所定の角度だけ回転させることを特徴とする請求項１記載の被写界深度拡大システム。
4. 前記回転手段は、初期角度０°と初期角度に対し相対的に１８０°とに少なくとも設定可能なものであり、
   前記画像処理手段は、前記角度０°のときに取得された第１の画像データと、前記角度１８０°のときに取得された第２の画像データとを取込み、各々に空間フィルタを施す画像取得部と、
   前記第1の画像データ又は前記第２の画像データから各画素における微分値を求め、微分値が所定のしきい値を超えている画素を判別する微分演算部と、
   前記第1の画像データと前記第２の画像データの和画像データを求める和演算部と、
   前記第1の画像データと前記第２の画像データの差の絶対値を求め、さらに前記微分演算部の出力に応じ必要な画素にのみデータの極性を反転する差演算部と、
   前記和演算部の出力と差演算部の出力を加算する画像成形部と、
   を有することを特徴とする請求項１乃至３のうちいずれか１項記載の被写界深度拡大システム。

Images