JP4309622B2

JP4309622B2 - Electronic imaging apparatus and electronic imaging apparatus for microscope

Info

Publication number: JP4309622B2
Application number: JP2002200208A
Authority: JP
Inventors: 順三桜井
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2009-08-05
Anticipated expiration: 2022-07-09
Also published as: JP2004048172A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子等によって撮影された画像を電子的に記録する電子的撮像装置および顕微鏡用電子的撮像装置に関するものである。
【０００２】
【従来の技術】
近年、撮影レンズにより結像された被写体像を撮像素子（ＣＣＤ）などの撮像手段により撮像するとともに、この撮像手段から電気信号として得られる画像信号を電子的に記録するようにした電子カメラなどの電子的撮像装置が多く用いられるようになっている。
【０００３】
このような電子的撮像装置では、より良好な画像を表示手段に表示することが重要であり、このため、従来、撮像手段から電気信号として出力される画像信号に対して適切な信号処理を施すことなどが行われている。
【０００４】
特開平１１−１１２８３７号公報は、このような考えに基づいたもので、撮像動作時のゲイン制御手段によるゲイン値に応じて、輪郭強調手段による輪郭強調度を可変制御するようにしている。
【０００５】
一方、最近になって撮像素子に結像される被写体像を、撮影レンズの光路中に設けた平行平板などで光学的にずらしたり、撮影レンズを光軸に垂直な平面内でずらすなどして複数枚の画像を読み取り、これらの複数枚の画像を合成して高精細の静止画像を得るような方法が実用化されている。
【０００６】
このような方法のものについても、より良好な画像を表示手段に表示するため、画像信号に対して適切な信号処理を施すことが行われており、例えば、特開平０７−１２３４２４号公報に開示されるように、ずらし画像の相対位置関係に基づいてエッジエンハンス強度を可変させ、どの状態でも安定した解像力を感じられるように画質を制御するものが知られている。
【０００７】
【発明が解決しようとする課題】
このような特開平０７-１２３４２４号公報のものは、ずらし画像の相対位置関係が細かくなるにしたがって、同公報中の図４に示すように空間周波数特性を図示右側にシフトするようにしている。つまり、空間周波数特性をナイキスト周波数が高くなる方向にシフトしエッジ強調度を上げることによって、安定した解像力を確保しようとしている。
【０００８】
ところが、このようにしてエッジ強調度を上げていくと、余計な周波数まで強調してしまうこととなり、余計なノイズやエッジ強調によるギザ等を発生させてしてしまい、かえって見苦しい画像になってしまうという問題を生じる。
【０００９】
本発明は上記事情に鑑みてなされたもので、解像感を保ちながら輪郭強調により強調されるノイズやギザを低減した良質な画像を得られる電子的撮像装置および顕微鏡用電子的撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載の発明は、被写体像を撮像する撮像素子と、前記撮像素子を周期的に変位させ、それぞれの変位位置ごとに前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、前記変位手段による各変位位置ごとの前記撮像素子の画像信号を再配置して画像合成する画像処理手段と、前記画像処理手段より再配置された画像に対して輪郭信号処理を施す輪郭強調周波数を可変可能にした輪郭強調手段とを具備し、前記輪郭強調手段は、前記撮像素子の開口部の形状に応じて定まる解像度限界点までの周波数範囲を強調するように前記輪郭強調周波数を設定することをことを特徴としている。
【００１１】
請求項２記載の発明は、請求項１記載の発明において、前記輪郭強調手段は、前記変位手段による前記撮像素子の周期的変位動作の前と後で前記輪郭強調周波数を可変可能にしたことを特徴としている。
【００１２】
請求項３記載の発明は、請求項１記載の発明において、前記撮像素子に対し前記被写体像を投射させるレンズ系を有し、前記レンズ系の種類に応じて前記輪郭強調手段による輪郭強調周波数を可変可能にしたことを特徴としている。
【００１３】
請求項４記載の発明は、請求項１記載の発明において、前記撮像素子より出力される画像の信号レベルを所定のゲインに調整するゲイン調整手段を有し、前記ゲイン調整手段のゲイン値に応じて前記輪郭強調手段による輪郭強調周波数を可変可能にしたことを特徴としている。
【００１４】
請求項５記載の発明は、照明光の開口数を調整する開口絞りと対物レンズを有し、前記対物レンズからの像を出力するポートを少なくとも１つ有する顕微鏡に接続され、前記ポートから出力された像を撮像する顕微鏡用電子的撮像装置において、前記ポートから出力され撮像された画像に対して輪郭信号処理を施す輪郭強調強度を可変可能にした輪郭強調手段と、を具備し、前記開口絞りの状態変化に応じて輪郭強調手段による輪郭強調強度を可変することを特徴としている。
【００１６】
請求項６記載の発明は、照明光の開口数を調整する開口絞りと対物レンズを有し、前記対物レンズからの像を出力するポートを少なくとも１つ有する顕微鏡に接続され、前記ポートから出力された像を撮像する顕微鏡用電子的撮像装置において、
被写体像を撮像する撮像素子と、前記撮像素子を周期的に変位させ、それぞれの変位位置ごとに前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、前記変位手段による各変位位置ごとの前記撮像素子の画像信号を再配置して画像合成する画像処理手段と、前記開口絞りの状態変化に応じて前記画像処理手段より再配置された画像に対して輪郭信号処理を施す輪郭強調周波数を可変可能にした輪郭強調手段と、を具備し、前記輪郭強調手段は、前記撮像素子の開口部の形状に応じて定まる解像度限界点までの周波数範囲を強調するように前記輪郭強調周波数を設定することを特徴としている。
【００１７】
この結果、本発明によれば、変位手段による撮像素子の変位の前後のどちらの場合も解像感を保ちながら、輪郭強調により強調される余計なノイズやエッジ強調による斜めギザ等の発生を抑制できる。
【００１８】
また、本発明によれば、レンズ系のＭＴＦに関係なく、解像感を保ちながら輪郭強調により強調される余計なノイズやエッジ強調によるギザ等の発生を抑制できる。
【００１９】
さらに、本発明によれば、ノイズ量の大きな領域で必要以上のエッジ強調をすることがなくなり、良質な画像を取得することができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００２１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態が適用される電子的撮像装置の概略構成を示すものである。図において、１は撮影光学系で、撮影レンズやこれを駆動する駆動モータおよび駆動機構等からなっている。この撮影光学系１を介して光学的な被写体像がＣＣＤ等の固体撮像素子(以下、単にＣＣＤという)２に結像される。
【００２２】
ＣＣＤ２は、結像される光学的な被写体像を光電変換し、被写体像の画像信号を生成する。
【００２３】
この場合、ＣＣＤ２には、駆動パルス等の同期信号を発生させるタイミングジェネレータ（ＴＧ）３およびシグナルジェネレータ（ＳＧ）４が接続され、所定のタイミング信号により駆動されるようになっている。また、ＣＣＤ２は、図示しない電子シャッタ機能(手段)を有しており、これにより露光時間の制御を行なうことができるようになっている。
【００２４】
ＣＣＤ２には、変位手段として圧電ドライバ５が接続されている。この圧電ドライバ５は、ピエゾ素子等の圧電素子を有するもので、この圧電素子によりＣＣＤ２を周期的に変位させ、それぞれの変位位置での被写体像の画素ずらしされた画像信号を出力させるようになっている。
【００２５】
ＣＣＤ２には、ＣＤＳ回路(相関二重サンプリング回路；Correlated Double Sampling)が接続されている。このＣＤＳ回路は、ＣＣＤ２の出力信号から画像信号成分を抽出するものである。
【００２６】
ＣＤＳ回路６には、ゲイン調整手段として増幅器（ＡＭＰ）７が接続されている。この増幅器（ＡＭＰ）７は、ＣＤＳ回路６からの出力信号レベルを所定のゲイン値に調整するためのＡＧＣ回路などを含むゲイン制御手段からなっている。
【００２７】
増幅器（ＡＭＰ）７には、Ａ／Ｄ変換器８を介して画像メモリとしてフレームメモリ９が接続されている。Ａ／Ｄ変換器８は、タイミングジェネレータ（ＴＧ）３のタイミング信号に同期して増幅器（ＡＭＰ）７より出力されるアナログ画像信号をデジタル画像信号に変換するものである。フレームメモリ９は、Ａ／Ｄ変換器８から出力されるデジタル信号を記憶するものである。また、フレームメモリ９は、メモリコントローラ１０によりデータの読み書きが制御される。フレームメモリ９は、画素ずらしにより取得される複数の画像に相当するメモリを備えており、これらメモリに各画像を各別に記憶する。そして、後述するＣＰＵ２８の制御をもとに、これら複数の画像を１つの画像に再配置(画素ずらし)する（画像処理手段）。
【００２８】
フレームメモリ９には、色分離回路１１とγ補正回路１２が接続されている。
色分離回路１１は、フレームメモリ９から読み出された画像信号をＲＬ信号、ＧＬ信号、ＢＬ信号の三原色の各色信号に分離するものである。また、γ補正回路１２は、色信号のガンマ(γ)補正処理を施すものである。
【００２９】
色分離回路１１には、画像信号のホワイトバランスを調整するＷＢ（ホワイトバランス）回路１３が接続されている。ＷＢ（ホワイトバランス）回路１３には、ホワイトクリップ１４、クリップレベル検出回路１５を介して色補正回路１６が接続されている。色補正回路１６は、色再現性を改善するための色補正を行うものである。
【００３０】
色補正回路１６には、色γ補正回路１７を介して色差マトリクス回路１８が接続されている。色γ補正回路１７は、色補正回路１６で補正された色信号のγ(γ)補正処理を施すものである。色差マトリクス回路１８は、Ｒ、Ｇ、Ｂの各色信号を輝度信号ＹＬと二つの色差信号（Ｒ−Ｙ信号及びＢ−Ｙ信号）に変換して色相や色の飽和度等を調整するものである。
【００３１】
一方、γ補正回路１２には、Ｙ信号生成部１９が接続されている。このＹ信号生成部１９は、γ補正回路１２によりγ補正処理が施された画像信号から輝度信号（Ｙ信号）のみを抽出し生成するものである。
【００３２】
Ｙ信号生成部１９には、バンドパスフィルタ（ＢＰＦ）２０が接続されている。バンドパスフィルタ（ＢＰＦ）２０は、輪郭強調手段の一部を形成するもので、Ｙ信号から低周波成分を除去して輪郭信号(以下、エッジ信号という)を抽出するようにしている。
【００３３】
バンドパスフィルタ（ＢＰＦ）２０には、コアリング部２１が接続されている。コアリング部２１も輪郭強調手段の一部を形成するもので、バンドパスフィルタ（ＢＰＦ）２０により生成されたエッジ信号のノイズ成分を抑圧又は除去し、Ｓ／Ｎ比を改善するコアリング処理を施すものである。
【００３４】
コアリング部２１には、エッジ強調度積算器２２が接続されている。エッジ強調度積算器２２は、コアリング部２１によってコアリング処理が施されたＹ信号に対して所定の係数を掛け合わせエッジ強調処理を施すもので、輪郭強調手段の一部を構成している。
【００３５】
エッジ強調度積算器２２から出力されるエッジ強調処理済みのＹ信号は、色差マトリクス回路１８から出力される輝度信号ＹＬとともに加算器２３に入力される。加算器２３は、これらの信号を加算して輝度信号ＹＨを出力するようになっている。
【００３６】
そして、加算器からの輝度信号ＹＨは、色差マトリクス回路１８からの色差信号（Ｒ−Ｙ信号及びＢ−Ｙ信号）とともに画像信号として表示手段である液晶ディスプレイ（ＬＣＤ）２４およびＤＲＡＭ２５に入力される。液晶ディスプレイ（ＬＣＤ）２４は、画像信号を表示可能な形態に処理する信号処理回路を有し、ここで信号処理された画像を表示するものである。ＤＲＡＭ２５は、画像信号を一時的に記憶するメモリ等からなるカメラ内蔵記憶手段である。
【００３７】
ＤＲＡＭ２５には、画像信号に圧縮処理及び伸長処理を施す圧縮伸長回路２６および画像信号を保存するメモリカード等の記録媒体２７が接続されている。
【００３８】
そして、上述した各構成部材は、制御手段であるＣＰＵ２８に電気的に接続されている。ＣＰＵ２８は、電子的撮像装置全体を統括的に制御するものである。ＣＰＵ２８には、操作部２９が接続されている。操作部２９は、撮影時にＡＦ動作を開始させると共に、露光動作を開始させるトリガー信号を発生させ得るトリガースイッチなど、複数のスイッチを有している。
【００３９】
このように構成された電子的撮像装置において、撮影時に行われる動作について説明する。なお、ここでは撮影時に行われる作用のうち、本発明にかかわる部分のみを説明している。
【００４０】
この場合、ＣＣＤ２は、ピエゾ素子等からなる圧電素子を有する圧電ドライバ５により一定周期で振動され、この振動に同期して撮像出力を発生する。例えば、図２（ａ）に示す画素配置において、同図（ｂ）に示す基準画素位置▲１▼に対して２／３画素間隔で、▲１▼→▲２▼→▲３▼→▲４▼→▲５▼→▲６▼→▲７▼→▲８▼→▲９▼の順番で、水平、垂直方向に、それぞれ３個所で合計９個所に画素ずらしを行い、それぞれの変位位置の撮像出力を発生する。これにより、同図（ｃ）に示すようにＲ、Ｇ、Ｂの色配列を変えることなく、Ｘ、Ｙ方向ともに３倍の画素数となり、その分解像度を向上させることができる。
【００４１】
ＣＣＤ２によって得られた画像信号は、ＣＤＳ回路６において画像信号成分が抽出され、増幅器（ＡＭＰ）７により出力信号レベルが所定のゲイン値に調整された後、Ａ／Ｄ変換器８においてデジタル信号に変換される。そして、このデジタル信号に変換された画像信号は、フレームメモリ９に一時的に記憶される。
【００４２】
フレームメモリ９は、画素ずらしにより取得される▲１▼〜▲９▼の９つの画像に相当するメモリを備えており、これらメモリに９つの画像を各別に記憶する。そして、ＣＰＵ２８の制御をもとに、これら９つの画像を１つの画像に再配置(画素ずらし)する。
【００４３】
その後、再配置された画像の画像信号は、色分離回路１１に出力される主信号と、γ補正回路１２に出力される副信号とに分岐される。ここで、主信号については、色分離回路１１以降の各回路において、所定の色補正処理等の信号処理が施される。一方、副信号については、γ補正回路１２によってγ補正処理が施された後、Ｙ信号生成部１９において、輝度信号(Ｙ信号)のみが抽出されて生成される。このＹ信号は、バンドパスフィルタ（ＢＰＦ）２０に入力される。バンドパスフィルタ（ＢＰＦ）２０は、Ｙ信号からエッジ信号を生成して、これをコアリング部２１に出力する。
【００４４】
コアリング部２１は、エッジ信号に対して所定のコアリング処理を施し、その後、これをエッジ強調度積算器２２へ出力する。そして、このエッジ強調度積算器２２においてエッジ強調処理がなされた後、エッジ強調処理済みのＹ信号は、加算器２３において主信号の輝度信号ＹＬに加算され、ＬＣＤ２４に出力され、画像の再生表示処理がなされる。
【００４５】
ところで、バンドパスフィルタ（ＢＰＦ）２０によって施されるエッジ強調処理は、通常、４×４のＢＰＦが用いられ、ナイキスト周波数付近を強調させている。つまり、図２（ａ）に示す画素ずらし前の画像信号については、図３（ａ）に示すような４×４のＢＰＦを用いることにより、ナイキスト周波数付近をエッジ強調し、同時に、所定のＭＴＦ（コントラスト再現度）を確保できるようにしている。。
【００４６】
一方、図２（ｃ）に示す画素ずらし後の画像信号は、ナイキスト周波数を上げることにより、解像度の向上と折り返しによるモアレ低減が見込まれる。
【００４７】
しかし、実際は、図４（ａ）に示すようにＣＣＤ２の開口部(光を電気信号に変換するＰＤ（ホトダイオード）)の形状が大きいような場合、同図（ｂ）に示すように▲１▼〜▲９▼の画素ずらしにより、画素ずらし前の画素位置と重なり部分が生じ、この重なり部分により解像度の向上が難しく、画素ずらし後のナイキスト周波数までＭＴＦを確保することができない。つまり、画素ずらし後の画像信号についてはＣＣＤ２の開口部の形状によって解像度の限界が決まってしまい、これ以降は、画素ずらしをしてもナイキスト周波数がシフトするだけになる。図５は、開口率８５％のＣＣＤ２の場合の解像周波数に対するＭＴＦを示すもので、画素ずらし前のナイキスト周波数Ｆ１については、問題なくＭＴＦを確保することができる。しかし、画素ずらし後のナイキスト周波数Ｆ２については、既に解像度の限界に達しているため、これ以上の解像度の向上は見込めない。
【００４８】
このような画素ずらし後の画像信号に対し、バンドパスフィルタ（ＢＰＦ）２０として４×４のＢＰＦを適用すると、図６に示すように、かかる４×４のＢＰＦの周波数特性Ｂは、図５で述べたＣＣＤ２のＭＴＦに対して画素ずらし後のナイキスト周波数付近も強調するようになっているため、解像度の向上が見込めない余計な周波数域（図示ハッチングで示す部分）Ｄまで強調をしてしまうことになる。つまり、画素ずらし後のナイキスト周波数では、既に解像度の限界に達していて、これ以上の解像度の向上は見込めないにもかかわらず、余計な強調を行ってしまうこととなり、これによりノイズやエッジ強調による斜めギザ等を発生させてしまうという問題が生じる。
【００４９】
そこで、この第１の実施の形態では、画素ずらし後については、４×４のＢＰＦに代えて図３（ｂ）に示すような６×６のＢＰＦを用いる。この６×６のＢＰＦの周波数特性は、図６中Ｃに示すように画素ずらし前のナイキスト周波数付近を含む解像度の限界点までの周波数範囲を強調するように設定されている。これにより、解像度の向上は見込めない余計な周波数域を強調することがなくなり、必要なエッジ強調のみを行うことができるので、ノイズやエッジ強調による斜めギサ等の発生を抑制することができる。
【００５０】
このことから、画素ずらしをするしないによってエッジ強調のためのバンドパスフィルタ（ＢＰＦ）２０は、４×４のＢＰＦと６×６のＢＰＦを切換えて用いるようにする。
【００５１】
この場合における撮影動作時のタイミングチャートは、図７に示すようになる。この場合、同図（ａ）に示す垂直同期信号ＶＤは、フレーム周期で出力され、この垂直同期信号ＶＤに基づいて同図（ｅ）（ｆ）に示す画素ずらし電圧ｘ、ｙが制御され画素ずらしが行われる。また、この画素ずらしごとの同図（ｂ）に示す露光により同図（ｇ）に示す画像信号が読み出される。また、同図（ｄ）に示すバンドパスフィルタ（ＢＰＦ）２０は、画像信号を画素ずらしする前の状態で撮影をする場合は、４×４のＢＰＦが用いられ、画像信号を画素ずらした後は、４×４のＢＰＦの代えて６×６のＢＰＦが用いられる。つまりバンドパスフィルタ（ＢＰＦ）２０による輪郭強度周波数を可変制御して、所定のＳ／Ｎ比を確保した状態で、エッジ強調処理が実行される。
【００５２】
このようにすれば、図２（ａ）に示す画素ずらし動作の前の画像信号については、４×４のＢＰＦを用いることにより、ナイキスト周波数付近を強調させて問題なくＭＴＦを確保することができる。また、図２（ｃ）に示す画素ずらし動作の後の画像信号については、４×４のＢＰＦに代えて６×６のＢＰＦを用いることにより、解像度の向上は見込めない余計な周波数域を強調することがなくなり、必要なエッジ強調のみを行うことができる。これにより、画素ずらし前後のどちらの場合でも解像感を保ちながら、輪郭強調により強調される余計なノイズやエッジ強調による斜めギザ等の発生を抑制できる良質な画像を取得することができる。
【００５３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００５４】
この第２の実施の形態にかかる電子的撮像装置の概略構成は、第１の実施の形態で述べた図１と同様なので、同図を援用するものとする。
【００５５】
この第２の実施の形態では、撮影光学系１や顕微鏡側の対物レンズなどの光学系を含むレンズ系のＭＴＦの傾向によってバンドパスフィルタ（ＢＰＦ）２０により輪郭強度周波数を可変することを特徴としている。
【００５６】
図８は、ＣＣＤ２のＭＴＦの一例を示すもので、このようなＣＣＤ２に対して図９（ａ）に示すように比較的ＭＴＦが高いレンズ系が用いられる場合は、これらＣＣＤ２とレンズ系を組み合わせた時のＭＴＦは、図１０（ａ）に示すようになり、解像周波数の全域に亘って高いＭＴＦを得られる。
【００５７】
このような場合は、バンドパスフィルタ（ＢＰＦ）２０として、図１１（ａ）に示すような周波数特性を有する４×４のＢＰＦを用いる。これにより、高域の周波数を含めて全域に亘って必要なエッジ強調を行うことができる。
【００５８】
一方、図８に示すようなＭＴＦのＣＣＤ２に対して図９（ｂ）に示すように比較的ＭＴＦが低いレンズ系が用いられる場合は、これらＣＣＤ２とレンズ系を組み合わせた時のＭＴＦは、図１０（ｂ）に示すようになり、特に、周波数の高い領域では、ＭＴＦが低くなり、解像度の向上がほとんど見込めない状態となる。
【００５９】
このような場合は、バンドパスフィルタ（ＢＰＦ）２０では、４×４のＢＰＦに代えて６×６のＢＰＦを用いる。この６×６のＢＰＦの周波数特性は、図１１（ｂ）に示すように解像度の向上は見込めない高い周波数域を除いた範囲の周波数を強調するように設定されている。
【００６０】
これにより、解像度の向上は見込めない余計な周波数域を強調することがなくなり、必要なエッジ強調のみを行うことができるので、ノイズやエッジ強調によるギサ等の発生を抑制することができる。
【００６１】
従って、このようにすれば、レンズ系のＭＴＦに応じてバンドパスフィルタ（ＢＰＦ）２０において、４×４のＢＰＦと６×６のＢＰＦを切換えて用いるようにすることで、解像度の向上は見込めない余計な周波数域を強調することがなくなり、必要なエッジ強調のみを行うことができる。これにより、レンズ系のＭＴＦに関係なく、解像感を保ちながら輪郭強調により強調される余計なノイズやエッジ強調によるギザ等の発生を抑制できる良質な画像を取得することができる。
【００６２】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００６３】
この第３の実施の形態にかかる電子的撮像装置の概略構成は、第１の実施の形態で述べた図１と同様なので、同図を援用するものとする。
【００６４】
上述した第１の実施の形態では、ＣＣＤ２の出力信号から画像信号成分を抽出するＣＤＳ回路６の出力信号レベルを増幅器（ＡＭＰ）７で所定のゲインに調整するようにしているが、この第３の実施の形態は、増幅器（ＡＭＰ）７のゲイン値に応じてバンドパスフィルタ（ＢＰＦ）２０により輪郭強度周波数を可変することを特徴としている。
【００６５】
図１２は、増幅器（ＡＭＰ）７のゲイン値とノイズ量の関係を示すもので、この図では、例えば取り込み画像が暗いため増幅器（ＡＭＰ）７のゲイン値を上げていくと、最初から含まれるノイズの量も増加していく様子を示している。
【００６６】
この状態から、増幅器（ＡＭＰ）７において、ゲイン値が比較的小さくノイズ量もそれほど大きくないゲイン領域Ａを使用している場合は、バンドパスフィルタ（ＢＰＦ）２０として、図１３（ａ）に示すような周波数特性を有する４×４のＢＰＦを用いる。
【００６７】
すると、この場合は、図１４に示すＣＣＤ２のＭＴＦに対して、増幅器（ＡＭＰ）７のゲイン領域Ａと図１３（ａ）に示す４×４のＢＰＦを組合わせると、図１５（ａ）に示すようなＭＴＦが得られ、高い解像度の下で必要なエッジ強調を行うことができる。
【００６８】
一方、増幅器（ＡＭＰ）７において、ゲイン値が大きくなりノイズ量も大きくいゲイン領域Ｂを使用している場合は、バンドパスフィルタ（ＢＰＦ）２０では、４×４のＢＰＦに代えて６×６のＢＰＦを用いる。この６×６のＢＰＦとして、図１３（ｂ）に示すような周波数特性を有するものを用いる。
【００６９】
すると、この場合も、図１４に示すＣＣＤ２のＭＴＦに対して、増幅器（ＡＭＰ）７のゲイン領域Ｂと図１３（ｂ）に示す６×６のＢＰＦを組合わせると、図１５（ｂ）に示すようなＭＴＦが得られ、低い解像度の下で必要なエッジ強調を行うことができる。
【００７０】
従って、このようにすれば、増幅器（ＡＭＰ）７でのゲイン値に応じてバンドパスフィルタ（ＢＰＦ）２０において、４×４のＢＰＦと６×６のＢＰＦを切換えて用いるようにすることで、ノイズ量の大きな領域で必要以上のエッジ強調をすることがなくなり、良質な画像を取得することができる。
【００７１】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。
【００７２】
図１６は、本発明の顕微鏡用電子的撮像装置が適用される顕微鏡の概略構成を示すものである。なお、このような顕微鏡に接続される顕微鏡用電子的撮像装置の概略構成は、第１の実施の形態で述べた図１と同様なので、同図を援用するものとする。
【００７３】
図１６において、３１は光源で、この光源３１より発せられた光は、コレクタレンズ３２で集光され、照明範囲を調整するためのＦＳ（視野絞り）３３、照明光の開口数を調整するＡＳ（開口絞り）３４、コンデンサレンズ３５を介して試料３６に照射される。また、試料３６からの透過光は、対物レンズ３７、結像レンズ３８を介してＣＣＤ３９により撮像される。この場合、ＣＣＤ３９は、図示しないポートに接続される顕微鏡用電子的撮像装置（図１参照）のＣＣＤ２に該当している。
【００７４】
ところで、このように構成した顕微鏡では、ＡＳ（開口絞り）３４を閉じたときと開いたときとで対物レンズ３７のＭＴＦが変化することが知られている。
【００７５】
図１７は、この状態を説明するもので、同図（Ａ）はＡＳ（開口絞り）３４が閉の場合、同図（Ｂ）はＡＳ（開口絞り）３４が開の場合のそれぞれの対物レンズ３７のＭＴＦを示している。同図からも明らかなように、ＡＳ（開口絞り）３４が閉の場合は、ＡＳ（開口絞り）３４が開の場合と比べ、中域での解像度が高くなっている。一方、図示（Ｂ）のＡＳ（開口絞り）３４が開の場合は、図示（Ａ）のＡＳ（開口絞り）３４が閉の場合と比べ、限界解像度が高域方向に大幅に延びている。
【００７６】
これにより、ＡＳ（開口絞り）３４が開の状態で取得される画像のＭＴＦが図１８（Ｃ）の状態にあった場合、ＡＳ（開口絞り）３を閉の状態に調整すると、これにより取得される画像のＭＴＦは、同図（Ｄ）に示すように中域でのＭＴＦが上がり過ぎて、著しく不自然な画像になってしまい、また、不必要な高域のＭＴＦ強調によりノイズの発生を招いてしまう。
【００７７】
そこで、この第４の実施の形態では、ＡＳ（開口絞り）３４の状態変化に応じて図１に示すエッジ強調度積算器２２でのエッジ強調度を可変するようにしている。この場合、エッジ強調度積算器２２は、ＣＰＵ２８からのゲイン値の制御指令により、図１９（ａ）（ｂ）に示すようにエッジ強調度のレベルを可変可能にしている。
【００７８】
このような構成において、いま、ＡＳ（開口絞り）３４が開の場合は、エッジ強調度積算器２２において、同図（ａ）に示す通常のエッジ強調度が選択される。これにより、ＡＳ（開口絞り）３４が開の状態で取得される画像のＭＴＦは、図１８（Ｃ）に示す状態が維持され、自然で良質な画像を取得することができる。一方、ＡＳ（開口絞り）３４が閉の場合は、図１８（Ｄ）に示すように中域での解像度が高くなるので、エッジ強調度積算器２２において、同図（ｂ）に示すレベルの小さなエッジ強調度が選択される。これにより、中域での解像度が高くなり過ぎるのが抑制され、ＡＳ（開口絞り）３４が閉の状態で取得される画像のＭＴＦも、図１８（Ｃ）に示す状態となって、自然で良質な画像を取得することができる。
【００７９】
一方、この第４の実施の形態では、ＡＳ（開口絞り）３４の状態変化に応じてバンドパスフィルタ（ＢＰＦ）２０により輪郭強度周波数を可変するようにもしている。
【００８０】
この場合、図１７中（Ａ）に示すＡＳ（開口絞り）３４が閉状態で、限界解像度が高域方向に延びていない場合は、バンドパスフィルタ（ＢＰＦ）２０として、図２０（ｂ）に示すような周波数特性を有する６×６のＢＰＦを用いる。この６×６のＢＰＦの周波数特性は、解像度の向上は見込めない高い周波数域を除いた範囲の周波数を強調するように設定されている。これにより、解像度の向上は見込めない余計な周波数域を強調することがなくなり、必要なエッジ強調のみを行うことができるので、ノイズの発生を抑制することができる。
【００８１】
また、図１７中（Ｂ）に示すＡＳ（開口絞り）３４が開状態で、限界解像度が高域方向に大幅に延びている場合は、バンドパスフィルタ（ＢＰＦ）２０として、６×６のＢＰＦに代えて図２０（ａ）に示すような周波数特性を有する４×４のＢＰＦを用いる。これにより、高域の周波数を含めて全域に亘って必要なエッジ強調を行うことができる。
【００８２】
従って、このようにすれば、ＡＳ（開口絞り）３４の状態変化に応じて輪郭強調度および輪郭強度周波数を可変することにより、ノイズの発生を抑制した良質な画像を取得することができる。
【００８３】
その他、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
【００８４】
さらに、上記実施の形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題を解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【００８５】
【発明の効果】
以上述べたように本発明によれば、解像感を保ちながら輪郭強調により強調されるノイズや斜めギザを低減した良質な画像を得られる電子的撮像装置および顕微鏡用電子的撮像装置を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の電子的撮像装置の概略構成を示す図。
【図２】第１の実施の形態の画素ずらしを説明するための図。
【図３】第１の実施の形態に用いられる４×４、６×６のＢＰＦを示す図。
【図４】第１の実施の形態に用いられるＣＣＤの開口部を説明する図。
【図５】第１の実施の形態に用いられるＣＣＤのＭＴＦを説明する図。
【図６】第１の実施の形態の４×４と６×６のＢＰＦを切換えた状態を説明する図。
【図７】第１の実施の形態の撮影動作時のタイミングチャートを示す図。
【図８】本発明の第２の実施の形態に用いられるＣＣＤのＭＴＦを説明する図。
【図９】第２の実施の形態に用いられるレンズ系のＭＴＦを説明する図。
【図１０】第２の実施の形態を説明するための図。
【図１１】第２の実施の形態の４×４と６×６のＢＰＦの周波数特性を示す図。
【図１２】本発明の第３の実施の形態に用いられる増幅器（ＡＭＰ）のゲイン値とノイズ量の関係を示す図。
【図１３】第３の実施の形態の４×４と６×６のＢＰＦの周波数特性を示す図。
【図１４】第３の実施の形態に用いられるＣＣＤのＭＴＦを説明する図。
【図１５】第３の実施の形態を説明するための図。
【図１６】本発明の第４の実施の形態に適用される顕微鏡の概略構成を示す図。
【図１７】第４の実施の形態の開口絞りの状態変化に応じたＭＴＦを説明する図。
【図１８】第４の実施の形態の開口絞りの状態変化に応じて取得される画像のＭＴＦを説明する図。
【図１９】第４の実施の形態に用いられるエッジ強調度積算器のエッジ強調度を説明する図。
【図２０】第４の実施の形態の４×４と６×６のＢＰＦの周波数特性を示す図。
【符号の説明】
１…撮影光学系
２…ＣＣＤ
３…タイミングジェネレータ（ＴＧ）
４…シグナルジェネレータ（ＳＧ）４
５…圧電ドライバ
６…ＣＤＳ回路
７…増幅器（ＡＭＰ）
８…Ａ／Ｄ変換器
９…フレームメモリ
１０…メモリコントローラ
１１…色分離回路
１２…γ補正回路
１３…ＷＢ（ホワイトバランス）回路
１４…ホワイトクリップ
１５…クリップレベル検出回路
１６…色補正回路
１７…γ補正回路
１８…色差マトリクス回路
１９…Ｙ信号生成部
２１…コアリング部
２２…エッジ強調度積算器
２３…加算器
２４…ＬＣＤ
２５…ＤＲＡＭ
２６…圧縮伸長回路
２７…記録媒体
２８…ＣＰＵ
２９…操作部
３１…光源
３２…コレクタレンズ
３３…ＦＳ（視野絞り）
３４…ＡＳ（開口絞り）
３５…コンデンサレンズ
３６…試料
３７…対物レンズ
３８…結像レンズ
３９…ＣＣＤ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic imaging device that electronically records an image taken by a solid-state imaging device or the like, and an electronic imaging device for a microscope.
[0002]
[Prior art]
In recent years, an image of a subject image formed by a photographing lens is picked up by an image pickup device such as an image pickup device (CCD), and an electronic camera or the like that electronically records an image signal obtained as an electric signal from the image pickup device. Many electronic imaging devices are used.
[0003]
In such an electronic imaging device, it is important to display a better image on the display unit. For this reason, conventionally, appropriate signal processing is performed on an image signal output as an electrical signal from the imaging unit. Things are being done.
[0004]
Japanese Patent Application Laid-Open No. 11-112837 is based on such a concept, and the contour enhancement degree by the contour enhancement unit is variably controlled according to the gain value by the gain control unit during the imaging operation.
[0005]
On the other hand, the subject image that has recently been imaged on the image sensor is optically shifted with a parallel plate provided in the optical path of the photographic lens, or the photographic lens is shifted in a plane perpendicular to the optical axis. A method of reading a plurality of images and synthesizing the plurality of images to obtain a high-definition still image has been put into practical use.
[0006]
Even in this method, in order to display a better image on the display means, appropriate signal processing is performed on the image signal. For example, it is disclosed in Japanese Patent Application Laid-Open No. 07-123424. As described above, it is known that the edge enhancement intensity is varied based on the relative positional relationship of the shifted image, and the image quality is controlled so that a stable resolution can be felt in any state.
[0007]
[Problems to be solved by the invention]
In this Japanese Patent Application Laid-Open No. 07-123424, the spatial frequency characteristics are shifted to the right as shown in FIG. 4 as the relative positional relationship between the shifted images becomes finer. That is, the spatial frequency characteristic is shifted in the direction in which the Nyquist frequency is increased to increase the edge emphasis level, thereby ensuring stable resolution.
[0008]
However, if the degree of edge enhancement is increased in this way, it will be emphasized up to an extra frequency, causing extra noise, jaggedness due to edge enhancement, and so on, resulting in an unsightly image. This causes a problem.
[0009]
The present invention has been made in view of the above circumstances, and provides an electronic imaging device and an electronic imaging device for a microscope that can obtain a high-quality image with reduced noise and jaggedness enhanced by contour enhancement while maintaining a sense of resolution. The purpose is to do.
[0010]
[Means for Solving the Problems]
The invention according to claim 1 is an image sensor that captures a subject image, and a displacement unit that periodically displaces the image sensor and outputs an image signal of the subject image from the image sensor for each displacement position; Image processing means for rearranging the image signals of the image sensor for each displacement position by the displacement means and synthesizing the image, and a contour enhancement frequency for performing contour signal processing on the image rearranged by the image processing means A contour emphasizing means that can be varied, and The contour emphasizing unit sets the contour emphasizing frequency so as to emphasize a frequency range up to a resolution limit point determined according to the shape of the opening of the image sensor. It is characterized by that.
[0011]
According to a second aspect of the present invention, in the first aspect of the invention, the contour emphasizing unit may change the contour emphasizing frequency before and after the periodic displacement operation of the image sensor by the displacement unit. It is a feature.
[0012]
According to a third aspect of the invention, there is provided a lens system according to the first aspect, wherein the subject image is projected onto the image sensor, and the contour emphasis frequency by the contour emphasizing means is set according to the type of the lens system. It is characterized by being variable.
[0013]
According to a fourth aspect of the present invention, in the first aspect of the invention, there is provided gain adjustment means for adjusting a signal level of an image output from the image pickup device to a predetermined gain, and the gain adjustment means according to the gain value of the gain adjustment means. Thus, the contour emphasis frequency by the contour emphasizing means can be varied.
[0014]
The invention according to claim 5 is connected to a microscope having an aperture stop for adjusting the numerical aperture of illumination light and an objective lens, and having at least one port for outputting an image from the objective lens, and is output from the port. In the electronic imaging device for a microscope for picking up a captured image, there is provided contour enhancement means capable of varying contour enhancement strength for performing contour signal processing on the image output from the port and captured, and the aperture stop The contour emphasis intensity by the contour emphasizing means is varied according to the state change.
[0016]
Claim 6 The invention described is connected to a microscope having an aperture stop for adjusting the numerical aperture of illumination light and an objective lens, and having at least one port for outputting an image from the objective lens. In an electronic imaging device for a microscope for imaging,
An image pickup device for picking up a subject image, a displacement means for periodically displacing the image pickup device and outputting an image signal of the subject image from the image pickup device for each displacement position, and for each displacement position by the displacement means Image processing means for rearranging the image signals of the image sensor and synthesizing the images, According to the state change of the aperture stop Contour emphasizing means capable of varying the contour emphasis frequency for performing the contour signal processing on the image rearranged by the image processing means, The contour emphasizing unit sets the contour emphasizing frequency so as to emphasize a frequency range up to a resolution limit point determined according to the shape of the opening of the image sensor. It is characterized by doing.
[0017]
As a result, according to the present invention, while maintaining a sense of resolution in both cases before and after the displacement of the image sensor by the displacement means, it is possible to suppress the occurrence of extraneous noise emphasized by edge emphasis or oblique jaggedness due to edge emphasis. it can.
[0018]
Further, according to the present invention, it is possible to suppress the occurrence of extra noise that is emphasized by edge emphasis while maintaining a sense of resolution, or burrs caused by edge emphasis, regardless of the MTF of the lens system.
[0019]
Furthermore, according to the present invention, it is not necessary to perform edge enhancement more than necessary in a region with a large amount of noise, and a high-quality image can be acquired.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
(First embodiment)
FIG. 1 shows a schematic configuration of an electronic imaging apparatus to which the first embodiment of the present invention is applied. In the figure, reference numeral 1 denotes a photographic optical system, which includes a photographic lens, a drive motor and a drive mechanism for driving the photographic lens. An optical subject image is formed on a solid-state imaging device (hereinafter simply referred to as a CCD) 2 such as a CCD through the photographing optical system 1.
[0022]
The CCD 2 photoelectrically converts an optical subject image to be formed and generates an image signal of the subject image.
[0023]
In this case, a timing generator (TG) 3 and a signal generator (SG) 4 for generating a synchronizing signal such as a driving pulse are connected to the CCD 2 and are driven by a predetermined timing signal. The CCD 2 has an electronic shutter function (means) (not shown) so that the exposure time can be controlled.
[0024]
A piezoelectric driver 5 is connected to the CCD 2 as a displacement means. The piezoelectric driver 5 has a piezoelectric element such as a piezoelectric element, and the CCD 2 is periodically displaced by the piezoelectric element to output an image signal in which the subject image is shifted from each other at each displacement position. ing.
[0025]
The CCD 2 is connected to a CDS circuit (Correlated Double Sampling). This CDS circuit extracts an image signal component from the output signal of the CCD 2.
[0026]
An amplifier (AMP) 7 is connected to the CDS circuit 6 as a gain adjusting means. The amplifier (AMP) 7 includes gain control means including an AGC circuit for adjusting the output signal level from the CDS circuit 6 to a predetermined gain value.
[0027]
A frame memory 9 as an image memory is connected to the amplifier (AMP) 7 via an A / D converter 8. The A / D converter 8 converts the analog image signal output from the amplifier (AMP) 7 into a digital image signal in synchronization with the timing signal of the timing generator (TG) 3. The frame memory 9 stores the digital signal output from the A / D converter 8. The frame memory 9 is controlled by the memory controller 10 to read and write data. The frame memory 9 includes a memory corresponding to a plurality of images acquired by pixel shifting, and stores each image in these memories. Then, based on the control of the CPU 28 to be described later, the plurality of images are rearranged (pixel shift) into one image (image processing means).
[0028]
A color separation circuit 11 and a γ correction circuit 12 are connected to the frame memory 9.
The color separation circuit 11 separates the image signal read from the frame memory 9 into the three primary color signals of the RL signal, the GL signal, and the BL signal. The γ correction circuit 12 performs a gamma (γ) correction process on the color signal.
[0029]
A WB (white balance) circuit 13 for adjusting the white balance of the image signal is connected to the color separation circuit 11. A color correction circuit 16 is connected to the WB (white balance) circuit 13 via a white clip 14 and a clip level detection circuit 15. The color correction circuit 16 performs color correction for improving color reproducibility.
[0030]
A color difference matrix circuit 18 is connected to the color correction circuit 16 via a color γ correction circuit 17. The color γ correction circuit 17 performs γ (γ) correction processing of the color signal corrected by the color correction circuit 16. The color difference matrix circuit 18 converts the color signals of R, G, and B into a luminance signal YL and two color difference signals (RY signal and BY signal) to adjust the hue and color saturation. is there.
[0031]
On the other hand, a Y signal generation unit 19 is connected to the γ correction circuit 12. The Y signal generation unit 19 extracts and generates only a luminance signal (Y signal) from the image signal that has been subjected to γ correction processing by the γ correction circuit 12.
[0032]
A band pass filter (BPF) 20 is connected to the Y signal generation unit 19. The band pass filter (BPF) 20 forms part of the contour emphasizing means, and extracts a contour signal (hereinafter referred to as an edge signal) by removing low frequency components from the Y signal.
[0033]
A coring unit 21 is connected to the band pass filter (BPF) 20. The coring unit 21 also forms part of the contour emphasizing means, and suppresses or removes the noise component of the edge signal generated by the bandpass filter (BPF) 20 to perform coring processing for improving the S / N ratio. It is something to apply.
[0034]
An edge enhancement integrator 22 is connected to the coring unit 21. The edge enhancement degree integrator 22 performs edge enhancement processing by multiplying a Y coefficient that has been subjected to coring processing by the coring unit 21 by a predetermined coefficient, and constitutes part of the contour enhancement means. .
[0035]
The edge-enhanced Y signal output from the edge enhancement integrator 22 is input to the adder 23 together with the luminance signal YL output from the color difference matrix circuit 18. The adder 23 adds these signals and outputs a luminance signal YH.
[0036]
The luminance signal YH from the adder is input as an image signal to the liquid crystal display (LCD) 24 and the DRAM 25 as an image signal together with the color difference signals (RY signal and BY signal) from the color difference matrix circuit 18. . The liquid crystal display (LCD) 24 has a signal processing circuit for processing an image signal into a displayable form, and displays the signal-processed image here. The DRAM 25 is a camera built-in storage unit including a memory or the like that temporarily stores an image signal.
[0037]
Connected to the DRAM 25 are a compression / decompression circuit 26 that performs compression processing and decompression processing on the image signal, and a recording medium 27 such as a memory card that stores the image signal.
[0038]
Each component described above is electrically connected to the CPU 28 which is a control means. The CPU 28 comprehensively controls the entire electronic imaging apparatus. An operation unit 29 is connected to the CPU 28. The operation unit 29 has a plurality of switches such as a trigger switch that can start an AF operation at the time of photographing and generate a trigger signal for starting an exposure operation.
[0039]
An operation performed at the time of shooting in the electronic imaging apparatus configured as described above will be described. Here, only the portion related to the present invention is described among the actions performed at the time of photographing.
[0040]
In this case, the CCD 2 is vibrated at a constant period by a piezoelectric driver 5 having a piezoelectric element such as a piezo element, and generates an imaging output in synchronization with this vibration. For example, in the pixel arrangement shown in FIG. 2A, (1) → (2) → (3) → (4) at 2/3 pixel intervals with respect to the reference pixel position (1) shown in FIG. 2 (b). In order of ▼ → ▲ 5 ▼ → ▲ 6 ▼ → ▲ 7 ▼ → ▲ 8 ▼ → ▲ 9 ▼, pixel shift is performed in 9 locations in total, 3 in each of the horizontal and vertical directions, and each displacement position is imaged. Generate output. As a result, as shown in FIG. 6C, the number of pixels is tripled in the X and Y directions without changing the color arrangement of R, G, and B, and the resolution can be improved accordingly.
[0041]
The image signal component obtained from the CCD 2 is extracted by the CDS circuit 6 and the output signal level is adjusted to a predetermined gain value by the amplifier (AMP) 7, and then converted into a digital signal by the A / D converter 8. Converted. The image signal converted into the digital signal is temporarily stored in the frame memory 9.
[0042]
The frame memory 9 includes memories corresponding to nine images (1) to (9) acquired by pixel shifting, and stores nine images in these memories. Then, under the control of the CPU 28, these nine images are rearranged (pixel shift) into one image.
[0043]
Thereafter, the image signal of the rearranged image is branched into a main signal output to the color separation circuit 11 and a sub signal output to the γ correction circuit 12. Here, the main signal is subjected to signal processing such as predetermined color correction processing in each circuit after the color separation circuit 11. On the other hand, after the γ correction processing is performed by the γ correction circuit 12, the sub signal is generated by extracting only the luminance signal (Y signal) in the Y signal generation unit 19. This Y signal is input to a band pass filter (BPF) 20. The band pass filter (BPF) 20 generates an edge signal from the Y signal and outputs it to the coring unit 21.
[0044]
The coring unit 21 performs a predetermined coring process on the edge signal, and then outputs it to the edge enhancement integrator 22. After the edge enhancement processing is performed in the edge enhancement integrator 22, the edge-enhanced Y signal is added to the luminance signal YL of the main signal in the adder 23, and is output to the LCD 24 for image reproduction display. Processing is done.
[0045]
By the way, the edge enhancement processing performed by the bandpass filter (BPF) 20 usually uses a 4 × 4 BPF, and emphasizes the vicinity of the Nyquist frequency. That is, for the image signal before pixel shift shown in FIG. 2A, edge enhancement is performed near the Nyquist frequency by using a 4 × 4 BPF as shown in FIG. (Contrast reproducibility) can be secured. .
[0046]
On the other hand, the image signal after pixel shift shown in FIG. 2C is expected to improve resolution and reduce moire due to aliasing by increasing the Nyquist frequency.
[0047]
However, in actuality, when the shape of the opening of the CCD 2 (PD (photodiode) for converting light into an electrical signal) is large as shown in FIG. 4A, (1) as shown in FIG. 4B. The pixel shift of (9) causes an overlap portion with the pixel position before the pixel shift, and this overlap portion makes it difficult to improve the resolution, and the MTF cannot be secured up to the Nyquist frequency after the pixel shift. In other words, the resolution limit of the image signal after pixel shift is determined by the shape of the opening of the CCD 2, and thereafter, the Nyquist frequency only shifts even if pixel shift is performed. FIG. 5 shows the MTF with respect to the resolution frequency in the case of the CCD 2 having an aperture ratio of 85%. With respect to the Nyquist frequency F1 before pixel shift, the MTF can be secured without any problem. However, the Nyquist frequency F2 after the pixel shift has already reached the limit of resolution, and therefore no further improvement in resolution can be expected.
[0048]
When a 4 × 4 BPF is applied as the bandpass filter (BPF) 20 to the image signal after such pixel shift, as shown in FIG. 6, the frequency characteristic B of the 4 × 4 BPF is as shown in FIG. As described above, the vicinity of the Nyquist frequency after pixel shift is emphasized with respect to the MTF of the CCD 2 described above, so that an extra frequency region (portion indicated by hatching in the figure) D where improvement in resolution cannot be expected is emphasized. It will be. In other words, the Nyquist frequency after pixel shifting has already reached the limit of resolution, and even though no further improvement in resolution can be expected, extra enhancement will be performed, which causes noise and edge enhancement. There arises a problem of causing oblique burrs and the like.
[0049]
Therefore, in the first embodiment, after pixel shifting, a 6 × 6 BPF as shown in FIG. 3B is used instead of the 4 × 4 BPF. The frequency characteristics of the 6 × 6 BPF are set so as to emphasize the frequency range up to the resolution limit including the vicinity of the Nyquist frequency before pixel shift, as indicated by C in FIG. As a result, an unnecessary frequency region that cannot be expected to improve the resolution is not emphasized, and only necessary edge enhancement can be performed. Therefore, it is possible to suppress the occurrence of noise and slanting due to edge enhancement.
[0050]
For this reason, the band pass filter (BPF) 20 for edge enhancement switches between 4 × 4 BPF and 6 × 6 BPF without using pixel shifting.
[0051]
A timing chart during the photographing operation in this case is as shown in FIG. In this case, the vertical synchronizing signal VD shown in FIG. 6A is output in a frame period, and the pixel shift voltages x and y shown in FIGS. 5E and 5F are controlled based on the vertical synchronizing signal VD. Shifting is performed. Further, the image signal shown in FIG. 5G is read out by the exposure shown in FIG. 5B for each pixel shift. Also, the band pass filter (BPF) 20 shown in FIG. 4D uses a 4 × 4 BPF when shooting in a state before shifting the image signal by pixel, and after shifting the image signal by pixel. 6 × 6 BPF is used instead of 4 × 4 BPF. That is, the edge enhancement processing is executed in a state where a predetermined S / N ratio is secured by variably controlling the contour intensity frequency by the band pass filter (BPF) 20.
[0052]
In this way, with respect to the image signal before the pixel shifting operation shown in FIG. 2A, by using the 4 × 4 BPF, the vicinity of the Nyquist frequency can be emphasized and the MTF can be secured without any problem. . In addition, with respect to the image signal after the pixel shifting operation shown in FIG. 2C, an extra frequency region that cannot be expected to improve the resolution is emphasized by using a 6 × 6 BPF instead of the 4 × 4 BPF. Thus, only necessary edge enhancement can be performed. As a result, it is possible to obtain a high-quality image that can suppress the occurrence of extraneous noise emphasized by contour emphasis or oblique jaggedness due to edge emphasis while maintaining a sense of resolution in both cases before and after pixel shifting.
[0053]
(Second Embodiment)
Next, a second embodiment of the present invention will be described.
[0054]
Since the schematic configuration of the electronic imaging apparatus according to the second embodiment is the same as that of FIG. 1 described in the first embodiment, the same figure is used.
[0055]
The second embodiment is characterized in that the contour intensity frequency is varied by the band pass filter (BPF) 20 according to the tendency of the MTF of the lens system including the optical system such as the photographing optical system 1 and the objective lens on the microscope side. Yes.
[0056]
FIG. 8 shows an example of the MTF of the CCD 2. When a lens system having a relatively high MTF is used for such a CCD 2 as shown in FIG. 9A, the CCD 2 and the lens system are combined. The MTF at that time is as shown in FIG. 10A, and a high MTF can be obtained over the entire resolution frequency.
[0057]
In such a case, a 4 × 4 BPF having frequency characteristics as shown in FIG. 11A is used as the bandpass filter (BPF) 20. Thereby, necessary edge emphasis can be performed over the whole region including a high frequency.
[0058]
On the other hand, when a lens system having a relatively low MTF as shown in FIG. 9B is used for the MTF CCD 2 as shown in FIG. 8, the MTF when the CCD 2 and the lens system are combined is shown in FIG. As shown in FIG. 10 (b), in particular, in a high frequency region, the MTF is low, and the improvement of the resolution is hardly expected.
[0059]
In such a case, the band pass filter (BPF) 20 uses a 6 × 6 BPF instead of the 4 × 4 BPF. The frequency characteristics of the 6 × 6 BPF are set so as to emphasize frequencies in a range excluding a high frequency region where an improvement in resolution cannot be expected as shown in FIG.
[0060]
As a result, an unnecessary frequency region that cannot be expected to improve the resolution is not emphasized, and only necessary edge enhancement can be performed, so that generation of noise and the like due to edge enhancement can be suppressed.
[0061]
Therefore, in this case, the resolution can be improved by switching between 4 × 4 BPF and 6 × 6 BPF in the band pass filter (BPF) 20 according to the MTF of the lens system. No unnecessary frequency band is emphasized, and only necessary edge emphasis can be performed. Thereby, regardless of the MTF of the lens system, it is possible to acquire a high-quality image that can suppress the occurrence of extra noise enhanced by contour enhancement and the occurrence of jaggedness due to edge enhancement while maintaining a sense of resolution.
[0062]
(Third embodiment)
Next, a third embodiment of the present invention will be described.
[0063]
Since the schematic configuration of the electronic imaging apparatus according to the third embodiment is the same as that of FIG. 1 described in the first embodiment, the same figure is used.
[0064]
In the first embodiment described above, the output signal level of the CDS circuit 6 that extracts the image signal component from the output signal of the CCD 2 is adjusted to a predetermined gain by the amplifier (AMP) 7. This embodiment is characterized in that the contour intensity frequency is varied by the band-pass filter (BPF) 20 in accordance with the gain value of the amplifier (AMP) 7.
[0065]
FIG. 12 shows the relationship between the gain value of the amplifier (AMP) 7 and the amount of noise. In this figure, for example, when the gain value of the amplifier (AMP) 7 is increased because the captured image is dark, it is included from the beginning. It shows how the amount of noise increases.
[0066]
From this state, when the gain region A in which the gain value is relatively small and the noise amount is not so large is used in the amplifier (AMP) 7, the bandpass filter (BPF) 20 is shown in FIG. A 4 × 4 BPF having such frequency characteristics is used.
[0067]
In this case, when the gain region A of the amplifier (AMP) 7 and the 4 × 4 BPF shown in FIG. 13A are combined with the MTF of the CCD 2 shown in FIG. 14, FIG. The MTF as shown can be obtained and the necessary edge enhancement can be performed under high resolution.
[0068]
On the other hand, in the amplifier (AMP) 7, when the gain region B having a large gain value and a large amount of noise is used, the bandpass filter (BPF) 20 uses 6 × 6 instead of 4 × 4 BPF. The BPF is used. As this 6 × 6 BPF, one having frequency characteristics as shown in FIG. 13B is used.
[0069]
Then, also in this case, when the gain region B of the amplifier (AMP) 7 and the 6 × 6 BPF shown in FIG. 13B are combined with the MTF of the CCD 2 shown in FIG. 14, FIG. The MTF as shown can be obtained and the necessary edge enhancement can be performed under low resolution.
[0070]
Therefore, in this way, by switching the 4 × 4 BPF and the 6 × 6 BPF in the band pass filter (BPF) 20 according to the gain value in the amplifier (AMP) 7, Edge enhancement more than necessary is not required in a region with a large amount of noise, and a high-quality image can be acquired.
[0071]
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described.
[0072]
FIG. 16 shows a schematic configuration of a microscope to which the electronic imaging apparatus for a microscope according to the present invention is applied. In addition, since the schematic structure of the electronic imaging device for microscopes connected to such a microscope is the same as that of FIG. 1 described in the first embodiment, this figure is incorporated.
[0073]
In FIG. 16, reference numeral 31 denotes a light source. Light emitted from the light source 31 is collected by a collector lens 32, an FS (field stop) 33 for adjusting the illumination range, and an AS for adjusting the numerical aperture of the illumination light. The sample 36 is irradiated through the (aperture stop) 34 and the condenser lens 35. Further, the transmitted light from the sample 36 is imaged by the CCD 39 via the objective lens 37 and the imaging lens 38. In this case, the CCD 39 corresponds to the CCD 2 of the electronic imaging device for a microscope (see FIG. 1) connected to a port (not shown).
[0074]
By the way, it is known that the MTF of the objective lens 37 changes between when the AS (aperture stop) 34 is closed and when the microscope is configured as described above.
[0075]
FIG. 17 illustrates this state. FIG. 17A shows the respective objective lenses when the AS (aperture stop) 34 is closed, and FIG. 17B shows the respective objective lenses when the AS (aperture stop) 34 is open. 37 MTFs are shown. As can be seen from the figure, when the AS (aperture stop) 34 is closed, the resolution in the middle region is higher than when the AS (aperture stop) 34 is open. On the other hand, when the AS (aperture stop) 34 shown in the figure (B) is open, the limit resolution greatly extends in the high frequency direction compared to when the AS (aperture stop) 34 shown in the figure (A) is closed.
[0076]
As a result, when the MTF of the image acquired with the AS (aperture stop) 34 in the open state is in the state of FIG. 18C, the AS (aperture stop) 3 is adjusted to the closed state, and thus acquired. As shown in FIG. 4D, the MTF of the image to be displayed becomes an extremely unnatural image due to an excessive increase in the MTF in the middle range, and noise is generated due to unnecessary high frequency MTF enhancement. Will be invited.
[0077]
Therefore, in the fourth embodiment, the edge enhancement degree in the edge enhancement degree integrator 22 shown in FIG. 1 is varied according to the state change of the AS (aperture stop) 34. In this case, the edge enhancement integrator 22 can vary the level of edge enhancement as shown in FIGS. 19A and 19B by a gain value control command from the CPU 28.
[0078]
In such a configuration, when the AS (aperture stop) 34 is open, the edge enhancement integrator 22 selects the normal edge enhancement shown in FIG. As a result, the MTF of the image acquired with the AS (aperture stop) 34 opened is maintained in the state shown in FIG. 18C, and a natural and high-quality image can be acquired. On the other hand, when the AS (aperture stop) 34 is closed, the resolution in the middle region is high as shown in FIG. 18D, so that the edge enhancement integrator 22 has the level shown in FIG. A small edge enhancement is selected. Thereby, it is suppressed that the resolution in the middle range becomes too high, and the MTF of the image acquired with the AS (aperture stop) 34 closed is also in the state shown in FIG. A good quality image can be acquired.
[0079]
On the other hand, in the fourth embodiment, the contour intensity frequency is varied by the band pass filter (BPF) 20 in accordance with the state change of the AS (aperture stop) 34.
[0080]
In this case, when the AS (aperture stop) 34 shown in FIG. 17A is closed and the limit resolution does not extend in the high frequency direction, the bandpass filter (BPF) 20 is shown in FIG. A 6 × 6 BPF having frequency characteristics as shown is used. The frequency characteristics of the 6 × 6 BPF are set so as to emphasize frequencies in a range excluding a high frequency region where improvement in resolution cannot be expected. As a result, an unnecessary frequency region that cannot be expected to improve the resolution is not emphasized, and only necessary edge enhancement can be performed, so that the generation of noise can be suppressed.
[0081]
In addition, when the AS (aperture stop) 34 shown in FIG. 17B is in an open state and the limit resolution greatly extends in the high frequency direction, a 6 × 6 BPF is used as the band pass filter (BPF) 20. Instead, 4 × 4 BPF having frequency characteristics as shown in FIG. Thereby, necessary edge emphasis can be performed over the whole region including a high frequency.
[0082]
Accordingly, by changing the contour enhancement degree and the contour strength frequency in accordance with the state change of the AS (aperture stop) 34, a high-quality image in which noise is suppressed can be acquired.
[0083]
In addition, this invention is not limited to the said embodiment, In the implementation stage, it can change variously in the range which does not change the summary.
[0084]
Furthermore, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and is described in the column of the effect of the invention. If the above effect is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0085]
【The invention's effect】
As described above, according to the present invention, it is possible to provide an electronic image pickup apparatus and a microscope electronic image pickup apparatus that can obtain a high-quality image with reduced noise and oblique burrs while maintaining a sense of resolution. .
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of an electronic imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining pixel shift according to the first embodiment;
FIG. 3 is a diagram showing a 4 × 4, 6 × 6 BPF used in the first embodiment;
FIG. 4 is a diagram illustrating an opening of a CCD used in the first embodiment.
FIG. 5 is a view for explaining an MTF of a CCD used in the first embodiment.
FIG. 6 is a diagram illustrating a state in which 4 × 4 and 6 × 6 BPFs are switched according to the first embodiment.
FIG. 7 is a timing chart at the time of shooting operation according to the first embodiment.
FIG. 8 is a diagram for explaining an MTF of a CCD used in the second embodiment of the present invention.
FIG. 9 is a diagram for explaining an MTF of a lens system used in the second embodiment.
FIG. 10 is a diagram for explaining a second embodiment;
FIG. 11 is a diagram illustrating frequency characteristics of 4 × 4 and 6 × 6 BPFs according to the second embodiment.
FIG. 12 is a diagram showing a relationship between an amplifier (AMP) gain value and a noise amount used in the third embodiment of the present invention.
FIG. 13 is a diagram illustrating frequency characteristics of 4 × 4 and 6 × 6 BPFs according to the third embodiment.
FIG. 14 is a diagram for explaining an MTF of a CCD used in the third embodiment.
FIG. 15 is a diagram for explaining a third embodiment;
FIG. 16 is a diagram showing a schematic configuration of a microscope applied to a fourth embodiment of the present invention.
FIG. 17 is a diagram for explaining an MTF according to a state change of an aperture stop according to the fourth embodiment.
FIG. 18 is a diagram for explaining an MTF of an image acquired according to a state change of an aperture stop according to the fourth embodiment.
FIG. 19 is a diagram for explaining the edge enhancement degree of the edge enhancement degree integrator used in the fourth embodiment.
FIG. 20 is a diagram illustrating frequency characteristics of 4 × 4 and 6 × 6 BPFs according to the fourth embodiment.
[Explanation of symbols]
1 ... Photography optical system
2 ... CCD
3. Timing generator (TG)
4 ... Signal generator (SG) 4
5 ... Piezoelectric driver
6 ... CDS circuit
7: Amplifier (AMP)
8 ... A / D converter
9 ... Frame memory
10 ... Memory controller
11. Color separation circuit
12 ... γ correction circuit
13 ... WB (white balance) circuit
14 ... White clip
15 ... Clip level detection circuit
16 Color correction circuit
17 ... γ correction circuit
18. Color difference matrix circuit
19 ... Y signal generator
21 ... Coring part
22 ... Edge enhancement integrator
23 ... Adder
24 ... LCD
25 ... DRAM
26: Compression / decompression circuit
27 ... Recording medium
28 ... CPU
29 ... operation unit
31 ... Light source
32 ... Collector lens
33 ... FS (field stop)
34 ... AS (aperture stop)
35 ... Condenser lens
36 ... Sample
37 ... Objective lens
38 ... Imaging lens
39 ... CCD

Claims

被写体像を撮像する撮像素子と、
前記撮像素子を周期的に変位させ、それぞれの変位位置ごとに前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、
前記変位手段による各変位位置ごとの前記撮像素子の画像信号を再配置して画像合成する画像処理手段と、
前記画像処理手段より再配置された画像に対して輪郭信号処理を施す輪郭強調周波数を可変可能にした輪郭強調手段と
を具備し、
前記輪郭強調手段は、前記撮像素子の開口部の形状に応じて定まる解像度限界点までの周波数範囲を強調するように前記輪郭強調周波数を設定することをことを特徴とする電子的撮像装置。An image sensor for capturing a subject image;
Displacement means for periodically displacing the image sensor and outputting an image signal of the subject image from the image sensor for each displacement position;
Image processing means for rearranging the image signals of the image sensor for each displacement position by the displacement means and combining the images;
Contour emphasizing means capable of varying the contour emphasizing frequency for performing contour signal processing on the image rearranged by the image processing means, and
The electronic image pickup apparatus , wherein the contour emphasizing unit sets the contour emphasis frequency so as to emphasize a frequency range up to a resolution limit point determined according to a shape of an opening of the image sensor .

前記輪郭強調手段は、前記変位手段による前記撮像素子の周期的変位動作の前と後で前記輪郭強調周波数を可変可能にしたことを特徴とする請求項１記載の電子的撮像装置。 2. The electronic image pickup apparatus according to claim 1, wherein the contour emphasizing unit makes the contour emphasis frequency variable before and after the periodic displacement operation of the image sensor by the displacement unit.

前記撮像素子に対し前記被写体像を投射させるレンズ系を有し、
前記レンズ系の種類に応じて前記輪郭強調手段による輪郭強調周波数を可変可能にしたことを特徴とする請求項１記載の電子的撮像装置。A lens system for projecting the subject image onto the image sensor;
2. The electronic imaging apparatus according to claim 1, wherein a contour emphasis frequency by the contour emphasizing unit can be varied according to a type of the lens system.

前記撮像素子より出力される画像の信号レベルを所定のゲインに調整するゲイン調整手段を有し、
前記ゲイン調整手段のゲイン値に応じて前記輪郭強調手段による輪郭強調周波数を可変可能にしたことを特徴とする請求項１記載の電子的撮像装置。Gain adjusting means for adjusting a signal level of an image output from the image sensor to a predetermined gain;
2. The electronic imaging apparatus according to claim 1, wherein a contour emphasis frequency by the contour emphasizing unit can be varied in accordance with a gain value of the gain adjusting unit.

照明光の開口数を調整する開口絞りと対物レンズを有し、前記対物レンズからの像を出力するポートを少なくとも１つ有する顕微鏡に接続され、前記ポートから出力された像を撮像する顕微鏡用電子的撮像装置において、
前記ポートから出力され撮像された画像に対して輪郭信号処理を施す輪郭強調強度を可変可能にした輪郭強調手段と、を具備し、
前記開口絞りの状態変化に応じて輪郭強調手段による輪郭強調強度を可変することを特徴とする顕微鏡用電子的撮像装置。An electron for a microscope having an aperture stop for adjusting the numerical aperture of illumination light and an objective lens, connected to a microscope having at least one port for outputting an image from the objective lens, and capturing an image output from the port In a typical imaging device,
Contour emphasizing means capable of varying the contour emphasis strength for performing contour signal processing on the image output from the port and captured;
An electronic imaging apparatus for a microscope, wherein the contour emphasis intensity by the contour emphasis means is varied in accordance with a change in the state of the aperture stop.

照明光の開口数を調整する開口絞りと対物レンズとを有し、前記対物レンズからの像を出力するポートを少なくとも１つ有する顕微鏡に接続され、前記ポートから出力された像を撮像する顕微鏡用電子的撮像装置において、
被写体像を撮像する撮像素子と、
前記撮像素子を周期的に変位させ、それぞれの変位位置ごとに前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、
前記変位手段による各変位位置ごとの前記撮像素子の画像信号を再配置して画像合成する画像処理手段と、
前記開口絞りの状態変化に応じて前記画像処理手段より再配置された画像に対して輪郭信号処理を施す輪郭強調周波数を可変可能にした輪郭強調手段と、を具備し、
前記輪郭強調手段は、前記撮像素子の開口部の形状に応じて定まる解像度限界点までの周波数範囲を強調するように前記輪郭強調周波数を設定することを特徴とする顕微鏡用電子的撮像装置。A microscope having an aperture stop for adjusting the numerical aperture of illumination light and an objective lens, connected to a microscope having at least one port for outputting an image from the objective lens, and taking an image output from the port In an electronic imaging device,
An image sensor for capturing a subject image;
Displacement means for periodically displacing the image sensor and outputting an image signal of the subject image from the image sensor for each displacement position;
Image processing means for rearranging the image signals of the image sensor for each displacement position by the displacement means and combining the images;
A contour emphasizing unit capable of varying a contour emphasizing frequency for performing contour signal processing on an image rearranged by the image processing unit in accordance with a state change of the aperture stop ,
The electronic imaging apparatus for a microscope , wherein the contour emphasizing unit sets the contour emphasizing frequency so as to emphasize a frequency range up to a resolution limit point determined according to a shape of an opening of the image sensor .