JP5301889B2 - 顕微鏡用撮像システム、露光調整プログラム、及び露光調整方法 - Google Patents

Description

本発明は、顕微鏡により取得した観察像をＣＣＤ等の撮像手段により撮像する顕微鏡用撮像装置の自動露光制御に関する。

従来、顕微鏡に付属する周辺装置として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像手段によって顕微鏡の観察像を撮像することができる顕微鏡用撮像装置が用いられている。顕微鏡により得られる観察像をモニタに表示したり、静止画として記録したりするような場合、そのような顕微鏡用撮像装置は、所定の測光法を用いて露光制御を行い、自動的に最適な露光時間を設定している。

測光法としては、撮像手段により撮像される画像に対して、狭い範囲で測光するスポット測光法がある（例えば、特許文献１。）。また、画面全体を幾つかに分割し、分割したポイントに重み付けを行い測光する、中央重点測光法や多分割測光法がある（例えば、特許文献２。）。

なお、自動露光露出制御装置に関する従来技術として、特許文献３がある。
特開平１−２６７６２１号公報 特開２００２−３２０１３７号公報 特開昭５５−７０８２２号公報

中央重点測光法や多分割測光法は、被写体面の平均的測光を行なうものである。したがって、例えば、蛍光観察において、中央重点測光法や多分割測光法により露光時間を決定する場合、被写体の注目領域に明るいごみ等が入り込んでしまうと、露光アンダーになってしまう。

そのため、このような蛍光観察による観察像には、スポット測光法が多く用いられている。スポット測光法によれば、被写体の注目領域にスポット測光部位を定めて測光し、露光時間を決定することができる。これにより、暗いバックグラウンドや、明るいごみ等が測光に影響されず、適正な露光時間を決定できるので、良好な写真撮影が可能となる。

ところが、このようなスポット測光法を用いた場合でも、スポット測光の測定感度領域から観察対象が移動してしまうと、露光オーバの撮影像になることがあった。そのような問題を回避するために、露光時間を固定することが考えられる。しかし、露光時間を固定すると、観察対象が退色などしてしまった場合に、適正な露光時間を得ることができなくなる。そのため、観察者は、常に観察対象に対して注意を払い、上記の露光制御方法を組み合わせて、適正な露光を得るように調整しなければならなかった。

そこで、上記事情に鑑み、本発明は観察対象の輝度値が変化した場合でも、注目領域に対して適正な露光時間を設定することができる顕微鏡用撮像装置を提供する。

本発明にかかる顕微鏡用撮像システムは、顕微鏡から出力された標本像を撮像する撮像手段と、前記撮像された画像を出力する画像出力手段と、前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得する取得手段と、縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成する輝度ヒストグラム生成手段と、前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する輝度値算出手段と、前記算出した輝度値に到達するまで前記撮像手段の制御をする露光制御手段と、を備えることを特徴とする。

前記顕微鏡用撮像システムにおいて、前記輝度値算出手段は、前記第２の輝度ヒストグラムの特徴点の画素数と前記第１の輝度ヒストグラムとの交点を算出し、該交点の数に基づいて、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出することを特徴とする。

前記顕微鏡用撮像システムにおいて、前記輝度値算出手段は、前記算出された交点が２点以上の場合、該交点のうちの２点を取得し、該取得した２点間の輝度値座標系方向の第１の距離および該一方の交点と前記特徴点との間の輝度値座標系方向の第２の距離を算出し、前記第１の距離と前記第２の距離との比を算出することを特徴とする。

前記顕微鏡用撮像システムにおいて、前記輝度値算出手段は、前記算出された交点が３点以上の場合、該交点のうち最外側の２点を取得することを特徴とする。
前記顕微鏡用撮像システムは、さらに、明視野観察、暗視野観察、または蛍光観察条件下で撮像されて、前記取得手段により前記第２の画像領域として取得された少なくとも１画素とＲＧＢの比率が同じ比率のＲＧＢを有する画素を前記第１の画像領域から抽出する画素抽出手段を備え、前記輝度ヒストグラム生成手段は、前記抽出された画素に基づいて前記第２の輝度ヒストグラムを生成することを特徴とする。

前記顕微鏡用撮像システムは、さらに、前記撮像手段を駆動させる撮像駆動手段と、前記撮像駆動手段により行われた露光の時間を格納する格納手段と、を備え、前記輝度値算出手段は、前記算出された交点が１点以下の場合、前記格納手段に格納されている露光時間を読み出し、前記撮像駆動手段は、前記読み出された露光時間に基づいて、露光することを特徴とする。

前記顕微鏡用撮像システムは、さらに、前記顕微鏡の対物レンズの切り替えを検出する対物レンズ切り替え検出手段と、前記対物レンズの切り替えが検出された場合、観察者に対して適正な露光であるかの注意を促すメッセージを出力するメッセージ出力手段と、を備えることを特徴とする。

前記顕微鏡用撮像システムにおいて、前記対物レンズ切り替え検出手段は、前記撮像手段に入射する光量の変化に基づいて、前記顕微鏡の対物レンズの切り替えが行われたか否かを検出することを特徴とする。

本発明にかかる顕微鏡で観察される画像を撮像する際の露光を調整する処理をコンピュータに実行させる露光調整プログラムは、顕微鏡から出力された標本像を撮像する撮像処理と、前記撮像された画像を出力する画像出力処理と、前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得する取得処理と、縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成する輝度ヒストグラム生成処理と、前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する輝度値算出処理と、前記算出した輝度値に到達するまで前記撮像手段の制御をする露光制御処理と、をコンピュータに実行させる。

本発明にかかる顕微鏡で観察される画像を撮像する際の露光を調整する顕微鏡用撮像システムの露光調整方法は、顕微鏡から出力された標本像を撮像し、前記撮像された画像を出力し、前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得し、縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成し、前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出し、前記算出した輝度値に到達するまで前記撮像手段の制御をする、ことを特徴とする。

本発明によれば、観察対象の輝度値が変化した場合でも、注目領域に対して適正な露光時間を設定することができる。

本発明の実施形態に係る顕微鏡用撮像システムは、撮像手段、画像出力手段、取得手段、輝度ヒストグラム生成手段、輝度値算出手段、露光制御手段を含んでいる。
撮像手段は、顕微鏡から出力された標本像を撮像する。撮像手段は、本実施形態で言えば、撮像素子１１に相当する。

画像出力手段は、前記撮像された画像を出力する。画像出力手段は、例えば本実施形態で言えば、モニタ１９に出力するための出力Ｉ／Ｆ２３に相当する。
取得手段は、前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得する。取得手段は、本実施形態で言えば、操作部２２からの操作指示が入力される入力Ｉ／Ｆ２４に相当する。

輝度ヒストグラム生成手段は、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成する。輝度ヒストグラム生成手段は、本実施形態で言えば、輝度ヒストグラム変換手段１５１に相当する。

輝度値算出手段は、前記第２の輝度ヒストグラムの特徴点を検出し、前記第１の輝度ヒストグラムにおける該第２の輝度ヒストグラムの特徴点に対応する位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する。すなわち、前記輝度値算出手段は、前記第１の輝度ヒストグラムにおける頻度で示される画素数についての閾値と該第１の輝度ヒストグラムとの交点を算出し、該交点の数に基づいて、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する。輝度値算出手段は、本実施形態で言えば、露光演算手段１６１に相当する。

露光制御手段は、前記算出した輝度値に到達するまで前記撮像手段の制御をする。露光制御手段は、本実施形態で言えば、露光制御手段１６２に相当する。
これにより、観察対象の輝度値が変化した場合でも、注目領域に対して適正な露光時間を設定することができる。

前記輝度値算出手段は、前記算出された交点が２点以上の場合、該交点のうちの２点を取得し、該取得した２点間の輝度値座標系方向の第１の距離を算出し、該一方の交点と前記特徴点との間の第２の距離と前記第１の距離との比を算出することができる。

これにより、観察対象の輝度値が変化した場合でも、相対的には、画像全体の輝度値に対する注目領域の輝度値には変化しないという観点から、算出した比に基づいて、適正な露光を得ることができる。

前記輝度値算出手段は、前記算出された交点が３点以上の場合、該交点のうち最外側の２点を取得してもよい。これにより、輝度ヒストグラムの形状に関わらず、２つの交点をえることができる。

前記顕微鏡用撮像システムは、さらに、画素抽出手段を含んでもよい。画素抽出手段は、明視野観察、暗視野観察、または蛍光観察条件下で撮像されて、前記取得手段により前記第２の画像領域として取得された少なくとも１画素とＲＧＢの比率が同じ比率のＲＧＢを有する画素を前記第１の画像領域から抽出する。画素抽出手段は、例えば本実施形態でいえば、ＲＧＢ計算手段１５２に相当する。このとき、前記輝度ヒストグラム生成手段は、前記抽出された画素に基づいて前記第２の輝度ヒストグラムを生成することができる。

これにより、色成分を考慮した画像全体に対する注目領域の輝度値の比を得ることができるので、注目領域に対してより適正な露光時間を設定することができる。
また、前記顕微鏡用撮像システムにおいて、前記閾値は、前記第１の輝度ヒストグラムにおける頻度で示される画素数の上限以下で設定可能である。これにより、第１の画像領域の輝度ヒストグラムに対して、閾値を任意に設定することができる。

また、前記特徴点は、第２の輝度ヒストグラムにより表される山の頂点または中央点である。これにより、輝度ヒストグラムの特性に応じて、特徴点を任意に設定することができる。

前記顕微鏡用撮像システムは、さらに、前記撮像駆動手段により行われた露光の時間を格納する格納手段を含んでいてもよい。格納手段は、例えば、本実施形態で言えば、記録部２０に相当する。この場合、前記輝度値算出手段は、前記算出された交点が１点以下の場合、前記格納手段に格納されている露光時間を読み出し、前記撮像駆動手段は、前記読み出された露光時間に基づいて、露光することができる。

前記顕微鏡用撮像システムは、さらに、対物レンズ切り替え検出手段、メッセージ出力手段を含んでいてもよい。
対物レンズ切り替え検出手段は、前記顕微鏡の対物レンズの切り替えを検出する。具体的には、前記対物レンズ切り替え検出手段は、前記撮像手段に入射する光量の変化に基づいて、前記顕微鏡の対物レンズの切り替えが行われたか否かを検出することができる。対物レンズ切り替え検出手段は、例えば、本実施形態で言えば、対物レンズ切り替え検出手段１５３に相当する。

メッセージ出力手段は、前記対物レンズの切り替えが検出された場合、観察者に対して適正な露光であるかの注意を促すメッセージを出力する。メッセージ出力手段は、例えば、本実施形態で言えば、表示制御部１７に相当する。

これにより、対物レンズが切り替わったと判断した場合、輝度ヒストグラムの形が変わってしまう恐れがあるので、例えば、「適正な露光ですか？」などの注意を促すメッセージを表示させることができる。

＜第１の実施形態＞
本実施形態では、観察画像全体の輝度ヒストグラムと注目領域の輝度ヒストグラムとから、観察画像全体に対する注目領域の相対的な輝度値を算出し、該算出した輝度値に基づいて露光時間を設定する顕微鏡用撮像装置について説明する。

図１は、本実施形態における顕微鏡システムの構成を示す。顕微鏡システム１は、顕微鏡本体１０、顕微鏡用撮像装置２から構成される。顕微鏡本体１０は、図示しない標本の観察像を目視で観察することができるようにする。その観察像は、観察光路ａに沿って顕微鏡用撮像装置２に出力される。

顕微鏡用撮像装置２は、撮像素子１１、撮像素子駆動部１２、前置処理部１３、Ａ／Ｄ変換部１４、信号処理部１５、制御部１６、Ｄ／Ａ変換部１８、モニタ１９、記録部２０、バス２１、操作部２２、出力Ｉ／Ｆ２３、入力Ｉ／Ｆ２４を有する。

顕微鏡本体１０の観察光路ａ上には、顕微鏡本体１０からの観察像が投影される位置に、撮像手段としてＣＣＤ等の撮像素子１１が配置されている。本実施形態では、ベイヤー配列により配置されたカラーフィルターを用いたＣＣＤを例に説明する。

撮像素子１１は、撮像素子駆動部１２からの駆動信号に基づいた露光時間で駆動する。撮像素子１１は、観察像を電気信号に変換し、その電気信号を前置処理部１３に出力する。前置処理部１３は、撮像素子駆動部１２により制御パルスが与えられると、撮像素子１１からの出力信号を画像信号に変換し、その画像信号をＡ／Ｄ変換部１４へ出力する。

Ａ／Ｄ変換部１４は、撮像素子駆動部１２からのクロック信号に基づいて、前置処理部１３からの画像信号をアナログ信号からデジタル信号へ変換する。Ａ／Ｄ変換部１４は、そのデジタル化した画像信号を信号処理部１５に出力する。

信号処理部１５は、その画像信号から輝度値データを取得する手段、その画像信号からＲＧＢデータを取得する手段、及び、色補正・階調補正などの信号処理を行う手段を有する。さらに、信号処理部１５は、輝度ヒストグラム変換手段１５１、ＲＧＢ計算手段１５２、対物レンズ切り替え検出手段１５３を有している。

輝度ヒストグラム変換手段１５１は、取得した輝度値データを輝度ヒストグラムに変換する。ＲＧＢ計算手段１５２は、観察者が指定した画素（以下、注目画素と略称する。）のＲＧＢの比率を計算し、画面全体または一部の画像信号から注目画素のＲＧＢの比率と同じ画素を抽出する。対物切り替え検出手段１５３は、対物レンズが切り替わった事を検出する。

信号処理部１５から出力された画像信号は、Ｄ／Ａ変換部１８によりデジタル信号がアナログ信号に変換され、動画像としてモニタ１９に表示される。記録部２０には、画像信号に基づく画像データが記録される。

制御部１６は、露光演算手段１６１、露光制御手段１６２を有している。露光演算手段１６１は、信号処理部１５から出力された輝度ヒストグラム、後述する閾値、及び後述する交点の長さに基づいて、撮像素子１１の露光時間を演算する。露光制御手段１６２は、露光演算手段１６１による演算結果に基づいて、撮像素子１１の露光時間を制御する。

表示制御部１７は、出力インターフェース（Ｉ／Ｆ）２３を介して、モニタ１９に表示させる表示態様を調整したり、所定のメッセージを表示させたりする。
操作部２２は、モニタ１９に表示された画像において、観察者が観察したい領域（以下、「注目領域」と称する。）を指定するために、その注目領域の指定操作に用いるものである。操作部２２による操作指示信号は、入力インターフェース２４を介して、信号処理部１５へ送られる。

図２は、モニタ１９に表示された観察画像の一例を示す。モニタ１９に表示された観察画像５０において、観察者は、操作部２２を用いて、観察したい領域（注目領域）５１を指定することができる。

図３は、観察画像全体についての輝度ヒストグラムの一例を示す。横軸は、輝度値を示す。縦軸は、その輝度値に対応する画素の数（頻度）を示す。図３は、例えば、図２の観察画像５０の全体の画素についての輝度ヒストグラムを表すものとする。

図４は、観察画像全体及び注目領域についての輝度ヒストグラムの一例を示す。図４は、一例として、図２で示した観察画像５０の全体の画素についての輝度ヒストグラムと、注目領域５１の画素についての輝度ヒストグラムとを示す。

図５は、本実施形態における露光制御のフローチャートを示す。以下では、図１〜図４を参照しながら、図５について説明する。まず、信号処理部１５は、後述する閾値ＴＨの初期値をＴＨ＝ｔｈ、後述する比βの初期値をβ＝Ｆとして、各パラメータの初期化を行う。制御部１６は、露光時間Ｔの初期値をＴ＝Ｔ_iniとしてパラメータの初期化を行う（Ｓ１）。

次に、顕微鏡で標本の撮像を開始する。露光制御手段１６２は、露光時間Ｔ＝Ｔ_iniを撮像素子駆動部１２に設定する。すると、露光時間Ｔ＝Ｔ_iniで露光された画像信号が得られる。信号処理部１５は、時間平均で画面全体の輝度値データＩを取得する。具体的には、信号処理部１５は、数フレーム分の輝度値データを重ね平均したものを輝度値データＩとする（Ｓ２）。

次に、輝度ヒストグラム変換手段１５１は、その画面全体の輝度値データIから画面全体の輝度ヒストグラムHを生成する（Ｓ３）（図３参照）。
次に、信号処理部１５は、図３に示すように、閾値ＴＨ＝ｔｈと、画面全体の輝度ヒストグラムＨとの交点Ａ（Ａ₁，ＴＨ），Ｂ（Ｂ₁，ＴＨ）を算出する（Ｓ４）。

それから、露光演算手段１６１は、図３に示すように、交点Ａ，Ｂ間の長さＹ（＝｜Ａ₁−Ｂ₁｜）と、比β＝Ｆを用いて、輝度ヒストグラムＨ上の点Ｅの輝度値Ｌを算出する（Ｓ５）。Ｘ＝Ｙ×βで表されるので、点Ｅの輝度値Ｌは、Ｌ＝Ｂ₁−Ｘとなる。

露光演算手段１６１は、算出した輝度値Ｌと露光目標値Ｌ_refとを比較する（Ｓ６）。以下において、αは露光時間調整用数値、ΔＬは誤差とする。
Ｓ６において、Ｌ＜Ｌ_ref−ΔＬの場合（Ｓ６で「Ｎｏ」、Ｓ７で「Ｙｅｓ」へ進む）、露光演算手段１６１は、撮像素子駆動部１２に露光時間Ｔ＝Ｔ＋αを設定し（Ｓ８）、再度、画面全体の輝度値データＩを取得する（Ｓ２）。

Ｓ６において、Ｌ＞Ｌ_ref＋ΔＬの場合（Ｓ６で「Ｎｏ」、Ｓ７で「Ｎｏ」へ進む）、露光演算手段１６１は、撮像素子駆動部１２に露光時間Ｔ＝Ｔ−αを設定し（Ｓ９）、再度、画面全体の輝度値データＩを取得する（Ｓ２）。

Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなるまで、すなわちモニタ１９に表示される映像が定常状態になるまで、Ｓ２〜Ｓ９を繰り返す。Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなった場合に、Ｓ１０の処理へ進む。この定常状態になった時の露光時間をＴ＝Ｔ_statとする。

次に、図２で説明したように、観察者は操作部２２を用いて、モニタ１９に表示された全体画像５０から注目領域５１を指定する（Ｓ１０）。すると、信号処理部１５は、その指定された注目領域５１の輝度値データｉを時間平均で取得する（Ｓ１１）。すなわち、その注目領域５１についての数フレーム分の輝度値データを重ね平均したものを輝度値データｉとする。

次に、輝度ヒストグラム変換手段１５１は、注目領域５１の輝度値データｉに基づいて、注目領域５１についての輝度ヒストグラムｈを生成する（Ｓ１２）。それから、信号処理部１５は、輝度ヒストグラムｈの頂点Ｃ（γ，ＴＨ’）を取得する（Ｓ１３）。その後、信号処理部１５は、閾値ＴＨ＝ＴＨ’として閾値ＴＨを再設定する。

次に、信号処理部１５は、輝度ヒストグラムＨ，ｈ、及び閾値ＴＨ＝ＴＨ’を用いて、β’＝Ｘ／Ｙを算出する（Ｓ１４）。但し、Ｘ＝｜Ｂ₁−γ｜である。その後、信号処理部１５は、β＝β’としてβを再設定し、Ｓ２に移行する。

それから、信号処理部１５は、Ｓ２以降の処理を行い、再設定された閾値ＴＨ＝ＴＨ’、比β＝β’を使用し、点Ｄの輝度値Ｌを算出する（Ｓ５）。この場合、閾値ＴＨ＝ＴＨ’と、画面全体の輝度ヒストグラムＨより交点Ａ（Ａ₁’，ＴＨ’），Ｂ（Ｂ₁’，ＴＨ’）を算出する。それから、露光演算手段１６１は、図４に示すように、交点Ａ，Ｂ間の長さＹ’（＝｜Ａ₁’−Ｂ₁’｜）と、比β＝β’を用いて、点Ｄの輝度値Ｌ（＝Ｂ₁’−Ｙ’×β’）を算出する（Ｓ５）。

それから、露光演算手段１６１は、点Ｄの輝度値ＬがＬ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬを満たすときの露光時間Ｔ_statを算出する（Ｓ６）。具体的には、Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなるまで、すなわちモニタ１９に表示される映像が定常状態になるまで、Ｓ２〜Ｓ９を繰り返す。Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなった時（定常状態になった時）の露光時間をＴ＝Ｔ_statとする。これにより、点Ｄについての適正な露光時間Ｔ_statを取得することができる。その結果、注目領域を適正に露光した画像をモニタ１９に表示させることができる。

図６は、画面全体の明るさが全体的に変化した場合の輝度ヒストグラムを示す。画面全体の明るさが全体的に変化した場合、画面全体の輝度ヒストグラムも変化する。しかし、その変化は相対的な変化である。図６において、交点Ａa，Ｂa、点Ｄa、及び長さＸa，Ｙaは、それぞれ、図３の交点Ａ，Ｂ、点Ｄ、及び長さＸ，Ｙに対応する点である。そして、交点Ａa，Ｂaの位置、点Ｄaの位置、及び長さＸa，Ｙaは、図３の交点Ａ，Ｂの位置、点Ｄの位置、及び長さＸ，Ｙに対して相対的に変化したものである。

したがって、画面全体の輝度ヒストグラムが変わった場合でも、注目領域を再度指定またはβを再設定しない限り、その変化後の輝度ヒストグラムに応じて、交点Ａa，Ｂaを再設定することができる。

これにより、常に観察者が標本に対して観察したい箇所、点Ｄaを面倒な設定をすることなしに、適正な露光で観察することができる。例えば、蛍光観察において、測光スポット内に明るいゴミなどが入り込んでしまった場合でも、閾値や、交点Ａ，Ｂは、明るいゴミによる影響を受けない。したがって、常に適正な露光時間を得る事ができる。また、観察対象が退色してしまった場合にも、退色は全体的にするので注目領域も同じ割合だけ退色する。よって、相関関係を用いている本発明を用いれば、常に適正露光時間を得ることができる。

なお、対物切り替え検出手段１５２において、対物レンズが切り替わったと判断した場合、輝度ヒストグラムの形が変わってしまう恐れがあるので、例えば、表示制御部１７によって「適正な露光ですか？」などの注意を促す表示を、モニタ１９などの表示装置に表示させるようにしてもよい。

図７Ａは、本実施形態（変形例）における顕微鏡システムの構成を示す。図７Ｂは、本実施形態（変形例）におけるパーソナルコンピュータ（以下、「ＰＣ」と称する）３２の構成を示す。図７Ａ及び図７Ｂにおいて、図１と同一部分には、同符号を付し、その説明を省略する。

本変形例では、顕微鏡用撮像システム３０は、顕微鏡用撮像装置２ａとＰＣ３２から構成される。顕微鏡用撮像装置２ａは、撮像素子１１、撮像素子駆動部１２、前置処理部１３、Ａ／Ｄ変換部１４、制御部１６、バス２１、通信インターフェース（以下、インターフェースを「Ｉ／Ｆ」と称する）３１を有する。制御部１６には、通信Ｉ／Ｆ部３１を介してＰＣ３２が接続されている。ＰＣ３２は、上述した信号処理部１５、モニタ１９、記録部２０および操作部２２の機能を有している。

ＰＣ３２には、モニタ１９と、操作部２２としてのマウス３９が接続されている。ＰＣ３２は、通信Ｉ／Ｆ３３、ＣＰＵ３４、モニタ用Ｉ／Ｆ３５、ハードディスクドライブ（ＨＤＤ）３６、メモリ３７、入力用Ｉ／Ｆ３８を有する。通信Ｉ／Ｆ３３は、顕微鏡用撮像装置２と通信するためのインターフェースである。ＨＤＤ３６には、信号処理部１５で行うプログラムがハードディスクドライブ（ＨＤＤ）３６にインストールされている。メモリ３７は、ＲＡＭ，ＲＯＭ等である。ＣＰＵ３４は、ＨＤＤ３６からそのプログラムを読み込んで実行することにより、ＣＰＵ３４は信号処理部１５として機能する。モニタ用Ｉ／Ｆ３５は、モニタ１９に画像を出力するためのインターフェースである。入力用Ｉ／Ｆ３９は、マウス３９からの操作信号が入力されるインターフェースである。

このように構成することにより、ＰＣ側でも、観察画像全体の輝度ヒストグラムと注目画素の輝度ヒストグラムとから、観察画像全体に対する注目画素の相対的な輝度値を算出し、該算出した輝度値に基づいて露光時間を設定することができる。

＜第２の実施形態＞
本実施形態では、色成分を考慮した画像全体に対する注目領域の輝度値の比に基づいてより適正な露光時間を設定する顕微鏡用撮像装置について説明する。

本実施形態における顕微鏡システムの構成は、図１及び図７のいずれでも適用することができる。なお、本実施形態において、第１の実施形態と同一の構成要素には、同符号を付し、その説明を省略する。

図８は、本実施形態における露光制御のフローチャートを示す。本実施形態では、説明の便宜上、図１の構成に基づいて、当該フローを説明する。
まず、信号処理部１５は、閾値ＴＨの初期値をＴＨ＝ｔｈ、比βの初期値をβ＝Ｆとする。ＣＰＵ３４からの指示に基づいて、制御部１６は、露光時間Ｔの初期値をＴ＝Ｔ_iniとする（Ｓ２１）。

次に、顕微鏡で標本の撮像を開始する。露光制御手段１６２は、露光時間Ｔ＝Ｔ_iniを撮像素子駆動部１２に設定する。すると、露光時間Ｔ＝Ｔ_iniで露光された画像信号が得られる。信号処理部１５は、顕微鏡用撮像装置２から時間平均で画面全体の輝度値データＩを取得する。具体的には、信号処理部１５は、数フレーム分の輝度値データを重ね平均したものを輝度値データＩとする（Ｓ２２）。

次に、輝度ヒストグラム変換手段１５１は、画面全体の輝度値データIに基づいて、輝度ヒストグラムＨを生成する（Ｓ２３）。輝度ヒストグラム変換手段１５１は、例えば輝度値Y＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂにより、画面全体のＲＧＢデータを輝度データに変換することにより、輝度ヒストグラムＨを生成する。

次に、信号処理部１５は、図３に示すように、閾値の初期値ＴＨ＝ｔｈと、画面全体の輝度ヒストグラムＨとの交点Ａ（Ａ₁，ＴＨ），Ｂ（Ｂ₁，ＴＨ）を算出する（Ｓ２４）。
それから、露光演算手段１６１は、図３に示すように、交点Ａ，Ｂ間の長さＹ（＝｜Ａ₁−Ｂ₁｜）と、比β＝Ｆを用いて、輝度ヒストグラムＨ上の点Ｅの輝度値Ｌを算出する（Ｓ２５）。Ｘ＝Ｙ×βで表されるので、点Ｅの輝度値Ｌは、Ｌ＝Ｂ₁−Ｘとなる。

露光演算手段１６１は、算出した輝度値Ｌと露光目標値Ｌ_refとを比較する（Ｓ２６）。以下において、αは露光時間調整用数値、ΔＬは誤差分とする。
Ｓ２６において、Ｌ＜Ｌ_ref−ΔＬの場合（Ｓ２６で「Ｎｏ」、Ｓ２７で「Ｙｅｓ」へ進む）、露光演算手段１６１は、撮像素子駆動部１２に露光時間Ｔ＝Ｔ＋αを設定し（Ｓ２８）、再度、画面全体の輝度値データＩを取得する（Ｓ２２）。

Ｓ２６において、Ｌ＞Ｌ_ref＋ΔＬの場合（Ｓ２６で「Ｎｏ」、Ｓ２７で「Ｎｏ」へ進む）、露光演算手段１６１は、撮像素子駆動部１２に露光時間Ｔ＝Ｔ−αを設定し（Ｓ２９）、再度、画面全体の輝度値データＩを取得する（Ｓ２２）。

Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなるまで、すなわちモニタ１９に表示される映像が定常状態になるまで、Ｓ２２〜Ｓ２９を繰り返す。Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなった場合に、Ｓ３０の処理へ進む。この定常状態になった時の露光時間をＴ＝Ｔ_statとする。

次に、図２で説明したように、観察者は操作部２２を用いて、モニタ１９に表示された全体画像５０から注目領域５１を指定する（Ｓ３０）。すると、ＲＧＢ計算手段１５２は、その指定された注目画素のＲＧＢの比率ｒを時間平均で計算する（Ｓ３１）。

次に、信号処理部１５は、取得したＲＧＢの比率ｒを基に、画面全体から同じ比率の画素を抽出する。そして、輝度ヒストグラム変換手段１５１は、例えば輝度値Y＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂにより、その抽出した画素のＲＧＢデータを輝度データに変換して、輝度ヒストグラムｈを生成する（Ｓ３２）。それから、信号処理部１５は、輝度ヒストグラムｈの頂点Ｃ（γ，ＴＨ’）を取得する（Ｓ３３）。その後、信号処理部１５は、閾値ＴH＝ＴＨ’として閾値を再設定する。

次に、信号処理部１５は、輝度ヒストグラムＨ，ｈ、及び閾値ＴH＝ＴＨ’を用いて、β’＝Ｘ／Ｙを算出する（Ｓ３４）。但し、Ｘ＝｜Ｂ₁−γ｜である。その後、信号処理部１５は、β＝β’としてβを再設定し、Ｓ２２に移行する。

それから、信号処理部１５は、Ｓ２以降の処理を行い、再設定された閾値ＴＨ＝ＴＨ’、比β＝β’を使用し、点Ｄの輝度値Ｌを算出する（Ｓ２５）。この場合、閾値ＴＨ＝ＴＨ’と、画面全体の輝度ヒストグラムＨより交点Ａ（Ａ₁’，ＴＨ’），Ｂ（Ｂ₁’，ＴＨ’）を算出する。それから、露光演算手段１６１は、図４に示すように、交点Ａ，Ｂ間の長さＹ’（＝｜Ａ₁’−Ｂ₁’｜）と、比β＝β’を用いて、点Ｄの輝度値Ｌ（＝｜Ｂ₁’｜−Ｙ’×β’）を算出する（Ｓ２５）。

それから、露光演算手段１６１は、点Ｄの輝度値ＬがＬ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬを満たすときの露光時間Ｔ_statを算出する（Ｓ２６）。具体的には、Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなるまで、すなわちモニタ１９に表示される映像が定常状態になるまで、Ｓ２２〜Ｓ２９を繰り返す。Ｌ_ref−ΔＬ≦Ｌ≦Ｌ_ref＋ΔＬとなった時（定常状態になった時）の露光時間をＴ＝Ｔ_statとする。これにより、点Ｄについての適正な露光時間Ｔ_statを取得することができる。その結果、注目領域を適正に露光した画像をモニタ１９に表示させることができる。

本実施形態によれば、色成分を考慮した画像全体に対する注目領域の輝度値の比を得ることができるので、注目領域に対してより適正な露光時間を設定することができる。
なお、図７Ａ及び図７Ｂの構成の場合には、ＣＰＵ３４は、ＨＤＤ３６から本実施形態にかかるプログラムを読み込んで実行することにより、ＣＰＵ３４は信号処理部１５として機能し、図８の処理を行うことができる。

第２の実施形態に関しても、第１の実施形態（図６）で説明したのと同様に、画面全体の輝度ヒストグラムが変わった場合でも、注目画素を再度指定しない限り、その変化後の輝度ヒストグラムに応じて、交点Ａa，Ｂaを再設定することができる。これにより、常に観察者が標本に対して観察したい箇所、点Ｄaを面倒な設定をすることなしに、適正な露光で観察することができる。また、本実施形態は明視野観察法だけでなく、蛍光観察法、暗視野観察法を含む有色系の画像観察法に適用することができる。

例えば、意図せずステージが動いた場合や、観察対象が動いてしまう場合でも、観察者が注目する画素、すなわち観察したい色に対して、常に適正露光で観察できる様に制御するので明視野観察においても、第1の実施の形態で述べたと同様な効果を期待できる。

なお、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。例えば、画面全体の輝度ヒストグラムではなく、当該画像の縁の少し内側（一部）の画像領域の輝度ヒストグラムを用いてもよい。

例えば、第１または第２の実施形態において、観察画像全体の輝度ヒストグラムと、注目領域または注目画素の輝度ヒストグラムと、から、観察画像全体に対する注目領域または注目画素の相対的な輝度値を算出したが、これに限定されない。例えば、観察画像全体のうち所定領域の輝度ヒストグラムと、注目領域または注目画素の輝度ヒストグラムと、から、観察画像全体に対する注目領域または注目画素の相対的な輝度値を算出するようにしてもよい。

また、第１または第２の実施形態において、輝度ヒストグラムｈの特徴点として、頂点を抽出したが、これに限定されない。例えば、輝度ヒストグラムｈの特徴点として、その輝度ヒストグラムｈの中央を特徴点としてもよい。

また、変形例として、Ｓ４及びＳ２４において、画面全体のヒストグラムと閾値との交点が１点以下である場合は、制御部１６より観察者が注目領域を指定する直前の露光時間ＴをＴ＝Ｔ_statで固定するようにしてもよい。

また、Ｓ４及びＳ２４において、画面全体のヒストグラムと閾値の交点が３点以上ある場合には、信号処理部１５より、最外側の２点をＡ，Ｂとして設定するようにしてもよい。

また、Ｓ２９での注目画素は、同一領域であるか否かに関わらず、複数画素を選択することもできる。例えば、Ｓ３０において、複数の注目画素を選択した場合には、Ｓ３２においてその注目画素毎の輝度ヒストグラムｈを算出し、その輝度ヒストグラムを重ね合わせたものの特徴点Ｃ（γ，ＴＨ’）をとり、このＣから画面全体の輝度ヒストグラムＨ上の点Ｄを算出してもよい。

第１及び第２の実施形態によれば、観察者の着目する領域の特徴を知ることにより、同じ標本の中で常に観察者の好みの露光時間を提供することができる。また、一度、露光時間の設定を行ってしまえば、観察対象が動いてしまう場合や、標本が動いてしまった場合などでも、ＡＥ、ＡＥロック、スポット測光、画面平均測光などを足し合わせた機能を提供することができる。よって、手間のかかる設定をすることなしに、適正な露光時間を得ることができる。その結果、観察者の作業効率を向上させることができる。

また、本発明は、静止画表示及びライブ画表示のいずれの表示形態にも適用することができる。
本発明によれば、観察対象の輝度値が変化した場合でも、注目領域に対して適正な露光時間を設定することができるとともに、観察者の作業の負荷を減らし、作業効率を向上させることができる。

第１の実施形態における顕微鏡システムの構成を示す。 モニタ１９に表示された観察画像の一例を示す。 観察画像全体についての輝度ヒストグラムの一例を示す。 観察画像全体及び注目領域についての輝度ヒストグラムの一例を示す。 第１の実施形態における露光制御のフローチャートを示す。 画面全体の明るさが全体的に変化した場合の輝度ヒストグラムを示す。 第１の実施形態（変形例）における顕微鏡システムの構成を示す。 第１の実施形態（変形例）におけるＰＣ３２の構成を示す。 第２の実施形態における露光制御のフローチャートを示す。

符号の説明

１ 顕微鏡システム
２ 顕微鏡用撮像装置
１０ 顕微鏡本体
１１ 撮像素子
１２ 撮像素子駆動部
１３ 前置処理部
１４ Ａ／Ｄ変換部
１５ 信号処理部
１５１ 輝度ヒストグラム変換手段
１５２ ＲＧＢ計算手段
１５３ 対物レンズ切り替え検出手段
１６ 制御部
１６１ 露光演算手段
１６２ 露光制御手段
１７ 表示制御部
１８ Ｄ／Ａ変換部
１９ モニタ
２０ 記録部
２１ バス
２２ 操作部
２３ 出力Ｉ／Ｆ
２４ 入力Ｉ／Ｆ
３０ 顕微鏡用撮像システム
２ａ 顕微鏡用撮像装置
３１ 通信Ｉ／Ｆ
３２ ＰＣ
３３ 通信Ｉ／Ｆ
３４ ＣＰＵ
３５ モニタ用Ｉ／Ｆ
３６ ＨＤＤ
３７ メモリ
３８ 入力用Ｉ／Ｆ
３９ マウス

Claims (10)

1. 顕微鏡から出力された標本像を撮像する撮像手段と、
   前記撮像された画像を出力する画像出力手段と、
   前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得する取得手段と、
   縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成する輝度ヒストグラム生成手段と、
   前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する輝度値算出手段と、
   前記算出した輝度値に到達するまで前記撮像手段の制御をする露光制御手段と、
   を備えることを特徴とする顕微鏡用撮像システム。
2. 前記輝度値算出手段は、前記第２の輝度ヒストグラムの特徴点の画素数と前記第１の輝度ヒストグラムとの交点を算出し、該交点の数に基づいて、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する
   ことを特徴とする請求項１に記載の顕微鏡用撮像システム。
3. 前記輝度値算出手段は、前記算出された交点が２点以上の場合、該交点のうちの２点を取得し、該取得した２点間の輝度値座標系方向の第１の距離および該一方の交点と前記特徴点との間の輝度値座標系方向の第２の距離を算出し、前記第１の距離と前記第２の距離との比を算出する
   ことを特徴とする請求項２に記載の顕微鏡用撮像システム。
4. 前記輝度値算出手段は、前記算出された交点が３点以上の場合、該交点のうち最外側の２点を取得する
   ことを特徴とする請求項３に記載の顕微鏡用撮像システム。
5. 前記顕微鏡用撮像システムは、さらに、
   明視野観察、暗視野観察、または蛍光観察条件下で撮像されて、前記取得手段により前記第２の画像領域として取得された少なくとも１画素とＲＧＢの比率が同じ比率のＲＧＢを有する画素を前記第１の画像領域から抽出する画素抽出手段
   を備え、
   前記輝度ヒストグラム生成手段は、前記抽出された画素に基づいて前記第２の輝度ヒストグラムを生成する
   ことを特徴とする請求項１〜４のうちいずれかに記載の顕微鏡用撮像システム。
6. 前記顕微鏡用撮像システムは、さらに、
   前記撮像手段を駆動させる撮像駆動手段と、
   前記撮像駆動手段により行われた露光の時間を格納する格納手段と、
   を備え、
   前記輝度値算出手段は、前記算出された交点が１点以下の場合、前記格納手段に格納されている露光時間を読み出し、
   前記撮像駆動手段は、前記読み出された露光時間に基づいて、露光する
   ことを特徴とする請求項１〜５のうちいずれかに記載の顕微鏡用撮像システム。
7. 前記顕微鏡用撮像システムは、さらに、
   前記顕微鏡の対物レンズの切り替えを検出する対物レンズ切り替え検出手段と、
   前記対物レンズの切り替えが検出された場合、観察者に対して適正な露光であるかの注意を促すメッセージを出力するメッセージ出力手段と、
   を備えることを特徴とする請求項１〜６のうちいずれかに記載の顕微鏡用撮像システム。
8. 前記対物レンズ切り替え検出手段は、前記撮像手段に入射する光量の変化に基づいて、前記顕微鏡の対物レンズの切り替えが行われたか否かを検出する
   ことを特徴とする請求項７に記載の顕微鏡用撮像システム。
9. 顕微鏡で観察される画像を撮像する際の露光を調整する処理をコンピュータに実行させる露光調整プログラムであって、
   顕微鏡から出力された標本像を撮像する撮像処理と、
   前記撮像された画像を出力する画像出力処理と、
   前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得する取得処理と、
   縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成する輝度ヒストグラム生成処理と、
   前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出する輝度値算出処理と、
   前記算出した輝度値に到達するまで前記撮像手段の制御をする露光制御処理と、
   をコンピュータに実行させる顕微鏡用撮像プログラム。
10. 顕微鏡で観察される画像を撮像する際の露光を調整する顕微鏡用撮像システムの露光調整方法であって、
    顕微鏡から出力された標本像を撮像し、
    前記撮像された画像を出力し、
    前記出力された画像の全領域または所定領域で示す第１の画像領域から任意に指定された１以上の画素からなる注目領域である第２の画像領域を取得し、
    縦横軸の一方の軸を輝度値とし、他方の軸を輝度値に対応する画素数とした、前記第１の画像領域についての第１の輝度ヒストグラムと、前記第２の画像領域についての第２の輝度ヒストグラムとを生成し、
    前記第２の輝度ヒストグラムの山の頂点または中央点を特徴点とし、該特徴点の輝度値および画素数を検出し、該第２の輝度ヒストグラムの特徴点と同一の輝度値を示す前記第１の輝度ヒストグラムでの位置を算出することにより、前記第１の画像領域に対する前記第２の画像領域の相対的な輝度値を算出し、
    前記算出した輝度値に到達するまで前記撮像手段の制御をする、
    ことを特徴とする露光調整方法。