[1]本発明の一実施の形態
(1)拡大観察装置の構成
(a)測定ヘッド
以下、本発明の一実施の形態に係る拡大観察装置について、図を参照しながら説明する。図1は、本発明の一実施の形態に係る拡大観察装置の構成を示す模式図である。図1に示すように、拡大観察装置1は、測定ヘッド100および処理装置200を備える。測定ヘッド100は、例えば顕微鏡であり、スタンド部110、ステージ装置120、鏡筒部130、投光部140および制御基板150を含む。
スタンド部110は、縦断面がL字形状を有し、設置部111、保持部112および焦点駆動部113を含む。設置部111および保持部112は、例えば樹脂により形成される。設置部111は、水平な平板形状を有し、設置面に設置される。保持部112は、設置部111の一端部から上方に延びるように設けられる。
ステージ装置120は、ステージ121およびステージ駆動部122を含む。ステージ121は、設置部111の上面に設けられる。ステージ121上には、観察対象物Sが載置される。観察対象物Sが載置されるステージ121上の平面(以下、載置面と呼ぶ。)内で互いに直交する2方向をX方向およびY方向と定義し、それぞれ矢印X,Yで示す。ステージ121の載置面に対して直交する法線の方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
ステージ駆動部122は、ステッピングモータ等の図示しないアクチュエータを含む。ステージ駆動部122は、制御基板150により与えられる駆動パルスに基づいて、ステージ121をX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させる。また、使用者は、手動によりステージ121をX方向、Y方向もしくはZ方向に移動させるか、またはθ方向に回転させることも可能である。
鏡筒部130は、レンズユニット131および撮像部132を含み、ステージ121の上方に配置される。レンズユニット131は、観察対象物Sの種類に応じて他のレンズユニットと交換可能である。レンズユニット131は、対物レンズ131aおよび図示しない複数のレンズにより構成される。対物レンズ131aの光軸A1は、Z方向に平行である。撮像部132は、例えばCMOS(相補性金属酸化膜半導体)カメラを含む。撮像部132は、CCD(電荷結合素子)カメラ等の他のカメラを含んでもよい。
鏡筒部130は、スタンド部110の焦点駆動部113により保持部112に取り付けられる。焦点駆動部113は、ステッピングモータ等の図示しないアクチュエータを含む。焦点駆動部113は、制御基板150により与えられる駆動パルスに基づいて、レンズユニット131を対物レンズ131aの光軸A1の方向(Z方向)に移動させる。これにより、レンズユニット131を通過した光の焦点位置がZ方向に変化する。また、使用者は、手動によりレンズユニット131を対物レンズ131aの光軸A1の方向に移動させることも可能である。
投光部140は、対物レンズ131aの光軸A1を取り囲むようにレンズユニット131に一体的に取り付けられる。これにより、投光部140とレンズユニット131との位置関係を一意的に決定することができる。また、拡大観察装置1に投光部140を保持する部材を追加する必要がないので、拡大観察装置1をコンパクト化することができる。投光部140の光軸A2(後述する図3)は、対物レンズ131aの光軸A1と略同一である。
投光部140からステージ121上の観察対象物Sに複数の出射方向の光を照射することができる。観察対象物Sによりステージ121の上方に反射された光は、レンズユニット131により集光および結像された後、撮像部132により受光される。撮像部132は、各画素の受光量に対応する画素データに基づいて画像データを生成する。投光部140により複数の出射方向の光が観察対象物Sに照射されたときに撮像部132によりそれぞれ生成される複数の画像データの各々を原画像データと呼ぶ。撮像部132は、生成した原画像データを制御装置400に与える。
制御基板150は、例えばスタンド部110の保持部112内に設けられ、焦点駆動部113、ステージ駆動部122および撮像部132に接続される。制御基板150は、処理装置200による制御に基づいて焦点駆動部113およびステージ駆動部122の動作を制御する。撮像部132には、制御装置400から制御信号が入力される。また、撮像部132により生成された原画像データは、ケーブル203を介して処理装置200に与えられる。
(b)処理装置
処理装置200は、筐体210、光生成部300および制御装置400を含む。筐体210は、光生成部300および制御装置400を収容する。光生成部300は、ファイバユニット201により測定ヘッド100の投光部140に光学的に接続される。ファイバユニット201は、図示しない複数の光ファイバを含む。
光生成部300は、光源310および遮光部320を含む。光源310は、例えばLED(発光ダイオード)である。光源310は、ハロゲンランプ等の他の光源であってもよい。遮光部320は、光源310により出射される光を部分的に遮光可能に光源310とファイバユニット201との間に配置される。光源310により出射された光は、遮光部320を通過してファイバユニット201へ入射する。これにより、ファイバユニット201を通して測定ヘッド100の投光部140から光が出射される。
図2は、図1の制御装置400の構成を示すブロック図である。図2に示すように、制御装置400は、制御部410、記憶部420、表示部430、操作部440および通信部450を含む。制御部410は、例えばCPU(中央演算処理装置)を含む。記憶部420は、例えばROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)またはHDD(ハードディスクドライブ)を含む。本実施の形態においては、制御部410および記憶部420は、パーソナルコンピュータにより実現される。
制御部410は、駆動制御部500および演算処理部600を含む。記憶部420には、システムプログラムが記憶される。また、記憶部420は、種々のデータの処理および制御部410から与えられる種々のデータの保存のために用いられる。駆動制御部500および演算処理部600の機能は、制御部410が記憶部420に記憶されるシステムプログラムを実行することにより実現される。
駆動制御部500は、投光制御部510、撮像制御部520、焦点制御部530およびステージ制御部540を含む。投光制御部510は、ケーブル202を通して図1の光生成部300に接続され、光生成部300の動作を制御する。撮像制御部520、焦点制御部530およびステージ制御部540は、ケーブル203を通して図1の測定ヘッド100の制御基板150に接続される。
撮像制御部520、焦点制御部530およびステージ制御部540は、制御基板150を通して撮像部132、焦点駆動部113およびステージ駆動部122の動作をそれぞれ制御する。また、撮像制御部520は、撮像部132(図1)により生成された原画像データを演算処理部600に与える。
演算処理部600は、取得した原画像データに基づいて観察対象物Sの画像を示す表示用画像データを生成することができる。演算処理部600の詳細については後述する。演算処理部600により取得された原画像データおよび生成された表示用画像データは、記憶部420に記憶される。
表示部430は、例えばLCD(液晶ディスプレイ)パネルにより構成される。表示部430は、有機EL(エレクトロルミネッセンス)パネル等の他の表示部により構成されてもよい。表示部430は、記憶部420に記憶された画像データまたは演算処理部600により生成された画像データに基づく画像等を表示する。操作部440は、マウス、タッチパネル、トラックボールまたはジョイスティック等のポインティングデバイスおよびキーボードを含み、制御装置400に指示等を与えるために使用者により操作される。また、操作部440はポインティングデバイスおよびキーボードに加えてジョグシャトルを含んでもよいし、鏡筒部130(図1)およびステージ121(図1)を上下方向に移動させるための回転中心が水平方向を向くダイヤル状の操作手段を含んでもよい。
通信部450は、制御装置400をネットワークに接続するためのインターフェースを含む。図1の例では、表示機能を有する外部装置2がネットワークに接続されている。制御装置400は、通信部450を介して表示機能を有する外部装置2に画像データを送信することが可能である。外部装置2の使用者は、通信部450を介して汎用的な画像ファイル形式で記憶された画像データを制御装置400から取得し、当該画像データに基づく画像を外部装置2に表示させることができる。
(c)投光部
図3(a),(b)は、それぞれ投光部140の構成を示す斜視図および平面図である。図3(a)に示すように、投光部140は、保持部材141および複数の光ファイバ142を含む。保持部材141は、例えば樹脂により形成され、円筒形状を有する。平面視における保持部材141の外径は、図1のステージ121の寸法よりも小さい。保持部材141は、図1の対物レンズ131aの光軸A1を取り囲むように配置される。
保持部材141には、上面から下面に貫通する複数の貫通孔141aが形成される。複数の貫通孔141aは、略等間隔で配置され、対物レンズ131aの光軸A1を中心に回転対称に位置する。複数の光ファイバ142は、複数の貫通孔141a内にそれぞれ挿通される。これにより、複数の光ファイバ142は保持部材141により一体的に保持される。各光ファイバ142における光の入射部および出射部は、保持部材141の上面および下面にそれぞれ位置する。これにより、保持部材141の下面に光出射部140oが形成される。
複数の光ファイバ142は、対物レンズ131aの光軸A1を中心とする1つの円周上に配置される。そのため、対物レンズ131aの光軸A1から複数の光ファイバ142における出射部までの距離は略等しい。各光ファイバ142における出射部とステージ121の中心とを結ぶ線が対物レンズ131aの光軸A1に対して成す角度は鋭角である。本実施の形態においては、保持部材141が複数の光ファイバ142を一体的に保持することにより、上記の複数の光ファイバ142の位置関係が容易に維持される。
図3(b)に示すように、投光部140の円環状の光出射部140oは、複数(本例では4つ)の領域140A,140B,140C,140Dに略等分される。複数の領域140A〜140Dは、対物レンズ131aの光軸A1を中心に回転対称に配置される。複数の領域140A〜140Dは、略同数の光ファイバ142の出射部を含む。
複数の光ファイバ142の入射部は、図1のファイバユニット201により処理装置200の光生成部300に光学的に接続される。これにより、光生成部300から出射された光が、保持部材141の上面から複数の光ファイバ142の入射部に入射し、複数の光ファイバ142の出射部を通して保持部材141の下面の光出射部140oから出射される。すなわち、各領域140A〜140Dに含まれる光ファイバ142が光出射部140oから光を出射することにより、各領域140A〜140Dから光が出射される。
図1の遮光部320は、投光部140の領域140A〜140Dにそれぞれ対応する複数の開口パターンを有するマスクを含む。図1の光源310により出射された光は、遮光部320のいずれかの開口パターンを通過してファイバユニット201へ入射する。図2の投光制御部510は、光を通過させる遮光部320の開口パターンを切り替えることにより、投光部140における光を出射する領域140A〜140Dを切り替える。これにより、投光部140は、領域140A〜140Dの全体から光を出射可能であるとともに、領域140A〜140Dのいずれかから選択的に光を出射可能である。
このように、投光部140は出射方向が互いに異なる光を観察対象物Sに照射することができる。領域140A〜140Dの全体から同時に出射される光をリング照明と呼び、領域140A〜140Dのいずれか1つの領域から出射される光を方向性照明と呼ぶ。本実施の形態においては、投光部140は、リング照明および4つの方向性照明のいずれかを選択的に出射可能である。したがって、図1の撮像部132は、リング照明および4つの方向性照明がそれぞれ観察対象物Sに照射されたときの観察対象物Sを示す5つの原画像データを生成可能である。
また、図2の演算処理部600は、5つの原画像データに基づいてハレーション成分が低減された観察対象物Sの画像を示す飽和低減画像データを生成し、生成された飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの画像を表示部430に表示させることができる(ハレーション低減処理)。
上記の4つの方向性照明は、対物レンズ131aの光軸A1を中心にθ方向に約90°異なる4つの位置(領域140A〜140D)からそれぞれ出射される光であり、対物レンズ131aの光軸A1を中心に回転対称となる。したがって、各方向性照明は、対物レンズ131aの光軸A1に対して偏りを有する。4つの方向性照明は、対物レンズ131aの光軸A1に対して傾斜しかつ互いに異なる方向に出射される。4つの方向性照明の光量は互いに略等しい。対物レンズ131aの光軸A1に対する4つの方向性照明の照射の角度は、θ方向により均一ではない。
一方、リング照明は、対物レンズ131aの光軸A1に対して偏らない光であり、その中心は対物レンズ131aの光軸A1に略一致する。したがって、リング照明は、実質的に対物レンズ131aの光軸A1の方向に出射される。リング照明は、対物レンズ131aの光軸A1を中心に略均一な光量分布を有し、リング照明の光量は4つの方向性照明の光量の総和に略等しい。すなわち、リング照明の光量は各方向性照明の光量の約4倍である。対物レンズ131aの光軸A1に対するリング照明の照射の角度は、θ方向により均一である。
このように、本実施の形態においては、複数の領域140A〜140Dが対物レンズ131aの光軸A1を中心に回転対称に配置される。
本実施の形態においては、投光部140の各領域140A〜140Dに光出射部材として光ファイバ142が設けられるが、本発明はこれに限定されない。投光部140の各領域140A〜140Dに光出射部材としてLED等の光源が設けられてもよい。この場合、処理装置200に光生成部300が設けられない。この構成においては、各領域140A〜140Dに設けられた1または複数の光源が光を出射することにより、各領域140A〜140Dから光が出射される。
図4(a)〜(c)は、投光部140の配置例を示す模式図である。本実施の形態においては、図4(a)に示すように、投光部140はレンズユニット131に取り付けられる。本発明はこれに限定されず、図4(b)に示すように、投光部140はステージ121上に配置されてもよい。あるいは、図4(c)に示すように、投光部140は、ステージ121とレンズユニット131との間に配置され、保持部114によりスタンド部110に保持されてもよい。
さらに、本実施の形態においては、投光部140に4つの光を出射する領域140A〜140Dが設けられるが、本発明はこれに限定されない。投光部140に3つ以下または5つ以上の光を出射する領域が設けられてもよい。
また、本実施の形態においては、複数の光出射部材(光ファイバ142)が対物レンズ131aの光軸A1を中心とする1つの円周上に配置されるが、本発明はこれに限定されない。複数の光出射部材は、対物レンズ131aの光軸A1を中心とする2つ以上の同心円上に配置されてもよい。さらに、本実施の形態においては、各領域140A〜140Dに複数の光出射部材が配置されるが、本発明はこれに限定されない。各領域140A〜140Dに1つの光出射部材が配置されてもよい。
上記実施の形態において、投光部140は、複数の光出射領域の位置関係が変化しないようにユニットとして構成されるが、本発明はこれに限定されない。投光部140は、複数の光出射領域の位置関係が変化可能に構成されてもよい。
(d)鏡筒部
図5(a),(b)は、それぞれ測定ヘッド100の外観斜視図および鏡筒部130の構成を示す模式図である。図5(a)に示すように、測定ヘッド100は鏡筒部130をステージ121に対して傾斜させるための傾斜機構101を含む。傾斜機構101は、Y方向に直交する平面内で保持部112の下部に対して保持部112の上部を支持する。これにより、傾斜機構101は、傾斜中心130cの周りで鏡筒部130をステージ121に対して傾斜させることができる。図5(b)においては、傾斜後の鏡筒部130が一点鎖線で示される。
ステージ121は、図2のステージ制御部540による制御に基づいて、観察対象物Sの表面が鏡筒部130の傾斜中心130cと略同一の高さに位置するようにZ方向に移動する。そのため、鏡筒部130を傾斜させた場合でも、撮像部132の視野が移動しないユーセントリック関係が維持され、観察対象物Sの所望の観察領域が撮像部132の視野から外れることを防止することができる。
図5(b)に示すように、鏡筒部130は、レンズユニット131、撮像部132および傾斜センサ133を含む。撮像部132は、図2の撮像制御部520による制御に基づいてステージ121の載置面に載置された観察対象物Sからの光をレンズユニット131を介して受光し、原画像データを生成する。
撮像制御部520は、撮像部132の受光時間、ゲインおよびタイミング等を制御する。例えば、撮像制御部520は、リング照明の照射時における受光時間に基づいて各方向性照明の照射時における受光時間を調整する。本例では、上述したように、リング照明の光量は各方向性照明の光量の約4倍であるので、撮像制御部520は各方向性照明の照射時における受光時間がリング照明の照射時における受光時間の4倍になるように調整する。
この制御によれば、撮像部132は、各方向性照明の照射時における受光時間を独立して調整する場合に比べて高速に原画像データを生成することができる。また、リング照明の照射時における画像と各方向性照明の照射時における画像との明るさを容易に略等しくすることができる。なお、本例では、複数の方向性照明の照射時における撮像部132の制御内容は互いに同一である。
また、撮像部132は、撮像制御部520により受光時間が複数変化された状態で複数の原画像データを生成することができる。この場合、図2の演算処理部600は、撮像部132の受光時間が複数変化された状態で生成された複数の原画像データを選択的に合成する処理(以下、DR(ダイナミックレンジ)調整処理と呼ぶ。)を実行することができる。また、図2の演算処理部600は、DR調整処理と上記のハレーション低減処理とを組み合わせた処理(以下、複合処理と呼ぶ。)を実行することができる。それにより、演算処理部600は、ダイナミックレンジが調整されかつハレーション成分が低減された表示用画像データを生成することができる。本実施の形態に係る複合処理およびDR調整処理の詳細は後述する。
Z方向に対する対物レンズ131aの光軸A1の傾斜角度(以下、鏡筒部130の傾斜角度と呼ぶ。)は、傾斜センサ133により検出され、傾斜角度に対応する角度信号が図1の制御基板150に出力される。制御基板150は、傾斜センサ133により出力された角度信号を図2のケーブル203および撮像制御部520を介して演算処理部600に与える。演算処理部600は、角度信号に基づいて、鏡筒部130の傾斜角度を算出する。演算処理部600により算出された傾斜角度は、図1の表示部430に表示させることができる。
上記の構成によれば、ステージ121の載置面に載置された観察対象物Sの平面観察および傾斜観察を選択的に行うことができる。平面観察時には、対物レンズ131aの光軸A1はZ方向に平行になる。すなわち、鏡筒部130の傾斜角度が0°になる。一方、傾斜観察時には、対物レンズ131aの光軸A1はZ方向に対して傾斜する。また、使用者は、鏡筒部130を図1のスタンド部110から取り外し、手持ちまたは他の固定部材により固定した状態で観察対象物Sの観察を行うことができる。以下の説明においては、観察対象物Sの平面観察が行われる。
(e)焦点駆動部
図2の焦点制御部530は、レンズユニット131を通過した観察対象物Sからの光の焦点位置が観察対象物Sに対して相対的にZ方向に変化するように図1の焦点駆動部113を制御する。これにより、図1の撮像部132は、Z方向に位置が異なる観察対象物Sを示す複数の原画像データを生成することができる。
この処理において、使用者は、焦点駆動部113がZ方向に移動する範囲を指定することができる。移動範囲が指定された場合、焦点制御部530は、指定された移動範囲で光の焦点位置がZ方向に変化するように焦点駆動部113を制御する。これにより、撮像部132は、Z方向に位置が異なる観察対象物Sを示す複数の原画像データを短時間で生成することができる。
また、演算処理部600は、生成されたZ方向に位置が異なる観察対象物Sを示す複数の原画像データの各々について、画素ごとの合焦度を判定することができる。焦点制御部530は、演算処理部600による合焦度の判定結果に基づいて、撮像部132の焦点が観察対象物Sの特定の部分に合うように焦点駆動部113を調整することができる(オートフォーカス処理)。さらに、演算処理部600は、合焦度の判定結果に基づいて複数の原画像データを画素ごとに選択的に合成する処理と上記のハレーション低減処理とを組み合わせて実行する(深度合成処理)。それにより、観察対象物Sの全部分に合焦しかつハレーション成分が低減された表示用画像データを生成することができる。本実施の形態に係る深度合成処理の詳細は後述する。
図6は、焦点駆動部113の構成例を示す図である。本実施の形態においては、投光部140はレンズユニット131に取り付けられる。図6に点線で示すように、レンズユニット131が投光部140と一体的に焦点駆動部113によりZ方向に移動される。また、図6に一点鎖線で示すように、ステージ121が図1のステージ駆動部122によりZ方向に移動される。このように、レンズユニット131および投光部140とステージ121とが相対的にZ方向に移動可能である。
図6の例においては、投光部140は鏡筒部130に一体的に設けられるが、本発明はこれに限定されない。投光部140は、ユニットとして鏡筒部130に着脱可能に取り付けられてもよい。この場合、θ方向における投光部140とレンズユニット131との角度関係を一定に維持するための位置決め機構がレンズユニット131または投光部140に設けられることが好ましい。
(f)演算処理部
図7は、図2の演算処理部600の構成を示すブロック図である。図7に示すように、演算処理部600は、データ生成部610、合焦判定部620、算出部630および条件設定部640を含む。
データ生成部610は、図1の撮像部132により生成される原画像データに基づいて表示用画像データを生成する。また、データ生成部610は、使用者の指示に従って撮像部132により生成される原画像データに基づいてハレーション低減処理、深度合成処理、複合処理またはDR調整処理を行う。
合焦判定部620は、図2の焦点制御部530がオートフォーカス処理を行う際に、焦点駆動部113のZ方向の移動により生成された複数の原画像データの各々について画素ごとの合焦度を判定する。また、合焦判定部620は、データ生成部610が深度合成処理を行う際に、複数の原画像データについて画素ごとの合焦度を判定する。
算出部630は、図5の傾斜センサ133により出力される角度信号に基づいて、図5の鏡筒部130の傾斜角度を算出する。また、算出部630は、使用者の指示に従って、算出した鏡筒部130の傾斜角度を図2の表示部430に表示させる。さらに、算出部630は、ステージ121に設けられる図示しない位置センサから出力される位置信号に基づいて、図1のステージ121の位置を算出する。また、算出部630は、使用者の指示に従って、算出したステージ121の位置を図2の表示部430に表示させる。
条件設定部640は、撮像条件設定部641および照明条件設定部642を含む。撮像条件設定部641は、使用者の指示に従って撮像条件を設定する。また、条件設定部640は、設定した撮像条件を示す撮像情報を図2の記憶部420に記憶させる。撮像条件は、例えば図1の撮像部132の受光時間、複合処理の実行の有無、DR調整処理の実行の有無、深度合成処理の実行の有無およびZ方向における光の焦点位置の範囲等を含む。図2の駆動制御部500は、撮像条件設定部641により設定された撮像条件に基づいて図1の測定ヘッド100および光生成部300の動作を制御する。
照明条件設定部642は、使用者の指示に従って照明条件を設定する。また、照明条件設定部642は、設定した照明条件に対応する照明情報を記憶部420に記憶させる。データ生成部610は、照明条件設定部642により設定された照明条件に基づいて表示用画像データを生成し、記憶部420に記憶させる。
(2)拡大観察装置の基本的な使用例
ステージ121の載置面において、対物レンズ131aの光軸A1が交差する位置を基準点と呼ぶ。観察対象物Sは観察対象部分が基準点上に位置するようにステージ121に載置される。この状態で、観察対象物Sの少なくとも一部に対物レンズ131aの焦点が合うようにレンズユニット131(図1)のZ方向の位置が調整される。また、観察対象物Sの所望の部分を観察することができるように、ステージ121がX方向およびY方向に調整される。さらに、撮像部132の受光時間およびホワイトバランス等の撮像条件が調整される。
以下の説明では、上記の4つの方向性照明を区別するために、投光部140の領域140A,140B,140C,140Dの各々から出射される光をそれぞれ第1の方向性照明、第2の方向性照明、第3の方向性照明および第4の方向性照明と呼ぶ。また、以下の説明では、第1の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第1の出射方向と呼び、第2の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第2の出射方向と呼ぶ。さらに、第3の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第3の出射方向と呼び、第4の方向性照明を形成する複数の光線がベクトル的に合成された場合において合成された光線の進行方向を第4の出射方向と呼ぶ。
ここで、基準点上に載置される観察対象物Sに光を照射する際の光の出射方向または出射位置が特定可能となるように、ステージ121の載置面を上方から見た状態で基準点を中心として反時計回りの方向に方位角が定義される。基準点から拡大観察装置1の一側方に向く方向を方位角の基準角度(0°)とする。
本例では、投光部140の領域140A,140B,140C,140Dの中央部分が、光軸A1を中心としてそれぞれ45°、135°、225°および315°の方位角で配置される。なお、投光部140の配置は、上記の例に限定されない。例えば、領域140A,140B,140C,140Dの中央部分が、光軸A1を中心としてそれぞれ0°、90°、180°および270°の方位角で配置されてもよい。
使用者は、図2の操作部440を操作することにより、照明条件として例えばリング照明および第1〜第4の方向性照明のうちいずれかの照明を用いて観察対象物Sを撮像することを指示することができる。この場合、図2の制御部410は、使用者により指示された照明を観察対象物Sに照射する。また、制御部410は、撮像部132により観察対象物Sを撮像する。さらに、制御部410は、撮像により生成された原画像データを表示用画像データとして取得し、その表示用画像データに基づく観察対象物Sの画像を表示部430に表示させる。
それにより、使用者は、観察対象物Sに所望の方向の照明が照射された状態で、その観察対象物Sの画像を表示部430の画面上で確認することができる。また、使用者は、操作部440を操作することにより、以下に示すハレーション低減処理、深度合成処理、複合処理およびDR調整処理の実行を指示することができる。
(3)ハレーション低減処理
(a)ハレーション低減処理の具体的な内容
撮像部132において生成される複数の画素データの値(画素値)は、複数の画素に入射する光の強度分布に応じて変化する。撮像部132に強度の高い光が入射すると、強度の高い光を受光した画素から出力される画素値が、表示部430により表示可能な画素値の上限値を超える(飽和する)場合がある。あるいは、強度の高い光を受光した画素から出力される画素値が検出可能な値の上限値に達する(飽和する)場合がある。それにより、観察対象物Sの画像SIにハレーション(白とび)が発生する。
図8は、複数の照明を用いて取得された観察対象物Sの複数の画像の一部にハレーションが発生している例を示す図である。図8(a)〜(e)には、リング照明および第1〜第4の方向性照明にそれぞれ対応する観察対象物Sの複数の画像SIがそれぞれ示される。また、各画像SI内に発生するハレーションHLがドットパターンで示される。
図8(a)〜(e)に示すように、ハレーションHLの発生位置および影SHの発生位置は、観察対象物Sに照射される光の出射方向に大きく依存する。観察対象物Sの形状等によっては、光の出射方向を変更しても、撮像により取得される観察対象物Sの画像SIからハレーションを低減することが難しい場合がある。そこで、使用者は、図2の操作部440を用いて制御部410にハレーション低減処理の指示を与えることができる。
ハレーション低減処理では、最初に使用者により後述する選択順位が指定された後、出射方向が互いに異なる第1〜第4の方向性照明を用いて観察対象物Sが順次撮像される。図9は、第1〜第4の方向性照明を用いて観察対象物Sが順次撮像されるときの拡大観察装置1の基本動作を説明するための模式図である。図9(a)〜(d)に、観察対象物Sに照射される照明の変化が時系列で示される。図9(a)〜(d)では、光を出射する投光部140の領域が太い実線で示されるとともに、第1〜第4の出射方向がそれぞれ太い実線の矢印で示される。図8(b)〜(e)は、図9(a)〜(d)の照明が観察対象物Sに照射されたときに取得される観察対象物Sの画像SIにそれぞれ相当する。以下の説明では、観察対象物Sが表示された画像のうち観察対象物Sの表示部分を対象部分画像spと呼ぶ。
図9(a)に示すように、まず観察対象物Sに第1の方向性照明のみが照射され、観察対象物Sが撮像される。この場合、図8(b)に示すように、第1の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第1の出射方向および観察対象物Sの形状に応じて45°の方位角の位置から225°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第1の出射方向に強く強調される。また、対象部分画像spの他の部分に225°の方位角の位置から45°の方位角の位置に向かうハレーションHLが発生する。
次に、図9(b)に示すように、観察対象物Sに第2の方向性照明のみが照射され、観察対象物Sが撮像される。図8(c)に示すように、第2の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第2の出射方向および観察対象物Sの凹凸に応じて135°の方位角の位置から315°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第2の出射方向に強く強調される。また、対象部分画像spの他の部分に315°の方位角の位置から135°の方位角の位置に向かうハレーションHLが発生する。
次に、図9(c)に示すように、観察対象物Sに第3の方向性照明のみが照射され、観察対象物Sが撮像される。図8(d)に示すように、第3の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第3の出射方向および観察対象物Sの凹凸に応じて225°の方位角の位置から45°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第3の出射方向に強く強調される。また、対象部分画像spの他の部分に45°の方位角の位置から225°の方位角の位置に向かうハレーションHLが発生する。
次に、図9(d)に示すように、観察対象物Sに第4の方向性照明のみが照射され、観察対象物Sが撮像される。図8(e)に示すように、第4の方向性照明で撮像された観察対象物Sの画像SIにおいては、対象部分画像spの一部に第4の出射方向および観察対象物Sの凹凸に応じて315°の方位角の位置から135°の方位角の位置に向かう影SHが発生する。それにより、観察対象物Sにおける凹凸部分が第4の出射方向に強く強調される。また、対象部分画像spの他の部分に135°の方位角の位置から315°の方位角の位置に向かうハレーションHLが発生する。
その後、第1〜第4の方向性照明にそれぞれ対応する複数の原画像データに基づいて、各原画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。
本例の説明においては、撮像部132により検出可能な画素値の上限値が“255”であり、下限値が“0”であるものとする。この場合、画素値“255”を示す画素の位置がハレーションHLの発生位置に対応し、画素値“0”を示す画素の位置が影SHの発生位置に対応する。
ハレーション低減処理では、複数の原画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。例えば、図8(b)〜(e)に示すように、第1〜第4の方向性照明を用いて取得された複数の画像SIの互いに対応する複数の画素PX1,PX2,PX3,PX4の画素値が、それぞれ“255”、“100”、“95”および“90”である場合を想定する。
この場合、最も高い画素値“255”を示す画素PX1に1番目の順位が付与され、次に高い画素値“100”を示す画素PX2に2番目の順位が付与され、画素値“95”を示す画素PX3に3番目の順位が付与され、最も低い画素値“90”を示す画素PX4に4番目の順位が付与される。
本実施の形態においては、ハレーション低減処理の開始時に、使用者による図2の操作部440の操作に基づいて選択順位が指定される。選択順位として指定可能な数は、観察対象物Sに照射される照明の総数以下の自然数である。複数の画素PX1〜PX4について順位が付与された後、選択順位に基づいて、複数の画素PX1〜PX4のうちの1つの画素が選択される。例えば、使用者により選択順位が「3」と指定されている場合には、複数の画素PX1〜PX4のうちの3番目の画素PX3が選択される。
このようにして、複数の画像SIの全ての画素について、画素値の大きさに基づく画素の選択が行われる。その後、選択された複数の画素が合成されることにより、飽和低減画像データが生成される。
飽和低減画像データに基づく観察対象物Sの画像SIにおいては、選択順位の値に応じてハレーション成分の低減度合いが変化する。図8の例においては、選択順位が「1」に指定されると、互いに対応する複数の画素のうち最も高い画素値を有する画素が選択される。この場合、飽和した画素値“255”を示す全ての画素が選択される。そのため、ハレーション成分が低減されない。
選択順位が「2」または「3」に指定されると、互いに対応する複数の画素のうち中程度の画素値を示す画素が選択される。この場合、画素値“255”を示す画素が選択される可能性が低くなる。そのため、各原画像データに比べてハレーション成分が中程度に低減された飽和低減画像データが生成される。
選択順位が「4」に指定されると、互いに対応する複数の画素のうち最も低い画素値を示す画素が選択される。この場合、画素値“255”を示す画素が選択される可能性が極めて低くなる。そのため、各原画像データに比べてハレーション成分がより大きく低減された飽和低減画像データが生成される。なお、選択順位が「4」に指定された場合には、互いに対応する複数の画素のうち最も低い画素値を有する画素が選択される。この場合、画素値“0”を示す全ての画素が選択される。そのため、影SHおよび黒つぶれが発生しやすく、画像SIが全体的に暗くなる。
上記のように、ハレーション低減処理におけるハレーション成分の低減度合いは、選択順位の値が小さくなるにつれて弱くなり、選択順位の値が大きくなるにつれて強くなる。したがって、使用者は、選択順位を指定することにより、ハレーション成分の低減度合いおよび画像SIの全体的な明るさを調整することができる。
図10は、ハレーション低減処理が指示されたときに図1の表示部430に表示される観察画面の一例を示す図である。図10に示すように、ハレーション低減処理が指示されると、表示部430の観察画面430Aに観察対象物Sの画像SIとともに順位指定欄b41および実行ボタンb42が表示される。
使用者は、図2の操作部440を用いて順位指定欄b41に所望の選択順位を入力することができる。また、使用者は、図2の操作部440を用いて実行ボタンb42を操作することにより、順位指定欄b41に入力された選択順位を指定することができる。
図10の実行ボタンb42が操作されることにより、指定された選択順位を用いて飽和低減画像データが生成される。図11は、ハレーション低減処理後の観察画面430Aの表示状態の一例を示す図である。図11に示すように、飽和低減画像データに基づく観察対象物Sの画像SIが観察画面430Aに表示される。図11の例では、対象部分画像spにハレーションHLが存在しない。
上記のハレーション低減処理は観察対象物Sに第1〜第4の方向性照明を順次照射することにより生成された4つの原画像データに基づいて実行されるが、本発明はこれに限定されない。ハレーション低減処理は、互いに異なる2つの出射方向の照明で撮像された2つの原画像データに基づいて実行されてもよいし、互いに異なる3つの出射方向の照明で撮像された3つの原画像データに基づいて実行されてもよい。さらに、光の出射方向が互いに異なる5以上の照明で撮像された5以上の原画像データに基づいて実行されてもよい。例えば、ハレーション低減処理は観察対象物Sにリング照明および第1〜第4の方向性照明を順次照射することにより生成された5つの原画像データに基づいて実行されてもよい。これらの場合、選択順位として指定可能な数は、ハレーション低減処理に使用される原画像データの数以下の自然数となる。
上記のハレーション低減処理では、複数の原画像データの互いに対応する複数の画素について画素値が高い順に順位が付与されるが、本発明はこれに限定されない。複数の原画像データの互いに対応する複数の画素について画素値が低い順に順位が付与されてもよい。
ハレーション低減処理に用いる複数の原画像データに対応する複数の方向性照明のうち2つの方向性照明に対応する光の出射位置は、対物レンズ131aの光軸A1を挟んで対向するように配置されていることが好ましい。それにより、観察対象物Sに照射される2つの照明の光の出射方向が大きく異なるので、2つの方向性照明に対応する2つの原画像データに共通のハレーション成分が生じる可能性が低くなる。したがって、ハレーション成分がより低減された飽和低減画像データを生成することが可能になる。
上記の例では、ハレーション低減処理は観察対象物Sに第1〜第4の方向性照明を順次照射することにより生成された4つの原画像データに基づいて実行されるが、本発明はこれに限定されない。第1〜第4の方向性照明による撮像が連続的に繰り返し実行されるとともに、原画像データが生成されるごとに飽和低減画像データが生成されてもよい。また、飽和低減画像データが生成されるごとに、生成された飽和低減画像データに基づく観察対象物Sの画像SIが表示部430上で更新されてもよい。
図12は、複数の方向性照明による撮像を繰り返し実行しつつ原画像データが生成されるごとに飽和低減画像データを生成するハレーション低減処理の概念図である。図12の最上段に示すように、本例では、時間の経過とともに第1〜第4の方向性照明にそれぞれ対応する原画像データが順次繰り返して生成される。
制御部410は、初期状態から4番目の原画像データが生成された時点で1番目〜4番目までの4つの原画像データと予め指定された選択順位とに基づいてハレーション低減処理を実行する。それにより、ハレーション成分が低減された飽和低減画像データに基づく画像SIが表示部430に表示される。
その後、制御部410は、新たなn(nは5以上の自然数)番目の原画像データが生成されるごとに、(n−3)番目からn番目までの4つの原画像データに基づいてハレーション低減処理を実行する。それにより、新たな飽和低減画像データに基づいて表示部430に表示される画像SIが更新される。
この場合、表示部430にハレーション成分が低減された観察対象物Sの画像SIがリアルタイムに表示される。したがって、使用者は、観察対象物Sの画像SIを視認しつつ、撮像部132の受光時間の調整等を容易に行うことができる。
ここで、上記のようにハレーション成分が低減された画像SIがリアルタイムに表示される場合、観察対象物Sの画像SIの更新動作は、特定の期間で停止されてもよい。
例えば、同じ方向性照明により一定周期で生成される複数の原画像データに変化がない場合には、撮像情報および照明条件の調整が停止されている可能性が高い。そこで、同じ方向性照明により一定周期で生成される所定数の原画像データの間で画像の変化が認められないときに、画像SIの更新動作が停止されてもよい。また、観察対象物Sの画像SIの更新動作が停止された後、同じ方向性照明により生成される2つの原画像データの間で画像の変化が認められたときに、更新動作が再開されてもよい。この場合、更新動作が停止された状態で、表示部430に表示される観察対象物Sの画像SIのちらつきが防止される。
上記の例では、使用者が選択順位を指定するために観察画面430Aに順位指定欄b41が表示されるが、本発明はこれに限定されない。順位指定欄b41が表示される代わりに、選択順位を画像の明るさとして示すバーとそのバー上で選択順位を指定するためのスライダとが、観察画面430Aに表示されてもよい。この場合、使用者は、スライダを操作することにより、選択順位を指定することができる。
上記の例では、最初に使用者により選択順位が指定された後、出射方向が互いに異なる第1〜第4の方向性照明を用いて観察対象物Sが順次撮像されるが、本発明はこれに限定されない。第1〜第4の方向性照明を用いて観察対象物Sが順次撮像される間、または第1〜第4の方向性照明にそれぞれ対応する複数の原画像データが生成された後に、使用者による選択順位の指定が行われてもよい。
上記の例では、使用者により指定された選択順位に基づいて、互いに対応する複数の画素のうちの1つの画素が選択され、選択された複数の画素が合成されることにより飽和低減画像データが生成されるが、本発明はこれに限定されない。互いに対応する複数の画素について付与される順位ごとに飽和低減画像データが生成され、生成された複数の順位(上記の例では「1」番目〜「4」番目の順位)にそれぞれ対応する複数の飽和低減画像データが記憶部420に記憶されてもよい。その後、使用者による選択順位の指定に応答して、指定された選択順位に対応する飽和低減画像データに基づく画像SIが観察画面430Aに表示されてもよい。なお、使用者による選択順位の指定時には、複数の順位(上記の例では「1」番目〜「4」番目の順位)にそれぞれ対応する複数の飽和低減画像データに基づく画像が観察画面430Aに一覧表示されてもよい。
上記の例では、選択順位は使用者の指定に基づいて設定されるが、本発明はこれに限定されない。選択順位は、使用者により設定される代わりに予め拡大観察装置1の工場出荷時に拡大観察装置1の製造者により設定されてもよい。
複数の原画像データの少なくとも一部がハレーション成分を含む場合、複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数の画素値のうち最も高い値は飽和している可能性がある。そこで、選択順位が予め設定される場合、選択順位は、最も高い値を除く画素値を示す画素が選択されるように設定されることが好ましい。この場合、複数の原画像データの互いに対応する複数の画素から、最も高い画素値を除く画素値を示す画素が選択される。そのため、飽和した画素値を示す画素が選択されにくくなる。したがって、ハレーション成分が低減された表示用画像データが生成される。
また、ハレーション低減処理においては、制御部410は、選択順位に基づいて互いに対応する複数の画素から1つの画素を選択する代わりに、選択順位を用いることなく複数の画素の画素値に基づいて1つの画素を選択してもよい。具体的には、制御部410は、互いに対応する複数の画素の複数の画素値の全てが飽和している場合に複数の画素のうちの任意の画素を選択してもよい。また、制御部410は、複数の画素値の一部が飽和しかつ残りの画素値が飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。さらに、制御部410は、複数の画素値の全てが飽和していない場合に飽和していない画素値を示す画素のうち任意の画素を選択してもよい。
本実施の形態に係るハレーション低減処理は、使用者がハレーション低減処理を指示することにより実行されるが、本発明はこれに限定されない。例えば、拡大観察装置1の制御部410は、使用者による動作モードの選択に応答して、通常モードおよびハレーション低減モードのうち一方のモードで動作可能に構成されてもよい。この場合、制御部410は、通常モードにおいて、使用者によるハレーション低減処理の指示に応答してハレーション低減処理を実行してもよい。一方、制御部410は、ハレーション低減モードにおいて、撮像により生成される画像データにハレーション成分が存在するか否かを判定し、ハレーション成分が存在する場合にハレーション低減処理を実行してもよい。
さらに、本発明に係るハレーション低減処理においては、選択順位は、使用者により設定される代わりに、複数の方向性照明にそれぞれ対応する複数の原画像データの状態(明るさ等)に基づいて自動的に設定されてもよい。この場合、図2の演算処理部600は以下の構成を有してもよい。図13は、図2の演算処理部600の他の構成例を示すブロック図である。図13に示すように、本例の演算処理部600は、図7の構成に加えて、飽和画素計数部651および順位決定部652を含む。
飽和画素計数部651は、ハレーション低減処理の実行時に生成される複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から飽和している画素の数を飽和画素数としてカウントする。また、順位決定部652は、飽和画素計数部651によりカウントされた複数の順位にそれぞれ対応する複数の飽和画素数と予め定められた合成条件とに基づいて、複数の順位から一の順位を決定し、決定された順位を図2の表示部430に表示させる。ここで、合成条件は、予め記憶部420に記憶される。この合成条件は、拡大観察装置1の工場出荷時に拡大観察装置1の製造者により設定されてもよいし、ハレーション低減処理の実行前に予め使用者により設定されてもよい。
図13の構成に基づくハレーション低減処理の具体例を説明する。以下の説明では、合成条件は、飽和画素数が特定のしきい値(本例では100)を超えない順位のうち最も高い順位を選択順位とすることであるものとする。
例えば、ハレーション低減処理において、使用者による選択順位の設定が行われることなく、第1〜第4の方向性照明にそれぞれ対応する4つの原画像データが生成される。続いて、4つの原画像データの互いに対応する4つの画素ごとに画素値に基づく1番目〜4番目の順位が付与される。
その後、全ての画素に付与された順位ごとに、当該順位が付与された画素のうち飽和している画素の数が、図13の飽和画素計数部651により算出される。ここで、1番目、2番目、3番目および4番目にそれぞれ対応する飽和画素数がそれぞれ、38290、10595、0および0であるものと仮定する。この場合、3番目が図13の順位決定部652により選択順位として設定される。また、設定された選択順位が表示部430に表示される。
次に、設定された選択順位「3」に基づく飽和低減画像データが生成され、生成された飽和低減画像データに基づく画像SIが表示部430に表示される。このように、本例では、複数の飽和画素数および合成条件に基づいて合成用の画素が決定される。したがって、合成条件が予め適切に設定されることにより、複数の原画像データに基づく画像に応じた適切な飽和低減画像データが自動的に生成される。
なお、本例の拡大観察装置1は、上記のように自動的に選択順位が設定され、設定された選択順位に対応する飽和低減画像データが生成された後、再度使用者による選択順位の指定を受け付け可能に構成されてもよい。この場合、使用者により指定された選択順位が自動的に設定された選択順位と異なるときに、使用者により指定された選択順位に基づいて再度飽和低減画像データが生成されてもよい。それにより、使用者は、自動的に生成された飽和低減画像データに基づく画像SIを視認しつつ、より所望の画像SIが得られるように選択順位を変更することができる。
複数の飽和画素数と合成条件とに基づいて決定された一の順位に対応する複数の画素の多くが黒つぶれしている画素である場合には、飽和低減画像データに基づく画像SIは全体的に暗くなる。
そこで、図13の順位決定部652は、さらに、ハレーション低減処理の実行時に生成される複数の原画像データの互いに対応する複数の画素がそれぞれ示す複数個の画素値の大きさの順位ごとに、当該順位の画素値を示す複数の画素から予め定められた黒つぶれしきい値よりも低い画素値を示す画素の数を黒つぶれ画素数としてカウントしてもよい。黒つぶれしきい値は、例えば画素値“0”または“0”に近い値に設定される。
この場合、順位決定部652は、複数の飽和画素数と合成条件とに基づいて決定された一の順位を、複数の順位にそれぞれ対応する複数の黒つぶれ画素数に基づいて修正する。例えば、順位決定部652は、複数の飽和画素数と合成条件とに基づいて決定された一の順位に対応する黒つぶれ画素数が予め定められたしきい値よりも大きい場合に、決定された一の順位を1つ上位の順位(画像が全体的に明るくなる順位)に修正する。それにより、ハレーション成分が低減されつつ黒つぶれ成分が低減された飽和低減画像データが生成される。
(b)ハレーション低減処理の一例
図2の記憶部420に記憶されるシステムプログラムは、ハレーション低減プログラムを含む。図2の制御部410は、ハレーション低減プログラムを実行することにより、ハレーション低減処理を行う。
図14および図15は、ハレーション低減処理の一例を示すフローチャートである。ハレーション低減処理は、使用者によるハレーション低減処理の指示に応答して開始される。ハレーション低減処理が開始されると、制御部410は、選択順位が指定されたか否かを判定する(ステップS101)。なお、選択順位が予め設定されている場合、制御部410はステップS101の処理を省略することができる。
選択順位が指定されない場合、制御部410は、選択順位が指定されるまでステップS101の処理を繰り返す。選択順位が指定されると、制御部410は、指定された選択順位を記憶部420に記憶させ(ステップS102)、iを1に設定する(ステップS103)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS104)。撮像により得られる原画像データは記憶部420に記憶される。
次に、制御部410は、iが4であるか否かを判定する(ステップS105)。iが4でない場合、制御部410は、iをi+1に更新し(ステップS106)、ステップS104の処理に戻る。
ステップS105において、iが4である場合、制御部410は、kを1に設定する(ステップS107)。
続いて、制御部410は、複数の原画像データの互いに対応するk番目の複数の画素データを読み出す(ステップS108)。制御部410は、読み出した複数の画素データの画素値に基づいてそれらの画素値を示す複数の画素にそれぞれ順位を付与する(ステップS109)。そこで、制御部410は、複数の画素から指定された選択順位の画素を選択する(ステップS110)。
次に、制御部410は、kが撮像部132の全画素数を表す値Nであるか否かを判定する(ステップS111)。kが値Nではない場合、制御部410は、kをk+1に更新し(ステップS112)、ステップS108の処理に戻る。一方、kが値Nである場合、制御部410は、ステップS108〜S112の処理が繰り返されることにより選択された全ての画素を合成して飽和低減画像データを生成する(ステップS113)。
最後に、制御部410は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの画像SIを表示部430に表示させる(ステップS114)。
以下の説明においては、上記のハレーション低減処理のうち複数の画像データに基づいて飽和低減画像データを生成する処理を飽和低減画像データ生成処理と呼ぶ。図15においては、飽和低減画像データ生成処理に含まれるステップS107〜S113の処理が点線で囲まれている。
(c)ハレーション低減処理の一時停止
本実施の形態に係る拡大観察装置1においては、撮像部132により一定周期で取得される観察対象物Sの画像がリアルタイムに表示部に表示される。上記のように、ハレーション低減処理では、図1の投光部140により第1〜第4の方向性照明が順次切り替えられつつ観察対象物Sに照射される。この動作を連続照射動作と呼ぶ。
連続照射動作中に、ステージ121、投光部140および撮像部132のうちいずれか1つが他の部材に対して移動する場合、方向性照明が切り替わるごとに観察対象物Sおよびその近傍にちらつきが発生する。この場合、使用者は、違和感を覚える場合がある。
そこで、制御部410は、投光部140による連続照射動作中に、ステージ121、投光部140および撮像部132のうちいずれか1つの構成要素が他の構成要素に対して移動を開始したときに、ハレーション低減処理を一時的に停止することにより当該連続照射動作を一時停止してもよい。これにより、リアルタイムで使用者に提示される観察対象物Sにちらつきが発生することが抑制される。
また、制御部410は、上記の移動が停止されたときに、ハレーション低減処理を再開することにより連続照射動作を再開してもよい。それにより、ハレーション低減処理の停止および再開を円滑に実行することができる。なお、制御部410は、上記の移動が停止されたときに、ハレーション低減処理を最初のステップから実行してもよい。
上記の一時停止の例において、制御部410は、連続照射動作の停止中に、投光部140から観察対象物Sにリング照明を照射してもよい。それにより、連続照射動作の停止中に、使用者は、影の少ない明るい画像で観察対象物Sを確認することができる。
(4)深度合成処理
(a)処理内容
使用者は、図2の操作部440を用いて図1の制御部410に深度合成処理の指示を与えることができる。本実施の形態に係る深度合成処理は、ハレーション低減処理を含む。そのため、使用者により深度合成処理が指示される場合には、図10の例と同様に、観察画面430Aに順位指定欄b41および実行ボタンb42が表示される。使用者は、順位指定欄b41に所望の選択順位を入力し、実行ボタンb42を操作する。それにより、選択順位が指定される。
深度合成処理では、Z方向における光の焦点位置の移動範囲および焦点位置の移動ピッチが深度合成処理用の撮像条件として予め設定されることが好ましい。この場合、図1の焦点駆動部113は過度に大きい範囲で光の焦点位置を変化させる必要がないので、複数の原画像データを高速に生成することができる。撮像条件は、例えば使用者による操作部440の操作に基づいて設定される。なお、Z方向における光の焦点位置の範囲および焦点位置の移動ピッチは、撮像に用いられる対物レンズ131aの倍率等に応じて自動的に設定されてもよい。以下の説明では、深度合成処理用の撮像条件は予め設定されているものとする。
図16は、本発明の一実施の形態に係る深度合成処理の一例を示す概念図である。図16(a)に、レンズユニット131と投光部140とステージ121との位置関係が示される。本例では、ステージ121が静止した状態で、レンズユニット131が投光部140と一体的にZ方向に移動される。この場合、予め設定されたZ方向における光の焦点位置の範囲および焦点位置の移動ピッチに基づいて、レンズユニット131(対物レンズ131a)が移動すべきZ方向の位置H1〜Hj(jは自然数)が定まる。
深度合成処理では、レンズユニット131が位置H1〜Hjの各々に位置決めされた状態で第1〜第4の方向性照明を用いて観察対象物Sが撮像される。それにより、第1〜第4の方向性照明を用いて位置H1〜Hjにそれぞれ対応する複数(j個)の原画像データが生成される。図16(b)に、位置H1〜Hjにそれぞれ対応する観察対象物Sの複数の画像SIが照明ごとに示される。
各方向性照明に対応する複数の原画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の原画像データの複数の画素データが選択的に合成される。それにより、各方向性照明が照射された観察対象物Sの全部分に合焦した深度合成画像データが生成される。深度合成画像データに基づく画像を深度合成画像と呼ぶ。図16(b)に、第1〜第4の方向性照明にそれぞれ対応する観察対象物Sの複数の深度合成画像SFが示される。
その後、使用者により指定された選択順位と複数の深度合成画像データとに基づいて、各深度合成画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。
具体的には、生成された複数の深度合成画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。その後、使用者により指定された選択順位に基づいて、複数の画素のうちの1つの画素が選択される。このようにして、複数の深度合成画像SFの全ての画素について、画素値の大きさに基づく画素の選択が行われる。その後、選択された複数の画素が合成されることにより、飽和低減画像データが生成される。
上記の説明においては、第1〜第4の方向性照明にそれぞれ対応する複数の深度合成画像データが先に生成され、生成された複数の深度合成画像データに基づいて飽和低減画像データが表示用画像データとして生成されるが、本発明はこれに限定されない。表示用画像データは以下のように生成されてもよい。
図17は、本発明の一実施の形態に係る深度合成処理の他の例を示す概念図である。本例においても、図16(a)の例と同様に、レンズユニット131が位置H1〜Hjの各々に位置決めされた状態で第1〜第4の方向性照明を用いて観察対象物Sが撮像される。それにより、方向性照明ごとに位置H1〜Hjにそれぞれ対応する複数(j個)の原画像データが生成される。図17に、位置H1〜Hjにそれぞれ対応する観察対象物Sの複数の画像SIが照明ごとに示される。
その後、位置H1〜Hjの各々で生成された複数の原画像データと使用者により指定された選択順位とに基づいて、レンズユニット131のZ方向の位置ごとに各原画像データに比べてハレーション成分の低減された飽和低減画像データが生成される。図17では、位置H1〜Hjにそれぞれ対応する飽和低減画像データに基づく観察対象物Sの複数の画像S1〜Sjが示される。その後、複数の飽和低減画像データに基づいて深度合成画像データが生成される。具体的には、複数の飽和低減画像データの各々について、画素ごとの合焦度が判定される。合焦度の判定結果に基づいて、複数の飽和低減画像データの複数の画素データが選択的に合成される。
(b)深度合成処理の一例
図2の記憶部420に記憶されるシステムプログラムは、深度合成プログラムを含む。図2の制御部410は、深度合成プログラムを実行することにより、深度合成処理を行う。
図18および図19は、深度合成処理の一例を示すフローチャートである。制御部410は、選択順位が指定されたか否かを判定する(ステップS301)。なお、選択順位が予め設定されている場合、制御部410はステップS301の処理を省略することができる。
選択順位が指定されない場合、制御部410は、選択順位が指定されるまでステップS301の処理を繰り返す。選択順位が指定されると、制御部410は、指定された選択順位を記憶部420に記憶させる(ステップS302)。
次に、制御部410は、レンズユニット131を下限位置に移動させる(ステップS303)。次に、制御部410は、iを1に設定する(ステップS304)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS305)。続いて、制御部410は、レンズユニット131が上限位置まで移動したか否かを判定する(ステップS306)。
ステップS306において、レンズユニット131が上限位置まで移動していない場合、制御部410は、レンズユニット131を所定量(予め設定された移動ピッチ)だけ上方に移動させる(ステップS307)。その後、制御部410は、ステップS305の処理に戻る。レンズユニット131が上限位置まで移動するまで、制御部410はステップS305〜S307の処理を繰り返す。
ステップS306において、レンズユニット131が上限位置まで移動した場合、制御部410は、複数の原画像データの画素データを合成することにより、第iの方向性照明に対応する深度合成画像データを生成する(ステップS308)。具体的には、制御部410は、第iの方向性照明に対応する複数の原画像データの各々について、画素ごとの合焦度を判定し、合焦度の判定結果に基づいて複数の原画像データの複数の画素データを選択的に合成することにより深度合成画像データを生成する。
次に、制御部410は、iが4であるか否かを判定する(ステップS309)。ステップS309において、iが4でない場合、制御部410はiをi+1に更新する(ステップS310)。また、制御部410は、レンズユニット131を下限位置に移動させる(ステップS311)。その後、制御部410はステップS305の処理に戻る。iが4になるまで、制御部410はステップS305〜S311の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成されるとともに、第1〜第4の方向性照明の各々に対応する深度合成画像データが生成される。ステップS309において、iが4である場合、制御部410は、使用者により指定された選択順位と第1〜第4の方向性照明にそれぞれ対応する複数の深度合成画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する(ステップS312)。
最後に、制御部410は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの深度合成画像SFを表示部430に表示させる(ステップS313)。
(c)深度合成処理の他の例
図20および図21は、深度合成処理の他の例を示すフローチャートである。制御部410は、選択順位が指定されたか否かを判定する(ステップS321)。なお、選択順位が予め設定されている場合、制御部410はステップS321の処理を省略することができる。
選択順位が指定されない場合、制御部410は、選択順位が指定されるまでステップS321の処理を繰り返す。選択順位が指定されると、制御部410は、指定された選択順位を記憶部420に記憶させる(ステップS322)。
次に、制御部410は、レンズユニット131を下限位置に移動させる(ステップS323)。次に、制御部410は、iを1に設定する(ステップS324)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS325)。
次に、制御部410は、iが4であるか否かを判定する(ステップS326)。ステップS326において、iが4でない場合、制御部410はiをi+1に更新する(ステップS327)。その後、制御部410はステップS325の処理に戻る。iが4になるまで、制御部410はステップS325〜S327の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成される。
ステップS326において、iが4である場合、制御部410は、使用者により指定された選択順位と直前のステップS325〜327の処理で生成された複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する(ステップS328)。
その後、制御部410は、レンズユニット131が上限位置まで移動したか否かを判定する(ステップS329)。
ステップS329において、レンズユニット131が上限位置まで移動していない場合、制御部410は、レンズユニット131を所定量だけ上方に移動させる(ステップS330)。その後、制御部410は、ステップS324の処理に戻る。レンズユニット131が上限位置まで移動するまで、制御部410はステップS324〜S330の処理を繰り返す。
ステップS329において、レンズユニット131が上限位置まで移動した場合、制御部410は、上記のステップS324〜S330の処理が繰り返されることにより生成された複数の飽和低減画像データを合成することにより、深度合成画像データを生成する(ステップS331)。具体的には、制御部410は、Z方向における複数の位置にそれぞれ対応する複数の飽和低減画像データの各々について、画素ごとの合焦度を判定し、合焦度の判定結果に基づいて複数の飽和低減画像データの複数の画素データを選択的に合成することにより深度合成画像データを生成する。
最後に、制御部410は、深度合成画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの深度合成画像SFを表示部430に表示させる(ステップS332)。
上記の深度合成処理の一例および他の例においては、レンズユニット131が初期位置として下限位置に移動された後、上限位置まで所定量ずつ上方に移動されるが、本発明はこれに限定されない。深度合成処理においては、レンズユニット131が初期位置として上限位置に移動された後、下限位置まで所定量ずつ下方に移動されてもよい。
また、上記の深度合成処理の一例および他の例においては、図6に点線で示されるように、レンズユニット131が投光部140と一体的にZ方向に移動されるが、本発明はこれに限定されない。深度合成処理においては、ステージ121、レンズユニット131および投光部140のうちの1つまたは2つ部材が他の部材に対してZ方向に移動されてもよい。
(d)深度合成処理の使用例
図22は、本発明の一実施の形態に係る深度合成処理の使用例を示す図である。図22(a)に、リング照明で撮像された原画像データに基づく観察対象物Sの画像SIの一例が示される。本例の観察対象物Sには、上面の一部に、「sss」および「fff」の文字列が付されている。
図22(a)の画像SIにおいては、対象部分画像sp上に円環状のハレーションHLが発生している。また、図22(a)の画像SIにおいては、観察対象物Sの一部に光の焦点が合っていない。そのため、観察対象物Sの形状の一部を詳細に観察することができない。
このような場合でも、本実施の形態に係る深度合成処理によれば、観察対象物Sの全ての部分に焦点が合いかつハレーション成分が除去された深度合成画像SFを取得することができる。
図22(b)に、ハレーション成分が低減された深度合成画像SFの一例が示される。図22(b)の深度合成画像SFにおいては、対象部分画像sp上にハレーションHLが存在しない。また、観察対象物Sの全体に渡って光の焦点が合っている。
(5)複合処理
(a)処理内容
使用者は、図2の操作部440を用いて図1の制御部410に複合処理の指示を与えることができる。本実施の形態に係る複合処理は、ハレーション低減処理およびDR調整処理を含む。そのため、使用者により複合処理が指示される場合には、図10の例と同様に、観察画面430Aに順位指定欄b41および実行ボタンb42が表示される。使用者は、順位指定欄b41に所望の選択順位を入力し、実行ボタンb42を操作する。それにより、選択順位が指定される。
複合処理においては、撮像部132の受光時間を予め定められた複数の値に変化させた状態で、第1〜第4の方向性照明の各々が照射されたときの観察対象物Sが撮像される。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが、撮像部132の受光時間ごとに図7のデータ生成部610により生成される。撮像部132の受光時間が短いときに生成された各原画像データの全体的な画素値は比較的小さく撮像部132の受光時間が長いときに生成された各原画像データの全体的な画素値は比較的大きい。
各方向性照明に対応する複数の原画像データがデータ生成部610により合成される。これにより、各方向性照明に対応する原画像データのダイナミックレンジを調整することができる。
ここで、ダイナミックレンジの調整は、ダイナミックレンジの拡大および縮小を含む。ダイナミックレンジが拡大するように複数の原画像データを合成することにより、表示部430に表示される画像から黒つぶれおよびハレーション(白とび)を低減することができる。一方、ダイナミックレンジが縮小するように複数の原画像データを合成することにより、表示部430に表示される画像の濃淡の差が大きくなる。これにより、滑らかな表面を有する観察対象物Sの凹凸を精密に観察することができる。
ここで、単にダイナミックレンジを調整しても、撮像部132の複数の画素の一部に過剰に強度の高い光が入射した場合には、その部分に対応する画素値を上限値よりも低くすることができない可能性がある。この場合、その部分に対応するハレーションを除去することができない。そこで、本実施の形態に係る複合処理では、第1〜第4の方向性照明に対応しかつダイナミックレンジが調整された複数の原画像データが生成された後、使用者により指定された選択順位とそれらの複数の原画像データとに基づいて、各原画像データに比べてハレーション成分の低減された飽和低減画像データが表示用画像データとして生成される。
上記の説明においては、第1〜第4の方向性照明の各々についてダイナミックレンジが調整されるように原画像データが先に合成され、合成された複数の原画像データに基づいて表示用画像データが生成されるが、本発明はこれに限定されない。撮像部132の受光時間ごとに複数の原画像データに基づいてハレーション成分の低減された飽和低減画像データが先に生成され、その後、撮像部132の複数の受光時間にそれぞれ対応して生成された複数の飽和低減画像データが、ダイナミックレンジが調整されるように合成されてもよい。
(b)複合処理の一例
図2の記憶部420に記憶されるシステムプログラムは、複合処理プログラムを含む。図2の制御部410は、複合処理プログラムを実行することにより、複合処理を行う。
図23は、複合処理の一例を示すフローチャートである。制御部410は、選択順位が指定されたか否かを判定する(ステップS401)。なお、選択順位が予め設定されている場合、制御部410はステップS401の処理を省略することができる。
選択順位が指定されない場合、制御部410は、選択順位が指定されるまでステップS401の処理を繰り返す。選択順位が指定されると、制御部410は、指定された選択順位を記憶部420に記憶させる(ステップS402)。
次に、制御部410は、iを1に設定する(ステップS403)。ここで、iは複数の方向性照明の番号を示す。続いて、制御部410は、撮像部132の受光時間を予め定められた初期値に設定する(ステップS404)。
次に、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS405)。続いて、制御部410は、第iの方向性照明が照射された状態で、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されたか否かを判定する(ステップS406)。
ステップS406において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されていない場合、制御部410は、撮像部132の受光時間を予め定められた次の値に設定する(ステップS407)。その後、制御部410は、ステップS405の処理に戻る。撮像部132の全ての所望の受光時間で観察対象物Sが撮像されるまで、制御部410はステップS405〜S407の処理を繰り返す。
ステップS406において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像された場合、制御部410は、生成された生成された第iの方向性照明に対応する複数の原画像データを合成する(ステップS408)。これにより、第iの方向性照明に対応する原画像データのダイナミックレンジが調整される。
次に、制御部410は、iが4であるか否かを判定する(ステップS409)。ステップS409において、iが4でない場合、制御部410はiをi+1に更新する(ステップS410)。その後、制御部410はステップS404の処理に戻る。iが4になるまで、制御部410はステップS404〜S410の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成され、それらの複数の原画像データがダイナミックレンジが調整されるように合成される。ステップS409において、iが4である場合、制御部410は、使用者により指定された選択順位と、第1〜第4の方向性照明にそれぞれ対応しかつダイナミックレンジが調整された複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、飽和低減画像データを生成する(ステップS411)。
最後に、制御部410は、飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの画像SIを表示部430に表示させる(ステップS412)。
(c)複合処理の他の例
図24および図25は、複合処理の他の例を示すフローチャートである。制御部410は、選択順位が指定されたか否かを判定する(ステップS421)。なお、選択順位が予め設定されている場合、制御部410はステップS421の処理を省略することができる。
選択順位が指定されない場合、制御部410は、選択順位が指定されるまでステップS421の処理を繰り返す。選択順位が指定されると、制御部410は、指定された選択順位を記憶部420に記憶させる(ステップS422)。
次に、制御部410は、撮像部132の受光時間を予め定められた初期値に設定する(ステップS423)。続いて、制御部410は、iを1に設定する(ステップS424)。その後、制御部410は、投光部140により第iの方向性照明を観察対象物Sに照射するとともに、撮像部132により観察対象物Sを撮像する(ステップS425)。
次に、制御部410は、iが4であるか否かを判定する(ステップS426)。ステップS426において、iが4でない場合、制御部410はiをi+1に更新する(ステップS427)。その後、制御部410はステップS425の処理に戻る。iが4になるまで、制御部410はステップS425〜S427の処理を繰り返す。これにより、第1〜第4の方向性照明の各々に対応する複数の原画像データが生成される。続いて、制御部410は、使用者により指定された選択順位と、第1〜第4の方向性照明にそれぞれ対応する複数の原画像データとに基づいて上記の飽和低減画像データ生成処理を実行し、現時点で設定されている受光時間に対応する飽和低減画像データを生成する(ステップS428)。
その後、制御部410は、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されたか否かを判定する(ステップS429)。
ステップS429において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像されていない場合、制御部410は、撮像部132の受光時間を予め定められた次の値に設定する(ステップS430)。その後、制御部410は、ステップS424の処理に戻る。撮像部132の全ての所望の受光時間で観察対象物Sが撮像されるまで、制御部410はステップS424〜S430の処理を繰り返す。
ステップS429において、撮像部132の全ての所望の受光時間で観察対象物Sが撮像された場合、制御部410は、設定された複数の受光時間にそれぞれ対応して生成された複数の飽和低減画像データをダイナミックレンジが調整されるように合成する(ステップS431)。
最後に、制御部410は、ダイナミックレンジが調整された飽和低減画像データを表示用画像データとし、その表示用画像データに基づく観察対象物Sの画像SIを表示部430に表示させる(ステップS432)。
(6)観察対象物の観察時に利用可能な機能
上記のように、本実施の形態に係る拡大観察装置1においては、図2の演算処理部600(具体的には、図7または図13のデータ生成部610)によりDR調整処理を実行することができる。DR調整処理においては、例えば撮像部132の受光時間を予め定められた複数の値に変化させた状態で、リング照明が照射されたときの観察対象物Sが撮像される。これにより、リング照明に対応する原画像データが、撮像部132の受光時間ごとに図7のデータ生成部610により生成される。
その後、例えばダイナミックレンジが拡大するように、リング照明に対応する複数の原画像データが合成される。このようにして得られる画像は、一般にHDR(ハイダイナミックレンジ)画像と呼ばれる。HDR画像は、一の受光時間により取得される通常の画像に比べてダイナミックレンジ、すなわち表示部430において表現可能な最小光量と最大光量との比率が格段に高い画像である。
標準的なコンピュータのモニタでは、標準色表現として8ビット〜24ビットの色が採用されている。そのため、コンピュータのモニタには、256階調〜約1677万階調で色が表現される。人間の眼はモニタを見る場合に瞳孔の大きさを変更する。それにより、人間は、モニタ上の画像を適正と思われる基準の明るさに調整して視認する。
撮像部132により検出可能な色の範囲がモニタにより表現可能な色の範囲を大きく超える場合、撮像部132により取得される画像データによっては、その画像データに基づく画像の一部または全てに黒つぶれまたはハレーション(白つぶれ)が生じる場合がある。そこで、モニタの表現能力等を超えたより多くの色情報を含むHDR画像が利用される。
あるいは、撮像部132により検出可能な色の範囲が検出されるべき色の範囲に比べて小さい場合にも、撮像部132により取得される画像データによっては、その画像データに基づく画像の一部または全てに黒つぶれまたはハレーション(白つぶれ)が生じる場合がある。そこで、撮像部132の検出能力等を超えたより多くの色情報を含むHDR画像が利用される。
HDR画像は、上記のように、同一の観察対象物Sを同一位置で異なる撮像条件(撮像部132の受光時間すなわち撮像素子の露光時間)で撮像した複数の画像を合成することにより取得することができる。例えば、観察対象物Sを複数の受光時間で撮像して得られる複数の低階調の画像データを合成することにより、高い階調を有するHDR画像を取得することができる。
一方、リング照明に対応する複数の原画像データが生成された後、例えば狭いダイナミックレンジで細かな模様が表示されるように、リング照明に対応する複数の原画像データが合成されてもよい。このようにして得られる画像によれば、一の受光時間で撮像が行われることにより取得される原画像よりも、一部のダイナミックレンジの範囲で輝度分解能を向上させることができる。この画像は、例えば、原画像のダイナミックレンジよりも狭いダイナミックレンジにおいて、より細かく撮像条件を変化させた複数の画像を合成することにより取得することができる。なお、ここで得られる合成画像はダイナミックレンジを拡大していないので字義上HDR画像ではないが、HDR画像と同様の高階調画像であり、本実施の形態では、便宜上HDR画像に含めて扱うこととする。
また、本実施の形態においてHDR画像は、ダイナミックレンジが表示部430で表示可能なダイナミックレンジよりも広い画像、またはダイナミックレンジが撮像部132により撮像可能なダイナミックレンジよりも広い画像という意味で使用しているが、本発明はこれに限定されない。HDR画像は、24ビット以上または32ビット以上といった特定のビット数を備える画像を意味するものとして取り扱うこともできる。以下の説明では、HDR画像を表す画像データをHDR画像データと呼ぶ。
上記のハレーション低減処理によれば、複数の方向性照明に対応する複数の原画像データが各画素値の選択順位に基づいて合成されることによりハレーションの低減された飽和低減画像データに基づく画像SIが取得される。一方、DR調整処理によれば、互いに異なる受光時間で生成された複数の原画像データが合成されることによりハレーションの低減されたHDR画像が取得される。このように、ハレーション低減処理とDR調整処理とでは、画像の生成方法が異なる。
そのため、ハレーション低減処理により低減されるハレーションの成分とDR調整処理により低減されるハレーションの成分とが互いに異なる場合がある。また、ハレーション低減処理により取得される画像の画質とDR調整処理により取得されるHDR画像の画質とは異なる。
したがって、観察対象物Sの形状、観察対象物Sの色、観察対象物Sの表面状態、あるいは観察対象物Sの観察目的によっては、ハレーション低減処理とDR調整処理とを適宜使い分けることが好ましい。
そこで、本実施の形態に係る拡大観察装置1は、観察対象物Sの観察時に利用可能な機能として、ハレーション低減処理により取得される観察対象物Sの画像SIとDR調整処理により取得されるHDR画像とを表示部430に同時に表示させる画像対比機能を有する。使用者は、図2の操作部440を操作することにより、画像対比機能の実行を指示することができる。
図26は、画像対比機能の実行時に図1の表示部430に表示される観察画面430Aの一例を示す図である。図26の例では、観察画面430Aの左半分の領域にハレーション低減処理により取得される観察対象物Sの画像SI1が表示され、観察画面430Aの右半分の領域にDR調整処理により取得されるHDR画像SI2が表示されている。この表示動作は、使用者による画像対比機能の実行の指示に応答して、図7または図13のデータ生成部610により実行される。
図26の例では、観察対象物Sは、透明なチャック付きの袋に多数の球状物体が収容された構成を有する。このような観察対象物Sにおいては、本来的に袋の外表面の一部で光が強く反射されやすい。図26に示されるように、ハレーション低減処理により取得される画像SI1においては、袋の内部に存在する球状物体をほぼ全体に渡って識別することが可能である。一方、DR調整処理により取得されるHDR画像SI2においては、全体的に高い明度で観察対象物Sを観察することができる。
ここで、図26の表示状態において、使用者は、図2の操作部440を操作することにより、観察に用いる画像として画像SI1およびHDR画像SI2のうちいずれか一方を選択することができる。この場合、図7または図13のデータ生成部610は、使用者による画像の選択に応答して、選択された一方の画像を選択前の画像のサイズよりも大きくなるように表示部430の観察画面430A上で拡大する。具体的には、データ生成部610は、選択された一方の画像を図10の例に示すように観察画面430A上に拡大表示し、他方の画像を観察画面430Aから消去する。
このように、使用者は、画像対比機能を利用することにより、ハレーション成分が除去された二種類の画像(画像SI1およびHDR画像SI2)のうち所望の画像に基づいて観察対象物Sをより詳細に観察することができる。
画像対比機能において観察画面430Aに画像SI1およびHDR画像SI2を同時に表示させる方法は、図26の例に限定されない。観察画面430Aに表示される2つの画像のうちの一方の画像が他方の画像に比べて大きく表示されてもよい。また、一方の画像が他方の画像の少なくとも一部に重なるように前面に表示されてもよい。あるいは、一方の画像が半透明の状態で他方の画像の前面に重なるように表示されてもよい。
(7)各種画像の特徴
以下の説明では、リング照明を用いて観察対象物Sを一回撮像することにより取得される通常の画像を通常画像と呼び、ハレーション低減処理により取得される画像を飽和低減画像と呼び、複合処理により取得される画像を複合処理画像と呼ぶ。
図27は、通常画像、HDR画像、飽和低減画像および複合処理画像の相違点を説明するためのヒストグラムである。図27(a),(b),(c),(d)には、通常画像、HDR画像、飽和低減画像および複合処理画像にそれぞれ対応する画像データのヒストグラムが示される。各ヒストグラムにおいては、縦軸が画素数の相対値を表し、横軸が画素値(輝度値)を表す。横軸には、さらに下限値と上限値とが示される。本例の上限値および下限値は、表示部430により表示可能な画素値の最小値および最大値を意味する。さらに、図27(a)〜(d)では、各画像のヒストグラムにおいて、観察対象物Sに対応する画素値の領域に白抜きの矢印が示される。
通常画像に対応する図27(a)の例では、上限値を超える範囲に多数の画素が存在する。画素値が上限値を超えるこれらの画素は、通常画像上では、画素値が飽和しているものとしてハレーション(白とび)の状態で表示される。
HDR画像に対応する図27(b)の例では、全ての画素の画素値が表示可能範囲内となるようにダイナミックレンジが調整されている。具体的には、図27(a)のヒストグラムが横軸方向に縮小され、表示されるべき画素の画素値の最大値が非飽和となっている。しかしながら、HDR画像を生成する元の通常画像において画素値が上限値を超える画素が多い場合には、DR調整処理により生成されるHDR画像において上限値に近い画素値を示す画素が多くなる。このようにして得られるHDR画像は、ハレーションが低減されるが、全体的に明るくなることにより高い画素値を示す多数の画素を識別することが難しい場合がある。
飽和低減画像に対応する図27(c)の例では、図27(a),(b)の例に比べて、上限値近傍の画素値を示す画素数が少ない。それにより、上限値を超える画素値を示す画素の数が低減されている。また、観察対象物Sを表す画素の数が、上限値およびその近傍の画素値を示す画素の画素数に比べて大きくなる。それにより、観察対象物Sの識別が容易になる。
複合処理画像に対応する図27(d)の例では、通常画像の画像データについてハレーション低減処理とともにDR調整処理が実行されることにより、図27(c)の例に比べて、全ての画素の画素値が表示可能範囲内となるようにダイナミックレンジが調整されている。具体的には、図27(c)のヒストグラムが横軸方向に縮小され、表示されるべき画素の画素値の最大値が非飽和となっている。これにより、観察対象物Sの識別が容易になるとともによりハレーション成分がより低減された画像が得られる。
(8)効果
本実施形態に係る拡大観察装置1においては、複数照明撮像処理によりリング照明および第1〜第4の方向性照明にそれぞれ対応する複数の原画像データが生成される。
ハレーション低減処理において、複数の原画像データの互いに対応する複数の画素ごとに画素値の大きさが比較され、画素値の大きさに基づいて複数の画素に順位が付与される。その後、使用者により指定された選択順位に基づいて、複数の原画像データの互いに対応する複数の画素ごとに1つの画素が選択される。
観察対象物Sの画像SIにおいて、ハレーションの発生位置は、観察対象物Sの形状および観察対象物Sに照射される光の出射方向に大きく依存する。そのため、リング照明および第1〜第4の方向性照明にそれぞれ対応して生成される複数の原画像データの間では、互いに対応する複数の画素のいずれかにハレーション成分が含まれない可能性が高い。したがって、選択順位が適切に設定されることにより、ハレーション成分を含まない部分を優先的に選択することが可能になる。
選択された複数の画素が合成されることにより飽和低減画像データが表示用画像データとして生成される。この場合、ハレーション成分を含まない画素が優先的に選択されることにより、飽和低減画像データにおけるハレーション成分が低減される。したがって、ハレーション成分が低減された表示用画像データを生成することが可能になる。
上記の構成においては、ステージ121の載置面の基準点上で、第1の出射方向の向きと第3の出射方向の向きとが逆になる。また、ステージ121の載置面の基準点上で、第2の出射方向の向きと第4の出射方向の向きとが逆になる。それにより、載置面の基準点上に観察対象物を配置することにより、一側方から光が照射された観察対象物Sの原画像データとともに、一側方とは逆の他側方から光が照射された観察対象物Sの原画像データを取得することができる。これらの原画像データを用いてハレーション低減処理を行うことにより、ハレーション成分がより低減されやすくなる。
[2]他の実施の形態
(1)上記実施の形態において、投光部140の領域140A〜140Dが対物レンズ131aの光軸A1を中心に回転対称に配置されることが好ましいが、本発明はこれに限定されない。投光部140の領域140A〜140Dは、対物レンズ131aの光軸A1を中心に回転対称に配置されなくてもよい。
(2)上記実施の形態において、投光部140は円筒形状を有するが、本発明はこれに限定されない。投光部140は、例えば半球形状を有し、投光部140の内面の任意の位置から観察対象物に複数の出射方向の光を照射可能に構成されてもよい。この場合、複数の原画像データを合成することなく、単一の原画像データにより表示用画像データを生成することが容易になる。この構成においては、各出射方向の光の光量を個別に調整可能であることがより好ましい。
(3)上記実施の形態において、拡大観察装置1の制御部410は、深度合成処理、複合処理、DR調整処理およびハレーション低減処理を実行するが、本発明はこれに限定されない。制御部410は、上記の複数の処理のうちハレーション低減処理を実行すればよく、深度合成処理、複合処理およびDR調整処理の一部または全てを実行しなくてもよい。
[3]請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態では、観察対象物Sが観察対象物の例であり、ステージ121がステージの例であり、第1〜第4の方向性照明が複数の出射方向の光の例であり、投光部140およびファイバユニット201および光生成部300が投光装置の例であり、撮像部132が撮像部の例であり、データ生成部610が第1、第2および第3の処理部の例であり、拡大観察装置1が拡大観察装置の例であり、原画像データが基礎画像データの例である。
また、表示部430および操作部440が順位指定部および画像選択指定部の例であり、対物レンズ131aが対物レンズの例であり、光軸A1が対物レンズの光軸の例であり、焦点駆動部113が焦点位置変化部の例であり、合焦判定部620が合焦判定部の例である。
また、第1および第2の出射方向が第1の出射方向の例であり、第3および第4の出射方向が第2の出射方向の例であり、領域140A,140Bが第1の出射部の例であり、領域140C,140Dが第2の出射部の例である。
また、飽和画素計数部651が飽和画素計数部の例であり、順位決定部652が順位決定部の例であり、データ生成部610が第4の処理部および画像拡大部の例であり、表示部430が表示部の例であり、飽和低減画像データに基づく観察対象物Sの画像SI1が第1の画像の例であり、HDR画像SI2が第2の画像の例であり、HDR画像データがダイナミックレンジ調整画像データの例であり、DR調整処理において生成されるリング照明に対応する複数の原画像データが複数の通常画像データの例であり、投光部140がリング状出射部の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。