JP7092619B2 - 拡大観察装置 - Google Patents

拡大観察装置 Download PDF

Info

Publication number
JP7092619B2
JP7092619B2 JP2018161343A JP2018161343A JP7092619B2 JP 7092619 B2 JP7092619 B2 JP 7092619B2 JP 2018161343 A JP2018161343 A JP 2018161343A JP 2018161343 A JP2018161343 A JP 2018161343A JP 7092619 B2 JP7092619 B2 JP 7092619B2
Authority
JP
Japan
Prior art keywords
objective lens
image
unit
observation
observation object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018161343A
Other languages
English (en)
Other versions
JP2020034736A (ja
Inventor
空 二見
傑 関谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2018161343A priority Critical patent/JP7092619B2/ja
Priority to US16/525,639 priority patent/US10890749B2/en
Priority to DE102019213039.9A priority patent/DE102019213039A1/de
Publication of JP2020034736A publication Critical patent/JP2020034736A/ja
Application granted granted Critical
Publication of JP7092619B2 publication Critical patent/JP7092619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/368Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、観察対象物を撮像して表示部に拡大表示する拡大観察装置に関する。
例えば、微小物体等の試料や電子部品、被加工物等のワークを拡大して表示する拡大観察装置として、観察対象物からの反射光や透過光が入射する光学系と、二次元状に配置された多数の受光素子とを備え、光学系を介して入射した光を受光素子で受光し、各受光素子の受光量を検出して観察対象物の画像を生成し、ディスプレイに拡大表示するように構成された拡大観察装置が知られている。このような拡大観察装置は、例えば特許文献1に開示されており、光学顕微鏡とは区別してデジタルマイクロスコープ等と呼ばれることがある。
特許文献1のデジタルマイクロスコープは、高さ調整可能な光学系ユニットと、光学系ユニットが取り付けられる顕微鏡本体と、試料台とを備えており、顕微鏡本体は、水平に延びる軸回りに揺動可能となっている。さらに、特許文献1のデジタルマイクロスコープは、試料の拡大観察用画像を撮像する顕微鏡イメージセンサとは別に、試料の二次元概観画像を撮像するための監視センサも有しており、顕微鏡イメージセンサ及び監視センサは、共に顕微鏡本体に取り付けられており、顕微鏡本体と揺動するようになっている。監視センサにより取得された概観画像に基づいて、試料が試料台上で正しく位置決めされているか否かを自動的にチェックしたり、所望の観察位置に到達するまで試料をX方向、Y方向に移動させたり、概観画像内の領域を指定し、その領域の所望観察倍率を選択することができるようになっている。
また、特許文献2のデジタルマイクロスコープは、試料が収容される減圧可能な密閉式の試料室を有する胴部と、揺動可能に構成された電子線撮像手段と、試料室を撮像する試料室内撮像手段とを備えている。電子線撮像手段での観察中に、この電子線撮像手段が揺動すると、試料室内撮像手段により事前に撮像された試料室画像に、電子線撮像手段の先端部の仮想イメージを重ねて表示することができるようになっている。
特開2014-211626号公報 特開2012-18811号公報
ところで、特許文献1のように、顕微鏡イメージセンサを、水平に延びる軸回りに揺動可能な顕微鏡本体に取り付けることで、試料台上の観察対象物を観察する際、観察対象物を異なる角度から観察することができるという利点がある。また、特許文献1では、監視センサにより取得された概観画像に基づいて、例えば試料の位置を自動チェックすることができるという利点もある。
しかしながら、特許文献1の監視センサは、揺動可能な顕微鏡本体に取り付けられているので、顕微鏡イメージセンサによって観察対象物を異なる角度から観察しようとして顕微鏡本体を揺動させると、監視センサも揺動することになる。顕微鏡本体の揺動角度が大きくなった場合には、観察対象物が監視センサの視野から外れてしまい、観察対象物を含む概観画像が得られなくなってしまう。従って、本来なら概観画像に含まれているはずの試料台が概観画像に現れなくなり、使用中の違和感が増大する。
また、特許文献1の監視センサが揺動すると、取得された概観画像も監視センサの揺動角度に応じて傾くことになり、この傾いた概観画像が表示部等に表示されることになる。このとき、試料台が概観画像に含まれていると、本来、水平なはずの試料台が概観画像上では傾いた状態で見えることになり、違和感が大きくなる場合がある。
また、特許文献2では、試料室を観察するための試料室内撮像手段を備えているが、特許文献2では試料室が密閉式であり、外部から観察することができないことが前提であり、開放系にある観察対象物の撮像に適用するという考えはない。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、観察対象物を複数の異なる角度から観察可能にするとともに、その観察用の第1の画像とは別に載置部を含む第2の画像を取得して表示する際に、第2の画像を違和感の少ない画像にすることにある。
上記目的を達成するために、第1の発明は、観察対象物に照明光を照射し、該照明光の前記観察対象物からの反射光又は透過光の受光量を検出して前記観察対象物の画像を生成し、拡大観察可能に表示する拡大観察装置において、ベース部と、前記ベース部に支持され、前記観察対象物を載置するための載置部と、前記照明光の前記観察対象物からの反射光又は透過光が入射する対物レンズと、前記反射光又は透過光を、前記対物レンズを介して受光して第1の画像を取得する第1の撮像手段と、前記ベース部に支持され、前記ベース部に近い側にある第1のスタンド部と、前記ベース部から遠い側にありかつ前記対物レンズ及び前記第1の撮像手段を支持する第2のスタンド部と、前記第2のスタンド部を前記第1のスタンド部に対して搖動軸回りに搖動させるシャフト部と、を有する支持部材と、前記ベース部から見て、前記シャフト部と同じ高さかそれよりも高い位置に設けられ、前記第1の撮像手段の光軸が視野内に含まれるように前記載置部または前記観察対象物の方を向き、かつ、前記第1の撮像手段の光軸と異なる光軸を有し、前記載置部を含む第2の画像を、前記支持部材の揺動動作との関連を無くす若しくは関連を低くして取得するように設けられた第2の撮像手段と、前記第1の撮像手段で取得された前記第1の画像と、前記第2の撮像手段で取得された前記第2の画像とを表示可能な表示部とを備えていることを特徴とする。
この構成によれば、載置部に載置された観察対象物に照射された照明光は、当該観察対象物から反射して対物レンズに入射する。また、観察対象物が透光性を有していて透過照明によって照明されている場合には、観察対象物からの透過光が対物レンズに入射する。対物レンズに入射した光は、第1の撮像手段により受光されて第1の画像が取得される。このとき、対物レンズ及び第1の撮像手段を支持する第2のスタンド部を揺動させることで、観察対象物を複数の異なる角度から観察することができる。
一方、第1の撮像手段とは別に設けられている第2の撮像手段は、載置部または観察対象物の方を向いているので、それらを第2の画像として取得することが可能になる。取得された第2の画像には載置部が含まれている。
尚、前記揺動軸は、ベース部と一体化した軸であってもよい。
第2の撮像手段が第2の画像を取得する際、支持部材の揺動動作との関連を無くす若しくは関連を低くして取得できるように、第2の撮像手段が設けられているので、支持部材を大きく揺動させたとしても、第2の撮像手段の視野から載置部が外れ難くなる。これにより、観察対象物を複数の異なる角度から観察する場合に、載置部を含む第2の画像を表示部に表示させ続けておくことができる。
第2の発明は、前記第2の撮像手段は、前記ベース部に対し揺動しない前記第1のスタンド部または前記シャフト部に設けられていることを特徴とする。
この構成によれば、第2の撮像手段が揺動しないので、支持部材の揺動動作との関連が無い第2の画像を取得することが可能になる。
第3の発明は、前記第2の撮像手段は、前記揺動軸近傍に設けられていることを特徴とする。
すなわち、支持部材を揺動させたときに揺動軸は揺動しないので、この揺動軸の近傍に第2の撮像手段が設けられていることで、支持部材の揺動動作との関連が低い第2の画像を取得することが可能になる。
第4の発明は、前記揺動軸と、前記第2の撮像手段の光軸とは略一致または交差していることを特徴とする。
この構成によれば、揺動しないように第2の撮像手段を設けることができるので、第2のスタンド部の揺動動作との関連が無い第2の画像を取得することが可能になる。また、搖動軸の少し上から載置部を見下ろすように、第2の撮像手段を配置することができる。
第5の発明は、前記シャフト部は中空軸で構成され、前記第2の撮像手段は、前記シャフト部の径方向中心部近傍に設けられていることを特徴とする。
すなわち、シャフト部の周囲には軸受部材等が配設される場合が多く、第2の撮像手段を配設するためのスペースを確保するのが難しいことがあるが、シャフト部を中空軸とすることでシャフト部の内部の空間を有効に利用して第2の撮像手段を配設することができる。
第6の発明は、前記ベース部から離れて配置可能な制御部を備え、前記第2の撮像手段から延び、該第2の撮像手段による撮像データを送信するケーブルが前記シャフト部の内部を通り、前記制御部に接続されていることを特徴とする。
この構成によれば、シャフト部の内部の空間をケーブルの配設空間としても利用することができる。
第7の発明は、前記第2の撮像手段は、前記対物レンズを含む第2の画像を取得し、前記支持部材を揺動動作させた状態で前記第1の撮像手段により取得された前記第1の画像と、前記第2の撮像手段で取得された前記第2の画像とを前記表示部に同時に表示させる表示制御部を備えていることを特徴とする。
この構成によれば、第1の撮像手段を揺動させて観察対象物を観察した第1の画像と、対物レンズを含む第2の画像とを同時に表示部に表示させることができるので、使用者が観察対象物に対する対物レンズの向きを把握することができる。
第8の発明は、前記表示制御部は、前記第1の画像を前記第2の画像よりも大きく表示させることを特徴とする。
この構成によれば、観察対象物を観察しやすくなる。
第9の発明は、観察対象物に照明光を照射し、該照明光の前記観察対象物からの反射光又は透過光の受光量を検出して前記観察対象物の画像を生成し、拡大観察可能に表示する拡大観察装置において、ベース部と、前記ベース部に支持され、前記観察対象物を載置するための載置部と、前記照明光の前記観察対象物からの反射光又は透過光が入射する対物レンズと、前記反射光又は透過光を、前記対物レンズを介して受光して第1の画像を取得する第1の撮像手段と、前記第1の撮像手段の光軸が視野内に含まれるように前記載置部または前記観察対象物の方を向き、かつ、前記第1の撮像手段の光軸と異なる光軸を有し、前記載置部を含む第2の画像を取得する第2の撮像手段と、前記対物レンズ、前記第1の撮像手段及び前記第2の撮像手段を支持し、当該対物レンズを前記第1の撮像手段の光軸に直交する揺動軸回りに揺動させる支持部材と、前記支持部材が揺動した状態で前記第2の撮像手段で撮像された前記第2の画像の前記載置部が略水平となるようにする水平化部と、前記支持部材が揺動した状態で前記第2の撮像手段が前記第2の画像を取得した場合に、前記水平化部により前記載置部が略水平となるようにされた前記第2の画像を表示可能な表示部とを備えていることを特徴とする。
すなわち、第2の撮像手段が第2の画像を取得する際、支持部材が揺動していると、第2の撮像手段で取得された第2の画像においては、載置部が支持部材の揺動角度に対応して傾斜することになる。第2の画像は、水平化部で載置部が略水平となるようにされた後、表示部に表示されるので、観察対象物を複数の異なる角度から観察する場合に、第2の画像を違和感の少ない画像とすることができる。
第10の発明は、前記水平化部は、前記第2の画像を回動させる画像処理を行うことにより、前記第2の画像の前記載置部が略水平となるようにすることを特徴とする。
この構成によれば、特別な機構を設けることなく、画像処理によって処理することにより、載置部が略水平となるようにされた第2の画像を得ることができる。
第11の発明は、前記水平化部は、前記支持部材の揺動時に、揺動前の前記第2の撮像手段の水平方向が水平な状態で維持されるように構成されていることを特徴とする。
この構成によれば、揺動前の第2の撮像手段の水平方向を水平な状態で維持することができるので、画像処理を不要にしながら、載置部が略水平となるようにされた第2の画像を得ることができる。
第12の発明は、前記対物レンズを前記載置部に接近する方向と離れる方向とに移動させる対物レンズ駆動部を備え、前記対物レンズ駆動部は、前記第2の撮像手段を前記対物レンズと同方向に移動させることを特徴とする。
この構成によれば、対物レンズと第2の撮像手段とを同方向に移動させることができるので、対物レンズと観察対象物との位置関係、対物レンズと載置部との位置関係を把握可能な第2の画像を取得することができる。
第13の発明は、前記対物レンズを前記載置部に接近する方向と離れる方向とに移動させる対物レンズ駆動部を備え、前記第2の撮像手段は、前記対物レンズ駆動部による前記対物レンズの駆動時に移動しない部材に取り付けられていることを特徴とする。
この構成によれば、対物レンズの移動時に第2の撮像手段を移動させないようにすることができる。これにより、例えば対物レンズが載置部から離れたとしても、第2の撮像手段により載置部を含む第2の画像を取得することができる。
第14の発明は、前記載置部は、前記観察対象物を前記対物レンズに接近する方向と離れる方向とに移動させる電動載置台で構成されていることを特徴とする。
第15の発明は、前記水平化部は、前記第2の画像を回動させる画像処理を行うとともに、前記載置部を含む水平方向に長い略矩形状画像となるようにトリミング処理を行うように構成されていることを特徴とする。
すなわち、第2の撮像手段で取得された第2の画像を回動させたままだと、一般的な表示部の形状である水平方向に長い矩形状とは異なった画像になり、違和感があるが、トリミング処理を行うことで、表示部の形状に対応した画像形状にすることができる。
第16の発明は、前記第2の撮像手段は、使用者側とは反対側から前記載置部を撮像するように設けられ、前記第2の撮像手段で取得された画像を左右反転させて前記表示部に表示させる画像処理部を備えていることを特徴とする。
この構成によれば、第2の撮像手段が使用者側とは反対側に設けられることになるので、使用者の邪魔にならないレイアウトとすることができる。この場合、使用者側とは反対側から第2の撮像手段が撮像することになるので、左右の関係が使用者側から見たときと反対になるが、第2の撮像手段で取得された画像を左右反転させて表示部に表示させることで、第2の画像の左右方向を、使用者側から見たときと一致させることができる。
第17の発明は、観察対象物に照明光を照射し、該照明光の前記観察対象物からの反射光又は透過光の受光量を検出して前記観察対象物の画像を生成し、拡大観察可能に表示する拡大観察装置において、ベース部と、前記ベース部に支持され、前記観察対象物を載置するための載置部と、前記照明光の前記観察対象物からの反射光又は透過光が入射する対物レンズと、前記反射光又は透過光を、前記対物レンズを介して受光して第1の画像を取得する第1の撮像手段と、前記ベース部に支持され、前記ベース部に近い側にある第1のスタンド部と、前記ベースから遠い側にありかつ前記対物レンズ及び前記第1の撮像手段を支持する第2のスタンド部と、前記第2のスタンド部を前記第1のスタンド部に対して搖動軸回りに搖動させるシャフト部と、を有する支持部材と、
前記ベース部から見て前記搖動軸と同じ高さかそれよりも高い位置である前記第2のスタンド部または前記シャフト部に設けられ、前記第1の撮像手段の光軸が視野内に含まれるように前記載置部または前記観察対象物の方を向き、かつ、前記第1の撮像手段の光軸と異なる光軸を有し、前記載置部を含む第2の画像を取得するように設けられた第2の撮像手段と、
前記第1の撮像手段で取得された前記第1の画像と、前記第2の撮像手段で取得された前記第2の画像とを表示可能な表示部とを備えていることを特徴とする。
本発明によれば、観察対象物を複数の異なる角度から観察することができるとともに、その観察用の第1の画像とは別に載置部を含む第2の画像を取得して表示することができ、しかも、第2の画像を違和感の少ない画像にすることができる。
本発明の実施形態1に係る拡大観察装置の観察部を前方から見た斜視図である。 本発明の実施形態1に係る拡大観察装置の観察部の右側面図である。 本発明の実施形態1に係る拡大観察装置の観察部の正面図である。 本発明の実施形態1に係る拡大観察装置の全体構成を示す図である。 拡大観察装置の観察部を右側から見たときの概略構成を示す部分断面図である。 スタンドを左右に揺動させた状態を示す図3相当図である。 側視画像撮像部、筒部材及び固定ブラケットの構成を示す斜視図である。 実施形態2に係る図2相当図である。 実施形態3に係る図2相当図である。 実施形態4に係る図3相当図である。 実施形態4に係る図5相当図である。 実施形態5に係る図3相当図である。 実施形態5に係る図5相当図である。 実施形態6に係る図3相当図である。 実施形態6に係る図5相当図である。 表示部に表示されたインターフェースの一例を示す図である。 拡大観察装置のブロック図である。 全自動観察時における使用者の作業手順を示すフローチャートである。 全自動観察時における拡大観察装置の処理手順を示すフローチャートである。 側視画像表示領域に表示された側視画像を示す図である。 観察対象物の上面及び対物レンズの下端部をエッジ抽出して表示した例を示す図20相当図である。 背景部分が鮮明に映り込んだ側視画像の例を示す図20相当図である。 背景部分をぼかした側視画像の例を示す図20相当図である。 背景部分の判定要領を説明する図20相当図である。 背景部分をマスクした側視画像の例を示す図20相当図である。 アタッチメントが取り付けられた対物レンズを含む側視画像の例を示す図20相当図である。 合成処理時の上限及び下限設定の例を示す図20相当図である。 側視画像撮像部の視野外に位置しているものを模式図で示した例を示す図20相当図である。 レボルバを回転させた状態を示す図26相当図である。 半自動観察時における使用者の作業手順を示すフローチャートである。 半自動観察時における拡大観察装置の処理手順を示すフローチャートである。 観察対象物の一例を示す図である。 位置指定ポインタを表示した例を示す図20相当図である。 位置指定を補助するための補助表示を重畳表示した例を示す図20相当図である。 衝突回避を支援するための補助表示を重畳表示した例を示す図20相当図である。 ヘッド部を揺動させた状態の図33相当図である。 位置指定ポインタにより合焦位置を指定する要領を説明する図20相当図である。 合焦位置を指定した状態を示す図35A相当図である。 対物レンズが合焦位置に移動した状態を示す図35A相当図である。 ヘッド部を揺動させた状態の図35A相当図である。 位置指定の下限を示す下限表示線を表示した例を示す図20相当図である。 手動観察時における使用者の作業手順を示すフローチャートである。 手動観察時における拡大観察装置の処理手順を示すフローチャートである。 対物レンズの作動距離を示すガイド表示を重畳表示した例を示す図20相当図である。 対物レンズを下方へ移動させた状態を示す図40相当図である。 対物レンズの作動距離を数値で重畳表示した例を示す図20相当図である。 対物レンズを下方へ移動させた状態を示す図42相当図である。 拡大表示の例を示す図20相当図である。 観察対象物が側視画像撮像部の視野外に位置している場合を示す図20相当図である。 警告表示の例を示す図20相当図である。 切替後の対物レンズの外形線を側視画像に重畳表示した例を示す図20相当図である。 ヘッド部を揺動させた状態の図47相当図である。 ユーザーインターフェースの補助ウインドウを示し、ナビ画像の表示例を示す図である。 側視画像の表示例を示す図49A相当図である。 観察対象物としての電子部品を示す図である。 抵抗器を観察している状態を説明する図である。 背部にコネクタが存在することによって抵抗器にピントが合わなくなった状態を示す図である。 位置指定によって抵抗器にピントを合わせた状態を示す図である。 コンデンサが凹部に設けられていることによって当該コンデンサにピントが合わなくなった状態を示す図である。 手動操作によってコンデンサにピントを合わせた状態を示す図である。 実施形態7に係る図5相当図である。 実施形態8に係る図3相当図である。
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
(実施形態1)
図1~3は、本発明の実施形態1に係る拡大観察装置の観察部1を示すものであり、図4は、本発明の実施形態1に係る拡大観察装置Aの全体構成を示す図である。拡大観察装置Aは、例えば微小物体等の試料や電子部品、被加工物等のワーク(以下、これらを観察対象物という。)を拡大して表示することにより、使用者が観察対象物の外観を検査したり、寸法計測等を行う際に使用されるものである。拡大観察装置Aは、例えば単に顕微鏡と呼ぶことや、デジタルマイクロスコープと呼ぶこともできる。観察対象物は、上述した例に限定されるものではなく、各種物体を観察対象物とすることができる。具体的には、載置部30に載置された観察対象物に照明光を照射し、該照明光の観察対象物からの反射光又は透過光の受光量を検出して観察対象物の画像を生成し、拡大観察可能に表示することができるように構成されている。
図4に示すように、拡大観察装置Aは、観察部1と、表示部2と、コントローラ部3と、マウス4と、図17にのみ示すキーボード6と、制御部60とを備えている。観察部1は、観察対象物を撮像する部分であり、図3に破線で示す拡大観察画像撮像部50によって観察対象物を撮像することが可能になっている。
表示部2は、観察部1で撮像された画像を表示する部分である。コントローラ部3、マウス4及びキーボード6は、拡大観察装置Aを操作するための部材であり、これらは全て備えていなくてもよく、任意の1つまたは2つを備えていてもよい。また、コントローラ部3、マウス4及びキーボード6は、拡大観察装置Aを操作することができればよいので、例えばタッチパネル式の入力装置、音声入力装置等であってもよい。タッチパネル式の入力装置の場合、表示部2と一体化することができ、表示部2に表示されている表示画面上の任意の位置の検出を可能に構成することができる。コントローラ部3、マウス4及びキーボード6は、表示部2に表示された画像上で使用者によって指定された任意の位置の入力を受け付ける受付部である。
(観察部1の構成)
図1~図3に示すように、観察部1は、ベース部10と、対物レンズ25が取り付けられるスタンド部20と、載置部30とを備えている。この実施形態の説明では、図1~図3に示すように、観察部1の前後方向及び左右方向を定義する。すなわち、使用者と対面する側が観察部1の前側であり、これと反対側が観察部1の後側であり、使用者から見て右側が観察部1の右側であり、使用者から見て左側が観察部1の左側である。尚、前後方向及び左右方向の定義は、説明の理解を助けるためのものであり、実際の使用状態を限定するものではなく、いずれの方向が前となるように使用してもよい。
図1に示すように、X方向を観察部1の左右方向とし、Y方向を観察部1の前後方向とし、Z方向を観察部1の上下方向とし、Z軸に平行な軸を中心に回転する方向をθ方向と定義する。X方向とY方向とは同一水平面上で互いに直交している。Z軸は、この平面に対して直交する法線の方向である。拡大観察画像撮像部50の光軸はZ軸方向となっている。
また、詳細は後述するが、スタンド部20はベース部10に対して図1や図2に示す軸U回りに揺動可能となっている(図6参照)。軸Uは、拡大観察画像撮像部50の光軸に直交し、かつ、観察部1の前後方向に延びており、Y軸と平行な軸である。
ベース部10は、観察部1をぐらつくことなく、机等に置いておくための部分であり、観察部1の略下半部を構成している。図1や図2に示すように、ベース部10には、載置部30が設けられている。載置部30は、ベース部10の前後方向中央部近傍から前側の部分に支持されており、該ベース部10から上方へ突出している。載置部30は、観察対象物を載置するための部分であり、この実施形態では、電動載置台で構成されている。すなわち、観察対象物を電動載置台の幅方向(X方向)及び奥行き方向(Y方向)の両方向に移動可能に支持することができるとともに、上下方向(Z方向)及びZ軸回りに回動できるようになっており、載置台31と、載置台支持部32と、図17に示す載置部XY方向駆動部82と、載置部Z方向駆動部83と、載置部θ方向駆動部84とを有している。載置台31は、その上面(載置面ともいう)が略水平に延びるように形成されており、この上面に観察対象物を載置する。載置台31は、ステージと呼ぶこともできる。載置台31には、観察対象物が大気開放状態、即ち真空室等に収容されない状態で載置される。
載置台支持部32は、載置台31とベース部10とを連結する部分であり、載置部XY方向駆動部82、載置部Z方向駆動部83及び載置部θ方向駆動部84等を収容することが可能に構成されている。載置部XY方向駆動部82及び載置部Z方向駆動部83は、それぞれ、制御部60により制御されるステッピングモータ等の図示しないアクチュエータと、ステッピングモータの出力軸の回転を直線運動に変換する運動変換機構とを含んでおり、制御部60から出力された駆動パルスに基づいて、載置台31を移動させる。載置部Z方向駆動部83及び対物レンズZ軸方向駆動部80によって、載置台31を、対物レンズ25に接近する方向(上方向)と、対物レンズ25から離れる方向(下方向)とに移動させることができる。載置台31を載置部Z方向駆動部83によって上下方向に移動させることにより、載置台31に載置されている観察対象物も同様に移動することになる。
載置部θ方向駆動部84は制御部60により制御されるステッピングモータ等の図示しないアクチュエータを含んでいる。載置部XY方向駆動部82は、載置台31をX方向及びY方向に移動させ、載置部Z方向駆動部83は、載置台31をZ方向に移動させ、載置部θ方向駆動部84は、載置台31をθ方向に回動させる。尚、載置部θ方向駆動部84は省略してもよい。また、例えば図1等に示すZ軸方向操作ダイヤル13によって載置台31をZ方向に手動で移動させることもできる。図示しないが、X方向及びY方向や、θ方向へも手動で移動させることができるようになっている。
図5に示すように、ベース部10の載置台31よりも後側には、後側支持部11と前側支持部12とが上方へ突出するように設けられている。後側支持部11と前側支持部12は、ベース部10に近い側にある第1のスタンド部である。後側支持部11と前側支持部12とは、前後方向に間隔をあけて配置されている。後側支持部11には、該後側支持部11を前後方向に貫通するように、円形の後側軸受孔11aが形成されている。前側支持部12にも前側軸受孔12aが同様に形成されており、後側軸受孔11aと前側軸受孔12aとは、同一軸U(図2等に示す)上に中心を持っており、同心上に位置している。
図2等に示すように、スタンド部20は、スタンド本体21と、ヘッド部22とを備えており、観察部1の略上半部を構成している。スタンド部20は、ベース部10から遠い側にありかつ対物レンズ及び第1の撮像手段を支持する第2のスタンド部である。ヘッド部22は、スタンド本体21に対して上下方向に延びる案内部材21bによって昇降可能、即ちZ軸方向に移動可能に取り付けられている。ヘッド部22は、載置台31の上面と対向するように配置されており、ヘッド部22における下側部分、即ち、載置台31の上面と対向する部分には、複数の対物レンズ25が取付可能なレボルバ26が設けられている。レボルバ26は、従来から周知の電動レボルバで構成することができるが、手動式のレボルバであってもよい。
レボルバ26の下面には、該レボルバ26の回転軸の周囲に複数のレンズ取付孔(図示せず)が形成されている。これらレンズ取付孔には、倍率が互いに異なる対物レンズ25を着脱可能に取り付けることができる。一般には、倍率が互いに異なる対物レンズ25は、長さや外径も互いに異なっている。使用可能位置にある対物レンズ25には、載置台31に載置されている観察対象物の表面で反射した反射光又は観察対象物を透過した透過光が入射するようになっている。使用可能位置にある対物レンズ25の光軸は、Z軸と平行になる。
レボルバ26のレンズ取付孔には、各種アタッチメントが取り付けられた対物レンズ25も着脱可能に取り付けることができる。アタッチメントは、例えば、偏向アタッチメント、拡散アタッチメント、リング照明アタッチメント等があるが、これらに限られるものではなく、各種アタッチメントを対物レンズ25の先端部に取り付けることができる。リング照明87は、ヘッド部22に設けてもよく、制御部60によりON、OFF制御されるとともに、明るさも制御される。リング照明87とは、対物レンズ25の周囲を囲むように配置された非同軸落射照明であり、対物レンズ25の光軸の周囲から観察対象物100を照明する。
ヘッド部22には、図17に示す電動レボルバ駆動部81が設けられている。電動レボルバ駆動部81は、レボルバ26を回転軸回りに回転駆動する部分であり、制御部60により制御されるステッピングモータ等の図示しないアクチュエータを含んでおり、制御部60から出力された駆動パルスに基づいて、レボルバ26を回転させる。これにより、使用者が前記受付部の操作によって選択した対物レンズ25への切り替えが自動で行われるようになる。
スタンド本体21またはヘッド部22には、該ヘッド部22をZ方向に移動させるための対物レンズZ方向駆動部80(図17に示す)が設けられている。ヘッド部22に対物レンズ25が取り付けられているので、対物レンズZ方向駆動部80は、対物レンズ25を載置台31に接近する方向と、載置台31から離れる方向とに移動させることになる。対物レンズZ方向駆動部80は、制御部60により制御されるステッピングモータ等の図示しないアクチュエータと、ステッピングモータの出力軸の回転を上下方向の直線運動に変換する運動変換機構とを含んでおり、制御部60から出力された駆動パルスに基づいて、ヘッド部22を移動させる。対物レンズZ方向駆動部80のステッピングモータを回転させることにより、対物レンズ25が上下方向に移動し、これにより、対物レンズ25と載置台31との相対距離を変更することができる。対物レンズ25と載置台31との相対距離の変更ピッチを最小で1nm程度に設定することができる精度を対物レンズZ方向駆動部80が有している。また、例えば図1等に示すZ軸方向操作ダイヤル23によって対物レンズ25をZ方向に手動で移動させることもできる。
また、図示しないが、ヘッド部22は、対物レンズ25と載置台31との相対距離を検知することができるリニアスケール(リニアエンコーダ)等を備えている。リニアスケールは、対物レンズ25と載置台31との相対距離の変化が1nmであっても検知できるように構成されている。リニアスケールの検知結果は、制御部60に出力される。
ヘッド部22には、拡大観察画像撮像部50が設けられている。拡大観察画像撮像部50は、載置台31に載置されている観察対象物の表面で反射した反射光又は観察対象物を透過した透過光を、対物レンズ25を介して受光して第1の画像を取得する第1の撮像手段である。第1の画像は、観察対象物を観察するための拡大観察用画像ともいう。
拡大観察画像撮像部50は、その光軸が対物レンズ25の光軸と一致するように、即ち、Z軸と平行になるようにヘッド部22に設けられている。拡大観察画像撮像部50は、例えばCMOS(相補型金属酸化膜半導体)やCCD(電荷結合素子)等のイメージセンサで構成されており、二次元状に配置された多数の受光素子を有している。
ヘッド部22には、同軸落射照明51(図17に示す)が設けられている。同軸落射照明51は、対物レンズ25を介して観察対象物を照明する光源となる照明ユニットであり、対物レンズ25の光軸上に照明光路が位置するように観察対象物の観察面を照明する。同軸落射照明51は、図示しないが、例えばLED等の発光体を有するとともに、その発光体の光が入射するコレクタ、リレーレンズ、ミラー及びレンズを有している。発光体の光は、コレクタ及びリレーレンズを通った後、ミラーによって方向変換されてからレンズに入射し、レンズから出射した光は、ハーフミラーによって観察対象物方向へ変換されてから対物レンズ25の観察光軸上に照射され、観察対象物を照明する。同軸落射照明51は、後述する制御部60によってON、OFF及びON時の光量が制御される。同軸落射照明51は、鏡面もしくは鏡面に近い観察面を観察するのに適しており、観察面の反射率の違いをコントラスト高く観察することができるという利点がある。
また、図示しないが、観察部1は、従来周知の透過照明を備えている。透過照明は、観察対象物が透光性を有する場合に使用される照明であり、載置台31の下方から観察対象物に向けて光を照射するように構成されている。
図5に示すように、スタンド本体21の下部には、後側取付部27と、前側取付部28とが下方へ突出するように設けられている。後側取付部27と、前側取付部28とは、前後方向に間隔をあけて配置されている。スタンド本体21の後側取付部27は、ベース部10の後側支持部11と前側支持部12との間に配置される。スタンド本体21の前側取付部28は、ベース部10の前側支持部12の前方に配置される。後側取付部27には、揺動軸(シャフト部)40が相対的に回動不能に固定されている。本例では、第1のスタンド部、第2のスタンド部及び揺動軸40により、支持部材が構成されている。
揺動軸40は、内部が空洞とされた中空軸で構成されており、後側取付部27から前方及び後方へそれぞれ突出している。揺動軸40の軸心は、前記軸U(図2等に示す)上に位置している。揺動軸40の前端部は、スタンド本体21の前側取付部28に対して固定されている。スタンド本体21の前側取付部28を揺動軸40の前端部に固定することで、重量のあるスタンド部20の前側を支持してスタンド部20を安定させることができ、ひいては、ヘッド部22の揺れを抑制できる。
揺動軸40は、後側軸受41及び前側軸受42によりベース部10に対して軸U回りに回動可能に支持されている。後側軸受41及び前側軸受42は、例えばクロスローラベアリング等で構成することができる。後側軸受41の外輪部材41aは、ベース部10の後側支持部11の後側軸受孔11aに嵌め込まれている。後側軸受41の内輪部材41bには、揺動軸40の後端部近傍が挿入されており、内輪部材41bは揺動軸40に固定されている。外輪部材41aと内輪部材41bとの間には、多数のころ41cが転動可能に設けられている。また、前側軸受42の外輪部材42aは、ベース部10の前側支持部12の前側軸受孔12aに嵌め込まれている。前側軸受42の内輪部材42bには、揺動軸40の前端部近傍が挿入されており、内輪部材42bは揺動軸40に固定されている。外輪部材42aと内輪部材42bとの間には、多数のころ42cが転動可能に設けられている。
すなわち、スタンド部20は、対物レンズ25及び拡大観察画像撮像部50を支持するヘッド部22を有しているので、対物レンズ25及び拡大観察画像撮像部50はスタンド部20に取り付けられることになる。そして、ヘッド部22を含むスタンド部20は、拡大観察画像撮像部50の光軸に直交する揺動軸40回りに揺動可能にベース部10に支持されることになるので、図6に仮想線で示すように、スタンド部20が観察部1の左右方向に揺動することになる。
図5に示すように、ベース部10には、ブレーキ機構43が固定されている。ブレーキ機構43は、揺動軸40にブレーキ力を作用させて軸U回りに回転不能にするための機構であり、例えば揺動軸40に対して締め付け力を作用させた状態と、締め付け力を作用させない状態とに切り替え可能に構成された従来から周知のブレーキ機構で構成することができる。ブレーキ機構43の操作は、図示しないが、使用者が外部からのレバー操作によって行うことができる。ブレーキ力が作用しないようにブレーキ機構43を操作することで、揺動軸40が軸U回りに回転可能になり、一方、ブレーキ力が作用するようにブレーキ機構43を操作することで、揺動軸40を任意の回動位置で停止させ、この停止状態を保持することができる。尚、ブレーキ機構43を操作するレバーには、ブレーキが不意に解除されないようにするためのロック機構が設けられている。
揺動軸40の内部には、筒部材44が設けられている。筒部材44は、円筒状に形成されており、揺動軸40の軸心、即ち軸Uと同心上に配置され、揺動軸40と同方向に延びている。筒部材44の後端部には、固定ブラケット46が固定されている。図7に示すように、固定ブラケット46は、上下方向に長く形成されており、上部及び下部にそれぞれ締結固定用の孔46aが設けられている。各孔46aにはネジやボルト等の締結部材が挿通され、締結部材によって固定ブラケット46がベース部10の後側支持部11に固定される。
図5に示すように、筒部材44の前端部は、スタンド本体21の前側取付部28に形成された貫通孔28aに挿通されている。筒部材44の前端部の外周面と、前側取付部28の貫通孔28aの内周面との間にはシール材44aが配設されており、このシール材44aを介して筒部材44の前端部が前側取付部28の貫通孔28aの内周面に対して回動可能に支持されている。
筒部材44の内部には、側視画像撮像部(第2の撮像手段)45が載置部30または観察対象物の方を向き、かつ、拡大観察画像撮像部50の光軸(Z軸と平行)と異なる光軸(Y軸と平行)を有するように設けられている。側視画像撮像部45は、ベース部10から見て、揺動軸40と同じ高さかそれよりも高い位置に設けられ、第1の撮像手段の光軸が視野内に含まれるように配設されている。
揺動軸40は径を大きくすることで剛性の確保が容易になるのでヘッド部22の揺れを抑制する(耐振性を高める)ことができる反面、そのような大径の揺動軸40を配設するためのスペースの確保が問題になり、その周囲に側視画像撮像部45を配設するのが困難になる等、別の問題が発生する懸念がある。本例では、揺動軸40を中空軸とし、その内部を側視画像撮像部45やケーブル45bの配設スペースとして利用することができるので、大径の揺動軸40とした場合にデッドスペースを減らすことができる。
側視画像撮像部45は、拡大観察画像撮像部50と同様にCMOSやCCD等のイメージセンサで構成されており、基板45aを有している。基板45aは、上下方向に延びる姿勢とされて筒部材44の内部に固定されている。この基板45aの前面に側視画像撮像部45が固定されている。
側視画像撮像部45による撮像データを制御部60へ送信するケーブル45bが設けられている。ケーブル45bは、側視画像撮像部45から延びており、筒部材44の内部、即ち揺動軸40の内部を通って後側から外部へ出て、制御部60に接続されている。この実施形態のように、揺動軸40の周囲には軸受部材等が配設される場合が多く、側視画像撮像部45を配設するためのスペースを揺動軸40の周囲に確保するのが難しいが、揺動軸40を中空軸とすることで揺動軸40の内部の空間を有効に利用して側視画像撮像部45を配設することができるとともに、揺動軸40の内部の空間をケーブル45bの配設空間としても利用することができる。尚、図7に示すように、筒部材44の前端部には、側視画像撮像部45が臨む部分以外を閉塞するための閉塞板44bが設けられている。
側視画像撮像部45は、揺動軸40の近傍に設けられており、側視画像撮像部45の光軸は、載置台31の上面よりも上で、軸Uよりも上に位置している。これにより、側視画像撮像部45で観察対象物を載置台31の奥行き方向に撮像することができ、載置台31に載置されている観察対象物の少なくとも上面を含む第2の画像を取得することが可能になる。また、側視画像撮像部45により、対物レンズ25の少なくとも下端部を含む第2の画像を取得することができ、また、観察対象物を観察している対物レンズ25の下端部、載置台31の上面及び観察対象物を含む第2の画像を取得することもできる。レボルバ26に複数の対物レンズ25が取り付けられている場合には、側視画像撮像部45により、複数の対物レンズ25を含む第2の画像を取得することもできる。第2の画像は、観察対象物や載置台31を側方から見た画像であることから側視画像ともいう。
側視画像撮像部45の光軸が揺動軸40の中心よりも上に位置しているので、ユーセントリック観察時に載置台31が側視画像に映り込む範囲を低減することができる。ユーセントリック観察の詳細については後述する。
尚、側視画像撮像部45の光軸と、揺動軸40とは互いの中心が略一致するように設けられていてもよい。また、側視画像撮像部45は、揺動軸40の径方向中心部近傍に設けることができる。
側視画像撮像部45が載置台31よりも後から該載置台31の方を向くように設けられているので、使用者側とは反対側から載置台31を撮像するように設けられることになる。揺動軸40はベース部10に設けられており、従って、側視画像撮像部45は、対物レンズZ軸方向駆動部80による対物レンズ25の駆動時に移動しない部材に設けられることになり、対物レンズZ軸方向駆動部80による対物レンズ25の駆動時に、側視画像撮像部45が移動しない。また、筒部材44が固定ブラケット46によってベース部10に固定されているので、筒部材44は、スタンド部20を揺動させた時に揺動しない部材であり、非揺動部となる。よって、側視画像撮像部45は非揺動部に設けられることになる。従って、スタンド部20の揺動動作との関連を無くした状態で、側視画像撮像部45が載置台31を含む側視画像を取得することができるようになっている。
また、側視画像撮像部45の取付位置を調整する位置調整機構を設けることができる。位置調整機構は、側視画像撮像部45をX方向、Z方向、軸U回りの回転方向に調整することができる。側視画像撮像部45の取付位置は、工場出荷前に行うのが好ましい。
また、側視画像撮像部45の焦点距離は、拡大観察画像撮像部50の焦点距離よりも長く設定されている。この理由については後述する。
(実施形態2)
図8は、本発明の実施形態2に係る観察部1を示すものである。この実施形態2では、ベース部10に側視画像撮像部45が設けられている点で、実施形態1とは異なっており、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について説明する。
実施形態2のベース部10には、載置台31の後方に、非揺動部としての撮像部支持部49が上方へ突出するように設けられている。この撮像部支持部49の上部に側視画像撮像部45が取り付けられている。これにより、スタンド部20(ヘッド部22)の揺動動作との関連を無くした状態で、側視画像撮像部45が載置台31を含む側視画像を取得することができる。また、実施形態1、2では、側視画像撮像部45の高さを常に一定にすることができる。
(実施形態3)
図9は、本発明の実施形態3に係る観察部1を示すものである。この実施形態3では、ヘッド部22に側視画像撮像部45が設けられていて、側視画像撮像部45を対物レンズ25と同方向に移動させることが可能に構成されている点で、実施形態1とは異なっており、他の部分は実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について説明する。
実施形態3のヘッド部22には、レボルバ26の後方に撮像部支持部49が下方へ突出するように設けられている。この撮像部支持部49の下部に側視画像撮像部45が取り付けられている。ヘッド部22に側視画像撮像部45が取り付けられることになるので、ヘッド部22の上下方向への移動に連動して側視画像撮像部45を移動させることができ、側視画像撮像部45の高さを変化させることができる。実施形態3では、側視画像撮像部45と対物レンズ25と拡大観察画像撮像部50とがヘッド部22に取り付けられることになるので、それらの相対的な位置関係が変化しない。
実施形態3では、対物レンズ25の焦点位置が側視画像撮像部45の視野範囲に入るように、側視画像撮像部45の位置を設定することができる。対物レンズ25の焦点位置が側視画像撮像部45の視野の中心に来るようにするのが好ましい。また、撮像部支持部49は、スタンド本体21に設けてもよい。
(実施形態4)
図10及び図11は、本発明の実施形態4に係る観察部1を示すものである。実施形態4では、ベース部10に、1つの支持部14(図11に示す)を上方へ突出するように設けている。他の部分は、実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について説明する。
支持部14には、軸受孔14aが該支持部14を前後方向に貫通するように形成されており、この軸受孔14aに後側軸受41及び前側軸受42の外輪部材が嵌め込まれている。揺動軸40の後側及び前側は、それぞれ、スタンド本体21の後側取付部27及び前側取付部28を前後方向に貫通するように形成されており、後側取付部27及び前側取付部28に固定されている。この揺動軸40の内部に側視画像撮像部45が設けられている。
実施形態4では、スタンド部20を揺動させると、側視画像撮像部45が揺動軸40と共に回動することになるが、側視画像撮像部45は軸Uの近傍に位置しているので、軸Uから遠い場所に位置する場合に比べて、スタンド部20の揺動に伴う変位量は小さなものになる。従って、側視画像撮像部45は、スタンド部20の揺動動作との関連を低くした状態で、載置台31を含む側視画像を取得するように設けられることになる。
(実施形態5)
図12及び図13は、本発明の実施形態5に係る観察部1を示すものである。実施形態5では、ベース部10に、1つの支持部15(図13に示す)を上方へ突出するように設けている。以下に説明する部分以外は、実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について説明する。
支持部15には、円筒部材15aが前方へ突出するように固定されている。円筒部材15aの軸心は軸U上に位置している。スタンド部20には、軸受孔20aが該スタンド部20を前後方向に貫通するように形成されており、この軸受孔20aに後側軸受41及び前側軸受42の外輪部材が嵌め込まれている。後側軸受41及び前側軸受42の内輪部材には、円筒部材15aが挿入されている。よって、この実施形態5では、スタンド部20が円筒部材15a回りに揺動することになる。実施形態5の揺動軸は仮想軸であり、軸Uである。円筒部材15aの内部に側視画像撮像部45が設けられている。実施形態5の場合、スタンド部20の揺動動作との関連を無くした状態で、側視画像撮像部45が載置台31を含む側視画像を取得することができる。
(実施形態6)
図14及び図15は、本発明の実施形態6に係る観察部1を示すものである。実施形態6では、ベース部10に、円弧状のレール部材17を設けている。以下に説明する部分以外は、実施形態1と同じであるため、以下、実施形態1と同じ部分には同じ符号を付して説明を省略し、異なる部分について説明する。
ベース部10には、拡大観察画像撮像部50の光軸に直交する方向(Y方向)に延びる仮想軸を中心とし、かつ、所定半径を持つ円弧状のレール部材17が上方へ突出するように設けられている。この仮想軸が揺動軸である。また、ベース部10には、側視画像撮像部45が取り付けられる撮像部支持部16が設けられている。
図15に示すように、レール部材17には、可動部材29が取り付けられている。可動部材29は、レール部材17の延びる方向には移動するが、レール部材17から離脱する方向には移動しないように、レール部材17に係合している。可動部材29には、対物レンズ25及び拡大観察画像撮像部50が取り付けられる。可動部材29がレール部材17に沿って移動することで、拡大観察画像撮像部50の光軸に直交する前記仮想軸回りに可動部材29が揺動することになり、これに伴って対物レンズ25が揺動する。実施形態6の場合も、スタンド部20の揺動動作との関連を無くした状態で、側視画像撮像部45が載置台31を含む側視画像を取得することができる。
以下に説明する構成は、実施形態1~6に共通している。
(ユーセントリック機構)
観察部1は、ユーセントリック観察が行えるように構成されている。すなわち、拡大観察装置Aにおいては、上記のX方向、Y方向およびZ方向にそれぞれ平行な3つの軸で形成される装置固有の三次元座標系が定義されている。記憶部89には、拡大観察装置Aの三次元座標系における後述する交差位置の座標がさらに記憶されている。交差位置の座標情報は、拡大観察装置Aの工場出荷時に予め記憶部89に記憶されていてもよい。また、記憶部89に記憶される交差位置の座標情報は、拡大観察装置Aの使用者により更新可能であってもよい。
対物レンズ25の光軸は軸Uに交差している。対物レンズ25が軸Uを中心として揺動する場合、対物レンズ25の光軸と軸Uとの交差位置が一定に維持されつつ載置台31の上面に対する光軸の角度が変化する。このように、使用者は、対物レンズ25をヘッド部22によって軸Uを中心として揺動させた際、例えば、観察対象物の観察対象部分が上記の交差位置にある場合には、対物レンズ25が傾斜した状態になったとしても、拡大観察画像撮像部50の視野中心が同じ観察対象部分から移動しないユーセントリック関係が維持される。したがって、観察対象物の観察対象部分が拡大観察画像撮像部50の視野(対物レンズ25の視野)から外れることを防止することができる。
(表示部2の構成)
表示部2は、例えば、液晶表示パネルや有機ELパネル等のようなカラー表示可能な表示画面2aを有しており、外部から電力が供給されるようになっている。表示画面2aにタッチ操作パネル(受付部の一例)を組み込むようにしてもよい。また、この実施形態では、図4に示すように、表示部2に制御部60を組み込んだ例で説明しているが、これに限らず、制御部60は観察部1に組み込むようにしてもよいし、コントローラ部3に組み込むようにしてもよいし、表示部2、観察部1及びコントローラ部3とは別体の外部ユニットとしてもよい。表示部2と、観察部1とはケーブル5によって信号の送受が可能に接続されている。ケーブル5には、側視画像撮像部45による撮像データを送信するケーブル45b(図5に示す)も含まれている。観察部1への電力供給は、ケーブル5によって行ってもよいし、図示しない電源ケーブルによって行ってもよい。
(コントローラ部3の構成)
コントローラ部3は制御部60に接続されており、一般的なキーボードやマウスとは異なっており、観察部1を操作したり、各種情報の入力や選択操作、画像の選択操作、領域指定、位置指定等を行うことが可能な専用の操作デバイスである。尚、この図17に示すように、マウス4及びキーボード6も制御部60に接続されている。マウス4及びキーボード6は、従来から周知のコンピュータ操作用の機器である。
拡大観察装置Aには、上述した機器や装置以外にも、操作や制御を行うための装置、プリンタ、その他の各種処理を行うためのコンピュータ、記憶装置、周辺機器等を接続することもできる。この場合の接続は、例えば、IEEE1394、RS-232xやRS-422、USB等のシリアル接続、パラレル接続、あるいは10BASE-T、100BASE-TX、1000BASE-T等のネットワークを介して電気的、あるいは磁気的、光学的に接続する方法等を挙げることができる。また、有線接続以外にも、IEEE802.x等の無線LANやBluetooth(登録商標)等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や各種設定の保存等を行うための記憶装置に用いる記憶媒体としては、例えば、各種メモリカードや磁気ディスク、光磁気ディスク、半導体メモリ、ハードディスク等を利用することができる。尚、拡大観察装置Aは、上記各種ユニットや装置、機器を組み合わせた拡大観察システムということもできる。
(制御部60の構成)
制御部60は、拡大観察装置Aの各部を制御するとともに各種演算及び処理等を行うためのユニットであり、CPUやMPU、システムLSI、DSPや専用ハードウェア等で構成することができる。図17に示すように、制御部60には、画像処理部61、エッジ抽出部62、オートフォーカス部63、表示制御部64、背景影響低減部65、位置指標算出部66、合成処理部67及び水平化部68が設けられている。制御部60を構成している各部は、後述するように様々な機能を実現可能な部分であるが、これらは論理回路によって実現されていてもよいし、ソフトウェアを実行することによって実現されていてもよいし、それらの組み合わせで実現されていてもよい。制御部60を構成している各部は、一部が観察部1に内蔵されていて、他の部分が表示部2に内蔵されていてもよいし、一部がコントローラ部3に内蔵されていてもよい。
表示制御部64は、図16に示すようなユーザーインターフェース70を生成し、このユーザーインターフェースが表示部2の表示画面2aに表示されるように表示部2を制御する。ユーザーインターフェース70は、拡大観察画像撮像部50で取得された画像を表示する拡大観察画像表示領域70aと、側視画像撮像部45で取得された画像を表示する側視画像表示領域70bとを有している。拡大観察画像表示領域70aと側視画像表示領域70bの大きさは一方を小さくしてもよいし、同じ大きさにしてもよい。本例では、表示制御部64により、拡大観察用画像を側視画像よりも大きく表示させるようにしている。
側視画像表示領域70bに表示される側視画像には、図20に拡大して示すように、載置台31の少なくとも上面と、観察対象物100と、対物レンズ25とが含まれている。言い換えると、載置台31の少なくとも上面と、観察対象物100と、対物レンズ25とが含まれるように、側視画像撮像部45の光学系(レンズ)の画角、側視画像撮像部45と観察対象物100等との距離が設定されている。対物レンズ25は、その下端部のみが側視画像撮像部45の視野に入るようにしてもよい。
制御部60は、対物レンズ25及び観察対象物100のうち、側視画像撮像部45の視野外に位置しているものを表示部2に模式図で表示することができるように構成されている。この例を図26に示す。図26における薄墨が付されていない部分は、側視画像撮像部45の視野であり、側視画像撮像部45で撮像された側視画像である。図26における薄墨が付されている部分は、模式図である。側視画像撮像部45の視野外に対物レンズ25Aが存在しており、この部分は、記憶部89に記憶されている対物レンズ25Aの形状または寸法に関する情報を用いて描画された部分である。レボルバ26についても、形状または寸法に関する情報を記憶部89に記憶しておけばよく、こうすることで模式図として表示することができる。
また、図45は、観察対象物100が側視画像撮像部45の視野外に位置している場合を示しており、この場合は、対物レンズ25と載置台31との距離を表示することができるようになっている。
図27に示すように、観察対象物100の上面を示す指標91を表示部2に表示させることができる。観察対象物100の上面は、後述するエッジ抽出部62によって取得することができる。対物レンズ25を切り替えるためにレボルバ26を回転させると、切替後の対物レンズ25Aが切替動作の途中において観察対象物100の上面を示す指標91に触れることが分かる。これにより、対物レンズ25Aに切り替える前に、対物レンズ25Aと観察対象物100とが衝突することが分かる。指標91を表示部2に表示させることで、レボルバ26を回転させる際に対物レンズ25と観察対象物100との衝突を回避することができる。
また、対物レンズ25と観察対象物100の衝突回避の方法としては、例えば図33に示すように、観察対象物100のうち、最も高い部分をエッジ抽出等により求めて、その部分から上方へ向かって注意領域93を設定し、この注意領域93を側視画像に重畳表示してもよい。これにより、例えば使用者が位置指定を行う際に、対物レンズ25が衝突し易い部分を事前に認識しておくことができるので、対物レンズ25と観察対象物100との衝突を回避することができる。注意領域93は、図33において薄墨で示す部分である。注意領域93の表示形態としては、例えば、着色、斜線表示等を挙げることができるが、これらに限られるものではない。
図34に示すように、ヘッド部22を揺動させると、注意領域93もヘッド部22の揺動角度に対応して傾斜した状態になる。
(エッジ抽出部62の構成)
エッジ抽出部62は、側視画像に含まれている観察対象物100の上面をエッジとして抽出するエッジ抽出処理を行うように構成されている。エッジとは、広義には観察対象物100の輪郭、外形線と定義できるが、本例では、観察対象物100を側方から見たときの上面をエッジとして抽出する場合について説明する。エッジ抽出処理自体は従来から周知の手法を用いることができ、例えば、画像上の各画素の画素値を取得し、画像上の画素値の変化がエッジ検出用のしきい値以上となる領域が存在する場合に、その境界部分がエッジであるとして抽出する。観察対象物100の上面をエッジとして抽出すると、表示制御部64は、図21に示すように、エッジを観察対象物エッジ表示線71aにて表示するように、表示部2を制御する。観察対象物エッジ表示線71aは、例えば、太線、破線、赤色や黄色等の目立つ色の線等で構成することができるが、これらに限られるものではなく、点滅表示する形態等であってもよい。観察対象物エッジ表示線71aが複数ある場合には、最も上に位置する観察対象物エッジ表示線71aのみ表示させるようにしてもよい。
エッジ抽出部62は、上述したような手法により、側視画像に含まれている対物レンズ25の下端部もエッジとして抽出する。対物レンズ25の下端部をエッジとして抽出すると、表示制御部64は、図21に示すように、エッジを対物レンズエッジ表示線71bにて表示するように、表示部2を制御する。対物レンズエッジ表示線71bは、観察対象物エッジ表示線71aと同様に構成することができる。対物レンズエッジ表示線71bと、観察対象物エッジ表示線71aとの表示形態は異なっていてもよいし、同じであってもよい。
制御部60は、エッジ抽出部62がエッジ抽出処理を行う側視画像を側視画像撮像部45が取得するときに、同軸落射照明51で観察対象物100を照明する照明制御を行うように構成されている。例えば、エッジ抽出処理を行う側視画像を側視画像撮像部45が取得する前に、リング照明87で観察対象物100を照明していた場合には、リング照明87を消灯して同軸落射照明51を点灯させてから、側視画像撮像部45によりエッジ抽出処理用側視画像を取得する。すなわち、リング照明87は、観察対象物100の周囲から光を照射するので、側視画像では光の反射成分が強くなってハレーションを起こす部分が多くなり、エッジ抽出処理が難しくなるおそれがある。照明を消して環境光でエッジを抽出し、オートフォーカスするときには照明を点灯してもよい。同軸落射照明51にすると、側視画像でハレーションが起こり難くなり、エッジ抽出処理が容易になる。
(背景影響低減手段)
図22Aに示すように、エッジ抽出処理を行う側視画像には、背景部分(符号72で示す)が含まれていることがある。すなわち、側視画像撮像部45は載置台31や観察対象物100の方を向いており、側視画像撮像部45で取得された側視画像のうち、載置台31や観察対象物100が占める領域は側視画像の一部であり、側視画像の残りの部分には、図22に符号72で示すように観察対象物100よりも遠くにあるもの(載置台31の前端よりも遠くにある背景物)が映り込むことがあり、これが側視画像の背景部分となる。背景部分には、物、人等が含まれることもある。背景部分が側視画像に鮮明に映り込んでいると、載置台31と背景との区別、観察対象物100と背景との区別、対物レンズ25と背景との区別が難しくなり、側視画像において載置台31や観察対象物100、対物レンズ25を把握するのが困難になるおそれがある。特に、背景部分が鮮明に映り込んだ側視画像を使用してエッジ抽出処理を行おうとすると、背景物72の輪郭を抽出してしまう場合があり、観察対象物100や対物レンズ25のエッジを抽出することが困難になる。
本例では、側視画像撮像部45で取得された側視画像のうち、側視画像撮像部45からの距離が観察対象物100までの距離よりも大きい部分である背景部分の影響を低減する背景影響低減手段を備えている。「背景部分の影響を低減する」とは、載置台31と背景との区別、観察対象物100と背景との区別、対物レンズ25と背景との区別が容易に行えるように、背景部分をぼかしたり、背景部分をマスクする方法が含まれるとともに、背景部分でのエッジ抽出ができないように、背景部分をぼかす方法も含まれる。「エッジ抽出ができないように背景部分をぼかす」というのは、エッジ検出用のしきい値に基づいて設定することができ、背景部分における画素値の変化が、エッジ検出用のしきい値未満の変化となるようにすることである。
背景影響低減手段の一例として、側視画像撮像部45の被写界深度を設定する被写界深度設定手段を挙げることができる。側視画像撮像部45の被写界深度の設定により、背景部分が載置台41や観察対象物100に比べてぼけた側視画像を取得することができる。背景部分がぼけることで、背景部分の影響を低減することができる。被写界深度設定手段は、例えば絞り、側視画像撮像部45が有するレンズの画角(焦点距離)等とすることができ、周知の計算式による机上計算で被写界深度を計算することもできるし、実験によって適切な絞り量や画角を設定することができる。視画像撮像部45の焦点距離を、拡大観察画像撮像部50の焦点距離よりも長く設定することで、背景部分が載置台41や観察対象物100に比べてぼけた側視画像を取得することができる。
側視画像撮像部45の被写界深度は、絞りやレンズの画角等によって任意に設定することができ、本例では、載置台31における側視画像撮像部45に近い側の端部と、載置台31における側視画像撮像部45から最も離れた側の端部との間としている。載置台31における側視画像撮像部45に近い側の端部とは、載置台31の前端部であり、載置台31における側視画像撮像部45から最も離れた側の端部とは、載置台31の後端部である。このように被写界深度を設定することで、図22Bに示すように、載置台31に載置された観察対象物100及び対物レンズ25にピントが合い、背景物72がぼけた側視画像を取得することができる。これにより、観察対象物100及び対物レンズ25が際だった側視画像になる。
また、側視画像撮像部45の被写界深度は、対物レンズ25の光軸上に焦点が合い、かつ、載置台31におけるスタンド部20から遠い方の端部(載置台31の前端部)で不鮮明となる側視画像を取得するように設定することができる。
背景影響低減手段の別の例としては、図17に示す背景影響低減部65で構成する例を挙げることができる。背景影響低減部65は、側視画像撮像部45で取得された側視画像の背景部分を判定する背景判定部65aを有している。背景判定部65aは、側視画像撮像部45で撮像中に載置台31を載置部Z方向駆動部83により上下方向に駆動し、側視画像において動かない部分が背景部分であると判定するように構成されている。また、載置台31を載置部Z方向駆動部83により動かす前に、側視画像撮像部45で撮像した移動前画像と、載置台31を載置部Z方向駆動部83により動かした後に、側視画像撮像部45で撮像した移動後画像とを画像処理し、両画像で動かない部分が背景部分であると判定するように構成することもできる。
図23Aには、載置台31を載置部Z方向駆動部83により上下方向に駆動する前を実線で示しており、載置台31を載置部Z方向駆動部83により上方向に駆動した後を仮想線で示している。この図に示すように、載置台31を駆動した際に動くのは、載置台31と観察対象物100であり、背景物72は動かない。このことを利用して、駆動前の画像と、駆動後の画像とを画像処理して動いていない部分を抽出し、この部分を背景部分と判定する。つまり、載置台31が第1の位置にあるときに側視画像を取得し、載置部Z方向駆動部83により載置台31を第1の位置から第2の位置に動かした後に側視画像を取得するように、側視画像撮像部45を構成することができ、これにより、背景部分の判定が容易になる。
背景部分の判定方法としては、載置台31をZ方向に駆動する以外にも、載置部XY方向駆動部82によってY方向に駆動するようにしてもよい。また、対物レンズ25を対物レンズZ方向駆動部80により上下方向に駆動することで、対物レンズ25を背景部分として判定してしまうのを回避できる。
背景判定部65aは、側視画像撮像部45で撮像中に観察対象物100への照明を変化させ、側視画像の各部の明るさに基づいて背景部分を判定するように構成されていてもよい。リング照明87及び同軸落射照明51は、観察対象物100を照明するものであり、リング照明87及び同軸落射照明51の光が背景物72に届くことは殆どない。側視画像撮像部45で撮像中に、リング照明87及び同軸落射照明51の点灯状態を切り替えると、側視画像における観察対象物100の明るさが大きく変化する一方、背景物72の明るさは殆ど変化しないので、このことを画像処理によって検出し、側視画像における明るさの変化が所定未満の部分を背景部分と判定することができる。リング照明87及び同軸落射照明51の点灯状態の切替とは、ON、OFFの切替であってもよいし、明るさの変化であってもよい。
背景影響低減部65は、背景判定部65aにより判定された背景部分を画像処理することによって背景部分の影響を低減するように構成されている。例えば、図23Bに示すように、側視画像における背景部分をマスクするマスク処理を行うことができる。マスク処理とは、背景部分を隠す処理であり、完全に隠すようにしてもよいし、背景物72が薄く表示される程度に隠すようにしてもよい。マスク処理は、例えば背景部分に薄く色を付ける処理であってもよいし、背景部分のコントラストを低下させる処理であってもよい。また、背景影響低減部65は、背景部分をぼかす処理を行うようにしてもよい。
上述のようにして背景部分の影響が低減された画像は、図16に示すように、拡大観察用画像と共に表示部2に表示される。
(対物レンズ25の構成)
図24は、アタッチメント25aが取り付けられた対物レンズ25を含む側視画像の例を示すものである。アタッチメント25aが対物レンズ25の下端部に取り付けられると、その分、載置台31との距離、観察対象物100との距離が短くなる。
アタッチメント25aには、識別手段を付与しておくことができる。識別手段としては、例えばバーコード、二次元コード、ICチップ等を挙げることができる。バーコードや二次元コード等のコードを付与する場合、側視画像撮像部45によって撮像することができるように、アタッチメント25aの側面において側視画像撮像部45と対向する部分に表示するのが好ましい。また、ICチップの場合、レボルバ26におけるアタッチメントとの接触部分に接点を設けておき、この接点と介してアタッチメント25aの識別情報を取得するようにするのが好ましい。
制御部60は、側視画像撮像部45によって撮像した画像からコードを検出し、従来周知の方法でデコード処理することで、アタッチメント25aの種類を判定することができる。アタッチメント25aの種類を判定することで、アタッチメント25aの外径、上下方向の寸法を把握して、アタッチメント25aの下端部の位置及び外周面の位置を算出することができる。
また、同様に、対物レンズ25にコードやICチップ等を付与することもできる。この場合も同様にして対物レンズ25の種類、即ち、対物レンズ25の長さ、外径(外形状)を制御部60が把握することができる。
この場合、図17に示す記憶部89には、対物レンズ25の種類、形状、各部の寸法等に関する情報を互いに関連付けて記憶しておき、制御部60が把握した対物レンズ25の種類に対応した形状や寸法に関する情報を記憶部89から読み込んで把握することができる。アタッチメント25aについても同様に記憶部89に記憶させておくことができる。
また、記憶部89には、対物レンズ25の種類と作動距離(ワーキングディスタンス:WD)に関する情報とを互いに関連付けて記憶しておくこともできる。これにより、制御部60が把握した対物レンズ25の種類に対応した作動距離に関する情報を読み込んで、使用中の対物レンズ25の作動距離を把握することができる。
(画像処理部61の構成)
図17に示す画像処理部61は、側視画像撮像部45で取得された側視画像に基づいて対物レンズ25と観察対象物100との位置関係情報を取得するように構成されている。具体的には、エッジ抽出部62で抽出されたエッジを使用して、対物レンズ25と観察対象物100との位置関係情報を取得することができ、例えば図21に示すように、最も上に位置する観察対象物エッジ表示線71aと、対物レンズエッジ表示線71bの下端部との上下方向の距離を位置関係情報として取得する。この距離の算出手法としては、例えば、側視画像の1画素当たりの実寸法と、観察対象物エッジ表示線71aと対物レンズエッジ表示線71bとの間の画素数とを乗じる方法等がある。
画像処理部61は、記憶部89に記憶されている対物レンズ25の形状または寸法に関する情報を用いて対物レンズ25と観察対象物100との位置関係情報を取得するように構成することもできる。上述したように、制御部60は、対物レンズ25の形状や寸法を把握できるとともに、アタッチメント25aが装着されている場合にはそのアタッチメント25の形状や寸法を把握することができる。これにより、対物レンズ25のエッジ抽出を行うことなく、対物レンズ25の下端部と観察対象物100の上面との距離、アタッチメント25aの下端部と観察対象物100の上面との距離を算出することができる。
例えば図21に示すように、対物レンズ25の外径を把握することで、対物レンズ25の外径を示す外径表示線73を縦線として表示させることができる。対物レンズ25の揺動時には、揺動角度に対応するように、外径表示線73を傾斜させればよい。
また、側視画像撮像部45を使用者側とは反対側に設けているので、使用者の邪魔にならないレイアウトとすることができるが、使用者側とは反対側から側視画像撮像部45が撮像することになるので、そのまま表示部2に表示させると、左右の関係が使用者側から見たときと反対になる。画像処理部61は、側視画像撮像部45で取得された画像を左右反転させて表示部2に表示させるように構成されている。これにより、側視画像の左右方向を、使用者側から見たときと一致させることができる。
(オートフォーカス部63の構成)
オートフォーカス部63は、画像処理部61で取得された対物レンズ25と観察対象物100との位置関係情報と、拡大観察画像撮像部50で取得された拡大観察用画像とに基づいて対物レンズZ軸方向駆動部80を制御して対物レンズ25を上下方向に移動させて対物レンズ25の焦点を探索する。例えば、周知の位相差オートフォーカスやコントラストAF等と同様なアルゴリズムを利用して観察対象物100に焦点が合うまで対物レンズZ軸方向駆動部80によって対物レンズ25を上下方向に移動させる。尚、載置部Z方向駆動部83により載置台31を上下方向に移動させることによって焦点を合わせるようにしてもよい。
焦点を合わせる際、対物レンズ25と観察対象物100との位置関係情報を予め取得しているので、対物レンズ25と観察対象物100とが衝突しない範囲で対物レンズ25が観察対象物100に接近するように、対物レンズZ軸方向駆動部80を制御することができる。このように制御したとしても、対物レンズ25と観察対象物100との衝突を回避することができるので、観察準備が完了したときの対物レンズ25の位置が焦点の合う範囲よりも観察対象物100から離れている場合であっても、オートフォーカスによって焦点を合わせることができる。
オートフォーカス部63は、記憶部89に記憶されている対物レンズ25の作動距離に関する情報を用いて対物レンズ25の焦点を探索することができる。対物レンズ25の作動距離は対物レンズ25の倍率によって大きく異なっているが、対物レンズ25の作動距離に関する情報を記憶部89から読み込んで、対物レンズ25の作動距離近傍に観察対象物100が存在するように、対物レンズZ軸方向駆動部80を制御することで、オートフォーカスによる焦点合わせが素早く、かつ、正確に行われる。このとき、対物レンズ25の焦点を観察対象物100の最上面に合わせるのが好ましい。これにより、対物レンズ25と観察対象物100との衝突を未然に回避することができる。
例えばコントラストが低い等の理由により、オートフォーカス部63による対物レンズ25の焦点の探索が失敗する場合がある。制御部60は、オートフォーカス部63による対物レンズ25の焦点の探索が失敗した場合には、対物レンズZ軸方向駆動部80を停止させて探索を終了する。これにより、対物レンズ25と観察対象物100との衝突を未然に回避することができる。また、オートフォーカス部63による対物レンズ25の焦点の探索が失敗した場合には、探索が失敗したことを報知する表示を表示部2に表示させるようにしてもよい。探索が失敗したことを報知する表示とは、例えば探索を失敗したことのメッセージや、マーク等を挙げることができるが、これらに限られるものではない。オートフォーカス部63による対物レンズ25の焦点の探索が失敗した場合には、音声で探索が失敗したことを報知するようにしてもよい。
また、オートフォーカス部63は、拡大観察画像撮像部50で取得された拡大観察用画像のみに基づいて対物レンズZ軸方向駆動部80を制御し、対物レンズ25を上下方向に移動させて対物レンズ25の焦点を探索するようにしてもよい。
(受付部)
コントローラ部3、マウス4及びキーボード6は、表示部2に表示された側視画像における使用者による任意の位置の指定を受け付ける受付部である。制御部60は、受付部で受け付けた位置に基づいて拡大観察装置Aを制御するように構成されている。例えば、受付部で受け付けた位置に対物レンズ25の焦点が合うように対物レンズZ軸方向駆動部80を制御する。また、受付部で受け付けた位置に対物レンズ25が移動するように対物レンズZ軸方向駆動部80を制御することもできる。
また、コントローラ部3、マウス4及びキーボード6を操作することで、オートフォーカス部63による対物レンズ25の焦点の探索が失敗した場合に側視画像上で使用者による対物レンズ25の合焦目標位置の指定を受け付けることもできる。つまり、オートフォーカス部63による対物レンズ25の焦点の探索が失敗した場合には、受付部が使用者による位置の指定を受け付けるように構成されている。受付部で受け付けた位置は、実空間での座標上で特定することができる。例えば、座標系1を実空間での座標とし、座標系2を側視画像撮像部45のイメージセンサの画素での座標とし、座標系3を表示部2に表示されている側視画像中の座標とし、これら3つの座標の関連付けておくことで、受付部で受け付けた位置を特定することができる。
オートフォーカス部63は、受付部で受け付けた合焦目標位置に基づいて対物レンズZ軸方向駆動部80を制御する。対物レンズ25の焦点が合焦目標位置まで移動するように、対物レンズZ軸方向駆動部80を制御して対物レンズ25を上下方向に動かす。
受付部で合焦目標位置の指定を受け付けた後に対物レンズ25を動かしてもよいし、受付部による使用者の位置の指定を受け付ける前に対物レンズ25を動かすようにしてもよい。すなわち、受付部による使用者の位置の指定を受け付ける前に、画像処理部61で取得された対物レンズ25と観察対象物100との位置関係情報と、拡大観察画像撮像部50で取得された拡大観察用画像とに基づいて対物レンズZ軸方向駆動部80を制御して対物レンズ25の焦点を探索するように構成することもできる。
受付部での位置の指定を反映させた制御としては、例えば、受付部で受け付けた位置が拡大観察画像撮像部50の視野に入るように、観察対象物100を載置台31によって該載置台31の幅方向及び奥行き方向に移動させる制御も含まれる。使用者が、例えば表示部2に表示されている側視画像の右端を位置指定すると、指定した位置が側視画像の中央部近傍に位置するように、載置部XY方向駆動部82を制御部60が制御する。これにより、観察したい部位の指定と、指定した部位の観察が可能になる。
また、側視画像撮像部45の画角の設定等により、レボルバ26に取り付けられている複数の対物レンズ25が側視画像に含まれるようにすることができる。この場合、使用者が受付部で側視画像上の複数の対物レンズ25のうち、1つの対物レンズ25に対応する位置を指定すると、その位置指定が受け付けられる。受付部で受け付けた位置にある対物レンズ25による観察が可能となるように、制御部60が電動レボルバ駆動部81を制御する。これにより、受付部で受け付けた位置にある対物レンズ25が観察可能位置に来るまで電動レボルバ駆動部81がレボルバ26を回動させる。
位置指定を行う際、表示制御部64は、使用者による位置の指定をガイドするガイド表示を、側視画像に重なるように、表示部2に表示させる。ガイド表示は、対物レンズ25の作動距離に関する表示とすることができる。例えば、図40に符号76で示すように、対物レンズ25の作動距離を図形によるガイド表示とすることができる。ガイド表示76は、下に頂点を有する三角形状のものであり、下の頂点が作動距離を示す部分である。また、図42に示すように、対物レンズ25の作動距離(レンズWD)を数値で示したガイド表示であってもよい。この場合、対物レンズ25の下端部と観察対象物100の上面との距離を側視画像上に表示するようにしてもよい。
また、ガイド表示は、エッジ抽出部62で抽出されたエッジを観察対象物100の上面として表示する形態であってもよい。例えば、図21に示す観察対象物エッジ表示線71aをガイド表示とすることもできる。これにより、使用者が表示部2上で観察対象物100の上面を認識し易くなる。
受付部は、表示部2に表示されている側視画像における観察対象物100の外形、即ち輪郭に対応する位置の指定を受け付けるように構成されている。これにより、使用者が側視画像で指定した位置を、観察対象物100の外形とすることができるので、例えば対物レンズ25と観察対象物100との衝突を回避する等の制御に利用することができる。
受付部は、表示部2に表示されている側視画像における対物レンズ25の下端部に対応する位置の指定を受け付けるように構成されている。これにより、使用者が側視画像で指定した位置を、対物レンズ25の下端部とすることができるので、例えば対物レンズ25と観察対象物100との衝突を回避する等の制御に利用することができる。
受付部は、図31や図32等に示す側視画像中に表示した位置指定用ポインタ77を操作可能に構成され、該位置指定用ポインタ77により側視画像の任意の位置の指定を受け付けるように構成されている。位置指定用ポインタ77の形状や色は特に限定されるものではない。位置指定ポインタ77と共に、位置指定補助線77aを表示させることができる。位置指定補助線77aは、位置指定ポインタ77と連動して上下方向に移動する。また、図34に示すように、ヘッド部22を揺動させると、ヘッド部22の揺動に対応するように、位置指定補助線77aが傾斜する。
(合成処理部67の構成)
図17に示す合成処理部67は、拡大観察画像撮像部50の視野内に位置する観察対象物100の高さ方向の所定範囲の全部分に合焦した拡大観察用画像を生成する深度合成処理を行う部分である。深度合成画像は、観察対象物100の高さ方向の所定範囲の高低差が対物レンズ25の被写界深度を超える場合、高さ方向を異ならせて別々に拡大観察画像撮像部50で撮像した画像の中から、合焦した部分だけを抜き出して合成した画像である。深度合成画像を生成するためには従来から周知の深度合成処理を行えばよく、この深度合成処理は、対物レンズZ軸方向駆動部80によって対物レンズ25をZ方向(高さ方向)に移動させながら、複数の静止画像(合成前画像)を拡大観察画像撮像部50で撮像して、合焦している領域を合成することで、画面の広範囲にピントが合っている拡大観察用画像を合成する。この場合は、Z方向の範囲やZ方向の移動ピッチ等によって数十から数百の静止画像を使用する。
制御部60は、受付部で受け付けた位置を前記所定範囲の上限または下限として深度合成処理を行うように、合成処理部67を制御する。合成処理の前段階として、受付部により、側視画像における前記所定範囲の上限と下限の少なくとも一方に対応する位置の指定を受け付けることができるようになっている。例えば、図25に示すように、破線78により前記所定範囲の上限を指定し、破線79により前記所定範囲の下限を指定することができる。破線78、79は、使用者によるコントローラ部3やマウス4の操作によって別々に上下方向に移動させることができ、これにより、前記所定範囲の上限と下限を任意に設定することが可能になる。図25における「連結領域」が深度合成処理を行う範囲である。
(位置指標算出部66の構成)
位置指標算出部66は、側視画像撮像部45で取得された側視画像に基づいて、対物レンズ25の光軸方向における対物レンズ25と観察対象物100との間の距離、または対物レンズ25と載置台31の上面との間の距離に関係する指標を算出する部分である。指標は、表示部2に表示可能となっており、側視画像と重畳表示することができる。重畳表示とは、側視画像撮像部45で撮像された画像に指標を重ねて表示することである。指標は、ヘッド部22が揺動(傾斜)すると、その揺動角度に対応して傾斜する。
指標は、対物レンズ25の作動距離に関する指標または焦点位置に関する指標とすることができる。対物レンズ25の作動距離に関する指標は、図40や図41に示すガイド表示76として表示部2に表示させることができる。ガイド表示76における下の頂点が焦点位置を示しているので、ガイド表示76は、焦点位置に関する指標ということもできる。
指標は、対物レンズ25の光軸方向における該対物レンズ25の移動限界位置に関する指標とすることができる。図31に示すように、対物レンズ25の下端部を観察対象物100の上面よりも下に下げることはできないので、対物レンズ25の移動限界位置は、観察対象物100の上面となる。この観察対象物100の上面をエッジ抽出処理によってエッジ表示線90として側視画像に表示することができる。エッジ表示線90は、対物レンズ25の下方への移動限界位置を示す指標となり、このときの指標は、対物レンズ25の移動限界位置に存在する観察対象物100を示すものである。尚、対物レンズ25の上方への移動限界位置を示す指標を表示するようにしてもよい。対物レンズ25の上方への移動限界位置は、対物レンズ25の長さや対物レンズZ方向駆動部80の構造等によって定まる。
制御部60は、受付部により、移動限界を超えた部分の位置の指定を受け付けた場合に、対物レンズ25を移動限界位置までしか移動しないように対物レンズZ方向駆動部80を制御する。図31に示すように、移動限界はエッジ表示線90として表示されているが、使用者がエッジ表示線90よりも載置台31の上面に近い部分の位置の指定を行うことが考えられ、この位置指定にしたがうと、対物レンズ25が観察対象物100に衝突することになる。これを回避するために、図31に示すような位置指定が行われた場合には位置指定を無視するか、位置指定が行われても、それが対物レンズZ方向駆動部80の制御に反映されないようにすることで、対物レンズ25と観察対象物100との衝突を回避するようにしている。また、同様な理由から、受付部は、移動限界を超えた部分の位置の指定を受け付けないように構成することもできる。移動限界を超えた部分の位置の指定が行われた場合には、表示部2に注意表示を行うようにしてもよい。
指標は、対物レンズ25と観察対象物100との間の距離及び対物レンズ25と載置台31との間の距離の少なくとも一方とすることができる。対物レンズ25の下端部の位置は、エッジ抽出等の画像処理や記憶部89に記憶されている寸法情報に基づいて得ることができ、また、観察対象物100の上面の位置は、エッジ抽出等の画像処理に基づいて得ることができる。対物レンズ25の下端部の位置と、観察対象物100の上面の位置とにより、図42に示すように、対物レンズ25の下端部と、観察対象物100の上面との距離を算出することができる。同様に、対物レンズ25の下端部と、載置台31の上面との距離も算出することができる。
指標は、対物レンズ25の外形線を含むこともできる。対物レンズ25の外形線は、例えば、エッジ抽出等の画像処理や記憶部89に記憶されている形状情報や寸法情報に基づいて得ることができる。図47に示すように、レボルバ26を回転させた後の対物レンズ25Aの外形線を破線にて側視画像に表示することができる。これにより、対物レンズ25を対物レンズ25Aに切り替えた後に、切替後の対物レンズ25Aが観察対象物100と衝突するか否か、事前に確認することができる。つまり、位置指標算出部66は、観察対象物100を観察している対物レンズ25が別の対物レンズ25Aに切り替えられる場合には、当該別の対物レンズ25Aの外形線を表示部2に表示させることにより、衝突を回避することができるように構成されている。
また、図48はヘッド部22が揺動した状態を示しており、ヘッド部22が揺動すると、その揺動角度に対応するように、切替後の対物レンズ25Aの表示が傾斜するので、使用者は切替後の対物レンズ25Aの確認が容易に行えるようになる。
尚、観察対象物100を観察している対物レンズ25が別の対物レンズ25Aに切り替えられる場合には、当該別の対物レンズ25Aが移動する軌跡を表示部2に表示させることもできる。対物レンズ25が切り替えられるときには、レボルバ26の回転中心線周りに対物レンズ25が移動することになるので、記憶部89に記憶されている形状情報や寸法情報に基づいて対物レンズ25の移動軌跡を算出して側視画像に表示することができる。
指標は、観察対象物100の上面を示す線及び載置台31の上面を示す線の少なくとも一方を含むこともできる。観察対象物100の上面を示す線は、例えば図21に示す観察対象物エッジ表示線71aや、図31に示すエッジ表示線90である。載置台31の上面を示す線は、図31に示す載置台表示線91である。
また、位置指標算出部66は、対物レンズ25と観察対象物100との間の距離及び対物レンズ25と載置台31との間の距離の少なくとも一方を取得して当該距離が所定距離以下であるか否かを判定し、所定距離以下であると判定した場合には、表示部2に警告表示させることもできるように構成されている。図46に示すように、対物レンズ25と観察対象物100との間の距離が対物レンズ25の作動距離よりも短い場合には、対物レンズ25をそれ以上、下げても合焦することはなく、対物レンズ25が観察対象物100に衝突することが考えられるので、「衝突に注意して下さい」という警告表示(警告メッセージ表示)や注意表示(注意メッセージ表示)を行う。警告表示や注意表示は、文字によるものだけでなく、マークや色による表示であってもよいし、音声によるものであってもよい。また、対物レンズ25と観察対象物100とが所定以上接近すると、側視画面の色を変えたり、接近したことを示す注意表示を行うようにしてもよい。側視画面の色は、対物レンズ25と観察対象物100との距離に応じて変化させてもよい。
また、位置指標算出部66は、合成処理部67が拡大観察画像撮像部50によって複数の合成前画像を取得させる際に、対物レンズ25の下方への移動限界位置に関する指標を算出するように構成されている。合成処理部67による深度合成の範囲は、対物レンズ25が観察対象物100に衝突しないように設定する必要があり、この設定の際に、対物レンズ25の下方への移動限界位置に関する指標を利用することで、対物レンズ25と観察対象物100との衝突を回避することができる。
(表示制御部64)
図17に示す表示制御部64は上述したように表示部2を制御する他、対物レンズ25と観察対象物100との間の距離に応じて側視画像の表示倍率を変更して表示部2に表示させるように構成されている。具体的には、対物レンズ25と観察対象物100との間の距離が近づけば近づくほど、側視画像の表示倍率を大きく、即ち拡大して表示する。例えば、対物レンズ25が高倍率のものである場合には図43に示すように作動距離が数mm以下になり、対物レンズ25の下端部と観察対象物100との距離が側視画像上で判りづらくなることがある。このような場合に側視画像の表示倍率を大きくすることで、図44に示すように、表示部2には対物レンズ25の下端部と観察対象物100とが拡大表示されることになり、対物レンズ25の下端部と観察対象物100との距離を把握し易くなる。側視画像の表示倍率は、段階的に大きくしてもよいし、ほぼ無段階で大きくしてもよい。側視画像の表示倍率の変更は、対物レンズ25と観察対象物100との間の距離の変化に連動して行われるようにしてもよいし、使用者が手動で行うようにしてもよい。
また、本例では、ヘッド部22を揺動させることができるので、ヘッド部22が揺動した状態で側視画像撮像部45が観察対象物100や対物レンズ25を撮像することがある。表示制御部64はヘッド部22が揺動した状態で側視画像撮像部45が撮像した側視画像を、拡大観察画像撮像部50で撮像した画像と同時に表示部2に表示させることができる。
(水平化部68の構成)
図17に示す水平化部68は、ヘッド部22が揺動した状態で、側視画像中の載置台31が略水平となるように画像処理を行う部分である。すなわち、側視画像撮像部45が側視画像を取得する際、例えば図10及び図11に示す実施形態4のように、ヘッド部22の揺動に伴って側視画像撮像部45が軸U回りに変位すると、取得された側視画像においては、載置台31がヘッド部22の揺動角度に対応して傾斜することになる。この場合、側視画像は、水平化部68で載置台31が略水平となるように回動させる画像処理が行われた後、表示部2に表示されるので、観察対象物100を複数の異なる角度から観察する場合に、側視画像を違和感の少ない画像とすることができる。
また、水平化部68は、載置台31が略水平となるように側視画像を回動させる画像処理を行うとともに、載置台31を含む水平方向に長い略矩形状画像となるようにトリミング処理を行うように構成することもできる。水平方向に長い略矩形状画像とは、図16に示すような画像であり、一般的な表示部2の表示領域の形状と略相似形の画像である。
水平化部68は、上述したように画像処理を行う部分であってもよいし、実施形態1~3、5、6のように側視画像撮像部45が変位しないように取り付けられた構造そのものであってもよい。実施形態1~3、5、6では、側視画像撮像部45が変位しないので、対物レンズ25が揺動したとしても、揺動前の側視画像撮像部45の水平方向が水平状態で維持されることになる。
(全自動観察)
次に、拡大観察装置Aにより全自動観察を行う場合について説明する。図18のフローチャートに示すように、まず、ステップSA1において使用者は観察対象物100を載置台31にセットする。すると、図16に示すようなユーザーインターフェース70により、拡大観察画像撮像部50で取得された拡大観察用画像が拡大観察画像表示領域70aに表示され、側視画像撮像部45で取得された側視画像が側視画像表示領域70bに表示される。ステップSA2では、使用者が拡大観察画像表示領域70aに表示された拡大観察用画像を見る。ステップSA3では、拡大観察画像表示領域70aに表示された拡大観察用画像がピントの合った画像であるか否かを判定し、ピントの合った画像である場合にはステップSA5に進んで観察を行う。ピントの合った画像でない場合にはステップSA4に進み、観察開始操作を行う。観察開始操作は、コントローラ部3、マウス4及びキーボード6等によって行うことができ、例えば図16に示すユーザーインターフェース70に表示された観察開始ボタン等をクリックする操作であってもよい。
観察開始操作が行われると、図19のフローチャートに進む。フローチャートの処理に入る前に、前処理として、実空間での座標と、側視画像撮像部45のイメージセンサの画素での座標と、表示部2に表示されている側視画像中の座標とを互いに関連付けておく。前処理は、ピント合わせの前に行ってもよいし、拡大観察装置Aの出荷前、出荷後、いつ行ってもよい。
図19のフローチャートのステップSB1に進み、上下Z位置、レンズ情報を取得する。上下Z位置とは、対物レンズ25の位置及び載置台31の位置である。レンズ情報は、記憶部89に記憶されている対物レンズ25の種類、形状、各部の寸法等に関する情報である。
その後、ステップSB2に進み、キャリブレーションデータを取得して較正処理を行う。ステップSB3では、側視画像撮像部45によって撮像した側視画像を取得する。図20に示すような画像である。ステップSB4では、エッジ抽出処理を行う。これにより、図21に示すように、観察対象物エッジ表示線71aと、対物レンズエッジ表示線71bとを表示することができる。
ステップSB5に進み、対物レンズ25の現在位置を把握する。これはリニアスケールによって取得することもできるし、対物レンズエッジ表示線71bの位置によって取得することもできる。ステップSB5では、観察対象物100の上面高さ(Z座標)を把握する。これは観察対象物エッジ表示線71aの位置によって取得することができる。さらに、ステップSB5では、対物レンズ25の現在の合焦位置を把握する。これは対物レンズ25の作動距離によって取得することができる。
ステップSB6に進み、合焦条件演算処理を行う。このステップでは、観察対象物100の上面に合焦させるためには、対物レンズ25をどのように動かせばよいのかを演算する。対物レンズ25から観察対象物100の上面までの距離と、対物レンズ25の作動距離とを把握しているので、観察対象物100の上面に合焦させるための対物レンズ25の移動方向及び移動距離を演算することができる。
ステップSB7では、衝突条件演算処理を行う。このステップでは、対物レンズ25をどのように動かすと観察対象物100や載置台31に衝突してしまうのか、衝突条件を演算する。対物レンズ25から観察対象物100の上面までの距離と、対物レンズ25の下にある観察対象物100の上面との位置関係を把握しているので、観察対象物100や載置台31に衝突してしまう条件を演算することができる。
ステップSB8は対物レンズ25を動かす前に行うステップであり、このステップSB8では、ステップSB6で演算したように対物レンズ25を動かした場合に、ステップSB7で演算した衝突条件に合致するか否かを判定する。ステップSB8でYESと判定されて対物レンズ25が観察対象物100や載置台31に衝突するおそれがある場合には、ステップSB10に進み、側視画像に警告メッセージを重畳表示する。警告メッセージは、例えば図46に示す「衝突に注意して下さい」等である。その後、後述する半自動観察または手動観察のフローチャートに進む。
一方、ステップSB8でNOと判定されて対物レンズ25が観察対象物100や載置台31に衝突するおそれが無い場合には、ステップSB9に進み、対物レンズ25を合焦位置に移動させる。このとき、オートフォーカス部63によりフォーカス位置を探索し、フォーカス値を表示部2に表示するようにしてもよい。
上述した全自動観察時のオートフォーカス機能(自動焦点合わせ機能)は、焦点がずれる可能性のある動作後に行うことができる。焦点がずれる可能性のある動作とは、例えば、載置台31をX方向やY方向に移動すること、載置台31を回動すること、ヘッド部22を揺動させること、対物レンズ25の切替等を挙げることができる。また、所定時間毎に撮像するタイマー撮像モードを制御部60に組み込むことができ、この場合は、撮像前にオートフォーカス機能によって焦点を合わせることができる。また、観察対象物100が載置台31に載置されたことを側視画像に基づいて認識し、観察対象物100が載置台31に載置された後にオートフォーカス機能によって自動で焦点を合わせることができる。
(半自動観察)
次に、拡大観察装置Aにより半自動観察を行う場合について説明する。図28のフローチャートのステップSC1~SC4は、図18のフローチャートのステップSA1~SA4と同じである。また、図28のフローチャートのステップSC9は、図18のフローチャートのステップSA5と同じである。
ステップSC3でピントの合った画像でないと判定された場合にはステップSC4に進み、使用者は側視画像を見る。その後、使用者はステップSC5に進み、合焦位置を指定する。例えば、図30に示すような第1部分101と第2部分102とからなる観察対象物100の場合、矢印B方向からの側視画像では、図31に示すように表示されることになる。全自動観察でエッジ抽出を行うと、最上面のエッジ表示線90の位置に合焦しようとするので、図30の面101aを観察したい場合に、拡大観察用画像における面101aにピントが合わない。半自動観察では、図31に示すように、位置指定用ポインタ77によって合焦位置を任意に指定することができる。
すなわち、図29のフローチャートのステップSD1~SD5は、図19のフローチャートのステップSB1~SB5と同じであり、ステップSD1~SD5を経た後、ステップSD6に進むと、位置指定を補助するための補助表示を側視画像に重畳表示する。補助表示は、図31における位置指定用ポインタ77や位置指定補助線77a、図32における薄墨表示等である。
その後、ステップSD7に進み、使用者が指定した合焦位置を受け付ける入力受付処理を行う。使用者が指定した合焦位置を受け付けた後、ステップSD8に進み、対物レンズ25を使用者が指定した合焦位置に移動した場合の座標を演算する。ステップSD9~SD11は、図19のフローチャートのステップSB6~SB8と同じ処理及び判定である。また、ステップSD13は、図19のフローチャートのステップSB10と同じ処理であり、ステップSD12は、図19のフローチャートのステップSB9と同じ処理である。
使用者による合焦位置の指定について図35A、図35B及び図35Cに基づいて具体的に説明する。図35Aには、位置指定ポインタ77及び位置指定補助線77aが表示されるとともに、対物レンズ25の光軸を示す直線Cも表示されている。図35Bに示すように、使用者が位置指定ポインタ77を下げていくと、位置指定補助線77aも連動して下がる。その後、使用者が合焦位置として指定したい高さに位置指定ポインタ77及び位置指定補助線77aが達すると、位置指定操作(マウス4のボタン操作等)を行う。これにより、使用者が指定した合焦位置の入力が完了する。
その後、図35Cに示すように、対物レンズ25の合焦位置が、使用者が指定した合焦位置となるように対物レンズ25が移動する。
図36は、ヘッド部22が揺動した状態を示しており、ヘッド部22が揺動すると、その揺動角度に対応するように、位置指定補助線77aが傾斜するので、使用者は位置入力が容易に行えるようになる。
また、図37に示すように、位置指定の下限を示す下限表示線95を側視画像に表示するようにしてもよい。例えばエッジ抽出処理によって観察対象物100の最上面をエッジとして抽出し、このエッジを位置指定の下限として、下限表示線95を生成することができる。下限表示線95は使用者が入力するようにしてもよい。
尚、図19に示すフローチャートで半自動観察に進む場合には、図29に示すフローチャートのステップSD6の処理を行う。
一方、図28に示すフローチャートのステップSC5を経ることで、上述したように使用者が指定した位置に合焦させることができるので、ステップSC6に進んで拡大観察用画像を見る。ステップSC7では、拡大観察画像表示領域70aに表示された拡大観察用画像がピントの合った画像であるか否かを判定し、ピントの合った画像である場合にはステップSC9に進んで観察を行う。ピントの合った画像でない場合にはステップSC9に進み、各種の重畳表示(側視画像への重畳表示)と警告表示を行う。重畳表示とは、例えば対物レンズ25の作動距離を示すガイド表示(図40に符号76で示す)等を挙げることができる。
(手動観察)
次に、拡大観察装置Aにより手動観察を行う場合について説明する。図38のフローチャートのステップSE1~SE3は、図18のフローチャートのステップSA1~SA3と同じである。ステップSE4では、使用者が側視画像を見る。この側視画像には、図40に示す位置指標としてのガイド表示76や図42に示す距離等が重畳表示されている。
ステップSE5では、使用者が対物レンズ25を移動させる。そして、ステップSE6に進む。ステップSE6では、拡大観察用画像を見ながら合焦位置の調整を行い、このとき、図41や図43に示すような側視画像を見ながら対物レンズ25を移動させることもできるので、合焦位置の目安を知ることができる。つまり、手動時には、拡大観察用画像と、側視画像との両方を見ながらピント合わせを行うことができる。
ステップSE7でピント合わせが終了するとステップSE8に進んで拡大観察用画像を見る。ステップSE9では、拡大観察画像表示領域70aに表示された拡大観察用画像がピントの合った画像であるか否かを判定し、ピントの合った画像である場合にはステップSE11に進んで観察を行う。ピントの合った画像でない場合にはステップSE10に進み、各種の重畳表示(側視画像への重畳表示)と警告表示を行う。重畳表示とは、例えば対物レンズ25の作動距離を示すガイド表示(図40に符号76で示す)等を挙げることができる。
手動観察時の詳細について説明する。図39に示すフローチャートのステップSF1~SF4は、図19に示すフローチャートのステップSB1~SB4と同じ処理である。ステップSF5では、対物レンズ25の作動距離等の位置指標を算出する。ステップSF6では、ステップSF5で算出した位置指標と側視画像とを合成して表示用データを作成する。これは表示制御部64が行ってもよいし、制御部60が行ってもよい。
その後、ステップSF7に進み、拡大観察用画像及び側視画像を表示部2に表示させる。ステップSF8では、使用者による位置の指定をガイドするガイド表示を、側視画像に重なるように、表示部2に表示させる。ステップSF9は使用者が行うステップであり、対物レンズ25を移動させる。
ステップSF10では、制御部60が、リニアスケールの出力に基づいて対物レンズ25のZ方向の位置情報をリアルタイムで取得する。ステップSF11では、対物レンズ25のZ方向の位置情報の更新に対応するように、位置指標を更新して表示部2に表示させる。例えば対物レンズ25が図40に示す位置から図41に示す位置へ移動する際には、位置指標としても機能するガイド表示76が、図40に示す位置から図41に示す位置へ移動するようにその位置を所定のタイミングで更新していく。同様に、対物レンズ25が図42に示す位置から図43に示す位置へ移動する際には、対物レンズ25と観察対象物100との距離を示す値を所定のタイミングで更新していく。
ステップSF12では、対物レンズ25と観察対象物100との距離が所定距離以下であるか否かを判定する。所定距離とは、例えば対物レンズ25の作動距離未満とすることができ、それ以上接近してもピントが合わない距離である。つまり、ステップSF12では、対物レンズ25と観察対象物100とが近づきすぎていないかどうかを判定することができる。
ステップSF12においてNOと判定された場合には、対物レンズ25と観察対象物100とが衝突するおそれがないので、エンドに進む。一方、ステップSF12においてYESと判定された場合には、対物レンズ25と観察対象物100とが衝突するおそれがあるので、ステップSF13に進み、表示を切り替えて警告表示を行う。
(ユーセントリック観察)
対物レンズ25の焦点が合った後、その合焦状態を維持しながら、対物レンズZ軸方向駆動部80によって対物レンズ25を、載置部Z方向駆動部83によって載置台31をそれぞれ移動させてユーセントリック観察が可能な位置に観察対象物100の観察対象部分を配置する。これにより、ヘッド部22を揺動させても、観察対象物100の観察対象部分が拡大観察画像撮像部50の視野から外れなくなり、ユーセントリック観察が可能になる。
(表示形態の例)
図49A及び図49Bは、図16に示すユーザーインターフェース70に表示する表示例であり、補助ウインドウ70cを示している。補助ウインドウ70cでは、ナビ画像と側視画像とを選択的に表示することができるようになっている。ナビ画像とは、観察対象物100を上方から撮像した画像であり、かつ、対物レンズ25の視野よりも広い範囲の画像である。このナビ画像は、載置部XY方向駆動部82によって載置台31をX方向、Y方向に移動させて、都度、撮像した画像を連結処理することによって取得できる。図49Bに示す補助ウインドウ70cの側視画像は、上述した側視画像撮像部45で取得した画像である。撮像する前には、オートフォーカス機能によって焦点を自動で合わせることができる。
補助ウインドウ70cの上部にあるナビ画像タブ70dを選択することでナビ画像が表示され、側視画像タブ70eを選択することで側視画像が表示される。また、「閉じる」ボタン70fを操作することで補助ウインドウ70cを閉じることができる。尚、補助ウインドウ70cの表示は、ユーザーインターフェース70に表示ボタン(図示せず)を設けておき、このボタンの操作を検出することによって可能である。
(画像の記憶)
側視画像撮像部45で取得した側視画像と、拡大観察画像撮像部50で取得した拡大観察用画像とは、記憶部89に記憶することができるように構成されている。使用者が画像の保存操作を行うと、同一の観察対象物100を撮像して取得された側視画像と拡大観察用画像とが関連付けられて記憶部89に記憶される。記憶部89には、観察日時や観察対象物100の名称等も画像と関連付けて記憶することができる。
(拡大観察装置Aを使用した観察例)
次に、拡大観察装置Aを使用した具体的な観察例について説明する。図50は、この例で用いる観察対象物100の斜視図であり、具体的には電子部品である。この観察対象物100は、基板103と、抵抗器104と、コネクタ105と、コンデンサ106とを有している。抵抗器104及びコネクタ105は基板103の上面から突出するように設けられている。一方、コンデンサ106は、基板103に形成された凹部103a内に設けられており、側面からは見えないようになっている。
観察対象物100は、側視画像撮像部45が該観察対象物100の側方に位置するように載置台31にセットされていると仮定する。観察順は、抵抗器104、コンデンサ106の順である。
まず、図51Aに示すように、抵抗器104が対物レンズ25の視野に入るように載置台31を載置部XY方向駆動部82によって移動させると、全自動観察の欄で説明したように、対物レンズ25の焦点が抵抗器104の上面に自動的に合うので、抵抗器104の観察が可能になる。符号76は対物レンズ25の作動距離を示すガイド表示である。
順に抵抗器104を観察していくと、図51Bに示すように、側視画像において抵抗器104の後にコネクタ105が映り込むことになる。この場合、コネクタ105の上面が抵抗器104の上面よりも高いので、全自動観察では、対物レンズ25の焦点がコネクタ105の上面に合うことになり、抵抗器104の観察ができなくなる。この場合、半自動観察の欄で説明したように、焦点位置を抵抗器104の上面として指定するか、基板103の上面をフォーカス探索の下限として指定することで、対物レンズ25の焦点が抵抗器104の上面に合う。これにより、図51Cに示すように、背部にコネクタ105が存在していても抵抗器104の観察が可能になる。
載置台31を載置部XY方向駆動部82によって更に移動させ、図51Dに示すようにコンデンサ106を観察しようとすると、焦点位置として抵抗器104の上面を指定しており、また、基板103の上面をフォーカス探索の下限として指定しているので、それよりも下にあるコンデンサ106には焦点が合わない。また、凹部103aは側視画像で確認できないので、半自動による位置指定も難しい状況である。
このような場合には手動観察とする。すなわち、例えば対物レンズ25の作動距離を符号76として側視画像に重畳表示することで、合焦位置を予測しながら、対物レンズ25を手動で移動させることができる。これにより、図51Eに示すように、側方から見えない部分であっても観察を容易に行うことができる。
(実施形態の作用効果)
以上説明したように、この実施形態に係る拡大観察装置Aによれば、観察対象物100からの反射光又は透過光を、対物レンズ25を介して受光する拡大観察画像撮像部50とは別に、観察対象物100の少なくとも上面を含む画像を取得する側視画像撮像部45を設けて、対物レンズ25と観察対象物100との位置関係情報を取得した上でオートフォーカスを実行することができるので、対物レンズ25と観察対象物100との衝突を回避しながら、オートフォーカスの機能を十分に活かすことができる。
また、側視画像撮像部45で撮像された側視画像における任意の位置を使用者が指定可能にし、この位置指定に基づいて拡大観察装置Aを制御するようにしたので、使用者の意思が反映された拡大観察画像を簡単に得ることができる。
また、側視画像撮像部45で撮像された側視画像に基づいて、対物レンズ25と観察対象物100との間の距離、または対物レンズ25と載置台31との間の距離に関係する指標を算出して表示部2に表示させることができるので、観察時に使用者が自ら行う操作をサポートすることができ、効率よく作業できる。
また、側視画像撮像部45により側視画像を取得する際に背景の影響を低減して載置台31や観察対象物100を把握しやすくすることができる。
また、ユーセントリック機構を備えているので、観察対象物100を複数の異なる角度から観察することができる。さらに、拡大観察用画像とは別に載置台31を含む側視画像を取得して表示部2に表示することができる。
また、図52Aは、本発明の実施形態7に係る拡大観察装置Aを示しており、側視画像撮像部45はスタンド部20に設けられていなくてもよく、スタンド部20の反対側に設けられていてもよい。
また、図52Bは、本発明の実施形態8に係る拡大観察装置Aを示しており、側視画像撮像部45はスタンド部20の横側に設けられていてもよい。
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明に係る拡大観察装置は、例えば、微小物体等の試料や電子部品、被加工物等のワークを拡大して観察する場合に使用することができる。
1 観察部
2 表示部
3 コントローラ部(受付部)
4 マウス(受付部)
6 キーボード(受付部)
10 ベース部
25 対物レンズ
26 レボルバ
30 載置部
31 載置台
40 揺動軸
45 側視画像撮像部
45b ケーブル
50 拡大観察画像撮像部(第1の撮像手段)
51 同軸落射照明
60 制御部
61 画像処理部
62 エッジ抽出部
63 オートフォーカス部
64 表示制御部
65 背景影響低減部
65a 背景判定部
66 位置指標算出部
67 合成処理部
68 水平化部
80 対物レンズZ軸方向駆動部
83 載置部Z方向駆動部
87 リング照明
89 記憶部
100 観察対象物
A 拡大観察装置
U 軸(揺動軸)

Claims (9)

  1. 観察対象物に照明光を照射し、該照明光の前記観察対象物からの反射光又は透過光の受光量を検出して前記観察対象物の画像を生成し、拡大観察可能に表示する拡大観察装置において、
    ベース部と、
    前記ベース部に支持され、前記観察対象物を載置するための載置部と、
    前記照明光の前記観察対象物からの反射光又は透過光が入射する対物レンズと、
    前記反射光又は透過光を、前記対物レンズを介して受光して第1の画像を取得する第1の撮像手段と、
    前記ベース部に支持され、前記ベース部に近い側にある第1のスタンド部と、前記ベース部から遠い側にありかつ前記対物レンズ及び前記第1の撮像手段を支持する第2のスタンド部と、前記第2のスタンド部を前記第1のスタンド部に対して揺動軸回りに揺動させ、前記揺動軸回りの揺動動作によっても前記ベース部に対し揺動せず、水平方向との角度が変わらない中空軸を有し、前記載置部から離間した位置に設けられるシャフト部と、を有する支持部材と、
    前記ベース部から見て、前記シャフト部のうち、前記揺動軸回りの揺動動作によっても水平方向との角度が変わらない前記中空軸に設けられ、前記第1の撮像手段の光軸が視野内に含まれるように前記載置部または前記観察対象物の方を向き、かつ、前記第1の撮像手段の光軸と異なる光軸を有し、前記載置部を含む第2の画像を、前記支持部材の揺動動作によっても水平方向の角度が変わらない状態で取得するように設けられた第2の撮像手段と、
    前記第1の撮像手段で取得された前記第1の画像と、前記第2の撮像手段で取得された前記第2の画像とを表示可能な表示部とを備えている拡大観察装置。
  2. 請求項に記載の拡大観察装置において、
    前記揺動軸と、前記第2の撮像手段の光軸とは一致または交差している拡大観察装置。
  3. 請求項1または2に記載の拡大観察装置において、
    前記ベース部から離れて配置可能な制御部を備え、
    前記第2の撮像手段から延び、該第2の撮像手段による撮像データを送信するケーブルが前記シャフト部の内部を通り、前記制御部に接続されている拡大観察装置。
  4. 請求項1からのいずれか1つに記載の拡大観察装置において、
    前記第2の撮像手段は、前記対物レンズを含む第2の画像を取得し、
    前記支持部材を揺動動作させた状態で前記第1の撮像手段により取得された前記第1の画像と、前記第2の撮像手段で取得された前記第2の画像とを前記表示部に同時に表示させる表示制御部を備えている拡大観察装置。
  5. 請求項に記載の拡大観察装置において、
    前記表示制御部は、前記第1の画像を前記第2の画像よりも大きく表示させる拡大観察装置。
  6. 請求項1からのいずれか1つに記載の拡大観察装置において、
    前記対物レンズを前記載置部に接近する方向と離れる方向とに移動させる対物レンズ駆動部を備え、
    前記対物レンズ駆動部は、前記第2の撮像手段を前記対物レンズと同方向に移動させる拡大観察装置。
  7. 請求項1からのいずれか1つに記載の拡大観察装置において、
    前記対物レンズを前記載置部に接近する方向と離れる方向とに移動させる対物レンズ駆動部を備え、
    前記第2の撮像手段は、前記対物レンズ駆動部による前記対物レンズの駆動時に移動しない部材に取り付けられている拡大観察装置。
  8. 請求項1からのいずれか1つに記載の拡大観察装置において、
    前記載置部は、前記観察対象物を前記対物レンズに接近する方向と離れる方向とに移動させる電動載置台で構成されている拡大観察装置。
  9. 請求項1からのいずれか1つに記載の拡大観察装置において、
    前記第2の撮像手段は、使用者側とは反対側から前記載置部を撮像するように設けられ、
    前記第2の撮像手段で取得された画像を左右反転させて前記表示部に表示させる画像処理部を備えている拡大観察装置。
JP2018161343A 2018-08-30 2018-08-30 拡大観察装置 Active JP7092619B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018161343A JP7092619B2 (ja) 2018-08-30 2018-08-30 拡大観察装置
US16/525,639 US10890749B2 (en) 2018-08-30 2019-07-30 Magnifying observation apparatus
DE102019213039.9A DE102019213039A1 (de) 2018-08-30 2019-08-29 Vergrößernde Beobachtungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161343A JP7092619B2 (ja) 2018-08-30 2018-08-30 拡大観察装置

Publications (2)

Publication Number Publication Date
JP2020034736A JP2020034736A (ja) 2020-03-05
JP7092619B2 true JP7092619B2 (ja) 2022-06-28

Family

ID=69527468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161343A Active JP7092619B2 (ja) 2018-08-30 2018-08-30 拡大観察装置

Country Status (3)

Country Link
US (1) US10890749B2 (ja)
JP (1) JP7092619B2 (ja)
DE (1) DE102019213039A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021177000A1 (ja) 2020-03-02 2021-09-10 国立大学法人東京大学 含フッ素オレフィンの製造方法
US11355307B1 (en) * 2020-12-08 2022-06-07 Fei Company 3D mapping of samples in charged particle microscopy
JP2022127536A (ja) 2021-02-19 2022-08-31 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
CN117969045A (zh) * 2024-03-29 2024-05-03 杭州海康威视数字技术股份有限公司 物镜检测装置及其检测方法、显微镜

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534334A (ja) 2001-06-30 2004-11-11 ヒューレット・パッカード・カンパニー 電子画像の傾きを修正する方法及び画像処理システム、画像取り込みシステム、並びに、カメラ
JP2006337470A (ja) 2005-05-31 2006-12-14 Keyence Corp 支持装置およびそれを備えた顕微鏡
JP2010266549A (ja) 2009-05-12 2010-11-25 Olympus Corp 顕微鏡
JP2012018816A (ja) 2010-07-08 2012-01-26 Keyence Corp 拡大観察装置及び拡大観察方法、拡大観察用プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014211626A (ja) 2013-04-19 2014-11-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh デジタル顕微鏡およびデジタル顕微鏡の作業工程を最適化する方法
JP2018066967A (ja) 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置および拡大観察装置の制御方法
JP2018205661A (ja) 2017-06-09 2018-12-27 オリンパス株式会社 顕微鏡装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1191380A3 (en) * 2000-09-20 2003-08-06 Olympus Optical Co., Ltd. Inverted microscope
US20090212213A1 (en) * 2005-03-03 2009-08-27 Ebara Corporation Projection electron beam apparatus and defect inspection system using the apparatus
US8319145B2 (en) * 2006-07-10 2012-11-27 Lazare Kaplan International, Inc. System and method for gemstone micro-inscription
US20160167164A9 (en) * 2006-07-10 2016-06-16 Lazare Kaplan International, Inc. System and method for gemstone microinscription
US8289621B2 (en) * 2008-10-07 2012-10-16 Gemological Institute Of America, Inc. Reflected dark field method and apparatus
JP5517790B2 (ja) 2010-07-02 2014-06-11 株式会社キーエンス 拡大観察装置
JP5690086B2 (ja) 2010-07-02 2015-03-25 株式会社キーエンス 拡大観察装置
JP5564346B2 (ja) 2010-07-08 2014-07-30 株式会社キーエンス 拡大観察装置
WO2012132230A1 (ja) * 2011-03-31 2012-10-04 株式会社日立ハイテクノロジーズ 電子顕微鏡
JP5841398B2 (ja) * 2011-10-07 2016-01-13 株式会社キーエンス 拡大観察装置
WO2014189969A1 (en) * 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
JP6456635B2 (ja) * 2014-09-16 2019-01-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
JP6667927B2 (ja) * 2016-03-04 2020-03-18 国立研究開発法人理化学研究所 光検出装置、及び、生体情報取得装置
CN118218035A (zh) * 2016-04-22 2024-06-21 贝克顿迪金森公司 用于阵列产生的高密度沉积
JP6667393B2 (ja) 2016-07-22 2020-03-18 株式会社キーエンス 拡大観察装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004534334A (ja) 2001-06-30 2004-11-11 ヒューレット・パッカード・カンパニー 電子画像の傾きを修正する方法及び画像処理システム、画像取り込みシステム、並びに、カメラ
JP2006337470A (ja) 2005-05-31 2006-12-14 Keyence Corp 支持装置およびそれを備えた顕微鏡
JP2010266549A (ja) 2009-05-12 2010-11-25 Olympus Corp 顕微鏡
JP2012018816A (ja) 2010-07-08 2012-01-26 Keyence Corp 拡大観察装置及び拡大観察方法、拡大観察用プログラム並びにコンピュータで読み取り可能な記録媒体
JP2014211626A (ja) 2013-04-19 2014-11-13 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh デジタル顕微鏡およびデジタル顕微鏡の作業工程を最適化する方法
JP2018066967A (ja) 2016-10-21 2018-04-26 株式会社キーエンス 拡大観察装置および拡大観察装置の制御方法
JP2018205661A (ja) 2017-06-09 2018-12-27 オリンパス株式会社 顕微鏡装置

Also Published As

Publication number Publication date
US10890749B2 (en) 2021-01-12
US20200073109A1 (en) 2020-03-05
JP2020034736A (ja) 2020-03-05
DE102019213039A1 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7092619B2 (ja) 拡大観察装置
CN110398830B (zh) 显微***以及用于操作显微***的方法
US9678326B2 (en) Generating perspective views in microscopy
JP2015525894A (ja) 様々な配向角度からのサンプルの画像スタックの取得を準備および実施する方法
US20020060842A1 (en) Microscope device and microscope system
JP7092618B2 (ja) 拡大観察装置
JP7268991B2 (ja) 拡大観察装置
WO2006123641A1 (ja) 走査型観察装置
JP7065731B2 (ja) 拡大観察装置
JP7123700B2 (ja) 拡大観察装置
JP7137406B2 (ja) 拡大観察装置
US10816783B2 (en) Magnifying observation apparatus
JP2018112573A (ja) 顕微鏡システム
JP2023167380A (ja) 画像測定装置
JP7251957B2 (ja) 拡大観察装置
JP6971770B2 (ja) 拡大観察装置
JP2022127537A (ja) 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP7032098B2 (ja) 拡大観察装置
JP2020086295A (ja) 拡大観察装置
US10539775B2 (en) Magnifying observation apparatus
JP6928533B2 (ja) 拡大観察装置
WO2021166219A1 (ja) 光学顕微鏡システム
JP2020086294A (ja) 拡大観察装置
JP7002178B2 (ja) 拡大観察装置
JP2009162963A (ja) 共焦点顕微鏡及び走査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220616

R150 Certificate of patent or registration of utility model

Ref document number: 7092619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150