JP2012108184A - 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法 - Google Patents

焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法 Download PDF

Info

Publication number
JP2012108184A
JP2012108184A JP2010254770A JP2010254770A JP2012108184A JP 2012108184 A JP2012108184 A JP 2012108184A JP 2010254770 A JP2010254770 A JP 2010254770A JP 2010254770 A JP2010254770 A JP 2010254770A JP 2012108184 A JP2012108184 A JP 2012108184A
Authority
JP
Japan
Prior art keywords
stage
position information
light source
focal position
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010254770A
Other languages
English (en)
Other versions
JP5673002B2 (ja
Inventor
Koichiro Kishima
公一朗 木島
Tatsu Narisawa
龍 成澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010254770A priority Critical patent/JP5673002B2/ja
Publication of JP2012108184A publication Critical patent/JP2012108184A/ja
Application granted granted Critical
Publication of JP5673002B2 publication Critical patent/JP5673002B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】正確な焦点位置情報の検出が可能な焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法を提供すること
【解決手段】本発明の焦点位置情報検出装置1は、撮像素子2と、ステージ4と、光源6と、光源制御部8と、焦点位置情報取得部10とを具備する。撮像素子2は複数の画素ラインを有し、ローリングシャッタモードで動作する。ステージ4は、撮像素子2と顕微鏡光学系3を介して対向し、顕微鏡光学系3の光軸方向に移動可能である。光源6はステージ4を照明する。光源制御部8は、光源6を画素ラインの受光時間より長い間隔を空けて断続的に発光させる。焦点位置情報取得部10は、ステージ4を移動させながら撮像素子2によって撮像された画像に基づいて、顕微鏡光学系3の焦点位置情報を取得する。
【選択図】図1

Description

本発明は、撮像した顕微鏡画像から顕微鏡光学系の焦点位置情報を検出するための焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法に関する。
光学顕微鏡において、サンプルが載置されるステージの光学系に対する位置を調整することにより、当該光学系の焦点位置をサンプルに一致させることができる。このステージの位置調整が自動で行われれば、サンプルを交換する度に、あるいは光学系の倍率を変更する度にユーザが焦点を合わせる必要がなく利便性が高い。このためには光学系の焦点位置情報を自動的に取得する必要がある。
ここで、光学顕微鏡の撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサが利用されている。CMOSイメージセンサには、各光電変換素子の出力が光電変換素子のライン毎に読み出されるローリングシャッタと呼ばれるモードがあり、各光電変換素子の受光タイミングは画素ライン毎に異なっている。即ち、出力される画像は画素位置によって異なるタイミングで撮像されたものである。
このローリングシャッタの特性を利用して、焦点深度を取得する発明が特許文献1に記載されている。特許文献1に記載の「自動焦点調節装置」は、フォーカスレンズを駆動しながらローリングシャッタ方式の撮像素子によって焦点検出用の画像を撮像し、当該画像中の焦点が合っている領域(以下、合焦領域)を判定する。当該領域を撮像した光電変換素子のラインの受光タイミングから、焦点が合うまでのフォーカスレンズの駆動時間を算出し、焦点深度を取得するものである。
特開2009−069197号公報(段落[0019]、図1)
しかしながら、特許文献1に記載の発明のように、ローリングシャッタの特性を利用して焦点深度を取得する場合、焦点検出用画像に含まれる合焦領域の位置から、その領域を撮像した光電変換素子のラインを特定し、その受光タイミングに一致する焦点調整機構の動作時間から焦点深度を検出する。このため、特に焦点深度が浅い顕微鏡では、正確な焦点深度の検出が困難である。
以上のような事情に鑑み、本発明の目的は、正確な焦点位置情報の検出が可能な焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法を提供することにある。
上記目的を達成するため、本発明の一形態に係る焦点位置情報検出装置は、撮像素子と、ステージと、光源と、光源制御部と、焦点位置情報取得部とを具備する。
上記撮像素子は、複数の画素ラインを有し、ローリングシャッタモードで動作する。
上記ステージは、上記撮像素子と顕微鏡光学系を介して対向し、上記顕微鏡光学系の光軸方向に移動可能である。
上記光源は、上記ステージを照明する。
上記光源制御部は、上記光源を上記画素ラインの受光時間より長い間隔を空けて断続的に発光させる。
上記焦点位置情報取得部は、上記ステージを移動させながら上記撮像素子によって撮像された画像に基づいて、上記顕微鏡光学系の焦点位置情報を取得する。
ローリングシャッタモードは、画素の光電変換信号の出力方式であり、行列状に配列する画素の行である画素ライン毎に光電変換信号を出力するものであり、各画素ラインの光電変換を実行するタイミングは画素ライン毎に順次遅延する。したがって、ローリングシャッタモードの撮像素子により撮像される画像は、一枚の画像の中に、撮像(光電変換)のタイミングが異なる領域が存在する。本発明の焦点位置情報検出装置は、このようなローリングシャッタモードの撮像素子を用いて観察対象物が載置されたステージを移動させながら画像を撮像する。これにより、ステージ位置が顕微鏡光学系の焦点位置に一致したタイミングで撮像された焦点が合っている領域(以下、合焦領域)と、ステージ位置が上記焦点位置に一致していないタイミングで撮像された焦点が合っていない領域(以下、非合焦領域)を含む画像を得ることができる。また、撮像と同時に、光源制御部が光源を画素ラインの受光時間より長い間隔を空けて断続的に発光させることにより、上記画像中に、光源による照明光が到達しない画素ラインの出力に相等する輝度の小さい(黒色の)線像が複数形成される。焦点位置情報取得部は、この線像と上記合焦領域の画像における位置関係から、合焦領域がいずれのタイミング、即ち、ステージの移動量で撮像されたものかを判断し、顕微鏡光学系の焦点位置情報を検出することが可能となる。
上記焦点位置情報検出装置は、上記ステージの上記光軸方向の座標を取得するステージ座標取得部をさらに具備し、上記光源制御部は、上記ステージ座標取得部によって取得される上記ステージの座標に基づいて、上記光源を発光させてもよい。
光源の発光タイミングをステージの座標に連動させることにより、上記画像における線像を、ステージの移動速度に関係なく直接ステージの座標に対応させることができる。したがって、ステージの移動速度が等速でない場合であっても、線像と上記合焦領域の画像における位置関係から顕微鏡光学系の焦点位置情報を導くことが可能となる。
上記光源制御部は、上記ステージが所定の座標にあるときに、上記光源の発光間隔を変更してもよい。
光源の発光間隔を変更することにより、照明光が到達しない画素ラインの数を変え、上記線像の太さを変えることが可能である。本発明では、光源制御部が予め定められたステージ座標に応じて発光間隔を変更することにより、太さが変更された線像をそのステージ座標を示すマーカとして利用し、合焦領域の示すステージ座標の特定に利用することが可能となる。
上記目的を達成するため、本発明の一形態に係る顕微鏡装置は、撮像素子と、ステージと、光源と、光源制御部と、焦点位置情報取得部と、焦点調整部とを具備する。
上記撮像素子は、複数の画素ラインを有し、ローリングシャッタモードで動作する。
上記ステージは、上記撮像素子と顕微鏡光学系を介して対向し、上記顕微鏡光学系の光軸方向に移動可能である。
上記光源は、上記ステージを照明する。
上記光源制御部は、上記光源を上記画素ラインの受光時間より長い間隔を空けて断続的に発光させる。
上記焦点位置情報取得部は、上記ステージを移動させながら上記撮像素子によって撮像された画像に基づいて、上記顕微鏡光学系の焦点位置情報を取得する。
上記焦点調整部は、上記焦点位置情報取得部によって取得された焦点位置情報に基づき上記ステージの位置を調整する。
本発明の顕微鏡装置は、焦点調整部が取得された焦点位置情報に応じてステージの位置を自動的に調整する。即ち、この顕微鏡装置はユーザによる焦点調節を要することなく撮像可能な状態とすることが可能である。
上記目的を達成するため、本発明の一形態に係る焦点位置情報検出方法は、撮像対象物をステージに載置する。
上記撮像対象物は、上記ステージを顕微鏡光学系の光軸方向に移動させながら、かつ、上記ステージを照明する光源を撮像素子が有する画素ラインの受光時間より長い間隔を空けて断続的に発光させながら、上記撮像素子により撮像される。
上記顕微鏡光学系の焦点位置情報は、上記撮像素子によって撮像された画像に基づいて取得される。
以上のように本発明によれば、正確な焦点位置情報の検出が可能な焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法を提供することが可能である。
本発明の第1の実施形態に係る顕微鏡システムを示す模式図である。 本発明の第1の実施形態に係る顕微鏡システムの撮像素子の概略的な構成を示す模式図である。 本発明の第1の実施形態に係る撮像素子の画素ライン毎の受光タイミングを示す概念図である。 観察対象物の画像の例を示す図である。 比較として示す光源の発光タイミングを示す概念図である。 本発明の第1の実施形態に係る光源の発光タイミングを示す概念図である。 本発明の第1の実施形態に係る撮像素子によって撮像される焦点位置情報検出用画像を示す模式図である。 本発明の第2の実施形態に係る光源の発光タイミングを示す概念図である。 本発明の第2の実施形態に係るステージのZ軸座標と時刻の関係を示す図である。 本発明の第2の実施形態に係る電流供給回路の各時刻における出力電流を示す図である。 本発明の第2の実施形態に係る撮像素子によって撮像される焦点位置情報検出用画像を示す模式図である
(第1の実施形態)
本発明の第1の実施形態について説明する。
[顕微鏡システムの構成]
図1は、本発明の第1の実施形態に係る顕微鏡システム1を示す模式図である。
同図に示すように、顕微鏡システム1は、撮像素子2、顕微鏡光学系3、ステージ4、ステージ駆動部5、光源6、照明光学系7、電流供給回路8、制御部9及び画像処理部10を有する。ステージ4には観察対象物Sが載置されている。
光源6は、電流供給回路8から供給される電流を受けて照明光を放射する。光源6は、LED(Light Emitting Diode)等の電流応答が高速な発光素子を用いることができる。これは、光源6が後述するステージ4の移動に合わせて断続的に明滅する必要があるためである。
照明光学系7は、光源6から放射された照明光をステージ4上の観察対象物Sに到達ささるための光学系である。照明光学系7は、光源6の放射光を平行光とする第1レンズ71と、第1レンズ71を透過した光を反射する反射鏡72と、反射鏡72によって反射された光を観察対象部Sに集束させる第2レンズ73とを有する。なお、照明光学系7の構成はこの構成に限られず、適宜変更可能である。
顕微鏡光学系3は、照明光学系7を介して観察対象物Sを透過した光を所定の倍率に拡大して撮像素子2に到達させる。本実施形態では、顕微鏡光学系3は対物レンズ31と接眼レンズ32とを有する。なお、顕微鏡光学系3の構成はこの構成に限られず、適宜変更可能である。
撮像素子2は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のローリングシャッタモードで動作する撮像素子であり、顕微鏡光学系3を介して到達した観察対象物Sの透過光を撮像する。ローリングシャッタモードの詳細については後述する。撮像素子2は、照明光学系7を介してステージ4と対向するように配置される。撮像素子2はカラーイメジャであってもよく、モノクロイメージャであってもよい。撮像素子2は生成した画像(画像データ)を画像処理部10に出力する。
ステージ4は、撮像素子2に対向し、ステージ駆動部5によって、顕微鏡光学系3の光軸方向(以下、Z軸方向とする)に移動可能に構成されている。
ステージ駆動部5は、制御部9による制御を受けてステージ4をZ軸方向に駆動する。また、ステージ駆動部5はエンコーダを内蔵し、ステージ4のZ軸方向の座標(以下、Z軸座標とする)を取得して制御部9に出力する。
電流供給回路8は、制御部9による制御を受けて、光源6に駆動電流を供給する。詳細は後述するが、電流供給回路8は光源6にパルス状の駆動電流を供給することが可能なものである。
制御部9は、上述のようにステージ駆動部5及び電流供給回路8を制御する。具体的には、制御部9は、ステージ駆動部5を制御すると同時に、ステージ駆動部5から出力されるステージ4のZ軸座標と光源6の発光タイミングを連動させるように電流供給回路8を制御する。また、制御部9は画像処理部10とも接続されている。
画像処理部10は、撮像素子2から出力される画像に基づいて焦点位置情報、具体的には観察対象物Sが焦点位置に一致するステージ4の位置情報を取得し、制御部9に出力する。画像処理部10が焦点位置情報を取得する方法については後述する。
顕微鏡システム1は以上のように構成される。ここに示す構成は一例であり、顕微鏡は蛍光顕微鏡や実体顕微鏡等の種々の形態の顕微鏡とすることができる。
[顕微鏡システムの焦点位置情報検出動作]
顕微鏡システム1の焦点位置情報検出動作の概略について説明する。
制御部9に焦点位置情報取得の指示が入力されると、制御部9はステージ4をZ軸方向に移動させるようにステージ駆動部5を制御する。ステージ4の移動方向は、顕微鏡光学系3に対して接近する方向でも離間する方向でもよく、その移動方向は例えばステージ4の初期の位置によって決定される。
制御部9は、ステージ駆動部5を駆動すると同時に、ステージ駆動部5から供給されるステージ4のZ軸座標に基づいて電流供給回路8を制御する。電流供給回路8によって供給されるパルス状の駆動電流により、光源6は断続的に明滅する。
ステージ4が移動しつつ光源6が明滅している状態で、撮像素子2は観察対象物Sを撮像し、焦点位置情報検出用の画像(以下、焦点位置情報検出用画像とする)を取得する。撮像素子2は取得した焦点位置情報検出用画像を画像処理部10に出力する。画像処理部10はその焦点位置情報検出用画像から後述する手法によって焦点位置情報を検出し、制御部9に出力する。制御部9はその焦点位置情報に基づいてステージ駆動部5を制御し、観察対象物Sの位置が顕微鏡光学系3の焦点位置に一致するようにステージ4を移動させる。この状態で撮像素子2が観察対象物Sの画像を撮像することにより、焦点が合っている観察対象物Sの画像(以下、観察用画像とする)を撮像することが可能である。顕微鏡システム1ではこのようにして自動的に焦点が調整される。次に、焦点位置情報検出の詳細について説明する。
[ローリングシャッタについて]
撮像素子2のローリングシャッタモードについて説明する。
図2は撮像素子2として、ローリングシャッタモードのCMOSイメージセンサの概略的な構成を示す模式図である。
同図に示すように、CMOSイメージセンサは、行列状に配列された複数の画素21を有する。ここでは、3行3列の画素21が示されている。各画素21は、列毎に垂直信号線25に接続され、垂直信号線25は一本の水平信号線28に接続されている。
それぞれの画素21は、フォトダイオード22、増幅器23及び画素選択スイッチ24によって構成されている。フォトダイオード22は、入射した光を電荷に変換(光電変換)し、増幅器23に出力する。なお、フォトダイオード22には、入射光を分光するカラーフィルタ等が設けられている。増幅器23は、フォトダイオード22から出力された電荷を電圧に変換し増幅する。図示しない制御回路によって切り替えられる画素選択スイッチ24によって、増幅器23から出力された電圧が垂直信号線25に出力される。このとき、各画素21の画素選択スイッチ24は、各列においてひとつのみがONとされる。各列において複数の画素選択スイッチ24が同時にONとされると、垂直信号線25において各画素21からの出力信号を分離できないためである。同時にONとされる画素21は、各垂直信号線25において同一の行に属するものとし、この同時にONとされる画素21の行のひとつを画素ラインLとして図2に示す。
各垂直信号線25には列回路26が設けられており、列回路26は画素21間にばらつきのあるノイズを除去し、垂直信号線25の電圧信号を一時的に保管する。列回路26は列選択スイッチ27を介して水平信号線28に接続されている。図示しない制御回路によって切り替えられる列選択スイッチ27によって、各垂直信号線25の電圧信号が水平信号線28に出力される。このとき、列選択スイッチ27によって、垂直信号線25の1本のみがONとされる。複数の列選択スイッチ27が同時にONとされると、水平信号線28において各垂直信号線25の出力信号を分離できないためである。水平信号線28に出力された電圧信号は、端子29から図示しない信号処理回路に出力される。即ち、ある瞬間に端子29から出力されるのは、列選択スイッチ27がONとされている1本の垂直信号線25のうち、画素選択スイッチ24がONとされているひとつの画素21の出力である。
画素選択スイッチ24の動作によって規定される各画素21の受光開始及び受光終了のタイミング(以下、「受光タイミング」とする)は、同一の画素ラインの各画素21が同一のタイミングとなる。図3は、画素ライン毎の受光タイミングを示す概念図である。
図3には、複数の画素ライン(画素ラインL1、L2、L3、L4及びL5)の「受光時間」Jと「読出時間」Yが示されている。受光時間はその画素ラインの各画素選択スイッチ24がOFFとされており、フォトダイオード22が電荷を蓄積している時間、即ち受光している時間である。読出時間Yはその画素ラインの各画素選択スイッチ24がONとされており、フォトダイオード22に蓄積された電荷が各垂直信号線25に電圧として出力されている時間である。即ち、読出時間は電荷が蓄積されず、受光がされていない時間である。読出時間Yによって挟まれた画素ラインL1〜L5の各受光時間Yが一枚の画像を撮像する際の各画素ラインL1〜L5の受光時間である。同図に示すように、各画素ラインL1〜L5の読出時間Yは同時刻に重複しないようにずらされている。これは上述のように、1本の垂直信号線25において各画素21からの出力信号を分離するためである。これにより、各画素ラインL1〜L5の受光タイミングは同一ではなく、画素ライン毎に異なっている。
このように、ローリングシャッタモードでは、画素の受光タイミングが画素ライン毎に異なる。即ち、ローリングシャッタモードの撮像素子によって撮像された画像は、画像の上端と下端では撮像(光電変換)されている時刻がずれている。(ただし、このずれは一般的には数百msオーダーであり人間にとっては同時)。これに対しCCD(Charge Coupled Device)イメージセンサ等のグローバルシャッタモードで動作する撮像素子は、各画素の受光タイミングは完全に同一であり、得られる画像における時間的なずれなない。以下で説明するように、本実施形態では、このローリングシャッタモードの構造による受光タイミングのずれを焦点位置情報の検出に利用する。
[撮影時のステージ駆動による影響]
上述のように、本実施形態では、ステージ4を移動させながら撮像素子2によって観察対象物Sを撮像する。このステージ4の移動による影響について説明する。図4は、撮像素子2によって撮像される観察対象物Sの画像の例を示す図である。図4(a)はステージ4を移動させずに観察対象物Sを撮像した画像、図4(b)はステージ4を移動させながら図4(a)と同一の観察対象物Sを撮像した画像の例を示す模式図である。なお、図4(a)に示す画像は、撮像前に顕微鏡光学系3の焦点位置に観察対象物Sの位置が一致するようにステージ4の位置が調整されているものとする。なお、これらの観察対象物Sの画像は説明のためのものであり、実際とは異なる。
図4(a)の画像は、画像の全領域において像の焦点が合っているこ。これに対し、図4(b)の画像は、像の焦点が合っている領域(以下、合焦領域)A1と、像の焦点が合っていない領域(以下、非合焦領域)A2が存在することを示す。これは、上述のようにステージ4をZ方向に移動させているため、所定の時刻で顕微鏡光学系3の焦点位置とステージ4上に載置された観察対象物Sの位置とが一致するためである。上述のように、ローリングシャッタモードでは一枚の画像中に撮像タイミング(受光タイミング)が異なる領域が含まれる。このため、顕微鏡光学系3の焦点位置と観察対象物Sの位置とが一致した時刻に受光していた画素ラインに対応する(画像中の)位置に合焦領域A1が生成される。
このように、ローリングシャッタモードの撮像素子2を用いてステージ4を移動させながら観察対象物Sを撮像することにより、合焦領域A1と非合焦領域A2が含まれる1枚の画像を得ることができる。この合焦領域A1の画像における位置と、ステージ4の位置との相関が判れば、撮像した画像から焦点位置情報を得ることが可能となる。
[光源の発光タイミングの調整]
上述のように、本実施形態では、ステージ4を移動させながら撮像素子2によって観察対象物Sを撮像する際、ステージ4のZ軸座標に基づいて光源6を断続的に明滅させる。以下、この光源6の明滅のタイミング(以下、発光タイミング)について説明する。
図5は比較として示す光源の発光タイミングを示し、図6は本実施形態における光源6の発光タイミングを示す。なお、図5及び図6において示す画素ライン(L1、L2、L3…)は図3に示したものと同義である。
図5に示す光源の発光タイミングは、ローリングシャッタモードの撮像素子により撮像する際の一般的な光源の発光タイミングである。図5には、光源の発光タイミングを発光時間Rとして示す。ここに示すように一般的には、発光時間Rが画素ラインの全てが受光時間に含まれるように光源が制御される。そうしなければ、受光開始から受光終了までの間に光源からの光が到達しない画素ラインが生じてしまうからである。なお、図4(a)及び図4(b)に示した画像もこのような発光タイミングで光源が発光され、撮像されたものである。
図6は、本実施形態に係る光源6の発光タイミングである。図6には、光源6の発光タイミングを発光時間Rとして示す。同図に示すように、電流供給回路8は、各画素ライン(L1、L2、L3…)の受光時間Jより長い間隔(図6に非発光時間Kとして示す)で光源6を断続的に明滅させる。これにより、例えば画素ラインL3や画素ラインL7に含まれる各画素21は、その受光開始から受光終了までの間に光源6からの照明光を受光しない。
ここで、制御部9は、ステージ駆動部5を制御すると同時に、ステージ駆動部5から出力されるステージ4のZ軸座標と光源6の発光タイミングを連動させるように電流供給回路8を制御する。具体的には、制御部9は、ステージ駆動部5のエンコーダから供給されるステージ4の座標を元に、ステージ4を所定のZ軸座標に移動させてから、ステージ4の移動の開始と同時に所定の時間間隔で光源6を発光させるものとすることができる。制御部9はステージ4を一定速度で移動させるようにステージ駆動部5を制御する。これにより、ステージ4の移動開始からの経過時間でステージ4のZ軸座標を規定することが可能となる。
[焦点位置情報の検出]
上述のように、光源6の発光タイミングを制御しつつステージ4を移動させながら、観察対象物Sを撮像素子2によって撮像することによって取得される焦点位置情報検出用画像について説明する。
図7は、焦点位置情報検出用画像を示す模式図である。同図に示すように、焦点位置情報検出用画像には、水平方向に伸びる複数の「非受光線」Pが表れている。非受光線は、上述のように光源6が明滅することによって、上記画素ラインL3や画素ラインL7のように受光時間において照明光が入射しない画素ラインに対応する。
ここで、各非受光線Pは光源6の各非発光時間Kにそれぞれ対応し、各非発光時間Kはそれぞれステージ4のZ軸座標に対応していることから、上記合焦領域A1が何番目の非受光線Pに隣接しているかによって、焦点位置情報を検出することが可能である。具体的には、撮像素子2から焦点位置情報検出用画像を供給された画像処理部10は、まず合焦領域A1を検出する。これは、同画像の水平方向の周波数特性の解析等の手法によってすることができる。次に、画像処理部10は、その合焦領域A1に隣接する非受光線Pが何番目かを特定する。非受光線Pは、その輝度値から検出することが可能である。続いて、画像処理部10は、合焦領域A1が隣接する非受光線Pに対応する光源6の非発光時間Kから、対応するステージ4の位置座標、即ち焦点位置情報を検出する。
以上のようにして、画像処理部10は、焦点位置情報を検出することが可能である。画像処理部10は、検出した焦点位置情報の情報を制御部9に出力する。制御部9はその情報に基づいてステージ駆動部5を制御し、ステージ4を焦点位置に合わせる。この状態で、撮像素子2が観察対象物Sを撮像し、焦点のあった観察対象物Sの観察用画像を撮像することが可能となる。なお、観察用画像の撮像は通常の撮像であり、光源6は図5に示したような通常の発光タイミングで発光し、ステージ4の位置も撮像の間は移動されない。本実施形態に係る顕微鏡システム1は、このように、焦点位置情報検出用画像を撮像して焦点位置情報を検出し、ステージ4の位置を調整し、観察用画像を撮像するというプロセスを自動で実行することが可能であり、ユーザに高い利便性を提供するものである。
(第2の実施形態)
本発明の第2の実施形態について説明する。
なお、第2の実施形態において、第1の実施形態と同様の構成、動作については記載を省略する。第2の実施形態では、第1の実施形態と光源6の発光タイミングの制御方法が異なる。以下、この点を中心に説明する。
[光源の明滅タイミングの調整]
上述のように、本実施形態では、ステージ4を移動させながら撮像素子2によって観察対象物Sを撮像する際、ステージ4のZ軸座標に基づいて光源6を断続的に明滅させる。以下、この光源6の発光タイミングについて説明する。図8は本実施形態における光源6の発光タイミングを示す。なお、図8において示す画素ライン(L1、L2、L3…)は図3に示したものと同義である。
図8に示すように、本実施形態では、制御部9が電流供給回路8を制御して、光源6を第1発光時間R1と、第2発光時間R2の2種類の発光時間で発光させる。第2発光時間R2は第1発光時間R1よりも発光開始時刻が遅く、発光時間は短い時間とする。これにより、第1発光時間R1から第2発光時間R2の間の非発光時間(以下、非発光時間K2とする)は、第2発光時間R2から第1発光時間R1の間、及び第1発光時間R1相互間の非発光時間(以下、非発光時間K1とする)より長い時間となる。制御部9は、ステージ駆動部5に内蔵されているエンコーダから供給されるステージ4の位置情報に基づいて発光タイミングを制御する。
図9は、ステージ4のZ軸座標と時刻の関係を示す図であり、図10は、各時刻における電流供給回路8の出力電流を示す図である。図9において、ステージ4のZ軸座標のうち、特定の座標をz1、z2及びz3とし、それぞれのZ座標におけるステージ4の移動開始からの時刻をt1、t2及びt3とする。即ち、制御部9は、時刻t1、t2及びt3においてステージ4が座標z1、z2及びz3に到達したことを示す信号をエンコーダから受信する。図10に示すように、制御部9は、時刻t1、t2及びt3において、電流供給回路8の出力電流の非印加時間を他の時刻より短くする。これにより、図8に示すように光源6は、ステージ4が座標z1、z2及びz3に到達する時刻において第2発光時間R2で発光し、それ以外の時刻において第1発光時間R1で発光する。
[焦点位置情報の検出]
上述のように、光源6の発光タイミングを制御しつつステージ4を移動させながら、観察対象物Sを撮像素子2によって撮像することによって取得される焦点位置情報検出用画像について説明する。
図11は、焦点位置情報検出用画像を示す模式図である。同図に示すように、焦点位置情報検出用画像には、水平方向に伸びるそれぞれ複数の非受光線P1と非受光線P2が表れている。非受光線P1及び非受光線P2は、それぞれ非発光時間K1及び非発光時間K2に対応し、非発光時間K2の場合には、照明光が入射しない画素ラインが非発光時間K1の場合に比べて多いために非受光線P2の太さも非受光線P1より太くなる。
各非発光時間K2はそれぞれステージ4の特定のZ軸座標に対応していることから、合焦領域A1が何番目の非受光線P2に隣接しているか、又は非受光線P2から数えて何番目の非受光線P1に隣接しているかによって、焦点位置情報を検出することが可能である。具体的には、撮像素子2から焦点深度検出用画像を供給された画像処理部10は、まず合焦領域A1を検出する。これは、同画像の水平方向の周波数特性の解析等の手法によってすることができる。次に、画像処理部10は、その合焦領域A1に隣接する非受光線P1又は非受光線P2が何番目かを特定する。非受光線P1及び非受光線P2は、その輝度値から検出することが可能である。続いて、画像処理部10は、合焦領域A1が隣接する非受光線P1又は非受光線P2に対応する非発光時間K1又は非発光時間K2から、対応するステージ4の位置座標、即ち焦点深度を検出する。
以上のようにして、画像処理部10は、焦点位置情報を検出することが可能である。本実施形態では、第1の実施形態と異なり、ステージ4のZ軸座標に直接連動する非受光線P2を基準とすることが可能である。このため、例えばステージ4の移動速度が設定速度と異なっている場合であっても精確正確に焦点位置を検出することが可能である。
本発明はこの実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更することが可能である。
1…顕微鏡システム
2…撮像素子
3…顕微鏡光学系
4…ステージ
5…ステージ駆動部
6…光源
8…電流供給回路
9…制御部
10…画像処理部

Claims (5)

  1. 複数の画素ラインを有し、ローリングシャッタモードで動作する撮像素子と、
    前記撮像素子と顕微鏡光学系を介して対向し、前記顕微鏡光学系の光軸方向に移動可能なステージと、
    前記ステージを照明する光源と、
    前記光源を前記画素ラインの受光時間より長い間隔を空けて断続的に発光させる光源制御部と、
    前記ステージを移動させながら前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する焦点位置情報取得部と
    を具備する焦点位置情報検出装置。
  2. 請求項1に記載の焦点位置情報検出装置であって、
    前記ステージの前記光軸方向の座標を取得するステージ座標取得部をさらに具備し、
    前記光源制御部は、前記ステージ座標取得部によって取得される前記ステージの座標に基づいて前記光源を発光させる
    焦点位置情報検出装置。
  3. 請求項2に記載の焦点位置情報検出装置であって、
    前記光源制御部は、前記ステージが所定の座標にあるときに、前記光源の発光間隔を変更する
    焦点位置情報検出装置。
  4. 複数の画素ラインを有し、ローリングシャッタモードで動作する撮像素子と、
    前記撮像素子と顕微鏡光学系を介して対向し、前記顕微鏡光学系の光軸方向に移動可能なステージと、
    前記ステージを照明する光源と、
    前記光源を前記画素ラインの受光時間より長い間隔を空けて断続的に発光させる光源制御部と、
    前記ステージを移動させながら前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する焦点位置情報取得部と、
    前記焦点位置情報取得部によって取得された焦点位置情報に基づき前記ステージの位置を調整する焦点調整部と
    を具備する顕微鏡装置。
  5. 撮像対象物をステージに載置し、
    前記ステージを顕微鏡光学系の光軸方向に移動させながら、かつ、前記ステージを照明する光源を撮像素子が有する画素ラインの受光時間より長い間隔を空けて断続的に発光させながら、前記撮像素子により前記撮像対象物を撮像し、
    前記撮像素子によって撮像された画像に基づいて、前記顕微鏡光学系の焦点位置情報を取得する
    焦点位置情報検出方法。
JP2010254770A 2010-11-15 2010-11-15 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法 Expired - Fee Related JP5673002B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010254770A JP5673002B2 (ja) 2010-11-15 2010-11-15 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010254770A JP5673002B2 (ja) 2010-11-15 2010-11-15 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法

Publications (2)

Publication Number Publication Date
JP2012108184A true JP2012108184A (ja) 2012-06-07
JP5673002B2 JP5673002B2 (ja) 2015-02-18

Family

ID=46493898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010254770A Expired - Fee Related JP5673002B2 (ja) 2010-11-15 2010-11-15 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法

Country Status (1)

Country Link
JP (1) JP5673002B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175220A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
WO2014175219A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
JP2014240888A (ja) * 2013-06-11 2014-12-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP2014240887A (ja) * 2013-06-11 2014-12-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP2015061090A (ja) * 2013-09-17 2015-03-30 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置
WO2015064117A1 (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
KR101571719B1 (ko) 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기
US9661212B2 (en) 2013-04-26 2017-05-23 Hamamatsu Photonics K.K. Image acquisition device and focusing method for image acquisition device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326233A (ja) * 1998-05-12 1999-11-26 Mitsui Mining & Smelting Co Ltd 材料表面検査装置
JP2005316162A (ja) * 2004-04-28 2005-11-10 Olympus Corp 顕微鏡用の照明装置と、照明装置を備えた顕微鏡と、照明方法
JP2009124260A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 撮像装置
JP2009128726A (ja) * 2007-11-26 2009-06-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326233A (ja) * 1998-05-12 1999-11-26 Mitsui Mining & Smelting Co Ltd 材料表面検査装置
JP2005316162A (ja) * 2004-04-28 2005-11-10 Olympus Corp 顕微鏡用の照明装置と、照明装置を備えた顕微鏡と、照明方法
JP2009124260A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 撮像装置
JP2009128726A (ja) * 2007-11-26 2009-06-11 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP2010134195A (ja) * 2008-12-04 2010-06-17 Olympus Corp 顕微鏡システム、標本観察方法およびプログラム

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105143953A (zh) * 2013-04-26 2015-12-09 浜松光子学株式会社 图像取得装置、制作试样的焦点图的方法以及***
US10330910B2 (en) 2013-04-26 2019-06-25 Hamamatsu Photonics K.K. Image acquisition device and method and system for acquiring focusing information for specimen
JPWO2014175219A1 (ja) * 2013-04-26 2017-02-23 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
JPWO2014175220A1 (ja) * 2013-04-26 2017-02-23 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
EP2990850A4 (en) * 2013-04-26 2017-01-04 Hamamatsu Photonics K.K. Image acquisition device and method and system for acquiring focusing information for specimen
WO2014175220A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
WO2014175219A1 (ja) 2013-04-26 2014-10-30 浜松ホトニクス株式会社 画像取得装置、試料の合焦点情報を取得する方法及びシステム
CN105143954A (zh) * 2013-04-26 2015-12-09 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及***
US10598916B2 (en) 2013-04-26 2020-03-24 Hamamatsu Photonics K.K. Image acquisition device and method and system for acquiring focusing information for specimen
US9661212B2 (en) 2013-04-26 2017-05-23 Hamamatsu Photonics K.K. Image acquisition device and focusing method for image acquisition device
US10348954B2 (en) 2013-04-26 2019-07-09 Hamamatsu Photonics K.K. Image acquisition device and method and system for creating focus map for specimen
CN105143954B (zh) * 2013-04-26 2018-06-19 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及***
JP2014240887A (ja) * 2013-06-11 2014-12-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP2014240888A (ja) * 2013-06-11 2014-12-25 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP2015061090A (ja) * 2013-09-17 2015-03-30 株式会社ニコン 撮像装置の制御装置、撮像装置、撮像方法、撮像プログラム、記憶媒体、及び顕微鏡装置
WO2015064117A1 (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
CN105683806B (zh) * 2013-11-01 2019-01-01 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法
CN105683806A (zh) * 2013-11-01 2016-06-15 浜松光子学株式会社 图像取得装置以及图像取得装置的图像取得方法
US10422987B2 (en) 2013-11-01 2019-09-24 Hamamatsu Photonics K.K. Image acquisition device and image acquisition method for image acquisition device
JP2015087723A (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
US9488983B2 (en) 2014-10-02 2016-11-08 Lg Electronics Inc. Robot cleaner
KR101571719B1 (ko) 2014-10-02 2015-11-25 엘지전자 주식회사 로봇 청소기

Also Published As

Publication number Publication date
JP5673002B2 (ja) 2015-02-18

Similar Documents

Publication Publication Date Title
JP5673002B2 (ja) 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法
US20190297281A1 (en) Image acqusition device, and imaging device
US20090147077A1 (en) Light-source control system, shutter control system, endoscope processor, and endoscope system
JP6044941B2 (ja) 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置
EP2704422B1 (en) Image capture apparatus
US7667175B2 (en) Imaging device driver and auto focus unit
CN102595050B (zh) 摄像装置
US7949244B2 (en) Method for measuring subject distance
CN104135607A (zh) 摄像装置及摄像装置的控制方法
KR20150135431A (ko) 고속 촬상 방법 및 고속 촬상 장치
CN111133356B (zh) 摄像装置、摄像装置主体及摄像装置的对焦控制方法
CN111095066A (zh) 摄像装置及摄像装置的对焦控制方法
JP6381274B2 (ja) 撮像装置、その制御方法、および制御プログラム
US9008497B2 (en) Image pickup apparatus and control method therefor
US7615729B2 (en) Apparatus and method for resonant lens focusing
US10684459B2 (en) Light observation device, imaging device used for same, and light observation method
JP2008182419A (ja) 位相調整装置およびデジタルカメラ
KR101333161B1 (ko) 공초점을 이용한 영상 처리 장치 및 이를 이용한 영상 처리 방법
US20130162801A1 (en) Microscope
JP2018036660A (ja) 光観察装置、及びそれに用いる撮像装置
JP2012045053A (ja) 撮像装置および内視鏡システム
EP2471256B1 (en) Digital camera system and method
CN205620293U (zh) 基于分时控制的高速显微图像采集***
US10904424B2 (en) Image capturing apparatus
JP2009008793A (ja) 撮像装置付顕微鏡及びその露出時間を算出する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141215

LAPS Cancellation because of no payment of annual fees