JP2012003214A - 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 - Google Patents

情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 Download PDF

Info

Publication number
JP2012003214A
JP2012003214A JP2010146665A JP2010146665A JP2012003214A JP 2012003214 A JP2012003214 A JP 2012003214A JP 2010146665 A JP2010146665 A JP 2010146665A JP 2010146665 A JP2010146665 A JP 2010146665A JP 2012003214 A JP2012003214 A JP 2012003214A
Authority
JP
Japan
Prior art keywords
imaging
areas
overlapping
position coordinates
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010146665A
Other languages
English (en)
Inventor
Tatsu Narisawa
龍 成澤
Gakuho Fukushi
岳歩 福士
Koichiro Kishima
公一朗 木島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010146665A priority Critical patent/JP2012003214A/ja
Priority to US13/102,232 priority patent/US20110285838A1/en
Priority to CN2011101212526A priority patent/CN102256057A/zh
Publication of JP2012003214A publication Critical patent/JP2012003214A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】撮影される試料の劣化を抑ながら、スティッチング処理される複数の画像を生成することを可能とする情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置を提供すること。
【解決手段】光学顕微鏡のXYZステージ上に設けられた観察領域内で、Y軸方向に沿って複数の第1及び第2の撮影領域11及び12が、X軸方向で互いに重なり合うように配置される。第1及び第2の撮影領域11及び12は、隣接するもの同士が第1及び第2の重なり領域20及び40でそれぞれ重なり合うように、かつ、第1及び第2の重なり領域20及び40が重ならないように配置される。これにより、第1及び第2の重なり領域20及び40における、重複して照射される励起光の累積光量を減らすことができる。この結果、試料306の劣化を抑えながら、複数の第1及び第2の撮影領域11及び12を撮影し、その画像を生成することが可能となる。
【選択図】図10

Description

本発明は、スティッチング処理される複数の画像を生成するために撮影される複数の撮影領域の、ショットレイアウトを設定することが可能な情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置に関する。
従来から、物理的に連続する内容を有する複数の画像を接続するスティッチング技術が知られており、パノラマ撮影、顕微鏡画像の撮影等に用いられている。例えば特許文献1に記載の顕微鏡システムでは、顕微鏡の対物レンズの下に置かれた顕微鏡スライドが、複数の領域ごとに撮影される。そして撮影された領域ごとの画像であるイメージ・ブロックが、正規化された相関係数を用いることにより適切に接続される。これにより顕微鏡スライドの拡大されたイメージが作成されている(特許文献1の段落[0065]等参照)。
上記特許文献1の図3には、スティッチング技術により相互に接続される、4つのイメージ・ブロック501〜504の撮影方法が示されている。まずイメージ・ブロック501が撮影される。そして顕微鏡の対物レンズに対して、顕微鏡スライドが載置されたステージがx軸方向に沿って移動し、イメージ・ブロック501と重複する領域を有するイメージ・ブロック502が撮影される。次に、y軸方向に沿ってステージが移動し、イメージ・ブロック502と重複する領域を有するイメージ・ブロック503が撮影される。最後に、x軸方向においてイメージ・ブロック503と重複し、かつ、y軸方向においてイメージ・ブロック501と重複するイメージ・ブロック504が撮影される。イメージ・ブロック501及び502によりロー1が構成され、イメージ・ブロック503及び504によりロー2が構成されている(特許文献1の段落[0050]−[0055]等参照)。
特開2007−65669号公報
例えば蛍光顕微鏡を用いて、顕微鏡スライド上の試料に励起光を照射し、試料の蛍光現象を撮影する場合に、上記特許文献1に記載のスティッチング技術が用いられたとする。そうすると、隣接する複数のイメージ・ブロック間の重複領域では、各イメージ・ブロックが撮影されるごとに、その重複領域に該当する試料の部分に、励起光が重複して照射されることになる。そうすると、重複して励起光が照射された部分で、褪色による試料の劣化が発生する。
以上のような事情に鑑み、本発明の目的は、撮影される試料の劣化を抑えながら、スティッチング処理される複数の画像を生成することを可能とする情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置を提供することにある。
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第1の設定手段と、第2の設定手段とを具備する。
前記第1の設定手段は、互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定する。
前記第2の設定手段は、前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する。
この情報処理装置では、撮像手段により、第1の方向で重なり合う複数の第1の撮影領域と、同じく第1の方向で重なり合う複数の第2の撮影領域とを撮影することが可能となる。複数の第1及び第2の撮影領域の各位置座標は、複数の第1及び第2の撮影領域が第2の方向で重なり合うように、かつ、第1及び第2の重なり領域が重なり合わないように設定される。従って、例えば各撮影領域が撮影されるときに撮影領域に励起光等が照射される場合に、上記第1及び第2の重なり領域における、重複して照射される励起光等の累積光量を減らすことができる。これにより、撮影される試料の劣化を抑えながら、複数の撮影領域を撮影することができるので、スティッチング処理される複数の撮影領域の画像を生成することが可能となる。
前記情報処理装置は、前記撮像手段により撮影される被写体の縁部の位置座標を検出することが可能な検出手段をさらに具備してもよい。
この場合、前記第2の設定手段は、前記検出手段により検出された前記縁部の位置座標に基づいて基準となる前記第2の撮影領域である基準撮影領域の位置座標を設定し、前記基準撮影領域の位置座標に基づいて前記複数の第2の撮影領域の各位置座標を設定してもよい。
この情報処理装置では、撮像手段により撮影される被写体の縁部の位置座標が検出される。この縁部の位置座標に基づいて、第2の設定手段により、上記基準撮影領域の位置座標が設定される。従って基準撮影領域の位置座標を適宜設定することで、短い処理時間で複数の第1及び第2の撮影領域を撮影することができる。
前記情報処理装置は、選択手段と、比較手段とをさらに具備してもよい。
前記選択手段は、前記第1及び第2の方向が垂直方向及び水平方向としてそれぞれ設定される第1の方向設定パターンと、前記第1及び第2の方向が水平方向及び垂直方向としてそれぞれ設定される第2の方向設定パターンとのいずれかを選択する。
前記比較手段は、前記選択手段により前記第1の方向設定パターンが選択されたときに、前記検出手段により検出された前記被写体の前記縁部の位置座標を含むように前記位置座標が設定された、前記複数の第1及び第2の撮影領域が撮影されるために必要な時間と、前記選択手段により前記第2の方向設定パターンが選択されたときに、前記検出手段により検出された前記被写体の前記縁部の位置座標を含むように前記位置座標が設定された、前記複数の第1及び第2の撮影領域が撮影されるために必要な時間とを比較する。
この情報処理装置では、上記第1及び第2の方向設定パターンのいずれかを選択することが可能である。また第1及び第2の方向設定パターンにおいて、複数の第1及び第2の撮影領域が撮影されるために必要な時間が比較される。これにより、複数の第1及び第2の撮影領域の撮影時間が短い方の方向設定パターンを適宜選択することで、短い処理時間で複数の第1及び第2の撮影領域を撮影することができる。
本発明の一形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定する。
前記設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標が、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定される。
本発明の一形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
本発明の一形態に係る撮像装置は、撮像手段と、第1の設定手段と、第2の設定手段とを具備する。
前記撮像手段は、互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能である。
前記第1の設定手段は、前記撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定する。
前記第2の設定手段は、前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する。
本発明の一形態に係る、光学顕微鏡を搭載した撮像装置は、光学顕微鏡と、撮像手段と、移動制御手段と、第1の設定手段と、第2の設定手段と、出力手段とを具備する。
前記光学顕微鏡は、照明光学系と、前記照明光学系の光路上に設けられた観察領域を有し互いに直交する2軸方向で移動可能であるステージと、前記観察領域内に配置され前記2軸方向でそれぞれ所定の大きさを有する撮影領域を結像する結像光学系とを有する。
前記撮像手段は、前記結像光学系により結像される前記撮影領域の像を撮影することが可能である。
前記移動制御手段は、前記観察領域に対する前記撮影領域の位置を変えるために前記ステージの移動を制御する。
前記第1の設定手段は、前記結像光学系により結像される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が第1の方向で重なり合う領域である第1の重なり領域をそれぞれ有するように設定する。
前記第2の設定手段は、前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する。
前記出力手段は、前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標の情報と、前記第2の設定手段により設定された前記複数の第2の撮影領域の各位置座標の情報とを、前記移動制御手段へ出力する。
本発明の他の形態に係る情報処理装置は、第1の設定手段と、第2の設定手段とを具備する。
前記第1の設定手段は、互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向で並ぶ第1の撮影領域及び第2の撮影領域の各位置座標を、前記第1及び前記第2の撮影領域が第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように、かつ、前記2軸方向のうち前記第1の方向と異なる第2の方向における前記第1及び前記第2の撮影領域の各位置座標が相互に異なるように設定する。
前記第2の設定手段は、前記第1の設定手段により設定された前記第1及び前記第2の撮影領域の各位置座標に基づいて、前記第1の方向で並ぶ第3の撮影領域及び第4の撮影領域の各位置座標を、前記第3及び前記第4の撮影領域が前記第1の方向で相互に重なり合う領域である第2の重なり領域をそれぞれ有するように、かつ、前記第3及び前記第4の撮影領域が前記第2の方向で前記第1及び前記第2の撮影領域と第3の重なり領域で重なるように、かつ、前記第2の方向における前記第3及び前記第4の撮影領域の各位置座標を相互に異ならせることで前記第1、前記第2及び前記第3の重なり領域のいずれもが重なり合わないように設定する。
この情報処理装置では、第1の重なり領域で相互に重なり合う第1及び第2の撮影領域と、第2の重なり領域で相互に重なり合う第3及び第4の撮影領域との各位置座標が設定される。第1及び第2の撮影領域と、第3及び第4の撮影領域とは、第3の重なり領域で相互に重なり合う。ここで、上記したように第1及び第2の撮影領域の第2の方向における各位置座標を相互に異ならせ、また第3及び第4の撮影領域の第2の方向における各位置座標を相互に異ならせる。これにより、第1、第2、及び第3の重なり領域のいずれもが重なり合わないように各位置座標を設定することができる。この結果、各重なり領域における重複して照射される励起光等の累積光量を減らすことができ、撮影される試料の劣化を抑えながら、複数の撮影領域を撮影することができる。
本発明の他の形態に係る情報処理方法は、情報処理装置により実行される以下の方法である。
すなわち、情報処理装置は、互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向で並ぶ第1の撮影領域及び第2の撮影領域の各位置座標を、前記第1及び前記第2の撮影領域が第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように、かつ、前記2軸方向のうち前記第1の方向と異なる第2の方向における前記第1及び前記第2の撮影領域の各位置座標が相互に異なるように設定する。
前記第1の設定手段により設定された前記第1及び前記第2の撮影領域の各位置座標に基づいて、前記第1の方向で並ぶ第3の撮影領域及び第4の撮影領域の各位置座標が、前記第3及び前記第4の撮影領域が前記第1の方向で相互に重なり合う領域である第2の重なり領域をそれぞれ有するように、かつ、前記第3及び前記第4の撮影領域が前記第2の方向で前記第1及び前記第2の撮影領域と第3の重なり領域で重なるように、かつ、前記第2の方向における前記第3及び前記第4の撮影領域の各位置座標を相互に異ならせることで前記第1、前記第2及び前記第3の重なり領域のいずれもが重なり合わないように設定される。
本発明の他の形態に係るプログラムは、上記情報処理方法を情報処理装置に実行させる。前記プログラムが記録媒体に記録されていてもよい。
前記情報処理装置は、変更手段と、判定手段とをさらに具備してもよい。
前記変更手段は、前記撮影領域の前記2軸方向における各大きさを、それぞれ変更することが可能である。
前記判定手段は、前記撮影領域の縁部に前記撮影手段により撮影される被写体が位置するか否かを判定する。
この場合、前記変更手段は、前記判定手段により前記第1の撮影領域の縁部のうちの前記第1の重なり領域の縁部に前記被写体が位置しないと判定されたときに、前記第2の撮影領域の前記第1の方向における大きさを、前記第1及び前記第2の撮影領域が前記第1の重なり領域をそれぞれ有することのないように小さくしてもよい。
例えば上記第1の重なり領域の縁部に被写体が位置しないのであれば、第1の重なり領域を有さないように第1及び第2の撮影領域が撮影され、生成された両画像が重なり合うことなく接続されたとしても、被写体は適正に表現される。従って上記変更手段により第2の撮影領域の大きさを適宜設定し、第1の重なり領域の有無を適宜設定することで、重複して励起光等が照射される領域を減らすことができる。
前記第1の設定手段は、前記撮像手段により前記被写体が第1の焦点及び前記第1の焦点と異なる第2の焦点でそれぞれ撮影されるときに、前記第1の焦点での撮影時における前記第1の重なり領域と、前記第2の焦点での撮影時における前記第1の重なり領域とが同じ位置に配置されないように、前記第1の焦点での撮影時及び前記第2の焦点での撮影時における前記第1及び前記第2の撮影領域の位置座標をそれぞれ設定してもよい。
この場合、前記第2の設定手段は、前記第1の焦点での撮影時における前記第2及び前記第3の重なり領域と、前記第2の焦点での撮影時における前記第2及び前記第3の重なり領域とが同じ位置に配置されないように、前記第1の焦点での撮影時及び前記第2の焦点での撮影時における前記第3及び前記第4の撮影領域の位置座標をそれぞれ設定してもよい。
これにより、1つの被写体が異なる焦点において複数回撮影されるときに、被写体の特定の領域に励起光等が集中して照射されることを防止することができる。この結果、撮影される試料の劣化を抑えることができる。
以上のように、本発明によれば、撮影される試料の劣化を抑えながら、スティッチング処理される複数の画像を生成することが可能となる。
本発明の第1の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。 図1に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。 図1に示す撮像装置の構成例を示すブロック図である。 第1の実施形態に係るPCの構成例を示すブロック図である。 第1の実施形態に係るPCの動作を説明するための、デジタル画像のスティッチング処理について説明する図である。 第1の実施形態に係るショットレイアウトの設定方法の概要を示すフローチャートである。 図6に示すフローチャートの、各ステップを説明するための模式的な図である。 図6に示すフローチャートの、各ステップを説明するための模式的な図である。 比較例として挙げる複数の撮影領域のショットレイアウトを説明するための図である。 第1の実施形態に係る第1及び第2の撮影領域のショットレイアウトにおける重なり領域での累積光量を示した図である。 比較例として挙げる撮影領域のショットレイアウトにおける重なり領域での累積光量を示した図である。 本発明の第2の実施形態に係るPCの制御により定められる、撮影領域のショットレイアウトを説明するための模式的な図である。 本発明の第3の実施形態に係る情報処理装置による、撮影領域のショットレイアウトの設定方法の概要を示すフローチャートである。 図13に示すフローチャートの、各ステップを説明するための模式的な図である。 他の実施形態に係る複数の撮影領域のショットレイアウトの例を示す模式的な図である。 本発明の第4の実施形態に係るPCが有するCPUの、機能的なブロックを模式的に示した図である。 第4の実施形態に係る情報処理装置による、撮影領域のショットレイアウトの設定方法の概要を示すフローチャートである。 図17に示すフローチャートの、各ステップを説明するための模式的な図である。 第4の実施形態に係る撮影領域のショットレイアウトの一例を示す図である。 本発明の第5の実施形態に係るPCを含む撮影システムにおける、各種データの流れを示すデータフロー図である。 第5の実施形態に係る情報処理装置による、撮影領域のショットレイアウトの設定方法の概要を示すフローチャートである。 図21に示すフローチャートの、各ステップを説明するための模式的な図である。 図21に示すフローチャートの、各ステップを説明するための模式的な図である。 撮影領域の境界上に細胞が位置するか否かを判定し、撮影領域の大きさを変更する処理の流れを示すフローチャートである。 本発明の第6の実施形態に係る情報処理装置による、撮影領域のショットレイアウトの設定方法の概要を示すフローチャートである。 図25に示すフローチャートの、各ステップを説明するための模式的な図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る情報処理装置を含む撮像システムの構成例を示すブロック図である。図2は、図1に示す光学顕微鏡及び撮像装置の構成を模式的に示す図である。この撮像システム400は、光学顕微鏡300と、撮像手段としての撮像装置200と、情報処理装置としてのPC(Personal Computer)100とを有する。
光学顕微鏡300は、例えばLED(Light Emitting Diode)等の光源301と、XYZステージ302と、照明レンズ303Bと、結像レンズ314と、対物レンズ313と、フィルターユニット303Aとを有する。
XYZステージ302上には、照明レンズ303Bを有する照明光学系303の光路上に位置する観察領域305が設けられており、観察領域305上に観察対象物である試料306が載置される。本実施形態に係る試料306は、例えば病理標本であり、薄くスライスされた人体の組織や臓器がスライドガラスに貼付されプレパラート状に形成されている。試料306は、例えばDAPI(4’b−ジアミジン−2−フェニルインドールジヒドロクロライド)等の蛍光色素により蛍光染色されている。
またXYZステージ302は、試料306が載置される平面方向にて、直交する2軸方向であるX軸方向及びY軸方向で移動可能である。またXYZステージ302は、照明レンズ303Bからの光軸方向であるZ軸方向にも移動可能である。XYZステージ302の移動は、PC100による制御に基づいて、撮像装置200の移動制御手段により制御される。
フィルターユニット303Aは、励起フィルタ307と、ダイクロイックミラー308と、吸収フィルタ309とを有する。励起フィルタ307は、光源301から出射された光310を、試料306内の蛍光色素を励起させる励起波長の光のみに制限することで、励起光311を生成する。ダイクロイックミラー308は、励起フィルタ307を通って入射する励起光311を反射させ試料306に照射する。またダイクロイックミラー308は、励起光311を照射された試料306の蛍光現象により発生する蛍光312を透過させる。吸収フィルタ309は、蛍光312のみが撮像装置200に入射するように、蛍光312以外の波長の光を遮断する。
結像光学系304は、対物レンズ313と結像レンズ314とを有している。この結像光学系304により、観察領域305に載置された試料306の像が結像される。
図3は、撮像装置200の構成例を示すブロック図である。
撮像装置200は、撮像素子201と、記憶媒体202と、カメラ制御部203とを有する。撮像素子201としては、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等が用いられる。この撮像素子201の撮像面に、光学顕微鏡300により結像された観察領域305の光学像が形成され、観察領域305の画像がRawデータとして生成される。生成される画像のサイズは、例えば60×40(Kpixel)、50×50(Kpixel)、あるいは4048×3040(pixel)等である。
記憶媒体202は、例えば、DRAM(Dynamic Random Access Memory)等であり、撮像素子201から読み出された画像を保持するバッファとして機能する。記憶媒体202として、例えばメモリカード、光ディスク、光磁気ディスク等が用いられてもよい。
カメラ制御部203は、例えばFPGA(Field Programmable Gate Array)として構成され、内部に論理回路を有する。このカメラ制御部203により、撮像装置200のブロック全体が制御され、記憶媒体202に保持された観察領域305の画像がPC100に読み出される。また本実施形態では上記したように、PC100の制御の下、カメラ制御部203により、光源301やXYZステージ302の動作が制御される。あるいは、XYZステージ302専用の制御ボックスが別途設けられてもよい。
図4は、本実施形態に係る情報処理装置であるPC100の構成例を示すブロック図である。
PC100は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、入出力インターフェース105、及び、これらを互いに接続するバス104を備える。
入出力インターフェース105には、表示部106、入力部107、記憶部108、通信部109、ドライブ部110等が接続される。
表示部106は、例えば液晶、EL(Electro-Luminescence)、CRT(Cathode Ray Tube)等を用いた表示デバイスである。
入力部107は、例えばポインティングデバイス、キーボード、タッチパネル、その他の操作装置である。入力部107がタッチパネルを含む場合、そのタッチパネルは表示部106と一体となり得る。
記憶部108は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、フラッシュメモリ、その他の固体メモリである。
ドライブ部110は、例えば光学記録媒体、フロッピー(登録商標)ディスク、磁気記録テープ、フラッシュメモリ等、リムーバブルの記録媒体111を駆動することが可能なデバイスである。これに対し上記記憶部108は、主にリムーバブルでない記録媒体を駆動する、PC100に予め搭載されたデバイスとして使用される場合が多い。
通信部109は、LAN(Local Area Network)、WAN(Wide Area Network)等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部109は、有線及び無線のどちらを利用して通信するものであってもよい。通信部109は、PC100とは別体で使用される場合が多い。
上記のPC100により、撮像装置200から出力された画像データが処理される。PC100によるデータ処理は、記憶部108またはROM102等に記憶されたソフトウェアと、PC100のハードウェア資源との協働により実現される。具体的には、CPU101が記憶部108またはROM102等に記憶された、ソフトウェアを構成するプログラムをRAM103にロードして実行することにより、各種のデータ処理が実現される。
[情報処理装置の動作]
次に、本実施形態に係る情報処理装置であるPC100の動作を説明する。そのために、まずデジタル画像のスティッチング処理について説明する。図5は、その説明のための図である。
例えば、光学顕微鏡300の観察領域305に載置された試料306を詳しく観察するために、高倍率で拡大された試料306の像が、撮像装置200により撮影されることがある。この場合、図5に示すように、観察領域305の一部である撮影領域10が結像され、その像が撮像装置200により撮影される。撮影領域10は、試料306の全体を覆うように、所定のショットレイアウトに基づいて複数配置される。そして、撮像装置200により生成された複数の撮影領域10の画像がPC100に読み出され、PC100にてスティッチング処理されることで、試料306を表す1枚の画像が生成される。
図5に示すように、撮影領域10は、直交する2軸方向であるX軸方向及びY軸方向で所定の大きさをそれぞれ有している。本実施形態では、直交する2軸方向のうち第1の方向としてY軸方向が定められ、第2の方向としてX軸方向が定められている。また、図5で見て、第1の方向であるY軸方向が垂直方向として定められ、第2の方向であるX軸方向が水平方向として定められる。撮影領域10の2軸方向における大きさは、光学顕微鏡300の結像光学系304により定められる倍率等により適宜設定されてよい。
本実施形態では、PC100により、光学顕微鏡300及び撮像装置200の動作が制御され、撮影される複数の撮影領域10のショットレイアウトが設定される。図6は、本実施形態に係るショットレイアウトの設定方法の概要を示すフローチャートである。図7及び図8は、図6に示すフローチャートの各ステップを説明するための模式的な図である。
PC100のCPU101により、撮像装置200により撮影される試料306の位置が検出される(ステップ101)。例えば、光学顕微鏡300の結像光学系304の倍率等を適宜設定し、観察領域305全体が結像される。撮像装置200により観察領域305全体の画像が生成されPC100に出力される。PC100のCPU101は、出力された観察領域305全体の画像に基づいて、観察領域305に載置された試料306の位置を検出する。あるいは、CPU101により、試料306全体のサムネイル画像が生成され、このサムネイル画像に基づいて試料306の位置が検出されてもよい。その他、試料306の位置検出のために用いられる処理は、どのようなものでもよい。
本実施形態では、上記ステップ101により、試料306の縁部315の位置座標が検出される。位置座標は、例えば図7で見た観察領域305の左上の点Oを基準とした位置座標が用いられてもよいし、その他の点を基準にした位置座標が用いられてもよい。
第1列目にY軸方向に沿って複数並ぶ第1の撮影領域11のx座標位置が定められる(ステップ102)。次に、第1列目におけるY軸方向の撮影開始位置が定められる(ステップ103)。これにより、第1列目として、Y軸方向に沿って複数並ぶ第1の撮影領域11のうち、最初に撮影される第1の撮影領域11aのx座標及びy座標が定められる。本実施形態では、第1の撮影領域11aの中心点の位置座標が、その第1の撮影領域11aの位置座標として定められる。しかしながら、例えば第1の撮影領域11aの左上に位置する端点等、他の点の位置座標が、第1の撮影領域11aの位置座標として定められてもよい。
図7(A)に示すように、本実施形態では、検出された試料306の縁部315の位置座標に基づいて、X軸方向において最も左側の端に位置する縁部315aの位置座標が判定される。そして、この縁部315aが、Y軸方向に複数並ぶ第1の撮影領域11に含まれるように、第1列目の撮影位置のx座標位置が定められる。また、第1列目に第1の撮影領域11を複数並べた場合に、その第1の撮影領域11により覆われる範囲内において、最も上側の端に位置する縁部315bが含まれるように、第1列目のY軸方向における撮影開始位置が定められる。これにより、試料306の左側の領域から右側の領域にかけて、試料306全体を覆うように、効率よく複数の撮影領域を撮影することができる。
なお、試料306の左端の縁部315aではなく、図7で見て右端の端部が含まれるように、第1列目の撮影位置のx座標位置が定められてもよい。あるいは、X軸方向における試料306の両端の部分ではなく、試料306の中央部において、第1列目に並べられる第1の撮影領域11の撮影が開始されてもよい。
図7(B)に示すように、最初に撮影される第1の撮影領域11aと、第1の方向であるY軸方向で第1の重なり領域20を有するように、Y軸方向に沿って第1の撮影領域11aと並ぶ第1の撮影領域11bの位置座標が定められる。第1の重なり領域20は、例えば撮影領域11a(あるいは撮影領域10)のY軸方向における大きさの5%〜20%の大きさである。しかしながら、この範囲に限定されるわけではなく、上記したスティッチング処理が適正に行われる範囲で適宜設定されてよい。
第1列目におけるY軸方向の撮影終了位置が定められる(ステップ104)。撮影終了位置は、例えばステップ101で検出された試料306の縁部315の位置座標に基づいて予め定められていてもよい。あるいは、第1列目において第1の撮影領域11を順次撮影する際に、第1の撮影領域11内に試料306が含まれなくなった時点で、その1つ前に撮影された第1の撮影領域11の位置座標が撮影終了位置として定められてもよい。
第2列目にY軸方向に沿って複数並ぶ第2の撮影領域12のx座標位置が定められる(ステップ105)。第2列目の撮影位置のx座標位置は、第2列目に複数並べられる第2の撮影領域12が、第1列目に複数並べられた第1の撮影領域11と、第2の方向であるX軸方向で重なるように定められる。複数の第1の撮影領域11と複数の第2の撮影領域12との重なり領域30のX軸方向における大きさは、上記第1の重なり領域20のY軸方向における大きさと同じでもよいし、異なってもよい。
第2列目におけるY軸方向の撮影開始位置が定められる(ステップ106)。これにより図8(A)に示すように、第2列目としてY軸方向に沿って複数の並ぶ第2の撮影領域12のうち、基準となる基準撮影領域12aの位置座標(x座標及びy座標)が定められる。
ここで、基準撮影領域12aの位置座標が定められるときの条件を説明する。図8(B)に示すように、第1の方向であるY軸方向に沿って基準撮影領域12aと並ぶように、第2の撮影領域12bが複数配置される。これら複数の第2の撮影領域12bは、基準撮影領域12aも含めて、相互に隣接するもの同士がY軸方向で重なり合う第2の重なり領域40をそれぞれ有するように配置される。基準撮影領域12aの位置座標は、これら第2の重なり領域40が、第1列目にある第1の重なり領域20と重ならないように定められる。
例えば、図8(A)に示すように、基準撮影領域12aの上辺13が、X軸方向で隣接する第1の撮影領域11bが有する第1の重なり領域20の下辺21よりも、Y軸方向で下側に位置するように、基準撮影領域12aの位置座標が設定されればよい。換言すれば、基準撮影領域12aの上辺13が、隣接する第1の撮影領域11bと重なり合う第1の撮影領域11aの下辺14よりも下側に位置すればよい。
上記第1の重なり領域20の下辺21と、基準撮影領域12aの上辺13との間に、所定の間隔が設けられるようにして、基準撮影領域12aの位置座標が定められてもよい。これにより、光学顕微鏡300の照明レンズ303Bや対物レンズ313の設計上の公差や、XYZステージ302の位置決め精度の誤差等により、第1及び第2の重なり領域20及び40が重なってしまうのを防ぐことができる。
また本実施形態では、ステップ105にて定められた第2列目のx座標位置に、第2の撮影領域12が複数配置された場合に、その複数の第2の撮影領域12により覆われる範囲内で最も下側の端に位置する縁部315cの位置座標が判定される。そして、この縁部315cが基準撮影領域12aに含まれるように、基準撮影領域12aの位置座標が定められる。
基準撮影領域12aの位置座標が定められると、次にその基準撮影領域12aの位置座標に基づいて、第2列目に配置される複数の第2の撮影領域12bの各位置座標が定められる。本実施形態では、第2の重なり領域40が一定の大きさとなるように設定されている。しかしながら、第1及び第2の重なり領域20及び40が互いに重なり合わないという条件が満たされるのであれば、第2の重なり領域40の大きさは一定でなくてもよい。
第2列目におけるY軸方向の撮影終了位置が定められる(ステップ107)。第2列目の撮影終了位置は、ステップ104で定められる第1列目の撮影終了位置と同様に定められればよい。
本実施形態では、第1列目に複数並べられる第1の撮影領域11、及び第2列目に複数並べられる第2の撮影領域12により、試料306の全体形状が覆われた。しかしながら、試料306の大きさに基づいて、第2列目に複数配置された第2の撮影領域12bと重なるように、第3列目に複数の撮影領域が配置されてもよい。この場合、第3列目に並べられる複数の撮影領域が有する重なり領域と、第2列目にある第2の重なり領域40とが重ならないように、第3列目に複数の撮影領域が配置されればよい。
例えば、CPU101により、試料306の全体を覆うために必要となる列の数が、ステップ101にて試料306の縁部315の位置座標が検出されたときに算出されてもよい。あるいは、各列の撮影終了位置が定められ、各列の撮影が終了したときに、その列に隣接する領域に試料があるかどうかが判断されてもよい。
図9は、比較例として挙げる複数の撮影領域910のショットレイアウトを説明するための図である。ここで比較例として挙げるショットレイアウトとは、複数の撮影領域910の位置座標(例えば中心の位置座標)が、格子状に並べられるものである。図9(A)では、第1列目と第2列目とに、それぞれ3枚の撮影領域910が同様に配置されている。図9(B)では、第1列目には2枚の撮影領域910が配置され、その2枚の撮影領域910の位置座標に基づいて、第2列目に4枚の撮影領域910が配置されている。
ここで、本実施形態に係る第1及び第2の撮影領域11及び12のショットレイアウトと、比較例として挙げる撮影領域910のショットレイアウトとを比較する。図10及び図11は、その説明のための図であり、各ショットレイアウトにおける重なり領域での累積光量を示した模式的な図である。
図10は、本実施形態に係る第1及び第2の重なり領域20及び40と、X軸方向における重なり領域30とにおける励起光(図1参照)の累積光量を示した図である。本実施形態では、第1及び第2の撮影領域11及び12の各撮影領域がそれぞれ撮影されるごとに照明レンズ303Bから各撮影領域に励起光が照射される。励起光は、各撮影領域の中心部Cを100%の光量とすると、周辺部Eは60%〜80%の照明分布となる。
図10では、第1列目の第1の重なり領域20、第2列目の第2の重なり領域40、及び、第1列目及び第2列目の間にあるX軸方向における重なり領域30が、励起光が重複して照射される回数により区別されて図示されている。本実施形態のショットレイアウトでは、第1及び第2の重なり領域20及び40が重なり合わないように、第1及び第2の撮影領域11及び12が配置される。従って、励起光が重複して照射される部分として、励起光が重複して2回照射される部分50、及び重複して3回照射される部分60のみが生じる。上記したように各撮影領域の周辺部Eでは、中心部Cに照射される光量の60%〜80%の光量で励起光が照射される。従って、重複して3回照射される部分60では、累積光量として180%〜240%の大きさ、すなわち中心部Cに照射される光量の1.8倍〜2.4倍の光量が照射される。
一方、図11(A)及び(B)に示すように、比較例として挙げる撮影領域910のショットレイアウトでは、励起光が重複して照射される部分として、励起光が重複して2回照射される部分920と、重複して4回照射される部分970とが生じる。励起光が重複して4回照射される部分970では、累積光量として240%〜320%の大きさ、すなわち中心部Cに照射される光量の2.4倍〜3.2倍の光量が照射される。
以上、本実施形態に係る情報処理装置であるPC100により、光学顕微鏡300のXYZステージ302の移動が制御される。そして光学顕微鏡300の結像光学系304により結像される第1及び第2の撮影領域11及び12の、観察領域305に対する位置が適宜設定される。これにより、撮像装置200により、第1の方向であるY軸方向で重なり合う第1の撮影領域11と、同じくY軸方向で重なり合う複数の第2の撮影領域12とを撮影することが可能となる。PC100により定められる複数の第1及び第2の撮影領域11及び12の各位置座標は、複数の第1及び第2の撮影領域11及び12が第2の方向であるX軸方向で重なり合うように、かつ、第1及び第2の重なり領域20及び40が重なり合わないように設定される。従って、図10及び図11の説明で述べたように、第1の重なり領域20、第2の重なり領域40、及びX方向における重なり領域30のすべてが重なる領域が形成されないこととなり、重複して照射される励起光の累積光量を減らすことができる。これにより、撮影される試料306に含まれる蛍光色素の褪色を抑えることができるので、試料306の劣化を抑えながら、複数の第1及び第2の撮影領域11及び12を撮影することができる。この結果、PC100によりスティッチング処理される複数の第1及び第2の撮影領域11及び12の画像を生成することが可能となる。
また、比較例として挙げる撮影領域910のショットレイアウトでは、各撮影領域の位置座標が、複数の撮影領域910が格子状に配置されるように定められる。従って、図9(A)及び(B)に示すように、試料306全体を覆うように複数の撮影領域910を配置するためには6枚の撮影領域910が必要となる。
一方、図8(A)に示すように、本実施形態に係るショットレイアウトでは、検出された試料306の縁部315の位置座標に基づいて、第2列目に配置される基準撮影領域12aの位置座標を適宜設定することができる。これにより、図8(B)に示すように、本実施形態では、第1列目に配置された2枚の第1の撮影領域11と、第2列目に配置された3枚の第2の撮影領域12(基準撮影領域を含む)との、5枚の撮影領域で試料306の全体を覆うことができる。この結果、撮影される撮影領域の数が少なくなり、励起光の照射回数を削減することができるので、短い処理時間で、複数の第1及び第2の撮影領域11及び12を撮影することができる。
なお、図8及び図9では、各撮影領域の配置の順番を示す矢印が示されている。この矢印の大きさは、XYZステージ302の移動距離とほぼ等しい。図8及び図9の矢印が示すように、本実施系に係るショットレイアウトと比較例として挙げられたショットレイアウトとで、XYZステージの移動距離に大きな差が生じることはない。従って、本実施形態に係るショットレイアウトが設定されることで、XYZステージの移動時間が長くなってしまうということはなく、上記したように短い処理時間で、複数の第1及び第2の撮影領域11及び12を撮影することができる。
<第2の実施形態>
本発明の第2の実施形態に係る情報処理装置について説明する。これ以降の説明では、第1の実施形態で説明した撮像システム400に用いられる各種の装置や、その装置の動作等と同様なものについては、その説明を省略又は簡略化する。
図12は、本実施形態に係る情報処理装置であるPCの制御により定められる、撮影領域のショットレイアウトを説明するための模式的な図である。
図12に示すように、本実施形態では、水平方向として定められたX軸方向に沿って、第1の撮影領域211及び第2の撮影領域212がそれぞれ複数配置される。複数の第1の撮影領域211と、複数の第2の撮影領域212とは、垂直方向として定められたY軸方向で互いに重なるように配置される。
第1の撮影領域211は、隣接するのも同士がX軸方向で相互に重なり合う第1の重なり領域220をそれぞれ有するように配置される。第2の撮影領域212は、隣接するもの同士がX軸方向で相互に重なり合う第2の重なり領域240をそれぞれ有するように配置される。そして、第1及び第2の重なり領域220及び240が重ならないように、複数の第1及び第2の撮影領域211及び212が配置される。
上記で説明した第1の実施形態では、第1及び第2の方向として、垂直方向であるY軸方向及び水平方向であるX軸方向がそれぞれ設定された。しかしながら、本実施形態のように、第1及び第2の方向として、水平方向であるX軸方向及び垂直方向であるY軸方向がそれぞれ設定されてもよい。このように第1及び第2の方向が設定された場合でも、第1の実施形態と同様の効果を得ることができる。
<第3の実施形態>
図13は、本発明の第3の実施形態に係る情報処理装置による、撮影領域のショットレイアウトの設定方法の概要を示すフローチャートである。図14は、図13に示すフローチャートの各ステップを説明するための模式的な図である。
本実施形態に係る情報処理装置では、以下に説明する第1の方向設定パターンと、第2の方向設定パターンとのいずれかを選択可能である。第1の方向設定パターンは、第1の実施形態で説明したような、第1及び第2の方向が垂直方向及び水平方向としてそれぞれ設定されるパターンである。第2の方向設定パターンは、第2の実施形態で説明したような、第1及び第2の方向が水平方向及び垂直方向としてそれぞれ設定されるパターンである。
各方向設定パターンにおける撮影領域のショットレイアウトは、第1及び第2の実施形態で説明した通りである。従って、ここでは、情報処理装置によりどのようにして方向設定パターンが選択されるかという点を中心に説明する。
本実施形態では、Y軸方向が撮影領域350の短手方向となり、X軸方向が撮影領域350の長手方向となる。従って、第1の方向設定パターンでは、撮影領域350は、撮影領域350の短手方向に沿って直線的に送られることになる。一方、第2の方向設定パターンでは、撮影領域350は、撮影領域350の長手方向に沿って直線的に送られることになる。
図14(A)に示すように、第1の方向設定パターンが選択されて撮影領域350が短手方向に直線的に送られる場合の、ショットレイアウトが設定される(ステップ201)。
例えば、PCのCPUにより、観察領域305の全体を表すサムネイル画像が生成され、そのサムネイル画像を用いることで、撮影領域350のショットレイアウトが設定されてもよい。その際に、サムネイル画像が情報処理装置の表示部(図4参照)に表示され、ユーザによりショットレイアウトが適宜調整されてもよい。または情報処理装置により、試料306の縁部315の位置座標が検出され、縁部315の位置座標に基づいて、配置される撮影領域350の各位置座標が設定される。そして、撮影領域350の各位置座標の情報がPCの記憶部等に記憶されてもよい。
図14(B)に示すように、第2の方向設定パターンが選択されて撮影領域350が長手方向に直線的に送られる場合の、ショットレイアウトが設定される(ステップ202)。
ステップ201及び202で設定された各ショットレイアウトにおける、XYZステージの移動時間、所定の位置にてXYZステージが静止するのに必要な静定時間、及び撮影領域350に励起光が照射される露光時間等の合計時間が計算される(ステップ203)。すなわち、ステップ203にて、試料306全体を覆うように配置された複数の撮影領域350が撮影されるために必要な時間が、上記ショットレイアウトごとに計算される。
第1の方向設定パターンのショットレイアウトにおける撮影時間の合計と、第2の方向設定パターンのショットレイアウトにおける撮影時間の合計とが比較される。そして、撮影時間の合計が短い方のショットレイアウトとなる方向設定パターンが選択される(204)。
例えば、撮影される試料306の全体形状により、図14(A)及び(B)に示すように、第1及び第2の方向設定パターンで、試料306の全体を覆うために必要な撮影領域350の数が異なる場合がある。例えば本実施形態の説明では、図14(B)に示す第2の方向設定パターンでのショットレイアウトの方が、図14(A)に示す第1の方向設定パターンでのショットレイアウトよりも、配置される撮影領域350の数が少ない。試料306の全体を覆うために必要な撮影領域350の数が少ない方が、複数の撮影領域350の撮影時間を短くすることには有利である。
一方、撮影領域350が短手方向に沿って直線的に送られる場合と、長手方向に沿って直線的に送られる場合とでは、短手方向に沿って送られる場合の方が、XYZステージの移動時間は短くなる。従って、撮影領域350を短手方向に沿って直線的に送る第1の方向設定パターンの方が撮影時間の短縮には有利である。
本実施形態では、第1及び第2の方向設定パターンの各ショットレイアウトにおける、複数の撮影領域350の撮影時間が比較されるので、適当な方向設定パターンを選択することができる。この結果、短い処理時間で複数の撮影領域350を撮影することができる。
上記した各実施形態に係る情報処理装置は、例えば、医療または病理等の分野において、光学顕微鏡により得られた、生体の細胞、組織、臓器等の画像をデジタル化し、そのデジタル画像に基づき、医師や病理学者等がその組織等を検査したり、患者を診断したりするシステム等に用いられる。しかしながら、この分野に限られず他の分野においても適用可能である。
<第4の実施形態>
本発明の第4の実施形態に係る情報処理装置としてのPCについて説明する。本実施形態に係るPCは、上記した各実施形態と同様に、光学顕微鏡及び撮像装置を含む撮像システムにおいて用いられる(図1、図2等参照)。図16は、本実施形態に係るPCが有するCPU401の機能的なブロックを模式的に示した図である。
図16に示すように、CPU401は、ハードウェア制御部402と、センサ信号現像部403と、スティッチ処理部404と、画像出力部405とを有する。これらの各ブロックは、PCが有するROM等に記憶されたプログラム、あるいは専用のハードウェアにより構成される。
ハードウェア制御部402は、撮像装置及び光学顕微鏡が有する各種のハードウェアを制御するための制御信号を出力する。図16に示すように、ハードウェア制御部402から、光学センサ制御部406、ステージ制御部407、視野調整制御部408、及び発光制御部409に制御信号が出力される。
光学センサ制御部406は、CMOSやCCD等の光学センサを制御するブロックであり、撮像装置による撮影のタイミングの制御や、光学センサで生成された信号をCPU401に転送する処理等を行う。ステージ制御部407は、光学顕微鏡が有するXYZステージや鏡筒、あるいは被写体となる試料を移動させるためのアクチュエータを制御する。視野調整制御部408は、撮像装置により撮影される撮影領域の互いに直交する2軸方向における各大きさを制御することが可能であり、光学顕微鏡が有する視野絞りの変更や移動を制御する。発光制御部409は、撮像装置による撮影のための露光時間や、試料に照射される励起光の強度等、露光に関する制御を行う。
光学センサ制御部406、ステージ制御部407、視野調整制御部408、及び発光制御部409の各ブロックは、撮像装置が有するカメラ制御部に含まれてもよい。あるいは、各ブロックの機能を有する専用の制御ボックスが、撮像装置又は光学顕微鏡にそれぞれ設けられてもよい。
CPU401が有するセンサ信号現像部403は、光学センサから転送された信号を受信し、画像又は映像として可視化できるように現像処理を実行する。このセンサ信号現像部403により、撮像装置により撮影された撮影領域の画像データが生成される。
スティッチ処理部404は、撮影領域の画像データに対してスティッチング処理を行う。例えば相互に重なり領域を有する2つの撮影領域の画像データが、スティッチ処理部に入力される。スティッチ処理部において、重なり領域内の相関の高い領域が検出され、その相関の高い領域に基づいて2つの画像データが接合される。これにより、単一の合成された画像データが生成される。
画像出力部405は、スティッチ処理部404を経由して入力された画像データを、JPEG(Joint Photographic Experts Group)やTiff(Tagged Image File Format)等のPC上での処理が容易なファイルフォーマットに変換し、ファイルとして出力処理を行う。
本実施形態に係る情報処理装置としてのPCによる、ショットレイアウトの設定方法を説明する。図17は、そのショットレイアウトの設定方法の概要を示すフローチャートである。図18は、図17に示すフローチャートの各ステップを説明するための模式的な図である。
本実施形態でも、上記で説明した各実施形態と同様に、撮影される被写体としての試料(図示せず)の位置が検出される。上記したように試料の位置は、撮影される試料の全体画像やサムネイル画像に基づいて検出される。あるいは、図16に示す光学センサ制御部406からCPU401のセンサ信号現像部403に出力される受光信号に基づいて、試料の輪郭や試料内部の核等の位置が検出されてもよい。
また本実施形態における撮影領域は、直交する2軸方向である第1の方向及び第2の方向としての、図18に示すX軸方向及びY軸方向にそれぞれ所定の大きさを有している。撮影領域のX軸方向における大きさはXLであり、Y軸方向における大きさはYLである。
撮影される試料の形状に基づいて、図18に示す第1の撮影領域411の位置座標が定められ、光学顕微鏡のXYZステージが初期位置に移動される(ステップ401)。そして第1の撮影領域411に励起光が照射され、第1の撮影領域411が撮影される(ステップ402)。
撮影対象領域の全体の撮影が完了したか否か、すなわち試料全体が撮影されたか否かが判定される(ステップ403)。例えば検出された試料の形状や位置等に基づいて、試料全体の撮影が完了したか否かが判定されればよい。
撮影対象領域の撮影が完了していないと判定された場合(ステップ403のNo)、第1の方向であるX軸方向での撮影が完了したか否かが判定される(ステップ404)。すなわち第1の撮影領域411から見てX軸方向に延びる領域に、撮影されるべき試料が位置するか否かが判定される。
X軸方向での撮影が完了していないと判定された場合(ステップ404のNo)、第1の撮影領域411の位置座標に基づいて、図18に示す第2の撮影領域412の位置座標が定められ、XYZステージが斜め方向に移動される(ステップ405)。第2の撮影領域412は、第1の撮影領域411とX軸方向に並ぶ撮影領域であり、ステップ405の斜め方向への移動とは、X軸方向への移動を主としながら、第2の方向であるY軸方向にも移動するという意味である。
本実施形態では、図18に示すように、XYZステージがX軸方向で大きさXL−xL分移動し、第2の方向であるY軸方向で大きさyL分移動する。従って第1及び第2の撮影領域411及び412は、X軸方向での大きさがxLとなる第1の重なり領域420で相互に重なり合うことになる。またY軸方向における双方の位置座標が、大きさyL分相互に異なることになる。
XYZステージが上記した所定の位置に移動すると第2の撮影領域412が撮影され(ステップ402)、再び撮影対象領域の撮影が完了したか否か、及びX軸方向での撮影が完了したか否かが判定される(ステップ403及び404)。
ステップ404にて、X軸方向での撮影が完了したと判定された場合(ステップ404のYes)、第2の撮影領域412の位置座標に基づいて、図18に示す第3の撮影領域413の位置座標が定められ、XYZステージが斜め方向に移動される(ステップ406)。第3の撮影領域413は、第2の撮影領域412とY軸方向に並ぶ撮影領域であり、ステップ406の斜め方向への移動とは、Y軸方向への移動を主としながら、X軸方向にも移動するという意味である。
本実施形態ではステップ406で、XYZステージがY軸方向で大きさYL−yL分移動し、X軸方向で大きさxL分移動する。従って、第2及び第3の撮影領域412及び413は、Y軸方向での大きさがyLとなる第3の重なり領域430で相互に重なり合うことになる。またX軸方向における双方の位置座標が、大きさxL分相互に異なることになる。なお、第2の撮影領域412が第1の撮影領域411に対して、Y軸方向において大きさyL分位置がずれており、そのずれた部分で第2及び第3の撮影領域412及び413が重なり合う。従って図18に示すように、第1の撮影領域411と第3の撮影領域413とが相互に重なり合うことはない。
ステップ402に戻り第3の撮影領域413が撮影され、再びステップ404まで進む。ステップ404にて、第3の撮影領域413を基準として、X軸方向での撮影が未完了であると判定される。そして図18に示す第4の撮影領域414の位置座標が定められ、XYZステージが斜め方向に移動される(ステップ405)。図18に示すように、第3の撮影領域413の位置から、XYZステージがX軸方向で大きさXL−xL分移動し、Y軸方向で大きさyL分移動する。X軸方向及びY軸方向における移動の向きは、第1の撮影領域411の位置から第2の撮影領域412の位置へのX軸方向及びY軸方向における移動の向きと反対の向きである。
これにより、第3及び第4の撮影領域413及び414は、X軸方向での大きさがxLとなる第2の重なり領域440で相互に重なり合うことになる。またY軸方向における双方の位置座標が、大きさyL分相互に異なることになる。また第1及び第4の撮影領域411及び414が、Y軸方向での大きさがyLとなる第3の重なり領域430で、相互に重なり合うことになる。すなわち第3の重なり領域430とは、第3及び第4の撮影領域413及び414が、Y軸方向で第1及び第2の撮影領域411及び412と相互に重なり合う領域となる。
なお、第3の撮影領域413が第2の撮影領域412に対して、X軸方向においてxL分位置がずれており、そのずれた部分で第3及び第4の撮影領域413及び414が重なり合う。従って図18に示すように、第2の撮影領域412と第4の撮影領域414とが相互に重なり合うことはない。すなわち図18に示すように、第1〜第4の撮影領域411〜414の各位置座標は、第1、第2、及び第3の重なり領域420、440及び430のいずれもが重なり合わないように設定される。
ステップ403において、撮影対象領域の撮影が完了したと判定された場合(ステップ403のYes)、試料の撮影は終了する。
図18では、第1、第2、及び第3の重なり領域420、440及び430での累積光量が示されている。上記したように本実施形態でのショットレイアウトでは、第1、第2、及び第3の重なり領域420、440及び430のいずれもが重なり合わないように、第1〜第4の撮影領域411〜414の各位置座標が設定される。従って、励起光が重複して照射される部分として、励起光が重複して2回照射される部分480のみが生じる。上記したように各撮影領域の周辺部Eでは、中心部Cに照射される光量の60%〜80%の光量で励起光が照射される。従って重複して2回照射される部分480では、累積光量として120%〜160%の大きさ、すなわち中心部Cに照射される光量の1.2倍〜1.6倍の光量が照射される。
以上、本実施形態に係る情報処理装置としてのPCでは、第1の重なり領域420で相互に重なり合う第1及び第2の撮影領域411及び412と、第2の重なり領域440で相互に重なり合う第3及び第4の撮影領域413及び414との各位置座標が設定される。第1及び第2の撮影領域411及び412と、第3及び第4の撮影領域413及び414とは、第3の重なり領域430で相互に重なり合う。ここで、上記したように第1及び第2の撮影領域411及び412のY軸方向における各位置座標をyL分相互に異ならせ、また第3及び第4の撮影領域413及び414のY軸方向における各位置座標もyL分相互に異ならせる。これにより、第1、第2、及び第3の重なり領域420、440及び430のいずれもが重なり合わないように各位置座標を設定することができる。この結果、各重なり領域における重複して照射される励起光等の累積光量を減らすことができ、撮影される試料の劣化を抑えながら、複数の撮影領域を撮影することができる。
図18では、第1〜第4の撮影領域411〜414の4つの撮影領域が図示されているが、撮影される撮影領域の数はこれに限られない。例えば図19に示すように、4つの撮影領域では全体を撮影することができない大きさを有する試料410が撮影されるとする。この場合でも、図17のフローチャートが示す各ステップの処理が実行されればよい。これによりXYZステージが図19に示すAからFまでの位置を移動し、各撮影領域415が撮影される。これら複数の撮影領域415が相互に重なり合う領域416は、いずれもが重なり合うことがないので、各重なり領域416における累積光量を減らすことができる。この結果、試料410の劣化を抑えながら、複数の撮影領域415により試料410の全体を撮影することが可能となる。
<第5の実施形態>
本発明の第5の実施形態に係る情報処理装置としてのPCについて説明する。図20は、本実施形態に係るPCを含む撮影システムにおける各種データの流れを示すデータフロー図である。
撮像装置が有する光学センサ551で生成された信号が、CPUのセンサ信号現像部に出力され、例えば輝度信号の計算や色信号の計算等の現像処理が行われる(ステップ501)。これにより撮像装置により撮影された撮影領域の画像データが生成される。この画像データはCPUのスティッチ処理部に入力され、複数の画像データがスティッチング処理されることで、単一の合成された画像データが生成される(ステップ502)。合成された画像データは、CPUの画像出力部に入力され、例えばユーザが指定するファイルフォーマットに変換され画像ファイルとして出力される(ステップ503)。出力された画像ファイルは、CPUが有するHDDやSSD(Solid State Drive)等の記憶ブロック552に記憶される。ステップ501〜503までのデータフローは、上記各実施形態でも同様に行われるものである。
図20に示すように、本実施形態では、ステップ501で生成された画像データに基づいて、撮影された撮影領域の境界上に被写体としての細胞が位置するか否かが判定される(ステップ504)。そしてステップ504で生成された細胞の有無についてのデータに基づいて、CPUにより次回撮影位置決定処理が行われる(ステップ505)。この次回撮影位置決定処理により、境界上の細胞の有無、予め決定されている撮影順序、及び撮影領域が重ね合わされる量に基づいて、次に撮影される撮影領域の位置座標と、露光範囲が定められる。露光範囲とは、撮影される撮影領域のX軸方向及びY軸方向におけるそれぞれの大きさのことである。
ステップ505の次回撮影位置決定処理で生成された次回撮影領域の位置座標データ及び撮影領域の大きさのデータに基づいて、CPUのハードウェア制御部により、ハードウェア制御に必要な制御信号がレジスタ設定値として出力される(ステップ506)。ハードウェア制御部により出力されたレジスタ設定値が、例えば撮影装置又は光学顕微鏡に設けられたステージ・露光範囲制御部553に入力され、光学顕微鏡のXYZステージの移動が制御される。また光学顕微鏡の視野絞りが変更され、あるいは視野絞りがずらされることで、露光範囲の大きさすなわち撮影領域の大きさが制御される。すなわち本実施形態のPCが有するCPUは、撮影領域の2軸方向における各大きさをそれぞれ変更することが可能な変更手段と、境界上に細胞が位置するか否かを判定する判定手段として機能する。
以下、図20で示したステップ504〜506までのデータフローに基づくPCの動作を中心に、本実施形態に係るショットレイアウトの設定方法を説明する。図21は、そのショットレイアウトの設定方法の概要を示すフローチャートである。図22及び図23は、図21に示すフローチャートの各ステップを説明するための模式的な図である。
まず、撮影される試料の形状に基づいて、図22に示す第1の撮影領域511の位置座標が定められ、光学顕微鏡のXYZステージが初期位置に移動される(ステップ511)。そして第1の撮影領域511に励起光が照射され、第1の撮影領域511が撮影される(ステップ512)。
露光範囲、すなわち撮影される撮影領域のX軸方向及びY軸方向におけるそれぞれの大きさが、初期設定の値に設定される(ステップ513)。本実施形態では、撮影領域の大きさの初期設定値は、X軸方向ではXLであり、Y軸方向ではYLである。上記したように、撮影領域の大きさは、CPUからのレジスタ設定値を受信したステージ・露光範囲制御部553により光学顕微鏡の視野絞りの変更等が実行されることで制御される。なお図22に示すように、第1の撮影領域511は、初期設定値の大きさで撮影されている。
次に第4の実施形態で説明したのと同様に、ステップ514〜516まで進み、X軸方向での大きさがxLとなる第1の重なり領域520で第1の撮影領域511と重なり合う第2の撮影領域512の位置座標が設定される。
本実施形態では、第2の撮影領域512が配置された後に、撮影境界上に被写体としての細胞510が位置するかどうかが判定される(ステップ517)。ここで「撮影境界上」とは、撮影された第1の撮影領域511の縁部517のうちの第1の重なり領域520の縁部518上を意味する。図22に示すように、第1の重なり領域520の縁部518に、細胞510が位置する場合(ステップ517のYes)、第2の撮影領域512の大きさは変更されず、ステップ512にて第2の撮影領域512が撮影される。
このように第1及び第2の撮影領域511及び512が、それぞれ第1の重なり領域520を有するように撮影されることで、撮影された第1及び第2の撮影領域511及び512がスティッチング処理される際に、細胞510が適正に表現される。細胞510の第1の重なり領域520内に位置する部分510aには、第1及び第2の撮影領域511及び512が撮影されるごとに励起光が照射される。従って、その部分510aには2回分の励起光が照射されることになる。
図23(A)に示すように、第1の撮影領域511の縁部517のうちの第1の重なり領域520の縁部518に細胞510が位置しない場合(ステップ517のNo)、露光範囲の変更が行われ、第2の撮影領域512の大きさが変更される(ステップ518)。
図23(B)に示すように、第2の撮影領域512のX軸方向における大きさが、第1の重なり領域520のX軸方向における大きさxL分小さく設定される。従って、第2の撮影領域512のX軸方向における大きさはXL−xLとなる。ステップ512に戻り、
大きさが変更された第2の撮影領域512が撮影される。すなわち第1及び第2の撮影領域511及び512は、第1の重なり領域520をそれぞれ有することなく撮影されることになる。このように第1の重なり領域520を有さないように第1及び第2の撮影領域511及び512が撮影され、生成された両画像が重なり合うことなく接続されたとしても、図23(B)に示すように細胞510は適正に表現される。
上記したように第1の重なり領域520の縁部517に細胞510が位置するか否かに基づいて、第2の撮影領域512の大きさを適宜設定し、第1の重なり領域520の有無を適宜設定することで、重複して励起光が照射される領域(第1の重なり領域520)を減らすことができる。図23に示す細胞510には、第1の撮影領域511が撮影される際に励起光が照射され、第2の撮影領域が撮影される際には励起光が照射されない。従って細胞510には1回分の励起光のみが照射されることになるので、細胞510の褪色等による劣化を十分に抑えることができる。
第2の撮影領域512が撮影されると、図21のステップ513にて、次に撮影される撮影領域のX軸方向及びY軸方向における大きさが、初期設定の値に戻される。そしてステップ515まで進み、X軸方向での撮影が完了したと判定された場合(ステップ515のNo)、Y軸方向を主とした斜め方向にXYZステージが移動される(ステップ519)。この際にも、ステップ517にて、撮影境界上の細胞の有無が判定される。
この場合の処理について、図18に示す第2及び第3の撮影領域412及び413を参考にして説明する。すなわち第2の撮影領域412の縁部521であり、第3の重なり領域430の縁部522に細胞が位置する場合、第3の撮影領域413の大きさは変更されずそのまま撮影される。一方、第3の重なり領域430の縁部522に細胞が位置する場合、第3の撮影領域413のY軸方向における大きさが、第3の重なり領域430のY軸方向における大きさyL分小さく設定される。これにより第3の撮影領域413のY軸方向における大きさはYL−yLとなり、第2及び第3の撮影領域412及び413が、第3の重なり領域430をそれぞれ有することなく撮影される。この結果、第3の重なり領域430内に位置する細胞には、1回分の励起光のみが照射されることになる。
図24は、撮影領域の境界上に細胞が位置するか否かを判定し、撮影領域の大きさを変更する処理の流れを示すフローチャートである。
まず境界ライン上の輝度信号の情報が取得される(ステップ521)。ここでいう境界ラインの輝度信号の情報とは、撮影された撮影領域と次に撮影される撮影領域との境界の輝度信号列の情報であり、撮影された撮影領域の画像データから取得される情報である。図22及び図23を例に挙げて説明すると、ステップ521にて、撮影された第1の撮影領域511の画像データから、第1の重なり領域520の縁部518に相当する部分の、各画素の輝度信号の列の情報が取得される。
ステップ521で取得された輝度信号情報に基づいて、境界ライン上の輝度信号列の分散値が算出される(ステップ522)。そして算出された分散値が予め設定された閾値を超えているか否かが判定される(ステップ523)。
分散値は、境界ライン上の輝度信号列の平均値から、各画素の輝度信号がどれだけ散らばっているかを示す値である。従って境界ライン上に細胞が位置する場合は分散値が大きくなり、細胞が位置しない場合には分散値は小さくなる。これにより算出された分散値が閾値よりも小さい場合には境界ライン上に細胞が位置しないと判定し、分散値が閾値よりも大きい場合には細胞が位置すると判定することができる。なお閾値は、例えば境界ライン上に細胞が位置する撮影領域と、細胞が位置しない撮影領域とを予め撮影しておき、それらの画像データをサンプルとして各分散値を算出することで設定すればよい。
細胞の有無を判定するパラメータとしては、上記した分散値に限られず、輝度信号列の標準偏差値や平均値が用いられてもよい。その他、輝度信号列内の最大輝度値及び最小輝度値の差である、いわゆるダイナミックレンジの大きさや、境界ライン上の高周波成分の量がパラメータとして用いられてもよい。あるいは撮影前に算出される細胞の位置の情報に基づいて、境界ライン上に細胞が位置するか否かが判定されてもよい。
図24に示すステップ523において、境界ライン上の輝度信号列の分散値が閾値を超えていると判定された場合(ステップ523のYes)、撮影領域の大きさは変更されず処理が終了する。
境界ライン上の輝度信号列の分散値が閾値を超えていないと判定された場合(ステップ523のNo)、撮影境界がX軸に垂直であるか否かが判定される(ステップ524)。撮影境界がX軸に垂直であるとは、上記した境界ラインがX軸に垂直であるということであり、例えば図22及び図23に示す状態である。この場合(ステップ524のYes)、図23(B)に示すように、第2の撮影領域512のX軸方向における大きさが、第1の重なり領域520のX軸方向における大きさxL分小さく設定される(ステップ525)。
一方、撮影境界がX軸に垂直ではないとは、上記した境界ラインがX軸に垂直ではないということであり、図18に示す第3の撮影領域413が撮影される状態である。この場合(ステップ524のNo)、図18に示す第3の撮影領域413のY軸方向における大きさが、第3の重なり領域430のY軸方向における大きさyL分小さく設定される(ステップ525)。
ステップ525又は526において、撮影領域の大きさの変更及び調整が完了すると処理は終了する。
なお、本実施形態で説明した境界ライン上に細胞が位置するか否かを判定し撮影領域の大きさを変更する処理は、上記した他の実施形態でも適用可能である。
<第6の実施形態>
本発明の第6の実施形態に係る情報処理装置としてのPCについて説明する。本実施形態に係るPCも、上記した各実施形態と同様に、光学顕微鏡及び撮像装置を含む撮像システムにおいて用いられる。そして本実施形態に係る撮像システムでは、光学顕微鏡の焦点方向であるZ軸方向(図1参照)にて、異なる焦点で同じ1つの試料が撮影され、焦点ごとの試料の画像が生成される。これは、いわゆるZ-stackと呼ばれ、試料の厚さ方向にも組織や細胞の形状等が異なる場合があるので、このような場合に対応するための機能である。
同じ試料が異なる焦点で撮影される場合、焦点ごとの画像が生成されるたびに、スティッチング処理のための複数の撮影領域が撮影されることになる。そうすると、各重なり領域における励起光の累積光量はさらに大きくなるので、褪色による試料の劣化も進む。しかしながら、上記した各実施形態では、各重なり領域における累積光量を減らすことができるので、異なる焦点ごとに試料が撮影される場合に有効である。
以下に示す本実施形態に係るPCの処理では、Z-stack機能により1つの試料が焦点を変えて複数回撮影されるときの、褪色による試料の劣化をさらに抑えることが可能である。
図25は、本実施形態に係るPCによるショットレイアウトの設定方法の概要を示すフローチャートである。図26は、図25に示すフローチャートの各ステップを説明するための模式的な図である。
図25に示すステップ601〜606は、第4の実施形態において説明した図17に示すフローチャートのステップ401〜406の処理と同様である。ステップ601〜606の処理が繰り返されることで、1つの焦点における試料の撮影が完了する。以下、図26に示すように、1つの焦点において撮影される複数の撮影領域615の群を、レイヤ625と記載する。
ステップ603で、1つの焦点におけるXY平面での撮影対象領域の撮影が完了し、図26に示す1つのレイヤ625aの撮影が完了したと判定された場合(ステップ603のYes)、他の焦点における他のレイヤ625の撮影が完了したか否かが判定される(ステップ607)。
他の焦点における他のレイヤ625の撮影が完了していないと判定された場合(ステップ607のNo)、他のレイヤ625の撮影のために、光学顕微鏡のXYZステージの初期位置が調整される(ステップ608)。まずPCのCPUが有するハードウェア制御部からの制御信号に基づいて、XYZステージがユーザが指定する移動量分だけZ軸方向に移動する。これにより図26に示すレイヤ625bの撮影が可能となる。なお他のレイヤ625を撮影するために焦点を変更する方法は、XYZステージの移動に限られない。例えば光学顕微鏡の鏡筒がZ軸方向で移動される、あるいは結像光学系が調整されることで焦点が変更されてもよい。
またハードウェア制御部からの制御信号に基づいて、XYZステージがXY平面方向に移動される。XYZステージは、レイヤ625の基準撮影領域635(上記第4の実施形態での第1の撮影領域411に相当)の位置座標に基づいて移動される。レイヤ625bの基準撮影領域635bの位置座標は、図26に示すように、前回撮影されたレイヤ625aの基準撮影領域635aの位置座標よりも、X軸方向及びY軸方向にそれぞれ大きさxL及びyL分オフセットされるように設定される。そしてレイヤ625bの基準撮影領域635bの位置座標に基づいて図25に示すステップ602〜606の処理が行われ、レイヤ625bが撮影される。これによりレイヤ625aが有する重なり領域645a(上記第4の実施形態での第1、第2及び第3の重なり領域420、440及び440に相当)と、レイヤ625bが有する重なり領域645bとが、XY平面上で同じ位置に配置されないように、レイヤ625a及び625bがそれぞれ撮影される。
以後、他のレイヤ625が撮影されるときには、ステップ608にて、図26の矢印Aが示すように各レイヤ625の基準撮影領域635の位置座標が、X軸方向及びY軸方向にそれぞれ大きさxL及びyL分オフセットされるように設定される。そして各基準撮影領域635の位置座標に基づいて、各レイヤ625が撮影される。
ステップ607にて、他の焦点における他のレイヤ625が撮影され、XYZの三次元空間の撮影が完了したと判定された場合(ステップ607のYes)、試料の撮影が終了する。
以上、本実施形態に係るPCによるショットレイアウトの設定方法では、1つの試料が異なる焦点ごとに複数回撮影されるときに、レイヤ625が各焦点での撮影ごとにレイアウトされる。各レイヤ625は、各重なり領域645がXY平面上で同じ位置に配置されないようにそれぞれレイアウトされる。これにより、1つの試料が異なる焦点において複数回撮影されるときに、試料の特定の領域に励起光等が集中して照射されることを防止することができる。この結果、撮影される試料の劣化を抑えることができる。
また本実施形態では、基準撮影領域635の位置座標が設定され、この位置座標に基づいてレイヤ625が有する他の撮影領域615の位置座標が設定された。すなわち基準撮影領域635の位置座標のみを適宜設定すればよいので、PCのCPUによる処理量を低減させることができ、短い処理時間で各レイヤ625を撮影することができる。しかしながら各レイヤ625の他の撮影領域615の位置座標の設定方法が、基準撮影領域635の位置座標に基づくものに限られる訳ではない。
なお本実施形態では、各レイヤ625の基準撮影領域635の位置座標が、X軸方向及びY軸方向にそれぞれ大きさxL及びyL分オフセットされるように設定された。しかしながらこれに限られず、各レイヤ625の重なり領域645が同じ位置に配置されないのであれば、各レイヤ625の基準撮影領域635の位置座標は適宜設定されてよい。例えば撮影される試料の形状や、撮影されるレイヤ625の数、各重なり領域645の大きさ等に基づいて、各レイヤ625の基準撮影領域635の位置座標は適宜設定されてよい。
本実施形態で説明した、異なる焦点ごとのレイヤが撮影されるときに、各レイヤの重なり領域が同じ位置に配置されないように、各レイヤの撮影領域の位置座標が設定される処理は、上記した他の実施形態でも適用可能である。
<その他の実施形態>
本発明に係る実施形態は、以上説明した実施形態に限定されず、他の種々の実施形態がある。
例えば、図15は、他の実施形態に係る複数の撮影領域450のショットレイアウトの例を示す模式的な図である。図15(A)では、第1列目に配置された複数の撮影領域450(以後、コラム1という)と、第3列目に配置された複数の撮影領域450(コラム3)とが、Y軸方向において同じ位置となるように、ショットレイアウトが設定されている。以後、コラム3の隣にコラム4が配置される場合には、コラム4の位置がコラム2の位置と同じなるように配置されればよい。
図15(B)では、各コラムが配置されるときに、左隣に配置されるコラムに対してY軸方向で所定の大きさtだけ下側にそのコラムが配置されるように、ショットレイアウトが設定されている。以後、コラム4が配置される場合には、コラム4の位置がコラム3に対してY軸方向で大きさtだけ下側に位置するように配置されればよい。
例えば、図15(A)及び(B)に示すようなショットレイアウトが予めデフォルトとして情報処理装置の記憶部等に記憶されていてもよい。撮影される試料306の全体形状に基づいて、記憶されているデフォルトのショットレイアウトが適宜用いられることで、複数の撮影領域の撮影時間を短縮することができる。
上記の各実施形態では、情報処理装置であるPCにより、複数の撮影領域のショットレイアウトが設定された。しかしながら、撮像装置200により、上記で説明したショットレイアウトが設定されてもよい。あるいは、例えば光学顕微鏡の機能を有するスキャナ装置等が、本発明の実施形態に係る、光学顕微鏡を搭載した撮像装置として用いられ、この撮像装置により、上記で説明したショットレイアウトが設定されてもよい。
また、光学顕微鏡により得られる像が撮影される場合に限られず、撮像装置により所定の大きさを有する撮影領域が撮影される場合に、本発明は適用可能である。すなわち、例えば組織等の蛍光現象が光学顕微鏡により拡大されることなく撮影される場合にも、組織等を撮影する撮像装置等により、上記の各実施形態で説明したショットレイアウトが設定されてもよい。
図1に示すように、第1の実施形態に係る光学顕微鏡300として、落射型蛍光顕微鏡が用いられた。しかしながら、透過型蛍光顕微鏡等の各種の蛍光顕微鏡が用いられてもよい。また光学顕微鏡として、例えば明視野顕微鏡等の蛍光顕微鏡以外のものが用いられてもよい。例えば、蛍光染色されていない試料が明視野顕微鏡にて拡大され、その像が撮影される場合、撮影領域が撮影されるごとに照明光が照射されることで、その照明光が励起光でなくでも、試料が劣化してしまうことがある。このような場合に、上記の各実施形態で説明したショットレイアウトが設定されることで、照明光による試料の劣化を抑えることができる。
上記の各実施形態で説明した、第1、第2及び第3の重なり領域や、隣接するコラム間にある重なり領域の大きさが、撮影領域が撮影されるごとに適宜設定されてもよい。例えば、コラム1が有する複数の第1の重なり領域の大きさが全て同じ大きさではなく、互いに異なってもよい。同様に、コラム2が有する複数の第2の重なり領域の大きさが互いに異なってもよい。撮影される試料の全体形状に基づいて、複数の第1、第2及び第3の重なり領域の各大きさが適宜設定されることで、必要とされる撮影領域の数を少なくすることができ、撮影時間を短縮することができる。
10、350、415、450、615…撮影領域
11、11a、11b、211、411、511…第1の撮影領域
12、12a、12b、212、412、512…第2の撮影領域
20、220、420、520…第1の重なり領域
40、240、440…第2の重なり領域
100…PC
101、401…CPU
200…撮像装置
201…撮像素子
203…カメラ制御部
300…光学顕微鏡
302…XYZステージ
303…照明光学系
304…結像光学系
305…観察領域
306、410…試料
315、315a、315b、315c…試料の縁部
400…撮像システム
413…第3の撮影領域
414…第4の撮影領域
416、645…重なり領域
430…第3の重なり領域
510…細胞
517…第1の撮影領域の縁部
518…第1の重なり領域の縁部
521…第2の撮影領域の縁部
522…第2の重なり領域の縁部
625…レイヤ

Claims (10)

  1. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定する第1の設定手段と、
    前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する第2の設定手段と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記撮像手段により撮影される被写体の縁部の位置座標を検出することが可能な検出手段をさらに具備し、
    前記第2の設定手段は、前記検出手段により検出された前記縁部の位置座標に基づいて基準となる前記第2の撮影領域である基準撮影領域の位置座標を設定し、前記基準撮影領域の位置座標に基づいて前記複数の第2の撮影領域の各位置座標を設定する
    情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記第1及び第2の方向が垂直方向及び水平方向としてそれぞれ設定される第1の方向設定パターンと、前記第1及び第2の方向が水平方向及び垂直方向としてそれぞれ設定される第2の方向設定パターンとのいずれかを選択する選択手段と、
    前記選択手段により前記第1の方向設定パターンが選択されたときに、前記検出手段により検出された前記被写体の前記縁部の位置座標を含むように前記位置座標が設定された、前記複数の第1及び第2の撮影領域が撮影されるために必要な時間と、前記選択手段により前記第2の方向設定パターンが選択されたときに、前記検出手段により検出された前記被写体の前記縁部の位置座標を含むように前記位置座標が設定された、前記複数の第1及び第2の撮影領域が撮影されるために必要な時間とを比較する比較手段と
    をさらに具備する情報処理装置。
  4. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定し、
    前記設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する
    ことを情報処理装置が実行する情報処理方法。
  5. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定し、
    前記設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する
    ことを情報処理装置に実行させるプログラム。
  6. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段と、
    前記撮像手段により撮影される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が、第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように設定する第1の設定手段と、
    前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で相互に重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する第2の設定手段と
    を具備する撮像装置。
  7. 照明光学系と、前記照明光学系の光路上に設けられた観察領域を有し互いに直交する2軸方向で移動可能であるステージと、前記観察領域内に配置され前記2軸方向でそれぞれ所定の大きさを有する撮影領域を結像する結像光学系とを有する光学顕微鏡と、
    前記結像光学系により結像される前記撮影領域の像を撮影することが可能な撮像手段と、
    前記観察領域に対する前記撮影領域の位置を変えるために前記ステージの移動を制御する移動制御手段と、
    前記結像光学系により結像される、前記2軸方向のうち第1の方向に沿って複数並ぶ第1の撮影領域の各位置座標を、相互に隣接する前記第1の撮影領域が第1の方向で重なり合う領域である第1の重なり領域をそれぞれ有するように設定する第1の設定手段と、
    前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標に基づいて、前記第1の方向に沿って複数並ぶ第2の撮影領域の各位置座標を、相互に隣接する前記第2の撮影領域が前記第1の方向で重なり合う第2の重なり領域をそれぞれ有するように、かつ、前記複数の第2の撮影領域が前記2軸方向のうち前記第1の方向と異なる第2の方向で前記複数の第1の撮影領域と重なるように、かつ、前記第2の重なり領域が前記第1の重なり領域と重ならないように設定する第2の設定手段と、
    前記第1の設定手段により設定された前記複数の第1の撮影領域の各位置座標の情報と、前記第2の設定手段により設定された前記複数の第2の撮影領域の各位置座標の情報とを、前記移動制御手段へ出力する出力手段と
    を具備する、光学顕微鏡を搭載した撮像装置。
  8. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向で並ぶ第1の撮影領域及び第2の撮影領域の各位置座標を、前記第1及び前記第2の撮影領域が第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように、かつ、前記2軸方向のうち前記第1の方向と異なる第2の方向における前記第1及び前記第2の撮影領域の各位置座標が相互に異なるように設定する第1の設定手段と、
    前記第1の設定手段により設定された前記第1及び前記第2の撮影領域の各位置座標に基づいて、前記第1の方向で並ぶ第3の撮影領域及び第4の撮影領域の各位置座標を、前記第3及び前記第4の撮影領域が前記第1の方向で相互に重なり合う領域である第2の重なり領域をそれぞれ有するように、かつ、前記第3及び前記第4の撮影領域が前記第2の方向で前記第1及び前記第2の撮影領域と第3の重なり領域で重なるように、かつ、前記第2の方向における前記第3及び前記第4の撮影領域の各位置座標を相互に異ならせることで前記第1、前記第2及び前記第3の重なり領域のいずれもが重なり合わないように設定する第2の設定手段と
    を具備する情報処理装置。
  9. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向で並ぶ第1の撮影領域及び第2の撮影領域の各位置座標を、前記第1及び前記第2の撮影領域が第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように、かつ、前記2軸方向のうち前記第1の方向と異なる第2の方向における前記第1及び前記第2の撮影領域の各位置座標が相互に異なるように設定し、
    前記第1の設定手段により設定された前記第1及び前記第2の撮影領域の各位置座標に基づいて、前記第1の方向で並ぶ第3の撮影領域及び第4の撮影領域の各位置座標を、前記第3及び前記第4の撮影領域が前記第1の方向で相互に重なり合う領域である第2の重なり領域をそれぞれ有するように、かつ、前記第3及び前記第4の撮影領域が前記第2の方向で前記第1及び前記第2の撮影領域と第3の重なり領域で重なるように、かつ、前記第2の方向における前記第3及び前記第4の撮影領域の各位置座標を相互に異ならせることで前記第1、前記第2及び前記第3の重なり領域のいずれもが重なり合わないように設定する
    ことを情報処理装置が実行する情報処理方法。
  10. 互いに直交する2軸方向でそれぞれ所定の大きさを有する撮影領域を撮影することが可能な撮像手段により撮影される、前記2軸方向のうち第1の方向で並ぶ第1の撮影領域及び第2の撮影領域の各位置座標を、前記第1及び前記第2の撮影領域が第1の方向で相互に重なり合う領域である第1の重なり領域をそれぞれ有するように、かつ、前記2軸方向のうち前記第1の方向と異なる第2の方向における前記第1及び前記第2の撮影領域の各位置座標が相互に異なるように設定し、
    前記第1の設定手段により設定された前記第1及び前記第2の撮影領域の各位置座標に基づいて、前記第1の方向で並ぶ第3の撮影領域及び第4の撮影領域の各位置座標を、前記第3及び前記第4の撮影領域が前記第1の方向で相互に重なり合う領域である第2の重なり領域をそれぞれ有するように、かつ、前記第3及び前記第4の撮影領域が前記第2の方向で前記第1及び前記第2の撮影領域と第3の重なり領域で重なるように、かつ、前記第2の方向における前記第3及び前記第4の撮影領域の各位置座標を相互に異ならせることで前記第1、前記第2及び前記第3の重なり領域のいずれもが重なり合わないように設定する
    ことを情報処理装置に実行させるプログラム。
JP2010146665A 2010-05-19 2010-06-28 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置 Pending JP2012003214A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010146665A JP2012003214A (ja) 2010-05-19 2010-06-28 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置
US13/102,232 US20110285838A1 (en) 2010-05-19 2011-05-06 Information processing apparatus, information processing method, program, imaging apparatus, and imaging apparatus equipped with optical microscope
CN2011101212526A CN102256057A (zh) 2010-05-19 2011-05-11 信息处理装置、方法及程序,以及摄像设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010115275 2010-05-19
JP2010115275 2010-05-19
JP2010146665A JP2012003214A (ja) 2010-05-19 2010-06-28 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置

Publications (1)

Publication Number Publication Date
JP2012003214A true JP2012003214A (ja) 2012-01-05

Family

ID=44972206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146665A Pending JP2012003214A (ja) 2010-05-19 2010-06-28 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置

Country Status (3)

Country Link
US (1) US20110285838A1 (ja)
JP (1) JP2012003214A (ja)
CN (1) CN102256057A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015037387A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
US9117149B2 (en) 2011-10-07 2015-08-25 Industrial Technology Research Institute Optical registration carrier
JP2015219515A (ja) * 2014-05-21 2015-12-07 オリンパス株式会社 画像表示方法、制御装置、顕微鏡システム
JP2017068302A (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
JP2019191274A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像光学系、及び、顕微鏡システム
WO2022102748A1 (ja) * 2020-11-12 2022-05-19 株式会社GramEye 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体
WO2022209443A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8386015B2 (en) * 2008-10-27 2013-02-26 Siemens Aktiengesellschaft Integration of micro and macro information for biomedical imaging
JP2014056078A (ja) * 2012-09-12 2014-03-27 Canon Inc 画像取得装置、画像取得システム及び顕微鏡装置
DK2951641T3 (en) * 2013-01-31 2017-06-12 Univ Danmarks Tekniske INFRARED UP-CONVERSION MICROSCOPE
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3007428A4 (en) 2013-06-06 2016-05-11 Panasonic Ip Man Co Ltd IMAGE ACQUISITION DEVICE, IMAGE ACQUISITION METHOD, AND PROGRAM
CN105554449B (zh) * 2015-12-11 2018-04-27 浙江宇视科技有限公司 一种用于快速拼接摄像机图像的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002254276A1 (en) * 2001-03-19 2002-10-03 Peter H. Bartels Miniaturized microscope array digital slide scanner
US7636465B2 (en) * 2005-12-09 2009-12-22 Cytyc Corporation Cross-frame object reconstruction for image-based cytology applications

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9117149B2 (en) 2011-10-07 2015-08-25 Industrial Technology Research Institute Optical registration carrier
WO2015037387A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
JP2015055849A (ja) * 2013-09-13 2015-03-23 オリンパス株式会社 撮像装置、顕微鏡システム、撮像方法及び撮像プログラム
US10254530B2 (en) 2013-09-13 2019-04-09 Olympus Corporation Imaging apparatus, microscope system, imaging method, and computer-readable recording medium
JP2015219515A (ja) * 2014-05-21 2015-12-07 オリンパス株式会社 画像表示方法、制御装置、顕微鏡システム
JP2017068302A (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
WO2017056599A1 (ja) * 2015-09-28 2017-04-06 株式会社Screenホールディングス 画像作成装置および画像作成方法
JP2019191274A (ja) * 2018-04-19 2019-10-31 オリンパス株式会社 撮像光学系、及び、顕微鏡システム
WO2022102748A1 (ja) * 2020-11-12 2022-05-19 株式会社GramEye 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体
WO2022209443A1 (ja) * 2021-03-29 2022-10-06 ソニーグループ株式会社 医療用画像解析装置、医療用画像解析方法及び医療用画像解析システム

Also Published As

Publication number Publication date
US20110285838A1 (en) 2011-11-24
CN102256057A (zh) 2011-11-23

Similar Documents

Publication Publication Date Title
JP2012003214A (ja) 情報処理装置、情報処理方法、プログラム、撮像装置、及び光学顕微鏡を搭載した撮像装置
JP5589619B2 (ja) 情報処理装置、ステージうねり補正方法、プログラム
JP5006062B2 (ja) バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP4917331B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP4917329B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP6274794B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像測定装置
US20130016919A1 (en) Information processing apparatus, information processing method, and program
JP6494294B2 (ja) 画像処理装置、及び撮像システム
JP2013201530A (ja) 撮像装置及びその制御方法
CN112415733B (zh) 控制显微镜拍摄试样图像的方法、***、设备及介质
JP5928308B2 (ja) 画像取得装置および画像取得方法
US20130063585A1 (en) Information processing apparatus, information processing method, and program
JP6069825B2 (ja) 画像取得装置、画像取得方法及び画像取得プログラム
JP2013114042A (ja) 画像取得装置、画像取得方法及び画像取得プログラム
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20130022268A1 (en) Image processing apparatus, image processing system, and image processing program
CN112505910B (zh) 用显微镜拍摄试样图像的方法、***、设备及介质
JP4878815B2 (ja) 顕微鏡装置
JP2013080144A (ja) 画像取得装置、画像取得方法、およびコンピュータプログラム
WO2018042786A1 (ja) 画像処理方法、画像処理装置、および撮像装置
JP2014222321A (ja) 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP5967197B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
CN113472984B (zh) 图像获取方法、装置、***、存储介质和设备