JP6572117B2 - 顕微鏡、画像貼り合わせ方法、プログラム - Google Patents
顕微鏡、画像貼り合わせ方法、プログラムInfo
- Publication number
- JP6572117B2 JP6572117B2 JP2015237840A JP2015237840A JP6572117B2 JP 6572117 B2 JP6572117 B2 JP 6572117B2 JP 2015237840 A JP2015237840 A JP 2015237840A JP 2015237840 A JP2015237840 A JP 2015237840A JP 6572117 B2 JP6572117 B2 JP 6572117B2
- Authority
- JP
- Japan
- Prior art keywords
- correction amount
- image
- microscope
- frame
- frame images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000012937 correction Methods 0.000 claims description 299
- 238000001514 detection method Methods 0.000 claims description 75
- 238000003384 imaging method Methods 0.000 claims description 50
- 239000002131 composite material Substances 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims 3
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/248—Base structure objective (or ocular) turrets
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/368—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements details of associated display arrangements, e.g. mounting of LCD monitor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/08—Mirrors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Description
画像貼り合わせ機能を有した顕微鏡分野に関する。
従来、顕微鏡分野では、異なる撮像領域で取得された複数のフレーム画像を貼り合わせることで、一枚の大きな貼り合わせ画像とする技術が知られている。
例えば、試料を載せた電動ステージを規定量移動させ、各位置でフレーム画像を取得し、電動ステージを移動させる際に電動ステージへ指定した位置座標に基づいて各フレーム画像を貼り合わせる、貼り合わせ技術が知られている。但し、指定した位置座標に基づいた上記の貼り合わせ技術では、移動後の電動ステージの実際の位置座標と電動ステージへ指定した位置座標との間に誤差をもつことから、貼り合わせる際に位置ずれが生じる。その結果として、移動後の電動ステージの実際の位置座標と指定した位置座標との間の誤差に起因した位置ずれが各貼り合わせ毎に累積されて、見栄えの悪い貼り合わせ画像ができてしまうという問題があった。
上記の問題を解決することができる別の画像貼り合わせ技術として、隣り合うフレーム画像の重複部分から特徴点を検出して、その特徴点に基づいて画像を貼り合わせるマッチング方式を用いたものが知られている（特許文献１）。
マッチング方式では、フレーム画像の重複部分において特徴点が見つからず、画像の貼り合わせが出来ないことがある。特に、試料の表面がよく研磨されたキズのない状態であれば、重複した狭い領域において特徴点を見つけることは難しい。
また、特徴点を誤検知した場合には、本来の特徴点から大きく離れた位置で貼り合わせを実行してしまう。誤検知であれば、貼り合わせの失敗として認識されないため、そのまま貼り合わせが実行されてしまい、大きなずれ量をもつ貼り合わせ画像ができてしまう。
以上の観点から、マッチング方式では、貼り合わせに成功すれば精度の良い貼り合わせ画像を得られる一方で、所望の貼り合わせ画像が得られない状況が往々にして起こり得ることから、信頼性に欠けるという問題があった。
そこで、本発明では、信頼性の高い貼り合わせ画像を取得できる顕微鏡、画像貼り合わせ方法、プログラムを提供することを目的とする。
本発明の一態様の顕微鏡は、試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、前記移動手段の位置情報を検出する位置検出手段と、前記撮像領域でフレーム画像を取得する画像取得手段と、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量を検出する第１の補正量検出手段であって、前記第１の補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記第１の補正量検出手段と、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する第２の補正量検出手段であって、前記第２の補正量は、前記指定された位置座標から前記位置検出手段で検出された前記位置情報である位置座標までの距離であるという、前記第２の補正量検出手段と、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択する補正量決定手段と、を備え、前記画像生成手段は、前記補正量決定手段によって選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを
特徴とする。
特徴とする。
本発明の別の態様の顕微鏡は、試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、前記移動手段の位置情報を検出する位置検出手段と、前記撮像領域でフレーム画像を取得する画像取得手段と、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量を検出する補正量検出手段であって、前記補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記補正量検出手段と、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択する補正量決定手段と、を備え、前記画像生成手段は、前記補正量決定手段によって前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量決定手段によって前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ
画像を構築することを特徴とする。
画像を構築することを特徴とする。
本発明の一態様の画像貼り合わせ方法は、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
本発明の別の画像貼り合わせ方法は、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
本発明の一態様のプログラムは、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
本発明の別の態様のプログラムは、指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、前記移動手段によって試料の撮像領域を変更し、前記移動手段の位置情報を検出し、前記撮像領域でフレーム画像を取得し、異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、前記補正量が
選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築することを特徴とする。
本発明によれば、信頼性の高い貼り合わせ画像を取得できる顕微鏡、画像貼り合わせ方法、プログラムを提供することができる。
以下、図を参照しつつ、本発明における第１の実施形態について説明する。図１は、本実施形態における顕微鏡１の構成図である。顕微鏡１は、それぞれが接続された顕微鏡本体１００と、コントローラ１２０と、画像表示手段１３０と、入力装置１４０を備えている。顕微鏡本体１００は、試料１０２を設置するステージ１０１と、試料１０２に光を照射する光学系及び、試料１０２からの光（反射光、蛍光含む）を検出するための検出光学系を備えている。
顕微鏡本体１００は、試料１０２に光を照射するための光学系として、レーザ光を射出する光源１０５と、コリメートレンズ１０６と、ハーフミラー１０７と、対物レンズ１０３と、複数の対物レンズ１０３を固定するレボルバ１０４を備えている。ハーフミラー１０７は、レーザ光と試料からの光とを区別するダイクロイックミラー等で置き換えてもよい。レボルバ１０４を回転させることによって使用される対物レンズ１０３が光路上に選択されると、光源１０５から射出されたレーザ光の一部が、ハーフミラー１０７を反射し、試料１０２へ照射される。
ここで、ステージ１０１及び顕微鏡本体１００のヘッド部１１２は、コントローラ１２０からの制御によって移動が可能である。ステージ１０１は、紙面横方向と紙面奥行き方向をそれぞれＸ軸、Ｙ軸としたＸＹ平面上を移動し、ヘッド部１１２は、紙面縦方向であるＺ方向を移動する。ＸＹ位置検出手段１１０及びＺ位置検出手段１１１は、例えばスケールであり、それぞれ位置情報としてステージ１０１とヘッド部１１２の位置座標を検出する。レーザ光を照射しながら、ステージ１０１及びヘッド部１１２が位置移動を行うことで、試料１０２表面上の異なった撮像領域をレーザ照射し、また、ピントの調節を行うことができる。
顕微鏡本体１００は、検出光学系として更に、結像レンズ１０８と、画像取得手段１０９を備えている。ここで、対物レンズ１０３とハーフミラー１０７は、検出光学系としても機能し、対物レンズ１０３を通過した試料１０２からの光の一部がハーフミラー１０７を透過し、画像取得手段１０９へ到達する。画像取得手段１０９は、例えばカメラであり、結像レンズ１０８で結像した光を取り込んで電気信号に変換し、コントローラ１２０に出力することで、撮像領域のフレーム画像を取得する。このとき、フレーム画像は、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１で検出された位置情報を併せ持っている。または、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１で検出された位置情報が、対応するフレーム画像と紐付けされている状態であってもよい。
コントローラ１２０は、各種の演算処理を行うコンピュータであり、例えば、図２（Ａ）に示すように、ＣＰＵ（Central Processing Unit）２１、メモリ２２、入力Ｉ／Ｆ装置２３、出力Ｉ／Ｆ装置２４、記憶装置２５、及び、可搬記録媒体２７が挿入される可搬記録媒体駆動装置２６を備え、これらがバス２８によって相互に接続されている。なお、図２（Ａ）は、コントローラ１２０の構成の一例であり、コントローラ１２０は、この構成に限定されるものではない。
ＣＰＵ２１は、所定のプログラムを実行して演算処理等を行う。メモリ２２は、例えば、ＲＡＭ（Random Access Memory）であり、プログラムの実行の際に、記憶装置２５または可搬記録媒体２７に記憶されているプログラムまたはデータを一時的に格納する。
入力Ｉ／Ｆ装置２３は、入力装置１４０、画像取得手段１０９、ＸＹ位置検出手段１１０、及びＺ位置検出手段１１１からの信号を受信する。出力Ｉ／Ｆ装置２４は、画像表示手段１３０、ステージ１０１、ヘッド部１１２へ信号を出力する。
記憶装置２５は、例えば、ハードディスク記憶装置であり、主に各種データやプログラムの保存に用いられる。可搬記録媒体駆動装置２６は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体２７を収容するもので、可搬記録媒体２７は、記憶装置２５を補助する役割を有する。
コントローラ１２０は、記憶装置２５または可搬記録媒体２７に記憶されているプログラムをＣＰＵ２１がメモリ２２にロードして実行することで、様々な機能を実現する。例えば、コントローラ１２０は、画像取得手段１０９によって取得された、異なる撮像領域におけるフレーム画像を貼り合わせることで一枚の貼り合わせ画像を生成する画像生成手段や、貼り合わせ画像を表示媒体である画像表示手段１３０へ表示させる画像表示制御手段として機能する。
図２（Ｂ）は、コントローラ１２０が有する主要な機能構成を示す。各機能構成は、ステージ１０１やヘッド部１１２の移動を制御する駆動制御部１２７と、規定値記憶部１２１と、第１の補正量検出手段１２２と、第２の補正量検出手段１２３と、補正量決定手段１２４と、画像生成手段１２５と、画像表示制御手段１２６にわけられる。
駆動制御部１２７では、ステージ１０１とヘッド部１１２を移動させる際に、指定された位置座標までの移動量を示す指示値を指定する。尚、指定された位置座標とは、画像取得手段１０９がフレーム画像を取得するための撮像領域を指定する位置座標であり、使用者が入力装置１４０を介して複数設定することができる。ステージ１０１とヘッド部１１２は、指示値に基づいて、指定された位置座標まで移動を行う。また、ステージ１０１やヘッド部１１２は、指示値に基づいて動くが、装置が移動する際の誤差や、温度、演算エラー等による位置ずれによって、指定された位置座標とずれた異なる位置に動くことがある。以下、ステージ１０１またはヘッド部１１２が動いた後の実際の位置座標と上述した本来の指定された位置座標との間の位置ずれの距離をずれ量と記載する。
第１の補正量検出手段１２２と第２の補正量検出手段１２３は、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。補正量とは、指定された位置座標からの位置ずれを補正するために必要な移動量である。
第１の補正量検出手段１２２は、後述する特徴点のマッチングを行う方法によって、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。第１の補正量検出手段１２２によって検出される補正量の算出値を、以下第１の補正量と記載する。
第１の補正量検出手段１２２は、後述する特徴点のマッチングを行う方法によって、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。第１の補正量検出手段１２２によって検出される補正量の算出値を、以下第１の補正量と記載する。
第２の補正量検出手段１２３は、後述する第１の補正量検出手段とは別の方法によって、画像取得手段１０９において取得された異なる撮像領域におけるフレーム画像を貼り合わせる際の、補正量を検出する手段である。第２の補正量検出手段１２３によって検出される補正量の算出値を、以下第２の補正量と記載する。
規定値記憶部１２１は、補正量を決定する際に用いる予め設定された規定値を記憶する。規定値は、補正の精度を保障するために設けられる値であり、およそ数μｍ程度である。
指定された位置座標と実際の位置座標との間の位置ずれは、主にステージ１０１やヘッド部１１２の移動精度に基づくものであるから、補正の精度を保障する値である規定値は、ステージ１０１やヘッド部１１２の移動精度に基づいて定められることが望ましい。さらに、規定値は、温度や演算エラー等の上記の位置ずれの要因となる他の要素に基づいて定められてもよい。また、ステージ１０１とヘッド部１１２に対してそれぞれ別の規定値が設けられていてもよい。
補正量決定手段１２４は、第１の補正量と規定値を比較することで、第１の補正量と第２の補正量のいずれかを選択する。より具体的には、補正量決定手段１２４は、第１の補正量が規定値以下である場合に第１の補正量を選択し、第１の補正量が規定値を上回る場合に第２の補正量を選択する。
画像生成手段１２５は、補正量決定手段１２４で選択された第１の補正量または第２の補正量のいずれかに基づいて、フレーム画像を貼り合わせることで、貼り合わせ画像を構築する。
画像表示制御手段１２６は、画像生成手段１２５が構築した貼り合わせ画像を表示媒体である画像表示手段１３０に出力することで、画像表示手段１３０に貼り合わせ画像を表示させる。
以上の構成を有する顕微鏡１を用いて画像の貼り合わせを行う方法と、第１、第２の補正量の検出方法を、以下、図面を参照しながら説明する。
図３は、本実施形態における顕微鏡１を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
まず、ステップＳ１１でステージ１０１上に試料１０２を搭載する。ステージ１０１は、駆動制御手段１２７が指定した指示値に基づき移動を行い、ヘッド部１１２は、撮像領域においてピントの調節を行う（ステップＳ１２）。ステップＳ１３において、画像取得手段１０９は、フレーム画像を取得する。尚、ここでは、画像貼り合わせに用いるフレーム画像を複数取得するため、複数の撮像領域を指定し、各撮像領域でステップＳ１２とステップＳ１３を繰り返し、指定した全ての撮像領域においてフレーム画像を取得する。
次にステップＳ１４において、第２の補正量検出手段１２３が、第２の補正量を検出する。第２の補正量検出手段１２３では、各々のフレーム画像のＸＹ位置検出手段１１０及びＺ位置検出手段１１１において検出された位置座標と、指定された位置座標との間の距離を検出することで、第２の補正量を得る。より具体的には、第２の補正量検出手段１２３は、各フレーム画像に対応する指定された位置座標に基づいてフレーム画像を仮想的に配置した場合において、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１において検出された位置座標と指定された位置座標との間の距離を検出することで第２の補正量を得る。
次にステップＳ１５において、第１の補正量検出手段１２２が、第１の補正量を検出する。図４は、ステージ１０１の移動方向であるＸＹ方向において、第１の補正量検出手段１２２が第１の補正量を検出する方法を示す図である。第１の補正量検出手段１２２は、２つのフレーム画像Ａ、Ｂの重複領域Ａ１、Ｂ１から、共通する特徴点である小領域ｆＡ、ｆＢを検出し、小領域ｆＡとｆＢの間の距離を検出することで、第１の補正量を得る。より具体的には、第１の補正量検出手段１２２は、各フレーム画像に対応する指定された位置座標に基づいてフレーム画像を仮想的に配置した場合において、小領域ｆＡとｆＢとの距離を検出することで、第１の補正量を得る。
図５は、ヘッド部１１２の移動方向であるＺ方向において、第１の補正量検出手段１２２が第１の補正量を検出する方法を示す図である。図４で例示した２つのフレーム画像Ａ、Ｂは、Ｚ方向の位置情報ももっており、共通する特徴点ｆＡ、ｆＢの最もピントの合うＺ位置座標が、フレーム画像Ａ、Ｂにおいてそれぞれｈ１、ｈ２であるとする。第１の補正量検出手段１２２は、ＸＹ方向において第１の補正量を検出した場合と同様に、ｈ１とｈ２の間の距離を検出することで、第１の補正量を得る。尚、特徴点は、２つのフレーム画像においてそれぞれ1つだけでなく、対応する複数の特徴点を検出して、補正量を得てもよい。
ステップＳ１６において、補正量決定手段１２４は、第１の補正量が規定値以下であるかどうかの判定を行う。ステップＳ１６の判定がＹｅｓの場合、補正量決定手段１２４は、第１の補正量を選択し、画像生成手段１２５は、選択された第１の補正量を用いてフレーム画像の貼り合わせを行う（ステップＳ１７）。
画像貼り合わせを行う際には、まず各フレーム画像を、指定された位置座標に配置した上で、算出した補正量を用いてずれ量を補正する。画像生成手段１２５は、補正された位置座標において各フレーム画像の画像貼り合わせを行う。
第１の補正量を用いて貼り合わせを行う方法は、所謂テンプレートマッチングである。図４において説明するならば、画像生成手段１２５は、第１の補正量を用いて小領域ｆＡ、ｆＢが合致するようにフレーム画像Ｂを移動させることでずれ量を補正する。尚ここでは、フレーム画像Ａを取得後、ステージ１０１を指示値に基づいて移動した後にフレーム画像Ｂを取得したものとする。図５において説明するならば、画像生成手段１２５は、第１の補正量を用いて小領域ｆＡ、ｆＢの最もピントが合うＺ位置座標が合致するようにフレーム画像ＢをＺ方向に移動させることでずれ量を補正する。尚ここでは、フレーム画像Ａを取得後、ヘッド部１１２を指示値に基づいて移動した後にフレーム画像Ｂを取得したものとする。この作業を各フレーム画像において行うことで、全てのフレーム画像においてずれ量を補正することができる。画像生成手段１２５は、補正された位置座標において画像貼り合わせを行う。
ステップＳ１６の判定がＮｏの場合、補正量決定手段１２４は、第２の補正量を選択し、画像生成手段１２５は、選択された第２の補正量を用いて各々のフレーム画像のずれ量を補正し、画像貼り合わせを行う（ステップＳ１８）。以上の手順によって画像貼り合わせを完了する。
以上のように、本実施形態における顕微鏡１によれば、第１の補正量検出手段１２２によって検出された第１の補正量を用いたテンプレートマッチングによる高精度の位置合わせを行うことによって、精度のよい画像貼り合わせを行うことができる。一方、第１の補正量がステージ１０１等の精度に基づいた規定値よりも大きな値を示すような場合、すなわち第１の補正量検出手段における第１の補正量の検出が正常に行われなかったことが想定される場合に、第２の補正量検出手段１２３によって検出された第２の補正量を用いて、画像貼り合わせを行う。これにより、画像貼り合わせに際して行う補正の精度を、少なくとも第２の補正量に基づいた値で保障することができる。
尚、第１の補正量の検出が正常に行われなかったような状況とは、例えば、フレーム画像同士の重複領域において特徴点が見つからず、または近似した異なる特徴点が多数含まれるような状況において、特徴点を誤検知したような場合である。特徴点を誤検知した場合には、一般にフレーム画像が本来貼り合わされる位置から大きくずれた位置に貼り合わされてしまうが、本実施形態における顕微鏡１を用いた画像貼り合わせによれば、少なくとも規定値以下の値である第２の補正量に基づいて貼り合わせが行われる。そのため、テンプレートマッチングが失敗した場合でも信頼性の高い貼り合わせ画像を取得することができる。
また、画像貼り合わせは、単体のフレーム画像同士を貼り合わせるものだけでなく、複数のフレーム画像が貼り合わさった貼り合わせ画像と一枚のフレーム画像とを貼り合わせるようなものも含む。
本実施形態では、ステージ１０１及びヘッド部１１２は、駆動制御部１２７によって制御されることで移動を行う電動式であるが、ステージ及びヘッド部の移動は電動ではなく、手動でもよい。手動の場合は、ＸＹ位置検出手段１１０及びＺ位置検出手段１１１のスケールをもとに使用者がフレーム画像の取得位置を決定してもよい。
また、顕微鏡１は、試料１０２のＸ、Ｙ、Ｚ軸方向への移動手段を備えているが、更にＸＹ平面上を回転するような移動手段を備えていてもよい。画像貼り合わせの際には、本実施形態における補正量の検出方法を用いて、回転方向に対する補正量を求めてもよい。
以下、第１の実施形態の変形例について説明する。
顕微鏡２は、コントローラ１２０の代わりにコントローラ２２０を備えている点において、顕微鏡１と異なっている。図６はコントローラ２２０の機能構成を示しており、コントローラ２２０は、第２の補正量検出手段１２３を備えておらず、補正量決定手段１２４と画像生成手段１２５の代わりに、補正量決定手段２２４と画像生成手段２２５を備えている点においてコントローラ１２０と異なっているが、それ以外の構成はコントローラ１２０と同様である。
以上の構成を有する顕微鏡２を用いてフレーム画像の貼り合わせを行う手順について、図７を参照しつつ説明する。図７は、本変形例における顕微鏡２を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
ステップＳ１１からステップＳ１３及びステップＳ１５からステップＳ１７については、図３のフローチャートに示した手順と同様のため説明を省略する。本変形例では、ステップＳ１３においてフレーム画像が取得された後、ステップＳ１５へ移行して第１の補正量を検出する。
ステップＳ１６で第１の補正量が規定値を上回った場合（判定がＮｏである場合）、ステップＳ２８に移行する。ステップＳ２８において、画像生成手段２２５は、補正量による補正を行わずに、フレーム画像の貼り合わせを行う。以上の手順によって画像の貼り合わせが完了する。
以上のように、本変形例における顕微鏡２においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。
尚、本変形例では、第２の補正量検出手段を用いずに貼り合わせ画像を取得する方法を記載したが、第１の実施形態の他の変形例として、顕微鏡が有するコントローラが少なくとも２つ以上の異なる第２の補正量検出手段を有しているような場合も考えられる。この場合では、第１の補正量検出手段におけるテンプレートマッチングが正常に行われなかった場合に、フレーム画像の補正が、規定値以下の値であるいずれかの第２の補正量に基づいて行われるものであればよい。
以下、本発明の第２の実施形態について説明する。図８は、本実施形態における顕微鏡３を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。顕微鏡３は、顕微鏡１と同様の構成であるため、顕微鏡３の構成については記載を省略する。
ステップＳ１１からステップＳ１４までは、第１の実施形態における図３のフローチャートに示した手順と同様のため説明を省略する。ステップＳ１４で第２の補正量が検出された後、ステップＳ３１へ移行する。
ステップＳ３１では、指定された位置座標に基づいて各フレーム画像を配置した上で、検出された第２の補正量を用いてフレーム画像の位置座標の補正を行う。ステップＳ３２では、ステップＳ３１で位置座標が補正された各フレーム画像を、指定された位置座標に基づいて仮想的に配置した場合において、ステップＳ３１で補正した位置座標と指定された位置座標との間の位置ずれを更に補正する第１の補正量を算出する。
ステップＳ１６は、第１の実施形態における図３のフローチャートに示した手順と同様である。ステップＳ１６において判定がＹｅｓの場合には、ステップＳ３３へ移行し、ステップＳ１６において判定がＮｏの場合には、ステップＳ３４へ移行する。
以下、ステップＳ３３またはステップＳ３４において画像貼り合わせを行う。ここで、ステップＳ３１で位置座標が補正された各フレーム画像を、指定された位置座標に配置する。ステップＳ３３では、算出した第１の補正量を用いて更にフレーム画像の位置座標を補正し、画像生成手段１２５が各フレーム画像の画像貼り合わせを行う。ステップＳ３４では、ステップＳ３１で補正した位置座標のまま各フレーム画像の画像貼り合わせを行う。以上の手順によって画像の貼り合わせが完了する。
以上のように、本実施形態における顕微鏡３においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。
本実施形態における画像貼り合わせでは、第２の補正量に基づいてフレーム画像の位置座標を補正した上で第１の補正量検出手段によって特徴点の抽出、及び、第１の補正量の検出が行われる。したがって、第２の補正量に基づいた位置座標の補正が行われない場合と比べて、フレーム画像の実際の位置座標と本来の指定された位置座標との間の位置ずれが小さい状態で第１の補正量の検出が行われるため、対応する特徴点をより近い位置で見つけることができ、特徴点の検出を行いやすい。また、対応する特徴点をより近い位置で見つけることができることから、第１の実施形態よりも特徴点を検出するサーチ範囲を狭めることができ、補正量検出時間、ひいては貼り合わせ時間の短縮が可能となる。
以下、本発明における第３の実施形態について説明する。顕微鏡４は、コントローラ１２０の代わりにコントローラ３２０を備えている点において、顕微鏡１と異なっているが、それ以外の構成は顕微鏡１と同様である。図９は、コントローラ３２０の構成を示しており、コントローラ３２０は、新たに画像処理手段１２８を備えている。
画像処理手段１２８は、第１の補正量検出手段１２２が、二つのフレーム画像の重複領域から特徴点を検出する際の、検出条件を変更するものである。検出条件の変更は、例えば、どの程度の形状の類似によって特徴点を検出するかといった、特徴点を検出する際のマッチング率の変更である。また、特徴点を検出する範囲であるサーチ範囲の変更も検出条件の変更に含まれる。
以下、図１０を参照しつつ、本発明の第３の実施形態における顕微鏡４を用いたフレーム画像の貼り合わせ手順について説明する。図１０は、本実施形態における顕微鏡４を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。
ステップＳ１１からステップＳ３３までは、第２の実施形態における図８のフローチャートに示した手順と同様のため説明を省略する。
ステップＳ１６で第１の補正量が規定値を上回った場合（判定がＮｏである場合）、ステップＳ４１に移行する。ステップＳ４１では、ステップＳ１６でｎ回Ｎｏと判定されたかどうかを判定する。尚、ｎは任意の数であって、ステップＳ４１は、後述するステップＳ１６からステップＳ４３の間の無限ループを防ぐために設定される。
ステップＳ４１の判定がＮｏである場合、ステップＳ４２へ移行する。ステップＳ４２では、画像処理手段１２８は、第１の補正量検出手段の検出条件を変更する。尚ここでは、検出条件はマッチング率であるものとして説明を続ける。特徴点の検出精度を上げることでテンプレートマッチングの成功率を上げることができるため、画像処理手段１２８は、マッチング率を増加させるように変更することが望ましい。
ステップＳ４２において検出条件を変更した上で、再度第１の補正量検出手段１２２によって第１の補正量を検出してＥへ移行する（ステップＳ４３）。以下、ステップＳ１６で第１の補正量が規定値以下となるか、ステップＳ４１でＹｅｓと判定されるまで、ステップＳ１６からステップＳ４３を繰り返す。
ステップＳ４１の判定がＹｅｓである場合、ステップＳ３１で補正した位置座標のまま各フレーム画像の画像貼り合わせを行う。（ステップＳ３４）。以上の手順によってフレーム画像の貼り合わせを完了する。
以上のように、本実施形態における顕微鏡４においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。また、本実施形態における画像貼り合わせでは、一度第１の補正量が規定値以上であると判定されても、検出条件を変更した上で再度第１の補正量を検出することができる。そのため、第１の補正量を用いた貼り合わせ画像を取得できる確率が上昇する。
また、画像処理手段１２８は、特徴点のサーチ範囲を規定値以内としてもよい。
以下、本発明における第４の実施形態について説明する。図１１は、本実施形態における顕微鏡５を用いたフレーム画像の貼り合わせ手順を示すフローチャートである。顕微鏡５は、顕微鏡１と同様の構成であるため、顕微鏡５の構成については記載を省略する。
ステップＳ１１からステップＳ３４までは、第２の実施形態における図８のフローチャートに示した手順と同様のため説明を省略する。
ステップＳ３３、またはステップＳ３４において画像貼り合わせを行ったとき、全てのフレーム画像において貼り合わせが完了したかどうかを判定する（ステップＳ５１）。ステップＳ５１の判定がＮｏである場合、ステップＳ１４へ移行し、以下全てのフレーム画像において貼り合わせが完了するまでステップＳ１４からステップＳ５１を繰り返す。
ステップＳ５１の判定がＹｅｓである場合、ステップＳ５２へ移行する。ステップＳ５２では、画像表示制御手段１２６は、フレーム画像の貼り合わせに使用した第１の補正量と第２の補正量の使用頻度の割合を画像表示手段１３０に表示する。図１２は、第１の補正量と第２の補正量の使用頻度の割合を表示している状態の画像表示手段１３０を示している。領域Ｃにおいて、貼り合わせ画像が示されており、領域Ｄにおいて、画像貼り合わせに用いた第１の補正量と第２の補正量の使用頻度の割合が棒グラフとして示されている。第１の補正量と第２の補正量の割合を示す手段は上記の方法に限らず、例えば円グラフや数値として示してもよい。以上の手順によってフレーム画像の貼り合わせを完了する。
以上のように、本実施形態における顕微鏡５においても、第１の補正量の検出が失敗した場合に、大きくずれた位置に貼り合わされてしまうことを防ぐことができ、信頼性の高い貼り合わせ画像を取得することができる。また、以上のような方法によれば、フレーム画像の貼り合わせに使用した第１の補正量と第２の補正量の使用頻度の割合を知ることができるため、貼り合わせ画像における精度を確認することができる。
また、画像表示制御手段１２６は、画像表示手段１３０において補正量の割合を表示する代わりに、取得した貼り合わせ画像に補正量の使用頻度の割合の情報を入れて保存してもよい。
上述した第１から第４の実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。顕微鏡は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。
１、２、３、４、５ 顕微鏡
２１ ＣＰＵ
２２ メモリ
２３ 入力Ｉ/Ｆ装置
２４ 出力Ｉ/Ｆ装置
２５ 記憶装置
２６ 可搬記憶媒体駆動装置
２７ 可搬記憶媒体
２８ バス
１００ 顕微鏡本体
１０１ ステージ
１０２ 試料
１０３ 対物レンズ
１０４ レボルバ
１０５ 光源
１０６ コリメートレンズ
１０７ ハーフミラー
１０８ 結像レンズ
１０９ 画像取得手段
１１０ ＸＹ位置検出手段
１１１ Ｚ位置検出手段
１１２ ヘッド部
１２０、２２０、３２０ コントローラ
１２１ 規定値記憶部
１２２ 第１の補正量検出手段
１２３ 第２の補正量検出手段
１２４、２２４ 補正量決定手段
１２５、２２５ 画像生成手段
１２６ 画像表示制御手段
１２７ 駆動制御部
１２８ 画像処理手段
１３０ 画像表示手段
１４０ 入力装置
Ａ、Ｂ、Ｃ、Ｄ、Ａ１、Ｂ１、ｆＡ、ｆＢ 領域
ｈ１、ｈ２ 位置座標
２１ ＣＰＵ
２２ メモリ
２３ 入力Ｉ/Ｆ装置
２４ 出力Ｉ/Ｆ装置
２５ 記憶装置
２６ 可搬記憶媒体駆動装置
２７ 可搬記憶媒体
２８ バス
１００ 顕微鏡本体
１０１ ステージ
１０２ 試料
１０３ 対物レンズ
１０４ レボルバ
１０５ 光源
１０６ コリメートレンズ
１０７ ハーフミラー
１０８ 結像レンズ
１０９ 画像取得手段
１１０ ＸＹ位置検出手段
１１１ Ｚ位置検出手段
１１２ ヘッド部
１２０、２２０、３２０ コントローラ
１２１ 規定値記憶部
１２２ 第１の補正量検出手段
１２３ 第２の補正量検出手段
１２４、２２４ 補正量決定手段
１２５、２２５ 画像生成手段
１２６ 画像表示制御手段
１２７ 駆動制御部
１２８ 画像処理手段
１３０ 画像表示手段
１４０ 入力装置
Ａ、Ｂ、Ｃ、Ｄ、Ａ１、Ｂ１、ｆＡ、ｆＢ 領域
ｈ１、ｈ２ 位置座標
Claims (13)
- 試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、
前記移動手段の位置情報を検出する位置検出手段と、
前記撮像領域でフレーム画像を取得する画像取得手段と、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量を検出する第１の補正量検出手段であって、前記第１の補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記第１の補正量検出手段と、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する第２の補正量検出手段であって、前記第２の補正量は、前記指定された位置座標から前記位置検出手段で検出された前記位置情報である位置座標までの距離であるという、前記第２の補正量検出手段と、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択する補正量決定手段と、を備え、
前記画像生成手段は、前記補正量決定手段によって選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする顕微鏡。 - 請求項１に記載の顕微鏡において、
前記補正量決定手段は、前記第１の補正量が前記規定値以下である場合に前記第１の補正量を選択し、前記第１の補正量が前記規定値を上回る場合に前記第２の補正量を選択する
ことを特徴とする顕微鏡。 - 請求項１に記載の顕微鏡において、
前記補正量決定手段は、前記第１の補正量が前記規定値以下である場合に前記第１の補正量を選択し、前記第１の補正量が前記規定値を上回る場合には、再度前記規定値と前記第１の補正量を比較し、
前記第１の補正量検出手段は、複数の検出条件をもち、前記補正量決定手段において前記第１の補正量が前記規定値を上回る場合に、前記補正量決定手段が再度前記規定値と前記第１の補正量の比較を行う前に、前記検出条件を変更して再度前記第１の補正量を検出する
ことを特徴とする顕微鏡。 - 請求項１乃至請求項３のいずれか１項に記載の顕微鏡において、
前記第１の補正量検出手段は、前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記第１の補正量を検出する
ことを特徴とする顕微鏡。 - 請求項１乃至請求項４のいずれか１項に記載の顕微鏡において、更に、
前記移動手段として、前記試料を搭載して移動可能なステージを備え、
前記位置検出手段は、前記ステージの位置座標を検出し、
前記第２の補正量検出手段は、前記フレーム画像に対応する前記ステージの位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量を検出する
ことを特徴とする顕微鏡。 - 請求項５に記載の顕微鏡において、さらに、
前記第１の補正量検出手段が前記第１の補正量を検出する前に、前記第２の補正量に基づいて前記フレーム画像の位置座標の補正を行う事前位置補正手段を備える
ことを特徴とする顕微鏡。 - 請求項５または請求項６に記載の顕微鏡において、
前記規定値は、前記ステージの移動精度に基づいて定められる値である
ことを特徴とする顕微鏡。 - 請求項１乃至請求項７のいずれか１項に記載の顕微鏡において、さらに、
前記貼り合わせ画像を表示媒体に出力する画像表示制御手段を備え、
前記画像表示制御手段は、前記貼り合わせ画像を構築する際に用いた前記第１の補正量と前記第２の補正量の割合を前記表示媒体に出力する
ことを特徴とする顕微鏡。 - 試料の撮像領域を変更するための移動手段であって、指定された位置座標までの移動量を示す指示値に基づいて移動する前記移動手段と、
前記移動手段の位置情報を検出する位置検出手段と、
前記撮像領域でフレーム画像を取得する画像取得手段と、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像生成手段と、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量を検出する補正量検出手段であって、前記補正量は、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離であるという、前記補正量検出手段と、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択する補正量決定手段と、を備え、
前記画像生成手段は、前記補正量決定手段によって前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記
補正量決定手段によって前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする顕微鏡。 - 指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、
選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする画像貼り合わせ方法。 - 指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の第１の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記第１の補正量を検出し、
前記フレーム画像に対応する前記位置情報を用いて、前記フレーム画像を貼り合わせる際の第２の補正量であって、前記指定された位置座標から前記位置情報である位置座標までの距離である前記第２の補正量を検出し、
予め設定された規定値と前記第１の補正量を比較することで、前記第１の補正量と前記第２の補正量のいずれかを選択し、
選択された前記第１の補正量若しくは前記第２の補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とするプログラム。 - 指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像
を貼り合わせて、貼り合わせ画像を構築する画像貼り合わせ方法であって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、
前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とする画像貼り合わせ方法。 - 指定された位置座標までの移動量を示す指示値に基づいて移動する移動手段を有する顕微鏡において、
前記移動手段によって試料の撮像領域を変更し、
前記移動手段の位置情報を検出し、
前記撮像領域でフレーム画像を取得し、
異なった複数の前記撮像領域で前記画像取得手段によって取得された前記フレーム画像を貼り合わせて、貼り合わせ画像を構築するプログラムであって、
前記フレーム画像から特徴点を抽出し、前記抽出した特徴点に基づいて前記フレーム画像を貼り合わせる際の補正量であって、前記指定された位置座標から前記特徴点のパターンマッチングに基づいて算出した座標までの距離である前記補正量を検出し、
予め設定された規定値と前記補正量を比較し、前記補正量が前記規定値以下である場合にのみ前記補正量を選択し、
前記補正量が選択された場合に前記補正量に基づいて前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築し、前記補正量が選択されない場合に、補正することなく前記フレーム画像を貼り合わせて、前記貼り合わせ画像を構築する
ことを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015237840A JP6572117B2 (ja) | 2015-12-04 | 2015-12-04 | 顕微鏡、画像貼り合わせ方法、プログラム |
| US15/352,695 US10163240B2 (en) | 2015-12-04 | 2016-11-16 | Microscope and image pasting method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015237840A JP6572117B2 (ja) | 2015-12-04 | 2015-12-04 | 顕微鏡、画像貼り合わせ方法、プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017102405A JP2017102405A (ja) | 2017-06-08 |
| JP6572117B2 true JP6572117B2 (ja) | 2019-09-04 |
Family
ID=58798462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015237840A Active JP6572117B2 (ja) | 2015-12-04 | 2015-12-04 | 顕微鏡、画像貼り合わせ方法、プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10163240B2 (ja) |
| JP (1) | JP6572117B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018066845A (ja) * | 2016-10-19 | 2018-04-26 | オリンパス株式会社 | 顕微鏡システム |
| DE102020113454A1 (de) * | 2020-05-19 | 2021-11-25 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren zum Erzeugen eines aus mehreren mikroskopischen Einzelbildern zusammengesetzten Bildes |
| WO2023210185A1 (ja) * | 2022-04-26 | 2023-11-02 | 国立研究開発法人 産業技術総合研究所 | 顕微鏡画像情報処理方法、顕微鏡画像情報処理システム、およびコンピュータプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3832895B2 (ja) * | 1996-05-28 | 2006-10-11 | キヤノン株式会社 | 画像合成装置及び画像合成システム |
| US5990901A (en) * | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
| JP4146938B2 (ja) * | 1998-09-08 | 2008-09-10 | オリンパス株式会社 | パノラマ画像合成装置及びパノラマ画像合成プログラムを格納した記録媒体 |
| JP2005004718A (ja) * | 2003-05-16 | 2005-01-06 | Canon Inc | 信号処理装置及び制御方法 |
| JP4346366B2 (ja) * | 2003-07-25 | 2009-10-21 | 株式会社リコー | 複数画像の合成方法 |
| US7792338B2 (en) * | 2004-08-16 | 2010-09-07 | Olympus America Inc. | Method and apparatus of mechanical stage positioning in virtual microscopy image capture |
| JP4951496B2 (ja) * | 2007-12-26 | 2012-06-13 | 株式会社日立ハイテクノロジーズ | 画像生成方法及びその画像生成装置 |
| US20090324098A1 (en) * | 2008-06-27 | 2009-12-31 | Sony Ericsson Mobile Communications Ab | Mobile phone with selective photographic system and method |
| JP5096303B2 (ja) * | 2008-12-12 | 2012-12-12 | 株式会社キーエンス | 撮像装置 |
| WO2010114117A1 (ja) * | 2009-04-03 | 2010-10-07 | 株式会社日立ハイテクノロジーズ | 合成画像作成方法及び装置 |
| JP5562653B2 (ja) * | 2010-01-06 | 2014-07-30 | オリンパス株式会社 | バーチャルスライド作成装置およびバーチャルスライド作成方法 |
| JP2012052921A (ja) * | 2010-09-01 | 2012-03-15 | Olympus Corp | 撮像システム |
| JP2013058124A (ja) * | 2011-09-09 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| EP2804038B1 (en) * | 2012-01-11 | 2018-11-14 | Sony Corporation | Information processing device, imaging control method, program, digital microscope system |
| JP6091866B2 (ja) * | 2012-11-30 | 2017-03-08 | 株式会社キーエンス | 計測顕微鏡装置、画像生成方法及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体 |
| JP6684646B2 (ja) * | 2016-05-13 | 2020-04-22 | オリンパス株式会社 | 画像取得装置 |
| JP6770828B2 (ja) * | 2016-05-19 | 2020-10-21 | オリンパス株式会社 | 顕微鏡 |
-
2015
- 2015-12-04 JP JP2015237840A patent/JP6572117B2/ja active Active
-
2016
- 2016-11-16 US US15/352,695 patent/US10163240B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10163240B2 (en) | 2018-12-25 |
| JP2017102405A (ja) | 2017-06-08 |
| US20170161930A1 (en) | 2017-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8581162B2 (en) | Weighting surface fit points based on focus peak uncertainty | |
| JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
| US9759548B2 (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
| JP6239232B2 (ja) | 高性能エッジフォーカスツール | |
| CN109426835B (zh) | 信息处理装置、信息处理装置的控制方法和存储介质 | |
| JP5972563B2 (ja) | 構造化照明を用いるエッジ検出 | |
| US20160103443A1 (en) | Method for programming a three-dimensional workpiece scan path for a metrology system | |
| US9444995B2 (en) | System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system | |
| JP6355411B2 (ja) | エッジ検出方法 | |
| JPWO2005074288A1 (ja) | 撮像装置、撮像レンズ、撮像レンズへのデータ書込方法 | |
| US10120163B2 (en) | Auto-focus method for a coordinate-measuring apparatus | |
| TW201510878A (zh) | 計測裝置 | |
| JP6572117B2 (ja) | 顕微鏡、画像貼り合わせ方法、プログラム | |
| JP7167418B2 (ja) | 位置制御システム、位置検出装置、および制御プログラム | |
| US10249058B2 (en) | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method | |
| JP2000346638A (ja) | 測定手順ファイル生成方法、測定装置および記憶媒体 | |
| JP5074319B2 (ja) | 画像計測装置及びコンピュータプログラム | |
| JP2017076248A (ja) | テンプレートマッチングを用いた検査装置および検査方法 | |
| CN110044296B (zh) | 3d形状的自动跟踪方法和测量机 | |
| JPWO2012026180A1 (ja) | 情報取得装置および物体検出装置 | |
| JP2000205821A (ja) | 三次元形状計測装置及びその三次元形状計測方法 | |
| JP2005031205A (ja) | 角度検出装置及びそれを備えたプロジェクタ | |
| KR101110848B1 (ko) | Ｌｖｓ를 이용한 개선 부재 최외각점 위치 측정 방법 및 장치 | |
| JP6419471B2 (ja) | 測定顕微鏡、試料の傾き補正を支援する方法 | |
| JP2019115923A (ja) | 芯出し装置、レーザ加工機、レーザ加工機の芯出し方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190718 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190809 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6572117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |