JP5887766B2

JP5887766B2 - Microscope control apparatus, image processing apparatus, microscope apparatus, and program

Info

Publication number: JP5887766B2
Application number: JP2011189803A
Authority: JP
Inventors: 高橋　秀夫; 秀夫高橋
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-08-31
Filing date: 2011-08-31
Publication date: 2016-03-16
Anticipated expiration: 2031-08-31
Also published as: JP2013050667A

Description

本発明は、顕微鏡制御装置、画像処理装置、顕微鏡装置およびプログラムに関する。 The present invention relates to a microscope control apparatus, an image processing apparatus, a microscope apparatus, and a program.

従来から、被検物（例えば細胞）の多点タイムラプス観察を行うときに、顕微鏡装置で撮像された複数の画像を１画面内に格子状に配列して一括表示することが行われている。 Conventionally, when performing multipoint time-lapse observation of a test object (for example, a cell), a plurality of images captured by a microscope apparatus are arranged in a grid pattern on one screen and displayed collectively.

特開２００６−２２０９０４号公報JP 2006-220904 A

従来の技術では、各々の画像が培養容器のどの部分の細胞を撮像したものかをユーザが直感的に把握することが困難であった。また、従来の技術では、培養容器内で細胞がどのように移動したかを把握できない点で改善の余地があった。 In the prior art, it is difficult for the user to intuitively grasp which part of the culture vessel each cell is captured by each image. In addition, the conventional technique has room for improvement in that it is impossible to grasp how cells move in the culture vessel.

上記事情に鑑み、被検物間の位置関係や被検物の移動状態を把握しやすい画像表示を実現する手段を提供する。 In view of the above circumstances, there is provided means for realizing an image display that makes it easy to grasp the positional relationship between the specimens and the movement state of the specimen.

本発明の一態様である顕微鏡制御装置は、顕微鏡装置の対物レンズによって結像された被検物の画像を撮像する撮像部と、前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、表示装置の表示領域に撮像された時系列に従って前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、を備え、前記追尾処理部は、前記画像の撮像範囲を超えて前記被検物が拡張するときに、前記被検物が拡張する方向に且つ前記撮像部の撮像範囲が一部重複するように、前記被検物に対する撮像ポイントを追加し、前記撮像部は、前記追尾処理部により追尾した撮像範囲の画像及び追加された前記撮像ポイントに基づく撮像範囲の画像を取得し、前記情報取得部は、前記追尾処理部により追尾した撮像範囲の画像及び前記追加された前記撮像ポイントに基づく撮像範囲の画像に含まれる同一の被検物に対して共通の識別情報を付与する。 A microscope control apparatus according to one aspect of the present invention includes an imaging unit that captures an image of a test object formed by an objective lens of a microscope apparatus, and a relative position between the objective lens and the test object. A position adjustment unit that adjusts in a direction crossing the optical axis of the lens, and when imaging a plurality of images with different imaging times for the same specimen, the imaging range of the imaging unit is tracked in the moving direction of the specimen A tracking processing unit, an information acquisition unit that acquires information on imaging coordinates in a direction that intersects with the optical axis of the objective lens when imaging the test object, and a display area of the display device A display control unit that displays only the image according to a time series captured in the display area and displays only the image at a position where the imaging coordinates are mapped in the display area, and the tracking processing unit includes: Image capture range When the test object expands beyond the imaging point, an imaging point is added to the test object so that the imaging range of the test object extends and the imaging range of the imaging unit partially overlaps, and the imaging The acquisition unit acquires an image of the imaging range tracked by the tracking processing unit and an image of the imaging range based on the added imaging point, and the information acquisition unit and the image of the imaging range tracked by the tracking processing unit Common identification information is given to the same test object included in the image of the imaging range based on the added imaging point.

本発明の他の態様である画像処理装置は、取得部と、表示制御部とを備える。取得部は、上記の顕微鏡制御装置から、時系列に撮像された複数の画像を各々の撮像座標の情報とともに取得する。表示制御部は、表示装置の表示領域に撮像された時系列に従って画像のみを表示させるとともに、表示領域内で撮像座標が写像される位置に画像のみを表示させる。 An image processing apparatus according to another aspect of the present invention includes an acquisition unit and a display control unit. The acquisition unit acquires a plurality of images captured in time series from the above-described microscope control apparatus together with information on each imaging coordinate. The display control unit displays only the image according to the time series captured in the display area of the display device, and displays only the image at a position where the imaging coordinates are mapped in the display area.

本発明の他の態様である顕微鏡装置は、対物レンズと、被検物を載置し、前記対物レンズの光軸に対して垂直方向に移動可能な移動ステージと、前記移動ステージを移動させるステージ駆動手段と、前記被検物を撮像する撮像位置である、前記対物レンズの光軸に対する垂直方向の前記移動ステージの位置を検出するステージ位置検出手段と、同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、撮像装置の撮像範囲を前記被検物の移動方向に追尾させる追尾処理手段と、前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、撮影位置情報として前記画像に対応付けて取得する情報取得手段と、前記撮像装置で撮像された画像を撮像された時系列に従って表示装置に表示する際、前記撮像位置情報に基づいた前記被検物の相対的な位置関係を反映させるように、撮像した前記画像のみを前記表示装置の表示領域に表示する表示制御装置と、を備え、前記追尾処理手段は、前記画像の撮像範囲を超えて前記被検物が拡張するときに、前記被検物が拡張する方向に且つ前記撮像装置の撮像範囲が一部重複するように、前記被検物に対する撮像ポイントを追加し、前記撮像装置は、前記追尾処理手段により追尾した前記撮像範囲の画像及び追加された前記撮像ポイントに基づく撮像範囲の画像を取得し、前記情報取得手段は、前記追尾処理手段により追尾した撮像範囲の画像及び前記追加された前記撮像ポイントに基づく撮像範囲の画像に含まれる同一の被検物に対して共通の識別情報を付与する。 A microscope apparatus according to another aspect of the present invention includes an objective lens, a moving stage on which a test object is placed and movable in a direction perpendicular to the optical axis of the objective lens, and a stage for moving the moving stage A plurality of drive times and stage position detection means for detecting the position of the moving stage in a direction perpendicular to the optical axis of the objective lens, which are imaging positions for imaging the test object, and a plurality of imaging times for the same test object A tracking processing means for tracking an imaging range of the imaging device in the moving direction of the test object when imaging an image of the test object, and imaging in a direction intersecting the optical axis of the objective lens when the test object is imaged Information acquisition means for acquiring coordinate information in association with the image as shooting position information, and when displaying the image taken by the imaging device on the display device according to the time series taken, the imaging position A display control device that displays only the captured image in a display area of the display device so as to reflect a relative positional relationship of the test object based on information, and the tracking processing means When the test object extends beyond the imaging range of the image, an imaging point for the test object is added so that the imaging range of the test object extends and the imaging range of the imaging device partially overlaps The imaging apparatus acquires the image of the imaging range tracked by the tracking processing unit and the image of the imaging range based on the added imaging point, and the information acquisition unit captures the imaging tracked by the tracking processing unit. Common identification information is given to the same test object included in the image of the range and the image of the imaging range based on the added imaging point.

なお、コンピュータを上記の顕微鏡制御装置または上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の顕微鏡制御装置または上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。 Note that a program that causes a computer to operate as the above microscope control device or the above image processing device, a storage medium that stores the program, and an operation of the above microscope control device or the above image processing device are represented by method categories. Any of these is effective as a specific embodiment of the present invention.

表示装置の表示領域に画像を動画表示させるときに、表示領域内で撮像座標が写像される位置に画像を表示させることで、被検物間の位置関係や被検物の移動状態を把握しやすい画像表示を実現する。 When displaying an image as a moving image in the display area of the display device, the image is displayed at the position where the imaging coordinates are mapped in the display area, so that the positional relationship between the specimens and the movement state of the specimen can be grasped. Realize easy image display.

第１実施形態の顕微鏡システムの構成例を示す図The figure which shows the structural example of the microscope system of 1st Embodiment. 第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図The flowchart which shows the operation example in the time-lapse observation in the microscope system of 1st Embodiment. （ａ），（ｂ）：図２の＃１０６での処理の概要図(A), (b): Overview of processing in # 106 of FIG. 図２の＃１０８での処理の概要図Overview of processing in # 108 of FIG. 図２の＃１０９、＃１１０での処理の概要図Overview of processing at # 109 and # 110 in FIG. 画像の再生表示例を示す図Figure showing an example of image playback display 画像の再生表示例を示す図Figure showing an example of image playback display 画像の再生表示例を示す図Figure showing an example of image playback display 第２実施形態の画像処理装置の構成例を示す図The figure which shows the structural example of the image processing apparatus of 2nd Embodiment. 培養装置を有する顕微鏡の構成例を示す図The figure which shows the structural example of the microscope which has a culture apparatus

＜第１実施形態の説明＞
図１は、顕微鏡装置および顕微鏡制御装置の一例である第１実施形態の顕微鏡システムの構成例を示す図である。 <Description of First Embodiment>
FIG. 1 is a diagram illustrating a configuration example of a microscope system according to the first embodiment which is an example of a microscope apparatus and a microscope control apparatus.

顕微鏡システムは、標本１が載置される移動ステージ１１と、顕微鏡装置１２と、コンピュータ１３と、画像を表示する表示装置１４と、画像等を記憶する記憶装置１５と、ユーザの入力を受け付ける入力装置１６とを有する。移動ステージ１１、顕微鏡装置１２、表示装置１４、記憶装置１５、入力装置１６は、それぞれコンピュータ１３に接続されている。また、一例として、第１実施形態での標本１は、観察対象の被検物（複数の細胞）が培地とともに収納された培養容器である。 The microscope system includes a moving stage 11 on which a specimen 1 is placed, a microscope device 12, a computer 13, a display device 14 that displays an image, a storage device 15 that stores an image, and the like, and an input that accepts user input. Device 16. The moving stage 11, the microscope device 12, the display device 14, the storage device 15, and the input device 16 are connected to the computer 13, respectively. Moreover, as an example, the sample 1 in the first embodiment is a culture container in which a test object (a plurality of cells) to be observed is stored together with a culture medium.

移動ステージ１１は、顕微鏡装置１２の対物レンズ３１の光学系の光軸ＡＸに対して垂直な方向（図１に示すＸ方向およびＹ方向）へそれぞれ移動可能である。この移動により、標本１に対する顕微鏡装置１２の視野（観察領域）の位置調節や焦点調節が行われる。移動ステージ１１のＸＹ方向への駆動は、コンピュータ１３に接続されたモータユニット２１（位置調整手段、ステージ駆動手段）によって行われる。また、移動ステージ１１には、ステージのＸＹ方向位置を検出するエンコーダ２２（ステージ位置検出手段）が設けられており、このステージのＸＹ方向の位置情報はコンピュータ１３に入力される。 The moving stage 11 is movable in directions perpendicular to the optical axis AX of the optical system of the objective lens 31 of the microscope apparatus 12 (X direction and Y direction shown in FIG. 1). By this movement, position adjustment and focus adjustment of the visual field (observation region) of the microscope apparatus 12 with respect to the specimen 1 are performed. The moving stage 11 is driven in the X and Y directions by a motor unit 21 (position adjusting means, stage driving means) connected to the computer 13. The moving stage 11 is provided with an encoder 22 (stage position detecting means) for detecting the position of the stage in the X and Y directions, and the position information of the stage in the X and Y directions is input to the computer 13.

顕微鏡装置１２は、対物レンズ３１、焦点調節機構３２、励起光照明装置３３、蛍光フィルタブロック３４、第２対物レンズ３５、光路切替器３６、撮像部の一例としての撮像装置３７、透過照明装置４０、コンデンサレンズ４３を有している。このうち、透過照明装置４０およびコンデンサレンズ４３は、図１において培養容器の上方に配置され、それ以外の要素は図１において培養容器の下方に配置される。また、蛍光フィルタブロック３４には、ダイクロイックミラー、励起フィルタ、蛍光フィルタなどが装着されている。また、光路切替器３６は光路に対して挿脱可能なミラー３６ａを備えている。 The microscope apparatus 12 includes an objective lens 31, a focus adjustment mechanism 32, an excitation light illumination device 33, a fluorescent filter block 34, a second objective lens 35, an optical path switch 36, an imaging device 37 as an example of an imaging unit, and a transmission illumination device 40. The condenser lens 43 is provided. Among them, the transmission illumination device 40 and the condenser lens 43 are arranged above the culture vessel in FIG. 1, and the other elements are arranged below the culture vessel in FIG. The fluorescent filter block 34 is equipped with a dichroic mirror, an excitation filter, a fluorescent filter, and the like. The optical path switch 36 includes a mirror 36a that can be inserted into and removed from the optical path.

対物レンズ３１は、焦点調節機構３２により光軸ＡＸの方向（図１に示すＺ方向）に移動可能である。このＺ方向への移動により、培養容器の細胞に対する対物レンズ３１の焦点調節が行われる。 The objective lens 31 is movable in the direction of the optical axis AX (Z direction shown in FIG. 1) by the focus adjustment mechanism 32. By the movement in the Z direction, the focus adjustment of the objective lens 31 with respect to the cells in the culture container is performed.

透過照明装置４０は、光源４１およびコリメータレンズ４２を備え、明視野観察用の照明光束を出射する。なお、透過照明装置４０は、明視野観察時にオンされ、蛍光観察時にオフされる。また、励起光照明装置３３は、蛍光観察用の励起光束を出射する。励起光照明装置３３は、蛍光観察時にオンされ、明視野観察時にオフされる。 The transmission illumination device 40 includes a light source 41 and a collimator lens 42, and emits an illumination light beam for bright field observation. The transmitted illumination device 40 is turned on during bright field observation and turned off during fluorescence observation. The excitation light illumination device 33 emits an excitation light beam for fluorescence observation. The excitation light illumination device 33 is turned on during fluorescence observation and turned off during bright field observation.

ここで、明視野観察時には、透過照明装置４０から射出した照明光束は、コンデンサレンズ４３を通り、標本１の観察領域を照明する。標本１を透過した光束は、対物レンズ３１に入射する。対物レンズ３１に入射した光束は、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の明視野像を形成する。撮像素子３７ａは、上記の明視野像を撮像して、画像のデータ（以下、「明視野画像」と称する）を取得する。 Here, at the time of bright field observation, the illumination light beam emitted from the transmission illumination device 40 passes through the condenser lens 43 and illuminates the observation region of the specimen 1. The light beam transmitted through the sample 1 enters the objective lens 31. The light beam incident on the objective lens 31 passes through the fluorescent filter block 34 and the second objective lens 35 and enters the optical path switch 36. When the mirror 36a of the optical path switch 36 is inserted in the optical path, the light beam is reflected by the mirror 36a and guided to an eyepiece (not shown). On the other hand, when the mirror 36 a of the optical path switch 36 is separated from the optical path, the light flux passes through the optical path switch 36 and enters the imaging device 37. The light beam incident on the imaging device 37 forms a bright field image of the observation region on the imaging element 37 a in the imaging device 37. The image sensor 37a captures the bright field image and acquires image data (hereinafter referred to as “bright field image”).

蛍光観察時には、励起光照明装置３３から射出した励起光束は、調光フィルタ３３ａ、蛍光フィルタブロック３４を通り、像側から対物レンズ３１へ入射すると、対物レンズ３１を介して標本１の観察領域を照射する。上記の励起光束に応じて標本１で発生した蛍光は、物体側から対物レンズ３１へ入射し、蛍光フィルタブロック３４、第２対物レンズ３５を通り、光路切替器３６へ入射する。光路切替器３６のミラー３６ａが光路に挿入されている場合、上記の光束はミラー３６ａで反射して不図示の接眼レンズへ導かれる。一方、光路切替器３６のミラー３６ａが光路から離脱されている場合、上記の光束は光路切替器３６を通過して撮像装置３７へ入射する。撮像装置３７へ入射した光束は、撮像装置３７内の撮像素子３７ａに観察領域の蛍光像を形成する。撮像素子３７ａは、上記の蛍光像を撮像して、画像のデータ（以下、「蛍光画像」と称する）を取得する。 At the time of fluorescence observation, the excitation light beam emitted from the excitation light illumination device 33 passes through the light control filter 33 a and the fluorescence filter block 34 and enters the objective lens 31 from the image side, thereby passing through the observation region of the specimen 1 through the objective lens 31. Irradiate. Fluorescence generated in the sample 1 in response to the excitation light beam enters the objective lens 31 from the object side, passes through the fluorescence filter block 34 and the second objective lens 35, and enters the optical path switch 36. When the mirror 36a of the optical path switch 36 is inserted in the optical path, the light beam is reflected by the mirror 36a and guided to an eyepiece (not shown). On the other hand, when the mirror 36 a of the optical path switch 36 is separated from the optical path, the light flux passes through the optical path switch 36 and enters the imaging device 37. The light beam incident on the imaging device 37 forms a fluorescent image of the observation region on the imaging element 37 a in the imaging device 37. The image sensor 37a captures the fluorescent image and acquires image data (hereinafter referred to as “fluorescent image”).

本実施形態で説明する顕微鏡装置１２は倒立顕微鏡装置であるが、正立顕微鏡装置でもよい。 The microscope apparatus 12 described in the present embodiment is an inverted microscope apparatus , but may be an upright microscope apparatus .

また、対物レンズ３１から撮像装置３７を結ぶ光路、及び対物レンズ３１から接眼レンズ（不図示）を結ぶ光路は観察光路と称する。この観察光路は、励起光照明装置３３と蛍光フィルタブロック３４と対物レンズ３１を結ぶ励起光照明光路と称する光路と一部共通する部分を有する。 An optical path connecting the objective lens 31 to the imaging device 37 and an optical path connecting the objective lens 31 to the eyepiece lens (not shown) are referred to as an observation optical path. This observation optical path has a portion that is partially in common with an optical path called an excitation light illumination optical path that connects the excitation light illumination device 33, the fluorescence filter block 34, and the objective lens 31.

蛍光フィルタブロック３４、第２対物レンズ３５及び光路切替器３６は、観察光路上に配置される。 The fluorescence filter block 34, the second objective lens 35, and the optical path switch 36 are disposed on the observation optical path.

また、透過照明装置４０と標本１までの光路は透過照明光路と称し、透過照明光路にはコリメータレンズが配置される。 The optical path from the transmission illumination device 40 to the specimen 1 is referred to as a transmission illumination optical path, and a collimator lens is disposed in the transmission illumination optical path.

コンピュータ１３は、顕微鏡システムの動作を統括的に制御するＣＰＵ１３ａと、不揮発性のメモリ１３ｂとを備えたモジュールである。ここで、第１実施形態でのコンピュータ１３は、顕微鏡装置１２を制御して、指定された撮像座標における細胞の明視野画像や蛍光画像を撮像する。このとき、コンピュータ１３は、一定時間おきに同じ細胞を継続的に撮像するタイムラプス観察を行うこともできる。コンピュータ１３は、複数の細胞について上記のタイムラプス観察を並行して行うことも可能である（多点タイムラプス観察）。 The computer 13 is a module including a CPU 13a that controls the operation of the microscope system in an integrated manner and a nonvolatile memory 13b. Here, the computer 13 in the first embodiment controls the microscope apparatus 12 to capture a bright field image or a fluorescence image of the cell at the specified imaging coordinates. At this time, the computer 13 can also perform time-lapse observation in which the same cell is continuously imaged at regular intervals. The computer 13 can also perform the above time-lapse observation on a plurality of cells in parallel (multi-point time-lapse observation).

ＣＰＵ１３ａは、プログラムの実行により、位置調整部５１と、情報取得部５２と、追尾処理部５３と、表示制御部５４としてそれぞれ機能する。なお、上記のプログラムは、例えばメモリ１３ｂに記憶される。 The CPU 13a functions as a position adjustment unit 51, an information acquisition unit 52, a tracking processing unit 53, and a display control unit 54 by executing the program. The above program is stored in, for example, the memory 13b.

位置調整部５１は、モータユニット２１を制御するドライバであって、顕微鏡装置１２の対物レンズ３１の光学系と被検物（細胞）との相対位置を、光軸ＡＸと交差するＸＹ方向に調整する。このＸＹ方向の調整によりＸＹ方向の観察位置の移動が行われる。本実施形態では、移動ステージ１１のＸＹ方向の位置を調整するが、対物レンズ３１のＸＹ方向の位置調整を行うものでもよく、また、移動ステージ１１と対物レンズ３１の両者を移動させる構成とし、両者の位置調整を行うようにしてもよい。 The position adjustment unit 51 is a driver that controls the motor unit 21 and adjusts the relative position between the optical system of the objective lens 31 of the microscope apparatus 12 and the test object (cell) in the XY direction intersecting the optical axis AX. To do. The observation position in the XY direction is moved by the adjustment in the XY direction. In this embodiment, the position of the moving stage 11 in the X and Y directions is adjusted, but the position of the objective lens 31 in the X and Y directions may be adjusted, and both the moving stage 11 and the objective lens 31 are moved. You may make it perform position adjustment of both.

情報取得部５２は、被検物（細胞）を撮像したときの撮像座標（移動ステージ１１のＸＹ座標）の情報と、撮像時刻の情報とを取得する。撮像座標および撮像時刻の各情報は、情報取得部５２により、各々の画像に対応付けされた状態で記録される。 The information acquisition unit 52 acquires information on imaging coordinates (XY coordinates of the moving stage 11) when imaging a test object (cell) and information on imaging time. Each information of imaging coordinates and imaging time is recorded by the information acquisition unit 52 in a state associated with each image.

追尾処理部５３は、細胞のタイムラプス観察を行うときに、撮像装置３７の撮像範囲を細胞のＸＹ方向の移動方向に追尾させる処理を行う。 The tracking processing unit 53 performs processing for tracking the imaging range of the imaging device 37 in the movement direction in the XY direction of the cell when performing time-lapse observation of the cell.

表示制御部５４は、表示装置１４への画像の表示を制御する。なお、表示制御部５４の動作については後述する。 The display control unit 54 controls display of an image on the display device 14. The operation of the display control unit 54 will be described later.

以下、第１実施形態の顕微鏡システムでの動作例を、タイムラプス観察での動作と、タイムラプス観察で取得した画像の再生動作とに分けてそれぞれ説明する。 Hereinafter, an operation example in the microscope system according to the first embodiment will be described separately for an operation in time-lapse observation and an operation for reproducing an image acquired in time-lapse observation.

（タイムラプス観察での動作）
図２は、第１実施形態の顕微鏡システムにおけるタイムラプス観察での動作例を示す流れ図である。 (Operation during time-lapse observation)
FIG. 2 is a flowchart showing an operation example in time-lapse observation in the microscope system of the first embodiment.

ステップ＃１０１：コンピュータ１３のＣＰＵ１３ａは、細胞の観察スケジュールを初期設定する。観察スケジュールは、タイムラプス観察の観察回数および観察のインターバルと、各観察時刻での撮像ポイント等とを示す情報である。 Step # 101: The CPU 13a of the computer 13 initializes a cell observation schedule. The observation schedule is information indicating the number of observations of time-lapse observation, the observation interval, and imaging points at each observation time.

例えば、ＣＰＵ１３ａは、培養容器の観察スケジュールの項目として、以下の（１）〜（４）の入力を入力装置１６から受け付ける。
（１）培養容器上での撮像座標（Ｘ方向、Ｙ方向）
（２）観察方法（明視野／蛍光）
（３）対物レンズの倍率（２倍，４倍，１０倍，２０倍等）
（４）タイムラプス観察の時間間隔および観察回数
なお、上記（１）の撮像座標は、培養容器上で複数指定することができる。そして、ＣＰＵ１３ａは、上記の入力に基づいて観察スケジュールを設定する。観察スケジュールのデータは、ＣＰＵ１３ａの制御によってメモリ１３ｂに記憶される。 For example, the CPU 13a receives the following inputs (1) to (4) from the input device 16 as items of the observation schedule of the culture vessel.
(1) Imaging coordinates on the culture vessel (X direction, Y direction)
(2) Observation method (bright field / fluorescence)
(3) Objective lens magnification (2x, 4x, 10x, 20x, etc.)
(4) Time lapse observation time interval and number of observations Note that a plurality of imaging coordinates in (1) can be designated on the culture vessel. And CPU13a sets an observation schedule based on said input. The observation schedule data is stored in the memory 13b under the control of the CPU 13a.

ステップ＃１０２：ＣＰＵ１３ａは、観察スケジュールと現在時刻とを比較して、培養容器の観察時刻が到来したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）、ＣＰＵ１３ａは次の観察時期まで待機する。 Step # 102: The CPU 13a compares the observation schedule with the current time to determine whether or not the observation time of the culture container has come. If the above requirement is satisfied (YES side), the process proceeds to # 103. On the other hand, when the above requirement is not satisfied (NO side), the CPU 13a waits until the next observation time.

ステップ＃１０３：ＣＰＵ１３ａは、顕微鏡装置１２に対して細胞の撮像を指示する。このとき、位置調整部５１は、顕微鏡装置１２の対物レンズ３１の光軸ＡＸの位置が撮像座標と合致するように、移動ステージ１１をＸＹ方向に移動させる。そして、撮像装置３７は、観察スケジュールの設定に基づいて、撮像座標の細胞の画像（明視野画像や蛍光画像）を撮像する。なお、撮像装置３７は、同じ撮像座標で明視野画像と蛍光画像とを撮像してもよい。また、撮像座標が複数設定されている場合、撮像装置３７は、各撮像座標に対応する細胞の画像をそれぞれ撮像する。 Step # 103: The CPU 13a instructs the microscope apparatus 12 to image cells. At this time, the position adjustment unit 51 moves the moving stage 11 in the XY directions so that the position of the optical axis AX of the objective lens 31 of the microscope apparatus 12 matches the imaging coordinates. And the imaging device 37 images the cell image (bright field image and fluorescence image) of an imaging coordinate based on the setting of an observation schedule. Note that the imaging device 37 may capture the bright field image and the fluorescence image with the same imaging coordinates. When a plurality of imaging coordinates are set, the imaging device 37 captures a cell image corresponding to each imaging coordinate.

ステップ＃１０４：情報取得部５２は、＃１０３で撮像された細胞の画像のデータに、撮像条件を示す付帯情報を対応付けて記憶装置１５に記録する。上記の付帯情報は、観察時刻の情報、撮像座標の情報、画像の種別情報（明視野画像／蛍光画像）、観察対象の識別情報を含む。なお、観察対象の識別情報は細胞の同一性を示す識別符号であって、タイムラプス観察で同じ細胞を時系列に撮像したときには各画像間で同じ符号が付与される。 Step # 104: The information acquisition unit 52 records the data of the cell image captured in # 103 in the storage device 15 in association with the supplementary information indicating the imaging condition. The incidental information includes observation time information, imaging coordinate information, image type information (bright-field image / fluorescence image), and observation target identification information. Note that the identification information of the observation target is an identification code indicating the identity of the cells, and when the same cells are imaged in time series in time-lapse observation, the same codes are assigned between the images.

ステップ＃１０５：ＣＰＵ１３ａは、前回のタイムラプス観察で取得した画像が存在するか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に処理が移行する。一方、上記要件を満たさない場合（初回観察の場合：ＮＯ側）には＃１０９に処理が移行する。 Step # 105: The CPU 13a determines whether or not there is an image acquired by the previous time lapse observation. If the above requirement is satisfied (YES side), the process proceeds to # 106. On the other hand, if the above requirement is not satisfied (in the case of initial observation: NO side), the process proceeds to # 109.

ステップ＃１０６：追尾処理部５３は、識別情報が共通で観察時刻が前後する２つの画像（今回および前回の観察で取得された画像）を比較して、細胞のＸＹ方向の移動量を求める。そして、追尾処理部５３は、細胞の移動量に応じて、次回観察での撮像装置３７の撮像範囲（観察視野）を変更する。なお、追尾処理部５３は、観察対象の識別情報ごとに、＃１０６の処理を実行するものとする。 Step # 106: The tracking processing unit 53 compares two images having the same identification information and the observation time before and after (images acquired in the current and previous observations) and obtains the movement amount of the cell in the XY direction. And the tracking process part 53 changes the imaging range (observation visual field) of the imaging device 37 in next observation according to the movement amount of a cell. Note that the tracking processing unit 53 executes the process of # 106 for each piece of observation target identification information.

一例として、＃１０６での追尾処理部５３は、上記の２つの画像でそれぞれ細胞の重心位置を求め、両者の重心位置のズレを算出する。そして、追尾処理部５３は、上記の重心位置のズレ（細胞の移動量）が相殺されるように、次回観察で適用される撮像座標を移動させる（図３（ａ）参照）。なお、２つの画像間で撮像座標が相違する場合（後述する細胞の追尾が行われている場合）、追尾処理部５３は、撮像座標を用いて２つの画像の相対位置を補正した状態で、上記の重心位置のズレ（細胞の移動量）を算出すればよい（図３（ｂ）参照）。 As an example, the tracking processing unit 53 in # 106 obtains the centroid position of each cell from the above two images, and calculates the deviation between the centroid positions of the cells. Then, the tracking processing unit 53 moves the imaging coordinates applied in the next observation so as to cancel out the deviation (cell movement amount) of the center of gravity (see FIG. 3A). When the imaging coordinates are different between the two images (when cell tracking described later is performed), the tracking processing unit 53 corrects the relative position of the two images using the imaging coordinates, What is necessary is just to calculate the shift | offset | difference (cell movement amount) of said gravity center position (refer FIG.3 (b)).

その後、追尾処理部５３は、細胞の識別情報に対応する観察スケジュールを参照し、次回観察で適用される撮像座標の情報を更新する。なお、次回観察時には更新後の撮像座標を基準として画像が撮像されるので、＃１０６での追尾処理部５３の処理により、撮像装置３７の撮像範囲は細胞を追尾するように移動することとなる。 Thereafter, the tracking processing unit 53 refers to the observation schedule corresponding to the cell identification information, and updates the information on the imaging coordinates applied in the next observation. In the next observation, an image is captured with the updated imaging coordinates as a reference, and therefore the imaging range of the imaging device 37 moves so as to track cells by the processing of the tracking processing unit 53 in # 106. .

ステップ＃１０７：追尾処理部５３は、識別情報が共通で観察時刻が前後する２つの画像を用いて、細胞の***が検出できたか否かを判定する。例えば、追尾処理部５３は、前回取得した画像では観察対象が楕円状の１つの連結細胞であって、今回取得した画像では観察対象が２つの細胞となっているときに、細胞が***したと判定すればよい。 Step # 107: The tracking processing unit 53 determines whether or not cell division has been detected using two images having the same identification information and having observation times before and after. For example, the tracking processing unit 53 indicates that the cell is divided when the observation object is one connected cell that is elliptical in the previously acquired image, and the observation object is two cells in the image acquired this time. What is necessary is just to judge.

上記要件を満たす場合（ＹＥＳ側）には＃１０８に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０９に処理が移行する。 If the above requirement is satisfied (YES side), the process proceeds to # 108. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 109.

ステップ＃１０８：追尾処理部５３は、***した２つの細胞をそれぞれ追尾対象に設定する。 Step # 108: The tracking processing unit 53 sets the two divided cells as tracking targets.

例えば、追尾処理部５３は、***した各々の細胞に新たな識別情報を付与し、観察スケジュールにこれらの細胞の撮像座標をそれぞれ新規に登録する（図４参照）。これにより、***後の各細胞の観察スケジュールが設定される。なお、＃１０８の処理において、情報取得部５２は、***前後の細胞の対応関係を示す情報を付帯情報に含めるものとする。 For example, the tracking processing unit 53 gives new identification information to each divided cell, and newly registers the imaging coordinates of these cells in the observation schedule (see FIG. 4). Thereby, the observation schedule of each cell after division is set. In the process of # 108, the information acquisition unit 52 includes information indicating the correspondence between cells before and after division in the incidental information.

ステップ＃１０９：追尾処理部５３は、観察対象の細胞が画像の撮像範囲を超えて拡張しているか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１１０に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１１１に処理が移行する。 Step # 109: The tracking processing unit 53 determines whether or not the observation target cell has expanded beyond the imaging range of the image. If the above requirement is satisfied (YES side), the process proceeds to # 110. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to # 111.

例えば、＃１０９での追尾処理部５３は、画像の外周部分に細胞が到達しているときに、上記要件を満たすと判定すればよい（図５参照）。具体的には、観察対象が神経細胞であって、神経突起が画像の撮像範囲を超えて拡張しているケースや、観察対象が細胞のコロニーであって、コロニーが画像の撮像範囲よりも大きく成長したケースなどが、＃１０９のＹＥＳ側に該当する。 For example, the tracking processing unit 53 in # 109 may determine that the above requirement is satisfied when cells reach the outer peripheral portion of the image (see FIG. 5). Specifically, the observation target is a nerve cell, and the neurite extends beyond the image capturing range, or the observation target is a cell colony, and the colony is larger than the image capturing range. The grown case corresponds to the YES side of # 109.

ステップ＃１１０：追尾処理部５３は、今回の観察において、細胞が拡張する方向に画像の撮像ポイントを追加する。具体的には、追尾処理部５３は、撮像範囲が一部重複するように細胞の拡張方向に撮像座標を新規に追加し、撮像装置３７にさらに画像を撮像させる（図５参照）。 Step # 110: The tracking processing unit 53 adds an imaging point of an image in the direction in which cells expand in the current observation. Specifically, the tracking processing unit 53 newly adds imaging coordinates in the cell expansion direction so that the imaging ranges partially overlap, and causes the imaging device 37 to capture an image (see FIG. 5).

また、＃１１０の処理において、情報取得部５２は、拡張して撮像された同じ細胞の画像には共通の識別情報を付与する。また、追尾処理部５３は、追加された撮像ポイントの情報（撮像座標）を観察スケジュールに登録する。これにより、次回の観察で１つの細胞を撮像する場合、細胞の拡張方向に連続するように撮像装置３７が複数の画像を撮像することとなる。なお、１つの細胞が複数の方向に拡張する場合、追尾処理部５３は各々の拡張方向で上記の処理を実行する。 In the process of # 110, the information acquisition unit 52 gives common identification information to the same cell image expanded and imaged. In addition, the tracking processing unit 53 registers information on the added imaging point (imaging coordinates) in the observation schedule. Thus, when one cell is imaged in the next observation, the imaging device 37 captures a plurality of images so as to be continuous in the cell expansion direction. In addition, when one cell expands in a plurality of directions, the tracking processing unit 53 executes the above-described processing in each expansion direction.

ステップ＃１１１：ＣＰＵ１３ａは、観察スケジュールを参照して、タイムラプス観察が終了したか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には図２の流れ図の処理が終了する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０２に戻って上記の処理が繰り返される。 Step # 111: The CPU 13a refers to the observation schedule and determines whether or not the time-lapse observation has ended. If the above requirement is satisfied (YES side), the processing of the flowchart of FIG. 2 ends. On the other hand, if the above requirement is not satisfied (NO side), the process returns to # 102 and the above processing is repeated.

上記の＃１０２から＃１１１のループにより、撮像座標に対応する細胞について、細胞の動きを追尾しながらタイムラプス観察を行うことができる（＃１０６）。また、細胞が***した場合には、***した各細胞をそれぞれ観察対象として多点タイムラプス観察が継続して行われる（＃１０８）。また、細胞が拡張する場合には、１つの被検物について細胞の拡張方向に連続するよう複数の画像が撮像される（＃１１０）。 With the loop from # 102 to # 111, it is possible to perform time-lapse observation while tracking the movement of the cell corresponding to the imaging coordinates (# 106). When the cells divide, multipoint time-lapse observation is continuously performed for each divided cell as an observation target (# 108). When the cells expand, a plurality of images are captured so that one test object is continuous in the cell expansion direction (# 110).

（画像再生動作）
図６〜図８は、第１実施形態の顕微鏡システムにおける画像の再生表示例を示している。 (Image playback operation)
6 to 8 show examples of image reproduction display in the microscope system of the first embodiment.

第１実施形態の顕微鏡システムにおいて、上記のタイムラプス観察で取得した画像を再生するとき、表示制御部５４は、表示装置１４の表示領域（例えば表示画面上の１ウインドウ）に同時期に撮像された細胞の画像のみを表示させる。なお、表示領域に表示される画像は、明視野画像または蛍光画像のいずれでもよい。また、明視野画像と蛍光画像とを重畳させて表示領域に表示してもよい。表示画像を除く領域（表示画像のバックグラウンド）には、標本画像は表示しない。例えば、標本とは無関係な単色画像を表示したり、標本とは無関係な模様を表示する。つまり、表示領域には撮影した画像が撮像位置を加味し表示される。 In the microscope system of the first embodiment, when the image acquired by the time lapse observation is reproduced, the display control unit 54 is imaged in the display area of the display device 14 (for example, one window on the display screen) at the same time. Display only cell images. The image displayed in the display area may be either a bright field image or a fluorescent image. Further, the bright field image and the fluorescence image may be superimposed and displayed on the display area. The specimen image is not displayed in the area excluding the display image (background of the display image). For example, a monochromatic image unrelated to the sample is displayed, or a pattern unrelated to the sample is displayed. That is, a captured image is displayed in the display area in consideration of the imaging position.

このとき、表示制御部５４は、表示領域内で撮像座標が写像される位置に各々の画像を表示させる。つまり、表示領域内での細胞の画像の表示位置は、タイムラプス観察時における培養容器内での細胞の相対的な位置関係がそのまま反映される。通常、表示領域での画像の配置は、表示領域内で画像がランダムに分散したレイアウトになる。 At this time, the display control unit 54 displays each image at a position where the imaging coordinates are mapped in the display area. That is, the display position of the cell image in the display area directly reflects the relative positional relationship of the cells in the culture container at the time-lapse observation. Normally, the image layout in the display area is a layout in which images are randomly distributed in the display area.

例えば、ある観察時期の培養容器を平面視したときに、細胞Ａに対して斜め左下の近傍に細胞Ｂが位置し、細胞Ａに対して斜め右下の遠方に細胞Ｃが位置する状態で、各細胞が撮像された場合を考える。上記の観察時期に対応する画像が表示領域に表示されるとき、細胞Ｂの画像は細胞Ａの画像の斜め左下に一部が重なるように表示され、細胞Ｃの画像は細胞Ａの画像の斜め右下に離れて表示される（図６参照）。 For example, when the culture container at a certain observation period is viewed in plan, the cell B is located in the vicinity of the lower left of the cell A, and the cell C is located in the lower right of the cell A. Consider the case where each cell is imaged. When an image corresponding to the above observation time is displayed in the display area, the image of the cell B is displayed so as to partially overlap the lower left of the image of the cell A, and the image of the cell C is oblique to the image of the cell A. They are displayed separately in the lower right (see FIG. 6).

かかる表示により、ユーザは、表示領域の画像から個々の細胞の状態を把握でき、同時に表示領域内での表示位置から細胞の相対位置を把握できる。 With this display, the user can grasp the state of each cell from the image in the display area, and at the same time, can grasp the relative position of the cell from the display position in the display area.

また、タイムラプス観察時に細胞を追尾させているため、表示制御部５４は、上記の表示領域での画像表示を観察時期に応じて時系列に切り替えることで、培養容器内での細胞の動きを動画表示することもできる。なお、細胞が移動している場合、表示領域での画像の表示位置は経時的に変化する。かかる表示により、ユーザはタイムラプス観察中での細胞の移動状態を把握できる。 In addition, since the cells are tracked during the time-lapse observation, the display control unit 54 switches the image display in the display area in time series according to the observation time, thereby moving the movement of the cells in the culture container to a moving image. It can also be displayed. When the cell is moving, the display position of the image in the display area changes with time. With this display, the user can grasp the movement state of the cells during the time-lapse observation.

ここで、表示制御部５４は、個々の細胞の識別を容易にするため、上記の動画表示を行うときに時間軸方向での細胞の共通性を示す識別表示を表示領域に表示させてもよい。一例として、表示制御部５４は、識別情報が共通する画像の外周を同色で強調表示してもよく、あるいは画像の周囲に識別情報に応じた文字やマークを表示してもよい。図６〜図８の例では、上記の識別情報として文字（「ＣＥＬＬ＿Ａ」等）を表示した状態を示している。 Here, in order to facilitate identification of individual cells, the display control unit 54 may display an identification display indicating the commonality of cells in the time axis direction in the display area when performing the above moving image display. . As an example, the display control unit 54 may highlight the outer periphery of the image having the same identification information with the same color, or may display characters or marks according to the identification information around the image. 6 to 8 show a state in which characters (such as “CELL_A”) are displayed as the identification information.

また、表示制御部５４は、細胞の移動状態をより把握しやすくするために、上記の動画表示を行うときに、同じ細胞の経時的な位置変化を示す移動表示を表示領域に表示させてもよい。一例として、表示制御部５４は、時間Ｔ２での画像を表示するときに時間Ｔ１での画像の外縁を表示領域に重畳表示させる。そして、表示制御部５４は、時間Ｔ３での画像を表示するときに時間Ｔ１、Ｔ２での画像の外縁を表示領域に重畳表示させる（図７参照）。他の例として、表示制御部５４は、細胞の移動軌跡を示す線を表示領域に表示させてもよい（この場合の図示は省略する）。 In addition, the display control unit 54 may display a moving display indicating a change in position of the same cell over time in the display area when performing the above moving image display in order to make it easier to grasp the moving state of the cell. Good. As an example, when displaying the image at time T2, the display control unit 54 causes the outer edge of the image at time T1 to be superimposed on the display area. Then, when displaying the image at time T3, the display control unit 54 superimposes the outer edges of the images at times T1 and T2 on the display area (see FIG. 7). As another example, the display control unit 54 may display a line indicating the movement locus of the cell in the display area (illustration is omitted in this case).

また、図７は、タイムラプス観察中に細胞が***する場合の動画表示例を示している。第１実施形態において細胞が***する場合には、上記のように***した２つの細胞がそれぞれ追尾対象となる。そのため、表示制御部５４が上記の画像を時系列に表示すると、細胞の***および移動の様子が表示領域上で再現される。 FIG. 7 shows a moving image display example when cells divide during time-lapse observation. When the cells divide in the first embodiment, the two cells divided as described above are the tracking targets. Therefore, when the display control unit 54 displays the above images in time series, the state of cell division and movement is reproduced on the display area.

また、図８は、タイムラプス観察中に細胞が拡張してゆく場合の動画表示例を示している。第１実施形態において細胞が拡張する場合には、上記のように細胞が拡張する方向に画像の撮像ポイントが追加され、１つの被検物について細胞の拡張方向に連続するよう複数の画像が撮像される。そのため、表示制御部５４が上記の画像を時系列に表示すると、細胞の拡張する様子が表示領域上で再現される。 FIG. 8 shows a moving image display example when cells expand during time-lapse observation. When cells expand in the first embodiment, an image capturing point is added in the direction in which the cells expand as described above, and a plurality of images are captured so that one test object is continuous in the cell expansion direction. Is done. Therefore, when the display control unit 54 displays the above image in time series, the expansion of the cells is reproduced on the display area.

＜第２実施形態の説明＞
第２実施形態では、第１実施形態の顕微鏡システムで撮像された細胞の画像を外部から読み込んで、図６〜図８に示すような画像再生表示を行う例を説明する。 <Description of Second Embodiment>
In the second embodiment, an example will be described in which an image of a cell captured by the microscope system of the first embodiment is read from the outside and image reproduction display as shown in FIGS. 6 to 8 is performed.

図９は、第２実施形態の画像処理装置の構成例を示す図である。図９に示す画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。 FIG. 9 is a diagram illustrating a configuration example of the image processing apparatus according to the second embodiment. The image processing apparatus shown in FIG. 9 is a personal computer in which an image processing program is installed.

図９の画像処理装置（コンピュータ）６１は、データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６、バス６７を有している。データ読込部６２、記憶装置６３、ＣＰＵ６４、メモリ６５および入出力Ｉ／Ｆ６６は、バス６７を介して相互に接続されている。さらに、コンピュータ６１には、入出力Ｉ／Ｆ６６を介して、入力デバイス６８（キーボード、ポインティングデバイスなど）と、表示装置の一例であるモニタ６９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ６６は、入力デバイス６８からの各種入力を受け付けるとともに、モニタ６９に対して表示用のデータを出力する。 The image processing apparatus (computer) 61 in FIG. 9 includes a data reading unit 62, a storage device 63, a CPU 64, a memory 65, an input / output I / F 66, and a bus 67. The data reading unit 62, the storage device 63, the CPU 64, the memory 65, and the input / output I / F 66 are connected to each other via a bus 67. Furthermore, an input device 68 (keyboard, pointing device, etc.) and a monitor 69 as an example of a display device are connected to the computer 61 via an input / output I / F 66. The input / output I / F 66 accepts various inputs from the input device 68 and outputs display data to the monitor 69.

データ読込部６２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部６２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。なお、第２実施形態でのデータ読込部６２は、第１実施形態の顕微鏡システムから、画像のデータを付帯情報とともに取得する取得部として機能する。 The data reading unit 62 is used when reading image data or a program from the outside. For example, the data reading unit 62 communicates with a reading device (such as an optical disk, a magnetic disk, or a magneto-optical disk reading device) that acquires data from a removable storage medium, or an external device in accordance with a known communication standard. A communication device to perform (USB interface, LAN module, wireless LAN module, etc.). Note that the data reading unit 62 in the second embodiment functions as an acquisition unit that acquires image data together with incidental information from the microscope system of the first embodiment.

記憶装置６３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置６３には、画像処理プログラムが記録される。なお、記憶装置６３には、データ読込部６２から読み込んだ画像のデータを記憶しておくこともできる。 The storage device 63 is configured by a storage medium such as a hard disk or a nonvolatile semiconductor memory, for example. The storage device 63 stores an image processing program. The storage device 63 can also store image data read from the data reading unit 62.

ＣＰＵ６４は、コンピュータの各部を統括的に制御するプロセッサである。このＣＰＵ６４は、画像処理プログラムの実行によって、第１実施形態の表示制御部５４として動作する。 The CPU 64 is a processor that comprehensively controls each part of the computer. The CPU 64 operates as the display control unit 54 of the first embodiment by executing the image processing program.

メモリ６５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ６５は、例えば揮発性のＳＤＲＡＭである。 The memory 65 temporarily stores various calculation results in the image processing program. The memory 65 is, for example, a volatile SDRAM.

かかる第２実施形態の画像再生動作においても、上記の第１実施形態の画像の再生動作とほぼ同様の効果を得ることができる。 In the image reproduction operation of the second embodiment, substantially the same effect as the image reproduction operation of the first embodiment can be obtained.

＜実施形態の補足事項＞
（補足１）上記実施形態での明視野画像は、位相差観察法、微分干渉観察法、偏光観察法などで撮像された画像であってもよい。また、上記実施形態において、観察対象となる被検物は細胞に限定されない。 <Supplementary items of the embodiment>
(Supplement 1) The bright field image in the above embodiment may be an image captured by a phase difference observation method, a differential interference observation method, a polarization observation method, or the like. Moreover, in the said embodiment, the test object used as observation object is not limited to a cell.

（補足２）本発明の顕微鏡装置は、少なくとも観察標本を設置する領域の環境（温度、湿度、酸素濃度、二酸化炭素濃度等）が一定の環境となるチャンバーを備え、培養中の生きた標本を観察可能な培養装置を備えた顕微鏡装置でもよい。 (Supplement 2) The microscope apparatus of the present invention includes a chamber in which the environment (temperature, humidity, oxygen concentration, carbon dioxide concentration, etc.) of at least the region where the observation specimen is placed is a constant environment, A microscope apparatus equipped with an observable culture apparatus may be used.

図１０に、培養装置を有する顕微鏡装置の構成例を示す。なお、図１０において、図１と共通の要素には同一符号を付して重複説明は省略する。図１０では、顕微鏡装置１２がチャンバー７０に収容される。チャンバー７０の内部雰囲気は、コンピュータ１３に制御された環境制御装置７１によって、細胞の培養に適した環境条件（例えば、温度３７℃、湿度９０％、ＣＯ₂濃度５％）に維持される。 FIG. 10 shows a configuration example of a microscope apparatus having a culture apparatus. In FIG. 10, elements common to those in FIG. In FIG. 10, the microscope apparatus 12 is accommodated in the chamber 70. The internal atmosphere of the chamber 70 is maintained at environmental conditions (for example, a temperature of 37 ° C., a humidity of 90%, and a CO ₂ concentration of 5%) suitable for cell culture by an environment control device 71 controlled by the computer 13.

（補足３）上記実施形態では、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明において、位置調整部５１、情報取得部５２、追尾処理部５３、表示制御部５４の機能をＡＳＩＣでハードウエア的に実現しても勿論かまわない。 (Supplement 3) In the above embodiment, the example in which the functions of the position adjustment unit 51, the information acquisition unit 52, the tracking processing unit 53, and the display control unit 54 are realized by software is described. However, in the present invention, of course, the functions of the position adjustment unit 51, the information acquisition unit 52, the tracking processing unit 53, and the display control unit 54 may be realized by hardware using an ASIC.

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Further, any person having ordinary knowledge in the technical field should be able to easily come up with any improvements and modifications, and there is no intention to limit the scope of the embodiments having the invention to those described above. It is also possible to use appropriate improvements and equivalents within the scope disclosed in.

１…標本、１１…移動ステージ、１２…顕微鏡装置、１３…コンピュータ、１３ａ…ＣＰＵ、１３ｂ…メモリ、１４…表示装置、１５…記憶装置、１６…入力装置、２１…モータユニット、２２…エンコーダ、３１…対物レンズ、３２…焦点調節機構、３３…励起光照明装置、３３ａ…調光フィルタ、３４…蛍光フィルタブロック、３５…第２対物レンズ、３６…光路切替器、３６ａ…ミラー、３７…撮像装置、３７ａ…撮像素子、４０…透過照明装置、４１…光源、４２…コリメータレンズ、４３…コンデンサレンズ、５１…位置調整部、５２…情報取得部、５３…追尾処理部、５４…表示制御部、６１…コンピュータ、６２…データ読込部、６３…記憶装置、６４…ＣＰＵ、６５…メモリ、６６…入出力Ｉ／Ｆ、６７…バス、６８…入力デバイス、６９…モニタ、７０…チャンバー、７１…環境制御装置 DESCRIPTION OF SYMBOLS 1 ... Specimen, 11 ... Moving stage, 12 ... Microscope apparatus, 13 ... Computer, 13a ... CPU, 13b ... Memory, 14 ... Display apparatus, 15 ... Storage device, 16 ... Input device, 21 ... Motor unit, 22 ... Encoder, DESCRIPTION OF SYMBOLS 31 ... Objective lens, 32 ... Focus adjustment mechanism, 33 ... Excitation light illuminating device, 33a ... Dimming filter, 34 ... Fluorescence filter block, 35 ... 2nd objective lens, 36 ... Optical path switch, 36a ... Mirror, 37 ... Imaging Device: 37a ... Image sensor, 40 ... Transmission illumination device, 41 ... Light source, 42 ... Collimator lens, 43 ... Condenser lens, 51 ... Position adjustment unit, 52 ... Information acquisition unit, 53 ... Tracking processing unit, 54 ... Display control unit , 61 ... Computer, 62 ... Data reading unit, 63 ... Storage device, 64 ... CPU, 65 ... Memory, 66 ... Input / output I / F, 67 ... Bus, 68 ... Input Vice, 69 ... monitor, 70 ... chamber, 71 ... environmental controls

Claims

顕微鏡装置の対物レンズによって結像された被検物の画像を撮像する撮像部と、
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整部と、
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像部の撮像範囲を前記被検物の移動方向に追尾させる追尾処理部と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得部と、
表示装置の表示領域に撮像された時系列に従って前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、を備え、
前記追尾処理部は、前記画像の撮像範囲を超えて前記被検物が拡張するときに、前記被検物が拡張する方向に且つ前記撮像部の撮像範囲が一部重複するように、前記被検物に対する撮像ポイントを追加し、
前記撮像部は、前記追尾処理部により追尾した撮像範囲の画像及び追加された前記撮像ポイントに基づく撮像範囲の画像を取得し、
前記情報取得部は、前記追尾処理部により追尾した撮像範囲の画像及び前記追加された前記撮像ポイントに基づく撮像範囲の画像に含まれる同一の被検物に対して共通の識別情報を付与する顕微鏡制御装置。 An imaging unit that captures an image of the object imaged by the objective lens of the microscope apparatus ;
The relative positions of the previous SL vs. objective lens and the specimen, and a position adjusting section that adjusts a direction intersecting the optical axis of the objective lens,
A tracking processing unit for tracking the imaging range of the imaging unit in the moving direction of the test object when imaging a plurality of images with different imaging times for the same test object;
An information acquisition unit that acquires information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when imaging the test object, in association with the image;
A display control unit that displays only the image according to a time series captured in a display area of a display device, and displays only the image at a position where the imaging coordinates are mapped in the display area;
The tracking processing unit is configured so that when the test object extends beyond the imaging range of the image, the imaging range of the imaging unit partially overlaps in a direction in which the test object extends. Add imaging points for inspections,
The imaging unit acquires an image of the imaging range tracked by the tracking processing unit and an image of the imaging range based on the added imaging point,
The information acquisition unit is a microscope that gives common identification information to the same object included in the image of the imaging range tracked by the tracking processing unit and the image of the imaging range based on the added imaging point. Control device.

請求項１に記載の顕微鏡制御装置から、時系列に撮像された複数の画像を各々の撮像座標の情報とともに取得する取得部と、An acquisition unit that acquires a plurality of images captured in time series together with information of each imaging coordinate from the microscope control device according to claim 1;
表示装置の表示領域に撮像された時系列に従って前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる表示制御部と、 A display control unit that displays only the image according to the time series captured in the display area of the display device, and displays only the image at a position where the imaging coordinates are mapped in the display area;
を備える画像処理装置。 An image processing apparatus comprising:

対物レンズと、
被検物を載置し、前記対物レンズの光軸に対して垂直方向に移動可能な移動ステージと、
前記移動ステージを移動させるステージ駆動手段と、
前記被検物を撮像する撮像位置である、前記対物レンズの光軸に対する垂直方向の前記移動ステージの位置を検出するステージ位置検出手段と、
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、撮像装置の撮像範囲を前記被検物の移動方向に追尾させる追尾処理手段と、
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、撮影位置情報として前記画像に対応付けて取得する情報取得手段と、
前記撮像装置で撮像された画像を撮像された時系列に従って表示装置に表示する際、前記撮像位置情報に基づいた前記被検物の相対的な位置関係を反映させるように、撮像した前記画像のみを前記表示装置の表示領域に表示する表示制御装置と、を備え、
前記追尾処理手段は、前記画像の撮像範囲を超えて前記被検物が拡張するときに、前記被検物が拡張する方向に且つ前記撮像装置の撮像範囲が一部重複するように、前記被検物に対する撮像ポイントを追加し、
前記撮像装置は、前記追尾処理手段により追尾した前記撮像範囲の画像及び追加された前記撮像ポイントに基づく撮像範囲の画像を取得し、
前記情報取得手段は、前記追尾処理手段により追尾した撮像範囲の画像及び前記追加された前記撮像ポイントに基づく撮像範囲の画像に含まれる同一の被検物に対して共通の識別情報を付与する顕微鏡装置。 An objective lens;
A moving stage on which a test object is placed and movable in a direction perpendicular to the optical axis of the objective lens;
Stage driving means for moving the moving stage;
Stage position detection means for detecting the position of the moving stage in a direction perpendicular to the optical axis of the objective lens, which is an imaging position for imaging the test object;
Tracking processing means for tracking the imaging range of the imaging device in the moving direction of the test object when imaging a plurality of images with different imaging times for the same test object;
Information acquisition means for acquiring information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when imaging the test object in association with the image as imaging position information;
When displaying an image captured by the imaging device on a display device according to the time series captured, only the captured image is reflected so as to reflect the relative positional relationship of the test object based on the imaging position information. And a display control device that displays a display area of the display device,
The tracking processing means is configured so that when the test object extends beyond the imaging range of the image, the imaging range of the imaging apparatus is partially overlapped in a direction in which the test object extends. Add imaging points for inspections,
The imaging device acquires an image of the imaging range tracked by the tracking processing unit and an image of the imaging range based on the added imaging point,
The information acquisition unit includes a microscope that provides common identification information to the same object included in the image of the imaging range tracked by the tracking processing unit and the image of the imaging range based on the added imaging point. Equipment .

請求項３に記載の顕微鏡装置において、The microscope apparatus according to claim 3,
前記顕微鏡装置は、  The microscope apparatus is
前記被検物に対して蛍光観察のための励起光を照射する励起光照明装置と、  An excitation light illumination device that irradiates the test object with excitation light for fluorescence observation;
前記被検物に対して明視野観察のための透過照明光を照射する透過照明装置と、をさらに備え、  A transmission illumination device that irradiates the test object with transmission illumination light for bright-field observation; and
前記励起光により励起された蛍光画像と前記透過照明光の照射により照明された明視野観察とが同じ撮像位置で撮像され、  The fluorescent image excited by the excitation light and the bright field observation illuminated by the transmission illumination light are imaged at the same imaging position,
前記表示制御装置は、各々の画像を前記撮像位置情報に基づき、撮像した前記画像のみを前記表示装置の表示領域に表示する顕微鏡装置。  The display control device is a microscope device that displays each image on the display area of the display device based on the image pickup position information.

請求項３又は請求項４に記載の顕微鏡装置において、The microscope apparatus according to claim 3 or 4,
前記被検物を収納し、前記被検物の観察環境を一定の環境に保持するチャンバーを備えた培養装置を有する顕微鏡装置。 A microscope apparatus having a culture apparatus including a chamber for storing the test object and maintaining an observation environment of the test object in a constant environment.

顕微鏡装置の対物レンズによって結像された被検物の画像を撮像する撮像処理と、An imaging process for capturing an image of the object imaged by the objective lens of the microscope apparatus;
前記対物レンズと前記被検物との相対位置を、前記対物レンズの光軸と交差する方向に調整する位置調整処理と、  A position adjustment process for adjusting the relative position between the objective lens and the test object in a direction intersecting the optical axis of the objective lens;
同じ被検物について撮像時刻が異なる複数の画像を撮像するときに、前記撮像処理における撮像範囲を前記被検物の移動方向に追尾させる追尾処理と、  A tracking process for tracking the imaging range in the imaging process in the moving direction of the test object when imaging a plurality of images with different imaging times for the same test object;
前記被検物を撮像したときの前記対物レンズの光軸と交差する方向の撮像座標の情報を、前記画像に対応付けて取得する情報取得処理と、  Information acquisition processing for acquiring information on imaging coordinates in a direction intersecting with the optical axis of the objective lens when imaging the test object, in association with the image;
表示装置の表示領域に撮像された時系列に従って前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、  A process of displaying only the image according to the time series captured in the display area of the display device, and displaying only the image at a position where the imaging coordinates are mapped in the display area;
の他に、  Others,
前記画像の撮像範囲を超えて前記被検物が拡張するときに、前記被検物が拡張する方向に且つ前記撮像処理における撮像範囲が一部重複するように、前記被検物に対する撮像ポイントを追加する追加処理を有し、  When the test object extends beyond the imaging range of the image, an imaging point for the test object is set so that the imaging range in the imaging process partially overlaps in a direction in which the test object extends. Have additional processing to add,
前記撮像処理は、前記追尾処理により追尾した前記撮像範囲の画像及び前記追加処理により追加された前記撮像ポイントに基づく撮像範囲の画像を取得する処理を含み、  The imaging process includes a process of acquiring an image of the imaging range tracked by the tracking process and an image of the imaging range based on the imaging point added by the additional process,
前記情報取得処理は、前記追尾処理により追尾した撮像範囲の画像及び前記追加された前記撮像ポイントに基づく撮像範囲の画像に含まれる同一の被検物に対して共通の識別情報を付与する処理を含むコンピュータが実行可能なプログラム。  The information acquisition process includes a process of giving common identification information to the same test object included in the image of the imaging range tracked by the tracking process and the image of the imaging range based on the added imaging point. A computer executable program.

請求項１に記載の顕微鏡制御装置から、時系列に撮像された複数の画像を各々の撮像座標の情報とともに取得する処理と、From the microscope control device according to claim 1, a process of acquiring a plurality of images imaged in time series together with information of each imaging coordinate;
表示装置の表示領域に撮像された時系列に従って前記画像のみを表示させるとともに、前記表示領域内で前記撮像座標が写像される位置に前記画像のみを表示させる処理と、 A process of displaying only the image according to the time series captured in the display area of the display device, and displaying only the image at a position where the imaging coordinates are mapped in the display area;
をコンピュータに実行させるプログラム。 A program that causes a computer to execute.