JP2007011977A

JP2007011977A - Image processing method, computer executable program and microscope system

Info

Publication number: JP2007011977A
Application number: JP2005195244A
Authority: JP
Inventors: Nobuhiko Yonetani; 信彦米谷; Taijiro Kiyota; 泰次郎清田; Takayuki Uozumi; 孝之魚住; Hirobumi Shiono; 博文塩野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2005-07-04
Filing date: 2005-07-04
Publication date: 2007-01-18

Abstract

<P>PROBLEM TO BE SOLVED: To efficiently manage data concerned with microscopic observation. <P>SOLUTION: The microscope system is provided with a microscope apparatus (11) capable of acquiring image data from a microscopic object (11A) and an image processing apparatus (13) for compressing a plurality of image data acquired from the same observation point of the same microscopic object by the microscope apparatus (11) by inter-frame encoding. Since the plurality of image data have fixed correlation, data volume to be recorded can be suppressed by the inter-frame encoding. Especially when the compression is performed along a focus axis direction, the data volume can be efficiently suppressed. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、画像データを取得することの可能な顕微鏡装置と、その画像データを処理するコンピュータとを備えた顕微鏡システムに適用される。また、本発明は、顕微鏡装置が取得した画像データを処理する画像処理方法、コンピュータ実行可能なプログラムに関する。 The present invention is applied to a microscope system including a microscope apparatus that can acquire image data and a computer that processes the image data. The present invention also relates to an image processing method for processing image data acquired by a microscope apparatus and a computer-executable program.

培養細胞を顕微鏡装置で繰り返し撮影する際には、撮影で取得した画像データの他に、その画像データの付帯情報、すなわち撮影情報や培養情報を記録する必要がある。撮影情報は、撮影時間、撮影倍率、撮影ポイントなどであり、培養情報は、培養容器内のＰＨ、温度、湿度、ＣＯ₂濃度などである。
それらの観察データの量は、培養期間や撮影頻度の分だけ増える。しかも、同一の培養細胞のデータを複数人で共有しようとした場合、人数の分だけ観察データの量は増える。同一の培養細胞であっても、観察ポイントや観察すべきフォーカス面などは観察目的によって様々だからである。 When the cultured cells are repeatedly photographed with a microscope apparatus, it is necessary to record incidental information of the image data, that is, photographing information and culture information, in addition to the image data acquired by photographing. The shooting information includes shooting time, shooting magnification, shooting point, and the like, and the culture information includes PH, temperature, humidity, CO ₂ concentration, etc. in the culture vessel.
The amount of observation data increases by the culture period and the frequency of imaging. Moreover, when the same cultured cell data is to be shared by a plurality of people, the amount of observation data increases by the number of people. This is because even in the same cultured cell, the observation point, the focus surface to be observed, and the like vary depending on the observation purpose.

さらに、特許文献１に記載されたように、多数のマイクロプレートを収容棚に収めて一括して培養する場合、そのデータの量は、（マイクロプレートの総数）×（マイクロプレート内のウェル数）の分だけ増える。
特開２００４−１８０６７５号公報 Further, as described in Patent Document 1, when a large number of microplates are placed in a storage shelf and cultured in a batch, the amount of data is (total number of microplates) × (number of wells in the microplate). Increase by the amount of.
JP 2004-180675 A

このように膨大化したデータは、コンピュータのハードディスクを圧迫し、そのデータ管理を困難にしている。
そこで本発明は、顕微鏡観察に関わるデータを効率よく管理することのできる画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システムを提供することを目的とする。 Such enormous data presses the hard disk of a computer and makes it difficult to manage the data.
Therefore, an object of the present invention is to provide an image processing method, a computer-executable program, and a microscope system that can efficiently manage data related to microscope observation.

本発明の画像処理方法は、同一の顕微鏡観察物の同一の観察ポイントから取得された複数の画像データを、フレーム間符号化して圧縮する手順を含むことを特徴とする。
また、本発明のコンピュータ実行可能なプログラムは、同一の顕微鏡観察物の同一の観察ポイントから取得された複数の画像データを、フレーム間符号化して圧縮する手順を含むことを特徴とする。 The image processing method of the present invention includes a procedure of inter-frame encoding and compressing a plurality of image data acquired from the same observation point of the same microscope observation object.
The computer-executable program according to the present invention includes a procedure for inter-frame encoding and compressing a plurality of pieces of image data acquired from the same observation point of the same microscope observation object.

また、本発明の顕微鏡システムは、顕微鏡観察物から画像データを取得することの可能な顕微鏡装置と、前記顕微鏡装置が同一の顕微鏡観察物の同一の観察ポイントから取得した複数の画像データを、フレーム間符号化して圧縮する画像処理装置とを備えたことを特徴とする。 Further, the microscope system of the present invention includes a microscope apparatus capable of acquiring image data from a microscope observation object, and a plurality of image data acquired from the same observation point of the same microscope observation object by the microscope apparatus. And an image processing apparatus that performs inter-coding and compression.

本発明によれば、顕微鏡観察に関わるデータを効率よく管理することのできる画像処理方法、コンピュータ実行可能なプログラム、及び顕微鏡システムが実現する。 According to the present invention, an image processing method, a computer-executable program, and a microscope system capable of efficiently managing data related to microscope observation are realized.

［第１実施形態］
以下、図面を参照して本発明の第１実施形態を説明する。本実施形態は、培養細胞の変化を観察するための顕微鏡システムの実施形態である。
図１は、本システムの全体構成を示す図である。図１に示すように、本システムには、顕微鏡装置１１、培養装置１２、コンピュータ１３、表示装置１４、入力器１５などが備えられる。このうち、顕微鏡装置１１，培養装置１２，表示装置１４，及び入力器１５は、それぞれコンピュータ１３に接続される。 [First Embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. The present embodiment is an embodiment of a microscope system for observing changes in cultured cells.
FIG. 1 is a diagram showing the overall configuration of the present system. As shown in FIG. 1, the system includes a microscope apparatus 11, a culture apparatus 12, a computer 13, a display apparatus 14, an input device 15, and the like. Among these, the microscope device 11, the culture device 12, the display device 14, and the input device 15 are each connected to the computer 13.

本システムの観察物は、培養容器（ディッシュ）１１Ａ内の培養細胞である。そのディッシュ１１Ａの全体は、ディッシュホルダー１２ａにより保持された状態で、顕微鏡装置１１のステージ上にセットされている。そのディッシュ１１Ａの培養環境（ＣＯ₂濃度、温度、湿度など）は、ディッシュホルダー１２ａに連結された培養装置１２によって監視され、かつ制御されている。 The observation object of this system is a cultured cell in the culture vessel (dish) 11A. The entire dish 11A is set on the stage of the microscope apparatus 11 while being held by the dish holder 12a. The culture environment (CO ₂ concentration, temperature, humidity, etc.) of the dish 11A is monitored and controlled by the culture apparatus 12 connected to the dish holder 12a.

コンピュータ１３には、ＣＤ−ＲＯＭなどの記憶媒体１６、インターネットなどを介して、本システムを動作させるためのプログラムがインストールされている。このプログラムには、「制御プログラム」、「データ処理プログラム」が含まれる。
制御プログラムは、コンピュータ１３に対し、顕微鏡装置１１及び培養装置１２を駆動制御させるものである。このプログラムに従い、コンピュータ１３は、顕微鏡装置１１内の各部を適切に動作させ、ディッシュ１１Ａ内の培養細胞の顕微鏡画像を、所定の培養期間内（例えば、３日以内）に、所定頻度（例えば、５回／日）で撮影する。その撮影は、複数の観察ポイント、複数の撮影倍率、複数のフォーカス面についてそれぞれ行われる。 A program for operating the present system is installed in the computer 13 via a storage medium 16 such as a CD-ROM and the Internet. This program includes a “control program” and a “data processing program”.
The control program causes the computer 13 to drive and control the microscope apparatus 11 and the culture apparatus 12. In accordance with this program, the computer 13 operates each part in the microscope apparatus 11 appropriately, and the microscopic image of the cultured cells in the dish 11A is displayed within a predetermined culture period (for example, within 3 days) at a predetermined frequency (for example, 5 times / day) The photographing is performed for each of a plurality of observation points, a plurality of photographing magnifications, and a plurality of focus planes.

また、データ処理プログラムは、コンピュータ１３に対し、顕微鏡装置１１、培養装置１２、入力器１５から各種の観察データを取得させ、また処理させるものである。その観察データには、顕微鏡装置１１が撮影で取得した各画像データ（静止画像データである。）と、各画像データに付帯する各付帯情報が含まれる。
この付帯情報には、撮影情報と培養情報との２種類がある。撮影情報には、撮影時間（撮影日時）、撮影倍率（撮影時に顕微鏡装置１１にセットされた対物レンズの倍率）、フォーカス面座標（撮影時における顕微鏡装置１１にセットされた対物レンズの座標）、観察ポイント座標（撮影時における顕微鏡装置１１のステージ面内の座標）などが含まれる。 The data processing program causes the computer 13 to acquire and process various observation data from the microscope apparatus 11, the culture apparatus 12, and the input device 15. The observation data includes each piece of image data (still image data) acquired by the microscope device 11 by photographing, and each piece of accompanying information attached to each piece of image data.
There are two types of supplementary information: imaging information and culture information. The shooting information includes shooting time (shooting date and time), shooting magnification (magnification of the objective lens set in the microscope apparatus 11 at the time of shooting), focus plane coordinates (coordinates of the objective lens set in the microscope apparatus 11 at the time of shooting), Observation point coordinates (coordinates within the stage surface of the microscope apparatus 11 at the time of photographing) and the like are included.

一方、培養情報は、撮影時における培養容器１１Ａの培養環境を示す情報であり、ＣＯ₂濃度、温度、湿度、ＰＨなどの情報が含まれる。このうち、ＣＯ₂濃度、温度、湿度の情報は、コンピュータ１３が培養装置１２から取り込んだものであり、ＰＨの情報は、入力器１５を介して管理者が予めコンピュータ１３へ入力したものである。
以下、データ処理プログラムの詳細（コンピュータ１３の動作）を説明する。なお、このデータ処理プログラムの処理対象となる観察データは、撮影倍率と観察ポイントとの双方が共通の一連の画像データに関するものである。よって、以下の処理は、撮影倍率と観察ポイントとの組み合わせの数だけ、実行される。 On the other hand, the culture information is information indicating the culture environment of the culture vessel 11A at the time of photographing, and includes information such as CO ₂ concentration, temperature, humidity, and PH. Among these, the CO ₂ concentration, temperature, and humidity information is taken from the culture apparatus 12 by the computer 13, and the PH information is previously inputted to the computer 13 by the administrator via the input device 15. .
Details of the data processing program (operation of the computer 13) will be described below. Note that the observation data to be processed by this data processing program relates to a series of image data in which both the photographing magnification and the observation point are common. Therefore, the following processing is executed by the number of combinations of the imaging magnification and the observation point.

図２は、データ処理プログラムを示すフローチャートである。図２に示すように、データ処理プログラムには、フォーカス軸方向に画像データを圧縮する手順（フォーカス軸圧縮プログラムＳ１）と、時間軸方向に画像データを圧縮する手順（時間軸圧縮プログラムＳ２）と、各観察データを１ファイルに纏める手段（パッケージプログラムＳ３）とが含まれる。 FIG. 2 is a flowchart showing the data processing program. As shown in FIG. 2, the data processing program includes a procedure for compressing image data in the focus axis direction (focus axis compression program S1), and a procedure for compressing image data in the time axis direction (time axis compression program S2). And means (package program S3) for collecting the observation data into one file.

図３を参照して各手順を説明する。図３（Ａ）には、各画像データＩ_t,Zの概念を示した。横軸は、撮影時間ｔを示し、縦軸は、フォーカス面座標Ｚを示している。縦軸の数値、横軸の数値は、規格化された値の一例である。Ｚ＝０のフォーカス面が、例えば、ディッシュ１１Ａの深さ方向の中心面（基準フォーカス面）である。このフォーカス面の数は１０程度であることが望ましいが、ここでは簡単のため「５」とした。 Each procedure will be described with reference to FIG. FIG. 3A shows the concept of each image data It _{, Z.} The horizontal axis indicates the shooting time t, and the vertical axis indicates the focus plane coordinate Z. The numerical values on the vertical axis and the numerical values on the horizontal axis are examples of normalized values. The focus plane with Z = 0 is, for example, the center plane (reference focus plane) in the depth direction of the dish 11A. The number of focus surfaces is preferably about 10, but here it is “5” for simplicity.

これらの画像データＩ_t,Zの間では、観察ポイントと撮影倍率との双方が共通なので、一定の相関がある。
（フォーカス軸圧縮プログラムＳ１）
図３（Ａ）に示す各画像データＩ_t,Zのうち、画像データ群（Ｉ_0-2，Ｉ_0-1，Ｉ₀₀，Ｉ₀₁，Ｉ₀₂）の間では、撮影時間ｔが同じ（ｔ＝０）なので、相関が高い。そこで、その画像データ群（Ｉ_0-2，Ｉ_0-1，Ｉ₀₀，Ｉ₀₁，Ｉ₀₂）を、フレーム間符号化して圧縮する。その圧縮の基準は、例えば、基準フォーカス面の画像データＩ₀₀である。 Between these image data It _{, Z} , there is a certain correlation because both the observation point and the photographing magnification are common.
(Focus axis compression program S1)
Among the image data I _{t, Z} shown in FIG. 3A, the shooting time t is the same between the image data groups (I _0-2 , I _0-1 , I ₀₀ , I ₀₁ , I ₀₂ ) ( Since t = 0), the correlation is high. Therefore, the image data group (I _0-2 , I _0-1 , I ₀₀ , I ₀₁ , I ₀₂ ) is inter-frame encoded and compressed. The standard for the compression is, for example, the image data I ₀₀ of the reference focus plane.

その圧縮の結果、図３（Ｂ）に示すとおり、１つの画像データと４つの差分画像データとからなる画像データ群（Δ_0-2，Δ_0-1，Ｉ₀₀，Δ₀₁，Δ₀₂）が得られる。図３（Ｂ）では、差分画像データの概念を点線で表し、画像データの概念を実線で表した。
この圧縮後の画像データ群（Δ_0-2，Δ_0-1，Ｉ₀₀，Δ₀₁，Δ₀₂）は、圧縮前の画像データ群（Ｉ_0-2，Ｉ_0-1，Ｉ₀₀，Ｉ₀₁，Ｉ₀₂）と比較して、そのデータ量が格段に抑えられている。 As a result of the compression, as shown in FIG. 3B, an image data group (Δ _0-2 , Δ _0-1 , I ₀₀ , Δ ₀₁ , Δ ₀₂ ) composed of one image data and four difference image data. Is obtained. In FIG. 3B, the concept of difference image data is represented by a dotted line, and the concept of image data is represented by a solid line.
The compressed image data group (Δ _0-2 , Δ _0-1 , I ₀₀ , Δ ₀₁ , Δ ₀₂ ) is the uncompressed image data group (I _0-2 , I _0-1 , I ₀₀ , I ₀₁ , _I02 ), the amount of data is significantly reduced.

また、圧縮前の画像データ群（Ｉ_0-2，Ｉ_0-1，Ｉ₀₀，Ｉ₀₁，Ｉ₀₂）のうち、フォーカス軸方向に互いに隣接する２つの画像データＩ_0Z，Ｉ_0(Z+1)は、特に相関が高いので、差分画像データΔ_0-1は、画像データＩ_0-1とそれに隣接する画像データＩ₀₀との差分で表され、差分画像データΔ_0-2は、画像データＩ_0-2とそれに隣接する画像データＩ_0-1との差分で表され、差分画像データΔ₀₁は、画像データＩ₀₁とそれに隣接する画像データＩ₀₀との差分で表され、差分画像データΔ₀₂は、画像データＩ₀₂と画像データＩ₀₁との差分で表されることが望ましい。このようにすれば、差分画像データΔ_0-2，Δ_0-1，Δ₀₁，Δ₀₂の各データ量を、より少なく抑えることができる。 Of the image data group (I _0-2 , I _0-1 , I ₀₀ , I ₀₁ , I ₀₂ ) before compression, two image data I _0Z , I _{0 (Z +} ) adjacent to each other in the focus axis direction. _{Since 1)} is particularly high in correlation, the difference image data Δ _0-1 is represented by the difference between the image data I _0-1 and the image data I ₀₀ adjacent thereto, and the difference image data Δ _0-2 is represented by the difference between the image data I _0-1 adjacent thereto and data I _0-2, the difference image data delta ₀₁ is represented by a difference between the image data I ₀₀ adjacent thereto and the image data I _01, the difference image The data Δ ₀₂ is preferably represented by the difference between the image data I ₀₂ and the image data I ₀₁ . In this way, each data amount of the difference image data Δ _0-2 , Δ _0-1 , Δ ₀₁ , Δ ₀₂ can be further reduced.

さらに、本ステップでは、以上の圧縮を、撮影時間ｔ＝１，２，・・・の各々について個別に行う。
以下、或る撮影時間ｔについて取得された圧縮後の画像データ群（Δ_t-2，Δ_t-1，Ｉ_t0，Δ_t1，Δ_t2）を、圧縮画像パッケージＰ_tという。このステップでは、複数の圧縮画像パッケージＰ₀，Ｐ₁，Ｐ₃，・・・が取得されることになる。 Further, in this step, the above compression is performed individually for each of the photographing times t = 1, 2,.
Hereinafter, the image data group after being acquired compressed for a certain recording time _{_{t (Δ t2, Δ t1,}} I t0, Δ t1, Δ t2) , and that compressed image package P _t. In this step, a plurality of compressed image packages P ₀ , P ₁ , P ₃ ,... Are acquired.

（時間軸圧縮プログラムＳ２）
図３（Ｂ）に示す各圧縮画像パッケージＰ₀，Ｐ₁，Ｐ₃，・・・の各々に個別に含まれる画像データＩ₀₀，Ｉ₁₀，Ｉ₂₀・・・は、何れもフォーカス面座標Ｚが同じ（Ｚ＝０）なので、一定の相関がある。そこで、それらの画像データ群（Ｉ₀₀，Ｉ₁₀，Ｉ₂₀・・・）を、フレーム間符号化して圧縮する。その圧縮の基準は、例えば、撮影時間ｔが最新（ｔ＝０）の画像データＩ₀₀である。 (Time axis compression program S2)
Image data I ₀₀ , I ₁₀ , I ₂₀ ... Individually included in each of the compressed image packages P ₀ , P ₁ , P ₃ ,... Shown in FIG. Since Z is the same (Z = 0), there is a certain correlation. Therefore, these image data groups (I ₀₀ , I ₁₀ , I ₂₀ ...) Are inter-frame encoded and compressed. The compression standard is, for example, the image data I ₀₀ with the latest shooting time t (t = 0).

その圧縮の結果、図３（Ｃ）に示すとおり、１つの画像データと複数の差分画像データとからなる画像データ群（Ｉ₀₀，Δ₁₀，Δ₂₀，・・・）が得られる。図３（Ｃ）では、差分画像データの概念を点線で表し、画像データの概念を太い実線で表した。
この圧縮後の画像データ群（Ｉ₀₀，Δ₁₀，Δ₂₀，・・・）は、圧縮前の画像データ群（Ｉ₀₀，Ｉ₁₀，Ｉ₂₀・・・）と比較して、そのデータ量が抑えられている。 As a result of the compression, an image data group (I ₀₀ , Δ ₁₀ , Δ ₂₀ ,...) Composed of one image data and a plurality of difference image data is obtained as shown in FIG. In FIG. 3C, the concept of difference image data is represented by a dotted line, and the concept of image data is represented by a thick solid line.
The image data group after compression (I ₀₀ , Δ ₁₀ , Δ ₂₀ ,...) Is compared with the image data group before compression (I ₀₀ , I ₁₀ , I _20. Is suppressed.

また、圧縮前の画像データ群（Ｉ₀₀，Ｉ₁₀，Ｉ₂₀・・・）のうち、時間軸方向に互いに隣接する２つの画像データＩ_t0，Ｉ_(t+1)0は、比較的相関が高いので、差分画像データΔ₁₀は、画像データＩ₁₀とそれに隣接する画像データＩ₀₀との差分で表され、差分画像データΔ₂₀は、画像データＩ₂₀とそれに隣接する画像データＩ₁₀との差分で表され、他の差分画像データも同様に表されることが望ましい。このようにすれば、差分画像データΔ₁₀，Δ₂₀，・・・の各データ量を、より少なく抑えることができる。 Of the image data group (I ₀₀ , I ₁₀ , I ₂₀ ...) Before compression, the two image data I _t0 and I _{(t + 1) 0} that are adjacent to each other in the time axis direction are relatively correlated. Therefore, the difference image data Δ ₁₀ is represented by the difference between the image data I ₁₀ and the adjacent image data I _00, and the difference image data Δ ₂₀ is the image data I ₂₀ and the adjacent image data I ₁₀ . It is desirable that other difference image data is also expressed in the same manner. In this way, each data amount of the difference image data Δ ₁₀ , Δ ₂₀ ,... Can be further reduced.

以下、撮影時間ｔ＝０，１，２，・・・の圧縮後の画像データ群（Δ_0-2，Δ_0-1，Ｉ₀₀，Δ₀₁，Δ₀₂），（Δ_1-2，Δ_1-1，Δ₁₀，Δ₁₁，Δ₁₂），（Δ_2-2，Δ_2-1，Δ₂₀，Δ₂₁，Δ₂₂），・・・を、改めて、撮影時間が共通の圧縮画像パッケージＰ₀，Ｐ₁，Ｐ₂，・・・という。
（パッケージプログラムＳ３）
図３（Ｄ）に示すとおり、圧縮画像パッケージＰ₀，Ｐ₁，Ｐ₂，・・・と、それに含まれる各画像データの各付帯情報（撮影情報及び培養情報）とを、タグ付き言語の一種であるＸＭＬで互いに関連付けて１つのパッケージファイルに纏める。 Hereinafter, image data groups (Δ _0-2 , Δ _0-1 , I ₀₀ , Δ ₀₁ , Δ ₀₂ ), (Δ _1-2 , Δ ₀₂ ) after compression of shooting times t = 0, 1, ₂ ,. _1-1 , Δ ₁₀ , Δ ₁₁ , Δ ₁₂ ), (Δ _2-2 , Δ _2-1 , Δ ₂₀ , Δ ₂₁ , Δ ₂₂ ),... P ₀ , P ₁ , P ₂ ,.
(Package program S3)
As shown in FIG. 3D, the compressed image packages P ₀ , P ₁ , P ₂ ,... And the accompanying information (imaging information and culture information) of each image data included in the compressed image packages are displayed in a tagged language. One type of XML is associated with each other and combined into one package file.

図４は、パッケージファイルの構成例を示す概念図である。１つのパッケージファイルＦ１に格納される観察データは、撮影倍率と観察ポイントとの双方が共通の一連の画像データに関するものである。よって、このパッケージファイルＦ１は、撮影倍率及び観察ポイントの組み合わせの数だけ作成される。
パッケージファイルＦ１内において、圧縮画像パッケージＰ₀に関する情報は、要素Ｄ₀に纏めて格納され、圧縮画像パッケージＰ₁に関する情報は、要素Ｄ１に纏めて格納される。同様に圧縮画像パッケージＰ₂，Ｐ₃，・・・に関する各情報は、要素Ｄ₂，Ｄ₃，・・・にそれぞれ纏めて格納される。 FIG. 4 is a conceptual diagram illustrating a configuration example of a package file. The observation data stored in one package file F1 relates to a series of image data in which both the photographing magnification and the observation point are common. Therefore, as many package files F1 as the number of combinations of photographing magnifications and observation points are created.
In the package file F1, information on the compressed image package P ₀ is stored together in the element D _0, information on the compressed image package P ₁ is stored together in element D1. Similarly, each piece of information regarding the compressed image packages P ₂ , P ₃ ,... Is collectively stored in the elements D ₂ , D ₃ ,.

また、圧縮画像パッケージＰ₀内の各画像データＩ₀₀，Δ₀₁，Δ₀₂，Δ_0-1，Δ_0-2は、要素Ｄ₀内の要素Ｄ₀₀，Ｄ₀₁，Ｄ₀₂，Ｄ_0-1，Ｄ_0-2に個別に格納される。圧縮画像パッケージＰ₁内の各画像データΔ₁₀，Δ₁₁，Δ₁₂，Δ_1-1，Δ_1-2は、要素Ｄ₁内の要素Ｄ₁₀，Ｄ₁₁，Ｄ₁₂，Ｄ_1-1，Ｄ_1-2に個別に格納される。同様に、圧縮画像パッケージＰ₂，Ｐ₃，・・・内の各画像データも、要素Ｄ₂，Ｄ₃，・・・内の各要素に個別に格納される。 Further, the compressed image package P the image data I ₀₀ in _{_{_{0, Δ 01, Δ 02,}}} Δ 0-1, Δ 0-2 , the element D ₀₀ in the element _{_{_{D 0, D 01, D 02}}} , D 0- ₁ and D _0-2 are stored separately. Each image data delta ₁₀ of the compressed image in the package _{_{_{P 1, Δ 11, Δ 12}}} , Δ 1-1, Δ 1-2 , the element D ₁₀ in the element _{_{_{D 1, D 11, D 12}}} , D 1-1, D _1-2 is stored separately. Similarly, each image data in the compressed image packages P ₂ , P ₃ ,... Is individually stored in each element in the elements D ₂ , D ₃ ,.

また、パッケージファイルＦ１内の全画像データに共通する付帯情報、つまり、撮影倍率の情報と、観察ポイント座標の情報とは、パッケージファイルＦ１の直下の要素Ａ（要素Ｄ₀，Ｄ₁，・・・と同位の要素）に格納される。
また、圧縮画像パッケージＰ₀（要素Ｄ₀）内の全画像データ（Ｉ₀₀，Δ₀₁，Δ₀₂，Δ_0-1，Δ_0-2）に共通する付帯情報、つまり、撮影時間ｔの情報（ｔ＝０）と、その撮影時間における培養情報（ＰＨ，温度，湿度，ＣＯ₂濃度など）とは、要素Ｄ₀の直下の要素Ｂ₀に格納される。 Also, incidental information common to all the image data in the package file F1, that is, information on the photographing magnification and information on the observation point coordinates are the elements A (elements D ₀ , D ₁ ,... Directly below the package file F ₁ . -And peer elements).
Also, incidental information common to all the image data (I ₀₀ , Δ ₀₁ , Δ ₀₂ , Δ _0-1 , Δ _0-2 ) in the compressed image package P ₀ (element D ₀ ), that is, information on the shooting time t. (T = 0) and culture information (PH, temperature, humidity, CO ₂ concentration, etc.) at the photographing time are stored in element B ₀ immediately below element D ₀ .

また、圧縮画像パッケージＰ₁（要素Ｄ₁）内の全画像データ（Ｉ₁₀，Δ₁₁，Δ₁₂，Δ_1-1，Δ_1-2）に共通する付帯情報、つまり、撮影時間ｔの情報（ｔ＝１）と、その撮影時間における培養情報（ＰＨ，温度，湿度，ＣＯ₂濃度など）とは、要素Ｄ₁の直下の要素Ｂ₁に格納される。同様に、圧縮画像パッケージＰ₂（要素Ｄ₂），Ｐ₃（要素Ｄ₃），・・・の各付帯情報も、各々の要素Ｄ₂，Ｄ₃，・・・の直下の要素Ｂ₂，Ｂ₃，・・・に格納される。 Also, incidental information common to all the image data (I ₁₀ , Δ ₁₁ , Δ ₁₂ , Δ _1-1 , Δ _1-2 ) in the compressed image package P ₁ (element D ₁ ), that is, information on the shooting time t. (T = 1) and culture information (PH, temperature, humidity, CO ₂ concentration, etc.) at the photographing time are stored in element B ₁ immediately below element D ₁ . Similarly, the incidental information of the compressed image packages P ₂ (element D ₂ ), P ₃ (element D ₃ ),... Is also the element B ₂ immediately below each element D ₂ , D ₃ ,. Stored in B ₃ ,...

また、画像データＩ₀₀（要素Ｄ₀₀）に固有の付帯情報、つまり、撮影時のフォーカス面座標Ｚの情報（Ｚ＝０）と圧縮情報とは、要素Ｄ₀₀の直下の要素に格納される。ここで、圧縮情報とは、圧縮時の演算内容を示す情報であり、少なくとも、圧縮基準であるか否かを示す情報を含む。
また、画像データΔ₀₁（要素Ｄ₀₁）に固有の付帯情報、つまり、撮影時のフォーカス面座標Ｚの情報（Ｚ＝１）と圧縮情報とは、要素Ｄ₀₁の直下の要素に格納される。同様に、画像データΔ₀₂（要素Ｄ₀₂），Δ_0-1（要素Ｄ_0-1），・・・の付帯情報も、各々の要素Ｄ₀₂，Ｄ_0-1，・・・の直下の要素に格納される。 Also, incidental information unique to the image data I ₀₀ (element D ₀₀ ), that is, information on the focus plane coordinate Z (Z = 0) and compression information at the time of shooting is stored in an element immediately below the element D _00. . Here, the compression information is information indicating the calculation content at the time of compression, and includes at least information indicating whether or not the compression standard.
Also, incidental information unique to the image data Δ ₀₁ (element D ₀₁ ), that is, information on the focus plane coordinate Z (Z = 1) and compression information at the time of shooting is stored in the element immediately below the element D _01. . Similarly, the incidental information of the image data Δ ₀₂ (element D ₀₂ ), Δ _0-1 (element D _0-1 ),... Is also directly below each element D ₀₂ , D _0-1 ,. Stored in the element.

因みに、画像データＩ₀₀は、圧縮基準であって差分画像データではないので、データ量は多く、他の画像データΔ₀₁，Δ₀₂，Δ_0-1，Δ_0-2，Δ₁₀，Δ₁₁，・・・は、圧縮基準ではなく差分画像データなので、データ量は少ない。図４では、これを要素を示す矩形領域のサイズによって表現した。
以上、パッケージファイルＦ１においては、各種の付帯情報が、それぞれの付帯先の画像データ（又は画像データ群）と同じ要素に纏めて格納される。これによって、各種の付帯情報の付帯先の情報（関連付けの情報）が、パッケージファイルＦ１上で明確となる。 Incidentally, since the image data I ₀₀ is a compression standard and not differential image data, the amount of data is large, and the other image data Δ ₀₁ , Δ ₀₂ , Δ _0-1 , Δ _0-2 , Δ ₁₀ , Δ ₁₁ ,... Are not compression standards but are differential image data, so the data amount is small. In FIG. 4, this is expressed by the size of the rectangular area indicating the element.
As described above, in the package file F1, various types of incidental information are collectively stored in the same elements as the image data (or image data group) of each incidental destination. Thereby, the information (association information) of the incidental destinations of the various incidental information becomes clear on the package file F1.

そして、このパッケージファイルＦ１は、他のパッケージファイルと共に、コンピュータ１３の記憶装置（ハードディスクなど）に格納される。コンピュータ１３は、必要に応じてそれらのパッケージファイルを記憶装置から読み出し、インターネットなどを介して別のコンピュータへ転送することもできる。
なお、複数のパッケージファイルの管理を容易にするため、コンピュータ１３は、複数のパッケージファイルを同様のタグ付き言語で互いに関連付けて１つのパッケージファイル（グローバルパッケージファイル）に纏めてもよい。 The package file F1 is stored in a storage device (such as a hard disk) of the computer 13 together with other package files. The computer 13 can read those package files from the storage device as needed and transfer them to another computer via the Internet or the like.
In order to facilitate the management of a plurality of package files, the computer 13 may associate the plurality of package files with each other in the same tagged language and combine them into one package file (global package file).

以上、本システムでは、顕微鏡画像を示す複数の画像データのうち、一定の相関のあるもの同士、つまり撮影倍率と観察ポイントとの双方が共通であるもの同士を、フレーム間符号化して圧縮するので、記録すべきデータ量を抑えることができる。
しかも、その圧縮は、時間軸方向だけでなく、フォーカス軸方向に亘っても行われるので、データ量はより少なく抑えられる。 As described above, in the present system, among a plurality of image data indicating a microscopic image, those having a certain correlation, that is, those having both a photographing magnification and an observation point in common are inter-frame encoded and compressed. The amount of data to be recorded can be suppressed.
In addition, since the compression is performed not only in the time axis direction but also in the focus axis direction, the amount of data can be further reduced.

また、本システムでは、図４に示したとおり、圧縮後の各画像データと、各画像データの付帯情報とを、互いに関連付けて１ファイルに纏めるので、画像データの数が膨大になったとしても、管理が容易である。
また、本システムでは、その関連付けを示すために、タグ付き言語（ここではＸＭＬ）を用いるので、別のコンピュータでパッケージファイルを参照するときであっても、特別なソフトウエアを使用せずにその関連づけの情報を読み取ることができるので、便利である。 Further, in this system, as shown in FIG. 4, each image data after compression and the incidental information of each image data are associated with each other and combined into one file, so even if the number of image data becomes enormous Easy to manage.
In addition, since this system uses a tagged language (XML in this case) to indicate the association, even when referring to the package file on another computer, the system does not use any special software. The association information can be read, which is convenient.

しかも、本システムでファイル化した付帯情報には、撮影情報だけでなく、顕微鏡の観察物の環境を示す情報（ここでは培養細胞の培養情報）も含まれるので、顕微鏡観察に関わる全ての観察データを、一括に管理することができる。
（その他）
なお、本システムでは、各画像データと各付帯情報とを、互いに関連づけて１ファイル（パッケージファイル）に纏めたが、各付帯情報とその関連づけの情報のみを１ファイル（リレーションファイル）に纏め、各画像データについては別のファイルに格納することとしてもよい。その場合も、リレーションファイルについては、タグ付き言語を用いることが望ましい。 In addition, the incidental information filed with this system includes not only imaging information, but also information indicating the environment of the microscope observation object (here, culture information of cultured cells), so all observation data related to microscopic observation Can be collectively managed.
(Other)
In this system, each image data and each incidental information are associated with each other and collected into one file (package file). However, only each incidental information and the associated information are collected into one file (relation file). The image data may be stored in a separate file. Even in that case, it is desirable to use a tagged language for the relation file.

また、本システムでは、複数の画像データをフレーム間符号化して圧縮したが、そのフレーム間符号化には、周知の様々な符号化の手法を適用することができる。
また、フォーカス軸方向の圧縮においては、「ボケ補償予測」をして圧縮の効率をさらに向上させてもよい。ここでいう「ボケ補償予測」とは、或る画像データとそれに隣接する画像データとの差分をとる代わりに、或る画像データと予測画像データとの差分をとるものである。その予測画像データは、別のフォーカス面（例えば、基準フォーカス面）の画像データから予測されたものである。その予測は、フォーカス面の座標の変位と顕微鏡画像の変化（ボケ）との関係に基づいて行われる。その関係は、予めの測定や、顕微鏡装置１１の設計値に基づくシミュレーションによって、既知となる。 In this system, a plurality of image data are inter-frame encoded and compressed. Various known encoding methods can be applied to the inter-frame encoding.
In the compression in the focus axis direction, “blur compensation prediction” may be performed to further improve the compression efficiency. The “blurred compensation prediction” here refers to taking a difference between certain image data and predicted image data instead of taking a difference between certain image data and adjacent image data. The predicted image data is predicted from image data of another focus surface (for example, a reference focus surface). The prediction is performed based on the relationship between the displacement of the coordinate on the focus surface and the change (blur) of the microscope image. The relationship becomes known by measurement in advance or simulation based on the design value of the microscope apparatus 11.

また、本システムでは、ファイルを記述する言語にＸＭＬを用いたが、ＨＴＭＬなど他のタグ付き言語を用いてもよい。
［第２実施形態］
以下、図面を参照して本発明の第２実施形態を説明する。本実施形態も、培養細胞の変化を観察するための顕微鏡システムの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、観察物の周辺にある。 In this system, XML is used as a language for describing a file, but other tagged languages such as HTML may be used.
[Second Embodiment]
The second embodiment of the present invention will be described below with reference to the drawings. This embodiment is also an embodiment of a microscope system for observing changes in cultured cells. Here, only differences from the first embodiment will be described. The difference is around the observation.

図５は、本システムの観察物周辺の構成図である。図５に示すように、本システムの観察物は、多数のマイクロプレート１１１Ａの各ウェル内の培養細胞である。
多数のマイクロプレート１１１Ａは、収容棚１１２ｂの各収容部に収められている。収容棚１１２ｂの全体は、１つのチャンバー１１２ａ内に収められており、その内部環境（ＣＯ₂濃度、温度、湿度など）は、不図示の培養装置により監視され、かつ制御されている。 FIG. 5 is a configuration diagram around the observation object of the present system. As shown in FIG. 5, the observation object of this system is a cultured cell in each well of a large number of microplates 111A.
A large number of microplates 111A are housed in the respective housing portions of the housing shelf 112b. The entire storage shelf 112b is housed in one chamber 112a, and its internal environment (CO ₂ concentration, temperature, humidity, etc.) is monitored and controlled by a culture apparatus (not shown).

このチャンバー１１２ａ内には、収容棚１１２ｂの何れかの収容部から１つのマイクロプレート１１１Ａを取り出し、かつ顕微鏡装置１１１のステージにまで搬送する搬送装置１１２ｃが備えられる。この搬送装置１１２ｃは、顕微鏡装置１１１のステージから収容部へマイクロプレート１１１Ａを搬送することもできる。なお、顕微鏡装置１１１の少なくともステージについては、チャンバー１１２ａの内部に位置しており、搬送時であってもマイクロプレート１１１Ａの培養環境が保たれるようになっている。これらの搬送装置１１２ｃ及び顕微鏡装置１１１は、不図示のコンピュータに接続される。 In the chamber 112a, a transfer device 112c is provided that takes out one microplate 111A from any storage portion of the storage shelf 112b and transfers it to the stage of the microscope apparatus 111. The transport device 112c can also transport the microplate 111A from the stage of the microscope device 111 to the storage unit. Note that at least the stage of the microscope apparatus 111 is located inside the chamber 112a so that the culture environment of the microplate 111A can be maintained even during transport. The transport device 112c and the microscope device 111 are connected to a computer (not shown).

本システムのコンピュータは、搬送装置１１２ｃ及び顕微鏡装置１１１を駆動制御し、全てのマイクロプレート１１１Ａ内の全てのウェル内の培養細胞の顕微鏡画像を、所定の培養期間内（例えば、２週間内）に、所定頻度（例えば、５回／日）で撮影する。その撮影は、ウェル内の複数の観察ポイント、複数の撮影倍率、複数のフォーカス面についてそれぞれ行われる。 The computer of this system drives and controls the transport device 112c and the microscope device 111, and the microscopic images of the cultured cells in all the wells in all the microplates 111A are within a predetermined culture period (for example, within two weeks). The photograph is taken at a predetermined frequency (for example, 5 times / day). The imaging is performed for each of a plurality of observation points in the well, a plurality of imaging magnifications, and a plurality of focus planes.

そして、本システムのコンピュータは、第１実施形態のコンピュータと同様のデータ処理を行い、複数のパッケージファイルを作成する。本システムでも、パッケージファイルは、撮影倍率及び観察ポイントの数だけ作成される。
但し、本システムの観察ポイントの数は、（マイクロプレート１１１Ａの総数）×（マイクロプレート１１１Ａ内のウェル数）×（ウェル内の観察ポイントの数）であって、第１実施形態のシステムの観察ポイントの数よりも多い。よって、パッケージファイルの数もその分だけ多くなる。 Then, the computer of this system performs the same data processing as the computer of the first embodiment, and creates a plurality of package files. Even in this system, package files are created for the number of shooting magnifications and the number of observation points.
However, the number of observation points of this system is (total number of microplates 111A) × (number of wells in microplate 111A) × (number of observation points in wells), and observation of the system of the first embodiment More than the number of points. Therefore, the number of package files increases accordingly.

このため、本システムのコンピュータは、それら複数のパッケージファイルを、タグ付き言語で互いに関連付けて１つのグローバルパッケージファイル（グローバルパッケージファイル）に纏めることが望ましい。そのグローバルパッケージファイルにおいては、各パッケージファイルが、マイクロプレート毎、かつウェル毎に纏めて格納される。
（その他）
なお、本システムでは、複数のパッケージファイルを、マイクロプレートの番号毎、かつウェルの番号毎に纏めたが、例えば、観察目的毎に観察内容が決まっている場合には、その観察目的毎にパッケージファイルを纏めてもよい。 For this reason, it is desirable for the computer of this system to combine the plurality of package files into one global package file (global package file) in association with each other in a tagged language. In the global package file, each package file is stored together for each microplate and each well.
(Other)
In this system, a plurality of package files are grouped for each microplate number and each well number. For example, if the observation contents are determined for each observation purpose, the package is displayed for each observation purpose. You may collect files.

また、本実施の形態では、取得する画像データが静止画像の場合で説明したが、取得する画像は動画でもよく、その処理方法は、共通である。 In this embodiment, the case where the acquired image data is a still image has been described. However, the acquired image may be a moving image, and the processing method is common.

なお、上述した各実施形態のシステムでは、顕微鏡画像の撮影が、複数の撮影時間、かつ複数のフォーカス面について行われたが、撮影時間とフォーカス面の一方が単数であってもよい。
また、上述した各実施形態のシステムの観察物は、培養細胞であったが、他の観察物であってもよい。例えば、生体試料など、状態変化したり、透過性があって深さ方向にも観察すべきポイントがある観察物である。このような観察物の同じ観察ポイントを複数の撮影時間について撮影するときや、同じ観察ポイントを複数のフォーカス面について撮影するときに、本発明が有効となる。 Note that, in the system of each embodiment described above, the imaging of the microscope image is performed for a plurality of imaging times and a plurality of focus surfaces, but one of the imaging time and the focus surface may be singular.
Moreover, although the observation object of the system of each embodiment mentioned above was a cultured cell, another observation object may be sufficient. For example, it is an observation object such as a biological sample that changes its state or has permeability and has a point to be observed in the depth direction. The present invention is effective when photographing the same observation point of such an observation object for a plurality of photographing times or photographing the same observation point for a plurality of focus planes.

第１実施形態のシステムの全体構成図である。1 is an overall configuration diagram of a system according to a first embodiment. データ処理プログラムを示すフローチャートである。It is a flowchart which shows a data processing program. データ処理プログラムの各手順を説明する図である。It is a figure explaining each procedure of a data processing program. パッケージファイルの構成例を示す概念図である。It is a conceptual diagram which shows the structural example of a package file. 第２実施形態のシステムの観察物周辺の構成図である。It is a block diagram of the observation object periphery of the system of 2nd Embodiment.

符号の説明Explanation of symbols

１１：顕微鏡装置，１２：培養装置，１３：コンピュータ，１６：記憶媒体 11: Microscope device, 12: Culture device, 13: Computer, 16: Storage medium

Claims

同一の顕微鏡観察物の同一の観察ポイントから取得された複数の画像データを、フレーム間符号化して圧縮する手順を含む
ことを特徴とする画像処理方法。 An image processing method comprising: a step of inter-frame encoding and compressing a plurality of image data acquired from the same observation point of the same microscope observation object.

請求項１に記載の画像処理方法において、
前記複数の画像データには、１つの被検物中の異なるフォーカス面から取得された複数の画像データが含まれる
ことを特徴とする画像処理方法。 The image processing method according to claim 1,
The plurality of image data includes a plurality of image data acquired from different focus planes in one test object.

請求項２に記載の画像処理方法において、
前記フレーム間符号化圧縮は、
前記被検物の略中央部のフォーカス面を基準とし、これと隣接するフォーカス面との差分をとる
ことを特徴とする画像処理方法。 The image processing method according to claim 2,
The interframe coding compression is:
An image processing method characterized in that a difference between a focus surface adjacent to the focus surface at a substantially central portion of the test object is obtained.

請求項１〜請求項３の何れか一項に記載の画像処理方法において、
前記複数の画像データには、互いに異なる時間に取得された複数の画像データが含まれる
ことを特徴とする画像処理方法。 In the image processing method according to any one of claims 1 to 3,
The image processing method, wherein the plurality of image data includes a plurality of image data acquired at different times.

請求項１〜請求項４の何れか一項に記載の画像処理方法において、
前記複数の画像データの各々に付帯する複数の付帯情報を、前記複数の画像データの各々に関連付けて１ファイルに纏める
ことを特徴とする画像処理方法。 In the image processing method according to any one of claims 1 to 4,
An image processing method, comprising: associating a plurality of incidental information attached to each of the plurality of image data into one file in association with each of the plurality of image data.

請求項５に記載の画像処理方法において、
前記付帯情報には、
前記画像データの取得条件を示す情報と、その取得時における前記顕微鏡観察物の環境を示す情報とが含まれる
ことを特徴とする画像処理方法。 The image processing method according to claim 5,
In the incidental information,
The image processing method characterized by including the information which shows the acquisition conditions of the said image data, and the information which shows the environment of the said microscope observation thing at the time of the acquisition.

請求項５又は請求項６に記載の画像処理方法において、
前記複数の付帯情報を、圧縮後の前記複数の画像データと共に、１ファイルに纏める
ことを特徴とする画像処理方法。 The image processing method according to claim 5 or 6,
The image processing method, wherein the plurality of incidental information are collected together with the plurality of compressed image data into one file.

請求項５〜請求項７の何れか一項に記載の画像処理方法において、
前記ファイルを、タグ付き言語で記述する
ことを特徴とする画像処理方法。 The image processing method according to any one of claims 5 to 7,
An image processing method, wherein the file is described in a tagged language.

同一の顕微鏡観察物の同一の観察ポイントから取得された複数の画像データを、フレーム間符号化して圧縮する手順を含む
ことを特徴とするコンピュータ実行可能なプログラム。 A computer-executable program comprising a procedure of inter-frame encoding and compressing a plurality of image data acquired from the same observation point of the same microscope observation object.

顕微鏡観察物から画像データを取得することの可能な顕微鏡装置と、
前記顕微鏡装置が同一の顕微鏡観察物の同一の観察ポイントから取得した複数の画像データを、フレーム間符号化して圧縮する画像処理装置と
を備えたことを特徴とする顕微鏡システム。
A microscope apparatus capable of acquiring image data from a microscope observation object;
A microscope system, comprising: an image processing device that encodes and compresses a plurality of pieces of image data acquired from the same observation point of the same microscope observation object by the microscope device.