JP6975418B2 - Area judgment method - Google Patents

Description

本発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法に関する。 The present invention relates to a region determination method for determining a plurality of types of regions contained in an image of a biological sample.

医療や生物化学の分野では、観察対象である細胞の撮像を行う。観察用の容器内に収容された細胞を観察する際、透明な細胞はその特徴を観察するのが困難な場合がある。そこで、従来、細胞の視認性を高めるため、染料を用いた細胞の染色が行われている。しかしながら、染色を行うと細胞がダメージを負うという問題がある。このため、無染色で細胞の視認性を高める必要がある。従来の明視野における細胞の撮像方法は、例えば、特許文献１に記載されている。特許文献１に記載の撮像方法では、撮像系の焦点距離を合焦点からずらすことにより、コントラストの向上を図っている。 In the fields of medicine and biochemistry, images of cells to be observed are taken. When observing cells housed in an observation vessel, transparent cells may have difficulty observing their characteristics. Therefore, conventionally, in order to improve the visibility of cells, cells are stained with a dye. However, there is a problem that the cells are damaged when staining is performed. Therefore, it is necessary to improve the visibility of cells without staining. A conventional method for imaging cells in a bright field is described in, for example, Patent Document 1. In the imaging method described in Patent Document 1, the contrast is improved by shifting the focal length of the imaging system from the focal length.

特開２００８−２０４９８号公報Japanese Unexamined Patent Publication No. 2008-20298

また、細胞の撮影により得られた画像には、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域が存在する。従来は、染色された細胞を撮影することによって、観察者が、これらの複数種類の領域を判断していた。しかしながら、染色を行うことで細胞がダメージを負うため、長期にわたる観察が難しかった。また、観察者の判断に依存すると、多数の画像を比較・分析する際に、観察者の負担が大きくなる。また、観察者によって判断にばらつきが生じたり、判断ミスが生じたりすることもあり得る。 In addition, in the image obtained by photographing the cells, there are a plurality of types of regions such as a region where the cytoplasm of a large cell exists, a region where a nucleus of a large cell exists, a region where a small cell exists, a region where a cell does not exist, and the like. Exists. Traditionally, the observer has determined these multiple types of regions by photographing the stained cells. However, it was difficult to observe for a long period of time because the cells were damaged by staining. Further, depending on the judgment of the observer, the burden on the observer becomes large when comparing and analyzing a large number of images. In addition, the judgment may vary depending on the observer, or a judgment error may occur.

本発明は、このような事情に鑑みなされたものであり、細胞等の生体試料を明視野で撮影するとともに、得られた観察対象画像に含まれる複数種類の領域を、自動的に判定できる技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and is a technique capable of photographing a biological sample such as a cell in a bright field and automatically determining a plurality of types of regions included in the obtained observation target image. The purpose is to provide.

上記課題を解決するため、本願の第１発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめて行い、前記工程ｂ−３）では、前記工程ａ−３）において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する。
本願の第２発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、前記工程ｂ−３）では、複数の視野について、クラスターの分類処理を個別に行う。
本願の第３発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記複数のクラスターの情報は、前記複数のクラスターの構成比率である。
本願の第４発明は、第１発明ないし第３発明のいずれかの領域判定方法であって、前記生体試料は透明であり、前記工程ａ−１）および前記工程ｂ−１）では、前記生体試料の上方および下方のいずれか一方から前記生体試料に照明光を照射しつつ、前記生体試料の上方および下方のいずれか他方から前記生体試料を撮影する。
In order to solve the above problems, the first invention of the present application is a region determination method for determining a plurality of types of regions included in an image of a biological sample, which includes a learning step and an execution step. a-1) A step of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of steps acquired in the step a-1). For the learning image, the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band for each pixel and the step of a-3) the step of obtaining the wavelength profile obtained in the step a-2) are used for the learning. A step of classifying each pixel of the image into a plurality of clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) information of the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths. b-2) A step of obtaining a wavelength profile representing a change in brightness with respect to a change in the wavelength band for each of the plurality of observation target images acquired in the step b-1), and b-3) the step b. -2) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the observation target image, b-4) Information of the cluster in the observation target image, and the step a-5. A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster learned in)), and in the step a-3), the clusters are classified for a plurality of visual fields. The processes are collectively performed, and in the step b-3), each pixel of the observation image is classified into a plurality of clusters based on the model configured in the step a-3).
The second invention of the present application is a region determination method for determining a plurality of types of regions contained in an image of a biological sample, which comprises a learning step and an execution step, and the learning step is a-1) known living body. A step of acquiring a plurality of learning images by photographing a sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of the learning images acquired in the step a-1) for each pixel. In addition, a plurality of pixels of the learning image are used according to the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band and the wavelength profile obtained in a-3) the step a-2). A step of classifying into clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) a step of learning information on the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths, and b-2) the step b. For each of the plurality of observation target images acquired in -1), a step of obtaining a wavelength profile showing a change in brightness with respect to a change in the wavelength band, and b-3) the step obtained in the step b-2). The steps of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile, b-4) the information of the cluster in the observation target image, and the cluster learned in the step a-5). It has a step of determining a plurality of types of regions included in the observation target image based on the information, and in the step a-3), the cluster classification process is collectively or individually for a plurality of visual fields. Then, in the step b-3), the cluster classification process is individually performed for the plurality of visual fields.
The third invention of the present application is a region determination method for determining a plurality of types of regions contained in an image of a biological sample, which comprises a learning step and an execution step, and the learning step is a-1) known living body. A step of acquiring a plurality of learning images by photographing a sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of the learning images acquired in the step a-1) for each pixel. In addition, a plurality of pixels of the learning image are used according to the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band and the wavelength profile obtained in a-3) the step a-2). A step of classifying into clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) a step of learning information on the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths, and b-2) the step b. For each of the plurality of observation target images acquired in -1), a step of obtaining a wavelength profile showing a change in brightness with respect to a change in the wavelength band, and b-3) the step obtained in the step b-2). The steps of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile, b-4) the information of the cluster in the observation target image, and the cluster learned in the step a-5). It has a step of determining a plurality of types of regions included in the observation target image based on the information, and the information of the plurality of clusters is a composition ratio of the plurality of clusters.
The fourth invention of the present application is the region determination method according to any one of the first invention to the third invention, wherein the biological sample is transparent, and in the step a-1) and the step b-1), the living body is described. While irradiating the biological sample with illumination light from either the upper side or the lower side of the sample, the biological sample is photographed from either the upper side or the lower side of the biological sample.

本願の第５発明は、第１発明ないし第４発明のいずれかの領域判定方法であって、前記学習工程では、既知の生体試料を含む複数の視野について、前記工程ａ−１）〜ａ−５）が実行される。
The fifth invention of the present application is the region determination method according to any one of the first invention to the fourth invention, and in the learning step, the steps a-1) to a-of a plurality of visual fields including a known biological sample. 5) is executed.

本願の第６発明は、第１発明ないし第５発明のいずれかの領域判定方法であって、前記工程ａ―３）および前記工程ｂ−３）では、ｋ−ｍｅａｎｓ法を用いて、各画素を複数のクラスターに分類する。
The sixth invention of the present application is the area determination method according to any one of the first invention to the fifth invention, and in the step a-3) and the step b-3), each pixel is used by the k-means method. Is classified into multiple clusters.

本願の第７発明は、第１発明ないし第６発明のいずれかの領域判定方法であって、前記工程ａ−５）では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する。
The seventh invention of the present application is the region determination method according to any one of the first invention to the sixth invention, and in the step a-5), the information of the plurality of clusters is obtained for each region by the random forest method. learn.

本願の第８発明は、第１発明ないし第７発明のいずれかの領域判定方法であって、前記生体試料は細胞である。
The eighth invention of the present application is the region determination method according to any one of the first invention to the seventh invention, and the biological sample is a cell.

本願の第１発明から第８発明によれば、既知の学習用画像のクラスターの情報を学習して、観察対象画像のクラスターの情報と比較することにより、観察対象画像に含まれる複数種類の領域を自動的に判定できる。 According to the first to eighth inventions of the present application, by learning the information of the cluster of the known learning image and comparing it with the information of the cluster of the observation target image, a plurality of types of regions included in the observation target image are included. Can be determined automatically.

特に、本願の第５発明によれば、画像に含まれる複数種類の領域の特徴を、より精度よく学習できる。したがって、実行工程において、観察対象画像に含まれる複数種類の領域を、より精度よく判定できる。
In particular, according to the fifth invention of the present application, the features of a plurality of types of regions included in an image can be learned more accurately. Therefore, in the execution step, it is possible to more accurately determine a plurality of types of regions included in the observation target image.

特に、本願の第１発明によれば、学習用画像と観察対象画像とで、同一の波長プロファイルをもつ画素は同一のクラスターに分類される。これにより、分類の精度を向上させることができる。
In particular, according to the first invention of the present application, pixels having the same wavelength profile in the learning image and the observation target image are classified into the same cluster. This makes it possible to improve the accuracy of classification.

特に、本願の第２発明によれば、撮影条件の違い等により同種の領域の波長プロファイルが異なる場合に、クラスターの分類処理を個別に行うことによって、撮影条件の違いを吸収できる。 In particular, according to the second invention of the present application, when the wavelength profile of the same type of region is different due to the difference in imaging conditions or the like, the difference in imaging conditions can be absorbed by individually performing the cluster classification processing.

細胞観察装置の概略図である。It is a schematic diagram of a cell observation device. 培養容器の斜視図である。It is a perspective view of a culture vessel. 細胞観察装置を用いた観察処理の流れを示したフローチャートである。It is a flowchart which showed the flow of the observation process using the cell observation apparatus. 学習工程の流れを示したフローチャートである。It is a flowchart which showed the flow of a learning process. 撮影処理の流れを示したフローチャートである。It is a flowchart which showed the flow of a shooting process. 複数の撮影画像を概念的に示した図である。It is a figure which conceptually showed a plurality of photographed images. 波長プロファイルの例を示したグラフである。It is a graph which showed the example of the wavelength profile. 撮影画像の例を示した図である。It is a figure which showed the example of the photographed image. クラスター画像の例を示した図である。It is a figure which showed the example of the cluster image. 領域指定の例を示した図である。It is a figure which showed the example of the area designation. ヒストグラムの例を示した図である。It is a figure which showed the example of the histogram. 実行工程の流れを示したフローチャートである。It is a flowchart which showed the flow of an execution process. コヒーレンスファクターによる撮影画像の変化を示した図である。It is a figure which showed the change of the photographed image by a coherence factor. 波長帯域の半値幅による撮影画像の変化を示した図である。It is a figure which showed the change of the photographed image by the half width of a wavelength band. 焦点位置と細胞の見え方との関係を模式的に示した図である。It is a figure which showed schematically the relationship between the focal position and the appearance of a cell.

以下、本発明の実施形態について、図面を参照しつつ説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜１．細胞観察装置の構成＞
図１は、本発明の領域判定方法を実行する装置の一例である細胞観察装置１の構成を示した概略図である。この細胞観察装置１は、細胞９２の画像を取得するとともに、得られた画像を解析する装置である。細胞観察装置１の使用時には、装置内の所定の撮影位置Ｐに、培養容器９が配置される。培養容器９内には、培養液９１とともに、生体試料である細胞９２が保持される。 <1. Configuration of cell observation device>
FIG. 1 is a schematic view showing the configuration of a cell observation device 1 which is an example of a device for executing the region determination method of the present invention. The cell observation device 1 is a device that acquires an image of the cell 92 and analyzes the obtained image. When the cell observation device 1 is used, the culture vessel 9 is arranged at a predetermined imaging position P in the device. In the culture vessel 9, the cells 92, which are biological samples, are held together with the culture solution 91.

図２は、培養容器９の斜視図である。培養容器９は、複数の窪部９００を有するウェルプレートである。複数の窪部９００は、二次元的に規則的に配列されている。また、各窪部９００は、光透過性の底部を有する。培養容器９は、各窪部９００内に、培養液９１を収容するとともに、観察対象である細胞９２を培養液９１内に保持する。各窪部９００の内部において細胞９２を培養することにより、窪部９００の底部に沿って細胞９２が培養される。以下では、培養容器９と、培養容器９内の培養液９１および細胞９２を併せて試料９０と称する。なお、培養容器９は、ウェルプレートに代えて、ガラスや樹脂等で形成された光透過性のシャーレであってもよい。 FIG. 2 is a perspective view of the culture vessel 9. The culture vessel 9 is a well plate having a plurality of recesses 900. The plurality of recesses 900 are arranged two-dimensionally and regularly. Further, each recess 900 has a light-transmitting bottom. The culture container 9 houses the culture solution 91 in each recess 900, and holds the cells 92 to be observed in the culture solution 91. By culturing the cells 92 inside each depression 900, the cells 92 are cultured along the bottom of the depression 900. Hereinafter, the culture vessel 9, the culture solution 91 and the cells 92 in the culture vessel 9 are collectively referred to as a sample 90. The culture vessel 9 may be a light-transmitting petri dish made of glass, resin, or the like, instead of the well plate.

図１に示すように、細胞観察装置１は、照明部２０と、撮像光学系３０と、撮像部４０と、コンピュータ６０とを有する。照明部２０、撮像光学系３０および撮像部４０は、装置本体（図示せず）に支持される。 As shown in FIG. 1, the cell observation device 1 includes an illumination unit 20, an image pickup optical system 30, an image pickup unit 40, and a computer 60. The illumination unit 20, the image pickup optical system 30, and the image pickup unit 40 are supported by a device main body (not shown).

照明部２０は、光源２１と、照明光学系２２とを含む。照明部２０は、撮影位置Ｐの上方に配置される。照明部２０は、細胞９２の撮影時に、撮影対象となる試料９０に対して上側から照明光を照射する。 The illumination unit 20 includes a light source 21 and an illumination optical system 22. The illumination unit 20 is arranged above the shooting position P. When the cells 92 are photographed, the illumination unit 20 irradiates the sample 90 to be imaged with illumination light from above.

本実施形態の光源２１は、ハロゲンランプである。このため、光源２１は、多数の波長の光が混在する白色光を出射する。 The light source 21 of this embodiment is a halogen lamp. Therefore, the light source 21 emits white light in which light having a large number of wavelengths is mixed.

照明光学系２２は、バンドパスフィルタ５０と、コレクタレンズ２２１、視野絞り２２２、開口絞り２２３、およびコンデンサレンズ２２４とを有する。光源２１から出射された照明光は、コレクタレンズ２２１、視野絞り２２２、バンドパスフィルタ５０、開口絞り２２３およびコンデンサレンズ２２４を順に通過した後、試料９０に照射される。 The illumination optical system 22 includes a bandpass filter 50, a collector lens 221, a field diaphragm 222, an aperture diaphragm 223, and a condenser lens 224. The illumination light emitted from the light source 21 passes through the collector lens 221, the field diaphragm 222, the bandpass filter 50, the aperture diaphragm 223, and the condenser lens 224 in this order, and then irradiates the sample 90.

バンドパスフィルタ５０は、特定の狭波長帯域を通過帯域とする光学フィルタである。バンドパスフィルタ５０は、光源２１から出射された、広い波長帯を有する白色光のうち、狭波長帯の光（単色光）のみを通過させる。照明光学系２２がバンドパスフィルタ５０を含むことにより、照明部２０は、試料９０に対して、狭波長帯の照明光を照射する。また、本実施形態のバンドパスフィルタ５０には、通過帯域を変化させることが可能なフィルタ（例えば、液晶チューナブルフィルタ）が用いられる。 The bandpass filter 50 is an optical filter having a specific narrow wavelength band as a pass band. The bandpass filter 50 passes only the light of a narrow wavelength band (monochromatic light) among the white light having a wide wavelength band emitted from the light source 21. Since the illumination optical system 22 includes the bandpass filter 50, the illumination unit 20 irradiates the sample 90 with illumination light in a narrow wavelength band. Further, as the bandpass filter 50 of the present embodiment, a filter capable of changing the pass band (for example, a liquid crystal tunable filter) is used.

コレクタレンズ２２１は、光源２１から出射された照明光の向きを調整するレンズである。視野絞り２２２は、撮影位置Ｐにおける照明領域を調節する。開口絞り２２３は、照明光学系２２の開口数ＮＡを調整する。コンデンサレンズ２２４は、照明光を集光させる。照明光学系２２の開口数ＮＡは、例えば、０．３以下とすることが好ましい。 The collector lens 221 is a lens that adjusts the direction of the illumination light emitted from the light source 21. The field diaphragm 222 adjusts the illumination area at the shooting position P. The aperture stop 223 adjusts the numerical aperture NA of the illumination optical system 22. The condenser lens 224 collects the illumination light. The numerical aperture NA of the illumination optical system 22 is preferably 0.3 or less, for example.

撮像光学系３０は、撮影位置Ｐと撮像部４０との間に配置される。撮像光学系３０は、対物レンズ３１、開口絞り３２、結像レンズ３３、ビームスプリッター３４および接眼レンズ３５を有する。対物レンズ３１は、観察対象を拡大して像を映し出すためのレンズである。開口絞り３２は、撮像光学系３０の開口数ＮＡを調整する。結像レンズ３３は、撮像部４０の受光面および接眼レンズ３５に撮像対象物の像を結像させる。ビームスプリッター３４は、結像レンズ３３を通過した光を撮像部４０側と接眼レンズ３５側とに分岐させる。 The image pickup optical system 30 is arranged between the shooting position P and the image pickup unit 40. The imaging optical system 30 includes an objective lens 31, an aperture diaphragm 32, an imaging lens 33, a beam splitter 34, and an eyepiece lens 35. The objective lens 31 is a lens for enlarging an observation target and projecting an image. The aperture stop 32 adjusts the numerical aperture NA of the imaging optical system 30. The imaging lens 33 forms an image of an image to be imaged on the light receiving surface of the imaging unit 40 and the eyepiece 35. The beam splitter 34 splits the light that has passed through the imaging lens 33 into the image pickup unit 40 side and the eyepiece lens 35 side.

照明部２０により照射され、試料９０を透過した光は、対物レンズ３１、開口絞り３２および結像レンズ３３を介して進む。そして、ビームスプリッター３４において接眼レンズ３５へと向かう光と、撮像部４０へと向かう光とに分かれる。ビームスプリッター３４は、接眼レンズ３５へ向かう光と撮像部４０へ向かう光との比率を、切り替え可能であってもよい。接眼レンズ３５は、結像位置３５０よりもビームスプリッター３４から離れた位置に配置される。接眼レンズ３５は、観察者が観察を行う際に覗くレンズである。対物レンズ３１で拡大した像を接眼レンズ３５でさらに拡大して観察できる。 The light irradiated by the illumination unit 20 and transmitted through the sample 90 travels through the objective lens 31, the aperture stop 32, and the imaging lens 33. Then, the beam splitter 34 separates the light toward the eyepiece 35 and the light toward the image pickup unit 40. The beam splitter 34 may be able to switch the ratio of the light toward the eyepiece 35 and the light toward the image pickup unit 40. The eyepiece 35 is arranged at a position farther from the beam splitter 34 than the imaging position 350. The eyepiece 35 is a lens that the observer looks into when observing. The image magnified by the objective lens 31 can be further magnified and observed by the eyepiece lens 35.

なお、図１において、照明光学系２２および撮像光学系３０を構成する各部は、光軸に沿って一列に配列されている。しかしながら、照明光学系２２および撮像光学系３０における光路は、反射鏡等によって折り返されてもよい。 In FIG. 1, the parts constituting the illumination optical system 22 and the image pickup optical system 30 are arranged in a row along the optical axis. However, the optical paths in the illumination optical system 22 and the image pickup optical system 30 may be folded back by a reflecting mirror or the like.

撮像部４０は、受光面に結像した試料９０の二次元画像を、デジタル画像データとして取得する。すなわち、撮像部４０は、撮影位置Ｐに配置された細胞９２を撮像する。撮像部４０には、例えば、ＣＣＤカメラや、ＣＭＯＳカメラが用いられる。 The image pickup unit 40 acquires a two-dimensional image of the sample 90 imaged on the light receiving surface as digital image data. That is, the imaging unit 40 images the cells 92 arranged at the imaging position P. For the image pickup unit 40, for example, a CCD camera or a CMOS camera is used.

この細胞観察装置１では、照明部２０が、上述したバンドパスフィルタ５０によって、白色光よりも波長帯域が小さい狭波長帯の照明光を試料９０へ照射する。また、この細胞観察装置１は、バンドパスフィルタ５０の通過帯域を変化させることができる。このため、撮像部４０は、中心波長の異なる複数の波長帯域において、細胞９２の画像を取得することが可能である。 In this cell observation device 1, the illumination unit 20 irradiates the sample 90 with illumination light in a narrow wavelength band having a wavelength band smaller than that of white light by the bandpass filter 50 described above. Further, the cell observation device 1 can change the pass band of the bandpass filter 50. Therefore, the image pickup unit 40 can acquire an image of the cell 92 in a plurality of wavelength bands having different center wavelengths.

なお、本実施形態では、照明部２０が試料９０の上方から照明光を照射し、撮像部４０が試料９０の下方からの映像を撮像する。しかしながら、本発明の細胞観察装置は、このような構造に限られない。照明部２０が試料９０の下方から照明光を照射し、撮像部４０が試料９０の上方からの映像を撮像してもよい。 In the present embodiment, the illumination unit 20 irradiates the illumination light from above the sample 90, and the image pickup unit 40 captures an image from below the sample 90. However, the cell observation device of the present invention is not limited to such a structure. The illumination unit 20 may irradiate the illumination light from below the sample 90, and the image pickup unit 40 may capture an image from above the sample 90.

コンピュータ６０は、細胞観察装置１内の各部を動作制御する制御部としての機能と、撮像部４０により取得された画像を処理して、画像に含まれる複数種類の領域を判定する画像処理部としての機能と、を有する。図１中に概念的に示したように、コンピュータ６０は、ＣＰＵ等のプロセッサ６０１、ＲＡＭ等のメモリ６０２、およびハードディスクドライブ等の記憶部６０３を有する。記憶部６０３には、動作制御プログラムＰ１と画像処理プログラムＰ２とが、記憶されている。また、コンピュータ６０は、上述した光源２１、バンドパスフィルタ５０、および撮像部４０と、電気的に接続されている。 The computer 60 functions as a control unit that controls the operation of each unit in the cell observation device 1, and as an image processing unit that processes an image acquired by the image pickup unit 40 to determine a plurality of types of regions included in the image. Has the function of. As conceptually shown in FIG. 1, the computer 60 has a processor 601 such as a CPU, a memory 602 such as a RAM, and a storage unit 603 such as a hard disk drive. The operation control program P1 and the image processing program P2 are stored in the storage unit 603. Further, the computer 60 is electrically connected to the above-mentioned light source 21, bandpass filter 50, and image pickup unit 40.

コンピュータ６０は、動作制御プログラムＰ１に従って動作することにより、上述した光源２１、バンドパスフィルタ５０、および撮像部４０を動作制御する。これにより、細胞観察装置１における細胞９２の撮影処理が進行する。後述の通り、この細胞観察装置１では、バンドパスフィルタ５０の通過帯域を変化させつつ、複数回の撮影を行う。これにより、コンピュータ６０は、撮像部４０から、複数の撮影画像Ｉ１〜Ｉｎを取得する。また、コンピュータ６０は、複数の撮影画像Ｉ１〜Ｉｎに、画像処理プログラムＰ２に基づく画像処理を行う。これにより、１つのクラスター画像Ｉｏを生成するとともに、クラスター画像Ｉｏに含まれる複数種類の領域を判定する。 The computer 60 controls the operation of the light source 21, the bandpass filter 50, and the image pickup unit 40 described above by operating according to the operation control program P1. As a result, the imaging process of the cells 92 in the cell observation device 1 proceeds. As will be described later, in this cell observation device 1, a plurality of times of imaging are performed while changing the pass band of the bandpass filter 50. As a result, the computer 60 acquires a plurality of captured images I1 to In from the image pickup unit 40. Further, the computer 60 performs image processing based on the image processing program P2 on the plurality of captured images I1 to In. As a result, one cluster image Io is generated, and a plurality of types of regions included in the cluster image Io are determined.

＜２．細胞観察装置を用いた細胞観察について＞
続いて、上述した細胞観察装置１を用いて細胞９２の観察を行うときの手順について、より詳細に説明する。 <2. About cell observation using a cell observation device>
Subsequently, the procedure for observing the cells 92 using the above-mentioned cell observation device 1 will be described in more detail.

図３は、細胞観察装置１を用いた観察処理の大まかな流れを示したフローチャートである。図３に示すように、この細胞観察装置１を用いて細胞９２の観察を行うときには、学習工程（ステップＳ１）と、実行工程（ステップＳ２）とが行われる。学習工程では、既知の細胞９２の画像を取得し、画像の特徴を学習する。実行工程では、未知の細胞９２の画像を取得し、ステップＳ１の学習により得られた情報に基づいて、未知の細胞９２の画像に含まれる複数種類の領域を判定する。 FIG. 3 is a flowchart showing a rough flow of the observation process using the cell observation device 1. As shown in FIG. 3, when observing the cells 92 using the cell observation device 1, a learning step (step S1) and an execution step (step S2) are performed. In the learning step, an image of a known cell 92 is acquired and the characteristics of the image are learned. In the execution step, an image of the unknown cell 92 is acquired, and a plurality of types of regions included in the image of the unknown cell 92 are determined based on the information obtained by the learning in step S1.

＜２−１．学習工程について＞
図４は、学習工程の流れを示したフローチャートである。学習工程では、まず、既知の細胞９２が保持された培養容器９を、細胞観察装置１の撮影位置Ｐにセットする。そして、コンピュータ６０に撮影開始の指示を入力する。すると、コンピュータ６０は、光源２１を点灯させて、細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ５０と撮像部４０とを動作させて、細胞９２のマルチスペクトル撮影（多波長撮影）を行う（ステップＳ１１）。すなわち、バンドパスフィルタ５０の通過帯域を変化させつつ、撮像部４０による細胞９２の撮影を、複数回行う。 <2-1. About the learning process>
FIG. 4 is a flowchart showing the flow of the learning process. In the learning step, first, the culture vessel 9 in which the known cells 92 are held is set at the imaging position P of the cell observation device 1. Then, an instruction to start shooting is input to the computer 60. Then, the computer 60 turns on the light source 21 and irradiates the cells 92 with the illumination light. Then, the computer 60 operates the bandpass filter 50 and the imaging unit 40 to perform multispectral photography (multi-wavelength photography) of the cells 92 (step S11). That is, the cells 92 are photographed a plurality of times by the imaging unit 40 while changing the pass band of the bandpass filter 50.

図５は、ステップＳ１１における撮影処理の流れを、より詳細に示したフローチャートである。図５に示すように、ステップＳ１１では、撮像部４０による１回の細胞９２の撮影（ステップＳ１１１）を実行した後、撮影すべき次の波長帯域があるか否かが、コンピュータ６０によって判断される（ステップＳ１１２）。撮影すべき波長帯域の数は、例えば、４つ以上とすればよい。撮影すべき次の波長帯域がある場合には（ステップＳ１１２においてｙｅｓ）、バンドパスフィルタ５０の通過帯域を、その波長帯域に切り替えて（ステップＳ１１３）、再び細胞９２の撮影を行う（ステップＳ１１１）。そして、予め設定された全ての波長帯域の撮影画像が取得されるまで、ステップＳ１１１〜Ｓ１１３の処理を繰り返す。やがて、撮影すべき波長帯域が無くなると（ステップＳ１１２においてｎｏ）、細胞観察装置１は、細胞９２の撮影を終了する。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。以下では、この学習工程のマルチスペクトル撮影により得られる複数の撮影画像Ｉ１〜Ｉｎ（学習用画像）を、符号ＩＡｎ〜ＩＡｎで表す。 FIG. 5 is a flowchart showing the flow of the shooting process in step S11 in more detail. As shown in FIG. 5, in step S11, after performing one imaging of the cells 92 by the imaging unit 40 (step S111), the computer 60 determines whether or not there is a next wavelength band to be imaged. (Step S112). The number of wavelength bands to be photographed may be, for example, four or more. If there is a next wavelength band to be imaged (yes in step S112), the pass band of the bandpass filter 50 is switched to that wavelength band (step S113), and the cells 92 are photographed again (step S111). .. Then, the processes of steps S111 to S113 are repeated until the captured images of all the preset wavelength bands are acquired. Eventually, when the wavelength band to be imaged disappears (no in step S112), the cell observing apparatus 1 ends the photographing of the cells 92. As a result, a plurality of captured images I1 to In (n: an integer of 2 or more) captured in a plurality of wavelength bands having different center wavelengths can be obtained. In the following, a plurality of captured images I1 to In (learning images) obtained by multispectral imaging in this learning step are represented by reference numerals IAn to IAn.

なお、図５は、培養容器９内の１つの撮影視野についての撮影手順である。複数の撮影視野において学習用の撮影画像ＩＡ１〜ＩＡｎを取得したい場合には、細胞観察装置１は、撮影視野ごとに、図５の処理を実行すればよい。 Note that FIG. 5 is an imaging procedure for one imaging field of view in the culture vessel 9. When it is desired to acquire the photographed images IA1 to IAn for learning in a plurality of imaging fields of view, the cell observation device 1 may execute the process of FIG. 5 for each imaging field of view.

図６は、ステップＳ１１で取得された複数の撮影画像ＩＡ１〜ＩＡｎを、概念的に示した図である。複数の撮影画像ＩＡ１〜ＩＡｎは、それぞれ、複数の画素ｐにより構成される。コンピュータ６０は、まず、複数の撮影画像ＩＡ１〜ＩＡｎについて、同一の座標に位置する画素ｐ同士（例えば、図５中に示した画素ｐ同士）を比較する。そして、画素ｐが存在する座標（以下、「画素座標Ｃ」と称する）ごとに、波長プロファイルＷを作成する（ステップＳ１２）。具体的には、同一の画素座標Ｃに位置する画素ｐ同士を比較して、輝度の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。 FIG. 6 is a diagram conceptually showing a plurality of captured images IA1 to IAn acquired in step S11. Each of the plurality of captured images IA1 to IAn is composed of a plurality of pixels p. First, the computer 60 compares the pixels p located at the same coordinates (for example, the pixels p shown in FIG. 5) with respect to the plurality of captured images IA1 to IAn. Then, a wavelength profile W is created for each coordinate in which the pixel p exists (hereinafter, referred to as “pixel coordinate C”) (step S12). Specifically, pixels p located at the same pixel coordinate C are compared with each other to create a wavelength profile W representing a change in luminance. Then, such a wavelength profile W is created for all the pixel coordinates C.

その結果、例えば、図７のように、波長帯域の変化に対する輝度の変化を表す波長プロファイルＷが、画素座標Ｃごとに得られる。図７の横軸は、撮影時の波長帯域の中心波長を示す。図７の縦軸は、輝度を示す。 As a result, for example, as shown in FIG. 7, a wavelength profile W representing a change in luminance with respect to a change in wavelength band is obtained for each pixel coordinate C. The horizontal axis of FIG. 7 indicates the central wavelength of the wavelength band at the time of photographing. The vertical axis of FIG. 7 indicates the brightness.

図４に戻る。複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ１３）。ここでは、画素座標Ｃごとに、ステップＳ１２で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。このとき、コンピュータ６０は、波長プロファイルＷの特徴が近い画素座標Ｃを、同一のクラスターに分類する。例えば、波長プロファイルＷの傾き、変曲点の数、変曲点の位置、輝度の平均値、輝度の最大値、輝度の最小値等の複数の要素を考慮して、画素座標Ｃを、複数のクラスターに分類する。 Return to FIG. When a plurality of wavelength profiles W are obtained, the computer 60 subsequently classifies each pixel coordinate C into a plurality of clusters (step S13). Here, the wavelength profile W obtained in step S12 is referred to for each pixel coordinate C. Then, each pixel coordinate C is classified into one of a plurality of clusters prepared in advance according to the characteristics of the wavelength profile W. At this time, the computer 60 classifies the pixel coordinates C having similar characteristics of the wavelength profile W into the same cluster. For example, a plurality of pixel coordinates C are set in consideration of a plurality of factors such as the slope of the wavelength profile W, the number of inflection points, the position of the inflection point, the average value of luminance, the maximum value of luminance, and the minimum value of luminance. Classify into clusters of.

また、ステップＳ１３のクラスターの分類には、ｋ−ｍｅａｎｓ法を用いてもよい。ｋ−ｍｅａｎｓ法を用いる場合には、まず、複数の画素座標Ｃを、予め決められた数のクラスターに、ランダムまたは所定の法則に従って分類する。次に、各クラスターに属する波長プロファイルＷの中心を求める。このとき、中心位置の計算に、各画素座標Ｃの波長プロファイルＷの要素を含める。その後、複数の画素座標Ｃを、波長プロファイルＷの中心が最も近いクラスターに分類し直す。コンピュータ６０は、このような処理を、各画素座標Ｃの分類結果が変動しなくなるまで、あるいは、所定の停止条件を満たすまで繰り返す。このようなｋ−ｍｅａｎｓ法を用いれば、各画素座標Ｃを、波長プロファイルＷに応じて、複数のクラスターに適切かつ自動的に分類できる。 Further, the k-means method may be used for the classification of the cluster in step S13. When the k-means method is used, first, a plurality of pixel coordinates C are classified into a predetermined number of clusters at random or according to a predetermined rule. Next, the center of the wavelength profile W belonging to each cluster is obtained. At this time, the element of the wavelength profile W of each pixel coordinate C is included in the calculation of the center position. After that, the plurality of pixel coordinates C are reclassified into the clusters closest to the center of the wavelength profile W. The computer 60 repeats such a process until the classification result of each pixel coordinate C does not change or a predetermined stop condition is satisfied. By using such a k-means method, each pixel coordinate C can be appropriately and automatically classified into a plurality of clusters according to the wavelength profile W.

その後、コンピュータ６０は、ステップＳ１３の分類結果に基づいて、クラスター画像Ｉｏを生成する（ステップＳ１４）。以下では、この学習工程において生成されるクラスター画像Ｉｏ（学習用画像）を、符号ＩＡｏで表す。ここでは、クラスター画像ＩＡｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像ＩＡ１〜ＩＡｎがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、１つの視野におけるクラスター画像ＩＡｏが得られる。 After that, the computer 60 generates a cluster image Io based on the classification result of step S13 (step S14). In the following, the cluster image Io (learning image) generated in this learning step is represented by the reference numeral IAo. Here, a gradation value corresponding to the classified cluster is assigned to each pixel of the cluster image IAo (that is, to each pixel coordinate C). The gradation value may be a value predetermined for each cluster, or may be a value calculated for each cluster using the luminance values of the captured images IA1 to IAn. This gives a cluster image IAo in one field of view.

図８は、ステップＳ１１において取得される撮影画像ＩＡ１〜ＩＡｎの例を示した図である。図９は、ステップＳ１４において生成されるクラスター画像ＩＡｏの例を示した図である。図８と図９とを比較すると、図８の撮影画像よりも、図９のクラスター画像ＩＡｏの方が、細胞９２の位置や形を明瞭に把握できる。すなわち、上述した波長プロファイルＷに基づくクラスター分けによって、撮影画像ＩＡ１〜ＩＡｎよりも領域の分類に適したクラスター画像ＩＡｏが生成されていることが分かる。 FIG. 8 is a diagram showing an example of the captured images IA1 to IAn acquired in step S11. FIG. 9 is a diagram showing an example of the cluster image IAo generated in step S14. Comparing FIGS. 8 and 9, the cluster image IAo of FIG. 9 can clearly grasp the position and shape of the cells 92 than the captured image of FIG. That is, it can be seen that the cluster image IAo that is more suitable for the classification of the region than the photographed images IA1 to IAn is generated by the cluster division based on the wavelength profile W described above.

続いて、クラスター画像ＩＡｏに含まれる既知の複数種類の領域が指定される（ステップＳ１５）。図１０は、ステップＳ１５の領域指定の例を示した図である。ここでは、細胞観察装置１のユーザが、クラスター画像ＩＡｏ内に存在する各領域を指定する。例えば、クラスター画像ＩＡｏ内において、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域をそれぞれ指定する。図１０の例では、クラスター画像ＩＡｏに対して、３種類の領域Ｔ１，Ｔ２，Ｔ３が指定されている。領域の指定は、例えば、ユーザが、コンピュータ６０のディスプレイに表示されるクラスター画像ＩＡｏを見ながら、コンピュータ６０の入力部を操作することにより、行えばよい。 Subsequently, a plurality of known types of regions included in the cluster image IAo are designated (step S15). FIG. 10 is a diagram showing an example of region designation in step S15. Here, the user of the cell observation device 1 specifies each region existing in the cluster image IAo. For example, in the cluster image IAo, a plurality of types of regions such as a region in which the cytoplasm of a large cell exists, a region in which a nucleus of a large cell exists, a region in which a small cell exists, a region in which a cell does not exist, and the like are designated. In the example of FIG. 10, three types of regions T1, T2, and T3 are designated for the cluster image IAo. The area may be designated, for example, by the user operating the input unit of the computer 60 while viewing the cluster image IAo displayed on the display of the computer 60.

なお、上述したステップＳ１１において、複数の撮影視野でマルチスペクトル撮影を行った場合には、上述したステップＳ１４において、撮影視野ごとにクラスター画像ＩＡｏが生成される。その場合、ユーザは、ステップＳ１５において、生成された各クラスター画像ＩＡｏについて、複数種類の領域を指定する。 When multispectral imaging is performed in a plurality of imaging fields of view in step S11 described above, a cluster image IAo is generated for each imaging field of view in step S14 described above. In that case, the user specifies a plurality of types of regions for each of the generated cluster images IAo in step S15.

ユーザによる既知の領域の指定が完了すると、コンピュータ６０は、指定された領域ごとに、クラスターの構成比率を学習する（ステップＳ１６）。ここでは、まず、領域ごとに、クラスターの構成比率を示すヒストグラムＨを作成する。図１１は、領域ごとに作成されたヒストグラムＨの例を示した図である。ヒストグラムＨの横軸は、ステップＳ１３において分類されるクラスターを示す。図１１の縦軸は、画素数を示す。ヒストグラムＨは、当該領域において、どのクラスターにどれだけの画素が属しているかを表す情報となる。 When the user's designation of the known area is completed, the computer 60 learns the cluster configuration ratio for each designated area (step S16). Here, first, a histogram H showing the composition ratio of the cluster is created for each region. FIG. 11 is a diagram showing an example of a histogram H created for each region. The horizontal axis of the histogram H shows the clusters classified in step S13. The vertical axis of FIG. 11 shows the number of pixels. The histogram H is information indicating how many pixels belong to which cluster in the region.

コンピュータ６０は、ステップＳ１５において指定された領域ごとに、このようなヒストグラムＨを作成する。そして、当該領域ごとに、ヒストグラムＨの特徴を学習する。すなわち、クラスターの構成比率として任意の情報が入力されたときに、１つの領域を出力できるように、ヒストグラムＨの特徴を一般化する。ステップＳ１６の処理には、例えば、ランダムフォレストなどの機械学習の手法を用いることができる。ランダムフォレストを用いれば、クラスターの構成比率から各領域へ辿り着くための複数の条件分岐を、自動的に作成することができる。 The computer 60 creates such a histogram H for each region designated in step S15. Then, the characteristics of the histogram H are learned for each region. That is, the characteristics of the histogram H are generalized so that one area can be output when arbitrary information is input as the configuration ratio of the cluster. For the processing of step S16, for example, a machine learning method such as a random forest can be used. By using a random forest, it is possible to automatically create multiple conditional branches to reach each region from the cluster composition ratio.

ステップＳ１の学習工程では、以上のステップＳ１１〜Ｓ１６を、既知の細胞９２を含む複数の視野について行うことが好ましい。より多くの視野について学習を行えば、画像に含まれる複数種類の領域の特徴を、より精度よく得ることができる。したがって、後述する実行工程において、観察対象の画像に含まれる複数種類の領域を、より精度よく判定できる。 In the learning step of step S1, it is preferable to perform the above steps S11 to S16 for a plurality of visual fields including known cells 92. The more the field of view is learned, the more accurately the characteristics of the plurality of types of regions contained in the image can be obtained. Therefore, in the execution step described later, it is possible to more accurately determine a plurality of types of regions included in the image to be observed.

＜２−２．実行工程について＞
以上の学習工程（ステップＳ１）が終了すると、次に、コンピュータ６０は、実行工程（ステップＳ２）を行う。 <2-2. About the execution process>
When the above learning step (step S1) is completed, the computer 60 next performs the execution step (step S2).

図１２は、実行工程の流れを示したフローチャートである。実行工程では、まず、観察対象となる細胞９２が保持された培養容器９を、細胞観察装置１の撮影位置Ｐにセットする。そして、コンピュータ６０に撮影開始の指示を入力する。すると、コンピュータ６０は、光源２１を点灯させて、細胞９２に照明光を照射する。そして、コンピュータ６０は、バンドパスフィルタ５０と撮像部４０とを動作させて、細胞９２のマルチスペクトル撮影を行う（ステップＳ２１）。すなわち、バンドパスフィルタ５０の通過帯域を変化させつつ、撮像部４０による細胞９２の撮影を、複数回行う。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像Ｉ１〜Ｉｎ（ｎ：２以上の整数）が得られる。以下では、この実行工程のマルチスペクトル撮影により得られる複数の撮影画像Ｉ１〜Ｉｎ（観察対象画像）を、符号ＩＢｎ〜ＩＢｎで表す。 FIG. 12 is a flowchart showing the flow of the execution process. In the execution step, first, the culture vessel 9 in which the cells 92 to be observed are held is set at the imaging position P of the cell observation device 1. Then, an instruction to start shooting is input to the computer 60. Then, the computer 60 turns on the light source 21 and irradiates the cells 92 with the illumination light. Then, the computer 60 operates the bandpass filter 50 and the imaging unit 40 to perform multispectral imaging of the cells 92 (step S21). That is, the cells 92 are photographed a plurality of times by the imaging unit 40 while changing the pass band of the bandpass filter 50. As a result, a plurality of captured images I1 to In (n: an integer of 2 or more) captured in a plurality of wavelength bands having different center wavelengths can be obtained. In the following, a plurality of captured images I1 to In (observation target images) obtained by multispectral imaging in this execution step are represented by reference numerals IBn to IBn.

なお、マルチスペクトル撮影の詳細な手順については、ステップＳ１１と同様であるため、重複説明を省略する。 Since the detailed procedure for multispectral imaging is the same as in step S11, duplicate description will be omitted.

次に、コンピュータ６０は、複数の撮影画像ＩＢ１〜ＩＢｎについて、上述したステップＳ１２と同様に、画素座標Ｃごとに、波長プロファイルＷを作成する（ステップＳ２２）。すなわち、同一の画素座標Ｃに位置する画素ｐ同士を比較して、波長帯域の変化に対する輝度の変化を表す波長プロファイルＷを作成する。そして、このような波長プロファイルＷを、全ての画素座標Ｃについて作成する。 Next, the computer 60 creates a wavelength profile W for each pixel coordinate C for the plurality of captured images IB1 to IBn in the same manner as in step S12 described above (step S22). That is, the pixels p located at the same pixel coordinate C are compared with each other to create a wavelength profile W representing the change in luminance with respect to the change in the wavelength band. Then, such a wavelength profile W is created for all the pixel coordinates C.

複数の波長プロファイルＷが得られると、続いて、コンピュータ６０は、上述したステップＳ１３と同様に、各画素座標Ｃを、複数のクラスターに分類する（ステップＳ２３）。ここでは、画素座標Ｃごとに、ステップＳ２２で得られた波長プロファイルＷを参照する。そして、各画素座標Ｃを、波長プロファイルＷの特徴に応じて、予め用意された複数のクラスターの１つに分類する。ステップＳ２３のクラスターの分類には、ステップＳ１３と同様に、ｋ−ｍｅａｎｓ法を用いてもよい。 When the plurality of wavelength profiles W are obtained, the computer 60 subsequently classifies each pixel coordinate C into a plurality of clusters in the same manner as in step S13 described above (step S23). Here, the wavelength profile W obtained in step S22 is referred to for each pixel coordinate C. Then, each pixel coordinate C is classified into one of a plurality of clusters prepared in advance according to the characteristics of the wavelength profile W. As in step S13, the k-means method may be used for the classification of the cluster in step S23.

その後、コンピュータ６０は、ステップＳ２３の分類結果に基づいて、上述したステップＳ１４と同様に、クラスター画像Ｉｏを生成する（ステップＳ２４）。以下では、この実行工程において生成されるクラスター画像Ｉｏ（観察対象画像）を、符号ＩＢｏで表す。ここでは、クラスター画像ＩＢｏの各画素に（すなわち各画素座標Ｃに）、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像ＩＢ１〜ＩＢｎがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、観察対象の撮影視野におけるクラスター画像ＩＢｏが得られる。 After that, the computer 60 generates a cluster image Io based on the classification result of step S23 in the same manner as in step S14 described above (step S24). In the following, the cluster image Io (observation target image) generated in this execution step is represented by the reference numeral IBo. Here, a gradation value corresponding to the classified cluster is assigned to each pixel of the cluster image IBo (that is, to each pixel coordinate C). The gradation value may be a value predetermined for each cluster, or may be a value calculated for each cluster using the luminance values of the captured images IB1 to IBn. As a result, a cluster image IBo in the field of view of the observation target can be obtained.

続いて、コンピュータ６０は、クラスター画像ＩＢｏに含まれる複数種類の領域を判定する（ステップＳ２５）。ここでは、観察対象のクラスター画像ＩＢｏにおけるクラスターの分布と、上述したステップＳ１６の学習結果とに基づいて、領域の判定が行われる。具体的には、観察対象のクラスター画像ＩＢｏを複数の小領域に分割し、各小領域のクラスターの構成比率に、ステップＳ１６で得られた学習結果を適用して、各小領域が、上述したステップＳ１５で指定された複数の領域のうち、どの領域に最も近似するかが判定される。例えば、ステップＳ１６で、ランダムフォレストによる条件分岐を取得した場合には、クラスター画像ＩＢｏの各小領域のクラスターの分布を、当該条件分岐に当てはめて、辿り着く領域を判定結果とする。 Subsequently, the computer 60 determines a plurality of types of regions included in the cluster image IBo (step S25). Here, the region is determined based on the distribution of the clusters in the cluster image IBo to be observed and the learning result of step S16 described above. Specifically, the cluster image IBo to be observed is divided into a plurality of small regions, and the learning result obtained in step S16 is applied to the cluster composition ratio of each small region, and each small region is described above. Of the plurality of regions specified in step S15, which region most closely matches is determined. For example, when the conditional branch by the random forest is acquired in step S16, the distribution of the clusters in each small region of the cluster image IBo is applied to the conditional branch, and the region to be reached is used as the determination result.

その後、コンピュータ６０は、領域の判定結果を画面に表示する。例えば、クラスター画像ＩＢｏに、領域に応じた着色を施すことによって、各領域を、ユーザに対して視覚的に明示する。 After that, the computer 60 displays the determination result of the area on the screen. For example, each region is visually shown to the user by coloring the cluster image IBo according to the region.

このように、この細胞観察装置１では、既知の細胞９２の画像のクラスター分布を学習して、観察対象の細胞９２のクラスター分布と比較することにより、観察対象の画像に含まれる複数種類の領域を判定する。これにより、観察対象の画像に含まれる複数種類の領域を、自動的かつ精度よく判定することができる。 As described above, in this cell observation device 1, by learning the cluster distribution of the image of the known cell 92 and comparing it with the cluster distribution of the cell 92 to be observed, a plurality of types of regions included in the image to be observed are included. To judge. As a result, it is possible to automatically and accurately determine a plurality of types of regions included in the image to be observed.

特に、この細胞観察装置１では、撮影画像の輝度そのもので領域を判定するのではなく、マルチスペクトル撮影により得られる複数の撮影画像から、クラスター分布を導出し、そのクラスター分布に基づいて、複数種類の領域を判定する。これにより、透明な細胞９２の画像に含まれる複数種類の領域を、より精度よく判定することができる。 In particular, in this cell observation device 1, the region is not determined by the brightness of the captured image itself, but a cluster distribution is derived from a plurality of captured images obtained by multispectral imaging, and a plurality of types are derived based on the cluster distribution. Judge the area of. Thereby, a plurality of types of regions contained in the transparent cell 92 image can be determined more accurately.

＜３．撮影条件について＞
続いて、上述したステップＳ１１およびステップＳ２１における、好ましい撮影条件について、説明する。この細胞観察装置１では、無染色の細胞９２を観察することを想定している。一般的に細胞９２は無色透明に近いため、無染色状態の細胞９２を明視野下で観察しようとすると、その構成要素の輪郭を特定しにくい。このため、ステップＳ１１およびステップＳ２１のマルチスペクトル撮影においては、コヒーレンスファクターσ、照明光の波長帯域の半値幅、および焦点位置を、適切に設定して、撮影画像のコントラストを高めることが好ましい。 <3. About shooting conditions>
Subsequently, preferable shooting conditions in step S11 and step S21 described above will be described. In this cell observation device 1, it is assumed that unstained cells 92 are observed. In general, since cells 92 are almost colorless and transparent, it is difficult to identify the contours of the components when observing unstained cells 92 in a bright field. Therefore, in the multispectral imaging in steps S11 and S21, it is preferable to appropriately set the coherence factor σ, the half width at half maximum of the wavelength band of the illumination light, and the focal position to enhance the contrast of the captured image.

＜３−１．コヒーレンスファクターについて＞
初めに、コヒーレンスファクターσの条件について、図１３を参照しつつ説明する。図１３は、コヒーレンスファクターσの値を変化させて撮像部４０が取得した撮影画像を示した図である。 <3-1. About Coherence Factor>
First, the condition of the coherence factor σ will be described with reference to FIG. FIG. 13 is a diagram showing a photographed image acquired by the imaging unit 40 by changing the value of the coherence factor σ.

コヒーレンスファクターσは、照明光学系２２の開口数ＮＡと、撮像光学系３０の開口数ＮＡとの比である。具体的には、コヒーレンスファクターσは、照明光学系２２の開口数ＮＡを撮像光学系３０の開口数ＮＡで割った値である。コヒーレンスファクターσを小さくすることにより、撮像部４０で取得できる画像のコントラストを向上できる。 The coherence factor σ is the ratio between the numerical aperture NA of the illumination optical system 22 and the numerical aperture NA of the imaging optical system 30. Specifically, the coherence factor σ is a value obtained by dividing the numerical aperture NA of the illumination optical system 22 by the numerical aperture NA of the imaging optical system 30. By reducing the coherence factor σ, the contrast of the image that can be acquired by the image pickup unit 40 can be improved.

図１３には、コヒーレンスファクターσの値をσ＝１．００、σ＝０．８３、σ＝０．５８、σ＝０．３６、σ＝０．２６、およびσ＝０．１４とした場合の細胞９２の撮影画像の例が示されている。図１３の例の細胞９２は、細胞体９２１と、細胞体９２１から突出した突起９２２と、細胞体９２１の内部の微細構造９２３とを有する。なお、このときのバンドパスフィルタ５０の中心波長は５５０ｎｍであり、半値幅は３９ｎｍである。したがって、細胞９２に照射される狭波長帯の照明光の中心波長は５５０ｎｍ、半値幅は３９ｎｍである。 FIG. 13 shows the case where the values of the coherence factor σ are σ = 1.00, σ = 0.83, σ = 0.58, σ = 0.36, σ = 0.26, and σ = 0.14. An example of a photographed image of the cell 92 of the cell 92 is shown. The cell 92 of the example of FIG. 13 has a cell body 921, a protrusion 922 protruding from the cell body 921, and an internal microstructure 923 of the cell body 921. The center wavelength of the bandpass filter 50 at this time is 550 nm, and the half width is 39 nm. Therefore, the central wavelength of the illumination light in the narrow wavelength band irradiated to the cell 92 is 550 nm, and the half width is 39 nm.

図１３に示すように、コヒーレンスファクターσの値が小さくなるにつれ、細胞９２の撮影画像のコントラストが向上する。特に、σ＝０．８３の場合にはぼやけていた細胞体９２１の輪郭が、σ＝０．５８の場合にははっきりと視認できる。また、σ＝０．８３の場合には視認が困難な突起９２２の輪郭や、細胞体９２１の微細構造９２３の輪郭の存在を、σ＝０．５８の場合には視認できる。このように、コヒーレンスファクターσの値をσ＝０．６以下とすることにより、明視野において透明な細胞９２の各部を視認できる程度まで、撮影画像のコントラストを向上できる。 As shown in FIG. 13, as the value of the coherence factor σ becomes smaller, the contrast of the captured image of the cell 92 improves. In particular, the outline of the cell body 921, which was blurred when σ = 0.83, can be clearly seen when σ = 0.58. Further, the existence of the contour of the protrusion 922, which is difficult to see when σ = 0.83, and the contour of the microstructure 923 of the cell body 921 can be visually recognized when σ = 0.58. By setting the value of the coherence factor σ to σ = 0.6 or less in this way, the contrast of the captured image can be improved to the extent that each part of the transparent cell 92 can be visually recognized in the bright field.

また、σ＝０．５８の場合にはぼやけていた突起９２２の輪郭や、細胞体９２１の微細構造９２３の輪郭を、σ＝０．３６の場合には視認できる。このように、コヒーレンスファクターσの値をσ＝０．４以下とすることにより、明視野において透明な細胞９２の各部をより鮮明に視認できる程度まで、撮影画像のコントラストをより向上できる。 Further, when σ = 0.58, the outline of the protrusion 922 which was blurred and the outline of the fine structure 923 of the cell body 921 can be visually recognized when σ = 0.36. By setting the value of the coherence factor σ to σ = 0.4 or less in this way, the contrast of the captured image can be further improved to the extent that each part of the transparent cell 92 can be clearly seen in the bright field.

σ＝０．２６の場合には、σ＝０．３６の場合と同様、細胞体９２１の輪郭を鮮明に視認できる。また、σ＝０．２６の場合には、σ＝０．３６の場合よりもさらに撮影画像のコントラストが向上する。一方、σ＝０．１４の場合では、σ＝０．２６の場合と比べて明らかな視認性およびコントラストの向上は見られなかった。 When σ = 0.26, the contour of the cell body 921 can be clearly seen as in the case of σ = 0.36. Further, when σ = 0.26, the contrast of the captured image is further improved as compared with the case of σ = 0.36. On the other hand, in the case of σ = 0.14, no clear improvement in visibility and contrast was observed as compared with the case of σ = 0.26.

以上の結果より、上述したステップＳ１１およびステップＳ２１においては、コヒーレンスファクターσが０．６以下となるように、照明光学系２２および撮像光学系３０を調整して、マルチスペクトル撮影を行うことが好ましいと言える。また、コヒーレンスファクターσを０．４以下とすれば、より好ましいと言える。また、コヒーレンスファクターσを０．３以下とすれば、さらに好ましいと言える。 From the above results, in steps S11 and S21 described above, it is preferable to adjust the illumination optical system 22 and the imaging optical system 30 so that the coherence factor σ is 0.6 or less, and perform multispectral photography. It can be said that. Further, it can be said that it is more preferable that the coherence factor σ is 0.4 or less. Further, it can be said that it is more preferable if the coherence factor σ is 0.3 or less.

＜３−２．照明光の波長帯域の半値幅について＞
次に、照明光の波長帯域の半値幅について、説明する。照明部２０から照射される照明光は、細胞９２の表面において屈折する。このとき、照明光が、白色光よりも波長帯域が小さい狭波長帯の光である場合には、白色光の場合よりも、屈折箇所における光の拡がりが少ない。すなわち、狭波長帯の照明光は、屈折後もほぼ同一方向へ進行する。このため、狭波長帯の照明光を用いれば、視認性が高く，領域の判定に必要な高精度な情報を含む撮影画像を得ることができる。 <3-2. About half-value width of wavelength band of illumination light>
Next, the half width of the wavelength band of the illumination light will be described. The illumination light emitted from the illumination unit 20 is refracted on the surface of the cell 92. At this time, when the illumination light is light having a narrow wavelength band smaller than that of white light, the spread of light at the refraction point is smaller than that of white light. That is, the illumination light in the narrow wavelength band travels in substantially the same direction even after refraction. Therefore, if the illumination light in a narrow wavelength band is used, it is possible to obtain a photographed image having high visibility and including highly accurate information necessary for determining a region.

図１４には、バンドパスフィルタ５０を使用しない場合と、バンドパスフィルタ５０の半値幅を１５３ｎｍ、１２４ｎｍ、および１０ｎｍとした場合との細胞９２の撮影画像の例が示されている。バンドパスフィルタ５０の半値幅が小さいほど、バンドパスフィルタ５０を通過した照明光の波長帯域は小さくなる。図１４の例の細胞９２は、細胞体９２１と、細胞体９２１から突出した突起９２２とを有する。なお、このときのコヒーレンスファクターσの値はσ＝０．２６であり、バンドパスフィルタ５０の中心波長は５５０ｎｍである。 FIG. 14 shows an example of a photographed image of the cell 92 when the bandpass filter 50 is not used and when the half width of the bandpass filter 50 is 153 nm, 124 nm, and 10 nm. The smaller the half-value width of the bandpass filter 50, the smaller the wavelength band of the illumination light that has passed through the bandpass filter 50. The cell 92 in the example of FIG. 14 has a cell body 921 and a protrusion 922 protruding from the cell body 921. The value of the coherence factor σ at this time is σ = 0.26, and the center wavelength of the bandpass filter 50 is 550 nm.

図１４に示すように、バンドパスフィルタ５０を使用しない白色光における撮影画像と比べて、バンドパスフィルタ５０を使用した狭波長帯における３つの撮影画像では、細胞９２の各部を視認しやすい。特に、白色光における撮影画像では、細胞体９２１から延びる突起９２２を視認するのが困難であるのに対し、狭波長帯における３つの撮影画像では、突起９２２を視認できる。このように、狭波長帯における細胞９２の像を撮像することにより、コントラストが高い撮影画像を得ることができる。このように、バンドパスフィルタ５０が介在することにより、細胞９２による拡がりが生じにくい狭波長帯の光のみを撮像部４０が撮像する。したがって、コントラストの高い撮影画像を取得できる。 As shown in FIG. 14, it is easier to visually recognize each part of the cell 92 in the three captured images in the narrow wavelength band using the bandpass filter 50 as compared with the captured image in white light without the bandpass filter 50. In particular, it is difficult to visually recognize the protrusion 922 extending from the cell body 921 in the photographed image in white light, whereas the protrusion 922 can be visually recognized in the three photographed images in the narrow wavelength band. By imaging the image of the cell 92 in the narrow wavelength band in this way, it is possible to obtain a photographed image having high contrast. As described above, due to the intervention of the bandpass filter 50, the imaging unit 40 captures only the light in the narrow wavelength band in which the cells 92 are unlikely to spread. Therefore, it is possible to acquire a captured image with high contrast.

また、図１４に示すように、狭波長帯における３つの撮影画像を比較すると、狭波長帯の半値幅が小さくなるにつれ、画像のコントラストが向上する。特に、半値幅が１２４ｎｍの場合には、半値幅が１５３ｎｍの場合と比べて、突起９２２の輪郭の視認性が大きく向上している。このように、狭波長帯の半値幅は、１５０ｎｍ以下であることが好ましい。一方、半値幅が１０ｎｍの場合には、半値幅１２４ｎｍの場合と比べて、突起９２２の輪郭の視認性がさらに向上する。したがって、狭波長帯の半値幅は、１００ｎｍ以下であることがより好ましい。すなわち、狭波長帯の半値幅を１５０ｎｍ以下や、１００ｎｍ以下とすることにより、よりコントラストの高い細胞画像を取得できる。 Further, as shown in FIG. 14, when three captured images in the narrow wavelength band are compared, the contrast of the images is improved as the half width of the narrow wavelength band becomes smaller. In particular, when the half-value width is 124 nm, the visibility of the contour of the protrusion 922 is greatly improved as compared with the case where the half-value width is 153 nm. As described above, the half width of the narrow wavelength band is preferably 150 nm or less. On the other hand, when the half-value width is 10 nm, the visibility of the contour of the protrusion 922 is further improved as compared with the case where the half-value width is 124 nm. Therefore, the half width of the narrow wavelength band is more preferably 100 nm or less. That is, by setting the half width of the narrow wavelength band to 150 nm or less or 100 nm or less, a cell image with higher contrast can be obtained.

以上の結果より、上述したステップＳ１１およびステップＳ２１においては、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、１５０ｎｍ以下とすることが好ましいと言える。また、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、１００ｎｍ以下とすれば、より好ましいと言える。これにより、上述したステップＳ１２およびステップＳ２２において、変化の大きい波長プロファイルＷを得ることができる。その結果、上述したステップＳ１３およびステップＳ２３において、各画素をより適切に分類できる。 From the above results, it can be said that in step S11 and step S21 described above, it is preferable that the half width of each wavelength band used for multispectral imaging is 150 nm or less. Further, it can be said that it is more preferable that the half width of each wavelength band used for multispectral photography is 100 nm or less. Thereby, in the above-mentioned steps S12 and S22, the wavelength profile W having a large change can be obtained. As a result, in the above-mentioned steps S13 and S23, each pixel can be classified more appropriately.

＜３−３．焦点位置について＞
最後に、焦点位置の条件について、図１５を参照しつつ説明する。図１５は、焦点位置と細胞９２の見え方との関係を模式的に示した図である。図１５中に模式的に示したように、細胞９２は透明であるため、撮像光学系３０の焦点位置を細胞９２に合わせた合焦点位置とすると、撮像部４０により取得された画像において、細胞内部と細胞外部との輝度は近似する。このため、合焦点位置では、細胞９２が視認しにくくなる。 <3-3. Focus position>
Finally, the condition of the focal position will be described with reference to FIG. FIG. 15 is a diagram schematically showing the relationship between the focal position and the appearance of the cell 92. As schematically shown in FIG. 15, since the cells 92 are transparent, if the focal position of the imaging optical system 30 is set to the focused position aligned with the cells 92, the cells in the image acquired by the imaging unit 40 The brightness inside and outside the cell is similar. Therefore, it becomes difficult to visually recognize the cells 92 at the in-focus position.

撮像光学系３０の焦点位置を合焦点位置から近距離方向（撮像部４０側）へとずらすと、細胞内部が細胞外部よりも白く見える。そして、撮像光学系３０の焦点位置を合焦点位置から一定距離近距離方向へずらした第１位置において、エッジの強さが極大値をとる。このため、第１位置において、細胞９２および細胞９２の各部の視認性が高くなる。撮像光学系３０の焦点位置を第１位置よりもさらに近距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞９２の視認性が低下する。 When the focal position of the image pickup optical system 30 is shifted from the in-focus position to the short distance direction (on the side of the image pickup unit 40), the inside of the cell looks whiter than the outside of the cell. Then, at the first position where the focal position of the imaging optical system 30 is shifted from the focal focus position in the short distance direction by a certain distance, the edge strength takes a maximum value. Therefore, at the first position, the visibility of each part of the cell 92 and the cell 92 is improved. When the focal position of the imaging optical system 30 is further shifted in the short distance direction from the first position, the image is blurred, the edges are weakened, and the visibility of the cells 92 is lowered.

一方、撮像光学系３０の焦点距離を合焦点位置から遠距離方向（照明部２０側）へとずらすと、細胞内部が細胞外部よりも黒く見える。そして、撮像光学系３０の焦点位置を合焦点位置から一定距離遠距離方向へずらした第２位置において、エッジの強さが極大値をとる。このため、第２位置において、細胞９２および細胞９２の各部の視認性が高くなる。撮像光学系３０の焦点位置を第２位置よりもさらに遠距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞９２の視認性が低下する。 On the other hand, when the focal length of the imaging optical system 30 is shifted from the focal length position to the long distance direction (illumination unit 20 side), the inside of the cell looks blacker than the outside of the cell. Then, at the second position where the focal position of the imaging optical system 30 is shifted from the focal focus position in a certain distance in a long distance direction, the edge strength takes a maximum value. Therefore, at the second position, the visibility of each part of the cell 92 and the cell 92 is improved. When the focal position of the imaging optical system 30 is further shifted in the far distance direction from the second position, the image is blurred, the edges are weakened, and the visibility of the cells 92 is deteriorated.

したがって、上述したステップＳ１１およびステップＳ２１においては、撮像光学系３０の焦点位置を、合焦点位置から一定距離ずらした第１位置または第２位置として、マルチスペクトル撮影を行うことが好ましい。これにより、より高いコントラストの撮影画像Ｉ１〜Ｉｎを取得できる。なお、合焦点位置から第１位置または第２位置までの距離は、細胞９２の種類ごとに予め決めた所定の距離であってもよい。また、合焦点位置から第１位置または第２位置までの距離は、観察しながら調整して決定してもよい。 Therefore, in step S11 and step S21 described above, it is preferable to perform multispectral photography with the focal position of the imaging optical system 30 as the first position or the second position shifted by a certain distance from the focal focus position. As a result, the captured images I1 to In with higher contrast can be acquired. The distance from the in-focus position to the first position or the second position may be a predetermined distance predetermined for each type of cell 92. Further, the distance from the in-focus position to the first position or the second position may be adjusted and determined while observing.

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。 <4. Modification example>
Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.

上記の実施形態では、学習工程におけるクラスターの分類処理（ステップＳ１３）と、実行工程におけるクラスターの分類処理（ステップＳ２３）とを、個別の処理によって行っていた。しかしながら、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、共通の処理によって行ってもよい。例えば、複数の視野の学習用画像について、まとめてｋ−ｍｅａｎｓ法を適用し、構成したモデルに基づいて、観察用画像について、クラスターの分類処理を行ってもよい。このようにすれば、同一の波長プロファイルＷをもつ画素は同一のクラスターに分類される。したがって、分類の精度を向上させることができる。 In the above embodiment, the cluster classification process (step S13) in the learning process and the cluster classification process (step S23) in the execution process are performed by individual processes. However, the cluster classification process in the learning process and the cluster classification process in the execution process may be performed by a common process. For example, the k-means method may be collectively applied to the learning images of a plurality of fields of view, and the cluster classification processing may be performed on the observation images based on the constructed model. In this way, pixels having the same wavelength profile W are classified into the same cluster. Therefore, the accuracy of classification can be improved.

ただし、学習用の撮影画像ＩＡ１〜ＩＡｎと観察用の撮影画像ＩＢ１〜ＩＢｎとで、撮影条件の違い等により、同種の領域の波長プロファイルＷが異なる場合がある。そのような場合には、上記の実施形態のように、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行うことによって、生体試料の違いや撮影条件の違いを吸収できる。このため、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行う方が、精度のよい結果が得られる場合がある。なお、学習工程および実行工程を通して、全視野を個別に処理してもよい。また、学習工程では複数の視野について個別に処理し、実行工程では複数の視野を個別に処理してもよい。 However, the wavelength profile W in the same region may differ between the captured images IA1 to IAn for learning and the captured images IB1 to IBn for observation due to differences in imaging conditions and the like. In such a case, as in the above embodiment, the cluster classification process in the learning process and the cluster classification process in the execution process are performed individually to make the difference in the biological sample and the difference in the imaging conditions. Can be absorbed. Therefore, it may be possible to obtain more accurate results by individually performing the cluster classification process in the learning process and the cluster classification process in the execution process. The entire visual field may be processed individually through the learning process and the execution process. Further, in the learning process, a plurality of visual fields may be processed individually, and in the execution process, a plurality of visual fields may be processed individually.

また、上記の実施形態では、各領域におけるクラスターの構成比率に基づいて、領域を判定していた。しかしながら、学習用画像の領域ごとに、クラスターの配置状態などの、構成比率以外の情報を学習し、当該情報と、観察対象画像におけるクラスターの情報とに基づいて、観察対象画像に含まれる複数種類の領域を判定してもよい。 Further, in the above embodiment, the region is determined based on the cluster composition ratio in each region. However, for each area of the image for learning, information other than the composition ratio such as the arrangement state of the cluster is learned, and based on the information and the information of the cluster in the image to be observed, a plurality of types included in the image to be observed are included. The area of may be determined.

また、照明光学系２２および撮像光学系３０の構成は、上記の実施形態と異なっていてもよい。例えば、照明光学系２２および撮像光学系３０が、他の要素を有していてもよいし、上記の実施形態に含まれる要素が省略されていてもよい。また、照明光学系２２または撮像光学系３０におけるバンドパスフィルタ５０の位置は、上記の実施形態と異なっていてもよい。 Further, the configurations of the illumination optical system 22 and the image pickup optical system 30 may be different from those in the above embodiment. For example, the illumination optical system 22 and the image pickup optical system 30 may have other elements, or the elements included in the above embodiment may be omitted. Further, the position of the bandpass filter 50 in the illumination optical system 22 or the image pickup optical system 30 may be different from that of the above embodiment.

上記の実施形態では、照明光学系２２にバンドパスフィルタ５０が設けられていた。しかしながら、撮像光学系３０にバンドパスフィルタ５０を設けてもよい。その場合、細胞９２には、照明光として白色光が照射されるが、撮像光学系３０のバンドパスフィルタ５０によって、撮像部４０に到達する光の波長帯域を変更することができる。したがって、撮像部４０において、複数の波長帯域における撮影画像Ｉ１〜Ｉｎを取得することができる。 In the above embodiment, the bandpass filter 50 is provided in the illumination optical system 22. However, the bandpass filter 50 may be provided in the imaging optical system 30. In that case, the cells 92 are irradiated with white light as illumination light, but the wavelength band of the light reaching the image pickup unit 40 can be changed by the bandpass filter 50 of the image pickup optical system 30. Therefore, the image pickup unit 40 can acquire the captured images I1 to In in a plurality of wavelength bands.

また、上記の実施形態では、光源２１としてハロゲンランプを用い、バンドパスフィルタ５０によって、照明光の波長帯域を変化させていた。しかしながら、光源２１として、波長変調が可能なレーザ発振器またはＬＥＤを用いてもよい。そうすれば、光源２１からの出射光自体の波長帯域を変化させることができるため、バンドパスフィルタ５０を省略することができる。 Further, in the above embodiment, a halogen lamp is used as the light source 21, and the wavelength band of the illumination light is changed by the bandpass filter 50. However, as the light source 21, a laser oscillator or LED capable of wavelength modulation may be used. Then, since the wavelength band of the light emitted from the light source 21 itself can be changed, the bandpass filter 50 can be omitted.

また、上記の実施形態の細胞観察装置１は、観察者が直接観察を行うための接眼レンズ３５を有していた。しかしながら、接眼レンズ３５は省略されてもよい。 Further, the cell observation device 1 of the above embodiment has an eyepiece 35 for the observer to directly observe. However, the eyepiece 35 may be omitted.

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。 Further, the elements appearing in the above-described embodiments and modifications may be appropriately combined as long as there is no contradiction.

１ 細胞観察装置
９ 培養容器
２０ 照明部
２１ 光源
２２ 照明光学系
３０ 撮像光学系
３１ 対物レンズ
３２ 開口絞り
３３ 結像レンズ
３４ ビームスプリッター
３５ 接眼レンズ
４０ 撮像部
５０ バンドパスフィルタ
６０ コンピュータ
９０ 試料
９１ 培養液
９２ 細胞
２２１ コレクタレンズ
２２２ 視野絞り
２２３ 開口絞り
２２４ コンデンサレンズ
Ｃ 画素座標
Ｈ ヒストグラム
Ｉ１，ＩＡ１，ＩＢ１ 撮影画像
Ｉｏ，ＩＡｏ，ＩＢｏ クラスター画像
Ｐ 撮影位置
Ｔ１，Ｔ２，Ｔ３ 領域
Ｗ 波長プロファイル 1 Cell observation device 9 Culture vessel 20 Illumination unit 21 Light source 22 Illumination optical system 30 Imaging optical system 31 Objective lens 32 Aperture aperture 33 Imaging lens 34 Beam splitter 35 Eyepiece lens 40 Imaging unit 50 Band pass filter 60 Computer 90 Sample 91 Culture solution 92 Cell 221 Collector lens 222 Field aperture 223 Aperture aperture 224 Aperture lens C Pixel coordinates H histogram I1, IA1, IB1 Photographed image Io, IAo, IBo Cluster image P Photographed position T1, T2, T3 Region W Wavelength profile

Claims (8)

生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、It is a region determination method for determining a plurality of types of regions contained in an image of a biological sample.
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめて行い、In the step a-3), the cluster classification process is collectively performed for a plurality of fields of view, and the clusters are classified.
前記工程ｂ−３）では、前記工程ａ−３）において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する領域判定方法。In the step b-3), a region determination method for classifying each pixel of the observation image into a plurality of clusters based on the model configured in the step a-3). 生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、It is a region determination method for determining a plurality of types of regions contained in an image of a biological sample.
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記工程ａ−３）では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、In step a-3), cluster classification processing is performed collectively or individually for a plurality of fields of view.
前記工程ｂ−３）では、複数の視野について、クラスターの分類処理を個別に行う領域判定方法。In the step b-3), there is a region determination method in which cluster classification processing is individually performed for a plurality of visual fields. 生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、It is a region determination method for determining a plurality of types of regions contained in an image of a biological sample.
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
ａ−１）既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
ａ−２）前記工程ａ−１）で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
ａ−３）前記工程ａ−２）で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
ａ−４）前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
ａ−５）前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
ｂ−１）観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
ｂ−２）前記工程ｂ−１）で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
ｂ−３）前記工程ｂ−２）で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
ｂ−４）前記観察対象画像における前記クラスターの情報と、前記工程ａ−５）で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記複数のクラスターの情報は、前記複数のクラスターの構成比率である領域判定方法。The area determination method in which the information of the plurality of clusters is the composition ratio of the plurality of clusters. 請求項１ないし請求項３のいずれかに記載の領域判定方法であって、The area determination method according to any one of claims 1 to 3.
前記生体試料は透明であり、The biological sample is transparent and
前記工程ａ−１）および前記工程ｂ−１）では、前記生体試料の上方および下方のいずれか一方から前記生体試料に照明光を照射しつつ、前記生体試料の上方および下方のいずれか他方から前記生体試料を撮影する領域判定方法。In the steps a-1) and b-1), the biological sample is irradiated with illumination light from either the upper side or the lower side of the biological sample, and from the upper side or the lower side of the biological sample. A method for determining an area for photographing a biological sample. 請求項１ないし請求項４のいずれかに記載の領域判定方法であって、The area determination method according to any one of claims 1 to 4.
前記学習工程では、既知の生体試料を含む複数の視野について、前記工程ａ−１）〜ａ−５）が実行される領域判定方法。In the learning step, a region determination method in which the steps a-1) to a-5) are executed for a plurality of visual fields including a known biological sample. 請求項１ないし請求項５のいずれかに記載の領域判定方法であって、The area determination method according to any one of claims 1 to 5.
前記工程ａ―３）および前記工程ｂ−３）では、ｋ−ｍｅａｎｓ法を用いて、各画素を複数のクラスターに分類する領域判定方法。In the step a-3) and the step b-3), a region determination method for classifying each pixel into a plurality of clusters by using the k-means method. 請求項１ないし請求項６のいずれかに記載の領域判定方法であって、The area determination method according to any one of claims 1 to 6.
前記工程ａ−５）では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する領域判定方法。In the step a-5), a region determination method for learning information on the plurality of clusters for each region by the random forest method. 請求項１ないし請求項７のいずれかに記載の領域判定方法であって、The area determination method according to any one of claims 1 to 7.
前記生体試料は細胞である領域判定方法。A method for determining a region in which the biological sample is a cell.

Images