JP6975418B2 - Area judgment method - Google Patents
Area judgment method Download PDFInfo
- Publication number
- JP6975418B2 JP6975418B2 JP2017059952A JP2017059952A JP6975418B2 JP 6975418 B2 JP6975418 B2 JP 6975418B2 JP 2017059952 A JP2017059952 A JP 2017059952A JP 2017059952 A JP2017059952 A JP 2017059952A JP 6975418 B2 JP6975418 B2 JP 6975418B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- image
- wavelength
- biological sample
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 99
- 230000008569 process Effects 0.000 claims description 59
- 238000005286 illumination Methods 0.000 claims description 52
- 230000008859 change Effects 0.000 claims description 34
- 239000012472 biological sample Substances 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 7
- 238000007637 random forest analysis Methods 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 description 117
- 238000003384 imaging method Methods 0.000 description 52
- 230000003287 optical effect Effects 0.000 description 42
- 239000000523 sample Substances 0.000 description 15
- 210000005056 cell body Anatomy 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010186 staining Methods 0.000 description 3
- 210000000805 cytoplasm Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910052736 halogen Inorganic materials 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000005843 halogen group Chemical group 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Landscapes
- Lens Barrels (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
Description
本発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法に関する。 The present invention relates to a region determination method for determining a plurality of types of regions contained in an image of a biological sample.
医療や生物化学の分野では、観察対象である細胞の撮像を行う。観察用の容器内に収容された細胞を観察する際、透明な細胞はその特徴を観察するのが困難な場合がある。そこで、従来、細胞の視認性を高めるため、染料を用いた細胞の染色が行われている。しかしながら、染色を行うと細胞がダメージを負うという問題がある。このため、無染色で細胞の視認性を高める必要がある。従来の明視野における細胞の撮像方法は、例えば、特許文献1に記載されている。特許文献1に記載の撮像方法では、撮像系の焦点距離を合焦点からずらすことにより、コントラストの向上を図っている。
In the fields of medicine and biochemistry, images of cells to be observed are taken. When observing cells housed in an observation vessel, transparent cells may have difficulty observing their characteristics. Therefore, conventionally, in order to improve the visibility of cells, cells are stained with a dye. However, there is a problem that the cells are damaged when staining is performed. Therefore, it is necessary to improve the visibility of cells without staining. A conventional method for imaging cells in a bright field is described in, for example,
また、細胞の撮影により得られた画像には、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域が存在する。従来は、染色された細胞を撮影することによって、観察者が、これらの複数種類の領域を判断していた。しかしながら、染色を行うことで細胞がダメージを負うため、長期にわたる観察が難しかった。また、観察者の判断に依存すると、多数の画像を比較・分析する際に、観察者の負担が大きくなる。また、観察者によって判断にばらつきが生じたり、判断ミスが生じたりすることもあり得る。 In addition, in the image obtained by photographing the cells, there are a plurality of types of regions such as a region where the cytoplasm of a large cell exists, a region where a nucleus of a large cell exists, a region where a small cell exists, a region where a cell does not exist, and the like. Exists. Traditionally, the observer has determined these multiple types of regions by photographing the stained cells. However, it was difficult to observe for a long period of time because the cells were damaged by staining. Further, depending on the judgment of the observer, the burden on the observer becomes large when comparing and analyzing a large number of images. In addition, the judgment may vary depending on the observer, or a judgment error may occur.
本発明は、このような事情に鑑みなされたものであり、細胞等の生体試料を明視野で撮影するとともに、得られた観察対象画像に含まれる複数種類の領域を、自動的に判定できる技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and is a technique capable of photographing a biological sample such as a cell in a bright field and automatically determining a plurality of types of regions included in the obtained observation target image. The purpose is to provide.
上記課題を解決するため、本願の第1発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記工程a−3)では、複数の視野について、クラスターの分類処理をまとめて行い、前記工程b−3)では、前記工程a−3)において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する。
本願の第2発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記工程a−3)では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、前記工程b−3)では、複数の視野について、クラスターの分類処理を個別に行う。
本願の第3発明は、生体試料の画像に含まれる複数種類の領域を判定する領域判定方法であって、学習工程と実行工程とを有し、前記学習工程は、a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、を有し、前記実行工程は、b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、を有し、前記複数のクラスターの情報は、前記複数のクラスターの構成比率である。
本願の第4発明は、第1発明ないし第3発明のいずれかの領域判定方法であって、前記生体試料は透明であり、前記工程a−1)および前記工程b−1)では、前記生体試料の上方および下方のいずれか一方から前記生体試料に照明光を照射しつつ、前記生体試料の上方および下方のいずれか他方から前記生体試料を撮影する。
In order to solve the above problems, the first invention of the present application is a region determination method for determining a plurality of types of regions included in an image of a biological sample, which includes a learning step and an execution step. a-1) A step of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of steps acquired in the step a-1). For the learning image, the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band for each pixel and the step of a-3) the step of obtaining the wavelength profile obtained in the step a-2) are used for the learning. A step of classifying each pixel of the image into a plurality of clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) information of the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths. b-2) A step of obtaining a wavelength profile representing a change in brightness with respect to a change in the wavelength band for each of the plurality of observation target images acquired in the step b-1), and b-3) the step b. -2) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the observation target image, b-4) Information of the cluster in the observation target image, and the step a-5. A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster learned in)), and in the step a-3), the clusters are classified for a plurality of visual fields. The processes are collectively performed, and in the step b-3), each pixel of the observation image is classified into a plurality of clusters based on the model configured in the step a-3).
The second invention of the present application is a region determination method for determining a plurality of types of regions contained in an image of a biological sample, which comprises a learning step and an execution step, and the learning step is a-1) known living body. A step of acquiring a plurality of learning images by photographing a sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of the learning images acquired in the step a-1) for each pixel. In addition, a plurality of pixels of the learning image are used according to the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band and the wavelength profile obtained in a-3) the step a-2). A step of classifying into clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) a step of learning information on the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths, and b-2) the step b. For each of the plurality of observation target images acquired in -1), a step of obtaining a wavelength profile showing a change in brightness with respect to a change in the wavelength band, and b-3) the step obtained in the step b-2). The steps of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile, b-4) the information of the cluster in the observation target image, and the cluster learned in the step a-5). It has a step of determining a plurality of types of regions included in the observation target image based on the information, and in the step a-3), the cluster classification process is collectively or individually for a plurality of visual fields. Then, in the step b-3), the cluster classification process is individually performed for the plurality of visual fields.
The third invention of the present application is a region determination method for determining a plurality of types of regions contained in an image of a biological sample, which comprises a learning step and an execution step, and the learning step is a-1) known living body. A step of acquiring a plurality of learning images by photographing a sample in a plurality of wavelength bands having different center wavelengths, and a-2) a plurality of the learning images acquired in the step a-1) for each pixel. In addition, a plurality of pixels of the learning image are used according to the step of obtaining a wavelength profile representing the change in brightness with respect to the change in the wavelength band and the wavelength profile obtained in a-3) the step a-2). A step of classifying into clusters, a-4) a step of designating a plurality of types of regions included in the learning image, and a-5) a step of learning information on the plurality of clusters for each of the regions. The execution step includes b-1) a step of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths, and b-2) the step b. For each of the plurality of observation target images acquired in -1), a step of obtaining a wavelength profile showing a change in brightness with respect to a change in the wavelength band, and b-3) the step obtained in the step b-2). The steps of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile, b-4) the information of the cluster in the observation target image, and the cluster learned in the step a-5). It has a step of determining a plurality of types of regions included in the observation target image based on the information, and the information of the plurality of clusters is a composition ratio of the plurality of clusters.
The fourth invention of the present application is the region determination method according to any one of the first invention to the third invention, wherein the biological sample is transparent, and in the step a-1) and the step b-1), the living body is described. While irradiating the biological sample with illumination light from either the upper side or the lower side of the sample, the biological sample is photographed from either the upper side or the lower side of the biological sample.
本願の第5発明は、第1発明ないし第4発明のいずれかの領域判定方法であって、前記学習工程では、既知の生体試料を含む複数の視野について、前記工程a−1)〜a−5)が実行される。
The fifth invention of the present application is the region determination method according to any one of the first invention to the fourth invention, and in the learning step, the steps a-1) to a-of a plurality of visual fields including a known biological sample. 5) is executed.
本願の第6発明は、第1発明ないし第5発明のいずれかの領域判定方法であって、前記工程a―3)および前記工程b−3)では、k−means法を用いて、各画素を複数のクラスターに分類する。
The sixth invention of the present application is the area determination method according to any one of the first invention to the fifth invention, and in the step a-3) and the step b-3), each pixel is used by the k-means method. Is classified into multiple clusters.
本願の第7発明は、第1発明ないし第6発明のいずれかの領域判定方法であって、前記工程a−5)では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する。
The seventh invention of the present application is the region determination method according to any one of the first invention to the sixth invention, and in the step a-5), the information of the plurality of clusters is obtained for each region by the random forest method. learn.
本願の第8発明は、第1発明ないし第7発明のいずれかの領域判定方法であって、前記生体試料は細胞である。
The eighth invention of the present application is the region determination method according to any one of the first invention to the seventh invention, and the biological sample is a cell.
本願の第1発明から第8発明によれば、既知の学習用画像のクラスターの情報を学習して、観察対象画像のクラスターの情報と比較することにより、観察対象画像に含まれる複数種類の領域を自動的に判定できる。 According to the first to eighth inventions of the present application, by learning the information of the cluster of the known learning image and comparing it with the information of the cluster of the observation target image, a plurality of types of regions included in the observation target image are included. Can be determined automatically.
特に、本願の第5発明によれば、画像に含まれる複数種類の領域の特徴を、より精度よく学習できる。したがって、実行工程において、観察対象画像に含まれる複数種類の領域を、より精度よく判定できる。
In particular, according to the fifth invention of the present application, the features of a plurality of types of regions included in an image can be learned more accurately. Therefore, in the execution step, it is possible to more accurately determine a plurality of types of regions included in the observation target image.
特に、本願の第1発明によれば、学習用画像と観察対象画像とで、同一の波長プロファイルをもつ画素は同一のクラスターに分類される。これにより、分類の精度を向上させることができる。
In particular, according to the first invention of the present application, pixels having the same wavelength profile in the learning image and the observation target image are classified into the same cluster. This makes it possible to improve the accuracy of classification.
特に、本願の第2発明によれば、撮影条件の違い等により同種の領域の波長プロファイルが異なる場合に、クラスターの分類処理を個別に行うことによって、撮影条件の違いを吸収できる。 In particular, according to the second invention of the present application, when the wavelength profile of the same type of region is different due to the difference in imaging conditions or the like, the difference in imaging conditions can be absorbed by individually performing the cluster classification processing.
以下、本発明の実施形態について、図面を参照しつつ説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<1.細胞観察装置の構成>
図1は、本発明の領域判定方法を実行する装置の一例である細胞観察装置1の構成を示した概略図である。この細胞観察装置1は、細胞92の画像を取得するとともに、得られた画像を解析する装置である。細胞観察装置1の使用時には、装置内の所定の撮影位置Pに、培養容器9が配置される。培養容器9内には、培養液91とともに、生体試料である細胞92が保持される。
<1. Configuration of cell observation device>
FIG. 1 is a schematic view showing the configuration of a
図2は、培養容器9の斜視図である。培養容器9は、複数の窪部900を有するウェルプレートである。複数の窪部900は、二次元的に規則的に配列されている。また、各窪部900は、光透過性の底部を有する。培養容器9は、各窪部900内に、培養液91を収容するとともに、観察対象である細胞92を培養液91内に保持する。各窪部900の内部において細胞92を培養することにより、窪部900の底部に沿って細胞92が培養される。以下では、培養容器9と、培養容器9内の培養液91および細胞92を併せて試料90と称する。なお、培養容器9は、ウェルプレートに代えて、ガラスや樹脂等で形成された光透過性のシャーレであってもよい。
FIG. 2 is a perspective view of the
図1に示すように、細胞観察装置1は、照明部20と、撮像光学系30と、撮像部40と、コンピュータ60とを有する。照明部20、撮像光学系30および撮像部40は、装置本体(図示せず)に支持される。
As shown in FIG. 1, the
照明部20は、光源21と、照明光学系22とを含む。照明部20は、撮影位置Pの上方に配置される。照明部20は、細胞92の撮影時に、撮影対象となる試料90に対して上側から照明光を照射する。
The
本実施形態の光源21は、ハロゲンランプである。このため、光源21は、多数の波長の光が混在する白色光を出射する。
The
照明光学系22は、バンドパスフィルタ50と、コレクタレンズ221、視野絞り222、開口絞り223、およびコンデンサレンズ224とを有する。光源21から出射された照明光は、コレクタレンズ221、視野絞り222、バンドパスフィルタ50、開口絞り223およびコンデンサレンズ224を順に通過した後、試料90に照射される。
The illumination
バンドパスフィルタ50は、特定の狭波長帯域を通過帯域とする光学フィルタである。バンドパスフィルタ50は、光源21から出射された、広い波長帯を有する白色光のうち、狭波長帯の光(単色光)のみを通過させる。照明光学系22がバンドパスフィルタ50を含むことにより、照明部20は、試料90に対して、狭波長帯の照明光を照射する。また、本実施形態のバンドパスフィルタ50には、通過帯域を変化させることが可能なフィルタ(例えば、液晶チューナブルフィルタ)が用いられる。
The
コレクタレンズ221は、光源21から出射された照明光の向きを調整するレンズである。視野絞り222は、撮影位置Pにおける照明領域を調節する。開口絞り223は、照明光学系22の開口数NAを調整する。コンデンサレンズ224は、照明光を集光させる。照明光学系22の開口数NAは、例えば、0.3以下とすることが好ましい。
The
撮像光学系30は、撮影位置Pと撮像部40との間に配置される。撮像光学系30は、対物レンズ31、開口絞り32、結像レンズ33、ビームスプリッター34および接眼レンズ35を有する。対物レンズ31は、観察対象を拡大して像を映し出すためのレンズである。開口絞り32は、撮像光学系30の開口数NAを調整する。結像レンズ33は、撮像部40の受光面および接眼レンズ35に撮像対象物の像を結像させる。ビームスプリッター34は、結像レンズ33を通過した光を撮像部40側と接眼レンズ35側とに分岐させる。
The image pickup
照明部20により照射され、試料90を透過した光は、対物レンズ31、開口絞り32および結像レンズ33を介して進む。そして、ビームスプリッター34において接眼レンズ35へと向かう光と、撮像部40へと向かう光とに分かれる。ビームスプリッター34は、接眼レンズ35へ向かう光と撮像部40へ向かう光との比率を、切り替え可能であってもよい。接眼レンズ35は、結像位置350よりもビームスプリッター34から離れた位置に配置される。接眼レンズ35は、観察者が観察を行う際に覗くレンズである。対物レンズ31で拡大した像を接眼レンズ35でさらに拡大して観察できる。
The light irradiated by the
なお、図1において、照明光学系22および撮像光学系30を構成する各部は、光軸に沿って一列に配列されている。しかしながら、照明光学系22および撮像光学系30における光路は、反射鏡等によって折り返されてもよい。
In FIG. 1, the parts constituting the illumination
撮像部40は、受光面に結像した試料90の二次元画像を、デジタル画像データとして取得する。すなわち、撮像部40は、撮影位置Pに配置された細胞92を撮像する。撮像部40には、例えば、CCDカメラや、CMOSカメラが用いられる。
The
この細胞観察装置1では、照明部20が、上述したバンドパスフィルタ50によって、白色光よりも波長帯域が小さい狭波長帯の照明光を試料90へ照射する。また、この細胞観察装置1は、バンドパスフィルタ50の通過帯域を変化させることができる。このため、撮像部40は、中心波長の異なる複数の波長帯域において、細胞92の画像を取得することが可能である。
In this
なお、本実施形態では、照明部20が試料90の上方から照明光を照射し、撮像部40が試料90の下方からの映像を撮像する。しかしながら、本発明の細胞観察装置は、このような構造に限られない。照明部20が試料90の下方から照明光を照射し、撮像部40が試料90の上方からの映像を撮像してもよい。
In the present embodiment, the
コンピュータ60は、細胞観察装置1内の各部を動作制御する制御部としての機能と、撮像部40により取得された画像を処理して、画像に含まれる複数種類の領域を判定する画像処理部としての機能と、を有する。図1中に概念的に示したように、コンピュータ60は、CPU等のプロセッサ601、RAM等のメモリ602、およびハードディスクドライブ等の記憶部603を有する。記憶部603には、動作制御プログラムP1と画像処理プログラムP2とが、記憶されている。また、コンピュータ60は、上述した光源21、バンドパスフィルタ50、および撮像部40と、電気的に接続されている。
The
コンピュータ60は、動作制御プログラムP1に従って動作することにより、上述した光源21、バンドパスフィルタ50、および撮像部40を動作制御する。これにより、細胞観察装置1における細胞92の撮影処理が進行する。後述の通り、この細胞観察装置1では、バンドパスフィルタ50の通過帯域を変化させつつ、複数回の撮影を行う。これにより、コンピュータ60は、撮像部40から、複数の撮影画像I1〜Inを取得する。また、コンピュータ60は、複数の撮影画像I1〜Inに、画像処理プログラムP2に基づく画像処理を行う。これにより、1つのクラスター画像Ioを生成するとともに、クラスター画像Ioに含まれる複数種類の領域を判定する。
The
<2.細胞観察装置を用いた細胞観察について>
続いて、上述した細胞観察装置1を用いて細胞92の観察を行うときの手順について、より詳細に説明する。
<2. About cell observation using a cell observation device>
Subsequently, the procedure for observing the
図3は、細胞観察装置1を用いた観察処理の大まかな流れを示したフローチャートである。図3に示すように、この細胞観察装置1を用いて細胞92の観察を行うときには、学習工程(ステップS1)と、実行工程(ステップS2)とが行われる。学習工程では、既知の細胞92の画像を取得し、画像の特徴を学習する。実行工程では、未知の細胞92の画像を取得し、ステップS1の学習により得られた情報に基づいて、未知の細胞92の画像に含まれる複数種類の領域を判定する。
FIG. 3 is a flowchart showing a rough flow of the observation process using the
<2−1.学習工程について>
図4は、学習工程の流れを示したフローチャートである。学習工程では、まず、既知の細胞92が保持された培養容器9を、細胞観察装置1の撮影位置Pにセットする。そして、コンピュータ60に撮影開始の指示を入力する。すると、コンピュータ60は、光源21を点灯させて、細胞92に照明光を照射する。そして、コンピュータ60は、バンドパスフィルタ50と撮像部40とを動作させて、細胞92のマルチスペクトル撮影(多波長撮影)を行う(ステップS11)。すなわち、バンドパスフィルタ50の通過帯域を変化させつつ、撮像部40による細胞92の撮影を、複数回行う。
<2-1. About the learning process>
FIG. 4 is a flowchart showing the flow of the learning process. In the learning step, first, the
図5は、ステップS11における撮影処理の流れを、より詳細に示したフローチャートである。図5に示すように、ステップS11では、撮像部40による1回の細胞92の撮影(ステップS111)を実行した後、撮影すべき次の波長帯域があるか否かが、コンピュータ60によって判断される(ステップS112)。撮影すべき波長帯域の数は、例えば、4つ以上とすればよい。撮影すべき次の波長帯域がある場合には(ステップS112においてyes)、バンドパスフィルタ50の通過帯域を、その波長帯域に切り替えて(ステップS113)、再び細胞92の撮影を行う(ステップS111)。そして、予め設定された全ての波長帯域の撮影画像が取得されるまで、ステップS111〜S113の処理を繰り返す。やがて、撮影すべき波長帯域が無くなると(ステップS112においてno)、細胞観察装置1は、細胞92の撮影を終了する。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像I1〜In(n:2以上の整数)が得られる。以下では、この学習工程のマルチスペクトル撮影により得られる複数の撮影画像I1〜In(学習用画像)を、符号IAn〜IAnで表す。
FIG. 5 is a flowchart showing the flow of the shooting process in step S11 in more detail. As shown in FIG. 5, in step S11, after performing one imaging of the
なお、図5は、培養容器9内の1つの撮影視野についての撮影手順である。複数の撮影視野において学習用の撮影画像IA1〜IAnを取得したい場合には、細胞観察装置1は、撮影視野ごとに、図5の処理を実行すればよい。
Note that FIG. 5 is an imaging procedure for one imaging field of view in the
図6は、ステップS11で取得された複数の撮影画像IA1〜IAnを、概念的に示した図である。複数の撮影画像IA1〜IAnは、それぞれ、複数の画素pにより構成される。コンピュータ60は、まず、複数の撮影画像IA1〜IAnについて、同一の座標に位置する画素p同士(例えば、図5中に示した画素p同士)を比較する。そして、画素pが存在する座標(以下、「画素座標C」と称する)ごとに、波長プロファイルWを作成する(ステップS12)。具体的には、同一の画素座標Cに位置する画素p同士を比較して、輝度の変化を表す波長プロファイルWを作成する。そして、このような波長プロファイルWを、全ての画素座標Cについて作成する。
FIG. 6 is a diagram conceptually showing a plurality of captured images IA1 to IAn acquired in step S11. Each of the plurality of captured images IA1 to IAn is composed of a plurality of pixels p. First, the
その結果、例えば、図7のように、波長帯域の変化に対する輝度の変化を表す波長プロファイルWが、画素座標Cごとに得られる。図7の横軸は、撮影時の波長帯域の中心波長を示す。図7の縦軸は、輝度を示す。 As a result, for example, as shown in FIG. 7, a wavelength profile W representing a change in luminance with respect to a change in wavelength band is obtained for each pixel coordinate C. The horizontal axis of FIG. 7 indicates the central wavelength of the wavelength band at the time of photographing. The vertical axis of FIG. 7 indicates the brightness.
図4に戻る。複数の波長プロファイルWが得られると、続いて、コンピュータ60は、各画素座標Cを、複数のクラスターに分類する(ステップS13)。ここでは、画素座標Cごとに、ステップS12で得られた波長プロファイルWを参照する。そして、各画素座標Cを、波長プロファイルWの特徴に応じて、予め用意された複数のクラスターの1つに分類する。このとき、コンピュータ60は、波長プロファイルWの特徴が近い画素座標Cを、同一のクラスターに分類する。例えば、波長プロファイルWの傾き、変曲点の数、変曲点の位置、輝度の平均値、輝度の最大値、輝度の最小値等の複数の要素を考慮して、画素座標Cを、複数のクラスターに分類する。
Return to FIG. When a plurality of wavelength profiles W are obtained, the
また、ステップS13のクラスターの分類には、k−means法を用いてもよい。k−means法を用いる場合には、まず、複数の画素座標Cを、予め決められた数のクラスターに、ランダムまたは所定の法則に従って分類する。次に、各クラスターに属する波長プロファイルWの中心を求める。このとき、中心位置の計算に、各画素座標Cの波長プロファイルWの要素を含める。その後、複数の画素座標Cを、波長プロファイルWの中心が最も近いクラスターに分類し直す。コンピュータ60は、このような処理を、各画素座標Cの分類結果が変動しなくなるまで、あるいは、所定の停止条件を満たすまで繰り返す。このようなk−means法を用いれば、各画素座標Cを、波長プロファイルWに応じて、複数のクラスターに適切かつ自動的に分類できる。
Further, the k-means method may be used for the classification of the cluster in step S13. When the k-means method is used, first, a plurality of pixel coordinates C are classified into a predetermined number of clusters at random or according to a predetermined rule. Next, the center of the wavelength profile W belonging to each cluster is obtained. At this time, the element of the wavelength profile W of each pixel coordinate C is included in the calculation of the center position. After that, the plurality of pixel coordinates C are reclassified into the clusters closest to the center of the wavelength profile W. The
その後、コンピュータ60は、ステップS13の分類結果に基づいて、クラスター画像Ioを生成する(ステップS14)。以下では、この学習工程において生成されるクラスター画像Io(学習用画像)を、符号IAoで表す。ここでは、クラスター画像IAoの各画素に(すなわち各画素座標Cに)、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像IA1〜IAnがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、1つの視野におけるクラスター画像IAoが得られる。
After that, the
図8は、ステップS11において取得される撮影画像IA1〜IAnの例を示した図である。図9は、ステップS14において生成されるクラスター画像IAoの例を示した図である。図8と図9とを比較すると、図8の撮影画像よりも、図9のクラスター画像IAoの方が、細胞92の位置や形を明瞭に把握できる。すなわち、上述した波長プロファイルWに基づくクラスター分けによって、撮影画像IA1〜IAnよりも領域の分類に適したクラスター画像IAoが生成されていることが分かる。
FIG. 8 is a diagram showing an example of the captured images IA1 to IAn acquired in step S11. FIG. 9 is a diagram showing an example of the cluster image IAo generated in step S14. Comparing FIGS. 8 and 9, the cluster image IAo of FIG. 9 can clearly grasp the position and shape of the
続いて、クラスター画像IAoに含まれる既知の複数種類の領域が指定される(ステップS15)。図10は、ステップS15の領域指定の例を示した図である。ここでは、細胞観察装置1のユーザが、クラスター画像IAo内に存在する各領域を指定する。例えば、クラスター画像IAo内において、大型細胞の細胞質が存在する領域、大型細胞の核が存在する領域、小型細胞が存在する領域、細胞が存在しない領域、等の複数種類の領域をそれぞれ指定する。図10の例では、クラスター画像IAoに対して、3種類の領域T1,T2,T3が指定されている。領域の指定は、例えば、ユーザが、コンピュータ60のディスプレイに表示されるクラスター画像IAoを見ながら、コンピュータ60の入力部を操作することにより、行えばよい。
Subsequently, a plurality of known types of regions included in the cluster image IAo are designated (step S15). FIG. 10 is a diagram showing an example of region designation in step S15. Here, the user of the
なお、上述したステップS11において、複数の撮影視野でマルチスペクトル撮影を行った場合には、上述したステップS14において、撮影視野ごとにクラスター画像IAoが生成される。その場合、ユーザは、ステップS15において、生成された各クラスター画像IAoについて、複数種類の領域を指定する。 When multispectral imaging is performed in a plurality of imaging fields of view in step S11 described above, a cluster image IAo is generated for each imaging field of view in step S14 described above. In that case, the user specifies a plurality of types of regions for each of the generated cluster images IAo in step S15.
ユーザによる既知の領域の指定が完了すると、コンピュータ60は、指定された領域ごとに、クラスターの構成比率を学習する(ステップS16)。ここでは、まず、領域ごとに、クラスターの構成比率を示すヒストグラムHを作成する。図11は、領域ごとに作成されたヒストグラムHの例を示した図である。ヒストグラムHの横軸は、ステップS13において分類されるクラスターを示す。図11の縦軸は、画素数を示す。ヒストグラムHは、当該領域において、どのクラスターにどれだけの画素が属しているかを表す情報となる。
When the user's designation of the known area is completed, the
コンピュータ60は、ステップS15において指定された領域ごとに、このようなヒストグラムHを作成する。そして、当該領域ごとに、ヒストグラムHの特徴を学習する。すなわち、クラスターの構成比率として任意の情報が入力されたときに、1つの領域を出力できるように、ヒストグラムHの特徴を一般化する。ステップS16の処理には、例えば、ランダムフォレストなどの機械学習の手法を用いることができる。ランダムフォレストを用いれば、クラスターの構成比率から各領域へ辿り着くための複数の条件分岐を、自動的に作成することができる。
The
ステップS1の学習工程では、以上のステップS11〜S16を、既知の細胞92を含む複数の視野について行うことが好ましい。より多くの視野について学習を行えば、画像に含まれる複数種類の領域の特徴を、より精度よく得ることができる。したがって、後述する実行工程において、観察対象の画像に含まれる複数種類の領域を、より精度よく判定できる。
In the learning step of step S1, it is preferable to perform the above steps S11 to S16 for a plurality of visual fields including
<2−2.実行工程について>
以上の学習工程(ステップS1)が終了すると、次に、コンピュータ60は、実行工程(ステップS2)を行う。
<2-2. About the execution process>
When the above learning step (step S1) is completed, the
図12は、実行工程の流れを示したフローチャートである。実行工程では、まず、観察対象となる細胞92が保持された培養容器9を、細胞観察装置1の撮影位置Pにセットする。そして、コンピュータ60に撮影開始の指示を入力する。すると、コンピュータ60は、光源21を点灯させて、細胞92に照明光を照射する。そして、コンピュータ60は、バンドパスフィルタ50と撮像部40とを動作させて、細胞92のマルチスペクトル撮影を行う(ステップS21)。すなわち、バンドパスフィルタ50の通過帯域を変化させつつ、撮像部40による細胞92の撮影を、複数回行う。これにより、中心波長の異なる複数の波長帯域において撮影された、複数の撮影画像I1〜In(n:2以上の整数)が得られる。以下では、この実行工程のマルチスペクトル撮影により得られる複数の撮影画像I1〜In(観察対象画像)を、符号IBn〜IBnで表す。
FIG. 12 is a flowchart showing the flow of the execution process. In the execution step, first, the
なお、マルチスペクトル撮影の詳細な手順については、ステップS11と同様であるため、重複説明を省略する。 Since the detailed procedure for multispectral imaging is the same as in step S11, duplicate description will be omitted.
次に、コンピュータ60は、複数の撮影画像IB1〜IBnについて、上述したステップS12と同様に、画素座標Cごとに、波長プロファイルWを作成する(ステップS22)。すなわち、同一の画素座標Cに位置する画素p同士を比較して、波長帯域の変化に対する輝度の変化を表す波長プロファイルWを作成する。そして、このような波長プロファイルWを、全ての画素座標Cについて作成する。
Next, the
複数の波長プロファイルWが得られると、続いて、コンピュータ60は、上述したステップS13と同様に、各画素座標Cを、複数のクラスターに分類する(ステップS23)。ここでは、画素座標Cごとに、ステップS22で得られた波長プロファイルWを参照する。そして、各画素座標Cを、波長プロファイルWの特徴に応じて、予め用意された複数のクラスターの1つに分類する。ステップS23のクラスターの分類には、ステップS13と同様に、k−means法を用いてもよい。
When the plurality of wavelength profiles W are obtained, the
その後、コンピュータ60は、ステップS23の分類結果に基づいて、上述したステップS14と同様に、クラスター画像Ioを生成する(ステップS24)。以下では、この実行工程において生成されるクラスター画像Io(観察対象画像)を、符号IBoで表す。ここでは、クラスター画像IBoの各画素に(すなわち各画素座標Cに)、分類されたクラスターに対応する階調値を割り当てる。階調値は、クラスターごとに予め決められた値であってもよく、撮影画像IB1〜IBnがもつ輝度値を使って、クラスターごとに算出された値であってもよい。これにより、観察対象の撮影視野におけるクラスター画像IBoが得られる。
After that, the
続いて、コンピュータ60は、クラスター画像IBoに含まれる複数種類の領域を判定する(ステップS25)。ここでは、観察対象のクラスター画像IBoにおけるクラスターの分布と、上述したステップS16の学習結果とに基づいて、領域の判定が行われる。具体的には、観察対象のクラスター画像IBoを複数の小領域に分割し、各小領域のクラスターの構成比率に、ステップS16で得られた学習結果を適用して、各小領域が、上述したステップS15で指定された複数の領域のうち、どの領域に最も近似するかが判定される。例えば、ステップS16で、ランダムフォレストによる条件分岐を取得した場合には、クラスター画像IBoの各小領域のクラスターの分布を、当該条件分岐に当てはめて、辿り着く領域を判定結果とする。
Subsequently, the
その後、コンピュータ60は、領域の判定結果を画面に表示する。例えば、クラスター画像IBoに、領域に応じた着色を施すことによって、各領域を、ユーザに対して視覚的に明示する。
After that, the
このように、この細胞観察装置1では、既知の細胞92の画像のクラスター分布を学習して、観察対象の細胞92のクラスター分布と比較することにより、観察対象の画像に含まれる複数種類の領域を判定する。これにより、観察対象の画像に含まれる複数種類の領域を、自動的かつ精度よく判定することができる。
As described above, in this
特に、この細胞観察装置1では、撮影画像の輝度そのもので領域を判定するのではなく、マルチスペクトル撮影により得られる複数の撮影画像から、クラスター分布を導出し、そのクラスター分布に基づいて、複数種類の領域を判定する。これにより、透明な細胞92の画像に含まれる複数種類の領域を、より精度よく判定することができる。
In particular, in this
<3.撮影条件について>
続いて、上述したステップS11およびステップS21における、好ましい撮影条件について、説明する。この細胞観察装置1では、無染色の細胞92を観察することを想定している。一般的に細胞92は無色透明に近いため、無染色状態の細胞92を明視野下で観察しようとすると、その構成要素の輪郭を特定しにくい。このため、ステップS11およびステップS21のマルチスペクトル撮影においては、コヒーレンスファクターσ、照明光の波長帯域の半値幅、および焦点位置を、適切に設定して、撮影画像のコントラストを高めることが好ましい。
<3. About shooting conditions>
Subsequently, preferable shooting conditions in step S11 and step S21 described above will be described. In this
<3−1.コヒーレンスファクターについて>
初めに、コヒーレンスファクターσの条件について、図13を参照しつつ説明する。図13は、コヒーレンスファクターσの値を変化させて撮像部40が取得した撮影画像を示した図である。
<3-1. About Coherence Factor>
First, the condition of the coherence factor σ will be described with reference to FIG. FIG. 13 is a diagram showing a photographed image acquired by the
コヒーレンスファクターσは、照明光学系22の開口数NAと、撮像光学系30の開口数NAとの比である。具体的には、コヒーレンスファクターσは、照明光学系22の開口数NAを撮像光学系30の開口数NAで割った値である。コヒーレンスファクターσを小さくすることにより、撮像部40で取得できる画像のコントラストを向上できる。
The coherence factor σ is the ratio between the numerical aperture NA of the illumination
図13には、コヒーレンスファクターσの値をσ=1.00、σ=0.83、σ=0.58、σ=0.36、σ=0.26、およびσ=0.14とした場合の細胞92の撮影画像の例が示されている。図13の例の細胞92は、細胞体921と、細胞体921から突出した突起922と、細胞体921の内部の微細構造923とを有する。なお、このときのバンドパスフィルタ50の中心波長は550nmであり、半値幅は39nmである。したがって、細胞92に照射される狭波長帯の照明光の中心波長は550nm、半値幅は39nmである。
FIG. 13 shows the case where the values of the coherence factor σ are σ = 1.00, σ = 0.83, σ = 0.58, σ = 0.36, σ = 0.26, and σ = 0.14. An example of a photographed image of the
図13に示すように、コヒーレンスファクターσの値が小さくなるにつれ、細胞92の撮影画像のコントラストが向上する。特に、σ=0.83の場合にはぼやけていた細胞体921の輪郭が、σ=0.58の場合にははっきりと視認できる。また、σ=0.83の場合には視認が困難な突起922の輪郭や、細胞体921の微細構造923の輪郭の存在を、σ=0.58の場合には視認できる。このように、コヒーレンスファクターσの値をσ=0.6以下とすることにより、明視野において透明な細胞92の各部を視認できる程度まで、撮影画像のコントラストを向上できる。
As shown in FIG. 13, as the value of the coherence factor σ becomes smaller, the contrast of the captured image of the
また、σ=0.58の場合にはぼやけていた突起922の輪郭や、細胞体921の微細構造923の輪郭を、σ=0.36の場合には視認できる。このように、コヒーレンスファクターσの値をσ=0.4以下とすることにより、明視野において透明な細胞92の各部をより鮮明に視認できる程度まで、撮影画像のコントラストをより向上できる。
Further, when σ = 0.58, the outline of the
σ=0.26の場合には、σ=0.36の場合と同様、細胞体921の輪郭を鮮明に視認できる。また、σ=0.26の場合には、σ=0.36の場合よりもさらに撮影画像のコントラストが向上する。一方、σ=0.14の場合では、σ=0.26の場合と比べて明らかな視認性およびコントラストの向上は見られなかった。
When σ = 0.26, the contour of the
以上の結果より、上述したステップS11およびステップS21においては、コヒーレンスファクターσが0.6以下となるように、照明光学系22および撮像光学系30を調整して、マルチスペクトル撮影を行うことが好ましいと言える。また、コヒーレンスファクターσを0.4以下とすれば、より好ましいと言える。また、コヒーレンスファクターσを0.3以下とすれば、さらに好ましいと言える。
From the above results, in steps S11 and S21 described above, it is preferable to adjust the illumination
<3−2.照明光の波長帯域の半値幅について>
次に、照明光の波長帯域の半値幅について、説明する。照明部20から照射される照明光は、細胞92の表面において屈折する。このとき、照明光が、白色光よりも波長帯域が小さい狭波長帯の光である場合には、白色光の場合よりも、屈折箇所における光の拡がりが少ない。すなわち、狭波長帯の照明光は、屈折後もほぼ同一方向へ進行する。このため、狭波長帯の照明光を用いれば、視認性が高く,領域の判定に必要な高精度な情報を含む撮影画像を得ることができる。
<3-2. About half-value width of wavelength band of illumination light>
Next, the half width of the wavelength band of the illumination light will be described. The illumination light emitted from the
図14には、バンドパスフィルタ50を使用しない場合と、バンドパスフィルタ50の半値幅を153nm、124nm、および10nmとした場合との細胞92の撮影画像の例が示されている。バンドパスフィルタ50の半値幅が小さいほど、バンドパスフィルタ50を通過した照明光の波長帯域は小さくなる。図14の例の細胞92は、細胞体921と、細胞体921から突出した突起922とを有する。なお、このときのコヒーレンスファクターσの値はσ=0.26であり、バンドパスフィルタ50の中心波長は550nmである。
FIG. 14 shows an example of a photographed image of the
図14に示すように、バンドパスフィルタ50を使用しない白色光における撮影画像と比べて、バンドパスフィルタ50を使用した狭波長帯における3つの撮影画像では、細胞92の各部を視認しやすい。特に、白色光における撮影画像では、細胞体921から延びる突起922を視認するのが困難であるのに対し、狭波長帯における3つの撮影画像では、突起922を視認できる。このように、狭波長帯における細胞92の像を撮像することにより、コントラストが高い撮影画像を得ることができる。このように、バンドパスフィルタ50が介在することにより、細胞92による拡がりが生じにくい狭波長帯の光のみを撮像部40が撮像する。したがって、コントラストの高い撮影画像を取得できる。
As shown in FIG. 14, it is easier to visually recognize each part of the
また、図14に示すように、狭波長帯における3つの撮影画像を比較すると、狭波長帯の半値幅が小さくなるにつれ、画像のコントラストが向上する。特に、半値幅が124nmの場合には、半値幅が153nmの場合と比べて、突起922の輪郭の視認性が大きく向上している。このように、狭波長帯の半値幅は、150nm以下であることが好ましい。一方、半値幅が10nmの場合には、半値幅124nmの場合と比べて、突起922の輪郭の視認性がさらに向上する。したがって、狭波長帯の半値幅は、100nm以下であることがより好ましい。すなわち、狭波長帯の半値幅を150nm以下や、100nm以下とすることにより、よりコントラストの高い細胞画像を取得できる。
Further, as shown in FIG. 14, when three captured images in the narrow wavelength band are compared, the contrast of the images is improved as the half width of the narrow wavelength band becomes smaller. In particular, when the half-value width is 124 nm, the visibility of the contour of the
以上の結果より、上述したステップS11およびステップS21においては、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、150nm以下とすることが好ましいと言える。また、マルチスペクトル撮影に用いられる各波長帯域の半値幅を、100nm以下とすれば、より好ましいと言える。これにより、上述したステップS12およびステップS22において、変化の大きい波長プロファイルWを得ることができる。その結果、上述したステップS13およびステップS23において、各画素をより適切に分類できる。 From the above results, it can be said that in step S11 and step S21 described above, it is preferable that the half width of each wavelength band used for multispectral imaging is 150 nm or less. Further, it can be said that it is more preferable that the half width of each wavelength band used for multispectral photography is 100 nm or less. Thereby, in the above-mentioned steps S12 and S22, the wavelength profile W having a large change can be obtained. As a result, in the above-mentioned steps S13 and S23, each pixel can be classified more appropriately.
<3−3.焦点位置について>
最後に、焦点位置の条件について、図15を参照しつつ説明する。図15は、焦点位置と細胞92の見え方との関係を模式的に示した図である。図15中に模式的に示したように、細胞92は透明であるため、撮像光学系30の焦点位置を細胞92に合わせた合焦点位置とすると、撮像部40により取得された画像において、細胞内部と細胞外部との輝度は近似する。このため、合焦点位置では、細胞92が視認しにくくなる。
<3-3. Focus position>
Finally, the condition of the focal position will be described with reference to FIG. FIG. 15 is a diagram schematically showing the relationship between the focal position and the appearance of the
撮像光学系30の焦点位置を合焦点位置から近距離方向(撮像部40側)へとずらすと、細胞内部が細胞外部よりも白く見える。そして、撮像光学系30の焦点位置を合焦点位置から一定距離近距離方向へずらした第1位置において、エッジの強さが極大値をとる。このため、第1位置において、細胞92および細胞92の各部の視認性が高くなる。撮像光学系30の焦点位置を第1位置よりもさらに近距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞92の視認性が低下する。
When the focal position of the image pickup
一方、撮像光学系30の焦点距離を合焦点位置から遠距離方向(照明部20側)へとずらすと、細胞内部が細胞外部よりも黒く見える。そして、撮像光学系30の焦点位置を合焦点位置から一定距離遠距離方向へずらした第2位置において、エッジの強さが極大値をとる。このため、第2位置において、細胞92および細胞92の各部の視認性が高くなる。撮像光学系30の焦点位置を第2位置よりもさらに遠距離方向へずらすと、画像がぼけて、エッジが弱くなり、細胞92の視認性が低下する。
On the other hand, when the focal length of the imaging
したがって、上述したステップS11およびステップS21においては、撮像光学系30の焦点位置を、合焦点位置から一定距離ずらした第1位置または第2位置として、マルチスペクトル撮影を行うことが好ましい。これにより、より高いコントラストの撮影画像I1〜Inを取得できる。なお、合焦点位置から第1位置または第2位置までの距離は、細胞92の種類ごとに予め決めた所定の距離であってもよい。また、合焦点位置から第1位置または第2位置までの距離は、観察しながら調整して決定してもよい。
Therefore, in step S11 and step S21 described above, it is preferable to perform multispectral photography with the focal position of the imaging
<4.変形例>
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
<4. Modification example>
Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
上記の実施形態では、学習工程におけるクラスターの分類処理(ステップS13)と、実行工程におけるクラスターの分類処理(ステップS23)とを、個別の処理によって行っていた。しかしながら、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、共通の処理によって行ってもよい。例えば、複数の視野の学習用画像について、まとめてk−means法を適用し、構成したモデルに基づいて、観察用画像について、クラスターの分類処理を行ってもよい。このようにすれば、同一の波長プロファイルWをもつ画素は同一のクラスターに分類される。したがって、分類の精度を向上させることができる。 In the above embodiment, the cluster classification process (step S13) in the learning process and the cluster classification process (step S23) in the execution process are performed by individual processes. However, the cluster classification process in the learning process and the cluster classification process in the execution process may be performed by a common process. For example, the k-means method may be collectively applied to the learning images of a plurality of fields of view, and the cluster classification processing may be performed on the observation images based on the constructed model. In this way, pixels having the same wavelength profile W are classified into the same cluster. Therefore, the accuracy of classification can be improved.
ただし、学習用の撮影画像IA1〜IAnと観察用の撮影画像IB1〜IBnとで、撮影条件の違い等により、同種の領域の波長プロファイルWが異なる場合がある。そのような場合には、上記の実施形態のように、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行うことによって、生体試料の違いや撮影条件の違いを吸収できる。このため、学習工程におけるクラスターの分類処理と、実行工程におけるクラスターの分類処理とを、個別に行う方が、精度のよい結果が得られる場合がある。なお、学習工程および実行工程を通して、全視野を個別に処理してもよい。また、学習工程では複数の視野について個別に処理し、実行工程では複数の視野を個別に処理してもよい。 However, the wavelength profile W in the same region may differ between the captured images IA1 to IAn for learning and the captured images IB1 to IBn for observation due to differences in imaging conditions and the like. In such a case, as in the above embodiment, the cluster classification process in the learning process and the cluster classification process in the execution process are performed individually to make the difference in the biological sample and the difference in the imaging conditions. Can be absorbed. Therefore, it may be possible to obtain more accurate results by individually performing the cluster classification process in the learning process and the cluster classification process in the execution process. The entire visual field may be processed individually through the learning process and the execution process. Further, in the learning process, a plurality of visual fields may be processed individually, and in the execution process, a plurality of visual fields may be processed individually.
また、上記の実施形態では、各領域におけるクラスターの構成比率に基づいて、領域を判定していた。しかしながら、学習用画像の領域ごとに、クラスターの配置状態などの、構成比率以外の情報を学習し、当該情報と、観察対象画像におけるクラスターの情報とに基づいて、観察対象画像に含まれる複数種類の領域を判定してもよい。 Further, in the above embodiment, the region is determined based on the cluster composition ratio in each region. However, for each area of the image for learning, information other than the composition ratio such as the arrangement state of the cluster is learned, and based on the information and the information of the cluster in the image to be observed, a plurality of types included in the image to be observed are included. The area of may be determined.
また、照明光学系22および撮像光学系30の構成は、上記の実施形態と異なっていてもよい。例えば、照明光学系22および撮像光学系30が、他の要素を有していてもよいし、上記の実施形態に含まれる要素が省略されていてもよい。また、照明光学系22または撮像光学系30におけるバンドパスフィルタ50の位置は、上記の実施形態と異なっていてもよい。
Further, the configurations of the illumination
上記の実施形態では、照明光学系22にバンドパスフィルタ50が設けられていた。しかしながら、撮像光学系30にバンドパスフィルタ50を設けてもよい。その場合、細胞92には、照明光として白色光が照射されるが、撮像光学系30のバンドパスフィルタ50によって、撮像部40に到達する光の波長帯域を変更することができる。したがって、撮像部40において、複数の波長帯域における撮影画像I1〜Inを取得することができる。
In the above embodiment, the
また、上記の実施形態では、光源21としてハロゲンランプを用い、バンドパスフィルタ50によって、照明光の波長帯域を変化させていた。しかしながら、光源21として、波長変調が可能なレーザ発振器またはLEDを用いてもよい。そうすれば、光源21からの出射光自体の波長帯域を変化させることができるため、バンドパスフィルタ50を省略することができる。
Further, in the above embodiment, a halogen lamp is used as the
また、上記の実施形態の細胞観察装置1は、観察者が直接観察を行うための接眼レンズ35を有していた。しかしながら、接眼レンズ35は省略されてもよい。
Further, the
また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。 Further, the elements appearing in the above-described embodiments and modifications may be appropriately combined as long as there is no contradiction.
1 細胞観察装置
9 培養容器
20 照明部
21 光源
22 照明光学系
30 撮像光学系
31 対物レンズ
32 開口絞り
33 結像レンズ
34 ビームスプリッター
35 接眼レンズ
40 撮像部
50 バンドパスフィルタ
60 コンピュータ
90 試料
91 培養液
92 細胞
221 コレクタレンズ
222 視野絞り
223 開口絞り
224 コンデンサレンズ
C 画素座標
H ヒストグラム
I1,IA1,IB1 撮影画像
Io,IAo,IBo クラスター画像
P 撮影位置
T1,T2,T3 領域
W 波長プロファイル
1
Claims (8)
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記工程a−3)では、複数の視野について、クラスターの分類処理をまとめて行い、In the step a-3), the cluster classification process is collectively performed for a plurality of fields of view, and the clusters are classified.
前記工程b−3)では、前記工程a−3)において構成されたモデルに基づいて、前記観察用画像の各画素を複数のクラスターに分類する領域判定方法。In the step b-3), a region determination method for classifying each pixel of the observation image into a plurality of clusters based on the model configured in the step a-3).
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記工程a−3)では、複数の視野について、クラスターの分類処理をまとめてまたは個別に行い、In step a-3), cluster classification processing is performed collectively or individually for a plurality of fields of view.
前記工程b−3)では、複数の視野について、クラスターの分類処理を個別に行う領域判定方法。In the step b-3), there is a region determination method in which cluster classification processing is individually performed for a plurality of visual fields.
学習工程と実行工程とを有し、It has a learning process and an execution process.
前記学習工程は、The learning process is
a−1)既知の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の学習用画像を取得する工程と、a-1) A process of acquiring a plurality of learning images by photographing a known biological sample in a plurality of wavelength bands having different center wavelengths.
a−2)前記工程a−1)で取得した複数の前記学習用画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、a-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of learning images acquired in the step a-1).
a−3)前記工程a−2)で得た前記波長プロファイルに応じて、前記学習用画像の各画素を複数のクラスターに分類する工程と、a-3) A step of classifying each pixel of the learning image into a plurality of clusters according to the wavelength profile obtained in the step a-2).
a−4)前記学習用画像に含まれる複数種類の領域を指定する工程と、a-4) A step of designating a plurality of types of regions included in the learning image, and
a−5)前記領域ごとに、前記複数のクラスターの情報を学習する工程と、a-5) The process of learning the information of the plurality of clusters for each of the regions, and
を有し、Have,
前記実行工程は、The execution step is
b−1)観察対象の生体試料を中心波長の異なる複数の波長帯域で撮影することにより、複数の観察対象画像を取得する工程と、b-1) A process of acquiring a plurality of observation target images by photographing a biological sample to be observed in a plurality of wavelength bands having different center wavelengths.
b−2)前記工程b−1)で取得した複数の前記観察対象画像について、画素ごとに、前記波長帯域の変化に対する輝度の変化を表す波長プロファイルを得る工程と、b-2) A step of obtaining a wavelength profile representing a change in luminance with respect to a change in the wavelength band for each pixel of the plurality of observation target images acquired in the step b-1).
b−3)前記工程b−2)で得た前記波長プロファイルに応じて、前記観察対象画像の各画素を複数のクラスターに分類する工程と、b-3) A step of classifying each pixel of the observation target image into a plurality of clusters according to the wavelength profile obtained in the step b-2).
b−4)前記観察対象画像における前記クラスターの情報と、前記工程a−5)で学習した前記クラスターの情報とに基づいて、前記観察対象画像に含まれる複数種類の領域を判定する工程と、b-4) A step of determining a plurality of types of regions included in the observation target image based on the information of the cluster in the observation target image and the information of the cluster learned in the step a-5).
を有し、Have,
前記複数のクラスターの情報は、前記複数のクラスターの構成比率である領域判定方法。The area determination method in which the information of the plurality of clusters is the composition ratio of the plurality of clusters.
前記生体試料は透明であり、The biological sample is transparent and
前記工程a−1)および前記工程b−1)では、前記生体試料の上方および下方のいずれか一方から前記生体試料に照明光を照射しつつ、前記生体試料の上方および下方のいずれか他方から前記生体試料を撮影する領域判定方法。In the steps a-1) and b-1), the biological sample is irradiated with illumination light from either the upper side or the lower side of the biological sample, and from the upper side or the lower side of the biological sample. A method for determining an area for photographing a biological sample.
前記学習工程では、既知の生体試料を含む複数の視野について、前記工程a−1)〜a−5)が実行される領域判定方法。In the learning step, a region determination method in which the steps a-1) to a-5) are executed for a plurality of visual fields including a known biological sample.
前記工程a―3)および前記工程b−3)では、k−means法を用いて、各画素を複数のクラスターに分類する領域判定方法。In the step a-3) and the step b-3), a region determination method for classifying each pixel into a plurality of clusters by using the k-means method.
前記工程a−5)では、ランダムフォレスト法により、前記領域ごとに、前記複数のクラスターの情報を学習する領域判定方法。In the step a-5), a region determination method for learning information on the plurality of clusters for each region by the random forest method.
前記生体試料は細胞である領域判定方法。A method for determining a region in which the biological sample is a cell.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059952A JP6975418B2 (en) | 2017-03-24 | 2017-03-24 | Area judgment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017059952A JP6975418B2 (en) | 2017-03-24 | 2017-03-24 | Area judgment method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018163249A JP2018163249A (en) | 2018-10-18 |
JP6975418B2 true JP6975418B2 (en) | 2021-12-01 |
Family
ID=63860051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017059952A Active JP6975418B2 (en) | 2017-03-24 | 2017-03-24 | Area judgment method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6975418B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4664871B2 (en) * | 2006-07-10 | 2011-04-06 | オリンパス株式会社 | Automatic focus detection device |
JP2008304205A (en) * | 2007-06-05 | 2008-12-18 | Olympus Corp | Spectral characteristics estimation apparatus and spectral characteristics estimation program |
EP2585811A4 (en) * | 2010-06-25 | 2017-12-20 | Cireca Theranostics, LLC | Method for analyzing biological specimens by spectral imaging |
JP2013048646A (en) * | 2011-08-30 | 2013-03-14 | Hoya Corp | Diagnostic system |
-
2017
- 2017-03-24 JP JP2017059952A patent/JP6975418B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018163249A (en) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5259207B2 (en) | Cell image analysis apparatus and method and software thereof | |
US20150185460A1 (en) | Image forming method and image forming apparatus | |
JP6739060B2 (en) | Image generating apparatus and image generating method | |
KR20120099011A (en) | Focusing device, focusing method, focusing program and microscope | |
JP2024019639A (en) | Microscope system, program, and projection image generation method | |
US9366849B2 (en) | Microscope system and method for microscope system | |
KR20200041983A (en) | Real-time autofocus focusing algorithm | |
US11906724B2 (en) | Apparatuses, systems and methods for generating color video with a monochrome sensor | |
JP6968357B2 (en) | Image acquisition method and image acquisition device | |
JP2018530823A (en) | Automatic staining detection in pathological bright field images | |
US9406118B2 (en) | Stain image color correcting apparatus, method, and system | |
JP2022132488A (en) | Device, method and program | |
JP2013109119A (en) | Microscope controller and program | |
US11215806B2 (en) | Method for imaging a sample by means of a microscope and microscope | |
US20230152563A1 (en) | Microscope system, imaging method, and imaging apparatus | |
JP6975418B2 (en) | Area judgment method | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
US11037294B2 (en) | Image processing device, image processing method, and computer-readable recording medium | |
JP2021140032A (en) | Signal acquisition device, signal acquisition system, and signal acquisition method | |
JP7162842B2 (en) | Focus adjustment method, image acquisition method, and image acquisition device | |
US20230258918A1 (en) | Digital microscope with artificial intelligence based imaging | |
JP2016192923A (en) | Determination apparatus, determination system, determination program, method for producing cells, and cell | |
US10690902B2 (en) | Image processing device and microscope system | |
WO2023189393A1 (en) | Biological sample observation system, information processing device, and image generation method | |
US8929639B2 (en) | Image processing apparatus, image processing method, image processing program, and virtual microscope system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210506 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6975418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |