JP2021078356A - 細胞解析装置 - Google Patents

Abstract

【課題】撮影時の異物の付着等の影響を軽減し、細胞解析の精度を向上させる。【解決手段】本発明に係る細胞解析装置の一態様は、ホログラフィック顕微鏡（１０）と、ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部（２３，２４）と、強度画像内において異物が存在する異物領域を識別する異物領域識別部（２５）と、位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部（２６，２７）と、を備える。【選択図】図１

Description

本発明は、培養中の細胞の数、細胞の面積、細胞の形状など、細胞に関する各種情報を取得する細胞解析装置に関する。

再生医療分野では、近年、ｉＰＳ細胞やＥＳ細胞、或いは間葉系幹細胞等の多能性幹細胞を用いた研究が盛んに行われている。こうした多能性幹細胞を利用した再生医療の研究・開発においては、多能性を維持した状態の未分化の細胞を大量に培養する必要がある。そのため、適切な培養環境の選択と環境の安定的な制御が必要であるとともに、培養中の細胞の状態を高い頻度で確認する必要がある。再生医療分野では観察後の細胞を引き続き培養するため、非破壊的及び非侵襲的に細胞状態の観察や確認を行うことが重要である。こうした非破壊的・非侵襲的な細胞状態の評価は、細胞観察装置で得られる細胞画像を利用した形態学的な評価が一般的である。

一般に細胞などの薄く透明な観察対象物は光の吸収が少ないため、光学的な強度像では対象物の形態を認識することは難しい。そのため、従来一般に、細胞の観察には位相差顕微鏡が広く利用されている。位相差顕微鏡では光が対象物を通過する際に変化する位相の変化量を画像化するため、透明である細胞の形態も可視化した位相差画像を得ることができる。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている（特許文献１、２等参照）。

デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞（ホログラム）を取得し、そのホログラムデータに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅（強度）情報を取得し、再構成画像として位相画像を作成する。こうしたデジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がないという利点がある。

国際特許公開第２０１６／０８４４２０号 特開平１０−２６８７４０号公報

上述したようにホログラムデータに基づいて作成される位相画像では、透明である細胞を比較的明瞭に観察することができる。したがって、位相画像に基づいて細胞数を計数する等の解析が可能である。しかしながら、ウェル等の容器内で培養中である細胞をホログラフィック顕微鏡で撮影する際に、培地上や撮像部のセンサ等にゴミ等の異物が付着していると、これが細胞の観察画像に映り込んでしまう。この異物の像を細胞であると誤認識すると、細胞数の計数などの目的とする細胞解析の精度が低下してしまうという問題がある。

本発明は上記課題を解決するためになされたものであり、その目的とするところは、撮影の際におけるゴミ等の異物の付着の影響を軽減し、細胞解析の精度を向上させることができる細胞解析装置を提供することである。

上記課題を解決するためになされた本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
を備えるものである。

上記ホログラフィック顕微鏡は典型的にはデジタルホログラフィック顕微鏡であり、上記位相画像は例えば、デジタルホログラフィック顕微鏡により得られるホログラムデータに基づく計算処理により求められた位相情報に基づいて再構成される画像である。

一般に細胞は透明であるため、ホログラムデータに基づいて得られる強度画像では明瞭に観察できないものの、位相画像では明瞭に観察可能である。これに対し、透明でない繊維片などの異物が培地上に存在していたりホログラフィック顕微鏡の撮像部（センサ等）に付着していたりすると、該異物の像は強度画像上に明瞭に現れる。即ち、強度画像は細胞の観察には不向きであるが、異物が存在する領域を把握するには適している。そこで本発明の上記態様の細胞解析装置において、異物領域識別部は、画像作成部で作成された強度画像内で異物が存在する異物領域を識別し、例えば異物領域をマスクするマスク画像を作成する。

細胞情報取得部は、画像作成部で作成された位相画像内で異物領域を除外した領域、つまりは上記マスク画像を用いてマスク処理された画像内に存在する細胞に関連する情報を取得する。具体的には例えば、機械学習により作成された学習モデルを用い、位相画像に基づいて細胞の核の領域を抽出した核位置推定画像を取得し、該画像に対しマスク処理を実施して求めた画像において細胞核を計数することで細胞数を算出することができる。また、細胞に関連する情報は細胞数に限らず、細胞の密度、細胞の形状や形態、細胞の面積、細胞の周囲長などでもよい。

このようにして本発明の上記態様による細胞解析装置によれば、位相画像上に映り込んでいる異物の像の影響を受けることなく、細胞数等の解析結果の精度を向上させることができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。

本発明に係る細胞解析装置の一実施形態の概略構成図。 本実施形態の細胞解析装置における、核位置推定のための学習モデルを作成する際の処理の流れを示すフローチャート。 本実施形態の細胞解析装置における解析対象である細胞の撮影から解析結果出力までの処理の流れを示すフローチャート。 図３中のステップＳ２３におけるマスク画像作成処理の詳細なフローチャート。 異物が映り込んだ場合のＩＨＭ位相像及びＩＨＭ強度像の一例を示す図。 マスク画像作成処理の各工程における画像の一例を示す図。 マスク画像作成処理の各工程における画像の一例を示す図。 マスク画像作成処理の各工程における画像の一例を示す図。 マスク画像作成処理の各工程における画像の一例を示す図。

以下、本発明に係る細胞解析装置の一実施形態について、添付図面を参照して説明する。
図１は、本実施形態の細胞解析装置の要部のブロック構成図である。この実施形態の細胞解析装置は、培養中の細胞を撮影して得られた細胞画像から細胞核の領域を検出し、細胞核を計数することで細胞の数を推定する機能を有している。

本実施形態の細胞解析装置１は、顕微観察部１０、制御・処理部２０、ユーザインターフェイスである入力部３０及び表示部４０、を備える。また、この細胞解析装置１にはＦＣＮモデル作成部５０が付設されている。

顕微観察部１０はインライン型ホログラフィック顕微鏡（In-line Holographic Microscopy：ＩＨＭ）であり、レーザダイオードなどを含む光源部１１とイメージセンサ１２とを備え、光源部１１とイメージセンサ１２との間に、細胞１４を含む培養プレート１３が配置される。

制御・処理部２０は、顕微観察部１０の動作を制御するとともに顕微観察部１０で取得されたデータを処理するものであって、撮影制御部２１と、ホログラムデータ記憶部２２と、位相／強度情報算出部２３と、画像作成部２４と、マスク画像作成処理部２５と、核位置推定部２６と、解析処理部２７と、表示処理部２８と、を機能ブロックとして備える。また、核位置推定部２６は核位置学習モデル記憶部２６１を含む。

ＦＣＮモデル作成部５０は、学習画像データ入力部５１と、画像位置合わせ処理部５２と、染色画像前処理部５３と、染色画像二値化部５４と、学習実行部５５と、モデル構築部５６と、を機能ブロックとして含む。このＦＣＮモデル作成部５０において作成される学習済みの学習モデルが、制御・処理部２０における記憶部に格納され核位置学習モデル記憶部２６１として機能する。

通常、制御・処理部２０の実体は、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムである。即ち、制御・処理部２０に含まれる各ブロックの機能は、コンピュータ単体又は複数のコンピュータを含むコンピュータシステムに搭載されているソフトウェアを実行することで実施される、該コンピュータ又はコンピュータシステムに記憶されている各種データを用いた処理によって具現化されるものとすることができる。

また、ＦＣＮモデル作成部５０の実体も、所定のソフトウェアがインストールされたパーソナルコンピュータやより性能の高いワークステーションである。通常、このコンピュータは制御・処理部２０と異なるコンピュータであるが、同じコンピュータであってもよい。つまり、ＦＣＮモデル作成部５０の機能を制御・処理部２０に持たせることもできる。

まず、本実施形態の細胞解析装置１において、細胞の観察画像であるＩＨＭ位相像及びＩＨＭ強度像を作成するまでの作業及び処理について説明する。
オペレータが細胞１４を含む培養プレート１３を所定位置にセットして入力部３０で所定の操作を行うと、撮影制御部２１は顕微観察部１０を制御し、以下のような手順でホログラムデータを取得する。

即ち、光源部１１は１０°程度の角度の広がりを持つコヒーレント光を培養プレート１３の所定の領域に照射する。培養プレート１３及び細胞１４を透過したコヒーレント光（物体光１６）は、培養プレート１３上で細胞１４に近接する領域を透過した光（参照光１５）と干渉しつつイメージセンサ１２に到達する。物体光１６は細胞１４を透過する際に位相が変化した光であり、他方、参照光１５は細胞１４を透過しないので細胞１４に起因する位相変化を受けない光である。したがって、イメージセンサ１２の検出面（像面）上には、細胞１４により位相が変化した物体光１６と位相が変化していない参照光１５との干渉縞による像つまりホログラムが形成される。

光源部１１及びイメージセンサ１２は、図示しない移動機構によって、連動してＸ軸方向及びＹ軸方向に順次移動される。これにより、光源部１１から発せられたコヒーレント光の照射領域（観察領域）を培養プレート１３上で移動させ、広い２次元領域に亘るホログラムデータ（イメージセンサ１２の検出面で形成されたホログラムの２次元的な光強度分布データ）を取得することができる。

上述したように顕微観察部１０で得られたホログラムデータは逐次、制御・処理部２０に送られ、ホログラムデータ記憶部２２に格納される。制御・処理部２０において、位相／強度情報算出部２３は、ホログラムデータ記憶部２２からホログラムデータを読み出し、位相回復のための所定の演算処理を実行することで観察領域（撮影領域）全体の位相情報を算出する。画像作成部２４は、算出された位相情報に基づいてＩＨＭ位相像を作成する。こうした位相情報の算出やＩＨＭ位相像の作成の際には、特許文献１、２等に開示されている周知のアルゴリズムを用いることができる。
図５（ａ）はＩＨＭ位相像の一例である。透明である細胞は一般的な光学顕微鏡では視認しにくいが、ＩＨＭ位相像では個々の細胞をかなり明瞭に観察することができる。

但し、ＩＨＭ位相像上で細胞を観察することは可能であるものの、ＩＨＭ位相像から各細胞核の領域を正確に検出することは容易ではない。そこで、本実施形態の細胞解析装置１では、機械学習法の一つである全層畳み込みニューラルネットワーク（ＦＣＮ：Fully Convolutional Neural network）を利用して、各細胞において細胞核が存在する推定位置（推定領域）を示す核位置推定画像を得る。

よく知られているように、ＦＣＮは一般に、畳み込み層とプーリング層との繰り返しが多層化された多層ネットワークと、畳み込みニューラルネットワーク（ＣＮＮ）における全結合層に相当する最終段の畳み込み層と、を含む。多層ネットワークでは、所定のサイズのフィルタ（カーネル）を用いた畳み込み処理と、畳み込み結果を２次元的に縮小して有効値を抽出するプーリング処理とを繰り返す。また、最終段の畳み込み層では、所定のサイズのフィルタを入力画像内でスライドさせつつ局所的な畳み込み及び逆畳み込みを行う。本実施形態の細胞解析装置では、ＩＨＭ位相像における画素単位でラベル化を行うようにＦＣＮの多層ネットワーク及び畳み込み層を設計する。これにより、入力画像であるＩＨＭ位相像に対してセマンティックセグメンテーションを行い、細胞核の領域を画素単位でラベル付けしたセグメンテーション画像（ラベル画像）を出力することができる。

ＦＣＮにおいて上記のようなセマンティックセグメンテーションを行うには、予め多数の学習用の画像データを用い、多層ネットワークに含まれる複数の畳み込み層や最終段の畳み込み層それぞれにおけるフィルタの係数（重み）を学習させて学習モデルを構築しておく必要がある。
図２に示すフローチャートに従って、ＦＣＮモデル作成部５０において学習処理を行う際の動作を説明する。なお、学習の際には、例えば、一般的に機械学習でしばしば用いられている確率的勾配降下法を利用した学習を行うことができる。

ＦＣＮモデル作成部５０の学習画像データ入力部５１は、画像作成部２４で作成されたＩＨＭ位相像とそれに対応する正解画像とを一組とする学習データ（教師データ、訓練データとも呼ばれるが、ここでは学習データという）を予め多数組読み込む（ステップＳ１０）。ＩＨＭ位相像は、上述したように細胞解析装置１で実際に細胞を撮影したデータに基づいて作成されるものであるが、必ずしも特定の細胞解析装置に限らず、同様の構成の他の細胞解析装置で得られたものでよい。一方、正解画像は、ＩＨＭ位相像を作成したときの細胞の核のみを染色し、それを適宜の顕微鏡で撮影した蛍光画像（核染色蛍光画像）である。染色の手法は細胞核を染色可能であれば特に問わないが、例えば、ＤＡＰＩ（4',6-diamidino-2-phenylindole）、ヨウ化プロピジウム、ＳＹＴＯＸ（登録商標）、ＴＯ−ＰＲＯ（登録商標）−３などを用いることができる。

一組であるＩＨＭ位相像と核染色蛍光画像とでは細胞の位置や方向、大きさなどが全く同じであることが望ましいが、一般には、デジタルホログラフィック顕微鏡での撮影と並行して蛍光画像を取得することはできないため、得られるＩＨＭ位相像と核染色蛍光画像とで細胞の位置や方向、大きさなどが異なることは避けられない。そこで、画像位置合わせ処理部５２は、いずれか一方の画像の平行移動、回転、拡大・縮小などの画像処理を行うことで、両画像の位置合わせを実施する（ステップＳ１１）。

この位置合わせの作業は、例えば、核染色蛍光画像と同時に撮影したアクチンフィラメント染色蛍光画像を利用して行うことができる。アクチンフィラメントは細胞骨格の一種であり、細胞の内部全体に繊維形状に存在する。通常の明視野画像では細胞領域を視認することが難しいが、アクチンフィラメントは概ね細胞全体に存在しているため、アクチンフィラメントが分布している範囲は細胞領域であるとみなすことができる。そこで、アクチンフィラメント染色蛍光画像とＩＨＭ位相像とを比較して、位置合わせのための座標移動量、拡大率、回転角度などの位置合わせのパラメータを求める。但し、顕微鏡のステージ精度の影響によって、核染色蛍光画像とアクチンフィラメント染色蛍光画像とでは若干位置ずれが生じる場合がある。そのため、上記のように求めたパラメータを参考にして、ＩＨＭ位相像の細胞内に核染色蛍光画像上の細胞核が的確に入るかどうかをオペレータが確認しながら位置合わせを行うとよい。

次に、染色画像前処理部５３は核染色蛍光画像において細胞核の領域がより明確になるように、ノイズ除去処理、及び背景除去処理を実施する（ステップＳ１２、Ｓ１３）。ノイズ除去処理は各種のノイズを除去することを目的としており、例えば、線形フィルタ、メディアンフィルタなどの各種のフィルタを用いることができる。また、背景除去処理は、細胞核以外の背景部分にある強度ムラを除去することを主な目的としたものであり、背景減算処理として、平均値フィルタを利用した方法などが知られている。ノイズ除去処理、及び背景除去処理の手法自体は従来の画像処理で利用されている様々な手法を利用することができる。また、ノイズの状況は顕微鏡の特性や対象サンプルの特性にも依存するので、場合によってはノイズ除去処理を省略することができる。

染色画像二値化部５４は上記のように前処理がなされた画像を二値化処理して、細胞核の領域とそれ以外の領域とを明確化した二値化画像を作成する（ステップＳ１４）。さらに染色画像二値化部５４は、二値化後の画像に対し、モルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ１５）。

一般的に核染色蛍光画像では、背景部分における強度ムラが大きいので、背景除去処理を実施しないと核領域を抽出することが可能な二値化が行えない。それに対し、背景除去処理を事前に行うことで、核領域が的確に抽出されている二値化画像を得ることができる。この二値化画像は、それに対応するＩＨＭ位相像上で細胞核領域とそれ以外の領域とをセマンティックセグメンテーションしラベル化した画像である。また、上述したように二値化後にクロージング処理を行うことで、主として輝点ノイズ等の染色画像上の小さなノイズを除去することができる。但し、ノイズの状況やステップＳ１２でのノイズ除去処理の性能によっては、クロージング処理は省略することもできる。

全ての学習データについてステップＳ１１〜Ｓ１５の処理を行うことで、ＩＨＭ位相像と核染色蛍光画像の二値化画像とを組とする多数の学習データが揃ったならば、学習実行部５５は、その多数の学習データを用いてＦＣＮの学習を実行する（ステップＳ１６）。即ち、ＦＣＮによるセマンティックセグメンテーションの結果が正解画像にできるだけ近くなるように、そのネットワークにおける複数の畳み込み層でのフィルタ係数を学習する。モデル構築部５６は、その学習の繰り返しの過程でモデルを構築し、所定の学習が終了すると、モデル構築部５６はその学習結果に基づく学習モデルを保存する（ステップＳ１７）。
このようにして作成された学習モデルを構成するデータが、核位置学習モデル記憶部２６１に格納される。

次に、上述したように学習モデルが核位置学習モデル記憶部２６１に格納されている状態で、細胞解析装置１で行われる解析対象である細胞の解析処理について、図３に示すフローチャートを参照して説明する。

オペレータは解析対象の細胞１４を含む培養プレート１３を顕微観察部１０の所定位置にセットし、入力部３０で所定の操作を行う。これにより、撮影制御部２１の制御の下で顕微観察部１０は、試料（培養プレート１３中の細胞１４）の撮影を実施する（ステップＳ２０）。位相／強度情報算出部２３は、その撮影により得られたホログラムデータに基づいて所定の演算を実行して位相情報と強度情報とを取得し、画像作成部２４は同じ観察領域についてのＩＨＭ位相像とＩＨＭ強度像を作成する（ステップＳ２１）。

核位置推定部２６は、ステップＳ２１で得られたＩＨＭ位相像を入力画像として読み込み、核位置学習モデル記憶部２６１に格納されている核位置学習モデルを用いたＦＣＮによる処理を実施し、入力画像に対応したセグメンテーション画像を出力する。このときのセグメンテーション画像は、入力画像であるＩＨＭ位相像と同じ観察範囲について、細胞核の領域とそれ以外の領域とを区別して示す核位置推定画像である（ステップＳ２２）。

核位置学習モデルの精度は高いので、ステップＳ２２で得られる核位置推定画像は細胞核の領域を的確に示しているものの、培養プレートの培地上に異物が載っていたりイメージセンサ１２や撮影光学系に異物が付着していたりすると、それが細胞として誤認識されてしまい細胞数等の解析結果の精度低下をもたらす。上述したように、解析対象である細胞は透明であり図５（ｂ）に示したＩＨＭ強度像では不鮮明にしか観察できないが、図５（ａ）に示したＩＨＭ位相像では明瞭に観察可能である。これに対し、ゴミ等の異物は通常不透明であるので、図５（ａ）に示したＩＨＭ位相像だけでなく図５（ｂ）に示したＩＨＭ強度像でも明瞭に観察可能である。そこで、本実施形態の細胞解析装置では、細胞観察には通常使用しないＩＨＭ強度像を利用して異物が存在する領域を識別し、その異物領域を除外して細胞数の計数等の解析処理を実行する。

即ち、マスク画像作成処理部２５はステップＳ２１で作成されたＩＨＭ強度像に基づいて、異物領域をマスクするためのマスク画像を作成する（ステップＳ２３）。マスク画像作成処理の詳しい手順を図４のフローチャートに示す。また、図６〜図９に、マスク画像作成処理の各工程における画像の一例を示す。

マスク画像作成処理部２５は、例えば図６（ａ）に示したような処理対象のＩＨＭ強度像を読み込むと（ステップＳ３０）、画像処理の負荷を軽減するために、ＩＨＭ強度像の画像サイズを減らす縮小処理を行う（ステップＳ３１）。画像サイズを小さくするほど処理の負荷は小さくなるものの、縮小し過ぎると細部が潰れてしまって異物領域のマスキングの精度が下がる。したがって、コンピュータ等の処理装置の性能と元の画像のサイズ、所望のマスキングの精度などを考慮して、予め縮小度合いを決めておくとよい。具体的には画像サイズを１／８程度に縮小するとよい。また、例えば１回の縮小処理における縮小率を１／８とし、パラメータとして設定された回数だけ縮小処理を繰り返すようにしてもよい。

次にマスク画像作成処理部２５は、縮小後のＩＨＭ強度像について画素毎に強度値を所定の閾値と比較することで二値化処理を行う（ステップＳ３２）。図６（ａ）に示すように、透明でない異物はＩＨＭ強度像上で暗くなるから、強度値が閾値以下である画素に「１」の値、強度値が閾値を超える画素に「０」の値を与えて二値化する。これにより、値が「１」及び｛０」である領域をそれぞれ白及び黒とすれば、異物が存在する異物領域は白、それ以外の領域は黒である二値画像が得られる。上記二値化の際の閾値は、例えば実験的に決めておくようにするとよい。図６（ｂ）は二値化後の画像である。

なお、多数の画像処理機能が搭載されているOpenCV（Open Source Computer Vision Library）を利用して二値化処理を行う場合、各画素のビット数をOpenCVに適合するビット数に変換する必要がある。具体的には、元のＩＨＭ強度像における１画素のビット数が１６である場合、OpenCVの標準的なビット数である３２ビットに変換する必要がある。そこで、二値化処理の前に１６→３２のビット数拡張処理を行い、二値化処理の後に３２→１６のビット数縮小処理を行うとよい。また、以降の演算処理の負荷を減らすために、ビット数を縮小する際に元のビット数よりも少ないビット数（例えば８ビット）まで縮小してもよい。

次いでマスク画像作成処理部２５は、二値化後の画像に対しモルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたクロージング処理を実施する（ステップＳ３３）。よく知られているように、画像に対してクロージング処理を行うことで、途切れている部位を結合したり、欠落している部位を穴埋めしたりすることができる。図６（ａ）から分かるように、ＩＨＭ強度像上の異物の像はその全体が均等に暗くなっているわけではなく、異物が存在する領域の内部の一部や細い部分が白っぽくなっていたりすることがある。そのため、二値化処理の際の閾値が適切であっても、異物領域の全体が「１」である値の像とはならず、一部が途切れたり欠落したりすることが避けられない。図７（ａ）に示すように、クロージング処理によって、こうした本来は異物である部分でありながら欠損している部分を補うことができる。

さらにマスク画像作成処理部２５は、クロージング処理後の画像に対しモルフォロジー変換処理として膨張処理と縮小処理とを組み合わせたオープニング処理を実施する（ステップＳ３４）。図７（ｂ）に示すように、クロージング処理後の画像に対しオープニング処理を行うことで、クロージング処理において周囲の画素又は領域と繋がらなかった孤立点であるノイズを除去することができる。

次いでマスク画像作成処理部２５は、二値画像上でその面積が所定の面積以下である領域を除去する処理を実行する（ステップＳ３５）。即ち、図８（ａ）に示すように、ステップＳ３４のオープニング処理では除去できない、或る程度大きな面積の領域をここで除去する。

上記オープニング処理の繰り返し回数を増やせば或る程度大きな面積の領域も除去することが可能であるものの、そうすると処理に要する時間が長くなる。逆に、オープニング処理を省略してステップＳ３５の処理を実施しても孤立点を除去することができる（孤立点の面積は小さいので）が、そうすると除去すべき領域の数が非常に多くなるためにやはり処理に要する時間が長くなる。これに対し、ステップＳ３４の処理とステップＳ３５の処理とを組み合わせることで、その面積が所定の面積以下である不所望の領域を効率的に、つまりは短い処理時間で除去することができる。なお、除去対象の領域を選択するパラメータである上記所定の面積は、想定される異物の大きさ等に基づいて予め実験的に設定しておくことができる。

そのあとマスク画像作成処理部２５は、二値画像上において白色で示される領域（異物に対応する領域）を膨張させる処理を行う（ステップＳ３６）。デジタルホログラフィック顕微鏡での撮影の原理上、図６（ａ）に示すように、ＩＨＭ強度像上の異物の像では周縁部が暗くならず白っぽくなる。そのため、ＩＨＭ強度像を二値化した二値画像において、異物像は実際の異物の領域よりも小さくなる。これに対し、図８（ｂ）に示すように、二値画像上での異物の像を膨張させることで、実際の異物の領域を十分にカバーするようなマスク画像を形成することができる。

さらにマスク画像作成処理部２５は、ステップＳ３６の処理後の二値画像に対し、ステップＳ３１で縮小したときの縮小率と逆の拡大率の、画像サイズの拡大処理を実行する（ステップＳ３７）。図９（ａ）はサイズ拡大後の画像である。上述したようにステップＳ３１で画像サイズを１／８に縮小した場合であれば、ステップＳ３７では画像サイズを８倍に拡大すればよい。画像拡大の手法として周囲の適宜の方法を選択することができる。画像拡大法として最も単純なのは最短距離法（Nearest Neighbor法）であるが、最短距離法では領域の輪郭（境界）のギザギザが目立ち易い。したがって、好ましくは、線形補間法（Bilinear法）などの補間を利用した方法のほうがよい。

そして最後にマスク画像作成処理部２５は、再度、二値化処理を実行したあとに画像の白黒を反転する処理を行う（ステップＳ３８）。ここで二値化を行うのはステップＳ３７で線形補間法などによる画像拡大を行うと白黒以外の中間階調が生じてしまうためである。したがって、最短距離法などの、中間階調が生じない画像拡大法を用いる場合にはステップＳ３８における二値化処理は不要である。また、最後に白黒反転を行うのは、異物領域を黒色としたマスク画像を得るためである。
以上のような手順により、図９（ｂ）に示すような、異物領域が黒色でそれ以外の領域が白色であるマスク画像を得ることができる。

なお、ステップＳ３１の縮小処理の縮小率（縮小処理の繰り返し回数）、ステップＳ３２の二値化処理の際の閾値、ステップＳ３３のクロージング処理の繰り返し回数、ステップＳ３４のオープニング処理の繰り返し回数、ステップＳ３５の最小面積以下の領域の除外処理における最小面積、ステップＳ３６の膨張処理の繰り返し回数などのパラメータは予め決めておくことができるが、その全て又は一部をユーザが自由に変更できるようにしてもよい。

次に、解析処理部２７は、ステップＳ２２において得られた核位置推定画像に対し、ステップＳ２３において得られたマスク画像を用いたマスク処理、つまりは解析対象から異物領域を除外する処理を実行し、マスク処理後の核位置推定画像を得る（ステップＳ２４）。そして解析処理部２７は、マスク処理後の核位置推定画像上で核領域の数を計数し細胞数を求める等、の解析処理を実施する（ステップＳ２５）。核位置推定画像において異物領域を除外した領域の面積を算出し、その面積と細胞数とから細胞の密度などを算出するようにしてもよい。表示処理部２８は、算出された細胞数や細胞密度などの解析結果と、マスク処理後の核位置推定画像とを表示部４０に表示する（ステップＳ２６）。

このように本実施形態の細胞解析装置では、細胞観察画像上で異物が存在する領域を除いて細胞の数を計数することができる。したがって、細胞観察画像上に異物が存在する場合であっても、細胞数や細胞密度などを高い精度で以て求めることができる。また、本実施形態の細胞解析装置では、生細胞を非侵襲的に撮影したデータに基づいて解析を行うので、その解析に使用した細胞を引き続き培養したり別の目的に使用したりすることが可能である。

なお、上記説明では、核位置学習モデルを用いたＦＣＮによる処理によって得られた核位置推定画像に対しマスク処理を行い、マスク処理後の核位置推定画像に基づいて細胞数を計数していたが、核位置推定画像における核領域の検出の精度をより高める画像処理を加えてもよい。

具体的には、本出願人が先に出願したＰＣＴ／ＪＰ２０１９／０４０２７６号に記載のように、核位置推定画像に対して極大値領域抽出処理及び二値化処理を実行することで、種々のノイズを除去して核領域の中心点を抽出した画像を作成し、この画像に基づいて細胞数を計数してもよい。或いは、本出願人が先に出願したＰＣＴ／ＪＰ２０１９／０４０２７５号に記載のように、細胞核の領域のほかに細胞領域とそれ以外の領域とを識別する学習モデルを用いてＩＨＭ位相像から細胞領域を抽出し、核位置推定画像上の核領域の中で、細胞領域に含まれないものを偽の細胞核として除外する処理を実施してもよい。

また、細胞数の計数以外にも、培養中の細胞に関する様々な情報を収集するために、上述したように異物領域を除外する処理を実施することができる。例えば、本出願人が先に出願した特願２０１９−１８７８６５号では、細胞領域とそれ以外の領域とを識別する学習モデルを用いてＩＨＭ位相像から細胞領域を抽出したセグメンテーション画像を取得し、そのセグメンテーション画像に基づいて個々の細胞の形状や形態を求めることが行われている。本実施形態の細胞解析装置においても、核位置推定画像の代わりに細胞領域推定画像を用い、異物領域以外の領域に存在する細胞や異物領域と重ならない細胞の形状や形態を観察可能な画像を得るようにすることができる。また、そうした画像に基づいて、細胞全体の面積を算出したり、撮影範囲全体の面積に対する細胞面積の割合を算出したり、さらには個々の細胞の面積や長さ、或いは周囲長などの情報を算出して、個々の細胞の面積、周囲長等の平均値、中央値、分散などの統計情報を算出することもできる。

なお、上記実施形態の細胞解析装置では、細胞核のセマンティックセグメンテーションのための機械学習法としてＦＣＮを用いていたが、通常の畳み込みニューラルネットワークでもよいことは明らかである。また、ニューラルネットワークを用いた機械学習法に限らず、画像についてのセマンティックセグメンテーションが可能な機械学習法であれば本発明を適用することが有効である。こうした機械学習法としては、例えばサポートベクターマシン、ランダムフォレスト、アダブーストなどがある。

また、上記実施形態の細胞解析装置では、顕微観察部１０としてインライン型ホログラフィック顕微鏡を用いていたが、ホログラムが得られる顕微鏡であれば、オフアクシス（軸外し）型、位相シフト型などの他の方式のホログラフィック顕微鏡に置換え可能であることは当然である。

また、上記実施形態や各種の変形例はあくまでも本発明の一例であり、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。

［種々の態様］
上述した例示的な実施形態が以下の態様の具体例であることは、当業者には明らかである。

（第１項）本発明に係る細胞解析装置の一態様は、
ホログラフィック顕微鏡と、
前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
を備えるものである。

第１項に記載の細胞解析装置によれば、位相画像上に映り込んでいる異物の像の影響を受けることなく、細胞数等の解析結果の精度を向上させることができる。また、解析対象である細胞の撮影（測定）は非侵襲的に行えるので、細胞を引き続き培養したり、別の目的の分析や観察に供したりすることができる。

（第２項）第１項に記載の細胞解析装置において、前記異物領域識別部は、前記強度画像に対して二値化処理を行ったあと、二値画像上で異物領域の欠落部を補填する補填処理、及び小面積の領域を除去するノイズ除去処理を実施するものとすることができる。

強度画像上で観察される異物像はその全体が同じように暗い像になっているとは限らず、多くの場合、明暗にむらがある。また、強度画像でも細胞が全く観察できないわけではないので、二値化処理の結果、細胞の一部や背景領域の一部が異物領域と同じ画素値になることもある。これに対し、第２項に記載の細胞解析装置によれば、補填処理によって明暗のむら等によって欠落した部分を補填することができる。一方、ノイズ除去処理によって、細胞の一部や背景領域の一部などの異物領域と同じ画素値となる部分を除去することができる。それによって、異物領域をより正確に抽出することができる。
なお、補填処理としては例えばクロージング処理、ノイズ除去処理としてはオープニング処理や所定の閾値以下の面積の領域を除去する処理などを用いることができる。

（第３項）第２項に記載の細胞解析装置において、前記異物領域識別部は、前記補填処理及びノイズ除去処理のあとの二値画像上での異物領域を膨張させる膨張処理を実施するものとすることができる。

ホログラムデータに基づく強度画像上で観察される異物像では、その周縁部が比較的明るくなることが多い。これに対し、第３項に記載の細胞解析装置によれば、膨張処理によって二値画像上での異物領域を拡大することができるので、実際に異物が存在する領域を十分にカバーし得るような、且つ、実際には異物が存在しない領域をできるだけカバーしないようなマスク画像を作成することができる。それによって、異物領域を的確に除外して細胞に関連する情報を収集することができる。

（第４項）第１項〜第３項のいずれか１項に記載の細胞解析装置において、
前記細胞情報取得部は、
ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、核領域又は細胞領域を染色して得られた画像を正解画像とした学習データを用い、機械学習を行うことで作成された学習モデルが記憶される学習モデル記憶部と、
前記学習モデル記憶部に記憶されている学習モデルを用い、前記位相画像を入力画像として核領域又は細胞領域と他の領域とをセグメンテーションした領域推定画像を出力する領域推定部と、
を含むものとすることができる。

（第５項）また第４項に記載の細胞解析装置において、前記機械学習は全畳み込みニューラルネットワークを用いたものとすることができる。

第４項及び第５項に記載の細胞解析装置によれば、位相画像に基づいて細胞核が存在する核領域や細胞が存在する細胞領域を正確に抽出することができ、細胞に関連する情報を精度良く求めることができる。

（第６項）第４項又は第５項に記載の細胞解析装置において、前記異物領域識別部は、異物領域をマスクするマスク画像を作成し、前記細胞情報取得部は、前記領域推定画像に対し前記マスク画像を用いたマスク処理を実施し、そのマスク処理後の領域推定画像に基づいて細胞に関連する情報を取得するものとすることができる。

第６項に記載の細胞解析装置によれば 異物領域以外の領域に存在する細胞核の領域や細胞領域を正確に求めることができる。それによって、異物の映り込みの影響を排除して、細胞数、細胞密度、細胞の形状や形態、細胞面積、細胞の周囲長などの細胞に関連する情報を正確に求めることができる。

１…細胞解析装置
１０…顕微観察部
１１…光源部
１２…イメージセンサ
１３…培養プレート
１４…細胞
１５…参照光
１６…物体光
２０…制御・処理部
２１…撮影制御部
２２…ホログラムデータ記憶部
２３…位相／強度情報算出部
２４…画像作成部
２５…マスク画像作成処理部
２６…核位置推定部
２６１…核位置学習モデル記憶部
２７…解析処理部
２８…表示処理部
３０…入力部
４０…表示部
５０…ＦＣＮモデル作成部
５１…学習画像データ入力部
５２…画像位置合わせ処理部
５３…染色画像前処理部
５４…染色画像二値化部
５５…学習実行部
５６…モデル構築部

Claims (6)

1. ホログラフィック顕微鏡と、
   前記ホログラフィック顕微鏡で細胞を観察することで取得されたホログラムデータに基づいて、同一の撮影範囲に対応する位相画像及び強度画像を作成する画像作成部と、
   前記強度画像内において異物が存在する異物領域を識別する異物領域識別部と、
   前記位相画像内において前記異物領域識別部で識別された異物領域を除外した領域に存在する細胞に関連する情報を取得する細胞情報取得部と、
   を備える、細胞解析装置。
2. 前記異物領域識別部は、前記強度画像に対して二値化処理を行ったあと、二値画像上で異物領域の欠落部を補填する補填処理、及び小面積の領域を除去するノイズ除去処理を実施する、請求項１に記載の細胞解析装置。
3. 前記異物領域識別部は、前記補填処理及びノイズ除去処理のあとの二値画像上での異物領域を膨張させる膨張処理を実施する、請求項２に記載の細胞解析装置。
4. 前記細胞情報取得部は、
   ホログラムデータに基づいて作成される細胞の位相画像を入力画像とし、これに対応する、核領域又は細胞領域を染色して得られた画像を正解画像とした学習データを用い、機械学習を行うことで作成された学習モデルが記憶される学習モデル記憶部と、
   前記学習モデル記憶部に記憶されている学習モデルを用い、前記位相画像を入力画像として核領域又は細胞領域と他の領域とをセグメンテーションした領域推定画像を出力する領域推定部と、
   を含む、請求項１〜３のいずれか１項に記載の細胞解析装置。
5. 前記機械学習は全畳み込みニューラルネットワークを用いたものである、請求項４に記載の細胞解析装置。
6. 前記異物領域識別部は、異物領域をマスクするマスク画像を作成し、
   前記細胞情報取得部は、前記領域推定画像に対し前記マスク画像を用いたマスク処理を実施し、そのマスク処理後の領域推定画像に基づいて細胞に関連する情報を取得する、請求項４又は５に記載の細胞解析装置。

Images