JP2019058074A - 画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラム - Google Patents

Abstract

【課題】複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出する。【解決手段】複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各細胞集塊内の細胞間に存在する隙間を埋めた平滑化画像を生成する第１平滑化処理部１１と、平滑化画像を細胞集塊の背景領域と非背景領域とに二値化するシード作成部１３と、二値化された平滑化画像の非背景領域を細胞集塊ごとの領域に分割する領域拡張部２３とを備える画像処理装置５を提供する。【選択図】図１

Description

本発明は、例えば蛍光顕微鏡等を用いた撮像により取得された細胞画像から複数の細胞が塊状に集合した細胞集塊を抽出する画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムに関するものである。

従来、医療・ライフサイエンス分野では、顕微鏡を通して撮影された細胞画像を用いた様々な細胞解析が行われている。例えば、ＥＳ細胞（Embryonic Stem Cells）、ｉＰＳ細胞（Induced Pluripotent Stem Cell）等、幹細胞の研究においては、細胞分化メカニズムの解明や、創薬開発等を目的として、時系列で撮影された複数の細胞画像から細胞の分化過程や形態的特徴変化を観察し、細胞毎の性質の違いを調べるといった作業が一般的に行われている。さらに、より生体内に近い環境における医薬品等の効用を調べること等を目的として、細胞を立体的に培養する３次元培養が行われている。

複数の細胞が塊状に集合した細胞集塊の培養状態について調べるために、従来は研究者の手作業により解析が行われてきたが、３次元的解析の煩雑性や、処理対象構造の複雑性等から膨大な手間がかかっていた。近年では画像解析技術を応用することにより、３次元的解析を自動化し、細胞画像中に含まれる個々の細胞集塊を自動検出することで、細胞集塊の形態情報や個体数等を効率よく把握することが可能となりつつある（例えば、特許文献１参照。）。

特許文献１には、細胞集塊を含む画像から細胞集塊の体積を推定する処理の精度を向上するキャリブレーション方法を提供することを目的として、画像データから予め設定された閾値よりも高い濃度を有するピクセルを抽出することにより、細胞集塊（オブジェクト）領域を画像中から抽出する技術が開示されている。

特開２０１４−１４９２３５号公報

しかしながら、細胞集塊は個々の細胞が寄り集まってできた塊状の領域であり、細胞どうしが隣接した空間内に何某かの空隙が含まれる場合が多いことから、特許文献１に記載の方法では、細胞集塊を構成する細胞間の空隙も抽出されてしまい、抽出した細胞集塊を正確に解析することができないことがあるという問題がある。

本発明は上述した事情に鑑みてなされたものであって、複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出することができる画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の第１態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える画像処理装置である。

本態様によれば、平滑化部により、複数の細胞集塊を含む細胞画像の輝度値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化部により、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化される。そして、領域分割部により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割されることで、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

上記態様においては、前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備えることとしてもよい。
細胞画像における細胞集塊内の隙間の画素は低中間輝度値であり、階調補正部によりこれらの画素の輝度値を増大させておくことで、平滑化部により細胞集塊内の隙間の画素値をより効率的に均質化・平坦化して隙間を埋めることができる。

上記態様においては、前記細胞画像が、複数の前記細胞集塊を３次元的に撮影した画像であってもよい。
このように構成することで、３次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

上記態様においては、前記階調補正部が、所定の低輝度閾値以下の低輝度の画素、および、前記所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に前記階調補正処理を施すこととしてもよい。
このように構成することで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。

上記態様においては、前記階調補正部が、前記細胞画像にヒストグラム均等化法による前記階調補正処理を施すこととしてもよいし、前記細胞画像に所定のガンマ曲線に基づく前記階調補正処理を施すこととしてもよい。

上記態様においては、前記二値化部が、前記細胞画像の画素値の分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて前記平滑化画像を二値化することとしてもよい。
このように構成することで、二値化部により二値化閾値が自動的に設定され、平滑化画像における非背景領域の抽出を容易にすることができる。

上記態様においては、前記二値化部が、ユーザが設定する所定の二値化閾値に基づいて前記平滑化画像を二値化することとしてもよい。
このように構成することで、ユーザが所望する閾値に基づいて平滑化画像から非背景領域を抽出することができる。

上記態様においては、前記領域分割部が、前記非背景領域内の各画素に対して前記背景領域との境界からの距離値を算出する距離変換部と、該距離変換部により算出された前記距離値に基づいて個々の前記細胞集塊に対応する初期領域をそれぞれ設定する初期領域設定部と、各前記初期領域を拡張させて各前記細胞集塊の領域を画定する領域拡張部とを備えることとしてもよい。

複数の非背景領域が近接して繋がっているような場合は、各集塊領域の中央部付近ほど背景領域との境界からの距離値が大きく、非背景領域どうしが近接して繋がった部分は距離値が小さいことが多い。したがって、このように構成することで、距離変換部により算出される距離値に基づいて初期領域設定部により設定される個々の細胞集塊に対応するそれぞれの初期領域に従い、領域拡張部により各細胞集塊の領域を容易に画定することができる。

上記態様においては、前記初期領域設定部が、前記距離値が所定の距離閾値よりも大きい領域を前記初期領域として設定することとしてもよい。
このように構成することで、所定の距離閾値により、個々の前記細胞集塊に対応する初期領域を精度よく設定することができる。

上記態様においては、前記平滑化部により平滑化する前の前記細胞画像に対して各画素の輝度値を所定の階調幅に変換する正規化部を備えることとしてもよい。
このように構成することで、正規化部により、細胞画像のその後の処理を容易にすることができる。

上記態様においては、前記平滑化部により平滑化する前の前記細胞画像の情報量を所定の縮小率に基づいて縮小する縮小部と、前記領域分割部により前記細胞集塊ごとに領域が分割された前記平滑化画像の情報量を拡大する拡大部とを備えることとしてもよい。
このように構成することで、平滑化部および二値化部において、縮小部により情報量が縮小された細胞画像を処理すればいいので、処理速度を向上することができる。

上記態様においては、前記非背景領域を分割して得られた各前記細胞集塊の領域の大きさを計測する計測部と、該計測部により計測された大きさが所定の領域閾値よりも小さい前記細胞集塊の領域を除去するフィルタリング部とを備えることとしてもよい。
このように構成することで、計測部により計測される細胞集塊の領域の大きさに従い、細胞集塊の領域として抽出されるノイズをフィルタリング部により除去することができる。

上記態様においては、前記平滑化部が、前記細胞画像を撮影した際の光学倍率が大きければ大きいほど平滑化の強度を強くすることとしてもよい。
このように構成することで、細胞画像を撮影した際の光学倍率に関わらず、細胞画像における各細胞集塊内の隙間をより確実に埋めた平滑化画像を生成することができる。

本発明の第２態様は、複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像部と、該撮像部により取得された前記細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える細胞集塊認識装置である。
本態様によれば、撮像部により複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

上記態様においては、前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備えることとしてもよい。
このように構成することで、階調補正部により、細胞画像における細胞集塊内の隙間の画素の輝度値を増大させておき、平滑化部による細胞集塊内の隙間の画素値の均質化・平坦化を高効率にすることができる。

上記態様においては、前記細胞画像が、複数の前記細胞集塊を３次元的に撮影した画像であってもよい。
このように構成することで、３次元的な細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

本発明の第３態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とを含む細胞集塊認識方法である。

本態様によれば、平滑化工程により、複数の細胞集塊を含む細胞画像の画素値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化工程により、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化される。そして、領域分割工程により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割されることで、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

本発明の第４態様は、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とをコンピュータに実行させる細胞集塊認識プログラムである。

本態様によれば、コンピュータの実行により、平滑化工程によって複数の細胞集塊を含む細胞画像の輝度値が平滑化されて各細胞集塊内の隙間が埋められた平滑化画像が生成され、二値化工程によって、その平滑化画像が細胞集塊の背景領域と非背景領域とに二値化され、領域分割工程により、二値化された平滑化画像の非背景領域が細胞集塊ごとの領域に分割される。したがって、コンピュータの実行により、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

本発明によれば、複数の細胞が塊状に集合した細胞集塊を撮影した細胞画像から、細胞間の空隙を排した塊状の領域を容易に抽出することができるという効果を奏する。

本発明の第１実施形態に係る細胞集塊認識装置の構成を示すブロック図である。 細胞が３次元的に塊状に凝集した細胞集塊（スフェロイド）の一例を示す図である。 （ａ）はＺ方向に５μｍおきに細胞集塊を撮影した複数枚の画像セットからなるＺスタック画像データの一例を示す図であり、（ｂ）は（ａ）のＺスタック画像データの内のＺ＝ｚ（３）の断面（スライス）画像である。 ヒストグラム均等化法による階調補正処理で用いる変換テーブルの例を示す図である。 ガンマ補正曲線の例を示す図である。 分割領域前のマーカーコントロール付きＷａｔｅｒｓｈｅｄ領域分割概念図である。 各シードを拡張させた後のマーカーコントロール付きＷａｔｅｒｓｈｅｄ領域分割概念図である。 （ａ）は細胞集塊の領域分割後のＺスタック画像の一例を示す図であり、（ｂ）は（ａ）のＺ＝ｚ（３）のスライス画像を示す図である。 本発明の第１実施形態に係る細胞集塊認識方法を説明するフローチャートである。 （ａ）は階調補正前の細胞集塊の原画像信号を示す図であり、（ｂ）は（ａ）の原画像信号に階調補正処理を施して、細胞間の隙間に相当する輝度値を増大させた状態を示す図であり、（ｃ）は（ｂ）の画像信号に二値化処理を施した図である。 本発明の第２実施形態に係る細胞集塊認識装置の構成を示すブロック図である。 （ａ）は２つの概形領域が近接し繋がっている状態を示す図であり、（ｂ）は各概形領域の中央部付近の距離値が高く、近接し繋がった部分の距離値が低いことを説明する図であり、（ｃ）は（ｂ）の画像から作成した２つのシードの一例を示す図である。 シード作成部による閾値処理の１次元の例を説明する図である。 本発明の第２実施形態に係る細胞集塊認識方法を説明するフローチャートである。

〔第１実施形態〕
本発明の第１実施形態に係る画像処理装置、細胞集塊認識装置、細胞集塊認識方法および細胞集塊認識プログラムについて、図面を参照して以下に説明する。
本実施形態に係る細胞集塊認識装置１は、図１に示すように、複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像装置（撮像部）３と、撮像装置３により取得された細胞画像を処理する画像処理装置５とを備えている。

撮像装置３は、蛍光顕微鏡により撮影された細胞画像を取得するＣＣＤ等の撮像素子と、撮像素子により取得された細胞画像をデジタル信号に変換するＡ／Ｄ変換器等とを備え（いずれも図示略。）、例えば１６ｂｉｔ（０−６５５３５階調）の原画像信号を出力するようになっている。

また、撮像装置３は、鉛直方向に予め設定された所定の間隔おきに複数枚の細胞画像を撮影し、これら複数枚の細胞画像のセットからなる３次元Ｚスタック画像データを原画像信号として出力することができるようになっている。以下、鉛直方向をＺ方向とし、Ｚ方向に直交しかつ互いに直交する水平方向をそれぞれＸ方向およびＹ方向とする。

図２に３次元的に細胞が塊状に凝集した細胞集塊の一例としてスフェロイドを示す。また、図３（ａ）に所定間隔おきにスフェロイドを撮影した複数枚の画像セットからなるＺスタック画像データの一例を示し、図３（ｂ）にＺスタック画像データに含まれる深さＺ＝ｚ（３）における断面（スライス）画像の一例を示す。なお、スタック１枚（＝２次元的な画像データ、Ｚ方向深さ１。）でも処理可能である。図２および図３（ａ），（ｂ）において、符号Ｃは細胞を示し、符号Ｓはスフェロイドを示している。撮像装置３から出力された原画像信号は画像処理装置５に転送されるようになっている。

画像処理装置５は、図１に示すように、正規化部７と、縮小部９と、第１平滑化処理部（平滑化部）１１と、シード作成部（二値化部）１３と、階調補正部１５と、第２平滑化処理部（平滑化部）１７と、概形領域作成部１９と、領域拡張時参照画像作成部２１と、領域拡張部（領域分割部）２３と、拡大部２５と、フィルタ部（計測部、フィルタリング部）２７と、出力部２９とを備えている。これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えばＣＰＵ（中央演算処理装置）と、演算プログラムを格納するＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶装置などから構成されていてもよい。この場合、ＲＯＭには、演算プログラムとしての細胞集塊認識プログラムが格納されることとすればよい。

正規化部７は、撮像装置３から送られてくる細胞集塊（スフェロイドＳ）を撮影した原画像信号（３次元Ｚスタック画像データ）を読み込み、各画素値を所定の階調幅、例えば１２ｂｉｔ（０−４０９５階調）範囲に正規化して、正規化画像を生成するようになっている。正規化処理は、例えば、ヒストグラム拡張処理により行われるようになっている。

ヒストグラム拡張処理の手順は、まず、原画像信号（３次元Ｚスタック画像データ）中の輝度最小値ｌｅｖｅｌＭｉｎおよび輝度最大値ｌｅｖｅｌＭａｘを求めるようになっている。次に、全画素値に対して以下ゲインｇ（＝４０９５／（ｌｅｖｅｌＭａｘ−ｌｅｖｅｌＭｉｎ)）を乗算するようになっている。なお、ユーザが上記パラメータｌｅｖｅｌＭｉｎ，ｌｅｖｅｌＭａｘを任意に設定する機構を設け、正規化処理の拡張範囲を自由に調整できるようにしてもよい。正規化部７により１２ｂｉｔに正規化された正規化画像は縮小部９へ転送されるようになっている。

縮小部９は、正規化部７から送られてくる正規化画像に対して、処理高速化を行うための処理対象データの削減を目的としたサイズ変換（縮小処理）を行い、縮小画像を生成するようになっている。具体的には、縮小部９は、予め設定した各ＸＹＺに対するサイズ縮小率（例えば、０．５）に基づいて、正規化画像に公知の縮小・補間処理（例えばバイリニア補間処理等）を適用するようになっている。縮小部９により縮小された縮小画像は第１平滑化処理部１１および階調補正部１５へ転送されるようになっている。

第１平滑化処理部１１は、シード作成部１３による処理の前処理として、細胞集塊の領域（集塊領域）内の個々の細胞間に存在する隙間を埋めるために、縮小部９から送られてくる縮小画像に対してガウシアン平滑化処理を行い、平滑化画像を生成するようになっている。なお、ガウシアン平滑化処理により、さらに、縮小画像における微細な凹凸をならしたり微小なゴミ領域を除去したりすることとしてもよい。ただし、平滑化を強くかけすぎると、細胞間の隙間が埋まり易い利点があるものの、近接した集塊領域どうしが繋がり易くシード形成に失敗する可能性も大きくなるため、平滑化の程度を適切に調整する必要がある。

この第１平滑化処理部１１は、画像の撮像条件である光学倍率に比例するようにガウシアン平滑化フィルタの効果が調整（標準偏差σ値を調整）されており、倍率が大きい程、すなわち被写体である細胞集塊および細胞の実サイズが相対的に大きい程、強く平滑化がかかるように調整されている。第１平滑化処理部１１により平滑化された平滑化画像はシード作成部１３に転送されるようになっている。

シード作成部１３は、公知の輝度値ベースの閾値処理により、個々の集塊領域に対してできるだけ１対１に対応して存在するようなシード（初期領域）を作成するようになっている。シード作成に関しては、後述する概形領域作成時とは異なり、シード自体の領域形状の正確性を担保する必要は無い。

このシード作成部１３は、まず、第１平滑化処理部１１から送られてくる平滑化画像に対して、公知の閾値処理手法、例えば適応的閾値設定手法の１つである大津の方法を適用して二値化閾値を算出するようになっている。そして、シード作成部１３は、算出した二値化閾値を用いて、平滑化画像を集塊領域の背景領域と非背景領域とに二値化する二値化処理を行うようになっている。そして、シード作成部１３は、二値化後の閾値以上のより輝度の高い側の領域（非背景領域）に対するラベリング処理により、画像中に空間的に独立して存在する各非背景領域に対してユニークなラベル（領域番号）を設定し、ラベルを設定した非背景領域をシードとするようになっている。

大津の方法は、画像の輝度値ヒストグラムを基に、所定の閾値でヒストグラムを２つに分割した際の各ヒストグラム分散に基づき定義された分離度を最大化するように、適応的に二値化閾値を設定する手法である。なお、二値化閾値の設定をユーザが任意に調整できるように構成してもよい。シード作成部１３により作成されたシードは領域拡張部２３へ転送されるようになっている。

階調補正部１５は、第２平滑化処理部１７および概形領域作成部１９による処理の前処理として、縮小部９から送られてくる縮小画像に対して階調補正処理を行い、画像中の低中間輝度値を増大させた階調補正画像を生成するようになっている。階調補正処理としては公知の手法を用いることができ、本実施形態においては、ヒストグラム均等化法による適応的階調補正処理が適用される。

ヒストグラム均等化法による適応的階調補正処理は、概形領域作成部１９による後述する平滑化処理を低中間輝度値に対してより効果的に行うためのものである。細胞集塊における細胞間の隙間は、背景よりも明るく細胞よりも暗い低中間輝度であることが多いので、このような細胞間の隙間に相当する低中間輝度部の輝度値を持ち上げることで、細胞集塊内の画素値を均質・平坦化することができる等の効果がある。

この適応的階調補正処理は、輝度値ヒストグラムに関して各画素値の出現頻度（画素数）ができるだけ均一になるように画素値の変換を行う処理である。具体的には、輝度値ヒストグラムから累積ヒストグラムに基づく画素値変換ルックアップテーブル（ＬＵＴ）を作成し、作成した画素値変換ルックアップテーブルを全画素に対して式（１）に従って適用するようになっている。
Ｐｄｓｔ＝ＬＵＴ（Ｐｓｒｃ)・・・（１）
ここで、Ｐｓｒｃは処理前の画素値を示し、Ｐｄｓｔは処理後の画素値を示している。
図４にヒストグラム均等化法による階調補正処理で用いる変換テーブルの例を示す。図４において、縦軸は処理後の画素値（Ｐｄｓｔ）を示し、横軸は処理前の画素値（Ｐｓｒｃ）を示している。図５も同様である。

なお、階調補正処理として適応的階調補正処理ではなく、ユーザが任意に調整できるように構成することとしてもよい。例えば、ガンマ補正と同等の式（２）のようなガンマ曲線による画素値変換を全画素に対して適用することにより階調補正を行うようにしてもよい。この場合、ユーザが式（２）に従い入力パラメータとしてガンマ値ｃｏｅｆＧａｍｍａを任意に変更することで、補正効果を自由に調整できるようにしてもよい。
Ｐｄｓｔ＝Ｐｓｒｃ^{(１／ｃｏｅｆＧａｍｍａ)}・・・（２）
図５にガンマ補正曲線の例を示す。
階調補正部１５により階調補正された階調補正画像は第２平滑化処理部１７および領域拡張時参照画像作成部２１へ転送されるようになっている。

第２平滑化処理部１７は、概形領域作成部１９による処理の前処理として、階調補正部１５から送られてくる階調補正画像に対して平滑化処理を行い、平滑化画像を生成するようになっている。第２平滑化処理部１７による平滑化処理は、基本的に第１平滑化処理部１１による平滑化処理と同等の処理で構わず、第１平滑化処理部１１におけるガウシアン平滑化の標準偏差σ値と同様の平滑化処理を施せばよい。第２平滑化処理部１７により平滑化された平滑化画像は概形領域作成部１９に転送されるようになっている。

概形領域作成部１９は、第２平滑化処理部１７から送られてくる平滑化画像に対して、輝度値ベースの閾値処理を行うことで、各集塊領域の概略形状を表す概形領域を作成するようになっている。ここではシード作成部１３でのシード作成時における閾値設定とは異なり、必ずしも各集塊領域の個々が空間的に独立している必要は無く、集塊領域どうしが近接して繋がっていてもよいが、できるだけ各集塊領域の形状が正確に形成できるように閾値を設定する必要がある。また、概形領域作成部１９は、形成した概形領域内に存在する空隙を埋める穴埋め処理を施すこととしてもよい。概形領域作成部１９により作成された概形領域は領域拡張部２３へ転送されるようになっている。

領域拡張時参照画像作成部２１は、領域拡張部２３による後述する領域拡張時に参照される各集塊領域の拡張範囲を定めるための領域拡張時参照画像を作成するようになっている。具体的には、領域拡張時参照画像作成部２１は、階調補正部１５から送られてくる階調補正画像に対して、集塊領域内の凹凸をならし細胞間に存在する隙間を埋めることを目的とした平滑化処理を行うようになっている。

領域拡張時参照画像作成部２１による平滑化処理の内容自体は基本的に第１平滑化処理部１１と同様のガウシアン平滑化であるが、領域拡張部２３における領域拡張時に参照する輝度値は、集塊領域内で輝度変化がより少ない平坦（かつ、領域境界上においてできるだけ輝度変化が急峻）な画像が理想的であり、更に強く平滑化を行う必要がある。そこで、領域拡張時参照画像作成部２１による平滑化処理では、例えば、第１平滑化処理部１１におけるガウシアン平滑化の標準偏差σ１に対し、その２倍の標準偏差σ２＝２．０×σ１を設定した平滑化処理を施すようになっている。領域拡張時参照画像作成部２１により作成された領域拡張時参照画像は領域拡張部２３に転送されるようになっている。

領域拡張部２３は、シード作成部１３から送られてくるシードと、概形領域作成部１９から送られてくる概形領域と、領域拡張時参照画像作成部２１から送られてくる領域拡張時参照画像とを用いて、所定の領域拡張法による領域分割処理を行い、領域分割画像を生成するようになっている。領域分割手法としては、公知の手法を用いることができ、本実施形態ではマーカーコントロール付きＷａｔｅｒｓｈｅｄ領域分割手法により集塊領域の形成を行うようになっている。

Ｗａｔｅｒｓｈｅｄ（分水嶺）領域分割手法は、画像の輝度変化を「山」部および「谷」部に見立て、「山の嶺（Ｗａｔｅｒｓｈｅｄ）」が領域境界線となるように領域を形成するものである。このマーカーコントロール付きＷａｔｅｒｓｈｅｄ法は、初めにマーカーとしてシードを設定した後、各シードに対して、領域拡張時参照画像の各シード周辺画素の輝度変化を参照しながらその滑らかさも考慮に入れつつそれぞれシードを成長させていき、最終的に輝度の嶺（Ｗａｔｅｒｓｈｅｄ）部分が領域境界となるように、各集塊領域を分割するようになっている。これにより、分割される集塊領域の数（＝シード数）を予め決めることができる。さらに、シードが拡張可能な範囲として、概形領域作成部１９から送られてくる概形領域の内部に限定して各シードの領域拡張範囲に制約をかけ、最終的な分割（拡張）結果が概形領域に一致するよう補正するようになっている。

図６，７にマーカーコントロール付きＷａｔｅｒｓｈｅｄ法による領域拡張の１次元データによる例を示す。図６は領域分割前の状態であり、輝度値の１次元的な変化（明暗）を示すグラフに対し、概形領域外、すなわち非概形領域に相当する領域にラベル６５５３５が設定され、それ以外の概形領域内部は領域拡張可能な範囲に相当し、ラベルＬ０が設定されている。また、２つのシードを表すラベルＬ１、ラベルＬ２が設定されている。

図７は各シードを拡張させた後の領域分割結果を表している。図６で設定したラベルＬ１、ラベルＬ２のシードが、ラベルＬ０の領域に対して領域の範囲を広げ、最終的に非概形領域との境界、またはＷａｔｅｒｓｈｅｄ（輝度グラフの峯）部でそれぞれのシードが接し、お互いの集塊領域としての領域が画定した様子が分かる。なお、領域拡張部２３は、形成した各集塊領域内に存在する空隙を埋める穴埋め処理を施すこととしてもよい。領域拡張部２３により領域分割された領域分割画像は拡大部２５へ転送されるようになっている。

拡大部２５は、領域拡張部２３から送られてくる領域分割画像を入力時の原画像信号のサイズに合わせるためにサイズ変換（拡大処理）を行うようになっている。具体的には、拡大部２５は、予め設定された縮小率に基づき、公知の補間処理（例えばバイリニア補間処理）による縮小処理の「逆」変換、すなわち拡大処理を実行するようになっている。拡大部２５により拡大された領域分割画像はフィルタ部２７へ転送されるようになっている。

フィルタ部２７は、拡大部２５から送られてくる領域分割画像において、各集塊領域のサイズ（画素数）に対するフィルタリング処理を行うようになっている。具体的には、フィルタ部２７は、各集塊領域について領域内に属する画素数を算出し、各集塊領域の大きさを計測するようになっている。また、フィルタ部２７は、算出した画素数が予め設定した下限閾値（領域閾値）〜上限閾値の範囲外にある場合に、領域分割画像中から当該領域を削除するようになっている。このようにすることで、画素数が予め設定した下限閾値〜上限閾値の範囲外にあるようなノイズを除去することができる。フィルタ部２７によりフィルタリングされた領域分割画像は出力部２９へ転送されるようになっている。

出力部２９は、フィルタ部２７から送られてくるフィルタリングされた領域分割画像（Ｚスタック画像データ）を、各細胞集塊が個別領域として分割された領域分割結果として、例えばＴＩＦＦフォーマット等の所定の画像形式に変換して出力し、フラッシュメモリ等の記録媒体に保存させるようになっている。図８（ａ）は生成された最終的な領域分割結果としてのＺスタック画像データを示し、図８（ｂ）はその所定断面Ｚ＝ｚ（３）のスライス画像を示している。図８（ａ），（ｂ）において符号Ｒは集塊領域を示している。

次に、本実施形態に係る細胞集塊認識方法について説明する。
本実施形態に係る細胞集塊認識方法は、図９のフローチャートに示されるように、複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各細胞集塊内の細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程ＳＡ３，ＳＡ７と、平滑化画像を細胞集塊の背景領域と非背景領域とに二値化して、個々の集塊領域に対応するシードを作成するシード作成工程（二値化工程）ＳＡ４と、シードを成長させて、平滑化画像の非背景領域を細胞集塊ごとの領域に分割する領域拡張工程（領域分割工程）ＳＡ９とを含んでいる。

このように構成された画像処理装置５、細胞集塊認識装置１および細胞集塊認識方法の作用について以下に説明する。
本実施形態に係る画像処理装置５、細胞集塊認識装置１および細胞集塊認識方法により細胞集塊を認識するには、図９のフローチャートに示されるように、撮像装置３により撮影された３次元的なＺスタック画像データが領域分割対象となる原画像信号として画像処理装置５の正規化部７に入力される。

次いで、正規化部７により、撮像装置３から送られてきた原画像信号の各画素値が１２ｂｉｔ（０−４０９５階調）範囲に正規化され、正規化画像が生成される（ステップＳＡ１）。そして、正規化部７により生成された正規化画像が縮小部９に転送される。

次いで、縮小部９により、予め設定した縮小率に基づいて、正規化部７から送られてきた正規化画像に公知の縮小・補間処理が適用され、縮小処理が施された縮小画像が生成される（ステップＳＡ２）。そして、縮小部９によりサイズ変換された縮小画像が第１平滑化処理部１１および階調補正部１５へ転送される。

次いで、第１平滑化処理部１１により、縮小部９から送られてきた図１０（ａ）に示すような縮小画像に対してガウシアン平滑化処理が施され、集塊領域内の個々の細胞間に存在する隙間が埋められた図１０（ｂ）に示すような平滑化画像が生成される（ステップＳＡ３）。そして、第１平滑化処理部１１により生成された平滑化画像がシード作成部１３へ転送される。図１０（ａ），（ｂ）において、符号Ｒは集塊領域を示している。図１０（ｃ）も同様である。

次いで、シード作成部１３により、第１平滑化処理部１１から送られてきた平滑化画像が、二値化閾値を用いた公知の輝度値ベースの閾値処理によって、図１０（ｃ）に示すように、集塊領域の背景領域と非背景領域とに二値化される。この場合において、第１平滑化処理部１１により平滑化画像において集塊領域内の細胞間に存在する隙間を埋めておくことで、平滑化画像を背景領域と非背景領域とに精度よく二値化することができる。

そして、シード作成部１３により、非背景領域にラベリング処理が施され、個々の集塊領域に対してできるだけ１対１に対応して存在するようなシード（初期領域）が作成される（ステップＳＡ４）。シード作成部１３により作成されたシードは領域拡張部２３へ転送される。

また、階調補正部１５により、縮小部９から送られてきた縮小画像に階調補正処理が施され、画像中の細胞集塊における細胞間の隙間に相当する低中間輝度値が持ち上げられた階調補正画像が生成される（ステップＳＡ５）。そして、階調補正部１５により生成された階調補正画像が第２平滑化処理部１７および領域拡張時参照画像作成部２１へ転送される。

次いで、領域拡張時参照画像作成部２１により、階調補正部１５から送られてきた階調補正画像に平滑化処理が施され、集塊領域内の凹凸がならされて細胞間に存在する隙間が埋められた領域拡張時参照画像が作成される（ステップＳＡ６）。そして、領域拡張時参照画像作成部２１により作成された領域拡張時参照画像が領域拡張部２３に転送される。

また、第２平滑化処理部１７により、階調補正部１５から送られてきた階調補正画像に第１平滑化処理部１１と同様の平滑化処理が施され、平滑化画像が生成される（ステップＳＡ７）。そして、第２平滑化処理部１７により生成された平滑化画像が概形領域作成部１９に転送される。

次いで、概形領域作成部１９により、第２平滑化処理部１７から送られてきた平滑化画像に対して輝度値ベースの閾値処理が行われ、各集塊領域の概略形状を表す概形領域が作成される（ステップＳＡ８）。そして、概形領域作成部１９により作成された概形領域が領域拡張部２３に転送される。

次いで、領域拡張部２３により、シード作成部１３から送られてきたシードに対して、領域拡張時参照画像作成部２１から送られてきた領域拡張時参照画像の各シード周辺画素の輝度変化が参照されつつ、概形領域作成部１９から送られてきた概形領域の範囲内に制限が設けられた所定の領域拡張法により領域分割処理が施され、細胞集塊ごとに領域が分割された領域分割画像が生成される（ステップＳＡ９）。そして、領域拡張部２３により生成された領域分割画像が拡大部２５へ転送される。

次いで、拡大部２５により、領域拡張部２３から送られてきた領域分割画像に拡大処理が施され、領域分割画像が入力時の原画像サイズに戻される（ステップＳＡ１０）。そして、拡大部２５によりサイズ変換された領域分割画像がフィルタ部２７に転送される。

次いで、フィルタ部２７により、拡大部２５から送られてきた領域分割画像において各集塊領域のサイズ（画素数）に対するフィルタリング処理が施され、画素数が予め設定された下限閾値〜上限閾値の範囲外にあるようなノイズが除去される（ステップＳＡ１１）。そして、フィルタ部２７によりフィルタリング処理された領域分割画像が出力部２９に転送される。

次いで、出力部２９により、フィルタ部２７から送られてきた各細胞集塊が個別領域として分割された領域分割画像が領域分割結果として出力されて、フラッシュメモリ等の記録媒体に保存される（ステップＳＡ１２）。

以上説明したように、本実施形態に係る画像処理装置５、細胞集塊認識装置１および細胞集塊認識方法によれば、第１平滑化部１１により、各集塊領域内の隙間が埋められた平滑化画像が生成され、シード作成部１３により、その平滑化画像が集塊領域の背景領域と非背景領域とに二値化されて、非背景領域から個々の集塊領域に対応するシードが作成される。そして、領域拡張部２３により、シードが成長させられて非背景領域が細胞集塊ごとの領域に分割される。これにより、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

〔第２実施形態〕
次に、本発明の第２実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法について説明する。
本実施形態に係る画像処理装置、細胞集塊認識装置および細胞集塊認識方法は、概形領域に基づいてシード作成を行う点で第１実施形態と異なる。
以下、第１実施形態に係る画像処理装置５、細胞集塊認識装置１および細胞認識方法と構成を共通する箇所には、同一符号を付して説明を省略する。

本実施形態に係る細胞集塊認識装置３１は、図１１に示すように、画像処理装置５が、正規化部７と、縮小部９と、階調補正部１５と、領域拡張時参照画像作成部２１と、第２平滑化処理部１７と、概形領域作成部１９と、第１平滑化処理部１１およびシード作成部１３に代わる距離変換処理部（距離変換部）３３およびシード作成部（初期領域設定部）３５と、領域拡張部２３と、拡大部２５と、フィルタ部２７と、出力部２９とを備えている。

これら各処理部は、図示しないシステムコントローラに接続されて動作制御されるようになっている。また、これら各処理部は、例えばＣＰＵ（中央演算処理装置）と演算プログラムを格納するＲＡＭ、ＲＯＭ等の記憶装置などから構成されていてもよく、その場合は、ＲＯＭに演算プログラムとしての細胞集塊認識プログラムが格納されることとすればよい。

本実施形態では、概形領域作成部１９により作成された概形領域は、領域拡張部２３および距離変換処理部３３へ転送されるようになっている。
距離変換処理部３３は、概形領域作成部１９から送られてくる概形領域（非背景領域）に対して距離変換処理を行うようになっている。距離変換処理は、各概形領域内の画素について、領域境界（背景領域との境界）からの最短距離（以下、距離値とする。）を算出するようになっている。そして、距離変換処理部３３は、算出した距離値を画素値として用いて構成された距離変換画像を作成するようになっている。

図１２（ａ），（ｂ）は、２つの概形領域が近接している場合に行った距離変換処理の例を示している。図１２（ａ）において２つの概形領域は近接し繋がっているが、距離変換処理を施した図１２（ｂ）では各概形領域の中央部付近の距離値が高く、近接し繋がった部分は逆に距離値が低い様子が分かる。図１２（ｂ）では距離値を輝度値で表している。図１２（ａ），（ｂ）において符号Ｄは概形領域を示している。距離変換処理部３３により作成された距離変換画像はシード作成部３５に転送されるようになっている。

シード作成部３５は、距離変換処理部３３から送られてくる距離変換画像に対して、空間的に独立・分離している概形領域毎に領域内に属する距離値の最大値ｍａｘＤｉｓｔを求めるようになっている。そして、シード作成部３５は、距離値に対する所定の距離閾値を用いた閾値処理を行うことで、図１２（ｃ）に示すように、改めてシード（初期領域）を作成するようになっている。図１２（ｃ）において符号Ｆはシードを示している。

図１３に、シード作成部３５による閾値処理の１次元の例を示す。閾値ｔｈＤｉｓｔは、個々に独立した概形領域毎の距離値最大値ｍａｘＤｉｓｔを基準に、ｔｈＤｉｓｔ＝ｔｈＣｏｅｆ・ｍａｘＤｉｓｔのように設定される。
ここで、係数ｔｈＣｏｅｆは予め設定されたユーザ調整用の係数である。図１３において、縦軸は距離値を示している。

図１３では概形領域Ｇ１に対して距離値最大値ｍａｘＤｉｓｔ１であり、これを基準として閾値ｔｈＤｉｓｔ１（＝ｔｈＣｏｅｆ×ｍａｘＤｉｓｔ1）が設定され、閾値処理の結果シードＦ１、シードＦ２が作成されている。シード作成部３５により作成されたシードは領域拡張部２３に転送されるようになっている。

このように構成された画像処理装置５、細胞集塊認識装置３１および細胞集塊認識方法の作用について以下に説明する。
本実施形態に係る画像処理装置５、細胞集塊認識装置３１および細胞集塊認識方法により細胞集塊を認識するには、図１４のフローチャートに示されるように、撮像装置３により撮影された３次元的なＺスタック画像が領域分割対象となる原画像信号として画像処理装置５に入力される。

そして、画像処理装置５において、ステップＳＡ１〜ステップＳＡ８が行われた後、概形領域作成部１９により作成された概形領域が、領域拡張部２３および距離変換処理部３３へ転送される。

次いで、距離変換処理部３３により、概形領域作成部１９から送られてきた概形領域に対して距離変換処理が行われて、各概形領域内の画素について距離値が算出される。そして、距離変換処理部３３により、算出された距離値が画素値として用いられて構成された距離変換画像が作成される（ステップＳＢ１）。距離変換処理部３３により作成された距離変換画像はシード作成部３５へ転送される。

次いで、シード作成部３５により、距離変換処理部３３から送られてきた距離変換画像に対して距離値に対する閾値処理が施され、図１２（ｃ）に符号Ｆで示すようなシードが作成される（ステップＳＢ２）。シード作成部３５により作成されたシードは領域拡張部２３に転送される。そして、第１実施形態と同様に、ステップＳＡ９〜ステップＳＡ１２が行われ、各細胞集塊が個別領域として分割された領域分割画像が生成されて、領域分割結果として保存される。

以上説明したように、複数の概形領域（非背景領域）が近接して繋がっているような場合は、各集塊領域の中央部付近ほど背景領域との境界からの距離値が大きく、概形領域どうしが近接して繋がった部分は距離値が小さいことが多い。本実施形態に係る画像処理装置５、細胞集塊認識装置３１および細胞集塊認識方法によれば、距離変換処理部３３により算出される距離値に基づいてシード作成部３５により設定される個々の細胞集塊に対応するシードに従い、領域拡張部２３により各細胞集塊の領域を容易に画定することができる。これにより、複数の細胞集塊を撮影した細胞画像から細胞間の空隙を排した細胞集塊ごとの領域を容易に抽出することができる。

上記各実施形態においては、階調補正部１５が画像中の低中間輝度値の画素に対して階調補正処理を行うこととしたが、画像中の所定の低輝度閾値以下の低輝度の画素、および、所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に階調補正処理を施すこととすればよい。
このようにすることで、所定の低輝度閾値および所定の高輝度閾値を適切に設定しておくだけで、細胞集塊内の隙間の画素の輝度値を容易に増大させることができる。

上記各実施形態においては、画像処理方法をハードウェアによって実現する構成について説明したが、コンピュータにより実行可能な画像処理プログラムによって実現することとしてもよい。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記各実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。

１ 細胞集塊認識装置
３ 撮像装置（撮像部）
５ 画像処理装置
７ 正規化部
９ 縮小部
１１ 第１平滑化処理部（平滑化部）
１３ シード作成部（二値化部）
１５ 階調補正部
１７ 第２平滑化処理部（平滑化部）
２３ 領域拡張部（領域分割部）
２５ 拡大部
２７ フィルタ部（計測部、フィルタリング部）
３３ 距離変換処理部（距離変換部）
３５ シード作成部（初期領域設定部）
ＳＡ３，ＳＡ７ 平滑化工程
ＳＡ４ シード作成工程（二値化工程）
ＳＡ９ 領域拡張工程（領域分割工程）
Ｃ 細胞
Ｓ スフェロイド（細胞集塊）

Claims (19)

1. 複数の細胞からなる細胞集塊を複数含む細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、
   前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、
   二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える画像処理装置。
2. 前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備える請求項１に記載の画像処理装置。
3. 前記細胞画像が、複数の前記細胞集塊を３次元的に撮影した画像である請求項１または請求項２に記載の画像処理装置。
4. 前記階調補正部が、所定の低輝度閾値以下の低輝度の画素、および、前記所定の低輝度閾値よりも高く所定の高輝度閾値以下の中間輝度の画素の少なくとも一方に前記階調補正処理を施す請求項２に記載の画像処理装置。
5. 前記階調補正部が、前記細胞画像にヒストグラム均等化法による前記階調補正処理を施す請求項２または請求項４に記載の画像処理装置。
6. 前記階調補正部が、前記細胞画像に所定のガンマ曲線に基づく前記階調補正処理を施す請求項２または請求項４に記載の画像処理装置。
7. 前記二値化部が、前記細胞画像の画素値の分布に基づいて適応的な所定の二値化閾値を設定し、該二値化閾値に基づいて前記平滑化画像を二値化する請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記二値化部が、ユーザが設定する所定の二値化閾値に基づいて前記平滑化画像を二値化する請求項１から請求項６のいずれかに記載の画像処理装置。
9. 前記領域分割部が、前記非背景領域内の各画素に対して前記背景領域との境界からの距離値を算出する距離変換部と、該距離変換部により算出された前記距離値に基づいて個々の前記細胞集塊に対応する初期領域をそれぞれ設定する初期領域設定部と、各前記初期領域を拡張させて各前記細胞集塊の領域を画定する領域拡張部とを備える請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記初期領域設定部が、前記距離値が所定の距離閾値よりも大きい領域を前記初期領域として設定する請求項９に記載の画像処理装置。
11. 前記平滑化部により平滑化する前の前記細胞画像に対して各画素の輝度値を所定の階調幅に変換する正規化部を備える請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 前記平滑化部により平滑化する前の前記細胞画像の情報量を所定の縮小率に基づいて縮小する縮小部と、
    前記領域分割部により前記細胞集塊ごとに領域が分割された前記平滑化画像の情報量を拡大する拡大部とを備える請求項１から請求項１１に記載のいずれかに記載の画像処理装置。
13. 前記非背景領域を分割して得られた各前記細胞集塊の領域の大きさを計測する計測部と、
    該計測部により計測された大きさが所定の領域閾値よりも小さい前記細胞集塊の領域を除去するフィルタリング部とを備える請求項１から請求項１２のいずれかに記載の画像処理装置。
14. 前記平滑化部が、前記細胞画像を撮影した際の光学倍率が大きければ大きいほど平滑化の強度を強くする請求項１から請求項１３のいずれかに記載の画像処理装置。
15. 複数の細胞からなる複数の細胞集塊を撮影して細胞画像を取得する撮像部と、
    該撮像部により取得された前記細胞画像の輝度値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化部と、
    前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化部と、
    二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割部とを備える細胞集塊認識装置。
16. 前記平滑化部により平滑化する前の前記細胞画像における前記細胞集塊内の前記隙間に相当する画素の輝度値を増大させる階調補正処理を施す階調補正部を備える請求項１５に記載の細胞集塊認識装置。
17. 前記細胞画像が、複数の前記細胞集塊を３次元的に撮影した画像である請求項１５または請求項１６に記載の細胞集塊認識装置。
18. 複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、
    前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、
    二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とを含む細胞集塊認識方法。
19. 複数の細胞からなる細胞集塊を複数含む細胞画像の画素値を平滑化し、各前記細胞集塊内の前記細胞間に存在する隙間を埋めた平滑化画像を生成する平滑化工程と、
    前記平滑化画像を前記細胞集塊の背景領域と非背景領域とに二値化する二値化工程と、
    二値化された前記平滑化画像の前記非背景領域を前記細胞集塊ごとの領域に分割する領域分割工程とをコンピュータに実行させる細胞集塊認識プログラム。