JP7026853B2 - 画像処理装置、評価システム、画像処理プログラム及び画像処理方法 - Google Patents

Description

開示の技術は、画像処理装置、評価システム、画像処理プログラム及び画像処理方法に関する。

細胞の状態を評価または判定する技術として、例えば、以下の技術が知られている。例えば、特許文献１には、マイクロ流体チャネル内を連続的に流れる複数の細胞の、３Ｄホログラフィックによるイメージングシステムが記載されている。このイメージングシステムにおいて、レーザビームが線を流れる複数の細胞から散乱される複数の角スペクトルを測定するのに使用され、マイクロ流体チャネル内の線に焦点が合わせられる。複数の複素散乱場の測定については、標本の各位置に対する場のワンショット記録を可能にすべく、軸外デジタルホログラフィが使用される。細胞タンブリングを減少させ、高ＮＡ集光レンズおよび対物レンズの使用を可能にするよう構成されたマイクロ流体チャネルが、システムの実視野にわたり、物質を運搬するのに使用される。データ再構成については、複数の細胞内の複数の焦点がぼけた細胞器官から生じる、複数の回折アーティファクトを減少させ、入射ビームの限定的な角度範囲による複数のアーティファクトを減少すべく、反復的な制約手順を適用するために、光回折断層撮影が使用される。

特許文献２には、流れる媒体中に浸漬された物体を選別するためのデバイスが記載されている。このデバイスは、ホログラフィック撮像ユニットと、複数のマイクロ流体チャネルを含む流体ハンドリングユニットとを備える。マイクロ流体チャネルは、流れる媒体中に浸漬された移動物体を撮像するために、対応するホログラフィック撮像素子に沿って流れる媒体を案内するための撮像領域を含む。マイクロ流体チャネルは、複数の出口のうち選択した１つに、流れる媒体中の各物体を制御可能に方向付けるために、撮像領域の下流に配置されたマイクロ流体スイッチを含む。このデバイスは、撮像領域のいずれかを通過する際、物体の各々について得られるホログラフィック回折像のリアルタイム特性評価に適合した処理ユニットを備える。特性評価は、少なくとも１つの所定の物体タイプの痕跡を考慮するものであり、処理ユニットは、特性評価に応答して、撮像領域の下流にあるマイクロ流体スイッチを制御するように構成されている。

特許文献３には、対象水中の生体微細物の個数を計測する水質検査システムが記載されている。この水質検査システムは、撮像素子が撮像した干渉縞のデータであるホログラムデータを処理するデータ処理部を備える。データ処理部は、取得した各ホログラムデータを再生することで生体微細物の個数を数えるものであって、各ホログラムデータについての像再生の際に生体微細物の像であると判断されたものの個数を数えるデータ処理を行う。

特表２０１６－５１１４３５号公報 特表２０１５－５００４７５号公報 特開２０１６－１３３４６６号公報

細胞の大量生産が可能な培養手法として、細胞の凝集体であるスフェアを培地中に浮遊させた状態で培養する三次元培養法が知られている。三次元培養による細胞の製造工程においては、工程管理の容易性の観点から、細胞の品質をスフェアの状態のまま非破壊且つ簡便に評価する技術が求められる。

スフェアの観察手法として従来のフローサイトメトリーを用いた場合、フローセルを流れるスフェアを１つずつ観察することになり、大量のスフェアの全数観測には膨大な処理時間を要する。スフェアが流れるフローセルと、スフェアのホログラムを取得する撮像装置を備えたシステムにおいて、処理時間を短縮するためには、撮像装置の撮像視野内に複数のスフェアを収めて撮像することが考えられる。しかしながら、撮像視野内に含まれる複数のスフェアは、その一部が互いに重なり合った状態で撮像されることが想定される。このような画像から個々のスフェアの状態を適切に評価するためには、互いに重なり合った状態の複数のスフェアを含む画像から、個々のスフェアの領域を特定する手法が必要となる。また、撮像装置の光軸方向におけるどの断面の画像が、スフェアの状態評価に適しているのかについても検討する必要がある。

開示の技術は、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を適切に実施することを可能とする画像処理装置、評価システム、画像処理プログラム及び画像処理方法を提供することを目的とする。

開示の技術に係る画像処理装置は、複数の粒状体を撮像視野内に収めて撮像したホログラムを取得する取得部と、ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、ホログラムから生成する生成部と、位相差画像の少なくとも一部を平均化した平均化画像において、複数の粒状体の各々に対応する、光軸方向と交差する平面の方向における複数の画像範囲を特定する特定部と、複数の画像範囲の各々について、対応する粒状体の光軸方向の中心位置における位相差画像を抽出する抽出部と、を含む。

開示の技術に係る画像処理装置によれば、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を適切に実施することが可能となる。

特定部は、位相差画像の少なくとも一部を加算平均した加算平均画像を平均化画像として生成する加算平均画像生成部と、加算平均画像における粒状体の外縁に対応する輪郭線からの距離が、周囲の他の点よりも長くなる各点を中心とし、輪郭線に内接する複数の内接円を導出する内接円導出部と、内接円の各々について膨張処理を施す膨張処理部と、を含んでいてもよい。これにより、光軸方向と交差する平面の方向における粒状体の延在領域を適切に特定することが可能となる。

抽出部は、光軸方向の互いに異なる位置の各々における位相差画像のうち、画素間の位相差量のばらつきが最大となるものを、粒状体の光軸方向の中心位置における位相差画像として抽出してもよい。これにより、粒状体に焦点を合わせた位相差画像を抽出することができる。

粒状体は、複数の細胞の凝集体であってもよい。

開示の技術に係る評価システムは、複数の粒状体を撮像視野内に収めたホログラムを撮像する撮像装置と、ホログラムに対する画像処理を行う画像処理装置と、画像処理装置によって得られた画像に基づいて、複数の粒状体の各々について評価結果を出力する評価装置と、を含む。画像処理装置は、ホログラムを取得する取得部と、ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、ホログラムから生成する生成部と、位相差画像の少なくとも一部を平均化した平均化画像において、複数の粒状体の各々に対応する、光軸方向と交差する平面の方向における複数の画像範囲を特定する特定部と、複数の画像範囲の各々について、対応する粒状体の光軸方向の中心位置における位相差画像を抽出する抽出部と、を含む。評価装置は、抽出部によって抽出された位相差画像を用いて評価結果を導出する。

開示の技術に係る評価システムによれば、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を自動、かつ適切に実施することが可能となる。

開示の技術に係る評価システムは、複数の粒状体が流動する流路を更に含み得る。撮像装置は、撮像視野内に流路の幅方向の全域が収まるように設置されていることが好ましい。これにより、従来のフローサイトメトリーを用いた評価手法と比較して、処理時間を大幅に短縮することが可能となる。

開示の技術に係る画像処理プログラムは、複数の粒状体を撮像視野内に収めて撮像したホログラムを取得し、ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、ホログラムから生成し、位相差画像少なくとも一部を平均化した平均化画像において、複数の粒状体の各々に対応する、光軸方向と交差する平面の方向における複数の画像範囲を特定し、複数の画像範囲の各々について、対応する粒状体の光軸方向の中心位置における位相差画像を抽出する処理をコンピュータに実行させるためのプログラムである。

開示の技術に係る画像処理プログラムによれば、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を自動、かつ適切に実施することが可能となる。

開示の技術に係る画像処理方法は、複数の粒状体を撮像視野内に収めて撮像したホログラムを取得し、ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、ホログラムから生成し、位相差画像の少なくとも一部を平均化した平均化画像において、複数の粒状体の各々に対応する、光軸方向と交差する平面の方向における複数の画像範囲を特定し、複数の画像範囲の各々について、対応する粒状体の光軸方向の中心位置における位相差画像を抽出することを含む。

開示の技術に係る画像処理方法によれば、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を自動、かつ適切に実施することが可能となる。

開示の技術は、一つの側面として、複数の粒状体を撮像視野内に収めて撮像したホログラムを用いた、個々の粒状体の状態評価を自動、かつ適切に実施することが可能となる、という効果を奏する。

開示の技術の実施形態に係る評価システムの構成の一例を示す図である。 開示の技術の実施形態に係るホログラム光学系の構成の一例を示す図である。 開示の技術の実施形態に係る画像処理装置の機能的な構成を示す機能ブロック図である。 開示の技術の実施形態に係る複数のスフェアのホログラムの一例を示す図である。 開示の技術の実施形態に係る複数のスフェアのフーリエ変換画像の一例を示すである。 開示の技術の実施形態に係る複数のスフェアのアンラッピング前の位相差画像の一例を示す図である。 開示の技術の実施形態に係る複数のスフェアの振幅画像の一例を示す図である。 開示の技術の実施形態に係る複数のスフェアのアンラッピング後の位相差画像の一例を示す図である。 開示の技術の実施形態に係る位相差画像の概念を示す図である。 開示の技術の実施形態に係る光軸方向の互いに異なる位置の各々における位相差画像の一例を示す図である。 開示の技術の実施形態に係る加算平均画像の一例を示す図である。 開示の技術の実施形態に係る二値化処理後の画像の一例を示す図である。 開示の技術の実施形態に係る輪郭線の一例を示す図である。 開示の技術の実施形態に係る距離関数を画像化した図である。 開示の技術の実施形態に係る輪郭線からの距離が周囲の他の点よりも長くなる複数の点の一例を示す図である。 開示の技術の実施形態に係る複数の内接円の一例を示す図である。 開示の技術の実施形態に係る膨張処理前の内接円の一例を示す図である。 開示の技術の実施形態に係る膨張処理後の画像の一例を示す図である。 左のグラフは、スフェアの位相差画像における平面方向の位置と位相差量との関係の一例を示すグラフであり、右のグラフは、スフェアの位相差画像における位相差量のヒストグラムの一例である。 スフェアの位相差画像における焦点位置と位相差量のばらつきとの関係の一例を示したグラフである。 開示の技術の実施形態に係る画像処理装置のハードウェア構成の一例である。 開示の技術の実施形態に係る画像処理の流れの一例を示すフローチャートである。 開示の技術の実施形態に係る評価装置の機能的な構成の一例を示す機能ブロック図である。 開示の技術の実施形態に係る評価装置のハードウェア構成の一例である。 開示の技術の実施形態に係る評価処理の流れの一例を示すフローチャートである。 スフェアの体積と位相差量総和との相関特性の一例を示すグラフである。 開示の技術の実施形態に係る評価装置の機能的な構成の一例を示す機能ブロック図である。 開示の技術の実施形態に係る評価処理の流れの他の例を示すフローチャートである。 細胞の生存率と位相差量密度との相関特性の一例を示すグラフである。

以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。

図１は、開示の技術の実施形態に係る評価システム１の構成の一例を示す図である。評価システム１は、撮像装置１０、画像処理装置２０及び評価装置３０を含んで構成されている。

撮像装置１０は、複数の粒状体を撮像視野内に収めたホログラムを撮像する。本実施形態において、撮像装置１０は、フローセル２００の内部を流動する細胞の凝集体である複数のスフェア３００のホログラムを撮像する。

フローセル２００は、光透過性を有する部材で構成されており、スフェア３００が流動する流路を形成する。本実施形態において、フローセル２００の流路断面は、四角形とされており、幅寸法Ｍが例えば１０ｍｍ程度とされ、奥行き寸法Ｌが例えば３ｍｍ程度とされている。すなわち、フローセル２００の流路断面の面積は、スフェア３００のサイズ（例えば１００μｍ～５００μｍ程度）よりも十分に大きい。なお、フローセル２００の流路断面の形状及びサイズは、上記したものに限定されず、適宜変更することが可能である。なお、以下の説明において、撮像装置１０の光軸方向をｚ方向とし、スフェア３００の流動方向をｙ方向とし、フローセル２００の幅方向をｘ方向とし、ｚ方向と直交する平面をｘｙ平面とする。

撮像装置１０は、複数のスフェア３００の全数検査時には、撮像視野内にフローセル２００の幅方向（ｘ方向）の全域が収まるように設置するのが望ましい。従って、フローセル２００を流動する複数のスフェア３００が、撮像装置１０の撮像視野内に収められる。撮像装置１０は、フローセル２００の内部を流動する複数のスフェア３００を連続的に撮影してもよい。これにより、フローセル２００の内部を順次流動する培養中の全てのスフェア３００を撮像対象とすることができる。撮像装置１０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであってもよい。

図２は、公知のデジタルホログラフィ技術を用いてスフェアのホログラムを取得するためのホログラム光学系１００の構成の一例を示す図である。ホログラム光学系１００は、撮像装置１０を含んで構成されている。デジタルホログラフィ技術は、物体を透過または反射した物体光と、物体光に対してコヒーレントである参照光との干渉によって生じる像をイメージセンサで撮像し、撮像によって得られた画像について、光伝搬に基づく数値計算を実施することで、物体からの光波の波面を復元する技術である。デジタルホログラフィ技術によれば、物体の位相分布を定量化し、また、焦点位置を機械的に移動させることなく、物体の三次元情報を取得することができる。

ホログラム光学系１００は、レーザ光源１０１、ビームスプリッタ１０２、１０８、コリメートレンズ１０３、１１０、１１１、対物レンズ１０５、結像レンズ１０７及び撮像装置１０を含んで構成されている。撮像対象のスフェア３００が流動するフローセル２００は、コリメートレンズ１０３と対物レンズ１０５との間に配置される。

レーザ光源１０１には、例えば波長６３２．８ｎｍのＨｅＮｅレーザを用いることが可能である。レーザ光源１０１から出射されたレーザ光は、ビームスプリッタ１０２により、２つのレーザ光に分割される。２つのレーザ光の一方は物体光とされ、他方は参照光とされる。物体光は、コリメートレンズ１０３によって平行光とされた後、フローセル２００の内部を流動するスフェア３００に照射される。スフェア３００を透過した物体光による像は、対物レンズ１０５によって拡大される。対物レンズ１０５を透過した物体光は、結像レンズ１０７によって再び平行光とされた後、ビームスプリッタ１０８を介して撮像装置１０の撮像面に結像される。一方、参照光は、コリメートレンズ１１１を介して光ファイバ１０９に入射し、光ファイバ１０９によってコリメートレンズ１１０の手前まで導かれる。光ファイバ１０９から出射した参照光は、コリメートレンズ１１０によって平行光とされ、ビームスプリッタ１０８を介して撮像装置１０の撮像面に入射する。物体光と参照光との干渉によって生じるホログラムが、撮像装置１０によって記録される。なお、撮像装置１０の撮像面に入射する物体光と参照光の光軸方向が互いに異なったオフアキシャル光学系が構成されていてもよい。撮像装置１０によって撮像されたスフェア３００のホログラムは、撮像装置１０が備える図示しない画像メモリに記憶される。画像メモリに記憶されたスフェア３００のホログラムは、画像処理装置２０に供給される。なお、撮像装置１０の光軸方向とは、撮像系の光軸の方向であり、対物レンズ１０５、結像レンズ１０７、ビームスプリッタ１０８及び撮像装置１０の並び方向と一致する。

図３は、画像処理装置２０の機能的な構成を示す機能ブロック図である。画像処理装置２０は、撮像装置１０によって撮像されたホログラムに対する画像処理を行う。画像処理装置２０は、取得部２１、位相差画像生成部２２、特定部２３及び抽出部２７を含んで構成されている。なお、位相差画像生成部２２は、開示の技術における生成部の一例である。特定部２３は、加算平均画像生成部２４、内接円導出部２５及び膨張処理部２６を含んで構成されている。

取得部２１は、撮像装置１０によって撮像された、複数のスフェアを撮像視野内に収めたホログラムを取得する。

位相差画像生成部２２は、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの各々における位相差画像を、取得部２１によって取得したホログラムから生成する。なお、位相差画像の詳細については後述する。位相差画像生成部２２は、例えば、以下の各処理を実施することにより位相差画像を生成する。

はじめに、位相差画像生成部２２は、撮像装置１０によって取得された図４Ａに例示する複数のスフェアのホログラムを、二次元フーリエ変換する。図４Ｂは、この処理によって得られるスフェアのフーリエ変換画像の一例である。図４Ｂには、直接光、物体光、共役光に基づく像が示されている。

次に位相差画像生成部２２は、フーリエ変換画像における直接光に対する物体光のずれ量を特定することで物体光の位置を特定し、周波数フィルタリング処理により、物体光のみの複素振幅成分を抜き出す。

次に、位相差画像生成部２２は、例えば、角スペクトル法を適用して任意の空間位置のスフェアの位相を示す画像を復元する。具体的には、位相差画像生成部２２は、撮像装置１０のイメージセンサ面で捉えた波面ｕ（ｘ，ｙ；０）のフーリエ変換画像の角スペクトルＵ（ｆ_ｘ，ｆ_ｙ；０）を求める。次に、位相差画像生成部２２は、下記の（１）式に示すように、角スペクトルＵ（ｆ_ｘ，ｆ_ｙ；０）に伝達関数Ｈ（ｆ_ｘ，ｆ_ｙ；ｚ）を乗算することで、撮像装置１０の光軸方向（ｚ方向）の任意の位置ｚにおける波面を再生する。
ここで、伝達関数Ｈ（ｆ_ｘ，ｆ_ｙ；ｚ）は、周波数応答関数（インパルス応答関数(グリーン関数)のフーリエ変換）である。

次に、位相差画像生成部２２は、下記の（２）式に示すように、撮像装置１０の光軸方向（ｚ方向）の位置ｚにおける波面Ｕ（ｆ_ｘ，ｆ_ｙ；ｚ）について逆フーリエ変換を実施することで、位置ｚにおける解ｕ（ｘ，ｙ；ｚ）を導出する。

次に、位相差画像生成部２２は、下記の（３）式に示すように、ｕ（ｘ，ｙ；ｚ）についての位相φを導出することで位相差画像を生成する。図４Ｃは、上記の各処理によって得られるスフェアのアンラッピング前の位相差画像の一例である。

なお、位相差画像生成部２２は、下記の（４）式に示すように、ｕ（ｘ，ｙ；ｚ）についての振幅ａを導出することで、光軸方向の互いに異なる位置ｚの各々における振幅画像を生成してもよい。図４Ｄは、複数のスフェアの振幅画像の一例である。

図４Ｃに示すアンラッピング前のスフェアの位相は、０～２πの値に畳みこまれている。そこで、例えば、Unweighted Least Squares（重みなし最小２乗法）またはFlynn's Algorithm（フリンのアルゴリズム）などの位相接続（アンラッピング）手法を適用して２π以上の部分も接合していくことで、図４Ｅに例示するようなスフェアの最終的な位相差画像を得ることができる。なお、アンラッピングの手法は数多く提案されており、位相不整合を生じない適切なものを適宜選択すればよい。

位相差画像生成部２２は、上記の各処理を実施することにより、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの各々における位相差画像を生成する。撮像装置１０の光軸方向（ｚ方向）の位置ｚの刻み幅は、例えば、１μｍ程度であってもよい。

以下において、位相差画像について説明する。図５は、位相差画像Ｉ_Ｐの概念を示す図である。図５の下段は、位相差画像Ｉ_Ｐの各画素ｋにおける位相差量を三次元表示したものである。図５の上段は、位相差画像Ｉ_Ｐの各画素ｋにおける位相差量を平面上にグレースケールで示したものである。

ここで、位相差画像Ｉ_Ｐにおける位相差量θは、位相差画像Ｉ_Ｐの同一焦点面内に存在するバックグラウンド（スフェアの存在しない領域）の位相をθ_Ｂとし、スフェアの存在する領域の位相をθ_Ｓとしたとき、下記の（５）式によって表わされる。また、本明細書中における「位相」という用語は、光を電磁波とみなした場合の電場振幅の位相であり、より一般的な意味で使用される。

また、位相差画像Ｉ_Ｐの各画素ｋにおける位相差量θ_ｋは、下記（６）式によって表わすことができる。但し、ｎ_ｋは位相差画像Ｉ_Ｐの各画素ｋに対応する部位におけるスフェアの屈折率であり、ｄ_ｋは位相差画像Ｉ_Ｐの各画素ｋに対応する部位におけるスフェアの厚さであり、λはホログラム光学系における物体光の波長である。

スフェアの位相差画像は、スフェアを透過した物体光の光路長分布を示した画像である。スフェア内における光路長は、スフェアの屈折率とスフェアの厚さの積に相当することから、スフェアの位相差画像は、（６）式にも示されているように、スフェアの屈折率及び厚さ（形状）の情報を含んでいる。

図１に示すように、フローセル２００の内部を流動する複数のスフェア３００の配列はランダムであるため、位相差画像生成部２２によって生成される、撮像装置１０の光軸方向（ｚ方向）の位置ｚ毎の位相差画像において、複数のスフェアの少なくとも一部が、撮像装置１０の光軸方向（ｚ方向）と交差（直交）する平面（ｘｙ平面）の方向において部分的に重なった状態にあることが想定される。位相差画像を、個々のスフェアの評価に用いるためには、部分的に重なった状態の複数のスフェアを切り分けて、それぞれを別個のスフェアとして認識する必要がある。そこで、特定部２３は、ｘｙ平面の方向において、他のスフェアと重なった状態のスフェアを含む複数のスフェアを捉えた位相差画像において、個々のスフェアが延在するｘｙ平面における範囲（領域）を特定する。

具体的には、特定部２３は、撮像装置１０の光軸方向（ｚ方向）の位置ｚ毎の位相差画像の少なくとも一部を平均化した平均化画像を生成し、この平均化画像において、複数のスフェアの各々に対応する、ｘｙ平面の方向における複数の画像範囲を特定する。以下、特定部２３の機能について、更に詳細に説明する。図３に示すように、特定部２３は、加算平均画像生成部２４、内接円導出部２５及び膨張処理部２６を含んで構成されている。

加算平均画像生成部２４は、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの位相差画像の各々を加算平均（相加平均）した加算平均画像を上記の平均化画像として生成する。ここで、図６は、位相差画像生成部２２によって生成された、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの各々における位相差画像の一例を示す図である。図６に示す例において、ｚ＝０となる位置は、撮像装置１０の光軸方向（ｚ方向）におけるスフェアの中心位置に対応する。なお、図６に示す例において、撮像装置１０の光軸方向（ｚ方向）の位置ｚを－５μｍから５μｍまで１μｍステップで変化させた位相差画像が例示されているが、位相差画像生成部２２によって生成される位相差画像における位置ｚの刻み幅及び位置ｚの範囲は、この例に限定されるものではない。

加算平均画像生成部２４は、図６に例示される撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの位相差画像の各々を加算平均した加算平均画像を生成する。図６に示すように、撮像装置１０の光軸方向（ｚ方向）の位置ｚに応じて各スフェアの外縁の鮮明度が異なる。このため、特定部２３においてスフェアの領域を特定するあたり、撮像装置１０の光軸方向（ｚ方向）の特定の位置ｚにおける１枚の位相差画像のみを用いた場合には、スフェアの領域の特定の精度が低下するおそれがある。特定部２３においてスフェアの領域を特定するあたり、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの位相差画像の各々を加算平均した加算平均画像を用いることで、スフェアの領域の特定の精度を高めることが可能となる。なお、加算平均画像生成部２４は、位相差画像生成部２２によって生成された、撮像装置１０の光軸方向（ｚ方向）の位置ｚが互いに異なる複数の位相差画像の一部について加算平均画像を生成してもよいし、全部を用いて加算平均画像を生成してもよい。

内接円導出部２５は、加算平均画像において、スフェアの外縁に対応する輪郭線からの距離が周囲の他の点よりも長くなる各点を中心とし、上記の輪郭線に内接する複数の内接円を導出する。具体的には、内接円導出部２５は、例えば、以下の各処理を実施することにより内接円を導出する。

はじめに、内接円導出部２５は、加算平均画像生成部２４によって生成された図７Ａに例示する加算平均画像について二値化処理を実施する。図７Ｂは、二値化処理後の画像の一例を示す図である。

次に、内接円導出部２５は、二値化処理後の画像からスフェアの外縁に対応する輪郭線を抽出する。図７Ｃは、二値化処理後の画像から抽出された輪郭線４００の一例を示す図である。

次に、内接円導出部２５は、距離関数ε（ｘ，ｙ）を用いて、抽出された輪郭線４００からの距離が、周囲の他の点よりも長くなる複数の点を抽出する。距離関数ε（ｘ，ｙ）は、画像内の任意の画素の座標（ｘ，ｙ）からの距離が最も短い位置にある輪郭線４００上の点と、座標（ｘ，ｙ）との距離を、輪郭線４００の内側領域の各画素について導出したものである。因みに、距離関数ε（ｘ，ｙ）＝０となる点は、輪郭線上の点となる。図７Ｄは、距離関数ε（ｘ，ｙ）を画像化した図である。図７Ｅは、距離関数ε（ｘ，ｙ）に基づいて抽出された、輪郭線４００からの距離が周囲の他の点よりも長くなる複数の点Ｃの一例を示す図である。

次に、内接円導出部２５は、抽出した複数の点Ｃの各々を中心とし、輪郭線４００に内接する複数の内接円を導出する。図７Ｆは、導出された複数の内接円４０１の一例を示す図である。

膨張処理部２６は、内接円導出部２５によって導出された内接円４０１の各々について膨張処理を施す。具体的には、膨張処理部２６は、例えば、以下の処理を実施する。はじめに、膨張処理部２６は、図７Ｇに示すように、膨張処理前の内接円４０１の各々を塗りつぶす。続いて、膨張処理部２６は、既に塗りつぶされた画素に隣接する８画素のうち、塗りつぶされていない画素が存在する場合、塗りつぶされていない画素を塗りつぶす。膨張処理部２６がこの処理を繰り返すことにより塗りつぶされた領域が拡大する。膨張処理部２６は、上記の膨張処理を、内接円導出部２５によって導出された全ての内接円４０１に対して同時並行で実施する。膨張処理部２６は、互いに異なる内接円４０１に由来する塗りつぶし領域同士が衝突した場合、及び塗りつぶし領域が輪郭線４００に到達した場合、当該画素における膨張処理を終了する。図７Ｈは、膨張処理後の画像の一例を示す図である。膨張処理後の塗りつぶし領域の各々は、複数のスフェアの各々に対応する画像範囲である。

加算平均画像生成部２４、内接円導出部２５及び膨張処理部２６を含んで構成される特定部２３が、上記の各処理を行うことで、ｘｙ平面の方向において他のスフェアと重なった状態のスフェアを含む複数のスフェアを捉えた位相差画像において、個々のスフェアが延在するｘｙ平面における範囲（領域）が特定される。

抽出部２７（図１参照）は、特定部２３において特定された、スフェアの各々に対応する画像範囲の各々について、図６に例示する撮像装置１０の光軸方向（ｚ方向）の位置ｚ毎の位相差画像の中から、対応するスフェアの光軸方向（ｚ方向）の中心位置における位相差画像を抽出する。

スフェアに対して焦点が合っていない位相差画像からは、回折による広がりの影響によりスフェアの実態に合致した正確な情報が得られない。位相差画像を用いて細胞の評価を行う場合には、評価対象のスフェアに焦点を合わせた位相差画像を用いることが好ましい。ここで、「スフェアに焦点を合わせる」とは、球形状のスフェアの中心付近でスライスした位相差画像を得ることを意味する。スフェアに焦点が合った位相差画像を用いてスフェアの評価を行うことで、より正確な評価を行うことができる。

以下に、抽出部２７が、スフェアの光軸方向（ｚ方向）の中心位置における位相差画像を抽出する処理の詳細について説明する。

図８の左のグラフは、スフェアの位相差画像における平面方向（ｘ方向またはｙ方向）の位置と位相差量との関係の一例を示すグラフであり、実線がスフェアに焦点が合っている状態に対応し、点線がスフェアに焦点が合っていない状態に対応する。スフェアに焦点が合っている場合、位相差画像における特定の位置に急峻なピークが現れる。一方、スフェアに焦点が合っていない場合、焦点が合っている場合と比較してピークが低く且つなだらかになる。

図８の右のグラフは、スフェアの位相差画像における位相差量のヒストグラムの一例であり、実線がスフェアに焦点が合っている状態に対応し、点線がスフェアに焦点が合っていない状態に対応する。スフェアに焦点が合っている場合、カーブの幅ｗ（位相差量のばらつき）は、相対的に大きくなり、スフェアに焦点が合っていない場合、カーブの幅ｗ（位相差量のばらつき）は、相対的に小さくなる。

従って、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚ毎のスフェアの位相差画像の各々について、位相差量のヒストグラムにおけるカーブの幅ｗ（位相差量のばらつき）を求め、求めた幅ｗのうち、最大の幅ｗを有する位相差画像を、スフェアに焦点が合った位相差画像として抽出することで焦点合わせを実現できる。最大の幅ｗを有する位相差画像、すなわち、位相差量のばらつきが最大となる位相差画像は、スフェアの光軸方向（ｚ方向）の中心位置における位相差画像に対応する。

抽出部２７は、特定部２３において特定された、スフェアの各々に対応する画像範囲（スフェアのｘｙ平面における範囲）の各々について、位相差量のばらつきを導出する処理を、撮像装置１０の光軸方向（ｚ方向）の位置ｚ毎の位相差画像の各々について行う。抽出部２７は、例えば、特定された画像範囲における位相差量の最大値と最小値との差分を、当該画像範囲における位相差量のばらつきとして導出してもよい。また、特定された画像範囲における位相差量の標準偏差を、当該画像範囲における位相差量のばらつきとして導出してもよい。抽出部２７は、特定された画像範囲の各々について、位相差量のばらつきが最大となる位置ｚの画像を抽出する。

図９は、スフェアの位相差画像における焦点位置（スライス位置）と位相差量のばらつきとの関係の一例を示したグラフである。図９には、焦点位置が、－４００μｍ、－２００μｍ、０μｍ、＋２００μｍ、及び＋４００μｍに対応するスフェアの位相差画像が、グラフとともに例示されている。なお、図９では、位相差量のばらつきが最大となる焦点位置を０μｍとしている。位相差量のばらつきが最大となる焦点位置０μｍに対応する位相差画像が、焦点が合った位相差画像として抽出される。位相差量のばらつきが最大となる焦点位置０μｍに対応する位相差画像において、スフェアの輪郭が最も鮮明となる。

図１０は、画像処理装置２０のハードウェア構成の一例である。画像処理装置２０は、ＣＰＵ（Central Processing Unit）５０１、一時記憶領域としての主記憶装置５０２、不揮発性の補助記憶装置５０３、撮像装置１０及び評価装置３０を含む他の装置との間で通信を行うための通信インターフェース５０４を含んで構成されている。ＣＰＵ５０１、主記憶装置５０２、補助記憶装置５０３及び通信インターフェース５０４は、それぞれ、バス５０５に接続されている。

補助記憶装置５０３には、ＣＰＵ５０１を、取得部２１、位相差画像生成部２２、特定部２３及び抽出部２７として機能させるための画像処理プログラム５０６が格納されている。ＣＰＵ５０１は、通信インターフェース５０４を介して供給される外部からの指示に基づいて、補助記憶装置５０３から画像処理プログラム５０６を読み出して主記憶装置５０２に展開し、画像処理プログラム５０６に記述された画像処理を順次実行する。

図１１は、画像処理プログラム５０６に記述された画像処理の流れの一例を示すフローチャートである。

ステップＳ１において、ＣＰＵ５０１は、取得部２１として機能し、撮像装置１０によって撮像された、複数のスフェアを撮像視野内に収めたホログラムを取得する。

ステップＳ２において、ＣＰＵ５０１は、位相差画像生成部２２として機能し、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの各々における位相差画像をホログラムから生成する。

ステップＳ３において、ＣＰＵ５０１は、特定部２３（加算平均画像生成部２４）として機能し、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置ｚの位相差画像の各々を加算平均した加算平均画像（図６参照）を生成する。

ステップＳ４において、ＣＰＵ５０１は、特定部２３（内接円導出部２５）として機能し、加算平均画像について二値化処理を実施する（図７Ｂ参照）。

ステップＳ５において、ＣＰＵ５０１は、特定部２３（内接円導出部２５）として機能し、二値化処理後の画像からスフェアの外縁に対応する輪郭線４００を抽出する（図７Ｃ参照）。

ステップＳ６において、ＣＰＵ５０１は、特定部２３（内接円導出部２５）として機能し、距離関数ε（ｘ，ｙ）を用いて、抽出された輪郭線４００からの距離が、周囲の他の点よりも長くなる複数の点Ｃを特定する（図７Ｅ参照）。

ステップＳ７において、ＣＰＵ５０１は、特定部２３（内接円導出部２５）として機能し、抽出した複数の点Ｃの各々を中心とし、輪郭線４００に内接する複数の内接円４０１を導出する（図７Ｆ参照）。

ステップＳ８において、ＣＰＵ５０１は、特定部２３（膨張処理部２６）として機能し、内接円４０１の各々について膨張処理を施す。以上の各処理により、複数のスフェアの各々に対応する、撮像装置１０の光軸方向（ｚ方向）と交差する平面（ｘｙ平面）の方向における複数の画像範囲が特定される。すなわち、他のスフェアと重なり部を有して存在する複数のスフェアの各々のｘｙ平面の方向における領域が特定される。

ステップＳ９において、ＣＰＵ５０１は、抽出部２７として機能し、ステップＳ８において特定したスフェアの各々に対応する画像範囲の各々について、位相差量のばらつきを導出する。ＣＰＵ５０１は、例えば、特定された画像範囲における位相差量の最大値と最小値との差分を、当該画像範囲における位相差量のばらつきとして導出してもよい。また、ＣＰＵ５０１は、特定された画像範囲における位相差量の標準偏差を、当該画像範囲における位相差量のばらつきとして導出してもよい。ＣＰＵ５０１は、ステップＳ２において生成した、撮像装置１０の光軸方向（ｚ方向）の位置ｚ毎の位相差画像の各々について位相差量のばらつきを導出する上記の処理を行う。

ステップＳ１０において、ＣＰＵ５０１は、抽出部２７として機能し、ステップＳ８において特定したスフェアの各々に対応する画像範囲の各々について、位相差量のばらつきが最大となる光軸方向の位置ｚの画像を抽出する。

評価装置３０は、画像処理装置２０の抽出部２７によって抽出された位相差画像を用いて、スフェアの評価を行い、評価結果を出力する。

図１２は、評価装置３０の機能的な構成の一例を示す機能ブロック図である。評価装置３０は、取得部３１、形状指標値導出部３２、位相差量総和導出部３３及び判定部３４を含んで構成されている。

取得部３１は、画像処理装置２０の抽出部２７によって抽出された位相差画像を取得する。すなわち、取得部３１は、複数のスフェアの各々について、撮像装置１０の光軸方向（ｚ方向）の中心位置における位相差画像を取得する。

形状指標値導出部３２は、取得部３１によって取得された位相差画像に含まれるスフェアの形状指標値を導出する。スフェアの形状指標値として、例えば、スフェアの体積、断面積、粒径及び周の長さなどを用いることができる。スフェアの粒径及び周の長さは、スフェアの光軸方向の中心位置における位相差画像から直接的に求めることが可能である。スフェアの断面積は、例えば、スフェアの粒径を直径とする円の断面積として導出することが可能である。スフェアの体積は、例えばスフェアの粒径を直径とする球の体積として導出することが可能である。

位相差量総和導出部３３は、位相差画像を構成する複数の画素の各々の位相差量を積算した値である位相差量総和θ_Ａを導出する。位相差量総和θ_Ａは、下記の（７）式によって表わされる。但し、ｓは位相差画像の各画素ｋの面積であり、ｖ_ｋは位相差画像の各画素ｋに対応する部位におけるスフェアの体積である。（７）式に示されるように、位相差量総和θ_Ａは、スフェアの位相差画像の画素毎の位相差量θ_ｋを、全ての画素ｋについて積算したものに相当する。なお、（７）式におけるｄ_ｋは画素ｋに投影されたスフェア部分の厚みを示し、ｎ_ｋはバックグラウンドである培養液とスフェア内部との屈折率差を表す。（７）式では、ｖ_ｋ＝ｄ_ｋ・sを用いた。ここで、（７）式により、位相差量総和θ_Ａの単位は面積のスケールとなって、例えば[μｍ^２]であるが、イメージセンサ間で比較を行わない場合には単に１ピクセルあたりの画素毎の位相差量θ_ｋの和として位相差量総和θ_Ａの単位を[pixel]とし、つまりs＝1[pixel]として扱ってもよい。

判定部３４は、位相差量総和θ_Ａとスフェアの形状指標値との相関性の基準を示す基準相関トレンドラインと、判定対象のスフェアについての位相差量総和θ_Ａと形状指標値との相関性とを比較し、判定対象のスフェアについての相関性の、基準相関トレンドラインからの乖離の程度に応じて当該判定対象のスフェアの状態を判定する。なお、基準相関トレンドラインは、予め取得したものを用いることができる。判定部３４は、判定対象のスフェアについての相関性の、基準相関トレンドラインからの乖離の幅が閾値を超える場合、当該判定対象のスフェアに含まれる細胞の生存率、密度、均質性及び前記スフェアの外形形状の少なくとも１つについて異常ありと判定してもよい。

図１３は、評価装置３０のハードウェア構成の一例である。評価装置３０は、ＣＰＵ６０１、一時記憶領域としての主記憶装置６０２、不揮発性の補助記憶装置６０３、画像処理装置２０を含む他の装置との間で通信を行うための通信インターフェース６０４を含んで構成されている。ＣＰＵ６０１、主記憶装置６０２、補助記憶装置６０３、通信インターフェース６０４は、それぞれ、バス６０５に接続されている。

補助記憶装置６０３には、ＣＰＵ６０１を、取得部３１、形状指標値導出部３２、位相差量総和導出部３３及び判定部３４として機能させるための評価プログラム６０６が格納されている。ＣＰＵ６０１は、通信インターフェース６０４を介して供給される外部からの指示に基づいて、補助記憶装置６０３から評価プログラム６０６を読み出して主記憶装置６０２に展開し、評価プログラム６０６に記述された評価処理を順次実行する。なお、本実施形態においては、評価装置３０及び画像処理装置２０を、別々のコンピュータによって構成する場合を例示しているが、評価装置３０及び画像処理装置２０を共通のコンピュータによって構成することも可能である。

図１４は、評価プログラム６０６に記述された評価処理の流れの一例を示すフローチャートである。

ステップＳ１１において、ＣＰＵ６０１は、取得部３１として機能し、画像処理装置２０の抽出部２７によって抽出された位相差画像を取得する。

ステップＳ１２において、ＣＰＵ６０１は、形状指標値導出部３２として機能し、ステップＳ１１において取得した位相差画像に含まれるスフェアの形状指標値を導出する。スフェアの形状指標値として、例えば、スフェアの体積、断面積、粒径及び周の長さなどを用いることができる。

ステップＳ１３において、ＣＰＵ６０１は、位相差量総和導出部３３として機能し、ステップＳ１１において取得した位相差画像について位相差量総和θ_Ａを導出する。

ステップＳ１４において、ＣＰＵ６０１は、判定部３４として機能し、位相差量総和θ_Ａとスフェアの形状指標値との相関性の基準を示す基準相関トレンドラインと、判定対象のスフェアについての位相差量総和θ_Ａと形状指標値との相関性とを比較し、判定対象のスフェアについての相関性の、基準相関トレンドラインからの乖離の程度に応じて当該判定対象のスフェアの状態を判定し、判定結果を出力する。なお、基準相関トレンドラインは、補助記憶装置６０３に予め記憶したものを用いることができる。判定部３４は、判定対象のスフェアについての相関性の、基準相関トレンドラインからの乖離の幅が閾値を超える場合、当該判定対象のスフェアに含まれる細胞の生存率、密度、均質性及び前記スフェアの外形形状の少なくとも１つについて異常ありと判定してもよい。

図１５は、スフェアの体積と位相差量総和θ_Ａとの相関特性の一例を示すグラフである。図１５に示すように、位相差量総和θ_Ａとスフェアの体積とは、比例関係であることが確認された。図１５には、スフェアの体積と位相差量総和θ_Ａとの間の相関性の基準を示す基準相関トレンドラインＬ_Ｓが、プロットと共に示されている。図１５に示す各プロットから導出した回帰線を、基準相関トレンドラインＬ_Ｓとして適用した。

図１５には、基準相関トレンドラインＬ_Ｓ上に存在するプロットａ１及びａ２に対応するスフェアの位相差画像、及び基準相関トレンドラインＬ_Ｓから乖離した位置に存在するプロットａ３、ａ４、ａ５に対応するスフェアの位相差画像が示されている。基準相関トレンドラインＬ_Ｓ上に存在するプロットａ１及びａ２に対応するスフェアについては、スフェアの全体に亘って輝度が均一な位相差画像が得られた。このことは、スフェアを構成する複数の細胞が均質であること、及びスフェア内における細胞の密度が均一であること等を示している。一方、基準相関トレンドラインＬ_Ｓから乖離した位置に存在するプロットａ３及びａ４に対応するスフェアについては、中心部の輝度が他の部位と比較して低下している位相差画像が得られた。このことは、スフェアを構成する複数の細胞が不均質であること、及びスフェア内における細胞の密度が不均一であること等を示している。また、基準相関トレンドラインＬ_Ｓから乖離した位置に存在するプロットａ５に対応するスフェアについては、スフェアの輪郭線の凹凸が顕著な位相差画像が得られた。このことは、スフェアを構成する細胞に異常が生じていること等を示している。

以上の結果から、位相差量総和θ_Ａと、スフェアの形状指標値の一例である体積との相関性を用いてスフェアの状態を判定することが可能であるといえる。また、位相差量総和θ_Ａとスフェアの体積との相関性を示す基準相関トレンドラインＬ_Ｓと、判定対象のスフェアについての位相差量総和θ_Ａと形状指標値との相関性とを比較し、判定対象のスフェアについての相関性の、基準相関トレンドラインＬ_Ｓからの乖離の程度に応じて当該スフェアの状態を判定することが可能であるといえる。具体的には、一方の軸にスフェアの体積をとり、他方の軸に位相差量総和θ_Ａをとったグラフ上にプロットした、判定対象のスフェアについてのプロットの、基準相関トレンドラインＬ_Ｓからの乖離の程度に応じて、各スフェアの状態を判定することが可能であるといえる。従って、例えば、位相差量総和θ_Ａの基準相関トレンドラインＬ_Ｓからのマイナス幅が閾値以上であるスフェアについては、当該スフェアに含まれる複数の細胞の密度、均質性、及びスフェアの外形形状のうちの少なくとも１つに異常があるものと判定することができる。

なお、本実施例では、スフェアの形状指標値としてスフェアの体積を用いたが、これに代えて、スフェアの断面積、粒径または周の長さを用いることも可能である。これらいずれの形状指標値を用いる場合でも、位相差量総和θ_Ａとの相関性を用いてスフェアの状態を判定することが可能である。

以下に、評価装置３０の他の態様について説明する。図１６は、評価装置３０の機能的な構成の他の例を示す機能ブロック図である。評価装置３０は、取得部３１、位相差量密度導出部３５及び判定部３４を含んで構成されている。本実施形態において、評価装置３０は、位相差量総和θ_Ａを当該スフェアの体積で除算した位相差量密度Ｄ_Ｐを導出し、導出した位相差量密度Ｄ_Ｐに基づいて、当該スフェアの状態を判定する。

位相差量密度Ｄ_Ｐは、下記の（８）式によって表わされる。但し、Ｖはスフェアの体積である。（８）式に示されるように、位相差量密度Ｄ_Ｐは、位相差量総和θ_Ａを当該スフェアの体積Ｖで除算したものに相当する。健全な細胞は、その恒常性から内部の屈折率は、媒質の屈折率とは異なる一定の値を維持するものと考えられる。一方、死細胞は、恒常性を喪失し、内部の屈折率が媒質の屈折率と略同じになるものと考えられる。従って、位相差量密度Ｄ_Ｐを、細胞の状態を示す指標として用いることが可能であると考えられる。例えば、判定対象のスフェアについて取得した位相差量密度Ｄ_Ｐが、閾値以上である場合に当該スフェアの状態が良好であると判定することができ、位相差量密度Ｄ_Ｐが、閾値未満である場合に当該スフェアの状態が異常であると判定することができる。なお、２π／λは、定数として扱うことができるので、位相差量密度Ｄ_Ｐの導出に際し、２π／λの乗算を省略してもよい。ここで、スフェアの体積平均屈折率差Ｎ_ａｖｅをＮ_ａｖｅ=Σｎ_ｋ ・ （ｖ_ｋ／Ｖ）とすると、（８）式は、Ｄ_Ｐ=(２π／λ)×Ｎ_ａｖｅとなることから、位相差密度は体積平均したスフェアの屈折率差を波長の長さで規格化したものである。本明細書において、Ｖはスフェアの位相像の断面画像から球相当径を算出して求めた。より正確に楕円球とすることも可能である。

本実施形態に係る評価装置３０のハードウェア構成は、図１３に示されたものと同様である。図１７は、本実施形態に係る評価プログラム６０６に記述された評価処理の流れの他の例を示すフローチャートである。

ステップＳ２１において、ＣＰＵ６０１は、取得部３１として機能し、画像処理装置２０の抽出部２７によって抽出された位相差画像を取得する。

ステップＳ２２において、ＣＰＵ６０１は、位相差量密度導出部３５として機能し、ステップＳ２１において取得した位相差画像について位相差量密度Ｄ_Ｐを導出する。

ステップＳ２３においてＣＰＵ６０１は、判定部３４として機能し、予め取得しておいた細胞の生存率と位相差量密度Ｄ_Ｐとの相関性を示す相関ラインと、ステップＳ２２において導出した位相差量密度Ｄ_Ｐとに基づいて、当該スフェア内における細胞の生存率を推定し、これを判定結果として出力する。

図１８は、細胞の生存率と位相差量密度Ｄ_Ｐ（ロット平均値）との相関特性の一例を示すグラフである。生存率の測定手順は以下のとおりである。遠沈管に収容したスフェアを４００Ｇ、３分間の遠心分離処理を実施した。遠沈管の底に沈殿したスフェアを回収し、細胞解離酵素であるTrypLE（登録商標） Selectを用いて単一細胞に分解した。分解した細胞に対してTrypan Blueによる死細胞染色処理を施した後、細胞を、市販されている一般的なセルカウンタ（Countess（登録商標）） で計数することで、染色された死細胞の個数をカウントした。死細胞のカウント数から細胞の生存率を培養ロット毎に導出した。

横軸に細胞の生存率をとり、縦軸に位相差量密度Ｄ_Ｐをとったグラフ上に、各培養ロットについてプロットを形成することで、細胞の生存率と位相差量密度Ｄ_Ｐ（ロット平均値）との相関特性を取得した。図１８に示すように、細胞の生存率と、位相差量密度Ｄ_Ｐとは比例関係であることが確認された。

以上の結果より、位相差量密度Ｄ_Ｐから細胞の生存率を推定できるといえる。位相差量密度Ｄ_Ｐから細胞の生存率を推定することで、遠心分離処理及び染色処理等の細胞の破壊を伴う処理を行うことなく（すなわち非破壊で）、細胞の生存率を把握することができる。本実施形態に係る評価装置３０は、細胞の生存率と位相差量密度Ｄ_Ｐとの相関性を示す相関ラインと、判定対象の培養ロットに属するスフェアについて取得した位相差量密度Ｄ_Ｐの平均値とから推定した当該培養ロットにおける細胞の生存率を判定結果として出力する。

以上のように、開示の技術の実施形態に係る評価システム１によれば、位相差画像生成部２２によって生成される位相差画像において、複数のスフェアの少なくとも一部が、撮像装置１０の光軸方向（ｚ方向）と交差する平面（ｘｙ平面）の方向において部分的に重なった状態にあることが想定される。位相差画像を用いて個々のスフェアの評価を行うためには、位相差画像において部分的に重なった状態の複数のスフェアを切り分けて、それぞれを別個のスフェアとして認識する必要がある。

開示の技術の実施形態に係る画像処理装置２０によれば、位相差画像生成部２２が、撮像装置１０の光軸方向（ｚ方向）の互いに異なる位置の各々における位相差画像を、撮像装置１０によって撮像されたホログラムから生成し、特定部２３が位相差画像の各々を加算平均した加算平均画像において、複数のスフェアの各々に対応する、ｘｙ平面の方向における複数の画像範囲を特定し、抽出部２７が、特定された画像範囲の各々について、対応するスフェアの光軸方向（ｚ方向）の中心位置における位相差画像を抽出する。すなわち、特定部２３により個々のスフェアが延在するｘｙ平面における範囲（領域）が特定され、抽出部２７により、各スフェアの延在範囲（領域）について、適切に焦点合わせがなされた位相差画像が抽出される。従って、画像処理装置２０によれば、各スフェアの状態評価を適切に実施することが可能となる。

また、開示の技術の実施形態に係る評価システム１によれば、複数のスフェアを撮像視野内に収めて撮像したホログラムに基づいて、複数のスフェアの各々についての評価を行うので、従来のフローサイトメトリーを用いた評価手法と比較して、処理時間を大幅に短縮することが可能となる。すなわち、評価システム１によれば、大量のスフェアを、非破壊且つ迅速に評価することが可能となる。

なお、以上の説明では、細胞の凝集体であるスフェアの状態を評価する場合を例示したが、開示の技術は、スフェア以外の粒状体を評価する場合についても適用することが可能である。また、特定部２３が、スフェアの各々に対応する画像範囲を特定する際に用いる平均化画像として加算平均画像を用いる場合を例示したが、位相差画像の少なくとも一部を相乗平均した相乗平均画像を平均化画像として用いてもよいし、位相差画像の少なくとも一部を加重平均した加重平均画像を平均化画像として用いてもよい。

１ 評価システム
１０ 撮像装置
２０ 画像処理装置
２１ 取得部
２２ 位相差画像生成部
２３ 特定部
２４ 加算平均画像生成部
２５ 内接円導出部
２６ 膨張処理部
２７ 抽出部
３０ 評価装置
３１ 取得部
３２ 形状指標値導出部
３３ 位相差量総和導出部
３４ 判定部
３５ 位相差量密度導出部
１００ ホログラム光学系
１０１ レーザ光源
１０２ ビームスプリッタ
１０３ コリメートレンズ
１０５ 対物レンズ
１０７ 結像レンズ
１０８ ビームスプリッタ
１０９ 光ファイバ
１１０ コリメートレンズ
２００ フローセル
３００ スフェア
４００ 輪郭線
４０１ 内接円
５０１、６０１ ＣＰＵ
５０２、６０２ 主記憶装置
５０３、６０３ 補助記憶装置
５０４、６０４ 通信インターフェース
５０５、６０５ バス
５０６ 画像処理プログラム
６０６ 評価プログラム

Claims (8)

1. 複数の粒状体を撮像視野内に収めて撮像したホログラムを取得する取得部と、
   前記ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、前記ホログラムから生成する生成部と、
   前記位相差画像の少なくとも一部を平均化した平均化画像において、前記複数の粒状体の各々に対応する、前記光軸方向と交差する平面の方向における複数の画像範囲を特定する特定部と、
   前記複数の画像範囲の各々について、対応する粒状体の前記光軸方向の中心位置における位相差画像を抽出する抽出部と、
   を含む画像処理装置。
2. 前記特定部は、
   前記位相差画像の少なくとも一部を加算平均した加算平均画像を、前記平均化画像として生成する加算平均画像生成部と、
   前記加算平均画像における前記粒状体の外縁に対応する輪郭線からの距離が、周囲の他の点よりも長くなる各点を中心とし、前記輪郭線に内接する複数の内接円を導出する内接円導出部と、
   前記内接円の各々について膨張処理を施す膨張処理部と、
   を含む
   請求項１に記載の画像処理装置。
3. 前記抽出部は、前記光軸方向の互いに異なる位置の各々における位相差画像のうち、画素間の位相差量のばらつきが最大となるものを、前記粒状体の前記光軸方向の中心位置における位相差画像として抽出する
   請求項１または請求項２に記載の画像処理装置。
4. 前記粒状体は、複数の細胞の凝集体である
   請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 複数の粒状体を撮像視野内に収めたホログラムを撮像する撮像装置と、
   前記ホログラムに対する画像処理を行う画像処理装置と、
   前記画像処理装置によって得られた画像に基づいて、前記複数の粒状体の各々について評価結果を出力する評価装置と、を含み、
   前記画像処理装置は、
   前記ホログラムを取得する取得部と、
   前記ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、前記ホログラムから生成する生成部と、
   前記位相差画像の少なくとも一部を平均化した平均化画像において、前記複数の粒状体の各々に対応する、前記光軸方向と交差する平面の方向における複数の画像範囲を特定する特定部と、
   前記複数の画像範囲の各々について、対応する粒状体の前記光軸方向の中心位置における位相差画像を抽出する抽出部と、
   を含み、
   前記評価装置は、前記抽出部によって抽出された位相差画像を用いて前記評価結果を導出する
   評価システム。
6. 前記複数の粒状体が流動する流路を更に含み、
   前記撮像装置は、前記撮像視野内に前記流路の幅方向の全域が収まるように設置されている
   請求項５に記載の評価システム。
7. 複数の粒状体を撮像視野内に収めて撮像したホログラムを取得し、
   前記ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、前記ホログラムから生成し、
   前記位相差画像の少なくとも一部を平均化した平均化画像において、前記複数の粒状体の各々に対応する、前記光軸方向と交差する平面の方向における複数の画像範囲を特定し、
   前記複数の画像範囲の各々について、対応する粒状体の前記光軸方向の中心位置における位相差画像を抽出する
   処理をコンピュータに実行させるための画像処理プログラム。
8. 複数の粒状体を撮像視野内に収めて撮像したホログラムを取得し、
   前記ホログラムを撮像する際の光軸方向の互いに異なる位置の各々における位相差画像を、前記ホログラムから生成し、
   前記位相差画像の少なくとも一部を平均化した平均化画像において、前記複数の粒状体の各々に対応する、前記光軸方向と交差する平面の方向における複数の画像範囲を特定し、
   前記複数の画像範囲の各々について、対応する粒状体の前記光軸方向の中心位置における位相差画像を抽出する
   画像処理方法。

Images