JP2023550929A - フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー - Google Patents

Abstract

画像ベースの分類ワークフローは、教師なしクラスタリングを使用して、ユーザが分取するための関心サブ集団を識別するのを助ける。標識された細胞画像を使用して、特定の実験のために教師あり分類ネットワークを微調整する。ワークフローは、ユーザが、様々なアプリケーションに対して同様に集団を選択して分取できるようにする。教師あり分類ネットワークは非常に高速であり、細胞が装置中を移動している時、リアルタイム分取決定を行えるようにする。ワークフローは、より自動化されて、ユーザステップがより少なく、これにより、使いやすさを向上させる。ワークフローは、機械学習を使用して、手動ゲーティングからのヒューマンエラー及びバイアスを回避する。ワークフローは、ユーザが画像処理の熟練者である必要がないので、使いやすさを向上させる。【選択図】図５

Description

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０２０年１１月１９日出願の米国仮特許出願第６３／１１６，０９０号「フレキシブルな画像ベースの粒子ソーティングのための分類ワークフロー（ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＷＯＲＫＦＬＯＷ ＦＯＲ ＦＬＥＸＩＢＬＥ ＩＭＡＧＥ ＢＡＳＥＤ ＰＡＲＴＩＣＬＥ ＳＯＲＴＩＮＧ）」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、セルソーティングに関する。より具体的には、本発明は、画像ベースのセルソーティングに関する。

従来の蛍光活性化セルソーティングは、細胞を蛍光マーカーで標識することに依拠し、細胞の形態学的情報が非常に限定されている。しかしながら、いくつかのアプリケーションは、細胞を正確に分取するために細胞の形態学的情報を必要とし、一方、いくつかのアプリケーションは、蛍光マーカーを使用するのに適していない。また、従来の蛍光活性化セルソーティングは、手動ゲーティングを使用して、蛍光マーカーに基づいてソーティング基準を確立する。しかしながら、手動ゲーティングは、時間がかかり、偏りがある場合がある。

セルソーティングから利益を得る多くの生物学的アプリケーションが存在するが、これらは、関心細胞を識別するためのイメージングを実行しないので、現在のフローサイトメトリーベースのセルソーター上では不可能である。

従来の画像処理及び特徴抽出を使用して、細胞画像から分取決定を行う既存の手法が存在し、また、深層学習ネットワークを使用して、リアルタイム分取分類を行う手法も存在する。従来の画像分析手法は、ユーザが定量画像分析を実行する方法を知っている必要があり、それは大抵のセルソーティングユーザが有さない技術であるという欠点を有する。公開された深層学習手法は、細胞画像のオフライン識別を使用して畳み込みネットワークを訓練する必要があるので、限定されている。これは、労働集約的な手動プロセスであり、特定のアプリケーションのために深層学習ネットワークを訓練することは、数時間から数日かかる可能性があるので、異なるアプリケーションに対してフレキシブルな解決策を提供しない。

画像ベースの分類ワークフローは、教師なしクラスタリングを使用して、ユーザが分取するための関心サブ集団を識別するのを助ける。標識された細胞画像を使用して、特定の実験のために教師あり分類ネットワークを微調整する。ワークフローは、ユーザが、様々なアプリケーションに対して同様に集団を選択して分取できるようにする。教師あり分類ネットワークは非常に高速であり、細胞が装置中を移動している時、リアルタイム分取決定を行えるようにする。ワークフローは、より自動化されて、ユーザステップがより少なく、これにより、使いやすさを向上させる。ワークフローは、機械学習を使用して、手動ゲーティングからのヒューマンエラー及びバイアスを回避する。ワークフローは、ユーザが画像処理の熟練者である必要がないので、使いやすさを向上させる。

１つの態様では、方法は、細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、分類器を実装して、教師あり分類を微調整するステップと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、を含む。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含む。前記方法は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含む。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。

別の態様では、装置は、細胞画像を使用して、特徴エンコーダを事前に訓練することと、教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、分類器を実装して、教師あり分類を微調整することと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、を行うためのアプリケーションを記憶するための非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む。前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。

別の態様では、システムは、細胞画像を取得するように構成される第１の装置と、第２の装置と、を含み、前記第２の装置は、前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、分類器を実装して、教師あり分類を微調整することと、前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、を行うように構成される。前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する。前記特徴エンコーダは、ニューラルネットワークを使用して実装される。前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである。前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む。前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される。ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される。前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する。前記分類器は、実験ごとに再訓練されるように構成される。

いくつかの実施形態による画像活性化セルソーター（ＩＡＣＳ）のアプリケーションの例を示す図である。 いくつかの実施形態による分類ワークフローのフローチャートを示す図である。 いくつかの実施形態による特徴エンコーダ及び教師なしクラスタリングのフローチャートを示す図である。 いくつかの実施形態による、標識された画像を使用して教師あり分類を微調整する図である。 いくつかの実施形態による、リアルタイム画像分類のために教師あり分類を使用する図である。 いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図である。 いくつかの実施形態による分類ワークフローを実装するように構成される例示的なコンピュータ装置のブロック図である。

画像ベースの分類ワークフローは、サンプル中に存在するサブ集団を識別し、ユーザがどのサブ集団を精練（ｐｕｒｉｆｉｅｄ）すべきかを選択できるようにし、次に、リアルタイム分取決定を行う教師あり分類システムを微調整する。

分類ワークフローは、多種多様な生物学的アプリケーションに対応するフレキシブルな画像ベースの細胞分類システムを可能にする解決策である。教師なしクラスタリングを使用して細胞画像を標識して、効率的な教師あり分類ネットワークを微調整してリアルタイム分取決定を行うことは、画像ベースのセルソーターの使いやすさの向上を可能にする新しい概念である。

分類ワークフローは、フローサイトメトリーベースのセルソーティングのカスタマーのまだ満たされていないニーズに対処する。すなわち、分類ワークフローは、従来の蛍光活性化セルソーティングにおいて実行できないイメージングを必要とするセルソーティングアプリケーションを可能にし、また、多種多様なアプリケーションのために分取分類を最適化できるようにする。

最適化された教師あり分類ネットワークは、画像に基づいて細胞を分取することを可能にするリアルタイム画像分類を実行することができる。これは、通常、顕微鏡検査又はハイコンテントイメージング（どちらもソーティング能力を有さない）を使用して実行されるアプリケーションをセルソーター上で使用できるようにする。

広範な潜在的な画像ベースのセルソーティングアプリケーションが存在する。ワークフローは、教師なしクラスタリングを使用して、サンプル中に存在するサブ集団を識別し、次に、ユーザは、関心細胞を含む１又は複数のクラスタを選び出すことができる。次に、教師あり分類システムを微調整して、ユーザが分取したいと望む特定の関心細胞を識別する。

分類ワークフローの実装は、細胞画像の共通の特徴を識別する事前に訓練された特徴エンコーダを利用して、教師なしクラスタリングを実行することを含む。結果として得られるクラスタは、サンプル中に存在するサブ集団を表現し、次に、ユーザは、関心細胞を含むクラスタを選び出し、それらのクラスタ内の細胞は標識される。次に、リアルタイムセルソーティングのために使用される最適化された分類器の教師あり微調整のために、標識された細胞画像を使用する。

分類ワークフローは、画像活性化セルソーター（ＩＡＣＳ）で使用することができる。

図１に、いくつかの実施形態によるＩＡＣＳのアプリケーションの例を示す。ＩＡＣＳは、蛍光局在（例えば、マーカーの共発現）、ｉｍｍｕｎｏ－ｆｌｏｗＦＩＳＨ（例えば、ＦＩＳＨスポットのカウント）、細胞外小胞（例えば、エクソソーム）、及び細胞活性化応答（例えば、ＦＬテクスチャ（斑紋、平滑（ｓｍｏｏｔｈ）、点））で使用することができる。ｉｍｍｕｎｏ－ｆｌｏｗＦＩＳＨアプリケーションは、別個のスポットが検出／区別されない場合があるので、従来のサイトメトリーでは不可能である。しかしながら、別個のスポットを区別及び検出するアプリケーションは、ＩＡＣＳを使用して可能である。別の例では、蛍光局在のために、ＩＡＣＳは、異なる信号（例えば、赤対緑）の特定の位置を検出することができるが、従来のサイトメトリーは、各信号の強度を提供することしかできず、細胞内のどこで信号が発生するかを提供することができない。

図２に、いくつかの実施形態による分類ワークフローのフローチャートを示す。画像ベースの又はＩＡＣＳ分類ワークフローは、別個の要素／ステップを含むプリソートセットアップ及びアクティブソーティングなどのステップを含む。プリソートセットアップは、分取すべき細胞の識別と、その後の教師あり分類ネットワークの微調整とを可能にする。アクティブソーティング部分は、最適化され微調整された教師あり分類ネットワークを使用して、細胞が装置中を流れている時、リアルタイム分取決定を行う。

ステップ２００において、特徴エンコーダを事前に訓練する。実験からの特定の数の細胞がシステムに通される。特徴エンコーダは、サンプル中に何が存在するかをユーザに示すことができる。細胞が特徴エンコーダを通過している時、特徴エンコーダは、画像から特徴値を検出／測定し、特徴エンコーダからの出力は、教師なしクラスタリングに進む。特徴エンコーダは、１～１２個の画像チャネル（例えば、明視野及び複数の蛍光チャネル）に対応するようにスケーラブルである。任意の数又は範囲の画像チャネルを利用することができる。特徴エンコーダの例は、２０２１年４月５日出願の米国特許出願第１７／２２２，１３１号「画像ベースの教師なしセルクラスタリング及びソーティングのためのフレームワーク（Ａ ＦＲＡＭＥＷＯＲＫ ＦＯＲ ＩＭＡＧＥ ＢＡＳＥＤ ＵＮＳＵＰＥＲＶＩＳＥＤ ＣＥＬＬ ＣＬＵＳＴＥＲＩＮＧ ＡＮＤ ＳＯＲＴＩＮＧ）」に記載されており、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

ステップ２０２において、教師なしクラスタリングを利用して、集団を識別する（例えば、類似した細胞を一緒にグループ化する）。教師なしクラスタリングは、特徴エンコーダの出力を使用して、細胞をクラスタにグループ化／分類する。細胞のグループ化は、任意の方法で（例えば、検出された特徴、サイズ、及び／又は他の任意の特性に基づいて）実行することができる。ユーザは、教師なしクラスタリングの結果を見て、どの細胞の集団を分取すべきかを決定することができる。ユーザは、クラスタの単一イベント及び／又は抽出された特徴値（例えば、蛍光強度又は他の特徴値）の代表的な画像セットを見ることができる。ユーザは、クラスタ及び代表的な情報を見ることに基づいて、（例えば、教師なしクラスタリングの後に）クラスタを標識することができる。ユーザは、クラスタを、例えば「分取する」又は「分取しない」と標識することができる。複数の「分取する」クラスタが可能である。いくつかの実施形態では、標識プロセスは、機械学習、ニューラルネットワーク及び人工知能を使用して自動化される。

ステップ２０４において、分類器を実装して、教師あり分類を微調整する。教師なしクラスタリングからの分類結果／標識を分類器によって使用して、例えば、浅い又は畳み込みニューラルネットワークを微調整することができる。分類器は、実験ごとに再訓練されることができる。

ステップ２０６において、アクティブソーティング中にリアルタイム分類を実行する。訓練された分類器を使用して、ソーティング分類に基づいてリアルタイム分類を行う。信号の強度を測定する１つのチャネル検出器を有する従来のセルソーターとは異なり、分類ワークフローは、処理のために全体画像（例えば、５０画素×５０画素）を利用する。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序が変更される。

図３に、いくつかの実施形態による特徴エンコーダ及び教師なしクラスタリングのフローチャートを示す。ステップ３００において、分取サンプルからの細胞画像を取得する。分取すべきサンプルの一定分量（ａｌｉｑｕｏｔ）をＩＡＣＳ上で実行して、細胞画像を取り込む。細胞画像は、ニューラルネットワークベースの特徴エンコーダへの入力である。ステップ３０２において、特徴エンコーダ（例えば、ニューラルネットワーク）を実装する。いくつかの実施形態では、（例えば、オフラインで）特徴エンコーダを事前に訓練して、細胞画像の大きいデータセットによって明視野及び蛍光画像において一般的な特徴を検出する。ステップ３０４において、（例えば、階層密度ベースの）教師なしクラスタリングを実行する。細胞の残りのクラスタは、サンプル中に存在する細胞の異なるサブ集団を表現する。ステップ３０６において、ユーザは、クラスタ（例えば、代表的な画像、測定された画像特徴）を見て、どのクラスタが関心細胞を含むかを判断する。この手法の利益は、ユーザが、実験で使用されるアプリケーションタイプ及び特定の蛍光染色パネルにかかわらず、分取すべき（及び分取すべきではない）集団を識別及び選択できるようにすることである。クラスタは、教師あり分類を訓練するために使用することができる真理集合に類似している。クラスタリングからの標識された画像を使用して、教師あり分類ネットワークを訓練（又は再訓練）する。教師あり分類ネットワークが訓練されて精度及び速度のために最適化されると、ネットワークは、ライブソーティング（ｌｉｖｅ ｓｏｒｔｉｎｇ）（例えば、システムを通過する細胞）のために使用される準備ができている。ライブソーティングでは、細胞の画像が撮影され、教師あり分類は、その細胞が分取すべき細胞であるかどうかを判断し、リアルタイム分類を行って細胞を物理的に分取し、精練器（ｐｕｒｉｆｉｅｒ）が関心細胞を単離する。

図４に、いくつかの実施形態による、標識された画像を使用して教師あり分類を微調整する図を示す。標識された画像４００を使用して、特定の実験のために教師あり分類ニューラルネットワーク４０２を微調整する。いくつかの実施形態では、教師あり分類ニューラルネットワーク４０２は、訓練された分類器２０４と同じであるか又はその一部である。所望の精度でリアルタイムのために十分に速く分取決定を行うために、高速分類ネットワークを使用する。

図５に、いくつかの実施形態による、リアルタイム画像分類のために教師あり分類を使用する図を示す。訓練された分類器２０４を使用して、アクティブソーティング２０６のためにリアルタイム分取決定を行う。（細胞が１つずつ到着する）機器上で、残りの分取サンプルを実行する。細胞ごとに、複数の画像チャネルを取得することができる。訓練された分類器２０４は、画像に基づいて、各イベントを、分取集団のうちの１つに又は分取すべきではないものに分類する。分取決定は、細胞が撮像領域から分取作動領域に移動するのにかかる時間内に（例えば、５００マイクロ秒未満で）行われる。

実験は、細胞ごとに１つの画像又は細胞ごとに複数の画像（例えば、一緒に使用される１つの細胞に対する４つの画像チャネル）とすることができる。システムは、実装に応じて（例えば、何個のアクティブ画像チャネルが使用されているかに応じて）拡大縮小できる。異なる数の画像チャネルのために使用される異なるアーキテクチャが存在することができるので、全ての可能な数の画像チャネルのためにインスタンスを訓練して、実験ごとにアクティブ画像チャネルに基づいて、対応する最適化されたアーキテクチャを選択する。ワークフローは、任意のアプリケーションのために任意のタイプの入力を受け入れて、ユーザが異なる実験のために異なる規則を書き込まないようにすることができる。

図６に、いくつかの実施形態による生体サンプル分析器の全体構成を概略的に示す図を示す。

図６は、本開示の生体サンプル分析器の例示的な構成を示す。図６に示す生体サンプル分析器６１００は、流路Ｃ内を流れる生体サンプルＳに光を照射する光照射ユニット６１０１と、生体サンプルＳに照射することによって発生する光を検出する検出ユニット６１０２と、検出ユニットによって検出される光についての情報を処理する情報処理ユニット６１０３と、を含む。生体サンプル分析器６１００は、例えば、フローサイトメータ又はイメージングサイトメータである。生体サンプル分析器６１００は、生体サンプル中の特定の生体粒子Ｐを選別するソーティングユニット６１０４を含むことができる。ソーティングユニットを含む生体サンプル分析器６１００は、例えば、セルソーターである。

（生体サンプル）
生体サンプルＳは、生体粒子を含む液体サンプルとすることができる。生体粒子は、例えば、細胞又は非細胞生体粒子である。細胞は、生細胞とすることができ、そのより具体的な例は、赤血球及び白血球などの血液細胞、及び***及び受精卵などの生殖細胞を含む。また、細胞は、全血などのサンプルから直接収集されるものとすることができるか、又は培養の後に取得される培養細胞とすることができる。非細胞生体粒子は、細胞外小胞、特に、例えば、エクソソーム及びマイクロベシクルである。１又は２以上の標識物質（例えば、色素（特に蛍光色素）、及び蛍光色素で標識された抗体）を用いて、生体粒子を標識することができる。本開示の生体サンプル分析器によって、生体粒子以外の粒子を分析することができ、較正等のためにビーズ等を分析することができることに留意されたい。

（流路）
流路Ｃは、生体サンプルＳの流れが形成されるように設計される。特に、生体サンプルに含まれる生体粒子が実質的に１列に配列されている流れが形成されるように、流路Ｃを設計することができる。流路Ｃを含む流路構造は、層流が形成されるように設計することができる。特に、生体サンプルの流れ（サンプル流）がシース液の流れによって取り囲まれる層流が形成されるように、流路構造を設計する。流路構造の設計は、当業者によって適宜選択することができるか、又は公知の構造を採用することもできる。流路Ｃは、マイクロチップ（マイクロメートルのオーダーの流路を有するチップ）又はフローセルなどの流路構造に形成することができる。流路Ｃの幅は、１ｍｍ以下であり、特に、１０μｍ以上１ｍｍ以下とすることができる。流路Ｃ及び流路Ｃを含む流路構造は、プラスチック又はガラスなどの材料で形成することができる。

本開示の生体サンプル分析器は、流路Ｃ内を流れる生体サンプル、特に、生体サンプル中の生体粒子に、光照射ユニット６１０１からの光が照射されるように設計される。本開示の生体サンプル分析器は、生体サンプル上の光の照射点が、流路Ｃが形成される流路構造内に位置するように設計することができるか、又は照射点が流路構造の外側に位置するように設計することができる。前者の場合の例は、マイクロチップ又はフローセル内の流路Ｃ上に光が発せられる構造とすることができる。後者の場合、流路構造（特に、そのノズル部分）を出た後の生体粒子に光を照射することができ、例えば、ジェットインエアータイプのフローサイトメータを採用することができる。

（光照射ユニット）
光照射ユニット６１０１は、光を発する光源ユニットと、照射点に光を導く導光光学システムとを含む。光源ユニットは、１又は２以上の光源を含む。光源のタイプは、例えば、レーザ光源又はＬＥＤである。各光源から発せられるべき光の波長は、紫外線光、可視光、及び赤外線光の任意の波長とすることができる。導光光学システムは、例えば、ビームスプリッタ、ミラー、又は光ファイバなどの光学部品を含む。導光光学システムは、光を集光するためのレンズ群を含むこともでき、例えば、対物レンズを含む。生体サンプル及び光が交差する１又は２以上の照射点が存在することができる。光照射ユニット６１０１は、１つの光源又は異なる光源から１つの照射点上に発せられる光を収集するように設計することができる。

（検出ユニット）
検出ユニット６１０２は、生体粒子上に光を発することによって発生する光を検出する少なくとも１つの光検出器を含む。検出すべき光は、例えば、蛍光又は散乱光（前方散乱光、後方散乱光、及び側方散乱光のうちの１又は２以上など）とすることができる。各光検出器は、１又は２以上の受光素子を含み、例えば、受光素子アレイを有する。各光検出器は、受光素子として、１又は２以上の光電子増倍管（ＰＭＴ）及び／又はＡＰＤ及びＭＰＰＣなどのフォトダイオードを含むことができる。光検出器は、例えば、複数のＰＭＴが１次元方向に配置されるＰＭＴアレイを含む。検出ユニット６１０２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを含むこともできる。イメージセンサを用いて、検出ユニット６１０２は、生体粒子の画像（例えば、明視野画像、暗視野画像、又は蛍光画像など）を取得することができる。

検出ユニット６１０２は、所定の検出波長の光を対応する光検出器に到達させる検出光学システムを含む。検出光学システムは、プリズム又は回折格子などの分光ユニット、又はダイクロイックミラー又は光フィルタなどの波長分離ユニットを含む。検出光学システムは、例えば、生体粒子への光照射によって発生する光を分散させて、生体粒子の標識に用いられる蛍光色素の数よりも多い数の光検出器を用いて分散光を検出するように設計される。このような検出光学システムを含むフローサイトメータは、スペクトルフローサイトメータと呼ばれる。更に、検出光学システムは、例えば、生体粒子への光照射によって発生する光からの特定の蛍光色素の蛍光波長帯域に対応する光を分離して、対応する光検出器に分離光を検出させるように設計される。

検出ユニット６１０２は、光検出器によって取得される電気信号をデジタル信号に変換する信号処理ユニットを含むこともできる。信号処理ユニットは、変換を実行する装置としてＡ／Ｄコンバータを含むことができる。信号処理ユニットによって実行される変換によって取得されるデジタル信号を、情報処理ユニット６１０３に送信することができる。デジタル信号は、情報処理ユニット６１０３によって、光に関連するデータ（以下「光データ」とも呼ばれる）として扱うことができる。光データは、例えば、蛍光データを含む光データとすることができる。より具体的には、光データは、光強度のデータとすることができ、光強度は、蛍光を含む光の光強度データとすることができる（光強度データは、面積、高さ、及び幅などの特徴量を含むことができる）。

（情報処理ユニット）
情報処理ユニット６１０３は、様々な種類のデータ（例えば、光データ）の処理を実行する処理ユニットと、例えば、様々な種類のデータを記憶する記憶ユニットとを含む。処理ユニットが、検出ユニット６１０２からの蛍光色素に対応する光データを取得する場合、処理ユニットは、光強度データに対して蛍光漏れ込み補正（コンペンセーションプロセス）を実行することができる。スペクトルフローサイトメータの場合、処理ユニットは、また、光データに対して蛍光分離プロセスを実行して、蛍光色素に対応する光強度データを取得する。蛍光分離プロセスは、例えば、特開２０１１－２３２２５９号公報に開示されるアンミキシング（ｕｎｍｉｘｉｎｇ）方法によって実行することができる。検出ユニット６１０２がイメージセンサを含む場合、処理ユニットは、イメージセンサによって取得される画像に基づいて、生体粒子についての形態学的情報を取得することができる。記憶ユニットは、取得された光データを記憶できるように設計することができる。記憶ユニットは、アンミキシングプロセスで使用すべきスペクトル参照データを更に記憶できるように設計することができる。

生体サンプル分析器６１００が後述するソーティングユニット６１０４を含む場合、情報処理ユニット６１０３は、光データ及び／又は形態学的情報に基づいて、生体粒子を分取すべきかどうかを判断することができる。次に、情報処理ユニット６１０３は、判断の結果に基づいてソーティングユニット６１０４を制御し、ソーティングユニット６１０４によって生体粒子を分取することができる。

情報処理ユニット６１０３は、様々な種類のデータ（例えば、光データ及び画像など）を出力できるように設計することができる。例えば、情報処理ユニット６１０３は、光データに基づいて生成される様々な種類のデータ（例えば、２次元プロット又はスペクトルプロットなど）を出力することができる。情報処理ユニット６１０３は、様々な種類のデータの入力を受け入れることができるように設計することもでき、例えば、ユーザによるプロット上のゲーティングプロセスを受け入れる。情報処理ユニット６１０３は、出力ユニット（例えば、ディスプレイなど）又は入力ユニット（例えば、キーボードなど）を含み、出力又は入力を実行することができる。

情報処理ユニット６１０３は、汎用コンピュータとして設計することができ、例えば、ＣＰＵ、ＲＡＭ、及びＲＯＭを含む情報処理装置として設計することができる。情報処理ユニット６１０３は、光照射ユニット６１０１及び検出ユニット６１０２が含まれるハウジング内に含まれることができるか、又はハウジングの外側に位置することができる。更に、情報処理ユニット６１０３によって実行すべき様々なプロセス又は機能は、ネットワークを介して接続されるサーバコンピュータ又はクラウドによって実現することができる。

（ソーティングユニット）
ソーティングユニット６１０４は、情報処理ユニット６１０３によって実行される判断の結果に従って、生体粒子のソーティングを実行する。ソーティング方法は、振動によって生体粒子を含む液滴が生成され、分取すべき液滴に電荷が加えられ、電極によって液滴の移動方向が制御される方法とすることができる。ソーティング方法は、流路構造内の生体粒子の移動方向を制御することによって分取する方法とすることができる。流路構造は、例えば、圧力（注入又は吸引）又は電荷に基づく制御機構を有する。流路構造の例は、流路Ｃが下流側で回収流路と廃液流路とに分岐して、特定の生体粒子が回収流路内に収集される流路構造を有するチップ（例えば、特開２０２０－０７６７３６号公報に開示されるチップ）とすることができる。

図７に、いくつかの実施形態による分類ワークフローを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置７００を使用して、画像及びビデオなどの情報を取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置７００は、分類ワークフローの態様のいずれかを実装することができる。一般に、コンピュータ装置７００を実装するのに適したハードウェア構造は、ネットワークインターフェイス７０２、メモリ７０４、プロセッサ７０６、Ｉ／Ｏデバイス７０８、バス７１０、及び記憶装置７１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ７０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置７１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置７００は、１又は２以上のネットワークインターフェイス７０２を含むことができる。ネットワークインターフェイスの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス７０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及び他のデバイスのうちの１又は２以上を含むことができる。分類ワークフローを実装するのに使用される分類ワークフローアプリケーション７３０は、記憶装置７１２及びメモリ７０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置７００は、図７に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、分類ワークフローハードウェア７２０が含まれる。図７のコンピュータ装置７００は、分類ワークフローのためのアプリケーション７３０及びハードウェア７２０を含むが、分類ワークフローは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、分類ワークフローアプリケーション７３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、分類ワークフローハードウェア７２０は、分類ワークフローを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

いくつかの実施形態では、分類ワークフローアプリケーション７３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

本明細書で説明する分類ワークフローを利用するために、カメラを含む顕微鏡などの装置を使用して、コンテンツを取得し、装置は、取得したコンテンツを処理することができる。分類ワークフローは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

動作時、分類ワークフローは、ＩＡＣＳで使用される。ワークフローは、スペクトルセルソーター又は他の従来のセルソーターで使用することもできる。教師なしクラスタリングと教師あり分類とを組み合わせる分類ワークフローの利点は、関心サブ集団を識別するために現在の手動順次ゲーティングの方法を使用して発生する可能性があるバイアス及びヒューマンエラーを低減することである。ＩＡＣＳは、細胞の高速イメージングを実行することにより、従来のフローサイトメトリーを使用して不可能である新たなアプリケーションを可能にする。ＩＡＣＳは、フローサイトメトリーの高スループットと、顕微鏡検査のハイコンテント情報とを組み合わせる。ＩＡＣＳは、細胞のサブ集団を分取して、下流のアッセイのためにその集団を単離／精練（ｐｕｒｉｆｙ）する。セルソーティングは、５００マイクロ秒未満で行われる。

フレキシブルな画像ベースの粒子ソーティングのための分類ワークフローのいくつかの実施形態
１．方法であって、
細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、
教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、
分類器を実装して、教師あり分類を微調整するステップと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、
を含む方法。

２．前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第１項に記載の方法。

３．前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第１項に記載の方法。

４．前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである、第１項に記載の方法。

５．前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含む、第１項に記載の方法。

６．前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含む、第１項に記載の方法。

７．ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第５項に記載の方法。

８．前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第１項に記載の方法。

９．前記分類器は、実験ごとに再訓練されるように構成される、第１項に記載の方法。

１０．装置であって、
細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うためのアプリケーションを記憶するための非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

１１．前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第１０項に記載の装置。

１２．前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第１０項に記載の装置。

１３．前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである、第１０項に記載の装置。

１４．前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む、第１０項に記載の装置。

１５．前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される、第１０項に記載の装置。

１６．ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第１４項に記載の装置。

１７．前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第１０項に記載の装置。

１８．前記分類器は、実験ごとに再訓練されるように構成される、第１０項に記載の装置。

１９．システムであって、
細胞画像を取得するように構成される第１の装置と、
第２の装置と、
を含み、
前記第２の装置は、
前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、
教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
分類器を実装して、教師あり分類を微調整することと、
前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
を行うように構成される、
システム。

２０．前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定する、第１９項に記載のシステム。

２１．前記特徴エンコーダは、ニューラルネットワークを使用して実装される、第１９項に記載のシステム。

２２．前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルである、第１９項に記載のシステム。

２３．前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含む、第１９項に記載のシステム。

２４．前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成される、第１９項に記載のシステム。

２５．ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識される、第２３項に記載のシステム。

２６．前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整する、第１９項に記載のシステム。

２７．前記分類器は、実験ごとに再訓練されるように構成される、第１９項に記載のシステム。

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

２００ 特徴エンコーダを事前に訓練
２０２ 教師なしクラスタリングを利用して集団を識別
２０４ 分類器を実装して教師あり分類を微調整／訓練された分類器
２０６ アクティブソーティング中にリアルタイム分類を実行
３００ 分取サンプルからの細胞画像を取得
３０２ 特徴エンコーダ（ニューラルネットワーク）を実装
３０４ （階層密度ベースの）教師なしクラスタリングを実行
３０６ ユーザがクラスタを見て、どのクラスタが関心細胞を含むかを判断
４００ 標識された画像
４０２ 教師あり分類ニューラルネットワーク
７００ コンピュータ装置
７０２ ネットワークインターフェイス
７０４ メモリ
７０６ プロセッサ
７０８ Ｉ／Ｏデバイス
７１０ バス
７１２ 記憶装置
７２０ 分類ワークフローハードウェア
７３０ 分類ワークフローアプリケーション
６１０１ 光照射ユニット
６１０２ 検出ユニット
６１０３ 情報処理ユニット
６１０４ ソーティングユニット
Ｃ 流路
Ｐ 生体粒子
Ｓ 生体サンプル

Claims (27)

1. 方法であって、
   細胞画像を使用して、特徴エンコーダを事前に訓練するステップと、
   教師なしクラスタリングを実行して、集団を識別するステップであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練するステップから出力を受け取る、ステップと、
   分類器を実装して、教師あり分類を微調整するステップと、
   前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行するステップと、
   を含むことを特徴とする方法。
2. 前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項１に記載の方法。
3. 前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項１に記載の方法。
4. 前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項１に記載の方法。
5. 前記教師なしクラスタリングを実行するステップは、前記細胞画像の細胞をクラスタに分類するステップを含むことを特徴とする、請求項１に記載の方法。
6. 前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するステップを更に含むことを特徴とする、請求項１に記載の方法。
7. ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項５に記載の方法。
8. 前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項１に記載の方法。
9. 前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項１に記載の方法。
10. 装置であって、
    細胞画像を使用して、特徴エンコーダを事前に訓練することと、
    教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
    分類器を実装して、教師あり分類を微調整することと、
    前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
    を行うためのアプリケーションを記憶するための非一時的メモリと、
    前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
    を含むことを特徴とする装置。
11. 前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項１０に記載の装置。
12. 前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項１０に記載の装置。
13. 前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項１０に記載の装置。
14. 前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含むことを特徴とする、請求項１０に記載の装置。
15. 前記装置は、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成されることを特徴とする、請求項１０に記載の装置。
16. ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項１４に記載の装置。
17. 前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項１０に記載の装置。
18. 前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項１０に記載の装置。
19. システムであって、
    細胞画像を取得するように構成される第１の装置と、
    第２の装置と、
    を含み、
    前記第２の装置は、
    前記細胞画像を使用して、特徴エンコーダを事前に訓練することと、
    教師なしクラスタリングを実行して、集団を識別することであって、前記教師なしクラスタリングは、前記特徴エンコーダを事前に訓練することから出力を受け取る、ことと、
    分類器を実装して、教師あり分類を微調整することと、
    前記分類器を使用して、アクティブソーティング中に細胞のリアルタイム分類を実行することと、
    を行うように構成される、
    ことを特徴とするシステム。
20. 前記特徴エンコーダは、前記細胞画像から特徴値を検出及び測定することを特徴とする、請求項１９に記載のシステム。
21. 前記特徴エンコーダは、ニューラルネットワークを使用して実装されることを特徴とする、請求項１９に記載のシステム。
22. 前記特徴エンコーダは、１～１２個の画像チャネルに対応するようにスケーラブルであることを特徴とする、請求項１９に記載のシステム。
23. 前記教師なしクラスタリングを実行することは、前記細胞画像の細胞をクラスタに分類することを含むことを特徴とする、請求項１９に記載のシステム。
24. 前記システムは、前記教師なしクラスタリングの結果に基づいて、どの細胞の集団を分取すべきかを手動で又は自動的に決定するように更に構成されることを特徴とする、請求項１９に記載のシステム。
25. ユーザが、前記クラスタ及び代表的な情報を見ることに基づいて、前記教師なしクラスタリングの後に前記クラスタを標識し、クラスタは「分取する」又は「分取しない」と標識されることを特徴とする、請求項２３に記載のシステム。
26. 前記教師なしクラスタリングからの分類結果を前記分類器によって使用して、畳み込みニューラルネットワークを微調整することを特徴とする、請求項１９に記載のシステム。
27. 前記分類器は、実験ごとに再訓練されるように構成されることを特徴とする、請求項１９に記載のシステム。

Images