JP6619732B2 - 顕微鏡画像内の個々の細胞を分類および識別するための方法およびシステム - Google Patents

Description

（関連出願）
本願は、２０１３年１０月２８日に出願された、米国仮特許出願第６１／８９６，２８２号の利益を主張するものであり、該仮特許出願の内容は、その全体が本明細書中に援用される。

本発明は、画像の処理に関し、より具体的には、顕微鏡画像内の個々の細胞の識別に関する。

生物学的サンプルの顕微鏡画像は、背景に対して、種々の細胞タイプおよび残骸を含み得る。研究者は、顕微鏡画像内に存在する、特定のタイプの細胞の統計を得ることを所望し得る。そのような統計は、画像内に存在する特定の細胞タイプの細胞数のカウント、そのような細胞のサイズの範囲、ならびにそのような細胞のサイズの平均値、中央値、および最頻値を含んでもよい。任意のそのような統計が、計算され得る前に、顕微鏡画像内の特定の細胞タイプの細胞は、顕微鏡画像内に存在する他の細胞タイプから、また、顕微鏡画像内に存在する任意の残骸からも識別されなければならない。

さらに、細胞のサイズを測定するために、そのような細胞の境界が、識別される必要があり得る。画像内の特定のタイプの全細胞の中心および境界を手動で識別するのは、時間がかかり、研究者側の疲労および誤差につながり得る。さらに、複数の顕微鏡画像内の細胞を識別および測定するために要求される時間量は、実行可能ではない場合があり、したがって、実施され得る研究のタイプを限定し得る。

エッジ検出方法が、画像内のオブジェクトのエッジを識別するために使用されている。しかしながら、そのような方法は、特定の細胞タイプの細胞の画像であるオブジェクトと、残骸または非関心細胞タイプの細胞とを区別し得ない。加えて、そのような技法は、細胞の集密的（すなわち、隣接または重複する）集合を含む画像内の個々の細胞を識別する際、効果的ではない場合がある。そのようなエッジ検出技法は、例えば、そのような特徴と背景との間のコントラストが十分に大きくない場合、細胞特徴を識別する際、効果的ではない場合がある。そのようなコントラストの欠如は、例えば、染料または他のマーカーで標識されない細胞の画像内では、問題となり得る。加えて、エッジ検出方法は、細胞を他のタイプのオブジェクトから区別し得ない。さらに、エッジ検出方法は、オブジェクトを包囲するエッジ全体を検出せず、包囲されたオブジェクトの代わりに、その間に間隙を伴うエッジのセクションを示す、結果を提供し得る。

他の技法は、画像を評価し、特定のサイズおよび／または形状の「***」を識別し、そのような***とエッジ情報を組み合わせ得る。しかしながら、そのような技法は、不規則形状を良好に識別せず、***とエッジ情報の組み合わせは、典型的には、有意な付加的処理時間を要求する。グラフカットが、画像内のオブジェクトを背景から区別するために使用されてもよい。しかしながら、これは、計算集約的であって、特に、実世界画像の処理に好適ではない場合がある。

その結果、顕微鏡画像内のオブジェクトを識別および測定するための改良されたアプローチの必要性が存在する。

本発明の一側面によると、画像内の細胞を識別するコンピュータ実装方法は、画像を受信するステップと、訓練データを受信するステップとを含む。訓練データは、画像内の特定のタイプのオブジェクトと関連付けられた画素を識別する。コンピュータ実装方法はさらに、画像の複数のフィルタ処理されたバージョンを展開するステップと、訓練データおよび画像の複数のフィルタ処理されたバージョンを処理し、特定のタイプのオブジェクトと関連付けられた画素を分類するための訓練されたモデルを展開するステップとを含む。加えて、コンピュータ実装方法は、訓練されたモデルを画像に適用し、画像内の特定のタイプの複数のオブジェクトと関連付けられた画素を識別するステップを含む。

別の本発明の側面によると、画像内のオブジェクトを識別するためのシステムは、画像取得モジュールと、ユーザインターフェースモジュールと、フィルタ処理モジュールと、訓練モジュールと、細胞識別モジュールとを含む。画像取得モジュールは、画像を受信し、ユーザインターフェースモジュールは、訓練データを受信する。訓練データは、画像内の特定のタイプのオブジェクトと関連付けられた画素を識別する。フィルタ処理モジュールは、画像の複数のフィルタ処理されたバージョンを展開する。訓練モジュールは、訓練データおよび画像の複数のフィルタ処理されたバージョンを処理し、特定のタイプのオブジェクトと関連付けられた画素を分類するための訓練されたモデルを展開する。細胞識別モジュールは、訓練されたモデルを画像に適用し、画像内の特定のタイプの複数のオブジェクトと関連付けられた画素を識別する。
本発明は、例えば、以下を提供する。
（項目１）
画像内のオブジェクトと関連付けられた画素を分類するコンピュータ実装方法であって、
画像を受信するステップと、
訓練データを受信するステップであって、前記訓練データは、前記画像内の特定のタイプのオブジェクトと関連付けられた画素を識別する、ステップと、
前記画像の複数のフィルタ処理されたバージョンを展開するステップと、
前記訓練データおよび前記画像の複数のフィルタ処理されたバージョンを処理し、前記特定のタイプのオブジェクトと関連付けられた画素を分類するための訓練されたモデルを展開するステップと、
前記訓練されたモデルを前記画像に適用し、前記画像内の前記特定のタイプの複数のオブジェクトと関連付けられた画素を識別するステップと、
オブジェクトセグメント化を精緻化するための画像処理ステップと、
を含む、方法。
（項目２）
前記訓練されたモデルを適用するステップは、前記画像内の前記特定のタイプの集密的オブジェクト間の境界と関連付けられた画素を識別する、項目１に記載のコンピュータ実装方法。
（項目３）
前記特定のタイプは、生物学的細胞であり、前記訓練されたモデルを適用するステップは、前記画像内の集密的生物学的細胞間の境界と関連付けられた画素を識別する、項目１に記載のコンピュータ実装方法。
（項目４）
さらなる画像を受信するステップと、前記訓練されたモデルを前記さらなる画像に適用し、前記さらなる画像内の複数の細胞と関連付けられた画素を識別するステップとをさらに含む、項目３に記載のコンピュータ実装方法。
（項目５）
前記訓練されたモデルを前記さらなる画像に適用するステップは、前記さらなる画像の複数のフィルタ処理されたバージョンを展開するステップを含む、項目４に記載のコンピュータ実装方法。
（項目６）
前記画像の複数のフィルタ処理されたバージョンのそれぞれを展開するステップは、第１のフィルタのセットから選択されるフィルタを適用するステップを含み、
前記さらなる画像の複数のフィルタ処理されたバージョンのそれぞれを展開するステップは、第２のフィルタのセットから選択されるフィルタを適用するステップを含み、
前記第１のフィルタのセットおよび前記第２のフィルタのセットは、同じではない、
項目５に記載のコンピュータ実装方法。
（項目７）
前記訓練されたモデルを適用するステップは、ランダムフォレスト決定木アルゴリズム、神経ネットワーク、サポートベクトルマシン、およびｋ−平均クラスタリングアルゴリズムのうちの１つを使用するステップを含む、項目３に記載のコンピュータ実装方法。
（項目８）
前記画像のフィルタ処理されたバージョンを展開するステップは、エッジ検出フィルタ、ピーク検出フィルタ、サブサンプリングフィルタ、および平滑化演算子のうちの１つを適用するステップを含む、項目３に記載のコンピュータ実装方法。
（項目９）
前記画像内の複数の細胞と関連付けられた識別された画素によって表される細胞の数を判定するステップをさらに含む、項目３に記載のコンピュータ実装方法。
（項目１０）
識別された細胞の識別された部分を拡張または精緻化し、前記細胞と関連付けられた付加的画素を選択するステップをさらに含む、項目３に記載のコンピュータ実装方法。
（項目１１）
画像内のオブジェクトを識別するためのシステムであって、
画像を受信する、画像取得モジュールと、
訓練データを受信する、ユーザインターフェースモジュールであって、前記訓練データは、前記画像内の特定のタイプのオブジェクトと関連付けられた画素を識別する、ユーザインターフェースモジュールと、
前記画像の複数のフィルタ処理されたバージョンを展開する、フィルタ処理モジュールと、
前記訓練データおよび前記画像の複数のフィルタ処理されたバージョンを処理し、前記特定のタイプのオブジェクトと関連付けられた画素を分類するための訓練されたモデルを展開する、訓練モジュールと、
前記訓練されたモデルを前記画像に適用し、前記画像内の前記特定の複数のオブジェクトと関連付けられた画素を識別する、オブジェクト識別モジュールと、
分類結果を精緻化し、オブジェクトセグメント化を得る、画像処理モジュールと、
を備える、システム。
（項目１２）
前記オブジェクト識別モジュールは、前記特定のタイプの集密的オブジェクト間の境界と関連付けられた画素を識別する、項目１１に記載のシステム。
（項目１３）
前記特定のタイプは、生物学的細胞であり、前記オブジェクト識別モジュールは、前記画像内の集密的生物学的細胞間の境界と関連付けられた画素を識別する、項目１１に記載のシステム。
（項目１４）
前記画像取得モジュールは、さらなる画像を受信し、細胞識別モジュールは、前記訓練されたモデルを前記さらなる画像に適用し、前記さらなる画像内の複数の細胞と関連付けられた画素を識別する、項目１３に記載のシステム。
（項目１５）
前記フィルタ処理モジュールは、前記さらなる画像のフィルタ処理されたバージョンを展開し、前記細胞識別モジュールは、前記さらなる画像のフィルタ処理されたバージョンを使用し、前記画像内の複数の細胞と関連付けられた画素を識別する、項目１４に記載のシステム。
（項目１６）
前記フィルタ処理モジュールは、第１のフィルタのセットを使用し、前記画像の複数のフィルタ処理されたバージョンを展開し、第２のフィルタのセットを使用し、前記さらなる画像の複数のフィルタ処理されたバージョンを展開し、前記第１のフィルタのセットおよび前記第２のフィルタのセットは、同じではない、項目１５に記載のシステム。
（項目１７）
前記オブジェクト識別モジュールは、ランダムフォレスト決定木アルゴリズム、神経ネットワーク、サポートベクトルマシン、およびｋ−平均クラスタリングアルゴリズムのうちの１つを使用する、項目１３に記載のシステム。
（項目１８）
前記フィルタ処理モジュールは、前記画像に、エッジ検出フィルタ、ピーク検出フィルタ、サブサンプリングフィルタ、および平滑化演算子のうちの１つを適用する、項目１３に記載のシステム。
（項目１９）
前記画像内の複数の細胞と関連付けられた識別された画素によって表される細胞の数を判定する、細胞測定モジュールをさらに備える、項目１３に記載のシステム。
（項目２０）
前記細胞測定モジュールは、前記画像内の複数の細胞と関連付けられた統計を計算する、項目１３に記載のシステム。

図１は、オブジェクト識別システムの概略である。

図２Ａおよび２Ｂは、図１のオブジェクト識別システムによって処理される顕微鏡画像の実施例である。

図３Ａおよび３Ｂは、ユーザによって提供される入力を示す、図２Ａおよび２Ｂの画像である。

図４は、図１のシステムを使用した図２Ａの画像の処理から生じる画像の実施例である。

図５は、機械学習機能を訓練するために、図１のシステムによって行われる処理のフロー図である。

図６は、図５において展開される訓練されたモデルを画像に適用するために、図１のシステムによって行われる処理の別のフロー図である。

図７は、図１のシステムによって生成され得る、グラフィカルユーザインターフェースである。

図１を参照すると、１つまたはそれを上回る顕微鏡画像を処理するための細胞識別システム１００は、画像源１０３からの画像を取得する、画像取得モジュール１０２を含む。画像源１０３は、例えば、顕微鏡、デジタルカメラ、または以前に得られた画像のリポジトリであり得る。画像取得モジュール１０２は、取得された画像を画像記憶１０４内に記憶する。

ユーザインターフェースモジュール１０６は、細胞識別システム１００のユーザによって動作されるコンピュータ１０８上に画像を表示する。そのようなコンピュータ１０８は、細胞識別システム１００からそこに伝送された情報および画像を表示するためのディスプレイを含む。コンピュータ１０８はまた、ユーザ選択をシステム１００に提供するために、１つまたはそれを上回る入力デバイスを含む。そのような入力デバイスは、キーボード、マウス、タッチスクリーン、および同等物のうちの１つまたはそれを上回るものを含む。

ユーザは、コンピュータ１０８の入力デバイスを使用して、特定の細胞タイプの少なくとも１つの例示的細胞と関連付けられる、表示される画像の１つまたはそれを上回る面積を識別する。識別は、細胞中心および／または細胞境界と関連付けられる、表示される画像の画素の選択およびマーキングを含んでもよい。加えて、ユーザは、コンピュータ１０８の入力デバイスを使用して、いかなるオブジェクトも有していない領域（すなわち、背景）と関連付けられる、表示される画像の１つまたはそれを上回る面積を識別してもよい。ユーザはまた、コンピュータ１０８の入力デバイスを使用して、特定のタイプの細胞と関連付けられないオブジェクト、例えば、残骸と関連付けられる、表示される画像の１つまたはそれを上回る面積を識別してもよい。

一実施形態では、ユーザは、特定のタイプの１つの細胞と関連付けられる、表示される画像内の画素の全てを識別する。他の実施形態では、ユーザは、特定のタイプの細胞の一部（例えば、細胞中心または細胞境界）と関連付けられた画素を識別する。ユーザが、細胞と関連付けられた画素の全てを識別する場合、ユーザインターフェースモジュール１０６は、自動的に、識別された画素の最外画素近傍の画素を細胞の境界の開始として関連付けてもよい。いくつかの実施形態では、ユーザインターフェースモジュール１０６は、第１の色を伴う細胞の内部の画素をハイライトし、第２の色を伴う細胞の境界の画素をハイライトする、画像を表示し、ユーザから、そのような識別が正確であることを要求してもよい。ユーザは、識別が正しいことを肯定応答する、または細胞境界と関連付けられた画素を選択することによって、識別された細胞境界を調節してもよい。

ユーザインターフェースモジュール１０６は、コンピュータ１０８から選択を受信し、訓練データを展開し、訓練データを訓練データ記憶１０９内に記憶する。一実施形態では、訓練データは、画素座標およびそのような座標が関連付けられるオブジェクト分類のリストを備える。オブジェクト分類は、例えば、細胞中心、細胞エッジ、不要物、および同等物のうちの１つであってもよい。

訓練データに加え、画像分類システム１００は、取得された画像のフィルタ処理されたバージョンを展開する。特に、フィルタ処理モジュール１１０は、取得された画像記憶１０４内に記憶された取得された画像を読み取り、１つまたはそれを上回る画像フィルタを取得された画像に適用する。取得された画像に適用され得るフィルタは、エッジ検出器、ピーク検出器、平滑化演算子、および同等物を含む。取得された画像および取得された画像のフィルタ処理されたバージョンは、フィルタ処理された画像記憶１１２内に記憶される。

加えて、フィルタ処理モジュール１１０は、画像をサブサンプリングする、１つまたはそれを上回るフィルタを適用してもよい。加えて、フィルタ処理モジュール１１０は、複数のフィルタを特定の順序で画像に適用し、フィルタ処理された画像記憶１１２内に記憶される、フィルタ処理された画像を展開してもよい。例えば、フィルタ処理モジュール１１０は、サブサンプリングフィルタを適用し、次いで、エッジ検出フィルタをサブサンプリングされた画像に適用し、結果として生じるエッジ検出され、サブサンプリングされた画像をフィルタ処理された画像記憶１１２内に記憶してもよい。

訓練モジュール１１４は、機械訓練技法を用いて、訓練データ、取得された画像、および取得された画像のフィルタ処理されたバージョンを使用し、訓練されたモデル記憶１１６内に記憶される、訓練されたモデルを展開する。訓練されたモデルは、例えば、細胞、細胞エッジ、背景、および同等物のうちの１つまたはそれを上回るものと関連付けられる、取得された画像内の画素を区別するために使用され得る、一式のルールを含む。そのような訓練されたモデルは、取得された画像およびそのフィルタ処理されたバージョンに適用され、取得された画像内の画素を分類してもよい。一実施形態では、訓練モジュール１１４は、教師あり学習を使用して、訓練されたモデルを展開する。訓練されたモデルを展開する他の方法も、当業者に明白となり得る。

一実施形態では、訓練データ内の座標毎に、訓練モジュール１１４は、そのような座標と関連付けられたフィルタ処理された画像記憶１１２内の各画像の画素の特徴の輝度または強度を評価する。例えば、訓練モジュール１１４は、訓練データ内の細胞中心を用いて識別された座標が、取得された画像の第１のフィルタ処理されたバージョン内の対応する画素内の第１の特定の輝度と、取得された画像の第２のフィルタ処理されたバージョン内の対応する画素内の第２の輝度と関連付けられることを判定してもよい。同様に、訓練モジュール１１４は、取得された画像の背景部分が、取得された画像の第１のフィルタ処理されたバージョン内の第３の輝度と、取得された画像の第２のフィルタ処理されたバージョン内の第４の輝度と関連付けられることを判定してもよい。別の実施例では、訓練モジュール１１４は、訓練データ内の細胞の境界と関連付けられた座標が、取得された画像のエッジ−検出フィルタ処理されたバージョン内の特定のエッジ方向またはエッジ強度と関連付けられることを判定してもよい。

このように、訓練モジュール１１４は、取得された画像およびフィルタ処理された画像を分析し、訓練モデル内のオブジェクト分類と、取得された画像および／またはフィルタ処理された画像内の特徴のインジケーションまたは強度を関連付け、画像に適用され、そのような画像内の画素を、例えば、細胞中心、細胞エッジ、背景、および同等物として分類し得る、一式のルールを含む、訓練されたモデルを展開する。そのようなルールは、訓練されたモデルとして、訓練されたモデル記憶１１６内に記憶される。いくつかの実施形態では、訓練モジュール１１４は、その有効性を判定するためのルールを評価する。訓練モジュール１１４は、各ルールを訓練データに対して適用し、そのようなルールを使用して正しく識別された訓練データ内の画素のパーセンテージを判定する。いくつかの実施形態では、生成されたルールの全てから、訓練モジュール１１４は、取得された画像内の画素の少なくとも所定のパーセンテージを正しく分類可能である、一式のルールを識別してもよい。そのような一式のルールは、訓練されたモデルとして、訓練されたモデル記憶１１６内に記憶され、残りのルールは、破棄される。一実施形態では、所定のパーセンテージは、９５％である。他の所定のパーセンテージは、ユーザによって、または分類されるタイプの画像に従って、選択されてもよい。

訓練モジュール１１４が、それによって展開されるルールのいずれかを破棄する場合、破棄されたルールによってのみ使用される画像の任意のフィルタ処理されたバージョンは、別の画像が訓練されたモデルを使用して処理されるとき、生成される必要はない。いくつかの実施形態では、訓練モジュール１１４は、不必要なフィルタが適用されないように、フィルタ処理モジュールによって後続画像上に適用されるであろうフィルタを調節する。いくつかの実施形態では、訓練モジュール１１４は、訓練データの画素を分類するためのルールによって使用される、フィルタ処理された画像を判定し、フィルタ処理モジュール１１０によって使用されるフィルタのセットを適宜調節してもよい。特に、フィルタのセットは、フィルタ処理モジュール１１０が、後続取得された画像に、そのようなルールによって使用されるフィルタ処理された画像と関連付けられるフィルタのみを適用するように、調節される。フィルタ処理モジュール１１０によって適用されるフィルタのセットのそのような調節は、画像を処理するために要求される時間量を削減し得る。

一実施形態では、訓練モジュール１１４は、それによって展開される訓練されたモデルを取得された画像（および、フィルタ処理されたバージョン）に適用し、取得された画像の分類されたバージョンを展開する。取得された画像の分類されたバージョンは、特定のタイプの細胞の中心および境界と関連付けられる、訓練モジュールによって判定された画素を識別する（例えば、異なる色を使用する）。取得された画像の分類されたバージョンは、コンピュータ１０８上に表示され、ユーザは、任意の補正を行うように求められる。そのような補正は、訓練データを修正するために使用され、訓練モジュール１１４は、修正された訓練データを使用して、訓練されたモデルを精緻化する。いくつかの実施形態では、システム１００は、新しい訓練されたモデルを修正された訓練データから展開してもよい。このように、システム１００は、ユーザが満足するまで、訓練されたモデルを精緻化するように反復的に動作する。

訓練されたモデルが、展開され、訓練されたモデル記憶１１６内に記憶された後、訓練されたモデルは、画像取得モジュール１０２によって取得されたさらなる画像に対して適用され、取得された画像記憶１０４内に記憶されてもよい。フィルタ処理モジュール１１０は、訓練されたモデル記憶１１６内に記憶される訓練されたモデルを備えるルールによって要求される、さらなる画像のフィルタ処理されたバージョンを生成する。細胞識別モジュール（または、オブジェクト識別モジュール）１１８は、訓練されたモデルをさらなる画像およびさらなる画像のフィルタ処理されたバージョンに適用し、さらなる画像の画素を分類する。細胞識別モジュール１１８は、細胞の異なる部分と関連付けられた画素が識別される、さらなる画像のバージョンを展開してもよい。そのような画像は、それによって使用されるコンピュータ１０８上において、ユーザによって閲覧されてもよい。いくつかの実施形態では、細胞識別モジュール１１８は、識別され、分類された画素を有する、さらなる画像のバージョンを細胞測定モジュール１２０に提供してもよい。細胞測定モジュール１２０は、当業者に明白となるであろう技法を使用し、さらなる画像内に存在する細胞のカウント、そのような細胞のサイズ、およびそのような細胞と関連付けられた統計を展開してもよい。

一実施形態では、細胞測定モジュール１２０は、細胞に属するとして分類された隣接する画素群（本明細書では、「シード」と称される）を選択する。細胞測定モジュール１２０は、その後、細胞測定モジュール１２０が、拡張されたシードが細胞と関連付けられた全画素を含んでいることを判定するまで、付加的画素をそこに追加することによって、シードを拡張する。一実施形態では、候補画素が、シードに追加されるべきかどうかを判定するために、細胞測定モジュール１２０は、オリジナルシードからの候補画素の距離と調整係数を乗算し、そのような積に、オリジナルシードと、オリジナルシードと候補画素との間の画素との間の輝度変化の絶対値の累積和を加算することによって、スコアを計算する。スコアが、所定の閾値を超える場合、画素は、シードに追加されない。

調整係数は、輝度変化対距離の不均衡を平衡化するように選択される。取得された画像が、鋭エッジを有し、殆どまたは全く雑音を有していない場合、シードへの画素の追加を停止する決定は、主に、エッジと関連付けられた候補画素（すなわち、候補画素とシード内の画素の残りとの間の輝度の実質的変化）との遭遇に基づき得る。しかしながら、取得された画像が、弱エッジを有する、または実質的量の雑音を有する場合、調整係数は、拡張されたシードのサイズが、付加的画素がシードに追加されるかどうかを制御するように選択される。細胞測定モデル１２０は、ユーザによって供給される訓練データを分析し、訓練データ内に供給される細胞境界または細胞サイズに一致するようにシードを最良に拡張させる、調整係数を判定する。調整係数を選択する他の方法も、当業者に明白となるであろう。

第１の細胞および第２の細胞と関連付けられた第１のシードおよび第２のシードが、前述のように拡張され、候補画素が、いずれかのシードと継合され得ることが識別される場合、第１のシードおよび第２のシードと関連付けられた第１のスコアおよび第２のスコアは、前述のように、計算される。候補画素は、より低いスコアと関連付けられたシードに追加される。候補画素は、第１のスコアが第２のスコア未満であるため、第１のシードに追加されると仮定する。第１のシードは、スコアが、所定の閾値未満である第１のシードに追加するためのさらなる候補画素に対して計算されるまで、前述のように拡張し続け得る。このように、第２のシードに以前に追加された画素は、第２のシードから除去され、前述のスコア計算に従って、第１のシードに追加されてもよい。このように、２つの細胞間の均衡点にある画素は、２つの細胞間のエッジに属する画素のための最良候補として識別される。さらに、２つの細胞はそれぞれ、その独自の識別を留保する。

いくつかの実施形態では、訓練モジュール１１４および細胞識別モジュール１１８は、当業者に明白となるであろう、ランダムフォレスト決定木技法を使用して実装されてもよい。他の実施形態では、訓練モジュール１１４および細胞識別モジュール１１８は、例えば、神経ネットワーク、サポートベクトルマシン、ｋ−平均クラスタリング、および同等物を含む、他の機械学習技法を使用して実装されてもよい。

いくつかの実施形態では、ユーザが、細胞中心のみを分類した場合、細胞中心のみ、訓練されたモデルが適用された後、識別されてもよい。そのような場合、細胞識別は、当業者に明白となるであろう、細胞拡張技法を使用して、各識別された細胞の細胞中心情報を使用し、そのような細胞をまた備える、近隣画素を選択してもよい。

図２Ａは、顕微鏡画像２００の実施例を図示する。顕微鏡画像２００の部分２０２は、図２Ｂに拡大されて示される。図２Ｂを参照すると、部分２０２は、細胞２０４を含む。

図３Ａおよび３Ｂは、ユーザがその中の例示的オブジェクトを識別した後の顕微鏡画像２００を示す、画像３００およびその一部３０２の実施例を図示する。ユーザは、細胞２０４の細胞中心３０４および細胞境界３０６と、背景面積３０８とを識別する。前述のように、細胞境界３０６は、ユーザが細胞２０４全体を識別する場合、システム１００によって、自動的に導出されてもよい。

図４は、前述のように、画像２００が処理された後に生じる、画像４００を図示する。明白であるように、画像４００全体を通して細胞４０２が、識別されている。

図５は、画像内の画素を分類するために使用され得る訓練されたモデルを展開するために、システム１００によって行われる処理のフロー図５００である。ステップ５０２において、画像取得モジュール１０２は、画像を取得し、画像を記憶する。ステップ５０４において、ユーザインターフェースモジュール１０６は、取得された画像を表示する。ステップ５０６において、ユーザインターフェースモジュールは、ユーザによって使用されるコンピュータ１０８から、少なくとも１つの細胞を伴って識別されたディスプレイ画像内の画素の識別を得て、訓練データを展開する。フィルタ処理モジュール１１０は、ステップ５０８において、取得された画像のフィルタ処理されたバージョンを生成する。ステップ５１０において、訓練モジュール１１４は、ステップ５０６において展開された訓練データと、ステップ５０８において展開された取得された画像のフィルタ処理されたバージョンとを使用し、訓練されたモデルを展開する。一実施形態では、訓練されたモデルは、取得された画像の取得され、フィルタ処理されたバージョンから訓練データを予測する、ランダムフォレスト決定木技法を使用して、最適決定木を識別することによって、展開される。いくつかの実施形態では、訓練モジュール１１４は、訓練されたモデルを評価し、展開され、訓練されたモデルが使用するフィルタ処理されたバージョンを判定してもよい。そのような実施形態では、フィルタ処理モジュール１１０のためのパラメータは、後続画像の不必要なフィルタ処理されたバージョンが展開されないように、訓練モジュール１１４によって、ステップ５１２において更新される。

図６は、訓練されたモデルを使用し、画像内の画素を分類し、そのような分類を使用し、画像内の細胞の統計を展開するために、システム１００によって行われる処理のフロー図６００を示す。ステップ６０２において、細胞識別モジュール１１８は、図５のステップ５１０において展開された、訓練されたモデルをロードする。ステップ６０４において、画像取得モジュール１０２は、分類される画像を取得する。フィルタ処理モジュール１１０は、ステップ６０６において、分類される画像のフィルタ処理されたバージョンを展開する。細胞識別モジュール１１８は、ステップ６０８において、訓練されたモデルおよび分類される画像のフィルタ処理されたバージョンを使用し、画像内の画素を分類する。ステップ６１０において、細胞測定モジュール１２０は、ステップ６０８において、細胞中心をカウントするために展開された画素分類を使用する。加えて、いくつかの実施形態では、細胞中心のみが、識別される場合、細胞測定モジュール１２０は、６１２において、同様に細胞に属するとして、細胞中心を囲繞する画素を分類してもよい。

ステップ６１４において、細胞測定モジュールは、細胞中心のカウントと、識別された細胞を伴う取得された画像の画像とを出力する。ステップ６１６において、画像取得モジュール１０２は、分類すべき任意の付加的画像が存在するかどうかを判定し、該当する場合、処理は、ステップ６０４に進み、さらなる画像をロードする。そうでなければ、システム１００は、終了する。

図７を参照すると、画像分類システム１００は、グラフィカルユーザインターフェース７００をコンピュータ１０７のディスプレイ上に生成してもよい。グラフィカルユーザインターフェース７００は、取得された画像が表示される領域７０２と、ソフトボタン７０４、７０６、７０８、および７１０とを含む。例示的グラフィカルユーザインターフェース７００では、ユーザが、ソフトボタン７０４を選択し、次いで、領域７０２内に表示される画像の画素を選択する場合、そのような画素は、細胞内部と関連付けられるであろう。同様に、ユーザが、ソフトボタン７０６を選択し、次いで、領域７０２内に表示される画像の画素を選択する場合、選択される画素は、表示される画像の背景または他の非関心領域と関連付けられるであろう。付加的ソフトボタンが、グラフィカルユーザインターフェース７００内に含まれ、ユーザが、画像の選択される画素と付加的画素を関連付けることを可能にしてもよいことは、明白であるはずである。また、ソフトボタン７０４または７０６は、ユーザが、特徴（例えば、細胞中心、細胞タイプ、細胞エッジ、残骸、および同等物）を識別することを可能にする、ポップアップメニューと関連付けられてもよく、続いて、画像内で選択される任意の画素は、識別された特徴と関連付けられたことも明白であるはずである。

ユーザが、ソフトボタン７０８を選択し、次いで、表示される画像の１つまたはそれを上回る画素を選択する場合、任意の選択される画素と以前に関連付けられた任意の特徴は、除去される。ユーザによるソフトボタン７１０の選択は、ユーザが、そのような画素と特徴を関連付けずに、画像内の画素を選択し得るように、ボタン７０４、７０６、および７０８の任意の選択をクリアにする。

ソフトボタン７１２、７１４、および７１６は、ユーザが、線幅を選択することを可能にする。例えば、ユーザが、ソフトボタン７１４を選択する場合、領域７０２内側の任意の後続選択は、例えば、１つの画素を選択し得る。ユーザが、ソフトボタン７１４を選択する場合、領域７０２内側の任意の後続選択は、例えば、３画素を選択し得る。ユーザが、ソフトボタン７１６を選択する場合、領域７０２内側の任意の後続選択は、例えば、５画素を選択し得る。

グラフィカルユーザインターフェース７００はまた、ソフトボタン７１８を含み、本ボタンの選択は、領域７０２内に表示される画像の画素と、ソフトボタン７０４および７０６を使用して選択される特徴との間でユーザが行った任意の関連付けをクリアにする。

ユーザが、領域７０２内に表示される画像の画素と特徴の関連付けを完了した後、ユーザは、ソフトボタン７２０を選択し、そのような関連付けをユーザインターフェースモジュール１０６に提出し、訓練データを展開し、訓練データ記憶１０９内に記憶してもよい。いくつかの実施形態では、ユーザインターフェース７００は、訓練モジュール１１４を呼び出し、記憶される訓練データから訓練されたモデルの展開を開始する。

システム１００は、伝送光、蛍光画像、微分干渉コントラスト、位相コントラスト、明視野撮像、および同等物を含む、異なるモダリティを使用して、取得された画像内のオブジェクトを識別するために使用されてもよい。システム１００は、マーカーで標識された細胞および非標識細胞の画像と併用されてもよい。さらに、訓練されたモデルは、１つのモダリティを使用して取得された画像を使用して展開されてもよく、訓練モデルは、続いて、異なるモダリティを使用して取得された画像に適用されてもよい。

システム１００は、大規模画像内のオブジェクトを識別およびセグメント化し、例えば、ウニ卵を分離およびカウントするために使用されてもよい。

システム１００はまた、画像内の細胞をセグメント化し、例えば、ミトコンドリアおよび同等物に対応する画像の画素を分類するために使用されてもよい。システム１００は、画像内の異なる細胞集合に対応する画素を分類および区別し、例えば、ニューロンと関連付けられた画素をグリア細胞と関連付けられた画素から区別し、または生体細胞と関連付けられた画素を死細胞と関連付けられた画素から区別するために使用されてもよい。システム１００は、同一画像内で集密的である、異なる集合または同一集合の細胞と関連付けられた画素を識別するために使用されてもよい。

前述のシステム１００は、画像内の細胞を識別する文脈において説明されたが、そのようなシステムが、画像内の任意のタイプのオブジェクトを識別するために使用されてもよいことは、明白であるはずである。システム１００は、画像内の背景、画像内の分離されたオブジェクト、ならびに集密的（または、接触する）オブジェクトを識別するために使用されることができる。さらに、システム１００は、画像内の種々のタイプのオブジェクトに対応する画素を分類するために使用されてもよい。

図１−７に関連して説明される、モジュール、プロセス、サブプロセス、およびプロセスステップのうちの１つまたはそれを上回るものは、１つまたはそれを上回る電子またはデジタル制御デバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行なわれてもよいことを理解および認識されたい。ソフトウェアは、例えば、図１−７に図式的に描写される、機能的システム、コントーラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つまたはそれを上回るもの等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）に常駐してもよい。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態、またはアナログ電気、音、もしくはビデオ信号等のアナログ源等のアナログ形態で実装され得る、「論理」）を実装するための実行可能命令の順序付けられたリストを含んでもよい。命令は、例えば、１つ以またはそれを上回るマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントーラ（例えば、画像取得モジュール１０２、ユーザインターフェースモジュール１０６、フィルタ処理モジュール１１０、訓練モジュール１１４、細胞識別モジュール１１８、および細胞測定モジュール１２０）内で実行されてもよい。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的（ハードウェアおよび／またはソフトウェア）実装を有する、機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作してもよい。

実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、選択的に、命令実行システム、装置、またはデバイスから命令をフェッチし、命令を実行し得る、電子コンピュータベースのシステム、プロセッサ含有システム、または他のシステム等、命令実行システム、装置、もしくはデバイスによってまたはそれと連動して使用するために、任意の非一過性コンピュータ可読記憶媒体内で選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、もしくはそれと連動して使用するためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであってもよい。非一過性コンピュータ可読媒体のより具体的実施例の非包括的リストとして、１つまたはそれを上回るワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読取専用メモリ（電子）、消去可能プログラマブル読取専用メモリ、例えば、フラッシュメモリ（電子）、コンパクトディスクメモリ、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）が挙げられる。非一過性コンピュータ可読記憶媒体は、プログラムが、例えば、紙または他の媒体の光学走査を介して、電子的に捕捉され、次いで、必要に応じて、好適な様式において、コンパイル、解釈、または別様に処理され、次いで、コンピュータメモリまたは機械メモリ内に記憶され得るため、プログラムが印刷される、紙または別の好適な媒体でさえあってもよいことに留意されたい。

また、データの受信および伝送は、本書で使用されるように、２つまたはそれを上回るシステム、デバイス、構成要素、モジュール、またはサブモジュールが、いくつかのタイプの信号経路を経由して進行する信号を介して、相互と通信可能であることを意味することを理解されるであろう。信号は、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに情報、電力、もしくはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理的、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間に付加的システム、デバイス、構成要素、モジュール、またはサブモジュールを含んでもよい。

（産業上の可用性）
本発明の多数の修正が、前述の説明に照らして、当業者に明白となるであろう。本明細書に説明される方法およびシステムは、種々の照明条件下において、異なる顕微鏡技法を使用して取得された画像内のオブジェクト、特に、細胞を識別するために使用されてもよい。故に、本説明は、例証のみとして解釈されるべきであって、当業者が本発明を作製および使用することを可能にする目的のために、かつそれを実施する最良の形態を教示するために提示される。添付の請求項の範囲内にある、あらゆる修正に対する排他的権利が、留保される。

Claims (16)

1. 画像内のオブジェクトに関連付けられた画素を分類するコンピュータ実装方法であって、前記コンピュータ実装方法は、
   画像を受信することと、
   訓練データを受信することであって、前記訓練データは、前記画像内の特定のタイプのオブジェクトに関連付けられた画素を識別する、ことと、
   第１の組のフィルタを前記画像に適用することによって、前記画像の複数のフィルタ処理されたバージョンを展開することと、
   前記訓練データおよび前記画像の複数のフィルタ処理されたバージョンを処理することにより、前記画像内の前記特定のタイプのオブジェクトに関連付けられた画素を分類するための訓練されたモデルを展開することであって、前記訓練されたモデルは、前記画像に適用されるべき第１の組のルールを含む、ことと、
   前記訓練されたモデルを前記画像に適用することにより、前記画像内の前記特定のタイプのオブジェクトに関連付けられた画素を識別することであって、前記訓練されたモデルを前記画像に適用することは、前記第１の組のルールの各ルールを前記画像に適用することを含む、ことと、
   前記特定のタイプのオブジェクトに関連付けられた画素を識別する際に、前記第１の組のルールの各ルールの有効性を評価することと、
   前記第１の組のルールから１つ以上のルールを選択することにより、第２の組のルールを展開することであって、各選択されたルールは、前記画像内の画素の少なくとも所定のパーセンテージを正しく分類することが可能である、ことと、
   さらなる画像に適用されるべき第２の組のフィルタを識別することであって、前記第２の組のフィルタは、前記第２の組のルールに関連付けられたフィルタのみを含む、ことと
   を含み、
   前記特定のタイプは、生物学的細胞であり、前記訓練されたモデルを適用することは、前記画像内の集密的生物学的細胞間の境界に関連付けられた画素を識別する、コンピュータ実装方法。
2. 前記さらなる画像を受信することと、前記第２の組のルールの各ルールを前記さらなる画像に適用することにより、前記さらなる画像内の複数の細胞に関連付けられた画素を識別することとをさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記第２の組のルールの各ルールを前記さらなる画像に適用することは、前記さらなる画像の複数のフィルタ処理されたバージョンを展開することを含む、請求項２に記載のコンピュータ実装方法。
4. 前記画像の複数のフィルタ処理されたバージョンのそれぞれを展開することは、前記第１の組のフィルタから選択されるフィルタを適用することを含み、
   前記さらなる画像の複数のフィルタ処理されたバージョンのそれぞれを展開することは、前記第２の組のフィルタから選択されるフィルタを適用することを含み、
   前記第１の組のフィルタおよび前記第２の組のフィルタは同一ではない、請求項３に記載のコンピュータ実装方法。
5. 前記訓練されたモデルを適用することは、ランダムフォレスト決定木アルゴリズム、神経ネットワーク、サポートベクトルマシン、ｋ−平均クラスタリングアルゴリズムのうちの１つを使用することを含む、請求項１〜４のうちのいずれか一項に記載のコンピュータ実装方法。
6. 前記画像のフィルタ処理されたバージョンを展開することは、エッジ検出フィルタ、ピーク検出フィルタ、サブサンプリングフィルタ、平滑化演算子のうちの１つを適用することを含む、請求項１〜５のうちのいずれか一項に記載のコンピュータ実装方法。
7. 前記画像内の複数の細胞に関連付けられた識別された画素によって表される細胞の数を判定することをさらに含む、請求項１〜６のうちのいずれか一項に記載のコンピュータ実装方法。
8. 識別された細胞の識別された部分を拡張または精緻化することにより、前記細胞に関連付けられた付加的画素を選択することをさらに含む、請求項１〜７のうちのいずれか一項に記載のコンピュータ実装方法。
9. 画像内のオブジェクトを識別するためのシステムであって、前記システムは、
   画像を受信する画像取得モジュールと、
   訓練データを受信するユーザインターフェースモジュールであって、前記訓練データは、前記画像内の特定のタイプのオブジェクトに関連付けられた画素を識別する、ユーザインターフェースモジュールと、
   第１の組のフィルタを前記画像に適用することによって、前記画像の複数のフィルタ処理されたバージョンを展開するフィルタ処理モジュールと、
   前記訓練データおよび前記画像の複数のフィルタ処理されたバージョンを処理することにより、前記特定のタイプのオブジェクトに関連付けられた画素を分類するための訓練されたモデルを展開する訓練モジュールであって、前記訓練されたモデルは、前記画像に適用されるべき第１の組のルールを含む、訓練モジュールと、
   前記訓練されたモデルを前記画像に適用することにより、前記画像内の前記特定のタイプのオブジェクトに関連付けられた画素を識別するオブジェクト識別モジュールであって、前記訓練されたモデルを前記画像に適用することは、前記第１の組のルールの各ルールを前記画像に適用することを含む、オブジェクト識別モジュールと
   を備え、
   前記訓練モジュールは、前記特定のタイプのオブジェクトに関連付けられた画素を識別する際に、前記第１の組のルールの各ルールの有効性を評価し、
   前記訓練モジュールは、前記第１の組のルールから１つ以上のルールを選択することにより、第２の組のルールを展開し、各選択されたルールは、前記画像内の画素の少なくとも所定のパーセンテージを正しく分類することが可能であり、
   前記フィルタ処理モジュールは、さらなる画像に適用されるべき第２の組のフィルタを識別し、前記第２の組のフィルタは、前記第２の組のルールに関連付けられたフィルタのみを含み、
   前記特定のタイプは、生物学的細胞であり、前記オブジェクト識別モジュールは、前記画像内の集密的生物学的細胞間の境界に関連付けられた画素を識別する、システム。
10. 前記画像取得モジュールは、前記さらなる画像を受信し、前記オブジェクト識別モジュールは、前記第２の組のルールの各ルールを前記さらなる画像に適用することにより、前記さらなる画像内の複数の細胞に関連付けられた画素を識別する、請求項９に記載のシステム。
11. 前記フィルタ処理モジュールは、前記さらなる画像のフィルタ処理されたバージョンを展開し、前記オブジェクト識別モジュールは、前記さらなる画像のフィルタ処理されたバージョンを使用することにより、前記画像内の複数の細胞に関連付けられた画素を識別する、請求項１０に記載のシステム。
12. 前記フィルタ処理モジュールは、前記第２の組のフィルタを使用することにより、前記さらなる画像の複数のフィルタ処理されたバージョンを展開し、前記第１の組のフィルタおよび前記第２の組のフィルタは同一ではない、請求項１１に記載のシステム。
13. 前記オブジェクト識別モジュールは、ランダムフォレスト決定木アルゴリズム、神経ネットワーク、サポートベクトルマシン、ｋ−平均クラスタリングアルゴリズムのうちの１つを使用する、請求項９に記載のシステム。
14. 前記フィルタ処理モジュールは、前記画像に、エッジ検出フィルタ、ピーク検出フィルタ、サブサンプリングフィルタ、平滑化演算子のうちの１つを適用する、請求項９に記載のシステム。
15. 前記画像内の複数の細胞に関連付けられた識別された画素によって表される細胞の数を判定する細胞測定モジュールをさらに備える、請求項９に記載のシステム。
16. 前記細胞測定モジュールは、前記画像内の複数の細胞に関連付けられた統計を計算する、請求項１５に記載のシステム。