JP2022506135A - ヒトの寄与を組み込む反復的深層学習フローを使用した顕微鏡画像内の３ｄ細胞間構造のセグメント化 - Google Patents

Abstract

３次元画像内の３次元構造の境界を識別するための設備が、説明される。複数の３次元画像のそれぞれに関して、本設備は、３次元画像内の構造の境界を識別するための、第１の試行の結果を受信し、第１の試行の結果をヒトに提示させる。いくつかの３次元画像のそれぞれに関して、本設備は、第１の試行の結果に関するフィードバックを提供するヒトによって発生される、入力を受信する。本設備は、次いで、複数の３次元画像の少なくとも一部、受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、３次元画像内の３次元構造の境界を識別する。

Description

（関連出願の相互参照）
本願は、そのそれぞれが、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月３０日に出願され、「ＳＥＧＭＥＮＴＩＮＧ ３Ｄ ＩＮＴＲＡＣＥＬＬＵＬＡＲ ＳＴＲＵＣＴＵＲＥＳ ＩＮ ＭＩＣＲＯＳＣＯＰＹ ＩＭＡＧＥＳ ＵＳＩＮＧ ＡＮ ＩＴＥＲＡＴＩＶＥ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＷＯＲＫＦＬＯＷ ＴＨＡＴ ＩＮＣＯＲＰＯＲＡＴＥＳ ＨＵＭＡＮ ＣＯＮＴＲＩＢＵＴＩＯＮＳ」と題された、米国特許出願第６２／７５２，８７８号、および２０１８年１２月５日に出願され、「ＳＥＧＭＥＮＴＩＮＧ ３Ｄ ＩＮＴＲＡＣＥＬＬＵＬＡＲ ＳＴＲＵＣＴＵＲＥＳ ＩＮ ＭＩＣＲＯＳＣＯＰＹ ＩＭＡＧＥＳ ＵＳＩＮＧ ＡＮ ＩＴＥＲＡＴＩＶＥ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＷＯＲＫＦＬＯＷ ＴＨＡＴ ＩＮＣＯＲＰＯＲＡＴＥＳ ＨＵＭＡＮ ＣＯＮＴＲＩＢＵＴＩＯＮＳ」と題された、米国特許出願第６２／７７５，７７５号の利益を主張する。

本願が、参照することによって組み込まれる文書と矛盾する場合、本願が、優先される。

（背景）
現代の顕微鏡検査技法は、試験管内および生体内での組織、細胞、細胞内構造、およびタンパク質の顕微鏡撮像に革命をもたらしている。そのような技法は、異なるタイプの多次元画像データ（３Ｄ、低速度撮影、複数の撮像チャネル、またはそれらの組み合わせ等）を発生させることができ、これは、次いで、ある範囲の定性的および定量的なアプローチを用いたさらなる分析のために利用可能である。定性的分析は、多くの場合、画像データの小さなセットの目視検査を含み、これは、一般的な画像品質を迅速に査定するため、または実験条件間の全般的な差異を比較するために非常に有用である。これらの観察値は、集計され、データ内の統計的傾向に関する数値を提供することができる。定量的かつ自動化された分析アプローチは、検査するための画像の数が多い、実験条件間の差異が一貫した手動スコア化のために微妙または複雑すぎる、または画像データおよびその解釈がデータに基づいたモデルを開発するために使用されることが意図されるとき、特に役立つ。画像データの定量的分析は、画像処理アルゴリズムを適用し、顕微鏡画像から、比較的および絶対的様式の両方において生物学的実験の意義のある解釈を可能にする、数値を抽出するステップを伴う。

画像内のオブジェクトの解釈可能な測定値を直接抽出するために、測定されるべきオブジェクトは、全てのピクセル（またはボクセル）が、そのオブジェクトの一部であるかまたは一部ではないものであるかのいずれかであるように識別される必要がある。その周囲からオブジェクトを識別する、またはセグメント化して区別する本ステップは、各オブジェクトのサイズおよび形状を測定すること、オブジェクトの数を計数すること、または所与のオブジェクト内の強度カウント値を測定することを可能にする。正確かつロバストな画像セグメント化、オブジェクト検出、および適切な検証は、したがって、定量的な画像分析にとって重要である。

本発明者らは、古典的画像処理アルゴリズム、従来的機械学習、および深層学習方法としてカテゴリ化され得る、既存の３Ｄ画像セグメント化方法における有意な欠点を認識している。古典的画像処理アルゴリズムは、細胞生物学研究団体によって最も広く使用されており、２つの主な方法においてアクセス可能である。いくつかのアルゴリズムは、いくつかのオープンプラットフォーム内で基本機能の集合物として利用可能である。しかしながら、一般的なオープンプラットフォーム内の基本機能は、時として、最適な結果を取得するために十分ではない。例えば、Ｆｒａｎｇｉ脈管強調フィルタが、フィラメント様構造をセグメント化するためのデフォルト方法として広く使用されている。Ｆｒａｎｇｉフィルタの近年のバリアントが、特に、異なる強度のフィラメントまたは交絡したフィラメントに関するセグメント化の正確度を有意に改良する。他の公開されたアルゴリズムは、具体的な撮像モダリティ内の具体的な構造のために設計されており、典型的には、個々に実装およびリリースされる。一般的な画像処理プラットフォームと比較すると、そのようなツールは、あまり広く適用可能ではなく、多くの場合、適用するために著しく便宜的ではない。

代替として、従来的機械学習アルゴリズムが、時として、顕微鏡画像からのセグメント化を促進するために使用される。これらは、あるツールに統合されている、ランダムフォレストと、サポートベクタマシンとを含む。ユーザは、単に、選択的ピクセル／ボクセルを前景および背景サンプルとしてペイントする。従来的機械学習モデルが、自動的に訓練され、次いで、画像全てに適用され、ペイントされたピクセルまたはボクセルを予測する。これらのツールは、従来的機械モデルの有効性によって限定される。古典的画像処理方法および従来的機械学習アルゴリズムが、正確なセグメント化を発生させない問題に関して、深層学習ベースの３Ｄセグメント化方法が、有意な成功を達成している。本発明者らは、生物学者が、３Ｄ顕微鏡画像セグメント化の問題、すなわち、モデル訓練のために３Ｄグランドトゥルースを調製すること、およびこれらの深層学習モデルを構築および展開するための便宜的なツールへのアクセスを解決するために、深層学習の能力を活用することを妨害する、２つの要因を認識している。医療用画像のためのもの等の既存のツールは、大部分は、深層学習の知識を迅速に適用し、問題を解決することに注力している。これは、依然として、深層学習およびコンピュータビジョンの十分な経験を伴わない人々にとって難しい。他のツールが、全ての人々にとって使用し易くあり得るが、それらを訓練するために必要とされるグランドトゥルースを発生させることが、多くの場合、非常に困難である。「手動のペインティング」が、２Ｄセグメント化の問題のために、グランドトゥルースを発生させるために広く使用されている。しかしながら、「手動のペインティング」を介して３Ｄグランドトゥルース画像を発生させることは、これが、極めて多大な時間がかかること、および、本質的に困難であることの両方であるため、瞬く間に法外に高価な状態になる。例えば、２Ｄ画像内で核の境界を描くことは、容易であり得るが、多くの場合、３Ｄにおいて核の「シェル」をペイントすることは、困難である。これは、多くの場合、核より複雑な形状を伴う構造に関して、さらにより厄介である。

３Ｄ画像セグメント化への従来のアプローチのこれらの欠点を識別することに応答して、本発明者らは、古典的セグメント化ワークフローから開始し、次いで、ヒトの寄与を組み込む、反復的深層学習ワークフローのための基礎としてその結果を使用する、３Ｄ画像セグメント化のためのソフトウェアおよび／またはハードウェア設備（「本設備」）を想起し、実践に移している。

アレン細胞科学研究所は、細胞が細胞周期を横断し、分化するにつれて再編成する原理を理解するために、幹細胞構造の固有特徴の状態空間を開発している。これを行うために、本発明者らは、２０の内因性の蛍光標識されたヒト人工多能性幹細胞（ｈｉＰＳＣ）株の集合物内での細胞の組織および活性に関する再現性の高い動的画像データを発生させる、パイプラインを開発している（アレン細胞集合物（ｗｗｗ．ａｌｌｅｎｃｅｌｌ．ｏｒｇ））。多くの株は、特定の細胞構造を表す、単一対立遺伝子ＥＧＦＰ標識タンパク質を発現させる。定量的な画像およびデータの分析、データに基づいたモデルの開発、および新規計算アプローチを可能にするために、本発明者らは、３Ｄにおける３０超の構造に関する、正確かつロバストなセグメント化の開発の課題に直面した。本発明者らの、そのような多数の明確に異なる細胞間構造上での従来的セグメント化アルゴリズムの多様なセットの開発および試験の経験を通して、本発明者らは、本発明者らがこれらの構造の高品質なセグメント化を迅速かつ正常に取得することを可能にした、限定された数の古典的画像処理ステップと、アルゴリズムとを伴う、古典的画像処理ワークフローを生成した。これらのセグメント化は、細胞内のサイズ、数、形状、および場所を含む、これらの構造の基本形態計測的特徴の初期の分析を可能にし、より複雑な特徴のパラメータ化のための基礎を形成し、図１の区分１Ａに示され、下記に議論される。古典的画像処理ワークフローに加えて、本設備は、これらの高品質な古典的セグメント化の結果を利用し、それらを反復的深層学習ベースのアプローチにおける初期のグランドトゥルースとして画像セグメント化に適用し、これらのセグメント化の正確度およびロバスト性を向上させる、図１の区分１Ｂに示され、下記に議論される、第２の反復的深層学習ワークフローを含む。

いくつかの実施形態では、本設備はさらに、両方のワークフローを、自身の顕微鏡画像ベースのデータを定量化し、分析することを所望する細胞生物学者に対して容易にアクセス可能にする、３Ｄ顕微鏡画像の細胞間構造セグメント化のための新しいツールキットを含む。ツールキットは、ツールキットの古典的画像セグメント化ワークフロー部分内のアルゴリズムの選択肢およびパラメータ値の数を簡略化および制約し、本発明者らの現在のセグメント化アルゴリズムを利用し、中心小体およびデスモソーム等の「点源」、ミトコンドリアおよび微小管等の細管を含む、細胞間構造の広い範囲にわたる開始点として、図２に示され、下記に議論される、ある種類の「ルックアップテーブル」を生成する。ツールキットはさらに、ユーザに、古典的セグメント化ワークフローからの結果を適用し、手動のペインティングを伴わずに深層学習モデルを訓練するためのグランドトゥルースセグメント化を発生させ、次いで、それらのセグメント化結果を反復的に改良するためのツールを提供する。ツールキットの目標は、最高水準のセグメント化方法を、広い範囲の細胞生物学研究者にアクセス可能であり、かつ広い範囲の細胞間構造セグメント化の問題に適用可能にすることである。

種々の実施形態では、本設備は、種々の他の画像セグメント化用途に適用可能である。いくつかの実施形態では、ツールキットは、古典的画像セグメント化ワークフローおよび反復的深層学習ワークフローをシームレスに統合し、セグメント化プロセスを合理化する。古典的画像セグメント化ワークフローは、調整可能なパラメータを伴う、いくつかの選択可能なアルゴリズムに基づき、３０超の異なる細胞間構造に適用される。ツールキットの反復的深層学習ワークフローでは、本設備は、ヒトの入力を使用するための２つの方略を使用し、労力と、主観的な３Ｄにおける手動ペインティングとを伴わずに、ニューラルネットワークの深層学習システムを訓練するための、３Ｄグランドトゥルース画像を発生させる。

図１は、本設備の概要を示す、データフロー図である。

図２は、２０のタイプの細胞構造のそれぞれに関して本設備によってとられる古典的ワークフローステップのインジケーションを含む、これらの細胞構造タイプに関するワークフローおよびこれらの検証基準を適用するステップの結果を示す、セグメント化結果図である。

図３は、ソーティングプロセスのサンプル結果を示す、プロセス図である。

図４は、本設備がマージングを実施する第１の実施例を示す、データフロー図である。

図５は、本設備によって実施されるマージングの第２の実施例を示す、画像図である。

図６は、本設備によって、ソーティングおよびマージングの両方を使用して生産されるサンプル結果を示す、画像図である。

図７は、いくつかの実施形態において反復的深層学習ワークフロー内で使用される、２つの深層ニューラルネットワークのアーキテクチャを示す、ネットワークアーキテクチャ図である。

図８は、いくつかの実施形態において、本設備によって、種々の幅のセグメント化された細管をもたらす、種々のセグメント化パラメータを使用して生産される、ミトコンドリア細管に関するサンプルセグメント化結果を示す、画像図である。 図９は、典型的には、本設備が動作するコンピュータシステムおよび他のデバイスの少なくともいくつかに組み込まれる、構成要素のうちのいくつかを示す、ブロック図である。

図１は、本設備の概要を示す、データフロー図である。区分１Ａに示される古典的画像セグメント化ワークフローは、３つのステップから成り、画像処理アルゴリズム選択肢および調整可能なパラメータの制限されたセットを含む。下記により詳細に議論されるように、区分１Ａに示される古典的画像セグメント化ワークフローは、元の単一のチャネル３Ｄ画像スタック１１０に対して前処理ステップ１２０を実施するステップと、次いで、コアセグメント化アルゴリズム１３０を実施するステップと、次いで、セグメント化結果を規定する３Ｄバイナリ画像スタック１５０を取得するために、後処理１４０を実施するステップとを伴う。

区分１Ｂに示される反復的深層学習ワークフローは、古典的画像セグメント化ワークフローの正確度またはロバスト性が、不十分であるとき、使用される。２つのヒト参加型方略である、ソーティングおよびマージング１７０が、反復的に適用され、深層学習３Ｄセグメント化モデル１９０を訓練するために、古典的画像セグメント化ワークフロー結果１００から、３Ｄグランドトゥルース訓練セット１８０を構築する。

いくつかの実施形態では、本設備の深層学習モデルの訓練および試験は、３Ｄ顕微鏡画像内の細胞構造に関して具体的にカスタマイズされ、深層学習における経験を伴わない細胞生物学者のための単純なラッパとして実装される。古典的画像セグメント化および反復的深層学習ワークフローは、相互を補完し、古典的画像セグメント化ワークフローは、分析目的のために、広い範囲の細胞構造に関して十分に正確なセグメント化を発生させることができる。しかしながら、最適な古典的画像セグメント化ベースのセグメント化の正確度またはロバスト性が、不十分であるとき、反復的深層学習ワークフローが、使用され、セグメント化性能を高めることができる。逆に、古典的セグメント化ワークフローは、訓練のための初期のグランドトゥルース画像セットを発生させることによって、深層学習モデルの３Ｄセグメント化への適用を促進する。２つのワークフローを使用することによって、本設備は、（１）広い範囲の構造に適用可能であり、（２）最高水準の正確度を達成し、（３）細胞生物学研究者にとって使用し易い。

３０超の異なる細胞間構造のための古典的画像セグメント化アルゴリズムを設計する課題は、広い範囲の異なる細胞構造を効果的かつ効率的にセグメント化するために、画像処理アルゴリズム選択肢の最小セットを含み、非常に少ない調整可能なパラメータを伴う、単純な３つのステップから成るワークフローをもたらした。いくつかの実施形態では、古典的画像セグメント化ワークフローは、２つの部分から成る前処理ステップ１２０、強度正規化１２１、および平滑化１２２から開始し、コアセグメント化アルゴリズム１３０が続き、最後に、後処理ステップ１４０が続く。
データ収集

種々の実施形態では、本設備は、以下の詳細のいくつかまたは全てに従って、未分化幹細胞およびｈｉＰＳＣ由来の心筋細胞の両方における、遺伝子編集されたヒト人工多能性幹細胞（ｈｉＰＳＣ）に基づく、セグメント化のための画像データを収集し、ＣＲＩＳＰＲ／Ｃａｓ９が、既知の細胞間構造に局在するタンパク質にｍＥＧＦＰおよびｍＴａｇＲＦＰＴ標識を導入するために使用される。クローンＦＰ標識株が、着目細胞間構造毎に発生され、未分化ｈｉＰＳ細胞が膜色素（ＣｅｌｌＭａｓｋ紅色）およびＤＮＡ色素（ＮｕｃＢｌｕｅ Ｌｉｖｅ）でラベル付けされ、細胞境界および核をマーキングした、撮像実験において使用される（ａｌｌｅｎｃｅｌｌ．ｏｒｇにおけるＳＯＰ参照）。編集されたｈｉＰＳＣ細胞株は、小分子プロトコルを使用して心筋細胞に分化する。撮像するために、細胞が、それぞれ、未分化ｈｉＰＳ細胞に関してマトリゲルで、心筋細胞に関してポリエチレンイミンおよびラミニンでコーティングされる、ガラス底部プレート上に定着され（ａｌｌｅｎｃｅｌｌ．ｏｒｇにおけるＳＯＰ参照）、１００倍／１．２５対物レンズＣ－Ａｐｏｃｈｒｏｍａｔ Ｗ Ｃｏｒｒ Ｍ２７、ＣＳＵ－Ｘ１ Ｙｏｋｏｇａｗａ回転ディスクヘッド、または４０倍／１．２ ＮＡ Ｗ Ｃ－Ａｐｏｃｈｒｏｍａｔ Ｋｏｒｒ ＵＶ Ｖｉｓ ＩＲ対物レンズを伴う、ＺＥＩＳＳ回転ディスク顕微鏡、およびＨａｍａｍａｔｓｕ Ｏｒｃａ Ｆｌａｓｈ４．０カメラを使用して撮像される。撮像設定は、ナイキストサンプリングのために最適化される。ボクセルサイズは、１００倍のｈｉＰＳＣ画像に関して、それぞれ、ｘ、ｙ、およびｚにおいて０．１０８μｍ×０．１０８μｍ×０．２９０μｍであり、４０倍の心筋細胞画像に関して、それぞれ、ｘ、ｙ、およびｚにおいて０．１２８μｍ×０．１２８μｍ×０．２９０μｍである。ｍＥＧＦＰ標識Ｔｏｍ２０株が、２５μｌのＯｐｔｉ－ＭＥＭ（ＴｈｅｒｍｏＦｉｓｈｅｒ ＃３１９８５－０７０）と、１．５μｌのＧｅｎｅＪｕｉｃｅ（Ｍｉｌｌｐｏｒｅ ＃７０９６７）と、１μｇの内毒素を含まないプラスミドとを含有する、ウェルあたり６μｌのトランスフェクション混合物を使用して、ｍＣｈｅｒｒｙ－Ｍｉｔｏ－７構築物（Ｍｉｃｈａｅｌ Ｄａｖｉｄｓｏｎ、ａｄｄｇｅｎｅ ＃５５１０２）をトランスフェクトされる。トランスフェクトされた細胞は、翌日、上記のようなＺＥＩＳＳ回転ディスク共焦点顕微鏡上で撮像される。チャネル全てが、各ｚステップにおいて入手される。
古典的セグメント化

古典的画像セグメント化ワークフローのステップは、広い範囲の構造限局化パターンを効果的にセグメント化するための、画像処理アルゴリズム選択肢および調整可能なパラメータの制限されるセットを含む。古典的画像セグメント化ワークフローは、２つの部分から成る前処理ステップ、強度正規化、および平滑化から開始し、コアセグメント化アルゴリズムが続き、後処理ステップで終了する。
ステップ１：前処理

本ステップは、セグメント化を実施する、コアセグメント化アルゴリズムステップのための画像を調製するために、元の３Ｄ顕微鏡画像に適用される、強度正規化と、平滑化とから成る。本設備は、前処理ステップ内でのアルゴリズムおよびパラメータの選択肢を細胞構造の形態に準拠させる。強度正規化の目的は、画像の異なるセット内の同一の構造が、コアアルゴリズムの中にフィードされると、背景を上回る類似の値を有する傾向になるように、顕微鏡アーチファクト、死細胞からの残屑等を含む、異なる撮像非一貫性に対してセグメント化をロバストにすることである。いくつかの実施形態では、２つの強度正規化アルゴリズムが、前処理ステップの中に含まれる。最小－最大正規化が、スタック内の強度値の全範囲をゼロから１の範囲に変換する。自動コントラスト正規化は、極端に低い／高い強度を抑制することによって、画像コントラストを調節する。これを行うために、本設備は、最初に、スタック強度プロファイル全体に関してガウス分布を適合することによって、強度の平均値および標準偏差（ｓｔｄ）を推定する。次いで、全強度範囲が、範囲［平均値－ａ×ｓｔｄ，平均値＋ｂ×ｓｔｄ］にカットオフされ、次いで、［０，１］に正規化される。パラメータａおよびｂは、数枚の典型的画像に基づいて自動的に算出されることができ、ユーザ定義されることができる。目的は、コントラストを強調し、また、予期しないアーチファクトまたは死細胞からの影響を低減させることである。一般に、自動コントラストが、本設備のデフォルト正規化動作である。最小－最大正規化は、最高強度を伴うボクセルが、構造内の重要な標的であり、抑制されるべきではないときに使用される。例えば、セントロソーム等の「点源」構造では、セントロソームを位置特定するために重要である、最高強度を伴うボクセルが、通常、セントロソームの中心に常駐する。

平滑化の目的は、顕微鏡検査または他の源からの任意の背景ノイズを低減させ、セグメント化性能を改良することである。いくつかの実施形態では、前処理ステップの中に含まれる、３つの異なる平滑化動作、すなわち、３Ｄガウス平滑化、スライス毎の２Ｄガウス平滑化、およびエッジ保存平滑化が、存在する。大部分の場合では、３Ｄガウス平滑化は、画像背景ノイズを低減させるために良好に作用する。しかしながら、標的構造が、高密度のフィラメントから成る場合、エッジ保存平滑化動作が、より効果的であり得る。最後に、いくつかの実施形態では、本設備は、細胞構造の移動が、３Ｄライブ撮像の間の連続するｚスライス間の時間間隔より急速であるとき、スライス毎の２Ｄガウス平滑化を使用する。本状況において、３Ｄ平滑化は、連続するｚスライス内の構造の微妙な偏移をさらに悪化させ得る。
ステップ２：コアセグメント化アルゴリズム

古典的画像セグメント化ワークフローのコアは、異なる形態的特性を伴うオブジェクトをセグメント化するためのアルゴリズムの集合物である。本コアセグメント化アルゴリズムステップは、前処理された３Ｄ画像スタックを取り込み、後処理ステップの中への入力として、予備的セグメント化を発生させる。具体的な細胞構造のための最良のセグメント化ワークフローは、アルゴリズムのうちの１つのみから成ってもよい、またはこれは、複数のコアアルゴリズムのシーケンスを伴ってもよい。コアセグメント化アルゴリズムは、標的構造の形態的特性に基づいて、大まかに３つのカテゴリに群化されることができる。（Ｆ２およびＦ３として識別される）２Ｄおよび３Ｄフィラメントフィルタは、各２Ｄフレームにおける（Ｓｅｃ６１ベータ等の）曲線形状、または３Ｄにおける（アルファチューブリン等の）フィラメント状形状を伴う構造のために好適である。２Ｄおよび３Ｄスポットフィルタ（Ｓ２およびＳ３）は、明確に異なるスポット様の限局化パターンを検出するために、ラプラシアンガウシアンオペレーション（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ ｏｐｅｒａｔｉｏｎ）を採用する。「点源」デスモプラキン限局化パターンは、３Ｄにおける、丸みを帯びた、蛍光充填された形状を呈する。「点源」デスモプラキン限局化パターンは、３Ｄにおける、丸みを帯びた、蛍光充填された形状を呈する。ｚ方向に充填された丸みを帯びたオブジェクトを伸展させる、Ｓ３フィルタは、デスモプラキンに関して、Ｓ２フィルタより正確である。別個の丸みを帯びた構造の代わりに、各２Ｄフレーム内により一般的なスポット状の外観を伴う構造に関して（例えば、フィブリラリン対デスモプラキン）、Ｓ３フィルタは、明白な構造を検出し損ね得る一方、Ｓ２フィルタは、はるかにより優れて性能を発揮する。コア流域アルゴリズム（Ｗ）は、２つの異なる方法において使用されることができる。第１に、流域は、近位構造をさらに分離するための種として極大値を使用して、Ｓ３フィルタ結果の距離変換に適用されることができる。第２に、流域はまた、（別のアルゴリズムによって検出される）種を用いて前処理された画像に直接適用され、蛍光シェル（例えば、ラミンＢ１）内に封入される構造をセグメント化することができる。最後のコアセグメント化アルゴリズムである、マスクされたオブジェクトの閾値処理（ＭＯ）が、種々の粒度または強度を伴う細胞間構造パターン（例えば、ヌクレオフォスミン）のために設計される。ＭＯ閾値処理アルゴリズムは、最初に、自動化された大域的閾値に適用され、事前セグメント化結果を発生させ、これは、Ｏｔｓｕ閾値が各事前セグメント化オブジェクト内に適用されることを可能にするためのマスクとして使用される。例えば、ヌクレオフォスミン限局化パターンは、核小体の顆粒状成分への一次限局化と、核小体および核の両方の他の部分へのより弱い、二次限局化とを含む。したがって、本設備は、最初に、比較的に低い大域的閾値を適用し、各核を大まかにセグメント化する。本設備は、次に、個々の核内の局所的閾値を算出し、ヌクレオフォスミンパターンをセグメント化する。従来的な大域的閾値処理と比較すると、マスクされたオブジェクトの閾値処理は、同一の画像内の異なる核におけるヌクレオフォスミン限局化パターンの強度の変動に対して、よりロバストに性能を発揮する。
ステップ３：後処理

いくつかの実施形態では、３つの異なるアルゴリズムが、ワークフロー内の最終後処理ステップのために利用可能である。これらは、予備的セグメント化結果を精緻化し、最終セグメント化を行う。全ての後処理アルゴリズムが、全ての構造のために必要とされているわけではない。第１の後処理アルゴリズムは、あるセグメント化されたオブジェクト内に出現し、標的構造をより正確に表し得る、不正確な穴を解決し得る、形態学的穴埋めアルゴリズム（ＨＦ）である。第２に、単純なサイズフィルタ（Ｓ）が、コアセグメント化アルゴリズム結果からの不合理に小さいまたは大きいオブジェクトを除去するために使用されることができる。最後に、特殊なトポロジ保存間引き演算（ＴＴ）が、適用され、トポロジを変化させる（例えば、任意の連続的であるが、薄い構造を破壊する）ことなく、予備的セグメント化を精緻化することができる。本間引きは、最初に、予備的セグメント化をスケルトン化し、次いで、それ自体がスケルトンからある距離内にはない、ボクセルの全てに関して、３Ｄにおけるセグメント化を減退させることによって遂行される。

本発明者らは、それぞれが異なる細胞間構造を表す、３０超の蛍光標識タンパク質の３Ｄ画像に古典的画像セグメント化ワークフローを適用するために、本設備を使用した。構造は、２つの異なる細胞型、すなわち、未分化ｈｉＰＳ細胞およびｈｉＰＳＣ由来の心筋細胞において撮像された。これらの構造を表す、標識されたタンパク質は、これらの２つの細胞型における異なる発現レベルおよび限局化パターンを呈した。

ある構造はまた、細胞周期に依存する様式において、それらの限局化パターンが変動した。ともに、これは、本発明者らが、古典的画像セグメント化ワークフローを開発および試験するために使用した、３０超の明確に異なる細胞間構造限局化パターンをもたらした。任意のセグメント化タスクのための重要な決定点は、構造のサイズ、その構造の分解能および検出の限界、後続の分析の目的、および任意の所与の標的正確度を取得するために要求される労力の量を含む、いくつかの要因の関数である、正確度の標的化レベルである。一般に、ここで検査される実施例に関して、本発明者らは、構造について文献内の見解と一貫すること、および３Ｄ可視化のために使用され得る、セグメント化を取得することを目指した。例えば、いくつかの実施形態では、本設備の微小管のセグメント化は、他のより高性能アルゴリズムとは異なり、細管の剛度または分枝化挙動等の生物物理的に与えられるパラメータを使用せず、個々の細管を区別することもしない。しかしながら、チューブリンセグメント化ワークフローは、微小管が主に、局在する場所を説明するために十分であり、本セグメント化に基づいて合理的な３Ｄ可視化を発生させるために十分に詳細である。

所与の構造に関する、比較的に正確な境界があるはずの場所の視覚査定は、顕微鏡画像において厄介であり得る。「真」の基礎となる構造が、光学顕微鏡検査によって課される分解能限界に起因して、不鮮明にされる。さらに、画像を検査するために使用される、具体的な輝度およびコントラスト設定が、誤解を招き得、ぶれの効果を高め得る。細胞内構造の本セットに関する比較的に正確な境界の本発明者らの視覚査定は、本発明者らの具体的な撮像設定が、基礎となる構造を不鮮明にした程度についての本発明者らの経験および知識を組み込み、構造セグメント化ワークフロー全ての全体を通して一貫して適用された。

図２は、２０のタイプの細胞構造のそれぞれに関して本設備によってとられる古典的ワークフローステップのインジケーションを含む、これらの細胞構造タイプに関するワークフローおよびこれらの検証基準を適用するステップの結果を示す、セグメント化結果図である。実施例２０１－２１８は、限局化パターンを表す、１つの標識されるタンパク質からの画像から成る。実施例２１９および２２０は、両方とも、ラミンＢ１画像であるが、各１つが、別個のセグメント化ワークフローを要求する明確に異なる限局化パターンを表す、細胞周期の相間および有糸***段階からのものである。各囲み領域は、左に元の画像と、右に古典的画像セグメント化ワークフローの結果との一対の画像を含有する。画像の各対の底部に沿っているものは、そのワークフローのためのワークフローステップの略図であり、その中で使用される記号は、記号表２３０の対象である。ここに提示される画像は全て、ａｌｌｅｎｃｅｌｌ．ｏｒｇ／ｓｅｇｍｅｎｔｅｒにおいてオンラインで入手可能な画像の３Ｄのｚスタックからの単一のスライスである。ワークフロー図内において、異なる色の付けられた記号間の矢印は、３つの異なる古典的画像セグメント化ワークフローステップ（前処理、コアセグメント化、および／または後処理）の間の遷移を表す。各ワークフローステップ内では、相互に直接隣接する２つの記号が、アルゴリズムが、順次適用されたことを表す一方、○＋記号は、両方のアルゴリズムからの結果を組み合わせるステップを表す。シアル酸転移酵素ワークフローのためのＴＴ記号内のアスタリスクは、マスクされたオブジェクトの閾値処理アルゴリズムからの結果に、トポロジ保存間引きのみが適用されたことを示す。ＬＡＭＰ１に関する標的結果は、タンパク質ＬＡＭＰ１が、リソゾームの膜をラベル付けするため、より大きいリソゾームを充填するステップを含むが、検出するための標的構造は、各リソゾーム全体である。

３つのワークフローステップのそれぞれから、同一の一連の選択肢が、その構造のための成功したセグメントを結果としてもたらした。しかしながら、本発明者らは、さらに、同一の３つのステップを使用する類似の構造（ＭＹＨ１０およびＡＣＴＮ１等）に関して、最良の結果のためのパタメータ値が、依然として、変動したことを見出した。本設備は、したがって、いくつかの実施形態では、「構造ルックアップテーブル」を使用し、どのアルゴリズムおよびどのパタメータの開始セットが、ユーザのセグメント化タスクのために作用し得るかに関するガイドとしての役割を果たす。いくつかの実施形態では、ツールキットは、迅速な参照および修正のために、構造毎にＪｕｐｙｔｅｒノートブックを含む。

いくつかの実施形態では、本設備は、ｇｉｔｈｕｂ．ｃｏｍ／ＡｌｌｅｎＩｎｓｔｉｔｕｔｅ／ａｉｃｓ－ｓｅｇｍｅｎｔａｔｉｏｎにおいて入手可能なコードのいくつかまたは全て（参照することによってその全体として本明細書に組み込まれる）に従って、古典的ワークフローを実施する。
ヒトの寄与を使用する反復的深層学習

反復的深層学習ワークフローの役割は、古典的画像セグメント化ワークフローからの出力が改良されることが必要となる度にセグメント化品質をさらに高めることである。反復的深層学習ワークフロー全体が、「セグメント化結果に基づく反復」の概念に基づいて構築される。（古典的画像セグメント化ワークフロー、異なる深層学習モデル、または本設備の深層学習モデルのより早期の段階のいずれかからの）画像のセットのあるセグメント化結果をすでに有していると仮定する。結果は、ある画像または画像内のある領域に関して容認可能であるが、完全に満足の行くものではない。いくつかの実施形態では、本設備は、２つのヒト参加型方略、すなわち、ソーティングおよびマージングのいずれかまたは両方を使用し、モデル訓練の次の工程のためのグランドトゥルースを調製する。いくつかの実施形態では、これらのヒト介入方略は、構造のいかなる手動のペインティングも伴わない。１つの目的は、冗漫な完全手動ペインティングを用いることなく、効率的な方法において、ヒトの知識をグランドトゥルースの中に課すことである。

いくつかの実施形態では、反復的深層学習ワークフローは、容易にアクセス可能な方法において、かつ最小限の調整可能なパラメータを伴って実装される。具体的には、いくつかの実施形態では、使用法は、未加工画像および訓練グランドトゥルースを、ある命名規則に従う同一のフォルダの中に入れるステップと、その構造についての生物学の以前の知識に従っていくつかのパラメータを設定するステップに簡略化される。いくつかの実施形態では、モデルを構築するステップ、ハイパーパラメータを設定するステップ、モデルを訓練するステップ等についての詳細全てが、本タイプの３Ｄ顕微鏡画像のために設計および試験される方法において、自動的に取り扱われる。

古典的画像セグメント化ワークフローが満足の行くセグメント化を生産し得ない２つの一般的なシナリオは、セグメント化の正確度の画像間変動または細胞間変動である。画像間変動は、セグメント化が、いくつかの画像スタックのみに関して正確であり、他のものについてはそうではないときに生じ、これは、生物学的および顕微鏡撮像条件の両方に起因し得る。例えば、所与の構造が、ｈｉＰＳＣコロニーの中心対コロニーの縁の近傍において撮像される細胞に関してわずかに異なるように挙動する場合、１つのセグメント化アルゴリズムが、両方の場合において均等に良好に性能を発揮する理由はない。本場合に対処するために、その深層学習ネットワークを反復的に訓練するステップにおいて本設備によって使用されるヒト入力の第１の形態は、ソーティングであり、グランドトゥルース画像セットを発生させるために、本設備は、ヒトユーザに、セグメント化された画像を成功のセグメント化対不成功のセグメント化にソートするようにプロンプトし、モデル訓練のために正常にセグメント化された画像のみを使用する。後続のモデルは、より多くのコンテキスト知識が深層学習モデルによって学習されるため、最後に、画像間変動に対してよりロバストになり得る。

図３は、ソーティングプロセスのサンプル結果を示す、プロセス図である。プロセス図は、それぞれ、源画像３０１、３１１、３２１、３３１、および３４１に関する、古典的画像セグメント化ワークフローによって生産される、セグメント化結果３０２、３１２、３２２、３３２、および３４２を示す。ソーティングベクトルは、源画像３０１から生産されるセグメント化結果３０２および源画像３３１からのセグメント化結果３３２を保つことを示す。これらの２つの古典的セグメント化は、深層学習のための訓練データ３５０として使用され、他の３つは、使用されない。

他方では、セグメント化の正確度の細胞間変動に関する源のある実施例は、細胞周期の全体を通して形態または強度を有意に変化させるタンパク質または構造等の異なる量の標識されたタンパク質を発現させる複数の細胞を含有する、画像である。本場合では、セグメント化パラメータの２つのわずかに異なるセットが、構造の両方のバージョンが良好にセグメント化されることを可能にし得るが、パラメータの両方のセットは、通常、同一の画像に適用されることはできない。ここでは、本設備は、その深層学習ネットワークを反復的に訓練するステップにおいて本設備によって使用されるヒト入力の第２の形態である、マージングを使用し、その中で、本設備は、ヒトユーザに、異なるパラメータセットの適用のために、セグメント化結果の異なる部分を選択するようにプロンプトする。例えば、いくつかの実施形態では、本設備は、ＩｍａｇｅＪまたはＩＴＫ－ＳＮＡＰを通して入手可能なもの等の単純な画像編集ツールを使用し、ユーザが画像野内の具体的面積を手動で囲み、マスキングすることを可能にし、２つの異なるパラメータセットをそれぞれに適用し、次いで、結果をマージするステップが、その画像のための１つの単一グランドトゥルースを可能にする。

図４は、本設備がマージングを実施する第１の実施例を示す、データフロー図である。特に、図４に示される実施例では、２つの異なる古典的画像セグメント化ワークフローが、同一のラミンＢ１画像４１０に適用された。古典的セグメント化１は、セグメント化結果４２１を生産し、これは、相間ラミンＢ１限局化パターン上で良好に作用した。セグメント化２は、セグメント化結果４２２を生産し、これは、有糸***ラミンＢ１限局化パターン上でより良好に作用した。２つの異なる半径を伴う４つの円から構成されたマスク４２０が、「ＰａｉｎｔＢｒｕｓｈ」ツールを用いてＦｉｊｉ内に手動で作成された。本設備は、２つのセグメント化結果をマージするための基礎としてマスクを使用し、単一のグランドトゥルースセグメント化結果４３０を取得する。本設備は、マスク上の黄色の面積内に黄色で表示されるセグメント化を捉え、緑色の面積内に緑色で表示されるセグメント化を捉えることによって、これを行った。本マージされたグランドトゥルース画像は、３Ｄ深層学習訓練セットの一部になる。

図５は、本設備によって実施されるマージングの第２の実施例を示す、画像図である。第１のセグメント化技法が、セグメント化結果５０３を発生させる一方、第２のセグメント化技法が、セグメント化結果５０４を発生させる。ユーザは、画像５０５に示されるマスクを定義し、これは、本設備がセグメント化結果５０３および５０４を単一のセグメント化結果５０６にマージするための基礎として使用される。

図６は、本設備によって、ソーティングおよびマージングの両方を使用して生産されるサンプル結果を示す、画像図である。特に、画像６１０は、元のラミンＢ１画像からの中央のｚスライスを表し、ラミンＢ１有糸***限局化パターンが、赤色の長方形内に示される。セグメント化結果６３０は、標準的なＯｔｓｕ閾値処理セグメント化の結果をベースラインとして示す。画像６３０は、セグメンタの古典的画像セグメント化ワークフロー結果を示す。セグメント化結果６４０は、ソーティングによって発生されたグランドトゥルースセットによって訓練される、深層学習モデルの第１の反復の後の結果を示す。セグメント化結果６５０は、マージングによって発生されたグランドトゥルースセット上で訓練される、深層学習モデルの第２の反復の後の結果を示す。結果６２０内の青色の矢印は、元々、古典的画像セグメント化ワークフロー内では欠損していたが、反復的深層学習モデルを使用して検出された、相間ラミンＢ１限局化パターンを示す。セグメント化結果６５０内の黄色い矢印は、深層学習モデルの第２の反復の後に検出された、有糸***ラミンＢ１限局化パターンを示す。

いくつかの実施形態では、本設備によって採用される深層学習モデルは、深層教師あり異方性Ｕ－Ｎｅｔ（ＤＳＡＵ、「Ｎｅｔ＿ｂａｓｉｃ」）およびＤＳＡＵｚｏｏｍ（「Ｎｅｔ＿ｚｏｏｍ」）等の３Ｄ顕微鏡画像のために特別にカスタマイズされる、完全畳み込みネットワークである。これらの２つのモデルは、非常に類似するアーキテクチャを有するが、ＤＳＡＵは、大きい受容野を採用し、比較的により大きいサイズの構造のためにより好適である。Ｎｅｔ＿ｂａｓｉｃは、（１）ｘｙｚ次元全てにおける最大プーリングが、ｘｙのみにおける最大プーリングによって置換され、（２）ゼロ詰めが、３Ｄ畳み込み全てから除去され、（３）補助損失が、深層教師のために追加されている、３Ｄ Ｕ－Ｎｅｔのバリアントである。Ｎｅｔ＿ｚｏｏｍは、Ｎｅｔ＿ｂａｓｉｃに類似するアーキテクチャを有するが、有効な受容野をさらに拡大するための可変比率を伴う、追加のプーリング層を伴う。そのような修正は、３Ｄ顕微鏡画像において共通の異方性次元を取り扱うために行われ、薄い核膜等の薄弱構造をセグメント化するステップにおける性能を改良する。

図７は、いくつかの実施形態において反復的深層学習ワークフロー内で使用される、２つの深層ニューラルネットワークのアーキテクチャを示す、ネットワークアーキテクチャ図である。２つのネットワーク、すなわち、Ｎｅｔ＿ｂａｓｉｃおよびＮｅｔ＿ｚｏｏｍは、アーキテクチャが非常に類似する。Ｎｅｔ＿ｂａｓｉｃとＮｅｔ＿ｚｏｏｍとの間で異なる層およびデータフローが、それぞれ、記号表７９０に述べられているように、紫色および赤色でマーキングされる。いくつかの実施形態では、ネットワークは、層をダウンサンプリングおよびアップサンプリングすることによって接続される、７つのコアブロック７０３、７０５、７０７、７０９、７１１、７１３、および７１５から成る。全てのコアブロックが、コアブロック詳細ボックス７９５において詳述される、同一の層を有する。いくつかの実施形態では、各コアブロックは、カーネルサイズ３を伴う３Ｄ畳み込みと、バッチ正規化と、ＲｅＬＵ活性化との２つの連続するセットを含有する。いくつかの実施形態では、両方のネットワークが、１つの主要予測分岐および２つの補助予測分岐に結び付けられる。いくつかの実施形態では、主要予測ブロックは、カーネルサイズ１を伴う、１つの３Ｄ畳み込みである一方、補助ブロックは、カーネルサイズ３を伴う、１つの３Ｄ畳み込みを有し、カーネルサイズ１を伴う、別の３Ｄ畳み込みが続く。

各訓練反復では、ランダムデータ増強が、各画像上に適用され、サンプルパッチのバッチが、増強された画像からランダムに切り取られる。いくつかの実施形態では、パッチサイズ（すなわち、モデル入力のサイズ）およびバッチサイズ（すなわち、各反復内で同時に訓練されるサンプルの数）は、利用可能なＧＰＵメモリに依存する。例えば、１２ＧＢメモリを伴う、単一のＮｖｉｄｉａ ＧｅＦｏｒｃｅ ＧＰＵが、本発明者らの実験のうちのいくつかにおいて使用される。本ハードウェアを用いると、本設備は、４のバッチサイズを使用し、各入力サンプルパッチは、Ｎｅｔ＿ｂａｓｉｃに関して１４０×１４０×４４のボクセルおよびＮｅｔ＿ｚｏｏｍに関して４２０×４２０×７２のボクセルのサイズを有する。データ増強に関して、いくつかの実施形態では、本設備は、θ（０～πのランダム値）のランダム回転、および確率０．５を伴うランダム水平反転を使用する。

Ｕ－Ｎｅｔのアーキテクチャおよび使用は、Ｎａｖａｂ Ｎ．， Ｈｏｒｎｅｇｇｅｒ Ｊ．， Ｗｅｌｌｓ Ｗ．， Ｆｒａｎｇｉ Ａ． （ｅｄｓ）のＭｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ － ＭＩＣＣＡＩ ２０１５， ＭＩＣＣＡＩ ２０１５， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖｏｌ ９３５１， Ｓｐｒｉｎｇｅｒ， Ｃｈａｍ内のＲｏｎｎｅｂｅｒｇｅｒ Ｏ．， Ｆｉｓｃｈｅｒ Ｐ．， Ｂｒｏｘ Ｔ． （２０１５）のＵ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ（参照することによってその全体として本明細書に組み込まれる）に説明されている。加重交差エントロピーが、損失関数の全てにおいて使用され、ボクセルあたりの加重は、別個の入力画像（すなわち、コストマップ）として捉えられる。デフォルトによって、本設備は、全てのボクセルに関して加重＝１を使用するが、それらの極めて臨界的領域に関して、より大きい加重を割り当てる、または損失関数に関して計数しないそれらの領域に対して、ゼロを割り当てることができる。いくつかの実施形態では、モデルは、Ｌ２正則化のための加重として、一定の学習率０．００００１および０．００５を伴うＡｄａｍを用いて訓練される。各訓練反復では、サンプルのバッチが、画像からランダムに切り取られる。サンプルパッチサイズおよびバッチサイズは、利用可能なＧＰＵメモリに依存する。

いくつかの実施形態では、本設備は、種々の種類のカスタマイズを伴う、Ｕ－Ｎｅｔを使用する。例えば、ある場合には、Ｕ－Ｎｅｔは、その拡張経路に沿った種々の点において損失分析を実施する。いくつかの実施形態では、本設備によって使用されるＵ－Ｎｅｔは、ＸおよびＹ軸における実効分解能に対してＺ軸における実効分解能を調節するように構成可能である。当業者は、本設備によって使用されるＵ－Ｎｅｔへのさらなる修正が、ある場合には、より良好な結果を生産し得ることを理解するであろう。

いくつかの実施形態では、本設備は、ｇｉｔｈｕｂ．ｃｏｍ／ＡｌｌｅｎＩｎｓｔｉｔｕｔｅ／ａｉｃｓ－ｍｌ－ｓｅｇｍｅｎｔａｔｉｏｎにおいて入手可能なコードのいくつかまたは全て（参照することによってその全体として本明細書に組み込まれる）に従って、深層学習ワークフローを実施する。

いくつかの実施形態では、本設備は、蛍光顕微鏡の分解能限界から生じる、構造の境界のぶれに対処する。画像のコントラスト設定および所与のセグメント化アルゴリズムのパラメータの両方に応じて、結果として生じるバイナリ画像は、有意に変動し得る。

図８は、いくつかの実施形態において、本設備によって、種々の幅のセグメント化された細管をもたらす、種々のセグメント化パラメータを使用して生産される、ミトコンドリア細管に関するサンプルセグメント化結果を示す、画像図である。多くの異なる標識された細胞間構造の境界を検出するための一貫した標的を識別するために、一時的にトランスフェクトされたｈｉＰＳ細胞においてマトリクス標的されたｍＣｈｅｒｒｙでマーキングされた、ミトコンドリア細管のセグメント化に関する異なるセグメント化パラメータの効果が、示される。画像８１０、８２０、および８３０は、可視化の目的のみのために画像８１０から画像８３０まで増加する輝度およびコントラストの設定を伴う、同一の細管を示す。画像８１１、８２１、および８３１は、本画像に適用された、２Ｄフィラメントフィルタセグメント化アルゴリズムにおいて、カーネルサイズパラメータ（Ｓ）を増加させながら、閾値パラメータ（Ｔ）を減少させるステップの結果を示す。画像８１０、８２０、および８３０内の輝度およびコントラスト設定は、画像８１１、８２１、および８３１におけるセグメント化結果に合致し、セグメント化結果がそれぞれ、入力画像を前提として合理的であることを実証するように設定される。拡大面積８１３、８２３、および８３３は、それぞれ、画像８１１、８２１、および８３１の部分８１２、８２２、および８３２に対応する。拡大面積８１３、８２３、および８３３内の緑色の線区画は、２６０ｎｍの長さであり、ヒト幹細胞のＥＭ画像に基づく、ミトコンドリアの直径である。画像８２１および対応する拡大面積８２３は、ルックアップテーブル内の古典的画像セグメント化ワークフローの集合物が、細胞間構造限局化パターン毎に一貫して標的するように模索する、セグメント化の結果を表す。

不鮮明な境界を検出する方法の一貫したベースラインを確立するために、いくつかの実施形態では、本設備は、試験構造として、蛍光標識されるミトコンドリアマトリクスマーカを使用し、ヒト幹細胞内のミトコンドリアのＥＭベースの測定値と最も近く合致するセグメント化パラメータを選択する。本設備は、次いで、他の細胞間構造セグメント化ワークフローの生成のための一貫した標的として、コントラスト設定およびオブジェクト境界設定の結果として生じる組み合わせを使用する。

本発明者らは、以前に公開されたＥＭ画像を使用して、ヒト多能性幹細胞およびヒト胚性幹細胞内のミトコンドリア幅を決定した。マニュスプリクトから取得されたＥＭ画像のＪＰＥＧバージョンが、ＦｉＪｉ内で開かれ、ミトコンドリア幅が、ＥＭ画像あたり５～１０個のミトコンドリアに関して測定された。線が、より小さいミトコンドリア軸に沿ってミトコンドリア膜間に手動で描かれた。線の長さが、図内の元のスケールバーを使用して測定され、ナノメートルに変換された。ミトコンドリア幅は、ヒト多能性幹細胞に関して２５６＋／－２２ｎｍ、ヒト胚性幹細胞に関して２６５＋／－３４ｎｍであることが見出された（平均値＋／－９５％信頼区間）。したがって、２６０ｎｍの平均的ミトコンドリア幅が、図８内で使用された。図９は、典型的には、本設備が動作するコンピュータシステムおよび他のデバイスの少なくともいくつかに組み込まれる、構成要素のうちのいくつかを示す、ブロック図である。種々の実施形態では、これらのコンピュータシステムおよび他のデバイス９００は、サーバコンピュータシステム、デスクトップコンピュータシステム、ラップトップコンピュータシステム、他の構成における仮想機械のためのクラウドコンピューティングプラットフォーム、ネットブック、タブレット、モバイルフォン、携帯情報端末、テレビ、カメラ、自動車コンピュータ、電子メディアプレーヤ、スマートウォッチ、および他のウェアラブルコンピューティングデバイス等を含むことができる。種々の実施形態では、コンピュータシステムおよびデバイスは、コンピュータプログラムを実施するための中央処理ユニット（「ＣＰＵ」）、グラフィック処理ユニット（「ＧＰＵ」）、または他のプロセッサ９０１、本設備および関連付けられるデータ、カーネルを含むオペレーティングシステム、およびデバイス駆動部を含む、それらが使用されている間にプログラムおよびデータを記憶するためのコンピュータメモリ９０２、プログラムおよびデータを永続的に記憶するためのハードドライブまたはフラッシュドライブ等の永続的記憶デバイス９０３、コンピュータ可読媒体上に記憶されるプログラムおよびデータを読み取るための、フロッピ、ＣＤ－ＲＯＭ、またはＤＶＤドライブ等のコンピュータ可読媒体ドライブ９０４、およびインターネットまたは別のネットワークおよびスイッチ、ルータ、リピータ、電気ケーブルおよび光ファイバ、光放射器および受光器、無線伝送器および受信機、および同等物等のそのネットワーキングハードウェア等を介してデータを送信および／または受信するために、コンピュータシステムを他のコンピュータシステムに接続するための、ネットワーク接続９０５のそれぞれの１つ以上のものを含む。上記に説明されるように構成されたコンピュータシステムは、典型的には、本設備の動作を支援するために使用されるが、当業者は、本設備が、種々のタイプおよび構成のデバイスを使用し、種々の構成要素を有するように実装され得ることを理解するであろう。種々の実施形態では、コンピューティングシステムまたは他のデバイスはまた、以下のハードウェア構成要素、すなわち、ユーザに視覚情報を提示するように使用可能なディスプレイ、ディスプレイとともに配列され、ディスプレイとのユーザのタッチ相互作用を検出するための１つ以上のタッチスクリーンセンサ、ユーザによって使用され、表示される視覚コンテンツとジェスチャおよび／または相互作用を実施し得る、マウス、トラックパッド、またはトラックボール等のポインティングデバイス、画像センサ、光センサ、および／またはデバイスの近傍で実施されるユーザのジェスチャを検出するために使用され得る、近接センサ、およびデバイスが、移動中の間、または別様に外部電気エネルギー源に接続されていない間に動作することを可能にする、バッテリまたは他の内蔵型の電気エネルギー源のうちのいくつかまたは全てを有する。

上記に説明される種々の実施形態は、組み合わせられ、さらなる実施形態を提供することができる。本明細書内で言及される、および／または出願データシート内に列挙される米国特許、米国特許出願公開文書、米国特許出願、外国特許、外国特許出願、および非特許刊行物の全ては、参照することによってそれらの全体として本明細書に組み込まれる。実施形態の側面は、さらなる実施形態を提供するために種々の特許、出願、および刊行物の概念を採用することが必要である場合、修正されることができる。

これらおよび他の変更が、上記に詳述される説明に照らして実施形態に対して行われることができる。一般に、以下の請求項において、使用される用語は、請求項を本明細書および請求項内に開示される具体的な実施形態に限定するように解釈されるべきではなく、そのような請求項に与えられた均等物の全範囲とともに、全ての可能性として考えられる実施形態を含むように解釈されるべきである。故に、請求項は、本開示によって限定されない。

Claims (24)

1. ３次元画像内の３次元構造の境界を識別するためのコンピューティングシステムにおける方法あって、
   複数の３次元画像のそれぞれに関して、
   前記３次元画像内の構造の境界を識別するための第１の試行の結果を受信することと、
   前記第１の試行の結果をヒトに提示されるようにすることと、
   複数の３次元画像のそれぞれに関して、前記第１の試行の結果に関するフィードバックを提供するヒトによって発生される入力を受信することと、
   前記複数の３次元画像の少なくとも一部、前記受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、３次元画像内の３次元構造の境界を識別することと
   を含む、方法。
2. 前記構造は、生体細胞内の細胞小器官である、請求項１に記載の方法。
3. フィードバックは、前記複数の３次元画像の第１の適切なサブセットに関する前記第１の試行の結果を承認し、前記複数の３次元画像の第２の適切なサブセットに関する前記第１の試行の結果を否認する、請求項１に記載の方法。
4. 前記複数の３次元画像のうちの少なくとも１つのそれぞれに関して、前記フィードバックは、前記結果を、構造の境界が独立して識別されるべきである２つ以上の領域に細分する、請求項１に記載の方法。
5. 前記深層学習ネットワークは、１つ以上の人工ニューラルネットワークである、請求項１に記載の方法。
6. 前記深層学習ネットワークは、Ｕ－ｎｅｔバリアントである、請求項１に記載の方法。
7. 各３次元画像が、２次元画像のスタックによって表わされる、請求項１に記載の方法。
8. ３次元画像内の３次元構造の境界を識別するための方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、
   複数の３次元画像のそれぞれに関して、２Ｄフィラメントフィルタアルゴリズム、３Ｄフィラメントフィルタアルゴリズム、２Ｄ脈管強調フィルタアルゴリズム、３Ｄ脈管強調フィルタアルゴリズム、２Ｄスポットフィルタアルゴリズム、３Ｄスポットフィルタアルゴリズム、２Ｄラプラシアンガウシアンフィルタアルゴリズム、３Ｄラプラシアンガウシアンフィルタアルゴリズム、マスクされたオブジェクトの閾値処理アルゴリズム、流域アルゴリズム、および極大アルゴリズムの中でのセグメント化アルゴリズムを適用し、前記３次元画像内の少なくとも１つの３次元構造の境界を識別することと、
   ニューラルネットワークのシステムを訓練するためのグランドトゥルースとして、前記複数の３次元画像の少なくとも一部の中で識別される前記構造の境界を使用し、３次元画像内の３次元構造の境界を識別することと
   を含む、コンピュータ可読媒体のインスタンス。
9. 前記複数の３次元画像の中で識別される前記構造の境界の少なくとも一部をヒトに表示されるようにすることと、
   前記識別される構造の境界の表示の間に、前記ヒトによって創出される入力を受信することと
   をさらに含み、
   前記ニューラルネットワークのシステムを訓練するための前記識別される構造の境界の使用は、受信される入力に従って実施される、請求項８に記載のコンピュータ可読媒体のインスタンス。
10. ニューラルネットワークの訓練されたシステムを、前記複数の３次元画像の中にはない区別される３次元画像に適用し、前記区別される３次元画像内の３次元構造の境界を識別することをさらに含む、請求項８に記載のコンピュータ可読媒体のインスタンス。
11. 前記複数の３次元画像のそれぞれに関して、前記セグメント化アルゴリズムを適用する前に、最小－最大正規化アルゴリズム、自動コントラストアルゴリズム、２Ｄガウス平滑化アルゴリズム、３Ｄガウス平滑化アルゴリズム、およびエッジ保存平滑化アルゴリズムの中での前処理アルゴリズムを適用することをさらに含む、請求項８に記載のコンピュータ可読媒体のインスタンス。
12. 前記複数の３次元画像のそれぞれに関して、前記識別される構造の境界を使用する前に、サイズフィルタアルゴリズム、サイズ閾値処理アルゴリズム、穴埋めアルゴリズム、形態学的穴埋めアルゴリズム、多部分間引きアルゴリズム、およびトポロジ保存間引きアルゴリズムの中での後処理アルゴリズムを適用することをさらに含む、請求項８に記載のコンピュータ可読媒体のインスタンス。
13. ３次元画像内の３次元構造の境界を識別するためのコンピューティングシステムにおける方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法は、
    複数の３次元画像のそれぞれに関して、
    前記３次元画像内の構造の境界を識別するための第１の試行の結果を受信することと、
    前記第１の試行の結果をヒトに提示されるようにすることと、
    複数の３次元画像のそれぞれに関して、前記第１の試行の結果に関するフィードバックを提供する前記ヒトによって発生される入力を受信することと、
    前記複数の３次元画像の少なくとも一部、前記受信される結果の少なくとも一部、および提供されるフィードバックの少なくとも一部を使用し、深層学習ネットワークを訓練し、３次元画像内の３次元構造の境界を識別することと
    を含む、コンピュータ可読媒体の１つ以上のインスタンス。
14. 前記構造は、生体細胞内の細胞小器官である、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
15. フィードバックは、前記複数の３次元画像の第１の適切なサブセットに関する前記第１の試行の結果を承認し、前記複数の３次元画像の第２の適切なサブセットに関する前記第１の試行の結果を否認する、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
16. 前記複数の３次元画像のうちの少なくとも１つのそれぞれに関して、前記フィードバックは、前記結果を、構造の境界が独立して識別されるべきである２つ以上の領域に細分する、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
17. 前記深層学習ネットワークは、人工ニューラルネットワークのシーケンスである、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
18. 前記深層学習ネットワークは、Ｕ－ｎｅｔバリアントである、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
19. 各３次元画像は、２次元画像のスタックによって表わされる、請求項１３に記載のコンピュータ可読媒体の１つ以上のインスタンス。
20. セグメント化レシピデータ構造を集合的に記憶しているコンピュータ可読媒体の１つ以上のインスタンスであって、
    前記データ構造は、複数のエントリを備え、
    各エントリは、
    異なる生物学的構造タイプを識別する情報と、
    前記識別される生物学的構造タイプの１つ以上の生物学的構造を含有する画像をセグメント化するために、実施されるべきセグメント化測定のシーケンスを規定する情報と
    を含み、
    区別される生物学的構造タイプの１つ以上の生物学的構造を含有する画像がアクセスされると、前記区別される生物学的構造タイプをその情報が識別する前記データ構造のエントリが選択され得、前記選択されるエントリの情報によって規定されるセグメント化測定のシーケンスが、前記アクセスされた画像に関して実行され得る、コンピュータ可読媒体の１つ以上のインスタンス。
21. 前記複数のエントリのそれぞれに関して、セグメント化測定の規定されるシーケンスは、セグメント化アルゴリズムを含む、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
22. 前記複数のエントリのそれぞれに関して、前記セグメント化測定の規定されるシーケンスは、前処理ステップを含む、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
23. 前記複数のエントリのそれぞれに関して、前記セグメント化測定の規定されるシーケンスは、後処理ステップを含む、請求項２０に記載のコンピュータ可読媒体の１つ以上のインスタンス。
24. 画像内の生物学的構造の境界を識別するためのコンピューティングシステムにおける方法をコンピューティングシステムに実施させるように構成されたコンテンツを集合的に有するコンピュータ可読媒体の１つ以上のインスタンスであって、前記方法は、
    前記画像内に現れる生物学的構造タイプのインジケーションにアクセスすることと、
    複数のエントリを含むセグメント化レシピデータ構造にアクセスすることであって、各エントリは、
    異なる生物学的構造タイプを識別する情報と、
    前記識別される生物学的構造タイプの１つ以上の生物学的構造を含有する画像をセグメント化するために、実施されるべきセグメント化測定のシーケンスを規定する情報と
    を備える、ことと、
    示される生物学的構造タイプをその情報が識別する前記データ構造のエントリを選択することと、
    前記画像に、前記選択されるエントリの情報によって規定される前記セグメント化測定のシーケンスを受けさせ、前記画像内の前記示される生物学的構造タイプの生物学的構造のセグメント化を取得することと
    を含む、コンピュータ可読媒体の１つ以上のインスタンス。

Images