JP2020009402A - 自動染色体分類のための方法及びシステム - Google Patents

Abstract

【課題】染色体を自動的に分類する方法及びシステムを提供する。【解決手段】残差畳み込み再帰型注意ニューラル・ネットワーク（Ｒｅｓ−ＣＲＡＮＮ）により、染色体バンドのバンド・シーケンスの特性を利用する。Ｒｅｓ−ＣＲＡＮＮは、エンドツーエンド訓練可能システムであり、特徴ベクトル・シーケンスを、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）の畳み込み層によって生成した特徴マップから抽出する。特徴ベクトルは、染色体画像内の染色体バンドを表す視覚的特徴に対応する。特徴ベクトル・シーケンスは、注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）に供給される。ＲＮＮは、特徴ベクトル・シーケンスを学習し、注意モジュールは、特徴ベクトル・シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である。【選択図】図２

Description

優先権主張
本出願は、２０１８年７月６日出願のインド特許出願第２０１８２１０２５３５３号（特許文献１）から優先権を取得するものであり、この出願の全体が参照により本明細書に組み込まれる。

本明細書における開示は、一般に、分類問題に関し、より詳細には、自動染色体分類のためのシステム及び方法に関する。

染色体核型分析とは、細胞***中期の間、細胞を染色し、この細胞を顕微鏡撮影した細胞画像から得た個々の染色体画像を区分化し、分類する作業を指す。核型分析される画像は、ダウン症候群、ターナー症候群等の遺伝子疾患及び特定の種類のがんの診断に有用である。従来、個々の染色体画像の区分化及び分類に対し、かなりの量の人的労力及び時間が費やされている。自動染色体分類において、相当の開発が行われている。

しかし、既存の自動染色体分類方法は、染色体分類のための染色体特徴として、長さ、セントロメア及びバンド形成プロファイルを利用する。近年、深層学習モデルがこの作業の自動化に適用されている。染色体分類において、時間的効率の達成を試みる一方で、精度は必須である。

インド特許出願第２０１８２１０２５３５３号

本開示の実施形態は、本発明者等が認識している、従来のシステムにおける上述の技術的課題の１つ又は複数に対する解決策として技術的改良点を提示するものである。

一態様では、自動染色体分類のための、プロセッサによって実施される方法を提供する。方法は、複数の染色体バンドを有する染色体を含む染色体画像を受信すること；次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、染色体の染色体バンドに関連する視覚的特徴を抽出すること；複数の特徴マップに対し水平切片化を適用することによって、複数の特徴マップから複数の特徴ベクトルを得ることであって、各特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること；複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドまで複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝Ｇ×Ｈ＊Ｋ）を生成すること；注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して特徴シーケンスを処理することによって、染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、ＲＮＮは、特徴シーケンスを学習し、注意機構は、特徴シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である、分類することを含む。染色体の分類は、固有のクラス標示を特徴シーケンスに割り当てるソフトマックス層を利用することを更に含む。

別の態様では、１つ又は複数のデータ保存デバイスを備えるシステムを提供し、１つ又は複数のデータ保存デバイスは、１つ又は複数のプロセッサに動作可能に結合され、１つ又は複数のプロセッサによって、複数の染色体バンドを有する染色体を含む染色体画像を受信すること；次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、染色体の染色体バンドに関連する視覚的特徴を抽出すること；複数の特徴マップに対し水平切片化を適用することによって、複数の特徴マップから複数の特徴ベクトルを得ることであって、各特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること；複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドまで複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝Ｇ×Ｈ＊Ｋ）を生成すること；及び注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して特徴シーケンスを処理することによって、染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、ＲＮＮは、特徴シーケンスを学習し、注意機構は、特徴シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である、分類することを実行するように構成した命令を保存するように構成される。更に、染色体の分類は、固有のクラス標示を特徴シーケンスに割り当てるソフトマックス層を利用することを更に含む。

更に別の態様では、コンピュータ可読プログラムを中に包含する非一時的コンピュータ可読媒体を備えるコンピュータ・プログラム製品を提供し、コンピュータ可読プログラムは、計算デバイス上で実行される場合、計算デバイスに、複数の染色体バンドを有する染色体を含む染色体画像を受信すること；次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、染色体の染色体バンドに関連する視覚的特徴を抽出すること；複数の特徴マップに対し水平切片化を適用することによって、複数の特徴マップから複数の特徴ベクトルを得ることであって、各特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること；複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドまで複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝Ｇ×Ｈ＊Ｋ）を生成すること；及び注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して特徴シーケンスを処理することによって、染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、ＲＮＮは、特徴シーケンスを学習し、注意機構は、特徴シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である、分類することを含む動作を実施させる。染色体の分類は、固有のクラス標示を特徴シーケンスに割り当てるソフトマックス層を利用することを更に含む。

上記の一般的な説明及び以下の詳細な説明の両方は、例示的で説明的なものにすぎず、特許請求する本発明に対する制限ではないことを理解されたい。

本開示に組み込まれ、本開示の一部を構成する添付の図面は、例示的実施形態を示し、説明と共に、開示する原理を説明する役割を果たす。

本開示の実施形態による自動染色体分類システムの説明図 本開示の実施形態による、自動染色体分類をコンピュータによって実施する方法の例示的流れ図 本開示の一実施形態による染色体特徴に基づき核型分析される染色体の説明図 本開示の一実施形態による染色体特徴に基づき核型分析される染色体の説明図 本開示の一実施形態による様々な手法の使用による染色体分類の比較分析の説明図

例示的実施形態を添付の図面を参照しながら説明する。図面において、参照番号の最も左の桁（複数可）は、その参照番号が最初に出現する図を特定する。好都合である場合は常に、同じ又は同様の部品を指すために、図面全体を通じて同じ参照番号を使用する。開示する原理の例及び特徴を本明細書で説明するが、開示する実施形態の趣旨及び範囲から逸脱することなく、修正形態、適合形態及び他の実装形態が可能である。以下の詳細な説明は、例と見なされるにすぎず、真の範囲及び趣旨は、以下の特許請求の範囲によって示すことを意図する。

本明細書の実施形態は、自動染色体分類のための方法及びシステムを提供する。代替的に残差畳み込み再帰型注意ニューラル・ネットワーク（Ｒｅｓｉｄｕａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ａｔｔｅｎｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、Ｒｅｓ−ＣＲＡＮＮ）と呼ぶシステムは、染色体を分類するため、染色体画像のバンド・シーケンスの特性を利用する。Ｒｅｓ−ＣＲＡＮＮは、エンドツーエンド訓練可能システムであり、代替的に特徴シーケンスと呼ぶ特徴ベクトル・シーケンスを、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）の畳み込み層によって生成した特徴マップから抽出し、特徴ベクトルは、染色体画像内の染色体バンドを表す視覚的特徴に対応する。特徴ベクトル・シーケンスは、注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）に供給される。ＲＮＮは、特徴ベクトル・シーケンスを学習し、注意モジュールは、特徴ベクトル・シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である。Ｒｅｓ−ＣＲＡＮＮは、最新技術の染色体分類方法と比較して、より高度な分類精度をもたらす。

次に、同様の参照符号が図面全体を通じて一貫して対応する特徴を示す図面、より詳細には図１から図４を参照すると、好ましい実施形態を示しており、これらの実施形態を、以下の例示的システム及び／又は方法の文脈において説明する。

図１は、本開示の一実施形態による自動染色体分類システムを示す。一実施形態では、システム１００は、１つ若しくは複数のプロセッサ１０２、通信インターフェース・デバイス（複数可）又は入出力（Ｉ／Ｏ）インターフェース（複数可）１０６、及び１つ若しくは複数のプロセッサ１０２４に動作可能に結合された１つ若しくは複数のデータ保存デバイス又はメモリ１０４を含む。ハードウェア・プロセッサである１つ又は複数のプロセッサ１０２は、１つ若しくは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、グラフィックス制御器、論理回路、及び／又は動作命令に基づき信号を操作する任意のデバイスとして実装することができる。プロセッサ（複数可）は、他の機能の中でも特に、メモリ内に保存したコンピュータ可読命令を取り出し、実行するように構成されている。本開示の文脈において、「プロセッサ」及び「ハードウェア・プロセッサ」という表現は、互換的に使用することができる。一実施形態では、システム１００は、ラップトップ・コンピュータ、ノートブック、ハンドヘルド・デバイス、ワークステーション、汎用コンピュータ、サーバ、ネットワーク・クラウド等、様々な計算システム内に実装することができる。

Ｉ／Ｏインターフェース（複数可）１０６は、様々なソフトウェア・インターフェース及びハードウェア・インターフェース、例えば、ウェブ・インターフェース、グラフィカル・ユーザ・インターフェース等を含むことができ、多種多様なネットワークＮ／Ｗ及びプロトコル・タイプ内で多数の通信を促進することができ、これらには、例えばＬＡＮ、ケーブル等の有線ネットワーク、及びＷＬＡＮ、セルラー又は衛星等のワイヤレス・ネットワークを含む。一実施形態では、Ｉ／Ｏインターフェース（複数可）は、いくつかのデバイスを互いに接続するか又は別のサーバに接続する１つ又は複数のポートを含むことができる。

メモリ１０４は、当技術分野で公知の任意のコンピュータ可読媒体を含むことができ、これらには、例えば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）及びダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）等の揮発性メモリ、並びに／又は読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュ・メモリ、ハードディスク、光ディスク及び磁気テープ等の不揮発性メモリを含む。一実施形態では、システム１００の１つ又は複数のモジュール（染色体分類モジュール１０８等）をメモリ１０２内に保存することができる。

図２は、本開示の一実施形態による、自動染色体分類のための、コンピュータによって実施される方法の例示的流れ図を示す。一実施形態では、システム１００は、１つ又は複数のデータ保存デバイス又はメモリ１０４を含み、１つ又は複数のデータ保存デバイス又はメモリ１０４は、１つ又は複数のプロセッサ１０２に動作可能に結合され、１つ又は複数のプロセッサ１０４によって方法２００のステップを実行するように構成した命令を保存するように構成される。次に、図１のシステム１００の構成要素を参照しながら方法２００のステップを詳細に説明する。工程ステップ、方法ステップ、技法等は、連続的な順番で記載することができるが、そのような工程、方法及び技法は、交互の順番で作用するように構成することができる。言い換えれば、記載することができるステップのあらゆるシーケンス又は順番は、必ずしも、ステップをその順番で実施するという要件を示すものではない。本明細書に記載の工程ステップは、あらゆる実際的な順番で実施することができる。更に、いくつかのステップは、同時に実施することができる。

染色体は、図３（ａ）に示すように、特徴的で固有の明暗色バンド・シーケンス（バンド形成パターン）を有し、染色体１から２２、ｘ及びｙ等、異なる染色体のクラス又は標示の間を区別するのに役立つ。核型分析による染色体のクラス標示を図３（ｂ）に示す。染色体バンドと互換的に呼ぶバンドの位置及びサイズは、染色体に高度に特異的である。バンド又はバンド形成パターン又はバンド・シーケンスは、染色体の様々な領域を細区画する有用な方法をもたらし、各バンドは、特定の番号が割り当てられ、これらの番号は、医師等のユーザが特定の染色体に対し標示を割り当てるために用いる。しかし、従来の深層ＣＮＮ（ＤＣＮＮ）は、ほとんどの場合、画像特徴の学習に集中するため、この特性を利用することができず、したがって、シーケンス予測の学習に直接適用することができない。方法２００は、再帰型ニューラル・ネットワーク（ＲＮＮ）を用いることによって、これらのバンドの外見のシーケンスを明示的に学習するアーキテクチャを提供するものであり、再帰型ニューラル・ネットワーク（ＲＮＮ）は、テキスト又は発話等、様々な長さをもつ一連のデータを処理することができる。開示するシステム（Ｒｅｓ−ＣＲＡＮＮ）は、上部から下部まで染色体画像（複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドまで）を水平に読み取ることによって、バンド・シーケンス特性を組み込む。また、既存の方法は、それほど高精度の染色体分類をもたらさない。分析する際の医学的画像は、診断に使用する際に高精度である必要がある。特に、がん又は遺伝子疾患等の重病の患者を治療する際、正しい診断が必須であり、染色体核型分析は、大きな役割を果たす。したがって、提案する高精度の方法及びシステム１００の達成は、現在の最新技術の自動染色体分類に取って代わるものである。更に、捕捉される染色体が非常に小さいサイズ（数マイクロメートル）である染色体画像の典型的な例を考慮すると、染色体画像からの正確な視覚的特徴の抽出が課題である。開示する方法は、染色体の視覚的特徴を抽出し、視覚的特徴に基づき染色体を正確に分類することもできる。

一実施形態では、方法２００は、長期／短期記憶ネットワーク（ＬＳＴＭ）を利用し、長期／短期記憶ネットワーク（ＬＳＴＭ）は、ゲート機構を使用するデータにおいて、長期依存のモデル化に使用する特殊な種類のＲＮＮである。方法２００は、ＤＣＮＮとＬＳＴＭとの組合せを開示し、テキスト認識に適用されている畳み込み再帰型ニューラル・ネットワーク（ＣＲＮＮ）と同様の様式で染色体画像内のバンド・シーケンスを認識するようにする。テキスト認識に対する多くの文献が存在するが、分類目的のための染色体のバンド・シーケンスの読取りは、検討されておらず、この読取りには、畳み込み演算によって、染色体画像を数学的形態で表し、次に、この数学的表現を特徴ベクトル・シーケンスに変換し、特徴ベクトル・シーケンスをＬＳＴＭに供給することを伴う。染色体内の明暗バンド・シーケンスを学習する方法は、画像ベースのテキスト・シーケンス認識タスクの１字ずつの文字の読取りと類似している。したがって、方法２００は、ＲｅｓＮｅｔの畳み込み層により生成した特徴マップを水平又は列方向に連結することによって、特徴ベクトル・シーケンスを抽出し、このシーケンスをＬＳＴＭに供給することを可能にする。更に、ＬＳＴＭは、注意機構により強化され、注意機構は、ＲＮＮが、入力された染色体画像又はシーケンスに関連する対象領域（ＲＯＩ）に注意を払うことを可能にする。注意機構は、ＬＳＴＭの後に追加される。というのは、染色体バンド・シーケンス内に、特定の染色体クラスを表す特定の領域／サブシーケンスがあるためである。したがって、ニューラル・ネットワークベースの注意モジュールを備える注意機構は、ＲＮＮネットワークの学習がこの特定の対象領域（ＲＯＩ）に注意を払うことを可能にし、分類精度を効果的に改善する。

システム１００は、染色体分類モジュール１０８を備え、染色体分類モジュール１０８は、深層注意ベースのＣＲＮＮモデルであり、下部ＤＣＮＮは、５０層のＲｅｓＮｅｔモデルに取り替えられ、ＬＳＴＭが続き、ＬＳＴＭの出力シーケンスは注意機構に渡される。このシステム１００のネットワーク・アーキテクチャは、残差畳み込み再帰型注意ニューラル・ネットワーク（Ｒｅｓ−ＣＲＡＮＮ）と呼ばれる。Ｒｅｓ−ＣＲＡＮＮアーキテクチャに基づく染色体分類モジュール１０８の各構成要素又はブロック及びその機能を以下で説明する。

残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）：Ｒｅｓ−Ｎｅｔは、非常に興味深いものであり、様々な視覚的及び非視覚的タスクにおいて非常にロバストであることがわかっている。Ｒｅｓ−Ｎｅｔは、深層残差学習フレームワークを利用し、より深層のニューラル・ネットワークの訓練をより容易にする。この残差フレームワークは、畳み込み層のブロックをショートカット接続に取り替え、残差ブロックとしても公知であるショートカット・ブロックを生成する。残差ブロックは、以下の式１：

として表すことができ、式中、ｘ及びｙは、残差ブロックの入力及び出力であり、関数Ｆ（ｘ，｛Ｗｉ｝）は、学習すべき残差マッピングを表す。残差ブロックは、ゼロ・マッピングよりも識別マッピングに近い最適関数のモデル化を試みる。外乱の発見は、ゼロ・マッピングよりも、識別マッピングを参照する方が容易であるはずである。このことは、ＲｅｓＮｅｔの最適化をほぼ費用がかからずに簡略化するものである。したがって、ＲｅｓＮｅｔ内の後続の残差ブロックは、所望の出力を最初から生成するのではなく、以前のブロックの出力の微調整を担う。これらの残差接続の主な特性は、残差接続が余分なパラメータを導入することも、計算の複雑さを増大させることもないことである。残差ブロックは積層され、残差マッピングは、より深層のネットワークにおける勾配消失問題に対処するのに役立ち、最適化を容易にし、したがって、訓練効率の向上をもたらす。ＲｅｓＮｅｔは、ｍ層ＲｅｓＮｅｔモデルとして表される多数のアーキテクチャ・バージョンがあり、ｍは、対応するアーキテクチャ内の層の数であり、ｆ５０、１０１、１５２ｇといった値を取ることができる。

畳み込み再帰型ニューラル・ネットワーク（ＣＲＮＮ）：ＣＲＮＮは、深層畳み込みニューラル・ネットワーク（ＤＣＮＮ）と再帰型ニューラル・ネットワーク（ＲＮＮ）との組合せであり、そのアーキテクチャは、主に、画像内のシーケンス状物体、本明細書では染色体内のバンド・シーケンス、を認識するように設計される。ＣＲＮＮの従来のアーキテクチャは、畳み込み層、再帰層及び転写層を下部から上部に含む。しかし、システム１００により実施する方法２００は、転写層を、分類タスクのためのソフトマックス層に取り替える。転写層は、標示をテキスト・シーケンス内の文字ごとに割り当てる一方で、システム１００は、１つのクラス標示を染色体分類のバンド・シーケンス全体に割り当てるソフトマックス層を用いる。ＣＲＮＮアーキテクチャ内の下にあるＤＣＮＮの畳み込み層は、入力として染色体画像と代替的に呼ぶ画像を取得し、対応する特徴マップを生成する。次に、特徴マップを使用し、特徴ベクトル・シーケンスを抽出し、各特徴ベクトルは、フィルタ・マップの列を上部から下部まで連結することによって生成する。その後、この特徴ベクトル・シーケンス（特徴シーケンス）を再帰型ニューラル・ネットワーク、一実施形態では長期／短期記憶ネットワーク（ＬＳＴＭ）に供給し、これにより、特徴シーケンスの各フレームに対する標示を生成する。上部のソフトマックス層は、ＬＳＴＭによるフレームごとの予測をクラス標示シーケンスに変換する。染色体分類モジュールを備えるシステム１００全体は、単一の損失関数を使用することによってエンドツーエンドに訓練し、構成ネットワーク（即ち、ＤＣＮＮ及びＬＳＴＭ）の両方を一緒に訓練する。

注意ベースのシーケンス学習：ニューラル・ネットワークにおける注意機構は、人間に見られる視覚的注意機構に基づく。人間が画像を見る際、視覚的注意は、画像の周囲領域を低解像度で知覚しながら、画像内の特定の対象領域に高解像度で集中することになり、次に、この焦点を経時的に調節し続ける。この注意機構は、典型的には長いシーケンスの場合、注意を利用し、ネットワークに、これらのシーケンスのうち特定の対象領域（ＲＯＩ）に集中することを学習させる。ニューラル・ネットワークにおける注意機構は、ネットワークの訓練に必要なパラメータの数を低減し、過適合の可能性も回避する。

本開示の一実施形態では、ステップ２０２において、１つ又は複数のプロセッサ１０２は、染色体分類モジュール１０８と連携し、複数の染色体バンドを有する染色体を含む染色体画像を受信するように構成される。染色体核型分析は、２段階の工程である。第１の段階では、細胞***中期の間の細胞の広がる画像を区分化し、第２の段階では、個々の染色体区分又は個々の染色体を分類する。本明細書では、システム１００は、区分化し、伸ばした個々の染色体（正規化染色体）を受信すると仮定する。これらの染色体は、核型分析のため正しいクラス標示に分類する必要があるものである。正規化は、当技術分野で公知の方法によって実施することができる。

完全なネットワークは、エンドツーエンドに訓練され、出力において完全に接続されたソフトマックス層は、分析する染色体画像のクラス標示を自動的にもたらす。ステップ２０４において、１つ又は複数のプロセッサ１０２は、染色体分類モジュール１０８と連携し、染色体の複数の特徴マップ（Ｇ×Ｈ×Ｋ）を生成することによって、染色体の染色体バンドに関連する視覚的特徴を抽出するように構成される。一実施形態では、Ｒｅｓ−ＣＲＡＮＮの下部は、畳み込み層に起因して特徴マップを生成する５０層のＲｅｓＮｅｔモデルである。視覚的畳み込み特徴マップを抽出するため、ＣＮＮ、ＲｅｓＮｅｔ、ｉｎｃｅｐｔｉｏｎ、ｘｃｅｐｔｉｏｎのようなあらゆる深層畳み込みネットワークを使用することができ、これらの深層畳み込みネットワークには、ＲｅｓＮｅｔ−５０、ＲｅｓＮｅｔ−１０１、ＲｅｓＮｅｔ−１５２等のＲｅｓＮｅｔの変形形態を含む。ステップ２０６において、１つ又は複数のプロセッサ１０２は、染色体分類モジュール１０８と連携し、複数の特徴マップに対する水平切片化及び垂直切片化の１つを使用することによって、複数の特徴マップから複数の特徴ベクトル（Ｈ＊Ｋ）を得るように構成される。ステップ２０８において、１つ又は複数のプロセッサ１０２は、染色体分類モジュール１０８と連携し、複数の特徴ベクトルを上部から下部まで連結し、特徴シーケンス（Ｇ×Ｈ＊Ｋ）又は特徴ベクトル・シーケンスを生成するように構成される。次に、各特徴マップの水平ベクトルの連結によって、ＣＲＮＮと同様の様式でこれらの特徴マップを特徴シーケンスに変換する。各特徴マップの水平ベクトルの数学的解釈は以下で説明する通りである：

式中、Ｆ_gは、ＲｅｓＮｅｔ畳み込み特徴マップから得た次元Ｈ＊Ｋの特徴ベクトルであり、ｆ_gkは、ｋ番目のフィルタ・マップのｇ番目の水平ベクトルであり、ｉは、ｉ番目の画像を表し、Ｋは、フィルタ・マップの総数である。ｉ番目の画像の最終的な特徴シーケンスＳｉは、

によって示され、式中、Ｇ及びＨは、ＲｅｓＮｅｔ−５０モデルの最上畳み込み層から得た特徴マップの高さ及び幅である。

ステップ２１０において、１つ又は複数のプロセッサ１０２は、染色体分類モジュール１０８と連携し、注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して、特徴ベクトルの特徴シーケンスを処理し、染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類するように構成される。ＲＮＮは、特徴シーケンスを学習し、注意機構は、特徴ベクトル・シーケンスの複数の対象領域（ＲＯＩ）に集中し、ＲＯＩは、１つの染色体クラス標示に特異的である。一実施形態では、次に、特徴シーケンスＳｉをＬＳＴＭ（ＲＮＮの一種）に渡し、ＬＳＴＭは、バンド・シーケンスの予測を学習する。その後、ＬＳＴＭ出力は、注意ブロックに供給され、注意ブロックは、後述のように、シーケンス内の特徴ベクトルのそれぞれに対する注意重みを学習する。

ＭがＭ＝［ｍ₁，ｍ₂，．．．ｍ_N］によって示される行列であるとすると、ｍｉは、ＬＳＴＭが生成する出力ベクトル・シーケンスを表し、Ｎはシーケンスの長さである。注意ブロックの出力表現Ｒは、これらのベクトルの重み付け和であり、

として定義され、式中、ｗは注意ブロックのために学習すべき重みである。
分類に使用される最終的な表現ｒは以下のように示される：

次に、注意機構から生成した表現ｒは、ソフトマックスの活性化を有する完全接続層に渡され、完全接続層は、画像を対応するクラス標示に分類する。

実験評価
実験評価に使用するデータセット：Ｒｅｓ−ＣＲＡＮＮの性能評価は、オンラインで公衆に利用可能であるバイオイメージ染色体分類データセット上で実施する。データセットは、健康な患者の合計５２５６の染色体画像から構成され、染色体画像は、標示データセットを生成するため、細胞遺伝学の専門家により手作業で区分化、分類する。５２５６の画像のうち、訓練用に４１７６の画像、検証用に３６０の画像、及び検査目的で７２０の画像を利用している。実験の実施のため、染色体画像の解像度は、グレースケールで２２４×２２４に設定する。更に、データセット内の全ての染色体画像に対し、長さ正規化という事前処理ステップを施す。

訓練の詳細：開示する方法の性能の比較に使用する最初のベースライン方法は、従来の深層ＣＮＮ（表１の列１）から構成する。

表１：比較分類結果

深層ＣＮＮモデルは、Ａｄａｍオプティマイザを使用して訓練し、１０ ４の学習率を有し、残りのパラメータはデフォルト値を有する。第２のベースラインは、ＲｅｓＮｅｔ−５０モデル（表１の列２）により生成し、ＲｅｓＮｅｔ−５０モデルは、確率的勾配降下法を使用して訓練し、１０^-3の学習率、１０^-6のモメンタムを有し、減衰パラメータを０：９として設定し、ネステロフを真であると設定する。更に、表１の列３、４、５で表すネットワークは、Ａｄａｍオプティマイザを使用して訓練し、１０ ４の学習率を有し、エプシロンを１０^-8に設定し、残りのパラメータをデフォルト値に設定する。ＣＲＮＮモデル（表１の列３）は、ＲｅｓＮｅｔ−５０及びＬＳＴＭモデルの連結から構成される一方で、注意ベースのシーケンス・モデル（表１の列４）は、注意ブロックにより強化したＲｅｓＮｅｔ−５０モデルから構成される。深層ＣＮＮ、ＲｅｓＮｅｔ−５０、ＣＲＮＮ、注意ベースのモデル及びＲｅｓ−ＣＲＡＮＮを訓練するエポック数は、それぞれ１５０、３０、１００、８０及び８０であるように設定した。検証結果をそれぞれのエポックにおいて観察し、最低検証損失に対応するモデル・パラメータを追跡した。モデル・パラメータは、後に検査のために使用した。全てのネットワークは、Ｔｈｅａｎｏ及びＫｅｒａｓを使用して実施する。表１は、Ｒｅｓ−ＣＲＡＮＮアーキテクチャ及びベースライン方法を使用して得た実験結果を示す。上位ｋ番目の分類精度の割合を評価し、ｋは１、３及び５に設定する。従来の深層ＣＮＮモデルの性能を表１の列１に示す。従来の深層ＣＮＮモデルは、フィルタ数としてそれぞれ１６、１６、３２、６４、１２８及び２５６を有する６つの畳み込み層、続いて、次元１０２４及び５１２の２つの完全接続層から構成される。各畳み込み層は、正規化線形関数（ＲｅＬＵ）を使用し、その後、サイズ２×２の最大プール層が続く。全ての畳み込み層において、３×３カーネルのサイズのフィルタを使用する。完全接続層は、活性化関数としてシグモイド関数を有する。最後の層も、完全接続ソフトマックス層であり、２４の染色体クラスに対し、ソフトマックス活性化関数を有する２４の隠れユニットを有する。表１の列１及び列２において明白であるように、深層ＣＮＮと比較するとＲｅｓＮｅｔ−５０モデルの性能は向上しており、本発明者等がＣＲＮＮアーキテクチャ内でＲｅｓＮｅｔ−５０を使用することを励ますものである。次に、表１の列３は、上記で説明したＬＳＴＭと連携するＲｅｓＮｅｔ−５０モデルから構成されるＣＲＮＮモデルの性能を表す。

このＲｅｓ−ＣＲＡＮＮは、ＲｅｓＮｅｔ−５０及び深層ＣＮＮモデルのそれぞれと比較すると、上位１番目の分類精度が２．６３％及び２．７７％という絶対的な改善をもたらす。この改善は、畳み込みニューラル・ネットワークの単独使用では染色体バンド・シーケンスの完全な学習を可能にしないことを証明するものである。したがって、ＣＲＮＮモデル内で再帰型ニューラル・ネットワークを使用してシーケンス情報を明示的に組み込み、これにより、染色体分類精度を改善する。次に、表１の列４は、ＲｅｓＮｅｔ−５０モデルに対し、注意ブロックにより強化した注意ベースのシーケンス・モデルの結果を示し、結果は、ＣＲＮＮモデルの性能に匹敵する性能をもたらす一方で、両方のベースライン方法よりも性能が優れている。この改善は、注意領域局所化と分類との間の関係を学習した結果によるものである。表１において、列５は、本発明者等の提案する方法、即ちＲｅｓ−ＣＲＡＮＮモデルの性能を示し、９０．４２％という上位１番目の分類精度を達成し、染色体分類に対する従来の最新技術のアルゴリズムよりも性能が優れている。更に、Ｒｅｓ−ＣＲＡＮＮモデルの上位３番目及び上位５番目の分類精度も、残りのモデルと比較すると、最も高い。このことは、３つの主な層の全て、即ち、畳み込み層、再帰層及び注意層が染色体分類の性能の向上に寄与することを示す。

更に、図４に示すように、異なるネットワーク・アーキテクチャ、例えば、ＲｅｓＮｅｔ−５０、ＣＲＮＮ、注意ベースのＣＲＮＮモデル及びＲｅｓ−ＣＲＡＮＮによって生成したいくつかの染色体の顕著性マップ（ｓａｌｉｅｎｃｙ ｍａｐ）を観察する。顕著性マップの生成には、ｋｅｒａｓ−ｖｉｓライブラリを使用する。ＲｅｓＮｅｔ−５０は、染色体領域と共に望ましくないノイズを生成するため、このネットワークの分類精度に影響を及ぼす。しかし、ＲｅｓＮｅｔ−５０を再帰層及び注意機構により強化すると（Ｒｅｓ−ＣＲＡＮＮ）、ネットワークは、染色体画像領域にのみ注意を払い、バックグラウンドを無視しようとする。このことは、図４に示す微細な顕著性マップによって明白であり、対象領域、即ち、染色体及びバンド・シーケンスのみが強調標示されている。この視覚化は、Ｒｅｓ−ＣＲＡＮＮアーキテクチャの性能が、染色体分類のための他のネットワークに対し改善されていることを証明する。

本明細書は、当業者が実施形態を製作し、使用することが可能になるように本明細書の主題を説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者が想到する他の修正形態を含むことができる。そのような他の修正形態は、特許請求の範囲の文字通りの文言とは異ならない同様の要素を有する場合、又は文字通りの文言とごくわずかな差を有する等価要素を含む場合、特許請求の範囲内にあることを意図する。

保護の範囲は、そのようなプログラム、及び更にはメッセージを中に有するコンピュータ可読手段まで拡大され、そのようなコンピュータ可読手段は、プログラムをサーバ又はモバイル・デバイス又は任意の適切なプログラム可能デバイス上で稼働させる際に、１つ又は複数の方法ステップを実施するプログラム・コード手段を含むことは理解されよう。ハードウェア・デバイスは、プログラム可能なあらゆる種類のデバイスとすることができ、例えば、サーバ若しくはパーソナル・コンピュータ等のようなあらゆる種類のコンピュータ、又はそれらの組合せを含む。デバイスは、手段も含むことができ、例えばハードウェア手段、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はハードウェア手段とソフトウェア手段との組合せ、例えば、ＡＳＩＣ及びＦＰＧＡ、又は少なくとも１つのマイクロプロセッサ、及びソフトウェア・モジュールが中に位置する少なくとも１つのメモリとすることができる。したがって、手段は、ハードウェア手段及びソフトウェア手段の両方を含むことができる。本明細書で説明する方法の実施形態は、ハードウェア及びソフトウェア内に実装することができる。デバイスは、ソフトウェア手段も含むことができる。代替的に、実施形態は、例えば複数のＣＰＵを使用して様々なハードウェア・デバイス上に実装することができる。

本明細書の実施形態は、ハードウェア要素及びソフトウェア要素を備えることができる。ソフトウェア内に実装する実施形態は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含む。本明細書で記載する様々なモジュールによって実施する機能は、他のモジュール又は他のモジュールの組合せにおいて実施することができる。この説明の目的で、コンピュータ使用可能媒体又はコンピュータ可読媒体は、命令実行システム、装置又はデバイスが使用するか又はこれらに関連するプログラムを備え、保存し、通信、伝搬又は移送するあらゆる装置とすることができる。

ステップの説明は、図示の例示的実施形態を説明するために示し、進行中の技術開発により、特定の機能を実施する様式が変更されることは予期されるはずである。こうした例は、例示のために本明細書で提示するものであり、限定するものではない。更に、機能的な構成ブロックの境界は、説明の便宜上、本明細書において任意に定義されている。特定の機能及び機能関係が適切に実施されるかぎり、代替的な境界を定義することができる。代替形態（本明細書に記載するものの等価物、拡張形態、変形形態、逸脱形態等を含む）は、本明細書に含まれる教示に基づき、当業者には明らかである。そのような代替形態は、開示する実施形態の趣旨及び範囲内にある。また、語「備える」、「有する」、「含有する」及び「含む」並びに他の同様の形態は、意味が同等であり、これらの語のいずれか１つに続く１つ若しくは複数の項目がそのような１つ若しくは複数の項目の網羅的な列挙を意味しないという点で、又は列挙した１つ若しくは複数の項目のみに限定することを意味しないという点で、無制限であることを意図する。本明細書及び添付の特許請求の範囲で使用する単数形「１つの（ａ、ａｎ及びｔｈｅ）」は、文脈が別段に明確に規定しない限り、複数の言及を含む。

更に、１つ又は複数のコンピュータ可読記憶媒体は、本開示に一致する実施形態を実施する際に利用することができる。コンピュータ可読記憶媒体は、プロセッサが読取り可能な情報又はデータを保存することができる任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書に記載の実施形態に一致するステップ又は段階をプロセッサ（複数可）に実施させる命令を含め、１つ又は複数のプロセッサによって実行される命令を保存することができる。用語「コンピュータ可読媒体」は、有形物品を含み、搬送波及び過渡信号を除外する、即ち、非一時的であることは理解されよう。例は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハード・ドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュ・ドライブ、ディスク、及びあらゆる他の公知の物理的記憶媒体を含む。

本開示及び例は、例と見なされるにすぎず、開示する実施形態の真の範囲及び趣旨は、以下の特許請求の範囲によって示すことを意図する。

Claims (15)

1. 染色体分類のための、プロセッサによって実施される方法であって、
   １つ又は複数のハードウェア・プロセッサを介して、複数の染色体バンドを有する染色体を含む染色体画像を受信すること（２０２）；
   １つ又は複数のハードウェア・プロセッサを介して、次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、前記染色体の染色体バンドに関連する視覚的特徴を抽出すること（２０４）；
   １つ又は複数のハードウェア・プロセッサを介して、前記複数の特徴マップに対し水平切片化を適用することによって、前記複数の特徴マップから複数の特徴ベクトルを得ることであって、各前記特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること（２０６）；
   １つ又は複数のハードウェア・プロセッサを介して、前記複数の染色体バンドのうち上部染色体バンドから下部染色体バンドの順に前記複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝Ｇ×Ｈ＊Ｋ）を生成すること（２０８）；
   １つ又は複数のハードウェア・プロセッサを介して、注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して前記特徴シーケンスを処理することによって、前記染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、前記ＲＮＮは、前記特徴シーケンスを学習し、前記注意機構は、前記特徴シーケンスの複数の対象領域（ＲＯＩ）に集中し、前記ＲＯＩは、１つの染色体クラス標示に特異的である、分類すること（２１０）；を含む
   ことを特徴とする方法。
2. 前記染色体の分類は、固有のクラス標示を前記特徴シーケンスに割り当てるソフトマックス層を利用することを更に含む
   請求項１に記載の方法。
3. 染色体の視覚的特徴を抽出することによって複数の特徴マップを生成する前記ステップは、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）−５０を使用して実施し、各前記特徴マップは、対応する染色体の数学的表現である
   請求項１に記載の方法。
4. 前記染色体画像の前記複数の染色体バンドは、文字をテキスト順に左から右に読み取るように、前記上部染色体バンドから前記下部染色体バンドに読み取られる
   請求項１に記載の方法。
5. 前記注意機構は、ニューラル・ネットワークベースの学習機構を備える注意モジュールであり、前記ニューラル・ネットワークベースの学習機構は、前記染色体画像の近隣領域を低解像度で知覚しながら、前記染色体画像のＲＯＩに高解像度で注目する
   請求項１に記載の方法。
6. １つ又は複数のデータ保存デバイス（１０４）を備えるシステム（１００）であって、前記１つ又は複数のデータ保存デバイス（１０４）は、１つ又は複数のハードウェア・プロセッサ（１０２）に動作可能に結合し、前記１つ又は複数のハードウェア・プロセッサによって、
   複数の染色体バンドを有する染色体を含む染色体画像を受信すること；
   次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、前記染色体の染色体バンドに関連する視覚的特徴を抽出すること；
   前記複数の特徴マップに対し水平切片化を適用することによって、前記複数の特徴マップから複数の特徴ベクトルを得ることであって、各前記特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること；
   前記複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドの順に前記複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝ＧｘＨ＊Ｋ）を生成すること；
   注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して前記特徴シーケンスを処理することによって、前記染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、前記ＲＮＮは、前記特徴シーケンスを学習し、前記注意機構は、前記特徴シーケンスの複数の対象領域（ＲＯＩ）に集中し、前記ＲＯＩは、１つの染色体クラス標示に特異的である、分類すること；
   を実行するように構成した命令を保存するように構成される
   ことを特徴とするシステム。
7. 前記システム（１００）は、固有のクラス標示を前記特徴シーケンスに割り当てるソフトマックス層を利用して、前記染色体を分類するように更に構成される
   請求項６に記載のシステム。
8. 前記システム（１００）は、染色体の視覚的特徴を抽出することによって複数の特徴マップを生成するように構成され、前記生成は、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）−５０を使用して実施し、各前記特徴マップは、対応する染色体の数学的表現である
   請求項６に記載のシステム。
9. 前記システム（１００）は、文字をテキスト順に左から右に読み取るように、前記染色体画像の前記複数の染色体バンドを、前記上部染色体バンドから前記下部染色体バンドに読み取るように構成される
   請求項６に記載のシステム。
10. 前記システム（１００）の前記注意機構は、ニューラル・ネットワークベースの学習機構を備える注意モジュールであり、前記ニューラル・ネットワークベースの学習機構は、前記染色体画像の近隣領域を低解像度で知覚しながら、前記染色体画像のＲＯＩに高解像度で注目する
    請求項６に記載のシステム。
11. 非一時的コンピュータ可読媒体であって、前記非一時的コンピュータ可読媒体は、ハードウェア・プロセッサによって実行する場合、前記ハードウェア・プロセッサが、
    複数の染色体バンドを有する染色体を含む染色体画像を受信すること；
    次元Ｇ×Ｈ×Ｋを有する複数の特徴マップを生成することによって、前記染色体の染色体バンドに関連する視覚的特徴を抽出すること；
    前記複数の特徴マップに対する水平切片化を適用することによって、前記複数の特徴マップから複数の特徴ベクトルを得ることであって、各前記特徴ベクトルＦ_gは、次元Ｈ＊Ｋである、得ること；
    前記複数の染色体バンドのうち、上部染色体バンドから下部染色体バンドの順に前記複数の特徴ベクトルを連結し、特徴シーケンス（Ｓｉ＝ＧｘＨ＊Ｋ）を生成すること；及び
    注意機構により強化した再帰型ニューラル・ネットワーク（ＲＮＮ）を使用して前記特徴シーケンスを処理することによって、前記染色体を、複数の所定の染色体クラス標示のうちの１つのクラス標示に分類することであって、前記ＲＮＮは、前記特徴シーケンスを学習し、前記注意機構は、前記特徴シーケンスの複数の対象領域（ＲＯＩ）を連結し、前記ＲＯＩは、１つの染色体クラス標示に特異的である、分類すること；
    を含む動作を実施する命令を保存する
    ことを特徴とする非一時的コンピュータ可読媒体。
12. 前記染色体の分類は、固有のクラス標示を前記特徴シーケンスに割り当てるソフトマックス層を利用することを更に含む
    請求項１１に記載の非一時的媒体。
13. 染色体の視覚的特徴を抽出することによって複数の特徴マップを生成する前記ステップは、残差ニューラル・ネットワーク（ＲｅｓＮｅｔ）−５０を使用して実施し、各前記特徴マップは、対応する染色体の数学的表現である
    請求項１１に記載の非一時的媒体。
14. 前記染色体画像の前記複数の染色体バンドは、文字をテキスト順に左から右に読み取るように、前記上部染色体バンドから前記下部染色体バンドに読み取られる
    請求項１１に記載の非一時的媒体。
15. 前記注意機構は、ニューラル・ネットワークベースの学習機構を備える注意モジュールであり、前記ニューラル・ネットワークベースの学習機構は、前記染色体画像の近隣領域を低解像度で知覚しながら、前記染色体画像のＲＯＩに高解像度で注目する
    請求項１１に記載の非一時的媒体。

Images