本発明は、モデルベースの生物医学的予測の分野に関し、より詳細には、モバイルデバイスのマトリックスディスプレイによって視覚化されたモデルベースの生物医学的予測に関する。
生物医学領域における予測モデル化は、科学者およびヘルスケアマネージャが、全ての種類の生物医学的予測タスクのために、ますます多くのモデルベースの予測器を使用しなければならないという複数の差し迫った問題に直面している。例えば、ニューラルネットワークまたはサポートベクトルマシンは、患者に最も適したがん治療法を予測するため、たんぱく質配列内の適切なエピトープを識別するため、DNA配列における特定のパターンを識別するため、分子ライブラリ中の薬物標的候補を識別するため、または、たんぱく質の3D構造を予測するために使用することができる。患者コホートから得た統計モデルおよびデータは、標準治療法において使用される薬物に比べて、特定の薬物が、改善された効果を示したかどうか、または、薬物がそもそも効果を示すかどうかを予測するために使用される。非常に多様な予測モデルには、対応する多様なユーザインターフェースが伴う。しばしば、もともと予測モデルによって生成されたほんのわずかの情報だけがユーザに実際に表示される。それでも、ユーザが「はい、または、いいえ」という2項の結果しか提示されない場合、この予測の確実性(すなわち、信頼性)、および/または、予測が基づくモデルの正確さについての価値ある情報が失われることもある。生物医学的予測の背景における背景情報の喪失は、生物医学領域における差し迫った問題であり、データ、モデル、および患者が、しばしば、特徴と条件の一意の組合せによって、また、「灰色値状態(grey value state)」、すなわち、患者/セル/組織が特定の特徴を有しているか否かを明確に判定できない状態によって特徴づけられる。
その一方で、利用できる可能性のある背景情報全てを、予測モデルのユーザインターフェースが出力する場合、このインターフェースは、ハンドヘルドモバイルデバイスで使用するのに適しておらず、なぜなら、表示できるデータの複雑さに、小さい画面が制約を課すからである。さらに、複数のモデルベースの予測の結果を、重要な背景情報を失うことなく単一の画面に表示することはできない。それでも、異なる作業場所、顧客、病院、大学、および会議場の間の頻繁な移動は、同時に、自分の作業を実行するために自分の携帯電話を使用する多くの科学者およびヘルスケアプロバイダの日々の作業ルーチンの不可欠な構成要素になってきている。
さらなる問題は、生物医学領域における情報獲得の急激な速さであり、これにより、予測モデルは、すぐに旧式になる。
Kundaje A、Middendorf M、Shah M、Wiggins CH、Freund Y、Leslie C.は、「A classification-based framework for predicting and analyzing gene regulatory response」、BMC Bioinformatics.2006年;7(Suppl 1):S5.doi:10.1186/1471-2105-7-S1-S5の中で、散布図と混同行列の組合せの形で予測結果を視覚化するという、生物医学領域における予測フレームワークについて述べている。散布図は、結果を視覚化する特定のモデル固有の形であり、混同行列は、モデルの品質についていくらかの情報を提供する。それでも、専門家でさえ、混同行列が伝えた情報を理解していないことが多い。さらに、散布図または混同行列に含まれる情報を携帯電話の小さい画面に表示することは、非常に困難であるか、不可能なことさえあり、出力は、同じまたは他のモデルの他の予測と簡単に比較することができない。
米国特許出願第US2006/129326A1号は、臨床試験の改善された制御のための方法を説明している。臨床試験が始まった後、データは、データを統計的に分析するために、必ずきれいにされ、処理される。結論はタイミングおよびレベルの予測尺度を含み、この尺度により、研究は、1つまたは複数の統計的に重要なレベルを達成することになり、研究を中間軌道に修正することができる。Gayvert Kaitlyn M.らは、「A Data-Driven Approach to Predicting Successes and Failures of Clinical Trials」、CELL CHEMICAL BIOLOGY、ELSEVIER、AMSTERDAM、NL、vol. 23、no. 10、2016年9月15日、1294~1301頁、XP029774258の中で、昨年、臨床試験の失敗の数がかなり増加したという問題について述べている。臨床試験を行う前に、好ましくない毒性の性質を有する化合物を識別するのは困難である。著者は、見落とした特徴を分析して、臨床毒性を予測するという「マネーボール」手法を提案している。新しいデータ駆動型手法(PrOCTOR)は、臨床試験における毒性の可能性を直接予測する。
独立請求項で指定したように、電池式ハンドヘルドモバイルデバイスおよび対応するモバイルデバイスのマトリックスディスプレイ上で、モデルベースの予測の確実性を視覚化する改善された方法を提供することが本発明の目的である。本発明の実施形態は、従属請求項で示す。本発明の実施形態は、実施形態が相互に排他的でない場合、互いに自由に組み合わせることができる。
1つの態様では、本発明は、電池式ハンドヘルドモバイル通信デバイスのマトリックスディスプレイ上で、生物医学的モデルベースの予測の確実性を視覚化する方法に関する。方法は、モバイルデバイスによって、デジタルセルラーモバイル通信ネットワークを介して予測結果を受け取ることを含む。予測結果は、プログラムロジックによって、生物医学的モデルを使用して生物医学的予測タスクのために生成されている。予測結果は、少なくとも予測スコア、第1の信頼区間、および第2の信頼区間を含む。
予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値である。スコア範囲は、可能性のあるスコア値の所定の範囲である。好ましくは、予測スコアは、正規化した予測スコアであり、所定のスコア範囲は、例えば、-1と+1との間の、または、0と1との間のスコア範囲といった、数値のスコア範囲である。
予測の目標は、例えば、2つのクラスのうちの1つにおける特定のオブジェクトのメンバシップを評価すること(すなわち、クラス「C0」に、またはクラス「C1」に、オブジェクトを2項分類すること)であってもよい。2つのクラスのそれぞれは、例えば、スコア値の範囲[0,1]については「0」および「1」、または、スコア値の範囲[-1,+1]については「-1」および「+1」といった、可能性のあるスコア値の範囲の2つの境界のうちの1つによって表される。予測スコアは、この評価したメンバシップがどれだけ安全であるか(信頼できるか)を示す。「理想的な」(絶対的に信頼できる)スコア値は、スコア値の範囲内の最大または最小の可能性のあるスコア値に、常になるはずである。例えば、「理想的な」スコアは、(可能性のあるスコア値の範囲が[0~1]である場合)0もしくは1になるはずであり、または、(可能性のあるスコア値の範囲が[-1から+1]である場合)-1もしくは1になるはずである。計算した予測スコア値が、2つのスコア範囲境界のうちの最も近い1つから遠く離れれば離れるほど(すなわち、スコアが、範囲[0~1]の背景では0.5に近づけば近づくほど、または、範囲-1から+1の背景では0に近づけば近づくほど)、前記最も近いスコア範囲境界によって表された予測したメンバシップが安全ではなくなる。例えば、クラスC0は、「この薬は、特定の疾患の治療のためにFDAによって承認されるだろう」という予測結果を表すことができ、クラスC1は、「この薬は、この特定の疾患の治療のためにFDAによって承認されないだろう」という予測結果を表すことができる。
第1の信頼区間は、スコア範囲の第1の副区間である。第1の信頼区間は、所定のFNパーセンテージの閾値を下回る偽陰性(FN:false negative)予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。
第2の信頼区間は、スコア範囲の第2の副区間である。第2の信頼区間は、所定のFPパーセンテージの閾値を下回る偽陽性(FP:false positive)予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。
方法は、モバイルデバイスによって、モバイルデバイスのマトリックスディスプレイにアナログスケールアイコンを表示することをさらに含む。アナログスケールアイコンは、予測スコアを含んだバックグラウンドエリアを含む。アナログスケールアイコンは、アナログスケール、ポインタ、第1の副範囲指標、および第2の副範囲指標をさらに含む。
アナログスケールは、スコア範囲を表す。スケールの終端は、スコア範囲の最大および最小スコア値を表す。
ポインタは、予測スコアを表すスケール内の位置を指す。
第1の副範囲指標は、スケールに対する第1の副範囲指標の大きさおよび位置が、スコア範囲内の第1の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。
第2の副範囲指標は、スケールに対する第2の副範囲指標の大きさおよび位置が、スコア範囲内の第2の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。
前記特徴は、スコア値が、人間の生理機能の限界により、直感的に解釈できない数値である任意の数値または値の範囲を意識的に読み取り、理解し、解釈する必要もなく、予測の結論、ならびに、予測の、および予測が基づくモデルの正確さの、品質および確実性を、どんなユーザでも、アナログスケールアイコンによって、すぐにかつ直感的に理解できるので、有利な可能性がある。さらに、スコア値の理解は、機械学習の技術分野の経験および専門知識の不足により、妨げられる。人間の数値の知覚の生理的限界を克服するために、また、スコア値の意味、および、スコア値をどれほど信頼できるかを完全に理解するために、ユーザは、数値スコア値を意識的に読み取ること、可能性のあるスコア値のスケールを意識的に記憶すること、この範囲とスコア値を比較すること、および、特定の仮定の確認または拒否として予測結果が解釈されるべきかどうかを判定することを、以前は強いられていた。さらに、予測を実行するために使用されたモデルの正確さを評価するために、ユーザは、モデルの品質を示したさらなる数値を含んだ他のページまたは表示領域を閲覧し、数値を読み取り、数値を理解し、このさらなる情報を考慮して予測結果を解釈することを、以前は行わなければならなかった。
逆に、アナログスケール、および、このスケール内の予測スコア値を指すポインタを提供することによって、数値または値の範囲を意識的に読み取り、理解し、解釈する必要もなく、素早くかつ直感的に理解できる予測結果の視覚化をもたらす。したがって、アナログスケールアイコンで伝えられた情報の理解は、心理的または他の主観的要因にではなく、ポインタ、スケール、およびスケールと位置合わせされた2つの副範囲指標の相対的な位置に依存する。動くオブジェクトを素早く解釈することがしばしば生存の鍵であった動くオブジェクトに満ちた世界で、何百万年にもわたって進化した人間の脳の生理機能を考慮すると、オブジェクトの相対的な位置付けは、素早く処理できるデータ表現の形を表している。
さらなる有益な態様では、モデル予測結果に表現された情報は、小さい画面に提示された場合でも、同様に認識し、直感的に理解できるように、提示される。画面が小さすぎて、スケールに表現された数値、および予測スコアを、ユーザが読み取って認識することができない場合でも、また、スケールがスケール値を全く含まない場合でも、ユーザは、アナログスケールに対するポインタの方向に基づいて、依然として直感的に、予測結果を単純に評価することができる。人間が読めるほど十分に大きい数値をディスプレイが提示できる場合でも、スケールの最大値(例えば1)に近い大きい数値ではなく、スケールの平均値(例えば0)に近い小さい数値をポインタが指すことから、一見して「0.7」であると間違って知覚された数値が、実際には「0.1」であることをユーザがすぐに認識することを可能にできる直感的に認識可能な情報をポインタが示すので、アナログスケールの形での視覚化は数値の可読性をなお改善する。
さらなる有益な態様では、アナログスケールアイコンは、第1および第2の副範囲指標を含み、第1および第2の副範囲指標は、これらの副範囲内で、非常にごくわずかの偽陽性および偽陰性の予測結果だけが予想されることから特に信頼できると考えられる予測スコア値を表すスケール領域を示すものである。これらの副範囲は、モデル固有のものであり、副範囲の幅は、偽陽性の結果と偽陰性の結果で異なっていてもよい。したがって、第1および第2の副範囲の幅は、(一般に、また、現在の予測結果の品質および確実性に関わらず)モデルの品質をユーザに知らせる。
例えば、特定のモデルに基づいて計算された予測では、スコア値「0」は、イベント(分類結果)「陰性」を表し、スコア値1は、イベント(分類結果)「陽性」を表し、「陽性」は通常のことである。スコア値「0」は、第1のクラス「C0」を表し、第1の信頼区間の下の方の境界を定義することができる。スコア値「1」は、第2のクラス「C1」を表し、第2の信頼区間の上の方の境界を定義することができる。
スコア値が、0と1の間ではなく、-1と+1の間で正規化された場合、スコア値「-1」は、第1のクラス「C0」を表し、第1の信頼区間の下の方の境界を定義することができる。スコア値「+1」は、第2のクラス「C1」を表し、第2の信頼区間の上の方の境界を定義することができる。
さらなる例によれば、ユーザは、モデルM1に基づく0.7という予測スコアを受け取ることができる。このスコアは、モデルM1の第2の副範囲が、0.6から1.0までの範囲を含み、スコア値が0.6以上の場合に、偽陽性の予測結果のリスクが10%未満であることを意味するので、非常に信頼できる予測結果である。偽陽性の結果に対するモデルM1の品質の高さは、第2の副範囲がかなり大きいので、ユーザによって素早くかつ直感的に理解することができる。予測の品質の高さは、第2の副範囲指標に対して位置合わせされ、第2の副範囲指標に含まれたスケール内の位置をポインタが指すので、直感的に評価することができる。次に、ユーザは、異なるモデルM2に基づく0.7という予測スコアを受け取ることができる。このスコアは、0.9から1.0までの範囲をモデルM2の第2の副範囲が含み、スコア値が0.9以上の場合に、偽陽性の予測結果のリスクが10%未満であることを意味するので、信頼できる予測結果ではない。偽陽性の結果に対するモデルM2の品質の低さは、第2の副範囲がかなり小さいので、ユーザによって、素早くかつ直感的に理解することができる。予測の品質の低さは、第2の副範囲指標に対して位置合わせされていない、かつ、第2の副範囲指標に含まれていないスケール内の位置をポインタが指すので、直感的に評価することができる。
さらに有益な態様では、アナログスケールアイコンは、ハンドヘルドの携帯型モバイルデバイスの小さいマトリックスディスプレイに表示できるように、受け取った特定の予測結果の品質と、さらに、予測のために使用されるモデルの品質との両方をユーザが評価できるようにするのに十分な背景情報を提供することができる。したがって、ユーザは、混同行列、モデルの統計学的品質パラメータ、または同様のものなどの、さらなるモデル関連情報を含んだ、さらなるGUIペインもしくはページのスクロール、またはそうでなければ、閲覧を行う必要がない。むしろ、アナログスケールアイコンは、個々の予測の、ならびに、一般にモデルの品質および正確さの、品質および確実性を熟練ユーザが直感的に評価できる予測結果および背景情報を、単一の凝縮させた(詰め込んだ)ビューに表示することができる。視覚化は、予測スコアを生成し、また、偽陽性または偽陰性予測の占有率が、例えば10%未満または5%未満など、所定の閾値の範囲を下回るスコア範囲が知られている任意の生物医学的モデルの出力に適用することができる。このように、多くの異なる生物医学的モデルの予測、または、同じモデルの多くの異なる版の予測は、容易かつ直感的に互いに視覚化して比較することができる。
いくつかの例によれば、方法は、特定の疾患の治療のために薬物が当局によって後で承認されることになるという可能性にやはり依存した、特定の薬物についてのリサーチを続けるか否かを判定する半自動処理内のサブルーチンとして実行される。代替として、アナログスケールアイコンは、特定のたんぱく質配列が、有望なエピトープ候補であるか、別の分子への結合領域であるか、または同様のものであるかを予測し、予測結果に応じて、さらなる計算の、またはウェットラボの工程を実行して、薬物、たんぱく質、または他の任意の生物医学的オブジェクトを分析するために使用することができる。このように、アナログスケールアイコンの形で予測結果を表現すると、人間と機械の誘導型対話プロセス(guided human-machine interaction process)を促進することができる。
いくつかの実施形態によれば、アナログスケールアイコンは、速度計アイコンである。
いくつかの実施形態によれば、バックグラウンドエリアは、タコディスクエリアである。
いくつかの実施形態によれば、スケールは、バックグラウンドエリアの輪郭の一部である。
いくつかの実施形態によれば、ポインタは、バックグラウンドエリアの中心で始まる。
いくつかの実施形態によれば、バックグラウンドエリアは、半円形である。
いくつかの実施形態によれば、第1および第2の副範囲指標はそれぞれ、円弧、具体的には弓形の弧である。
いくつかの実施形態によれば、予測スコアは、バックグラウンドエリアの中心に表示される。
いくつかの実施形態によれば、アナログスケールアイコンは、バックグラウンドエリアと同一中心に位置合わせされた中心エリアをさらに含む。中心エリアは、スコア値を表示する。
実施形態によれば、予測結果は、予測分散区間(prediction-variance-interval)をさらに含む。予測分散区間は、スコア範囲の副範囲を示すものである。予測分散区間の幅は、前記予測の計算のために使用される入力データのわずかな変化に対する、モデル、および、モデルベースの予測の堅牢性と逆相関する。
したがって、予測分散区間は、予測の計算のために使用される入力データのわずかな変化に対する、モデルによって生成された予測の堅牢性についての一種の推定である。理想的には、入力データのわずかな変化は、スコア値によって示された予測結果のわずかな変化しか生じない方がよい。
アナログスケールアイコンは、ポインタに垂直に配置された分散バーをさらに含む。分散バーの幅は、予測分散区間の幅と相関し、予測分散区間の幅を示すものである。分散バーは、その中心がポインタの軸の中心を含むように、配置されるのが好ましい。
一般に、分散バーは、予測スコアの分散(例えば標準偏差)を表す。分散バーは、特定の予測のために使用される入力データのわずかな変化の、スコア値への影響を示す。理想的な/非常に確実な予測は、予測のスコア値を示すポインタが、信頼区間のうちの1つの範囲内にあり、信頼区間の範囲内に完全に位置する分散バーに関連付けられていることを判定することによって、ユーザによって素早く識別することができる。このように、ユーザは、モデルベースの予測の確実性に関する複雑な情報を素早くかつ直感的に知ることができる。
前記特徴は、スケールに対するポインタの方向が予測の結果を示す一方で、分散バーの幅は、この特定の予測の「確実性」についての追加情報をもたらすので、有利な可能性がある。分散バーが広く/大きくなればなるほど、分散バーによって含まれる、可能なポインタ方向の角度が広くなる。広い/大きい分散バーは、訓練済のモデルが、モデルの訓練データのわずかな変化に非常に影響を受けやすいこと、およびしたがって、現在の予測スコア(ポインタの方向)も、入力データの小さな変化に対してあまり堅牢ではないことを示す。言い換えれば、広い/大きい分散バーは、現在の予測があまり信頼できず、あまり堅牢ではないことを示す。
例えば、ユーザの第1の予測リクエストに応答して、予測スコアが0.7である第1の予測結果、および、(例えば、0.69から0.71までの範囲の)スケールのエリアに沿った、小さい範囲のスコアの変動性を示した短い予測分散バーが生成され、表示される。スコア値、および、ポインタの方向は、「薬物Xが、疾患Dの治療のためにFDAによって承認されるだろう」のような仮定が、0.7というスコア値で真であると予測されたことを示すことができる。範囲0.69から0.71は、例えば95%といった、ユーザ定義の、またはそうでなければ定義済の、予測信頼度レベルに基づいて計算することができる。ポインタは、0.02スコアユニットの幅を表し、示した短い分散バーで覆われてもよい。ユーザは、分散バーが短いので、この特定の結果の確実性が非常に高いことをすぐにかつ直感的に理解する。
対照的に、ユーザの第2の予測リクエストに応答して、予測スコアが0.7である第2の予測結果、および、(例えば、0.5から0.9までの範囲の)スケールのエリアに沿った、大きい範囲のスコアの変動性を示した長い分散バーが生成され、表示される。第1の例のように、スコア値、および、ポインタの方向は、「薬物Xが、疾患Dの治療のためにFDAによって承認されるだろう」のような仮定が、0.7というスコア値で真であると予測されたことを示すことができる。範囲0.5から0.9は、例えば95%といった、上述の予測信頼度レベルに基づいて同様に計算することができる。ポインタは、0.4スコアユニットの幅を表し、示した広範な分散バーに覆われてもよい。この場合、ユーザは、第2の予測の分散バーが、第1の予測の分散バーより大きいので、この特定のスコアの確実性がかなり低くなることを容易に理解することができる。大きい分散バーは、入力パラメータ値のわずかな変更が、計算した予測スコアに大きい影響を与える可能性があることを示し、および/または、わずかに異なる訓練データセットに基づくモデルベースの予測器の再訓練が、現在使用されている入力データに関する計算した予測スコアに大きい影響を与える可能性があることを示すことができる。
本明細書で使用されるような「予測分散区間」は、モデルベースの予測ロジックで計算した予測スコアのセットの変化またはばらつきの量を数量化するために使用される尺度である。小さい予測分散区間は小量のばらつきを示し、大きい予測分散区間は大量のばらつきを示す。
例えば、モデルベースの予測器の生成および訓練のために使用される訓練データは、訓練データの上位セットからのデータサンプリングによって取得した訓練データセットであってもよい。データサンプリングは、各エポックにおける訓練セットのサブセットを選択するための技法である。これは、エポックユニットを小さくするため、または、各エポックにおける関連した訓練シーケンスを選択するための方式であってもよい。また、これは、非常に大きいデータセットに対して作業するときに実行されることが多く、この場合、各エポックのために完全なデータをメモリにロードする必要はない。したがって、本発明の実施形態による「予測分散区間」は、上位セットの訓練データのサンプリング分散の推定を示し、言い換えれば、予測分散区間は、特定のモデルベースの機械学習ロジックが、新しい訓練セットのサンプルについて訓練された場合に、特定のモデルベースの機械学習ロジックで計算した予測スコアがどれだけ変化する可能性があるかを示す。
典型的には、モデルベースの予測ロジックを訓練するためにもともと使用した訓練データが、大きい高品質の訓練データであった、すなわち、十分な量の真陽性および真陰性を含み、バイアスが大きくならず、「現実世界」の構成物に正確に相当する場合、モデルベースの予測器で計算した予測スコアは、おそらく、訓練データセットのわずかな変化に対して堅牢になる。例えば、モデルベースの予測ロジックを訓練するために使用される訓練セットは、サンプリングした訓練セットであってもよく、本発明の実施形態による予測分散区間は、ランダムフォレストのサンプリング分散の推定を示し、言い換えれば、新しい訓練セットについてモデルベースの予測ロジックを訓練した場合、予測分散区間は、例えば、ニューラルネットワークまたはランダムフォレストの予測ロジックといった、モデルベースの予測ロジックの予測がどれほど変化する可能性があるかを示す。典型的には、バグドラーナー(bagged learner)であるMLL(machine learning logic)によって生成された予測の予測分散区間の幅は、ベース学習器の分散に依存し、ベース学習器の分散を示すものである。
実施形態によれば、分散バーの幅は、可視または不可視の弓形(circle segment)の弦長と同一である。前記弓形は、バックグラウンドエリアの中心で始まる。分散バーの両端は、弓形の区間と交わる。弓形の弧は、予測分散区間に対応するスケールの一部である。
実施形態によれば、方法は、プログラムロジックによって、生物医学的モデルを使用して予測結果を自動的に生成することをさらに含む。
実施形態によれば、プログラムロジックは、サーバコンピュータシステムにインストールされる。方法は、生物医学的モデルを使用しプログラムロジックによって、予測結果を自動的に生成すること、および、ネットワークを介してモバイルデバイスに予測ロジックを送ることをさらに含む。代替として、方法は、ネットワークを介してモバイルデバイスにメッセージを送ることであって、メッセージが、予測結果が生成されたことをモバイルデバイスに通知する、送ること、および、モバイルデバイスによってサーバコンピュータから予測結果をダウンロードすることを含む。
実施形態によれば、プログラムロジックは、訓練済の機械学習ロジックである。
実施形態によれば、方法は、訓練データを繰り返し受け取ることをさらに含む。各受け取った訓練データの最新版は、以前に受け取った訓練データに収められていない少なくともいくつかのデータを含む。訓練データを受け取る際に、方法は、現在受け取った訓練データについて機械学習ロジックを自動的に再訓練し、これにより、生物医学的モデルの更新版を自動的に生成することを含む。
これは、生物学および医学の多くの分野で利用できるデータおよび知識の量が急激に増加するので、有利な可能性がある。したがって、予測結果は、急速に旧式になる可能性がある。新たに利用可能な情報について機械学習ロジックを自動的に再訓練すること、および、生物医学的モデルの更新版に基づいて予測結果の再計算を自動的にトリガすることによって、生物医学領域における科学者および管理要員が、最新の生物医学的モデルによってもたらされた予測に基づいて判定できることを保証することができる。
実施形態によれば、機械学習ロジックによって使用される生物医学的モデルは、第1の訓練データに基づいて生成された第1の生物医学的モデルである。モバイルデバイスは、複数のユーザのうちの1人にそれぞれ割り当てられた複数のモバイルデバイスのうちの1つである。方法は、複数のユーザおよび複数の生物医学的予測タスクをバックエンドプログラムに登録することをさらに含む。例えば、バックエンドプログラムは、ユーザレジストリおよび予測タスクレジストリを維持し、管理することができる。各登録ユーザは、予測タスクの1つまたは複数を割り当てている。機械学習ロジックは、予測タスクのそれぞれを実行し、これにより、第1の生物医学的モデルをそれぞれ使用して、第1の予測結果を生成する。方法は、第1の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに第1の予測結果を選択的に送ることを含む。機械学習ロジックの各再訓練に応答して、機械学習ロジックは、さらなる期間、予測タスクのそれぞれを自動的に実行し、これにより、生物医学的モデルの更新版をそれぞれ使用して、第2の予測結果を生成する。次に、方法は、第1の予測結果が生成された予測タスクを割り当てたユーザのモバイルデバイスに、第2の予測結果、または、これらの計算の通知を選択的に送ることを含む。
いくつかの実施形態によれば、予測タスクは、例えば、文献ベースのモデル、マイクロアレイデータに基づくモデル、など、多くの異なるタイプのモデルに基づいて実行される。ユーザレジストリおよびタスクレジストリは、予測タスクおよびモデルIDの割当てをさらに含み、バックグラウンドプログラムは、各予測タスクが実行または再実行されるように、レジストリ内のモデルIDおよびタスク割当てに基づいて適切なモデルを選択するように構成される。
これは、一方では、任意の数の異なる予測タスクのための最新の利用可能な予測結果を複数のユーザに常にもたらすことを保証するので、有利な可能性がある。同時に、モデル更新が実行された予測タスクに対して登録したこれらのユーザだけが予測結果を通知されるので、ネットワークトラフィックが避けられる。
いくつかの実施形態によれば、バックエンドプログラムは、各予測タスクのために計算された第1の予測結果と第2の予測結果を比較する。第2の予測結果の送付、または、これらの計算の通知の送付は、以下の条件の1つまたは複数を満たした第1の予測結果および第2の予測結果を計算したこれらの予測タスクについて選択的に実行される。
- 第1の予測結果のスコア値ではなく、第2の予測結果のスコア値が第1の信頼区間内にあることであり、例えば、これは、低い部分のFN(例えば、10%未満のパーセンテージのFN)により、特に確実であると思われるスコア範囲に、新しい予測結果が入ったことが観察されたことを意味することができる、または
- 第2の予測結果のスコア値ではなく、第1の予測結果のスコア値が第1の信頼区間内にあることであり、例えば、これは、多くのFN(例えば、10%より大きいパーセンテージのFN)により、信頼できないと思われるスコアエリアに、新しい予測結果が突然入ったことが観察されたことを意味することができる、または
- 第2の予測結果のスコア値ではなく、第1の予測結果のスコア値が第2の信頼区間内にあることであり、例えば、これは、低い部分のFP(例えば、10%未満のパーセンテージのFP)により、特に信頼できると思われるスコアエリアを、新しい予測結果が突然出たことが観察されたことを意味することができる、または
- 第1の予測結果のスコア値ではなく、第2の予測結果のスコア値が第2の信頼区間内にあることであり、例えば、これは、低いパーセンテージのFP(例えば、10%未満のパーセンテージのFP)により、特に信頼できると思われるスコアエリアに、新しい予測結果が突然入ったことが観察されたことを意味することができる、または
- 第1および第2の予測結果のスコア値が、所定のスコアの差の閾値より大きく異なることであり、例えば、これは、モデルベースの予測が、突然著しく改善した、もしくは悪化したことを意味することができる、または
- 第1および第2の予測結果の予測分散区間の大きさが、所定の区間の長さの差の閾値より大きく異なること。例えば、これは、例えば、訓練データの変化した変動性により、モデルベースの予測の品質が、突然著しく改善した、または悪化したことを意味することができる。
これは、更新後のモデルに基づいて生成された予測結果が、以前のモデルの版に基づいて生成された予測結果と著しく異なる場合のみ、および/または、モデルの確実性、もしくは、更新後のモデルに基づいて生成された予測結果の確実性が、モデルの確実性、もしくは、以前のモデルの版に基づいて生成された予測結果の確実性と著しく異なる場合のみ、予測結果だけをユーザに通知するので、ネットワークトラフィックを避けること、および、登録ユーザを必要以上に不安にさせることを避けることに役立てることができる。
実施形態によれば、機械学習ロジックは、生物医学的文献について訓練されている。機械学習ロジックは、生物医学的文献から自動的に抽出された特徴を使用して、特定の薬物による特定の疾患の治療能力を検査する臨床前試験または臨床試験の失敗の可能性を予測するように適合される。
実施形態によれば、モバイルデバイスは、予測結果を含む複数の予測結果を受け取る。受け取った予測結果のそれぞれは、生物医学的モデルを使用しプログラムロジックによって、異なる入力データについて生成されている。例えば、予測ロジックは、標的分子T1を含んだ特定の薬物D1が、疾患Dの治療のためにFDAによって承認されることになるかどうかを予測するために使用することができ、標的分子T2を含んだ特定の薬物D2が、疾患Dの治療のためにFDAによって承認されることになるかどうかを予測するためにさらに使用することができる。したがって、2つの予測のための入力データは、薬物標的T1、T2の名前が異なるので、異なっていてもよい。モバイルデバイスは、モバイルデバイスのディスプレイに予測リストを表示する。各リスト項目は、受け取った予測結果のうちの1つを表し、前記予測結果をグラフィカルに表す少なくともサムネイルアナログスケールアイコンを含む。各サムネイルアナログスケールアイコンは、少なくともサイズ縮小版のスケール、予測スコアを含んだサイズ縮小版のバックグラウンドエリア、および、サイズを縮小したバックグラウンドエリアの中心で始まり、予測スコアを表すサイズを縮小したスケール内の位置を指すサイズ縮小版のポインタを含む。リスト項目のうちの1つをユーザが選択したとき、アナログスケールアイコンの生成および表示が行われ、表示されたアナログスケールアイコンは、選択したリスト項目によって表された予測結果を表す。表示は、アナログスケールアイコンが、モバイルデバイスのマトリックスディスプレイ上の予測リストを置き替えるように実行される。
これは、既にサムネイルアナログスケールアイコンが、予測結果の直観的な印象、および、予測のために使用されたモデルの品質をユーザに提供することができるので、有利な可能性がある。ユーザは、より効率的かつ正確な手法で、1つまたは多くのモデルまたはモデルの版によって生成された複数の生物医学的予測結果の比較および解釈などの技術タスクを管理できるようになる。
本発明の実施形態は、最も適切な標的の識別を可能にすることができ、一般に、異なるユースケースとデータ入力シナリオを比較して評価し、例えば、薬物および/または薬物標的を識別するタスクといった、特定の生物医学的タスクの最善の解決策の発見を可能にすることができる。この場合、同じモデルが予測を行うために使用される。
さらなる有益な態様では、本発明の実施形態は、異なるモデルの予測の比較を可能にすることができる。
サムネイルアナログスケール画像を含むリスト内の予測結果は、他のモデル、もしくは、同じモデルの他の版によって提供された予測結果とは著しく異なるモデル予測をユーザが素早く識別できるようにし、および/または、特定の高いもしくは低い品質もしくは正確さのモデルもしくはモデルの版に基づく予測をユーザが素早く識別できるようにする。したがって、大きくなる大きさの訓練データセットについて繰り返し訓練された場合、同じモデルの異なる版の正確さをユーザが素早くかつ直感的に理解すること、ならびに、このモデルの開発およびこのモデルの正確さの傾向をユーザが識別することも可能にできるインターフェースが提供される。これは、データの量が急激に増加し、したがって、更新版の訓練データについてモデルを繰り返し訓練することによって、多くの予測モデルの品質を向上させることができる生物医学的リサーチの背景で特に有利な可能性がある。これは、異なる入力シナリオおよびモデルの版を比較して評価することを可能にすることができ、予測タスクを実行するための最善のモデルおよびモデルの版の識別を可能にすることができる。サムネイルアナログスケール画像を比較することによる予測結果の大きいリスト内での前記予測結果の識別は、個人ユーザの主観的な心理的特質に依存しない。むしろ、アナログ情報の解釈は、人間の脳の生理的性質により、全ての人間における数値または値の範囲の解釈より速くなる。
実施形態によれば、アナログスケールアイコンは、スクロールバーがない、および/または、スクロールをサポートしないグラフィカルユーザインターフェースの要素として表示される。
これは、スクロール動作が、大量のエネルギーおよび処理能力を消費し、科学者によって予測の結果を解釈するための全ての関係情報が、アナログスケールアイコンの中で視覚化されることから、スクロールがもはや不要になる可能性があるので、有利な可能性がある。
実施形態によれば、アナログスケールアイコンの生成は、サーバコンピュータによって提供されたウェブページのスクリプト要素を実行するブラウザによって行われる。
他の実施形態によれば、アナログスケールアイコンの生成は、サーバコンピュータによって提供されたウェブページを表示するブラウザのブラウザプラグインによって行われる。
他の実施形態によれば、アナログスケールアイコンの生成は、アプリケーションプログラム(「アプリ」)によって行われる。アプリケーションプログラムは、サーバコンピュータによってホストされたバックエンドプログラムと相互動作可能である。バックエンドプログラムは、ネットワークを介してモバイルデバイスに予測結果を提供するように適合される。
実施形態によれば、方法は、プログラムロジックによって生成された本来の予測スコアを正規化すること、および、プログラムロジックによって生成された予測スコアとして、正規化した予測スコアを使用することをさらに含む。正規化したスコアは、所定のスコア範囲に基づいて正規化される。
実施形態によれば、方法は、プログラムロジックによって、生物医学的予測タスクのための予測結果の生成を繰り返し実行し、これにより、繰り返し更新された版の生物医学的モデルを使用することをさらに含む。方法は、アナログスケールアイコンの動画の形で、繰り返し更新された生物医学的モデルの正確さの変化を視覚化することをさらに含み、第1および第2の副範囲指標の大きさ、ポインタの方向、ならびに/または、分散バーの大きさが、もしあれば、経時的に動画の中で変化する。
一連のアナログスケールアイコンからの動画の生成は、5つの数値(スコア値、および、各副範囲区間の両端)の発現を経時的に人間が直感的に理解するのは生理学的に不可能なので、特に有益な可能性がある。これは、特に、経時的に5つの数値が動的に変化した場合、人間の脳が5つの数値を同時に読み取ること、解釈すること、および分析することができないことが原因である。逆に、人間の脳の生理機能は、変化のないスケールに沿ったポインタの動き、および、2つの範囲指標の増加または減少を、経時的に直感的に理解および解釈することができる。したがって、アナログスケールアイコンを使用すると、予測の品質、および、モデル自体の品質に関する傾向を経時的に視覚化でき、これにより、ユーザは、結果およびモデル品質が、数値および値の範囲に基づいて提示される場合に可能なものより多くの情報を一度に処理し、理解することができる。
さらなる態様では、本発明は、モバイルデバイスに電力を供給するための電池、デジタルセルラーネットワークインターフェース、マトリックスディスプレイ、およびプログラムロジック(「クライアントサイドプログラムロジック」とも呼ばれる)を備えたモバイルハンドヘルド通信デバイスに関する。例えば、プログラムロジックは、例えば、スタンドアロンアプリケーションプログラムもしくはブラウザプラグインといった、クライアントアプリケーションプログラム、または、例えば、ウェブページに埋め込まれたJavaScript(登録商標)コードといった、スクリプトであってもよい。プログラムロジックは、モバイルデバイスの1つまたは複数のプロセッサによって実行可能であり、デジタルセルラーネットワークインターフェースを介して予測結果を受け取るように構成される。予測結果は、生物医学的モデルを使用し予測プログラムロジックによって、生物医学的予測タスクのために生成されている。予測結果は、少なくとも予測スコア、第1の信頼区間、および第2の信頼区間を含む。
予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値であり、スコア範囲は、可能性のあるスコア値の所定の範囲である。好ましくは、スコア値は、正規化したスコア値であり、スコア値の範囲は、正規化したスコア値の範囲である。
スコアを計算する特定の方式は、使用した数学モデルに依存してもよい。例えば、モデルがランダムフォレストモデルの場合、予測スコアは、サンプルがクラスC1に属するという結論に至ったランダムフォレストにおける決定木のパーセンテージを計算することによって、ランダムフォレストモデルの確実性を数量化する。これは、次のように計算される:スコア=sum(DT、ここでO(DT)=C1)/sum(DT)、DT=決定木であり、Oは、決定木の出力を記述する関数であり、C1は、陽性クラスである。
第1の信頼区間は、スコア範囲の第1の副区間である。第1の信頼区間は、所定のFNパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。
第2の信頼区間は、スコア範囲の第2の副区間である。第2の信頼区間は、所定のFPパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。
クライアントサイドプログラムロジックは、マトリックスディスプレイにアナログスケールアイコンを表示するようにさらに構成される。アナログスケールアイコンは、予測スコア、アナログスケール、ポインタ、第1の副範囲指標、および第2の副範囲指標を含んだバックグラウンドエリアを含む。アナログスケールは、スコア範囲を表し、スケールの終端は、スコア範囲の最大および最小スコア値を表す。ポインタは、予測スコアを表すスケール内の位置を指す。第1の副範囲指標は、スケールに対する第1の副範囲指標の大きさおよび位置が、スコア範囲内の第1の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。第2の副範囲指標は、スケールに対する第2の副範囲指標の大きさおよび位置が、スコア範囲内の第2の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされる。
さらなる態様では、本発明は、モバイルデバイスおよびサーバコンピュータを備えるシステムに関する。サーバコンピュータは、セルラーネットワークインターフェースを介して確立されたネットワーク接続を介して、モバイルデバイスに接続することができる。サーバコンピュータは、生物医学的モデル、生物医学的モデルを使用して予測結果を生成するように構成された予測的プログラムロジック、および、ネットワークを介してモバイルデバイスに予測結果を提供するように適合されたバックエンドプログラムを含む。
システムは、任意選択として、サーバコンピュータ上でホストされたリモートプログラムロジックによって管理されたユーザレジストリおよびタスクレジストリに登録されている可能性のあるさらなるユーザの複数のさらなるモバイルデバイスを備えることができる。
本明細書で使用されるような「訓練データセット」または「訓練データ」は、例えば、組織画像、電子文書、マイクロアレイデータ、タンパク質発現プロフィール、等といった、データレコードのセットであり、訓練データに収められた生物医学的知識を組み込み、生物医学的疑問に関する予測を実行するために使用できる予測モデルを、MLLが訓練データに基づいて学習できるようにした、手動でまたは自動的に注釈をつけたメタデータを含む。訓練データは、特定の予測タスクを実行するように適合された訓練済のMLLを生成するために、未訓練版のMLLを訓練するために使用される。例えば、訓練データセットは電子文書を含むことができ、疾患の名前、および、この疾患の治療に役立つと思われる特定の薬物標的分子の名前が両方言及されており、例えば、著者名、刊行日、ジャーナルインパクトファクタ、などの、前記文書から抽出した、いくつかの特徴を含むことができる。訓練データセット内の電子文書は、薬物が、疾患の治療のためにFDAによって承認されたか、FDAによって拒否されたか、臨床前試験および臨床試験期間中に他の理由で失敗したかを示すフラグで注釈をつけられる。このように、MLLは、訓練データセットに収められた特徴(記事数、著者ネットワークなど)から学習して、利用可能な生物医学的文献、および、この文献から抽出した特徴に基づいて、有望な薬物の候補と、あまり有望でない薬物の候補を区別することができる。
本明細書で使用されるような「機械学習ロジック(MLL)」は、訓練プロセスの中で訓練した、または、訓練することができる、例えば、1つのソフトウェアといった、プログラムロジックであり、訓練プロセス中、MLLは、訓練データセットから特定の予測タスクを解決するための予測をどのように行うかを学習する。例えば、MLLは、ニューロンネットワーク、またはサポートベクトルマシン、または同様のものであってもよい。したがって、MLLのプログラムコードは、プログラマによって明示的に指定されないが、データ駆動型学習プロセスで訓練データから暗黙的に学習される命令およびプログラムルーチンを含むことができる。学習は、将来の入力データに基づいて予測を行うために、訓練済のMLLによって使用される1つまたは複数の暗黙的または明示的な予測モデルを生成することを含むことができる。機械学習は、教師ありまたは教師なし学習を用いることができる。
本明細書で使用されるような「生物学モデル」は、生物医学的システムを含み、電子形式で表現された、静的または動的な生物学システムの一種である。例えば、生物学モデルは、特定の実体の一種、および、この実体が他の実体または生物医学的メカニズムと対話する方式の一種であってもよい。モデルは、例えば、また限定ではなく、生物学システムの数学的、統計学的、発見的、またはルールに基づく仕様であってもよい。モデルは、例えば、ルールに基づく生物学モデルについてのケースとして明示的に指定することができ、または、例えば、モデルベースの機械学習アルゴリズムの訓練フェーズ中に暗黙的に指定することができる。モデルは、機械学習に基づく予測ロジックの統合部分であってもよい。好ましい実施形態では、生物学モデルは、予測モデル、すなわち、(システム生物学モデルのケースによくあるような)シミュレーションを行うためではなく、予測を計算するためのモデルである。
本明細書で使用されるような「副範囲指標」は、例えば、線、弧、バー、矢印、または同様のものといった、可視のGUI要素であり、超範囲(super-range)内の副範囲の大きさおよび位置を表す。例えば、副範囲指標は、所定の色および厚さがあり、アナログスケールアイコンのバックグラウンド領域220の外側にある弧202であってもよい。例えば、副範囲指標は、副範囲指標の位置および大きさが、副範囲内に収められたスケール内の予測スコア値に対応するように、例えば予測スコア範囲といった、超範囲に相当するアナログスケール208に対して位置合わせすることができる。
本明細書で使用されるような「ポインタ」は、例えば、バー、矢印、三角形、手、または同様のものといった、可視のGUI要素である。好ましくは、ポインタには長軸および短軸があり、長軸は短軸より少なくとも30%、好ましくは少なくとも50%長い。
本明細書で使用されるような「予測スコア」は、予測結果を示した数値である。例えば、予測スコアは、正規化した数値であってもよい。いくつかの例において、正規化した予測スコアが、可能性のある全ての正規化したスコア値の中央値より大きい場合、予測結果は、所与の仮定が真と予測されたというものである。正規化した予測スコアが、可能性のある全ての正規化したスコア値の中央値より小さい場合、予測結果は、所与の仮定が偽と予測されたというものである。したがって、本発明の実施形態によれば、予測スコアは、可能性のある2つの値またはクラスのうちのどの1つが、正しい可能性があるかを示す数値である。これらの可能性のある2つの値は、例えば、「特定のクラス内のメンバシップ:はい、または、いいえ」、「特定の疾患に対する特定の薬物に関するFDAによる薬物承認:はい、または、いいえ」、等であってもよい。
本明細書で使用されるような「信頼区間」は、前記副範囲内のスコアを有する予測が、FPまたはFN予測の所定のパーセンテージより大きくならないということを示す、可能性のあるスコア値の範囲内の副範囲である。例えば、第1の信頼区間は、スコア範囲の第1の副区間であってもよく、例えば10%未満といった、所定のFNパーセンテージの閾値を下回る偽陰性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものであってもよい。第2の信頼区間は、スコア範囲の第2の副区間であってもよく、例えば10%未満といった、所定のFPパーセンテージの閾値を下回る偽陽性予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものであってもよい。
本明細書で使用されるような「予測分散区間」は、モデルベースの予測ロジックで計算した予測スコアのセットの変化またはばらつきの量を数量化するために使用される尺度である。小さい予測分散区間は、小量の変化を示し、大きい予測分散区間は、大量の変化を示す。したがって、(スコア範囲の約7%以下しか含まない)小さい予測分散区間は、現在使用されている入力データ値、および、類似の入力データ値について計算したスコア値が、予想されるスコア値に近くなるということを示すことができる。大きい予測分散区間は、現在使用されている入力データ値、および、類似の入力データ値について計算したスコア値が、より広い範囲の値に広がることになるということを示す。「予測分散区間」は、スコア値の副範囲として実現することができ、スコア値の副範囲の幅は、スコア値の変化またはばらつきの量の尺度である。
いくつかの実施形態によれば、予測分散区間は、スコア値の標準偏差を表す。これは、標準偏差が平均絶対偏差などの分散についての他の尺度より代数的に単純なので、有利な可能性がある。それでも、平均絶対偏差を含む、予想値からの予測スコアの偏差についての他の尺度もあり、他の尺度は、標準偏差とは異なる数学的性質をもたらす。
本明細書で使用されるような「信頼度レベル」または「変動信頼度レベル」は、パーセンテージ値である。これは、特定の予測の予測スコア区間を計算するための基礎として使用される。これは、予測手順の信頼性を表し、例えば、モデルベースの予測器を訓練した訓練データの大きさおよび/または品質を示すなど、モデルベースの予測器の特殊性を示す。
実施形態によれば、予測分散区間の幅は、例えば、90%の信頼度レベルといった、所定の(例えば、ユーザ定義の、または事前構成された)信頼度レベルに基づいて、モデルベースの予測ロジックによって各予測のために計算される。例えば、90%の信頼度レベルに基づく特定の予測のために生成され、訓練データの特定のサンプルについて訓練したモデルベースの予測器によって計算された予測分散区間は、「訓練データの別のサンプルについてそれぞれ訓練したモデルベースの予測器の非常に多くの他の版によってこの予測が繰り返されることになる場合、(各サンプルによって異なるはずの)真の母集団パラメータ(真の予測/分類結果)を包含する予測分散区間として表された計算した信頼区間の小部分は90%になるはずである」という条件を満たすスコア区間である。
信頼度レベルが高くなればなるほど、予測分散区間および分散バーは広くなり、95%の信頼度レベルに基づいて計算した予測分散区間は、99%の信頼度レベルに基づいて計算した予測分散区間より小さくなる。
いくつかの実施形態によれば、予測ロジックは、予測分散区間を計算するための信頼度レベルをユーザが指定できるようにするユーザインターフェースを表現し、これにより、自分が受入れ可能であると思う予測の最低限の確実性をユーザが指定できるようにする。例えば、信頼度レベルは、95%、または99%、または他の任意のパーセンテージ値であってもよく、90%より大きいのが好ましい。
例えば、バグドラーナーおよびランダムフォレストといった、モデルベースの予測ロジックによって行われる予測の変動性は、Stefan Wager、Trevor Hastie、およびBradley Efron「Confidence Intervals for Random Forests:The Jackknife and the Infinitesimal Jackknife」、Journal of Machine Learning Research 15(2014年)1625~1651頁の中で説明されたように判定することができる。予測の変動性は、例えば標準誤差の形で、表現することができ、予測分散区間の幅は、標準誤差で表し、標準誤差と相関させることができる。
本明細書で使用されるような「アイコン」は、例えばマトリックスディスプレイといった画面に表示され、モデルベースの予測の結果を、また好ましくは、予測を生成するために使用される予測の確実性および/またはモデルの正確さも視覚化した画像である。アイコンは、ピクセルマトリックス、もしくはベクターグラフィックスの形で、または、例えば、Java(登録商標) SwingもしくはJava(登録商標) awtライブラリといった、プログラム言語固有のライブラリに基づいて実現することができる。好ましくは、アイコンの何らかのリサイズ動作は、それに比例して収められた視覚要素をリサイズすることになる。アイコンは、素早く理解できる記号であることが好ましく、アイコンが表す実際のエンティティの詳細なイラストよりむしろ道路標識に近い。アイコンは、特定のモデルベースの予測に関する追加情報にアクセスするための、選択可能な電子ハイパーリンクまたはファイルショートカットとして機能させることができ、予測結果は、アイコンによってグラフィカルに視覚化される。この場合、ユーザは、マウス、ポインタ、指、または音声コマンドを使用してアイコンを選択し、追加情報にアクセスすることができる。好ましい実施形態によれば、モバイルデバイスは、スマートフォンまたはタブロイドコンピュータであり、アイコンは、ユーザの指で選択する。
本明細書で使用されるような「アナログスケール」は、数字または文字の形で情報を表現するデジタルスケールとは対照的に、情報、具体的には数値のような、例えば、予測スコアが、非量子化変数で表現されたスケールである。例えば、古い車の多くの速度計は、オブジェクトの速度を表現したアナログスケールを有するデバイスである、多くの「従来の」温度計は、オブジェクトの温度を表現したアナログスケールを有するデバイスである、などである。このように、「アナログスケールアイコン」は、予測によって生成される可能性のある、例えば、可能性のある全ての正規化した予測スコア値といった、数値を表現したスケールとして機能する視覚要素を備えるアイコンである。
本明細書で使用されるような「モバイルデバイス」は、手に持って操作するのに十分小さいコンピューティングデバイスである。モバイルデバイスは、ディスプレイ、典型的には、LCDフラットスクリーンインターフェースを備え、デジタルボタンおよびキーボードを伴うタッチスクリーンインターフェース、または、物理的なキーボードと共に物理的なボタンを提供する。モバイルデバイスは、ネットワーク、具体的には、セルラーネットワーク、および任意選択として、WLANを媒介したインターネット接続も介して、インターネットに接続すること、ならびに、他のモバイルデバイスおよび/またはサーバコンピュータと相互に接続することができる。統合型カメラ、デジタルメディアプレーヤ、電話をかける能力および受ける能力、ビデオゲーム、ならびに全地球測位システム(GPS)能力も、モバイルデバイスの一部であってもよい。電力は、典型的には、リチウム電池によって提供される。モバイルデバイスは、前記能力に特化したサードパーティのアプリをインストールして動かすことができるモバイルオペレーティングシステムを動かすことができる。例えば、モバイルデバイスは、携帯電話、具体的には、スマートフォン、タブレット型コンピュータ、またはパーソナルデジタルアシスタント(PDA)であってもよい。
本明細書で使用されるような「マトリックスディスプレイ」は、例えば、機械、コンピュータ、通信デバイス、時計、鉄道発車表示器、および他の多くのデバイスといったデバイスに、情報を表示するために使用される表示デバイスである。ディスプレイは、選択した光をオンまたはオフに切り替えることによって、テキストまたはグラフィックスを表示できるように、長方形構造(他の形状も可能であるが、一般的ではない)に配置した光または機械的なインジケータのマトリックスからなる。マトリックスコントローラは、プロセッサからの命令を変換して、マトリックス内の光をオンまたはオフにする信号にし、その結果、必要な表示を生み出す。マトリックスディスプレイは、例えば、LCDディスプレイ、具体的には、LCDタッチスクリーンディスプレイであってもよい。
本明細書で使用されるような「レンダリング」は、画像、具体的にはベクトル画像の、色、陰影、およびテクスチャを追加する処理である。
以下では、図面を参照して、ほんの一例として、本発明の実施形態をより詳細に説明する。
モデルベースの予測および予測品質を視覚化する方法の流れ図である。
予測型生物医学的モデルの生成および使用を描いた図である。
予測結果を表すアナログスケールアイコンを描いた図である。
別の予測結果を表す別のアナログスケールアイコンを描いた図である。
サムネイルアイコンによってそれぞれ視覚化された予測結果のリストを描いた図である。
特定の薬物のFDA承認を、例えば記事数といった、特定の特徴のプロフィールとそれぞれ相関させた4つのプロットを描いた図である。
特定の薬物のFDA承認を記事数と相関させたプロットを描いた図である。
同じ予測タスクのための異なるモデルによって生成された2つの予測スコアを描いた図である。
特定のモデルに関連付けられた混同行列を描いた図である。
別のモデルに関連付けられた混同行列を描いた図である。
統合型モデルによって生成された統合型予測を表すアナログスケールアイコンを描いた図である。
サーバコンピュータ、および少なくとも1つのモバイルデバイスを備えたシステムのブロック図である。
図1は、モデルベースの予測および予測品質を視覚化する方法100の流れ図を描く。予測結果およびモデル品質は、エリアに表現された情報をユーザが直感的に認識できるように、高密度の「圧縮された」手法で視覚化される、すなわち、大量の情報が小さいエリアに提示される。方法は、他の図、具体的には図2および図10の要素も参照することによって以下で説明される。
方法は、例えば、移動式の電池式デバイス970のクライアントアプリケーション980によって実現することができ、クライアントアプリケーション980は、サーバシステムのバックエンドプログラム962と相互動作可能であり、デジタルセルラーモバイル通信ネットワークを介してバックエンドプログラムから予測を受け取るように適合される。代替として、方法は、モバイルデバイス上でインスタンス生成されたスタンドアロンアプリケーションで実現することができ、スタンドアロンアプリケーションは、ネットワークを介して受け取ったメッセージから予測結果を抽出するように適合される。例えば、メッセージは、電子メールまたはSMSまたは他の任意のメッセージフォーマットの形式で、サーバコンピュータから受け取ることができる。さらなる代替として、方法は、ウェブページに収められたデータを視覚化するように構成されたブラウザプラグインによって実現することができ、または、サーバコンピュータによってネットワークを介してモバイルデバイスに提供されたウェブページに埋め込まれたスクリプトコードとして実現することができる。他の実施形態では、方法は、モバイルデバイスに収められ、予測結果を受け取って表示し、予測結果から生成したアナログスケールアイコンを表示するように適合されたハードウェアロジック、ファームウェアロジック、ソフトウェアロジック、またはこれらの任意の組合せによって実現される。
方法100は、電池式ハンドヘルドモバイルデバイス970のマトリックスディスプレイに、モデルベースの予測の結果、および、前記予測の確実性を高密度に視覚化できるようにする。本明細書で使用されるような表現「高密度に表示すること」は、例えば、携帯電話のディスプレイといった、非常に限定的な表示空間に多くの情報を表示することを意味する。
最初に、ステップ102において、モバイルデバイス970は、予測結果960を受け取る。予測結果は、デジタルセルラーモバイル通信ネットワーク990を介してサーバシステム950から受け取ることができる。予測結果は、特定の生物医学的予測タスクを解決するために生成されている。予測結果は、プログラムロジック956によって、生物医学的モデル958を使用して生成されている。例えば、予測を生成したプログラムロジックは、例えば、訓練済の人工ニューラルネットワーク、訓練済のサポートベクトルマシン、または、予測スコア値の形で予測を生成するように適合された他の任意のタイプのプログラムロジックといった、訓練済の機械学習ロジックであってもよい。例えば、予測ロジックは、ルールおよび発見的方法の手動で指定したセットとして実現することもできる。
生物医学的モデルは、例えば、手動で、半自動的に、または自動的に指定されたモデルといった、明示的に指定されたモデルであってもよい。代替として、モデルは、機械学習ロジックの訓練フェーズ中に生成された暗黙的に指定されたモデルであってもよい。例えば、ネットワークアーキテクチャと組み合わせて訓練フェーズで修正された人工ニューラルネットワークのネットワークアーキテクチャ要素(例えば、レイヤの「ニューロン」の重み)は、生物医学的疑問についての予測を提供するように適合された暗黙的な予測モデル(「ブラックボックス」モデル)の構成要素となってもよい。
図2Aにさらに詳細に示したように、予測結果は、複数のデータ値を含むことができる。予測結果は、予測スコア216、第1の信頼区間256.1、および第2の信頼区間256.2を含む。
予測スコアは、予測の確実性を示すものであり、スコア範囲内の数値である。この範囲は、「可能性のあるスコア値の区間」と呼ぶこともできる。例えば、スコア範囲は、-1と+1の間の所定の範囲であってもよく、モデルベースの予測ロジックによって出力された任意の本来のスコア値は、-1と+1の間の数値に正規化される。予測のタイプに応じて、例えば、0と1の間の範囲といった他のスコア範囲を、正規化のために使用することができる。以下の例では、-1から+1までのスコア範囲を使用することになるが、この範囲は単なる例であり、もともと提供したスコア値を正規化するために、他の任意の所定のスコア範囲を同様に使用することができる。
第1の信頼区間256.1は、スコア範囲の第1の副区間であり、所定のFNパーセンテージの閾値を下回る偽陰性(FN)予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。例えば、第1の信頼区間256.1は、スコア範囲の副区間内の任意の予測スコアが、例えば、10%未満、または5%未満、または1%未満といった、所定のFNパーセンテージの閾値より小さい偽陰性スコア値である可能性があることが、例えば、複数のモデル予測の統計解析に基づいて知られているスコア範囲の副区間であってもよい。FNパーセンテージの閾値の適切な大きさは、計算された予測のタイプに依存するのが好ましく、つまり、偽陰性の結果が、かなりの金融または健康関連コストを患者または社会に課す場合、所定のFNパーセンテージの閾値は、結果として生じる第1の副範囲が比較的狭くなるように選ばれる。例えば、第1の副範囲は、5%未満の偽陰性(FN)パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。逆に、偽陰性の結果が、かなりの金融または健康関連コストを患者または社会に課さない場合、所定のFNパーセンテージの閾値は、結果として生じる第1の副範囲が比較的広くなるように選ばれる。例えば、第1の副範囲は、25%未満の偽陰性パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。いくつかの実施形態では、第1の副範囲は、10%未満の偽陰性パーセンテージを含むことが知られているスコア値を選択的に含む。
第2の信頼区間256.2は、スコア範囲の第2の副区間であり、所定のFPパーセンテージの閾値を下回る偽陽性(FP)予測パーセンテージを含むことが知られているスコア値のモデル固有の副範囲を示すものである。例えば、第2の信頼区間256.2は、スコア範囲の副区間内の任意の予測スコアが、例えば、10%未満、または5%未満、または1%未満といった、所定のFPパーセンテージの閾値より小さい偽陽性スコア値である可能性があることが、例えば、複数のモデル予測の統計解析に基づいて知られているスコア範囲の副区間であってもよい。FPパーセンテージの閾値の適切な大きさは、計算された予測のタイプに依存するのが好ましく、つまり、偽陽性の結果が、かなりの金融または健康関連コストを患者または社会に課す場合、所定のFPパーセンテージの閾値は、結果として生じる第2の副範囲が比較的狭くなるように選ばれる。例えば、第2の副範囲は、5%未満の偽陽性パーセンテージを含むことが知られているスコア値だけを含むように選ばれる。逆に、偽陽性の結果が、かなりの金融または健康関連コストを患者または社会に課さない場合、所定のFPパーセンテージの閾値は、結果として生じる第2の副範囲が比較的広くなるように選ばれる。例えば、第2の副範囲は、10%未満のFPパーセンテージを含むことが知られているスコア値だけを含むように選ばれる。
ステップ106において、いくつかの実施形態によれば、モバイルデバイスは、予測結果から、例えば、図2B、図2C、および図9に描かれたような、アナログスケールアイコン200、260を生成する。他の実施形態では、このステップは、例えば、モバイルデバイスに予測結果を提供したサーバコンピュータによって、リモートに実行される。この場合、予測結果は、数値および値の範囲の形式で、または、例えば、アナログスケールアイコンの一部である特定の副範囲指標もしくはテキスト文字列の形式といった、これらの値をグラフィカルに示す既に生成されたアナログスケールアイコンの形式で、モバイルデバイスによって受け取ることができる。
いくつかの実施形態では、アナログスケールアイコンは、ビットマップ画像の形式で生成される。他の実施形態では、アナログスケールアイコンは、ベクトル画像の形式で生成される。マトリックスディスプレイにアナログスケール画像を表示するとき、モバイルデバイスは、ディスプレイの少なくとも50%、好ましくは少なくとも70%、好ましくは少なくとも90%を覆うように、アナログスケールアイコンの大きさを合わせるように適合されるのが好ましい。例えば、アナログスケールアイコンは、「フルスクリーンモード」で画面に表示することができる。
アナログスケールアイコンは、予測スコア216およびアナログスケール208を含むバックグラウンドエリア220を備える。予測スコアは、バックグラウンドエリアの中心にあるのが好ましい。
アナログスケールは、スコア範囲を表す。スケールには、スコア範囲の最大および最小スコア値を表す2つの終端210、212がある。例えば、スケールは、半円形もしくはその一部の弧の形をしていてもよく、または、水平線もしくは垂直線もしくはバーであってもよく、または、好ましくは2つの容易に認識できる終端を含んだ他の任意の形状をしていてもよい。いくつかの実施形態では、アナログスケールアイコンは、アナログ測定デバイスのスケールエリアのデザインであってもよい。例えば、アナログスケールアイコンは、速度計、はかりのスケール、温度計、または同様のものを表すようにデザインすることができる。このように、例えば、スケールは、例えば半円形の弧といった弓の形、または、直線の形であってもよい。スケールおよびバックグラウンドエリアは、仮想の測定デバイスのアナログスケールを表すように、デザインすることができる。
いくつかの実施形態では、スケールは、スケール値を備える。他の実施形態では、スケールには、スケール値がない。場合によっては、スケール値は、アナログスケールアイコンがフルスクリーンモードでマトリックスディスプレイに表示された場合でも、小さすぎて人間の目では読めない可能性がある。それでも、ユーザは、ポインタの位置、ならびに、副範囲指標の大きさおよび位置に基づいて、予測結果およびその品質を解釈することができるだろう。
アナログスケールアイコンは、予測スコアを表すスケール内の位置を指すポインタ218をさらに備える。例えば、バックグラウンドエリアは、速度計に相当する半円形であってもよい。スケールは、バックグラウンドエリアの輪郭の一部に対応する弧であってもよい。ポインタは、バックグラウンドエリアの中心で始まることができる。
アナログスケールアイコンは、第1の副範囲指標202および第2の副範囲指標204をさらに備える。第1の副範囲指標は、スケールに対する第1の副範囲指標の大きさおよび位置が、スコア範囲内の第1の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたアナログスケールアイコンのグラフィカル要素である。第2の副範囲指標は、スケールに対する第2の副範囲指標の大きさおよび位置が、スコア範囲内の第2の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたアナログスケールアイコンのグラフィカル要素である。
次に、ステップ108において、モバイルデバイスは、そのマトリックスディスプレイ978にアナログスケールアイコンを表示する。アナログスケールアイコンがベクターグラフィックスである場合、表示するステップは、アイコンのベクトルベースのデザイン要素に、色、陰影、および他の特徴を動的に割り当てるためにレンダリングするステップを含むことができる。表示は、例えば、ディスプレイの少なくとも50%、またはディスプレイの少なくとも80%、またはディスプレイの100%といった、マトリックスディスプレイの所定の部分に広がるように、アナログスケールアイコンの大きさを合わせることを含む。
図2Aは、本発明の1つの実施形態による予測型生物医学的モデルの生成および使用を描く。例えば、モデル958は、訓練フェーズにおいて、ネットワーク956で暗黙的に学習した人工ニューラルネットワークの暗黙的なモデルであってもよい。機械学習ロジック956は、特定の疾患の治療としてFDAが特定の薬物を受け入れることになるか否かを、生物医学的文献の分析に基づいて予測するように訓練された予測ロジックであってもよい。例えば、ネットワーク956は、訓練データ966として使用されるMEDLINE文献データベースなど、大きい文献コーパスについて最初に訓練することができる。訓練データ966について機械学習ロジックを訓練している間、モデル958は、明示的または暗黙的に学習する。訓練データ966からモデル958を学習する機能は、モデル生成ユニット957として示したが、モデル生成処理は、人間のプログラマによって明示的に指定されたことがない機械学習ロジック956の暗黙的な一部であってもよい。MLLは、多種多様なプログラミング技法、ならびに/または、簡単に利用できる機械学習ツール、ライブラリ、およびモジュールを使用して実現することができる。いくつかの実施形態では、いくつかの新しい入力データについてモデルを訓練するため、および、訓練済のモデルを適用するためのロジックは、異なるプログラムモジュールで実現することができる。他のいくつかの実施形態では、生物学モデルは、訓練された、および/または、予測を実行するプログラムロジックの統合部分なので、生物学モデルを生成するか使用するプログラムロジックから生物学モデルを分離することができない可能性がある。例えば、モデルは、特定のタイプの入力データおよび特徴を受け取るように構成され、入力データおよび特徴の重みが、異なるネットワークレイヤにおいて、訓練フェーズ中に適合され、したがって、訓練フェーズにおいて使用されるデータの構造およびタイプに対応する新しい入力データに基づいて訓練済のニューラルネットワークアーキテクチャが予測を行うことができるニューラルネットワークアーキテクチャに基づくことができる。
モデル958が生成されると、機械学習ロジック956は、モデル958を使用して、特定の予測問題を解決することができる。例えば、モデルベースの予測ユニット955は、例えば、関心のある薬物の1つまたは複数の標的分子の名前の明細といった、いくつかの入力データ969を受け取ることができる。予測ユニット955は、次に、現在利用可能な文献を分析して、1つまたは複数の標的分子の名前、および、治療されることになる疾患の名前に言及している文書または文書の要約を識別し、識別した文書に関連付けられたメタデータを分析することができる。例えば、予測器は、文書の中で言及された著者名、刊行日、他の文書への相互参照、疾患名、代謝産物、遺伝子、または薬物を分析して、入力として提供された1つまたは複数の標的分子についての複数の文献に基づく特徴を抽出することができる。特徴抽出は、予測ロジック956のコードの中で明示的または暗黙的に指定されたデータ分析ステップであってもよい。抽出した特徴は、次に、モデル958への入力として使用され、モデル958は、入力969として標的が提供された薬物が、特定の疾患の治療法として、将来、FDAによって承認されることになるか否かについての予測を生成する。特徴抽出は、訓練フェーズでも実行して、訓練されることになるモデルに実際に供給される訓練データから特徴を抽出することができる。
予測結果は、正規化した予測スコア216、偽陽性または偽陰性の結果のパーセンテージが特に低いスコア値の副範囲を示す第1の信頼区間256.1および第2の信頼区間256.2を含む。任意選択として、予測結果は、予測分散区間254をさらに含む。
予測結果が、100%の可能性でFDAが薬物を承認するだろうというものである場合、予測スコア(任意選択として正規化されてもよい)は、例えば1である。予測結果が、100%の可能性でFDAが薬物の承認を拒否するというものである場合、予測スコア(任意選択として正規化されてもよい)は、例えば-1である。典型的には、予測スコアは、スケールの最小値より大きく(-1より大きく)、スケールの最大値より小さい(+1より小さい)数値を含むことになる。
例えば、0.7という予測スコアは、それぞれの標的分子名が予測ロジック956への入力として提供された特定の薬物が、FDAによって承認される可能性が非常に高いと予測されたことを示す。-0.8という予測スコアは、それぞれの標的分子名が予測ロジック956への入力として提供された特定の薬物が、FDAによって拒否される(承認されない)可能性が非常に高いと予測されたことを示す。0に近い予測スコアは、拒否の可能性と受諾の可能性が、モデルによって、同一または非常に近似していると考えられるので、現在提供されている入力データ969についてFDAが薬物を承認することになるか否かをモデルが明確に予測できないことを示す。ユーザは、単にポインタの位置をざっと見ることによって、予測結果を容易かつ直感的に理解することができ、つまり、最小スケール値を表すスケールの終端に近いスケール領域を指すポインタは、仮定の棄却/非常に低い予測スコアを示し、最大スケール値を表すスケールの終端に近いスケール領域を指すポインタは、仮定の受諾/非常に高い予測スコアを示し、スケールの中心領域を指すポインタは、予測結果が、曖昧かつ漠然としたものであることを示す。
好ましくは、訓練データに基づくモデル生成は、例えば、コンピュータで実現されたモデル生成および更新フレームワークの中で、完全に自動的に行われる。例えば、訓練データ966は、例えば、週1回、または月1回など、定期的に追加データで更新し、補足することができる。これは、利用可能なデータの量が急激に増加している生物医学領域で非常に有利な可能性がある。これは、例えば、生物医学的文献データのケースである。モデル生成および更新フレームワークは、訓練データ966が、追加の訓練データで補足される際、または、訓練データのいくつかの部分を除去または置換することによって修正される際に、機械学習ロジック956が、訓練データ966の更新版について自動的に再訓練されるように、構成されるのが好ましい。これにより、さらに、生物医学的モデル958の更新版が自動的に生成される。さらなる期間、同じ入力データ969に対して同じ予測を計算するためにモデルの更新版が使用される場合、予測結果は、予測の結論に影響を与える可能性がある追加の新しい知識をモデルが統合したので、以前に生成された予測結果とは異なることになる。
いくつかの実施形態によれば、文献に基づく訓練およびモデルベースの予測は、例えば、開示が全体として参照により本明細書に組み込まれるPCT/EP2017/060844で説明されたように行われる。
図2Bは、予測結果を表すアナログスケールアイコン200を描く。アナログスケールアイコンは、本実施形態では、速度計に似ている。
アイコンは、半円形または半長円形の形のバックグラウンドエリア220を備える。アイコンは、バックグラウンドエリアとは異なる色を有する半円形または半長円形でもある中央エリア214を備える。予測スコア216は、中央エリアに収められる。
スケール208は、半円の弧である。スケールの第1の終端212は、可能な限り最小の正規化した予測スコア値「-1」を表し、スケールの第2の終端210は、可能な限り最大の正規化した予測スコア値「+1」を表し、スケールの中心点は、スケール値「0」を表す。スケールは、スケール値「-1」、「0」、および「+1」も示す。他の実施形態では、スケール値がないか、他のスケール値または追加のスケール値を表示することができる。
アイコン200は、矢印の形のポインタ218をさらに備える。ポインタは、バックグラウンドエリアの中心で始まり、中央領域214にも示された予測スコア「0.5」に相当するスケール内の位置を指す。したがって、ユーザが、エリア214に示された数値を「読み取る」時間がない場合でも、また、214に示された数字が、小さすぎて人間の目で読めない場合でも、ユーザは、それでも、予測スコアが「0」と「+1」の間のどこかにあり、したがって、例えば、特定の疾患の治療のためにFDAが特定の薬物を「許可する」といった、仮定が「真」であるという「肯定的」予測を示すものであることを容易に認識することができる。
アイコン200は、スケールに対する第1の副範囲指標の大きさおよび位置が、スコア範囲内の第1の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第1の副範囲指標202をさらに備える。描かれた例では、第1の副範囲指標は、バックグラウンド領域の中心で始まり、第1の信頼区間を表すスケール領域を正確に覆う(見えない)弓形の弧である。
アイコン200は、スケールに対する第2の副範囲指標の大きさおよび位置が、スコア範囲内の第2の信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされた第2の副範囲指標204をさらに備える。描かれた例では、第2の副範囲指標は、バックグラウンド領域の中心で始まり、第2の信頼区間を表すスケール領域を正確に覆う(見えない)弓形の弧である。
第1および第2の副範囲指標は、それぞれ、円弧、具体的には弓形の弧であってもよい。
したがって、ユーザは、第2の副範囲指標と位置合わせされたスケールの領域をポインタ218が指すか否かをチェックしなければならないだけである。描かれた例では、矢印218は、第2の副範囲指標204に対して位置合わせされたスケール領域を指す。これは、予測スコア0.5が第2の信頼区間内にあり、例えば10%未満といった、所定のFPの閾値より低い偽陽性の予測結果の可能性が高いことを意味する。ポインタが弧204の内部の領域を指すか否かについてのチェックは、素早くかつ直感的に、また、数値のスコア値とモデルの信頼区間とを意識的に比較することなく、行うことができる。
分散バー258は任意選択の要素であり、予測分散区間を視覚化する、すなわち、予測のために使用される入力データがわずかに修正された場合に、予測の結論が現在の予測出力と非常に異なるかどうかを視覚化する。予測が、入力パラメータ値のわずかな変化に対して堅牢である場合、予測分散バーは短く、予測があまり変化しないことを示す。予測が、入力パラメータ値のわずかな変化の影響を受ける場合、予測分散バーは広く、予測が著しく変化することを示す。描かれた例では、スケールは、バックグラウンドエリア220の輪郭の一部に沿った太い線として表される。
図2Cは、別の予測結果を表す別のアナログスケールアイコン260を描く。アナログスケールアイコンは、本実施形態では、別の速度計に似ている。
アイコンは、図2Bについて既に説明した視覚要素を備える。さらに、アイコンは、スケールに対するさらなる副範囲指標の大きさおよび位置が、スコア範囲内のさらなる信頼区間の大きさおよび位置を示すものになるように、スケールと位置合わせされたさらなる副範囲指標206を備える。描かれた例では、さらなる副範囲指標は、バックグラウンド領域の中心で始まり、さらなる信頼区間を表すスケール領域を正確に覆う(見えない)弓形の弧である。例えば、第1の副範囲指標202は、例えば10%未満といった、閾値を下回るFN結果のパーセンテージを生成することでモデルが知られているスコア値の範囲を示すことができる。さらなる副範囲指標206は、例えば25%未満といった、別の閾値を下回るFN結果のパーセンテージを生成することでモデルが知られているスコア値の範囲を示すことができる。
描かれた例では、スケール208は、バックグラウンドエリア220の輪郭の一部を表す太い弓として表される。スケールは、表示されるスケール値を何も備えていないが、副範囲指標は、指標202、204および206によってそれぞれ示された、スコア範囲におけるFPまたはFN予測の可能な限り最大の断片を示すラベルを備える。アイコン260は、矢印の代わりに針または三角形の形状のポインタを有する。
任意選択の凡例222は、例えば、スケールに備わった色のグラデーションでの色の色コードの説明といった、アイコン260の解釈を補助する、さらなる情報をもたらすことができる。
図3は、サムネイルアイコンによってそれぞれ視覚化された予測結果のリスト302を描く。モバイル通信デバイスは、ネットワークを介して複数の予測結果を受け取ることができる。
複数の予測結果は、異なる予測タスクのための、同じモデルによってもたらされた2つ以上の予測結果を含むことができ、異なる予測タスクは、異なる入力データを予測ロジックに提供することに関連付けられる。例えば、第1のタスクは、標的がPDCD1である特定の薬物Xが、メラノーマの治療法としてFDAによって承認されることになるかどうかについての予測であってもよく、第2のタスクは、標的が同じPDCD1である同じ薬物Xが、乳がんの治療法としてFDAによって承認されることになるかどうかについての予測であってもよい。予測結果がリスト302に収められた2つの異なる予測タスクについて、同じ文献ベースの生物医学的予測モデルを使用することができる。
さらに、または代替として、複数の予測結果は、同じまたは異なる予測タスクのために、異なるモデルによってもたらされた2つ以上の予測結果を含むことができる。例えば、第1の予測結果は、標的がPDCD1である特定の薬物Xが、メラノーマの治療法としてFDAによって承認されることになるかどうかについての予測タスクのために、文献ベースのモデル958(「M1」)で生成することができる。第2の予測結果は、同じ予測タスクのために、別のモデルM2で生成することができる。他のモデルは、文献ベースのモデルではなく、むしろ、代謝流量分析、分子相互作用シミュレーションロジック、または毒性シミュレーションロジックを使用して、標的がPDCD1である特定の薬物Xが、メラノーマの治療法としてFDAによって承認されることになるかどうかを予測するモデルであってもよい。代替として、他のモデルも、文献ベースのモデルであってもよいが、予測は、文献の意味論的分析に基づくことができ、一方で、モデルM1は、同時発生に基づくモデルであってもよい。
さらに、または代替として、複数の予測結果は、同じまたは異なる予測タスクのために、同じモデルの異なる版によってもたらされた2つ以上の予測結果を含むことができる。例えば、第1の予測結果は、標的がPDCD1である特定の薬物Xが、メラノーマの治療法としてFDAによって承認されることになるかどうかを示すことができ、文献ベースの生物医学的予測モデルの特定の版v1が、予測を生成するために使用された。モデルの版v1は、2016年1月1日時点の文献データベースについて訓練されていてもよい。第2の予測結果は、標的がPDCD1である特定の薬物Xが、メラノーマの治療法としてFDAによって承認されることになるかどうかをさらに示すことができ、文献ベースの生物医学的予測モデルの版v2が、予測を生成するために使用された。モデルの版v2は、2016年2月1日時点の文献データベースについて訓練されていてもよい。複数のさらなる予測結果を同じ予測タスクに対して受け取っていてもよく、さらなる予測結果のそれぞれは、例えば、2016年3月1日、2016年4月1日、などについての文献ベースの生物医学的予測モデルのさらなる版に対応する。
各リスト項目304、306は、少なくともサムネイルアナログスケールアイコン、および任意選択として、1つまたは複数のデータ値を含む。データ値は、例えば、予測スコアのような数値、予測タスク(プロジェクトタイプ、標的、適応、等)、および、予測、または、予測のために使用されたモデルの他のメタデータを含むことができる。各項目は、リスト302を置き替える新しいビュー内のアナログスケールアイコンの表示をトリガするために特定のリスト項目をユーザが選択できるようにした、リンク「詳細」または他の選択可能なGUI要素をさらに含むことができる。例えば、新しいビューは、アナログスケールアイコンのフルスクリーン版を含むことができる。
このように、予測結果のリスト内のサムネイルアナログスケールアイコンを使用すると、ユーザは、異なるモデル、異なるモデルの版、および/または異なる予測タスクによってもたらされた予測スコア、および複数の予測の品質を簡単に比較することができる。このように、非常に雑多な複数の予測モデルおよびソフトウェアプログラムが高密度に視覚化されることにより、ユーザは、多くの異なるモデルによってもたらされた予測結果および予測品質を比較することができる。これは、訓練および入力データのタイプ(文献、シーケンスデータ、表現プロフィール、3D構造、アレイデータ、画像分析)に関し、生物医学的疑問のタイプ(標的予測、毒性予測、薬物識別、副作用予測)に関し、使用された予測アルゴリズムのタイプ(ニューロンネットワーク、サポートベクトルマシン、ランダムフォレスト、ルール、等)に関する、非常に雑多なITフレームワーク、急増する量の構造化および非構造化データ、ならびに、非常に多くの異なる予測的手法によって、これらの技術分野が特徴づけられるので、生命科学研究および薬の開発の背景において特に有利である。
本発明の実施形態は、複数の異なるモデルへの直観的な高密度の全体像を提供し、モデルの品質に影響する傾向をユーザが監視することも可能にする。例えば、特定の予測タスクについて、モデルの異なる版によって生成された複数の予測結果が利用できる場合、いくつかの実施形態では、予測結果について生成されたアナログスケールアイコンは、例えば、アニメーションGIFまたはビデオクリップといった、単一の動画に組み合わされ、例えば、矢印218、副範囲指標202、204、206、および/または分散バー258といった、アイコンの要素は、これらのそれぞれの位置および大きさを変化させることができる。ユーザが動画をクリックすると、アナログスケールアイコンの要素は、これらの大きさおよびまたは位置を変化させる。例えば、モデルの異なる版が、継続的に増加する訓練データセットに一致する場合、利用可能なデータの量が大きくなると、特定のモデルの正確さおよび予測力を向上させることができるということが、起こる可能性がある。したがって、最初の予測の予測スコアは曖昧で、ゼロに近い可能性があり、副範囲指標202、204が非常に狭くなる可能性もあるが、モデルの後の版によって生成された予測スコアは、陽性(または陰性)回答を明確に示す可能性があり、副範囲指標202、204が非常に広くなる可能性もある。いくつかのケースでは、訓練データセットの旧版によって今のところサポートされた仮定と対象をなす情報を、追加の利用可能なデータが含む場合、モデル品質はさらに悪化する可能性がある。このように、ユーザは、同じ予測タスクのための同じモデルの多くの異なる版の予測結果を表す複数のアナログスケールアイコンから生成された動画を見ることによって、モデルの品質が経時的に変化したかどうか、および、変化が、予測品質の改善または悪化を生じたかどうかを容易に認識することができる。
図4は、特定の薬物のFDA承認を、例えば記事数といった別の特徴のプロフィールとそれぞれ相関させた4つのプロットを描く。
プロット402は、成功薬物および不成功薬物に関する発表についてのトピックの変化を経時的に描き、トピック「薬物治療」に焦点を当てる。表示された時間範囲は、薬物開発の特定の重要な時点、この場合、最も早い第2相試験の始めを基準にした時点「0」の前の20年である。各発表は、Mesh用語とも呼ばれるトピックの限定的なセットで注釈をつけられる。プロット402は、発表の2つのクラスに対するトピック「薬物治療」で注釈をつけられた発表のパーセンテージを示し、「FDA承認」の発表(プロットの右の境界における2つの曲線のうちの上の方の1つ)は、FDAによって承認された薬物の標的および適応に言及する発表であり、「失敗」の発表は、第2相または第3相で終了した薬物の標的および適応に言及する。太線は、中央値を示し、陰影がついたエリアは、分布の信頼区間(および暗黙的な分散)である。ウィルコクソン試験によって評価されるような分布の統計的に著しい差は、プロットの最上部にアスタリスクでマークされる。ここで証明された主な仮定は、成功薬物の開発につながった発表が、第2相試験が始まる前にかなり多いトピック「薬物治療」で注釈をつけられるというものである。
プロット404は、第1および第2の曲線を描く。第1の曲線「FDA承認」(プロットの右の境界にある2つの曲線のうちの上の方の1つ)は、特定の薬物標的の名前に言及したMedlineデータベース内の記事の数を示し、薬物は、前記疾患の治療法としてFDAによって後で承認された。第2の曲線「失敗」は、特定の薬物標的の名前に言及したMedlineデータベース内の記事の数を示し、前記薬物は、FDAによって後で拒否され、前記疾患の治療に使用するのを許可されなかった。新しいリサーチエリアの早い時期には、2つの曲線は非常に似ており、特定の薬物がFDAによって承認される可能性が高いか否かについて、文献ベースのモデルは、明らかな予測を行うことができない可能性がある。それでも、数年後、薬物標的と組み合わせて疾患に言及した発表記事の数が、失敗した標的についての記事より、FDAによって後で承認された標的についての記事が多くなるということに気づくことができる。これは、おそらく、特定の薬物標的と疾患との間の関係をサポートする肯定的な結果が、この分野で作業することになるさらなるリサーチグループを招くからであり、これにより、標的だけに言及した発表の数を増加させる。このプロットは、特に、後年、十分な数の文書が利用可能になると、FDAが特定の薬物を承認することになるか否かを文献ベースのモデルが確実に予測できることを示す。このように、文献ベースの予測モデルを頻繁に更新することは、高品質予測をもたらすための鍵である。
プロット406は、第1および第2の曲線を描く。第1の曲線「FDA承認」(プロットの右の境界にある2つの曲線のうちの上の方の1つ)は、特定の薬物の標的である特定の遺伝子/たんぱく質の名前に言及したMedlineデータベース中の記事の数を示し、薬物は、バイオマーカの発生に関連付けられた疾患の治療法としてFDAによって後で承認された。第2の曲線「失敗」は、特定の薬物の標的である特定の遺伝子/たんぱく質の名前に言及したMedlineデータベース中の記事の数を示し、前記薬物は、FDAによって後で拒否され、前記遺伝子/たんぱく質の発生に関連付けられた疾患の治療に使用するのを許可されなかった。
プロット408は、第1および第2の曲線を描く。第1の曲線「FDA承認」(プロットの右の境界にある2つの曲線のうちの上の方の1つ)は、特定の薬物標的のトピックの遺伝的変異および名前、ならびにその適応に言及したMedlineデータベース中の記事の数を示し、薬物は、FDAによって後で承認された。第2の曲線「失敗」は、薬物標的のトピックの遺伝的変異および名前、ならびにその適応に言及したMedlineデータベース中の記事の数を示し、前記薬物は、FDAによって後で拒否された。したがって、遺伝的変異データに基づいて、特定の薬物がFDAによって承認されることになるか否かを予測するように適合されたさらなる予測モデルを生成するための訓練データとして、どれだけの発表がトピックの遺伝的変異に言及しているかについての情報を使用することができる。
図5は、特定の薬物のFDA承認と記事数とを相関させたプロット502を描く。特定の薬物の最も早い第2相試験が始まる時間は時間「0」であり、したがって、プロット502は、第2相のこの始まりの20年前、および、薬物の承認または拒否時のFDAの最終判定のさらにもっと前の記事数を示す。記事数は、判定時の20年前から第2相に入る約7年前までの期間において、非常に似ているということがわかる。その後、特定の薬物標的と組み合わせて疾患に言及した文書の発表数は、FDAによって後で承認されることになる薬物の薬物標的について、著しく高くなる。薬物の第2相に入る前の5年間、差は、プロットの最上部にあるアスタリスクによって示されたように、統計的に重要である。したがって、図4に示されたものなどの、他の区別的な特徴とともに記事数を使用する文献ベースのモデルは、特定の薬物が、依然として、FDA承認の有望な候補と思われる場合、ならびに、さらなる資金と労力が、この薬物に関する臨床前リサーチおよび臨床リサーチに投資されなければならない場合でも、FDAの実際の判定の数年前、第2相試験に入る際に予測できる可能性がある。
これは、科学者が大量の臨床前試験を管理することができ、将来のリサーチ作業のために関心のある可能性のあるさらにいっそう仮定的な薬物と疾患の組合せに関心がある可能性があるので、重要な発見である。例えば、複数の異なる疾患、薬物、薬物の候補、およびその組合せに関連した複数の予測タスクのための文献に基づく予測を自動的に生成することによって、また、文献ベースのモデル、および、前記モデルに基づいて生成された予測を繰り返しかつ完全に自動的に更新することによって、自動化された予測およびアラートシステムを提供することができ、複数の異なる予測タスクに対して登録しているこの科学者または複数の科学者が、成功の見込みが少ないときに、費用のかかるリサーチを続けること、および止めることができるようにする。
図6は、同じ予測タスクのために異なる文献ベースのモデルM1、M2によって生成された2つの予測スコアを描く。例えば、生物医学的文献について訓練された第1のモデルベースの予測ロジックMLL1は、特定の薬物Xが疾患Dの治療のためにFDAによって承認されることになるかどうかについての疑問に対する予測結果を、0.75の予測スコアで生成することができる。同じ生物医学的文献について訓練された第2のモデルベースの予測ロジックMLL2は、同じ疑問に対してニューラルネットワークを使用して、予測結果を、0.65の予測スコアで生成することができる。したがって、ユーザは、予測のうちのどちらを信頼するべきかを判定するという問題に直面する可能性がある。予測モデルの品質を評価するために、図7および図8に描かれたような混同行列を一般に使用して、モデルM1、M2、および/または、それぞれの予測ロジックMLLのうちのどちらが、より正確かつ信頼する価値があると考えるべきかを判定する。例えば、モデルM1、M2は、ニューラルネットワークまたはランダムフォレストモデルであってもよい。
図7は、例えば、予測結果が図7に描かれた、予測スコア0.75を出力したモデルM1といった、特定のモデルM1に関連付けられた混同行列を描く。
図8は、予測スコア0.65を出力したモデルM2に関連付けられた混同行列を描く。混同行列は、真陰性予測702、802、偽陽性予測704、804、偽陰性予測706、806、および真陽性予測708、808について色分けされた頻度を含む。それでも、ユーザは、2つのモデルの予測結果、またさらに、これらのそれぞれの品質が似ているか否かを評価するために、図7および図8に描かれたような2つの混同行列と組み合わせて、図6に示したような予測結果を伴うプロットを検査しなければならない。それでも、モバイルハンドヘルドデバイスの小さいディスプレイに、図6、図7、および図8に描かれたプロットを、これらに含まれる情報をユーザが素早く取得し、理解できるように十分な大きさで表示することはできない。さらに、ユーザのスクロール動作は、典型的には、大量のエネルギーを消費する。これは、電池を放電させる可能性があり、したがって非常に望ましくない。逆に、本発明の実施形態は、2つ以上の異なるモデルの予測結果および品質を高密度に視覚化し、これにより、同じ予測タスクを行うために使用される2つ以上のモデルの比較を容易にする。
図9は、GUI902に表示されたアナログスケールアイコンのさらなる例を描く。この図に描かれたアイコンは、統合型モデルによって生成された統合型予測を表す。統合型モデルは、多くの異なる予測モデルによって生成された出力を入力として使用して、図2Aを参照しながら既に説明した要素216、254、256をさらに含むことができる全体的な予測結果を生成する。GUIは、例えば、予測タスク、疾患および薬物標的に言及した識別された発表の数、陽性および陰性の結論についての特異性など、追加のメタデータを含むことができる。
図10は、ネットワーク990を介して互いに接続されたサーバコンピュータ950と複数のモバイルデバイス970、992、994とを備えるシステムのブロック図を描く。ネットワークは、具体的には、デジタルセルラーモバイル通信ネットワークであってもよい。
サーバシステム950は、1つまたは複数のプロセッサ952、ならびに、モデルベースの予測ロジック956、およびデータベース964を含んだ、不揮発性ストレージ媒体954を備える。サーバシステムは、モノリシックシステムであってもよく、または、例えば、クラウドコンピュータシステムといった、分散型コンピュータシステムであってもよい。同様に、ストレージ媒体954は、単一の物理デバイスであってもよく、または、相互接続された分散型ストレージデバイスのセットであってもよい。
モデルベースの予測ロジック956は、例えば、ニューラルネットワーク、サポートベクトルマシン、または同様のものといった、機械学習ロジックであってもよい。機能上、モデルベースの予測ロジックは、真陽性および真陰性の結果であったと典型的に注釈をつけられた訓練データ966のセットを分析し、これにより、いわゆる「訓練フェーズ」でモデル958を生成するモデル生成機能957を備える。モデルベースの予測ロジックは、生成したモデル958を使用して、特定の予測タスクに対応する特定の入力データ969のための予測を生成する予測機能955をさらに備える。モデル生成およびモデルベースの予測機能は、モデルベースの予測フレームワークに統合された別個のモジュールとして、または、別個のアプリケーションプログラムとしてさえも、実現することができる。代替として、モデル生成およびモデルベースの予測機能は、単一のソフトウェアの統合部分であってもよい。モデルベースの予測ロジック956は、例えば、Java(登録商標)、C#、Perl、C++、または同様のものなどの、任意のプログラミング言語で実現することができる。
いくつかの実施形態によれば、サーバシステムは、サーバと、モバイルデバイス970、992、994のそれぞれとの間のリクエストおよび応答メッセージの交換を調和させるように構成されたバックエンドプログラム962を備える。例えば、バックエンドプログラムは、例えば、疾患Dの治療法として薬物Xの使用をFDAが承認する可能性が高いかどうかを文献ベースのモデル958に基づいて予測するためといった、予測タスクを実行するために、モバイルデバイス970からリクエストを受け取るように構成することができる。例えば、バックエンドプログラム9620は、モバイルデバイス上で動くクライアントアプリケーション980と相互動作可能であってもよく、または、モバイルデバイスのブラウザ982の特別に設計されたプラグインと相互動作可能であってもよく、プラグインは、一種のクライアントアプリケーションとして機能する。例えば、それぞれの薬物Xの1つまたは複数の薬物標的の名前の明細、関心のある疾患Dの名前、および、予測のために使用されることになるモデルの版のような任意選択のさらなるパラメータといった、リクエストした予測を実行するために使用されることになる入力データ969は、モバイルデバイス970を介してユーザによって入力することができ、または、モバイルデバイス970からリクエストを受け取った瞬間にバックエンドプログラム962が既に利用できてもよい。例えば、サーバシステムは、登録ユーザおよび予測タスク963のリストを含むデータベース964を備えることができ、各登録ユーザは、1つまたは複数の予測タスクを割り当てたことがあり、ユーザのために特定の予測タスクを実行するときに使用されることになる入力データ969は、それぞれの予測タスクおよびユーザに関連のあるデータベース964に既に記憶されていてもよい。
バックエンドプログラム962は、ネットワーク990を介してモバイルデバイス9700から、特定のユーザのための予測タスクを実行するためのリクエストを受け取ることができ、予測タスクの実行を開始するための他の任意のトリガを受け取ることができる。リクエストまたは他のトリガを受け取ることに応答して、バックエンドプログラムは、予測タスクに関連付けられた入力データをモデルベースの予測ロジック956に転送し、モデルベースの予測ロジックをトリガして、予測タスクのための予測結果960を生成する。例えば、予測結果は、例えば、図2Aの説明で、また、説明の他のセクションで説明したような、正規化した予測スコア216、第1および第2の信頼区間25.1、256.2、ならびに、任意選択としてさらに、予測分散区間254を含むことができる。バックエンドプログラム962は、予測を実行するというリクエストを受け取ったモバイルデバイス992、994、970のうちの1つに、または、データベース964のユーザおよびタスクレジストリ963内の、予測タスクを割り当てたユーザに割り当てられたモバイルデバイスのうちの1つに、予測結果960を転送する。さらに、予測結果は、データベース964内の予測履歴961に記憶することができる。優先的に、履歴961に記憶した各予測結果は、例えば、予測が実行された予測タスク、予測タスクを割り当てた1人または複数のユーザ、予測の日付、ならびに、予測のために使用されたモデルのID、タイプ、および/または版、など、いくつかのメタデータを割り当てている。履歴は、予測スコアの進展のプロフィール、ならびに、同じ予測タスクのために同じモデルの更新版に対して特定の予測が何度も繰り返された、経時的に提供されたモデルベースの予測品質および確実性を取得できるようにする。これらのプロフィールは、繰り返しの予測で取得された予測結果を視覚化した複数のアナログスケールアイコンから動画を生成するために使用することができる。例えば、動画は、アニメーションGIFもしくは短いビデオクリップであってもよく、または、「映画のような」グラフィカルユーザインターフェース要素をサーバ側もしくはクライアント側で生成できるようにした他の任意の適切なデータフォーマットであってもよい。
バックエンドプログラム962は、多くの異なる方式およびプロトコルで、ネットワーク990を介してモバイルデバイス970に予測結果960を返すことができる。例えば、バックエンドプログラムは、例えばEJB JavaBeansフレームワーク、または、例えばSOAPプロトコルといったウェブサービスプロトコルを使用して、クライアントアプリケーション980に予測結果960を直接送ることができる。代替として、第2のプログラム962は、クライアントアプリケーション980、または、クライアントアプリケーションとして機能するブラウザプラグインによってメッセージを抽出するために、アクセスして分析し、使用することができる、モバイルデバイス上で動くクライアントアプリケーション986に、または、他の任意のアプリケーションに、電子メール、SMSメッセージ、または、他の任意のメッセージフォーマットの形式で予測結果を送ることができる。さらなる代替として、バックエンドプログラム962は、予測結果960を含んだ、例えばHTMLページといった、ウェブページを生成するように構成されたウェブサーバアプリケーションプログラムであってもよい。ウェブページは、例えばHTMLテキスト要素といったテキストの形式の、および/または、バックエンドプログラム962によってサーバ側で生成されたアナログスケールアイコン200、260の形式の、予測結果を含むことができる。アナログスケールアイコンがサーバによって生成される場合、受け取るモバイルデバイスは、ウェブページに収められたアイコン内のページが、モバイルデバイスのマトリックスディスプレイ978の寸法にフィットするように、ウェブページに収められたアイコンの大きさを合わせなければならないだけである。ベクターグラフィックスの形式でアナログスケールアイコンが提供される場合、モバイルデバイスによるアイコンの表示は、ベクターグラフィックスアイコンをレンダリングすることを含む。代替として、数値および値の範囲の形式で予測結果が返される場合、クライアントアプリケーション980は、本発明の様々な実施形態について本明細書で説明したように、予測結果からアナログスケールアイコン200、260を生成するように構成される。アイコンのクライアント側での生成は、クライアントアプリケーションとして機能するブラウザプラグインによって、あるいは、例えば、PHPコードもしくはJavaScript(登録商標)コード、フラッシュプログラムコード、または同様のものといった、スクリプトによってさらに実現することができ、これは、バックエンドプログラム962として使用されるウェブサーバソフトウェアによって提供されたウェブページの一部である。
図10に描かれた例では、モバイルデバイス970は、電池972で電力を供給され、1つまたは複数のプロセッサ974、ならびに、ブラウザ982およびクライアントアプリケーション980が記憶され、インストールされた不揮発性ストレージ媒体976を備える。
1つの実施形態では、クライアントアプリケーションは、バックエンドプログラム962と相互動作可能なブラウザ-プラグインである。クライアントアプリケーションは、数値および値の範囲の形式で予測結果960を受け取り、前記数値および値の範囲からアナログスケールアイコン200、260を生成する。クライアントアプリケーション980は、ウェブページをさらに作り出し、生成したアイコンをウェブページに統合し、マトリックスディスプレイ978上のブラウザ982によるアイコンを含んだウェブページの表示をトリガする。
別の実施形態では、クライアントアプリケーションは、バックエンドプログラム962と相互動作可能なスタンドアロンアプリケーションである。クライアントアプリケーションは、数値および値の範囲の形式で予測結果960を受け取り、前記数値および値の範囲からアナログスケールアイコン200、260を生成する。クライアントアプリケーションは、アイコンを含んだグラフィカルユーザインターフェース(GUI)を生成し、アイコンを含んだGUIをマトリックスディスプレイに表示する。例えば、GUIは、Java(登録商標) swingまたはawtライブラリを使用して生成することができる。代替として、GUIは、HTMLページであってもよく、クライアントアプリケーション980は、HTMLベースのGUIを表示するように適合された一種の「ブラウザ」として機能することができる。
さらに別の実施形態では、モバイルデバイスは、クライアントアプリケーションもしくはクロックインを何も備えておらず、または、予測結果960を受け取って視覚化するためにこれらを少なくとも必要としない。例えば、バックエンドプログラム962は、数値および値の範囲の形式の予測結果960を含み、例えばJavaScript(登録商標)のセクションといったスクリプトを含んだウェブページを生成することができ、クライアントデバイス970のプロセッサ974によって実行されると、アナログスケールアイコン200、260のそれぞれの要素の形式で予測結果960の個々の要素を生成してグラフィカルに表すように適合される。
単一の予測結果の代わりに、モバイルデバイス970は、1つまたは複数の予測タスクのための複数の予測結果をさらにリクエストし、単一の結果の代わりに予測結果のリストを受け取ることができる。例えば、予測結果のリストは、図3に描かれたようなリストの形式で表示することができる。
バックエンドプログラム962および/またはクライアントアプリケーション980も、例えば、Java(登録商標)、C#、Perl、C++または同様のものなどの、任意のプログラミング言語で実現することができる。
モバイルデバイスによって予測をリクエストし、リクエストに応答してサーバから予測結果を受け取る上記で説明した方式は、ユーザがどのように特定の予測をリクエストして視覚化することができるかについてのただ1つの方式ではない可能性がある。好ましい実施形態では、モバイルデバイス992、994、970のうちの1つを割り当てた各ユーザは、さらに、または代替として、サーバシステムが、モデル958の新しい版を生成したこと、ユーザレジストリおよびタスクレジストリ963内でモバイルデバイスのユーザに関連付けられた1つまたは複数の予測タスクを繰り返したこと、ならびに、新しい更新後のモデルの版を使用して取得した予測結果のうちの少なくとも1つが、同じ予測タスクのために以前に取得した予測結果とは著しく異なると判定したことに応答して、自動的に、かつ、明確なリクエストがなくても、予測結果を受け取ることができる。これにより、「著しく異なる」は、予測スコアが著しく異なること、ならびに/または、信頼区間(例えば、第1の信頼区間256.1、第2の信頼区間256.2、および/もしくは予測分散区間254)のいずれかが、同じ予測タスクのために以前の予測で取得したそれぞれの間隔とは著しく異なることを意味することができる。好ましい実施形態では、ネックおよびプログラム962は、予測スコアに対して、および/または、信頼区間254、256.1、256.2のそれぞれに対して個別に、ユーザが「著しく異なる」と思っていることを指定する閾値を、ユーザが構成できるようにする。この構成の実行を用いるのは、モバイルデバイス992、994、970のうちの1つを割り当てたユーザのうちの1人であってもよく、または、サーバシステム950のオペレータであってもよい。例えば、ユーザは、正規化したスコア値が互いに15%より大きく異なる場合、現在の予測スコアが、以前に取得した予測スコアとは著しく異なると述べることができる。
さらに、または代替として、ユーザは、2つの第1の信頼区間の交差区間が、以前の予測のために取得した第1の信頼区間より15%を超えて小さくなる場合、および/または、新しい予測のために取得した第1の信頼区間の大きさが、以前の予測のために取得した第1の信頼度の大きさより少なくとも15%大きい場合、現在の予測の第1の信頼区間256.1が、同じ予測タスクのための以前の予測のために取得した第1の信頼区間とは著しく異なると述べることができる。
さらに、または代替として、ユーザは、2つの第2の信頼区間の交差区間が、以前の予測のために取得した第2の信頼区間より15%を超えて小さくなる場合、および/または、新しい予測のために取得した第2の信頼区間の大きさが、以前の予測のために取得した第2の信頼度の大きさより少なくとも15%大きい場合、現在の予測の第2の信頼区間256.2が、同じ予測タスクのための以前の予測のために取得した第2の信頼区間とは著しく異なると述べることができる。
さらに、または代替として、ユーザは、2つの予測分散区間の交差区間が、以前の予測のために取得した予測分散区間より15%を超えて小さくなる場合、および/または、新しい予測のために取得した予測分散区間254の大きさが、以前の予測のために取得した予測分散区間254の大きさより少なくとも15%大きい場合、現在の予測の予測分散区間254が、同じ予測タスクのための以前の予測のために取得した予測分散区間254とは著しく異なると述べることができる。
ユーザは、第1および第2の信頼区間、予測分散区間、ならびに、スコア値の差の閾値に、異なる値をセットすることができる。
好ましい実施形態によれば、プログラムロジック962は、定期的に、および/または、新しいもしくは追加の訓練データ968が利用可能になる際に、機械学習に基づく予測ロジック956を自動的に再訓練するように構成される。機械学習ロジック956の再訓練は、モデル956の新しい版が生成されることを意味し、新しい版は、以前のモデルとは異なる同じ予測タスクのための予測結果を生成することができる。バックエンドプログラム962は、ユーザレジストリおよびタスクレジストリ961に収められた全ての予測タスクのために、または、「自動更新」タグで印を付けられた少なくとも予測タスクのために、新しいモデルの版に基づいて、予測結果の再計算を自動的にトリガするように構成することができる。次に、バックエンドプログラム962は、新しいモデルを使用して取得された予測結果と、予測履歴961に格納されたモデルの以前の版を使用して取得してあったそれぞれの予測結果とを比較する。特定の予測結果が、モデルの以前の版を使用して同じ予測タスクのために取得した予測結果とは「著しく異なる」場合、前記特定の予測タスクを割り当てた全てのユーザは、前記ユーザに割り当てられた予測タスクのために、より新しい予測結果が利用できるようになったことを、バックエンドプログラム962によってアラートメッセージを介して自動的に通知される。例えば、第2のプログラム602は、例えば、電子メール、SMS、または、他の任意のメッセージ形式といった、アラートメッセージを、モデル更新によって予測結果が著しく影響を受ける予測タスクに対して登録したユーザのモバイルデバイスに送るように構成することができる。いくつかの実施形態では、アラートは、例えばURLといった、選択可能な要素を含み、要素を選択したユーザは、更新後の予測結果を受け取ること、および/または、更新後の予測結果を表すアナログスケールアイコンを受け取ることをトリガすることができる。ユーザが複数の予測タスクに対して登録していた場合、および、複数の予測タスクの予測結果が、モデル更新によって著しく影響を受ける(変更される、修正される)と、バックエンドプログラムによって判定されていた場合、バックエンドプログラムは、更新後の予測結果のリスト、および/または、更新後の予測結果を表すアナログスケールアイコンのリストを含むアラートメッセージを送ることができる。代替として、アラームメッセージは、予測モデルの新しい版が利用可能であること、ならびに、複数の予測タスクが、新しいモデル、および、例えばURLといった選択可能な要素によって影響を受けることという通知だけを含むことができ、ユーザによるURLの選択は、更新後の予測結果のリストを受け取ること、および/または、更新後の予測結果を表すアナログスケールアイコンのリストを受け取ることをトリガする。
これは、大量の予測タスクに対して登録していたユーザが、モデルが更新される際に、大量のメッセージで「あふれ(flooded)」ないので、非常に有利である可能性がある。しばしば、モデル更新は、予測の結論に著しく影響を及ぼすことはなく、ユーザの通知は、ネットワークトラフィックを増加させ、ユーザを不安にさせるだけである。それでも、モデル更新が、予測結果に対して重大なインパクトを与えることに気づいた場合、それぞれの予測タスクに対して登録していた任意のユーザは、予測結果の新しい更新版を、または、予測結果の更新版をユーザが検索できる少なくともリンクを、自動的に提供される。したがって、ユーザは、最新の利用可能なデータおよびモデルの版に予測結果が常に基づくことを確実にするために、特定の予測を繰り返し実行するという負担が和らぐ。
実施形態によれば、クライアントアプリケーション980は、自動化されたITフレームワークの一部であり、バックエンドプログラム962と機械学習ロジック956を組み合わせて、訓練データの現在のセットを自動的かつ繰り返し検索すること、予測型生物医学的モデルの更新版を生成するために最新の利用可能な訓練データについて機械学習ロジック956を再訓練すること、現在の予測結果を取得するために更新後のモデルについて、ユーザおよびタスクライブラリ963内の予測タスクで指定された全ての予測を繰り返すこと、現在の予測結果と、モデルの以前の版に基づいて生成された以前に取得した予測結果を比較すること、ならびに、予測結果が、モデルの以前の版に基づいて取得した予測結果とは著しく異なると比較動作で気づいた予測タスクをレジストリ963内で割り当てた、関連のあるモデル更新、および、新しい関連のある予測結果について、これらの登録ユーザだけに選択的に通知すること、を行うように構成される。したがって、ネットワークトラフィックは避けられ、非常にユーザフレンドリなシステムが提供され、科学者および科学マネージャが、最新のモデルの予測に基づいて常に判定することを保証する。アナログスケールアイコンおよびそれぞれのサムネイルアイコンを使用すると、スクロール動作を何も実行せず、数値または値の範囲を読み取る必要さえなく、モバイルデバイスの小さい画面上でも、予測結果、ならびに、予測結果の品質、ならびに、基礎となるモデルおよびモデルの版の品質をユーザが素早くかつ直感的に評価し、比較できることを保証する。