JP7474761B2

JP7474761B2 - ソフトウェア・バグを検出するためにシステムをトレーニングするためのシステム及び方法

Info

Publication number: JP7474761B2
Application number: JP2021529701A
Authority: JP
Inventors: マルクス、ブライアン
Original assignee: Individual
Current assignee: Individual
Priority date: 2018-11-26
Filing date: 2019-11-26
Publication date: 2024-04-25
Anticipated expiration: 2039-11-26
Also published as: AU2019386064A1; WO2020112800A1; AU2019386064B2; JP2022510165A; US20220004484A1; CA3120863A1

Description

本出願は、その内容全体が参照により本明細書に組み込まれる、２０１８年１１月２６日に出願された「ＳｙｓｔｅｍｓａｎｄＭｅｔｈｏｄｓｆｏｒＴｒａｉｎｉｎｇＢｕｇＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔｈｍｓ」という名称の米国仮出願第６２／７７１，３４５号の利益を主張する。

本開示は、ソフトウェア・バグ検出のためのシステム及び方法に関し、より詳細には、計算システム及びソフトウェア内の弱点の利用を可能にし、ひいてはシステム及びソフトウェアのコンプロマイズ（compromise）を可能にするシステム及び方法に関する。したがって、脆弱性（たとえば、ソフトウェア・バグ）を動的に識別し、前記脆弱性を利用し、前記脆弱性を改善するために、エンド・ユーザをトレーニングする必要がある。

計算システムは、第三者によって引き起こされる悪意のある操作に対して脆弱であり、システム又はソフトウェア内の弱点の利用を可能にし、ひいてはシステム又はソフトウェアのコンプロマイズを可能にし得る。したがって、シミュレートされるアプリケーション及びネットワーク・サービスに対する悪意のある操作を動的に識別し、それを改善するために、ユーザ及び／又はコンピュータ・システムをトレーニングするソフトウェア・バグ検出システムが必要である。

一態様では、方法は、第１のクライアント計算システムを使用して管理計算システムからのインスタンスを受信することを含み、インスタンスは管理計算システムの計算リソースのパーティションを含む。計算リソースのパーティションは仮想プロセッサ及び第１の機械可読命令を備える。第１の機械可読命令は第１の事前定義されたソフトウェア・バグを備える。本方法は、仮想プロセッサを使用して第１の機械可読命令を実行することを含む。第１の機械可読命令を実行することは、仮想プロセッサを使用して、第１の機械可読命令の第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信することを含む。第１の機械可読命令を実行することは、仮想プロセッサを使用して、管理計算システムに、第１の入力に関連する第１の信号を送信することを含み、第１の信号は、管理計算システムによる検証に応答して、管理計算システムに、第１のクライアント計算システムに関連するスコアを生成させる。

別の態様では、方法は、第１のクライアント計算システムを使用して、管理計算システムからのインスタンスを受信すること含み、インスタンスは管理計算システムの計算リソースのパーティションを含む。計算リソースのパーティションは仮想プロセッサ及び第１の機械可読命令を備える。第１の機械可読命令は第１の事前定義されたソフトウェア・バグを備える。本方法は、仮想プロセッサを使用して第１の機械可読命令を実行することを含む。第１の機械可読命令を実行することは、仮想プロセッサを使用して、第１の機械可読命令の第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を生成することを含む。第１の機械可読命令を実行することは、仮想プロセッサを使用して、管理計算システムに、第１の入力に関連する第１の信号を送信することを含み、第１の信号が、管理計算システムによる検証に応答して、管理計算システムに第１のクライアント計算システムに関連するスコアを生成させる。

また別の態様では、方法は、管理計算システムを使用して、第１のクライアント計算システムに第１のインスタンスを送信することを含み、第１のインスタンスは管理計算システムの計算リソースの第１のパーティションを含む。計算リソースの第１のパーティションは第１の仮想プロセッサ及び第１の機械可読命令を備える。第１の機械可読命令は第１の事前定義されたソフトウェア・バグを備える。本方法は、管理計算システムを使用して、第１のクライアント計算システムによって受信される第１の入力に関連する第１の信号を受信することを含み、第１の入力は第１の機械可読命令の第１の事前定義されたソフトウェア・バグの識別を示す。本方法は、管理計算システムを使用して第１の信号を検証することを含む。本方法は、管理計算システムを使用して、第１の信号の検証に応答して、第１のクライアント計算システムに関連する第１のスコアを増加させることを含む。

また別の態様では、システムは、１つ又は複数のプロセッサと、機械可読命令を記憶する１つ又は複数の非一時的コンピュータ可読媒体とを含み、機械可読命令は、実行されたとき、１つ又は複数のプロセッサに、管理計算システムからのインスタンスを受信させる。インスタンスは管理計算システムの計算リソースのパーティションを含む。計算リソースのパーティションは仮想プロセッサ及び機械可読命令の第１のセットを含む。機械可読命令の第１のセットは第１の事前定義されたソフトウェア・バグを含む。機械可読命令を実行することは、１つ又は複数のプロセッサに機械可読命令の第１のセットを実行させる。機械可読命令の第１のセットを実行することは、１つ又は複数のプロセッサに、機械可読命令の第１のセットの第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信させる。機械可読命令の第１のセットを実行することは、１つ又は複数のプロセッサに、管理計算システムに、第１の入力に関連する第１の信号を送信させ、第１の信号は、管理計算システムに、第１のクライアント計算システムに関連するスコアを生成させる。

また別の態様では、機械学習システムは、１つ又は複数のプロセッサと、機械可読命令を記憶する１つ又は複数の非一時的コンピュータ可読媒体とを含み、機械可読命令は、実行されたとき、１つ又は複数のプロセッサに、管理計算システムからのインスタンスを受信させる。インスタンスは管理計算システムの計算リソースのパーティションを含む。計算リソースのパーティションは仮想プロセッサ及び機械可読命令の第１のセットを含む。機械可読命令の第１のセットは第１の事前定義されたソフトウェア・バグを含む。機械可読命令を実行することは、１つ又は複数のプロセッサに機械可読命令の第１のセットを実行させる。機械可読命令の第１のセットを実行することは、１つ又は複数のプロセッサに、機械可読命令の第１のセットの第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信させる。機械可読命令の第１のセットを実行することは、１つ又は複数のプロセッサに、管理計算システムに、第１の入力に関連する第１の信号を送信させ、第１の信号は、管理計算システムに、第１のクライアント計算システムに関連するスコアを生成させる。

また別の態様では、方法は、第１のクライアント計算システムを使用して管理計算システムからのインスタンスを受信することを含む。インスタンスは管理計算システムの計算リソースのパーティションを含む。計算リソースのパーティションは仮想プロセッサ及び機械可読命令の第１のセットを含む。機械可読命令の第１のセットは第１の事前定義されたソフトウェア・バグを含む。計算リソースのパーティションは機械可読命令の第２のセットを含む。機械可読命令の第２のセットは第２の事前定義されたソフトウェア・バグを含む。機械可読命令の第２のセットは、第１のクライアント計算システム及び管理計算システムに通信可能に結合された第２のクライアント計算システムに関連する。本方法は、仮想プロセッサを使用して機械可読命令の第１のセットを実行することを含み、機械可読命令の第１のセットを実行することは、仮想プロセッサを使用して、機械可読命令の第１のセットの第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信することを含む。機械可読命令の第１のセットを実行することは、仮想プロセッサを使用して、管理計算システムに、第１の入力に関連する第１の信号を送信することを含み、第１の信号は、管理計算システムに、第１のクライアント計算システムに関連するスコアを生成させる。機械可読命令の第１のセットを実行することは、仮想プロセッサを使用して、機械可読命令の第２のセットの第２の事前定義されたソフトウェア・バグの識別を示す第２の入力を受信することを含む。機械可読命令の第１のセットを実行することは、仮想プロセッサを使用して、管理計算システムに、第２の入力に関連する第２の信号を送信することを含み、第２の信号は、管理計算システムに、第１のクライアント計算システムに関連するスコアを増加させる。本方法は、第１のクライアント計算システムを使用してユーザ・インターフェースを表示することを含む。ユーザ・インターフェースは、第１のユーザ・インターフェース要素の選択に応答して、仮想プロセッサに第１の入力を受信させる第１のユーザ・インターフェース要素を備える。ユーザ・インターフェースは、第２のユーザ・インターフェース要素の選択に応答して、仮想プロセッサに第２の入力を受信させる第２のユーザ・インターフェース要素を含む。ユーザ・インターフェースはテキスト・ユーザ・インターフェース要素を含む。本方法は、第１のクライアント計算システムを使用してテキスト・ユーザ・インターフェース要素内でバイナリ・ファイルを表示することを含み、バイナリ・ファイルは、機械可読命令の第１のセットからなるセット、及び機械可読命令の第２のセットからなるセットのうちの１つを表す。

本技術のこれらの及び他の特徴、及び特性、並びに、動作の方法、及び構造の関係する要素の機能、及び部品の組合せ及び製造の経済は、様々な図において同様の参照番号が対応する部分を指定する、それのすべてが本明細書の一部を形成する、添付の図面を参照しながら、以下の説明及び添付の特許請求の範囲を検討すると、より明らかになろう。しかしながら、図面は、例示及び説明の目的のみのためであり、本開示の限界の定義として意図されないことが明確に理解されるべきである。本明細書において及び特許請求の範囲において使用される際、「ａ」、「ａｎ」、及び「ｔｈｅ」の単数形は、コンテキストが別段に明らかに規定しない限り、複数の指示対象を含む。

図面中に記載されている実施例は、本質において説明的で例示例であり、特許請求の範囲によって定義された主題を限定するものではない。例示的な実施例の以下の詳細な説明は、同様の構造が同様の参照番号で示されている、以下の図面とともに読まれたときに理解され得る。

本明細書で図示し、説明する１つ又は複数の実施例による例示的なソフトウェア・バグ検出システムを概略的に示す図である。本明細書で図示し、説明する１つ又は複数の実施例による例示的なソフトウェア・バグ検出システム内に含まれている例示的なモジュール及び構成要素の機能ブロック図を概略的に示す図である。本明細書で図示し、説明する１つ又は複数の実施例による別の例示的なソフトウェア・バグ検出システム内に含まれている例示的なモジュール及び構成要素の機能ブロック図を概略的に示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムの複数のコンテナを展開する例示的な方法の流れ図を示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムの管理計算システムの例示的なユーザ・インターフェースを概略的に示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムのインスタンスのソフトウェア・バグを識別する例示的な方法の流れ図を示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムのインスタンスのソフトウェア・バグを識別する例示的な方法の流れ図を示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムのシミュレーション・セッション中にクライアント計算システムにソフトウェア・バグを動的に展開する管理計算システムの例示的な方法の流れ図を示す図である。本明細書で図示し、説明する１つ又は複数の実施例によるソフトウェア・バグ検出システムのクライアント計算システムの例示的なユーザ・インターフェースを概略的に示す図である。

図を参照すると、本開示の実施例は、一般に、複数のクライアント計算システムを使用して、事前定義されたソフトウェア・バグを識別するために、ユーザ又はコンピュータ・システムをトレーニングするためのデバイス、システム、及び方法を対象にしている。実施例では、管理計算システムが複数のクライアント計算システムに通信可能に結合され、管理計算システムはクライアント計算システムの各々に仮想計算リソースを展開する。仮想計算リソースは、それぞれ、仮想プロセッサによって実行可能である機械可読命令を含み得、機械可読命令の各々は、展開の前に管理計算システムのアドミニストレータによって定義される１つ又は複数のソフトウェア・バグを含み得る。

シミュレーション・セッション中に、クライアント計算システムの各々のユーザ（又はクライアント計算システムがトレーニングされている実施例ではクライアント計算システム自体）は、それらのそれぞれの展開される機械可読命令を評価し、事前定義されたソフトウェア・バグの位置を特定し、補正し、補正された事前定義されたソフトウェア・バグを検証のためにサブミットし得る。対応するクライアント計算システムのユーザが、事前定義されたソフトウェア・バグを適切に補正したことを、管理計算システムが検証したことに応答して、管理計算システムは、対応するクライアント計算システムに関連するスコアを増加させる。

同様に、クライアント計算システムの各々のユーザ（又はクライアント計算システムがトレーニングされている実施例ではクライアント計算システム自体）は、他のクライアント計算システムに展開される機械可読命令を評価し、他のクライアント計算システムの事前定義されたソフトウェア・バグの位置を特定し、利用し、利用される事前定義されたソフトウェア・バグを検証のためにサブミットし得る。対応するクライアント計算システムのユーザが、事前定義されたソフトウェア・バグを適切に利用したことを、管理計算システムが検証したことに応答して、管理計算システムは、対応するクライアント計算システムに関連するスコアを増加させる。

シミュレーション・セッションが完了すると、管理計算システムは、複数の計算システムの各クライアント計算システムについてスコアを生成し、報告し得る。その後、管理計算システムは、クライアント計算システムの各クライアント計算システムのランク付けを示す報告をランク付けし、生成し得る。

したがって、ソフトウェア・バグ検出システムは、ユーザ及び／又はシステムが、メモリ破損問題、メモリ脆弱性問題、メモリ開示問題、情報漏洩問題、論理脆弱性問題、暗号問題など、悪意のある第三者行為により起こり得る様々な計算システム及びネットワーク問題を識別し、補正するそれらの能力を改善することを可能にする。

本明細書で使用する際、用語「ソフトウェア・バグ」は、アプリケーション・サービス及び計算システムのネットワークのうちの少なくとも１つに関連する、エラー、不具合、障害、及び／又は脆弱性を指す。本明細書で使用する際、用語「事前定義されたソフトウェア・バグ」は、アプリケーション・サービス及び計算システムのネットワークのうちの少なくとも１つに関連する、エラー、不具合、障害、及び／又は脆弱性のリストから選択されるエラー、不具合、障害、及び／又は脆弱性を指す。

次に図１を参照すると、ソフトウェア・バグ検出システム１０が概略的に示されている。実施例では、ソフトウェア・バグ検出システム１０は、管理計算システム２０と、（まとめてクライアント計算システム３０と呼ばれる）第１のクライアント計算システム３０－１と、第２のクライアント計算システム３０－２と、第３のクライアント計算システム３０－３とを含む。３つのクライアント計算システム３０が示されているが、ソフトウェア・バグ検出システム１０は、他の実施例では任意の数のクライアント計算システム３０を含み得ることを理解すべきである。クライアント計算システム３０と管理計算システムとはネットワーク８０を介して通信可能に結合され得る。

図１に示されているように、管理計算システム２０は、アドミニストレータ４０によって動作させられ、制御され得る。さらに、第１のクライアント計算システム３０－１は、ユーザ５０－１によって動作させられ、制御され得、第２のクライアント計算システム３０－２は、ユーザ５０－２によって動作させられ、制御され得、第３のクライアント計算システム３０－３は、ユーザ５０－３によって動作させられ、制御され得る。ソフトウェア・バグ検出システム１０は、クライアント計算システム３０が、（まとめてユーザ５０と呼ばれる）ユーザ５０－１、５０－２、５０－３によって動作させられ、制御されることを示すが、クライアント計算システム３０の動作及び制御は、ユーザとの対話なしにクライアント計算システム３０によって部分的に又は完全に実行され得ることを理解すべきである。非限定的な実例として、クライアント計算システム３０は、１つ若しくは複数の機械学習及び／又は１つ若しくは複数のディープ・ラーニング・アルゴリズムを使用して、及びユーザ５０からの入力なしに、本明細書で説明する機能を実行する人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ）計算システムであり得る。

実施例では、アドミニストレータ４０は、管理計算システム２０を使用して、クライアント計算システム３０の各々に仮想計算リソースを展開する。仮想計算リソースは、それぞれ、仮想プロセッサによって実行可能である機械可読命令を含み得、機械可読命令の各々は、以下でさらに詳細に説明するように、展開の前にアドミニストレータ４０又は管理計算システム２０によって定義される１つ又は複数のソフトウェア・バグを含み得る。

様々な実施例では、アドミニストレータ４０は、管理計算システム２０を使用して、シミュレーション・セッションの様々なパラメータと、クライアント計算システム３０の各々に展開される仮想計算リソースとを定義し得る。非限定的な実例として、以下で図３Ａ～図３Ｂを参照しながらさらに詳細に説明するように、アドミニストレータ４０は、ユーザ５０の各々を特定のクライアント計算システム３０に割り当て、クライアント計算システム３０の各々に展開される機械可読命令内に含めるためのソフトウェア・バグを定義し、シミュレーション・セッションの長さを定義し得る。

シミュレーション・セッションのパラメータが定義されると、アドミニストレータ４０は、管理計算システム２０を使用してクライアント計算システム３０に仮想計算リソースを展開し得る。以下で図４Ａを参照しながらさらに詳細に説明するように、シミュレーション・セッション中に、クライアント計算システム３０の各々のユーザ５０（又はユーザ対話なしにクライアント計算システム３０）は、それらのそれぞれの展開される機械可読命令を評価し、事前定義されたソフトウェア・バグの位置を特定し、補正し、補正された事前定義されたソフトウェア・バグを検証のために管理計算システム２０にサブミットし得る。対応するクライアント計算システム３０のユーザ５０（又はユーザ対話なしにそれぞれのクライアント計算システム３０）が、事前定義されたソフトウェア・バグを適切に補正したことを、管理計算システム２０が検証したことに応答して、管理計算システム２０は、対応するクライアント計算システム３０に関連するスコアを増加させる。

さらに、以下で図４Ｂを参照しながらさらに詳細に説明するように、シミュレーション・セッション中に、クライアント計算システム３０の各々のユーザ５０は、他のクライアント計算システム３０に展開される機械可読命令を評価し、他のクライアント計算システム３０の事前定義されたソフトウェア・バグの位置を特定し、利用し、利用される事前定義されたソフトウェア・バグを検証のために管理計算システム２０にサブミットし得る。対応するクライアント計算システム３０のユーザが、事前定義されたソフトウェア・バグを適切に利用したことを、管理計算システム２０が検証したことに応答して、管理計算システム２０は、対応するクライアント計算システムに関連するスコアを増加させる。クライアント計算システム３０の各々に展開される１つ又は複数のソフトウェア・バグは、シミュレーション・セッション中に、事前定義された時間期間の後に交替させられ得ることを理解すべきである。

シミュレーション・セッションが完了すると、管理計算システム２０は、以下で図４Ｃを参照しながらさらに詳細に説明するように、クライアント計算システム３０の各々についてスコアを生成し、報告し得る。

図２Ａを参照すると、ソフトウェア・バグ検出システム１０－１内に含まれている例示的なモジュール及び構成要素の機能ブロック図が概略的に示されている。図２Ａに示されているように、管理計算システム２０は、一般に、通信インターフェース５２と、１つ又は複数のプロセッサ５４と、ネットワーク・インターフェース・ハードウェア５６と、データ記憶構成要素５８と、入出力ハードウェア６０と、１つ又は複数の非一時的コンピュータ可読媒体６２とを含む。１つ又は複数の非一時的コンピュータ可読媒体６２は、オペレーティング・システム・カーネル６４と、コンテナ・マネージャ・モジュール６６と、スコアリング・モジュール６８と、セッション・モジュール７０と、サービス作成モジュール７２と、トラフィック・キャプチャ・モジュール７４と、サービス・レベル契約チェッカー・モジュール７６とを含む。管理計算システム２０の構成要素は通信インターフェース５２を通して物理的に及び／又は通信可能に結合され得る。

通信インターフェース５２は、信号を送信する媒体から形成される。非限定的な実例として、通信インターフェース５２は、導線、導電トレース、光導波路などから形成される。通信インターフェース５２はまた、電磁放射及びそれらの対応する電磁波が伝搬される広がり（expanse）を指し得る。その上、通信インターフェース５２は、信号を送信する媒体の組合せから形成され得る。一実施例では、通信インターフェース５２は、管理計算システム２０の様々な構成要素との間の電気データ信号の送信を可能にするように協働する、導電トレースと導線とコネクタとバスとの組合せを含む。さらに、用語「信号」は、ＤＣ、ＡＣ、正弦波、三角波、方形波、振動などの媒体中を進行する（たとえば、電気、光、磁気、機械又は電磁）波形を意味することに留意されたい。

それの各々がコンピュータ処理ユニット（ＣＰＵ）であり得る１つ又は複数のプロセッサ５４は、１つ又は複数の非一時的コンピュータ可読媒体６２中に記憶される機械可読命令を受信し、実行し得る。非限定的な実例として、１つ又は複数のプロセッサ５４は共有プロセッサ回路、専用プロセッサ回路、又はグループ・プロセッサ回路のうちの１つであり得る。本明細書で説明するように、用語「共有プロセッサ回路」は、複数のモジュールからのいくつかの又はすべての機械可読命令を実行する単一のプロセッサ回路を指す。本明細書で説明するように、用語「グループ・プロセッサ回路」は、追加のプロセッサ回路と組み合わせて、１つ又は複数の非一時的コンピュータ可読媒体の複数のモジュールからのいくつかの又はすべての機械実行可能命令を実行するプロセッサ回路を指す。複数のプロセッサ回路への言及は、別々のダイ上の複数のプロセッサ回路、単一のダイ上の複数のプロセッサ回路、単一のプロセッサ回路の複数のコア、単一のプロセッサ回路の複数のスレッド、又は上記の組合せを包含する。

入出力ハードウェア６０は、管理計算システム２０のハードウェアと対話する基本入出力システム（ＢＩＯＳ：ｂａｓｉｃｉｎｐｕｔ／ｏｕｔｐｕｔｓｙｓｔｅｍ）、管理計算システム２０の特定のデバイスと対話するデバイス・ドライバ、１つ又は複数のオペレーティング・システム、ユーザ・アプリケーション、背景サービス、背景アプリケーションなどを含み得る。ネットワーク・インターフェース・ハードウェア５６は、アンテナ、モデム、ＬＡＮポート、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）カード、ＷｉＭａｘカード、ロング・ターム・エボリューション（ＬＴＥ）カード、Ｚｉｇｂｅｅカード、Ｂｌｕｅｔｏｏｔｈチップ、ＵＳＢカード、モバイル通信ハードウェア、並びに／又は他のネットワーク及び／若しくはデバイスと通信するための他のハードウェアを含む、ワイヤード又はワイヤレス・ネットワーキング・ハードウェアを含み、及び／又はネットワーク８０を介してワイヤード又はワイヤレス・ネットワーキング・ハードウェアと通信し得る。データ記憶構成要素５８は１つ又は複数のプロセッサ５４に通信可能に結合される。非限定的な実例として、データ記憶構成要素５８は、ＮｏＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＳＱＬサーバ、ＮｅｗＳＱＬなどをサポートする１つ又は複数のデータベース・サーバを含み得る。

１つ又は複数の非一時的コンピュータ可読媒体６２は１つ又は複数のプロセッサ５４に通信可能に結合される。非限定的な実例として、１つ又は複数の非一時的コンピュータ可読媒体６２は共有メモリ回路、専用メモリ回路、又はグループ・メモリ回路のうちの１つであり得る。本明細書で説明するように、用語「共有メモリ回路」は、以下でさらに詳細に説明される、複数のモジュールからのいくつかの又はすべての機械可読命令を記憶する単一のメモリ回路を指す。本明細書で説明するように、用語「グループ・メモリ回路」は、追加のメモリと組み合わせて、複数のモジュールからのいくつかの又はすべての機械可読命令を記憶するメモリ回路を指す。１つ又は複数の非一時的コンピュータ可読媒体６２の非限定的な実例は、（ＳＲＡＭ、ＤＲＡＭ、及び／又は他のタイプのランダム・アクセス・メモリを含む）ランダム・アクセス・メモリ、読取り専用メモリ（ＲＯＭ：ｒｅａｄ－ｏｎｌｙｍｅｍｏｒｙ）、フラッシュ・メモリ、レジスタ、コンパクト・ディスク（ＣＤ：ｃｏｍｐａｃｔｄｉｓｃｓ）、デジタル・バーサタイル・ディスク（ＤＶＤ：ｄｉｇｉｔａｌｖｅｒｓａｔｉｌｅｄｉｓｃｓ）、及び／又は他のタイプの記憶構成要素を含む。

図２Ａに示されているように、第１のクライアント計算システム３０－１は、通信インターフェース８２と、１つ又は複数のプロセッサ８４と、ネットワーク・インターフェース・ハードウェア８６と、データ記憶構成要素８８と、入出力ハードウェア９０と、１つ又は複数の非一時的コンピュータ可読媒体９２とを含む。１つ又は複数の非一時的コンピュータ可読媒体９２は、管理計算システム２０から受信されるインスタンス９３を含む。インスタンス９３は管理計算システム２０の計算リソースのパーティションを含む。インスタンス９３のパーティションは、仮想プロセッサ９４と、ゲーミング・モジュール９８及びランタイム・システム１００を含む仮想メモリ９６とを含む。クライアント計算システム３０－１の構成要素は、通信インターフェース８２を通して物理的に及び／又は通信可能に結合され得る。図２Ａに示された実施例は第１のクライアント計算システム３０－１を示すが、クライアント計算システム３０の各々は、通信インターフェース８２と、１つ又は複数のプロセッサ８４と、ネットワーク・インターフェース・ハードウェア８６と、データ記憶構成要素８８と、入出力ハードウェア９０と、１つ又は複数の非一時的コンピュータ可読媒体９２とを含むことを理解すべきである。

通信インターフェース８２は、信号を送信する媒体から形成される。非限定的な実例として、通信インターフェース８２は、導線、導電トレース、光導波路などから形成される。通信インターフェース８２はまた、電磁放射及びそれらの対応する電磁波が伝搬される広がりを指し得る。その上、通信インターフェース８２は、信号を送信する媒体の組合せから形成され得る。一実施例では、通信インターフェース８２は、第１のクライアント計算システム３０－１の様々な構成要素との間の電気データ信号の送信を可能にするように協働する、導電トレースと導線とコネクタとバスとの組合せを含む。

それの各々がコンピュータ処理ユニット（ＣＰＵ）であり得る１つ又は複数のプロセッサ８４は、１つ又は複数の非一時的コンピュータ可読媒体９２中に記憶される機械可読命令を受信し、実行し得る。非限定的な実例として、１つ又は複数のプロセッサ８４は、共有プロセッサ回路、専用プロセッサ回路、又はグループ・プロセッサ回路のうちの１つであり得る。

入出力ハードウェア９０は、第１のクライアント計算システム３０－１のハードウェアと対話する基本入出力システム（ＢＩＯＳ）、第１のクライアント計算システム３０－１の特定のデバイスと対話するデバイス・ドライバ、１つ又は複数のオペレーティング・システム、ユーザ・アプリケーション、背景サービス、背景アプリケーションなどを含み得る。ネットワーク・インターフェース・ハードウェア８６は、アンテナ、モデム、ＬＡＮポート、ワイヤレス・フィデリティ（Ｗｉ－Ｆｉ）カード、ＷｉＭａｘカード、ロング・ターム・エボリューション（ＬＴＥ）カード、Ｚｉｇｂｅｅカード、Ｂｌｕｅｔｏｏｔｈチップ、ＵＳＢカード、モバイル通信ハードウェア、並びに／又は他のネットワーク及び／若しくはデバイスと通信するための他のハードウェアを含む、ワイヤード又はワイヤレス・ネットワーキング・ハードウェアを含み、及び／又はネットワーク８０を介してワイヤード又はワイヤレス・ネットワーキング・ハードウェアと通信し得る。データ記憶構成要素８８は１つ又は複数のプロセッサ８４に通信可能に結合される。非限定的な実例として、データ記憶構成要素８８は、ＮｏＳＱＬ、ＭｙＳＱＬ、Ｏｒａｃｌｅ、ＳＱＬサーバ、ＮｅｗＳＱＬなどをサポートする１つ又は複数のデータベース・サーバを含み得る。

１つ又は複数の非一時的コンピュータ可読媒体９２は１つ又は複数のプロセッサ８４に通信可能に結合される。非限定的な実例として、１つ又は複数の非一時的コンピュータ可読媒体９２は共有メモリ回路、専用メモリ回路、又はグループ・メモリ回路のうちの１つであり得る。１つ又は複数の非一時的コンピュータ可読媒体９２の非限定的な実例は、（ＳＲＡＭ、ＤＲＡＭ、及び／又は他のタイプのランダム・アクセス・メモリを含む）ランダム・アクセス・メモリ、読取り専用メモリ（ＲＯＭ）、フラッシュ・メモリ、レジスタ、コンパクト・ディスク（ＣＤ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、及び／又は他のタイプの記憶構成要素を含む。

次に、図２Ａを参照しながら、管理計算システム２０及び第１のクライアント計算システム３０－１の様々なモジュールの説明を行う。本明細書で説明するように、用語「モジュール」は、特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、デジタル、アナログ、又は混合アナログ／デジタル個別又は集積回路、組合せ論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、プロセッサ回路によって実行される機械可読命令を記憶するメモリ回路、説明される機能を与える他の好適なハードウェア構成要素、又は上記のいくつか若しくはすべての組合せを指すか、それらのうちの一部であるか、又はそれらを含み得る。

コンテナ・マネージャ・モジュール６６は、ソフトウェア・バグ検出システム１０－１中のコンテナであるインスタンス９３を定義し、第１のクライアント計算システム３０－１に展開する。本明細書で定義するように、フレーズ「コンテナ」は、それぞれのクライアント計算システム３０の対応するモジュールが、管理計算システム２０の計算リソースを使用して実行可能であり、別々に実行可能であるように、機械可読命令及びすべてのそれの依存性を含む、ソフトウェア・パッケージを指す。コンテナ・マネージャ・モジュール６６はクライアント計算システム３０の各々に機械可読命令及びインスタンス９３のそれぞれの依存性を展開し、クライアント計算システム３０の各々はオペレーティング・システム・カーネル６４を共有し得る。

スコアリング・モジュール６８は、シミュレーション・セッションの実行の間及び／又は後にクライアント計算システム３０の各々についてスコアを生成する。以下で、たとえば、図４Ａ～図４Ｃを参照しながら、スコアリング・モジュール６８に関するさらなる詳細についてさらに詳細に説明する。セッション・モジュール７０は、アドミニストレータ４０がシミュレーション・セッションのいくつかのパラメータを定義することを可能にする。以下で、図３Ａ～図３Ｂを参照しながら、セッション・モジュール７０に関するさらなる詳細について説明する。

サービス作成モジュール７２は、アドミニストレータ４０がクライアント計算システム３０の各々のアプリケーション・サービスのためのソフトウェア・バグを定義することを可能にする。トラフィック・キャプチャ・モジュール７４は、アドミニストレータ４０がクライアント計算システム３０の各々のネットワーク・トラフィックのソフトウェア・バグを定義することを可能にする。以下で、たとえば、図３Ａ～図３Ｂを参照しながら、サービス作成モジュール７２及びトラフィック・キャプチャ・モジュール７４に関するさらなる詳細についてさらに詳細に説明する。サービス・レベル契約チェッカー・モジュール７６は、シミュレーション・セッション中にクライアント計算システム３０の各々のオフライン・ステータスを決定する。以下で、たとえば、図４Ａ～図４Ｂを参照しながら、サービス・レベル契約チェッカー・モジュール７６に関するさらなる詳細についてさらに詳細に説明する。

上記で説明したように、インスタンス９３は第１のクライアント計算システム３０－１にコンテナとして展開される。インスタンス９３の機械可読命令は、仮想プロセッサ９４と、仮想メモリ９６と、ゲーミング・モジュール９８と、ランタイム・システム１００とを含む。

仮想メモリ９６は、ゲーミング・モジュール９８及びランタイム・システム１００のための基本サービスを与える、基礎となるオペレーティング・システムを含む。ゲーミング・モジュール９８は、シミュレーション・セッション中に生成されるクライアント計算システム３０のユーザ・インターフェースに対応する機械可読命令と、アプリケーション・サービスと、ネットワーク・トラフィック・サービスと、アドミニストレータ４０又は管理計算システム２０によって定義されるソフトウェア・バグとを含む。ランタイム・システム１００は、たとえば、第２のクライアント計算システム３０－２及び第３のクライアント計算システム３０－３に対して、第１のクライアント計算システム３０－１に展開されるインスタンス９３が別々に実行されることを可能にする環境を与える。

図２Ｂを参照しながら、ソフトウェア・バグ検出システム１０－２内に含まれている例示的なモジュール及び構成要素の別の例示的な機能ブロック図が概略的に示されている。ソフトウェア・バグ検出システム１０－２は、図２Ａに示されたソフトウェア・バグ検出システム１０－１と同様であるが、この実施例では、インスタンス９３は仮想マシンとして展開される。本明細書で使用する際、フレーズ「仮想マシン」は、インスタンス９３が管理計算システム２０のエミュレーションであるように、機械可読命令及びすべてのそれの依存性を含むソフトウェア・パッケージを指す。各仮想マシンは、それ自体のゲスト・オペレーティング・システム１０４を含み得（たとえば、各仮想マシンはそれ自体のオペレーティング・システムを含み得る）、仮想マシンのハードウェアは仮想化され得る。したがって、仮想マシンのハイパーバイザ１０２は、シミュレーション・セッション中のクライアント計算システム３０のユーザ・インターフェースに対応する機械可読命令と、アプリケーション・サービスと、ネットワーク・トラフィック・サービスと、アドミニストレータ４０又は管理計算システム２０によって定義されるソフトウェア・バグとを含み得る。

次に、図２Ｂを参照しながら、管理計算システム２０及び第１のクライアント計算システム３０－１の様々なモジュールの説明を与える。

ハイパーバイザ１０２は、シミュレーション・セッション中のクライアント計算システム３０のユーザ・インターフェースに対応する機械可読命令と、アプリケーション・サービスと、ネットワーク・トラフィック・サービスと、アドミニストレータ４０又は管理計算システム２０によって定義されるソフトウェア・バグとを含み得る。

インスタンス９３は第１のクライアント計算システム３０－１に仮想マシンとして展開される。インスタンス９３の機械可読命令は、仮想プロセッサ９４と、仮想メモリ９６と、ゲーミング・モジュール９８と、ランタイム・システム１００と、ゲスト・オペレーティング・システム１０４とを含む。

図２Ａ～図２Ｂを参照しながら上記で説明した実施例は、第１のクライアント計算システム３０－１がユーザ５０－１によって制御され、動作させられることを示すが、ユーザ５０－１からの入力又は行為を必要とする、図２Ａ～図２Ｂに記載されている機能のうちのいくつかはクライアント計算システム３０によってのみ実行され得ることを理解すべきである。非限定的な実例として、第１のクライアント計算システム３０ー１は、機械学習及び／又はディープ・ラーニング・アルゴリズムを使用して、及びユーザ５０－１からの入力なしに上記で説明した機能を実行するＡＩ計算システムであり得る。

図３Ａを参照すると、ソフトウェア・バグ検出システム１０の複数のインスタンス９３を展開する例示的な方法３００の流れ図が示されている。図３Ａに示されたブロックはすべて行われるとして及び特定の順序で示されているが、他の実施例では、ブロックのうちの１つ又は複数は実行されないことがあり、いくつかの実施例では、ブロックのうちの１つ又は複数は、本明細書で図示され、説明された順序とは異なる順序で実行され得る。いくつかの実施例では、本明細書で説明されていない追加のブロックも実行され得る。さらに、図３Ａに示されたいくつかのブロックは、管理計算システム２０を使用してアドミニストレータ４０によって実行されるとして説明されるが、図３Ａのブロックに記載されている機能のいくつか又はすべては管理計算システム２０によってのみ実行され得る（たとえば、管理計算システム２０は、機械学習及び／又はディープ・ラーニング・アルゴリズムを使用して及びアドミニストレータ４０からの入力なしに図３Ａに記載されている機能を実行するＡＩ計算システムであり得る）ことを理解すべきである。

図１、図２Ａ～図２Ｂ、及び図３Ａを参照すると、アドミニストレータ４０は、ブロック３０５において管理計算システム２０のサービス作成モジュール７２を使用してユーザ５０（たとえば、第１のクライアント計算システム３０－１に関連するユーザ５０－１）から第１のチームを選択する。

まだ図１、図２Ａ～図２Ｂ、及び図３Ａを参照すると、ブロック３１０において、アドミニストレータ４０は、管理計算システム２０のサービス作成モジュール７２を使用して、クライアント計算システム３０に展開するべき事前定義されたソフトウェア・バグ及びサービスを選択する。いくつかの実施例では、事前定義されたソフトウェア・バグはソフトウェア弱点及び／又はバグの共通脆弱性タイプ一覧（ＣＷＥ：ｃｏｍｍｏｎｗｅａｋｎｅｓｓｅｎｕｍｅｒａｔｉｏｎ）リストから選択され得る。管理計算システム２０によって生成され、表示される例示的なユーザ・インターフェース３４０を示す、図３Ｂに非限定的な実例として示されているように、アドミニストレータ４０は、ユーザ・インターフェース要素３４５とユーザ・インターフェース要素３５５とのうちの少なくとも１つを選択することによって、ＣＷＥ－１２１（たとえば、スタック・ベース・バッファ・オーバーフロー）、ＣＷＥ－２３（たとえば、相対経路）、ＣＷＥ－２８７（たとえば、不正な認証）、及びＣＷＥ－６７６（たとえば、潜在的に危険な機能の使用）として、ソフトウェア・バグを選択し得る。ＣＷＥリストのソフトウェア・バグ及び／又は弱点は、他の実施例ではアドミニストレータ４０によって選択され得ることを理解すべきである。また、事前定義されたソフトウェア・バグは、他の実施例では、事前定義されたソフトウェア・バグの任意の他のリストから選択され得ることを理解すべきである。サービス作成モジュール７２を使用してソフトウェア・バグがコンパイルされるたびに、シミュレーション・セッションの再利用／レプリカビリティ（replicability）を保証するために新しい及び／又はランダム・メモリ・ロケーションが選択されることを理解すべきである。

さらに、ブロック３１０において、アドミニストレータ４０は、事前定義されたソフトウェア・バグに関連するアプリケーション・サービス及び／又はネットワーク・サービスを選択し得る。図３Ｂに非限定的な実例として示されているように、アドミニストレータ４０は、ユーザ・インターフェース要素３５０を選択することによってメッセンジャー・アプリケーション・サービスを選択し得る。アドミニストレータ４０は、他の実施例では、電子メール・アプリケーション・サービス、インターネット・アプリケーション・サービス、及び／又はカスタム・アプリケーション・サービスを選択し得ることを理解すべきである。

まだ図１、図２Ａ～図２Ｂ、及び図３Ａを参照すると、ブロック３１５において、アドミニストレータ４０は、管理計算システム２０のセッション・モジュール７０を使用してシミュレーション・セッションのパラメータを指定する。いくつかの実施例では、図３Ｂに示されているように、アドミニストレータ４０は、対応値をユーザ・インターフェース要素３６０に入力することによって、シミュレーション・セッションのセッション長さ（たとえば、１２０時間）、ラウンド長さ（たとえば、２分）、及び／又は他のパラメータを指定し得る。図１、図２Ａ～図２Ｂ、及び図３Ａを参照すると、ブロック３２０において、アドミニストレータ４０は、ユーザ・インターフェース要素３６０のうちの１つを選択することによって、管理計算システム２０のコンテナ・マネージャ・モジュール６６を使用して、インスタンス９３を対応するクライアント計算システム３０に展開する。

図１、図２Ａ～図２Ｂ、及び図３Ａを参照すると、ブロック３２５において、管理計算システム２０は、ソフトウェア・バグ検出システム１０内に追加のチームが含まれるかどうかを決定する。本明細書で使用する際、用語「チーム」は、個人、個々人からなるグループ、ＡＩ計算システム、又はＡＩ計算システムのグループを指す。そうである場合、方法３００はブロック３３０に進む。ブロック３３０において及び図１、図２Ａ～図２Ｂ、及び図３Ａを参照しながら、管理計算システム２０は、次のチームを選択し、ブロック３１０に進む。ブロック３２５において、管理計算システム２０が、ソフトウェア・バグ検出システム１０内に追加のチームが含まれないことを決定した場合、方法３００は終了する。

図４Ａを参照すると、ソフトウェア・バグ検出システム１０のシミュレーション・セッション中にそれぞれのクライアント計算システム３０に展開されるインスタンス９３のソフトウェア・バグを識別する例示的な方法４００の流れ図が示されている。図４Ａに示されたブロックはすべて行われるとして及び特定の順序で示されているが、他の実施例では、ブロックのうちの１つ又は複数は実行されないことがあり、いくつかの実施例では、ブロックのうちの１つ又は複数は、本明細書で図示され、説明された順序とは異なる順序で実行され得る。いくつかの実施例では、本明細書で説明されていない追加のブロックが実行され得る。さらに、図４Ａに示されたいくつかのブロックは、クライアント計算システム３０のユーザ５０によって実行されるとして説明されるが、図４Ａのブロックに記載されている機能のいくつか又はすべてはクライアント計算システム３０によってのみ実行され得る（たとえば、クライアント計算システム３０は、機械学習及び／又はディープ・ラーニング・アルゴリズムを使用して及びユーザ５０からの入力なしに図４Ａに記載されている機能を実行するＡＩ計算システムであり得る）ことを理解すべきである。

図１、図２Ａ～図２Ｂ、図４Ａ、及び図４Ｄを参照すると、ブロック４０５において、第１のクライアント計算システム３０－１のユーザ５０－１は、インスタンス９３のゲーミング・モジュール９８を使用して、他のクライアント計算システム３０の対向するコンテナ（又は仮想マシン）（たとえば、第２のクライアント計算システム３０－２及び第３のクライアント計算システム３０－３に展開されるインスタンス９３）の事前定義されたソフトウェア・バグを識別する。

いくつかの実施例では、図４Ｄに示されているように、シミュレーション・セッションが開始したとき、インスタンス９３を実行することは、各クライアント計算システム３０にユーザ・インターフェース７００を生成させる。ユーザ・インターフェース７００は、クライアント計算システム３０の各々のスコアを示すスコアカード部分７０５と、第１のクライアント計算システム３０－１に展開される計算リソースに関連する様々なメトリクスを示すチーム・ヘルス部分７１０と、現在のシミュレーション・セッションの進捗値を示すラウンド情報７１５とを含む。ユーザ・インターフェース７００は、管理計算システム２０がインスタンス９３をクライアント計算システム３０に展開することに応答して開始される、セッション・タイマーの現在値を示す時間情報７２０を含む。いくつかの実施例では、セッション・タイマーは、新しいシミュレーション・セッションが実行されたときにリセットされ得る。

ユーザ・インターフェース７００はまた、シミュレーション・セッションに関連する様々なイベントを示すゲーミング情報７２５と、第１のクライアント計算システム３０－１に関連する様々なエラーを示すエラー情報７３０とを含む。ユーザ・インターフェース７００はまた、第１のクライアント計算システム３０－１に、第１のクライアント計算システム３０－１に与えられる修正された機械可読命令に関連するバイナリ・ファイルをアップロードさせるアップロード・バイナリ・ユーザ・インターフェース要素７３５と、第１のクライアント計算システム３０－１に、別のクライアント計算システム３０に与えられる修正された機械可読命令に関連するバイナリ・ファイルをアップロードさせるサブミット・フラグ・ユーザ・インターフェース要素７４０とを含む。ユーザ・インターフェース７００はまた、第１のクライアント計算システム３０－１に、ネットワーク・トラフィックに関連するバイナリ・ファイルを管理計算システムに要求し、ダウンロードさせるダウンロード・パケット・キャプチャ（ＰＣＡＰ：ｄｏｗｎｌｏａｄｐａｃｋｅｔｃａｐｔｕｒｅ）ユーザ・インターフェース要素７５０と、第１のクライアント計算システム３０－１に、アプリケーション・サービスに関連するバイナリ・ファイルを管理計算システム２０に要求し、ダウンロードさせるダウンロード・バイナリ・ユーザ・インターフェース要素７５５とを含む。

非限定的な実例として、第１のクライアント計算システム３０－１のユーザ５０－１は、ダウンロードＰＣＡＰユーザ・インターフェース要素７５０とダウンロード・バイナリ・ユーザ・インターフェース要素７５５とのうちの少なくとも１つを選択することによって、他のクライアント計算システム３０の事前定義されたソフトウェア・バグを識別し得る。ダウンロードＰＣＡＰユーザ・インターフェース要素７５０とダウンロード・バイナリ・ユーザ・インターフェース要素７５５とのうちの１つの選択に応答して、ユーザ・インターフェース７００は、他のクライアント計算システム３０に展開される事前定義されたソフトウェア・バグに関連するバイナリ・ファイルを表示し得る。その後、第１のクライアント計算システム３０－１のユーザ５０－１は、テキスト・ユーザ・インターフェース内でバイナリ・ファイルを選択的に修正することによって、他のクライアント計算システム３０の事前定義されたソフトウェア・バグの位置を特定し、利用し得る。

図１、図２Ａ～図２Ｂ、図４Ａ、及び図４Ｄを参照すると、ブロック４１０において、ユーザ５０－１は、アップロード・バイナリ・ユーザ・インターフェース要素７３５を選択することによって、利用される事前定義されたソフトウェア・バグを検証のためにサブミットする。

図１、図２Ａ～図２Ｂ、図４Ａ、及び図４Ｄを参照すると、ブロック４１５において、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０－１によって識別される利用される事前定義されたソフトウェア・バグが検証されたかどうかを決定する。非限定的な実例として、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０－１が、対応するクライアント計算システム３０に展開されるソフトウェア・バグに基づいて、事前定義されたソフトウェア・バグを適切に識別し、利用したかどうかを決定し得る。そうである場合、方法４００は、ブロック４２０に進み、第１のクライアント計算システム３０－１のスコアを更新する。他の場合、方法４００はブロック４２５に進む。

図１、図２Ａ～図２Ｂ、図４Ａ、及び図４Ｄを参照すると、ブロック４２５において、インスタンス９３は、フィード中に新しいエントリがあるかどうかを決定する（たとえば、インスタンス９３は、他のクライアント計算システム３０の追加の機械可読命令がダウンロードのために利用可能であるかどうかを決定する）。そうである場合、方法４００は、ブロック４３０に進み、第１のクライアント計算システム３０－１が新しいアプリケーション・サービス及び／又はトラフィック・キャプチャをダウンロードし、次いでブロック４０５に進む。他の場合、方法４００はブロック４３５に進む。

図１、図２Ａ～図２Ｂ、図４Ａ、及び図４Ｄを参照すると、ブロック４３５において、インスタンス９３は、シミュレーション・セッションが経過したかどうかを決定する。いくつかの実施例では、シミュレーション・セッションが経過していることは、時間情報７２０によって表示されるタイマー値によって示され得る。そうである場合、方法４００は終了する。他の場合、方法４００はブロック４０５に進む。

図４Ｂを参照すると、ソフトウェア・バグ検出システム１０のシミュレーション・セッション中に別のクライアント計算システム３０に展開されるインスタンス９３のソフトウェア・バグを識別する例示的な方法５００の流れ図が示されている。図４Ｂに示されたブロックはすべて行われるとして及び特定の順序で示されているが、他の実施例では、ブロックのうちの１つ又は複数は実行されないことがあり、いくつかの実施例では、ブロックのうちの１つ又は複数は、本明細書で図示され、説明された順序とは異なる順序で実行され得る。さらに、図４Ｂに示されたいくつかのブロックはクライアント計算システム３０のユーザ５０によって実行されるとして説明されるが、図４Ｂのブロックに記載されている機能のいくつか又はすべてはクライアント計算システム３０によってのみ実行され得る（たとえば、クライアント計算システム３０は、機械学習及び／又はディープ・ラーニング・アルゴリズムを使用して及びユーザ５０からの入力なしに図４Ｂに記載されている機能を実行するＡＩ計算システムであり得る）ことを理解すべきである。

図１、図２Ａ～図２Ｂ、図４Ｂ、及び図４Ｄを参照すると、ブロック５０５において、第１のクライアント計算システム３０－１のユーザ５０－１は、インスタンス９３のゲーミング・モジュール９８を使用して、第１のクライアント計算システム３０－１に展開されるコンテナ（又は仮想マシン）の事前定義されたソフトウェア・バグを識別する。非限定的な実例として、第１のクライアント計算システム３０－１のユーザ５０－１は、ダウンロードＰＣＡＰユーザ・インターフェース要素７５０とダウンロード・バイナリ・ユーザ・インターフェース要素７５５とのうちの少なくとも１つを選択することによって、第１のクライアント計算システム３０－１に展開される事前定義されたソフトウェア・バグを識別し得る。ダウンロードＰＣＡＰユーザ・インターフェース要素７５０とダウンロード・バイナリ・ユーザ・インターフェース要素７５５とのうちの１つの選択に応答して、ユーザ・インターフェース７００は、第１のクライアント計算システム３０－１に展開される事前定義されたソフトウェア・バグに関連するバイナリ・ファイルを表示し得る。

図１、図２Ａ～図２Ｂ、図４Ｂ、及び図４Ｄを参照すると、ブロック５１０において、ユーザ５０－１は、第１のクライアント計算システム３０－１に展開される事前定義されたソフトウェア・バグをデバッグする。非限定的な実例として、第１のクライアント計算システム３０－１のユーザ５０－１は、テキスト・ユーザ・インターフェース内でバイナリ・ファイルを選択的に修正することによって、第１のクライアント計算システム３０－１の事前定義されたソフトウェア・バグの位置を特定し、補正し得る。さらに、ブロック５１０において、ユーザ５０－１は、アップロード・バイナリ・ユーザ・インターフェース要素７３５を選択することよって、デバッグされるソフトウェア・バグを検証のためにサブミットする。

図１、図２Ａ～図２Ｂ、図４Ｂ、及び図４Ｄを参照すると、ブロック５１５において、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０－１によって識別され、補正された事前定義されたソフトウェア・バグが検証されたかどうかを決定する。非限定的な実例として、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０－１が、対応するクライアント計算システム３０に展開されるソフトウェア・バグに基づいて、事前定義されたソフトウェア・バグを適切に識別し、補正したかどうかを決定し得る。そうである場合、方法５００は、ブロック５２０に進み、第１のクライアント計算システム３０－１のスコアを更新する。他の場合、方法５００はブロック５２５に進む。

図１、図２Ａ～図２Ｂ、図４Ｂ、及び図４Ｄを参照すると、ブロック５２５において、インスタンス９３は、フィード中に新しいエントリがあるかどうかを決定する（たとえば、インスタンス９３は、第１のクライアント計算システム３０－１の追加の機械可読命令がダウンロードのために利用可能であるかどうかを決定する）。そうである場合、方法５００は、ブロック５３０に進み、第１のクライアント計算システム３０－１が新しいアプリケーション・サービス及び／又はトラフィック・キャプチャをダウンロードし、次いで、ブロック５０５に進む。他の場合、方法５００はブロック５３５に進む。

図１、図２Ａ～図２Ｂ、及び図４Ｂを参照すると、ブロック５３５において、インスタンス９３は、シミュレーション・セッションが経過したかどうかを決定する。そうである場合、方法５００は終了する。他の場合、方法４００はブロック５０５に進む。

図４Ｃを参照すると、シミュレーション・セッション中に、ソフトウェア・バグをクライアント計算システム３０に動的に展開する管理計算システム２０の例示的な方法６００の流れ図が示されている。図４Ｃに示されたブロックはすべて行われるとして及び特定の順序で示されているが、他の実施例では、ブロックのうちの１つ又は複数は実行されないことがあり、いくつかの実施例では、ブロックのうちの１つ又は複数は、本明細書で図示され、説明された順序とは異なる順序で実行され得る。さらに、図４Ｃに示されたいくつかのブロックは、管理計算システム２０を使用してアドミニストレータ４０によって実行されるとして説明されるが、図４Ｃのブロックに記載されている機能のいくつか又はすべては管理計算システム２０によってのみ実行され得る（たとえば、管理計算システム２０は、機械学習及び／又はディープ・ラーニング・アルゴリズムを使用して及びアドミニストレータ４０からの入力なしに図４Ｃに記載されている機能を実行するＡＩ計算システムであり得る）ことを理解すべきである。

図１、図２Ａ～図２Ｂ、及び図４Ｃを参照すると、ブロック６０５において、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０によってサブミットされた事前定義されたソフトウェア・バグが検証されたかどうかを決定する。非限定的な実例として、アドミニストレータ４０又は管理計算システム２０は、ユーザ５０－１が、対応するクライアント計算システム３０に展開されたソフトウェア・バグに基づいて、事前定義されたソフトウェア・バグを適切に識別し、補正又は利用したかどうかを決定し得る。別の非限定的な実例として、クライアント計算システム３０のパーセンテージが、事前定義されたソフトウェア・バグの位置を特定し、利用することに成功し、そのパーセンテージが所定のしきい値パーセンテージよりも大きい場合、管理計算システム２０は、事前定義されたソフトウェア・バグを検証する。そうである場合、方法６００はブロック６１０に進む。他の場合、方法６００はブロック６０５に留まる。

図１、図２Ａ～図２Ｂ、及び図４Ｃを参照すると、ブロック６１０において、アドミニストレータ４０は、管理計算システム２０のサービス作成モジュール７２及び／又はトラフィック・キャプチャ・モジュール７４を使用して、新しい事前定義されたソフトウェア・バグ、アプリケーション・サービス、及び／又はそれぞれのクライアント計算システム３０に展開するべきネットワーク・トラフィック・サービスを選択する。図１、図２Ａ～図２Ｂ、及び図４Ｃを参照すると、ブロック６１５において、アドミニストレータ４０は、管理計算システム２０のコンテナ・マネージャ・モジュール６６を使用して、対応するクライアント計算システム３０に新しい事前定義されたソフトウェア・バグ、アプリケーション・サービス、及び／又はネットワーク・トラフィック・サービスを展開する。図１、図２Ａ～図２Ｂ、及び図４Ｃを参照すると、ブロック６２０において、管理計算システム２０は、シミュレーション・セッションが経過したかどうかを決定する。そうである場合、方法６００は終了する。他の場合、方法６００はブロック６０５に進む。

シミュレーション・セッションが完了する（たとえば、図４Ａの方法４００、図４Ｂの方法５００、及び図４Ｃの方法６００のうちの１つが終了する）と、管理計算システム２０のスコアリング・モジュール６８はクライアント計算システム３０の各々についてスコアを生成し、報告し得る。その後、管理計算システム２０は、クライアント計算システム３０をランク付けし、各々のランク付けを示す報告を生成し得る。いくつかの実施例では、事前定義されたしきい値よりも大きい時間期間の間、それぞれのクライアント計算システムがオフラインであったことをサービス・レベル契約チェッカー・モジュール７６が決定したことに応答して、スコアリング・モジュール６８はクライアント計算システム３０のうちの１つについてスコアを調整し（たとえば、減少させ）得る。

ここで、本明細書で説明した実施例は、クライアント計算システム３０を使用して、事前定義されたソフトウェア・バグを識別するためのデバイス、システム、及び方法に関することを理解すべきである。上記で説明したように、クライアント計算システム３０の各々のユーザ５０（又はユーザ介入なしにクライアント計算システム３０のうちの１つ又は複数）は、それらのそれぞれの展開される機械可読命令を評価し、事前定義されたソフトウェア・バグの位置を特定し、補正し、シミュレーション・セッション中に、補正された事前定義されたソフトウェア・バグを検証のためにサブミットし得る。対応するクライアント計算システム３０のユーザ５０が事前定義されたソフトウェア・バグを適切に補正したことをアドミニストレータ４０及び／又は管理計算システム２０が検証したことに応答して、管理計算システム２０は、対応するクライアント計算システム３０に関連するスコアを増加させる。

さらに、クライアント計算システム３０の各々のユーザ５０（又はユーザ介入なしにクライアント計算システム３０のうちの１つ又は複数）は、他のクライアント計算システム３０に展開される機械可読命令を評価し、他のクライアント計算システム３０の事前定義されたソフトウェア・バグの位置を特定し、利用し、利用される事前定義されたソフトウェア・バグを検証のためにサブミットし得る。対応するクライアント計算システム３０のユーザ５０が事前定義されたソフトウェア・バグを適切に利用したことをアドミニストレータ４０及び／又は管理計算システム２０が検証したことに応答して、管理計算システム２０は、対応するクライアント計算システム３０に関連するスコアを増加させる。

したがって、ソフトウェア・バグ検出システム１０は、ユーザ５０及び／又はクライアント計算システム３０が、メモリ破損問題、メモリ脆弱性問題、メモリ開示問題、情報漏洩問題、論理脆弱性問題、暗号問題など、悪意のある第三者行為により起こり得る様々な計算システム問題を診断するそれらの能力を改善することを可能にする。

本明細書で説明した機能ブロック及び／又はフローチャート要素は機械可読命令に変換され得る。非限定的な実例として、機械可読命令は、（たとえば、ハイパーテキスト・マークアップ言語、拡張可能マークアップ言語など）パースされるべき説明文、（ｉｉ）アセンブリ言語、（ｉｉｉ）コンパイラによってソース・コードから生成されるオブジェクト・コード、（ｉｖ）インタープリタによる実行のための任意の好適なプログラミング言語からのシンタックスを使用して書かれるソース・コード、（ｖ）ジャストインタイム・コンパイラなどによるコンパイル及び実行のためのソース・コードなど、任意のプログラミング・プロトコルを使用して書かれ得る。代替的に、機械可読命令は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）構成若しくは特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）のいずれか、又はそれらの等価物を介して実装される論理など、ハードウェア記述言語（ＨＤＬ：ｈａｒｄｗａｒｅｄｅｓｃｒｉｐｔｉｏｎｌａｎｇｕａｇｅ）で書かれ得る。したがって、本明細書で説明した機能は、事前プログラムされたハードウェア要素として、又はハードウェア構成要素とソフトウェア構成要素との組合せとして、任意の従来のコンピュータ・プログラミング言語で実装され得る。

様々な改変及び変形が、本開示の範囲から逸脱することなく行われ得ることが当業者には明らかになろう。本開示の趣旨及び要旨を組み込んだ開示された実施例の改変、組合せ、サブコンビネーション及び変形形態は当業者が想到し得るので、本開示は、添付の特許請求及びそれらの等価物の範囲内であらゆるものを含むと解釈されるべきである。

Claims

第１のクライアント計算システムによって管理計算システムからのインスタンスを受信することであって、
前記インスタンスが前記第１のクライアント計算システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションであるように、前記仮想マシンが前記管理計算システムの計算リソースのパーティションを備え、
計算リソースの前記パーティションが仮想プロセッサ及び第１の機械可読命令を備え、
前記第１の機械可読命令が第１の事前定義されたソフトウェア・バグを備える、
インスタンスを受信することと、
前記仮想プロセッサによって前記第１の機械可読命令を実行することであって、前記第１の機械可読命令を実行することは、
前記仮想プロセッサによって、前記第１の機械可読命令の前記第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信すること、及び
前記仮想プロセッサによって、前記管理計算システムに、前記第１の入力に関連する第１の信号を送信することであって、前記第１の信号が、前記管理計算システムによる検証に応答して、前記管理計算システムに、前記第１のクライアント計算システムに関連するスコアを生成させる、第１の信号を送信すること
を含む、前記第１の機械可読命令を実行することと
を含む方法。
計算リソースの前記パーティションが第２の機械可読命令を備え、
前記第２の機械可読命令が第２の事前定義されたソフトウェア・バグを備える、
請求項１に記載の方法。
前記仮想プロセッサによって、前記第２の機械可読命令の前記第２の事前定義されたソフトウェア・バグの識別を示す第２の入力を受信することと、
前記仮想プロセッサによって、前記管理計算システムに、前記第２の入力に関連する第２の信号を送信することであって、前記第２の信号が、前記管理計算システムに、前記第１のクライアント計算システムに関連する前記スコアを増加させる、第２の信号を送信することと、
前記第１のクライアント計算システムによってユーザ・インターフェースを表示することであって、
前記ユーザ・インターフェースが、第１のユーザ・インターフェース要素の選択に応答して、前記仮想プロセッサに前記第１の入力を受信させる前記第１のユーザ・インターフェース要素を備え、
前記ユーザ・インターフェースが、第２のユーザ・インターフェース要素の選択に応答して、前記仮想プロセッサに前記第２の入力を受信させる前記第２のユーザ・インターフェース要素を備え、
前記ユーザ・インターフェースがテキスト・ユーザ・インターフェース要素を備える、
ところの前記ユーザ・インターフェースを表示することと、
前記第１のクライアント計算システムによって前記テキスト・ユーザ・インターフェース要素内でバイナリ・ファイルを表示することであって、前記バイナリ・ファイルが前記第１の機械可読命令のセット及び前記第２の機械可読命令のセットのうちの１つを表す、前記バイナリ・ファイルを表示することと、をさらに含み、
前記第１の機械可読命令の前記第１の事前定義されたソフトウェア・バグの前記識別を示す前記第１の入力を受信することは、
前記仮想プロセッサによって前記バイナリ・ファイルの修正を受信することであって、前記バイナリ・ファイルが前記第１の機械可読命令の前記セットを表す、前記バイナリ・ファイルの修正を受信することと、
前記仮想プロセッサによって、前記バイナリ・ファイルの前記修正に応答して前記第１のユーザ・インターフェース要素の前記選択を受信することと
をさらに含み、
前記第２の機械可読命令の前記第２の事前定義されたソフトウェア・バグの前記識別を示す前記第２の入力を受信することは、
前記仮想プロセッサによって前記バイナリ・ファイルの修正を受信することであって、前記バイナリ・ファイルが前記第２の機械可読命令の前記セットを表す、前記バイナリ・ファイルの修正を受信することと、
前記仮想プロセッサによって、前記バイナリ・ファイルの前記修正に応答して前記第２のユーザ・インターフェース要素の前記選択を受信することと
をさらに含む、請求項２に記載の方法。
前記第１の機械可読命令の前記セットが前記第１の事前定義されたソフトウェア・バグを備え、
前記第２の機械可読命令の前記セットが前記第２の事前定義されたソフトウェア・バグを備える、請求項３に記載の方法。
前記第１の事前定義されたソフトウェア・バグが、事前定義されたソフトウェア・バグのリストから選択される、請求項１から３までのいずれか一項に記載の方法。
第１のクライアント計算システムによって管理計算システムからのインスタンスを受信することであって、
前記インスタンスが前記第１のクライアント計算システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションとなるように、前記仮想マシンが前記管理計算システムの計算リソースのパーティションを備え、
計算リソースの前記パーティションが仮想プロセッサ及び第１の機械可読命令を備え、
前記第１の機械可読命令が第１の事前定義されたソフトウェア・バグを備える、
インスタンスを受信することと、
前記仮想プロセッサによって前記第１の機械可読命令を実行することであって、前記第１の機械可読命令を実行することは、
前記仮想プロセッサによって、前記第１の機械可読命令の前記第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を生成することと、
前記仮想プロセッサによって、前記管理計算システムに、前記第１の入力に関連する第１の信号を送信することであって、前記第１の信号が、前記管理計算システムによる検証に応答して、前記管理計算システムに、前記第１のクライアント計算システムに関連するスコアを生成させる、第１の信号を送信することと
を含む、前記第１の機械可読命令を実行することと
を含む方法。
管理計算システムによって第１のクライアント計算システムに第１のインスタンスを送信することであって、
前記第１のインスタンスが前記第１のクライアント計算システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションとなるように、前記仮想マシンが前記管理計算システムの計算リソースの第１のパーティションを備え、
計算リソースの前記第１のパーティションが第１の仮想プロセッサ及び第１の機械可読命令を備え、
前記第１の機械可読命令が第１の事前定義されたソフトウェア・バグを備える、
第１のインスタンスを送信することと、
前記管理計算システムによって、前記第１のクライアント計算システムによって受信される第１の入力に関連する第１の信号を受信することであって、前記第１の入力が前記第１の機械可読命令の前記第１の事前定義されたソフトウェア・バグの識別を示す、第１の信号を受信することと、
前記管理計算システムによって前記第１の信号を検証することと、
前記管理計算システムによって、前記第１の信号の検証に応答して、前記第１のクライアント計算システムに関連する第１のスコアを増加させることと
を含む方法。
１つ又は複数のプロセッサと、
機械可読命令を記憶する１つ又は複数の非一時的コンピュータ可読媒体と
を備えるシステムであって、前記機械可読命令は、実行されたとき、前記１つ又は複数のプロセッサに、
管理計算システムからのインスタンスを受信することであって、
前記インスタンスが前記システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションとなるように、前記仮想マシンが前記管理計算システムの計算リソースのパーティションを備え、
計算リソースの前記パーティションが仮想プロセッサ及び機械可読命令の第１のセットを備え、
機械可読命令の前記第１のセットが第１の事前定義されたソフトウェア・バグを備える、
インスタンスを受信することと、
機械可読命令の前記第１のセットを実行することであって、機械可読命令の前記第１のセットを実行することが、前記１つ又は複数のプロセッサに、
機械可読命令の前記第１のセットの前記第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信すること、及び
前記管理計算システムに、前記第１の入力に関連する第１の信号を送信することであって、前記第１の信号が、前記管理計算システムに、前記システムに関連するスコアを生成させる、第１の信号を送信すること
を行わせる、機械可読命令の前記第１のセットを実行することと
を行わせる、システム。
１つ又は複数のプロセッサと、
機械可読命令を記憶する１つ又は複数の非一時的コンピュータ可読媒体と
を備える機械学習システムであって、前記機械可読命令は、実行されたとき、前記機械学習システムに、
管理計算システムからのインスタンスを受信することであって、
前記インスタンスが前記機械学習システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションとなるように、前記仮想マシンが前記管理計算システムの計算リソースのパーティションを備え、
計算リソースの前記パーティションが仮想プロセッサ及び機械可読命令の第１のセットを備え、
機械可読命令の前記第１のセットが第１の事前定義されたソフトウェア・バグを備える、
インスタンスを受信することと、
機械可読命令の前記第１のセットを実行することであって、機械可読命令の前記第１のセットを実行することが、前記機械学習システムに、
機械可読命令の前記第１のセットの前記第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を生成すること、及び
前記管理計算システムに、前記第１の入力に関連する第１の信号を送信することであって、前記第１の信号が、前記管理計算システムに、前記機械学習システムに関連するスコアを生成させる、第１の信号を送信すること
を行わせる、機械可読命令の前記第１のセットを実行することと
を行わせる、機械学習システム。
第１のクライアント計算システムによって管理計算システムからのインスタンスを受信することであって、
前記インスタンスが前記第１のクライアント計算システムに仮想マシンとして展開され、前記インスタンスが前記管理計算システムのエミュレーションとなるように、前記仮想マシンが前記管理計算システムの計算リソースのパーティションを備え、
計算リソースの前記パーティションが仮想プロセッサ及び機械可読命令の第１のセットを備え、
機械可読命令の前記第１のセットが第１の事前定義されたソフトウェア・バグを備え、
計算リソースの前記パーティションが機械可読命令の第２のセットを備え、
機械可読命令の前記第２のセットが第２の事前定義されたソフトウェア・バグを備える、
インスタンスを受信することと、
前記仮想プロセッサによって機械可読命令の前記第１のセットを実行することであって、機械可読命令の前記第１のセットを実行することは、
前記仮想プロセッサによって、機械可読命令の前記第１のセットの前記第１の事前定義されたソフトウェア・バグの識別を示す第１の入力を受信すること、及び
前記仮想プロセッサによって、前記管理計算システムに、前記第１の入力に関連する第１の信号を送信することであって、前記第１の信号が、前記管理計算システムに、前記第１のクライアント計算システムに関連するスコアを生成させる、第１の信号を送信すること
を含む、前記第１のセットを実行することと、
前記仮想プロセッサによって、機械可読命令の前記第２のセットの前記第２の事前定義されたソフトウェア・バグの識別を示す第２の入力を受信することと、
前記仮想プロセッサによって、前記管理計算システムに、前記第２の入力に関連する第２の信号を送信することであって、前記第２の信号が、前記管理計算システムに、前記第１のクライアント計算システムに関連する前記スコアを増加させる、第２の信号を送信することと、
前記第１のクライアント計算システムによってユーザ・インターフェースを表示することであって、
前記ユーザ・インターフェースが、第１のユーザ・インターフェース要素の選択に応答して、前記仮想プロセッサに前記第１の入力を受信させる、前記第１のユーザ・インターフェース要素を備え、
前記ユーザ・インターフェースが、第２のユーザ・インターフェース要素の選択に応答して、前記仮想プロセッサに前記第２の入力を受信させる、前記第２のユーザ・インターフェース要素を備え、
前記ユーザ・インターフェースがテキスト・ユーザ・インターフェース要素を備える、
ユーザ・インターフェースを表示することと、
前記第１のクライアント計算システムによって前記テキスト・ユーザ・インターフェース要素内でバイナリ・ファイルを表示することであって、前記バイナリ・ファイルが、機械可読命令の前記第１のセットからなるセット、及び機械可読命令の前記第２のセットからなるセットのうちの１つを表す、バイナリ・ファイルを表示することと
を含む方法。