JP2023180842A - 品質予測のためのシステム、方法、及びコンピュータ可読媒体 - Google Patents

Abstract

【課題】品質予測のためのシステム、方法及びコンピュータ可読媒体を提供する。【解決手段】方法は、第１のエンドポイントのパラメータ値を取得する工程と、第２のエンドポイントのパラメータ値を取得する工程と、当該第１のエンドポイントの当該パラメータ値及び当該第２のエンドポイントの当該パラメータ値に基づき、当該第１のエンドポイントの当該パラメータの予測を生成する工程とを含み、当該予測は、未来の一時点における当該第１のエンドポイントの当該パラメータの確率分布情報を含み、より精度の高い品質予測を行う。【選択図】図４

Description

本発明は品質予測に関し、より具体的には、サーバに対する品質予測に関する。

インターネット上でのリアルタイムのデータ共有は、日常生活にも浸透している。さまざまなプラットフォームやプロバイダーが動画のライブ配信などライブストリーミングデータのサービスを提供しており、競争も激しい。ライブストリーミングプラットフォームが普及し、より多くのユーザがアクセスするようになると、サーバを管理し、サービス品質を安定させることが重要となる。

本発明の一実施態様による方法は、１以上のコンピュータによって実行される品質予測のための方法であって、第１のエンドポイントのパラメータ値を取得する工程と、第２のエンドポイントのパラメータ値を取得する工程と、当該第１のエンドポイントの当該パラメータ値及び当該第２のエンドポイントの当該パラメータ値に基づき、当該第１のエンドポイントの当該パラメータの予測を生成する工程とを含む。当該予測は、未来の一時点における当該第１のエンドポイントの当該パラメータの確率分布情報を含む。

本発明の一実施態様によるシステムは、１以上のコンピュータプロセッサを含む品質予測のためのシステムであり、当該１以上のコンピュータプロセッサが機械可読命令を実行して、第１のエンドポイントのパラメータ値を取得する工程と、第２のエンドポイントのパラメータ値を取得する工程と、当該第１のエンドポイントの当該パラメータ値及び当該第２のエンドポイントの当該パラメータ値に基づき、当該第１のエンドポイントの当該パラメータの予測を生成する工程と、を実行する。当該予測は、未来の一時点における当該第１のエンドポイントの当該パラメータの確率分布情報を含む。

本発明の一実施態様によるコンピュータ可読媒体は、品質予測のためのプログラムを含む非一時的なコンピュータ可読媒体であって、当該プログラムが１以上のコンピュータに、第１のエンドポイントのパラメータ値を取得する工程と、第２のエンドポイントのパラメータ値を取得する工程と、当該第１のエンドポイントの当該パラメータ値及び当該第２のエンドポイントの当該パラメータ値に基づき、当該第１のエンドポイントの当該パラメータの予測を生成する工程と、を実行させる。当該予測は、未来の一時点における当該第１のエンドポイントの当該パラメータの確率分布情報を含む。

本発明の一部の実施態様に基づく通信システムの構成を示す概略図である。 本発明の一部の実施態様に基づくサーバとＫｕｂｅｒｎｅｔｅｓクラスタの例示的なブロック図である。 本発明の一部の実施態様に基づく例示的な機械学習モデルを示す概略図である。 本発明の一部の実施態様に基づくサーバ管理方法を示す例示的なフローチャートである。 エンドポイントデータテーブル３１０の例である。 システムデータテーブル３１２の例である。 予測テーブル３１４に格納されたエンドポイントに対する予測結果の一例である。 閾値テーブル３１６の一例である。 本発明の一部の実施態様に基づく通信システム１のバックエンドシステム３５の例示的なブロック図である。

サーバ管理における重要な機能の１つが、サービス品質やサーバの状態を予測することである。予測結果によって、適切な予防措置を講じ、潜在的な問題を防止または軽減することができる。従来のサービス品質予測方法には、いくつかの解決すべき課題がある。

従来、予測プロセスにおいて、サーバの異なるエンドポイントは個別に扱われている。つまり、特定のエンドポイントの状態は、その特定のエンドポイントの過去の挙動またはデータによって予測される。

従来、懸念される問題は、その問題に影響を与える可能性のある他のパラメータによって予測されることが多い。例えば、１秒あたりのクエリ数（ＱＰＳ）や帯域幅などのパラメータが、遅延などのより直接的な懸念事項である問題の予測に使用される。

本発明は、異なるエンドポイント間の横断的影響を組み込むことにより、エンドポイントの状態を予測する方法およびシステムを開示する。本発明は、問題そのものの過去の挙動でその問題を予測し、より直接的で、より正確な結果を導くことができる、方法およびシステムを開示する。本発明の一部の実施態様において、懸念される問題は、エンドポイントの遅延である。

図１に、本発明の一部の実施態様に基づく通信システムの構成を示す概略図を示す。

当該通信システム１は、コンテンツを介したインタラクションを伴うライブストリーミングサービスを提供することができる。ここで言う「コンテンツ」とは、コンピュータ装置で再生可能なデジタルコンテンツを指す。つまり、当通信システム１は、ユーザがオンラインで他のユーザとのリアルタイムのインタラクションに参加することを可能にする。当該通信システム１は、複数のユーザ端末１０と、バックエンドサーバ３０と、ストリーミングサーバ４０とを含む。当該ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０は、ネットワーク９０（例えばインターネットとしてもよい）を介して接続される。当該バックエンドサーバ３０は、当該ユーザ端末及び（または）当該ストリーミングサーバ４０との間のインタラクションを同期させるサーバとすることができる。一部の実施態様において、当該バックエンドサーバ３０は、アプリケーション（ＡＰＰ）プロバイダーのサーバとしてもよい。当該ストリーミングサーバ４０は、ストリーミングデータまたはビデオデータを取り扱う、または提供するためのサーバである。一部の実施態様において、当該バックエンドサーバ３０と当該ストリーミングサーバ４０は、独立したサーバとしてもよい。一部の実施態様において、当該バックエンドサーバ３０と当該ストリーミングサーバ４０は、１つのサーバに統合してもよい。一部の実施態様において、当該ユーザ端末１０は、ライブストリーミングサービスのためのクライアント装置である。一部の実施態様において、当該ユーザ端末１０は、視聴者、ストリーマー、アンカー、ポッドキャスター、オーディエンス、リスナーなどと呼ばれることがある。当該ユーザ端末１０、バックエンドサーバ３０、及びストリーミングサーバ４０はそれぞれ情報処理装置の一例である。一部の実施態様において、当該ストリーミングは、ライブストリーミングまたはビデオ再生とすることができる。一部の実施態様において、ストリーミングは、オーディオストリーミング及び（または）ビデオストリーミングとすることができる。一部の実施態様において、ストリーミングは、オンラインショッピング、トークショー、タレントショー、娯楽イベント、スポーツイベント、音楽ビデオ、映画、コメディ、コンサートなどのコンテンツを含むことができる。

図９に、本発明の一部の実施態様に基づく通信システム１のバックエンドシステム３５の例示的なブロック図を示す。当該バックエンドシステム３５は、複数のエンドポイント（APIまたはサーバ）の遅延を監視し、特定のエンドポイントの遅延の予測結果が警告条件を満たした場合に、当該特定のエンドポイントに関する警告メッセージをオペレーターに送信する。当該バックエンドシステム３５は、複数のエンドポイントＥＰ１、ＥＰ２、ＥＰ３、...と、サーバ３００と、オペレーター装置３６とから構成される。各エンドポイントは、時系列遅延データを生成し、生成した当該時系列遅延データをネットワーク経由で当該サーバ３００に送信する。当該サーバ３００は、１つの機械学習モデル３０６を有する。当該モデル３０６は、当該複数のエンドポイントＥＰ１、ＥＰ２、ＥＰ３、...から、生成された当該時系列遅延データを受信する。当該モデル３０６は、受信したデータを処理し、当該複数のエンドポイントそれぞれの遅延に対して確率密度関数を生成する。例えば、当該モデル３０６は、エンドポイントＥＰ１の遅延に対する確率密度関数、エンドポイントＥＰ２の遅延に対する確率密度関数、及びエンドポイントＥＰ３の遅延に対する確率密度関数を生成する。当該モデル３０６での処理において、異なるエンドポイントからの当該遅延データは互いに関連付けられる。当該サーバ３００のリスク評価ユニット３０８は、当該モデル３０６から当該複数のエンドポイントの遅延の確率密度関数を受信する。当該リスク評価ユニット３０８は、当該エンドポイントのそれぞれについて、各エンドポイントの予測結果または確率密度関数が警告条件を満たすか否かを判断する。特定のエンドポイントについて当該警告条件が満たされた場合、当該リスク評価ユニット３０８は、当該特定のエンドポイントに関する警告メッセージを生成し、ネットワークを介して当該オペレーター装置３６に当該警告メッセージを送信する。当該オペレーター３７は、当該オペレーター装置３６上の警告メッセージを見て、その特定のエンドポイントに対して適切な処置を行う。

図２に、本発明の一部の実施態様に基づく当該サーバ３００とＫｕｂｅｒｎｅｔｅｓクラスタの例示的なブロック図を示す。

当該サーバ３００は、エンドポイントモニター３０２と、システムモニター３０４と、当該機械学習モデル３０６と、当該リスク評価ユニット３０８と、エンドポイントデータテーブル３１０と、システムデータテーブル３１２と、予測テーブル３１４と、閾値テーブル３１６を含む。本実施態様において、当該サーバ３００は、当該サーバ３００外部にあるＫｕｂｅｒｎｅｔｅｓクラスタ５００と通信する。当該Ｋｕｂｅｒｎｅｔｅｓクラスタは、複数のポッド５０２を含む。

ＫｕｂｅｒｎｅｔｅｓまたはＫｕｂｅｒｎｅｔｅｓクラスタは、ソフトウェアのデプロイメント、スケーリング、および管理を自動化するためのオープンソースのコンテナオーケストレーションシステムである。Ｋｕｂｅｒｎｅｔｅｓクラスタは、ライブストリーミングアプリケーションなど、サーバが提供するアプリケーションを実行するために割り当てられた仮想空間または仮想マシンである多様なポッドを含む。

他の実施態様において、当該サーバ３００によって提供される当該ライブストリーミングプラットフォームを実行するように構成された仮想空間または仮想マシンは、当該サーバ３００内に配備されてもよい。一部の実施態様において、当該サーバ３００によって提供されるライブストリーミングプラットフォームを実行するように構成された仮想空間または仮想マシンは、ＡＷＳ Ｆａｒｇａｔｅ、Ａｚｕｒｅ Ｃｏｎｔａｉｎｅｒ Ｉｎｓｔａｎｃｅｓ、またはＧｏｏｇｌｅ Ｃｌｏｕｄ Ｒｕｎなどの他のサービス上に配備されてもよい。

当該エンドポイントモニター３０２は、当該ライブストリーミングサービスのエンドポイントの情報またはパラメータを受信するように構成される。当該情報は、エンドポイントの遅延を含んでもよい。一部の実施態様において、当該情報は当該Ｋｕｂｅｒｎｅｔｅｓクラスタ５００から受信される。一部の実施態様において、エンドポイントは、当該ライブストリーミングサービスのアプリケーションプログラミングインターフェイス（ＡＰＩ）に対応する。ライブストリーミングサービスの場合、多様なエンドポイントが存在する可能性がある。例えば、コメントエンドポイントは、チャットルーム内のコメント機能に対応してもよい。贈り物エンドポイントは、チャットルーム内の贈り物送信機能に対応してもよい。イベントエンドポイントは、ライブストリーミング番組に関連するイベントに対応してもよい。

当該システムモニター３０４は、当該サーバ３００または当該Ｋｕｂｅｒｎｅｔｅｓクラスタ５００のシステムパラメータを監視または受信するように構成される。当該パラメータは、当該ライブストリーミングサービスを実行またはサポートするために当該Ｋｕｂｅｒｎｅｔｅｓクラスタ５００に割り当てられたポッドの数（またはポッド量）を含んでもよい。一部の実施態様において、当該ライブストリーミングサービス用に割り当てられたポッドは、当該ライブストリーミングサービスのエンドポイントに割り当てられた（または対応する）ポッドである。一部の実施態様において、当該エンドポイントに割り当てられたポッドが多いほど、そのエンドポイントが低遅延であることを示す。

当該機械学習モデル３０６は、エンドポイントの遅延など、エンドポイントの状態を予測するように構成される。当該機械学習モデル３０６は、当該エンドポイントの履歴データ（当該エンドポイントの過去の遅延値など）によって訓練されてもよい。当該機械学習モデル３０６は、当該エンドポイントに対応する過去のポッド量など、当該ポッド数の履歴データによって訓練されてもよい。一部の実施態様において、当該機械学習モデル３０６は、エンドポイントの時系列遅延データとポッド量の情報を入力（例えば、過去３０分の遅延データとポッド量の情報）として、当該エンドポイントの遅延予測を出力として提供する。一部の実施態様において、当該予測は、未来のある時点におけるとエンドポイントの遅延の確率分布情報を含んでもよい。当該確率分布情報は、例えば、１０分後など、未来のある時点におけるエンドポイントの遅延の確率密度関数または確率分布関数を含んでもよく、または、確率密度関数または確率分布関数であってもよい。一部の実施態様において、確率密度関数は、平均と分散によって表現または定義されてもよい。一部の実施態様において、確率密度関数は、正規分布に合致していてもよい。

当該リスク評価ユニット３０８は、エンドポイントに対するリスクの確率を計算するように構成される。例えば、当該リスク評価ユニット３０８は、所定の閾値（遅延値）及びエンドポイントの遅延の確率密度関数に基づいて、当該エンドポイントについて機能停止の確率を計算する。遅延の当該閾値は、当該エンドポイントが当該遅延値に到達するには高い確率で機能停止が発生し得るように決定されてもよい。

当該エンドポイントデータテーブル３１０は、当該エンドポイントモニター３０２によって監視または受信されたデータを格納するように構成される。当該データは、各エンドポイントの時系列遅延値であってもよい。

当該システムデータテーブル３１２は、当該システムモニター３０４によって監視または受信されたデータを格納するように構成される。当該データは、ポッド数またはポッド量の情報であってもよい。

当該予測テーブル３１４は、当該機械学習モデル３０６によって生成された予測結果を格納するように構成される。当該結果は、平均、分散（または標準偏差）、および分布情報（正規分布またはガウス分布など）を含んでもよい。

当該閾値テーブル３１６は、当該エンドポイントに対する所定の閾値を格納するように構成される。当該閾値は、遅延値であってもよい。閾値は、ライブストリーミングシステムのオペレーターが経験または実験に基づいて決定してもよい。

図３に、本発明の一部の実施態様に基づく例示的な機械学習モデルの概略図を示す。一部の実施態様において、当該機械学習モデル６００は、図２の当該機械学習モデル３０６として適用されてもよい。当該機械学習モデル６００は、オートエンコーダ６０２と、トランスフォーマーモデル６０４と、ニューラルネットワーク層６０６とを含む。

当該機械学習モデル６００への入力は、エンドポイントの遅延データとポッド数データである。各エンドポイントの時系列遅延データは、当該オートエンコーダ６０２に入力される。一部の実施態様において、当該時系列遅延データは、ある期間の各エンドポイントの遅延値（時系列で表される）を含む。当該ポッド数データは、エンドポイント全体（例えば、ライブストリーミングエンドポイント全体）に対応する（またはそれに割り当てられる）合計ポッド数を含んでもよい。当該ポッド数データは、異なるエンドポイントグループに対応する（または割り当てられた）ポッド数を含んでもよい。エンドポイントグループは、同じサービスまたは同じ機能に対応する複数のエンドポイントを含んでもよい。エンドポイントグループは、一部の実施態様において、サービスグループと呼ばれてもよい。

当該オートエンコーダ６０２は、当該エンドポイントの遅延データから、トレンド部分、季節性部分（または周期性部分）、ノイズ部分を抽出するように構成される。本実施態様において、当該遅延データの当該トレンド部分と当該季節性部分は、当該機械学習モデル６００の１つの出力である。一部の実施態様において、当該オートエンコーダ６０２は、当該遅延データからノイズデータを除去し、「ノイズが除去された」当該遅延データを出力として提供するように構成されている。当該遅延データから抽出されたトレンド部分、季節性部分、ノイズ部分は、当該トランスフォーマーモデル６０４への入力として取り込まれる。一部の実施態様において、当該オートエンコーダ６０２は変分オートエンコーダである。一部の実施態様において、当該遅延データの当該ノイズ部分は、当該遅延データの異常部分または外れ値部分であってもよい。一部の実施態様において、当該オートエンコーダ６０２は、各エンドポイントの当該遅延データから潜在空間にある情報を抽出するように構成される。一部の実施態様において、当該ノイズ部分は、（元の遅延データ－（トレンド部分＋季節性部分））と定義される。

当該トランスフォーマーモデル６０４は、異なるエンドポイントの当該遅延データ間の時間的関係または時間的相関を抽出するように構成される。当該オートエンコーダ６０２によるノイズ分離／抽出により、当該トランスフォーマーモデル６０４は、異なるエンドポイントの当該遅延データ間の時間的関係をより高い精度で抽出することができる。当該オートエンコーダ６０２によるノイズ分離／抽出により、当該トランスフォーマーモデル６０４は、すべてのエンドポイントからのノイズ除去項（ｄｅ－ｎｏｉｓｅｄ ｔｅｒｍｓ）及びノイズ-信号項（ｎｏｉｓｅ－ｓｉｇｎａｌ ｔｅｒｍｓ）間の関係を学習することができる。一部の実施態様において、当該トランスフォーマーモデル６０４は、ディープラーニングアルゴリズムを含む。一部の実施態様において、当該トランスフォーマーモデル６０４の出力はシーケンスを含み、当該シーケンス内の要素の数は、エンドポイントの数と同じである。

当該トランスフォーマーモデル６０４の出力と当該ポッド数データが、連結計算に入力される。当該連結計算の出力が、ニューラルネットワーク層６０６に入力される。当該ニューラルネットワーク層６０６は、当該エンドポイントの（または各エンドポイントについての）遅延の確率分布情報を提供するように構成される。一部の実施態様において、各エンドポイントの遅延の当該確率分布情報は、各エンドポイントの遅延の確率密度関数（ＰＤＦ）を含む。一部の実施態様において、当該ニューラルネットワーク層６０６は、全結合ニューラルネットワークである。

図３に示すように、当該機械学習モデル６００の学習フェーズでは、損失Ｌ１と損失Ｌ２という２つの損失関数が用いられる。

損失Ｌ１は、当該オートエンコーダ６０２の入力である、エンドポイントの遅延データを正解データ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）とする。損失Ｌ１は、遅延データのトレンド部分と季節性部分を入力として取り込む。損失Ｌ１は、「遅延データ」と「遅延データのトレンドデータおよび季節性データ」の差分を計算する。したがって、損失Ｌ１は、当該オートエンコーダ６０２から提供される遅延データのノイズ項（ｎｏｉｓｅ ｔｅｒｍ）に相当する。損失Ｌ１は、当該機械学習モデル６００（または当該オートエンコーダ６０２）に、当該オートエンコーダ６０２が生成するノイズ項が最小になるように自己調整するよう学習させるために構成される。損失Ｌ１は、当該機械学習モデル６００（または当該オートエンコーダ６０２）に、当該オートエンコーダ６０２が生成する当該遅延データのトレンド部分と季節性部分が最大になるように自己調整するよう学習させるために構成される。したがって、当該オートエンコーダ６０２の出力（当該トランスフォーマーモデル６０４の入力）は、ノイズによるバイアスなく、遅延データの本質（あるいは真の性質）に近づく（あるいは表す）ことができる。それにより、当該トランスフォーマーモデル６０４は、異なるエンドポイント間により正確な時間的関係を提供することができる。

損失Ｌ２は、エンドポイントの後続データ（当該オートエンコーダ６０２に入力された当該遅延データの後続の実際の遅延データ）を正解データ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）とする。損失Ｌ２は、遅延の確率密度関数を入力として取り込む。損失Ｌ２は、当該機械学習モデル６００に、各エンドポイントの実際の遅延値に対応する確率密度関数が最大となるように自己調整（平均や分散の調整など）するよう学習させるために構成される。本実施態様においては、混合密度ネットワーク（ＭＤＮ）を利用し、確率密度関数のマイナス対数計算を取り入れることで、最大化処理を最小化処理に変換している。

学習フェーズでは、損失Ｌ１の結果と損失Ｌ２の結果を合計し、機械学習モデル６００の自己学習またはパラメータ調整のためのフィードバック（またはバックプロパゲーション）として機械学習モデル６００に入力する。ここで和算を利用する（つまり、損失Ｌ１と損失Ｌ２に同じ重みを与える）ことで、機械学習モデル６００に、より大きな関心度で損失を最小化するように自己調整する学習をできるだけ早く強制させる。通常、オートエンコーダのノイズ項はＭＤＮ損失項よりはるかに大きいため（例えば、ライブストリーミングのシナリオで利用されるエンドポイントの場合）、機械学習モデル６００（またはオートエンコーダ６０２）は、できるだけ早く遅延データのノイズを除去することを学習する。したがって、トランスフォーマーモデル６０４は、異なるエンドポイントの遅延間の時間的関係を迅速かつ正確に提供することができる。

一部の実施態様において、上述の計算（損失計算など）は、当該サーバ３００内の計算ユニットにより実行されてもよい。

一部の実施態様において、当該機械学習モデルにグラフ畳み込みネットワーク（ＧＣＮ）モデルが組み込まれてもよい。例えば、当該オートエンコーダの出力は当該ＧＣＮモデルに入力されてもよく、当該ＧＣＮモデルの出力は当該トランスフォーマーモデルに入力されてもよい。当該ＧＣＮモデルは、異なるエンドポイントの遅延データ間の空間的関係または空間的相関を学習するように構成される。例えば、当該ＧＣＮモデルを用い、当該機械学習モデルは、贈り物ａｐｉの遅延とコメントａｐｉの遅延間の相関を検出することができる。これにより、予測の速度や精度をさらに向上する可能性がある。

図４に、本発明の一部の実施態様に基づくサーバ管理方法を示す例示的なフローチャートを示す。当該サーバは、例えば、図２に示す当該サーバ３００であってもよい。

工程Ｓ４００において、当該サーバ３００が、各エンドポイントの遅延データまたは遅延値を取得する。この処理は、当該エンドポイントモニター３０２によって実行されてもよい。当該エンドポイントは、ライブストリーミングサービスに対応してもよい。

工程Ｓ４０２において、当該サーバ３００が当該エンドポイントに対応するポッド数データ（またはポッド量情報）を取得する。この処理は、当該システムモニター３０４によって実行されてもよい。

工程Ｓ４０４において、当該遅延データと当該ポッド数データが、当該機械学習モデル３０６に入力される。この処理は、当該サーバ３００内のコントローラによって実行されてもよい。

工程Ｓ４０６において、当該機械学習モデル３０６が各エンドポイントについて遅延の予測を生成する。当該予測は、未来のある時点における各エンドポイントの遅延の確率分布情報（または各エンドポイントの遅延の確率密度関数）を含んでもよい。

工程Ｓ４０８において、各エンドポイントに対して遅延閾値が決定される。当該閾値は、オペレーターが経験や実験に基づいて決定してもよい。当該閾値は、各エンドポイントの遅延値と機能停止の過去の相関データに基づき、人工知能または別の機械学習モデルによって決定されてもよい。

工程Ｓ４１０において、各エンドポイントの機能停止確率は、当該閾値と遅延の確率分布情報に基づいて計算される。この処理は、当該リスク評価ユニット３０６によって実行されてもよい。工程Ｓ４１０の結果は、特定のエンドポイントの負担／負荷を軽減するための対応策など、その後のサーバ管理手順に利用されてもよい。

図５に、エンドポイントデータテーブル３１０の例を示す。

この例において、エンドポイントＥＰ１は時系列遅延値シーケンス［６０ｍｓ、１５０ｍｓ、４００ｍｓ、…］を有し、エンドポイントＥＰ２は時系列遅延値シーケンス［１０００ｍｓ、１３００ｍｓ、７８０ｍｓ、…］を有することが分かる。

図６に、システムデータテーブル３１２の例を示す。

この例において、エンドポイントＥＰ１とＥＰ２はサービスグループＧ１に属し、８のポッド数が割り当てられている、または８のポッド数に対応する。エンドポイントＥＰ３はサービスグループＧ２に属し、６のポッド数が割り当てられている、または６のポッド数に対応する。エンドポイントＥＰ４、ＥＰ５、ＥＰ６はサービスグループＧ３に属し、１０のポッド数が割り当てられている、または１０のポッド数に対応する。

図７に、予測テーブル３１４に格納されたエンドポイントに対する予測結果の一例を示す。

この例において、予測結果には、示された平均値（μ）と標準偏差（σ）を有する確率密度関数が含まれる。

図８に、閾値テーブル３１６の一例を示す。

この例において、エンドポイントＥＰ１は遅延閾値７００mを有するように設定され、エンドポイントＥＰ２は遅延閾値１５００ｍｓを有するように設定される。

本発明は、機械学習モデルで異なるエンドポイント間の横断的影響を考慮することにより、エンドポイントに対する品質予測のための改良された方法およびシステムを開示する。本発明は、懸念される問題そのものの過去の挙動でその問題を予測し、より直接的で、より正確な結果を導くことができる、方法およびシステムを開示する。本発明の一部の実施態様において、懸念される問題は、エンドポイントの遅延である。別の実施態様において、懸念される問題は、ライブストリーミングプラットフォームの他のパラメータまたは指標であってもよい。

一部の実施態様において、ユーザーエクスペリエンスに対してより敏感なエンドポイントは、機械学習モデルにおいてより高い重みを付与されてもよい。例えば、贈り物送信及び／または金銭預け入れのエンドポイントは、機械学習モデルにおいてより高い重みを付与されてもよい。それにより、ユーザーエクスペリエンスの観点から、より実用的な予測結果を導き出すことができる。

一部の実施態様において、当該機械学習モデルにおける当該オートエンコーダは、ディープ階層型変分オートエンコーダ（ＮＶＡＥ）であってもよい。ＮＶＡＥ及びＭＤＮは、いずれも固有のベイズ性を有し、予測精度をさらに向上させることができる。

本発明で説明した処理及び手順は、明示的に説明したものに加えて、ソフトウェア、ハードウェア、またはそれらの任意の組み合わせにより実現することができる。例えば、本明細書で説明した処理および手順は、その処理および手順に対応するロジックを集積回路、揮発性メモリ、不揮発性メモリ、非一時的なコンピュータ可読媒体、磁気ディスクなどの媒体に実装することにより実現することができる。さらに、本明細書に記載された処理および手順は、その処理および手順に対応するコンピュータプログラムとして実現することができ、各種のコンピュータにより実行することができる。

さらに、上記実施態様で説明したシステムまたは方法は、固体記憶装置、光ディスク記憶装置、磁気ディスク記憶装置などの非一時的なコンピュータ可読媒体に格納されたプログラムに統合されてもよい。あるいは、プログラムは、インターネットを介してサーバからダウンロードされ、プロセッサにより実行されるものとしてもよい。

以上、本発明の技術的内容及び特徴を説明したが、本発明の属する技術分野において通常の知識を有する者であれば、本発明の教示及び開示から逸脱することなく、なお多くの変形及び修正を行うことができる。したがって、本発明の範囲は、既に開示された実施態様に限定されず、本発明から逸脱しない別の変形や修正を含み、特許請求の範囲に含まれる範囲である。

１ 通信システム
１０ ユーザ端末
３０ バックエンドサーバ
４０ ストリーミングサーバ
９０ ネットワーク
３００ サーバ
３０２ エンドポイントモニター
３０４ システムモニター
３０６ 機械学習モデル
３０８ リスク評価ユニット
３１０ エンドポイントデータテーブル
３１２ システムデータテーブル
３１４ 予測テーブル
３１６ 閾値テーブル
５００ Ｋｕｂｅｒｎｅｔｅｓクラスタ
５０２ ポッド
６００ 機械学習モデル
６０２ オートエンコーダ
６０４ トランスフォーマーモデル
６０６ ニューラルネットワーク層
Ｌ１、Ｌ２ 損失
Ｓ４００、Ｓ４０２、Ｓ４０４、Ｓ４０６、Ｓ４０８、Ｓ４１０ 工程
ＥＰ１、ＥＰ２、ＥＰ３、ＥＰ４、ＥＰ５、ＥＰ６ エンドポイント
Ｇ１、Ｇ２、Ｇ３ サービスグループ

Claims (11)

1. 品質予測方法であって、
   第１のエンドポイントのパラメータの値を取得する工程と、
   第２のエンドポイントのパラメータの値を取得する工程と、
   前記第１のエンドポイントの前記パラメータの前記値と、前記第２のエンドポイントの前記パラメータの前記値に基づき、前記第１のエンドポイントの前記パラメータの予測を生成する工程と、を含み、
   前記予測が、未来の一時点における前記第１のエンドポイントの前記パラメータの確率分布情報を含む、ことを特徴とする、品質予測方法。
2. さらに、エンドポイントのグループに対応する仮想空間量を取得する工程を含み、
   前記仮想空間量に基づいて前記第１のエンドポイントの前記パラメータの前記予測が生成され、前記第１のエンドポイントと前記第２のエンドポイントが前記エンドポイントのグループに含められる、ことを特徴とする、請求項１に記載の品質予測方法。
3. 前記第１のエンドポイントの前記パラメータと前記第２のエンドポイントの前記パラメータが遅延である、ことを特徴とする、請求項１に記載の品質予測方法。
4. 前記仮想空間量が、前記サーバ外部で割り当てられた前記エンドポイントのグループに対応するＫｕｂｅｒｎｅｔｅｓポッドの量である、ことを特徴とする、請求項２に記載の品質予測方法。
5. さらに、
   前記第１のエンドポイントの前記パラメータに対して閾値を決定する工程と、
   前記閾値と前記第１のエンドポイントの前記パラメータの確率密度関数に基づいて前記第１のエンドポイントについて機能停止の確率を計算する工程と、を含み、
   前記確率密度関数が、前記確率分布情報に含まれる、ことを特徴とする、請求項１に記載の品質予測方法。
6. さらに、前記第１のエンドポイントの前記パラメータの前記値、前記第２のエンドポイントの前記パラメータの前記値、及び前記仮想空間量を、前記第１のエンドポイントの前記パラメータの前記予測を生成するように構成された機械学習モデルに入力する工程を含み、
   前記機械学習モデルが、前記第１のエンドポイントの前記パラメータの過去の値、前記第２のエンドポイントの前記パラメータの過去の値、及び前記仮想空間量の過去の値で訓練された、ことを特徴とする、請求項２に記載の品質予測方法。
7. 前記機械学習モデルが、前記第１のエンドポイントの前記パラメータと前記第２のエンドポイントの前記パラメータ間の時間的関係を抽出するように構成されたトランスフォーマーモデルを含む、ことを特徴とする、請求項６に記載の品質予測方法。
8. 前記機械学習モデルが、前記第１のエンドポイントの前記パラメータの前記値と、前記第２のエンドポイントの前記パラメータの前記値から、ノイズデータ、トレンドデータ、季節性データを抽出するように構成されたオートエンコーダを含み、前記オートエンコーダの出力が、前記トランスフォーマーモデルの入力として取り込まれる、ことを特徴とする、請求項７に記載の品質予測方法。
9. 前記機械学習モデルが、前記第１のエンドポイントの前記パラメータと前記第２のエンドポイントの前記パラメータ間の空間的関係を抽出するように構成されたグラフ畳み込みネットワークモデルを含む、ことを特徴とする、請求項６に記載の品質予測方法。
10. 品質予測のためのシステムであって、１以上のプロセッサを備え、
    前記１以上のプロセッサが機械可読命令を実行して、
    第１のエンドポイントのパラメータの値を取得する工程と、
    第２のエンドポイントのパラメータの値を取得する工程と、
    前記第１のエンドポイントの前記パラメータの前記値と、前記第２のエンドポイントの前記パラメータの前記値に基づき、前記第１のエンドポイントの前記パラメータの予測を生成する工程と、を実行し、
    前記予測が、未来の一時点における前記第１のエンドポイントの前記パラメータの確率分布情報を含む、ことを特徴とする、品質予測のためのシステム。
11. 品質予測のためのプログラムを含む非一時的なコンピュータ可読媒体であって、
    前記プログラムが、１以上のコンピュータに、
    第１のエンドポイントのパラメータの値を取得する工程と、
    第２のエンドポイントのパラメータの値を取得する工程と、
    前記第１のエンドポイントの前記パラメータの前記値と、前記第２のエンドポイントの前記パラメータの前記値に基づき、前記第１のエンドポイントの前記パラメータの予測を生成する工程と、を実行させ、
    前記予測が、未来の一時点における前記第１のエンドポイントの前記パラメータの確率分布情報を含む、ことを特徴とする、品質予測のためのプログラムを含む非一時的なコンピュータ可読媒体。

Images