JP2022530175A - エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 - Google Patents

エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 Download PDF

Info

Publication number
JP2022530175A
JP2022530175A JP2021520158A JP2021520158A JP2022530175A JP 2022530175 A JP2022530175 A JP 2022530175A JP 2021520158 A JP2021520158 A JP 2021520158A JP 2021520158 A JP2021520158 A JP 2021520158A JP 2022530175 A JP2022530175 A JP 2022530175A
Authority
JP
Japan
Prior art keywords
video
access time
cache
cache replacement
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021520158A
Other languages
English (en)
Other versions
JP7098204B2 (ja
Inventor
暉 張
葉鈞 孫
海涛 趙
雁飛 孫
芸洋 倪
洪波 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Publication of JP2022530175A publication Critical patent/JP2022530175A/ja
Application granted granted Critical
Publication of JP7098204B2 publication Critical patent/JP7098204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2183Cache memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/222Secondary servers, e.g. proxy server, cable television Head-end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本発明に係るエッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法は、ビデオデータを収集するステップと、ランダムフォレストによりビデオデータにおける欠損値を補完処理し、予測モデルを作成するステップと、予測モデルにより平均アクセス時間の長さを予測するステップと、予測結果に基づいてキャッシュ置き換えモデルを作成するステップと、陰伏的列挙法によりキャッシュ置き換えモデルを解き、最終置き換え方法を得るステップと、を含む。本発明は、エッジサーバが大量の動画情報を処理する必要があり、およびビッグデータの処理における機械学習の優れた分析能力を鑑みて、まずは機械学習におけるランダムフォレストアルゴリズムにより動画の週間平均アクセス時間の長さについて予測を行い、そのうえ新しい動画キャッシュ置き換えモデルを提供し、陰伏的列挙法によりモデルを解くことにより、エッジサーバが最大限にコアネットワークの負荷を軽減できるようにしている。また、本発明に係る方法は非常に簡単でかつ実現しやすいため、良好な応用が見込められる。【選択図】図1

Description

本発明は、エッジネットワーク技術分野に関し、具体的には、エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法に関する。
科学技術の発展に伴い、各種規格のポートや装置および様々なサービスや応用がインターネットに接続された結果、ネットワークにおけるサービスリクエストの爆発的成長につながり、さらにはネットワークにおけるトラフィックも急激に成長されてしまい、その中でも主には動画トラフィックが急増している。コアネットワークは、配信サービスやサービスの提供において重要な役割を果たしている。コアネットワークの主な機能の一つは、異なる規格の装置やポートからのネットワーク接続リクエストを、サービス要件に応じて異なるサービスネットワークに接続させ、各サービスリクエストが得られるべきサービスを受けられるようにする。コアネットワークの他の一つの主な機能は、サービス提供側として、各ポートからのサービスリクエストを処理することである。コアネットワーク自体が複数の異なるサービスネットワークを含むため、サービスリクエストを受け付けると、コアネットワークはそれに応じたサービスを提供する必要があるため、サービスリクエストの急増に伴い、コアネットワークの提供するサービスも急激に増えている。このため、サービスリクエストの処理においてもサービスの提供においても、コアネットワークには巨大な負荷が掛けられている。
エッジネットワークは最もユーザに身近なネットワークとして、エッジネットワークは、コアネットワークのためにサービスリクエストの処理負荷を分担する一方、他方ではサービスの提供も割り当てられ、リクエストされたサービスがエッジネットワークにおいても処理可能であれば、エッジネットワークで処理するようにしている。しかしながら、エッジネットワークの演算能力は限界があるため、最大限にコアネットワークのために分散することに当たっては、如何にサービスの効率を向上させることがポイントであり、しかもエッジキャッシュがサービス効率向上のポイントとなっている。エッジキャッシュとは、使用頻度の高いサービスのリソースをエッジサーバにキャッシュさせ、それと関連するサービスリクエストを受け付けると、直接キャッシュからリソースを取得すればよく、エッジサーバにおいて処理できないサービスリクエストであれば再度コアネットワークからリソースを取得するものである。
また、ビッグデータ時代に伴い、機械学習により知識を効率的に獲得することは、既に各技術分野における発展の主な推進力の一つとなっており、エッジネットワーク技術分野においても例外はない。ビッグデータ時代において、データの爆発的成長に伴い、各種分析すべき新しいデータタイプが続々と現れ、たとえば、語義の理解、画像分析、ネットワークデータ分析などのように、機械学習はビッグデータ環境において極めて重要な役割を果たしている。
既存のキャッシュ置き換え方法の多くは、依然として動画人気度を主な基準の一つとし、動画の類似度のような一部の補助基準を加えることで、類似かつ人気度の低い動画が重複キャッシュされることを低減している。動画人気度は動画の単位時間内のアクセス量を反映しており、動画サービスについていえば、エッジサーバにキャッシュされる動画のトータルアクセス量が高いことではコアネットワークに対する負荷の分担が大きいとは言えない。他方で、動画アクセス時間の長さは動画の利用時間を表しているため、エッジサーバの分担される負荷をもっと適切に反映できる。このうえ、動画容量などのような要因を補助基準として加えれば、キャッシュ置き換えの効果はさらに理想的である。
本発明は、上記従来技術における問題点に鑑みてなされたものであり、エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法を提供することを目的とする。
上記目的を達成するための本発明に係るエッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法は、
ビデオデータを収集するステップS1と、
ランダムフォレストによりビデオデータにおける欠損値を補完処理し、予測モデルを作成するステップS2と、
予測モデルにより平均アクセス時間の長さを予測するステップS3と、
予測結果に基づいてキャッシュ置き換えモデルを作成するステップS4と、
陰伏的列挙法によりキャッシュ置き換えモデルを解き、最終置き換え方法を得るステップS5と、
を含む。
さらに、前記ステップS2において、予測モデルを作成することは、
平均アクセス時間の長さを従属変数とし、その他の特徴を独立変数として回帰トレーニングを行い、かつ、データセットの分割を行い、各特徴の重要度のランキングを出力し、ランキングに基づいて特徴を選別して最終モデリング特徴値を得て、モデリング特徴値に基づいて予測モデルを作成することを含む。
さらに、前記ステップS4において、キャッシュ置き換えモデルを作成することは、
エッジサーバキャッシュのサイズをSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t,t,…,t}とし、動画容量の集合をV={v,v,…,v}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、以下の「数1」に示されるようなキャッシュ置き換えモデル作成することを含み、
Figure 2022530175000002
ここで、式{a ,a ,…,a ,b ,b ,…,b }は動画の最適キャッシュ置き換え方法で、aはエッジサーバにおける第i部の動画を表し、a=0は動画iが置き換えられる必要があることを表し、a=1は動画iが置き換えられる必要がないことを表し、bはクラウドにおける第j部の動画を表し、b=0は動画jが継続してクラウドに保存される必要がなく、エッジサーバに置き換える必要があることを表し、b=1は動画jが依然としてクラウドに保存される必要があり、エッジサーバに置き換える必要はないことを表し、また、項(ai×ti)/viはアクセス時間の長さにより基準を置き換える際のエッジサーバの置き換えコストパフォーマンスを表し、二つの可能性があるが、a=0の場合、上の項は0であるため、実質的な意義がなく、a=1の場合、動画iのアクセス時間の長さと動画iの容量の比を表し、このため、項(ai×ti)/viを動画iのキャッシュ置き換えのコストパフォーマンスを表すものと定義し、同様に、項((1-b)×t)/vは動画jのクラウドキャッシュ置き換えのコストパフォーマンスを表し、b=1の際、該項は0で、実質的な意義がない。
さらに、前記ステップS5において、キャッシュ置き換えモデルを解くことは、
トータルアクセス時間の長さのコストパフォーマンスを、
Figure 2022530175000003
とし、エッジサーバキャッシュの容量をSとし、毎回演算して得られた新しいトータルアクセス時間の長さをTC’とし、列挙数を減らすために初期条件を
Figure 2022530175000004
とし、ここで、{a,a,…,aK}の部分はキャッシュ置き換え前の動画キャッシュ集合であり、{b,b,…,b}の部分はクラウドにおける動画初期キャッシュ集合であり、初期条件を式(2)に代入すれば、初期トータルアクセス時間の長さのコストパフォーマンスTCが求められ、新たな制約条件として
Figure 2022530175000005
を追加し、制約条件である式(3)、キャッシュ置き換えモデルにおける二つの制約式について反復演算することにより最適な{a ,a ,…,a ,b ,b ,…,b }置き換え方法を得ることを含む。
さらに、前記反復演算は、新たに追加した制約条件である式(3)を「制約式A」とし、キャッシュ置き換えモデルにおける二つの制約条件である式をそれぞれ[制約式B]および[制約式C]とし、
(1)後ろから前に向かって集合{a,a,…,aK}における一部のキャッシュされた動画を置き換え、すなわち、該動画のa=1をa=0にすることと、
(2)後ろから前に向かって集合{b,b,…,b}を走査し、新たなトータルアクセス時間の長さTCを演算することと、
(3)TCとTCを比較し、TC≧TCであれば、TCを新たな値TCとし、すなわち、TC=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらないことと、
(4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらないことと、
(5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TCは新しい値で、ここで剪定を行い、すなわち、集合{b,b,…,b}に対する走査をやめ、ステップ(1)から次回の反復演算を始めることと、
を含む。
本発明は、エッジサーバが大量の動画情報を処理する必要があり、およびビッグデータの処理における機械学習の優れた分析能力を鑑みて、機械学習におけるランダムフォレストアルゴリズムにより動画の週間平均アクセス時間の長さについて予測を行い、そのうえ新しい動画キャッシュ置き換え方法を提供した。該方法では、ランダムフォレストアルゴリズムによりモデルを作成するため、予測精度が高い。また、該方法は非常に簡単でかつ実現しやすいため、良好な応用が見込められる。
本発明は、従来技術に対して、次の有益な効果を奏する。本発明では、エッジサーバが大量の動画情報を処理する必要があり、およびビッグデータの処理における機械学習の優れた分析能力を鑑みて、まずは機械学習におけるランダムフォレストアルゴリズムにより動画の週間平均アクセス時間の長さについて予測を行い、そのうえ新しい動画キャッシュ置き換えモデルを提供し、陰伏的列挙法によりモデルを解くことにより、エッジサーバの容量が一定である場合でも、エッジサーバにキャッシュされる動画の週間平均アクセス時間の長さが最も長く、アクセス時間の長さはエッジサーバによるコアネットワークに対して分担する負荷の大きさを表すため、本発明に係る置き換えモデルによれば、エッジサーバが容量一定の条件のもとでも最大限にコアネットワークの負荷を軽減できるようにしている。また、本発明に係る方法は非常に簡単でかつ実現しやすいため、良好な応用が見込められる。
本発明に係る方法のフロチャートである。 キャッシュ置き換えを説明するための図である。 動画の週間平均アクセス時間の長さと実際の週間平均アクセス時間の長さとを比較した図である。 動画の週間平均アクセス時間の長さのコストパフォーマンスと実際の週間平均アクセス時間の長さのコストパフォーマンスとを比較した図である。 動画の週間平均アクセス時間の長さ予測精度および週間平均アクセス時間の長さのコストパフォーマンス予測精度の時間に応じた変化を示す図である。 キャッシュ置き換え率および週間アクセス時間の長さの増加率の時間に応じた変化を示す図である。
以下、図面を参照しながら具体的な実施例により、本発明について詳細に説明する。
図1に示すように、本発明に係るエッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVOD(Video On Demand)サービスキャッシュ置き換え方法は、ランダムフォレストにより動画アクセス時間の長さについてモデリングおよび予測を行うことと、予測結果に基づいてキャッシュ置き換えモデルを作成することと、陰伏的列挙法(Implicit enumeration method)によりキャッシュ置き換えモデルを解くこと、とを含む。具体的な処理の流れは、以下のとおりである。
<一、ランダムフォレストによる動画アクセス時間のモデリングおよび予測>
(1)サンプル動画データの収集およびデータの前処理
動画放送プラットフォームの映画ライブラリからランダムに10万部の動画情報を収集してサンプルデータセット(集合)とし、サンプルデータセットにおける動画データについて前処理を行う。具体的には、週を単位として、動画情報の一週間内のデータについて平均を求める。動画情報は、配信時間、映画ランキング、注目度、「いいね」の数、コメントの数、評点および動画アクセス時間の長さなどを含む。データは小数点以下第一位まで残し、映画ランキングや配信日数などのような小数で表せないデータについては、求めた平均値を整数値に四捨五入する。また、配信時間が一週間未満の動画については、残りの日数に対応するデータを0で補完する。アクセス時間の長さとは、連続でアクセスした時間の長さであり、アクセス日誌において二回アクセスの間の時間間隔が60秒より小さい場合を指す。ユーザが誤ってクリックしたりコマーシャルをスキップしたりした場合は、放送停止ではないため、これによる間隔(途切れ)は時間間隔としてカウントしない。
(2)ランダムフォレストアルゴリズムによるモデリングおよび予測
続いて、ランダムフォレストアルゴリズムにより欠損値を補完処理し、仮にある特徴に欠損がある場合、該特徴をラベルとし、残りのその他の特徴で新しい特徴マトリクスを構築する。もしその他の特徴においても欠損がある場合、すべての特徴を走査し、欠損値が最も少ない特徴から始めるが、これは欠損値が少なければ少ないほど必要とされる正確な情報も少ないからである。ある一つの特徴について補完処理を行う場合、まずはその他の特徴の欠損値を0で代替し、一回反復処理を行うたびに欠損値のある特徴を一つ減らせる。
データセットにおける60%のデータをトレーニングセットにし、40%のデータをテストセットにし、配信時間、映画ランキング、注目度、「いいね」の数、コメントの数および評点を独立変数(引数)にして、週間平均アクセス時間の長さを予測ターゲットにしてモデリングを行い、予測モデルを作成して、予測値を得る。特徴重要度を出力し、重要度が比較的に低い特徴を削除することでモデルの複雑度を低減し、かつ、パラメータを調整することによりモデルの予測精度が理想的な値となるようにして、最終モデルを得る。このように作成したモデルにより来週の動画週間平均アクセス時間の長さを予測する。
<二、キャッシュ置き換えモデルの作成>
あるエッジサーバキャッシュの容量(サイズ)をSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t,t,…,t}とし、動画容量の集合をV={v,v,…,v}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、キャッシュ置き換えのイメージは図2に示されるとおりであり、図におけるキャッシュ置き換えの順序は実際の置き換えの順序を表したものではなく、以下の「数5」に示されるようなキャッシュ置き換えモデル作成する。
Figure 2022530175000006
ここで、式{a ,a ,…,a ,b ,b ,…,b }は動画の最適キャッシュ置き換え方法で、aはエッジサーバにおける第i部の動画を表し、a=0は動画iが置き換えられる必要があることを表し、a=1は動画iが置き換えられる必要がないことを表し、bはクラウドにおける第j部の動画を表し、b=0は動画jが継続してクラウドに保存される必要がなく、エッジサーバに置き換える必要があることを表し、b=1は動画jが依然としてクラウドに保存される必要があり、エッジサーバに置き換える必要はないことを表す。また、項(ai×ti)/viはアクセス時間の長さにより基準を置き換える際のエッジサーバの置き換えコストパフォーマンスを表し、二つの可能性がある。a=0の場合、上の項は0であるため、実質的な意義がない。a=1の場合、動画iのアクセス時間の長さと動画iの容量の比を表し、該比の値によりアクセス時間の長さと動画容量とのバランスをとる。
たとえば、動画iを予測して得られたアクセス時間の長さが長く、同時に該動画の容量が非常に大きいと、膨大なエッジサーバキャッシュメモリを占めるため、このような動画の数が多ければ、必然的にエッジサーバにおいてキャッシュできる動画が大幅に低減されるため、キャッシュ置き換えの効果が保証できなくなる。このため、項(ai×ti)/viを定義して動画iのキャッシュ置き換えのコストパフォーマンスを表すものとし、動画キャッシュ置き換えのコストパフォーマンスの最大化を最適化の目的とする。同様に、項((1-b)×t)/vは動画jのクラウドキャッシュ置き換えコストパフォーマンスを表し、b=1の際、該項は0で、実質的な意義がなく、b=0の際、その物理的意義は上述のとおりである。第一の制約条件は、クラウドキャッシュからエッジサーバに置き換える動画のトータル容量はエッジサーバにおいてキャッシュ置き換えされる動画のトータル容量以下であることを表し、そうでなければエッジサーバキャッシュでは置き換えられる動画を保存できない。第二の制約条件は、エッジサーバおける置き換えされなかった動画とクラウドからエッジサーバに置き換えた動画の容量の和はエッジサーバキャッシュ容量以下であることを表す。
<三、陰伏的列挙法によるキャッシュ置き換えモデルの作成>
上述のモデルは、本質的には0~1の整数計画問題であり、陰伏的列挙法によりこの問題を解き、検査変数は0または1の組み合わせの一部であり、目標関数値を比較して、最適解を求める。
まず、実行可能解を見つけ出し、フィルタ条件を生成する。フィルタ条件は、すなわち目標関数値が計算済みの実行可能解目標関数値より最適であるという制約条件である。トータルアクセス時間の長さのコストパフォーマンスを、
Figure 2022530175000007
とし、エッジサーバキャッシュの容量をSとし、毎回演算して得られた新しいトータルアクセス時間の長さをTC’とし、列挙数を減らすために初期条件を
Figure 2022530175000008
とし、ここで、{a,a,…,aK}の部分集合はキャッシュ置き換え前の動画キャッシュ集合であり、{b,b,…,b}の部分はクラウドにおける動画初期キャッシュ集合であり、初期条件を上記式(2)に代入すれば、初期トータルアクセス時間の長さのコストパフォーマンスTCが求められ、新たな制約条件として
Figure 2022530175000009
を追加し、ここで、TCは毎回反復計算後に得られるトータルアクセス時間の長さのコストパフォーマンスであり、反復計算において有効に剪定し、置き換え率を最大にするため、最適化目標を係数にしたがって順序よく配列し、集合{a,a,…,aK}における変数をコストパフォーマンス係数にしたがって大きいほうから小さいほうまで配列し、集合{b,b,…,b}における変数をコストパフォーマンス係数にしたがって小さいほうから大きいほうまで配列する。走査する際、二つの部分集合ともに右から左へ走査するが、このような順序でソートする目的は、コストパフォーマンスが比較的に小さい動画を優先的に置き換え、置き換えする際、クラウドからはコストパフォーマンスが比較的に大きい動画から置き換えし始め、剪定の効果を達成するためである。
新たに追加した制約条件の式(3)を[制約式A]とし、キャッシュ置き換えモデル(1)における制約式を順番に[制約式B]および[制約式C]とすれば、演算過程は以下に示すステップを含む。
(1)後ろから前に向かって集合{a,a,…,aK}における一部のキャッシュされた動画を置き換える。すなわち、該動画のa=1をa=0にする。
(2)後ろから前に向かって集合{b,b,…,b}を走査し、新たなトータルアクセス時間の長さTCを演算する。
(3)TCとTCを比較し、TC≧TCであれば、TCを新たな値TCとし、すなわち、TC=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらない。
(4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらない。
(5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TCは新しい値で、ここで剪定を行い、すなわち集合{b,b,…,b}に対する走査をやめ、ステップ(1)から次回の反復演算を始める。
上述の反復演算過程において、集合{b,b,…,b}において同時に1から0に変わる動画により集合{a,a,…,aK}における1から0に変わる動画を置き換える。実際の動画置き換えでは、一つの動画の容量が大きいから、同時に二つまたは三つおよびそれ以上の動画に置き換えられる場合は非常に少ないため、複数の動画により一つの動画を置き換えることは考えなくてもよい。すなわち、集合{b,b,…,b}を走査する際、集合{b,b,…,b}において二つまたはそれ以上同時に変化することは考えなくてもよく、これで反復の回数および演算量が大幅に低減され、最終的には最適な{a ,a ,…,a ,b ,b ,…,b }置き換え方法が得られる。
本実施形態では、既存データのシミュレーション結果により本発明に係るキャッシュ置き換えの効果を説明する。まず、ランダムフォレストアルゴリズムの効果について説明する。テスト動画セットをc={c,c,…,c}とし、その予測週間平均アクセス時間の長さの集合をt={t,t,…,t}とし、実際の動画の週間平均アクセス時間の長さの集合をt’={t’,t’,…,t’}とすれば、週間平均アクセス時間の長さの予測精度(予測正確率)は、
Figure 2022530175000010
である。上式において、第二項は予測で得られたアクセス時間の長さの誤差が実際のトータルアクセス時間の長さで占める比を表し、該比の値が小さければ小さいほど予測効果がよいことが示す。週間平均アクセス時間の長さと実際の週間平均アクセス時間の長さとの比較図は図3に示されるとおりで、演算によればPat=95.1%である。
予測週間平均アクセス時間の長さのコストパフォーマンスの集合をtp={tp,tp,…,tp}とし、実際の週間平均アクセス時間の長さのコストパフォーマンスの集合をtp’={tp’,tp’,…,tp’}とすれば、週間平均アクセス時間の長さのコストパフォーマンスの予測精度を
Figure 2022530175000011
と定義できる。週間平均アクセス時間の長さのコストパフォーマンスと実際の週間平均アクセス時間の長さのコストパフォーマンスとの比較図は図4に示されるとおりで、演算によればPtp=94.7%である。
以上の結果によれば、本発明に係るランダムフォレストによる予測結果の精度は非常に高いことがわかる。続いて、キャッシュ置き換えモデルの置き換え効果についてシミュレーションにて検証する。キャッシュ置き換え前にキャッシュされた動画集合をcとし、ここでuはエッジサーバにおけるキャッシュされた動画の数であり、キャッシュ置き換え後の動画集合をc’とし、動画のキャッシュ置き換え率は
Figure 2022530175000012
と定義できる。演算によれば、Pre=11.6%である。
キャッシュ置き換え前のエッジサーバにおいてキャッシュされた動画の週間平均アクセス時間の長さをt={t,t,…,t}とし、キャッシュ置き換え後のエッジサーバにおいてキャッシュされた動画の週間平均アクセス時間の長さをtc’={t,t,…,t}とし、アクセス時間の長さの増加率を
Figure 2022530175000013
と定義できる。上式(7)はキャッシュ置き換え後の動画の週間平均アクセス時間の長さの和とキャッシュ置き換え前の動画の週間平均アクセス時間の長さの和との間の差と、キャッシュ置き換え前の動画の週間平均アクセス時間の長さの和との比を表し、P≦0であれば、キャッシュ置き換え後の動画のアクセス時間の長さがキャッシュ置き換え前の動画のアクセス時間の長さに及ばないかまたはキャッシュ置き換え前と差がないことを表し、すなわち、キャッシュ置き換え後、エッジサーバによるコアネットワークに対する負荷の分担は増えておらずまたはさらに小さくなっているため、キャッシュ置き換えの効果が非常に悪いことを意味する。一方、P>0であれば、キャッシュ置き換え後の動画のアクセス時間の長さがキャッシュ置き換え前の動画のアクセス時間の長さより大きいことを表し、すなわち、キャッシュ置き換え後、エッジサーバによるコアネットワークに対する負荷の分担が大きくなっていることを意味する。Pの値が大きければ大きいほど、キャッシュ置き換え後のエッジサーバによるコアネットワークに対する負荷分担が大きくなる。演算によれば、P=8.7%であり、本発明に係るキャッシュ置き換えモデルは有効にエッジサーバによるコアネットワークに対する負荷量の分担が増えたことがわかる。
週間予測モデルおよびキャッシュ置き換えモデルの時間に伴う変化のシミュレーションは図5および図6に示されるとおりである。これらの図から、週間平均アクセス時間の長さの予測精度および週間平均アクセス時間の長さのコストパフォーマンスの予測精度は、時間の推移に伴って低下することがわかり、キャッシュ置き換え率およびアクセス時間の長さの増加率は時間の推移に伴って向上し、特にキャッシュ置き換え率の向上がより速いことがわかる。しかしながら、曲線全体の時間に伴う変化は比較的に穏やかで、大きな波がない。このため、本発明は実際の応用におけるアルゴリズムの更新頻度、演算リソースを節約する。

Claims (5)

  1. エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくVODサービスキャッシュ置き換え方法であって、
    ビデオデータを収集するステップS1と、
    ランダムフォレストによりビデオデータにおける欠損値を補完処理し、予測モデルを作成するステップS2と、
    予測モデルにより平均アクセス時間の長さを予測するステップS3と、
    予測結果に基づいてキャッシュ置き換えモデルを作成するステップS4と、
    陰伏的列挙法によりキャッシュ置き換えモデルを解き、最終置き換え方法を得るステップS5と、
    を含む、方法。
  2. 前記ステップS2において、予測モデルを作成することは、
    平均アクセス時間の長さを従属変数とし、その他の特徴を独立変数として回帰トレーニングを行い、かつ、データセットの分割を行い、各特徴の重要度のランキングを出力し、ランキングに基づいて特徴を選別して最終モデリング特徴値を得て、モデリング特徴値に基づいて予測モデルを作成することを含むことを特徴とする、請求項1に記載の方法。
  3. 前記ステップS4において、キャッシュ置き換えモデルを作成することは、
    エッジサーバキャッシュのサイズをSとし、テストセットにおけるエッジサーバキャッシュに保存できない動画がクラウドに保存され、テストセットにおける全ての動画の予測アクセス時間の長さの集合をT={t,t,…,t}とし、動画容量の集合をV={v,v,…,v}とし、ここでKはテストセットにおける動画のトータル数であり、キャッシュ置き換え前のエッジサーバキャッシュに保存されている動画の数をRとし、クラウドにおける動画がQ部あるとし、そうするとK=R+Qであり、以下の「数1」に示されるようなキャッシュ置き換えモデル作成することを含み、
    Figure 2022530175000014
    ここで、式{a ,a ,…,a ,b ,b ,…,b }は動画の最適キャッシュ置き換え方法で、aはエッジサーバにおける第i部の動画を表し、a=0は動画iが置き換えられる必要があることを表し、a=1は動画iが置き換えられる必要がないことを表し、bはクラウドにおける第j部の動画を表し、b=0は動画jが継続してクラウドに保存される必要がなく、エッジサーバに置き換える必要があることを表し、b=1は動画jが依然としてクラウドに保存される必要があり、エッジサーバに置き換える必要はないことを表し、また、項(ai×ti)/viはアクセス時間の長さにより基準を置き換える際のエッジサーバの置き換えコストパフォーマンスを表し、二つの可能性があるが、a=0の場合、上の項は0であるため、実質的な意義がなく、a=1の場合、動画iのアクセス時間の長さと動画iの容量の比を表し、このため、項(ai×ti)/viを動画iのキャッシュ置き換えのコストパフォーマンスを表すものと定義し、同様に、項((1-b)×t)/vは動画jのクラウドキャッシュ置き換えのコストパフォーマンスを表し、b=1の際、該項は0で、実質的な意義がないことを特徴とする、請求項1に記載の方法。
  4. 前記ステップS5において、キャッシュ置き換えモデルを解くことは、
    トータルアクセス時間の長さのコストパフォーマンスを、
    Figure 2022530175000015
    とし、エッジサーバキャッシュの容量をSとし、毎回演算して得られた新しいトータルアクセス時間の長さをTC’とし、列挙数を減らすために初期条件を
    Figure 2022530175000016
    とし、ここで、{a,a,…,aK}の部分はキャッシュ置き換え前の動画キャッシュ集合であり、{b,b,…,b}の部分はクラウドにおける動画初期キャッシュ集合であり、初期条件を式(2)に代入すれば、初期トータルアクセス時間の長さのコストパフォーマンスTCが求められ、新たな制約条件として
    Figure 2022530175000017
    を追加し、制約条件である式(3)、キャッシュ置き換えモデルにおける二つの制約式について反復演算することにより最適な{a ,a ,…,a ,b ,b ,…,b }置き換え方法を得るを含むことを特徴とする、請求項3に記載の方法。
  5. 前記反復演算は、新たに追加した制約条件である式(3)を「制約式A」とし、キャッシュ置き換えモデルにおける二つの制約条件である式をそれぞれ[制約式B]および[制約式C]とし、
    (1)後ろから前に向かって集合{a,a,…,aK}における一部のキャッシュされた動画を置き換え、すなわち、該動画のa=1をa=0にすることと、
    (2)後ろから前に向かって集合{b,b,…,b}を走査し、新たなトータルアクセス時間の長さTCを演算することと、
    (3)TCとTCを比較し、TC≧TCであれば、TCを新たな値TCとし、すなわち、TC=TCにして、次のステップ(4)に処理を進み、そうでなければステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらないことと、
    (4)制約条件である「制約式B」を演算し、条件を満たすなら、ステップ(5)に処理を進み、そうでなければ、ステップ(1)に処理を戻し、次回の反復演算を行い、TCは変わらないことと、
    (5)制約条件である「制約式C」を演算し、条件を満たすなら、今回の反復はすべての制約条件をみたすため、TCは新しい値で、ここで剪定を行い、すなわち、集合{b,b,…,b}に対する走査をやめ、ステップ(1)から次回の反復演算を始めることと、
    を含むことを特徴とする、請求項4に記載の方法。
JP2021520158A 2020-04-20 2020-04-24 エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法 Active JP7098204B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010311152.9A CN111629216B (zh) 2020-04-20 2020-04-20 边缘网络环境下基于随机森林算法的vod业务缓存替换方法
CN202010311152.9 2020-04-20
PCT/CN2020/086550 WO2021212444A1 (zh) 2020-04-20 2020-04-24 边缘网络环境下基于随机森林算法的vod业务缓存替换方法

Publications (2)

Publication Number Publication Date
JP2022530175A true JP2022530175A (ja) 2022-06-28
JP7098204B2 JP7098204B2 (ja) 2022-07-11

Family

ID=72273187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021520158A Active JP7098204B2 (ja) 2020-04-20 2020-04-24 エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法

Country Status (3)

Country Link
JP (1) JP7098204B2 (ja)
CN (1) CN111629216B (ja)
WO (1) WO2021212444A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073752B (zh) * 2020-09-08 2022-04-22 北京一起教育信息咨询有限责任公司 一种多线路流量分配的方法、装置及电子设备
CN114584801B (zh) * 2022-01-13 2022-12-09 北京理工大学 一种基于图神经网络推荐算法的视频资源缓存方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996996A (zh) * 2006-12-19 2007-07-11 北京邮电大学 用于移动流媒体代理服务器的流媒体文件的缓存方法
JP2008234352A (ja) * 2007-03-20 2008-10-02 Nec Corp 欠損値補完方法及び装置
WO2009113371A1 (ja) * 2008-03-12 2009-09-17 日本電気株式会社 コンテンツ情報提示装置、コンテンツ情報提示システム及びそれに用いるコンテンツ情報提示方法
US20160055121A1 (en) * 2014-08-20 2016-02-25 National Tsing Hua University Node-based sequential implicit enumeration method and system thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150201223A1 (en) * 2010-11-02 2015-07-16 InnFlicks Media Group, LLC Processing, storing, and delivering digital content
US9147129B2 (en) * 2011-11-18 2015-09-29 Honeywell International Inc. Score fusion and training data recycling for video classification
US10235605B2 (en) * 2013-04-10 2019-03-19 Microsoft Technology Licensing, Llc Image labeling using geodesic features
CN104053024B (zh) * 2014-06-19 2017-02-01 华东师范大学 一种基于少量数据的短期视频点播量预测***
CN104822068A (zh) * 2015-04-29 2015-08-05 四达时代通讯网络技术有限公司 流媒体代理缓存替换方法及装置
CN108510096A (zh) * 2017-02-24 2018-09-07 百度在线网络技术(北京)有限公司 商户流失预测方法、装置、设备及存储介质
KR20180105351A (ko) * 2017-03-15 2018-09-28 한국전자통신연구원 맞춤형 광고 영상 전송 서비스 장치 및 그 동작 방법
CN109788319B (zh) * 2017-11-14 2020-06-09 中国科学院声学研究所 一种数据缓存方法
CN108259929B (zh) * 2017-12-22 2020-03-06 北京交通大学 一种视频活跃期模式的预测及缓存方法
CN108322819B (zh) * 2018-01-18 2020-07-21 北京奇艺世纪科技有限公司 预测用户行为的方法及装置
CN108600836B (zh) * 2018-04-03 2020-11-13 北京奇艺世纪科技有限公司 一种视频处理方法及装置
CN108833468B (zh) * 2018-04-27 2021-05-11 广州西麦科技股份有限公司 基于移动边缘计算的视频处理方法、装置、设备及介质
CN109523086B (zh) * 2018-11-26 2021-08-24 浙江蓝卓工业互联网信息技术有限公司 基于随机森林的化工产品的质量预测方法及***
CN110891283A (zh) * 2019-11-22 2020-03-17 超讯通信股份有限公司 一种基于边缘计算模型的小基站监控装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1996996A (zh) * 2006-12-19 2007-07-11 北京邮电大学 用于移动流媒体代理服务器的流媒体文件的缓存方法
JP2008234352A (ja) * 2007-03-20 2008-10-02 Nec Corp 欠損値補完方法及び装置
WO2009113371A1 (ja) * 2008-03-12 2009-09-17 日本電気株式会社 コンテンツ情報提示装置、コンテンツ情報提示システム及びそれに用いるコンテンツ情報提示方法
US20160055121A1 (en) * 2014-08-20 2016-02-25 National Tsing Hua University Node-based sequential implicit enumeration method and system thereof

Also Published As

Publication number Publication date
WO2021212444A1 (zh) 2021-10-28
CN111629216B (zh) 2021-04-06
CN111629216A (zh) 2020-09-04
JP7098204B2 (ja) 2022-07-11

Similar Documents

Publication Publication Date Title
Lakshminarasimhan et al. Scalable in situ scientific data encoding for analytical query processing
JP5147162B2 (ja) オブジェクトの類似性を異種の関係に基づいて判定するための方法およびシステム
Tu et al. An analytical study of peer-to-peer media streaming systems
JP7098204B2 (ja) エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくvodサービスキャッシュ置き換え方法
Cacheda et al. A case study of distributed information retrieval architectures to index one terabyte of text
CN104822068A (zh) 流媒体代理缓存替换方法及装置
CN111159563B (zh) 用户兴趣点信息的确定方法、装置、设备及存储介质
CN111966495B (zh) 数据处理方法和装置
CN111881358B (zh) 一种对象推荐***、方法、装置、电子设备和存储介质
CN114503128A (zh) 加速嵌入层计算
CN112214328B (zh) 一种用于同构多链中交易处理的负载均衡方法
Wei et al. Autoias: Automatic integrated architecture searcher for click-trough rate prediction
Lattuada et al. Performance prediction of deep learning applications training in GPU as a service systems
CN107330083B (zh) 等宽直方图并行构建方法
CN111629217B (zh) 边缘网络环境下基于XGBoost算法的VOD业务缓存优化方法
CN112218114A (zh) 视频缓存控制方法、装置和计算机可读存储介质
Chen et al. A user dependent web service QoS collaborative prediction approach using neighborhood regularized matrix factorization
CN114945024A (zh) 基于长短期记忆网络的服务器负载均衡优化方法
CN114579294B (zh) 云原生环境下支持服务负载激增预测的容器弹性伸缩***
Lu et al. NPIY: A novel partitioner for improving mapreduce performance
CN113901278A (zh) 一种基于全局多探测和适应性终止的数据搜索方法和装置
Zhen et al. Improved Hybrid Collaborative Fitering Algorithm Based on Spark Platform
Li et al. A partition model and strategy based on the Stoer–Wagner algorithm for SaaS multi-tenant data
Wu et al. Enhancing Recommendation Capabilities Using Multi-Head Attention-Based Federated Knowledge Distillation
de Oliveira et al. SmarT: Machine learning approach for efficient filtering and retrieval of spatial and temporal data in big data

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210410

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210410

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R150 Certificate of patent or registration of utility model

Ref document number: 7098204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150