JP2019512126A - 機械学習システムをトレーニングする方法及びシステム - Google Patents

Abstract

本出願は、機械学習システムをトレーニングする方法及びシステムを開示している。機械学習システムをトレーニングするべく、複数のサンプルデータが使用されている。方法は、複数のサンプルセットを取得することであって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、ことと、サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定することと、サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得することと、サンプリングされた複数のサンプルセットの重要性値を個々に判定することと、補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正することと、機械学習システムをトレーニングするべく、補正済みのサンプルデータを機械学習システムに入力することと、を含む。本出願の実施形態によれば、サンプルデータは、機械学習システムに入力される前に処理されており、従って、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

Description

本出願は、２０１６年２月２９日付けで出願されると共に「METHOD AND SYSTEM FOR TRAINING MACHINE LEARNING SYSTEM」という名称を有する中国特許出願第２０１６１０１１３７１６．１号の優先権を主張するものであり、この特許文献の内容は、引用により、そのすべてが本明細書に包含される。

技術分野
本出願は、ビッグデータ処理の分野に関し、更に詳しくは、機械学習システムをトレーニングする方法及びシステムに関する。

背景技術
現在のビッグデータ時代においては、インターネットの会社による膨大なデータの取得は、非常に容易である。不完全な統計ではあるが、Google（登録商標）は、２０１２年に、３０億件のクエリ／３００億件の広告を日々有し、Facebook（登録商標）ユーザーは、２０１３年に、４３億個のコンテンツを日々共有しており、Alibabaは、２０１５年のダブルイレブン（Double Eleven）の日に、７億件超のトランザクションを有していた。これらの会社は、ユーザーの興味／振る舞い／習慣及びこれらに類似したものを含む、データ内の金を採掘するべく、機械学習システムを使用している。

機械学習システムは、ユーザーの振る舞いを予測するべく、人間の脳を模倣したニューラルネットワークとして設計されている。機械学習システムは、稼働の前に、大規模なデータを使用してトレーニングする必要がある。但し、トレーニングの際には、大規模なデータを効率的に処理するべく、大規模な機械リソースを使用しなければならない。例えば、Tencent社の広告データは、一般に、ＰＢレベルのものであり、且つ、１０００個超の機械を使用しなければならず、これは、大部分の会社にとって巨大な費用である。

一般的な処理方式は、費用を低減すると共に機械学習システムの効率を改善するべく、ランダムサンプリングにより、機械学習システムによって処理されるデータ量を低減する、というものである。ランダムサンプリングとは、特定の確率においてサンプルを破棄することを意味している。例えば、０〜１の範囲の浮動小数点数が、それぞれのサンプルごとに生成され、サンプルは、その浮動小数点数が閾値を上回っている際に、直接的に破棄される。但し、サンプルをランダムに破棄する方式は、大量の有用なデータを破棄することになり、その結果、機械学習システムのトレーニング効果が損なわれ、且つ、予測精度も低減される。

発明の概要
上述の問題点に鑑み、本出願の実施形態は、上述の問題に対処しうる、或いは、上述の問題を少なくとも部分的に解決しうる、機械学習システムをトレーニングする方法及びシステムを提供するべく、提案されている。

上述の問題点を解決するべく、本出願の一実施形態は、機械学習システムをトレーニングする方法を開示し、この場合に、機械学習システムをトレーニングするべく、複数のサンプルデータ（multiple pieces of sample data）が使用されており、且つ、トレーニング方法は、
複数のサンプルセットを取得することであって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、ことと、
サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルに対応するサンプリングレートを設定することと、
サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得することと、
サンプリングされた複数のサンプルセットの重要性値を個々に判定することと、
補正済みのサンプルデータを取得するべく、重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのすべてを補正することと、
機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれを機械学習システムに入力することと、
を含む。

本出願の別の実施形態は、機械学習システムをトレーニングするシステムを開示し、この場合に、機械学習システムをトレーニングするべく、複数のサンプルデータが使用されており、且つ、トレーニングシステムは、
複数のサンプルセットを取得するように構成された第１取得モジュールであって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、第１取得モジュールと、
サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するように構成されたサンプリングレート設定モジュールと、
サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得するように構成された第２取得モジュールと、
サンプリングされた複数のサンプルセットの重要性値を個々に設定するように構成された重要性値判定モジュールと、
補正済みのンプルデータを取得するべく、対応する重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正するように構成されたサンプルデータ補正モジュールと、
機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれを機械学習システムに入力するように構成されたトレーニングモジュールと、
を含む。

本出願の実施形態は、本出願の実施形態が、サンプリング期間に従って分割されたサンプルセットを取得することと、サンプリング期間に従ってそれぞれのサンプルセットのサンプリングレートを設定することと、サンプリングレートに従ってサンプリングを実施することと、サンプリングされたサンプルセットの重要性値を判定することと、重要性値を使用することにより、サンプルデータを補正することと、トレーニングのためにサンプルデータを機械学習システムに入力することと、を含む、機械学習システムをトレーニングする方法及びシステムを開示しており、この場合に、サンプルデータは、機械学習システムに入力される前に、処理されている、という利点を少なくとも有する。機械学習システムによって処理されるデータ量が低減される一方で、重要なデータの採用レート及び利用程度が保証され、且つ、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

図１は、本出願の第１実施形態による機械学習システムをトレーニングする方法のフローチャートである。 図２は、本出願の第２実施形態による機械学習システムをトレーニングする方法のフローチャートである。 図３は、本出願の第３実施形態による機械学習システムをトレーニングする方法のフローチャートである。 図４は、本出願の第４実施形態による機械学習システムをトレーニングするシステムのブロック図である。 図５は、本出願の第５実施形態による機械学習システムをトレーニングするシステムのブロック図である。 図６は、本出願の第６実施形態による機械学習システムをトレーニングするシステムのブロック図である。

詳細な説明
以下、本出願の実施形態における添付図面を通じて、本出願の実施形態における技術的解決策について、明瞭且つ十分に説明することとする。記述されている実施形態は、本出願の実施形態の、すべてではなく、一部分であるに過ぎないことが明らかである。本出願の実施形態に基づいて当業者によって案出されるすべてのその他の実施形態は、本出願の保護範囲に含まれる。

本出願の核心概念の１つは、機械学習システムをトレーニングする方法及びシステムを提案することにある。機械学習システムをトレーニングするべく、複数のサンプルデータが使用されている。方法は、サンプルデータのサンプリング期間に従ってサンプルデータを複数のサンプルセットに分割することと、サンプリング期間に従って、それぞれのサンプルセットごとにサンプリングレートを設定することと、サンプリングレートに従ってそれぞれのサンプルセットをサンプリングし、それぞれのサンプリングされたサンプルセットに対応する重要性値を変更することと、重要性値を使用することにより、サンプルデータのそれぞれを補正し、機械学習システムをトレーニングするべく、補正済みのサンプルデータを機械学習システムに入力することと、を含む。

第１実施形態
本出願の第１実施形態は、機械学習システムをトレーニングする方法を提供している。図１は、本出願の第１実施形態による機械学習システムをトレーニングする方法のフローチャートを示している。この実施形態において提供される機械学習システムをトレーニングする方法は、以下のステップを含む。

Ｓ１０１：複数のサンプルセットが取得され、この場合に、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む。

このステップにおいては、サンプルデータのそれぞれは、例えば、ベクトルであり、且つ、ベクトルの１つの次元は、例えば、サンプルデータのサンプリング時間である。このステップにおいては、すべてのサンプルデータのサンプリング時間が複数のサンプリング期間に分割され、且つ、それぞれのサンプルセットがサンプリング期間に対応している状態において、複数のサンプルデータが、サンプリング期間に従って複数のサンプルセットに分割されている。

例えば、すべてのサンプルデータのサンプリング時間が１月２４日〜１月２９日であり、従って、サンプリング時間は、例えば、１月２９日、１月２７日〜１月２８日、及び１月２４日〜１月２６日を含む３つのサンプリング期間などの、複数のサンプリング期間に分割されてもよい。上述の３つのサンプリング期間の場合には、サンプルデータは、１月２９日においてサンプリングされたサンプルセット、１月２７日〜１月２８日においてサンプリングされたサンプルデータセット、及び１月２４日〜１月２６日においてサンプリングされたサンプルセットに分割される。従って、それぞれのサンプルセットが１つのサンプリング期間に対応している。

サンプリング期間は、開発者又はユーザーによって設定された規則に従って分割されうると共に、均一又は不均一に分散していてもよく、これは、本出願においては、制限されていないことに留意されたい。

Ｓ１０２：サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートが設定される。

このステップにおいては、サンプリング期間に従って、それぞれの対応するサンプルセットのサンプリングレートを設定することができる。例えば、サンプリングレートは、相対的に新しいサンプリング期間を有するサンプルセットが、相対的に大きなサンプリングレートに対応する、という原理に従って、設定されてもよい。即ち、サンプルセットのサンプリングレートは、サンプルセットに対応する相対的に後のサンプリング期間において、相対的に大きい。例えば、上述の例においては、１月２９日においてサンプリングされたサンプルデータに対応するサンプルセットのサンプリングレートは、１．０であってもよく、１月２７日〜１月２８日においてサンプリングされたサンプルデータに対応するサンプルセットのサンプリングレートは、０．５に設定されてもよく、且つ、１月２４日〜１月２６日においてサンプリングされたサンプルデータに対応するサンプルセットのサンプリングレートは、０．１に設定されてもよい。

Ｓ１０３：サンプリングレートに従ってサンプリングされた複数のサンプルセットが取得される。

このステップにおいては、上述のステップにおいて設定されたサンプリングレートに従って、それぞれのサンプルセット内のサンプルをサンプリングすることができる。例えば、サンプルセットは、１０００個のサンプルデータを含み、且つ、サンプリングレートは、０．１である。この結果、サンプリングされたサンプルセット内に含まれているサンリングデータの数は、１０００×０．１＝１００個である。サンプリングの後に、サンプルセット内には、１００個のサンプルデータが存在しており、従って、この１００個のサンプルデータに対応するセットは、サンプリングされたサンプルセットと呼称することができる。

Ｓ１０４：サンプリングされた複数のサンプルセットの重要性値が個々に判定される。

一実施形態においては、重要性値は、手作業により、或いは、機械アルゴリズムにより、設定された係数であってもよい。それぞれのサンプリングされたサンプルセットに対応する重要性値は、特定の規則に従って、手作業により、或いは、機械により、設定されてもよい。上述のステップにおいては、新しい重要性値は、サンプルセットのオリジナルの重要性値に基づいて設定することができる。

Ｓ１０５：補正済みのサンプルデータを取得するべく、重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれが補正される。

このステップにおいては、補正済みのサンプルデータを取得するべく、重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正することができる。

重要性値を使用したサンプルデータのそれぞれの補正は、補正済みのサンプルデータを取得するべくベクトルが比例方式で拡大するような、ベクトルのそれぞれの特徴次元に、重要性値を乗算することであってもよい。

例えば、サンプルセットのオリジナルの又は既定の重要性値は、１であり、このステップにおいて、２に補正することができる。従って、元々（１，１，１，２，．．． ．．ｎ）であるサンプルデータは、このステップにおいて、（２，２，２，４，．．． ．．２ｎ）に、即ち、補正済みのサンプルデータに、補正することができる。

但し、当業者には理解されうるように、重要性値は、手作業により、或いは、機械アルゴリズムを使用することにより、設定される係数に限定されるものではない。その他の実施形態においては、サンプルを補正するための様々な方法が存在しうる。例えば、ａ（，１，１，２，．．． ．．ｎ）、ａ１＝ｆ（ａ）、及びこれらに類似したものなどの、数学的演算をサンプルデータに対して実行することができる。この場合に、関数ｆは、幾何学的乗算関数や指数計算のようなものなどの、様々な数学関数であってもよい。

Ｓ１０６：機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれが機械学習システムに入力される。

このステップにおいては、機械学習システムをトレーニングするべく、補正済みのサンプルデータを機械学習システムに入力することができる。トレーニングにおいては、勾配を算出するべく、まず、損失関数の導関数が取得され、最適解に近接した重みが、「新しい重み＝古い重み＋ステップ長×勾配」という式に従って、初期重み及び設定されたステップ長との組合せにおいて、反復を通じて、算出されてもよい。

要すると、本出願の第１実施形態は、機械学習システムをトレーニングする方法を開示し、サンプルデータが、機械学習システムに入力される前に、処理されており、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、従って、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

第２実施形態
本出願の第２実施形態は、機械学習システムをトレーニングする方法を提供している。図２は、本出願の第２実施形態による機械学習システムをトレーニングする方法のフローチャートである。本実施形態において提供されている機械学習システムをトレーニングする方法は、以下のステップを含む。

Ｓ２０１：複数のサンプルセットが取得され、この場合に、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む。

Ｓ２０２：サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートが設定される。

Ｓ２０３：サンプリングレートに従ってサンプリングされた複数のサンプルセットが取得される。

上述の３つのステップは、第１実施形態におけるステップＳ１０１、Ｓ１０２、及びＳ１０３と同一であるか又はこれらに類似しており、従って、ここでの詳細な説明は、省略する。

Ｓ２０４：サンプリングされた複数のサンプルセットの重要性値が個々に判定される。

例えば、ステップＳ２０４は、以下を含みうる。

サブステップＳ２０４ａ：サンプリングされたサンプルセットの重要性値を取得するべく、サンプリングされたサンプルセットの初期重要性値が、対応するサンプリングレートに基づいて補正され、
この場合に、重要性値は、初期重要性値に正比例しており、且つ、サンプリングされたサンプルセットのサンプリングレートには反比例している。

サブステップＳ２０４ａにおいては、例えば、新しい重要性値が、サンプルセットのオリジナルの対応する重要性値の、サンプリングレートに対する比率に基づいて算出されてもよい。例えば、それぞれのサンプルセットの重要性値は、まず、以下の式に従って設定されてもよく、
Ｙ１＝Ｙ／ａ
この場合に、Ｙ１は、サンプルセットに対応する設定された重要性値であり、
Ｙは、サンプルセットに対応するオリジナルの重要性値であり、且つ、
ａは、サンプルセットのサンプリングレートである。

例えば、第１実施形態において提供されている例においては、１月２４日〜１月２６日のサンプリング期間のサンプリングレートが０．１であり、且つ、このセットに対応する重要性値が、０．２に設定され、１月２９日のサンプリング期間のサンプリングレートが０．５であり、且つ、このセットに対応する重要性値が、１に設定され、且つ、１月２７日〜１月２８日のサンプリング期間のサンプリングレートが１であり、且つ、このセットに対応する重要性値が、５に設定されている場合には、Ｙ１＝Ｙ／ａに従って、サンプリング期間に従って構成される３つの組の重要性値は、日付順に、それぞれ、２、２、及び５であるものとして取得することができる。

例えば、ステップＳ２０４は、以下を更に含みうる。

サブステップＳ２０４ｂ：予め設定された規則に従って、最新のサンプリング期間に対応するサンプルセットの重要性値を増大させる。

サブステップＳ２０４ｂにおいて、例えば、予め設定された規則は、
増大の後の最新のサンプリング期間に対応するサンプルセットの重要性値が、増大の前の最新のサンプリング期間に対応するサンプルセットの重要性値に正比例しており、且つ、サンプルセットの合計数に正比例している、
というものを含みうる。

このサブステップにおいて、例えば、最新のサンプリング期間に対応するサンプルセットの重要性値は、以下の式に従ってリセットされてもよく、
Ｚ１＝Ｚ×ｂ
この場合に、Ｚ１は、サンプルセットに対応する再度変更された重要性値であり、
Ｚは、サンプルセットに対応する最初に変更された重要性値であり、且つ、
ｂは、サンプルセットの合計数である。

例えば、ステップＳ２０４ｂに従って、サンプリング期間に従って構成される３つのセットの重要性値は、日付順に、それぞれ、２、２、及び５であるものとして取得することができる。このステップにおいては、最新のサンプリング期間を有するサンプリングされたサンプルセット、即ち、第３サンプルセット、の重要性値を更に増大させることができる。

例えば、最新のサンプリング期間に対応するサンプルセットの重要性値は、以下の式に従ってリセットされてもよく、
Ｚ１＝Ｚ×ｂ
この場合に、Ｚ１は、サンプルセットに対応するリセットされた重要性値であり、
Ｚは、サンプルセットに対応する最初に設定された重要性値であり、且つ、
ｂは、サンプルセットの合計数である。

例えば、サブステップＳ２０４ａにおいて取得された最新のサンプリング期間を有するサンプルセットに対応する最初に設定された重要性値は、５である。このサブステップにおいては、式Ｚ１＝Ｚ×ｂに従って、リセットされた重要性値である５×３＝１５を取得することができる。

サブステップＳ２０４ｂは、サブステップＳ２０４ａの前又は後に実行されてもよく、或いは、別個に実行されてもよいことに留意されたい。即ち、サブステップＳ２０４ｂは、サブステップＳ２０４ａとは分離されており、且つ、サブステップＳ２０４ａとは独立している。

Ｓ２０５：補正済みのサンプルデータを取得するべく、重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれが補正される。

例えば、このステップは、以下のサブステップを含みうる。

Ｓ２０５ａ：補正済みのサンプルデータを取得するべく、重要性値のそれぞれは、対応するサンプリングされたサンプルセット内のサンプルデータのそれぞれによりを乗算される。

Ｓ２０６：機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれが機械学習システムに入力される。

このステップは、第１実施形態におけるステップＳ１０６と同一であるか又はこれに類似しうるものであり、従って、ここでの詳細な説明は、省略する。

要すると、本出願の第２実施形態は、機械学習システムをトレーニングする方法を開示しており、サンプルデータが、機械学習システムに入力される前に、処理され、且つ、異なるサンプルセットの重要性値が設定されている。従って、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、且つ、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果に対する影響が、可能な限り低減されている。

第３実施形態
本出願の第３実施形態は、機械学習システムをトレーニングする方法を提供している。図３は、本出願の第３実施形態による機械学習システムをトレーニングする方法のフローチャートを示している。この実施形態において提供されている機械学習システムをトレーニングする方法は、以下のステップを含む。

Ｓ３０１：複数のサンプルセットが取得され、この場合に、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む。

Ｓ３０２：サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートが設定される。

Ｓ３０３：サンプリングレートに従ってサンプリングされた複数のサンプルセットが取得される。

Ｓ３０４：サンプリングされた複数のサンプルセットの重要性値が個々に判定される。

Ｓ３０５：補正済みのサンプルデータを取得するべく、重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれが補正される。

上述のステップＳ３０１〜Ｓ３０５は、第１実施形態のステップＳ１０１〜Ｓ１０５と同一であるか又はこれらに類似しうるものであり、或いは、第２実施形態のステップＳ２０１〜Ｓ２０５と同一であるか又はこれらに類似しうるものであり、従って、ここでの詳細な説明は、省略する。

この実施形態は、以下のステップを更に含みうる。

Ｓ３０６：機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれが機械学習システムに入力される。

このステップにおいては、機械学習システムをトレーニングするべく、補正済みのサンプルデータを機械学習システムに入力することができる。トレーニングの際には、勾配を算出するべく、損失関数の導関数が取得され、且つ、「新しい重み＝古い重み＋ステップ長×勾配」という式に従って、初期重み及び設定されたステップ長との組合せにおいて、反復を通じて、最適解に近接した重みが算出されてもよい。

このステップは、以下のサブステップを含みうる。

Ｓ３０６ａ：補正済みのサンプルデータのそれぞれの勾配が算出される。

Ｓ３０６ｂ：サンプルデータのそれぞれの勾配の精度が低減される。

Ｓ３０６ｃ：機械モデルをトレーニングするべく、精度が低減された勾配が機械学習システムに入力される。

ステップＳ３０６ａにおいては、まず、補正済みのサンプルデータのそれぞれの勾配を算出することができる。勾配は、損失関数の導関数であってもよく、勾配は、損失関数の導関数を取得することにより、取得することができる。

ステップＳ３０６ｂにおいては、機械学習システムは、一般に、勾配降下法を使用することにより、トレーニングされ、それぞれの機械の勾配を算出する必要がある。１つの勾配を保存するべく、８バイトが必要とされる場合には、１００億個の勾配を保存するべく、１００００００００００×８／１０２４／１０２４／１０２４＝７４．５Ｇのストレージ空間が必要とされる。１つの勾配を保存するためのバイトの数が、４バイトに圧縮される場合には、１００億個の勾配を保存するべく必要とされるメモリは、３２．２５Ｇのみである。

ステップＳ３０６ｂにおいては、以下の式を使用して精度を低減することにより、サンプルデータのそれぞれの勾配のストレージバイトが低減されてもよく、
Ｘ１＝ｆｌｏｏｒ（ｃ×Ｘ＋（ｒａｎｄ（））／ｄ）／ｃ
ここで、ｆｌｏｏｒは、切り捨てであり、ｒａｎｄ（）は、０〜ｄの浮動小数点数を生成するためのものであり、Ｘ１は、低精度浮動小数点数であって、例えば、コンピュータストレージは、４バイトの浮動小数点数を必要とし、この場合に、これは、低減後のサンプルデータのそれぞれの勾配のストレージバイトを示し、Ｘは、高精度浮動小数点数であって、例えば、コンピュータストレージは、８バイトの高精度浮動小数点数を必要とし、これは、低減前のサンプルデータのそれぞれの勾配のストレージバイトである。

これに加えて、ｒａｎｄ関数は、ランダムファクタを導入して浮動小数点数の累積誤差を可能な限り低減するべく、使用されている。例えば、（ｃ×Ｘ＋（ｒａｎｄ（））／ｄ）というアルゴリズムが利用され、ここで、ランダムファクタを導入するべく、Ｘは、固定数によって乗算され、且つ、０〜１の範囲の浮動小数点数によって加算されている。Ｃの値は、５３６８７０９１２などの経験上の値である。Ｄは、例えば、２３２−１、即ち、２１４７４８３６４７であってもよく、これは、ｒａｎｄ関数によって生成されうる上限である。

上述の式を使用することにより、高精度浮動小数点数を低精度浮動小数点数に変換することができると共に、累積誤差を可能な限り低減することができる。

要すると、本出願の第３実施形態は、機械学習システムをトレーニングする方法を開示しており、サンプルデータは、機械学習システムに入力される前に、処理され、異なるサンプルセットの重要性値が設定され、且つ、勾配の精度が低減されている。従って、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、且つ、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

第４実施形態
本出願の第４実施形態は、機械学習システムをトレーニングするシステムを提供している。図４は、本出願の第４実施形態による機械学習システムをトレーニングするシステムのブロック図を示している。この実施形態において提供されている機械学習システムをトレーニングするシステムは、複数のサンプルデータを使用することにより、機械学習システムをトレーニングしており、且つ、トレーニングシステム４００は、
複数のサンプルセットを取得するように構成された第１取得モジュール４０１であって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、第１取得モジュールと、
サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するように構成されたサンプリングレート設定モジュール４０２と、
サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得するように構成された第２取得モジュール４０３と、
サンプリングされた複数のサンプルセットの重要性値を個々に設定するように構成された重要性値判定モジュール４０４と、
補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正するように構成されたサンプルデータ補正モジュール４０５と、
機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれを機械学習システムに入力するように構成されたトレーニングモジュール４０６と、
を含む。

好ましくは、この実施形態においては、サンプルセットのサンプリングレートは、そのサンプルセットに対応する後のサンプリング期間において、相対的に大きい。

要すると、本出願の第４実施形態は、機械学習システムをトレーニングするシステムを開示し、サンプルデータは、機械学習システムに入力される前に、処理されており、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、従って、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果に対する影響が、可能な限り低減されている。

第５実施形態
本出願の第５実施形態は、機械学習システムをトレーニングするシステムを提供している。図５は、本出願の第５実施形態による機械学習システムをトレーニングするシステムのブロック図を示している。本実施形態において提供されている機械学習システムをトレーニングするシステムは、複数のサンプルデータを使用することにより、機械学習システムをトレーニングしており、且つ、トレーニングシステム５００は、
複数のサンプルセットを取得するように構成された第１取得モジュール５０１であって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、第１取得モジュールと、
サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するように構成されたサンプリングレート設定モジュール５０２と、
サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得するように構成された第２取得モジュール５０３と、
サンプリングされた複数のサンプルセットの重要性値を個々に設定するように構成された重要性値判定モジュール５０４と、
補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、サンプリングされたサ複数のンプルセット内のサンプルデータのそれぞれを補正するように構成されたサンプルデータ補正モジュール５０５と、
機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれを機械学習システムに入力するように構成されたトレーニングモジュール５０６と、
を含む。

この実施形態においては、サンプルデータ補正モジュール５０５は、
補正済みのサンプルデータを取得するべく、重要性値のそれぞれを、対応するサンプリングされたサンプルセット内のサンプルデータのそれぞれにより乗算する、
ように構成されている。

この実施形態においては、重要性値判定モジュール５０４は、
サンプリングされたサンプルセットの重要性値を取得するべく、対応するサンプリングレートに基づいてサンプリングされたサンプルセットの初期重要性値を補正するように構成されたプライマリ補正サブモジュール５０４ａ、
を含み、
この場合に、重要性値は、初期重要性値に正比例し、且つ、サンプリングされたサンプルセットのサンプリングレートには反比例している。

例えば、プライマリ補正サブモジュールは、まず、以下の式に従ってそれぞれのサンプルセットの重要性値を設定してもよく、
Ｙ１＝Ｙ／ａ
ここで、Ｙ１は、サンプルセットに対応するように設定された重要性値であり、
Ｙは、サンプルセットに対応するように設定されたオリジナルの重要性値であり、且つ、
ａは、サンプルセットのサンプリングレートである。

この実施形態においては、重要性値判定モジュール５０４は、
予め設定された規則に従って最新のサンプリング期間に対応するサンプルセットの重要性値を増大させるように構成されたセカンダリ補正サブモジュール５０４ｂ、
を更に含みうる。

好ましくは、予め設定された規則は、
増大の後の最新のサンプリング期間に対応するサンプルセットの重要性値が、増大の前の最新のサンプリング期間に対応するサンプルセットの重要性値に正比例しており、且つ、サンプルセットの合計数に正比例している、
というものを含む。

例えば、最新のサンプリング期間に対応するサンプルセットの重要性値は、次式に従ってリセットされてもよく、
Ｚ１＝Ｚ×ｂ
ここで、Ｚ１は、サンプルセットに対応するリセットされた重要性値セットであり、
Ｚは、サンプルセットに対応する最初に設定された重要性値であり、且つ、
ｂは、サンプルセットの合計数である。

この実施形態においては、サンプルセットのサンプリングレートは、そのサンプルセットに対応する後のサンプリング期間において、相対的に大きい。

要すると、本出願の第５実施形態は、機械学習システムをトレーニングするシステムを開示しており、サンプルデータは、機械学習システムに入力される前に、処理され、且つ、異なるサンプルセットの重要性値が設定されている。従って、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、且つ、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

第６実施形態
本出願の第６実施形態は、機械学習システムをトレーニングするシステムを提供している。図６は、本出願の第６実施形態による機械学習システムをトレーニングするシステムのブロック図を示している。この実施形態において提供されている機械学習システムをトレーニングするシステムは、複数のサンプルデータを使用することにより、機械学習システムをトレーニングしており、且つ、トレーニングシステム６００は、
複数のサンプルセットを取得するように構成された第１取得モジュール６０１であって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、第１取得モジュールと、
サンプルセットの対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するように構成されたサンプリングレート設定モジュール６０２と、
サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得するように構成された第２取得モジュール６０３と、
サンプリングされた複数のサンプルセットの重要性値を個々に設定するように構成された重要性値判定モジュール６０４と、
補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正するように構成されたサンプルデータ補正モジュール６０５と、
機械学習システムをトレーニングするべく、補正済みのサンプルデータのそれぞれを機械学習システムに入力するように構成されたトレーニングモジュール６０６と、
を含む。

この実施形態においては、トレーニングモジュール６０６は、
補正済みのサンプルデータのそれぞれの勾配を算出するように構成された計算サブモジュール６０６ａと、
それぞれの勾配の精度を低減するように構成された精度低減サブモジュール６０６ｂと、
機械モデルをトレーニングするべく、精度が低減された勾配を機械学習システムに入力するように構成されたトレーニングサブモジュール６０６ｃと、
を含む。

この実施形態においては、精度低減サブモジュール６０６ｂは、
精度を低減するべく、以下の式を使用することにより、それぞれの勾配のストレージバイトを低減するように構成されており、
Ｘ１＝ｆｌｏｏｒ（ｃ×Ｘ＋（ｒａｎｄ（））／ｄ）／ｃ
この場合に、ｆｌｏｏｒは、切り捨てであり、ｒａｎｄ（）は、０〜ｄの浮動小数点数を生成するためのものであり、Ｘ１は、低減後のストレージバイトの数であり、且つ、Ｘは、低減前のストレージバイトの数である。

要すると、本出願の第６実施形態は、機械学習システムをトレーニングするシステムを開示し、サンプルデータは、機械学習システムに入力される前に、処理され、異なるサンプルセットの重要性値が設定され、且つ、勾配の精度が低減されている。従って、データ量が低減される一方で、重要なデータの採用レート及び利用程度が保証されており、且つ、機械のメモリリソースに対する要求が軽減される一方で、機械学習システムの学習効果への影響が、可能な限り低減されている。

装置実施形態は、基本的に、方法実施形態に類似しており、その結果、これらは、簡潔に記述されており、従って、関係する部分については、方法実施形態の部分の説明を参照することができる。

本明細書の実施形態は、いずれも、漸進的な方式によって記述され、それぞれの実施形態は、その他の実施形態との関係における差を強調しており、従って、実施形態における同一の又は類似した部分は、相互に参照することにより、取得することができる。

当業者は、本出願の実施形態における実施形態は、方法、装置、又はコンピュータプログラムプロダクトとして提供されうることを理解するであろう。従って、本出願の実施形態は、完全なハードウェア実施形態、完全なソフトウェア実施形態、或いは、ソフトウェアとハードウェアを組み合わせた実施形態として、実装することができる。更には、本出願の実施形態は、コンピュータ使用可能プログラムコードを含む（限定を伴うことなしに磁気ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ、及びこれらに類似したものを含む）１つ又は複数のコンピュータ使用可能ストレージ媒体上において実装されたコンピュータプログラムプロダクトであってもよい。

通常の構成においては、コンピュータ装置は、１つ又は複数のプロセッサ（ＣＰＵ）と、入出力インターフェイスと、ネットワークインターフェイスと、メモリと、を含む。メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ：Random Access Memory）、及び／又は、例えば、読み出し専用メモリ（ＲＯＭ：Read Only Memory）又はフラッシュＲＡＭなどの、不揮発性メモリ、或いは、これらに類似したものをコンピュータ可読媒体内において含みうる。メモリは、コンピュータ可読媒体の一例である。コンピュータ可読媒体は、不揮発性及び揮発性媒体のみならず、着脱自在及び非着脱自在の媒体を含み、且つ、任意の方法又は技術により、情報ストレージを実装することができる。信号は、コンピュータ可読命令、データ構造、及びプログラム又はその他のデータのモジュールであってもよい。コンピュータのストレージ媒体は、限定を伴うことなしに、例えば、相変化メモリ（ＰＲＡＭ：Phase Change Memory）、スタティックランダムアクセスメモリ（ＳＲＡＭ：Static Random Access Memory）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ：Dynamic Random Access Memory）、その他のタイプのＲＡＭ、ＲＯＭ、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read-Only Memory）、フラッシュメモリ又はその他のメモリ技術、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ：Compact Disk Read Only Memory）、デジタルバーサタイルディスク（ＤＶＤ：Digital Versatile Disc）又はその他の光ストレージ、カセットテープ、磁気テープ／磁気ディスクストレージ又はその他の磁気ストレージ装置、或いは、任意のその他の非送信媒体を含み、且つ、演算装置からアクセス可能である信号を保存するべく使用することができる。本明細書における定義によれば、コンピュータ可読媒体は、変調されたデータ信号及び搬送波などの、一時的な媒体を含んではいない。

本出願の実施形態は、本出願の実施形態による方法、端末装置（システム）、及びコンピュータプログラムプロダクトのフローチャート及び／又はブロック図を参照して記述されている。フローチャート及び／又はブロック図のそれぞれのプロセス及び／又はブロック、並びに、フローチャート及び／又はブロック図のプロセス及び／又はブロックの組合せ、を実装するべく、コンピュータプログラム命令を使用しうることを理解されたい。コンピュータプログラム命令は、コンピュータ又は別のプログラム可能なデータ処理端末装置のプロセッサが、命令を実行して、フローチャートの１つ又は複数のプロセス及び／又はブロック図の１つ又は複数のブロックに表記されている機能を実装するように構成された装置を生成するように、機械を生成するべく、汎用コンピュータ、専用コンピュータ、組込み型のプロセッサ、又は別のプログラム可能なデータ処理端末装置に提供されてもよい。

又、コンピュータプログラム命令は、コンピュータ可読ストレージ媒体内において保存されている命令が、命令装置を含む製造物品を生成するように、且つ、命令装置が、フローチャートの１つ又は複数のプロセス及び／又はブロック図の１つ又は複数のブロックによって表記されている機能を実装するように、特定の方式によって機能するようにコンピュータ又は別のプログラム可能なデータ処理端末装置をガイドする能力を有するコンピュータ可読ストレージ内に保存されてもよい。

又、コンピュータプログラム命令は、一連の動作ステップが、コンピュータ実装された処理を生成するべく、コンピュータ又は別のプログラム可能な端末装置上において実行されるように、コンピュータ又は別のプログラム可能なデータ処理端末装置に読み込まれてもよい。従って、コンピュータ又は別のプログラム可能な端末装置において実行された命令は、フローチャートの１つ又な複数のプロセス及び／又はブロック図の１つ又は複数のブロックにおいて表記されている機能を実装するステップを提供する。

以上、本出願の実施形態の好適な実施形態について説明したが、基本的な創造的概念を知ることにより、当業者は、その他の変形及び変更を実施形態に対して実施することができる。従って、添付の請求項は、本出願の実施形態の範囲に含まれる好適な実施形態及びすべての変形及び変更を含むものと解釈されることを意図している。

最後に、「第１の（first）」及び「第２の（second）」などの、本明細書における関係用語は、１つのエンティティ又は動作を別のエンティティ又は動作から弁別するべく使用されているものに過ぎず、且つ、エンティティ又は動作が、この実際の関係又は順序を有することを必要としてはおらず、或いは、これを意味してもいないことに更に留意されたい。更には、「含む（include）」や「有する（comprise）」という用語、或いは、これらのその他の変形は、一連の要素を含むプロセス、方法、物品、又は端末装置が、それらの要素を含むのみならず、明示的に列挙されてはいないその他の要素をも含むように、或いは、プロセス、方法、物品、又は端末装置の固有の要素を更に含むように、非排他的包含をカバーすることを意図している。更なる制限が存在していない場合には、「１つの〜を含む（including a(n)...）」によって定義される要素は、その要素を含むプロセス、方法、物品、又は端末装置が、その他の同一の要素を更に有することを排除するものではない。

以上、本明細書においては、本出願において提供されている紛らわしいスクリプト言語用の位置決め方法及びシステムについて詳細に説明すると共に、特定の例を適用することにより、本出願の原理及び実装方式について説明した。実施形態に関する上述の説明は、本出願の方法及びその核心概念の理解を支援するべく使用されるものに過ぎない。その一方において、当業者には、本出願の概念に従って、特定の実装方式及び適用範囲に対する変更が存在しうる。従って、本明細書の内容は、本出願を限定するものとして解釈してはならない。

Claims (16)

1. 機械学習システムをトレーニングする方法であって、前記機械学習システムをトレーニングするべく、複数のサンプルデータが使用される、方法において、
   複数のサンプルセットを取得することであって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、ことと、
   前記サンプルセットの前記対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定することと、
   前記サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得することと、
   前記サンプリングされた複数のサンプルセットの重要性値を個々に判定することと、
   補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、前記サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正することと、
   前記機械学習システムをトレーニングするべく、前記補正済みのサンプルデータのそれぞれを前記機械学習システムに入力することと、
   を含む方法。
2. 補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、前記サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正するステップは、
   補正済みのサンプルデータを取得するべく、前記重要性値のそれぞれに、対応する前記サンプリングされたサンプルセット内のサンプルデータのそれぞれを乗算すること、
   を含む請求項１に記載の機械学習システムをトレーニングする方法。
3. 前記機械学習システムをトレーニングするべく、前記補正済みのサンプルデータのそれぞれを前記機械学習システムに入力するステップは、
   前記補正済みのサンプルデータのそれぞれの勾配を算出することと、
   前記それぞれの勾配の精度を低減することと、
   前記機械モデルをトレーニングするべく、精度が低減された前記勾配を前記機械学習システムに入力することと、
   を含む請求項１に記載の機械学習システムをトレーニングする方法。
4. 前記それぞれの勾配の前記精度を低減するステップは、
   前記精度を低減するべく、以下の式を使用することにより、それぞれの勾配のストレージバイトを低減することを含み、
   Ｘ１＝ｆｌｏｏｒ（ｃ×Ｘ＋（ｒａｎｄ（））／ｄ）／ｃ
   ここで、ｆｌｏｏｒは、切り捨てであり、ｒａｎｄ（）は、０〜ｄの浮動小数点数を生成するためのものであり、Ｘ１は、低減後のストレージバイトの数であり、且つ、Ｘは、低減前のストレージバイトの数である請求項３に記載の機械学習システムをトレーニングする方法。
5. 前記サンプリングされた複数のサンプルセットの重要性値を個々に判定するステップは、
   前記サンプリングされたサンプルセットの前記重要性値を取得するべく、対応するサンプリングレートに基づいて前記サンプリングされたサンプルセットの初期重要性値を補正することを含み、
   前記重要性値は、前記初期重要性値に正比例しており、且つ、前記サンプリングされたサンプルセットの前記サンプリングレートには反比例している請求項１に記載の機械学習システムをトレーニングする方法。
6. 前記サンプリングされた複数のサンプルセットの重要性値を個々に設定するステップは、
   予め設定された規則に従って、最新のサンプリング期間に対応する前記サンプルセットの前記重要性値を増大させること、
   を更に含む請求項５に記載の機械学習システムをトレーニングする方法。
7. 前記予め設定された規則は、
   増大の後の前記最新のサンプリング期間に対応する前記サンプルセットの前記重要性値が、増大の前の前記最新のサンプリング期間に対応する前記サンプルセットの前記重要性値に正比例しており、且つ、前記サンプルセットの合計数に正比例していること、
   を含む請求項６に記載の機械学習システムをトレーニングする方法。
8. 前記サンプルセットの前記対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するステップにおいて、サンプルセットの前記サンプリングレートは、前記サンプルセットに対応する後のサンプリング期間において、相対的に大きい請求項１に記載の機械学習システムをトレーニングする方法。
9. 機械学習システムをトレーニングするシステムであって、前記機械学習システムをトレーニングするべく、複数のサンプルデータが使用される、システムにおいて
   複数のサンプルセットを取得するように構成された第１取得モジュールであって、それぞれのサンプルセットは、対応するサンプリング期間内のサンプルデータを含む、第１取得モジュールと、
   前記サンプルセットの前記対応するサンプリング期間に従って、それぞれのサンプルセットに対応するサンプリングレートを設定するように構成されたサンプリングレート設定モジュールと、
   前記サンプリングレートに従ってサンプリングされた複数のサンプルセットを取得するように構成された第２取得モジュールと、
   前記サンプリングされた複数のサンプルセットの重要性値を個々に設定するように構成された重要性値判定モジュールと、
   補正済みのサンプルデータを取得するべく、対応する重要性値を使用することにより、前記サンプリングされた複数のサンプルセット内のサンプルデータのそれぞれを補正するように構成されたサンプルデータ補正モジュールと、
   前記機械学習システムをトレーニングするべく、前記補正済みのサンプルデータのそれぞれを前記機械学習システムに入力するように構成されたトレーニングモジュールと、
   を備えるシステム。
10. 前記サンプルデータ補正モジュールは、
    補正済みのサンプルデータを取得するべく、前記重要性値のそれぞれに、前記対応するサンプリングされたサンプルセット内のサンプルデータのそれぞれを乗算する、
    ように構成されている請求項９に記載の機械学習システムをトレーニングするシステム。
11. 前記トレーニングモジュールは、
    前記補正済みのサンプルデータのそれぞれの勾配を算出するように構成された計算サブモジュールと、
    前記それぞれの勾配の精度を低減するように構成された精度低減サブモジュールと、
    前記機械モデルをトレーニングするべく、精度が低減された前記勾配を前記機械学習システムに入力するように構成されたトレーニングサブモジュールと、
    を含む請求項９に記載の機械学習システムをトレーニングするシステム。
12. 前記精度低減サブモジュールは、
    前記精度を低減するべく、以下の式を使用することにより、それぞれの勾配のストレージバイトを低減するように構成されており、
    Ｘ１＝ｆｌｏｏｒ（ｃ×Ｘ＋（ｒａｎｄ（））／ｄ）／ｃ
    ｆｌｏｏｒは、切り捨てであり、ｒａｎｄ（）は、０〜ｄの浮動小数点数を生成するためのものであり、Ｘ１は、低減後のストレージバイトの数であり、且つ、Ｘは、低減前のストレージバイトの数である請求項１１に記載の機械学習システムをトレーニングするシステム。
13. 前記重要性値判定モジュールは、
    前記サンプリングされたサンプルセットの前記重要性値を取得するべく、対応するサンプリングレートに基づいて前記サンプリングされたサンプルセットの初期重要性値を補正するように構成されたプライマリ補正サブモジュールを含み、
    前記重要性値は、前記初期重要性値に正比例しており、且つ、前記サンプリングされたサンプルセットの前記サンプリングレートには反比例している請求項９に記載の機械学習システムをトレーニングするシステム。
14. 前記重要性値判定モジュールは、
    予め設定された規則に従って、最新のサンプリング期間に対応する前記サンプルセットの前記重要性値を増大させるように構成されたセカンダリ補正サブモジュール、
    を更に含む請求項１３に記載の機械学習システムをトレーニングするシステム。
15. 前記予め設定された規則は、
    増大の後の前記最新のサンプリング期間に対応する前記サンプルセットの前記重要性値が、増大の前の前記最新のサンプリング期間に対応する前記サンプルセットの前記重要性値に正比例しており、且つ、前記サンプルセットの合計数に正比例していること、
    を含む請求項１４に記載の機械学習システムをトレーニングする方法。
16. 前記サンプリングレート設定モジュールは、前記サンプルセットの前記サンプリングレートが前記サンプルセットに対応する後のサンプリング期間において相対的に大きくなるよう設定するように構成されている請求項９に記載の機械学習システムをトレーニングするシステム。
    

Images