JP7304384B2 - モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品 - Google Patents

モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品 Download PDF

Info

Publication number
JP7304384B2
JP7304384B2 JP2021105345A JP2021105345A JP7304384B2 JP 7304384 B2 JP7304384 B2 JP 7304384B2 JP 2021105345 A JP2021105345 A JP 2021105345A JP 2021105345 A JP2021105345 A JP 2021105345A JP 7304384 B2 JP7304384 B2 JP 7304384B2
Authority
JP
Japan
Prior art keywords
features
resource
model
sample
evidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021105345A
Other languages
English (en)
Other versions
JP2022033695A (ja
Inventor
リウ,ハァォチァン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2022033695A publication Critical patent/JP2022033695A/ja
Application granted granted Critical
Publication of JP7304384B2 publication Critical patent/JP7304384B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/24Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/32Merging, i.e. combining data contained in ordered sequence on at least two record carriers to produce a single carrier or set of carriers having all the original data in the ordered sequence merging methods in general
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Description

本出願の実施形態は、コンピュータ技術分野に関し、具体的には機械学習やビッグデータ処理などの人工知能技術分野に関し、特に、モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品に関する。
近年、機械学習の最も基本的なアルゴリズムとして、ロジスティック回帰(Logistic Regression、LR)モデルは、対象モデルの構築中に重要な役割を果たしている。
現在、LRは、特徴量のエンジニアリング、特徴のスクリーニングにより、対象モデルのための入力の特徴を選別した後、入力の特徴に基づいて対象モデルを訓練して生成する。
本出願の実施形態は、モデルを生成するための方法、装置、機器、記憶媒体、及びコンピュータプログラム製品を提案した。
第1態様において、本出願の実施形態は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得することと、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定することと、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得することと、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得することとを含むモデルを生成するための方法を提案する。
第2態様において、本出願の実施形態は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得するように構成されたサンプル取得モジュールと、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定するように構成された第1の確定モジュールと、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得するように構成された第2の確定モジュールと、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得するように構成されたモデル訓練モジュールとを備えるモデルを生成するための装置を提案する。
第3態様において、本出願の実施形態は、少なくとも1つのプロセッサと、少なくとも1つのプロセッサと通信可能に接続されるメモリとを備えており、メモリには、少なくとも1つのプロセッサにより実行可能な指令が格納されており、前記指令が少なくとも1つのプロセッサにより実行されると、少なくとも1つのプロセッサに第1態様に記載の方法が実行される電子機器を提案する。
第4態様において、本出願の実施形態は、コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、コンピュータ指令は、コンピュータに第1態様に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提案する。
第5態様において、本出願の実施形態は、コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサにより実行されると、第1態様に記載の方法が実装されるコンピュータプログラム製品を提案する。
本出願の実施形態により提供されるモデルを生成するための方法、装置、機器、記憶媒体、及びコンピュータプログラム製品は、まず、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得した後、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定し、次に、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得し、最後に、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。従って、LRモデルに基づいて対象モデルの入力の特徴を確定する場合に、大量の特徴量のエンジニアリング、特徴のスクリーニング及びモデル解釈の可能性への依存を避けたため、時間と人件費が節約された。
この部分で説明された内容は、本出願の実施形態のキーポイントまたは重要な特徴を限定することを意図したものではなく、本出願の範囲を限定するものでもないことを理解すべきである。本出願の他の特徴は、以下の明細書によって容易に理解されるようになる。
以下、添付図面を参照しながら非限定的な実施形態を詳細に説明することにより、本出願の他の特徴、目的及び利点はより明らかになる。添付図面は、本出願をよりよく理解するためのものであり、本出願を限定するものではない。
本出願が適用可能な例示的なシステムアーキテクチャを示す図である。 本出願に係るモデルを生成するための方法の一実施形態を示すフローチャートである。 本出願に係るモデルを生成するための方法の他の実施形態を示すフローチャートである。 本出願に係るモデルを生成するための方法のもう1つの実施形態を示すフローチャートである。 本出願の実施形態に係るモデルを生成するための方法を実装できるシーンを示す図である。 本出願に係るモデルを生成するための装置の一実施形態を示す概略構成図である。 本出願の実施形態に係るモデルを生成するための方法を実装するための電子機器のブロック図である。
以下、添付図面を参照しながら本出願の例示的な実施形態を説明し、理解に役立つために本出願の実施形態の様々な詳細が含まれているが、これらは例示的なものに過ぎないことを理解すべきである。従って、当業者であれば、ここで説明する実施形態に対して、本出願の範囲及び趣旨を逸脱することなく様々な変更や修正を行うことが可能であることを理解すべきである。同様に、明確かつ簡潔のために、以下の説明で公知の機能と構造の説明を省略する。
なお、矛盾しない場合、本出願の実施形態及び実施形態の特徴は互いに組み合わせてもよい。以下、添付図面を参照して実施形態により本出願を詳細に説明する。
図1では、本出願のモデルを生成するための方法又はモデルを生成するための装置の実施形態が適用可能な例示的なシステムアーキテクチャ100を示した。
図1に示すように、システムアーキテクチャ100は、端末装置101、102、103、ネットワーク104、及びサーバ105を含んでもよい。ネットワーク104は、端末装置101、102、103とサーバ105との間に通信リンクを提供するための媒体とされる。ネットワーク104は、例えば、有線、無線通信リンク、又は光ケーブルなどの様々な接続タイプを含んでもよい。
ユーザは、端末装置101、102、103を用いてネットワーク104を介してサーバ105とやりとりすることによって、メッセージを受信したり送信したりすることができる。端末装置101、102、103には、各種アプリケーション、例えば、各種クライアントアプリケーション、マルチパーティインタラクションアプリケーション、人工知能アプリケーションなどがインストールされてもよい。
端末装置101、102、103はハードウェアであってもよく、ソフトウェアであってもよい。端末装置101、102、103がハードウェアである場合、ドキュメント処理アプリケーションをサポートする各種電子機器であってもよく、スマート端末、タブレット型パソコン、ラップトップコンピュータ及びデスクトップコンピュータなどを含むが、これらに限定されない。端末装置101、102、103がソフトウェアである場合、前記電子機器にインストールされてもよい。例えば、分散サービスを提供するために用いられる複数のソフトウェア又はソフトウェアモジュールとして実装されてもよく、単一のソフトウェア又はソフトウェアモジュールとして実装されてもよい。ここでは、特に限定しない。
サーバ105は、端末装置101、102、103をサポートするバックグラウンドサーバのような各種サービスを提供するサーバであってもよい。バックグラウンドサーバは、受信された要求などのデータに対して解析などの処理を行って、処理結果を端末装置にフィードバックすることができる。
なお、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。サーバがハードウェアである場合、複数のサーバで構成された分散型サーバクラスタとして実装されてもよく、単一のサーバとして実装されてもよい。サーバがソフトウェアである場合、例えば、分散サービスを提供するために用いられる複数のソフトウェアまたはソフトウェアモジュールとして実装されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実装されてもよい。ここでは、特に限定しない。
実際に、本出願の実施形態により提供されるモデルを生成するための方法は、端末装置101、102、103又はサーバ105により実行されてもよく、モデルを生成するための装置は、端末装置101、102、103、又はサーバ105に構成されてもよい。
図1における端末装置、ネットワーク及びサーバの数は例示的なものに過ぎないことを理解すべきである。実装の必要性に応じて、任意の数の端末装置、ネットワーク及びサーバを備えてもよい。
次に、図2を参照されたい。図2では、本出願に係るモデルを生成するための方法の一実施形態のフロー200を示した。該モデルを生成するための方法は以下のステップを含む。
ステップ201において、サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルを取得する。
本実施形態において、モデルを生成するための方法の実行主体(例えば、図1に示されたサーバ105)は、ローカルまたは端末装置(例えば、図1に示された端末装置101、102、103)から複数のサンプルリソースの特徴及びサンプルリソースの特徴に対応する複数のサンプルラベルを取得することができ、サンプルリソースのそれぞれは1つのサンプルラベルに対応する。前記サンプルリソースの特徴は、リソースに関連する特徴であってもよい。例えば、リソース交換頻度の特徴、取引リソースの特徴、リソース使用率(所定のリソースの使用回数/所定のリソースが受信された合計回数)、支払い情報に基づいて抽出された支払いの特徴、例えば、支払い金額の特徴、支払い頻度など、リソースに対するユーザの嗜好の特徴、リソースに対するユーザによる操作の特徴(クリック、フォロー、購入など)、ユーザ情報の特徴(年齢、性別など)である。
前記サンプルラベルは、手動ラベリングによるラベル、規則的なラベリングによるラベル(regular labeling label)、クラスタリングラベリングによるラベルを用いていてもよい。規則的なラベリングによるラベルは、フィルタリング条件(規則)を設定することにより、一部のデータにラベルを付けて、訓練セットを取得する。クラスタリングラベリングによるラベルは、特徴量のエンジニアリングの後に、クラスタリングの方法によって異なる種類のラベルを取得する。
なお、本実施形態は、「二項分類」の適用シーンに適用できる。例えば、貸付けの場合、ユーザの収入、預金、職業、年齢などの要素に基づいて解析し、貸付けの可否を判断することができる。メールの場合は、メールの内容に基づいて該メールがスパムメールであるか否かを判断する。商品又は広告を推薦する場合には、商品又は広告に対するユーザの嗜好、商品又は広告に対するユーザによる操作、ユーザ情報などに基づいて、ユーザに商品又は広告を推薦することができる。
ステップ202:サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定する。
本実施形態において、前記実行主体は、サンプルリソースの特徴及び/又はサンプルラベルに基づいて、対応するスクリーニング因子をマッチングさせることができ、又は、サンプルリソースの特徴及びサンプルラベルに基づいてモデルを訓練し、該モデルの訓練プロセスに関連するパラメータによって、第1のスクリーニング因子を確定することができる。前記第1のスクリーニング因子は、複数のサンプルリソースの特徴から第1のリソースの特徴を選別するために用いられ得る。
サンプルリソースの特徴及び/又はサンプルラベルに基づいて、対応するスクリーニング因子をマッチングする前に、該モデルを生成するための方法は、サンプルリソースの特徴及び/又はサンプルラベルと対応関係を有するスクリーニング因子を予め確立することをさらに含んでもよい。
本実施形態において、前記実行主体は、第1のスクリーニング因子に基づいて、複数のサンプルリソースの特徴から第1のリソースの特徴を選別することができ、又は、前記実行主体は、複数のサンプルリソースの特徴をソートした後、複数のソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を選別することができる。
ステップ203:予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得する。
本実施形態において、前記実行主体は、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得することができる。前記予め訓練されたLRモデルに関連付けられるパラメータは、例えば、変数の係数、情報の価値、モデル安定性評価指標、分散拡大係数などの、LRモデルを予め訓練するプロセスに係るパラメータであってもよい。
本実施形態において、前記実行主体は、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を選別することができる。前記第2のスクリーニング因子は、第1のリソースの特徴から第2のリソースの特徴を選別するために用いられることができる。
本実施形態において、前記実行主体は、第2のリソースの特徴を対象モデルの特徴とするか、又は、第2のリソースの特徴を処理し、処理されたリソースの特徴を取得した後、処理されたリソースの特徴を対象モデルの特徴とすることができ、例えば、第2のリソースの特徴に対してビニング処理を行い、ビニングされた特徴を取得することができる。
ステップ204:対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。
本実施形態において、前記実行主体は、対象モデルの特徴及び対象モデルの特徴に対応するサンプルラベルを取得した後、対象モデルの特徴及び対象モデルの特徴に対応するサンプルラベルに基づいて機械学習モデルを訓練して、対象モデルを取得することができる。訓練の際、実行主体は、対象モデルの特徴を対象モデルの入力とし、入力された対象モデルの特徴に対応するサンプルラベルを所望の出力として、対象モデルを取得することができる。前記機械学習モデルは、従来の技術または将来開発される技術における確率モデル、分類モデル又は他の分類器などであってもよく、例えば、機械学習モデルは、決定木モデル(XGBoostモデル)、ロジスティック回帰モデル(LRモデル)、ディープニューラルネットワーク(DNN)モデル、勾配ブースティング決定木モデル(Gradient Boosting Decision Tree Model、GBDTモデル)のいずれか1つを含んでもよい。
本出願の実施形態により提供されるモデルを生成するための方法は、まず、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得した後、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定し、次に、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得し、最後に、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。従って、LRモデルに基づいて対象モデルの入力の特徴を確定する場合に、大量の特徴量のエンジニアリング、特徴のスクリーニング及びモデル解釈の可能性への依存を避けたため、時間と人件費が節約された。
本実施形態のいくつかのオプション的な実施形態において、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定することは、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいて、決定木モデル(XGBoostモデル)を訓練して、訓練済みXGBoostモデルを取得することと、訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定することとを含む。
本実施形態において、前記実行主体は、サンプルリソースの特徴及びサンプルラベルに基づいてXGBoostモデルを訓練するプロセスに係るパラメータに基づいて第1のスクリーニング因子を確定することができる。前記訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ、相関係数などのXGBoostモデルの訓練中に係るパラメータであってもよい。
本実施形態において、前記実行主体は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得した後、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデルを訓練して、訓練済みXGBoostモデルを取得することができる。訓練において、実行主体は、サンプルリソースの特徴をXGBoostモデルの入力とし、入力されたサンプルリソースの特徴に対応するサンプルラベルを所望の出力として、訓練済みXGBoostモデルを取得することができる。
本実施形態において、サンプルリソースの特徴及びサンプルラベルに基づいてXGBoostモデルを訓練するプロセスに係るパラメータに基づいて、第1のスクリーニング因子を確定する。
本実施形態のいくつかのオプション的な実施形態において、訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定することは、カバレッジ及び/又は相関係数に基づいて、第1のスクリーニング因子を確定することを含む。
本実施形態において、前記実行主体は、カバレッジ(coverage)及び相関係数に基づいて第1のスクリーニング因子を確定することができ、または、前記実行主体は、カバレッジに基づいて第1のスクリーニング因子を確定することができ、もしくは、前記実行主体は、相関係数に基づいて第1のスクリーニング因子を確定することができる。前記カバレッジ=(サンプル数-特徴が欠けているサンプル数)/サンプル数であり、サンプル数は、XGBoostモデルの訓練プロセスに係るすべてのサンプル数であってもよく、特徴が欠けているサンプル数は、すべてのサンプルの中で特徴が欠けているサンプルが占める数であってもよい。相関性は、サンプルリソースの特徴と、対応するサンプルラベルとの相関係数であってもよい。
なお、カバレッジ及び相関係数に基づいて第1のスクリーニング因子を確定する場合に、ユーザが特徴のスクリーニングニーズに応じてカバレッジ及び相関係数に対応する重みを設定した後、加重合計を行って、第1のスクリーニング因子を取得することもできる。
本実施形態において、カバレッジ(coverage)及び/又は相関係数(cor)に基づいて、第1のスクリーニング因子を確定する。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための方法は、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得することをさらに含み、サンプルリソースの特徴から第1のリソースの特徴を確定することは、第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定することを含む。
本実施形態において、前記実行主体は、複数のサンプルリソースの特徴から第1のリソースの特徴を確定する前に、例えば、特徴重要性などの複数のサンプルリソースの特徴をソートした後、複数のソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定することができる。前記第1のリソースの特徴は、サンプルリソースの特徴から第1のスクリーニング因子に基づいて選別された一部のサンプルリソースの特徴であってもよい。前記所定数のサンプルリソースの特徴は、対象モデルの性能によって設定されてもよく、又はユーザにより設定されてもよい。例えば、トップ10位にソートされるサンプルリソースの特徴である。
本実施形態において、第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定することができる。
本実施形態のいくつかのオプション的な実施形態において、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得することは、サンプルリソースの特徴の特徴重要性に基づいて、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得することを含む。
本実施形態において、まず、複数のサンプルリソースの特徴のうちの各サンプルリソースの特徴の特徴重要性を計算した後、各サンプルリソースの特徴の特徴重要性に基づいて、複数のサンプルリソースの特徴をソートすることができる。前記特徴重要性は、weight(重み)*gain(ゲイン)により計算して得られることができる。
具体的な例示において、weight*gain>10、coverage>5%、cor<0.7に基づいて、複数のサンプルリソースの特徴から第1のリソースの特徴を選別する。
本実施形態において、サンプルリソースの特徴の特徴重要性によって、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴を第1のリソースの特徴の候補特徴とする。
本実施形態のいくつかのオプション的な実施形態において、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、該モデルを生成するための方法は、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得することをさらに含む。
本実施形態において、前記実行主体は、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルを取得した後、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて前記予め訓練されたLRモデルを訓練して得ることができる。訓練中、実行主体は、第1のリソースの特徴をLRモデルの入力とし、入力された第1のリソースの特徴に対応するサンプルラベルを所望の出力として、前記予め訓練されたLRモデルを取得することができる。
本実施形態において、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて前記予め訓練されたLRモデルを訓練して得ることができる。
本実施形態のいくつかのオプション的な実施形態において、前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数(coefficient、coef)、P値、情報の価値(Information Value、IV)、モデル安定性評価指標(Population Stability Index、PSI)、分散拡大係数(variance inflation factor、VIF)の少なくとも1つを含み、P値は、予め訓練されたLRモデルのテスト結果を判定するパラメータである。
本実施形態において、前記実行主体は、前記予め訓練されたLRモデルに関連付けられるパラメータが、変数の係数(coefficient、coef)、P値、情報の価値(Information Value、IV)、モデル安定性評価指標(Population Stability Index、PSI)、分散拡大係数(variance inflation factor、VIF)の少なくとも1つを含むことに基づいて、第2のスクリーニング因子を確定することができ、P値が、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである。前記PSIは、テストサンプル及びモデル開発サンプルスコアの分布の違いを評価するために用いられることができる。前記VIFは、多重線形LRモデルのマルチ(多重)共線性の重大度を評価するために用いられることができる。前記IVは、独立変数の予測能力を評価するために用いられることができ、IVの取り得る値の選別範囲は、経験に基づいて設定されてもよく、必要に応じてユーザにより設定されてもよい。
具体的な例示において、coef>0、P値<0.05、IV>0.5、PSI<0.05、VIF<5に基づいて、第2のスクリーニング因子を確定する。
本実施形態において、前記予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定することができる。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための方法は、グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、対象モデルのハイパーパラメータを調整することをさらに含む。
前記ハイパーパラメータは、機械学習モデルに基づいて対象モデルを訓練する前に設定されたパラメータであってもよく、ハイパーパラメータは、機械学習モデルに基づいて対象モデルを訓練するプロセスにおいて取得されたパラメータではない。
本実施形態において、対象モデルの反復効率を向上させるために、グリッドサーチ、ランダムサーチ又はベイズ最適化によりハイパーパラメータを最適化して、最適な1セットのハイパーパラメータを選別する。
本実施形態のいくつかのオプション的な実施形態において、サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む。
本実施形態において、サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、又はサンプル音声の特徴のうちのいずれか1つを含むことができる。前記サンプル画像の特徴は、画像形式で表示されるサンプルリソースの特徴であってもよい。前記サンプルテキストの特徴は、テキスト形式で表示されるサンプルリソースの特徴であってもよい。前記サンプル音声の特徴は、音声形式で表示されるサンプルリソースの特徴であってもよい。
本実施形態において、取得した対象モデルがサンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴を正確に予測できるように、画像、テキスト、音声などの観点から対応するサンプルリソースの特徴を取得することができる。
図3を参照されたい。図3では、本出願に係るモデルを生成するための方法の他の実施形態のフロー300を示した。該モデルを生成するための方法はステップ301~306を含む。
ステップ301:サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルを取得する。
本実施形態において、ステップ301の具体的な操作は、図2に示された実施形態におけるステップ201において詳細に説明したので、ここでは説明を省略する。
ステップ302:サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデルを訓練して、訓練済みXGBoostモデルを取得する。
本実施形態において、モデルを生成するための方法の実行主体(例えば、図1におけるサーバ105)は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得した後、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいてXGBoostモデルを訓練して、訓練済みXGBoostモデルを取得することができる。訓練において、実行主体は、サンプルリソースの特徴をXGBoostモデルの入力とし、入力されたサンプルリソースの特徴に対応するサンプルラベルを所望の出力として、訓練済みXGBoostモデルを取得することができる。
ステップ303:訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいてサンプルリソースの特徴から第1のリソースの特徴を確定する。
本実施形態において、ステップ303の具体的な操作は、図2に示された実施形態におけるステップ202において詳細に説明したので、ここでは説明を省略する。
ステップ304:第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて、LRモデルを訓練して得る。
本実施形態において、前記実行主体は、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルを取得した後、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいてLRモデルを訓練して得ることができる。訓練において、実行主体は、第1のリソースの特徴をLRモデルの入力とし、入力された第1のリソースの特徴に対応するサンプルラベルを所望の出力として、LRモデルを取得することができる。
ステップ305:予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得する。
本実施形態において、ステップ305の具体的な操作は、図2に示された実施形態におけるステップ203において詳細に説明したので、ここでは説明を省略する。
ステップ306:対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。
本実施形態において、ステップ306の具体的な操作は、図2に示された実施形態におけるステップ204において詳細に説明したので、ここでは説明を省略する。
図3から分かるように、図2に対応する実施形態と比べて、本実施形態におけるモデルを生成するための方法のフロー300は、第1のスクリーニング因子及び第2のスクリーニング因子を確定するステップを強調した。従って、本実施形態で説明した構成は、対象モデルの特徴の精度を向上させることにより、対象モデルの精度が向上された。
本実施形態のいくつかのオプション的な実施形態において、訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定することは、カバレッジ及び/又は相関係数に基づいて、第1のスクリーニング因子を確定することを含む。
本実施形態において、前記実行主体は、カバレッジ(coverage)及び相関係数に基づいて第1のスクリーニング因子を確定することができ、または、前記実行主体は、カバレッジに基づいて第1のスクリーニング因子を確定することができ、もしくは、前記実行主体は、相関係数に基づいて第1のスクリーニング因子を確定することができる。前記カバレッジ=(サンプル数-特徴が欠けているサンプル数)/サンプル数であり、サンプル数は、XGBoostモデルの訓練プロセスに係るすべてのサンプルの数であってもよく、特徴が欠けているサンプル数は、すべてのサンプルの中で特徴が欠けているサンプルが占める数であってもよい。相関性は、サンプルリソースの特徴と、対応するサンプルラベルとの相関係数であってもよい。
なお、カバレッジ及び相関係数に基づいて第1のスクリーニング因子を確定する場合に、ユーザが特徴のスクリーニングニーズに応じてカバレッジ及び相関係数に対応する重みを設定した後、加重合計を行って、第1のスクリーニング因子を取得することもできる。
本実施形態において、カバレッジ(coverage)及び/又は相関係数(cor)に基づいて、第1のスクリーニング因子を確定する。
本実施形態のいくつかのオプション的な実施形態において、LRモデルに関連付けられるパラメータは、変数の係数(coefficient、coef)、P値、情報の価値(Information Value、IV)、モデル安定性評価指標(Population Stability Index、PSI)、分散拡大係数(variance inflation factor、VIF)のうちの少なくとも1つを含み、P値は、予め訓練されたLRモデルのテスト結果を判定するパラメータである。
本実施形態において、前記実行主体は、LRモデルに関連付けられるパラメータが、変数の係数(coefficient、coef)、P値、情報の価値(Information Value、IV)、モデル安定性評価指標(Population Stability Index、PSI)、分散拡大係数(variance inflation factor、VIF)の少なくとも1つを含むことに基づいて、第2のスクリーニング因子を確定することができ、P値が、予め訓練されたLRモデルのテスト結果を判定するパラメータである。前記PSIは、テストサンプル及びモデル開発サンプルスコアの分布の違いを評価するために用いられることができる。前記VIFは、多重線形LRモデルのマルチ(多重)共線性の重大度を評価するために用いられることができる。前記IVは、独立変数の予測能力を評価するために用いられることができ、IVの取り得る値の選別範囲は、経験に基づいて設定されてもよく、必要に応じてユーザにより設定されてもよい。
具体的な例示において、coef>0、P<0.05、IV>0.5、PSI<0.05、VIF<5に基づいて、第2のスクリーニング因子を確定する。前記coef、P、IV、PSI及びVIFの取り得る値の範囲は、訓練すべき対象モデルの認識精度によって設定されることができる。
本実施形態において、LRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定することができる。
図4を参照されたい。図4では、本出願に係るモデルを生成するための方法のもう1つの実施形態のフロー400を示した。該モデルを生成するための方法はステップ401~406を含む。
ステップ401:サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルを取得する。
ステップ402:サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデルを訓練して、訓練済みXGBoostモデルを取得する。
ステップ403において、訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定する。
ステップ404:第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて、LRモデルを訓練して、予め訓練されたLRモデルを取得する。
ステップ405:予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得する。
本実施形態において、ステップ401~405の具体的な操作は、図3に示された実施形態におけるステップ301~305において詳細に説明したので、ここでは説明を省略する。
ステップ406:第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定する。
本実施形態において、モデルを生成するための方法の実行主体(例えば、図1に示されたサーバ105)は、第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得した後、ビニングされた各リソース特徴に対応する証拠の重みを確定する。前記ビニングは、等頻度ビニング(equal frequency binning)、等間隔ビニング(equal-distance binning)、カイ二乗ビニング(chi-square binning)の1つを含むことができる。
前記証拠の重み(weight of evidence、WOE)は、正常サンプル(Good)と不良サンプル(異常サンプル)(Bad)の分布の差を評価する方法であってもよく、該WOEは、下記の式で定義されることができる。
WOE=ln(Distr Good/Distr Bad)
式中、Distr Goodは正常サンプルで、Distr Badは不良サンプルである。
なお、モデルの構築プロセスにおいて、連続変数(即ち、第2のリソースの特徴)を離散化する必要があり、離散化された特徴に基づいてモデルを訓練して、訓練済みモデルを取得し、該訓練済みモデルは、性能がより安定であり、過適合のリスクが低減された。
ステップ407:すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を対象モデルの特徴とする。
本実施形態において、前記実行主体は、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を対象モデルの特徴とすることができる。前記変化パターンは、すべてのビニングされた特徴に対応する証拠の重みの逓増、逓減、増加後に減少、減少後に増加、増加後に減少し再度増加、減少後に増加し再度減少することなどであってもよい。
ステップ408において、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。
本実施形態において、ステップ408の具体的な操作は、図3に示された実施形態におけるステップ306において詳細に説明したので、ここでは説明を省略する。
図4から分かるように、図3に対応する実施形態と比べて、本実施形態におけるモデルを生成するための方法のフロー400は、第2のリソースの特徴をビニングするステップを強調した。従って、本実施形態で記述した構成は、第2のリソースの特徴の単調性(singleness)を向上させることにより、対象モデルの性能がより安定になり、対象モデルの過適合のリスクが低減された。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための方法は、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算することをさらに含み、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を対象モデルの特徴とすることは、マージされたリソースの特徴の証拠の重みの変化パターンが所定の規則を満たすことに応答して、マージされたリソースの特徴を対象モデルの特徴とすることを含む。
本実施形態において、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たさない場合、ビニングされたリソースの特徴をマージした後、マージされたリソースの特徴に対応する証拠の重みが所定の規則を満たすか否かを判断し、依然として所定の規則を満たさない場合には、マージされたリソースの特徴を対象モデルの特徴とするまで、ビニングされたリソースの特徴を再度マージし、マージされたリソースの特徴に対応する証拠の重みが所定の規則を満たすか否かを再度判断し、それ以外の場合は、ビニングされたリソースの特徴のマージを続ける。
具体的な例示において、第2のリソースの特徴をビニングすることは、以下のステップを含むことができる。(1)等頻度ビニング、例えば、5~8のビンに分割する。(2)各ビンのWOEを計算する。(3)WOE値が逓増などの所定の規則を満たす場合、特徴の符号化を終了し、該各ビンのリソースの特徴を対象モデルの特徴とする。(4)WOE値が所定の規則を満たさない場合は、ビンをマージし、例えば、年齢範囲15~24と24~30を15~30にマージした後、ステップ(2)及びステップ(3)を実行する。
本実施形態において、第2のリソースの特徴をビニングし、ビニングされたリソースの特徴に対応する証拠の重みを計算することによって、対象モデルの特徴を選択することができるため、該対象モデルの特徴の単調性を向上させることができる。
本実施形態のいくつかのオプション的な実施形態において、所定の規則は、証拠の重みの逓増、証拠の重みの逓減、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む。
本実施形態において、所定の規則は、証拠の重みの逓増、証拠の重みの逓減、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのいずれか1つを含む。前記証拠の重みの逓増は、すべてのビニングされたリソースの特徴に対応する証拠の重みが順次増加することであってもよい。
本実施形態において、前記所定の規則に従って、対象モデルの特性を選択することができ、該対象モデルの特徴の単調性が向上された。
理解を容易にするために、以下、本出願の実施形態のモデルを生成するための方法を実装できる適用シーンを提供する。図5に示すように、サーバ502は、端末装置501からサンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得し(ステップ503)、その後、サーバ502は、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定し(ステップ504)、その後、サーバ502は、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得し(ステップ505)、最後に、サーバ502は、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する(ステップ506)。
さらに、図6を参照されたい。前記各図に示された方法の実装として、本出願は、モデルを生成するための装置の一実施形態を提供し、該装置の実施形態は、図2に示される方法の実施形態に対応しており、該装置は具体的には様々な電子機器に適用できる。
図6に示すように、本実施形態のモデルを生成するための装置600は、サンプル取得モジュール601、第1の確定モジュール602、第2の確定モジュール603及びモデル訓練モジュール604を備えることができる。サンプル取得モジュール601は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得するように構成され、第1の確定モジュール602は、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定するように構成され、第2の確定モジュール603は、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得するように構成され、モデル訓練モジュール604は、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得するように構成される。
本実施形態において、モデルを生成するための装置600におけるサンプル取得モジュール601、第1の確定モジュール602、第2の確定モジュール603、及びモデル訓練モジュール604の具体的な処理及びその技術的効果は、図2の対応する実施形態におけるステップ201~204の関連説明をそれぞれ参照されたい。ここでは、説明を省略する。
本実施形態のいくつかのオプション的な実施形態において、第1の確定モジュール602は、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルに基づいてXGBoostモデルを訓練して、訓練済みXGBoostモデルを取得するように構成されたモデル取得ユニット(図示せず)と、訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、第1のスクリーニング因子を確定するように構成された因子確定ユニット(図示せず)とを備える。
本実施形態のいくつかのオプション的な実施形態において、訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、因子確定ユニットは、さらに、カバレッジ及び/又は相関係数に基づいて、第1のスクリーニング因子を確定するように構成される。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための装置は、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得するように構成された特徴ソートモジュール(図示せず)をさらに備えており、第1の確定モジュール602は、さらに、第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定するように構成される。
本実施形態のいくつかのオプション的な実施形態において、特徴ソートモジュールは、さらに、サンプルリソースの特徴の特徴重要性に基づいて、サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得するように構成される。
本実施形態のいくつかのオプション的な実施形態において、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、該モデルを生成するための装置は、第1のリソースの特徴及び第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得するように構成されたモデル取得モジュール(図示せず)をさらに備える。
本実施形態のいくつかのオプション的な実施形態において、前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数、P値、情報の価値、モデル安定性評価指標、分散拡大係数のうちの少なくとも1つを含み、P値は、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための装置は、第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定するように構成された第1の処理モジュール(図示せず)と、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を対象モデルの特徴とするように構成された対象モデルの特徴確定モジュールと、をさらに備える。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための装置は、すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算するように構成された第2の処理モジュール(図示せず)をさらに備えており、対象モデルの特徴確定モジュールは、さらに、マージされたリソースの特徴の証拠の重みの変化パターンが所定の規則を満たすことに応答して、マージされたリソースの特徴を対象モデルの特徴とするように構成される。
本実施形態のいくつかのオプション的な実施形態において、所定の規則は、証拠の重みが逓増すること、証拠の重みが逓減すること、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む。
本実施形態のいくつかのオプション的な実施形態において、該モデルを生成するための装置は、グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、対象モデルのハイパーパラメータを調整するように構成されたパラメータ調整モジュール(図示せず)をさらに備える。
本実施形態のいくつかのオプション的な実施形態において、サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む。
本出願の実施形態によれば、本出願は、電子機器、可読記憶媒体、及びコンピュータプログラム製品をさらに提供する。
図7では、本出願の実施形態を実施できる電子機器700の例示的なブロック図を示した。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなどの各種形式のデジタルコンピュータを表す。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似のコンピューティングデバイスなどの各種形式のモバイルデバイスを表すこともできる。本明細書に示されたコンポーネント、それらの接続と関係、及びそれらの機能は単なる例示に過ぎず、本明細書で記述され、及び/又は要求された本出願の実装を制限するものではない。
図7に示すように、電子機器700は、読み出し専用メモリ(ROM)702に格納されているコンピュータプログラム又は記憶ユニット708からランダムアクセスメモリ(RAM)703にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行することができるコンピューティングユニット701を備える。RAM703には、電子機器700の動作に必要な様々なプログラム及びデータがさらに格納されている。コンピューティングユニット701、ROM702及びRAM703は、バス704を介して互いに接続される。入/出力(I/O)インターフェース705もバス704に接続される。
電子機器700における、I/Oインターフェース705に接続される複数のコンポーネントは、キーボード、マウスなどの入力ユニット706と、様々なタイプの表示装置およびスピーカなどの出力ユニット707と、磁気ディスク、光ディスクなどの記憶ユニット708と、ネットワークカード、モデム、無線通信トランシーバなどの通信ユニット709とを備える。通信ユニット709は、電子機器700が、インターネットなどのコンピュータネットワーク及び/又は各種電気通信ネットワークを介して他の機器と情報/データを交換することを可能にする。
コンピューティングユニット701は、処理及びコンピューティング能力を有する様々な汎用及び/又は特定用途向け処理コンポーネントとすることができる。コンピューティングユニット701のいくつかの例示は、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、様々な専用人工知能(AI)コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号処理プロセッサ(DSP)、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。コンピューティングユニット701は、例えば、モデルを生成するための方法などのような上述した様々な方法及び処理を実行する。例えば、いくつかの実施形態では、モデルを生成するための方法は、記憶ユニット708などの機械可読媒体に有形に含まれているコンピュータソフトウェアプログラムとして実装され得る。いくつかの実施形態において、コンピュータプログラムの一部または全部は、ROM702及び/又は通信ユニット709を介して電子機器700にロード及び/又はインストールされてもよい。コンピュータプログラムがRAM703にロードされ、コンピューティングユニット701によって実行されると、上述したモデルを生成するための方法の1つまたは複数のステップを実行することができる。代替的に、他の実施形態では、コンピューティングユニット701は、他の任意の適切な形態によって(例えば、ファームウェアによって)モデルを生成するための方法を実行するように構成されてもよい。
本明細書で記述されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SOC)、ロードプログラマブルロジックデバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はこれらの組み合わせによって実装され得る。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムに実装されてもよく、該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行され、及び/又は解釈されてもよく、該プログラマブルプロセッサは、特定用途又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び指令を受信し、データ及び指令を該記憶システム、該少なくとも1つの入力装置、及び該少なくとも1つの出力装置に伝送することができる。
本出願の方法を実施するためのプログラムコードは、1つまたは複数のプログラミング言語の任意の組み合わせで作成してもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることができ、これにより、プログラムコードがプロセッサ又はコントローラによって実行されると、フローチャート及び/又はブロック図において特定される機能又は操作が実施される。プログラムコードは、完全にマシン上で実行されてもよく、部分的にマシン上で実行されてもよく、スタンドアロンソフトウェアパッケージとして一部がマシン上で実行され一部がリモートマシン上で実行されてもよく、或いは完全にリモートマシン又はサーバ上で実行されてもよい。
本出願の明細書において、機械可読媒体は、コマンド実行システム、装置又はデバイスに用いられるか、あるいはコマンド実行システム、装置又はデバイスに組み合わせて用いられるプログラムを含むか又は格納する有形媒体であってもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電気的、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置、又はデバイス、あるいは前記任意の適切な組み合わせを含むが、これらに限定されない。機械可読記憶媒体のより具体的な例示として、1本又は複数本の導線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ケーブル、携帯可能なコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶装置、磁気記憶装置、又は前記の任意の適切な組み合わせを含む。
ユーザとのやりとりをするために、ここで記述されるシステム及び技術は、ユーザに情報を表示するための表示装置(例えば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザが入力をコンピュータに提供するためのキーボード及びポインティング装置(例えば、マウス又はトラックボール)とを備えるコンピュータ上で実施されてもよい。他の種類の装置はユーザとのやりとりをするために用いられてもよい。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック(例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック)であってもよく、任意の形式(音響入力、音声入力又は触覚入力を含む)でユーザからの入力を受信することができる。
ここで記述されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとして)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータであって、ユーザが該グラフィカルユーザインターフェース又は該ウェブブラウザを介して、ここで記述されたシステム及び技術の実施形態とやりとりすることができるユーザコンピュータ)、又はこれらのバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて実施されてもよい。任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及びインターネットが挙げられる。
コンピュータシステムは、クライアント及びサーバを含むことができる。一般的に、クライアントとサーバとは互いに離れており、通常は通信ネットワークを介してやりとりする。それぞれのコンピュータで実行され且つ互いにクライアントとサーバとの関係を持つコンピュータプログラムによって、クライアントとサーバとの関係が構築される。
人工知能とは、人間の思考ルーチンや知的な行為(例えば、学習、推論、思考、計画など)をコンピュータに模倣させることを研究する学問であって、ハードウェアレベルの技術とソフトウェアレベルの技術の両方がある。人工知能ハードウェア技術には、通常、センサ、専用人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などの技術が含まれている。人工知能ソフトウェア技術には、主にコンピュータビジョン技術、音声認識技術、自然言語処理技術及び機械学習/深層学習、ビッグデータ処理技術、知識グラフ技術などが含まれている。
本出願の技術案によれば、まず、サンプルリソースの特徴及びサンプルリソースの特徴に対応するサンプルラベルを取得した後、サンプルリソースの特徴及びサンプルラベルに基づいて、第1のスクリーニング因子を確定し、第1のスクリーニング因子に基づいて、サンプルリソースの特徴から第1のリソースの特徴を確定した後、予め訓練されたLRモデルに関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、第2のスクリーニング因子に基づいて、第1のリソースの特徴から第2のリソースの特徴を確定し、第2のリソースの特徴に基づいて対象モデルの特徴を取得し、最後に、対象モデルの特徴を対象モデルの入力とし、対象モデルの特徴に対応するサンプルラベルを対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得する。従って、LRモデルに基づいて対象モデルの入力の特徴を確定する場合に、大量の特徴量のエンジニアリング、特徴選別及びモデル解釈の可能性への依存を避けたため、時間と人件費が節約された。
なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本出願に記載された各ステップは、本出願に開示された技術方案の所望の結果が達成できる限り、並行して実行されてもよく、順番に実行されてもよく、異なる順序で実行されてもよい。本明細書はここで制限はしない。
上記具体的な実施形態は、本出願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、副次的な組み合わせ、および置換を行うことができることを当業者は理解すべきである。本出願の趣旨および原理を逸脱せずに行われたあらゆる修正、均等置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項1:
サンプルリソースの特徴及び該サンプルリソースの特徴に対応するサンプルラベルを取得することと、
前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定し、前記第1のスクリーニング因子に基づいて、前記サンプルリソースの特徴から第1のリソースの特徴を確定することと、
予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、該第2のスクリーニング因子に基づいて、前記第1のリソースの特徴から第2のリソースの特徴を確定し、該第2のリソースの特徴に基づいて前記対象モデルの特徴を取得することと、
前記対象モデルの特徴を前記対象モデルの入力とし、前記対象モデルの特徴に対応するサンプルラベルを前記対象モデルの出力とし、機械学習モデルを訓練して対象モデルを取得することと
を含む、モデルを生成するための方法。
請求項2:
前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定することは、
前記サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデル(決定木モデル)を訓練して訓練済みXGBoostモデルを取得することと、
前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定することと
を含む請求項1に記載の方法。
請求項3:
前記訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、
前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定することは、前記カバレッジ及び/又は前記相関係数に基づいて、前記第1のスクリーニング因子を確定することを含む、請求項2に記載の方法。
請求項4:
前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することをさらに含み、
前記サンプルリソースの特徴から第1のリソースの特徴を確定することは、前記第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定することを含む、請求項1~3のいずれか1項に記載の方法。
請求項5:
前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することは、前記サンプルリソースの特徴の特徴重要性に基づいて、前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することを含む、請求項4に記載の方法。
請求項6:
前記予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、前記第1のリソースの特徴及び前記第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得することをさらに含む、請求項1に記載の方法。
請求項7:
前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数、P値、情報の価値、モデル安定性評価指標、分散拡大係数のうちの少なくとも1つを含み、前記P値は、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである、請求項6に記載の方法。
請求項8:
前記第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定することと、
すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とすることと
をさらに含む、請求項1に記載の方法。
請求項9:
すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが前記所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算することをさらに含み、
前記すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とすることは、前記マージされたリソースの特徴の証拠の重みの変化パターンが前記所定の規則を満たすことに応答して、前記マージされたリソースの特徴を前記対象モデルの特徴とすることを含む請求項8に記載の方法。
請求項10:
前記所定の規則は、証拠の重みが逓増すること、証拠の重みが逓減すること、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む、請求項8又は9に記載の方法。
請求項11:
グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、前記対象モデルのハイパーパラメータを調整することをさらに含む、請求項1に記載の方法。
請求項12:
前記サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む、請求項1に記載の方法。
請求項13:
サンプルリソースの特徴及び該サンプルリソースの特徴に対応するサンプルラベルを取得するように構成されたサンプル取得モジュールと、
前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定し、前記第1のスクリーニング因子に基づいて、前記サンプルリソースの特徴から第1のリソースの特徴を確定するように構成された第1の確定モジュールと、
予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、該第2のスクリーニング因子に基づいて、前記第1のリソースの特徴から第2のリソースの特徴を確定し、該第2のリソースの特徴に基づいて前記対象モデルの特徴を取得するように構成された第2の確定モジュールと、
前記対象モデルの特徴を前記対象モデルの入力とし、前記対象モデルの特徴に対応するサンプルラベルを前記対象モデルの出力とし、機械学習モデルを訓練して、対象モデルを取得するように構成されたモデル訓練モジュールと
を備える、モデルを生成するための装置。
請求項14:
前記第1の確定モジュールは、
前記サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデル(決定木モデル)を訓練して、訓練済みXGBoostモデルを取得するように構成されたモデル取得ユニットと、
前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定するように構成された因子確定ユニットと
を備える、請求項13に記載の装置。
請求項15:
前記訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、
前記因子確定ユニットは、前記カバレッジ及び/又は前記相関係数に基づいて、前記第1のスクリーニング因子を確定するようにさらに構成される、請求項14に記載の装置。
請求項16:
前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得するように構成された特徴ソートモジュールをさらに備えており、
前記第1の確定モジュールは、前記第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定するようにさらに構成される、請求項13~15のいずれか1項に記載の装置。
請求項17:
前記特徴ソートモジュールは、前記サンプルリソースの特徴の特徴重要性に基づいて、前記サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得するようにさらに構成される、請求項16に記載の装置。
請求項18:
前記予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、前記第1のリソースの特徴及び前記第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得するように構成されたモデル取得モジュールをさらに備える、請求項13に記載の装置。
請求項19:
前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数、P値、情報の価値、モデル安定性評価指標、分散拡大係数のうちの少なくとも1つを含み、前記P値は、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである、請求項18に記載の装置。
請求項20:
前記第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定するように構成された第1の処理モジュールと、
すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とするように構成された対象モデルの特徴確定モジュールと
をさらに備える請求項13に記載の装置。
請求項21:
すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが前記所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算するように構成された第2の処理モジュールをさらに備えており、
前記対象モデルの特徴確定モジュールは、前記マージされたリソースの特徴の証拠の重みの変化パターンが前記所定の規則を満たすことに応答して、前記マージされたリソースの特徴を前記対象モデルの特徴とするようにさらに構成される、請求項20に記載の装置。
請求項22:
前記所定の規則は、証拠の重みが逓増すること、証拠の重みが逓減すること、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む、請求項20又は21に記載の装置。
請求項23:
グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、前記対象モデルのハイパーパラメータを調整するように構成されたパラメータ調整モジュールをさらに備える、請求項13に記載の装置。
請求項24:
前記サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む、請求項13に記載の装置。
請求項25:
少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと通信可能に接続されるメモリとを備えており、
前記メモリには、前記少なくとも1つのプロセッサにより実行可能な指令が格納されており、前記指令が前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項1~12のいずれか1項に記載の方法が実行される、電子機器。
請求項26:
コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令は、前記コンピュータに請求項1~12のいずれか1項に記載の方法を実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
請求項27:
コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項1~12のいずれか1項に記載の方法が実装される、コンピュータプログラム製品。

Claims (27)

  1. モデルを生成するための装置により実行される方法であって、
    サンプルリソースの特徴及び該サンプルリソースの特徴に対応するサンプルラベルを取得することと、
    前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定し、前記第1のスクリーニング因子に基づいて、前記サンプルリソースの特徴から第1のリソースの特徴を確定することと、
    予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、該第2のスクリーニング因子に基づいて、前記第1のリソースの特徴から第2のリソースの特徴を確定し、該第2のリソースの特徴に基づいて対象モデルの特徴を取得することと、
    前記対象モデルの特徴を前記対象モデルの入力とし、前記対象モデルの特徴に対応するサンプルラベルを前記対象モデルの出力とし、機械学習モデルを訓練して前記対象モデルを取得することと
    を含む方法。
  2. 前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定することは、
    前記サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデル(決定木モデル)を訓練して訓練済みXGBoostモデルを取得することと、
    前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定することと
    を含む請求項1に記載の方法。
  3. 前記訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、
    前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定することは、前記カバレッジ及び/又は前記相関係数に基づいて、前記第1のスクリーニング因子を確定することを含む、請求項2に記載の方法。
  4. 前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することをさらに含み、
    前記サンプルリソースの特徴から第1のリソースの特徴を確定することは、前記第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定することを含む、請求項1~3のいずれか1項に記載の方法。
  5. 前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することは、前記サンプルリソースの特徴の特徴重要性に基づいて、前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得することを含む、請求項4に記載の方法。
  6. 前記予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、前記第1のリソースの特徴及び前記第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得することをさらに含む、請求項1に記載の方法。
  7. 前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数、P値、情報の価値、モデル安定性評価指標、分散拡大係数のうちの少なくとも1つを含み、前記P値は、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである、請求項6に記載の方法。
  8. 前記第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定することと、
    すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とすることと
    をさらに含む、請求項1に記載の方法。
  9. すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが前記所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算することをさらに含み、
    前記すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とすることは、前記マージされたリソースの特徴の証拠の重みの変化パターンが前記所定の規則を満たすことに応答して、前記マージされたリソースの特徴を前記対象モデルの特徴とすることを含む請求項8に記載の方法。
  10. 前記所定の規則は、証拠の重みが逓増すること、証拠の重みが逓減すること、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む、請求項8又は9に記載の方法。
  11. グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、前記対象モデルのハイパーパラメータを調整することをさらに含む、請求項1に記載の方法。
  12. 前記サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む、請求項1に記載の方法。
  13. サンプルリソースの特徴及び該サンプルリソースの特徴に対応するサンプルラベルを取得するように構成されたサンプル取得モジュールと、
    前記サンプルリソースの特徴及び前記サンプルラベルに基づいて、第1のスクリーニング因子を確定し、前記第1のスクリーニング因子に基づいて、前記サンプルリソースの特徴から第1のリソースの特徴を確定するように構成された第1の確定モジュールと、
    予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定し、該第2のスクリーニング因子に基づいて、前記第1のリソースの特徴から第2のリソースの特徴を確定し、該第2のリソースの特徴に基づいて対象モデルの特徴を取得するように構成された第2の確定モジュールと、
    前記対象モデルの特徴を前記対象モデルの入力とし、前記対象モデルの特徴に対応するサンプルラベルを前記対象モデルの出力とし、機械学習モデルを訓練して、前記対象モデルを取得するように構成されたモデル訓練モジュールと
    を備える、モデルを生成するための装置。
  14. 前記第1の確定モジュールは、
    前記サンプルリソースの特徴及び前記サンプルリソースの特徴に対応するサンプルラベルに基づいて、XGBoostモデル(決定木モデル)を訓練して、訓練済みXGBoostモデルを取得するように構成されたモデル取得ユニットと、
    前記訓練済みXGBoostモデルに関連付けられるパラメータに基づいて、前記第1のスクリーニング因子を確定するように構成された因子確定ユニットと
    を備える、請求項13に記載の装置。
  15. 前記訓練済みXGBoostモデルに関連付けられるパラメータは、カバレッジ及び相関係数を含み、
    前記因子確定ユニットは、前記カバレッジ及び/又は前記相関係数に基づいて、前記第1のスクリーニング因子を確定するようにさらに構成される、請求項14に記載の装置。
  16. 前記サンプルリソースの特徴をソートして、ソート済みサンプルリソースの特徴を取得するように構成された特徴ソートモジュールをさらに備えており、
    前記第1の確定モジュールは、前記第1のスクリーニング因子に基づいて、ソート済みサンプルリソースの特徴のうちの所定数のサンプルリソースの特徴から第1のリソースの特徴を確定するようにさらに構成される、請求項13~15のいずれか1項に記載の装置。
  17. 前記特徴ソートモジュールは、前記サンプルリソースの特徴の特徴重要性に基づいて、前記サンプルリソースの特徴をソートし、ソート済みサンプルリソースの特徴を取得するようにさらに構成される、請求項16に記載の装置。
  18. 前記予め訓練されたロジスティック回帰モデル(LRモデル)に関連付けられるパラメータに基づいて、第2のスクリーニング因子を確定する前に、前記第1のリソースの特徴及び前記第1のリソースの特徴に対応するサンプルラベルに基づいて、前記LRモデルを訓練して、前記予め訓練されたLRモデルを取得するように構成されたモデル取得モジュールをさらに備える、請求項13に記載の装置。
  19. 前記予め訓練されたLRモデルに関連付けられるパラメータは、変数の係数、P値、情報の価値、モデル安定性評価指標、分散拡大係数のうちの少なくとも1つを含み、前記P値は、前記予め訓練されたLRモデルのテスト結果を判定するパラメータである、請求項18に記載の装置。
  20. 前記第2のリソースの特徴をビニングし、ビニングされたリソースの特徴を取得し、ビニングされたリソースの特徴に対応する証拠の重みを確定するように構成された第1の処理モジュールと、
    すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが所定の規則を満たすことに応答して、ビニングされたリソースの特徴を前記対象モデルの特徴とするように構成された対象モデルの特徴確定モジュールと
    をさらに備える請求項13に記載の装置。
  21. すべてのビニングされたリソースの特徴に対応する証拠の重みの変化パターンが前記所定の規則を満たさないことに応答して、ビニングされたリソースの特徴をマージし、マージされたリソースの特徴の証拠の重みを計算するように構成された第2の処理モジュールをさらに備えており、
    前記対象モデルの特徴確定モジュールは、前記マージされたリソースの特徴の証拠の重みの変化パターンが前記所定の規則を満たすことに応答して、前記マージされたリソースの特徴を前記対象モデルの特徴とするようにさらに構成される、請求項20に記載の装置。
  22. 前記所定の規則は、証拠の重みが逓増すること、証拠の重みが逓減すること、証拠の重みが増加した後に減少すること、証拠の重みが減少した後に増加することのうちの1つを含む、請求項20又は21に記載の装置。
  23. グリッドサーチ、ランダムサーチ、ベイズ最適化のうちの1つに基づいて、前記対象モデルのハイパーパラメータを調整するように構成されたパラメータ調整モジュールをさらに備える、請求項13に記載の装置。
  24. 前記サンプルリソースの特徴は、サンプル画像の特徴、サンプルテキストの特徴、サンプル音声の特徴のうちの1つを含む、請求項13に記載の装置。
  25. 少なくとも1つのプロセッサと、該少なくとも1つのプロセッサと通信可能に接続されるメモリとを備えており、
    前記メモリには、前記少なくとも1つのプロセッサにより実行可能な指令が格納されており、前記指令が前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに請求項1~12のいずれか1項に記載の方法が実行される、電子機器。
  26. コンピュータ指令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ指令は、コンピュータに請求項1~12のいずれか1項に記載の方法を実行させるために用いられる、非一時的コンピュータ可読記憶媒体。
  27. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、請求項1~12のいずれか1項に記載の方法が実装される、コンピュータプログラム。
JP2021105345A 2020-12-22 2021-06-25 モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品 Active JP7304384B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011530270.5A CN112561082A (zh) 2020-12-22 2020-12-22 生成模型的方法、装置、设备以及存储介质
CN202011530270.5 2020-12-22

Publications (2)

Publication Number Publication Date
JP2022033695A JP2022033695A (ja) 2022-03-02
JP7304384B2 true JP7304384B2 (ja) 2023-07-06

Family

ID=75031481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021105345A Active JP7304384B2 (ja) 2020-12-22 2021-06-25 モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品

Country Status (4)

Country Link
US (1) US20210319366A1 (ja)
EP (1) EP3893169A3 (ja)
JP (1) JP7304384B2 (ja)
CN (1) CN112561082A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111928B (zh) * 2021-04-01 2023-12-29 中国地质大学(北京) 一种基于地学数据库的半监督学习矿产资源定量预测方法
CN113449193A (zh) * 2021-07-08 2021-09-28 中国工商银行股份有限公司 基于多分类图像的信息推荐方法及装置
CN113672783B (zh) * 2021-08-11 2023-07-11 北京达佳互联信息技术有限公司 特征处理方法、模型训练方法及媒体资源处理方法
CN113780582B (zh) * 2021-09-15 2023-04-07 杭银消费金融股份有限公司 基于机器学习模型的风控特征筛选方法及***
CN114511022B (zh) * 2022-01-24 2022-12-27 百度在线网络技术(北京)有限公司 特征筛选、行为识别模型训练、异常行为识别方法及装置
CN114936205A (zh) * 2022-06-02 2022-08-23 江苏品生医疗科技集团有限公司 一种特征筛选方法、装置、存储介质及电子设备
CN117112445B (zh) * 2023-10-07 2024-01-16 太平金融科技服务(上海)有限公司 一种机器学习模型稳定性检测方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300546A1 (en) 2014-12-23 2017-10-19 Huawei Technologies Co., Ltd. Method and Apparatus for Data Processing in Data Modeling
JP2020035395A (ja) 2018-08-31 2020-03-05 株式会社リコー 学習方法、プログラムおよび学習装置
JP2020060922A (ja) 2018-10-09 2020-04-16 株式会社Preferred Networks ハイパーパラメータチューニング方法、装置及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050556B (zh) * 2014-05-27 2017-06-16 哈尔滨理工大学 一种垃圾邮件的特征选择方法及其检测方法
CN107133628A (zh) * 2016-02-26 2017-09-05 阿里巴巴集团控股有限公司 一种建立数据识别模型的方法及装置
CN110543946B (zh) * 2018-05-29 2022-07-05 百度在线网络技术(北京)有限公司 用于训练模型的方法和装置
CN109033833B (zh) * 2018-07-13 2021-04-09 北京理工大学 一种基于多特征与特征选择的恶意代码分类方法
CN110175644A (zh) * 2019-05-27 2019-08-27 恒安嘉新(北京)科技股份公司 特征选择方法、装置、电子设备、及存储介质
CN110222097A (zh) * 2019-06-18 2019-09-10 北京百度网讯科技有限公司 用于生成信息的方法和装置
CA3050951A1 (en) * 2019-06-21 2019-10-11 Inspectorio Inc. Factory risk estimation using historical inspection data
CN110782277A (zh) * 2019-10-12 2020-02-11 上海陆家嘴国际金融资产交易市场股份有限公司 资源处理方法、装置、计算机设备和存储介质
CN111783843A (zh) * 2020-06-10 2020-10-16 苏宁金融科技(南京)有限公司 一种特征选择方法、装置及计算机***
CN112070226B (zh) * 2020-09-02 2023-06-27 北京百度网讯科技有限公司 在线预测模型的训练方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300546A1 (en) 2014-12-23 2017-10-19 Huawei Technologies Co., Ltd. Method and Apparatus for Data Processing in Data Modeling
JP2020035395A (ja) 2018-08-31 2020-03-05 株式会社リコー 学習方法、プログラムおよび学習装置
JP2020060922A (ja) 2018-10-09 2020-04-16 株式会社Preferred Networks ハイパーパラメータチューニング方法、装置及びプログラム

Also Published As

Publication number Publication date
EP3893169A2 (en) 2021-10-13
US20210319366A1 (en) 2021-10-14
EP3893169A3 (en) 2021-12-29
JP2022033695A (ja) 2022-03-02
CN112561082A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
JP7304384B2 (ja) モデルを生成するための方法、装置、電子機器、記憶媒体、及びコンピュータプログラム製品
CN109408731B (zh) 一种多目标推荐方法、多目标推荐模型生成方法以及装置
US10360517B2 (en) Distributed hyperparameter tuning system for machine learning
KR20220113881A (ko) 사전 훈련 모델의 생성 방법, 장치, 전자 기기 및 저장 매체
US20230102337A1 (en) Method and apparatus for training recommendation model, computer device, and storage medium
AU2021203338A1 (en) Automated Model Development Process
CN112270547A (zh) 基于特征构造的金融风险评估方法、装置和电子设备
JP2024503774A (ja) 融合パラメータの特定方法及び装置、情報推奨方法及び装置、パラメータ測定モデルのトレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN113159355A (zh) 数据预测方法、装置、物流货量预测方法、介质、设备
CN111738331A (zh) 用户分类方法及装置、计算机可读存储介质、电子设备
CN112632377B (zh) 一种基于用户评论情感分析与矩阵分解的推荐方法
CN111461757B (zh) 信息处理方法及装置、计算机存储介质、电子设备
CN113642727B (zh) 神经网络模型的训练方法和多媒体信息的处理方法、装置
CN113392920B (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN113961765B (zh) 基于神经网络模型的搜索方法、装置、设备和介质
CN114037060A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN113807391A (zh) 任务模型的训练方法、装置、电子设备及存储介质
CN113312552A (zh) 数据处理方法、装置、电子设备和介质
CN114066278B (zh) 物品召回的评估方法、装置、介质及程序产品
CN113361712B (zh) 特征确定模型的训练方法、语义分析方法、装置及电子设备
CN116823407B (zh) 产品信息推送方法、装置、电子设备和计算机可读介质
CN114037058B (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN112541705B (zh) 生成用户行为评估模型的方法、装置、设备以及存储介质
EP4198831A1 (en) Automated feature engineering for predictive modeling using deep reinforcement learning
CN114037061A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304384

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150