JP2024507602A - データ処理方法及び予測モデルをトレーニングするための方法 - Google Patents
データ処理方法及び予測モデルをトレーニングするための方法 Download PDFInfo
- Publication number
- JP2024507602A JP2024507602A JP2022581432A JP2022581432A JP2024507602A JP 2024507602 A JP2024507602 A JP 2024507602A JP 2022581432 A JP2022581432 A JP 2022581432A JP 2022581432 A JP2022581432 A JP 2022581432A JP 2024507602 A JP2024507602 A JP 2024507602A
- Authority
- JP
- Japan
- Prior art keywords
- sample
- prediction
- processed
- target
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims description 29
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 17
- 238000005516 engineering process Methods 0.000 abstract description 17
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 8
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000002620 method output Methods 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/735—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/75—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本開示は、コンピュータ技術分野に関し、特に人工知能技術に関し、具体的には、データ処理方法及び予測モデルをトレーニングするための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。
本開示の一態様によれば、被処理対象を決定することと、前記被処理対象の分類属性に基づいて前記被処理対象が所属する対象カテゴリを決定することと、前記対象カテゴリに基づいて前記被処理対象に用いられる予測モデルを決定することと、前記予測モデルを利用して前記被処理対象の少なくとも一つの予測特徴を処理することにより、前記被処理対象の予測結果を取得し、前記予測結果と前記分類属性は同種の変数であることと、を含むデータ処理方法を提供する。
本開示の別の態様によれば、プロセッサによって実行されると、以上に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。
図1は、本開示の実施例による、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム100の概略図を示す。図1を参照すると、このシステム100は、一つ又は複数のクライアントデバイス101、102、103、104、105と106、サーバ120、及び一つ又は複数のクライアントデバイスをサーバ120に結合する一つ又は複数の通信ネットワーク110を含む。クライアントデバイス101、102、103、104、105と106は、一つ又は複数のアプリケーションを実行するように構成されることが可能である。
いくつかの実施例では、サーバ120は、非仮想環境及び仮想環境を含んでもよい他のサービス又はソフトウェアアプリケーションも提供することができる。いくつかの実施例では、これらのサービスは、webベースのサービス又はクラウドサービスとして提供することができ、例えば、ソフトウェアアズアサービス(SaaS)モデルでクライアントデバイス101、102、103、104、105及び/又は106のユーザに提供される。
図2は、本開示の実施例によるデータ処理方法を示す例示的なフローチャートである。図1に示すようなクライアントデバイス又はサーバを利用して図2に示すような方法200を実行することができる。
ステップS204において、被処理対象の分類属性に基づいて被処理対象が所属する対象カテゴリを決定する。
ステップS208において、予測モデルを利用して被処理対象の少なくとも一つの予測特徴を処理することにより、被処理対象の予測結果を取得し、ここで、予測結果と分類属性は同種の変数である。
ステップS202において、被処理対象を決定することができる。
ステップS204において、被処理対象の分類属性に基づいて被処理対象が所属する対象カテゴリを決定することができる。
いくつかの実施例では、ステップS204は、動画の動画長さに基づいて動画が所属する動画長さの区間を決定し、決定した動画長さの区間の標識を該動画が所属する対象カテゴリとして決定することができることを含んでもよい。
ステップS304において、サンプル対象の分類属性に基づいてサンプルセットにおける第1のサンプルサブセットと第2のサンプルサブセットを決定する。
ステップS308において、第2のサンプルサブセットにおける第2のサンプル対象を利用して第2の予測モデルをトレーニングする。
いくつかの実施例では、サンプル対象と予測モデルに関わる被処理対象は動画であってもよく、分類属性は動画長さであってもよい。別の実施例では、サンプル対象と予測モデルに関わる被処理対象は気象履歴データであってもよく、分類属性は気象履歴データに含まれる気象パラメータの一つ(例えば、温度、湿度、風力、降水量など)であってもよい。以下、サンプル対象は動画であることを例として本開示の原理を説明する。理解すべきことは、別の実施例では、本開示の実施例により提供される方法によっていかなる他の形式の単変数連続値の予測タスクを実現することもできることである。
ステップS308において、第2のサンプルサブセットにおける第2のサンプル対象を利用して第2の予測モデルをトレーニングすることができる。
例えば、第1のサンプル予測結果と第1の実際のサンプル結果に基づいて第1の損失を決定することができ、第1の損失に基づいて第1の予測モデルの第1の現在パラメータを調整する。ここで、所定の損失関数に基づいて第1の損失を決定することができ、ここで、所定の損失関数は第1のサンプル予測結果と第1の実際のサンプル結果との差異を指示することができる。
図5に示すように、マルチタスクフレーム500は、入力501、エキスパートネットワーク502、Gateネットワーク503-A、503-B、第1のモデル504、第2のモデル505及びそれぞれ第1のモデル504と第2のモデル505に対応する第1の出力506と第2の出力507を含んでもよい。
マルチタスクトレーニング時、マルチタスクの損失関数は式(4)により示されてよい。
ここで、各タスクの比重は各比重の重要性により決定されてよい。例えば、啓発式のアルゴリズム(例えば、強化学習又は進化学習)で各タスクの比重を決定することができる。
図6に示すように、データ処理装置600は、被処理対象決定ユニット610、対象カテゴリ決定ユニット620、予測モデル決定ユニット630及び予測ユニット640を含んでもよい。
図7は、本開示の実施例による予測モデルをトレーニングするための装置を示す例示的なブロック図である。
本開示の技術案において、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供と開示などの処理は、すべて関連法律法規の規定に適合し、公序良俗に反しない。
図8に示すように、ここでは、本開示の様々な態様に適用可能なハードウェア装置の一例である、本開示のサーバ又はクライアントとして利用可能な電子機器800の構成ブロック図について説明する。電子機器は、様々な形態のデジタル電子コンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、個人用デジタル補助装置、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブル機器とその他の類似する計算装置を示してよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び/又は請求した本開示の実現を制限しない。
Claims (23)
- データ処理方法であって、
被処理対象を決定することと、
前記被処理対象の分類属性に基づいて、前記被処理対象が所属する対象カテゴリを決定することと、
前記対象カテゴリに基づいて前記被処理対象に用いられる予測モデルを決定することと、
前記予測モデルを利用して前記被処理対象の少なくとも一つの予測特徴を処理することにより、前記被処理対象の予測結果を取得し、ここで、前記予測結果と前記分類属性は同種の変数を有することとを含む、データ処理方法。 - 前記被処理対象は動画であり、前記分類属性は動画長さであり、前記予測結果はユーザが前記動画を視聴する予測時間である、請求項1に記載のデータ処理方法。
- 被処理対象の分類属性に基づいて被処理対象が所属する対象カテゴリを決定することは、
前記動画の動画長さに基づいて前記動画が所属する動画長さの区間を決定することと、
前記動画長さの区間の標識を前記対象カテゴリとして決定することと、を含む、請求項2に記載のデータ処理方法。 - 前記対象カテゴリに基づいて前記被処理対象に用いられる予測モデルを決定することは、
前記被処理対象が所属する対象カテゴリが第1の動画長さの区間であることを決定することに応答して、第1の予測モデルを前記被処理対象に用いることを決定することと、
前記被処理対象が所属する対象カテゴリが第2の動画長さの区間であることを決定することに応答して、第2の予測モデルを前記被処理対象に用いることを決定することと、を含む、請求項3に記載のデータ処理方法。 - 前記少なくとも一つの予測特徴は、前記動画を視聴したユーザのユーザ特徴と前記動画アイテム特徴を含む、請求項2に記載のデータ処理方法。
- 前記予測モデルを利用して前記被処理対象の少なくとも一つの予測特徴を処理することにより、前記被処理対象の予測結果を取得することは、
前記予測モデルを利用して前記被処理対象の少なくとも一つの予測特徴を処理することにより、前記被処理対象の正規化予測結果を取得することと、
前記対象カテゴリに用いられる正規化パラメータを利用して前記正規化予測結果を処理することにより、前記予測結果を取得することと、を含む、請求項1に記載のデータ処理方法。 - 前記被処理対象は気象履歴データであり、前記分類属性は気象履歴データに含まれる気象パラメータであり、前記予測結果は予測気象パラメータである、請求項1に記載のデータ処理方法。
- 予測モデルをトレーニングするための方法であって、
複数のサンプル対象を含むサンプルセットを決定することと、
前記サンプル対象の分類属性に基づいてサンプルセットにおける第1のサンプルサブセットと第2のサンプルサブセットを決定することと、
第1のサンプルサブセットにおける第1のサンプル対象を利用して第1の予測モデルをトレーニングすることと、
第2のサンプルサブセットにおける第2のサンプル対象を利用して第2の予測モデルをトレーニングすることと、を含み、
ここで、前記第1の予測モデルと第2の予測モデルは、被処理対象の少なくとも一つの予測特徴を処理することにより、被処理対象の予測結果を取得するために用いられ、前記予測結果と前記分類属性は同種の変数である、予測モデルをトレーニングするための方法。 - 前記サンプル対象と前記被処理対象は動画であり、前記分類属性は動画長さである、請求項8に記載の方法。
- 前記第1のサンプルサブセットは第1の動画長さの区間に属する少なくとも一つの第1のサンプル対象を含み、前記第2のサンプルサブセットは第2の動画長さの区間に属する少なくとも一つの第2のサンプル対象を含む、請求項9に記載の方法。
- 前記第1のサンプルサブセットにおけるサンプル対象の数は前記第2のサンプルサブセットにおけるサンプル対象の数と同じである、請求項10に記載の方法。
- 第1のサンプルサブセットにおけるサンプル対象を利用して第1の予測モデルをトレーニングすることは、
第1の予測モデルの第1の現在パラメータを決定することと、
前記第1の現在パラメータを利用して前記第1のサンプル対象の少なくとも一つの第1のサンプル特徴を処理することにより、前記第1のサンプル対象の第1のサンプル予測結果を取得することと、
前記第1のサンプルの第1の実際のサンプル結果を決定することと、
前記第1のサンプル予測結果と前記第1の実際のサンプル結果に基づいて前記第1の現在パラメータを調整することと、を含む、請求項8~11のいずれか一項に記載の方法。 - 前記第1のサンプル予測結果と前記第1の実際のサンプル結果に基づいて前記第1の現在パラメータを調整することは、
前記第1のサンプル予測結果と前記第1の実際のサンプル結果に基づいて第1の損失を決定することと、
前記第1の損失に基づいて前記第1の現在パラメータを調整することと、を含む、請求項12に記載の方法。 - 前記第1のサンプル予測結果と前記第1の実際のサンプル結果に基づいて第1の損失を決定することは、
前記第1のサンプル予測結果と前記第1の実際のサンプル結果との差異がトレーニング閾値より小さい時、第1の損失関数を利用して前記第1の損失を決定することと、
前記第1のサンプル予測結果と前記第1の実際のサンプル結果との差異がトレーニング閾値以上である時、第2の損失関数を利用して前記第1の損失を決定することと、を含む、請求項13に記載の方法。 - 前記トレーニング閾値はトレーニング回数の増加に伴って減衰する、請求項14に記載の方法。
- 前記第1のサンプル予測結果と前記第1の実際のサンプル結果との差異が前記トレーニング閾値に等しい時、前記第1の損失関数によって決定された損失と前記第2の損失関数によって決定された損失は同じである、請求項14に記載の方法。
- 前記第1の損失関数は、下式(1)で表され、
- マルチタスクトレーニングフレームを利用して前記第1の予測モデルと前記第2の予測モデルに対するマルチタスクトレーニングを行うことにより、前記第1の予測モデルの最終パラメータと前記第2の予測モデルの最終パラメータを取得すること、を更に含む、請求項8に記載の方法。
- データ処理装置であって、
被処理対象を決定するように構成される被処理対象決定ユニットと、
前記被処理対象の分類属性に基づいて前記被処理対象が所属する対象カテゴリを決定するように構成される対象カテゴリ決定ユニットと、
前記対象カテゴリに基づいて前記被処理対象に用いられる予測モデルを決定するように構成される予測モデル決定ユニットと、
前記予測モデルを利用して前記被処理対象の少なくとも一つの予測特徴を処理することにより、前記被処理対象の予測結果を取得するように構成される予測ユニットであって、ここで、前記予測結果と前記分類属性は同種の変数であるものと、を含む、データ処理装置。 - 予測モデルをトレーニングするための装置であって、
複数のサンプル対象を含むサンプルセットを決定するように構成されるサンプル決定ユニットと、
前記サンプル対象の分類属性に基づいてサンプルセットにおける第1のサンプルサブセットと第2のサンプルサブセットを決定するように構成される分類ユニットと、
第1のサンプルサブセットにおける第1のサンプル対象を利用して第1の予測モデルをトレーニングするように構成される第1の予測モデルトレーニングユニットと、
第2のサンプルサブセットにおける第2のサンプル対象を利用して第2の予測モデルをトレーニングするように構成される第2の予測モデルトレーニングユニットと、を含み、
ここで、前記第1の予測モデルと第2の予測モデルは、被処理対象の少なくとも一つの予測特徴を処理することにより、被処理対象の予測結果を取得するために用いられ、前記予測結果と前記分類属性は同種の変数である、予測モデルをトレーニングするための装置。 - 電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されたメモリとを含み、ここで、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも一つのプロセッサによって実行されることにより、前記少なくとも一つのプロセッサに請求項1~18のいずれか一項に記載の方法を実行させることができる、電子機器。 - コンピュータに請求項1~18のいずれか一項に記載の方法を実行させるためのコンピュータ命令が記憶された非一時的コンピュータ可読記憶媒体。
- プロセッサによって実行されると、請求項1~18のいずれか一項に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210088356.XA CN114443896B (zh) | 2022-01-25 | 2022-01-25 | 数据处理方法和用于训练预测模型的方法 |
CN202210088356.X | 2022-01-25 | ||
PCT/CN2022/107883 WO2023142408A1 (zh) | 2022-01-25 | 2022-07-26 | 数据处理方法和用于训练预测模型的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2024507602A true JP2024507602A (ja) | 2024-02-21 |
JP7535139B2 JP7535139B2 (ja) | 2024-08-15 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
WO2023142408A1 (zh) | 2023-08-03 |
CN114443896A (zh) | 2022-05-06 |
CN114443896B (zh) | 2023-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113807440B (zh) | 利用神经网络处理多模态数据的方法、设备和介质 | |
CN113642740A (zh) | 模型训练方法及装置、电子设备和介质 | |
CN114445667A (zh) | 图像检测方法和用于训练图像检测模型的方法 | |
CN114791982B (zh) | 对象推荐方法和装置 | |
JP2024509014A (ja) | ソーティング方法、ソーティングモデルのトレーニング方法、装置、電子機器及び記憶媒体 | |
CN113642635B (zh) | 模型训练方法及装置、电子设备和介质 | |
CN114443989A (zh) | 排序方法、排序模型的训练方法、装置、电子设备及介质 | |
WO2023142408A1 (zh) | 数据处理方法和用于训练预测模型的方法 | |
CN116450944A (zh) | 基于推荐模型的资源推荐方法、装置、电子设备和介质 | |
CN115600646B (zh) | 语言模型的训练方法、装置、介质及设备 | |
CN114219046B (zh) | 模型训练方法、匹配方法、装置、***、电子设备和介质 | |
CN115578501A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN113722594B (zh) | 推荐模型的训练方法、推荐方法、装置、电子设备及介质 | |
JP7535139B2 (ja) | データ処理方法及び予測モデルをトレーニングするための方法 | |
CN114429678A (zh) | 模型训练方法及装置、电子设备和介质 | |
CN114881170A (zh) | 用于对话任务的神经网络的训练方法和对话任务处理方法 | |
CN114120416A (zh) | 模型训练方法、装置、电子设备及介质 | |
CN116070711B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN115033782B (zh) | 推荐对象的方法、机器学习模型的训练方法、装置和设备 | |
CN115879468B (zh) | 基于自然语言理解的文本要素提取方法、装置和设备 | |
CN117669667A (zh) | 用于执行目标任务的模型的训练方法、装置及设备 | |
CN115100461A (zh) | 图像分类模型训练方法、装置、电子设备、介质 | |
CN114692780A (zh) | 实体信息分类方法、分类模型训练方法、装置、电子设备 | |
CN114169440A (zh) | 模型训练方法、数据处理方法、装置、电子设备及介质 | |
CN117710504A (zh) | 图像生成方法、图像生成模型的训练方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240524 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240802 |