JP7185014B2 - モデルトレーニング方法、機械翻訳方法、コンピュータ装置及びプログラム - Google Patents
モデルトレーニング方法、機械翻訳方法、コンピュータ装置及びプログラム Download PDFInfo
- Publication number
- JP7185014B2 JP7185014B2 JP2021505689A JP2021505689A JP7185014B2 JP 7185014 B2 JP7185014 B2 JP 7185014B2 JP 2021505689 A JP2021505689 A JP 2021505689A JP 2021505689 A JP2021505689 A JP 2021505689A JP 7185014 B2 JP7185014 B2 JP 7185014B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- neural network
- network model
- training
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Description
トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットは、トレーニングサンプル及び前記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
前記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、前記ニューラルネットワークモデルにより、前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
前記ニューラルネットワークモデルが前記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、前記予測ラベルベクトルが、前記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を含む。
翻訳対象のコンテンツを取得するステップと、
機械翻訳モデルにより、前記翻訳対象のコンテンツに対応する翻訳結果を取得するステップであって、前記機械翻訳モデルが、上記第1態様に記載のモデルトレーニング方法でトレーニングされたものである、ステップと、
前記翻訳結果を表示するステップと、を含む。
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサは、前記プログラムコードにおける命令に基づいて、
トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットは、トレーニングサンプル及び前記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
前記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、前記ニューラルネットワークモデルにより、前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
前記ニューラルネットワークモデルが前記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、前記予測ラベルベクトルが、前記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を実行する。
前記メモリは、上記第1態様に記載のニューラルネットワークモデルのトレーニング方法でトレーニングされた機械翻訳モデルを記憶し、
前記プロセッサは、前記機械翻訳モデルを実行して、翻訳対象のコンテンツに対応する翻訳結果を取得する。
Ki=zi*Wi K
Vi=zi*Wi V
ここで、第i個のサブ空間から出力されるクエリベクトル列Q、キーベクトル列K及び値ベクトル列Vは、それぞれ、Qi、Ki及びViであり、トレーニングサンプルX={x1,x2,x3,…,xI}は、I個の要素を含み、ソースベクトル列Z={z1,z2,z3,…,zI]における各要素は、d次元の列ベクトルであり、すなわち、ZはI個のd次元のベクトルからなるベクトル列であり、I*dの行列と表記することができ、学習可能パラメータ行列Wi Q、Wi k及びWi Vがd*dの行列であれば、クエリベクトル列Q、キーベクトル列K及び値ベクトル列Vは、I*dの行列である。ここで、I又はdは、1以上の、いずれか1つの正の整数である。
k=Z*WK
v=Z*WV
ここで、トレーニングサンプルX={x1,x2,x3,…,xI}は、I個の要素を含み、ソースベクトル列Z={z1,z2,z3,…,zI}における各要素はd次元の列ベクトルであり、すなわち、ZはI個のd次元の列ベクトルからなるベクトル列であり、I*dの行列と表記することができ、学習可能パラメータ行列Wi Q、Wi k及びWi Vがd*dの行列であれば、クエリベクトルベースシーケンスq、キーベクトルベースシーケンスk及び値ベクトルベースシーケンスvは、I*dの行列である。ここで、I又はdは、1以上の、いずれか1つの正の整数である。
Ki=k*Wi K
Vi=v*Wi V
第i個のサブ空間から出力されるクエリベクトル列Q、キーベクトル列K及び値ベクトル列Vは、それぞれ、Qi、Ki及びViであり、ここで、各サブ空間の学習可能パラメータ行列Wi Q、Wi k及びWi Vは同じではない。
ここで、αiが第i個のサブ空間に対応する重み関係であり、eiが第i個のサブ空間に対応する論理類似度であり、softmax関数が指数正規化関数である。
ここで、Oiが第i個のサブ空間に対応する出力ベクトルであり、すなわち、第i個の注意ネットワークに対応する出力ベクトルであり、αiが第i個のサブ空間に対応する重み関係であり、Viが第i個のサブ空間に対応する値ベクトル列であり、iが1以上の、いずれか1つの正の整数である。
ここで、Oが特徴融合ベクトルであり、O’が第4のベクトルであり、Pが線形マッピングパラメータである。
ここで、Oが特徴融合ベクトルであり、O”が第5のベクトルであり、Pが線形マッピングパラメータである。
各トレーニングサンプル及びそれ(すなわち、該トレーニングサンプル)に対応する標準ラベルベクトルを含むトレーニングサンプルセットを取得するための取得モジュール1001と、
複数の注意ネットワークを含むニューラルネットワークモデルに上記トレーニングサンプルセット中のトレーニングサンプルを入力する(すなわち、上記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力する)ための入力モジュール1002と、
上記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するための特徴融合ベクトル生成モジュール1003と、
上記ニューラルネットワークモデルが上記特徴融合ベクトルに基づいて出力した、トレーニングサンプルに対応する予測ラベルベクトルを取得するための予測ラベルベクトル取得モジュール1004と、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、上記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するための取得モジュール1005と、を含む。
上記複数の注意ネットワークのそれぞれの出力ベクトルを1枚の二次元の特徴マップとして並べてスタックするためのスタックサブモジュール1101と、
畳み込みニューラルネットワークを介して上記特徴マップから特徴を抽出して、3次元テンソルを取得するための特徴抽出サブモジュール1102と、
上記3次元テンソルに対してシリアライズ処理を行って、一次元ベクトルを取得するためのシリアライズ処理サブモジュール1103と、
上記一次元ベクトルを線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するための線形変換サブモジュール1104と、を含む。
畳み込みニューラルネットワークを用いて上記特徴マップに対して畳み込み操作を行って、3次元テンソルを取得するか、又は、
畳み込みニューラルネットワークを用いて上記特徴マップに対して畳み込みとプーリング操作を行って、3次元テンソルを取得する。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するための連結サブモジュール1201と、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するためのマッピングサブモジュール1202と、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するための乗算サブモジュール1203と、
上記第4のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するための線形マッピングサブモジュール1204と、を含む。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するための連結サブモジュール1301と、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するためのマッピングサブモジュール1302と、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するための乗算サブモジュール1303と、
上記第4のベクトルと上記第1のベクトルとを融合して、第5のベクトルを取得するための融合サブモジュール1304と、
上記第5のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するための線形マッピングサブモジュール1305と、を含む。
上記第1のベクトルに対して線形マッピングを2回行って、第2のベクトル及び第3のベクトルを取得するか、又は、
上記第1のベクトルに対して非線形マッピングを2回行って、第2のベクトル及び第3のベクトルを取得する。
上記第4のベクトルと上記第1のベクトルとを順に連結して、第5のベクトルを取得するか、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて乗算して、第5のベクトルを取得するか、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて加算して、第5のベクトルを取得する。
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、損失関数値を決定し、
上記損失関数値がターゲット閾値より大きければ、上記ニューラルネットワークモデルのモデルパラメータを反復調整し、
上記損失関数値がターゲット閾値以下であれば、現在のニューラルネットワークモデルが収束条件を満たすと決定し、現在のニューラルネットワークモデルをターゲットニューラルネットワークモデルとする。
上記エンコーダは、カスケード接続されたN個の第1タイプのネットワークブロックを含み、各第1タイプのネットワークブロックは、カスケード接続された1つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、
上記デコーダは、カスケード接続されたN個の第2タイプのネットワークブロックを含み、各第2タイプのネットワークブロックは、カスケード接続された2つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、上記Nは1以上の正の整数である。
翻訳対象のコンテンツを取得するための取得モジュール1401と、
図2~図8に示すニューラルネットワークモデルのトレーニング方法でトレーニングされた機械翻訳モデルにより、上記翻訳対象のコンテンツに対応する翻訳結果を取得するための翻訳モジュール1402と、
上記翻訳結果を表示するための表示モジュール1403と、を含む。
トレーニングサンプル及びそれ(すなわち、該トレーニングサンプル)に対応する標準ラベルベクトルを含むトレーニングサンプルセットを取得するステップと、
複数の注意ネットワークを含むニューラルネットワークモデルに上記トレーニングサンプルセット中のトレーニングサンプルを入力する(すなわち、上記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力する)ステップと、
上記ニューラルネットワークモデルにより、上記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
上記ニューラルネットワークモデルが上記特徴融合ベクトルに基づいて出力した、トレーニングサンプルに対応する予測ラベルベクトルを取得するステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、上記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を実行する。
上記複数の注意ネットワークのそれぞれの出力ベクトルを二次元の特徴マップとして並べてスタックするステップと、
畳み込みニューラルネットワークを介して上記特徴マップから特徴を抽出して、3次元テンソルを取得するステップと、
上記3次元テンソルに対してシリアライズ処理を行って、一次元ベクトルを取得するステップと、
上記一次元ベクトルを線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行する。
畳み込みニューラルネットワークを用いて上記特徴マップに対して畳み込み操作を行って、上記3次元テンソルを取得するステップ、又は、
畳み込みニューラルネットワークを用いて上記特徴マップに対して畳み込みとプーリング操作を行って、上記3次元テンソルを取得するステップを実行する。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
上記第4のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行する。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
上記第4のベクトルと上記第1のベクトルとを融合して、第5のベクトルを取得するステップと、
上記第5のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行する。
上記第4のベクトルと上記第1のベクトルとを順に連結して、第5のベクトルを取得するステップ、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて乗算して、第5のベクトルを取得するステップ、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて加算して、第5のベクトルを取得するステップを実行する。
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、損失関数値を決定するステップと、
上記損失関数値がターゲット閾値より大きければ、上記ニューラルネットワークモデルのモデルパラメータを反復調整するステップと、
上記損失関数値が上記ターゲット閾値以下であれば、現在のニューラルネットワークモデルが収束条件を満たすと決定し、現在のニューラルネットワークモデルをターゲットニューラルネットワークモデルとするステップと、を実行する。
上記エンコーダは、カスケード接続されたN個の第1タイプのネットワークブロックを含み、各第1タイプのネットワークブロックは、カスケード接続された1つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、
上記デコーダは、カスケード接続されたN個の第2タイプのネットワークブロックを含み、各第2タイプのネットワークブロックは、カスケード接続された2つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、上記Nは1以上の正の整数である。
トレーニングサンプル及びそれ(すなわち、該トレーニングサンプル)に対応する標準ラベルベクトルを含むトレーニングサンプルセットを取得し、
複数の注意ネットワークを含むニューラルネットワークモデルに上記トレーニングサンプルセット中のトレーニングサンプルを入力し(すなわち、上記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し)、
上記ニューラルネットワークモデルにより、上記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得し、
上記ニューラルネットワークモデルが上記特徴融合ベクトルに基づいて出力した、トレーニングサンプルに対応する予測ラベルベクトルを取得し、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するという機能をさらに有する。
トレーニングサンプルセットを取得するステップであって、上記トレーニングサンプルセットは、トレーニングサンプル及び上記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
上記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、上記ニューラルネットワークモデルにより、上記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
上記ニューラルネットワークモデルが上記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、上記予測ラベルベクトルが、上記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、上記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を実行するために用いられる。
上記複数の注意ネットワークのそれぞれの出力ベクトルを二次元の特徴マップとして並べてスタックするステップと、
畳み込みニューラルネットワークを介して上記特徴マップから特徴を抽出して、3次元テンソルを取得するステップと、
上記3次元テンソルに対してシリアライズ処理を行って、一次元ベクトルを取得するステップと、
上記一次元ベクトルを線形変換して、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行するために用いられる。
畳み込みニューラルネットワークを介して上記特徴マップに対して畳み込み操作を行って、上記3次元テンソルを取得するステップ、又は、
畳み込みニューラルネットワークを用いて上記特徴マップに対して畳み込みとプーリング操作を行って、上記3次元テンソルを取得するステップを実行するために用いられる。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
上記第4のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行するために用いられる。
上記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
上記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
上記第2のベクトルと上記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
上記第4のベクトルと上記第1のベクトルとを融合して、第5のベクトルを取得するステップと、
上記第5のベクトルに対して線形マッピングを行って、上記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を実行するために用いられる。
上記第4のベクトルと上記第1のベクトルとを順に連結して、第5のベクトルを取得するステップ、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて乗算して、第5のベクトルを取得するステップ、又は、
上記第4のベクトルと上記第1のベクトルとを要素の位置に応じて対応させて加算して、第5のベクトルを取得するステップを実行するために用いられる。
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、損失関数値を決定するステップと、
上記損失関数値がターゲット閾値より大きければ、上記ニューラルネットワークモデルのモデルパラメータを反復調整するステップと、
上記損失関数値が上記ターゲット閾値以下であれば、現在のニューラルネットワークモデルが収束条件を満たすと決定し、現在のニューラルネットワークモデルをターゲットニューラルネットワークモデルとするステップと、を実行するために用いられる。
上記エンコーダは、カスケード接続されたN個の第1タイプのネットワークブロックを含み、各第1タイプのネットワークブロックは、カスケード接続された1つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、
上記デコーダは、カスケード接続されたN個の第2タイプのネットワークブロックを含み、各第2タイプのネットワークブロックは、カスケード接続された2つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、上記Nは1以上の正の整数である。
翻訳対象のコンテンツを取得するステップと、
機械翻訳モデルにより、上記翻訳対象のコンテンツに対応する翻訳結果を取得するステップであって、上記機械翻訳モデルが、上記各実施形態で説明したモデルトレーニング方法でトレーニングされたものである、ステップと、
上記翻訳結果を表示するステップと、を実行するために用いられる。
Claims (12)
- コンピュータ装置が実行するニューラルネットワークモデルのトレーニング方法であって、
トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットは、トレーニングサンプル及び前記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
前記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、前記ニューラルネットワークモデルにより、前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
前記ニューラルネットワークモデルが前記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、前記予測ラベルベクトルが、前記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を含み、
前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得する前記ステップは、
前記複数の注意ネットワークのそれぞれの出力ベクトルを二次元の特徴マップとして並べてスタックするステップと、
畳み込みニューラルネットワークを介して前記特徴マップから特徴を抽出して、3次元テンソルを取得するステップと、
前記3次元テンソルに対してシリアライズ処理を行って、一次元ベクトルを取得するステップと、
前記一次元ベクトルを線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を含むことを特徴とするニューラルネットワークモデルのトレーニング方法。 - 畳み込みニューラルネットワークを介して前記特徴マップから特徴を抽出して、3次元テンソルを取得する前記ステップは、
畳み込みニューラルネットワークを用いて前記特徴マップに対して畳み込み操作を行い、前記3次元テンソルを取得するステップ、又は、
畳み込みニューラルネットワークを用いて前記特徴マップに対して畳み込みとプーリング操作を行い、前記3次元テンソルを取得するステップを含む、ことを特徴とする請求項1に記載の方法。 - コンピュータ装置が実行するニューラルネットワークモデルのトレーニング方法であって、
トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットは、トレーニングサンプル及び前記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
前記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、前記ニューラルネットワークモデルにより、前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
前記ニューラルネットワークモデルが前記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、前記予測ラベルベクトルが、前記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を含み、
前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得する前記ステップは、
前記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
前記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
前記第2のベクトルと前記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
前記第4のベクトルに対して線形マッピングを行って、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を含むことを特徴とする方法。 - コンピュータ装置が実行するニューラルネットワークモデルのトレーニング方法であって、
トレーニングサンプルセットを取得するステップであって、前記トレーニングサンプルセットは、トレーニングサンプル及び前記トレーニングサンプルに対応する標準ラベルベクトルを含む、ステップと、
前記トレーニングサンプルセット中のトレーニングサンプルをニューラルネットワークモデルの複数の注意ネットワークに入力し、前記ニューラルネットワークモデルにより、前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、
前記ニューラルネットワークモデルが前記特徴融合ベクトルに基づいて出力した予測ラベルベクトルを取得するステップであって、前記予測ラベルベクトルが、前記トレーニングサンプルに対応するものである、ステップと、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得するステップと、を含み、
前記複数の注意ネットワークのそれぞれの出力ベクトルを非線形変換して、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得する前記ステップは、
前記複数の注意ネットワークのそれぞれの出力ベクトルを連結して、第1のベクトルを取得するステップと、
前記第1のベクトルに対してマッピングを2回行って、それぞれ第2のベクトル及び第3のベクトルを取得するステップと、
前記第2のベクトルと前記第3のベクトルとを要素に応じて対応させて乗算して、第4のベクトルを取得するステップと、
前記第4のベクトルと前記第1のベクトルとを融合して、第5のベクトルを取得するステップと、
前記第5のベクトルに対して線形マッピングを行って、前記複数の注意ネットワークに対応する特徴融合ベクトルを取得するステップと、を含むことを特徴とする方法。 - 前記第4のベクトルと前記第1のベクトルとを融合して、第5のベクトルを取得する前記ステップは、
前記第4のベクトルと前記第1のベクトルとを順に連結して、第5のベクトルを取得するステップ、又は、
前記第4のベクトルと前記第1のベクトルとを要素の位置に応じて対応させて乗算して、第5のベクトルを取得するステップ、又は、
前記第4のベクトルと前記第1のベクトルとを要素の位置に応じて対応させて加算して、第5のベクトルを取得するステップを含む、ことを特徴とする請求項4に記載の方法。 - トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、収束条件が満たされるまで、前記ニューラルネットワークモデルのモデルパラメータを反復調整して、ターゲットニューラルネットワークモデルを取得する前記ステップは、
トレーニングサンプルに対応する予測ラベルベクトルと標準ラベルベクトルとの比較結果に基づいて、損失関数値を決定するステップと、
前記損失関数値がターゲット閾値より大きければ、前記ニューラルネットワークモデルのモデルパラメータを反復調整するステップと、
前記損失関数値が前記ターゲット閾値以下であれば、現在のニューラルネットワークモデルが収束条件を満たすと決定し、現在のニューラルネットワークモデルをターゲットニューラルネットワークモデルとするステップと、を含むことを特徴とする請求項1~5のいずれか1項に記載の方法。 - 前記ニューラルネットワークモデルは、機械翻訳モデルであり、エンコーダ及びデコーダを含み、
前記エンコーダは、カスケード接続されたN個の第1タイプのネットワークブロックを含み、各第1タイプのネットワークブロックは、カスケード接続された1つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、
前記デコーダは、カスケード接続されたN個の第2タイプのネットワークブロックを含み、各第2タイプのネットワークブロックは、カスケード接続された2つのマルチヘッド注意ネットワーク層及び1つの順伝播型ニューラルネットワーク層を含み、
前記Nは1以上の正の整数である、ことを特徴とする請求項1~6のいずれか1項に記載の方法。 - 前記トレーニングサンプルは、翻訳対象のテキスト、ビデオ又はオーディオのうちの少なくとも1つであり、
前記トレーニングサンプルに対応する標準ラベルは、標準翻訳テキストである、ことを特徴とする請求項1~7のいずれか1項に記載の方法。 - コンピュータ装置が実行する機械翻訳方法であって、
翻訳対象のコンテンツを取得するステップと、
機械翻訳モデルにより、前記翻訳対象のコンテンツに対応する翻訳結果を取得するステップであって、前記機械翻訳モデルが、上記請求項1~8のいずれか1項に記載のニューラルネットワークモデルのトレーニング方法でトレーニングされたものである、ステップと、
前記翻訳結果を表示するステップと、を含むことを特徴とする機械翻訳方法。 - プロセッサ及びメモリを含むコンピュータ装置であって、
前記メモリは、プログラムコードを記憶し、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサは、前記プログラムコードに基づいて、請求項1~8のいずれか1項に記載のニューラルネットワークモデルのトレーニング方法を実行する、ことを特徴とするコンピュータ装置。 - プロセッサ及びメモリを含むコンピュータ装置であって、
前記メモリは、上記請求項1~8のいずれか1項に記載のニューラルネットワークモデルのトレーニング方法でトレーニングされた機械翻訳モデルを記憶し、
前記プロセッサは、機械翻訳モデルを実行して、翻訳対象のコンテンツに対応する翻訳結果を取得する、ことを特徴とするコンピュータ装置。 - コンピュータに、上記請求項1~8のいずれか1項に記載のニューラルネットワークモデルのトレーニング方法を実行させるか、又は、上記請求項9に記載の機械翻訳方法を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811436794.0A CN110162799B (zh) | 2018-11-28 | 2018-11-28 | 模型训练方法、机器翻译方法以及相关装置和设备 |
CN201811436794.0 | 2018-11-28 | ||
PCT/CN2019/120975 WO2020108483A1 (zh) | 2018-11-28 | 2019-11-26 | 模型训练方法、机器翻译方法、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021533466A JP2021533466A (ja) | 2021-12-02 |
JP7185014B2 true JP7185014B2 (ja) | 2022-12-06 |
Family
ID=67645249
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505689A Active JP7185014B2 (ja) | 2018-11-28 | 2019-11-26 | モデルトレーニング方法、機械翻訳方法、コンピュータ装置及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210201147A1 (ja) |
JP (1) | JP7185014B2 (ja) |
CN (1) | CN110162799B (ja) |
WO (1) | WO2020108483A1 (ja) |
Families Citing this family (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162799B (zh) * | 2018-11-28 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 模型训练方法、机器翻译方法以及相关装置和设备 |
CN109558597B (zh) * | 2018-12-17 | 2022-05-24 | 北京百度网讯科技有限公司 | 文本翻译方法及装置、设备及存储介质 |
CN110474844B (zh) * | 2019-06-28 | 2021-06-08 | 天津大学 | 高性能智能路由器学习型索引数据结构的训练方法和芯片 |
CN110717342B (zh) * | 2019-09-27 | 2023-03-14 | 电子科技大学 | 一种基于transformer的距离参量对齐翻译方法 |
US11568049B2 (en) * | 2019-09-27 | 2023-01-31 | Mcafee, Llc | Methods and apparatus to defend against adversarial machine learning |
CN110674305B (zh) * | 2019-10-10 | 2023-05-12 | 天津师范大学 | 一种基于深层特征融合模型的商品信息分类方法 |
CN110765966B (zh) * | 2019-10-30 | 2022-03-25 | 哈尔滨工业大学 | 一种面向手写文字的一阶段自动识别与翻译方法 |
TWI732370B (zh) * | 2019-12-04 | 2021-07-01 | 財團法人工業技術研究院 | 神經網路模型的訓練裝置和訓練方法 |
CN111027681B (zh) * | 2019-12-09 | 2023-06-27 | 腾讯科技(深圳)有限公司 | 时序数据处理模型训练方法、数据处理方法、装置及存储介质 |
CN112949313A (zh) * | 2019-12-11 | 2021-06-11 | 中移(苏州)软件技术有限公司 | 信息处理模型训练方法、装置、设备及存储介质 |
CN110990624B (zh) * | 2019-12-13 | 2024-03-01 | 上海喜马拉雅科技有限公司 | 一种视频推荐方法、装置、设备及存储介质 |
CN111243682A (zh) * | 2020-01-10 | 2020-06-05 | 京东方科技集团股份有限公司 | 药物的毒性预测方法及装置、介质和设备 |
CN113450781B (zh) * | 2020-03-25 | 2022-08-09 | 阿里巴巴集团控股有限公司 | 语音处理方法、语音编码器、语音解码器及语音识别*** |
CN111460732B (zh) * | 2020-03-31 | 2023-05-16 | 深圳大学 | 一种平面电机非线性模型的构建方法 |
CN111461306B (zh) * | 2020-03-31 | 2023-04-18 | 北京百度网讯科技有限公司 | 特征评估的方法及装置 |
CN111461225B (zh) * | 2020-04-01 | 2022-04-01 | 支付宝(杭州)信息技术有限公司 | 客户聚类***及其方法 |
CN113539304B (zh) * | 2020-04-21 | 2022-09-16 | 华为云计算技术有限公司 | 视频拆条方法和装置 |
CN111797589A (zh) * | 2020-05-29 | 2020-10-20 | 华为技术有限公司 | 一种文本处理网络、神经网络训练的方法以及相关设备 |
CN111723548B (zh) * | 2020-06-10 | 2024-04-30 | 腾讯科技(深圳)有限公司 | 评论扩展方法及装置 |
CN111695688B (zh) * | 2020-06-11 | 2024-01-12 | 腾讯科技(深圳)有限公司 | 一种模型训练方法、装置、设备及存储介质 |
CN111932493B (zh) * | 2020-06-28 | 2024-06-07 | 北京国网富达科技发展有限责任公司 | 一种配电网局部放电超声波检测方法及*** |
CN112749797B (zh) * | 2020-07-20 | 2022-09-27 | 腾讯科技(深圳)有限公司 | 一种神经网络模型的剪枝方法及装置 |
TWI749676B (zh) * | 2020-08-03 | 2021-12-11 | 緯創資通股份有限公司 | 影像品質評估裝置及其影像品質評估方法 |
CN111897996B (zh) * | 2020-08-10 | 2023-10-31 | 北京达佳互联信息技术有限公司 | 话题标签推荐方法、装置、设备及存储介质 |
CN111931061B (zh) * | 2020-08-26 | 2023-03-24 | 腾讯科技(深圳)有限公司 | 标签映射方法、装置、计算机设备及存储介质 |
CN112287656B (zh) * | 2020-10-12 | 2024-05-28 | 四川语言桥信息技术有限公司 | 文本比对方法、装置、设备和存储介质 |
CN111931518A (zh) * | 2020-10-15 | 2020-11-13 | 北京金山数字娱乐科技有限公司 | 一种翻译模型的训练方法及装置 |
CN114385809B (zh) * | 2020-10-22 | 2024-06-18 | 中移(成都)信息通信科技有限公司 | 实体文本提取模型的训练方法、装置及设备 |
CN112380879A (zh) * | 2020-11-16 | 2021-02-19 | 深圳壹账通智能科技有限公司 | 一种智能翻译方法、装置、计算机设备和存储介质 |
CN112434535B (zh) * | 2020-11-24 | 2023-05-02 | 上海浦东发展银行股份有限公司 | 基于多模型的要素抽取方法、装置、设备及存储介质 |
CN112330711B (zh) * | 2020-11-26 | 2023-12-05 | 北京奇艺世纪科技有限公司 | 模型生成方法、信息提取方法、装置及电子设备 |
CN112666479B (zh) * | 2020-12-02 | 2023-05-16 | 西安交通大学 | 一种基于充电循环融合的电池寿命预测方法 |
CN114638238A (zh) * | 2020-12-16 | 2022-06-17 | 北京金山数字娱乐科技有限公司 | 一种神经网络模型的训练方法及装置 |
CN112580723B (zh) * | 2020-12-18 | 2023-09-22 | 北京百度网讯科技有限公司 | 多模型融合方法、装置、电子设备和存储介质 |
CN112560988B (zh) * | 2020-12-25 | 2023-09-19 | 竹间智能科技(上海)有限公司 | 一种模型训练方法及装置 |
CN113722975B (zh) * | 2020-12-28 | 2023-12-05 | 京东城市(北京)数字科技有限公司 | 网络模型训练方法、室温预测方法、装置、设备及介质 |
CN112785391B (zh) * | 2021-02-02 | 2024-02-09 | 微民保险代理有限公司 | 推荐处理方法、装置及智能设备、存储介质 |
CN112507995B (zh) * | 2021-02-05 | 2021-06-01 | 成都东方天呈智能科技有限公司 | 一种跨模型人脸特征向量的转换***及方法 |
CN113010687B (zh) * | 2021-03-03 | 2023-02-03 | 广州视源电子科技股份有限公司 | 一种习题标签预测方法、装置、存储介质以及计算机设备 |
CN113053361B (zh) * | 2021-03-18 | 2023-07-04 | 北京金山云网络技术有限公司 | 语音识别方法、模型训练方法、装置、设备及介质 |
CN113095370B (zh) * | 2021-03-18 | 2023-11-03 | 北京达佳互联信息技术有限公司 | 图像识别方法、装置、电子设备及存储介质 |
CN113343676B (zh) * | 2021-04-13 | 2022-12-06 | 山东师范大学 | 一种基于卷积神经网络的句子分类方法及*** |
CN113033153A (zh) * | 2021-04-28 | 2021-06-25 | 西南石油大学 | 基于Transformer模型融合关键信息的神经机器翻译模型 |
CN113313063A (zh) * | 2021-06-21 | 2021-08-27 | 暨南大学 | 麦穗检测方法、电子装置和存储介质 |
CN113378835B (zh) * | 2021-06-28 | 2024-07-02 | 上饶市纯白数字科技有限公司 | 标注模型训练、样本标注方法及相关装置 |
CN113436682B (zh) * | 2021-06-30 | 2024-05-24 | 平安科技(深圳)有限公司 | 风险人群的预测方法、装置、终端设备及存储介质 |
CN113409090B (zh) * | 2021-07-05 | 2024-07-05 | 中国工商银行股份有限公司 | 广告点击率预测模型的训练方法、预测方法及装置 |
WO2023284088A1 (zh) | 2021-07-12 | 2023-01-19 | 苏州贝克微电子股份有限公司 | 基于人工智能的电路设计方法与实现*** |
CN113553794B (zh) * | 2021-07-12 | 2023-04-07 | 苏州贝克微电子股份有限公司 | 一种用于电路设计的人工智能实现***及方法 |
CN113628696B (zh) * | 2021-07-19 | 2023-10-31 | 武汉大学 | 基于双图卷积融合模型的药物连接图分数预测方法及装置 |
US11979697B2 (en) | 2021-07-26 | 2024-05-07 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and internet of things systems for obtaining natural gas energy metering component |
CN114740159B (zh) * | 2022-04-14 | 2023-09-19 | 成都秦川物联网科技股份有限公司 | 一种天然气能量计量组分获取方法和物联网*** |
CN113642635B (zh) * | 2021-08-12 | 2023-09-15 | 百度在线网络技术(北京)有限公司 | 模型训练方法及装置、电子设备和介质 |
CN113656689B (zh) * | 2021-08-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 模型生成方法和网络信息的推送方法 |
CN113419868B (zh) * | 2021-08-23 | 2021-11-16 | 南方科技大学 | 基于众包的温度预测方法、装置、设备和存储介质 |
CN115879524A (zh) * | 2021-09-27 | 2023-03-31 | 华为技术有限公司 | 一种模型训练方法及其相关设备 |
CN113868966B (zh) * | 2021-12-02 | 2022-03-18 | 浙江大学 | 一种生物质锅炉省煤器结构参数优化设计方法 |
CN114418030B (zh) * | 2022-01-27 | 2024-04-23 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型的训练方法及装置 |
CN114513431A (zh) * | 2022-02-17 | 2022-05-17 | 平安国际智慧城市科技股份有限公司 | 网络性能指标预测方法、装置、设备及存储介质 |
CN115205177A (zh) * | 2022-06-22 | 2022-10-18 | 京东方科技集团股份有限公司 | 图像获取方法、装置、设备和非瞬态计算机存储介质 |
CN114818835B (zh) * | 2022-06-27 | 2022-09-23 | 山东大学 | 基于差异特征提取及融合的旋转机械故障诊断方法及*** |
CN115049917B (zh) * | 2022-08-17 | 2022-11-15 | 上海与光彩芯科技有限公司 | 神经网络的训练方法、物体检测方法和智能终端设备 |
CN115392365B (zh) * | 2022-08-18 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 多模态特征的获取方法、装置及电子设备 |
CN116028891B (zh) * | 2023-02-16 | 2023-07-14 | 之江实验室 | 一种基于多模型融合的工业异常检测模型训练方法和装置 |
CN116384593B (zh) * | 2023-06-01 | 2023-08-18 | 深圳市国电科技通信有限公司 | 分布式光伏出力预测方法、装置、电子设备和介质 |
CN116562311B (zh) * | 2023-07-07 | 2023-12-01 | 中铁四局集团有限公司 | 基于自然语言机器翻译的运维方法及*** |
CN116680624B (zh) * | 2023-08-03 | 2023-10-20 | 国网浙江省电力有限公司宁波供电公司 | 一种电力***元数据的分类方法、***及存储介质 |
CN117808854B (zh) * | 2024-02-29 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 图像生成方法、模型训练方法、装置及电子设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2643434C2 (ru) * | 2014-09-12 | 2018-02-01 | Общество С Ограниченной Ответственностью "Яндекс" | Способ предоставления пользователю сообщения посредством вычислительного устройства и машиночитаемый носитель информации |
US10417498B2 (en) * | 2016-12-30 | 2019-09-17 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for multi-modal fusion model |
US10565318B2 (en) * | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
EP3605402B1 (en) * | 2017-08-31 | 2022-08-31 | Cambricon (Xi'an) Semiconductor Co., Ltd. | Chip device and related product |
CN107391501A (zh) * | 2017-09-11 | 2017-11-24 | 南京大学 | 一种基于词预测的神经机器翻译方法 |
CN107633225A (zh) * | 2017-09-18 | 2018-01-26 | 北京金山安全软件有限公司 | 一种信息获得方法及装置 |
CN107861938B (zh) * | 2017-09-21 | 2020-09-25 | 北京三快在线科技有限公司 | 一种poi文案生成方法及装置,电子设备 |
JP7072178B2 (ja) * | 2018-02-28 | 2022-05-20 | 日本電信電話株式会社 | 自然言語処理のための装置、方法及びプログラム |
CN108416440A (zh) * | 2018-03-20 | 2018-08-17 | 上海未来伙伴机器人有限公司 | 一种神经网络的训练方法、物体识别方法及装置 |
CN108681539B (zh) * | 2018-05-07 | 2019-06-21 | 内蒙古工业大学 | 一种基于卷积神经网络的蒙汉神经翻译方法 |
CN108664632B (zh) * | 2018-05-15 | 2021-09-21 | 华南理工大学 | 一种基于卷积神经网络和注意力机制的文本情感分类算法 |
CN109344391B (zh) * | 2018-08-23 | 2022-10-21 | 昆明理工大学 | 基于神经网络的多特征融合中文新闻文本摘要生成方法 |
CN110162799B (zh) * | 2018-11-28 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 模型训练方法、机器翻译方法以及相关装置和设备 |
-
2018
- 2018-11-28 CN CN201811436794.0A patent/CN110162799B/zh active Active
-
2019
- 2019-11-26 WO PCT/CN2019/120975 patent/WO2020108483A1/zh active Application Filing
- 2019-11-26 JP JP2021505689A patent/JP7185014B2/ja active Active
-
2021
- 2021-03-11 US US17/199,333 patent/US20210201147A1/en active Pending
Non-Patent Citations (7)
Title |
---|
Ashish Vaswani, et al.,"Attention Is All You Need",arXiv:1706.03762v5,version v5,[online], arXiv (Cornell University),2017年12月06日,Pages 1-15,[令和4年4月14日検索], インターネット, <URL: https://arxiv.org/abs/1706.03762v5>. |
Aurelien Geron 著,下田倫大 監訳,「scikit-learnとTensorFlowによる実践機械学習」,初版,日本,株式会社オライリー・ジャパン,2018年04月25日,第268,381~412頁,ISBN: 978-4-87311-834-5. |
山下 隆義,「イラストで学ぶ ディープラーニング」,改訂第2版,日本,株式会社 講談社,2018年11月19日,第150~152頁,ISBN: 978-4-06-513331-6. |
岡野原 大輔,「AI最前線 第39回 自己注意機構: Self-Attention 画像生成や機械翻訳など多くの問題で最高精度」,日経Robotics(NIKKEI Robotics),日本,日経BP社,2018年09月10日,2018年10月号(No.39),第34~35頁,ISSN: 2189-5783. |
森下 睦(外2名),「階層的な部分単語を入力としたニューラル機械翻訳」,第32回(2018年度)人工知能学会全国大会論文集,セッションID:4Pin1-09,日本,[online],2018年06月05日,全4頁,[令和4年4月15日検索],インターネット,<URL: https://www.jstage.jst.go.jp/article/pjsai/JSAI2018/0/JSAI2018_4Pin109/_article/-char/ja/>,<DOI: https://doi.org/10.11517/pjsai.JSAI2018.0_4Pin109>. |
渡辺 太郎,「ニューラルネットワークによる構造学習の発展」,人工知能,日本,一般社団法人 人工知能学会,2016年03月01日,Vol.31, No.2,第202~209頁,ISSN: 2188-2266. |
藤田 毅,「C++で学ぶディープラーニング」,初版,日本,株式会社マイナビ出版,2017年06月25日,第220,227~231頁,ISBN: 978-4-8399-6150-3. |
Also Published As
Publication number | Publication date |
---|---|
WO2020108483A1 (zh) | 2020-06-04 |
CN110162799B (zh) | 2023-08-04 |
JP2021533466A (ja) | 2021-12-02 |
US20210201147A1 (en) | 2021-07-01 |
CN110162799A (zh) | 2019-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7185014B2 (ja) | モデルトレーニング方法、機械翻訳方法、コンピュータ装置及びプログラム | |
US20210174170A1 (en) | Sequence model processing method and apparatus | |
CN109918684B (zh) | 模型训练方法、翻译方法、相关装置、设备及存储介质 | |
KR102360659B1 (ko) | 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체 | |
CN111428516B (zh) | 一种信息处理的方法以及装置 | |
CN106156807B (zh) | 卷积神经网络模型的训练方法及装置 | |
JP2021515322A (ja) | 翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム | |
JP2020533696A (ja) | 画像認識方法、端末及び記憶媒体 | |
JP7324838B2 (ja) | 符号化方法並びにその、装置、機器及びコンピュータプログラム | |
CN110069715B (zh) | 一种信息推荐模型训练的方法、信息推荐的方法及装置 | |
WO2020147369A1 (zh) | 自然语言处理方法、训练方法及数据处理设备 | |
CN110517339B (zh) | 一种基于人工智能的动画形象驱动方法和装置 | |
CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
CN113676226A (zh) | 导频信息符号发送方法、信道估计方法及通信设备 | |
CN106484470A (zh) | 应用程序安装包的处理方法、装置及服务器 | |
CN110188865B (zh) | 信息处理方法及装置、电子设备和存储介质 | |
CN111597804B (zh) | 一种实体识别模型训练的方法以及相关装置 | |
US20230297231A1 (en) | Input device comprising touchscreen, and operation method of same | |
EP4258165A1 (en) | Two-dimensional code displaying method and apparatus, device, and medium | |
JP2023508062A (ja) | 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム | |
CN111581958A (zh) | 对话状态确定方法、装置、计算机设备及存储介质 | |
US11763204B2 (en) | Method and apparatus for training item coding model | |
CN113948060A (zh) | 一种网络训练方法、数据处理方法及相关设备 | |
CN111339737A (zh) | 实体链接方法、装置、设备及存储介质 | |
CN105335434B (zh) | 日志管理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7185014 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |