JP2019517057A - ワイドアンドディープマシンラーニングモデル - Google Patents
ワイドアンドディープマシンラーニングモデル Download PDFInfo
- Publication number
- JP2019517057A JP2019517057A JP2018553922A JP2018553922A JP2019517057A JP 2019517057 A JP2019517057 A JP 2019517057A JP 2018553922 A JP2018553922 A JP 2018553922A JP 2018553922 A JP2018553922 A JP 2018553922A JP 2019517057 A JP2019517057 A JP 2019517057A
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- learning model
- model
- deep
- wide
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Machine Translation (AREA)
Abstract
Description
本出願は、2016年4月13日に出願した米国仮出願第62/322,161号の優先権を主張するものである。先行出願の開示は、本出願の開示の一部とみなされ、参照により本出願の開示に組み込まれる。
104 ディープマシンラーニングモデル
106 ワイドマシンラーニングモデル
108 特徴
110 特徴
112 特徴
114 特徴
116 特徴
118 特徴
120 特徴
122 特徴
124 埋込み関数
126 埋込み関数
128 埋込み関数
130 ディープニューラルネットワーク
132 クロス積変換
134 組合せ層
136 予測出力
138 一般化線形モデル
150 埋め込み層
Claims (20)
ディープモデル中間予測出力を生成するために前記特徴を処理するように構成されるディープマシンラーニングモデルと、
ワイドモデル中間予測出力を生成するために前記特徴を処理するように構成されるワイドマシンラーニングモデルと、
前記予測出力を生成するために、前記ディープマシンラーニングモデルによって生成された前記ディープモデル中間予測出力と前記ワイドマシンラーニングモデルによって生成された前記ワイドモデル中間予測出力とを処理するように構成される組合せ層と
を備え、
前記ディープマシンラーニングモデルおよび前記ワイドマシンラーニングモデルが、前記ディープモデル中間予測出力と前記ワイドモデル中間予測出力とを生成するために、トレーニングデータに対して共同でトレーニングされている、
システム。
複数のトレーニング入力の各々について、(i)前記トレーニング入力の特徴と、(ii)前記トレーニング入力に対する既知の出力とを備えるトレーニングデータを取得するステップと、
前記トレーニング入力の各々について、
前記ディープマシンラーニングモデルのパラメータの現在の値に従って前記トレーニング入力に対するディープモデル中間予測出力を生成するために前記ディープマシンラーニングモデルを使用して前記トレーニング入力の前記特徴を処理するステップと、
前記ワイドマシンラーニングモデルのパラメータの現在の値に従って前記トレーニング入力に対するワイドモデル中間予測出力を生成するために前記ワイドマシンラーニングモデルを使用して前記トレーニング入力の前記特徴を処理するステップと、
前記トレーニング入力に対する予測出力を生成するために前記組合せ層を使用して前記トレーニング入力に対する前記ディープモデル中間予測出力と前記ワイドモデル中間予測出力とを処理するステップと、
前記ディープマシンラーニングモデルおよび前記ワイドマシンラーニングモデルの前記パラメータの前記現在の値を共同して調整するために、前記組合せ層を介して前記トレーニング入力に対する前記予測出力と前記トレーニング入力に対する前記既知の出力との間の誤差から決定される勾配を前記ワイドマシンラーニングモデルおよび前記ディープマシンラーニングモデルに逆伝播させるステップと
を備える、方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662322161P | 2016-04-13 | 2016-04-13 | |
US62/322,161 | 2016-04-13 | ||
PCT/US2016/068842 WO2017180208A1 (en) | 2016-04-13 | 2016-12-28 | Wide and deep machine learning models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019517057A true JP2019517057A (ja) | 2019-06-20 |
JP6758406B2 JP6758406B2 (ja) | 2020-09-23 |
Family
ID=57799918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018553922A Active JP6758406B2 (ja) | 2016-04-13 | 2016-12-28 | ワイドアンドディープマシンラーニングモデル |
Country Status (6)
Country | Link |
---|---|
US (2) | US10762422B2 (ja) |
EP (2) | EP4068165A1 (ja) |
JP (1) | JP6758406B2 (ja) |
KR (2) | KR102240662B1 (ja) |
CN (1) | CN109196527A (ja) |
WO (1) | WO2017180208A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086485A (ja) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | 複合モデル生成プログラム及び方法、並びに情報処理システム |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10554505B2 (en) | 2012-09-28 | 2020-02-04 | Intel Corporation | Managing data center resources to achieve a quality of service |
US10387531B1 (en) * | 2015-08-18 | 2019-08-20 | Google Llc | Processing structured documents using convolutional neural networks |
US10699185B2 (en) * | 2017-01-26 | 2020-06-30 | The Climate Corporation | Crop yield estimation using agronomic neural network |
US11182414B2 (en) * | 2017-03-20 | 2021-11-23 | International Business Machines Corporation | Search queries of multi-datatype databases |
US10592383B2 (en) * | 2017-06-29 | 2020-03-17 | Intel Corporation | Technologies for monitoring health of a process on a compute device |
CN110019658B (zh) * | 2017-07-31 | 2023-01-20 | 腾讯科技(深圳)有限公司 | 检索项的生成方法及相关装置 |
CN110073426B (zh) * | 2017-11-23 | 2021-10-26 | 北京嘀嘀无限科技发展有限公司 | 估计到达时间的***和方法 |
US10360482B1 (en) * | 2017-12-04 | 2019-07-23 | Amazon Technologies, Inc. | Crowd-sourced artificial intelligence image processing services |
CN108363745B (zh) | 2018-01-26 | 2020-06-30 | 阿里巴巴集团控股有限公司 | 机器人客服转人工客服的方法和装置 |
US10832137B2 (en) * | 2018-01-30 | 2020-11-10 | D5Ai Llc | Merging multiple nodal networks |
CN111602149B (zh) * | 2018-01-30 | 2024-04-02 | D5Ai有限责任公司 | 自组织偏序网络 |
CN110187647A (zh) * | 2018-02-23 | 2019-08-30 | 北京京东尚科信息技术有限公司 | 模型训练方法及*** |
CN108416625A (zh) * | 2018-02-28 | 2018-08-17 | 阿里巴巴集团控股有限公司 | 营销产品的推荐方法和装置 |
FR3078804B1 (fr) * | 2018-03-06 | 2021-07-30 | Arkema France | Procede de selection de solvants adaptes a des polymeres fluores |
CN108596645B (zh) * | 2018-03-13 | 2021-09-21 | 创新先进技术有限公司 | 一种信息推荐的方法、装置及设备 |
CN110379411B (zh) * | 2018-04-11 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 针对目标说话人的语音合成方法和装置 |
CN110647696B (zh) * | 2018-06-08 | 2022-06-14 | 北京三快在线科技有限公司 | 一种业务对象的排序方法及装置 |
US10810460B2 (en) | 2018-06-13 | 2020-10-20 | Cosmo Artificial Intelligence—AI Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
US11100633B2 (en) | 2018-06-13 | 2021-08-24 | Cosmo Artificial Intelligence—Al Limited | Systems and methods for processing real-time video from a medical image device and detecting objects in the video |
US20200034665A1 (en) * | 2018-07-30 | 2020-01-30 | DataRobot, Inc. | Determining validity of machine learning algorithms for datasets |
CN111092850B (zh) * | 2018-10-24 | 2021-06-04 | 珠海格力电器股份有限公司 | 监控网络安全的方法及装置、空调器、家用电器 |
CN110152298B (zh) * | 2018-11-22 | 2022-03-15 | 腾讯科技(深圳)有限公司 | 实现虚拟角色的装备推荐方法、装置及计算机设备 |
CN110782648B (zh) * | 2018-12-03 | 2022-02-18 | 北京嘀嘀无限科技发展有限公司 | 确定预计到达时间的***和方法 |
CN110033091B (zh) * | 2018-12-13 | 2020-09-01 | 阿里巴巴集团控股有限公司 | 一种基于模型进行预测的方法和装置 |
US10789510B2 (en) * | 2019-01-11 | 2020-09-29 | Google Llc | Dynamic minibatch sizes |
CN109784407A (zh) * | 2019-01-17 | 2019-05-21 | 京东数字科技控股有限公司 | 确定表字段的类型的方法和装置 |
US11109083B2 (en) * | 2019-01-25 | 2021-08-31 | Adobe Inc. | Utilizing a deep generative model with task embedding for personalized targeting of digital content through multiple channels across client devices |
CA3128973A1 (en) | 2019-03-04 | 2020-09-10 | Bhaskar Bhattacharyya | Data compression and communication using machine learning |
CN110175857B (zh) * | 2019-03-25 | 2023-06-02 | 创新先进技术有限公司 | 优选业务确定方法及装置 |
CN110059802A (zh) * | 2019-03-29 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 用于训练学习模型的方法、装置和计算设备 |
CN110135435B (zh) * | 2019-04-17 | 2021-05-18 | 上海师范大学 | 一种基于广度学习***的显著性检测方法及装置 |
US11681923B2 (en) | 2019-04-19 | 2023-06-20 | Samsung Electronics Co., Ltd. | Multi-model structures for classification and intent determination |
KR102034827B1 (ko) * | 2019-05-14 | 2019-11-18 | 주식회사 뷰노 | 훈련된 심층 신경망 모델의 재현 성능을 개선하는 방법 및 이를 이용한 장치 |
CN110309281A (zh) * | 2019-05-28 | 2019-10-08 | 平安科技(深圳)有限公司 | 基于知识图谱的问答方法、装置、计算机设备及存储介质 |
CN110147851B (zh) * | 2019-05-29 | 2022-04-01 | 北京达佳互联信息技术有限公司 | 图像筛选方法、装置、计算机设备及存储介质 |
CN110299194B (zh) * | 2019-06-06 | 2022-11-08 | 昆明理工大学 | 基于综合特征表示与改进宽深度模型的相似病例推荐方法 |
CN110298497A (zh) * | 2019-06-11 | 2019-10-01 | 武汉蓝智科技有限公司 | 基于大数据的工业预测维修***及其使用方法 |
US11392469B2 (en) * | 2019-06-20 | 2022-07-19 | Microsoft Technology Licensing, Llc | Framework for testing machine learning workflows |
US11204968B2 (en) * | 2019-06-21 | 2021-12-21 | Microsoft Technology Licensing, Llc | Embedding layer in neural network for ranking candidates |
US11397742B2 (en) | 2019-06-21 | 2022-07-26 | Microsoft Technology Licensing, Llc | Rescaling layer in neural network |
US11847545B2 (en) | 2019-09-09 | 2023-12-19 | Nxp B.V. | Systems and methods involving a combination of machine learning models |
CN110598954B (zh) * | 2019-09-24 | 2022-03-11 | 中国人民大学 | 基于深度学习的利用评审意见预测论文被引用数的方法 |
WO2021061159A1 (en) * | 2019-09-27 | 2021-04-01 | Visa International Service Association | Mapping user vectors between embeddings for a machine learning model |
CN110830515A (zh) * | 2019-12-13 | 2020-02-21 | 支付宝(杭州)信息技术有限公司 | 流量检测方法、装置、电子设备 |
CN111242280A (zh) * | 2020-01-06 | 2020-06-05 | 北京拙河科技有限公司 | 一种深度强化学习模型的组合方法、装置及计算机设备 |
CA3165790A1 (en) * | 2020-01-27 | 2021-08-05 | Akkio, Inc. | Methods and systems for dynamically generating a plurality of machine learning systems during processing of a user data set |
CN111325624B (zh) * | 2020-02-11 | 2022-04-26 | 支付宝(杭州)信息技术有限公司 | 网络交易的实时防控***及方法 |
US11070881B1 (en) | 2020-07-07 | 2021-07-20 | Verizon Patent And Licensing Inc. | Systems and methods for evaluating models that generate recommendations |
US11797755B2 (en) * | 2020-08-13 | 2023-10-24 | Microsoft Technology Licensing, Llc | Unsupervised method to generate annotations for natural language understanding tasks |
US20220171093A1 (en) * | 2020-12-01 | 2022-06-02 | International Business Machines Corporation | Fractional ice cover predictions with machine learning, satellite, thermodynamics, and in-situ observations |
US20220188366A1 (en) * | 2020-12-15 | 2022-06-16 | NantMedia Holdings, LLC | Combined Wide And Deep Machine Learning Models For Automated Database Element Processing Systems, Methods And Apparatuses |
US20220207347A1 (en) * | 2020-12-28 | 2022-06-30 | International Business Machines Corporation | Split-net configuration for predictive modeling |
US20220284433A1 (en) * | 2021-03-04 | 2022-09-08 | Capital One Services, Llc | Unidimensional embedding using multi-modal deep learning models |
US20220300836A1 (en) * | 2021-03-22 | 2022-09-22 | Adobe Inc. | Machine Learning Techniques for Generating Visualization Recommendations |
CN112950291B (zh) * | 2021-03-31 | 2023-07-21 | 北京奇艺世纪科技有限公司 | 模型的偏差优化方法、装置、设备及计算机可读介质 |
CN113112059A (zh) * | 2021-03-31 | 2021-07-13 | 亿海蓝(北京)数据技术股份公司 | 船舶靠泊时间预测方法及*** |
US20240055131A1 (en) * | 2021-04-29 | 2024-02-15 | Boe Technology Group Co., Ltd. | Mrthod, device for disease prediction, electronic device and computer-readable storage medium |
CN113190749B (zh) * | 2021-05-06 | 2023-10-31 | 北京百度网讯科技有限公司 | 用于确定对象属性的方法及装置、电子设备和介质 |
CN113255977B (zh) * | 2021-05-13 | 2023-06-23 | 江西鑫铂瑞科技有限公司 | 基于工业互联网的智慧工厂生产设备故障预测方法及*** |
WO2023018423A1 (en) * | 2021-08-13 | 2023-02-16 | Innopeak Technology, Inc. | Learning semantic binary embedding for video representations |
-
2016
- 2016-12-28 EP EP22175930.1A patent/EP4068165A1/en active Pending
- 2016-12-28 EP EP16826643.5A patent/EP3427193A1/en active Pending
- 2016-12-28 JP JP2018553922A patent/JP6758406B2/ja active Active
- 2016-12-28 KR KR1020207025666A patent/KR102240662B1/ko active IP Right Grant
- 2016-12-28 WO PCT/US2016/068842 patent/WO2017180208A1/en active Application Filing
- 2016-12-28 KR KR1020187028972A patent/KR102155261B1/ko active IP Right Grant
- 2016-12-28 CN CN201680085769.5A patent/CN109196527A/zh active Pending
- 2016-12-29 US US15/394,668 patent/US10762422B2/en active Active
-
2020
- 2020-08-12 US US16/991,258 patent/US20200372359A1/en active Pending
Non-Patent Citations (1)
Title |
---|
平田貴臣,外4名: "深層学習と線形モデルを併用した時系列予測手法", 電気学会論文誌C 電子・情報・システム部門誌, vol. 第136巻,第3号, JPN6020001191, 1 March 2016 (2016-03-01), pages 348 - 356, ISSN: 0004195602 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086485A (ja) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | 複合モデル生成プログラム及び方法、並びに情報処理システム |
JP7381861B2 (ja) | 2019-11-29 | 2023-11-16 | 富士通株式会社 | 複合モデル生成プログラム及び方法、並びに情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
EP4068165A1 (en) | 2022-10-05 |
EP3427193A1 (en) | 2019-01-16 |
JP6758406B2 (ja) | 2020-09-23 |
KR102155261B1 (ko) | 2020-09-11 |
KR20180120240A (ko) | 2018-11-05 |
KR102240662B1 (ko) | 2021-04-15 |
US20200372359A1 (en) | 2020-11-26 |
WO2017180208A1 (en) | 2017-10-19 |
US20170300814A1 (en) | 2017-10-19 |
KR20200106566A (ko) | 2020-09-14 |
US10762422B2 (en) | 2020-09-01 |
CN109196527A (zh) | 2019-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200372359A1 (en) | Wide and deep machine learning models | |
US11954597B2 (en) | Using embedding functions with a deep network | |
US11809824B1 (en) | Computing numeric representations of words in a high-dimensional space | |
AU2014201827B2 (en) | Scoring concept terms using a deep network | |
US11790233B2 (en) | Generating larger neural networks | |
US20180260707A1 (en) | Training neural networks using a prioritized experience memory | |
CN108369664A (zh) | 调整神经网络的大小 | |
US11443202B2 (en) | Real-time on the fly generation of feature-based label embeddings via machine learning | |
US11734602B2 (en) | Methods and systems for automated feature generation utilizing formula semantification | |
US11861459B2 (en) | Automatic determination of suitable hyper-local data sources and features for modeling | |
US10529002B2 (en) | Classification of visitor intent and modification of website features based upon classified intent | |
JP2024504179A (ja) | 人工知能推論モデルを軽量化する方法およびシステム | |
KR20210056668A (ko) | 아이디어를 도출하기 위해, 사용자로부터 입력된 키워드에 대한 관련 키워드들을 제공하는 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6758406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |