JP2018055384A - 信号調整装置、信号生成学習装置、方法、及びプログラム - Google Patents
信号調整装置、信号生成学習装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018055384A JP2018055384A JP2016190353A JP2016190353A JP2018055384A JP 2018055384 A JP2018055384 A JP 2018055384A JP 2016190353 A JP2016190353 A JP 2016190353A JP 2016190353 A JP2016190353 A JP 2016190353A JP 2018055384 A JP2018055384 A JP 2018055384A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- attribute
- representing
- hidden variable
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
−(ある属性を含まない画像の隠れ変数の平均)
まず、本発明の第1の実施の形態における概要を説明する。
次に、本発明の第1の実施の形態に係る信号調整装置の構成について説明する。図8に示すように、本発明の第1の実施の形態に係る信号調整装置100は、CPUと、RAMと、後述する学習処理ルーチン及び生成処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この信号調整装置100は、機能的には図8に示すように入力部10と、演算部20と、出力部90とを備えている。
を生成するためのデコーダとしてのニューラルネットワークと、生成された画像データ
が、属性ベクトルyの下で真の画像データと同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、エンコーダとしてのニューラルネットワークと、デコーダとしてのニューラルネットワークと、識別器としてのニューラルネットワークとが、互いに競合する最適化条件に従って学習する。
を生成する。
が、元の画像データxと同じになる制約を満たすように、エンコーダとしてのニューラルネットワークのパラメータを更新する。
が、元の画像データxと同じになる制約を満たし、かつ、生成された画像データ
又はxpを、なるべく識別器が属性ベクトルyの下で真の画像データと同一の分布に従わないと識別する制約を満たさないように、デコーダとしてのニューラルネットワークのパラメータを更新する。
又はxpを、なるべく識別器が属性ベクトルyの下で真の画像データと同一の分布に従わないと識別する制約を満たすように、識別器としてのニューラルネットワークのパラメータを更新する。
又はxpを、なるべく識別器が属性ベクトルyの下で真の画像データと同一の分布に従わないと識別する制約は、以下の損失関数で表わされる。
に対応した項である。なお、上記式において、各項に重みをつけて重要度を調整してもよい。
の値を、入力された調整量だけ調整する。
を含む各属性を表す隠れ変数zaとを入力とし、ニューラルネットワーク記憶部40に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ
を生成し、出力部90により出力する。
次に、本発明の第1の実施の形態に係る信号調整装置100の作用について説明する。信号調整装置100は、以下に説明する学習処理ルーチンと生成処理ルーチンを実行する。
を生成する。
と、上記ステップS108で生成された画像データxpと、ステップS100で得た学習データに含まれる画像データx及び属性ベクトルyとに基づいて、エンコーダとしてのニューラルネットワークのパラメータ、デコーダとしてのニューラルネットワークのパラメータ、及び識別器としてのニューラルネットワークのパラメータを更新する。
の値を、入力部10で受け付けた調整量だけ調整する。
を含む各属性を表す隠れ変数zaとを入力とし、ニューラルネットワーク記憶部40に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ
を生成し、出力部90により出力して、生成処理ルーチンを終了する。
次に、本発明の第2の実施の形態における概要を説明する。
図19に示すように、本発明の第2の実施の形態に係る信号調整装置200は、CPUと、RAMと、後述する学習処理ルーチン及び生成処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この信号調整装置200は、機能的には図19に示すように入力部10と、演算部220と、出力部90とを備えている。
の各々の値を、エンコード部252によって抽出された調整対象の属性に対応する複数の隠れ変数
の各々の値で置き換えることにより調整する。
のうちの少なくとも1つの値を、エンコード部252によって抽出された調整対象の属性に対応する複数の隠れ変数
のうちの少なくとも1つの値で置き換えることにより調整するようにしてもよい。これにより、髪型の属性に対応する複数の隠れ変数のうち、髪の分け方のような特性を表す1つの隠れ変数を、参照対象の画像データのように変更することができる。
次に、本発明の第2の実施の形態に係る信号調整装置200の作用について説明する。信号調整装置200は、まず、上記図9に示す学習処理ルーチンと同様の処理ルーチンを実行し、生成処理ルーチンを実行する。
の各々の値を、上記ステップS252で抽出された調整対象の属性に対応する複数の隠れ変数
の各々の値で置換することにより調整する。
を含む各属性を表す隠れ変数zaとを入力とし、ニューラルネットワーク記憶部40に記憶された、デコーダとしてのニューラルネットワークを用いて、画像データ
を生成し、出力部90により出力して、生成処理ルーチンを終了する。
次に、本発明の第3の実施の形態における概要を説明する。
本発明の第3の実施の形態に係る信号調整装置200の入力部10は、学習データとして、画像データx及び属性ベクトルyのペアを複数受け付ける。また、入力部10は、調整対象となる画像データxと、調整対象の属性と、調整度合いと、参照対象となる画像データxとを受け付ける。
の各々の値と、エンコード部52によって抽出された調整対象の属性に対応する複数の隠れ変数
の各々の値との差分を、隠れ変数毎に算出する。調整部254は、エンコード部52によって抽出された各属性を表す隠れ変数zaのうち、調整対象の属性に対応する複数の隠れ変数
の各々の値に、隠れ変数毎に算出した差分に調整度合いを掛けた値だけ加算することにより調整する。
のうちの少なくとも1つの値と、エンコード部52によって抽出された調整対象の属性に対応する複数の隠れ変数
のうちの少なくとも1つの値との差分を、隠れ変数毎に算出し、エンコード部52によって抽出された各属性を表す隠れ変数zaのうち、調整対象の属性に対応する複数の隠れ変数
のうちの少なくとも1つの値に、隠れ変数毎に算出した差分に調整度合いを掛けた値だけ加算することにより調整するようにしてもよい。これにより、髪型の属性に対応する複数の隠れ変数のうち、髪の分け方のような特性を表す1つの隠れ変数を、参照対象の画像データに近づけるように調整することができる。
本発明の第4の実施の形態に係る信号調整装置100の入力部10は、学習データとして、画像データx及び属性ベクトルyのペアを複数受け付ける。また、入力部10は、調整対象となる画像データxと、個人性を表す隠れ変数のうちの何れか一つの指定、及び調整量とを受け付ける。
を生成し、出力部90により出力する。
本発明の第5の実施の形態に係る信号調整装置200の入力部10は、学習データとして、画像データx及び属性ベクトルyのペアを複数受け付ける。また、入力部10は、調整対象となる画像データxと、参照対象となる画像データxとを受け付ける。
を生成し、出力部90により出力する。
本発明の第6の実施の形態に係る信号調整装置200の入力部10は、学習データとして、画像データx及び属性ベクトルyのペアを複数受け付ける。また、入力部10は、調整対象となる画像データxと、調整度合いと、参照対象となる画像データxとを受け付ける。
本発明の実施の形態の有効性を示すために、一実現方法を用いて、実験を行った。
20、220 演算部
30 学習部
40 ニューラルネットワーク記憶部
50、250 予測部
52、252 エンコード部
54、254 調整部
56 デコード部
90 出力部
100、200 信号調整装置
Claims (8)
- 入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出するエンコード部と、
前記エンコード部によって抽出された前記隠れ変数の値を調整する調整部と、
前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成するデコード部と、
を含む信号調整装置。 - 前記エンコード部は、入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数、及び属性毎に複数の隠れ変数を有する各属性を表す隠れ変数を抽出するための前記予め学習されたニューラルネットワークを用いて、入力された信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
前記調整部は、前記エンコード部によって抽出された前記各属性を表す隠れ変数のうち、調整対象の属性を表す隠れ変数の値、又は調整対象の個人性を表す隠れ変数を調整し、
前記デコード部は、前記調整部によって調整された前記隠れ変数を含む、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するための前記予め学習されたニューラルネットワークを用いて、信号を生成する
請求項1記載の信号調整装置。 - 前記エンコード部は、入力された調整対象の信号と、前記調整対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された調整対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
入力された参照対象の信号と、前記参照対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された参照対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
前記調整部は、前記デコード部によって前記調整対象の信号について抽出された前記各属性を表す隠れ変数のうち、調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも1つの値を、前記デコード部によって前記参照対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも1つの値に置き換え、
あるいは、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数の値を、前記デコード部によって前記参照対象の信号について抽出された前記個人性を表す隠れ変数の値に置き換える請求項2記載の信号調整装置。 - 前記エンコード部は、入力された調整対象の信号と、前記調整対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された調整対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
入力された参照対象の信号と、前記参照対象の信号における各属性の有無を表す属性ベクトルとを入力とし、前記隠れ変数を抽出するための前記ニューラルネットワークを用いて、入力された参照対象の信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
前記調整部は、前記デコード部によって前記調整対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも1つの値と、前記参照対象の信号について抽出された前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも1つの値との差分に応じて、前記デコード部によって前記調整対象の信号について抽出された前記各属性を表す隠れ変数のうち、前記調整対象の属性に対する前記複数の隠れ変数のうちの少なくとも1つの値を調整し、
あるいは、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数の値と、前記参照対象の信号について抽出された前記個人性を表す隠れ変数の値との差分に応じて、前記デコード部によって前記調整対象の信号について抽出された前記個人性を表す隠れ変数を調整する請求項2記載の信号調整装置。 - 入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数及び各属性を表す隠れ変数を抽出するためのエンコーダとしてのニューラルネットワークと、前記抽出された前記個人性を表す隠れ変数と前記各属性を表す隠れ変数とを入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するためのデコーダとしてのニューラルネットワークと、前記生成された信号が、前記属性ベクトルの下で真の信号と同一の分布に従うか否かを識別する識別器としてのニューラルネットワークとを、前記エンコーダとしてのニューラルネットワークと、前記デコーダとしてのニューラルネットワークと、前記識別器としてのニューラルネットワークとが、互いに競合する最適化条件に従って学習する学習部
を含む信号生成学習装置。 - エンコード部が、入力された信号を入力とし、信号から隠れ変数を抽出するための予め学習されたニューラルネットワークを用いて、入力された信号の前記隠れ変数を抽出し、
調整部が、前記エンコード部によって抽出された前記隠れ変数の値を調整し、
デコード部が、前記調整部によって調整された前記隠れ変数を入力とし、前記隠れ変数から、信号を生成するための予め学習されたニューラルネットワークを用いて、信号を生成する、
信号調整方法。 - 前記エンコード部によって抽出することでは、入力された信号と、前記信号における各属性の有無を表す属性ベクトルとを入力とし、信号から個人性を表す隠れ変数、及び属性毎に複数の隠れ変数を有する各属性を表す隠れ変数を抽出するための前記予め学習されたニューラルネットワークを用いて、入力された信号の前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を抽出し、
前記調整部によって調整することでは、前記エンコード部によって抽出された前記各属性を表す隠れ変数のうち、調整対象の属性を表す隠れ変数の値、又は調整対象の個人性を表す隠れ変数を調整し、
前記デコード部によって生成することでは、前記調整部によって調整された前記隠れ変数を含む、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数を入力とし、前記個人性を表す隠れ変数及び前記各属性を表す隠れ変数から、信号を生成するための前記予め学習されたニューラルネットワークを用いて、信号を生成する
請求項6記載の信号調整方法。 - コンピュータを、請求項1〜請求項4の何れか1項記載の信号調整装置、及び請求項5記載の信号生成学習装置を構成する各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016190353A JP6692272B2 (ja) | 2016-09-28 | 2016-09-28 | 信号調整装置、信号生成学習装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016190353A JP6692272B2 (ja) | 2016-09-28 | 2016-09-28 | 信号調整装置、信号生成学習装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055384A true JP2018055384A (ja) | 2018-04-05 |
JP6692272B2 JP6692272B2 (ja) | 2020-05-13 |
Family
ID=61835858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016190353A Active JP6692272B2 (ja) | 2016-09-28 | 2016-09-28 | 信号調整装置、信号生成学習装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6692272B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121811A1 (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP2020170496A (ja) * | 2019-04-04 | 2020-10-15 | ▲広▼州大学 | 顔認識用の年齢プライバシー保護方法及びシステム |
WO2021020299A1 (ja) * | 2019-07-30 | 2021-02-04 | 株式会社Nttドコモ | 人気度推定システム及び地理的特徴生成モデル |
WO2021166363A1 (ja) * | 2020-02-18 | 2021-08-26 | 株式会社データグリッド | プログラム、画像データ生成装置及び画像データ生成方法 |
US12033254B2 (en) | 2019-04-09 | 2024-07-09 | Koninklijke Philips N.V. | Modifying an appearance of hair |
-
2016
- 2016-09-28 JP JP2016190353A patent/JP6692272B2/ja active Active
Non-Patent Citations (3)
Title |
---|
RYOSUKE TACHIBANA ET AL.: "Semi-Supervised Learning Using Adversarial Networks", 2016 IEEE/ACIS 15TH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION SCIENCE(ICIS), JPN6019032852, 29 June 2016 (2016-06-29), ISSN: 0004102657 * |
片岡 裕介 外2名: "深層学習における敵対的ネットワークと注視を用いた画像生成の試み", 一般社団法人 人工知能学会 第30回全国大会論文集CD−ROM [CD−ROM] 2016年度 人工, JPN6019032853, 6 June 2016 (2016-06-06), JP, pages 1 - 4, ISSN: 0004102658 * |
立花 亮介 外2名: "深層学習における敵対的ネットワークによるラベル推定と半教師あり学習", 一般社団法人 人工知能学会 第30回全国大会論文集CD−ROM [CD−ROM] 2016年度 人工, JPN6019032854, 6 June 2016 (2016-06-06), JP, pages 1 - 4, ISSN: 0004102659 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121811A1 (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP2020095407A (ja) * | 2018-12-11 | 2020-06-18 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP7099292B2 (ja) | 2018-12-11 | 2022-07-12 | 日本電信電話株式会社 | 画像生成装置、画像生成方法、及びプログラム |
JP2020170496A (ja) * | 2019-04-04 | 2020-10-15 | ▲広▼州大学 | 顔認識用の年齢プライバシー保護方法及びシステム |
US12033254B2 (en) | 2019-04-09 | 2024-07-09 | Koninklijke Philips N.V. | Modifying an appearance of hair |
WO2021020299A1 (ja) * | 2019-07-30 | 2021-02-04 | 株式会社Nttドコモ | 人気度推定システム及び地理的特徴生成モデル |
WO2021166363A1 (ja) * | 2020-02-18 | 2021-08-26 | 株式会社データグリッド | プログラム、画像データ生成装置及び画像データ生成方法 |
JPWO2021166363A1 (ja) * | 2020-02-18 | 2021-08-26 | ||
JP7095935B2 (ja) | 2020-02-18 | 2022-07-05 | 株式会社データグリッド | プログラム、画像データ生成装置及び画像データ生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6692272B2 (ja) | 2020-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111489412B (zh) | 用于使用神经网络生成基本逼真图像的语义图像合成 | |
JP6692272B2 (ja) | 信号調整装置、信号生成学習装置、方法、及びプログラム | |
CN106096727B (zh) | 一种基于机器学习的网络模型构造方法及装置 | |
US11288851B2 (en) | Signal change apparatus, method, and program | |
US11335118B2 (en) | Signal retrieval apparatus, method, and program | |
KR102532748B1 (ko) | 뉴럴 네트워크 학습 방법 및 장치 | |
CN107807914A (zh) | 情感倾向的识别方法、对象分类方法及数据处理*** | |
CN106411683B (zh) | 一种关键社交信息的确定方法及装置 | |
CN107783998A (zh) | 一种数据处理的方法以及装置 | |
CN115309985A (zh) | 推荐算法的公平性评估方法及ai模型选择方法 | |
CN111950579A (zh) | 分类模型的训练方法和训练装置 | |
CN116485948A (zh) | 一种基于推荐算法和扩散模型的文本生成图像方法和*** | |
WO2018203551A1 (ja) | 信号検索装置、方法、及びプログラム | |
Zamzami et al. | An accurate evaluation of msd log-likelihood and its application in human action recognition | |
KR102549937B1 (ko) | Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 장치 및 방법 | |
Rai et al. | Improved attribute manipulation in the latent space of stylegan for semantic face editing | |
Martin et al. | The Possibilistic Reward Method and a Dynamic Extension for the Multi-armed Bandit Problem: A Numerical Study | |
JPWO2014118976A1 (ja) | 学習方法、情報変換装置および学習プログラム | |
Castillo-Arredondo et al. | PhotoHandler: Manipulation of Portrait Images with StyleGANs Using Text. | |
CN111898708A (zh) | 一种迁移学习方法和电子设备 | |
CN116363737B (zh) | 一种人脸图像属性编辑方法、***、电子设备及存储介质 | |
US20240037870A1 (en) | Methods and apparatus for determining and using controllable directions of gan space | |
KR102549939B1 (ko) | Sns 텍스트 기반의 사용자의 인테리어 스타일 분석 모델 제공 서버, 사용자 단말 및 방법 | |
CN113836328B (zh) | 图像数据处理方法及装置 | |
CN115393659B (zh) | 基于多级决策树的个性化分类流程优化方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6692272 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |