JP2021190062A - イメージ生成システム及びこれを利用したイメージ生成方法 - Google Patents
イメージ生成システム及びこれを利用したイメージ生成方法 Download PDFInfo
- Publication number
- JP2021190062A JP2021190062A JP2020169539A JP2020169539A JP2021190062A JP 2021190062 A JP2021190062 A JP 2021190062A JP 2020169539 A JP2020169539 A JP 2020169539A JP 2020169539 A JP2020169539 A JP 2020169539A JP 2021190062 A JP2021190062 A JP 2021190062A
- Authority
- JP
- Japan
- Prior art keywords
- image
- style
- reference image
- domain
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 35
- 239000002131 composite material Substances 0.000 claims abstract description 76
- 238000013507 mapping Methods 0.000 claims description 41
- 210000004209 hair Anatomy 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 5
- 239000000284 extract Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241001482630 Epinnula magistralis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/32—Image data format
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
Claims (16)
- 変換の対象になるソースイメージを受信するイメージ入力部と、
基準イメージの外貌スタイルと関連したスタイルコードを入力するスタイルコード入力部と、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するイメージ生成部と、
を備え、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成システム。 - 前記スタイルコードは、
前記基準イメージの特定ドメインに対応するドメイン特性情報を含み、
前記イメージ生成部は、
前記スタイルコードに基づいて、前記合成イメージが、前記基準イメージの特定ドメインを有するように前記合成イメージを生成する、請求項1に記載のイメージ生成システム。 - 前記イメージ生成部は、
前記ソースイメージの特定ドメインを、前記基準イメージの特定ドメインに変換して前記合成イメージを生成し、
前記ソースイメージの特定ドメイン及び前記基準イメージの特定ドメインは、互いに対応する外貌的属性である、請求項2に記載のイメージ生成システム。 - 前記イメージ生成部は、
前記ソースイメージの特定ドメインと前記基準イメージの特定ドメインとが互いに異なる場合、
前記ソースイメージの特定ドメインより、前記基準イメージの特定ドメインを優先して、前記合成イメージのドメインを決定する、請求項3に記載のイメージ生成システム。 - スタイルエンコーダをさらに備え、
前記スタイルエンコーダは、
前記基準イメージから、前記基準イメージの外貌スタイルと関連したスタイル情報を抽出する、請求項1〜4のいずれか1項に記載のイメージ生成システム。 - 前記スタイルエンコーダは、
前記基準イメージから、前記基準イメージの特定ドメインを基準に前記スタイル情報を抽出し、
前記スタイル情報及び前記基準イメージの特定ドメインによるドメイン特性情報が含まれた前記スタイルコードを生成する、請求項5に記載のイメージ生成システム。 - 前記スタイルコードは、
前記基準イメージから、複数のドメインのうち、どのドメインを基準に前記基準イメージの外貌スタイルと関連したスタイル情報が抽出されたかによって、互いに異なるベクトル値を有する、請求項5に記載のイメージ生成システム。 - マッピングネットワーク部をさらに備え、
前記マッピングネットワーク部は、
ガウス分布から抽出されるノイズ情報を利用して、前記基準イメージの特定ドメインと関連した前記スタイルコードを生成する、請求項1〜7のいずれか1項に記載のイメージ生成システム。 - 前記マッピングネットワーク部は、
前記抽出されたノイズ情報から、前記基準イメージの特定ドメインと関連したスタイル情報を抽出する、請求項8に記載のイメージ生成システム。 - 前記マッピングネットワーク部は、
前記抽出されたノイズ情報を利用して、前記基準イメージと関連した複数のドメインの各々に対して互いに異なるスタイルコードを生成し、
前記基準イメージの特定ドメインは、前記複数のドメインのうち、いずれか1つである、請求項9に記載のイメージ生成システム。 - 前記ソースイメージは、
前記ソースイメージの外貌的正体性を決定する少なくとも1つの外貌特徴部分を含み、
前記イメージ生成部は、
前記ソースイメージの外貌特徴部分を除いた残りの部分を中心に、前記ソースイメージに対して前記基準イメージの外貌スタイルを反映する、請求項1〜10のいずれか1項に記載のイメージ生成システム。 - 前記ソースイメージ及び前記基準イメージが人に対応する場合、
前記ソースイメージの前記外貌特徴部分は、
人の目、鼻、及び口のうち、少なくとも1つに対応し、
前記基準イメージの外貌スタイルは、
人の頭髪スタイル、ひげ、年齢、皮膚色、メーキャップのうち、少なくとも1つと関連している、請求項11に記載のイメージ生成システム。 - 識別部をさらに備え、
前記識別部は、
前記基準イメージを基に、前記合成イメージが、前記基準イメージの特定ドメインに対して、前記イメージ生成部により生成された偽物イメージであるか否かを識別し、
識別結果、前記合成イメージが偽物イメージと識別された場合、前記基準イメージと前記合成イメージとが偽物イメージとの差値が最小化されるように前記イメージ生成部を学習させる、請求項1〜12のいずれか1項に記載のイメージ生成システム。 - 学習部をさらに備え、
前記学習部は、
スタイルエンコーダを用いて、前記合成イメージから前記基準イメージの特定ドメインと関連したスタイルコードを抽出し、
前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとを比較する、請求項1〜13のいずれか1項に記載のイメージ生成システム。 - 前記学習部は、
比較結果、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとが互いに相違した場合、前記合成イメージのスタイルコードと前記基準イメージのスタイルコードとの差値が最小になるように前記イメージ生成部を学習させる、請求項14に記載のイメージ生成システム。 - 変換の対象になるソースイメージを受信するステップと、
基準イメージの外貌スタイルと関連したスタイルコードを受信するステップと、
前記スタイルコードを用いて、前記ソースイメージに前記基準イメージの外貌スタイルが反映された合成イメージを生成するステップと、
を含み、
前記基準イメージの外貌スタイルは、前記基準イメージの特定ドメインと関連している、イメージ生成方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0064860 | 2020-05-29 | ||
KR1020200064860A KR102427484B1 (ko) | 2020-05-29 | 2020-05-29 | 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021190062A true JP2021190062A (ja) | 2021-12-13 |
JP7224323B2 JP7224323B2 (ja) | 2023-02-17 |
Family
ID=78849731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020169539A Active JP7224323B2 (ja) | 2020-05-29 | 2020-10-07 | イメージ生成システム及びこれを利用したイメージ生成方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7224323B2 (ja) |
KR (1) | KR102427484B1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102543451B1 (ko) * | 2022-04-29 | 2023-06-13 | 주식회사 이너버즈 | 딥 러닝을 이용한 이미지의 특징 추출 및 합성 시스템 및 이의 학습 방법 |
KR102515436B1 (ko) * | 2022-08-01 | 2023-03-29 | 주식회사 어썸커머스 | 인공지능 기반 얼굴 메이크업 처리 방법, 장치 및 시스템 |
KR102594578B1 (ko) * | 2022-11-15 | 2023-10-27 | 주식회사 블록버스터랩 | 게임 런처 운영 시스템 및 방법 |
WO2024122754A1 (ko) * | 2022-12-08 | 2024-06-13 | 서울과학기술대학교 산학협력단 | 영상 스타일 변환 장치 및 방법 |
KR102636155B1 (ko) * | 2023-07-18 | 2024-02-13 | 주식회사 젠젠에이아이 | 콘텐츠 코드를 이용한 이미지 생성 방법 및 시스템 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086462A (ja) * | 2019-11-28 | 2021-06-03 | 株式会社Preferred Networks | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム |
JP2021111372A (ja) * | 2020-01-08 | 2021-08-02 | パロ アルト リサーチ センター インコーポレイテッド | 局在編集を用いた合成画像生成のためのシステム及び方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10825219B2 (en) * | 2018-03-22 | 2020-11-03 | Northeastern University | Segmentation guided image generation with adversarial networks |
KR20200034028A (ko) * | 2018-09-13 | 2020-03-31 | 정형록 | 인공지능 기반 가상 피팅 시스템 및 방법 |
KR102211400B1 (ko) * | 2019-11-08 | 2021-02-03 | 송우상 | 이미지/텍스트 기반 디자인 생성 장치 및 방법 |
-
2020
- 2020-05-29 KR KR1020200064860A patent/KR102427484B1/ko active IP Right Grant
- 2020-10-07 JP JP2020169539A patent/JP7224323B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021086462A (ja) * | 2019-11-28 | 2021-06-03 | 株式会社Preferred Networks | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム |
JP2021111372A (ja) * | 2020-01-08 | 2021-08-02 | パロ アルト リサーチ センター インコーポレイテッド | 局在編集を用いた合成画像生成のためのシステム及び方法 |
Non-Patent Citations (2)
Title |
---|
柳井啓司: ""1章 質感の視覚工学 1−3 深層学習によるスタイル変換"", 映像情報メディア学会誌, vol. 第73巻, 第3号, JPN6021052418, 2019, pages 413 - 417, ISSN: 0004840336 * |
金子卓弘, 外2名: ""Conditional Filtered Generative Adversarial Networksを用いた生成的属性制御"", 情報処理学会研究報告, vol. Vol.2017-CVIM-208, No.36, JPN6021052417, 2017, pages 213 - 220, ISSN: 0004840337 * |
Also Published As
Publication number | Publication date |
---|---|
KR20210147507A (ko) | 2021-12-07 |
JP7224323B2 (ja) | 2023-02-17 |
KR102427484B1 (ko) | 2022-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021190062A (ja) | イメージ生成システム及びこれを利用したイメージ生成方法 | |
CN110785767B (zh) | 紧凑的无语言面部表情嵌入和新颖三元组的训练方案 | |
WO2021254499A1 (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
US10789755B2 (en) | Artificial intelligence in interactive storytelling | |
US10853987B2 (en) | Generating cartoon images from photos | |
US11144597B2 (en) | Computer generated emulation of a subject | |
CN112991160B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
JPWO2018012136A1 (ja) | メイクアップ支援装置およびメイクアップ支援方法 | |
CN111260754A (zh) | 人脸图像编辑方法、装置和存储介质 | |
WO2024109374A1 (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
US12033264B2 (en) | Systems and methods for authoring and managing extended reality (XR) avatars | |
CN114463827A (zh) | 一种基于ds证据理论的多模态实时情绪识别方法及*** | |
Van et al. | Interpreting the latent space of generative adversarial networks using supervised learning | |
CN114240736A (zh) | 基于VAE和cGAN的同时生成和编辑任意人脸属性的方法 | |
CN117152308B (zh) | 一种虚拟人动作表情优化方法与*** | |
KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
Na et al. | Miso: Mutual information loss with stochastic style representations for multimodal image-to-image translation | |
KR102334666B1 (ko) | 얼굴 이미지 생성 방법 | |
Sun et al. | AnyFace++: A unified framework for free-style text-to-face synthesis and manipulation | |
CN113379594A (zh) | 脸型变换模型训练、脸型变换方法及相关装置 | |
Lambiase et al. | A two-tier GAN architecture for conditioned expressions synthesis on categorical emotions | |
Nakashima et al. | A Comparison of Cartoon Portrait Generators Based on Generative Adversarial Networks | |
WO2023208090A1 (en) | Method and system for personal identifiable information removal and data processing of human multimedia | |
Li et al. | Egt2i: Exemplar-Guided Text-to-Image Synthesis with Contrastive Learning and Spatial Constraints | |
CN116524264A (zh) | 基于广义零样本学习的图像生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201007 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20201026 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210414 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220407 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221129 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221212 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7224323 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |