JP2021086462A5 - データ生成方法、データ表示方法、データ生成装置及びデータ表示システム - Google Patents
データ生成方法、データ表示方法、データ生成装置及びデータ表示システム Download PDFInfo
- Publication number
- JP2021086462A5 JP2021086462A5 JP2019215846A JP2019215846A JP2021086462A5 JP 2021086462 A5 JP2021086462 A5 JP 2021086462A5 JP 2019215846 A JP2019215846 A JP 2019215846A JP 2019215846 A JP2019215846 A JP 2019215846A JP 2021086462 A5 JP2021086462 A5 JP 2021086462A5
- Authority
- JP
- Japan
- Prior art keywords
- segmentation map
- image
- generating
- data generation
- processors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims 25
- 230000011218 segmentation Effects 0.000 claims 42
- 238000013528 artificial neural network Methods 0.000 claims 10
- 235000002673 Dioscorea communis Nutrition 0.000 claims 3
- 241000544230 Dioscorea communis Species 0.000 claims 3
- 241001469893 Oxyzygonectes dovii Species 0.000 claims 3
- 208000035753 Periorbital contusion Diseases 0.000 claims 3
- 210000004709 eyebrow Anatomy 0.000 claims 3
- 210000000720 eyelash Anatomy 0.000 claims 3
- 210000004209 hair Anatomy 0.000 claims 3
- 210000000214 mouth Anatomy 0.000 claims 3
- 210000001331 nose Anatomy 0.000 claims 3
- 239000013598 vector Substances 0.000 claims 3
- 230000015654 memory Effects 0.000 claims 2
- 238000011176 pooling Methods 0.000 claims 1
Claims (28)
- 1つ以上のプロセッサが、画像とレイヤ化されたセグメンテーションマップと第1のニューラルネットワークとを用いて、出力画像を生成する、
データ生成方法。 - 前記出力画像を生成することは、前記1つ以上のプロセッサが、前記画像を第2のニューラルネットワークに入力することで特徴マップを生成し、前記特徴マップと前記セグメンテーションマップと前記第1のニューラルネットワークとを用いて前記出力画像を生成すること、を含む、
請求項1に記載のデータ生成方法。 - 前記出力画像を生成することは、前記1つ以上のプロセッサが、前記特徴マップと前記セグメンテーションマップとに基づいて他の特徴マップを生成し、前記他の特徴マップを前記第1のニューラルネットワークに入力することで前記出力画像を生成すること、を含む、
請求項2に記載のデータ生成方法。 - 前記出力画像を生成することは、前記1つ以上のプロセッサが、前記特徴マップとレイヤ化された他のセグメンテーションマップとに基づいて特徴ベクトルを生成し、前記特徴ベクトルと前記セグメンテーションマップとに基づいて前記他の特徴マップを生成すること、を含む、
請求項3に記載のデータ生成方法。 - 前記出力画像を生成することは、前記1つ以上のプロセッサが、前記特徴マップと前記他のセグメンテーションマップとを用いたプーリング処理により前記特徴ベクトルを生成すること、を含む、
請求項4に記載のデータ生成方法。 - 前記出力画像を生成することは、前記1つ以上のプロセッサが、前記特徴ベクトルを、前記セグメンテーションマップを用いて展開することによって前記他の特徴マップを生成すること、を含む、
請求項5に記載のデータ生成方法。 - 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップである、
請求項1乃至請求項6のいずれ一項に記載のデータ生成方法。 - 前記1つ以上のプロセッサが、前記画像又は前記他の画像を第3のニューラルネットワークに入力することで前記セグメンテーションマップを生成すること、を更に含む、
請求項7に記載のデータ生成方法。 - 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップを編集することで生成されたセグメンテーションマップである、
請求項1乃至請求項6のいずれ一項に記載のデータ生成方法。 - 前記1つ以上のプロセッサが、ユーザからの編集指示に基づいて、前記セグメンテーションマップを生成すること、を更に含む、
請求項9に記載のデータ生成方法。 - 前記他のセグメンテーションマップは、前記画像から生成されたセグメンテーションマップである、
請求項4又は請求項5に記載のデータ生成方法。 - 前記1つ以上のプロセッサが、前記画像を第3のニューラルネットワークに入力することで前記他のセグメンテーションマップを生成すること、を更に含む、
請求項11に記載のデータ生成方法。 - 前記セグメンテーションマップは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか1つに対応する複数のレイヤを含む、
請求項1乃至請求項12のいずれ一項に記載のデータ生成方法。 - 前記第1のニューラルネットワークは、GANs(Generative Adversarial Networks)に基づく方式で訓練されたものである、
請求項1乃至請求項13のいずれ一項に記載のデータ生成方法。 - 前記セグメンテーションマップは、複数のレイヤが重畳された構造を有する、
請求項1乃至請求項14のいずれ一項に記載のデータ生成方法。 - 前記セグメンテーションマップは、2つ以上のラベルが付与された画素を有する、
請求項1乃至請求項14のいずれ一項に記載のデータ生成方法。 - 前記出力画像は、前記セグメンテーションマップの各画素における最上位のオブジェクトを反映させた画像である、
請求項16に記載のデータ生成方法。 - 1つ以上のプロセッサが、
セグメンテーションマップを表示装置に表示することと、
編集対象となる複数のレイヤの情報を前記表示装置に表示することと、
前記複数のレイヤに含まれる第1のレイヤに関する編集指示をユーザから取得することと、
前記ユーザからの編集指示に基づく前記セグメンテーションマップの前記第1のレイヤの編集によって生成された、他のセグメンテーションマップを前記表示装置に表示することと、
画像と前記他のセグメンテーションマップとに基づいて生成された出力画像を前記表示装置に表示することと、を備える、
データ表示方法。 - 前記セグメンテーションマップは、前記画像から生成されたセグメンテーションマップ、又は、他の画像から生成されたセグメンテーションマップである、
請求項18に記載のデータ表示方法。 - 前記複数のレイヤは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか1つに対応する、
請求項18又は請求項19に記載のデータ表示方法。 - 前記セグメンテーションマップは、少なくとも前記第1のレイヤと第2のレイヤとを含み、
前記セグメンテーションマップを前記表示装置に表示することは、前記1つ以上のプロセッサが、前記ユーザからの指示に基づいて、少なくとも前記第2のレイヤの表示と非表示とを切り替えること、を更に備える、
請求項18乃至請求項20のいずれか一項に記載のデータ表示方法。 - 1つ以上のメモリと、
1つ以上のプロセッサと、を備え、
前記1つ以上のプロセッサは、
画像とレイヤ化されたセグメンテーションマップと第1のニューラルネットワークとを用いて、出力画像を生成する、
データ生成装置。 - 前記1つ以上のプロセッサは、
前記画像を第2のニューラルネットワークに入力することで特徴マップを生成し、前記特徴マップと前記セグメンテーションマップと前記第1のニューラルネットワークとを用いて前記出力画像を生成する、
請求項22に記載のデータ生成装置。 - 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップを編集することで生成されたセグメンテーションマップである、
請求項22又は請求項23に記載のデータ生成装置。 - 1つ以上のメモリと、
1つ以上のプロセッサと、を備え、
前記1つ以上のプロセッサは、
セグメンテーションマップを表示装置に表示し、
編集対象となる複数のレイヤの情報を前記表示装置に表示し、
前記複数のレイヤに含まれる第1のレイヤに関する編集指示をユーザから取得し、
前記ユーザからの編集指示に基づく前記セグメンテーションマップの前記第1のレイヤの編集によって生成された、他のセグメンテーションマップを前記表示装置に表示し、
画像と前記他のセグメンテーションマップとに基づいて生成された出力画像を前記表示装置に表示する、
データ表示システム。 - 前記セグメンテーションマップは、前記画像から生成されたセグメンテーションマップ、又は、他の画像から生成されたセグメンテーションマップである、
請求項25に記載のデータ表示システム。 - 前記複数のレイヤは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか1つに対応する、
請求項25又は請求項26に記載のデータ表示システム。 - 前記セグメンテーションマップは、少なくとも前記第1のレイヤと第2のレイヤとを含み、
前記1つ以上のプロセッサは、
前記ユーザからの指示に基づいて、少なくとも前記第2のレイヤの表示と非表示とを切り替える、
請求項25乃至請求項27のいずれか一項に記載のデータ表示システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215846A JP7482620B2 (ja) | 2019-11-28 | 2019-11-28 | データ生成方法、データ表示方法、データ生成装置及びデータ表示システム |
PCT/JP2020/043622 WO2021106855A1 (ja) | 2019-11-28 | 2020-11-24 | データ生成方法、データ生成装置、モデル生成方法、モデル生成装置及びプログラム |
CN202080082236.8A CN114762004A (zh) | 2019-11-28 | 2020-11-24 | 数据生成方法、数据生成装置、模型生成方法、模型生成装置及程序 |
US17/804,359 US20220292690A1 (en) | 2019-11-28 | 2022-05-27 | Data generation method, data generation apparatus, model generation method, model generation apparatus, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019215846A JP7482620B2 (ja) | 2019-11-28 | 2019-11-28 | データ生成方法、データ表示方法、データ生成装置及びデータ表示システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021086462A JP2021086462A (ja) | 2021-06-03 |
JP2021086462A5 true JP2021086462A5 (ja) | 2022-08-09 |
JP7482620B2 JP7482620B2 (ja) | 2024-05-14 |
Family
ID=76088853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019215846A Active JP7482620B2 (ja) | 2019-11-28 | 2019-11-28 | データ生成方法、データ表示方法、データ生成装置及びデータ表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220292690A1 (ja) |
JP (1) | JP7482620B2 (ja) |
CN (1) | CN114762004A (ja) |
WO (1) | WO2021106855A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102427484B1 (ko) * | 2020-05-29 | 2022-08-05 | 네이버 주식회사 | 이미지 생성 시스템 및 이를 이용한 이미지 생성 방법 |
WO2023149198A1 (ja) * | 2022-02-03 | 2023-08-10 | 株式会社Preferred Networks | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016103759A (ja) | 2014-11-28 | 2016-06-02 | 株式会社リコー | 画像処理装置、画像処理方法、及びプログラム |
JP6744237B2 (ja) | 2017-02-21 | 2020-08-19 | 株式会社東芝 | 画像処理装置、画像処理システムおよびプログラム |
JP7213616B2 (ja) | 2017-12-26 | 2023-01-27 | 株式会社Preferred Networks | 情報処理装置、情報処理プログラム及び情報処理方法。 |
-
2019
- 2019-11-28 JP JP2019215846A patent/JP7482620B2/ja active Active
-
2020
- 2020-11-24 CN CN202080082236.8A patent/CN114762004A/zh active Pending
- 2020-11-24 WO PCT/JP2020/043622 patent/WO2021106855A1/ja active Application Filing
-
2022
- 2022-05-27 US US17/804,359 patent/US20220292690A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7490004B2 (ja) | 機械学習を用いた画像カラー化 | |
US10540817B2 (en) | System and method for creating a full head 3D morphable model | |
Wang et al. | Multimodal transfer: A hierarchical deep convolutional neural network for fast artistic style transfer | |
US10950020B2 (en) | Real-time AR content management and intelligent data analysis system | |
CN107018336B (zh) | 图像处理的方法和装置及视频处理的方法和装置 | |
Gu et al. | Flnet: Landmark driven fetching and learning network for faithful talking facial animation synthesis | |
WO2021238595A1 (zh) | 基于人工智能的图像生成方法、装置、设备及存储介质 | |
CN108960020A (zh) | 信息处理方法和信息处理设备 | |
WO2021244172A1 (zh) | 图像处理和图像合成方法、装置和存储介质 | |
CN106575445A (zh) | 毛皮虚拟化身动画 | |
US20210264207A1 (en) | Image editing by a generative adversarial network using keypoints or segmentation masks constraints | |
JP2021086462A5 (ja) | データ生成方法、データ表示方法、データ生成装置及びデータ表示システム | |
JP2023539620A (ja) | 顔画像の処理方法、表示方法、装置及びコンピュータプログラム | |
US20220292690A1 (en) | Data generation method, data generation apparatus, model generation method, model generation apparatus, and program | |
TW202333108A (zh) | 用於執行語義影像分割的系統和方法 | |
Wang et al. | Faithful face image completion for HMD occlusion removal | |
CN115393480A (zh) | 基于动态神经纹理的说话人合成方法、装置和存储介质 | |
JP2023109570A (ja) | 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法 | |
Ren et al. | Hr-net: a landmark based high realistic face reenactment network | |
CN110730303B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
US20240013464A1 (en) | Multimodal disentanglement for generating virtual human avatars | |
Fu et al. | MakeItSmile: Detail-enhanced smiling face reenactment | |
US20220198828A1 (en) | Method and apparatus for generating image | |
Vo et al. | Saliency prediction for 360-degree video | |
CN115631516A (zh) | 人脸图像处理方法、装置、设备及计算机可读存储介质 |