JP2021086462A5 - データ生成方法、データ表示方法、データ生成装置及びデータ表示システム - Google Patents

Claims (28)

1. １つ以上のプロセッサが、画像とレイヤ化されたセグメンテーションマップと第１のニューラルネットワークとを用いて、出力画像を生成する、
   データ生成方法。
2. 前記出力画像を生成することは、前記１つ以上のプロセッサが、前記画像を第２のニューラルネットワークに入力することで特徴マップを生成し、前記特徴マップと前記セグメンテーションマップと前記第１のニューラルネットワークとを用いて前記出力画像を生成すること、を含む、
   請求項１に記載のデータ生成方法。
3. 前記出力画像を生成することは、前記１つ以上のプロセッサが、前記特徴マップと前記セグメンテーションマップとに基づいて他の特徴マップを生成し、前記他の特徴マップを前記第１のニューラルネットワークに入力することで前記出力画像を生成すること、を含む、
   請求項２に記載のデータ生成方法。
4. 前記出力画像を生成することは、前記１つ以上のプロセッサが、前記特徴マップとレイヤ化された他のセグメンテーションマップとに基づいて特徴ベクトルを生成し、前記特徴ベクトルと前記セグメンテーションマップとに基づいて前記他の特徴マップを生成すること、を含む、
   請求項３に記載のデータ生成方法。
5. 前記出力画像を生成することは、前記１つ以上のプロセッサが、前記特徴マップと前記他のセグメンテーションマップとを用いたプーリング処理により前記特徴ベクトルを生成すること、を含む、
   請求項４に記載のデータ生成方法。
6. 前記出力画像を生成することは、前記１つ以上のプロセッサが、前記特徴ベクトルを、前記セグメンテーションマップを用いて展開することによって前記他の特徴マップを生成すること、を含む、
   請求項５に記載のデータ生成方法。
7. 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップである、
   請求項１乃至請求項６のいずれ一項に記載のデータ生成方法。
8. 前記１つ以上のプロセッサが、前記画像又は前記他の画像を第３のニューラルネットワークに入力することで前記セグメンテーションマップを生成すること、を更に含む、
   請求項７に記載のデータ生成方法。
9. 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップを編集することで生成されたセグメンテーションマップである、
   請求項１乃至請求項６のいずれ一項に記載のデータ生成方法。
10. 前記１つ以上のプロセッサが、ユーザからの編集指示に基づいて、前記セグメンテーションマップを生成すること、を更に含む、
    請求項９に記載のデータ生成方法。
11. 前記他のセグメンテーションマップは、前記画像から生成されたセグメンテーションマップである、
    請求項４又は請求項５に記載のデータ生成方法。
12. 前記１つ以上のプロセッサが、前記画像を第３のニューラルネットワークに入力することで前記他のセグメンテーションマップを生成すること、を更に含む、
    請求項１１に記載のデータ生成方法。
13. 前記セグメンテーションマップは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか１つに対応する複数のレイヤを含む、
    請求項１乃至請求項１２のいずれ一項に記載のデータ生成方法。
14. 前記第１のニューラルネットワークは、ＧＡＮｓ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）に基づく方式で訓練されたものである、
    請求項１乃至請求項１３のいずれ一項に記載のデータ生成方法。
15. 前記セグメンテーションマップは、複数のレイヤが重畳された構造を有する、
    請求項１乃至請求項１４のいずれ一項に記載のデータ生成方法。
16. 前記セグメンテーションマップは、２つ以上のラベルが付与された画素を有する、
    請求項１乃至請求項１４のいずれ一項に記載のデータ生成方法。
17. 前記出力画像は、前記セグメンテーションマップの各画素における最上位のオブジェクトを反映させた画像である、
    請求項１６に記載のデータ生成方法。
18. １つ以上のプロセッサが、
    セグメンテーションマップを表示装置に表示することと、
    編集対象となる複数のレイヤの情報を前記表示装置に表示することと、
    前記複数のレイヤに含まれる第１のレイヤに関する編集指示をユーザから取得することと、
    前記ユーザからの編集指示に基づく前記セグメンテーションマップの前記第１のレイヤの編集によって生成された、他のセグメンテーションマップを前記表示装置に表示することと、
    画像と前記他のセグメンテーションマップとに基づいて生成された出力画像を前記表示装置に表示することと、を備える、
    データ表示方法。
19. 前記セグメンテーションマップは、前記画像から生成されたセグメンテーションマップ、又は、他の画像から生成されたセグメンテーションマップである、
    請求項１８に記載のデータ表示方法。
20. 前記複数のレイヤは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか１つに対応する、
    請求項１８又は請求項１９に記載のデータ表示方法。
21. 前記セグメンテーションマップは、少なくとも前記第１のレイヤと第２のレイヤとを含み、
    前記セグメンテーションマップを前記表示装置に表示することは、前記１つ以上のプロセッサが、前記ユーザからの指示に基づいて、少なくとも前記第２のレイヤの表示と非表示とを切り替えること、を更に備える、
    請求項１８乃至請求項２０のいずれか一項に記載のデータ表示方法。
22. １つ以上のメモリと、
    １つ以上のプロセッサと、を備え、
    前記１つ以上のプロセッサは、
    画像とレイヤ化されたセグメンテーションマップと第１のニューラルネットワークとを用いて、出力画像を生成する、
    データ生成装置。
23. 前記１つ以上のプロセッサは、
    前記画像を第２のニューラルネットワークに入力することで特徴マップを生成し、前記特徴マップと前記セグメンテーションマップと前記第１のニューラルネットワークとを用いて前記出力画像を生成する、
    請求項２２に記載のデータ生成装置。
24. 前記セグメンテーションマップは、前記画像又は他の画像から生成されたセグメンテーションマップを編集することで生成されたセグメンテーションマップである、
    請求項２２又は請求項２３に記載のデータ生成装置。
25. １つ以上のメモリと、
    １つ以上のプロセッサと、を備え、
    前記１つ以上のプロセッサは、
    セグメンテーションマップを表示装置に表示し、
    編集対象となる複数のレイヤの情報を前記表示装置に表示し、
    前記複数のレイヤに含まれる第１のレイヤに関する編集指示をユーザから取得し、
    前記ユーザからの編集指示に基づく前記セグメンテーションマップの前記第１のレイヤの編集によって生成された、他のセグメンテーションマップを前記表示装置に表示し、
    画像と前記他のセグメンテーションマップとに基づいて生成された出力画像を前記表示装置に表示する、
    データ表示システム。
26. 前記セグメンテーションマップは、前記画像から生成されたセグメンテーションマップ、又は、他の画像から生成されたセグメンテーションマップである、
    請求項２５に記載のデータ表示システム。
27. 前記複数のレイヤは、それぞれが眉毛、口、鼻、まつ毛、黒目、白目、服、髪、顔、肌、背景のいずれか１つに対応する、
    請求項２５又は請求項２６に記載のデータ表示システム。
28. 前記セグメンテーションマップは、少なくとも前記第１のレイヤと第２のレイヤとを含み、
    前記１つ以上のプロセッサは、
    前記ユーザからの指示に基づいて、少なくとも前記第２のレイヤの表示と非表示とを切り替える、
    請求項２５乃至請求項２７のいずれか一項に記載のデータ表示システム。