JP2022530518A - 画像生成方法及び装置、電子機器並びに記憶媒体 - Google Patents
画像生成方法及び装置、電子機器並びに記憶媒体 Download PDFInfo
- Publication number
- JP2022530518A JP2022530518A JP2021564168A JP2021564168A JP2022530518A JP 2022530518 A JP2022530518 A JP 2022530518A JP 2021564168 A JP2021564168 A JP 2021564168A JP 2021564168 A JP2021564168 A JP 2021564168A JP 2022530518 A JP2022530518 A JP 2022530518A
- Authority
- JP
- Japan
- Prior art keywords
- image
- style
- feature
- target
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 239000000284 extract Substances 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 43
- 238000000605 extraction Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 241001465754 Metazoa Species 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 22
- 238000012545 processing Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 12
- 230000004927 fusion Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本願は、2019年04月29日に中国特許局に提出された、出願番号が201910352792.1である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全てのコンテンツが引用によって本願に組み込まれる。
[技術分野]
本発明は、コンピュータ技術分野に関し、特に、画像生成方法及び装置、電子機器並びに記憶媒体に関する。
第1画像のコンテンツ特徴を抽出することと、
第2画像の全体画像スタイル特徴と、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出することであって、前記第2画像と前記第1画像のスタイルは異なる、ことと、
少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定することと、
前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにすることと、を含む。
第1画像のコンテンツ特徴を抽出するように構成される第1抽出モジュールと、
第2画像の全体画像スタイル特徴と、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出するように構成される第2抽出モジュールであって、前記第2画像と前記第1画像のスタイルは異なる、第2抽出モジュールと、
少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定するように構成される決定モジュールと、
前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにするように構成される第1生成モジュールと、を備える。
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
ここで、前記プロセッサは、前述した本発明の実施例の画像生成方法を実行するように構成される。
は、生成された画像の画素点又は生成された部分画像ブロックの画素点を表し、kは、第1画像の画素点又は第1画像の部分画像ブロックの画素点を表し、
は、
とkの対応する画素点間の差の1ノルムを表す。更に、
は、生成された画像又は生成された部分画像ブロックのコンテンツ情報、スタイル情報などを表すこともでき、kは、第1画像又は第1画像の部分画像ブロックのコンテンツ情報、スタイル情報などを表すこともできる。
は、前記第1回の訓練で決定された第1判別結果の敵対的損失であり、
は、前記第2回の訓練で決定された第1判別結果の敵対的損失であり、
は、前記第1回の訓練で決定された第2判別結果の敵対的損失であり、
は、前記第2回の訓練で決定された第2判別結果の敵対的損失であり、
は、前記第1回の訓練において、kが第1画像の画素点を表し且つ
が生成された画像の画素点を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像の画素点を表し且つ
が生成された画像の画素点を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第1回の訓練において、kが第1画像のコンテンツ情報を表し且つ
が生成された画像のコンテンツ情報を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像のコンテンツ情報を表し且つ
が生成された画像のコンテンツ情報を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第1回の訓練において、kが第1画像のスタイル情報を表し且つ
が生成された画像のスタイル情報を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像のスタイル情報を表し且つ
が生成された画像のスタイル情報を表す場合に決定された第1総合ネットワーク損失であり、
は、前記第1回の訓練において、kが第1画像の部分画像ブロックの画素点を表し且つ
が生成された部分画像ブロックの画素点を表す場合に決定された第2総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像の部分画像ブロックの画素点を表し且つ
が生成された部分画像ブロックの画素点を表す場合に決定された第2総合ネットワーク損失であり、
は、前記第1回の訓練において、kが第1画像の部分画像ブロックのコンテンツ情報を表し且つ
が生成された部分画像ブロックのコンテンツ情報を表す場合に決定された第2総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像の部分画像ブロックのコンテンツ情報を表し且つ
が生成された部分画像ブロックのコンテンツ情報を表す場合に決定された第2総合ネットワーク損失であり、
は、前記第1回の訓練において、kが第1画像の部分画像ブロックのスタイル情報を表し且つ
が生成された部分画像ブロックのスタイル情報を表す場合に決定された第2総合ネットワーク損失であり、
は、前記第2回の訓練において、kが第1画像の部分画像ブロックのスタイル情報を表し且つ
が生成された部分画像ブロックのスタイル情報を表す場合に決定された第2総合ネットワーク損失である。
第1画像のコンテンツ特徴を抽出するように構成される第1抽出モジュール11と、
第2画像の全体画像スタイル特徴と、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出するように構成される第2抽出モジュール12であって、前記第2画像と前記第1画像のスタイルは異なる、第2抽出モジュール12と、
少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定するように構成される決定モジュール13と、
前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにするように構成される第1生成モジュール14と、を備える。
前記第2画像内の背景画像ブロックの背景スタイル特徴を抽出するように構成される第3抽出モジュール15を備え、前記背景画像ブロックは、前記第2画像の前記部分画像ブロック以外の画像ブロックであり、
前記決定モジュール13は、前記全体画像スタイル特徴、前記オブジェクトスタイル特徴、及び前記背景スタイル特徴に従って、前記ターゲットスタイル特徴を決定するように構成される。
前記第1抽出モジュール11は、ソース画像のコンテンツ特徴を抽出するように構成され、
前記第2生成モジュール16は、前記ソース画像のコンテンツ特徴及び前記ターゲットスタイル特徴を訓練済みの前記画像生成器に入力して、第1ターゲット画像を取得するように構成され、ここで、前記第1ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有する。
前記第1抽出モジュール11は、ソース画像のコンテンツ特徴を抽出するように構成され、
前記第3生成モジュール17は、前記ソース画像のコンテンツ特徴、前記ターゲットスタイル特徴、及びランダムノイズを訓練済みの前記画像生成器に入力して、第2ターゲット画像を取得するように構成され、前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有する。
Claims (22)
- 画像生成方法であって、
第1画像のコンテンツ特徴を抽出することと、
第2画像の全体画像スタイル特徴と、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出することであって、前記第2画像と前記第1画像のスタイルは異なる、ことと、
少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定することと、
前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにすることと、を含む、前記画像生成方法。 - 前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、前記ターゲットスタイル特徴を決定することは、
前記全体画像スタイル特徴を前記オブジェクトスタイル特徴に融合して、前記ターゲットスタイル特徴を取得することを含む、
請求項1に記載の画像生成方法。 - 前記画像生成方法は、
前記第2画像内の背景画像ブロックの背景スタイル特徴を抽出することを更に含み、前記背景画像ブロックは、前記第2画像の前記部分画像ブロック以外の画像ブロックであり、
前記少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定することは、
前記全体画像スタイル特徴、前記オブジェクトスタイル特徴、及び前記背景スタイル特徴に従って、前記ターゲットスタイル特徴を決定することを含む、
請求項1に記載の画像生成方法。 - 前記全体画像スタイル特徴、前記オブジェクトスタイル特徴、及び前記背景スタイル特徴に従って、前記ターゲットスタイル特徴を決定することは、
前記全体画像スタイル特徴を前記背景スタイル特徴に融合することと、
前記全体画像スタイル特徴が融合された背景スタイル特徴を前記オブジェクトスタイル特徴に融合して、前記ターゲットスタイル特徴を取得することと、を含む、
請求項3に記載の画像生成方法。 - 前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにすることは、
画像生成器を介して、前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って画像を生成し、画像判別器を介して、生成された画像の真実性を判別することと、
前記画像判別器の判別結果と前記画像生成器によって生成された画像との間の敵対的訓練に基づいて、前記画像生成器を訓練することと、
訓練済みの前記画像生成器を介して前記第3画像を生成することと、を含む、
請求項1ないし4のいずれか一項に記載の画像生成方法。 - 前記画像生成方法は、
ソース画像のコンテンツ特徴を抽出することと、
前記ソース画像のコンテンツ特徴及び前記ターゲットスタイル特徴を訓練済みの前記画像生成器に入力して、第1ターゲット画像を取得することであって、前記第1ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有する、こととを更に含む、
請求項5に記載の画像生成方法。 - 前記第1画像及び/又は前記第2画像は、自動車、非自動車、人、交通標識、信号機、樹木、動物、建物、障害物のうちの少なくとも1つのカテゴリのオブジェクトを含む、
請求項1ないし6のいずれか一項に記載の画像生成方法。 - 前記第2画像が複数のオブジェクトを含む場合、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴を抽出することは、
前記第2画像から複数の部分画像ブロックを抽出することであって、各部分画像ブロックは1つのカテゴリのオブジェクトを含むことと、
各前記部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出することと、を含む、
請求項1ないし7のいずれか一項に記載の画像生成方法。 - 前記複数のオブジェクトが複数のカテゴリに属する場合、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴を抽出することは、
同じカテゴリのオブジェクトの複数の前記部分画像ブロックから抽出されたオブジェクトスタイル特徴を融合することを更に含む、
請求項8のいずれか一項に記載の画像生成方法。 - 前記画像生成方法は、
ソース画像のコンテンツ特徴を抽出することと、
前記ソース画像のコンテンツ特徴、前記ターゲットスタイル特徴、及びランダムノイズを訓練済みの前記画像生成器に入力して、第2ターゲット画像を取得することであって、前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有する、ことと、を更に含む、
請求項5ないし9のいずれか一項に記載の画像生成方法。 - 画像生成装置であって、
第1画像のコンテンツ特徴を抽出するように構成される第1抽出モジュールと、
第2画像の全体画像スタイル特徴と、オブジェクトを含む前記第2画像の部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出するように構成される第2抽出モジュールであって、前記第2画像と前記第1画像のスタイルは異なる、第2抽出モジュールと、
少なくとも前記全体画像スタイル特徴及び前記オブジェクトスタイル特徴に従って、ターゲットスタイル特徴を決定するように構成される決定モジュールと、
前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って第3画像を生成して、前記第3画像が前記コンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有するようにするように構成される第1生成モジュールと、を備える、前記画像生成装置。 - 前記決定モジュールは、前記全体画像スタイル特徴を前記オブジェクトスタイル特徴に融合して、前記ターゲットスタイル特徴を取得するように構成される、
請求項11に記載の画像生成装置。 - 前記画像生成装置は更に、
前記第2画像内の背景画像ブロックの背景スタイル特徴を抽出するように構成される第3抽出モジュールを備え、前記背景画像ブロックは、前記第2画像の前記部分画像ブロック以外の画像ブロックであり、
前記決定モジュールは、前記全体画像スタイル特徴、前記オブジェクトスタイル特徴、及び前記背景スタイル特徴に従って、前記ターゲットスタイル特徴を決定するように構成される、
請求項11に記載の画像生成装置。 - 前記決定モジュールは、前記全体画像スタイル特徴を前記背景スタイル特徴に融合し、前記全体画像スタイル特徴が融合された背景スタイル特徴を前記オブジェクトスタイル特徴に融合して、前記ターゲットスタイル特徴を取得するように構成される、
請求項13に記載の画像生成装置。 - 前記第1生成モジュールは、画像生成器を介して、前記コンテンツ特徴及び前記ターゲットスタイル特徴に従って画像を生成し、画像判別器を介して、生成された画像の真実性を判別し、前記画像判別器の判別結果と前記画像生成器によって生成された画像との間の敵対的訓練に基づいて、前記画像生成器を訓練し、訓練済みの前記画像生成器を介して前記第3画像を生成するように構成される、
請求項11ないし14のいずれか一項に記載の画像生成装置。 - 前記画像生成装置は更に、第2生成モジュールを備え、
前記第1抽出モジュールは、ソース画像のコンテンツ特徴を抽出するように構成され、
前記第2生成モジュールは、前記ソース画像のコンテンツ特徴及び前記ターゲットスタイル特徴を訓練済みの前記画像生成器に入力して、第1ターゲット画像を取得するように構成され、前記第1ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツ及び前記ターゲットスタイル特徴に対応するスタイルを有する、
請求項15に記載の画像生成装置。 - 前記第1画像及び/又は前記第2画像は、自動車、非自動車、人、交通標識、信号機、樹木、動物、建物、障害物のうちの少なくとも1つのカテゴリのオブジェクトを含む、
請求項11ないし16のいずれか一項に記載の画像生成装置。 - 前記第2抽出モジュールは、前記第2画像が複数のオブジェクトを含む場合、前記第2画像から複数の部分画像ブロックを抽出し、各前記部分画像ブロックのオブジェクトスタイル特徴をそれぞれ抽出するように構成され、各部分画像ブロックは1つのカテゴリのオブジェクトを含む、
請求項11ないし17のいずれか一項に記載の画像生成装置。 - 前記第2抽出モジュールは、前記複数のオブジェクトが複数のカテゴリに属する場合、同じカテゴリのオブジェクトの複数の前記部分画像ブロックから抽出されたオブジェクトスタイル特徴を融合するように構成される、
請求項18に記載の画像生成装置。 - 前記画像生成装置は更に、第3生成モジュールを備え、
前記第1抽出モジュールは、ソース画像のコンテンツ特徴を抽出するように構成され、
前記第3生成モジュールは、前記ソース画像のコンテンツ特徴、前記ターゲットスタイル特徴及びランダムノイズを訓練済みの前記画像生成器に入力して、第2ターゲット画像を取得するように構成され、前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴に対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ターゲットスタイル特徴及び前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴に対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有するか、又は前記第2ターゲット画像は、前記ソース画像のコンテンツ特徴及び前記ランダムノイズに対応するコンテンツを有し、且つ前記第2ターゲット画像は、前記ランダムノイズに対応するスタイルを有する、
請求項15ないし19のいずれか一項に記載の画像生成装置。 - 電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、請求項1ないし10のいずれか一項に記載の方法を実行するように構成される、前記電子機器。 - コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項1ないし10のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910352792.1 | 2019-04-29 | ||
CN201910352792 | 2019-04-29 | ||
PCT/CN2020/076470 WO2020220807A1 (zh) | 2019-04-29 | 2020-02-24 | 图像生成方法及装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022530518A true JP2022530518A (ja) | 2022-06-29 |
JP7394147B2 JP7394147B2 (ja) | 2023-12-07 |
Family
ID=73029598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564168A Active JP7394147B2 (ja) | 2019-04-29 | 2020-02-24 | 画像生成方法及び装置、電子機器並びに記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11900648B2 (ja) |
JP (1) | JP7394147B2 (ja) |
CN (1) | CN113841179A (ja) |
WO (1) | WO2020220807A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090802A1 (ko) * | 2022-10-25 | 2024-05-02 | 삼성전자주식회사 | 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210101571A (ko) * | 2020-02-10 | 2021-08-19 | 삼성전자주식회사 | 이미지의 생성 방법 및 그 전자 장치 |
CN113434633B (zh) * | 2021-06-28 | 2022-09-16 | 平安科技(深圳)有限公司 | 基于头像的社交话题推荐方法、装置、设备及存储介质 |
CN113469876B (zh) * | 2021-07-28 | 2024-01-09 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、图像处理方法、装置及设备 |
CN117729421A (zh) * | 2023-08-17 | 2024-03-19 | 荣耀终端有限公司 | 图像处理方法、电子设备和计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018132855A (ja) * | 2017-02-14 | 2018-08-23 | 国立大学法人電気通信大学 | 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム |
CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
US20180357800A1 (en) * | 2017-06-09 | 2018-12-13 | Adobe Systems Incorporated | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106327539B (zh) * | 2015-07-01 | 2019-06-28 | 北京大学 | 基于样例的图像重建方法及装置 |
US10482639B2 (en) * | 2017-02-21 | 2019-11-19 | Adobe Inc. | Deep high-resolution style synthesis |
US11257041B2 (en) * | 2017-08-21 | 2022-02-22 | Hirevue, Inc. | Detecting disability and ensuring fairness in automated scoring of video interviews |
CN108537776A (zh) * | 2018-03-12 | 2018-09-14 | 维沃移动通信有限公司 | 一种图像风格迁移模型生成方法及移动终端 |
CN108734653B (zh) * | 2018-05-07 | 2022-05-13 | 商汤集团有限公司 | 图像风格转换方法及装置 |
CN109523460A (zh) * | 2018-10-29 | 2019-03-26 | 北京达佳互联信息技术有限公司 | 图像风格的迁移方法、迁移装置和计算机可读存储介质 |
-
2020
- 2020-02-24 JP JP2021564168A patent/JP7394147B2/ja active Active
- 2020-02-24 WO PCT/CN2020/076470 patent/WO2020220807A1/zh active Application Filing
- 2020-02-24 CN CN202080032107.8A patent/CN113841179A/zh active Pending
-
2021
- 2021-10-26 US US17/452,388 patent/US11900648B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018132855A (ja) * | 2017-02-14 | 2018-08-23 | 国立大学法人電気通信大学 | 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム |
US20180357800A1 (en) * | 2017-06-09 | 2018-12-13 | Adobe Systems Incorporated | Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images |
CN108805803A (zh) * | 2018-06-13 | 2018-11-13 | 衡阳师范学院 | 一种基于语义分割与深度卷积神经网络的肖像风格迁移方法 |
Non-Patent Citations (5)
Title |
---|
CHUAN LI, ET AL.: "Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks", ARXIV, JPN6022044614, 15 April 2016 (2016-04-15), ISSN: 0004905355 * |
DMITRY ULYANOV, ET AL.: "Texture Networks: Feed-forward Synthesis of Textures and Stylized Images", ARXIV, JPN6022044611, 10 March 2016 (2016-03-10), ISSN: 0004905354 * |
LEON A. GATYS, ET AL.: "Image Style Transfer Using Convolutional Neural Networks", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, JPN6022044615, 30 June 2016 (2016-06-30), pages 2414 - 2423, XP033021421, ISSN: 0004905356, DOI: 10.1109/CVPR.2016.265 * |
LIN XING, ET AL.: "Enhanced Image Style Transferring Method with Primary Structure Maintained", PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, vol. 31, no. 11, JPN6022044612, November 2018 (2018-11-01), pages 997 - 1007, ISSN: 0004905353 * |
中田 秀基: "Variational Autoencoderを用いた画像スタイル変換", 電子情報通信学会技術研究報告, vol. 第117巻, JPN6022044617, 2018, JP, pages 121 - 126, ISSN: 0004905357 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024090802A1 (ko) * | 2022-10-25 | 2024-05-02 | 삼성전자주식회사 | 렌더링 스타일이 변경된 이미지를 획득하기 위한 전자 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20220044054A1 (en) | 2022-02-10 |
JP7394147B2 (ja) | 2023-12-07 |
US11900648B2 (en) | 2024-02-13 |
WO2020220807A1 (zh) | 2020-11-05 |
CN113841179A (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7394147B2 (ja) | 画像生成方法及び装置、電子機器並びに記憶媒体 | |
JP2022501688A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN110659640B (zh) | 文本序列的识别方法及装置、电子设备和存储介质 | |
CN110378976B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
JP6852150B2 (ja) | 生体検知方法および装置、システム、電子機器、記憶媒体 | |
EP4207048A1 (en) | Image processing method and apparatus, electronic device, and storage medium | |
JP2021528742A (ja) | 画像処理方法及び装置、電子機器、並びに記憶媒体 | |
US20210042567A1 (en) | Text recognition | |
JP6986167B2 (ja) | 画像生成方法および装置、電子機器並びに記憶媒体 | |
JP2022522596A (ja) | 画像識別方法及び装置、電子機器並びに記憶媒体 | |
CN110544217B (zh) | 一种图像处理方法及装置、电子设备和存储介质 | |
KR20210054550A (ko) | 데이터 업데이트 방법과 장치, 전자 기기 및 저장 매체 | |
JP2021533436A (ja) | 画像処理方法、画像処理装置、電子機器、記憶媒体及びコンピュータプログラム | |
JP2022500791A (ja) | 画像処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
KR20210113607A (ko) | 얼굴 속성 인식 방법 및 장치, 전자 기기 및 기억 매체 | |
JP2021526698A (ja) | 画像生成方法および装置、電子機器、並びに記憶媒体 | |
JP2022522551A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
JP2022523243A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
JP2022533065A (ja) | 文字認識方法及び装置、電子機器並びに記憶媒体 | |
CN111435422B (zh) | 动作识别方法、控制方法及装置、电子设备和存储介质 | |
JP2022524254A (ja) | 画像処理方法及び装置、電子機器並びに記憶媒体 | |
CN112990197A (zh) | 车牌识别方法及装置、电子设备和存储介质 | |
CN110909203A (zh) | 视频分析方法及装置、电子设备和存储介质 | |
CN113850275A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111553865B (zh) | 图像修复方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7394147 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |