JP7090971B2 - 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム - Google Patents
画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7090971B2 JP7090971B2 JP2021517986A JP2021517986A JP7090971B2 JP 7090971 B2 JP7090971 B2 JP 7090971B2 JP 2021517986 A JP2021517986 A JP 2021517986A JP 2021517986 A JP2021517986 A JP 2021517986A JP 7090971 B2 JP7090971 B2 JP 7090971B2
- Authority
- JP
- Japan
- Prior art keywords
- fusion
- target image
- training
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims description 681
- 238000012549 training Methods 0.000 title claims description 558
- 238000000034 method Methods 0.000 title claims description 103
- 238000007500 overflow downdraw method Methods 0.000 title claims description 20
- 238000004590 computer program Methods 0.000 title claims 2
- 230000006870 function Effects 0.000 claims description 90
- 238000007499 fusion processing Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 28
- 238000006467 substitution reaction Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 6
- 210000004209 hair Anatomy 0.000 description 32
- 238000010586 diagram Methods 0.000 description 28
- 230000004913 activation Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 14
- 230000001815 facial effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 9
- 108090000623 proteins and genes Proteins 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012905 input function Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
第1融合対象画像及び第2融合対象画像を取得するステップであって、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれる、ステップと、
前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得するステップであって、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得するステップであって、前記第3融合対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップと、を含む。
第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得するステップであって、前記第1訓練対象画像には、複数の第1訓練領域が含まれ、前記第2訓練対象画像には、複数の第2訓練領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
訓練対象形状融合ネットワークモデルによって、前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得するステップであって、前記第3訓練対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得するステップと、
前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得するステップであって、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴がある、ステップと、
前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得するステップと、
ターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得するステップと、を含む。
前記取得モジュールは、第1融合対象画像及び第2融合対象画像を取得し、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれ、
前記取得モジュールは、さらに、前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得し、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュールは、形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得し、前記第3融合対象画像には、前記取得モジュールで取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュールは、さらに、条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する。
前記取得モジュールは、第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得し、前記第1訓練対象画像には、複数の第1訓練領域が含まれ、前記第2訓練対象画像には、複数の第2訓練領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュールは、訓練対象形状融合ネットワークモデルによって、前記取得モジュールで取得された前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得し、前記第3訓練対象画像には、前記取得モジュールで取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュールは、さらに、訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得し、
前記融合モジュールは、さらに、前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得し、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴があり、
前記融合モジュールは、さらに、前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得し、
前記訓練モジュールは、ターゲット損失関数と、前記融合モジュールによる融合で取得された前記ターゲット画像とを用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得する。
前記メモリには、複数の命令が記憶され、
前記プロセッサは、前記メモリに記憶された前記複数の命令を実行すると、
第1融合対象画像及び第2融合対象画像を取得するステップであって、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれる、ステップと、
前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得するステップであって、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得するステップであって、前記第3融合対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップと、を実行する。
前記メモリには、複数の命令が記憶され、
前記プロセッサは、前記メモリに記憶された前記複数の命令を実行すると、
第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得するステップであって、前記第1訓練対象画像には、複数の第1訓練領域が含まれ、前記第2訓練対象画像には、複数の第2訓練領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
訓練対象形状融合ネットワークモデルによって、前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得するステップであって、前記第3訓練対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得するステップと、
前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得するステップであって、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴がある、ステップと、
前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得するステップと、
ターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得するステップと、を実行する。
解きほぐしエンコーダを用いて、第1融合対象画像における複数の第1領域を符号化処理することにより、複数の第1符号化特徴を取得するステップであって、解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップを含んでもよく、
第2融合対象画像に基づいて第2特徴集合を取得するステップは、
解きほぐしエンコーダを用いて、第2融合対象画像における複数の第2領域を符号化処理することにより、複数の第2符号化特徴を取得するステップであって、解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップを含む。
第1融合対象画像から置換対象領域を決定するステップであって、置換対象領域が複数の第1領域のうちの1つの領域である、ステップと、
置換対象領域に基づいて、第1融合対象画像における第1置換対象符号化特徴を取得するとともに、置換対象領域に基づいて、第2融合対象画像における第2置換対象符号化特徴を取得するステップであって、第1置換対象符号化特徴が、複数の第1符号化特徴のうちの1つの符号化特徴であり、第2置換対象符号化特徴が、複数の第2符号化特徴のうちの1つの符号化特徴である、ステップと、をさらに含んでもよい。
形状融合ネットワークモデルによって、第1融合対象画像における第1置換対象符号化特徴を、第2融合対象画像における第2置換対象符号化特徴に置換することにより、復号化対象画像を取得するステップと、
形状融合ネットワークモデルによって、復号化対象画像を復号化処理することにより、第3融合対象画像を取得するステップと、を含んでもよい。
u5-512、u5-256、R256、R256、R256、R256、R256、u5-128、u5-64、c7s1-3と表してもよい。
第3融合対象画像を介して領域調整指示を受け付けるステップであって、領域調整指示が、画像における少なくとも1つの領域の形状を調整するためのものである、ステップと、
領域調整指示に応答して、置換対象領域を調整することにより、置換対象領域に対応するターゲット置換領域を取得するステップと、
ターゲット置換領域に基づいて、第3融合対象画像を処理することにより、第4融合対象画像を取得するステップと、をさらに含んでもよく、
条件融合ネットワークモデルによって、第3融合対象画像と第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップは、
条件融合ネットワークモデルによって、第4融合対象画像と第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップを含んでもよい。
第3融合対象画像と第1融合対象画像とを結合処理することにより、マルチチャンネル特徴画像を取得するステップであって、マルチチャンネル特徴画像が、少なくとも2つの画像の色特徴を結合するためのものである、ステップと、
条件融合ネットワークモデルによって、マルチチャンネル特徴画像に対応するターゲット融合画像を取得するステップと、を含んでもよい。
c7s1-64、c3s2-128、c3s2-256、c3s2-512、c3s2-1024、R1024、R1024、R1024、R1024、R1024、R1024、R1024、R1024、R1024、u3-512、u3-256、u3-128、u3-64、c7s1-3と表してもよい。
訓練対象ターゲット画像集合を取得するステップであって、訓練対象ターゲット画像集合には、少なくとも1つの訓練対象ターゲット画像が含まれ、各訓練対象ターゲット画像それぞれには、少なくとも1つの領域が含まれる、ステップと、
訓練対象解きほぐしエンコーダによって、訓練対象ターゲット画像集合における訓練対象ターゲット画像の各領域を符号化処理することにより、符号化結果を取得するステップであって、訓練対象解きほぐしエンコーダが複数の訓練対象パーツエンコーダを含み、各訓練対象パーツエンコーダそれぞれが、1つの領域を符号化するためのものである、ステップと、
訓練対象解きほぐしデコーダによって、符号化結果を復号化処理することにより、復号化結果を取得するステップであって、訓練対象解きほぐしデコーダが複数の訓練対象パーツデコーダを含み、各訓練対象パーツデコーダそれぞれが、1つの領域を復号化するためのものである、ステップと、
損失関数及び復号化結果を用いて、訓練対象解きほぐしエンコーダを訓練することにより、解きほぐしエンコーダを取得するステップであって、解きほぐしエンコーダが複数のパーツエンコーダを含む、ステップと、をさらに含んでもよく、
第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得するステップは、
第1訓練対象画像及び第2訓練対象画像を取得するステップと、
解きほぐしエンコーダを用いて、第1訓練対象画像における複数の第1領域を符号化処理することにより、複数の第1符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップと、
解きほぐしエンコーダを用いて、第2訓練対象画像における複数の第2領域を符号化処理することにより、複数の第2符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップと、を含んでもよい。
c7s1-64、c5s4-128、c5s4-256、R256、R256、R256、R256、c5s4-512、c5s4-128と表してもよい。
u5-512、u5-256、R256、R256、R256、R256、R256、u5-128、u5-64、c7s1-3である。
第5訓練対象画像及び実画像に基づいて、第1損失関数を決定するステップと、
ターゲット画像及び第1訓練対象画像に基づいて、第2損失関数を決定するステップと、
第1訓練対象画像、第2訓練対象画像、第4訓練対象画像、及びターゲット画像に基づいて、第3損失関数を決定するステップと、
第1損失関数、第2損失関数、及び第3損失関数に基づいて、ターゲット損失関数を決定するステップと、をさらに含んでもよい。
前記取得モジュール301は、第1融合対象画像及び第2融合対象画像を取得し、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれ、
前記取得モジュール301は、さらに、前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得し、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュール302は、形状融合ネットワークモデルによって、前記取得モジュール301で取得された、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得し、前記第3融合対象画像には、前記取得モジュール301で取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュール302は、さらに、条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する。
前記取得モジュール301は、具体的に、解きほぐしエンコーダを用いて、前記第1融合対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得し、前記解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものであり、
解きほぐしエンコーダを用いて、前記第2融合対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得し、前記解きほぐしエンコーダが前記複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである。
前記決定モジュール303は、前記融合モジュール302が形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得する前に、前記第1融合対象画像から置換対象領域を決定し、前記置換対象領域が前記複数の第1領域のうちの1つの領域であり、
前記取得モジュール301は、さらに、前記決定モジュール303で決定された前記置換対象領域に基づいて、前記第1融合対象画像における第1置換対象符号化特徴を取得するとともに、前記決定モジュール303で決定された前記置換対象領域に基づいて、前記第2融合対象画像における第2置換対象符号化特徴を取得し、前記第1置換対象符号化特徴が、前記複数の第1符号化特徴のうちの1つの符号化特徴であり、前記第2置換対象符号化特徴が、前記複数の第2符号化特徴のうちの1つの符号化特徴である。
前記融合モジュール302は、具体的に、前記形状融合ネットワークモデルによって、前記第1融合対象画像における前記第1置換対象符号化特徴を、前記第2融合対象画像における前記第2置換対象符号化特徴に置換することにより、復号化対象画像を取得し、
前記形状融合ネットワークモデルによって、前記復号化対象画像を復号化処理することにより、前記第3融合対象画像を取得する。
前記受付モジュール304は、前記融合モジュール302が形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得した後に、前記第3融合対象画像を介して領域調整指示を受け付け、前記領域調整指示が、画像における少なくとも1つの領域の形状を調整するためのものであり、
前記調整モジュール305は、前記受付モジュール304で受信された前記領域調整指示に応答して、前記置換対象領域を調整することにより、前記置換対象領域に対応するターゲット置換領域を取得し、
前記処理モジュール306は、前記調整モジュール305で調整された前記ターゲット置換領域に基づいて、前記第3融合対象画像を処理することにより、第4融合対象画像を取得し、
前記融合モジュール302は、具体的に、条件融合ネットワークモデルによって、前記第4融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する。
前記融合モジュール302は、具体的に、前記第3融合対象画像と前記第1融合対象画像とを結合処理することにより、マルチチャンネル特徴画像を取得し、前記マルチチャンネル特徴画像が、少なくとも2つの画像の色特徴を結合するためのものであり、
前記条件融合ネットワークモデルによって、前記マルチチャンネル特徴画像に対応する前記ターゲット融合画像を取得する。
前記取得モジュール401は、第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得し、前記第1訓練対象画像には、複数の第1訓練領域が含まれ、前記第2訓練対象画像には、複数の第2訓練領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュール402は、訓練対象形状融合ネットワークモデルによって、前記取得モジュール401で取得された前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得し、前記第3訓練対象画像には、前記取得モジュールで取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュール402は、さらに、訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得し、
前記融合モジュール402は、さらに、前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得し、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴があり、
前記融合モジュール402は、さらに、前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得し、
前記訓練モジュール403は、ターゲット損失関数と、前記融合モジュールによる融合で取得された前記ターゲット画像とを用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得する。
前記取得モジュール401は、さらに、第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得する前に、訓練対象ターゲット画像集合を取得し、前記訓練対象ターゲット画像集合には、少なくとも1つの訓練対象ターゲット画像が含まれ、各訓練対象ターゲット画像それぞれには、少なくとも1つの領域が含まれ、
前記符号化モジュール404は、訓練対象解きほぐしエンコーダによって、前記取得モジュール401で取得された前記訓練対象ターゲット画像集合における訓練対象ターゲット画像の各領域を符号化処理することにより、符号化結果を取得し、前記訓練対象解きほぐしエンコーダが複数の訓練対象パーツエンコーダを含み、各訓練対象パーツエンコーダそれぞれが、1つの領域を符号化するためのものであり、
前記復号化モジュール405は、訓練対象解きほぐしデコーダによって、前記符号化モジュール404で符号化された前記符号化結果を復号化処理することにより、復号化結果を取得し、前記訓練対象解きほぐしデコーダが複数の訓練対象パーツデコーダを含み、各訓練対象パーツデコーダそれぞれが、1つの領域を復号化するためのものであり、
前記訓練モジュール403は、さらに、損失関数と、前記復号化モジュール405で復号化された復号化結果とを用いて、前記訓練対象解きほぐしエンコーダを訓練することにより、解きほぐしエンコーダを取得し、前記解きほぐしエンコーダが複数のパーツエンコーダを含み、
前記取得モジュール401は、具体的に、第1訓練対象画像及び第2訓練対象画像を取得し、
前記解きほぐしエンコーダを用いて、前記第1訓練対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得し、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものであり、
前記解きほぐしエンコーダを用いて、前記第2訓練対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得し、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである。
前記決定モジュール406は、前記訓練モジュール403がターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得する前に、前記第5訓練対象画像及び実画像に基づいて、第1損失関数を決定し、
前記決定モジュール406は、さらに、前記ターゲット画像及び前記第1訓練対象画像に基づいて、第2損失関数を決定し、
前記決定モジュール406は、さらに、前記第1訓練対象画像、前記第2訓練対象画像、前記第4訓練対象画像、及び前記ターゲット画像に基づいて、第3損失関数を決定し、
前記決定モジュール406は、さらに、前記第1損失関数、前記第2損失関数、及び前記第3損失関数に基づいて、前記ターゲット損失関数を決定する。
第1融合対象画像及び第2融合対象画像を取得するステップであって、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれる、ステップと、
前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得するステップであって、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得するステップであって、前記第3融合対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップと、を実行する。
解きほぐしエンコーダを用いて、前記第1融合対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得するステップであって、前記解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップと、
解きほぐしエンコーダを用いて、前記第2融合対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得するステップであって、前記解きほぐしエンコーダが前記複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップと、を実行する。
前記第1融合対象画像から置換対象領域を決定するステップであって、前記置換対象領域が前記複数の第1領域のうちの1つの領域である、ステップと、
前記置換対象領域に基づいて、前記第1融合対象画像における第1置換対象符号化特徴を取得するとともに、前記置換対象領域に基づいて、前記第2融合対象画像における第2置換対象符号化特徴を取得するステップであって、前記第1置換対象符号化特徴が、前記複数の第1符号化特徴のうちの1つの符号化特徴であり、前記第2置換対象符号化特徴が、前記複数の第2符号化特徴のうちの1つの符号化特徴である、ステップと、を実行する。
前記形状融合ネットワークモデルによって、前記第1融合対象画像における前記第1置換対象符号化特徴を、前記第2融合対象画像における前記第2置換対象符号化特徴に置換することにより、復号化対象画像を取得するステップと、
前記形状融合ネットワークモデルによって、前記復号化対象画像を復号化処理することにより、前記第3融合対象画像を取得するステップと、を実行する。
前記第3融合対象画像を介して領域調整指示を受け付けるステップであって、前記領域調整指示が、画像における少なくとも1つの領域の形状を調整するためのものである、ステップと、
前記領域調整指示に応答して、前記置換対象領域を調整することにより、前記置換対象領域に対応するターゲット置換領域を取得するステップと、
前記ターゲット置換領域に基づいて、前記第3融合対象画像を処理することにより、第4融合対象画像を取得するステップと、
条件融合ネットワークモデルによって、前記第4融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップと、を実行する。
前記第3融合対象画像と前記第1融合対象画像とを結合処理することにより、マルチチャンネル特徴画像を取得するステップであって、前記マルチチャンネル特徴画像が、少なくとも2つの画像の色特徴を結合するためのものである、ステップと、
前記条件融合ネットワークモデルによって、前記マルチチャンネル特徴画像に対応する前記ターゲット融合画像を取得するステップと、を実行する。
第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得するステップであって、前記第1訓練対象画像には、複数の第1訓練領域が含まれ、前記第2訓練対象画像には、複数の第2訓練領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
訓練対象形状融合ネットワークモデルによって、前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得するステップであって、前記第3訓練対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得するステップと、
前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得するステップであって、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴がある、ステップと、
前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得するステップと、
ターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得するステップと、を実行する。
訓練対象ターゲット画像集合を取得するステップであって、前記訓練対象ターゲット画像集合には、少なくとも1つの訓練対象ターゲット画像が含まれ、各訓練対象ターゲット画像それぞれには、少なくとも1つの領域が含まれる、ステップと、
訓練対象解きほぐしエンコーダによって、前記訓練対象ターゲット画像集合における訓練対象ターゲット画像の各領域を符号化処理することにより、符号化結果を取得するステップであって、前記訓練対象解きほぐしエンコーダが複数の訓練対象パーツエンコーダを含み、各訓練対象パーツエンコーダそれぞれが、1つの領域を符号化するためのものである、ステップと、
訓練対象解きほぐしデコーダによって、前記符号化結果を復号化処理することにより、復号化結果を取得するステップであって、前記訓練対象解きほぐしデコーダが複数の訓練対象パーツデコーダを含み、各訓練対象パーツデコーダそれぞれが、1つの領域を復号化するためのものである、ステップと、
損失関数及び復号化結果を用いて、前記訓練対象解きほぐしエンコーダを訓練することにより、解きほぐしエンコーダを取得するステップであって、前記解きほぐしエンコーダが複数のパーツエンコーダを含む、ステップと、
第1訓練対象画像及び第2訓練対象画像を取得するステップと、
前記解きほぐしエンコーダを用いて、前記第1訓練対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップと、
前記解きほぐしエンコーダを用いて、前記第2訓練対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップと、を実行する。
前記第5訓練対象画像及び実画像に基づいて、第1損失関数を決定するステップと、
前記ターゲット画像及び前記第1訓練対象画像に基づいて、第2損失関数を決定するステップと、
前記第1訓練対象画像、前記第2訓練対象画像、前記第4訓練対象画像、及び前記ターゲット画像に基づいて、第3損失関数を決定するステップと、
前記第1損失関数、前記第2損失関数、及び前記第3損失関数に基づいて、前記ターゲット損失関数を決定するステップと、を実行する。
302 融合モジュール
303 決定モジュール
304 受付モジュール
305 調整モジュール
306 処理モジュール
401 取得モジュール
402 融合モジュール
403 訓練モジュール
404 符号化モジュール
405 復号化モジュール
406 決定モジュール
510 RF回路
520 メモリ
530 入力ユニット
531 タッチパネル
532 入力デバイス
540 表示ユニット
541 表示パネル
550 センサ
560 オーディオ回路
561 スピーカー
562 マイクロフォン
570 WiFiモジュール
580 プロセッサ
590 電源
600 サーバ機器
622 中央処理装置
626 電源
630 記憶媒体
632 メモリ
641 オペレーティングシステム
642 アプリケーションプログラム
644 データ
650 無線ネットワークインタフェース
658 入出力インタフェース
Claims (21)
- 端末機器が実行する画像融合方法であって、
第1融合対象画像及び第2融合対象画像を取得するステップであって、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれる、ステップと、
前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得するステップであって、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得するステップであって、前記第3融合対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得するステップと、
を含む画像融合方法。 - 前記第1融合対象画像に基づいて第1特徴集合を取得することは、
解きほぐしエンコーダを用いて、前記第1融合対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得するステップであって、前記解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップを含む、
請求項1に記載の方法。 - 前記第2融合対象画像に基づいて第2特徴集合を取得することは、
解きほぐしエンコーダを用いて、前記第2融合対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得するステップであって、前記解きほぐしエンコーダが複数のパーツエンコーダを含み、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップを含む、
請求項1に記載の方法。 - 前記形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得する前記ステップの前に、
前記第1融合対象画像から置換対象領域を決定するステップであって、前記置換対象領域が前記複数の第1領域のうちの1つの領域である、ステップと、
前記置換対象領域に基づいて、前記第1融合対象画像における第1置換対象符号化特徴を取得するとともに、前記置換対象領域に基づいて、前記第2融合対象画像における第2置換対象符号化特徴を取得するステップであって、前記第1置換対象符号化特徴が、前記複数の第1符号化特徴のうちの1つの符号化特徴であり、前記第2置換対象符号化特徴が、前記複数の第2符号化特徴のうちの1つの符号化特徴である、ステップと、
をさらに含む請求項1に記載の方法。 - 形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得する前記ステップは、
前記形状融合ネットワークモデルによって、前記第1融合対象画像における前記第1置換対象符号化特徴を、前記第2融合対象画像における前記第2置換対象符号化特徴に置換することにより、復号化対象画像を取得するステップと、
前記形状融合ネットワークモデルによって、前記復号化対象画像を復号化処理することにより、前記第3融合対象画像を取得するステップと、
を含む請求項4に記載の方法。 - 前記形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得する前記ステップの後に、
前記第3融合対象画像を介して領域調整指示を受け付けるステップであって、前記領域調整指示が、画像における少なくとも1つの領域の形状を調整するためのものである、ステップと、
前記領域調整指示に応答して、前記置換対象領域を調整することにより、前記置換対象領域に対応するターゲット置換領域を取得するステップと、
前記ターゲット置換領域に基づいて、前記第3融合対象画像を処理することにより、第4融合対象画像を取得するステップと、
をさらに含む請求項4又は5に記載の方法。 - 条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する前記ステップは、
前記条件融合ネットワークモデルによって、前記第4融合対象画像と前記第1融合対象画像とを融合処理することにより、前記ターゲット融合画像を取得するステップを含む、
請求項6に記載の方法。 - 条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する前記ステップは、
前記第3融合対象画像と前記第1融合対象画像とを結合処理することにより、マルチチャンネル特徴画像を取得するステップであって、前記マルチチャンネル特徴画像が、少なくとも2つの画像の色特徴を結合するためのものである、ステップと、
前記条件融合ネットワークモデルによって、前記マルチチャンネル特徴画像に対応する前記ターゲット融合画像を取得するステップと、
を含む請求項1~5のいずれか1項に記載の方法。 - サーバ機器が実行するモデル訓練方法であって、
第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得するステップであって、前記第1訓練対象画像には、複数の第1領域が含まれ、前記第2訓練対象画像には、複数の第2領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応する、ステップと、
訓練対象形状融合ネットワークモデルによって、前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得するステップであって、前記第3訓練対象画像には、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれる、ステップと、
訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得するステップと、
前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得するステップであって、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴がある、ステップと、
前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得するステップと、
ターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得するステップと、
を含むモデル訓練方法。 - 第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得する前記ステップの前に、
訓練対象ターゲット画像集合を取得するステップであって、前記訓練対象ターゲット画像集合には、少なくとも1つの訓練対象ターゲット画像が含まれ、各訓練対象ターゲット画像それぞれには、少なくとも1つの領域が含まれる、ステップと、
訓練対象解きほぐしエンコーダによって、前記訓練対象ターゲット画像集合における訓練対象ターゲット画像の各領域を符号化処理することにより、符号化結果を取得するステップであって、前記訓練対象解きほぐしエンコーダが複数の訓練対象パーツエンコーダを含み、各訓練対象パーツエンコーダそれぞれが、1つの領域を符号化するためのものである、ステップと、
訓練対象解きほぐしデコーダによって、前記符号化結果を復号化処理することにより、復号化結果を取得するステップであって、前記訓練対象解きほぐしデコーダが複数の訓練対象パーツデコーダを含み、各訓練対象パーツデコーダそれぞれが、1つの領域を復号化するためのものである、ステップと、
損失関数及び復号化結果を用いて、前記訓練対象解きほぐしエンコーダを訓練することにより、解きほぐしエンコーダを取得するステップであって、前記解きほぐしエンコーダが複数のパーツエンコーダを含む、ステップと、
をさらに含む請求項9に記載の方法。 - 第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得する前記ステップは、
第1訓練対象画像及び第2訓練対象画像を取得するステップと、
前記解きほぐしエンコーダを用いて、前記第1訓練対象画像における前記複数の第1領域を符号化処理することにより、前記複数の第1符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第1領域を符号化するためのものである、ステップと、
前記解きほぐしエンコーダを用いて、前記第2訓練対象画像における前記複数の第2領域を符号化処理することにより、前記複数の第2符号化特徴を取得するステップであって、各パーツエンコーダそれぞれが、1つの第2領域を符号化するためのものである、ステップと、
を含む請求項10に記載の方法。 - ターゲット損失関数及び前記ターゲット画像を用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得する前記ステップの前に、
前記第5訓練対象画像及び実画像に基づいて、第1損失関数を決定するステップと、
前記ターゲット画像及び前記第1訓練対象画像に基づいて、第2損失関数を決定するステップと、
前記第1訓練対象画像、前記第2訓練対象画像、前記第4訓練対象画像、及び前記ターゲット画像に基づいて、第3損失関数を決定するステップと、
前記第1損失関数、前記第2損失関数、及び前記第3損失関数に基づいて、前記ターゲット損失関数を決定するステップと、
をさらに含む請求項9に記載の方法。 - 画像融合装置であって、
取得モジュールと、融合モジュールと、を含み、
前記取得モジュールは、第1融合対象画像及び第2融合対象画像を取得し、前記第1融合対象画像には、複数の第1領域が含まれ、前記第2融合対象画像には、複数の第2領域が含まれ、
前記取得モジュールは、さらに、前記第1融合対象画像に基づいて第1特徴集合を取得し、前記第2融合対象画像に基づいて第2特徴集合を取得し、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュールは、形状融合ネットワークモデルによって、前記第1融合対象画像と前記第2融合対象画像とを融合処理することにより、第3融合対象画像を取得し、前記第3融合対象画像には、前記取得モジュールで取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュールは、さらに、条件融合ネットワークモデルによって、前記第3融合対象画像と前記第1融合対象画像とを融合処理することにより、ターゲット融合画像を取得する、
画像融合装置。 - モデル訓練装置であって、
取得モジュールと、融合モジュールと、訓練モジュールと、を含み、
前記取得モジュールは、第1訓練対象画像の第1特徴集合と、第2訓練対象画像の第2特徴集合とを取得し、前記第1訓練対象画像には、複数の第1領域が含まれ、前記第2訓練対象画像には、複数の第2領域が含まれ、前記第1特徴集合には、複数の第1符号化特徴が含まれ、前記第1符号化特徴が前記第1領域に1対1で対応し、前記第2特徴集合には、複数の第2符号化特徴が含まれ、前記第2符号化特徴が前記第2領域に1対1で対応し、
前記融合モジュールは、訓練対象形状融合ネットワークモデルによって、前記取得モジュールで取得された前記第1訓練対象画像と前記第2訓練対象画像とを融合処理することにより、第3訓練対象画像を取得し、前記第3訓練対象画像には、前記取得モジュールで取得された、少なくとも1つの第1符号化特徴と、少なくとも1つの第2符号化特徴とが含まれ、
前記融合モジュールは、さらに、訓練対象条件融合ネットワークモデルによって、前記第3訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第4訓練対象画像を取得し、
前記融合モジュールは、さらに、前記訓練対象形状融合ネットワークモデルによって、前記第4訓練対象画像と前記第1訓練対象画像とを融合処理することにより、第5訓練対象画像を取得し、前記第5訓練対象画像と前記第1訓練対象画像との間には、対応する特徴があり、
前記融合モジュールは、さらに、前記訓練対象条件融合ネットワークモデルによって、前記第5訓練対象画像と前記第4訓練対象画像とを融合処理することにより、ターゲット画像を取得し、
前記訓練モジュールは、ターゲット損失関数と、前記融合モジュールによる融合で取得された前記ターゲット画像とを用いて、前記訓練対象形状融合ネットワークモデル及び前記訓練対象条件融合ネットワークモデルを訓練することにより、形状融合ネットワークモデル及び条件融合ネットワークモデルを取得する、
モデル訓練装置。 - メモリとプロセッサとを備える端末機器であって、
前記メモリには、複数の命令が記憶され、
前記プロセッサは、前記メモリに記憶された前記複数の命令を実行すると、請求項1~8のいずれか1項に記載の方法を実行する、
端末機器。 - メモリとプロセッサとを備えるサーバ機器であって、
前記メモリには、複数の命令が記憶され、
前記プロセッサは、前記メモリに記憶された前記複数の命令を実行すると、請求項9~16のいずれか1項に記載の方法を実行する、
サーバ機器。 - 請求項1~16のいずれか1項に記載の方法をコンピュータに実行させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910142210.7A CN109919888B (zh) | 2019-02-26 | 2019-02-26 | 一种图像融合的方法、模型训练的方法以及相关装置 |
CN201910142210.7 | 2019-02-26 | ||
PCT/CN2020/075641 WO2020173329A1 (zh) | 2019-02-26 | 2020-02-18 | 一种图像融合的方法、模型训练的方法以及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022502783A JP2022502783A (ja) | 2022-01-11 |
JP7090971B2 true JP7090971B2 (ja) | 2022-06-27 |
Family
ID=66962310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021517986A Active JP7090971B2 (ja) | 2019-02-26 | 2020-02-18 | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11776097B2 (ja) |
EP (1) | EP3933754A4 (ja) |
JP (1) | JP7090971B2 (ja) |
CN (1) | CN109919888B (ja) |
TW (1) | TWI725746B (ja) |
WO (1) | WO2020173329A1 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109919888B (zh) * | 2019-02-26 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 一种图像融合的方法、模型训练的方法以及相关装置 |
CN112218080B (zh) * | 2019-07-12 | 2022-04-19 | 北京新唐思创教育科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN110415166B (zh) * | 2019-07-29 | 2023-01-06 | 腾讯科技(深圳)有限公司 | 融合图像处理模型的训练方法、图像处理方法、装置及存储介质 |
CN110472558B (zh) * | 2019-08-13 | 2023-08-15 | 上海掌门科技有限公司 | 图像处理方法和装置 |
CN110633751A (zh) * | 2019-09-17 | 2019-12-31 | 上海眼控科技股份有限公司 | 车标分类模型的训练方法、车标识别方法、装置及设备 |
CN110826593B (zh) | 2019-09-29 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 融合图像处理模型的训练方法、图像处理方法、装置 |
CN111355021B (zh) * | 2020-02-15 | 2022-05-03 | 杭州电子科技大学 | 一种基于自身形状融合的带宽增强方法 |
JP7446903B2 (ja) * | 2020-04-23 | 2024-03-11 | 株式会社日立製作所 | 画像処理装置、画像処理方法及び画像処理システム |
CN111724485B (zh) * | 2020-06-11 | 2024-06-07 | 浙江商汤科技开发有限公司 | 实现虚实融合的方法、装置、电子设备及存储介质 |
CN111863539B (zh) * | 2020-08-05 | 2022-04-12 | 沈阳铁路信号有限责任公司 | 一种电磁继电器的触头表面成分叠加融合方法 |
CN111915545B (zh) * | 2020-08-06 | 2022-07-05 | 中北大学 | 一种多波段图像的自监督学习融合方法 |
CN114078083A (zh) * | 2020-08-11 | 2022-02-22 | 北京达佳互联信息技术有限公司 | 头发变换模型生成方法和装置、头发变换方法和装置 |
CN111881926A (zh) * | 2020-08-24 | 2020-11-03 | Oppo广东移动通信有限公司 | 图像生成、图像生成模型的训练方法、装置、设备及介质 |
CN112184876B (zh) * | 2020-09-28 | 2021-04-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN112529978B (zh) * | 2020-12-07 | 2022-10-14 | 四川大学 | 一种人机交互式抽象画生成方法 |
CN112668586B (zh) * | 2020-12-18 | 2024-05-14 | 北京百度网讯科技有限公司 | 模型训练、图片处理方法及设备、存储介质、程序产品 |
TWI792137B (zh) * | 2020-12-31 | 2023-02-11 | 瑞昱半導體股份有限公司 | 視線方向校正方法 |
CN112862909A (zh) * | 2021-02-05 | 2021-05-28 | 北京百度网讯科技有限公司 | 一种数据处理方法、装置、设备以及存储介质 |
CN112884691A (zh) * | 2021-03-10 | 2021-06-01 | 深圳中科飞测科技股份有限公司 | 数据增强及装置、数据增强设备和存储介质 |
CN114973349A (zh) | 2021-08-20 | 2022-08-30 | 腾讯科技(深圳)有限公司 | 面部图像处理方法和面部图像处理模型的训练方法 |
US11989916B2 (en) * | 2021-10-11 | 2024-05-21 | Kyocera Document Solutions Inc. | Retro-to-modern grayscale image translation for preprocessing and data preparation of colorization |
CN114187624B (zh) * | 2021-11-09 | 2023-09-22 | 北京百度网讯科技有限公司 | 图像生成方法、装置、电子设备及存储介质 |
CN114170342A (zh) * | 2021-12-10 | 2022-03-11 | 北京字跳网络技术有限公司 | 图像处理方法、装置、设备及存储介质 |
CN114511082A (zh) * | 2022-02-16 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 特征提取模型的训练方法、图像处理方法、装置及设备 |
US20230319223A1 (en) * | 2022-03-29 | 2023-10-05 | Disney Enterprises, Inc | Method and system for deep learning based face swapping with multiple encoders |
CN114757938B (zh) * | 2022-05-16 | 2023-09-15 | 国网四川省电力公司电力科学研究院 | 一种变压器漏油识别方法和*** |
CN114627338B (zh) * | 2022-05-16 | 2022-09-09 | 浙江华是科技股份有限公司 | 一种船舶类别分类模型训练方法、***及计算机存储介质 |
CN115239968A (zh) * | 2022-07-25 | 2022-10-25 | 首都师范大学 | 一种图像处理方法、装置、计算机设备及存储介质 |
CN115512006B (zh) * | 2022-11-23 | 2023-04-07 | 有米科技股份有限公司 | 基于多图像元素的图像智能合成方法及装置 |
CN117611644B (zh) * | 2024-01-23 | 2024-05-28 | 南京航空航天大学 | 一种可见光图像到sar图像的转换方法、装置、介质及设备 |
CN117710373B (zh) * | 2024-02-05 | 2024-06-04 | 中国科学院宁波材料技术与工程研究所 | 一种抗干扰的octa视网膜血管提取方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164152A (ja) | 2011-02-07 | 2012-08-30 | Univ Of Aizu | 画像生成装置および画像生成プログラム |
CN107437077A (zh) | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
CN108665506A (zh) | 2018-05-10 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及服务器 |
WO2019002602A1 (en) | 2017-06-30 | 2019-01-03 | Norwegian University Of Science And Technology (Ntnu) | DETECTION OF MANIPULATED IMAGES |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI384406B (zh) * | 2009-05-26 | 2013-02-01 | Univ Nat Chiao Tung | 人臉辨識與合成方法 |
US8884989B2 (en) * | 2009-12-23 | 2014-11-11 | Indian Institute Of Technology Bombay | System and method for fusing images |
US10402448B2 (en) * | 2017-06-28 | 2019-09-03 | Google Llc | Image retrieval with deep local feature descriptors and attention-based keypoint descriptors |
CN107507216B (zh) * | 2017-08-17 | 2020-06-09 | 北京觅己科技有限公司 | 图像中局部区域的替换方法、装置及存储介质 |
CN108460411B (zh) * | 2018-02-09 | 2021-05-04 | 北京市商汤科技开发有限公司 | 实例分割方法和装置、电子设备、程序和介质 |
CN108647560B (zh) * | 2018-03-22 | 2022-06-14 | 中山大学 | 一种基于cnn的保持表情信息的人脸转移方法 |
CN108520215B (zh) * | 2018-03-28 | 2022-10-11 | 电子科技大学 | 基于多尺度联合特征编码器的单样本人脸识别方法 |
CN109377448B (zh) * | 2018-05-20 | 2021-05-07 | 北京工业大学 | 一种基于生成对抗网络的人脸图像修复方法 |
CN109002852B (zh) * | 2018-07-11 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机可读存储介质和计算机设备 |
CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、***及相关组件 |
CN109005852A (zh) * | 2018-08-30 | 2018-12-18 | 甘肃地道之源药业科技发展有限公司 | 一种中药材用浇灌装置 |
CN109325549B (zh) * | 2018-10-25 | 2022-03-04 | 电子科技大学 | 一种人脸图像融合方法 |
CN109919888B (zh) * | 2019-02-26 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 一种图像融合的方法、模型训练的方法以及相关装置 |
CN111985265B (zh) * | 2019-05-21 | 2024-04-12 | 华为技术有限公司 | 图像处理方法和装置 |
-
2019
- 2019-02-26 CN CN201910142210.7A patent/CN109919888B/zh active Active
-
2020
- 2020-02-18 JP JP2021517986A patent/JP7090971B2/ja active Active
- 2020-02-18 EP EP20763746.3A patent/EP3933754A4/en active Pending
- 2020-02-18 WO PCT/CN2020/075641 patent/WO2020173329A1/zh unknown
- 2020-02-20 TW TW109105563A patent/TWI725746B/zh active
-
2021
- 2021-06-02 US US17/336,561 patent/US11776097B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012164152A (ja) | 2011-02-07 | 2012-08-30 | Univ Of Aizu | 画像生成装置および画像生成プログラム |
WO2019002602A1 (en) | 2017-06-30 | 2019-01-03 | Norwegian University Of Science And Technology (Ntnu) | DETECTION OF MANIPULATED IMAGES |
CN107437077A (zh) | 2017-08-04 | 2017-12-05 | 深圳市唯特视科技有限公司 | 一种基于生成对抗网络的旋转面部表示学习的方法 |
CN108665506A (zh) | 2018-05-10 | 2018-10-16 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及服务器 |
Also Published As
Publication number | Publication date |
---|---|
TW202032400A (zh) | 2020-09-01 |
CN109919888B (zh) | 2023-09-19 |
US11776097B2 (en) | 2023-10-03 |
EP3933754A4 (en) | 2022-05-04 |
EP3933754A1 (en) | 2022-01-05 |
CN109919888A (zh) | 2019-06-21 |
WO2020173329A1 (zh) | 2020-09-03 |
JP2022502783A (ja) | 2022-01-11 |
US20210295483A1 (en) | 2021-09-23 |
TWI725746B (zh) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7090971B2 (ja) | 画像融合方法、モデル訓練方法、画像融合装置、モデル訓練装置、端末機器、サーバ機器、及びコンピュータプログラム | |
WO2020253663A1 (zh) | 基于人工智能的图像区域识别方法、模型训练方法及装置 | |
CN109951654B (zh) | 一种视频合成的方法、模型训练的方法以及相关装置 | |
CN109978989B (zh) | 三维人脸模型生成方法、装置、计算机设备及存储介质 | |
JP2022527155A (ja) | 人工知能に基づくアニメキャラクター駆動方法及び関連装置 | |
CN109949412B (zh) | 一种三维对象重建方法和装置 | |
CN111985265A (zh) | 图像处理方法和装置 | |
JP7324838B2 (ja) | 符号化方法並びにその、装置、機器及びコンピュータプログラム | |
CN110147533B (zh) | 编码方法、装置、设备及存储介质 | |
CN111383309A (zh) | 一种骨骼动画驱动方法、装置及存储介质 | |
CN110162604B (zh) | 语句生成方法、装置、设备及存储介质 | |
CN110443769A (zh) | 图像处理方法、图像处理装置及终端设备 | |
JP2023508062A (ja) | 対話モデルの訓練方法、装置、コンピュータ機器及びプログラム | |
CN113763931B (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
CN116993949A (zh) | 虚拟环境的显示方法、装置、可穿戴电子设备及存储介质 | |
CN111310701B (zh) | 手势识别方法、装置、设备及存储介质 | |
CN116152900B (zh) | 表情信息的获取方法、装置、计算机设备及存储介质 | |
CN113763531B (zh) | 三维人脸重建方法、装置、电子设备及存储介质 | |
CN114519779B (zh) | 动作生成模型训练方法、装置、设备和存储介质 | |
CN114004922B (zh) | 骨骼动画显示方法、装置、设备、介质及计算机程序产品 | |
US20240069637A1 (en) | Touch-based augmented reality experience | |
CN112911356B (zh) | 一种虚拟现实vr视频的播放方法及相关设备 | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
US20240013493A1 (en) | Low-power architecture for augmented reality device | |
WO2024108555A1 (zh) | 人脸图像生成方法、装置、设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210331 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220609 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7090971 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |