JP7412847B2 - 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム - Google Patents
画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7412847B2 JP7412847B2 JP2022523029A JP2022523029A JP7412847B2 JP 7412847 B2 JP7412847 B2 JP 7412847B2 JP 2022523029 A JP2022523029 A JP 2022523029A JP 2022523029 A JP2022523029 A JP 2022523029A JP 7412847 B2 JP7412847 B2 JP 7412847B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- style
- local
- reference image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 66
- 238000003672 processing method Methods 0.000 title claims description 51
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 138
- 238000000034 method Methods 0.000 claims description 81
- 238000012544 monitoring process Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 45
- 230000009466 transformation Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000010422 painting Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
サンプル画像及び敵対的生成ネットワークを取得するステップであって、前記敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれる、ステップと、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得するステップと、
前記敵対的ネットワークを用いて、前記参照画像に対して全体スタイル認識を行うことにより、前記参照画像と前記サンプル画像との間の全体スタイル損失を決定するステップと、
前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するステップと、
前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定するステップと、
前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するステップと、
処理対象の画像を取得すると、前記訓練後の生成ネットワークを用いて、前記処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得するステップと、を含む。
サンプル画像及び敵対的生成ネットワークを取得する取得ユニットであって、前記敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれる、取得ユニットと、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得する初期変換ユニットと、
前記敵対的ネットワークを用いて、前記参照画像に対して全体スタイル認識を行うことにより、前記参照画像と前記サンプル画像との間の全体スタイル損失を決定する認識ユニットと、
前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するコンテンツユニットと、
前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定するスタイルユニットと、
前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得する訓練ユニットと、
処理対象の画像を取得すると、前記訓練後の生成ネットワークを用いて、前記処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得する再変換ユニットと、を含む。
そのうち、該画像処理装置は、具体的に、電子機器に組み込まれ得、該電子機器は、端末やサーバなどの機器であってもよい。ここで、端末は、携帯電話、タブレットコンピュータ、スマートブルートゥース(登録商標)機器、ノートパソコン、又はパーソナルコンピュータ(PC:Personal Computer)などの機器であってもよい。サーバは、独立した物理サーバであってもよいし、複数の物理サーバで構成されたサーバクラスタ、又は分散型システムであってもよいし、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド関数、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、CDN、及びビッグデータや人工知能プラットフォームなどのベースクラウドコンピューティングサービスを提供するクラウドサーバであってもよい。
例えば、図1aを参照すると、該サーバは、画像処理装置を搭載することができる。該サーバは、データベースから、サンプル画像と、生成ネットワーク及び敵対的ネットワークを含む敵対的生成ネットワークとを取得し、生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得し、敵対的ネットワークを用いて、参照画像に対して全体スタイル認識を行うことにより、参照画像とサンプル画像との間の全体スタイル損失を決定し、参照画像とサンプル画像に対して画像コンテンツ認識を行うことにより、参照画像とサンプル画像との間のコンテンツ損失を決定し、参照画像、サンプル画像に対して局所スタイル認識を行うことにより、参照画像の局所スタイル損失と、サンプル画像の局所スタイル損失とを決定し、全体スタイル損失、コンテンツ損失、参照画像の局所スタイル損失、及びサンプル画像の局所スタイル損失に基づいて、生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得することができる。ユーザによりアップロードされた処理対象の画像を取得すると、該サーバは、訓練後の生成ネットワークを用いて、処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得し、該スタイル変換後の画像をユーザに返信することができる。
機械学習(ML:Machine Learning)は、データの初歩的な認識と学習目的とに基づいて一連の分析を行い、数学モデルにおけるパラメータを訓練し、最後に、訓練後のモデルを用いて、データに対して分析予測を行う方法である。機械学習の方法は、通常、深層学習、決定木アルゴリズム、ベイズアルゴリズム、サポートベクターマシンアルゴリズム、ランダムフォレストアルゴリズム、人工ニューラルネットワークアルゴリズム、関連ルールアルゴリズム、及び期待値最大化アルゴリズムなどを含む。
本実施例では、機械学習に基づく画像処理方法が提供されている。図1bに示すように、該画像処理方法の具体的なプロセスは、以下のようにしてもよい。
101では、サンプル画像と、生成ネットワーク及び敵対的ネットワークを含む敵対的生成ネットワークとを取得する。
102では、生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得する。
順方向生成ネットワークを用いて、順方向サンプル画像に対してスタイル変換処理を行うことにより、第1順方向参照画像を取得するステップと、
逆方向生成ネットワークを用いて、第1順方向参照画像に対してスタイル変換処理を行うことにより、第2順方向参照画像を取得するステップと、を含んでもよい。
順方向生成ネットワークを用いて、順方向サンプル画像に対してスタイル変換処理を行うことにより、第1順方向参照画像を取得するステップと、
逆方向生成ネットワークを用いて、第1順方向参照画像に対してスタイル変換処理を行うことにより、第2順方向参照画像を取得するステップと、を含んでもよい。
逆方向生成ネットワークを用いて、逆方向サンプル画像に対してスタイル変換処理を行うことにより、第1逆方向参照画像を取得するステップと、
順方向生成ネットワークを用いて、第1逆方向参照画像に対してスタイル変換処理を行うことにより、第2逆方向参照画像を取得するステップと、を含む。
ここで、変換損失とは、2枚の画像の間の、画素、色分布、画像コンテンツなどの画像特徴における損失である。
全体スタイルタイプとは、参照画像が画像全体で表現する画像スタイルタイプである。
具体的には、いくつかの実施例において、ステップ103は、具体的に、
敵対的ネットワークを用いて、第1参照画像とサンプル画像との間の類似度を予測するステップと、
第1参照画像とサンプル画像との間の類似度に基づいて、参照画像とサンプル画像との間の全体スタイル損失を計算するステップと、を含む。
敵対的ネットワークを用いて、第1参照画像とサンプル画像との間の類似度を予測し、第1参照画像と逆方向サンプル画像との間の類似度を予測するステップと
第1参照画像とサンプル画像との間の類似度が、第1参照画像と逆方向サンプル画像との間の類似度よりも高い場合、第1参照画像の画像スタイルタイプが順方向サンプル画像であると決定するステップと、
第1参照画像とサンプル画像との類似度が、第1参照画像と逆方向サンプル画像との間の類似度よりも低い場合、第1参照画像の画像スタイルタイプが逆方向サンプル画像であると決定するステップと、を含む。
第1参照画像とサンプル画像との間の類似度が所定の順方向範囲に属する場合、第1参照画像の画像スタイルタイプを第1参照画像の画像スタイルタイプとして決定するステップと、
第1参照画像とサンプル画像との間の類似度が所定の逆方向範囲に属する場合、第1参照画像の画像スタイルタイプを第2参照画像の画像スタイルタイプとして決定するステップと、
第1参照画像の画像スタイルタイプを統計することにより、統計結果を取得するステップと、
統計結果に基づいて、第1参照画像とサンプル画像との間の全体スタイル損失を計算するステップと、を含む。
104では、参照画像及びサンプル画像に対して画像コンテンツ認識を行うことにより、参照画像とサンプル画像との間のコンテンツ損失を決定する。
局所参照コンテンツ特徴と局所サンプルコンテンツ特徴とを比較することにより、局所参照画像と局所サンプル画像との間の局所コンテンツ損失を取得し
局所コンテンツ損失に基づいて、参照画像とサンプル画像との間のコンテンツ損失を決定する。
第1エンコーダを用いて、局所サンプル画像に対してコンテンツ特徴抽出を行うことにより、局所サンプル画像の局所サンプルコンテンツ特徴を取得するステップと、
第2エンコーダを用いて、局所参照画像に対してコンテンツ特徴抽出を行うことにより、局所参照画像の局所参照コンテンツ特徴を取得するステップと、を含んでもよい。
参照画像の全ての局所画像の中から、第1局所参照画像及び第2局所参照画像を決定し、サンプル画像の全ての局所画像の中から、第1局所サンプル画像及び第2局所サンプル画像を決定するステップであって、第1局所参照画像と第2局所参照画像は、参照画像において異なる位置にあり、第1局所サンプル画像と第2局所サンプル画像は、サンプル画像において異なる位置にある、ステップと、
シャムネットワークのスタイル監視制御ネットワークを用いて、第1局所参照画像に対応する第1局所参照スタイル特徴を抽出し、第2局所参照画像に対応する第2局所参照スタイル特徴を抽出し、第1局所サンプル画像に対応する第1局所サンプルスタイル特徴を抽出し、第2局所サンプル画像に対応する第2局所サンプルスタイル特徴を抽出するステップと、
第1局所参照スタイル特徴と第2局所参照スタイル特徴とを比較することにより、第1局所参照画像と第2局所参照画像との間の局所スタイル損失を取得するステップと、
第1局所サンプルスタイル特徴と第2局所サンプルスタイル特徴とを比較することにより、第1局所サンプル画像と第2局所サンプル画像との間の局所スタイル損失を取得するステップと、
第1局所参照画像と第2局所参照画像との間の局所スタイル損失に基づいて、参照画像の局所スタイル損失を計算し、第1局所サンプル画像と第2局所サンプル画像との間の局所スタイル損失に基づいて、サンプル画像の局所スタイル損失を計算するステップと、を含む。
第1エンコーダを用いて、第1局所参照画像、第1局所サンプル画像に対してスタイル特徴抽出を行うことにより、第1局所参照画像に対応する第1局所参照スタイル特徴と、第1局所サンプル画像に対応する第1局所サンプルスタイル特徴とを取得するステップと、
第2エンコーダを用いて、第2局所参照画像、第2局所サンプル画像に対してスタイル特徴抽出を行うことにより、第2局所参照画像に対応する第2局所参照スタイル特徴と、第2局所サンプル画像に対応する第2局所サンプルスタイル特徴を取得するステップと、を含んでもよい。
スタイルタイプ変換指示を取得するステップと、
スタイルタイプ変換指示が順方向変換指示である場合、訓練後の順方向生成ネットワークを用いて、処理対象の画像に対して順方向変換処理を行うことにより、スタイル変換後の画像を取得するステップと、
スタイルタイプ変換指示が逆方向変換指示である場合、訓練後の逆方向生成ネットワークを用いて、処理対象の画像に対して逆方向変換処理を行うことにより、スタイル変換後の画像を取得するステップと、を実行してもよい。
本実施例は、自動運転のストリートスケープ認識におけるシーン画像の標準化に用いることができる。ここで、ユーザの自動運転車両は、異なる時間帯、異なるシーン(例えば、昼間、夕暮れ、夜間、陰雨など)における画像データを収集することができる。本実施例は、夜間シーン画像を昼間シーン画像に変換するか、又は、昼間シーン画像を夜間シーン画像に変換することができる。
最後に、標準化されたデータを用いて、例えば、歩行者、車両の認識、検出などのさらなる機械学習タスク訓練を行うことができる。
図2aに示すように、画像処理方法の具体的なプロセスは、以下のとおりである。
201では、晴天サンプル及び曇天サンプルを含むサンプル画像と、順方向生成ネットワーク、逆方向生成ネットワーク、順方向敵対的ネットワーク、逆方向敵対的ネットワーク、スタイル監視制御ネットワーク、及びコンテンツ監視制御ネットワークを含む敵対的生成ネットワークとを取得する。
図2bを参照すると、サンプル画像は、天気スタイルタイプがアノテーションされたストリートスケープピクチャである。
モデル訓練を行う際に、ストリートスケープが同じであるが、天気スタイルタイプが異なる1対のストリートスケープピクチャを取得する必要がある。
例えば、晴天がアノテーションされた晴天の雑貨店Xのストリートスケープピクチャと、曇天がアノテーションされた曇天の雑貨店Xのストリートスケープピクチャとが1対のピクチャである。
本実施例において、サンプル画像は、技術者によって設定してもよいし、サーバを介して取得してもよい。
そして、晴天サンプルと第2順方向参照画像との間の正変換損失を決定することができる。
ここで、正変換損失は、晴天サンプルと、第1順方向参照画像で再構成された第2順方向参照画像とが類似するように制約する。
ここで、逆方向変換損失は、曇天サンプルと、第1逆方向参照画像で再構成された第2逆方向参照画像とが類似するように制約する。
スタイル監視制御ネットワークには、連結層(Concat)、畳み込み層(Conv)、全体平均プーリング層(GAP)が含まれる。
コンテンツ監視制御ネットワークには、畳み込み層(Conv)、補間層(Interpolation)が含まれる。
このステップについて、ステップ104を参照し、ここではこれ以上の説明を省略する。
例えば、本実施例では、画像処理装置が具体的にサーバに組み込まれる場合を例として、本願の実施例の方法を詳細に説明する。
取得ユニット301は、サンプル画像及び敵対的生成ネットワークを取得するために使用することができ、敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれる。
初期変換ユニット302は、生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得するために使用することができる。
いくつかの実施例において、参照画像は、第1参照画像及び第2参照画像を含んでもよく、初期変換ユニット302は、
生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、第1参照画像を取得し、第1参照画像に対してスタイル変換処理を行うことにより、第2参照画像を取得するために使用することができる。
第1順方向サブユニットは、順方向生成ネットワークを用いて、順方向サンプル画像に対してスタイル変換処理を行うことにより、第1順方向参照画像を取得する。
第2順方向サブユニットは、逆方向生成ネットワークを用いて、第1順方向参照画像に対してスタイル変換処理を行うことにより、第2順方向参照画像を取得する。
第1逆方向サブユニットは、逆方向生成ネットワークを用いて、逆方向サンプル画像に対してスタイル変換処理を行うことにより、第1逆方向参照画像を取得する。
第2逆方向サブユニットは、順方向生成ネットワークを用いて、第1逆方向参照画像に対してスタイル変換処理を行うことにより、第2逆方向参照画像を取得する。
認識ユニット303は、敵対的ネットワークを用いて、第1参照画像とサンプル画像との間の類似度を予測し、第1参照画像とサンプル画像との間の類似度に基づいて、参照画像とサンプル画像との間の全体スタイル損失を計算するために使用することができる。
第1参照画像とサンプル画像との間の類似度が所定の順方向範囲に属する場合、第1参照画像の画像スタイルタイプを第1参照画像の画像スタイルタイプとして決定し、
第1参照画像とサンプル画像との間の類似度が所定の逆方向範囲に属する場合、第1参照画像の画像スタイルタイプを第2参照画像の画像スタイルタイプとして決定し、
第1参照画像の画像スタイルタイプを統計することにより、統計結果を取得し、
統計結果に基づいて、第1参照画像とサンプル画像との間の全体スタイル損失を計算するために使用することができる。
コンテンツユニット304は、参照画像及びサンプル画像に対して画像コンテンツ認識を行うことにより、参照画像とサンプル画像との間のコンテンツ損失を決定することができる。
コンテンツ局所サブユニットは、参照画像の全ての局所画像の中から局所参照画像を決定し、サンプル画像の全ての局所画像の中から局所サンプル画像を決定し、局所参照画像の参照画像における位置と、局所サンプル画像のサンプル画像における位置とが同じである。
コンテンツ特徴サブユニットは、シャムネットワークのコンテンツ監視制御ネットワークを用いて、局所参照画像に対応する局所参照コンテンツ特徴を抽出し、局所サンプル画像に対応する局所サンプルコンテンツ特徴を抽出する。
局所コンテンツ損失サブユニットは、局所参照コンテンツ特徴と局所サンプルコンテンツ特徴とを比較することにより、局所参照画像と局所サンプル画像との間の局所コンテンツ損失を取得する。
コンテンツ損失サブユニットは、局所コンテンツ損失に基づいて、参照画像とサンプル画像との間のコンテンツ損失を決定する。
いくつかの実施例において、コンテンツ監視制御ネットワークは、第1エンコーダ及び第2エンコーダを含んでもよく、第1エンコーダ及び第2エンコーダは、互いに重みパラメータを共有し、コンテンツ特徴サブユニットは、具体的に、
第2エンコーダを用いて、局所参照画像に対してコンテンツ特徴抽出を行うことにより、局所参照画像の局所参照コンテンツ特徴を取得し、
第1エンコーダを用いて、局所サンプル画像に対してコンテンツ特徴抽出を行うことにより、局所サンプル画像の局所サンプルコンテンツ特徴を取得するために使用することができる。
スタイルユニット305は、参照画像、サンプル画像に対して局所スタイル認識を行うことにより、参照画像の局所スタイル損失と、サンプル画像の局所スタイル損失とを決定するために使用することができる。
スタイル局所サブユニットは、参照画像の全ての局所画像の中から第1局所参照画像および第2局所参照画像を決定し、サンプル画像の全ての局所画像の中から第1局所サンプル画像及び第2局所サンプル画像を決定する。ここで、第1局所参照画像と第2局所参照画像は、参照画像において、異なる位置にあり、第1局所サンプル画像と第2局所サンプル画像は、サンプル画像において、異なる位置にある。
スタイル特徴サブユニットは、シャムネットワークのスタイル監視制御ネットワークを用いて、第1局所参照画像に対応する第1局所参照スタイル特徴を抽出し、第2局所参照画像に対応する第2局所参照スタイル特徴を抽出し、第1局所サンプル画像に対応する第1局所サンプルスタイル特徴を抽出し、第2局所サンプル画像に対応する第2局所サンプルスタイル特徴を抽出する。
局所参照スタイル損失サブユニットは、第1局所参照スタイル特徴と第2局所参照スタイル特徴とを比較することにより、第1局所参照画像と第2局所参照画像との間の局所スタイル損失を取得する。
局所サンプルスタイル損失サブユニットは、第1局所サンプルスタイル特徴と第2局所サンプルスタイル特徴とを比較することにより、第1局所サンプル画像と第2局所サンプル画像との間の局所スタイル損失を取得する。
スタイル損失サブユニットは、第1局所参照画像と第2局所参照画像との間の局所スタイル損失に基づいて、参照画像の局所スタイル損失を計算し、第1局所サンプル画像と第2局所サンプル画像との間の局所スタイル損失に基づいて、サンプル画像の局所スタイル損失を計算する。
この場合、いくつかの実施例において、スタイル監視制御ネットワークは、第1エンコーダ及び第2エンコーダを含んでもよく、第1エンコーダ及び第2エンコーダは、互いに重みパラメータを共有してもよく、スタイル特徴サブユニットは、具体的に、
第1エンコーダを用いて、第1局所参照画像、第1局所サンプル画像に対してスタイル特徴抽出を行うことにより、第1局所参照画像に対応する第1局所参照スタイル特徴と、第1局所サンプル画像に対応する第1局所サンプルスタイル特徴とを取得し、
第2エンコーダを用いて、第2局所参照画像、第2局所サンプル画像に対してスタイル特徴抽出を行うことにより、第2局所参照画像に対応する第2局所参照スタイル特徴と、第2局所サンプル画像に対応する第2局所サンプルスタイル特徴とを取得するために使用することができる。
訓練ユニット306は、全体スタイル損失、コンテンツ損失、参照画像の局所スタイル損失、及びサンプル画像の局所スタイル損失に基づいて、生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するために使用することができる。
いくつかの実施例において、初期変換ユニット302は、サンプル画像と第2参照画像との間の変換損失を計算するために使用することができる。この場合、訓練ユニット306は、具体的に、
変換損失、全体スタイル損失、コンテンツ損失、参照画像の局所スタイル損失、及びサンプル画像の局所スタイル損失に基づいて、生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するために使用することができる。
再変換ユニット307は、処理対象の画像を取得すると、訓練後の生成ネットワークを用いて、処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得するために使用することができる。
いくつかの実施例において、訓練後の生成ネットワークは、訓練後の順方向生成ネットワーク、訓練後の逆方向生成ネットワークを含んでもよく、再変換ユニット307は、具体的に、
スタイルタイプ変換指示を取得し、
スタイルタイプ変換指示が順方向変換指示である場合、訓練後の順方向生成ネットワークを用いて、処理対象の画像に対して順方向変換処理を行うことにより、スタイル変換後の画像を取得し、
スタイルタイプ変換指示が逆方向変換指示である場合、訓練後の逆方向生成ネットワークを用いて、処理対象の画像に対して逆方向変換処理を行うことにより、スタイル変換後の画像を取得する。
該サーバは、1つ又は複数の処理コアを含むプロセッサ401、1つ又は複数のコンピュータ可読記憶媒体を含むメモリ402、電源403、入力モジュール404、及び通信モジュール405などの部品を含んでもよい。当業者であれば理解できるように、図4に示されるサーバの構成は、サーバを限定するものではなく、図示されたものよりも多く又は少ない部品を含んでもよく、或いは特定の部品を組み合わせたものであってもよく、或いは部品の異なる配置を有してもよい。
サンプル画像と、生成ネットワーク及び敵対的ネットワークを含む敵対的生成ネットワークとを取得し、
生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得し、
敵対的ネットワークを用いて、参照画像に対して全体スタイル認識を行うことにより、参照画像とサンプル画像との間の全体スタイル損失を決定し、
参照画像及びサンプル画像に対して画像コンテンツ認識を行うことにより、参照画像とサンプル画像との間のコンテンツ損失を決定し、
参照画像、サンプル画像に対して局所スタイル認識を行うことにより、参照画像の局所スタイル損失と、サンプル画像の局所スタイル損失とを決定し、
全体スタイル損失、コンテンツ損失、参照画像の局所スタイル損失、及びサンプル画像の局所スタイル損失に基づいて、生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得し、
処理対象の画像を取得すると、訓練後の生成ネットワークを用いて、処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得する。
上記の各操作の具体的な実施は、前述した実施例を参照すればよいが、ここではこれ以上の説明を省略する。
当業者であれば理解できるように、上記の実施例の各方法のステップの全部又は一部は、コンピュータ可読命令によって実行されてもよいし、コンピュータ可読命令を介して関連ハードウェアを制御して実行されてもよい。該コンピュータ可読命令は、1つ又は複数のコンピュータ可読記憶媒体に記憶され、1つ又は複数のプロセッサによってロード及び実行されてもよい。
サンプル画像及び敵対的生成ネットワークを取得するステップであって、敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれる、ステップと、
生成ネットワークを用いて、サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得するステップと、
敵対的ネットワークを用いて、参照画像に対して全体スタイル認識を行うことにより、参照画像とサンプル画像との間の全体スタイル損失を決定するステップと、
参照画像及びサンプル画像に対して画像コンテンツ認識を行うことにより、参照画像とサンプル画像との間のコンテンツ損失を決定するステップと、
参照画像、サンプル画像に対して局所スタイル認識を行うことにより、参照画像の局所スタイル損失と、サンプル画像の局所スタイル損失とを決定するステップと、
全体スタイル損失、コンテンツ損失、参照画像の局所スタイル損失、及びサンプル画像の局所スタイル損失に基づいて、生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するステップと、
処理対象の画像を取得すると、訓練後の生成ネットワークを用いて、処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得するステップと、を実行させることが可能である。
302 初期変換ユニット
303 認識ユニット
304 コンテンツユニット
305 スタイルユニット
306 訓練ユニット
307 再変換ユニット
401 プロセッサ
402 メモリ
403 電源
404 入力モジュール
405 通信モジュール
Claims (15)
- サーバが実行する画像処理方法であって、
サンプル画像及び敵対的生成ネットワークを取得するステップであって、前記敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれ、前記サンプル画像は、画像スタイルタイプがアノテーションされた画像データである、ステップと、
前記生成ネットワークを用いて、前記サンプル画像に対して前記画像スタイルタイプを変換するスタイル変換処理を行うことにより、参照画像を取得するステップと、
前記敵対的ネットワークを用いて、前記参照画像に対して全体スタイル認識を行うことにより、前記参照画像と前記サンプル画像との間の全体スタイル損失を決定するステップと、
前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するステップと、
前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定するステップと、
前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するステップと、
処理対象の画像を取得すると、前記訓練後の生成ネットワークを用いて、前記処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得するステップと、
を含む画像処理方法。 - 前記参照画像は、第1参照画像及び第2参照画像を含み、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、参照画像を取得する前記ステップは、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、第1参照画像を取得し、前記第1参照画像に対してスタイル変換処理を行うことにより、第2参照画像を取得するステップを含み、
前記敵対的ネットワークを用いて、前記参照画像に対して全体スタイル認識を行うことにより、前記参照画像と前記サンプル画像との間の全体スタイル損失を決定する前記ステップは、
前記敵対的ネットワークを用いて、前記第1参照画像と前記サンプル画像との間の類似度を予測するステップと、
前記第1参照画像と前記サンプル画像との間の類似度に基づいて、前記参照画像と前記サンプル画像との間の全体スタイル損失を計算するステップと、を含む、
請求項1に記載の画像処理方法。 - 前記生成ネットワークは、順方向生成ネットワーク及び逆方向生成ネットワークを含み、前記サンプル画像は、順方向サンプル画像を含み、前記第1参照画像は、第1順方向参照画像を含み、前記第2参照画像は、第2順方向参照画像を含み、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、第1参照画像を取得し、前記第1参照画像に対してスタイル変換処理を行うことにより、第2参照画像を取得する前記ステップは、
前記順方向生成ネットワークを用いて、前記順方向サンプル画像に対してスタイル変換処理を行うことにより、第1順方向参照画像を取得するステップと、
前記逆方向生成ネットワークを用いて、前記第1順方向参照画像に対してスタイル変換処理を行うことにより、第2順方向参照画像を取得するステップと、を含む、
請求項2に記載の画像処理方法。 - 前記生成ネットワークは、順方向生成ネットワーク及び逆方向生成ネットワークを含み、前記サンプル画像は、逆方向サンプル画像を含み、前記第1参照画像は、第1逆方向参照画像を含み、前記第2参照画像は、第2逆方向参照画像を含み、
前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、第1参照画像を取得し、前記第1参照画像に対してスタイル変換処理を行うことにより、第2参照画像を取得する前記ステップは、
前記逆方向生成ネットワークを用いて、前記逆方向サンプル画像に対してスタイル変換処理を行うことにより、第1逆方向参照画像を取得するステップと、
前記順方向生成ネットワークを用いて、前記第1逆方向参照画像に対してスタイル変換処理を行うことにより、第2逆方向参照画像を取得するステップと、を含む、
請求項2に記載の画像処理方法。 - 前記生成ネットワークを用いて、前記サンプル画像に対してスタイル変換処理を行うことにより、第1参照画像を取得し、前記第1参照画像に対してスタイル変換処理を行うことにより、第2参照画像を取得する前記ステップの後、
前記サンプル画像と第2参照画像との間の変換損失を計算するステップを含み、
前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得する前記ステップは、
前記変換損失、前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得するステップを含む、
請求項2に記載の画像処理方法。 - 前記第1参照画像と前記サンプル画像との間の類似度に基づいて、前記参照画像と前記サンプル画像との間の全体スタイル損失を計算する前記ステップは、
前記第1参照画像と前記サンプル画像との間の類似度が所定の順方向範囲に属する場合、前記第1参照画像の画像スタイルタイプを第1参照画像の画像スタイルタイプとして決定するステップと、
前記第1参照画像と前記サンプル画像との間の類似度が所定の逆方向範囲に属する場合、前記第1参照画像の画像スタイルタイプを第2参照画像の画像スタイルタイプとして決定するステップと、
前記第1参照画像の画像スタイルタイプを統計することにより、統計結果を取得するステップと、
前記統計結果に基づいて、前記第1参照画像と前記サンプル画像との間の全体スタイル損失を計算するステップと、を含む、
請求項2に記載の画像処理方法。 - 前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定する前記ステップは、
シャムネットワークのコンテンツ監視制御ネットワークを用いて、前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するステップを含み、
前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定する前記ステップは、
シャムネットワークのスタイル監視制御ネットワークを用いて、前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定するステップを含む、
請求項1に記載の画像処理方法。 - シャムネットワークのコンテンツ監視制御ネットワークを用いて、前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行う前記ステップは、
前記参照画像の全ての局所画像の中から局所参照画像を決定し、前記サンプル画像の全ての局所画像の中から局所サンプル画像を決定するステップであって、前記局所参照画像の前記参照画像における位置と、前記局所サンプル画像の前記サンプル画像における位置とが同じである、ステップと、
シャムネットワークのコンテンツ監視制御ネットワークを用いて、前記局所参照画像に対応する局所参照コンテンツ特徴を抽出し、前記局所サンプル画像に対応する局所サンプルコンテンツ特徴を抽出するステップと、
前記局所参照コンテンツ特徴と前記局所サンプルコンテンツ特徴とを比較することにより、前記局所参照画像と局所サンプル画像との間の局所コンテンツ損失を取得するステップと、
前記局所コンテンツ損失に基づいて、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するステップと、を含む、
ことを特徴とする請求項7に記載の画像処理方法。 - 前記シャムネットワークのコンテンツ監視制御ネットワークは、第1エンコーダ及び第2エンコーダを含み、前記第1エンコーダ及び前記第2エンコーダは、互いに重みパラメータを共有し、シャムネットワークのコンテンツ監視制御ネットワークを用いて、前記局所参照画像に対応する局所参照コンテンツ特徴を抽出し、前記局所サンプル画像に対応する局所サンプルコンテンツ特徴を抽出する前記ステップは、
前記第1エンコーダを用いて、前記局所サンプル画像に対してコンテンツ特徴抽出を行うことにより、前記局所サンプル画像の局所サンプルコンテンツ特徴を取得するステップと、
前記第2エンコーダを用いて、前記局所参照画像に対してコンテンツ特徴抽出を行うことにより、前記局所参照画像の局所参照コンテンツ特徴を取得するステップと、を含む、
請求項8に記載の画像処理方法。 - シャムネットワークのスタイル監視制御ネットワークを用いて、前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定する前記ステップは、
前記参照画像の全ての局所画像の中から第1局所参照画像および第2局所参照画像を決定し、前記サンプル画像の全ての局所画像の中から第1局所サンプル画像及び第2局所サンプル画像を決定するステップであって、前記第1局所参照画像と前記第2局所参照画像は、前記参照画像において、異なる位置にあり、前記第1局所サンプル画像と前記第2局所サンプル画像は、前記サンプル画像において、異なる位置にあるステップと、
シャムネットワークのスタイル監視制御ネットワークを用いて、前記第1局所参照画像に対応する第1局所参照スタイル特徴を抽出し、前記第2局所参照画像に対応する第2局所参照スタイル特徴を抽出し、前記第1局所サンプル画像に対応する第1局所サンプルスタイル特徴を抽出し、前記第2局所サンプル画像に対応する第2局所サンプルスタイル特徴を抽出するステップと、
前記第1局所参照スタイル特徴と前記第2局所参照スタイル特徴とを比較することにより、前記第1局所参照画像と前記第2局所参照画像との間の局所スタイル損失を取得するステップと、
前記第1局所サンプルスタイル特徴と前記第2局所サンプルスタイル特徴とを比較することにより、前記第1局所サンプル画像と前記第2局所サンプル画像との間の局所スタイル損失を取得するステップと、
前記第1局所参照画像と前記第2局所参照画像との間の局所スタイル損失に基づいて、前記参照画像の局所スタイル損失を計算し、前記第1局所サンプル画像と前記第2局所サンプル画像との間の局所スタイル損失に基づいて、前記サンプル画像の局所スタイル損失を計算するステップと、を含む、
請求項7に記載の画像処理方法。 - 前記シャムネットワークのスタイル監視制御ネットワークは、第1エンコーダ及び第2エンコーダを含み、前記第1エンコーダ及び前記第2エンコーダは、互いに重みパラメータを共有し、
シャムネットワークのスタイル監視制御ネットワークを用いて、前記第1局所参照画像に対応する第1局所参照スタイル特徴を抽出し、前記第2局所参照画像に対応する第2局所参照スタイル特徴を抽出し、前記第1局所サンプル画像に対応する第1局所サンプルスタイル特徴を抽出し、前記第2局所サンプル画像に対応する第2局所サンプルスタイル特徴を抽出する前記ステップは、
前記第1エンコーダを用いて、前記第1局所参照画像、前記第1局所サンプル画像に対してスタイル特徴抽出を行うことにより、前記第1局所参照画像に対応する第1局所参照スタイル特徴と、前記第1局所サンプル画像に対応する第1局所サンプルスタイル特徴とを取得するステップと、
前記第2エンコーダを用いて、前記第2局所参照画像、前記第2局所サンプル画像に対してスタイル特徴抽出を行うことにより、前記第2局所参照画像に対応する第2局所参照スタイル特徴と、前記第2局所サンプル画像に対応する第2局所サンプルスタイル特徴とを取得するステップと、を含む、
請求項10に記載の画像処理方法。 - 前記訓練後の生成ネットワークは、訓練後の順方向生成ネットワーク、訓練後の逆方向生成ネットワークを含み、処理対象の画像を取得すると、前記訓練後の生成ネットワークを用いて、前記処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得する前記ステップは、
スタイルタイプ変換指示を取得するステップと、
前記スタイルタイプ変換指示が順方向変換指示である場合、前記訓練後の順方向生成ネットワークを用いて、前記処理対象の画像に対して順方向変換処理を行うことにより、スタイル変換後の画像を取得するステップと、
前記スタイルタイプ変換指示が逆方向変換指示である場合、前記訓練後の逆方向生成ネットワークを用いて、前記処理対象の画像に対して逆方向変換処理を行うことにより、スタイル変換後の画像を取得するステップと、を含む、
請求項1に記載の画像処理方法。 - 画像処理装置であって、
サンプル画像及び敵対的生成ネットワークを取得する取得ユニットであって、前記敵対的生成ネットワークには、生成ネットワークと敵対的ネットワークとが含まれ、前記サンプル画像は、画像スタイルタイプがアノテーションされた画像データである、取得ユニットと、
前記生成ネットワークを用いて、前記サンプル画像に対して前記画像スタイルタイプを変換するスタイル変換処理を行うことにより、参照画像を取得する初期変換ユニットと、
前記敵対的ネットワークを用いて、前記参照画像に対して全体スタイル認識を行うことにより、前記参照画像と前記サンプル画像との間の全体スタイル損失を決定する認識ユニットと、
前記参照画像及び前記サンプル画像に対して画像コンテンツ認識を行うことにより、前記参照画像と前記サンプル画像との間のコンテンツ損失を決定するコンテンツユニットと、
前記参照画像、前記サンプル画像に対して局所スタイル認識を行うことにより、前記参照画像の局所スタイル損失と、前記サンプル画像の局所スタイル損失とを決定するスタイルユニットと、
前記全体スタイル損失、前記コンテンツ損失、前記参照画像の局所スタイル損失、及び前記サンプル画像の局所スタイル損失に基づいて、前記生成ネットワークを訓練することにより、訓練後の生成ネットワークを取得する訓練ユニットと、
処理対象の画像を取得すると、前記訓練後の生成ネットワークを用いて、前記処理対象の画像に対してスタイル変換処理を行うことにより、スタイル変換後の画像を取得する再変換ユニットと、
を含む装置。 - プロセッサとメモリとを備えるサーバであって、前記メモリには、コンピュータ可読命令が記憶され、前記コンピュータ可読命令は、前記プロセッサによって実行されると、請求項1乃至12のいずれか1項に記載の画像処理方法のステップを前記プロセッサに実行させるサーバ。
- 請求項1乃至12のいずれか1項に記載の画像処理方法のステップをコンピュータに実行させるコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010061014.XA CN111242844B (zh) | 2020-01-19 | 2020-01-19 | 图像处理方法、装置、服务器和存储介质 |
CN202010061014.X | 2020-01-19 | ||
PCT/CN2020/123838 WO2021143264A1 (zh) | 2020-01-19 | 2020-10-27 | 图像处理方法、装置、服务器和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553252A JP2022553252A (ja) | 2022-12-22 |
JP7412847B2 true JP7412847B2 (ja) | 2024-01-15 |
Family
ID=70866187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022523029A Active JP7412847B2 (ja) | 2020-01-19 | 2020-10-27 | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220222796A1 (ja) |
JP (1) | JP7412847B2 (ja) |
CN (1) | CN111242844B (ja) |
WO (1) | WO2021143264A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111242844B (zh) * | 2020-01-19 | 2023-09-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器和存储介质 |
CN111784567B (zh) * | 2020-07-03 | 2023-04-28 | 北京字节跳动网络技术有限公司 | 用于转换图像的方法、装置、电子设备和计算机可读介质 |
CN112990378B (zh) * | 2021-05-08 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 基于人工智能的场景识别方法、装置及电子设备 |
CN113469876B (zh) * | 2021-07-28 | 2024-01-09 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、图像处理方法、装置及设备 |
CN113989115B (zh) * | 2021-10-21 | 2024-04-02 | 河北师范大学 | 一种基于对比学习的全局马赛克去除方法 |
CN114266937A (zh) * | 2021-12-20 | 2022-04-01 | 北京百度网讯科技有限公司 | 模型训练、图像处理方法,装置,设备以及存储介质 |
CN117132949B (zh) * | 2023-10-27 | 2024-02-09 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
CN117291252B (zh) * | 2023-11-27 | 2024-02-20 | 浙江华创视讯科技有限公司 | 稳定视频生成模型训练方法、生成方法、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180300850A1 (en) | 2017-04-14 | 2018-10-18 | Facebook, Inc. | Artifact reduction for image style transfer |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576351B1 (en) * | 2015-11-19 | 2017-02-21 | Adobe Systems Incorporated | Style transfer for headshot portraits |
EP3507773A1 (en) * | 2016-09-02 | 2019-07-10 | Artomatix Ltd. | Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures |
CN106847294B (zh) * | 2017-01-17 | 2018-11-30 | 百度在线网络技术(北京)有限公司 | 基于人工智能的音频处理方法和装置 |
US10482639B2 (en) * | 2017-02-21 | 2019-11-19 | Adobe Inc. | Deep high-resolution style synthesis |
US10614557B2 (en) * | 2017-10-16 | 2020-04-07 | Adobe Inc. | Digital image completion using deep learning |
CN109816589B (zh) * | 2019-01-30 | 2020-07-17 | 北京字节跳动网络技术有限公司 | 用于生成漫画风格转换模型的方法和装置 |
US20200349391A1 (en) * | 2019-04-30 | 2020-11-05 | Shenzhen Sensetime Technology Co., Ltd. | Method for training image generation network, electronic device, and storage medium |
CN110322002B (zh) * | 2019-04-30 | 2022-01-04 | 深圳市商汤科技有限公司 | 图像生成网络的训练及图像处理方法和装置、电子设备 |
CN110427799B (zh) * | 2019-06-12 | 2022-05-06 | 中国地质大学(武汉) | 基于生成对抗网络的人手深度图像数据增强方法 |
CN111242844B (zh) * | 2020-01-19 | 2023-09-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、服务器和存储介质 |
-
2020
- 2020-01-19 CN CN202010061014.XA patent/CN111242844B/zh active Active
- 2020-10-27 WO PCT/CN2020/123838 patent/WO2021143264A1/zh active Application Filing
- 2020-10-27 JP JP2022523029A patent/JP7412847B2/ja active Active
-
2022
- 2022-03-29 US US17/706,823 patent/US20220222796A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180300850A1 (en) | 2017-04-14 | 2018-10-18 | Facebook, Inc. | Artifact reduction for image style transfer |
Non-Patent Citations (2)
Title |
---|
Pengfei Li et al.,SEMANTIC GAN:APPLICATION FOR CROSS-DOMAIN IMAGE STYLE TRANSFER,2019 IEEE International Conference on Multimedia and Expo(ICME),2019年08月12日,p.910-915 |
Wei Wang et al.,Image Artistic Style Migration Based on Convolutional Neural Network,2018 5th International Conference on Systems and Informatics(ICSAI),2018年11月10日,p.967-972 |
Also Published As
Publication number | Publication date |
---|---|
CN111242844B (zh) | 2023-09-22 |
US20220222796A1 (en) | 2022-07-14 |
CN111242844A (zh) | 2020-06-05 |
WO2021143264A1 (zh) | 2021-07-22 |
JP2022553252A (ja) | 2022-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7412847B2 (ja) | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム | |
CN109086683B (zh) | 一种基于点云语义增强的人手姿态回归方法和*** | |
EP3876140B1 (en) | Method and apparatus for recognizing postures of multiple persons, electronic device, and storage medium | |
CN110599395B (zh) | 目标图像生成方法、装置、服务器及存储介质 | |
CN110162799A (zh) | 模型训练方法、机器翻译方法以及相关装置和设备 | |
CN112132197B (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
EP4137991A1 (en) | Pedestrian re-identification method and device | |
CN112990211A (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN111709497A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN113505883A (zh) | 一种神经网络训练方法以及装置 | |
CN112862828A (zh) | 一种语义分割方法、模型训练方法及装置 | |
CN112598780A (zh) | 实例对象模型构建方法及装置、可读介质和电子设备 | |
CN113051420A (zh) | 一种基于文本生成视频机器人视觉人机交互方法及*** | |
CN113191479A (zh) | 联合学习的方法、***、节点及存储介质 | |
CN111242019A (zh) | 视频内容的检测方法、装置、电子设备以及存储介质 | |
WO2023036157A1 (en) | Self-supervised spatiotemporal representation learning by exploring video continuity | |
CN114897039A (zh) | 一种数据处理方法及相关设备 | |
CN113610953A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
WO2022001364A1 (zh) | 一种提取数据特征的方法和相关装置 | |
CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
CN114399424A (zh) | 模型训练方法及相关设备 | |
CN117094362A (zh) | 一种任务处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7412847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |