TW202141358A - 圖像修復方法及裝置、存儲介質、終端 - Google Patents

圖像修復方法及裝置、存儲介質、終端 Download PDF

Info

Publication number
TW202141358A
TW202141358A TW110115405A TW110115405A TW202141358A TW 202141358 A TW202141358 A TW 202141358A TW 110115405 A TW110115405 A TW 110115405A TW 110115405 A TW110115405 A TW 110115405A TW 202141358 A TW202141358 A TW 202141358A
Authority
TW
Taiwan
Prior art keywords
image
generator
output
discriminator
value
Prior art date
Application number
TW110115405A
Other languages
English (en)
Other versions
TWI823084B (zh
Inventor
夏川
Original Assignee
大陸商上海耕岩智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海耕岩智能科技有限公司 filed Critical 大陸商上海耕岩智能科技有限公司
Publication of TW202141358A publication Critical patent/TW202141358A/zh
Application granted granted Critical
Publication of TWI823084B publication Critical patent/TWI823084B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Electrochromic Elements, Electrophoresis, Or Variable Reflection Or Absorption Elements (AREA)
  • Mechanical Pencils And Projecting And Retracting Systems Therefor, And Multi-System Writing Instruments (AREA)
  • Geometry (AREA)

Abstract

一種圖像修復方法，所述方法包括：獲取一待處理的圖像，所述圖像包含生物特徵信息；將所述待處理的圖像輸入一生成器，所述生成器包括一具有多層卷積層的神經網絡模型，所述多層卷積層之間具有一連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；獲取所述生成器輸出的一修復後的圖像。通過本發明提供的方案能夠有效改善基於機器學習進行圖像修復時的修復品質。本發明還提供一種圖像修復裝置、存儲介質，及終端。

Description

圖像修復方法及裝置、存儲介質、終端
本發明是關於一種圖像處理技術領域，特別是關於一種圖像修復方法及裝置、存儲介質、終端。
現有技術在利用全反射成像原理實現屏下光學指紋成像時，若指紋在傳感器上的成像正好落入傳感器的信號飽和區，將導致指紋的紋路信息丟失。另一方面，隨著光線入射角的增大，攜帶有指紋信息的光線到達傳感器的傳輸路徑也會相應增大，導致傳感器實際接收到光線時的光信號減弱，當入射角增大至一定值時，傳感器接收到的光信號的信噪比太小，導致無法探測到清晰的指紋圖像。
因此，對傳感器採集得到的指紋圖像進行修復就成為指紋採集技術領域的一大研究重點。
因此，本發明之其中一目的，即在提供一種能夠克服先前技術的至少一個缺點的圖像修復方法，以改善基於機器學習進行圖像修復時的修復品質。
該圖像修復方法，包括：獲取待處理的圖像，所述圖像包含生物特徵信息；將所述待處理的圖像輸入生成器，所述生成器包括具有多層卷積層的神經網絡模型，所述多層卷積層之間具有連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；獲取所述生成器輸出的修復後的圖像。
因此，本發明之另一目的，還提供一種圖像修復裝置，包括：第一獲取模組，用於獲取待處理的圖像，所述圖像包含生物特徵信息；處理模組，用於將所述待處理的圖像輸入生成器，所述生成器包括具有多層卷積層的神經網絡模型，所述多層卷積層之間具有連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；第二獲取模組，用於獲取所述生成器輸出的修復後的圖像。
因此，本發明之又一目的，還提供一種存儲介質，其上存儲有計算機指令，所述計算機指令運行時執行上述方法的步驟。
因此，本發明之又另一目的，還提供一種終端，包括存儲器和處理器，所述存儲器上存儲有能夠在所述處理器上運行的計算機指令，所述處理器運行所述計算機指令時執行上述方法的步驟。
與現有技術相比，本發明實施例的技術方案具有以下有益效果：
本發明實施例提供一種圖像修復方法，包括：獲取待處理的圖像，所述圖像包含生物特徵信息；將所述待處理的圖像輸入生成器，所述生成器包括具有多層卷積層的神經網絡模型，所述多層卷積層之間具有連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；獲取所述生成器輸出的修復後的圖像。
較之現有基於機器學習對圖像進行修復的方案，本實施例方案在基於神經網絡模型進行圖像修復時，神經網絡模型的卷積核是根據歷史修復結果進行調整的，以優化本實施例所述生成器輸出的修復後的圖像的修復品質。具體而言，至少根據所述生成器歷史上對圖像的修復品質調整卷積核的過程可以是在模型訓練階段實施的，以調整得到更符合實際需求的生成器。進一步地，在實際應用階段，同樣可以基於歷史已經修復完成的圖像繼續調整卷積核，並且，隨著歷史數據的擴充，用於調整卷積核的反饋數據越來越大，使得對卷積核的調整更為準確，利於改善基於機器學習進行圖像修復時的修復品質。
一種直觀的思路是多次成像、互相補充，將採集到的多張圖像拼合得到完整圖像。但是，在實際應用中，手機指紋解鎖時間是非常短的，多次成像的方案對手機硬件的處理速度有非常高的要求，會增加系統成本。
為解決上述技術問題，本發明實施例提供一種圖像修復方法，包括：獲取一待處理的圖像，所述圖像包含一生物特徵信息；將所述待處理的圖像輸入一生成器，所述生成器包括一具有多層卷積層的神經網絡模型，所述多層卷積層之間具有一連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；獲取所述生成器輸出的一修復後的圖像。
本實施例方案在基於神經網絡模型進行圖像修復時，神經網絡模型的卷積核是根據歷史修復結果進行調整的，以優化本實施例所述生成器輸出的修復後的圖像的修復品質。具體而言，至少根據所述生成器歷史上對圖像的修復品質調整卷積核的過程可以是在模型訓練階段實施的，以調整得到更符合實際需求的生成器。進一步地，在實際應用階段，同樣可以基於歷史已經修復完成的圖像繼續調整卷積核，並且，隨著歷史數據的擴充，用於調整卷積核的反饋數據越來越大，使得對卷積核的調整更為準確，利於改善基於機器學習進行圖像修復時的修復品質。
為使本發明的上述目的、特徵和有益效果能夠更為明顯易懂，下面結合附圖對本發明的具體實施例做詳細的說明。
圖1是本發明實施例的一種圖像修復方法的一流程圖。
具體地，參考圖1，所述圖像修復方法可以包括如下步驟：
步驟S101，獲取待處理的圖像，所述圖像包含生物特徵信息；
步驟S102，將所述待處理的圖像輸入生成器，所述生成器包括具有多層卷積層的神經網絡模型，所述多層卷積層之間具有連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；
步驟S103，獲取所述生成器輸出的修復後的圖像。
在一個具體實施中，所述生物特徵信息可以包含指紋或掌紋信息。接下來以圖像包含的是指紋信息為例進行具體闡述。
在一個具體實施中，所述步驟S101中，可以獲取傳感器採集得到的所述待處理的圖像。例如，所述傳感器可以集成於手機、IPAD等智能終端。本實施例所述方案可以由所述智能終端的處理器執行，或者，也可以由與所述智能終端相通信的後臺服務器執行，所述後臺服務器可以為雲端服務器。
在一個具體實施中，所述生成器可以基於部分卷積（partial convolutions，簡稱PConv）方式對所述待處理的圖像進行處理。
例如，所述生成器的神經網絡模型可以採用U-net網絡結構模型。具體而言，對於輸入的所述待處理的圖像，所述U-net網絡結構模型首先經過不同程度的卷積核對所述待處理的圖像進行下採樣。該過程也被稱為編碼過程，以學習圖像的深層次的特徵（feature）。然後，經過上採樣步驟恢復圖像的特徵。該過程可以稱為解碼過程。
所述上採樣的過程中，即接收來自上採樣的特徵（即解碼器的特徵），又接收下採樣得到的特徵（即編碼器的特徵）。例如，第i+1卷積層可以與第i卷積層和第n-i卷積層建立連接通道（可簡稱為通道）。
相應的，自第2層起的每一卷積層均可以接收至少一個上層卷積層輸出的數據。
對於每一卷積層，所述卷積層對輸入的待處理的圖像進行卷積，還對輸入的待處理的圖像對應的遮罩（mask）進行卷積。其中，遮罩用於表徵待處理的圖像的各像素點是否需要修復，如1表示不需要修復，0表示需要修復。
對於採用部分卷積方式的所述生成器，數據每經過一層卷積層，遮罩和圖像均得到更新，其中，數據是指經本層卷積層卷積處理後得到的圖像特徵數據（即所述特徵feature）。隨著神經網絡層數的增加，遮罩m’的輸出中數值為0的像素點越來越少，相應輸出的修復後的圖像x’中有效區域的面積越來越大，遮罩對整體損失（loss）的影響會越來越小。
最後，可以採用Tanh雙曲函數作為最後的激活函數，Tanh的值在-1到1之間，其收斂比S激活函數（Sigmoid）更快一些，且結果呈中心對稱分佈。
例如，可以基於如下公式得到修復後的圖像x’和更新的遮罩m’：
Figure 02_image001
；
Figure 02_image003
；
其中，W為卷積層的卷積核，也即卷積層濾波器的重量（weights）；T為矩陣的轉置；X為輸入的圖像的特徵值（feature values）；M為所述遮罩，本實施例為二元遮罩（binary mask）；⊙為單元乘法，即元素級（element-wise）點乘運算；b為卷積層濾波器的偏差（bias）；m’表示輸入遮罩經過卷積後的輸出。對於每一卷積層，該卷積層輸出的修復後的圖像x’即為經過該卷積層卷積後輸出的圖像。類似的，對於每一卷積層，該卷積層輸出的更新的遮罩m’即為經過該卷積層卷積後輸出的遮罩。
具體地，所述卷積核W可以用於決定從輸入的圖像中提取特徵的數量。
在一個變化例中，所述生成器可以基於可學習的雙向注意力圖（Learnable Bidirectional Attention Maps，簡稱LBAM，也可稱為可學習的雙向遮罩）方式對所述待處理的圖像進行處理。
例如，在上述基於PConv的U-net網絡結構模型中，更新遮罩的過程可以只發生在編碼階段。在解碼階段，遮罩的所有值都是1。
在本變化例中，可以在LBAM模型引入可學習的雙向注意圖（learnable bidirectional attention map）。假設X為輸入的圖像，M為與之對應的遮罩，用1來表示該像素有有效的指紋信息，0表示該像素無有效的信息。
在前向注意遮罩時，M作為輸入，主要用來修正編碼時的特徵。在編碼階段，逐步更新遮罩的值，並用遮罩修正編碼時的特徵。
相對的，在解碼階段，1-M作為最後一層的遮罩，用來修正解碼器最後一層的特徵。進一步地，逐步向前更新解碼器的前一層遮罩，並用與之相對應的遮罩來修正解碼器前一層的特徵。
本變化例所採用的雙向的注意力遮罩，可以使得解碼器更多地關注如何修復無指紋的區域。由此，通過採用雙向注意力遮罩，可以更好的修復不規則的無指紋區域。
具體地，在編碼階段，基於如下公式（1）至公式（3）進行下採樣：
Figure 02_image005
(1)
Figure 02_image007
(2)
Figure 02_image009
(3)
其中，
Figure 02_image011
為所述編碼器當前層輸入的遮罩；
Figure 02_image013
為對應的更新的遮罩
Figure 02_image015
的卷積核；gA ()函數為非對稱的、與高斯函數具有類似形狀的激活函數；gm ()函數為用於更新遮罩的激活函數；Fout 為所述編碼器當前層輸出的特徵，也即下一層輸入的特徵；Fin 為所述編碼器當前層輸入的特徵；
Figure 02_image017
為對應的卷積核；⊙為點乘運算；Mout 為編碼器當前層輸出的遮罩，也即下一層輸入的遮罩。
gA ()函數可以基於如下公式表示：
Figure 02_image019
；
其中，a，μ，γ1 ，γγ 為常數。在一些實施例中，a可以為1.1；μ可以為2.0；γ1 可以為1.0；γγ 可以為1.0。
gm ()函數可以基於如下公式表示：
Figure 02_image021
；
其中，ReLU(*)函數為線性修正函數，將小於0的值置於0；α為常數。在一些實施例中，α可以為0.8。
在解碼階段，解碼器的第(L-l)層接收編碼器的第(l+1)層的特徵和遮罩，還接收解碼器的第(L-l-1)層的特徵與遮罩。由此，可以更加關注修補第(L-l)層的需要修復的區域。具體可以基於公式（4）和（5）表示：
Figure 02_image023
(4)
Figure 02_image025
(5)
其中，
Figure 02_image027
和
Figure 02_image029
是相應的卷積核；
Figure 02_image031
和
Figure 02_image033
分別為編碼器的第(l+1)層的遮罩和特徵；
Figure 02_image035
和
Figure 02_image037
分別為解碼器的第(L-l-1)層的遮罩和特徵；
Figure 02_image039
和
Figure 02_image041
分別為解碼器第(L-l)層輸出的特徵和遮罩。
採用前述方案，在解碼階段兼顧編碼階段的遮罩和解碼階段的遮罩。具體而言，解碼階段是通過反向更新遮罩，將更新的遮罩用在解碼器的前一層；而編碼階段則是將更新的遮罩用在了編碼器的下一層。這樣，可以使模型更加關注待修復的區域。
在一個具體實施中，在所述步驟S103之後，還可以包括步驟：計算所述修復後的圖像較之對應的標準圖像的L1損失函數（Loss Function）和對抗損失函數（adversarial loss）。
所述修復後的圖像較之對應的標準圖像的L1損失函數L1_loss可以基於如下公式計算得到：
Figure 02_image043
；
其中，L1為所述L1損失函數L1_loss；G(z)為所述生成器輸出的修復後的圖像；z為所述待處理的圖像；x為所述標準圖像。
在一個具體實施中，在所述步驟S103中，所述生成器輸出的修復後的圖像可以被傳輸至所述智能終端的相應模組，以進行後續操作，如指紋解鎖操作。
接下來對基於歷史數據調整上述計算公式中的卷積核W的具體過程進行詳細闡述。參考圖2，圖2是本發明實施例的一種卷積核調整方法的流程圖。
具體地，可以根據判別器對所述生成器歷史輸出的修復後的圖像的判別結果更新所述生成器的卷積核的權重，其中，所述判別器包括一具有多層卷積層的神經網絡模型。
所述根據判別器對所述生成器歷史輸出的修復後的圖像的判別結果更新所述生成器的卷積核的權重可以包括如下步驟：
步驟S201，獲取所述生成器歷史輸出的一修復後的圖像；
步驟S202，將所述歷史輸出的修復後的圖像輸入所述判別器；
步驟S203，獲取所述判別器對所述歷史輸出的修復後的圖像的一第一判別結果；
步驟S204，至少根據生成器的損失函數以及所述第一判別結果更新所述生成器的卷積核的權重。
在一個具體實施中，在所述步驟S201中，所述生成器可以與所述判別器建立連接通道，以傳輸修復後的圖像。具體地，所述生成器輸出的修復後的圖像均可以作為所述歷史輸出的修復後的圖像。
在一個具體實施中，所述判別器可以用於確定所述生成器的對抗損失函數，以判斷圖像經過所述生成器修復後的好壞程度。
例如，可以向所述判別器輸入所述生成器最後輸出的修復後的圖像以及對應的標準圖像，所述判別器可以輸出兩者的圖像差異度。所述圖像差異度可以用於衡量對圖像的修復品質。具體而言，所述判別器可以用來區分修復後的圖像與對應的標準圖像。當判別器最後不能區分圖像是修復後的圖像還是對應的標準圖像時，代表此時修復後的圖像品質達到最好。在一些實施例中，可以使用峰值信噪比（Peak Signal-To-Noise Ratio，簡稱PSNR）和結構相似性（Structure Similarity，簡稱SSIM）來判別修復圖像品質的好壞。
在一個具體實施中，在所述步驟S202中，可以將256×256的歷史輸出的修復後的圖像，以及對應的一標準圖像輸入具有一通道的所述判別器的第一層卷積層。
進一步地，對於所述判別器包括的多層卷積層，各卷積層的卷積核是逐漸增加的。也即，隨著圖像的向下傳遞增加卷積核的數量，每層提取出特徵矩陣，最後一層計算所述圖像差異度，給出判別器的判別值。例如，每向下傳輸一層，卷積核的數量翻倍。
在一個具體實施中，所述生成器的損失函數可以包括生成器的對抗損失函數以及L1損失函數。
所述步驟S204可以包括步驟：根據所述第一判別結果以及所述生成器的對抗損失函數，計算得到第一輸出值；根據所述歷史輸出的修復後的圖像、所述歷史輸出的修復後的圖像相對應的標準圖像以及所述L1損失函數，計算得到第二輸出值；根據所述第一輸出值和第二輸出值更新所述生成器的卷積核的權重。
例如，可以基於如下公式計算得到所述第一輸出值：
Figure 02_image045
；
其中， Lg_adv 為所述第一輸出值；
Figure 02_image047
表示求滿足函數最大時G的值，G為所述生成器，求出的G的值即為所述第一輸出值； Ez~p (z) (u)為z服從於p(z)時函數u的均值，p(z)為所述歷史輸出的修復後的圖像的分佈，z為所述待處理的圖像；D(G(z))為所述第一判別結果；G(z)為所述歷史輸出的修復後的圖像。
又例如，可以基於如下公式計算得到所述第二輸出值：
Figure 02_image049
；
其中，L1為所述第二輸出值（即前述L1損失函數）；x為所述標準圖像；z為所述待處理的圖像；G(z)為所述歷史輸出的修復後的圖像。
進一步地，可以根據所述第一輸出值與第二輸出值的加和更新所述生成器的卷積核的權重。
在一個具體實施中，所述判別器的卷積核的權重也可以根據所述判別器歷史上對所述生成器修復的圖像以及相對應的標準圖像的判別結果更新。
也即，在執行所述步驟S204的之前/之後/同時，還可以執行步驟：獲取所述生成器歷史輸出的修復後的圖像以及相對應的標準圖像；將所述歷史輸出的修復後的圖像輸入所述判別器以得到第一判別結果，並將所述標準圖像輸入所述判別器以得到第二判別結果；至少根據判別器的對抗損失函數、所述第一判別結果以及所述第二判別結果，計算得到第三輸出值；根據所述第三輸出值更新所述判別器的卷積核的權重。
例如，可以基於如下公式計算得到所述第三輸出值：
Figure 02_image051
；
其中，
Figure 02_image053
為所述第三輸出值；
Figure 02_image055
()表示求滿足函數最小時D的值，D為所述判別器，求出的D的值即為所述第三輸出值；
Figure 02_image057
為x服從於q(x)時函數u的均值，q(x)為所述標準圖像的分佈，x為所述標準圖像；
Figure 02_image059
(u)為z服從於p(z)時函數u的均值，p(z)為所述歷史輸出的修復後的圖像的分佈，z為所述待處理的圖像；D(x)為所述第二判別結果；D(G(z))為所述第一判別結果；G(z)為所述歷史輸出的修復後的圖像；λ為預設的超參；
Figure 02_image061
為梯度函數；
Figure 02_image063
為q(x)分佈與p(z)分佈之間的插值；
Figure 02_image065
為所述判別器對q(x)分佈與p(z)分佈之間的插值的梯度。
在一個變化例中，可以首先基於前述步驟更新所述判別器的卷積核的權重，然後執行所述步驟S202，以將所述歷史輸出的修復後的圖像輸入權重經過更新的判別器。
在一個具體實施中，對所述生成器的卷積核的權重的更新步驟以及對所述判別器的卷積核的權重的更新步驟是重複多次執行的，以循環迭代的訓練所述生成器和判別器，直至所述第一判別結果和第二判別結果的差異落入預設可容忍範圍內。
在一個具體實施中，所述判別器可以包括：多個串聯的殘差模組，用於接收待判別的圖像的特徵圖（feature map）或者上一級殘差模組輸出的處理後的特徵圖，所述待判別的圖像為所述生成器歷史輸出的修復後的圖像或者相對應的標準圖像，每一殘差模組可以包括一個或多個卷積層。
具體地，所述殘差模組可以包括採樣殘差模組（Resblock）和下採樣殘差模組（Resblock down）。
所述殘差模組可以用於提取輸入的圖像的特徵，並且，殘差模組的設置利於在迭代更新卷積核的權重以加深網絡時有效避免梯度消失。
例如，所述多個串聯的殘差模組可以包括級聯的多個下採樣殘差模組以及一個採樣殘差模組，所述採樣殘差模組的輸出即為所述判別器的輸出。
或者，所述採樣殘差模組的輸出可以經過一系列處理，如歸一化處理等，然後作為所述判別器的輸出。
例如，所述判別器的第一個下採樣殘差模組接收輸入的256×256的所述歷史輸出的修復後的圖像或者相對應的標準圖像，最後一個下採樣殘差模組輸出的是 4×4×512的特徵。所述 4×4×512的特徵經過一個採樣殘差模組後輸出，再經過全域平均池化（Global Average Pooling）變成1×1×512的特徵向量，最後採用全連接層輸出為判別器的輸出。採用本示例，所述判別器最終輸出為1個數。
進一步地，所述判別器還可以包括：自注意力模組（Non-Local Block），所述自注意力模組的輸入與所述多個串聯的殘差模組中的一個殘差模組相連以接收殘差模組輸出的處理後的特徵圖，所述自注意力模組用於提取輸入的特徵圖的全域特徵，所述自注意力模組的輸出與所述多個串聯的殘差模組中的另一個殘差模組相連。
例如，所述自注意力模組的輸入可以與第二個殘差模組的輸出相連，所述自注意力模組的輸出可以與第三個殘差模組的輸入相連。也即，所述自注意力模組設置於第二個下採樣殘差模組的後面，此時，特徵圖的寬和高都是64，對計算的複雜度的要求適中，且能夠很好的提取全域特徵。
圖3示出所述殘差模組的一結構示意圖。
具體地，參考圖3，所述殘差模組從輸入到輸出可以依次包括：一4×4卷積層、一歸一化模組（NormLayer）、一線性修正單元（LeayRelu）、一4×4卷積層、一歸一化模組，以及一線性修正單元。其中，4×4為卷積核。
例如，所述歸一化模組可以為實例歸一化模組（Instance Normalization），能夠加速模型收斂，且保持每個圖像實例之間的獨立性。
經過所述線性修正單元的特徵圖中，大於零的部分保持不變，小於零的部分可以乘以預設常數，以達到線性修正目的。其中，所述預設常數可以為0.2。
進一步地，所述殘差模組還可以包括：通道注意力模組，所述通道注意力模組用於對輸入的特徵圖的通道進行加權處理，所述輸入的特徵圖為經過所述殘差模組的卷積層處理後的特徵圖。由此，所述通道注意力模組的設置利於提高圖像修復的效果。
例如，所述通道注意力模組的輸入可以連接第二個線性修正單元的輸出。
進一步地，所述殘差模組還可以包括：加和單元（圖中以「+」標識），所述加和單元包括兩路輸入，所述兩路輸入中的一路為所述通道注意力模組的輸出，所述兩路輸入中的另一路輸入快速連接至所述殘差模組的初始輸入。所述加和單元對兩路輸入進行加和處理，以得到所述殘差模組的輸出。
在一個具體實施中，所述殘差模組可以包括2個卷積層，利於關注到更多的特徵。
圖4是圖3中通道注意力模組的一結構示意圖。
具體地，參考圖4，所述通道注意力模組可以包括：全域平均池化單元，用於對所述輸入的特徵圖進行全域平均池化處理，以得到所述特徵圖的平均值；線性修正單元，用於對全域平均池化處理後的特徵圖進行線性修正；S激活函數（Sigmoid）單元，用於根據線性修正後的特徵圖確定各通道的權重，所述權重的取值可以在0-1之間；其中，相鄰單元之間通過全連接層連接。
進一步地，所述通道注意力模組還可以包括：第一加權求和單元，用於根據所述S激活函數單元確定的各通道的權重對所述輸入的特徵圖進行加權求和處理。例如，所述第一加權求和單元的兩路輸入中的一路為經過快速連接方式獲取的所述通道注意力模組初始輸入的特徵圖，所述第一加權求和單元的兩路輸入中的另一路為所述S激活函數單元確定的各通道的權重，所述第一加權求和單元基於所述各通道的權重對所述初始輸入的特徵圖進行加權求和處理，以得到輸出結果。
圖5是所述自注意力模組的一結構示意圖。
具體地，參考圖5，所述自注意力模組可以包括：查詢（query）單元，用於採用查詢卷積核對輸入的處理後的特徵圖進行卷積處理，以得到查詢卷積處理結果。例如，第二個殘差模組輸出的N×H×W×256的特徵圖輸入所述查詢單元，假設所述查詢卷積核為1×1×1，則可以得到N×H×W×32的查詢卷積處理結果。其中，N為輸入的圖像數量，W為特徵圖的寬，H為特徵圖的高。
所述自注意力模組還可以包括：鍵（key）單元，用於採用鍵卷積核對輸入的處理後的特徵圖進行卷積處理，以得到鍵卷積處理結果。例如，第二個殘差模組輸出的N×H×W×256的特徵圖輸入所述查詢單元，假設所述鍵卷積核為1×1×1，則可以得到N×H×W×32的鍵卷積處理結果。
所述自注意力模組還可以包括：值（value）單元，用於採用值卷積核對輸入的處理後的特徵圖進行卷積處理，以得到值卷積處理結果。例如，第二個殘差模組輸出的N×H×W×256的特徵圖輸入所述查詢單元，假設所述值卷積核為1×1×1，則可以得到N×H×W×128的值卷積處理結果。
所述自注意力模組還可以包括：自相似度計算單元，用於計算所述查詢卷積處理結果和所述值卷積處理結果的自相似度。例如，所述查詢卷積處理結果經過最大池化（max pooling）處理後，輸出為N×1/2H×1/2W×32，與所述鍵卷積處理結果一同輸入所述自相似度計算單元，以計算得到所述自相似度。
所述自注意力模組還可以包括：歸一化處理單元（圖未示），用於基於預設回歸函數對計算得到的自相似度進行歸一化處理，以得到歸一化權重。例如，所述歸一化處理單元可以採用softmax函數對自相似度計算單元的輸出進行歸一化處理。
所述自注意力模組還可以包括：第二加權求和單元，用於根據所述歸一化權重對所述值卷積處理結果進行加權求和，以得到加權求和結果。例如，根據前述示例的輸入參數，所述加權求和結果可以為N×H×W×256的特徵圖。
進一步，所述第二加權求和單元輸出的加權求和結果經過1×1×1卷積層卷積處理後，輸出為N×H×W×256的特徵圖。
進一步，1×1×1卷積層輸出的N×H×W×256的特徵圖與所述自注意力模組初始輸入的N×H×W×256的特徵圖經過矩陣加法運算，得到所述自注意力模組最終的輸出（即為N×H×W×256的特徵圖）。
通常而言，所述自注意力模組在所述判別器中的層級位置越靠上，判別結果的精度越高，而計算量也會相應增加。
由上，採用本實施例的方案，在基於神經網絡模型進行圖像修復時，神經網絡模型的卷積核是根據歷史修復結果進行調整的，以優化本實施例所述生成器輸出的修復後的圖像的修復品質。具體而言，至少根據所述生成器歷史上對圖像的修復品質調整卷積核的過程可以是在模型訓練階段實施的，以調整得到更符合實際需求的生成器。進一步地，在實際應用階段，同樣可以基於歷史已經修復完成的圖像繼續調整卷積核，並且，隨著歷史數據的擴充，用於調整卷積核的反饋數據越來越大，使得對卷積核的調整更為準確，利於改善基於機器學習進行圖像修復時的修復品質。
圖6是本發明實施例的一種圖像修復裝置的一示意圖。本領域技術人員理解，本實施例所述圖像修復裝置6可以用於實施上述圖1至圖5所示實施例中所述的方法技術方案。
具體地，參考圖6，所述圖像修復裝置6可以包括：一第一獲取模組61，用於獲取待處理的圖像，所述圖像包含生物特徵信息；處理模組62，用於將所述待處理的圖像輸入生成器，所述生成器包括具有多層卷積層的神經網絡模型，所述多層卷積層之間具有連接關係，其中所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；及一第二獲取模組63，用於獲取所述生成器輸出的修復後的圖像。
關於所述圖像修復裝置6的工作原理、工作方式的更多內容，可以參照上述圖1至圖5中的相關描述，這裡不再贅述。
進一步地，本發明實施例還公開一種存儲介質，其上存儲有計算機指令，所述計算機指令運行時執行上述圖1至圖5所示實施例中所述的方法技術方案。優選地，所述存儲介質可以包括諸如非揮發性（non-volatile）存儲器或者非瞬態（non-transitory）存儲器等計算機可讀存儲介質。所述存儲介質可以包括ROM、RAM、磁碟或光碟等。
進一步地，本發明實施例還公開一種終端，包括一存儲器，及一處理器，所述存儲器上存儲有能夠在所述處理器上運行的計算機指令，所述處理器運行所述計算機指令時執行上述圖1至圖5所示實施例中所述的方法技術方案。優選地，所述終端可以是智能設備，如手機、IPAD等。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S101:步驟 S102:步驟 S103:步驟 S201:步驟 S202:步驟 S203:步驟 S204:步驟 6:圖像修復裝置 61:第一獲取模組 62:處理模組 63:第二獲取模組
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是本發明實施例的一種圖像修復方法的一流程圖； 圖2是本發明實施例的一種卷積核調整方法的一流程圖； 圖3是本發明實施例的一種殘差模組的一結構示意圖； 圖4是圖3中通道注意力模組的一結構示意圖； 圖5是本發明實施例的一種自注意力模組的一結構示意圖； 圖6是本發明實施例的一種圖像修復裝置的一示意圖。
S101:步驟
S102:步驟
S103:步驟

Claims (21)

  1. 一種圖像修復方法，包括： 獲取一待處理的圖像，所述圖像包含一生物特徵信息； 將所述待處理的圖像輸入一生成器，所述生成器包括一具有多層卷積層的神經網絡模型，所述多層卷積層之間具有一連接關係，其中所述生成器的一卷積核的權重至少根據所述生成器歷史上對圖像的修復品質決定；及 獲取所述生成器輸出的修復後的一圖像。
  2. 根據請求項1所述的圖像修復方法，其中，進行所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質決定的步驟包括：根據判別器對所述生成器歷史輸出的修復後的圖像的判別結果更新所述生成器的卷積核的權重，其中，所述判別器包括所述具有多層卷積層的神經網絡模型，所述多層卷積層之間具有所述連接關係。
  3. 根據請求項2所述的圖像修復方法，其中，所述根據判別器對所述生成器歷史輸出的修復後的圖像的判別結果更新所述生成器的卷積核的權重包括： 獲取所述生成器歷史輸出的修復後的圖像； 將所述歷史輸出的修復後的圖像輸入所述判別器； 獲取所述判別器對所述歷史輸出的修復後的圖像的一第一判別結果；及 至少根據生成器的損失函數以及所述第一判別結果更新所述生成器的卷積核的權重。
  4. 根據請求項3所述的圖像修復方法，其中，所述生成器的損失函數包括生成器的對抗損失函數，以及L1損失函數；所述至少根據生成器的損失函數以及所述第一判別結果更新所述生成器的卷積核的權重包括： 根據所述第一判別結果以及所述生成器的對抗損失函數，計算得到一第一輸出值； 根據所述歷史輸出的修復後的圖像、所述歷史輸出的修復後的圖像相對應的標準圖像以及所述L1損失函數，計算得到一第二輸出值；及 根據所述第一輸出值和所述第二輸出值更新所述生成器的卷積核的權重。
  5. 根據請求項4所述的圖像修復方法，其中，所述根據所述第一判別結果以及所述生成器的對抗損失函數，計算得到第一輸出值包括： 基於如下公式計算得到所述第一輸出值：
    Figure 03_image067
    其中， Lg_adv 為所述第一輸出值；
    Figure 03_image069
    表示求滿足函數最大時G的值，G為所述生成器，求出的G的值即為所述第一輸出值； Ez~p (z) (u)為z服從於p(z)時函數u的均值，p(z)為所述歷史輸出的修復後的圖像的分佈，z為所述待處理的圖像；D(G(z))為所述第一判別結果；G(z)為所述歷史輸出的修復後的圖像。
  6. 根據請求項4所述的圖像修復方法，其中，所述根據所述歷史輸出的修復後的圖像、所述歷史輸出的修復後的圖像相對應的標準圖像以及所述L1損失函數，計算得到第二輸出結果包括： 基於如下公式計算得到所述第二輸出值：
    Figure 03_image071
    其中，L1為所述第二輸出值；x為所述標準圖像；z為所述待處理的圖像；G(z)為所述歷史輸出的修復後的圖像。
  7. 根據請求項2所述的圖像修復方法，其中，所述判別器的卷積核的權重根據所述判別器歷史上對所述生成器修復的圖像以及相對應的一標準圖像的判別結果更新。
  8. 根據請求項7所述的圖像修復方法，其中，所述判別器的卷積核的權重根據所述判別器歷史上對所述生成器修復的圖像以及相對應的一標準圖像的判別結果更新包括： 獲取所述生成器歷史輸出的修復後的圖像以及相對應的所述標準圖像； 將所述歷史輸出的修復後的圖像輸入所述判別器以得到一第一判別結果，並將所述標準圖像輸入所述判別器以得到一第二判別結果； 至少根據判別器的對抗損失函數、所述第一判別結果以及所述第二判別結果，計算得到一第三輸出值；及 根據所述第三輸出值更新所述判別器的卷積核的權重。
  9. 根據請求項8所述的圖像修復方法，其中，所述至少根據判別器的對抗損失函數、所述第一判別結果以及所述第二判別結果，計算得到第三輸出值包括： 基於如下公式計算得到所述第三輸出值：
    Figure 03_image073
    ； 其中，
    Figure 03_image075
    為所述第三輸出值；
    Figure 03_image077
    表示求滿足函數最小時D的值，D為所述判別器，求出的D的值即為所述第三輸出值；
    Figure 03_image079
    為x服從於q(x)時函數u的均值，q(x)為所述標準圖像的分佈，x為所述標準圖像；
    Figure 03_image081
    (u)為z服從於p(z)時函數u的均值，p(z)為所述歷史輸出的修復後的圖像的分佈，z為所述待處理的圖像；D(x)為所述第二判別結果；D(G(z))為所述第一判別結果；G(z)為所述歷史輸出的修復後的圖像；λ為預設的超參；
    Figure 03_image083
    為梯度函數；
    Figure 03_image085
    為q(x)分佈與p(z)分佈之間的插值；
    Figure 03_image087
    為所述判別器對q(x)分佈與p(z)分佈之間的插值的梯度。
  10. 根據請求項7所述的圖像修復方法，其中，對所述生成器的卷積核的權重的更新步驟以及對所述判別器的卷積核的權重的更新步驟是重複多次執行的。
  11. 根據請求項2至10中任一項所述的圖像修復方法，其中，所述判別器包括： 多個串聯的殘差模組，用於接收待判別的圖像的特徵圖或者上一級殘差模組輸出的處理後的特徵圖，所述待判別的圖像為所述生成器歷史輸出的修復後的圖像或者相對應的標準圖像，每一殘差模組包括一個或多個卷積層；及 一自注意力模組，所述自注意力模組的輸入與所述多個串聯的殘差模組中的一個殘差模組相連以接收殘差模組輸出的處理後的特徵圖，所述自注意力模組用於提取輸入的特徵圖的全域特徵，所述自注意力模組的輸出與所述多個串聯的殘差模組中的另一個殘差模組相連。
  12. 根據請求項11所述的圖像修復方法，其中，所述殘差模組包括： 通道注意力模組，所述通道注意力模組用於對輸入的特徵圖的通道進行加權處理，所述輸入的特徵圖為經過所述殘差模組的卷積層處理後的特徵圖。
  13. 根據請求項12所述的圖像修復方法，其中，所述通道注意力模組包括： 一全域平均池化單元，用於對所述輸入的特徵圖進行全域平均池化處理； 一線性修正單元，用於對全域平均池化處理後的特徵圖進行線性修正；及 一S激活函數單元，用於根據線性修正後的特徵圖確定各通道的權重； 其中，相鄰的所述單元之間通過一全連接層連接。
  14. 根據請求項13所述的圖像修復方法，其中，所述通道注意力模組還包括： 一第一加權求和單元，用於根據所述S激活函數單元確定的各通道的權重對所述輸入的特徵圖進行加權求和處理。
  15. 根據請求項11所述的圖像修復方法，其中，所述自注意力模組的輸入與第二個殘差模組的輸出相連，所述自注意力模組的輸出與第三個殘差模組的輸入相連。
  16. 根據請求項11所述的圖像修復方法，其中，所述自注意力模組包括： 一查詢單元，用於採用查詢卷積核對輸入的處理後的特徵圖進行卷積處理，以得到一查詢卷積處理結果； 一鍵單元，用於採用鍵卷積核對輸入的處理後的特徵圖進行卷積處理，以得到一鍵卷積處理結果； 一值單元，用於採用值卷積核對輸入的處理後的特徵圖進行卷積處理，以得到一值卷積處理結果； 一自相似度計算單元，用於計算所述查詢卷積處理結果和所述值卷積處理結果的自相似度； 一歸一化處理單元，用於基於預設回歸函數對計算得到的自相似度進行歸一化處理，以得到一歸一化權重；及 一第二加權求和單元，用於根據所述歸一化權重對所述值卷積處理結果進行加權求和，以得到一加權求和結果，所述自注意力模組的輸出根據所述加權求和結果生成。
  17. 根據請求項1所述的圖像修復方法，其中，所述生成器基於部分卷積方式及/或LBAM方式對所述待處理的圖像進行處理。
  18. 根據請求項1所述的圖像修復方法，其中，所述生物特徵信息包含指紋或掌紋信息。
  19. 一種圖像修復裝置，其中，包括： 一第一獲取模組，用於獲取一待處理的圖像，所述圖像包含一生物特徵信息； 一處理模組，用於將所述待處理的圖像輸入一生成器，所述生成器包括一具有多層卷積層的神經網絡模型，所述多層卷積層之間具有一連接關係，其中，所述生成器的卷積核的權重至少根據所述生成器歷史上對圖像的修復品質確定；及 一第二獲取模組，用於獲取所述生成器輸出的一修復後的圖像。
  20. 一種存儲介質，其上存儲有一計算機指令，其中，所述計算機指令運行時執行請求項1至18中任一項所述的圖像修復方法。
  21. 一種終端，包括一存儲器，及一處理器，所述存儲器上存儲有一能夠在所述處理器上運行的計算機指令，其中，所述處理器運行所述計算機指令時，執行請求項1至18任一項所述的圖像修復方法。
TW110115405A 2020-04-29 2021-04-28 圖像修復方法及裝置、存儲介質、終端 TWI823084B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010357097.7A CN113570508A (zh) 2020-04-29 2020-04-29 图像修复方法及装置、存储介质、终端
CN202010357097.7 2020-04-29

Publications (2)

Publication Number Publication Date
TW202141358A true TW202141358A (zh) 2021-11-01
TWI823084B TWI823084B (zh) 2023-11-21

Family

ID=78158601

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115405A TWI823084B (zh) 2020-04-29 2021-04-28 圖像修復方法及裝置、存儲介質、終端

Country Status (3)

Country Link
US (1) US20210342977A1 (zh)
CN (1) CN113570508A (zh)
TW (1) TWI823084B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210043995A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 모델 학습 방법 및 장치, 및 시퀀스 인식 방법
WO2023108544A1 (zh) * 2021-12-15 2023-06-22 深圳航天科技创新研究院 用于成像应用的单天线超宽带雷达***
CN114331904B (zh) * 2021-12-31 2023-08-08 电子科技大学 一种人脸遮挡识别方法
WO2023150910A1 (en) * 2022-02-08 2023-08-17 Nvidia Corporation Image generation using a neural network
CN114781603B (zh) * 2022-04-07 2024-06-21 安徽理工大学 一种用于cnn模型图像分类任务的高精度激活函数
CN114898177B (zh) * 2022-05-09 2023-08-04 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN117197178A (zh) * 2022-05-31 2023-12-08 中兴通讯股份有限公司 前后景分割方法、电子设备、计算机可读介质
CN114972116B (zh) * 2022-06-29 2024-03-26 桂林电子科技大学 一种基于NASPE-net的低照度图像增强方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970887B2 (en) * 2016-06-24 2021-04-06 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN107945140A (zh) * 2017-12-20 2018-04-20 中国科学院深圳先进技术研究院 一种图像修复方法、装置及设备
CN108765511B (zh) * 2018-05-30 2023-03-24 重庆大学 基于深度学习的超声图像超分辨率重建方法
US10859657B2 (en) * 2018-05-31 2020-12-08 The Board Of Trustees Of The Leland Stanford Junior University MRI reconstruction using deep learning, generative adversarial network and acquisition signal model
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
KR102102182B1 (ko) * 2018-08-31 2020-04-20 서울대학교산학협력단 영상 복원 장치 및 방법
CN109872278B (zh) * 2018-12-18 2020-11-10 深圳先进技术研究院 基于u形网络和生成对抗网络的图像云层移除方法
CN109871845B (zh) * 2019-01-10 2023-10-31 平安科技（深圳）有限公司 证件图像提取方法及终端设备
CN110084281B (zh) * 2019-03-31 2023-09-12 华为技术有限公司 图像生成方法、神经网络的压缩方法及相关装置、设备
CN110097550B (zh) * 2019-05-05 2021-02-02 电子科技大学 一种基于深度学习的医学图像分割方法及***
CN110222668B (zh) * 2019-06-17 2020-12-22 苏州大学 基于生成对抗网络的多姿态面部表情识别方法
CN110246137B (zh) * 2019-06-19 2021-12-03 东软医疗***股份有限公司 一种成像方法、装置及存储介质
CN110335212B (zh) * 2019-06-28 2021-01-15 西安理工大学 基于条件对抗网络的缺损古籍汉字修复方法
CN110766623A (zh) * 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法
CN110852940A (zh) * 2019-11-01 2020-02-28 天津大学 一种图像处理方法及相关设备

Also Published As

Publication number Publication date
US20210342977A1 (en) 2021-11-04
CN113570508A (zh) 2021-10-29
TWI823084B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
TW202141358A (zh) 圖像修復方法及裝置、存儲介質、終端
CN109949255B (zh) 图像重建方法及设备
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN105138973B (zh) 人脸认证的方法和装置
CN111105017B (zh) 神经网络量化方法、装置及电子设备
WO2021042857A1 (zh) 图像分割模型的处理方法和处理装置
WO2018035794A1 (zh) 用于测量图像清晰度值的***及其方法
CN117351448B (zh) 一种基于YOLOv8改进的偏振图像道路目标检测方法
CN115131214A (zh) 基于自注意力的室内老人图像超分辨率重构方法及***
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
CN114693607A (zh) 基于多域块特征标志点配准的篡改视频检测方法及***
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
CN110942097A (zh) 基于单像素探测器的免成像分类方法和***
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN114492755A (zh) 基于知识蒸馏的目标检测模型压缩方法
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
CN112561050B (zh) 一种神经网络模型训练方法及装置
US20200372363A1 (en) Method of Training Artificial Neural Network Using Sparse Connectivity Learning
CN113033448A (zh) 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络***、方法、设备及存储介质
CN115937121A (zh) 基于多维度特征融合的无参考图像质量评价方法及***
CN116152542A (zh) 图像分类模型的训练方法、装置、设备及存储介质
CN114677535A (zh) 域适应图像分类网络的训练方法、图像分类方法及装置
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
CN114820755A (zh) 一种深度图估计方法及***
CN113838104A (zh) 基于多光谱与多模态图像一致性增强网络的配准方法