TWI719777B - 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體 - Google Patents

圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI719777B
TWI719777B TW108147599A TW108147599A TWI719777B TW I719777 B TWI719777 B TW I719777B TW 108147599 A TW108147599 A TW 108147599A TW 108147599 A TW108147599 A TW 108147599A TW I719777 B TWI719777 B TW I719777B
Authority
TW
Taiwan
Prior art keywords
image
feature
optimization
fusion
processing
Prior art date
Application number
TW108147599A
Other languages
English (en)
Other versions
TW202114407A (zh
Inventor
孫書洋
周儀
李怡康
歐陽萬里
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Application granted granted Critical
Publication of TWI719777B publication Critical patent/TWI719777B/zh
Publication of TW202114407A publication Critical patent/TW202114407A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

本發明涉及一種圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體，所述方法包括：獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵；利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。本發明實施例可提高重建圖像的圖像品質。

Description

圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
本發明涉及電腦視覺技術領域，尤其涉及一種圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體。
圖像重建任務是底層視覺領域的重要問題。圖像重建指的是將有噪聲的，模糊的低品質圖像重建成清晰無噪的高品質圖像，比如可以實現視訊圖像去噪、視訊超分，或者視訊去模糊等。與單一的圖像重建的任務不同，如何有效的利用視訊的時間訊息（視訊幀間訊息）是重建視訊品質的關鍵。
本發明提出了一種圖像處理的技術方案。
根據本發明的一方面，提供了一種圖像重建方法，其包括：
獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；
對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；
根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵；
利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
在一些可能的實施方式中，所述獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，包括：
獲取與所述第一圖像直接相鄰和/或間隔相鄰的至少一幀第二圖像；
分別對所述第一圖像和所述第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
在一些可能的實施方式中，所述對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵，包括：
對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，其中，所述第一融合特徵融合有所述第二圖像的特徵訊息，所述第二融合特徵融合有所述第一圖像的特徵訊息；
利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵。
在一些可能的實施方式中，所述對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，包括：
連接所述第一圖像的圖像特徵和所述第二圖像的圖像特徵，得到第一連接特徵；
利用第一殘差模組對所述第一連接特徵執行優化處理，得到第三優化特徵；
利用兩個卷積層分別對所述第三優化特徵執行卷積處理，得到所述第一融合特徵和第二融合特徵。
在一些可能的實施方式中，所述利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵，包括：
對所述第一圖像的圖像特徵與第一融合特徵執行加和處理，得到第一加和特徵；
對所述第二圖像的圖像特徵與第二融合特徵執行加和處理，得到第二加和特徵；
利用第二殘差模組分別對所述第一加和特徵和所述第二加和特徵執行優化處理，得到所述第一優化特徵和第二優化特徵。
在一些可能的實施方式中，所述根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵，包括：
獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣；
對所述第一優化特徵和第二優化特徵進行連接，得到第二連接特徵；
基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵。
在一些可能的實施方式中，所述獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣，包括：
將所述第一優化特徵和所述第二優化特徵輸入到圖卷積神經網路，通過所述圖卷積神經網路得到所述關聯矩陣。
在一些可能的實施方式中，所述基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵，包括：
利用激活函數對所述關聯矩陣進行激活處理，並利用激活處理後的關聯矩陣與所述第二連接特徵之間的乘積，得到所述融合特徵。
在一些可能的實施方式中，所述利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述第一圖像對應的重建圖像，包括：
對所述第一圖像的圖像特徵和所述融合特徵執行加和處理，得到所述重建圖像的圖像特徵；
利用所述重建圖像的圖像特徵，得到所述第一圖像對應的重建圖像。
在一些可能的實施方式中，所述圖像重建方法用於實現圖像去噪處理、圖像超分處理以及圖像去模糊處理中的至少一種。
在一些可能的實施方式中，在所述圖像重建方法用於實現圖像超分處理的情況下，所述獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，包括：
對所述第一圖像和所述第二圖像執行上採樣處理；
對上採樣處理後的所述第一圖像和第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
根據本發明的第二方面，提供了一種圖像重建裝置，其包括：
獲取模組，用於獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；
優化模組，用於對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；
關聯模組，用於根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵；
重建模組，用於利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
在一些可能的實施方式中，所述獲取模組還用於獲取與所述第一圖像直接相鄰和/或間隔相鄰的至少一幀第二圖像；
分別對所述第一圖像和所述第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
在一些可能的實施方式中，所述優化模組包括：
多幀融合單元，用於對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，其中，所述第一融合特徵融合有所述第二圖像的特徵訊息，所述第二融合特徵融合有所述第一圖像的特徵訊息；
單幀優化單元，用於利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵。
在一些可能的實施方式中，所述多幀融合單元還用於連接所述第一圖像的圖像特徵和所述第二圖像的圖像特徵，得到第一連接特徵；
利用第一殘差模組對所述第一連接特徵執行優化處理，得到第三優化特徵；
利用兩個卷積層分別對所述第三優化特徵執行卷積處理，得到所述第一融合特徵和第二融合特徵。
在一些可能的實施方式中，所述單幀優化單元還用於對所述第一圖像的圖像特徵與第一融合特徵執行加和處理，得到第一加和特徵；
對所述第二圖像的圖像特徵與第二融合特徵執行加和處理，得到第二加和特徵；
利用第二殘差模組分別對所述第一加和特徵和所述第二加和特徵執行優化處理，得到所述第一優化特徵和第二優化特徵。
在一些可能的實施方式中，所述關聯模組包括：
關聯單元，用於獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣；
連接單元，用於對所述第一優化特徵和第二優化特徵進行連接，得到第二連接特徵；
融合單元，用於基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵。
在一些可能的實施方式中，所述關聯單元還用於將所述第一優化特徵和所述第二優化特徵輸入到圖卷積神經網路，通過所述圖卷積神經網路得到所述關聯矩陣。
在一些可能的實施方式中，所述融合單元還用於利用激活函數對所述關聯矩陣進行激活處理，並利用激活處理後的關聯矩陣與所述第二連接特徵之間的乘積，得到所述融合特徵。
在一些可能的實施方式中，所述重建單元還用於對所述第一圖像的圖像特徵和所述融合特徵執行加和處理，得到所述重建圖像的圖像特徵；
利用所述重建圖像的圖像特徵，得到所述第一圖像對應的重建圖像。
在一些可能的實施方式中，所述圖像重建裝置用於實現圖像去噪處理、圖像超分處理以及圖像去模糊處理中的至少一種。
在一些可能的實施方式中，所述獲取模組還用於在所述圖像重建裝置用於實現圖像超分處理的情況下，對所述第一圖像和所述第二圖像執行上採樣處理；
對上採樣處理後的所述第一圖像和第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
根據本發明的第三方面，提供了一種電子設備，其包括：
處理器；
用於儲存處理器可執行指令的記憶體；
其中，所述處理器被配置爲調用所述記憶體儲存的指令，以執行第一方面中任意一項所述的方法。
根據本發明的第四方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
根據本發明的第五方面，提供了一種電腦程式，所述電腦程式包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現第一方面中任意一項所述的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
本發明實施例的圖像重建方法的執行主體可以是任意的圖像處理裝置，例如，圖像重建方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以爲用戶設備（User Equipment，UE）、移動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。伺服器可以包括本地伺服器或者雲端伺服器。在一些可能的實現方式中，該圖像重建方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
本發明實施例的圖像重建方法可以應用於對視訊中的圖像執行圖像重建處理，例如該圖像重建可以包括對圖像進行去噪、超分或者去模糊處理中的至少一種，可以提高視訊圖像的圖像品質。
圖1示出根據本發明實施例的一種圖像重建方法的流程圖，如圖1所示，所述圖像重建方法包括：
S10：獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；
在一些可能的實施方式中，視訊數據可以爲任意的採集設備採集的視訊訊息，其中可以包括至少兩幀圖像。本發明實施例可以將待執行重建的圖像稱之爲第一圖像，以及用於優化第一圖像的圖像稱之爲第二圖像。其中第一圖像和第二圖像可以爲相鄰圖像，本發明實施例中的相鄰可以包括直接相鄰，或者也可以包括間隔相鄰。第一圖像和第二圖像直接相鄰是指第一圖像和第二圖像爲視訊中時間幀相差爲1的兩個圖像，例如第一圖像爲第t幀圖像，第二圖像可以爲t-1或者t+1幀圖像，t爲大於或者等於1的整數。第一圖像和第二圖像間隔相鄰是指第一圖像和第二圖像是視訊中時間幀相差大於1的兩個圖像，例如第一圖像爲第t幀圖像，第二圖像爲t+a幀圖像，或者爲t-a幀圖像，a爲大於1的整數。
在一些可能的實施方式中，用於重建第一圖像的第二圖像可以至少爲1個。也就是說，第二圖像可以是一個，也可以爲多個，本發明對此不作具體限定。本發明實施例中，確定用於重建第一圖像的第二圖像的方式可以根據預先設定的規則確定第二圖像，該預先設定的規則可以包括第二圖像的數量，以及與所述第一圖像之間的間隔的幀數，其中該間隔的幀數可以爲正數也可以爲負數，在爲正數時，表示第二圖像的時間幀的數值大於第一圖像的時間幀的數值，以及在間隔幀數爲負數時，表示第一圖像的時間幀的數值大於第二圖像的時間幀的數值。
在一些可能的實施方式中，在確定第一圖像以及第二圖像的情況下，可以得到第一圖像和第二圖像的圖像特徵。其中，可以直接將第一圖像和第二圖像中至少一個像素點對應的像素值作爲圖像特徵，或者也可以通過對第一圖像和第二圖像執行特徵提取處理，分別得到第一圖像和第二圖像的圖像特徵。
S20：對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；
在一些可能的實施方式中，可以通過分別對第一圖像的圖像特徵和第二圖像的圖像特徵執行卷積處理，實現對各圖像特徵的分別優化，通過該優化可以增加更爲細節的特徵訊息，提高特徵的豐富性。其中，通過對第一圖像和第二圖像的圖像特徵執行優化處理，可以分別得到對應的第一優化特徵和第二優化特徵。或者也可以將第一圖像和第二圖像的圖像特徵連接得到連接特徵，並對連接特徵執行特徵處理，使得第一圖像和第二圖像的圖像特徵能夠相互融合，同時還能夠提高特徵精確度，進而分別通過兩個卷積層對得到的特徵分別進行卷積，對應得到第一優化特徵和第二優化特徵。
S30：根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵；
在一些可能的實施方式中，在得到第一優化特徵和第二優化特徵的情況下，可以進一步獲得第一優化特徵和第二優化特徵之間的關聯矩陣，關聯矩陣中的元素標識第一優化特徵和第二優化特徵中相同位置的特徵值之間的關聯度。
在一些可能的實施方式中，可以利用得到的關聯特徵執行第一優化特徵和第二優化特徵之間的特徵融合處理，得到融合特徵。通過該融合處理，可以有效的將第二圖像的圖像特徵和第一圖像中的圖像特徵進行融合，有利於第一圖像的重建。
S40：利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
在一些可能的實施方式中，在得到融合特徵的情況下，可以利用融合特徵對第一圖像進行圖像重建，例如可以將融合特徵和第一圖像的圖像特徵進行相加處理，得到重建的圖像特徵，該重建的圖像特徵對應的圖像即爲重建圖像。
在此需要說明的是，本發明實施例可以通過神經網路實現，也可以通過與本申請所限定的算法實現，只要是包括在本申請所保護的技術方案的範圍內，就可以作爲本發明實施例。
基於上述配置，本發明實施例可以通過第一圖像和第二圖像分別對應的第一優化特徵和第二優化特徵得到的關聯矩陣，通過該關聯矩陣表示第一優化特徵和第二優化特徵中相同位置的特徵訊息之間的關聯性，在通過關聯矩陣執行上述優化特徵融合過程時，可以使得第一圖像和第二圖像之間的幀間訊息根據相同位置的不同特徵的相關性進行融合，進而提高重建圖像效果。
下面結合附圖對本發明實施例進行詳細說明。圖2示出根據本發明實施例的一種圖像重建方法中步驟S10的流程圖。其中，所述獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，可以包括：
S11：獲取與所述第一圖像直接相鄰和/或間隔相鄰的至少一幀第二圖像；
在一些可能的實施方式中，可以獲取視訊數據中待重建的第一圖像，以及用於重建第一圖像的至少一幀第二圖像，其中，可以按照預先設定的規則選擇出第二圖像，或者也可以隨機的從第一圖像相鄰的圖像中選擇出至少一個圖像作爲第二圖像，本發明對此不作具體限定。
在一個示例中，預先設定的規則可以包括第二圖像的數量，以及與所述第一圖像之間的間隔的幀數，通過上述幀數和數量既可以確定出對應的第二圖像。例如預先設定的規則可以包括第二圖像的數量爲1，且與第一圖像之間的間隔幀數爲+1，即表示第二圖像爲第一圖像之後的一幀圖像，例如第一圖像爲第t幀圖像，則第二圖像爲t+1幀圖像。上述僅爲示例性說明，在其他實施方式中也可以通過其他方式確定第二圖像。
S12：分別對所述第一圖像和所述第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
在一些可能的實施方式中，可以直接將第一圖像和第二圖像對應的像素值確定爲圖像特徵，或者也可以利用特徵提取神經網路分別對第一圖像和第二圖像執行特徵提取處理，得到相應的圖像特徵。通過特徵提取神經網路執行特徵提取處理可以提高圖像特徵的精確度。其中，特徵提取神經網路可以爲卷積神經網路，例如可以爲殘差網路、特徵金字塔網路，或者也可以爲其他任意能夠實現特徵提取的神經網路，本發明也可以通過其他方法實現特徵提取處理，對此不作具體限定。
在得到第一圖像的圖像特徵以及第二圖像的圖像特徵的情況下，可以對第一圖像和第二圖像進行特徵優化處理，分別對應得到第一圖像的第一優化特徵以及第二圖像的第二優化特徵。其中，本發明實施例可以分別執行第一圖像和第二圖像的特徵優化處理，得到對應的第一優化特徵和第二優化特徵。例如可以利用殘差網路分別對第一圖像的圖像特徵和第二圖像的圖像特徵進行處理，得到第一圖像的第一優化特徵以及第二圖像的第二優化特徵。或者，還可以繼續對殘差網路輸出的優化特徵執行進一步的卷積處理（如至少一層卷積處理），得到第一優化特徵以及第二優化特徵。
在一些可能的實施方式中，還可以通過第一圖像的圖像特徵和第二圖像的圖像特徵的融合的方式，執行各圖像特徵的優化，得到相應的第一優化特徵和第二優化特徵。圖3示出根據本發明實施例的一種圖像重建方法中步驟S20的流程圖。
如圖3所示，所述對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵，可以包括：
S21：對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，其中，所述第一融合特徵融合有所述第二圖像的特徵訊息，所述第二融合特徵融合有所述第一圖像的特徵訊息；
在一些可能的實施方式中，可以通過第一圖像的圖像特徵和第二圖像的圖像特徵之間的多幀訊息融合，分別得到第一圖像對應的第一融合特徵以及第二圖像對應的第二融合特徵。通過多幀訊息融合處理可以使得第一圖像和第二圖像的圖像特徵之間相互融合，進而使得得到第一融合特徵和第二融合特徵中都分別包括第一圖像和第二圖像的特徵訊息。
S22：利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵。
在一些可能的實施方式中，在得到第一圖像的第一融合特徵以及第二圖像的第二融合特徵的情況下，可以利用第一融合特徵對第一圖像的圖像特徵執行單幀圖像的特徵融合（即單幀優化處理），以及利用第二融合特徵對第二圖像的圖像特徵執行單幀圖像的特徵融合，分別對應得到第一優化特徵以及第二優化特徵。其中，通過單幀優化處理可以在第一融合特徵和第二融合特徵的基礎上，進一步加强各自的圖像特徵，使得得到的第一優化特徵在具有第一圖像的圖像特徵的基礎上還同時融合第二圖像的特徵訊息，以及使得得到的第二優化特徵在具有第二圖像的圖像特徵的基礎上還同時融合第一圖像的特徵訊息。
另外，本發明實施例中，可以執行至少一次上述優化處理的過程，即執行至少一次多幀訊息融合以及單幀優化處理。其中，第一次優化處理可以直接將第一圖像和第二圖像的圖像特徵作爲優化處理的對象，在包括多次優化處理過程時，第n+1次的優化處理的對象爲第n次優化處理輸出的優化特徵，也就是說可以對第n次優化處理得到的兩個優化特徵繼續執行多幀訊息融合和單幀優化處理，得到最終的優化特徵（第一優化特徵和第二優化特徵）。通過多次優化處理可以進一步提高得到的特徵訊息的準確性以及特徵的豐富性。
下面分別對多幀訊息融合和單幀優化處理分別進行說明。圖4示出根據本發明實施例的一種圖像重建方法中步驟S21的流程圖。如圖4所示，所述對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，可以包括：
S211：連接所述第一圖像的圖像特徵和所述第二圖像的圖像特徵，得到第一連接特徵；
在一些可能的實施方式中，在執行多幀訊息融合的過程中，可以首先對第一圖像的圖像特徵和第二圖像的圖像特徵進行連接，例如在通道方向上進行連接，得到第一連接特徵。例如可以利用concat函數（連接函數）對第一圖像的圖像特徵和第二圖像的圖像特徵進行連接，使得兩幀圖像訊息進行簡單的融合。
S212：利用第一殘差模組對所述第一連接特徵執行優化處理，得到第三優化特徵；
在一些可能的實施方式中，在得到第一連接特徵的情況下，可以進一步對該第一連接特徵進行優化處理。本發明實施例中可以利用殘差網路執行該特徵優化處理。其中可以將第一連接特徵輸入到第一殘差模組（residual block）執行特徵優化，得到第三優化特徵。通過第一殘差模組的處理可以使得第一連接特徵中的特徵訊息進一步融合且提高了特徵訊息的精確度，即第三優化特徵中進一步精確的融合了第一圖像和第二圖像中的特徵訊息。
S213：利用兩個卷積層分別對所述第三優化特徵執行卷積處理，得到所述第一融合特徵和第二融合特徵。
在一些可能的實施方式中，在得到第三優化特徵的情況下，可以分別利用不同的卷積層對該第三優化特徵執行卷積處理。例如，可以利用兩個卷積層分別對第三優化特徵執行卷積處理，分別得到第一融合特徵和第二融合特徵。其中該兩個卷積層可以但不限於爲1*1的卷積核。其中第一融合特徵中包括有第二圖像的特徵訊息，第二融合特徵中也包括有第一圖像的特徵訊息，即第一融合特徵和第二融合特徵中均相互包括兩個圖像的特徵訊息。
通過上述配置，可以實現第一圖像和第二圖像的多幀圖像的特徵訊息的融合，可以通過幀間訊息融合的方式提高圖像的重建精確度。
在執行多幀圖像的幀間訊息融合處理之後，可以進一步執行單幀圖像的特徵優化處理。圖5示出根據本發明實施例的一種圖像重建方法中步驟S22的流程圖。所述利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵，包括：
S221：對所述第一圖像的圖像特徵與第一融合特徵執行加和處理，得到第一加和特徵，以及對所述第二圖像的圖像特徵與第二融合特徵執行加和處理，得到第二加和特徵；
在一些可能的實施方式中，在得到第一融合特徵的情況下，可以利用第一融合特徵執行第一圖像的單幀訊息的優化處理，本發明實施例可以利用第一圖像的圖像特徵和第一融合特徵加和的方式執行該優化處理，該加和可以包括第一融合特徵和第一圖像的圖像特徵的直接相加，也可以包括第一融合特徵和第一圖像的圖像特徵的加權相加，即第一融合特徵和第一圖像的圖像特徵分別與對應的加權係數相乘再做加和運算，其中加權係數可以爲預先設定的數值，也可以爲神經網路學習的數值，本發明對此不作具體限定。
同理，在得到第二融合特徵的情況下，可以利用第二融合特徵執行第二圖像的單幀訊息的優化處理，本發明實施例可以利用第二圖像的圖像特徵和第二融合特徵加和的方式執行該優化處理，該加和可以包括第二融合特徵和第二圖像的圖像特徵的直接相加，也可以包括第二融合特徵和第二圖像的圖像特徵的加權相加，即第二融合特徵和第二圖像的圖像特徵分別與對應的加權係數相乘再做加和運算，其中加權係數可以爲預先設定的數值，也可以爲神經網路學習的數值，本發明對此不作具體限定。
在此需要說明的是，本發明實施例對第一圖像的圖像特徵與第一融合特徵執行加和處理的時間，以及對第二圖像的圖像特徵與第二融合特徵執行加和處理的時間不做具體限定，二者可以分別執行，也可以同時執行。
通過上述加和處理，可以在融合特徵的基礎上進一步增加原始圖像的特徵訊息。單幀訊息的優化，可以實現在網路的每個階段保留單幀圖像的特徵訊息，進而可以根據已經優化的多幀訊息來優化單幀訊息。另外，本發明實施例可以直接將上述第一加和特徵和第二加和特徵作爲第一優化特徵和第二優化特徵，也可以執行後續的優化處理，進一步提高特徵精確度。
S222：利用第二殘差模組分別對所述第一加和特徵和所述第二加和特徵執行優化處理，得到所述第一優化特徵和第二優化特徵。
在一些可能的實施方式中，在得到第一加和特徵和第二加和特徵的情況下，可以進一步對第一加和特徵和第二加和特徵執行優化處理，例如可以分別對第一加和特徵和第二加和特徵執行卷積處理，得到第一優化特徵和第二優化特徵。本發明實施例爲了有效的提高特徵訊息的融合以及精確度，通過殘差網路分別執行第一加和特徵和第二加和特徵的優化處理，這裏的殘差網路被稱之爲第二殘差模組。通過第二殘差模組分別對第一加和特徵和第二加和特徵執行編碼卷積、解碼卷積等處理，實現第一加和特徵和第二加和特徵中的特徵訊息的進一步優化和融合，分別得到與第一加和特徵對應的第一優化特徵，以及與第二加和特徵對應的第二優化特徵。
通過上述實施方式，可以實現第一圖像和第二圖像中多幀訊息的融合以及單幀訊息的優化處理，在提高第一圖像的特徵訊息的精確度的基礎上，還能夠融合其餘圖像的特徵訊息，通過幀間訊息的融合，提高重建圖像的精確度。
在執行圖像特徵的優化之後，可以進一步得到優化特徵之間的關聯性，根據該關聯性進一步重建圖像。圖6示出根據本發明實施例的一種圖像重建方法中步驟S30的流程圖。
如圖6所示，所述根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵，包括：
S31：獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣；
在一些可能的實施方式中，在獲得第一圖像對應的第一優化特徵以及第二圖像對應的第二優化特徵的情況下，可以進一步獲得第一優化特徵和第二優化特徵之間的關聯矩陣，關聯矩陣可以表示第一優化特徵和第二優化特徵中相同位置對應的特徵訊息之間的關聯度。該關聯度可以反映出第一圖像以及第二圖像中針對相同物體或者人物對象的變化情況。本發明實施例中，第一圖像以及第二圖像的尺度可以相同，對應的得到的第一優化特徵和第二優化特徵的尺度也相同。
即使在得到的第一優化特徵以及第二優化特徵，或者上述第一融合特徵和第二融合特徵、第一加和特徵和第二加和特徵、第一圖像的圖像特徵和第二圖像的圖像特徵的尺度不同的情況下，也可以將上述對應的特徵調整爲相同尺度，例如通過池化處理執行該尺度調整的操作。
另外，本發明實施例可以通過圖卷積神經網路得到第一優化特徵和第二優化特徵之間的關聯矩陣，即可以將第一優化特徵和第二優化特徵輸入到圖卷積神經網路中，通過圖卷積神經網路對第一優化特徵和第二優化特徵執行處理，得到二者之間的關聯矩陣。
S32：對所述第一優化特徵和第二優化特徵進行連接，得到第二連接特徵；
在一些可能的實施方式中，在對第一優化特徵和第二優化特徵執行融合處理的過程中，可以連接第一優化特徵和第二優化特徵，如在通道方向上連接第一優化特徵和第二優化特徵。本發明實施例可以通過concat函數執行該連接過程，得到第二連接特徵。
另外，本發明實施例對步驟S31和S32的執行步驟可以不做限定，該兩個步驟可以同時執行，也可以分別執行。
S33：基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵。
在一些可能的實施方式中，在得到關聯矩陣以及第二連接特徵的情況下，可以利用激活函數對關聯矩陣執行處理，該激活函數可以爲softmax函數，其中可以將關聯矩陣中的關聯度作爲輸入參數，進而利用激活函數對至少一個輸入參數執行處理，輸出處理後的關聯矩陣。
進一步地，本發明實施例可以利用激活函數激活處理後的關聯矩陣與第二連接特徵之間的乘積得到融合特徵。
基於上述實施例，可以通過關聯矩陣執行多幀圖像相同位置處的特徵訊息的融合。
在得到融合特徵的情況下，可以進一步利用該融合特徵執行第一圖像的重建處理，其中可以對第一圖像的圖像特徵和融合特徵執行加和處理，得到所述重建圖像對應的圖像特徵，進而根據該重建圖像的圖像特徵可以確定重建圖像。其中該加和處理可以爲直接相加，也可以爲利用加權係數執行加權相加，本發明對此不作具體限定。其中，重建圖像的圖像特徵可以直接對應於重建圖像至少一個像素點的像素值，因此可以直接利用重建圖像的圖像特徵對應得到重建圖像。另外，也可以對重建圖像的圖像特徵進一步執行卷積處理，進一步融合特徵訊息，同時提高特徵精確度，而後根據卷積處理得到的特徵確定重建圖像。
通過本發明實施例的圖像重建方法可以用於實現圖像的去噪、超分以及去模糊中的至少一種，通過圖像重建可以在不同程度上提高圖像品質。其中，在執行圖像的超分處理的情況下，獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，可以包括：
對所述第一圖像和所述第二圖像執行上採樣處理；
對上採樣處理後的所述第一圖像和第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
也就是說，本發明實施例中在執行圖像重建的過程中，可以首先對第一圖像和第二圖像執行上採樣處理，如可以通過至少一次卷積處理執行該上採樣處理，或者插值擬合的方式執行上採樣。通過上採樣處理，可以進一步豐富圖像中的特徵訊息。另外，在對第一圖像和第二圖像執行上採樣處理之後，可以利用本發明實施例的圖像重建方法對上採樣後的第一圖像和第二圖像執行特徵優化處理、以及後續的特徵融合和圖像重建處理。通過上述配置可以進一步提高重建圖像的圖像精確度。
在本發明實施例中，可以通過視訊數據中第一圖像的圖像特徵和第二圖像的圖像特徵的優化處理，得到第一圖像對應的第一優化特徵以及第二圖像對應的第二優化特徵，並利用第一優化特徵和第二優化特徵之間的關聯矩陣，執行第一優化特徵和第二優化特徵之間的特徵融合，利用得到的融合特徵對第一圖像進行重建得到重建圖像。其中，通過第一優化特徵和第二優化特徵得到的關聯矩陣可以表示第一優化特徵和第二優化特徵中相同位置的特徵訊息之間的關聯性，在通過關聯特徵執行上述特徵融合過程時，可以使得幀間訊息根據相同位置的不同特徵的相關性進行融合，進而得到的重建圖像效果更好。
另外，爲了清楚的體現本發明實施例，下面舉例說明。其中，本發明實施例實現視訊中圖像的重建過程可以包括以下過程：
1、多幀訊息融合路徑(mixing path)。先利用連接（concat）的方式來簡單融合多幀訊息，然後經過卷積層優化後，變換到單幀訊息的空間上輸出。
圖7示出實現本發明實施例的一種圖像重建方法的神經網路的結構示意圖。其中，如圖7所示，首先獲得視訊數據中的第t幀圖像以及第t+1幀圖像。其中神經網路中的網路部分A對應的用於實現圖像特徵的特徵優化處理，網路部分B用於實現特徵融處理和圖像重建處理。
神經網路的輸入：可以爲t幀的特徵訊息（圖像特徵）F1和t+1幀的特徵訊息（圖像特徵）F2，或者也可以直接爲第t幀圖像以及第t+1幀圖像；
輸出：與t幀圖像對應的優化後的多幀融合訊息（第一融合特徵），與t+1幀對應的優化後的多幀融合訊息（第二融合特徵）；
融合方法：
先利用concat函數對兩幀圖像的圖像特徵訊息進行簡單的連接融合，然後經過殘差模組(residual block)對融合訊息進行優化，然後對優化後的融合訊息，分別應用兩個1*1的卷積層來得到分別對應兩幀各自的優化訊息。
2、單幀訊息優化路徑（self-refining path）。在網路的每個階段保留單幀的特徵訊息，然後根據已經優化的多幀訊息來優化單幀訊息。
以t幀爲例，把上個階段t幀的訊息（圖像特徵）與對應的優化後的融合訊息（第一融合特徵）進行加和後，再經過殘差模組(residual block)進行優化，得到第一優化特徵F3。對於t+1幀執行相同的處理過程，得到第二優化特徵F4。
3. 像素關聯模組。在整個模型的最後一個階段（B部分），利用像素關聯模組來計算多幀之間的關聯矩陣，然後根據關聯矩陣來融合多幀訊息。
基於圖卷積神經網路，計算t幀的第一優化特徵與t+1幀的第二優化特徵之間的關聯矩陣(adjacency matrix)，然後利用這個關聯矩陣來融合t幀的特徵訊息與t+1幀的特徵訊息，並得到優化的融合了t幀訊息和t+1幀訊息的融合特徵。
本發明實施例將兩幀特徵訊息（第一優化特徵和第二優化特徵）的concatenation連接結果（第二連接特徵）輸入1d convolutional layer（1維卷積層）來計算關聯矩陣。然後對關聯矩陣做softmax操作之後與兩幀特徵訊息的concatenation結果相乘，來得到兩幀的優化訊息（融合特徵）F5。
4. 跳過連接（skip connection）。在網路的最後，利用一個skip connection把網路輸入的當前幀t幀與優化後的特徵訊息進行加和得到最後的重建圖像。
即可以將融合特徵F5和t幀圖像的圖像特徵F1進行相加處理，得到重建圖像的圖像特徵F，繼而可以直接對應的得到重建圖像。
綜上所述，在本發明實施例中，可以通過視訊數據中第一圖像的圖像特徵和第二圖像的圖像特徵的優化處理，得到第一圖像對應的第一優化特徵以及第二圖像對應的第二優化特徵，並利用第一優化特徵和第二優化特徵之間的關聯矩陣，執行第一優化特徵和第二優化特徵之間的特徵融合，利用得到的融合特徵對第一圖像進行重建得到重建圖像。其中，通過第一優化特徵和第二優化特徵得到的關聯矩陣可以表示第一優化特徵和第二優化特徵中相同位置的特徵訊息之間的關聯性，在通過關聯特徵執行上述特徵融合過程時，可以使得幀間訊息根據相同位置的不同特徵的相關性進行融合，進而得到的重建圖像效果更好。本發明實施例不僅有效的保留了單幀的訊息，並且還充分利用多次融合的幀間訊息。
另外，本發明實施例可以基於圖卷積的方式，利用了幀間訊息的相關性來優化幀間訊息，進一步提高特徵精確度。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
此外，本發明還提供了圖像重建裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種圖像重建方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖8示出根據本發明實施例的一種圖像重建裝置的方塊圖，如圖8所示，所述圖像重建裝置包括：
獲取模組10，用於獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；
優化模組20，用於對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；
關聯模組30，用於根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵；
重建模組40，用於利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
在一些可能的實施方式中，所述獲取模組還用於獲取與所述第一圖像直接相鄰和/或間隔相鄰的至少一幀第二圖像；
分別對所述第一圖像和所述第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
在一些可能的實施方式中，所述優化模組包括：
多幀融合單元，用於對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，其中，所述第一融合特徵融合有所述第二圖像的特徵訊息，所述第二融合特徵融合有所述第一圖像的特徵訊息；
單幀優化單元，用於利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵。
在一些可能的實施方式中，多幀融合單元還用於連接所述第一圖像的圖像特徵和所述第二圖像的圖像特徵，得到第一連接特徵；
利用第一殘差模組對所述第一連接特徵執行優化處理，得到第三優化特徵；
利用兩個卷積層分別對所述第三優化特徵執行卷積處理，得到所述第一融合特徵和第二融合特徵。
在一些可能的實施方式中，所述單幀優化單元還用於對所述第一圖像的圖像特徵與第一融合特徵執行加和處理，得到第一加和特徵；
對所述第二圖像的圖像特徵與第二融合特徵執行加和處理，得到第二加和特徵；
利用第二殘差模組分別對所述第一加和特徵和所述第二加和特徵執行優化處理，得到所述第一優化特徵和第二優化特徵。
在一些可能的實施方式中，所述關聯模組包括：
關聯單元，用於獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣；
連接單元，用於對所述第一優化特徵和第二優化特徵進行連接，得到第二連接特徵；
融合單元，用於基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵。
在一些可能的實施方式中，所述關聯單元還用於將所述第一優化特徵和所述第二優化特徵輸入到圖卷積神經網路，通過所述圖卷積神經網路得到所述關聯矩陣。
在一些可能的實施方式中，利用激活函數對所述關聯矩陣進行激活處理，並利用激活處理後的關聯矩陣與所述第二連接特徵之間的乘積，得到所述融合特徵。
在一些可能的實施方式中，重建單元還用於對所述第一圖像的圖像特徵和所述融合特徵執行加和處理，得到所述重建圖像的圖像特徵；
利用所述重建圖像的圖像特徵，得到所述第一圖像對應的重建圖像。
在一些可能的實施方式中，所述圖像重建裝置用於實現圖像去噪處理、圖像超分處理以及圖像去模糊處理中的至少一種。
在一些可能的實施方式中，所述獲取模組還用於在所述圖像重建裝置用於實現圖像超分處理的情況下，對所述第一圖像和所述第二圖像執行上採樣處理；
對上採樣處理後的所述第一圖像和第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖9示出根據本發明實施例的一種電子設備的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖9，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式化唯讀存儲器記憶體（EEPROM），可抹除可程式化唯讀儲存記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置拍攝鏡頭和/或後置拍攝鏡頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置拍攝鏡頭和/或後置拍攝鏡頭可以接收外部的多媒體數據。每個前置拍攝鏡頭和後置拍攝鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812爲處理組件802和外圍介面模組之間提供介面，上述外圍介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播通道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻辨識（RFID）技術，紅外數據協會（IrDA）技術，超寬帶（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用集成電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖10示出根據本發明實施例的另一種電子設備的方塊圖。例如，電子設備1900可以被提供爲一伺服器。參照圖10，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可攜式電腦盤、硬碟、隨機存取儲存記憶體（RAM）、只讀儲存記憶體（ROM）、可抹除可程式化唯讀記憶體（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、可攜式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網路下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的源代碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk、C++等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路伺服提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化閘道陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本併行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
10:獲取模組 20:優化模組 30:關聯模組 40:重建模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出根據本發明實施例的一種圖像重建方法的流程圖； 圖2示出根據本發明實施例的一種圖像重建方法中步驟S10的流程圖； 圖3示出根據本發明實施例的一種圖像重建方法中步驟S20的流程圖； 圖4示出根據本發明實施例的一種圖像重建方法中步驟S21的流程圖； 圖5示出根據本發明實施例的一種圖像重建方法中步驟S22的流程圖； 圖6示出根據本發明實施例的一種圖像重建方法中步驟S30的流程圖； 圖7示出實現本發明實施例的一種圖像重建方法的神經網路的結構示意圖； 圖8示出根據本發明實施例的一種圖像重建裝置的方塊圖； 圖9示出根據本發明實施例的一種電子設備的方塊圖； 圖10示出根據本發明實施例的另一種電子設備的方塊圖。

Claims (14)

  1. 一種圖像重建方法，包括：獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵，其中，所述關聯矩陣中的元素標識第一優化特徵和第二優化特徵中相同位置的特徵值之間的關聯度，所述關聯度反映所述第一圖像以及所述第二圖像中針對相同對象的變化情況；利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
  2. 如請求項1所述的方法，其中，所述獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，包括：獲取與所述第一圖像直接相鄰和/或間隔相鄰的至少一幀第二圖像；分別對所述第一圖像和所述第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
  3. 如請求項1所述的方法，其中，所述對所述第一圖像的圖 像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵，包括：對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，其中，所述第一融合特徵融合有所述第二圖像的特徵訊息，所述第二融合特徵融合有所述第一圖像的特徵訊息；利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵。
  4. 如請求項3所述的方法，其中，所述對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行多幀訊息融合處理，得到所述第一圖像對應的第一融合特徵以及所述第二圖像對應的第二融合特徵，包括：連接所述第一圖像的圖像特徵和所述第二圖像的圖像特徵，得到第一連接特徵；利用第一殘差模組對所述第一連接特徵執行優化處理，得到第三優化特徵；利用兩個卷積層分別對所述第三優化特徵執行卷積處理，得到所述第一融合特徵和第二融合特徵。
  5. 如請求項3或4所述的方法，其中，所述利用所述第一融合特徵對所述第一圖像的圖像特徵執行單幀優化處理得到 所述第一優化特徵，以及利用所述第二融合特徵對所述第二圖像的圖像特徵執行單幀優化處理得到所述第二優化特徵，包括：對所述第一圖像的圖像特徵與第一融合特徵執行加和處理，得到第一加和特徵；對所述第二圖像的圖像特徵與第二融合特徵執行加和處理，得到第二加和特徵；利用第二殘差模組分別對所述第一加和特徵和所述第二加和特徵執行優化處理，得到所述第一優化特徵和第二優化特徵。
  6. 如請求項1-4其中任意一項所述的方法，其中，所述根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵，包括：獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣；對所述第一優化特徵和第二優化特徵進行連接，得到第二連接特徵；基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵。
  7. 如請求項6所述的方法，其中，所述獲取所述第一優化特徵和第二優化特徵之間的關聯矩陣，包括：將所述第一優化特徵和所述第二優化特徵輸入到圖卷積神經網路，通過所述圖卷積神經網路得到所述關聯矩 陣。
  8. 如請求項6所述的方法，其中，所述基於所述關聯矩陣和所述第二連接特徵得到所述融合特徵，包括：利用激活函數對所述關聯矩陣進行激活處理，並利用激活處理後的關聯矩陣與所述第二連接特徵之間的乘積，得到所述融合特徵。
  9. 如請求項1-4其中任意一項所述的方法，其中，所述利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述第一圖像對應的重建圖像，包括：對所述第一圖像的圖像特徵和所述融合特徵執行加和處理，得到所述重建圖像的圖像特徵；利用所述重建圖像的圖像特徵，得到所述第一圖像對應的重建圖像。
  10. 如請求項1-4其中任意一項所述的方法，其中，所述圖像重建方法用於實現圖像去噪處理、圖像超分處理以及圖像去模糊處理中的至少一種。
  11. 如請求項10所述的方法，其中，在所述圖像重建方法用於實現圖像超分處理的情況下，所述獲取視訊數據中的第一圖像對應的圖像特徵以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵，包括：對所述第一圖像和所述第二圖像執行上採樣處理；對上採樣處理後的所述第一圖像和第二圖像執行特徵提取處理，得到所述第一圖像對應的圖像特徵以及所述第二圖像對應的圖像特徵。
  12. 一種圖像重建裝置，包括：獲取模組，用於獲取視訊數據中的第一圖像對應的圖像特徵，以及與所述第一圖像相鄰的第二圖像分別對應的圖像特徵；優化模組，用於對所述第一圖像的圖像特徵和第二圖像的圖像特徵執行特徵優化處理，分別得到與所述第一圖像對應的第一優化特徵，以及與所述第二圖像對應的第二優化特徵；關聯模組，用於根據所述第一優化特徵和第二優化特徵之間的關聯矩陣，對所述第一優化特徵和第二優化特徵執行特徵融合處理，得到融合特徵，其中，所述關聯矩陣中的元素標識第一優化特徵和第二優化特徵中相同位置的特徵值之間的關聯度，所述關聯度反映所述第一圖像以及所述第二圖像中針對相同對象的變化情況；重建模組，用於利用所述融合特徵對所述第一圖像執行圖像重建處理，得到所述圖像對應的重建圖像。
  13. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至11其中任意一項所述的方法。
  14. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至11中其任意一項所述的方法。
TW108147599A 2019-09-27 2019-12-25 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體 TWI719777B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910923706.8A CN110675355B (zh) 2019-09-27 2019-09-27 图像重建方法及装置、电子设备和存储介质
CN201910923706.8 2019-09-27

Publications (2)

Publication Number Publication Date
TWI719777B true TWI719777B (zh) 2021-02-21
TW202114407A TW202114407A (zh) 2021-04-01

Family

ID=69080236

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147599A TWI719777B (zh) 2019-09-27 2019-12-25 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體

Country Status (6)

Country Link
US (1) US20220188982A1 (zh)
JP (1) JP2022547082A (zh)
KR (1) KR20220047802A (zh)
CN (1) CN110675355B (zh)
TW (1) TWI719777B (zh)
WO (1) WO2021056770A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627027A (zh) * 2020-05-22 2020-09-04 深圳前海微众银行股份有限公司 图像区域检测方法、装置、设备及存储介质
CN111626998A (zh) * 2020-05-22 2020-09-04 深圳前海微众银行股份有限公司 图像处理方法、装置、设备及存储介质
CN112163990B (zh) * 2020-09-08 2022-10-25 上海交通大学 360度图像的显著性预测方法及***
KR20220116331A (ko) * 2021-04-07 2022-08-22 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 모델 트레이닝 방법, 보행자 재인식 방법, 장치 및 전자 기기
CN117788477B (zh) * 2024-02-27 2024-05-24 贵州健易测科技有限公司 一种用于对茶叶卷曲度自动量化的图像重建方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3734607A1 (en) * 2012-08-30 2020-11-04 Alcon Inc. Imaging system and methods displaying a fused multidimensional reconstructed image
CN103632359B (zh) * 2013-12-13 2016-03-30 清华大学深圳研究生院 一种视频超分辨率处理方法
CN108108844A (zh) * 2017-12-25 2018-06-01 儒安科技有限公司 一种城市人流量预测方法及***
CN108259994B (zh) * 2018-01-15 2020-10-30 复旦大学 一种提高视频空间分辨率的方法
CN108875053A (zh) * 2018-06-28 2018-11-23 国信优易数据有限公司 一种知识图谱数据处理方法及装置
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109492691A (zh) * 2018-11-07 2019-03-19 南京信息工程大学 一种超图卷积网络模型及其半监督分类方法
CN109978785B (zh) * 2019-03-22 2020-11-13 中南民族大学 多级递归特征融合的图像超分辨率重构***及其方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070511A (zh) * 2019-04-30 2019-07-30 北京市商汤科技开发有限公司 图像处理方法和装置、电子设备及存储介质

Also Published As

Publication number Publication date
TW202114407A (zh) 2021-04-01
CN110675355A (zh) 2020-01-10
US20220188982A1 (en) 2022-06-16
JP2022547082A (ja) 2022-11-10
WO2021056770A1 (zh) 2021-04-01
CN110675355B (zh) 2022-06-17
KR20220047802A (ko) 2022-04-19

Similar Documents

Publication Publication Date Title
TWI719777B (zh) 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體
TWI740309B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
CN109800737B (zh) 面部识别方法及装置、电子设备和存储介质
WO2021056808A1 (zh) 图像处理方法及装置、电子设备和存储介质
KR102463101B1 (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
CN107944409B (zh) 能够区分关键动作的视频分析方法及装置
CN113766313B (zh) 视频数据处理方法及装置、电子设备和存储介质
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
WO2020155711A1 (zh) 图像生成方法及装置、电子设备和存储介质
JP2021528742A (ja) 画像処理方法及び装置、電子機器、並びに記憶媒体
TWI755833B (zh) 一種圖像處理方法、電子設備和儲存介質
WO2020168706A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN109977860B (zh) 图像处理方法及装置、电子设备和存储介质
WO2021169136A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN111583142B (zh) 图像降噪方法及装置、电子设备和存储介质
TW202133042A (zh) 圖像處理方法、電子設備和電腦可讀儲存媒體
CN111369482B (zh) 图像处理方法及装置、电子设备和存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN109635926B (zh) 用于神经网络的注意力特征获取方法、装置及存储介质
CN109165722B (zh) 模型扩展方法及装置、电子设备和存储介质
CN111062407B (zh) 图像处理方法及装置、电子设备和存储介质
CN111583144B (zh) 图像降噪方法及装置、电子设备和存储介质
WO2021169137A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN111583145B (zh) 图像降噪方法及装置、电子设备和存储介质
CN110896476B (zh) 图像处理方法、装置及存储介质