TWI803243B - 圖像擴增方法、電腦設備及儲存介質 - Google Patents
圖像擴增方法、電腦設備及儲存介質 Download PDFInfo
- Publication number
- TWI803243B TWI803243B TW111109669A TW111109669A TWI803243B TW I803243 B TWI803243 B TW I803243B TW 111109669 A TW111109669 A TW 111109669A TW 111109669 A TW111109669 A TW 111109669A TW I803243 B TWI803243 B TW I803243B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- variational
- value
- augmented
- learner
- Prior art date
Links
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申請提供一種圖像擴增方法、電腦設備及存儲介質，所述圖像擴增方法包括：獲取待擴增圖像及測試圖像，測試圖像包括氣體外洩圖像；基於全卷積神經網路構建變分學習器及判別器，將氣體外洩圖像輸入到變分學習器中，得到目標圖像；根據判別器對目標圖像的判別結果及變分學習器生成變分自編碼器模型，基於測試圖像計算變分自編碼器模型的重構正確率；若重構正確率小於預設閾值，基於氣體外洩圖像調整變分自編碼器模型，得到擴增模型，將待擴增圖像輸入到擴增模型中，得到擴增圖像。本申請能夠提高擴增圖像的重構準確性及圖像清晰度。
Description
本申請涉及圖像處理領域，尤其涉及一種圖像擴增方法、電腦設備及儲存介質。
在目前的圖像擴增方式中，使用變分自編碼器時需要考慮到輸入圖像的大小，且重構出來的圖像比較模糊，導致重構準確性低。因此，在不考慮輸入圖像尺寸的前提下，如何構建出一種能夠準確地重構出清晰的擴增圖像，成了亟需解決的問題。
鑒於以上內容，有必要提供一種圖像擴增方法、電腦設備及儲存介質，能夠準確地重構出清晰的擴增圖像。
本申請提供一種圖像擴增方法，所述圖像擴增方法包括：獲取待擴增圖像及測試圖像，其中，所述測試圖像包括氣體外洩圖像；基於全卷積神經網路構建變分學習器以及判別器；將所述氣體外洩圖像輸入到所述變分學習器中，得到目標圖像；根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型；基於所述測試圖像計算所述變分自編碼器模型的重構正確率；
若所述重構正確率小於預設閾值，基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型；將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像。
根據本申請可選實施例，所述根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型包括：將所述目標圖像輸入到所述判別器中，得到所述判別器將所述目標圖像確定為假圖像的判別概率；將大於或者等於第一預設值的判別概率所對應的目標圖像重新輸入到所述變分學習器中進行訓練，得到第一圖像；基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值，並利用梯度反向傳播更新所述變分學習器的權值，直至所述損失值下降到最低，得到所述變分自編碼器模型。
根據本申請可選實施例，所述基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值包括：所述損失值的計算方法為：
其中，loss為所述損失值，M是指所述目標圖像中所有畫素點的數量，N是指所述氣體外洩圖像中所有畫素點的數量，K是指所述第一圖像中所有畫素點的數量，i是指所述目標圖像中第i個畫素點，j是指所述氣體外洩圖像中與i對應的畫素點，r是指所述第一圖像中與i對應的畫素點，y i 是指所述目標圖像中第i個畫素點的畫素值，x j 是指所述氣體外洩圖像中第j個畫素點的畫素值，z r 是指所述第一圖像中第r個畫素點的畫素值。
根據本申請可選實施例，所述基於所述測試圖像計算所述變分自編碼器模型的重構正確率包括：獲取所述測試圖像的標注結果；
將所述測試圖像輸入到所述變分自編碼器模型中，得到特徵圖像；計算所述特徵圖像與所述測試圖像之間的相似值；將所述相似值與第二預設值進行比較，得到所述測試圖像的驗證結果；將所述驗證結果與所述標注結果進行比對；將與所述標注結果相同的驗證結果所對應的測試圖像確定為第二圖像，並將所述第二圖像所對應的特徵圖像確定為相似圖像；計算所述相似圖像在所述特徵圖像中所佔的比率，並將所述比率確定為所述重構正確率。
根據本申請可選實施例，所述計算所述特徵圖像與所述測試圖像之間的相似值包括：將所述特徵圖像進行灰度化處理，得到灰度化圖像；將所述灰度化圖像進行二值化處理，得到第三圖像；將所述特徵圖像所對應的測試圖像進行灰度化處理及二值化處理，得到第四圖像；計算所述第三圖像與所述第四圖像的相似值，所述相似值的確定公式為：
c 1=(K 1 L)2；c 2=(K 2 L)2；其中，SSIM(x,y)為所述相似值，x為所述第三圖像，y為所述第四圖像，μ x 為所述第三圖像的灰度平均值，μ y 為所述第四圖像的灰度平均值，σ x 為所述第三圖像的灰度標準差，σ y 為所述第四圖像的灰度標準差，σ xy 為所述第三圖像與所述第四圖像之間的灰度協方差，c 1及c 2均為預設參數，L為所述第四圖像中最大的畫素值，K 1及K 2是預先設置的常數，且K 1≪1，K 2≪1。
根據本申請可選實施例，所述基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型包括：將所述氣體外洩圖像輸入到所述變分自編碼器模型進行訓練，直至所述重構正確率大於或者等於所述預設閾值，得到所述擴增模型。
根據本申請可選實施例，所述擴增模型中包括編碼器和解碼器，所述編碼器中採用全卷積神經網路，所述全卷積神經網路包含多個隱層，所述解碼器中採用反卷積神經網路，所述反卷積神經網路中包含多個運算層。
根據本申請可選實施例，所述將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像包括：將所述待擴增圖像輸入到所述編碼器的隱層中進行特徵提取，得到特徵向量，其中，所述特徵向量中有2n個元素；提取所述特徵向量中的前n個元素作為均值向量；提取所述特徵向量中的後n個元素作為標準差向量；根據所述均值向量及所述標準差向量生成高斯亂數；對所述高斯亂數進行隨機採樣，得到採樣值；將所述均值向量中的每個元素與所述採樣值進行相乘運算，得到多個相乘結果；將每個相乘結果與所述標準差向量中對應的元素進行相加運算，得到潛在向量；將所述潛在變數輸入到所述解碼器的運算層進行映射處理，得到所述擴增圖像。
本申請提供一種電腦設備，所述電腦設備包括：儲存器，儲存至少一個指令；及處理器，獲取所述儲存器中儲存的指令以實現所述的圖像擴增方法。
本申請提供一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現所述的圖像擴增方法。
由以上技術方案可以看出，本申請構建的變分學習器採用了全卷積神經網路的結構，不僅能夠接受任意尺寸的輸入圖像，而且能夠更好的提取到所述待擴增圖像的特徵，解決了輸入圖像的尺寸不合適的問題，進而將所述氣體外洩圖像輸入到所述變分學習器中，得到所述目標圖像，並使用所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到所述變分自編碼器模型，只有當所述目標圖像足夠清晰時，才會停止使用所述判別結果對所述變分學習器進行訓練，由此能夠提高所述變分自編碼器模型所生成的圖像的清晰度，進一步地，透過計算所述變分自編碼器模型在所述測試圖像的重構準確率，將所述重構準確率與所述預設閾值進行比較以確定是否要對所述變分自編碼器模型進行調整，提高了所述擴增模型的重構準確性，使得所述擴增模型能夠準確地重構出清晰的擴增圖像。
1:電腦設備
12:儲存器
13:處理器
S10~S16:步驟
圖1是本申請圖像擴增方法的較佳實施例的流程圖。
圖2是本申請圖像擴增方法的較佳實施例的變分學習器的結構示意圖。
圖3是本申請圖像擴增方法的較佳實施例的判別器的結構示意圖。
圖4是本申請實現圖像擴增方法的較佳實施例的電腦設備的結構示意圖。
為了使本申請的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本申請進行詳細描述。
如圖1所示，是本申請一種圖像擴增方法的較佳實施例的流程圖。根據不同的需求，該流程圖中各個步驟的順序可以根據實際要求進行調整，某些步驟可以省略。所述方法的執行主體為電腦設備，例如圖4所示的電腦設備1。
所述圖像擴增方法可應用於一個或者多個電腦設備1中。所述電腦設備1是一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括，但不限於：微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電腦設備1可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、互動式網路電視(Internet Protocol Television，IPTV)、智慧式穿戴式設備等。
所述電腦設備1還可以包括網路設備和/或使用者設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路伺服器構成的雲。
所述電腦設備1所處的網路包括但不限於網際網路、廣域網路、都會區網路、區域網路、虛擬私人網路(Virtual Private Network，VPN)等。
步驟S10，獲取待擴增圖像及測試圖像，其中，所述測試圖像包括氣體外洩圖像。
在本申請的至少一個實施例中，所述測試圖像可用於計算變分自編碼器模型的重構正確率，所述電腦設備可以從預設的第一資料庫中獲取所述測試圖像。
在本申請的至少一個實施例中，所述氣體外洩圖像是指包含有洩露氣體的圖像，所述氣體外洩圖像中的氣體可以為氯氣、二氧化硫氣體等等，可
以理解的是，所述氣體外洩圖像可以為洩露的氯氣圖像、洩露的二氧化硫氣體圖像等等，所述氣體外洩圖像可用於對變分學習器進行訓練。
在本申請的至少一個實施例中，所述待擴增圖像是指不包含所述洩露氣體的圖像，所述電腦設備可以從預設的第二資料庫中獲取所述待擴增圖像。
步驟S11，基於全卷積神經網路構建變分學習器以及判別器。
在本申請的至少一個實施例中，所述變分學習器可用於生成重構圖像。
在本申請的至少一個實施例中，所述判別器用於判別輸入的圖像是否為所述變分學習器生成。
在本申請的至少一個實施例中，所述變分學習器包括編碼網路及解碼網路，所述電腦設備基於全卷積神經網路構建變分學習器包括：
所述電腦設備構建四個隱層作為所述編碼網路，每個隱層由卷積層及第一激活函數層構成，進一步地，所述電腦設備構建四個運算層作為所述解碼網路，每個運算層由反卷積層及所述第一激活函數層構成。
在本申請的至少一個實施例中，所述電腦設備構建判別器包括：
所述電腦設備構建四個深度卷積網路層及第二激活函數層作為所述判別器，前三個深度卷積網路層由卷積層、批標準化層及所述第一激活函數層構成，第四個深度卷積網路層由卷積層及所述第二激活函數層構成。
如圖2所示，圖2是本申請圖像擴增方法的較佳實施例的變分學習器的結構示意圖。圖2中的編碼網路(Encoder)的參數如下：將第1個卷積層的濾波器的數量(Channel)設置為32個，濾波器的大小(kernel size)設置為4×4個畫素，步長大小(stride)設置為2個畫素，將第2個卷積層中濾波器的數量設置為64個，濾波器大小設置為4×4個畫素，步長大小設置為2個畫素，將第3個卷積層中濾波器的數量設置為128個，濾波器大小設置為4×4個畫素，步長大小設置為2個畫素，將第4個卷積層中濾波器的數量設置為256個，濾波器大
小設置為4×4個畫素，步長大小設置為2個畫素，激活函數均為ReLu。圖2中的解碼網路(Decoder)的參數如下：將第1個反卷積層中濾波器的數量設置為256個，濾波器大小設置為4×4個畫素，步長大小設置為2個畫素，將第2個反卷積層中濾波器的數量設置為128個，濾波器大小設置為4×4個畫素，步長大小設置為2個畫素，將第3個反卷積層中濾波器的數量設置為64個，濾波器大小設置為5×5個畫素，步長大小設置為2個畫素，將第4個反卷積層中濾波器的數量設置為32個，濾波器大小設置為6×6個畫素，步長大小設置為2個畫素，激活函數均為ReLu。
如圖3所示，圖3是本申請圖像擴增方法的較佳實施例的判別器的結構示意圖。圖3中的判別器的各層參數如下：將第1個深度卷積網路層中濾波器的數量設置為64個，濾波器大小設置為128×128個畫素，加入BN層和ReLu激活函數，將第2個深度卷積網路層中濾波器的數量設置為128個，濾波器大小設置為64×64個畫素，加入BN層和ReLu激活函數，將第3個深度卷積網路層中濾波器的數量設置為256個，濾波器大小設置為32×32個畫素，加入BN層和ReLu激活函數，將第4個深度卷積網路層中濾波器的數量設置為512個，濾波器大小設置為31×31個畫素，加入sigmoid激活函數，最後一層使用sigmoid激活函數。
透過上述實施方式，能夠基於全卷積神經網路構建出所述變分學習器，使得所述變分學習器能夠提取到任意尺寸的輸入圖像中的特徵。
步驟S12，將所述氣體外洩圖像輸入到所述變分學習器中，得到目標圖像。
在本申請的至少一個實施例中，所述目標圖像是指包含有所述氣體外洩圖像中的氣體特徵的圖像。
所述目標圖像的具體生成過程與下文擴增圖像的生成過程一致，故本申請在此不作贅述。
步驟S13，根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型。
在本申請的至少一個實施例中，所述變分自編碼器模型是指使用所述氣體外洩圖像對所述變分學習器訓練後所得到的模型，所述變分自編碼器模型可用於生成具有所述氣體外洩圖像中的氣體特徵的圖像。
在本申請的至少一個實施例中，所述電腦設備根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型包括：
所述電腦設備將所述目標圖像輸入到所述判別器中，得到所述判別器將所述目標圖像確定為假圖像的判別概率，進一步地，所述電腦設備將大於或者等於第一預設值的判別概率所對應的目標圖像重新輸入到所述變分學習器中進行訓練，得到第一圖像，更進一步地，所述電腦設備基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值，並利用梯度反向傳播更新所述變分學習器的權值，直至所述損失值下降到最低，得到所述變分自編碼器模型。
其中，所述第一預設值可以自行設置，本申請對此不作限制。
所述假圖像是指由所述變分學習器生成的圖像。
具體地，所述電腦設備基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值包括：所述損失值的計算方法為：
其中，loss為所述損失值，M是指所述目標圖像中所有畫素點的數量，N是指所述氣體外洩圖像中所有畫素點的數量，K是指所述第一圖像中所有畫素點的數量，i是指所述目標圖像中第i個畫素點，j是指所述氣體外洩圖像中與i對應的畫素點，r是指所述第一圖像中與i對應的畫素點，y i 是指所述目標圖
像中第i個畫素點的畫素值，x j 是指所述氣體外洩圖像中第j個畫素點的畫素值，z r 是指所述第一圖像中第r個畫素點的畫素值。
透過上述實施方式，使用所述判別器對所述目標圖像進行判別，得到所述判別概率，將大於或者等於所述第一預設值的判別概率所對應的目標圖像確定為所述第一圖像，並將所述第一圖像輸入到所述變分學習器中重新訓練，增加了所述變分學習器的訓練資料，使得所述變分自編碼器模型能夠更準確地學習到所述氣體外洩圖像的特徵，提高了所述變分自編碼器模型的重構能力。
步驟S14，基於所述測試圖像計算所述變分自編碼器模型的重構正確率。
在本申請的至少一個實施例中，所述重構正確率是指所述變分自編碼器模型對所述測試圖像的檢測準確率。
在本申請的至少一個實施例中，所述電腦設備基於所述測試圖像計算所述變分自編碼器模型的重構正確率包括：所述電腦設備獲取所述測試圖像的標注結果，將所述測試圖像輸入到所述變分自編碼器模型中，得到特徵圖像，所述電腦設備計算所述特徵圖像與所述測試圖像之間的相似值，進一步地，所述電腦設備將所述相似值與第二預設值進行比較，得到所述測試圖像的驗證結果，更進一步地，所述電腦設備將所述驗證結果與所述標注結果進行比對，將與所述標注結果相同的驗證結果所對應的測試圖像確定為第二圖像，並將所述第二圖像所對應的特徵圖像確定為相似圖像，所述電腦設備計算所述相似圖像在所述特徵圖像中所佔的比率，並將所述比率確定為所述重構正確率。
其中，所述標注結果包括任一測試圖像存在所述氣體特徵，以及，任一測試圖像不存在所述氣體特徵。
所述第二預設值可以自行設置，本申請對此不作限制。
具體地，所述電腦設備計算所述特徵圖像與所述測試圖像之間的相似值包括：
所述電腦設備將所述特徵圖像進行灰度化處理，得到灰度化圖像，將所述灰度化圖像進行二值化處理，得到第三圖像，所述電腦設備將所述特徵圖像所對應的測試圖像進行灰度化處理及二值化處理，得到第四圖像，並計算所述第三圖像與所述第四圖像的相似值。
具體地，所述電腦設備將所述相似值與第二預設值進行比較，得到所述測試圖像的驗證結果包括：所述電腦設備將大於或者等於所述第二預設值的相似值所對應的驗證結果確定為測試圖像存在所述氣體特徵，將小於所述第二預設值的相似值所對應的驗證結果確定為測試圖像不存在所述氣體特徵。
所述相似值的確定公式為：
c 1=(K 1 L)2；c 2=(K 2 L)2；其中，SSIM(x,y)為所述相似值，x為所述第三圖像，y為所述第四圖像，μ x 為所述第三圖像的灰度平均值，μ y 為所述第四圖像的灰度平均值，σ x 為所述第三圖像的灰度標準差，σ y 為所述第四圖像的灰度標準差，σ xy 為所述第三圖像與所述第四圖像之間的灰度協方差，c 1及c 2均為預設參數，L為所述第四圖像中最大的畫素值，K 1及K 2是預先設置的常數，且K 1≪1，K 2≪1。
透過上述實施方式，對所述測試圖像及所述特徵圖像分別進行灰度化及二值化處理，使得所述第三圖像及所述第四圖像中不同畫素點的畫素值差異更加明顯，更便於計算所述第三圖像與所述第四圖像之間的相似值，透過將所述相似值與所述第二預設值進行比較，能夠準確的選取出與所述測試圖像足夠相似的特徵圖像作為所述相似圖像，並根據所述相似圖像能夠準確的計算出所述變分自編碼器模型的重構正確率。
步驟S15，若所述重構正確率小於預設閾值，基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型。
在本申請的至少一個實施例中，所述預設閾值可以包括，但不限於：0.8、0.9。
所述擴增模型是指重構正確率大於或者等於所述預設閾值的變分自編碼器模型。所述擴增模型包括編碼器及解碼器，所述編碼器是根據所述氣體外洩圖像對所述編碼網路進行訓練後生成的，所述解碼器是根據所述氣體外洩圖像對所述解碼網路進行訓練後生成的。
在本申請的至少一個實施例中，所述電腦設備基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型包括：所述電腦設備將所述氣體外洩圖像輸入到所述變分自編碼器模型進行訓練，直至所述重構正確率大於或者等於所述預設閾值，得到所述擴增模型。
其中，所述變分自編碼器模型的調整方式是將所述氣體外洩圖像輸入到所述變分自編碼器模型進行訓練，直至所述重構正確率大於或者等於所述預設閾值，得到所述擴增模型。
透過上述實施方式，能夠對小於所述預設閾值的重構正確率所對應的變分自編碼器進行調整，從而能夠提高所述擴增模型的重構準確性。
步驟S16，將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像。
在本申請的至少一個實施例中，所述擴增圖像是指包含有所述氣體外洩圖像中氣體外洩特徵的重構圖像。
在本申請的至少一個實施例中，所述電腦設備將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像包括：所述電腦設備將所述待擴增圖像輸入到所述編碼器的隱層中進行特徵提取，得到特徵向量，其中，所述特徵向量中有2n個元素，提取所述特徵向量中的前n個元素作為均值向量，提取所述特徵向量中的後n個元素作為標準差向量，進一步地，所述電腦設備根據所述均值向量及所述標準差向量生成高斯亂數，對所述高斯亂數進行隨機採樣，得到採樣值，將所述均值向量中的每個
元素與所述採樣值進行相乘運算，得到多個相乘結果，更進一步地，所述電腦設備將每個相乘結果與所述標準差向量中對應的元素進行相加運算，得到潛在向量，並將所述潛在變數輸入到所述解碼器的運算層進行映射處理，得到所述擴增圖像。
其中，所述高斯亂數可由Box-Muller演算法根據所述均值向量及標準差向量生成。
透過上述實施方式，能夠利用所述擴增模型將所述待擴增圖像壓縮為所述潛在向量，在壓縮的過程中過濾了所述待擴增圖像中的雜訊，使得擴增圖像更清晰，由於所述擴增模型學習到了所述氣體外洩圖像的氣體特徵，而且重構正確率較高，從而使得所述擴增模型能夠準確的重構出包含有氣體特徵的清晰圖像。
由以上技術方案可以看出，本申請構建的變分學習器採用了全卷積神經網路的結構，不僅能夠接受任意尺寸的輸入圖像，而且能夠更好的提取到所述待擴增圖像的特徵，解決了輸入圖像的尺寸不合適的問題，進而將所述氣體外洩圖像輸入到所述變分學習器中，得到所述目標圖像，並使用所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到所述變分自編碼器模型，只有當所述目標圖像足夠清晰時，才會停止使用所述判別結果對所述變分學習器進行訓練，由此能夠提高所述變分自編碼器模型所生成的圖像的清晰度，進一步地，透過計算所述變分自編碼器模型在所述測試圖像的重構準確率，將所述重構準確率與所述預設閾值進行比較以確定是否要對所述變分自編碼器模型進行調整，提高了所述擴增模型的重構準確性，使得所述擴增模型能夠準確地重構出清晰的擴增圖像。
如圖4所示，是本申請實現圖像擴增方法的較佳實施例的電腦設備的結構示意圖。
在本申請的一個實施例中，所述電腦設備1包括，但不限於，儲存器12、處理器13，以及儲存在所述儲存器12中並可在所述處理器13上運行的電腦程式，例如圖像擴增程式。
本領域技術人員可以理解，所述示意圖僅僅是電腦設備1的示例，並不構成對電腦設備1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電腦設備1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所述處理器13可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器13是所述電腦設備1的運算核心和控制中心，利用各種介面和線路連接整個電腦設備1的各個部分，及獲取所述電腦設備1的作業系統以及安裝的各類應用程式、程式碼等。
所述處理器13獲取所述電腦設備1的作業系統以及安裝的各類應用程式。所述處理器13獲取所述應用程式以實現上述各個圖像擴增方法實施例中的步驟，例如圖1所示的步驟。
示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被儲存在所述儲存器12中，並由所述處理器13獲取，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電腦設備1中的獲取過程。
所述儲存器12可用於儲存所述電腦程式和/或模組，所述處理器13透過運行或獲取儲存在所述儲存器12內的電腦程式和/或模組，以及調用儲存在儲存器12內的資料，實現所述電腦設備1的各種功能。所述儲存器12可主
要包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；儲存資料區可儲存根據電腦設備的使用所創建的資料等。此外，儲存器12可以包括非易失性儲存器，例如硬碟、儲存器、插接式硬碟，智慧儲存卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃儲存器卡(Flash Card)、至少一個磁碟儲存器件、快閃儲存器器件、或其他非易失性固態儲存器件。
所述儲存器12可以是電腦設備1的外部儲存器和/或內部儲存器。進一步地，所述儲存器12可以是具有實物形式的儲存器，如儲存器條、TF卡(Trans-flash Card)等等。
所述電腦設備1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一電腦可讀儲存介質中，該電腦程式在被處理器獲取時，可實現上述各個方法實施例的步驟。
其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可獲取檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀儲存器(ROM，Read-Only Memory)。
結合圖1，所述電腦設備1中的所述儲存器12儲存多個指令以實現一種圖像擴增方法，所述處理器13可獲取所述多個指令從而實現：獲取待擴增圖像及測試圖像，其中，所述測試圖像包括氣體外洩圖像；基於全卷積神經網路構建變分學習器以及判別器；將所述氣體外洩圖像輸入到所述變分學習器中，得到目標圖像；根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型；基於所述測試圖像計算所述變分自編碼器模型的重構正確率；若所述重構正確率小於預設閾值，基於所述氣體外洩圖像調
整所述變分自編碼器模型，得到擴增模型；將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像。
具體地，所述處理器13對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。本申請中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一、第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員
應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
S10~S16:步驟
Claims (10)
- 一種圖像擴增方法，執行於電腦設備，其中，所述圖像擴增方法包括：獲取待擴增圖像及測試圖像，其中，所述測試圖像包括氣體外洩圖像；基於全卷積神經網路構建變分學習器以及判別器；將所述氣體外洩圖像輸入到所述變分學習器中，得到目標圖像；根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型；基於所述測試圖像計算所述變分自編碼器模型的重構正確率；若所述重構正確率小於預設閾值，基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型；將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像。
- 如請求項1所述的圖像擴增方法，其中，所述根據所述判別器對所述目標圖像的判別結果訓練所述變分學習器，得到變分自編碼器模型包括：將所述目標圖像輸入到所述判別器中，得到所述判別器將所述目標圖像確定為假圖像的判別概率；將大於或者等於第一預設值的判別概率所對應的目標圖像重新輸入到所述變分學習器中進行訓練，得到第一圖像；基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值，並利用梯度反向傳播更新所述變分學習器的權值，直至所述損失值下降到最低，得到所述變分自編碼器模型。
- 如請求項2所述的圖像擴增方法，其中，所述基於所述氣體外洩圖像、所述目標圖像及所述第一圖像計算所述變分學習器的損失值包括：所述損失值的計算方法為：
- 如請求項1所述的圖像擴增方法，其中，所述基於所述測試圖像計算所述變分自編碼器模型的重構正確率包括：獲取所述測試圖像的標注結果；將所述測試圖像輸入到所述變分自編碼器模型中，得到特徵圖像；計算所述特徵圖像與所述測試圖像之間的相似值；將所述相似值與第二預設值進行比較，得到所述測試圖像的驗證結果；將所述驗證結果與所述標注結果進行比對；將與所述標注結果相同的驗證結果所對應的測試圖像確定為第二圖像，並將所述第二圖像所對應的特徵圖像確定為相似圖像；計算所述相似圖像在所述特徵圖像中所佔的比率，並將所述比率確定為所述重構正確率。
- 如請求項4所述的圖像擴增方法，其中，所述計算所述特徵圖像與所述測試圖像之間的相似值包括：將所述特徵圖像進行灰度化處理，得到灰度化圖像；將所述灰度化圖像進行二值化處理，得到第三圖像；將所述特徵圖像所對應的測試圖像進行灰度化處理及二值化處理，得到第四圖像；計算所述第三圖像與所述第四圖像的相似值，所述相似值的確定公式為：
- 如請求項1所述的圖像擴增方法，其中，所述基於所述氣體外洩圖像調整所述變分自編碼器模型，得到擴增模型包括：將所述氣體外洩圖像輸入到所述變分自編碼器模型進行訓練，直至所述重構正確率大於或者等於所述預設閾值，得到所述擴增模型。
- 如請求項1所述的圖像擴增方法，其中，所述擴增模型中包括編碼器和解碼器，所述編碼器中採用全卷積神經網路，所述全卷積神經網路包含多個隱層，所述解碼器中採用反卷積神經網路，所述反卷積神經網路中包含多個運算層。
- 如請求項7所述的圖像擴增方法，其中，所述將所述待擴增圖像輸入到所述擴增模型中，得到擴增圖像包括：將所述待擴增圖像輸入到所述編碼器的隱層中進行特徵提取，得到特徵向量，其中，所述特徵向量中有2n個元素；提取所述特徵向量中的前n個元素作為均值向量；提取所述特徵向量中的後n個元素作為標準差向量；根據所述均值向量及所述標準差向量生成高斯亂數；對所述高斯亂數進行隨機採樣，得到採樣值；將所述均值向量中的每個元素與所述採樣值進行相乘運算，得到多個相乘結果； 將每個相乘結果與所述標準差向量中對應的元素進行相加運算，得到潛在向量；將所述潛在變數輸入到所述解碼器的運算層進行映射處理，得到所述擴增圖像。
- 一種電腦設備，其中，所述電腦設備包括：儲存器，儲存至少一個指令；及處理器，獲取所述儲存器中儲存的指令以實現如請求項1至8中任意一項所述的圖像擴增方法。
- 一種電腦可讀儲存介質，其中：所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦設備中的處理器執行以實現如請求項1至8中任意一項所述的圖像擴增方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111109669A TWI803243B (zh) | 2022-03-16 | 2022-03-16 | 圖像擴增方法、電腦設備及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111109669A TWI803243B (zh) | 2022-03-16 | 2022-03-16 | 圖像擴增方法、電腦設備及儲存介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI803243B true TWI803243B (zh) | 2023-05-21 |
| TW202338730A TW202338730A (zh) | 2023-10-01 |
Family
ID=87424583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111109669A TWI803243B (zh) | 2022-03-16 | 2022-03-16 | 圖像擴增方法、電腦設備及儲存介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI803243B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116499607A (zh) * | 2023-06-27 | 2023-07-28 | 之江实验室 | 一种光纤传感信号降噪方法、装置和存储介质 |
| CN117173031A (zh) * | 2023-06-01 | 2023-12-05 | 广州科易光电技术有限公司 | 针对气体的图像处理方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| TW201920079A (zh) * | 2017-08-02 | 2019-06-01 | 國立大學法人東北大學 | 金剛烷基甲胺衍生物及其作為醫藥之使用 |
| US20190171172A1 (en) * | 2011-04-14 | 2019-06-06 | Suntracker Technologies Ltd. | System and method for the optimization of radiance modelling and controls in predictive daylight harvesting |
| TW201929940A (zh) * | 2017-08-29 | 2019-08-01 | 美商3M新設資產公司 | 空氣過濾器狀況感測 |
| CN110185939A (zh) * | 2019-05-16 | 2019-08-30 | 西北工业大学 | 基于卷积神经网络的气体管道泄漏识别方法 |
| TW201941078A (zh) * | 2018-01-18 | 2019-10-16 | 美商奧誓公司 | 機器於迴路、圖像至視訊之電腦視覺自助抽樣 |
-
2022
- 2022-03-16 TW TW111109669A patent/TWI803243B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190171172A1 (en) * | 2011-04-14 | 2019-06-06 | Suntracker Technologies Ltd. | System and method for the optimization of radiance modelling and controls in predictive daylight harvesting |
| TW201920079A (zh) * | 2017-08-02 | 2019-06-01 | 國立大學法人東北大學 | 金剛烷基甲胺衍生物及其作為醫藥之使用 |
| TW201929940A (zh) * | 2017-08-29 | 2019-08-01 | 美商3M新設資產公司 | 空氣過濾器狀況感測 |
| TW201941078A (zh) * | 2018-01-18 | 2019-10-16 | 美商奧誓公司 | 機器於迴路、圖像至視訊之電腦視覺自助抽樣 |
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN110185939A (zh) * | 2019-05-16 | 2019-08-30 | 西北工业大学 | 基于卷积神经网络的气体管道泄漏识别方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173031A (zh) * | 2023-06-01 | 2023-12-05 | 广州科易光电技术有限公司 | 针对气体的图像处理方法、装置、电子设备及存储介质 |
| CN116499607A (zh) * | 2023-06-27 | 2023-07-28 | 之江实验室 | 一种光纤传感信号降噪方法、装置和存储介质 |
| CN116499607B (zh) * | 2023-06-27 | 2023-09-08 | 之江实验室 | 一种光纤传感信号降噪方法、装置和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202338730A (zh) | 2023-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11200424B2 (en) | Space-time memory network for locating target object in video content | |
| CN111476284B (zh) | 图像识别模型训练及图像识别方法、装置、电子设备 | |
| Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
| CN108182394B (zh) | 卷积神经网络的训练方法、人脸识别方法及装置 | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
| WO2022105125A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN111275784B (zh) | 生成图像的方法和装置 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| US20230021661A1 (en) | Forgery detection of face image | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| WO2019200702A1 (zh) | 去网纹***训练方法、去网纹方法、装置、设备及介质 | |
| CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| WO2021051497A1 (zh) | 肺结核判定方法、装置、计算机设备及存储介质 | |
| CN111079816A (zh) | 图像的审核方法、装置和服务器 | |
| CN112560710B (zh) | 一种用于构建指静脉识别***的方法及指静脉识别*** | |
| GB2579262A (en) | Space-time memory network for locating target object in video content | |
| CN114842343A (zh) | 一种基于ViT的航空图像识别方法 | |
| WO2021042544A1 (zh) | 基于去网纹模型的人脸验证方法、装置、计算机设备及存储介质 | |
| CN113033305B (zh) | 活体检测方法、装置、终端设备和存储介质 | |
| CN111753729B (zh) | 一种假脸检测方法、装置、电子设备及存储介质 | |
| CN112818774A (zh) | 一种活体检测方法及装置 | |
| CN114723652A (zh) | 细胞密度确定方法、装置、电子设备及存储介质 | |
| US20230401670A1 (en) | Multi-scale autoencoder generation method, electronic device and readable storage medium |