TWI778895B - 顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質 - Google Patents
顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質 Download PDFInfo
- Publication number
- TWI778895B TWI778895B TW110147598A TW110147598A TWI778895B TW I778895 B TWI778895 B TW I778895B TW 110147598 A TW110147598 A TW 110147598A TW 110147598 A TW110147598 A TW 110147598A TW I778895 B TWI778895 B TW I778895B
- Authority
- TW
- Taiwan
- Prior art keywords
- sample image
- saliency
- image
- detection model
- target
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Automatic Tape Cassette Changers (AREA)
- Holo Graphy (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
本發明實施例公開了一種顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質，顯著性檢測模型的訓練方法包括：獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾；利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。上述方案，通過對樣本圖像進行篩選再利用篩選後的樣本圖像對顯著性檢測模型進行訓練，能夠提高顯著性檢測模型輸出結果的準確度。
Description
本發明關於圖像處理技術領域，特別是關於一種顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質。
目前，在對模型進行訓練的過程中，只是簡單從樣本圖像資料庫中獲取一定資料的樣本圖像，並直接使用這部分樣本圖像對模型進行訓練。但是有的樣本圖像本身存在一定的缺陷，若使用這部分樣本圖像對模型進行訓練，會導致訓練後的模型對圖像進行處理得到的結果的準確度不高。
本發明實施例至少提供一種顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質。
本發明實施例提供了一種顯著性檢測模型的訓練
方法，包括：獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾；利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。
因此，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
在一些實施例中，基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，包括：對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像；獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異；在差異滿足預設要求的情況下，過濾目標樣本圖像。
因此，通過對樣本圖像按照輪廓缺失的情況進行過濾，使得留下的樣本圖像中顯著性區域輪廓的品質更好。另外，通過獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異能夠較快的獲取顯著性區域的輪廓缺失情況。
在一些實施例中，預設要求為差異大於預設差異值；對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像，包括：對目標樣本圖像進行閉運算，得到填補樣本圖像；獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異，包括：獲取填補樣本圖像關於顯著性區域的第一面積，以及目標樣本圖像中關於顯著性區域的第二面積；將第一面積和第二面積之差，確定為差異。
因此，若目標樣本圖像中的顯著性區域的輪廓存在較大的缺口，則填補前後的顯著性區域的面積可能存在較大的差異，從而根據填補前後顯著性區域的面積差，即可確定目標樣本圖像中顯著性區域的輪廓是否存在缺失。
在一些實施例中，在基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾之後，方法還包括：基於填補樣本圖像的顯著性區域的位置資訊，得到目標樣本圖像關於顯著性區域的標注位置資訊。
因此，通過填補樣本圖像的顯著性區域的位置資訊，確定目標樣本圖像關於顯著性區域的標注位置資訊，能夠保障顯著性區域的完整性。
在一些實施例中，至少一張樣本圖像包括多種圖像類型。
因此，通過使用多種圖像類型的樣本圖像對顯著性檢測模型進行訓練，使得訓練得到的顯著性檢測模型能夠對多種類型的圖像進行圖像處理，從而提高了顯著性檢測模型的適用性。
在一些實施例中，多種圖像類型包括對真實物體拍攝得到的圖像、手繪圖以及卡通圖中的至少兩種。
因此，通過將常見的圖像類型對應的樣本圖像用於對圖像處理模型進行訓練，使得訓練得到的圖像處理模型在日常生活或工作中更為適用。
在一些實施例中，基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數，包括：基於樣本圖像關於顯著性區域的標注位置資訊和預測位置資訊，獲取樣本圖像中各圖元的第一損失；將樣本圖像中各圖元的第一損失進行加權，得到樣本圖像的第二損失；基於第二損失，調整顯著性檢測模型的參數。
因此，通過對各圖元的第一損失進行加權，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
在一些實施例中，圖元的第一損失的權重與圖元的邊界距離相關，圖元的邊界距離為圖元與真實顯著性區域的邊界之間的距離，真實顯著性區域為樣本圖像中由標注位置資訊定義的顯著性區域。
因此，通過根據圖元的邊界距離確定權重，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
在一些實施例中，圖元的邊界距離越小，圖元的第一損失的權重越大。
因此，圖元的邊界距離與圖元的第一損失的權重呈
負相關，使得得到的第二損失更準確。
在一些實施例中，顯著性檢測模型至少包括以下至少之一：顯著性檢測模型為MobileNetV3的網路結構、顯著性檢測模型包括特徵提取子網路和第一檢測子網路和第二檢測子網路；利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊，包括：利用特徵提取子網路對樣本圖像進行特徵提取，得到樣本圖像對應的特徵圖；利用第一檢測子網路對特徵圖進行初始檢測，得到樣本圖像中關於顯著性區域的初始位置資訊；將特徵圖和初始位置資訊進行融合，得到融合結果；利用第二檢測子網路對融合結果進行最終檢測，得到樣本圖像的預測位置資訊。
因此，因MobileNetV3的網路結構簡單，通過使用MobileNetV3的網路結構，能夠加快檢測效率，而且可以使得處理能力較小的設備也可使用該顯著性檢測模型實現顯著性檢測；另，通過第一檢測子網路對特徵圖進行初始檢測之後，再使用第二檢測子網路對初始檢測結果進行最終檢測，能夠提高檢測的準確度。
在一些實施例中，在利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊之前，方法還包括：對經過濾後的樣本圖像進行資料增強；其中，資料增強的方式包括對樣本圖像中除顯著性區域以外的背景區域進行填充。
因此，通過對樣本圖像進行資料增強，能夠提高顯
著性檢測模型的適用性。
本發明實施例提供了一種顯著性檢測方法，包括：獲取待處理圖像；利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊，其中，顯著性檢測模型是由上述顯著性檢測模型的訓練方法訓練得到的。
因此，通過使用顯著性檢測模型的訓練方法訓練得到的顯著性檢測模型對待處理圖像進行檢測，能夠提高得到關於顯著性區域的預測位置資訊的準確度。
在一些實施例中，在利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊之後，方法還包括：利用預測位置資訊，對顯著性區域進行骨骼提取，得到目標骨骼；為目標骨骼選擇一骨骼模型作為源骨骼；將與源骨骼相關的第一動畫驅動資料移轉至目標骨骼上，得到目標骨骼的第二動畫驅動資料。
因此，通過利用預測位置資訊，對顯著性區域進行骨胳提取，能夠提高目標骨骼的準確度。
本發明實施例提供了一種顯著性檢測模型的訓練裝置，包括：第一獲取模組，配置為獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；篩選模組，配置為基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾；第一檢測模組，配置為利用顯著性檢測模型對經過濾後的樣本
圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；調整模組，配置為基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。
在一些實施例中，篩選模組配置為基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，包括：對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像；獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異；在差異滿足預設要求的情況下，過濾目標樣本圖像。
在一些實施例中，預設要求為差異大於預設差異值；篩選模組配置為對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像，包括：對目標樣本圖像進行閉運算，得到填補樣本圖像；獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異，包括：獲取填補樣本圖像關於顯著性區域的第一面積，以及目標樣本圖像中關於顯著性區域的第二面積；將第一面積和第二面積之差作為差異。
在一些實施例中，在基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾之後，篩選模組還配置為：基於填補樣本圖像的顯著性區域的位置資訊，得到目標樣本圖像關於顯著性區域的標注位置資訊。
在一些實施例中，至少一張樣本圖像包括多種圖像類型。
在一些實施例中，多種圖像類型包括對真實物體拍攝得到的圖像、手繪圖以及卡通圖中的至少兩種。
在一些實施例中，調整模組配置為基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數，包括：基於標注位置資訊和預測位置資訊，獲取樣本圖像中各圖元的第一損失；將樣本圖像中各圖元的第一損失進行加權，得到樣本圖像的第二損失；基於第二損失，調整顯著性檢測模型的參數。
在一些實施例中，圖元的第一損失的權重與圖元的邊界距離相關，圖元的邊界距離為圖元與真實顯著性區域的邊界之間的距離，真實顯著性區域為樣本圖像中由標注位置資訊定義的顯著性區域。
在一些實施例中，圖元的邊界距離越小，圖元的第一損失的權重越大。
在一些實施例中，顯著性檢測模型至少包括以下至少一個：顯著性檢測模型為MobileNetV3的網路結構、顯著性檢測模型包括特徵提取子網路和第一檢測子網路和第二檢測子網路；第一檢測模組配置為利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊，包括：利用特徵提取子網路對樣本圖像進行特徵提取，得到樣本圖像對應的特徵圖；利用第一檢測子網路對特徵圖進行初始檢測，得到樣本圖像中關於顯著性區域的初始位置資訊；將特徵圖和初始位置資訊進行融合，得到融合結果；利用第二檢測子網路對
融合結果進行最終檢測，得到樣本圖像的預測位置資訊。
在一些實施例中，第一檢測模組配置為在利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊之前，篩選模組還配置為：對經過濾後的樣本圖像進行資料增強；其中，資料增強的方式包括對樣本圖像中除顯著性區域以外的背景區域進行填充。
本發明實施例提供了一種顯著性檢測裝置，包括：第二獲取模組，配置為獲取待處理圖像；第二檢測模組，配置為利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊，其中，顯著性檢測模型是由上述顯著性檢測模型的訓練方法訓練得到的。
在一些實施例中，在利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊之後，顯著性檢測裝置還包括功能模組，功能模組配置為：利用預測位置資訊，對顯著性區域進行骨骼提取，得到目標骨骼；為目標骨骼選擇一骨骼模型作為源骨骼；將與源骨骼相關的第一動畫驅動資料移轉至目標骨骼上，得到目標骨骼的第二動畫驅動資料。
本發明實施例提供了一種電子設備，包括記憶體和處理器，處理器用於執行記憶體中儲存的程式指令，以實現上述顯著性檢測模型的訓練方法和/或顯著性檢測方法。
本發明實施例提供了一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行時實現上述顯著性檢測模型的訓練方法和/或顯著性檢測方法。
本發明實施例還提供一種電腦程式，所述電腦程式包括電腦可讀代碼，在所述電腦可讀代碼在電子設備中運行的情況下，所述電子設備的處理器執行上述任一實施例所述的顯著性檢測模型的訓練方法和/或顯著性檢測方法。
本發明實施例至少提供一種顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
201:樣本圖像獲取終端
202:網路
203:控制終端
30:顯著性檢測模型的訓練裝置
31:第一獲取模組
32:篩選模組
33:第一檢測模組
34:調整模組
40:顯著性檢測裝置
41:第二獲取模組
42:第二檢測模組
50:電子設備
51:記憶體
53:處理器
60:電腦可讀儲存介質
61:程式指令
S11~S14,S21~S22:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。
圖1是本發明實施例的顯著性檢測模型的訓練方法一實施例的流程示意圖；圖2為可以應用本發明實施例的顯著性檢測模型的訓練方法的系統架構示意圖；圖3是本發明顯著性檢測模型的訓練方法一實施例中示出對目標拍攝得到的圖像的示意圖；圖4是本發明顯著性檢測模型的訓練方法一實施例中示出的手繪圖的示意圖；圖5是本發明顯著性檢測模型的訓練方法一實施例中示出的卡通圖的示意圖；圖6是本發明顯著性檢測模型的訓練方法一實施例中示出顯著性區域存在缺失的手繪圖的示意圖；圖7是本發明顯著性檢測模型的訓練方法一實施例中示出填補後的手繪圖的示意圖；圖8是本發明顯著性檢測模型的訓練方法一實施例示出樣本圖像的示意圖；圖9是本發明顯著性檢測模型的訓練方法一實施例示出顯著圖的示意圖；圖10是本發明顯著性檢測方法一實施例的流程示意圖；圖11是本發明顯著性檢測方法一實施例示出映射關係
的第一示意圖；圖12是本發明顯著性檢測方法一實施例示出映射關係的第二示意圖；圖13是本發明顯著性檢測方法一實施例示出映射關係的第三示意圖；圖14是本發明顯著性檢測模型的訓練裝置一實施例的結構示意圖；圖15是本發明顯著性檢測裝置一實施例的結構示意圖；圖16是本發明電子設備一實施例的結構示意圖；圖17是本發明電腦可讀儲存介質一實施例的結構示意圖。
下面結合說明書附圖，對本發明實施例的方案進行詳細說明。
以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者
多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
本發明可應用於具備圖像處理能力的設備。此外，該設備可以具備圖像採集或是視頻採集功能，比如，該設備可以包括諸如攝影頭等用於採集圖像或是視頻的部件。或是該設備可以通過與其他設備進行資料傳輸或是資料交互的方式，以從其他設備中獲取所需的視頻流或是圖像，或是從其他設備的儲存資源中存取所需的視頻流或是圖像等。其中，其他設備具備圖像採集或是視頻採集功能，且與該設備之間具備通信連接，比如，該設備可以與其他設備之間通過藍牙、無線網路等方式進行資料傳輸或是資料交互，在此對於二者之間的通信方式不予限定，可以包括但不限於上述例舉的情況。在一種實現方式中，該設備可以包括手機、平板電腦、可交互螢幕等，在此不予限定。
請參閱圖1，圖1是本發明實施例的顯著性檢測模型的訓練方法一實施例的流程示意圖。所述顯著性檢測模型的訓練方法可以包括如下步驟。
步驟S11：獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像。
至少一張可以是一張及以上。獲取樣本圖像的方式有多種。例如，獲取樣本圖像在執行本訓練方法的執行設備中的儲存位置，然後通過存取該儲存位置以獲得樣本圖
像，或者通過藍牙、無線網路等傳輸方式從其他設備中獲取樣本圖像。
步驟S12：基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾。
其中，如果目標樣本圖像中顯著性區域的輪廓缺失的情況滿足刪除條件，則將該目標樣本圖像從樣本圖像中刪除。目標樣本圖像中顯著性區域的輪廓缺失的情況不滿足刪除條件，則將該目標樣本圖像保留在樣本圖像中。其中，輪廓缺失較為嚴重，則進行刪除，若較為輕微，則保留。其中，嚴重或輕微的認定，可根據具體情況認定，此處不做具體規定。
步驟S13：利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊。
其中，顯著性檢測模型可以同時對各樣本圖像進行處理，得到一個批次的預測結果，也可以分時對各樣本圖像進行處理，分別得到各樣本圖像對應的預測結果。
步驟S14：基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。
其中，可以根據顯著性區域的標注位置資訊與預測位置資訊之間的損失，調整顯著性檢測模型的參數。
上述方案，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較
為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
圖2為可以應用本發明實施例的顯著性檢測模型的訓練方法的系統架構示意圖；如圖2所示，該系統架構中包括：樣本圖像獲取終端201、網路202和控制終端203。為實現支撐一個示例性應用，樣本圖像獲取終端201和控制終端203通過網路202建立通信連接樣本圖像獲取終端201通過網路202向控制終端203上報至少一張樣本圖像，控制終端203回應至少一張樣本圖像中的目標樣圖像，並基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，再利用顯著性檢測模型對經過濾後的所述樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；最後基於樣本圖像關於所述顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。最後，控制終端203將調整後的參數上傳至網路202，並通過網路202發送給樣本圖像獲取終端201。
作為示例，樣本圖像獲取終端201可以包括圖像採集設備，控制終端203可以包括具有視覺資訊處理能力的視覺處理設備或遠端伺服器。網路202可以採用有線或無線連接方式。其中，當控制終端203為視覺處理設備時，樣本圖像獲取終端201可以通過有線連接的方式與視覺處理設備通信連接，例如通過匯流排進行資料通信；當控
制終端203為遠端伺服器時，樣本圖像獲取終端201可以通過無線網路與遠端伺服器進行資料交互。
或者，在一些場景中，樣本圖像獲取終端201可以是帶有視頻採集模組的視覺處理設備，可以是帶有攝影頭的主機。這時，本發明實施例的圖像優化模型的訓練方法可以由樣本圖像獲取終端201執行，上述系統架構可以不包含網路202和控制終端203。
一些公開實施例中，至少一張樣本圖像包括多種圖像類型。例如，包括兩種、三種或三種以上等等。通過使用多種圖像類型的樣本圖像對顯著性檢測模型進行訓練，使得訓練得到的顯著性檢測模型能夠對多種類型的圖像進行圖像處理，從而提高了顯著性檢測模型的適用性。可選地，圖像類型包括對目標拍攝得到的圖像、手繪圖以及卡通圖中的至少兩種。對目標拍攝得到的圖像又可分為可見光圖像以及紅外圖像等。手繪圖可以是在紙上手繪的圖，並對其拍攝得到手繪圖，還可以是在繪圖軟體上繪製的圖，例如，畫師在手繪板上畫製的簡易米老鼠。本發明實施例中，手繪圖進一步限定為預設背景顏色以及預設前景顏色的圖，以及前景是由單色的線條構成，例如，背景為白色，前景是由黑色線條構成的米老鼠的輪廓。卡通圖可以是具備多種前景顏色的虛擬圖像。
為更好地理解本發明實施例所述的對目標拍攝得到的圖像、手繪圖以及卡通圖，請同時參考圖3至圖5，圖3是本發明顯著性檢測模型的訓練方法一實施例中示出
對目標拍攝得到的圖像的示意圖，圖4是本發明顯著性檢測模型的訓練方法一實施例中示出的手繪圖的示意圖，圖5是本發明顯著性檢測模型的訓練方法一實施例中示出的卡通圖的示意圖。如圖3所示，圖3是對真實存在的蘋果拍攝得到的圖像，圖4是在真實的紙上繪製的蘋果草圖，圖5是蘋果的卡通形象。通過將常見的圖像類型對應的樣本圖像用於對顯著性檢測模型進行訓練，使得訓練得到的顯著性檢測模型在日常生活或工作中更為適用。本發明實施例中，選擇使用一萬張上下的對目標拍攝得到的圖像、兩萬張上下的手繪圖以及兩萬張上下的卡通圖進行訓練。
一些公開實施例中，預設圖像類型為手繪圖。由於手繪圖在繪製過程中很可能出現中斷點，通過對手繪圖按照輪廓缺失的情況進行過濾，使得留下的手繪圖中顯著性區域輪廓的品質更好。其中，基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾的方式可以是：對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像。然後，獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異。其中，若目標樣本圖像中顯著性區域的輪廓不存在缺失或缺失較小，則填補樣本圖像與填補前的目標樣本圖像中的顯著性區域相同或差異在預設範圍內。若目標樣本圖像中顯著性區域的輪廓存在較大缺失，則填補樣本圖像與填補前的目標樣本圖像中的顯著性區域之間的差異較大。在差異滿足預設要求的情況下，
過濾目標樣本圖像。通過獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異能夠較快的獲取顯著性區域的輪廓缺失情況。其中，因為需要去掉樣本圖像中，顯著性區域存在缺陷的目標樣本圖像，所以，本發明實施例中，預設要求為該差異大於預設差異值。
為更好地理解存在缺失的顯著性區域的手繪圖和填補之後的手繪圖之間的差異，請參考圖6和圖7，圖6是本發明顯著性檢測模型的訓練方法一實施例中示出顯著性區域存在缺失的手繪圖的示意圖，圖7是本發明顯著性檢測模型的訓練方法一實施例中示出填補後的手繪圖的示意圖。
如圖6和圖7所示，填補前的手繪圖中顯著性區域的輪廓為圓弧，兩個端點與圓心的夾角為45°，顯著性區域的面積可以是將缺口用線段進行連接，得到小於整圓的面積，而填補後顯著性區域的輪廓為整圓。顯著性區域的面積即為整圓的面積。很明顯，填補後的顯著性區域的面積與填補前的顯著性區域的面積相差較大，此時，可以將填補前的手繪圖去除，不讓其參與模型的訓練。
其中，對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像的方式可以是：對目標樣本圖像進行閉運算，得到填補樣本圖像。其中，閉運算指的是先對目標樣本圖像進行膨脹運算，再進行腐蝕運算或縮放運算。其中，閉運算能夠小湖(即小孔)，彌合小裂縫，而總的位置和形狀不變。通過膨脹運算能夠使得顯著性區域的輪
廓缺口彌合，通過縮放運算能夠減少顯著性區域的輪廓的厚度。如上述，手繪圖可以是白底黑線條的形式，其中，手繪圖的顯著性區域為黑線條包圍的區域，而顯著性區域的輪廓即為黑色線條。對目標樣本圖像進行閉運算例如可以是對顯著性區域的輪廓進行閉運算。也就是先對黑色線條進行膨脹，再對膨脹之後的黑線條進行縮放或腐蝕，使得填補樣本圖像中顯著性區域的輪廓粗細與填補前目標樣本圖像中顯著性區域的輪廓粗細相同或差異在預設範圍內。通過此種方式，使得在獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異的過程中，可以忽略二者之間的輪廓差異。
其中，獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異的方式可以是獲取填補樣本圖像關於顯著性區域的第一面積，以及目標樣本圖像中關於顯著性區域的第二面積。一般獲取區域面積的方式均可，此處不對獲取顯著性區域的面積的方式做具體限定。例如，獲取第二面積的方式可以是使用線段連接輪廓缺口兩端，形成封閉區域，從而計算封閉區域的面積，當然，還可以是以缺口兩端分別作為原點，分別畫橫向和縱向兩條直線，四條直線可能存在兩個的交點。分別計算每個交點連接的兩條直線與顯著性區域形成的封閉區域的面積，將較小的封閉區域的面積作為第二面積。將第一面積和第二面積之差作為差異。例如，將第二面積減去第一面積的差作為填補樣本圖像與目標樣本圖像中關於顯著性區域的差異。一些公
開實施例中，可以將填補前後顯著性區域的輪廓所占面積之差作為差異。若目標樣本圖像中的顯著性區域的輪廓存在較大的缺口，則填補前後的顯著性區域的面積可能存在較大的差異，從而根據填補前後顯著性區域的面積差，即可確定目標樣本圖像中顯著性區域的輪廓是否存在缺失。
一些公開實施例中，對目標樣本圖像進行過濾之後，顯著性檢測模型的訓練方法還包括以下步驟：基於填補樣本圖像的顯著性區域的位置資訊，得到目標樣本圖像關於顯著性區域的標注位置資訊。例如，獲取填補樣本圖像的顯著性區域的輪廓，作為目標樣本圖像關於顯著性區域的輪廓的標注位置資訊。以及，將輪廓及其包圍的區域作為顯著性區域。通過填補樣本圖像的顯著性區域的位置資訊，確定目標樣本圖像關於顯著性區域的標注位置資訊，能夠保障顯著性區域的完整性。
一些公開實施例中，在利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊之前，顯著性檢測模型的訓練方法還包括以下步驟：對經過濾後的樣本圖像進行資料增強。其中，資料增強的方式有多種，例如包括對樣本圖像中除顯著性區域以外的背景區域進行填充。其中，可以使用預設圖元值進行填充。例如，統一使用0圖元進行填充，或統一使用其他圖元值進行填充。當然，不同的圖元位置還可以使用不同的圖元值進行填充，關於填充方式此處不做具體規
定。一些公開實施例中，資料增強的方式還可以是增加雜訊、高斯模糊處理、裁剪以及旋轉中的至少一種。其中，高斯模糊處理又可稱之為高斯平滑，主要作用就是減少圖像雜訊以及降低細節層次，主要的做法是根據高斯曲線調節圖元色值，有選擇地模糊圖像。裁剪，指的是將訓練樣本圖像裁剪為不同大小的圖像，例如將訓練樣本圖像裁剪成尺寸為1024*2048或512*512大小的圖像，當然，這尺寸僅是舉例，在其他實施例中完全可以採取裁剪為其他尺寸的圖像，因此，關於裁剪的尺寸此處不做具體規定。旋轉可以是將訓練樣本圖像旋轉90°、180°或270°。當然，在其他實施例中，資料增強方式還可以是調整解析度等。通過對樣本圖像進行資料增強，能夠提高顯著性檢測模型的適用性。
一些公開實施例中，顯著性檢測模型為MobileNetV3的網路結構。其中，顯著性檢測模型包括特徵提取子網路和第一檢測子網路和第二檢測子網路。其中，第一檢測子網路和第二檢測子網路採用級聯結構。即，第一檢測子網路的輸出作為第二檢測子網路的輸入。在一些實施例中，第一檢測子網路和第二檢測子網路的結構相同。其中，利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊的方式可以是：利用特徵提取子網路對樣本圖像進行特徵提取，得到樣本圖像對應的特徵圖。然後在利用第一檢測子網路對特徵圖進行初始檢測，得到樣本圖像中關於顯著
性區域的初始位置資訊。其中，初始位置資訊可以是以顯著圖的形式呈現。然後將特徵圖和初始位置資訊進行融合，得到融合結果。例如，融合的方式可以是將特徵圖與初始位置資訊做乘法操作，得到融合結果。再利用第二檢測子網路對融合結果進行最終檢測，得到樣本圖像的預測位置資訊。最終的預測位置資訊也可以顯著圖的形式呈現。為更好地理解顯著圖，請參見圖8和圖9，圖8是本發明顯著性檢測模型的訓練方法一實施例示出樣本圖像的示意圖，圖9是本發明顯著性檢測模型的訓練方法一實施例示出顯著圖的示意圖。如圖8和圖9所示，樣本圖像中包括一張桌子以及位於桌子上的玩具鴨，顯著性檢測模型對樣本圖像進行檢測，輸出的初始位置資訊(顯著圖)如圖9所示，玩具鴨所在位置的圖元值為1，其餘位置的圖元值為0。由此，可以清楚地得到玩具鴨在樣本圖像中的位置。因MobileNetV3的網路結構簡單，通過使用MobileNetV3的網路結構，能夠加快檢測效率，而且可以使得處理能力較小的設備也可使用該顯著性檢測模型實現顯著性檢測；另，通過第一檢測子網路對特徵圖進行初始檢測之後，再使用第二檢測子網路對初始檢測結果進行最終檢測，能夠提高檢測的準確度。
一些公開實施例中，分別利用顯著性檢測模型對樣本圖像進行處理，得到樣本圖像中關於顯著性區域的預測位置資訊，基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數的方式包括
如下。
從多張樣本圖像中選擇若干樣本圖像作為當前樣本圖像。其中，若干指的是1及以上。也就是，這裡可以從多張樣本圖像中選擇其中一張樣本圖像作為當前樣本圖像，也可以是選擇兩張及以上的樣本圖像作為當前樣本圖像。在一些實施例中，選擇出的若干樣本圖像所屬的圖像類型包含多張樣本圖像的所有圖像類型。例如，在多張樣本圖像的圖像類型一共包括上述三種圖像類型時，從多張樣本圖像中選擇出的若干張樣本圖像也包含上述三種圖像類型。其中，每種圖像類型的樣本圖像的數量可以相同，也可以是不同。然後，利用顯著性檢測模型對當前樣本圖像進行處理，得到當前樣本圖像的預測結果。例如，將當前樣本圖像作為一個批次，利用顯著性檢測模型對這一個批次的樣本圖像進行處理，得到一個批次的預測結果。再基於當前樣本圖像的標注結果和預測結果，調整顯著性檢測模型的參數。可選地，可以使用分別利用一個批次中各個標注結果與其對應的預測結果之間的損失對模型的參數進行調整，這種方式需要對參數調整若干次，還可以是結合各標注結果與其對應的預測結果之間的損失對模型的參數進行調整，這種方式只需要對模型的參數調整一次。重複執行從多張樣本圖像選擇若干樣本圖像作為當前樣本圖像以及後續步驟，直到顯著性檢測模型滿足預設要求。其中，這裡的預設要求可以是模型給出的預測結果與標注結果之間的誤差大小。具體誤差大小根據實際需求確
定，此處不做規定。可選地，每次從多張樣本圖像中選擇的若干樣本圖像可以與上一次選擇的部分樣本圖像相同。另一些公開實施例中，每次從多張樣本圖像中選擇的若干樣本圖像均不相同。從多張樣本圖像中選擇若干樣本圖像作為當前樣本圖像，並利用顯著性檢測模型對當前樣本圖像進行處理，能夠提高訓練速度。
一些公開實施例中，樣本圖像的標注資訊還包括樣本圖像的真實圖像類型，樣本圖像的預測結果包括樣本圖像的預測圖像類型。其中，在顯著性檢測模型為目標分類模型的情況下，顯著性檢測模型的預測結果包括目標的預測類別以及樣本圖像的預測圖像類型。在顯著性檢測模型為顯著性檢測模型的情況下，預測位置資訊為樣本圖像中目標的預測類別以及樣本圖像的預測圖像類型。通過使用關於樣本圖像的內容的標注位置資訊與其內容的預測位置資訊，和/或樣本圖像的真實圖像類型以及樣本圖像的預測圖像類型，對顯著性檢測模型的參數進行調整，使得調整之後的顯著性檢測模型的適用性更強。
一些公開實施例中，基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數的方式可以是：基於標注位置資訊和預測位置資訊，獲取樣本圖像中各圖元的第一損失。將樣本圖像中各圖元的第一損失進行加權，得到樣本圖像的第二損失。基於第二損失，調整顯著性檢測模型的參數。獲取第一損失的方式可以是將標注位置資訊與預測位置資訊進行作差，得到
第一損失。通過對各圖元的第一損失進行加權，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
其中，圖元的第一損失的權重與圖元的邊界距離相關。圖元的邊界距離為圖元與真實顯著性區域的邊界之間的距離，真實顯著性區域為樣本圖像中由標注位置資訊定義的顯著性區域。其中，這裡的圖元與真實顯著性區域的邊界之間的距離可以是與顯著性區域的邊界最小距離。例如，樣本圖像的左上角的圖元位置為(0，0)，真實顯著性區域的邊界包括(0，1)、(0，2)等，該圖元位置與真實顯著性區域的邊界之間的距離為1。通過根據圖元的邊界距離確定權重，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
在一些實施例中，圖元點的邊界距離越小，圖元的第一損失的權重越大。即，圖元點的第一損失的權重與圖元點的邊界距離呈負相關。圖元的邊界距離與圖元的第一損失的權重呈負相關，使得得到的第二損失更準確。
一些公開實施例中，基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數的方式可以是：基於真實圖像類型和預測圖像類型，得到第三損失。然後，基於第二損失和第三損失，調整顯著性檢測模型的參數。例如，基於真實圖像類型和預測圖像類型之間的誤差，得到第三損失。例如，通過結合一個批次的預測位置資訊與對應的標注資訊之間的誤差，確定一個第二損失，以及結合一個批次的預測圖像類型與真實
的圖像類型之間的誤差，確定一個第三損失。結合第二損失和第三損失，調整顯著性檢測模型的參數。通過使用關於樣本圖像的內容的標注位置資訊與其內容的預測位置資訊之間的第二損失以及基於真實圖像類型和預測圖像類型的第三損失，調整顯著性檢測模型的參數，能夠提高顯著性檢測模型的適用性。
例如，第二損失對模型的參數進行優化，使得顯著性檢測模型得到的預測位置資訊更接近標注位置資訊，也就是二者之間的誤差變小。通過使用第三損失對模型的參數進行調整，使得表示同一物體但屬於不同圖像類型的圖像的特徵向量在特徵空間中的距離更接近，從而使得不同圖像類型的圖像的特徵向量都在距離較近的特徵空間中。例如，訓練得到的顯著性檢測模型對表示蘋果的手繪圖、卡通圖以及對蘋果進行拍攝得到的圖像進行特徵提取得到的特徵向量在特徵空間的距離更為接近。
一些公開實施例中，基於第二損失和第三損失，調整顯著性檢測模型的參數的方式可以是：獲取第二損失與第三損失之間的損失差。然後利用損失差和第三損失，對顯著性檢測模型的參數進行調整。例如，該損失差為第二損失和第三損失作差得到。利用第二損失差和第三損失差，對顯著性檢測模型的參數進行調整可以是先使用其中一個損失對模型的參數進行調整，再使用另一個損失對模型的參數進行調整。通過使用第二損失和第三損失的損失差以及第三損失對顯著性檢測模型的參數進行調整，能夠提
高顯著性檢測模型的適用性。
一些公開實施例中，顯著性檢測模型還包括圖像類型分類子網路。
其中，圖像類型分類子網路連接特徵提取子網路。利用圖像類型分類網路對樣本圖像進行圖像類型分類，得到樣本圖像的預測圖像類型。在一些實施例中，將特徵提取子網路提取得到的特徵圖輸入圖像類型分類網路，得到關於樣本圖像的預測圖像類型。其中，利用損失差和第三損失，對顯著性檢測模型的參數進行調整的方式可以是：利用第三損失對圖像類型分類子網路的參數進行調整。以及利用損失差，對特徵提取子網路、第一檢測子網路及第二檢測子網路的參數進行調整。使用損失差和第三損失對參數進行調整的方式均為正向調整。通過使用損失差對顯著性檢測模型中的特徵提取子網路、第一檢測子網路及第二檢測子網路進行調整，使得顯著性檢測模型得到的關於樣本圖像的內容的預測位置資訊更準確，以及使用第三損失對圖像類型分類網路的參數進行調整，能夠提高圖像類型分類網路的準確度。
一些公開實施例中，訓練得到的顯著性檢測模型能夠部署到手機端，AR/VR端進行圖像處理。顯著性檢測方法還可應用於拍照、視頻錄製濾鏡等軟體中。
上述方案，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較
為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
其中，顯著性檢測模型的訓練方法的執行主體可以是顯著性檢測模型的訓練裝置，例如，顯著性檢測模型的訓練方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該顯著性檢測模型的訓練方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
請參見圖10，圖10是本發明顯著性檢測方法一實施例的流程示意圖。如圖10所示，本發明實施例提供的顯著性檢測方法包括以下步驟。
步驟S21：獲取待處理圖像。
其中，獲取待處理圖像的方式有多種，例如，通過執行顯著性檢測方法的執行設備中的攝影元件進行拍攝得到，也可以是根據各種通信方式從其他設備中獲取待處理圖像。其中，待處理圖像的圖像類型可以是多種圖像類型中的一種。例如，待處理圖像的圖像類型可以是對目標拍攝得到的圖像、手繪圖卡通圖中的一種或多種。一些公開實施例中，還可從視頻中獲取待處理圖像。例如，將一
段視頻輸入顯著性檢測模型，顯著性檢測模型獲取視頻中的每一幀視頻幀，並將每一幀視頻幀作為待處理圖像。
步驟S22：利用顯著性檢測模型對待處理圖像進行處理，得到關於待處理圖像的內容中關於顯著性區域的預測位置資訊，其中，顯著性檢測模型是顯著性檢測模型的訓練方法訓練得到的。
本發明實施例中的顯著性檢測模型包括特徵提取子網路、第一檢測子網路以及第二檢測子網路。其中，該顯著性檢測模型利用了多種圖像類型的樣本圖像進行訓練。例如，將待處理圖像從顯著性檢測模型的輸入端輸入該顯著性檢測模型。顯著性檢測模型對待處理圖像進行處理得到待處理圖像內容中關於顯著性區域的預測位置資訊。
上述方案，通過使用上述顯著性檢測模型的訓練方法訓練得到的顯著性檢測模型對待處理圖像進行處理，能夠提高圖像處理的準確度。
一些公開實施例中，利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊之後，顯著性檢測方法還包括以下至少一步驟。
1、在顯示待處理圖像的介面上顯示預測位置資訊。其中，顯示的方式有多種，例如將預測位置資訊標注在待處理圖像上，以便將待處理圖像和對應的預測位置資訊一起在顯示介面上顯示，當然，還可以是在顯示介面的不同
區域分別顯示待處理圖像和對應的預測位置資訊。一些公開實施例中，若待處理圖像為兩個及以上時，可以在顯示介面的不同區域顯示對應的待處理圖像及其預測位置資訊，或者以翻頁的形式顯示待處理圖像及其預測位置資訊。其中，在待處理圖像是從視頻中獲取時，判斷連續預設數量幀的視頻幀的預測位置資訊是否相同，若是，則認為預測位置資訊正確。若否，則認為預測位置資訊不正確。其中，可以選擇將正確的預測位置資訊輸出，將錯誤的預測位置資訊不輸出，也可以選擇將正確和錯誤的預測位置資訊進行對應的批註，並輸出。其中，預設數量幀可以是5幀、10幀等等，可根據具體使用場景確定。
2、利用預測位置資訊，對顯著性區域進行骨骼提取，得到目標骨骼。以及，為目標骨骼選擇一骨骼模型作為源骨骼。其中，源骨骼上設置有動畫驅動資料。然後將與源骨骼相關的第一動畫驅動資料移轉至目標骨骼上，得到目標骨骼的第二動畫驅動資料。其中，目標骨骼是基於待處理圖像中目標進行骨骼提取得到的。
一些公開實施例中，利用預測位置資訊，對顯著性區域進行骨骼提取，得到目標骨骼的步驟可以是：對顯著性區域進行輪廓提取，得到目標的輪廓，然後利用該輪廓，為目標生成三維網格模型。最後，從三維網格模型中提取得到目標骨骼。
獲取源骨骼的方式可以是：對待處理圖像進行分類，得到目標對象的類別，並選擇與類別匹配的骨骼模型作為
源骨骼。其中，目標骨骼為目標對象的骨骼。例如，本發明實施例可以採用預測標籤映射，也可以採用資料集標籤映射。預測標籤映射對目標對象的分類結果包括目標對象的預測骨骼拓撲結構類型，例如預測骨骼拓撲結構類型包括二足、四足等等。也就是，預測標籤映射的過程主要是預測目標對象的骨骼拓撲結構特點。資料集標籤映射的分類結果需要給出輸入圖像中目標對象的具體種類，例如目標對象為貓、狗、大熊貓、狗熊等等。本發明實施例選擇採用預測標籤映射，具體應用過程中，若目標對象為大熊貓，而預測標籤映射給出的目標對象類別為四足，並選擇與類別匹配的骨骼模型作為初始源骨骼，若選擇的初始源骨骼為四足的狗熊。雖然大熊貓和狗熊不同，但是他們實際上具有大致相同的骨骼拓撲結構，因此，將狗熊的動畫驅動資料移轉到大熊貓上也能夠以自然合理的形式出現。也就是通過預測標籤映射雖然無法得到完全正確的目標對象的類別，但是也不影響對最終目標骨骼的驅動。同時，因為預測標籤映射沒有進一步獲知目標對象的具體類別，從而降低了計算成本。
確定與目標骨骼匹配的源骨骼後，將源骨骼與目標骨骼進行之間進行骨骼節點映射，得到二者之間的節點映射關係。一些公開實施例中，得到二者之間的節點映射關係的方式可以是：確定源骨骼和目標骨骼中各節點所在的骨骼分支數量。按照骨骼分支數量從多到少的順序，依序對源骨骼和目標骨骼中的節點進行映射。其中，所在的骨
骼分支數量最多的節點一般稱之為根節點。其中，暫且將節點所在的骨骼分支數量稱之為度數。也就是先構建兩個骨骼中度數較大的節點之間的映射關係，再構建度數較少的節點之間的映射關係。又或者，可以採用骨骼分支映射誤差值最小的原則進行映射。其中，如果源骨骼和目標骨骼之間的節點數不同，則選擇成本最低的最小多對一映射。例如，可以通過在發生多對一或跳過映射的序列中執行一對一的聯合匹配的方式進行映射。
一些公開實施例中，最終的目標骨骼與源骨骼的節點拓撲結構一致。或，最終目標骨骼與最終源骨骼之間的節點一一映射。也就是，最終的目標骨骼與最終的源骨骼的節點拓撲結構可能存在兩種形式，一種是最終的目標骨骼與最終的源骨骼的節點拓撲結構完全一致，另一種是最終的目標骨骼中的節點均有最終的源骨骼的節點與之對應，但是最終的源骨骼中存在一些沒有構建映射關係的節點。即，需要保證在動畫遷移後，最終的目標骨骼的節點上均有對應的動畫驅動資料。
在獲得二者之間的節點映射關係之後，進行拓撲結構對齊以及節點對齊。
其中，進行拓撲結構對齊的方式可以包括以下至少一步。
一是在源骨骼和目標骨骼之間存在多個節點映射於同一節點的情況下，更新其中一個骨骼的節點拓撲結構。其中，經更新之後的兩個骨骼之間的節點一一映射。通過
更新骨骼的節點拓撲結構能夠使得兩個骨骼之間的多個節點映射於同一節點的情況調整為兩個骨骼之間的節點一一映射，以減少後續動畫驅動最終目標骨骼的過程中出現不合理的情況出現。
其中，更新其中一個骨骼的節點拓撲結構又可分為多種情況：第一種情況是在多個節點位於同一骨骼分支的情況下，更新多個節點所在的第一骨骼。其中，第一骨骼和第二骨骼中的其中一個為源骨骼，另一個為目標骨骼。通過更新多個節點所在的第一骨骼，使得兩個骨骼之間的多個節點映射於同一節點的情況調整為兩個骨骼之間的節點一一映射，進而減少後續動畫驅動最終目標骨骼的過程中出現不合理的情況出現。可選地，更新多個節點所在的第一骨骼的方式可以是將第一骨骼中的多個節點合併為一個第一節點。其中，第一節點保留合併前多個節點的映射關係。並且，第一節點的位置取所有被合併節點的位置的平均值。
同時參見圖11，圖11是本發明顯著性檢測方法一實施例示出映射關係的第一示意圖。如圖11所示，目標骨骼中的第二個節點和第三個節點同時映射於源骨骼中的第二個節點時。在這種情況下，將目標骨骼中的第二個節點和第三個節點進行合併為一個第一節點。其中，第一節點的位置取目標骨骼中第二個節點和第三個節點的位置的平均值。其中，當第一骨骼為源骨骼時，因為源骨骼中的節點攜帶有動畫驅動資料，所以當節點合併之後，
需要獲取第一節點的動畫驅動資料，此時，可以將被合併的所有節點的動畫驅動資料進行合併。例如，動畫驅動資料一般可以用矩陣表示，矩陣的合併可以用矩陣乘法表示，即將動畫驅動資料進行相乘，即可得到第一節點的動畫驅動資料。第二種情況是在多個節點位於不同骨骼分支的情況下，更新不包括多個節點的第二骨骼。其中，第一骨骼和第二骨骼中的其中一個為源骨骼，另一個為目標骨骼。可選地，在第一骨骼中查找出多個節點所在的骨骼分支匯合的第二節點。具體做法可以是依次父節點遍歷，從而得到第二節點。並在第二骨骼中查找出映射於第二節點的第三節點。然後找到多個節點對應的節點拓撲結構，在第三節點處新增至少一條骨骼分支。本發明實施例中，一個節點的父節點指的是在一條骨骼分支中，與該節點相鄰且比該節點更靠近根節點的節點。其中，多個節點與第三節點處新增的骨骼分支和原始的骨骼分支中的節點一一映射。其中，新增的骨骼分支可以是複製原始的骨骼分支。複製的內容包括動畫資料、以及該節點與其父節點之間的變換關係。例如，原始的骨骼分支中包括三個節點，則新增的骨骼分支中也包括三個節點，且新增的骨骼分支中的三個節點的動畫驅動資料是通過複製原始的骨骼分支中對應節點的動畫資料得到。
同時參見圖12，圖12是本發明顯著性檢測方法一實施例示出映射關係的第二示意圖。如圖12所示，左邊的節點拓撲結構為源骨骼的節點拓撲結構，右邊的節點
拓撲結構為目標骨骼的節點拓撲結構。圖12中，目標骨骼的第一個節點映射於源骨骼的第一個節點，目標骨骼的第二個節點映射於源骨骼的第二個節點，目標骨骼的第二個節點下包括兩個分支，即左分支與右分支，其中，左分支中的第一個節點和右分支中的第一個節點映射於源骨骼的第三個節點，左分支中的第二個節點和右分支中的第二個節點映射於源骨骼的第四個節點。這也就出現了目標骨骼中兩個節點映射於源骨骼的第三個節點，且這兩個節點屬於不同的分支，以及目標骨骼中兩個節點映射於源骨骼的第四個節點，且這兩個節點屬於不同的分支。其中，這兩個分支匯合在目標骨骼的第二個節點。在源骨骼中找出映射於目標骨骼的第二個節點為第二個節點。按照目標骨骼這兩個節點對應的節點拓撲結構，在源骨骼的第二個節點處新增一條骨骼分支。其中，新增的一條骨骼分支中的節點有兩個。此時，目標骨骼中所有的節點均一一對應與源骨骼中的節點。因此，通過此種方式在實現節點一一映射的情況下，還能夠最大化的保留第一骨骼的節點拓撲結構。
二是在骨骼中存在未有映射關係的情況下，更新未有映射關係的節點所在骨骼的節點拓撲結構。其中，兩個骨骼包括源骨骼和目標骨骼，經更新之後的兩個骨骼之間的節點一一映射。通過更新沒有映射關係的節點所在骨骼的節點拓撲結構，減少沒有映射關係的節點，使得更新後的兩個骨骼之間的節點一一映射，從而減少後續動畫驅動
最終目標骨骼的過程中出現不合理的情況出現。可選地，將未有映射關係的節點合併至具有映射關係的相鄰節點。其中，相鄰節點為未有映射關係的節點在所在骨骼中的父節點或子節點。本發明實施例中將未有映射關係的節點向其父節點合併。
請參見圖13，圖13是本發明顯著性檢測方法一實施例示出映射關係的第三示意圖。如圖13所示，目標骨骼的第一個節點映射於源骨骼的第一個節點，目標骨骼的第二個節點映射於源骨骼的第三個節點，目標骨骼的第三個節點映射於源骨骼的第四個節點。其中，源骨骼的第二個節點沒有映射關係。可以將源骨骼的第二個節點向其父節點合併，也就是向源骨骼的第一個節點合併。當然，源骨骼中的節點合併都會伴隨著動畫驅動資料之間的合併，關於動畫驅動資料之間的合併此處不再贅述。
其中，進行節點對齊，主要是為了確定源骨骼和目標骨骼之間的第一位姿變換關係。
例如，按照從根源節點到葉源節點的順序，分別將最終源骨骼中的各源節點與最終目標骨骼中對應映射的目標節點進行對齊，以得到各源節點與映射的目標節點之間的第一位姿變換關係。如上述，根節點為所在的骨骼分支數量最多的節點。則根源節點指的是最終源骨骼中的根節點，同理，根目標節點指的是最終目標骨骼的根節點。最終源骨骼和最終目標骨骼指的是經過拓撲結構對齊後的源骨骼和目標骨骼。其中，葉節點指的是具有父節點但
沒有子節點的節點。葉源節點指的是最終源骨骼中的葉節點，葉目標節點指的是最終目標骨骼中的葉節點。即，先對齊根源節點以及與根源節點有映射關係的根目標節點。然後再對齊與根源節點連接的葉源節點以及與該葉源節點之間具備映射關係的葉目標節點，以此類推，直至最終目標骨骼中所有節點均與最終源骨骼的節點一一對齊為止。一些公開實施例中，可以直接將最終目標骨骼的根目標節點作為第一座標系原點。
位姿變換關係為源節點與映射的目標節點在第一座標系中的變換關係。通過最終源骨骼的根源節點和最終目標骨骼的根目標節點均平移至第一座標系的原點，能夠獲取最終源骨骼的根源節點和最終目標骨骼的根目標節點之間的偏移量。例如，對於最終源骨骼中的每個源節點，獲取使源節點對齊於映射的目標節點所需的偏移量。其中，偏移量包括平移分量和旋轉分量。一般而言，平移分量中包括縮放分量。然後基於源節點對應的偏移量，得到源節點的第一位姿變換關係。
其中，若源骨骼的拓撲結構有發生改變，則源骨骼上的動畫資料也對應發生改變。例如，源骨骼中某兩個源節點發生合併，則將其節點對應的動畫資料也進行合併。
由此，可以將源骨骼上的動畫資料移轉到目標骨骼上，以驅動待處理圖像中的目標進行運動。
通過在得到預測資訊之後，還執行上述至少一步，提高了使用過程中的便捷性。
以及通過使用上述顯著性檢測模型的訓練方法訓練得到的顯著性檢測模型輸出的顯著性區域，並以此對顯著性區域進行骨骼提取得到目標骨骼，使得得到的目標骨骼更為準確。
上述方案，通過使用上述顯著性檢測模型的訓練方法訓練得到的顯著性檢測模型對待處理圖像進行處理，能夠提高圖像處理的準確度。
其中，顯著性檢測方法的執行主體可以是顯著性檢測裝置，例如，顯著性檢測方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該顯著性檢測方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
請參閱圖14，圖14是本發明顯著性檢測模型的訓練裝置一實施例的結構示意圖。顯著性檢測模型的訓練裝置30包括第一獲取模組31、篩選模組32、第一檢測模組33以及調整模組34。第一獲取模組31，配置為獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；篩選模組32，配置為基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾；第一檢測模組33，配置為利用顯著性
檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；調整模組34，配置為基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。
上述方案，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
在一些實施例中，篩選模組32配置為基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，包括：對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像；獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異；在差異滿足預設要求的情況下，過濾目標樣本圖像。
上述方案，樣本圖像按照輪廓缺失的情況進行過濾，使得留下的樣本圖像中顯著性區域輪廓的品質更好。另外，通過獲取填補樣本圖像與目標樣本圖像中關於顯著性區域的差異能夠較快的獲取顯著性區域的輪廓缺失情況。
在一些實施例中，預設要求為差異大於預設差異值；篩選模組32配置為對目標樣本圖像中顯著性區域的輪廓進行填補，得到填補樣本圖像，包括：對目標樣本圖像進行閉運算，得到填補樣本圖像；獲取填補樣本圖像與目標
樣本圖像中關於顯著性區域的差異，包括：獲取填補樣本圖像關於顯著性區域的第一面積，以及目標樣本圖像中關於顯著性區域的第二面積；將第一面積和第二面積之差作為差異。
上述方案，若目標樣本圖像中的顯著性區域的輪廓存在較大的缺口，則填補前後的顯著性區域的面積可能存在較大的差異，從而根據填補前後顯著性區域的面積差，即可確定目標樣本圖像中顯著性區域的輪廓是否存在缺失。
在一些實施例中，在基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾之後，篩選模組32還配置為：基於填補樣本圖像的顯著性區域的位置資訊，得到目標樣本圖像關於顯著性區域的標注位置資訊。
上述方案，通過填補樣本圖像的顯著性區域的位置資訊，確定目標樣本圖像關於顯著性區域的標注位置資訊，能夠保障顯著性區域的完整性。
在一些實施例中，至少一張樣本圖像包括多種圖像類型。
上述方案，通過使用多種圖像類型的樣本圖像對顯著性檢測模型進行訓練，使得訓練得到的顯著性檢測模型能夠對多種類型的圖像進行圖像處理，從而提高了顯著性檢測模型的適用性。
在一些實施例中，多種圖像類型包括對真實物體拍
攝得到的圖像、手繪圖以及卡通圖中的至少兩種。
上述方案，通過將常見的圖像類型對應的樣本圖像用於對圖像處理模型進行訓練，使得訓練得到的圖像處理模型在日常生活或工作中更為適用。
在一些實施例中，調整模組34配置為基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數，包括：基於標注位置資訊和預測位置資訊，獲取樣本圖像中各圖元的第一損失；將樣本圖像中各圖元的第一損失進行加權，得到樣本圖像的第二損失；基於第二損失，調整顯著性檢測模型的參數。
上述方案，通過對各圖元的第一損失進行加權，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
在一些實施例中，圖元的第一損失的權重與圖元的邊界距離相關，圖元的邊界距離為圖元與真實顯著性區域的邊界之間的距離，真實顯著性區域為樣本圖像中由標注位置資訊定義的顯著性區域。
上述方案，通過根據圖元的邊界距離確定權重，使得利用加權後的第二損失調整顯著性檢測模型的參數更準確。
在一些實施例中，圖元的邊界距離越小，圖元的第一損失的權重越大。
上述方案，圖元的邊界距離與圖元的第一損失的權重呈負相關，使得得到的第二損失更準確。
在一些實施例中，顯著性檢測模型至少包括以下至少一個：顯著性檢測模型為MobileNetV3的網路結構、顯著性檢測模型包括特徵提取子網路和第一檢測子網路和第二檢測子網路；第一檢測模組33配置為利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊，包括：利用特徵提取子網路對樣本圖像進行特徵提取，得到樣本圖像對應的特徵圖；利用第一檢測子網路對特徵圖進行初始檢測，得到樣本圖像中關於顯著性區域的初始位置資訊；將特徵圖和初始位置資訊進行融合，得到融合結果；利用第二檢測子網路對融合結果進行最終檢測，得到樣本圖像的預測位置資訊。
上述方案，因MobileNetV3的網路結構簡單，通過使用MobileNetV3的網路結構，能夠加快檢測效率，而且可以使得處理能力較小的設備也可使用該顯著性檢測模型實現顯著性檢測；另，通過第一檢測子網路對特徵圖進行初始檢測之後，再使用第二檢測子網路對初始檢測結果進行最終檢測，能夠提高檢測的準確度。
在一些實施例中，第一檢測模組33配置為在利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊之前，篩選模組32還配置為：對經過濾後的樣本圖像進行資料增強；其中，資料增強的方式包括對樣本圖像中除顯著性區域以外的背景區域進行填充。
上述方案，通過對樣本圖像進行資料增強，能夠提高顯著性檢測模型的適用性。
請參閱圖15，圖15是本發明顯著性檢測裝置一實施例的結構示意圖。顯著性檢測裝置40包括第二獲取模組41以及第二檢測模組42。第二獲取模組41，配置為獲取待處理圖像；第二檢測模組42，配置為利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊，其中，顯著性檢測模型是由上述顯著性檢測模型的訓練方法訓練得到的。
上述方案，通過使用顯著性檢測模型的訓練方法訓練得到的顯著性檢測模型對待處理圖像進行檢測，能夠提高得到關於顯著性區域的預測位置資訊的準確度。
在一些實施例中，在利用顯著性檢測模型對待處理圖像進行處理，得到待處理圖像內容中關於顯著性區域的預測位置資訊之後，顯著性檢測裝置還包括功能模組(圖未示)，功能模組配置為：利用預測位置資訊，對顯著性區域進行骨骼提取，得到目標骨骼；為目標骨骼選擇一骨骼模型作為源骨骼；將與源骨骼相關的第一動畫驅動資料移轉至目標骨骼上，得到目標骨骼的第二動畫驅動資料。
上述方案，通過利用預測位置資訊，對顯著性區域進行骨胳提取，能夠提高目標骨骼的準確度。
請參閱圖16，圖16是本發明電子設備一實施例的結構示意圖。電子設備50包括記憶體51和處理器52，處理器52用於執行記憶體51中儲存的程式指令，以實現
上述任一顯著性檢測模型的訓練方法實施例中的步驟和/或顯著性檢測方法實施例中的步驟。在一個實施場景中，電子設備50可以包括但不限於：醫療設備、微型電腦、臺式電腦、伺服器，此外，電子設備50還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。
處理器52用於控制其自身以及記憶體51以實現上述任一顯著性檢測模型的訓練方法實施例中的步驟。處理器52還可以稱為CPU(Central Processing Unit，中央處理單元)。處理器52可能是一種積體電路晶片，具有信號的處理能力。處理器52還可以是通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器52可以由積體電路晶片共同實現。
上述方案，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
請參閱圖17，圖17是本發明電腦可讀儲存介質一實施例的結構示意圖。電腦可讀儲存介質60儲存有能夠被處理器運行的程式指令61，程式指令61用於實現上述任一顯著性檢測模型的訓練方法實施例中的步驟和/或顯著性檢測方法實施例中的步驟。
上述方案，通過對獲取到的預設圖像類型的目標樣本圖像進行按照其顯著性區域的輪廓缺失情況，對目標樣本圖像進行過濾，使得保留下的樣本圖像中顯著性區域較為完整，進而利用這種保留下的品質較高的樣本圖像對顯著性檢測模型進行訓練，可以使得訓練得到的顯著性檢測模型後續對圖像進行檢測的結果更準確。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述。
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。
在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連
接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)或處理器(processor)執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、磁碟或者光碟等各種可以儲存程式碼的介質。
本發明實施例公開了一種顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質，顯著性檢測模型的訓練方法包括：獲取至少一張樣本圖像，其中，至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；基於目標樣本圖像中顯著性區域的輪廓缺失情況，對目標樣本圖
像進行過濾；利用顯著性檢測模型對經過濾後的樣本圖像進行檢測，得到樣本圖像中關於顯著性區域的預測位置資訊；基於樣本圖像關於顯著性區域的標注位置資訊與預測位置資訊，調整顯著性檢測模型的參數。上述方案，通過對樣本圖像進行篩選再利用篩選後的樣本圖像對顯著性檢測模型進行訓練，能夠提高顯著性檢測模型輸出結果的準確度。
S11~S14:步驟
Claims (14)
- 一種顯著性檢測模型的訓練方法，所述方法由電子設備執行，所述方法包括：獲取至少一張樣本圖像，其中，所述至少一張樣本圖像包括屬於預設圖像類型的目標樣本圖像；基於所述目標樣本圖像中顯著性區域的輪廓缺失情況，對所述目標樣本圖像進行過濾；利用顯著性檢測模型對經過濾後的所述樣本圖像進行檢測，得到所述樣本圖像中關於顯著性區域的預測位置資訊；基於所述樣本圖像關於所述顯著性區域的標注位置資訊與所述預測位置資訊，調整所述顯著性檢測模型的參數；其中，所述基於所述目標樣本圖像中顯著性區域的輪廓缺失情況，對所述目標樣本圖像進行過濾，包括：對所述目標樣本圖像中所述顯著性區域的輪廓進行填補，得到填補樣本圖像；獲取所述填補樣本圖像與所述目標樣本圖像中關於所述顯著性區域的差異；在所述差異滿足預設要求的情況下，過濾所述目標樣本圖像。
- 根據請求項1所述的方法，其中，所述預設要求為所述差異大於預設差異值；所述對所述目標樣本圖像中所述顯著性區域的輪廓進行填補，得到填補樣本圖像，包括： 對所述目標樣本圖像進行閉運算，得到所述填補樣本圖像；所述獲取所述填補樣本圖像與所述目標樣本圖像中關於所述顯著性區域的差異，包括：獲取所述填補樣本圖像關於所述顯著性區域的第一面積，以及所述目標樣本圖像中關於所述顯著性區域的第二面積；將所述第一面積和所述第二面積之差，確定為所述差異。
- 根據請求項2所述的方法，其中，在所述基於所述目標樣本圖像中顯著性區域的輪廓缺失情況，對所述目標樣本圖像進行過濾之後，所述方法還包括：基於所述填補樣本圖像的顯著性區域的位置資訊，得到所述目標樣本圖像關於所述顯著性區域的標注位置資訊。
- 根據請求項1或2所述的方法，其中，所述至少一張樣本圖像包括多種圖像類型。
- 根據請求項4所述的方法，其中，所述多種圖像類型包括對真實物體拍攝得到的圖像、手繪圖以及卡通圖中的至少兩種。
- 根據請求項1所述的方法，其中，所述基於所述樣本圖像關於所述顯著性區域的標注位置資訊與所述預測位置資訊，調整所述顯著性檢測模型的參數，包括：基於所述樣本圖像關於所述顯著性區域的標注位置資訊和所述預測位置資訊，獲取所述樣本圖像中各圖元的第一 損失；將所述樣本圖像中所述各圖元的第一損失進行加權，得到所述樣本圖像的第二損失；基於所述第二損失，調整所述顯著性檢測模型的參數。
- 根據請求項6所述的方法，其中，所述圖元的第一損失的權重與所述圖元的邊界距離相關，所述圖元的邊界距離為所述圖元與真實顯著性區域的邊界之間的距離，所述真實顯著性區域為所述樣本圖像中由所述標注位置資訊定義的顯著性區域。
- 根據請求項7所述的方法，其中，所述圖元的邊界距離越小，所述圖元的第一損失的權重越大。
- 根據請求項1或2所述的方法，其中，所述顯著性檢測模型至少包括以下之一：所述顯著性檢測模型為MobileNetV3的網路結構、所述顯著性檢測模型包括特徵提取子網路和第一檢測子網路和第二檢測子網路；所述利用顯著性檢測模型對經過濾後的所述樣本圖像進行檢測，得到所述樣本圖像中關於顯著性區域的預測位置資訊，包括：利用所述特徵提取子網路對所述樣本圖像進行特徵提取，得到所述樣本圖像對應的特徵圖；利用所述第一檢測子網路對所述特徵圖進行初始檢測，得到所述樣本圖像中關於所述顯著性區域的初始位置資訊；將所述特徵圖和所述初始位置資訊進行融合，得到融合 結果；利用所述第二檢測子網路對所述融合結果進行最終檢測，得到所述樣本圖像的所述預測位置資訊。
- 根據請求項1或2所述的方法，其中，在所述利用顯著性檢測模型對經過濾後的所述樣本圖像進行檢測，得到所述樣本圖像中關於顯著性區域的預測位置資訊之前，所述方法還包括：對經過濾後的所述樣本圖像進行資料增強；其中，所述資料增強的方式包括對所述樣本圖像中除所述顯著性區域以外的背景區域進行填充。
- 一種顯著性檢測方法，包括：獲取待處理圖像；利用顯著性檢測模型對所述待處理圖像進行處理，得到所述待處理圖像內容中關於顯著性區域的預測位置資訊，其中，所述顯著性檢測模型是由請求項1至10任一項方法訓練得到的。
- 根據請求項11所述的方法，其中，在所述利用顯著性檢測模型對所述待處理圖像進行處理，得到所述待處理圖像內容中關於顯著性區域的預測位置資訊之後，所述方法還包括：利用所述預測位置資訊，對所述顯著性區域進行骨骼提取，得到目標骨骼；為所述目標骨骼選擇一骨骼模型作為源骨骼；將與所述源骨骼相關的第一動畫驅動資料移轉至所述目 標骨骼上，得到所述目標骨骼的第二動畫驅動資料。
- 一種電子設備，包括記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現請求項1至12任一項所述的方法。
- 一種電腦可讀儲存介質，其上儲存有程式指令，其中，所述程式指令被處理器執行時實現請求項1至12任一項所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110735893.4 | 2021-06-30 | ||
| CN202110735893.4A CN113505799B (zh) | 2021-06-30 | 2021-06-30 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI778895B true TWI778895B (zh) | 2022-09-21 |
| TW202303446A TW202303446A (zh) | 2023-01-16 |
Family
ID=78009429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110147598A TWI778895B (zh) | 2021-06-30 | 2021-12-17 | 顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN113505799B (zh) |
| TW (1) | TWI778895B (zh) |
| WO (1) | WO2023273069A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505799B (zh) * | 2021-06-30 | 2022-12-23 | 深圳市慧鲤科技有限公司 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
| CN114419341B (zh) * | 2022-01-20 | 2024-04-26 | 大连海事大学 | 一种基于迁移学习改进的卷积神经网络图像识别方法 |
| CN117478806A (zh) * | 2022-07-22 | 2024-01-30 | 索尼集团公司 | 信息处理设备和方法、计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751157A (zh) * | 2019-10-18 | 2020-02-04 | 厦门美图之家科技有限公司 | 图像显著性分割、图像显著性模型训练方法及装置 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN112164129A (zh) * | 2020-09-02 | 2021-01-01 | 北京电影学院 | 基于深度卷积网络的无配对动作迁移方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105574866A (zh) * | 2015-12-15 | 2016-05-11 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
| US10007971B2 (en) * | 2016-03-14 | 2018-06-26 | Sensors Unlimited, Inc. | Systems and methods for user machine interaction for image-based metrology |
| US10699151B2 (en) * | 2016-06-03 | 2020-06-30 | Miovision Technologies Incorporated | System and method for performing saliency detection using deep active contours |
| CN107103608B (zh) * | 2017-04-17 | 2019-09-27 | 大连理工大学 | 一种基于区域候选样本选择的显著性检测方法 |
| CN108647634A (zh) * | 2018-05-09 | 2018-10-12 | 深圳壹账通智能科技有限公司 | 图像边框查找方法、装置、计算机设备及存储介质 |
| CN109146847B (zh) * | 2018-07-18 | 2022-04-05 | 浙江大学 | 一种基于半监督学习的晶圆图批量分析方法 |
| CN111325217B (zh) * | 2018-12-14 | 2024-02-06 | 京东科技信息技术有限公司 | 数据处理方法、装置、***和介质 |
| CN110570442A (zh) * | 2019-09-19 | 2019-12-13 | 厦门市美亚柏科信息股份有限公司 | 一种复杂背景下轮廓检测方法、终端设备及存储介质 |
| CN111161246B (zh) * | 2019-12-30 | 2024-05-14 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与*** |
| CN112734775B (zh) * | 2021-01-19 | 2023-07-07 | 腾讯科技（深圳）有限公司 | 图像标注、图像语义分割、模型训练方法及装置 |
| CN113505799B (zh) * | 2021-06-30 | 2022-12-23 | 深圳市慧鲤科技有限公司 | 显著性检测方法及其模型的训练方法和装置、设备、介质 |
-
2021
- 2021-06-30 CN CN202110735893.4A patent/CN113505799B/zh active Active
- 2021-10-29 WO PCT/CN2021/127459 patent/WO2023273069A1/zh unknown
- 2021-12-17 TW TW110147598A patent/TWI778895B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751157A (zh) * | 2019-10-18 | 2020-02-04 | 厦门美图之家科技有限公司 | 图像显著性分割、图像显著性模型训练方法及装置 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN112164129A (zh) * | 2020-09-02 | 2021-01-01 | 北京电影学院 | 基于深度卷积网络的无配对动作迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113505799B (zh) | 2022-12-23 |
| TW202303446A (zh) | 2023-01-16 |
| CN113505799A (zh) | 2021-10-15 |
| WO2023273069A1 (zh) | 2023-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI778895B (zh) | 顯著性檢測方法及其模型的訓練方法、設備及電腦可讀儲存介質 | |
| US20190347767A1 (en) | Image processing method and device | |
| WO2018036293A1 (zh) | 图像分割方法、装置及全卷积网络*** | |
| JP6897335B2 (ja) | 学習プログラム、学習方法および物体検知装置 | |
| CN110379020B (zh) | 一种基于生成对抗网络的激光点云上色方法和装置 | |
| TWI821671B (zh) | 一種文本區域的定位方法及裝置 | |
| WO2022105608A1 (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN108960115B (zh) | 基于角点的多方向文本检测方法 | |
| JP2021103555A (ja) | 画像検出方法、装置、電子設備、記憶媒体、及びプログラム | |
| CN110889824A (zh) | 一种样本生成方法、装置、电子设备及计算机可读存储介质 | |
| CN112101386B (zh) | 文本检测方法、装置、计算机设备和存储介质 | |
| WO2022242038A1 (zh) | 动画迁移方法和装置、设备、存储介质和计算机程序产品 | |
| CN108447060B (zh) | 基于rgb-d图像的前后景分离方法及其前后景分离装置 | |
| CN110232418B (zh) | 一种语义识别方法、终端及计算机可读存储介质 | |
| WO2022227218A1 (zh) | 药名识别方法、装置、计算机设备和存储介质 | |
| CN113139544A (zh) | 一种基于多尺度特征动态融合的显著性目标检测方法 | |
| CN114445651A (zh) | 一种语义分割模型的训练集构建方法、装置及电子设备 | |
| CN111709317B (zh) | 一种基于显著性模型下多尺度特征的行人重识别方法 | |
| WO2024078399A1 (zh) | 迁移方法和装置 | |
| CN112258610A (zh) | 图像标注方法、装置、存储介质及电子设备 | |
| CN114511041A (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| CN115937626A (zh) | 基于实例分割的半虚拟数据集自动生成方法 | |
| CN109166172B (zh) | 服装模型的构建方法、装置、服务器和存储介质 | |
| US20230071291A1 (en) | System and method for a precise semantic segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GD4A | Issue of patent certificate for granted invention patent |