TWI786330B - 一種圖像處理方法、電子設備及存儲介質 - Google Patents

Abstract

本申請實施例公開了一種圖像處理方法、電子設備及儲存介質，其中方法包括：獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有不同的數據結構，所述N為大於1的整數；基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；基於所述圖像的集成語義數據和集成中心區域數據，獲得所述圖像的實例分割結果，可以實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或含義的數據輸出，在實例分割問題中取得更高的精度。

Description

一種圖像處理方法、電子設備及存儲介質

本申請涉及電腦視覺技術領域，具體涉及一種圖像處理方法、電子設備及儲存介質。

影像處理又稱為圖像處理，是用電腦對圖像進行分析，以達到所需結果的技術。圖像處理一般指數位圖像處理，數位圖像是指用工業相機、攝像機、掃描儀等設備經過拍攝得到的一個大的二維數組，該數組的元素稱為像素點，其值稱為灰度值。圖像處理在許多領域起著十分重要的作用。

本申請實施例提供了一種圖像處理方法、電子設備及儲存介質。

本申請實施例第一方面提供一種圖像處理方法，包括：獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有不同的數據結構，所述N為大於1的整數；基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；基於所述圖像的集成語義數據和集成中心區域數據，獲得所述圖像的實例分割結果。

在一種可選的實施方式中，所述基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，包括：針對所述N個實例分割模型中每個實例分割模型，基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據；基於所述N個實例分割模型中每個實例分割模型的語義數據和中心區域數據，得到所述圖像的集成語義數據和集成中心區域數據。

在一種可選的實施方式中，所述基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據，包括：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中所述圖像的多個像素點中每個像素點對應的實例標識信息；基於所述實例分割模型中所述多個像素點中每個像素點對應的實例標識信息，得到所述每個像素點在所述實例分割模型中的語義預測值，其中，所述實例分割模型的語義數據包括所述圖像的多個像素點中每個像素點的語義預測值。

在一種可選的實施方式中，所述基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據，還包括：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點；基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置；基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域。

在一種可選的實施方式中，在基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點之前，還包括：對所述實例分割模型的實例分割輸出數據進行腐蝕處理，得到實例分割模型的腐蝕數據。在此情況下，所述基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點，包括：基於所述實例分割模型的腐蝕數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點。

在一種可選的實施方式中，所述基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置，包括：將所述位於實例區域的至少兩個像素點的位置的平均值，作為所述實例分割模型的實例中心位置。

在一種可選的實施方式中，所述基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域，包括：基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述至少兩個像素點與所述實例中心位置的最大距離；基於所述最大距離，確定第一閾值；將所述至少兩個像素點中與所述實例中心位置之間的距離小於或等於所述第一閾值的像素點確定為實例中心區域的像素點。

在一種可選的實施方式中，所述基於所述N個實例分割模型中每個實例分割模型的語義數據和中心區域數據，得到所述圖像的集成語義數據和集成中心區域數據，包括：基於所述N個實例分割模型中每個實例分割模型的語義數據，確定所述圖像的多個像素點中每個像素點的語義投票值；對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值，其中，所述圖像的集成語義數據包括所述多個像素點中每個像素點的集成語義值。

在一種可選的實施方式中，所述對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值，包括：基於所述多個實例分割模型的個數N，確定第二閾值；基於所述第二閾值，對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值。

在一種可選的實施方式中，所述第二閾值為N/2的向上取整結果。

在一種可選的實施方式中，所述基於所述圖像的集成語義數據和集成中心區域數據，獲得所述圖像的實例分割結果，包括：基於所述圖像的集成中心區域數據，得到所述圖像的至少一個實例中心區域；基於所述至少一個實例中心區域和所述圖像的集成語義數據，確定所述圖像的多個像素點中每個像素點所屬的實例。

在一種可選的實施方式中，所述基於所述至少一個實例中心區域和所述圖像的集成語義數據，確定所述圖像的多個像素點中每個像素點所屬的實例，包括：基於所述圖像的多個像素點中每個像素點的集成語義值和所述至少一個實例中心區域，進行隨機遊走，得到所述每個像素點所屬的實例。

本申請實施例第二方面提供一種電子設備，包括獲取模塊、轉換模塊和分割模塊，其中：所述獲取模塊，用於獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有不同的數據結構，所述N為大於1的整數；所述轉換模塊，用於基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；所述分割模塊，用於基於所述圖像的集成語義數據和集成中心區域數據，獲得所述圖像的實例分割結果。

在一種可選的實施方式中，所述轉換模塊包括第一轉換單元和第二轉換單元，其中：所述第一轉換單元，用於針對所述N個實例分割模型中每個實例分割模型，基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據；所述第二轉換單元，用於基於所述N個實例分割模型中每個實例分割模型的語義數據和中心區域數據，得到所述圖像的集成語義數據和集成中心區域數據。

在一種可選的實施方式中，所述第一轉換單元具體用於：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中所述圖像的多個像素點中每個像素點對應的實例標識信息；基於所述實例分割模型中所述多個像素點中每個像素點對應的實例標識信息，得到所述每個像素點在所述實例分割模型中的語義預測值，其中，所述實例分割模型的語義數據包括所述圖像的多個像素點中每個像素點的語義預測值。

在一種可選的實施方式中，所述第一轉換單元具體還用於：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點；基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置；基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域。

在一種可選的實施方式中，所述轉換模塊還包括腐蝕處理單元，用於對所述實例分割模型的實例分割輸出數據進行腐蝕處理，得到實例分割模型的腐蝕數據；所述第一轉換單元具體用於，基於所述實例分割模型的腐蝕數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點。

在一種可選的實施方式中，所述第一轉換單元具體用於，將所述位於實例區域的至少兩個像素點的位置的平均值，作為所述實例分割模型的實例中心位置。

在一種可選的實施方式中，所述第一轉換單元具體還用於：基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述至少兩個像素點與所述實例中心位置的最大距離；基於所述最大距離，確定第一閾值；將所述至少兩個像素點中與所述實例中心位置之間的距離小於或等於所述第一閾值的像素點確定為實例中心區域的像素點。

在一種可選的實施方式中，所述轉換模塊，具體用於：基於所述實例分割模型的語義數據，確定所述圖像的多個像素點中每個像素點的語義投票值；對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值，其中，所述圖像的集成語義數據包括所述多個像素點中每個像素點的集成語義值。

在一種可選的實施方式中，所述轉換模塊，具體還用於：基於所述多個實例分割模型的個數N，確定第二閾值；基於所述第二閾值，對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值。

在一種可選的實施方式中，所述第二閾值為N/2的向上取整結果。

本申請實施例第三方面提供另一種電子設備，包括處理器以及記憶體，所述記憶體用於儲存電腦程式，所述電腦程式被配置成由所述處理器執行，所述處理器用於執行如本申請實施例第一方面任一方法中所描述的部分或全部步驟。

本申請實施例第四方面提供一種電腦可讀儲存介質，所述電腦可讀儲存介質用於儲存電腦程式，其中，所述電腦程式使得電腦執行如本申請實施例第三方面任一方法中所描述的部分或全部步驟。

本申請實施例獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數，再基於上述N組實例分割輸出數據，得到上述圖像的集成語義數據和集成中心區域數據，其中，上述集成語義數據指示上述圖像中位於實例區域的像素點，上述集成中心區域數據指示上述圖像中位於實例中心區域的像素點，進而基於上述圖像的集成語義數據和集成中心區域數據，獲得上述圖像的實例分割結果，可以在圖像處理的實例分割問題中，實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或含義的數據輸出，在實例分割問題中取得更高的精度。

下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬本申請保護的範圍。

本申請的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同對象，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。

在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本申請的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。

本申請實施例所涉及到的電子設備可以允許多個其他終端設備進行訪問。上述電子設備包括終端設備，具體實現中，上述終端設備包括但不限於諸如具有觸摸敏感表面（例如，觸摸屏顯示器和/或觸摸板）的移動電話、膝上型電腦或平板電腦之類的其它便攜式設備。還應當理解的是，在某些實施例中，所述終端設備並非便攜式通信設備，而是具有觸摸敏感表面（例如，觸摸屏顯示器和/或觸摸板）的臺式電腦。

深度學習是機器學習中一種基於對數據進行表徵學習的方法。觀測值（例如一幅圖像）可以使用多種方式來表示，如每個像素點強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務（例如，人臉識別或面部表情識別）。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效算法來替代手工獲取特徵。深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，從而可以模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分。不同的學習框架下建立的學習模型很是不同。例如，卷積神經網路（Convolutional neural network，CNN）就是一種深度的監督學習下的機器學習模型，也可稱為基於深度學習的網路結構模型，而深度置信網（Deep Belief Net，DBN）就是一種無監督學習下的機器學習模型。

下面對本申請實施例進行詳細介紹。應理解，本公開實施例可以應用於對圖像進行細胞核分割或者其他類型的實例分割，例如任意具有封閉性結構的實例分割，本公開實施例對此不做限定。

請參閱圖1，圖1是本申請實施例公開的一種圖像處理方法的流程示意圖，該方法可以由任意電子設備執行，例如終端設備、服務器或者處理平臺等，本公開實施例對此不做限定。如圖1所示，該圖像處理包括如下步驟。

101、獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數。

首先，圖像處理中的實例分割問題定義為：對於一張輸入圖像，要對每一個像素點進行獨立的判斷，判斷其所屬語義類別以及實例ID。例如圖像中有三個細胞核1、2、3，其語義類別都是細胞核，而實例分割結果卻是不同的對象。

在一些可能的實現方式中，實例分割可以依靠卷積神經網路（Convolutional Neural Network，CNN），主要有如下兩種算法的變體：名叫MaskRCNN（Mask Regions with CNN features）和簡單梳理全卷積網路（Fully Convolutional Network，FCN）的目標實例分割框架。MaskRCN的缺點在於參數繁多，對於具體問題要求從業人員具備很高的專業認知才能得到較好的結果，且該方法運行緩慢；FCN需要特殊的圖像後處理才能把黏合的同語義多目標分離成多個實例，這也需要從業人員較高的專業知識。

在另一個可能的實現方式中，實例分割也可以依靠實例分割算法來實現，例如基於支持向量機的實例分割算法等機器學習模型，本公開實施例對實例分割模型的具體實現不作限定。

不同的實例分割模型各有其優勢與缺點，本公開實施例通過集成多個實例分割模型來整合不同單模型的優點。

本申請實施例中，可選地，在執行步驟101之前，可以使用不同的實例分割模型對圖像分別進行處理，比如使用MaskRCNN和FCN分別對圖像進行處理，獲得實例分割輸出結果。假設有N個實例分割模型，可以獲取實例分割模型的實例分割結果（以下稱為實例分割輸出數據），即獲得N組實例分割輸出數據。或者，可以從其他設備處獲取該N組實例分割輸出數據，本公開實施例對獲取N組實例分割輸出數據的方式不作限定。

可選地，在使用實例分割模型對圖像進行處理之前，還可以對圖像進行預處理，例如對比度和/或灰度調整，或者裁剪、水平和垂直翻轉、旋轉、縮放、噪聲去除等一種或任意多項操作，以使得預處理後的圖像滿足實例分割模型對於輸入圖像的要求，本公開實施例對此不做限定。

在本公開實施例中，N個實例分割模型輸出的實例分割輸出數據可以具有不同的數據結構或含義。舉例來講，對於一個維度為[高，寬，3]的圖像的輸入，實例分割輸出數據包括 [高，寬]的數據，其中，實例ID為0表示背景，大於0的不同數字表示不同的實例。假設有3個實例分割模型，不同的實例分割模型對應不同的算法或者神經網路結構，其中，第1個實例分割模型的實例分割輸出數據是[邊界、目標、背景]的三分類機率圖；第2個實例分割模型的實例分割輸出數據是[邊界、背景]的二分類機率圖和維度為[目標、背景]的二分類圖；第3個實例分割模型的實例分割輸出數據是[中心區域、目標整體、背景]的三分類機率圖，等等。不同的實例分割模型擁有不同意義的數據輸出。此時，無法使用任意加權平均算法來整合各個實例分割模型的輸出以取得更穩定、更高精度的結果。本申請實施例中的方法可以在此N組具有不同數據結構的實例分割輸出數據的基礎上進行跨實例分割模型的集成。

在獲取上述N組實例分割輸出數據之後，可以執行步驟102。

102、基於上述N組實例分割輸出數據，得到上述圖像的集成語義數據和集成中心區域數據，其中，上述集成語義數據指示上述圖像中位於實例區域的像素點，上述集成中心區域數據指示上述圖像中位於實例中心區域的像素點。

具體的，電子設備可以將上述N組實例分割輸出數據進行轉換處理，獲得圖像的集成語義數據和集成中心區域數據。

本申請實施例中提到的語義分割是電腦視覺中的基本任務，在語義分割中我們需要將視覺輸入分為不同的語義可解釋類別，即分類類別在真實世界中是有意義的。圖像是由許多像素點（Pixel）組成，而語義分割顧名思義就是將像素點按照圖像中表達語義含義的不同進行分組（Grouping）/分割（Segmentation）。例如，我們可能需要區分圖像中屬汽車的所有像素點，並把這些像素點塗成藍色。

像素級別的語義分割可以對圖像中的每個像素點都劃分出對應的類別，即實現像素級別的分類；而類的具體對象，即為實例，那麼實際上實例分割不但要進行像素級別的分類，還需在具體的類別基礎上區別開不同的實例。比如說圖像中有三個人甲、乙、丙，其語義分割結果都是人，而實例分割結果卻是不同的對象。

上述實例區域可以理解為圖像中的實例所在的區域，即除去背景區域以外的區域，上述集成語義數據則可以指示上述圖像中位於實例區域的像素點，比如針對細胞核分割的處理，上述集成語義數據可以包括位於細胞核區域的像素點的判斷結果。

而上述集成中心區域數據可以指示上述圖像中位於實例中心區域的像素點。

可以將實例中心所屬的一小塊區域定義為實例中心區域，即實例中心區域是在該實例區域內並且小於該實例區域的區域，並且該實例中心區域的幾何中心與該實例區域的幾何中心重疊或鄰近，例如，實例中心區域的中心為實例中心。可選地，該實例中心區域可以為圓形、橢圓或其他形狀，上述實例中心區域可以根據需要進行設置，本申請實施例對實例中心區域的具體實現不做限制。

具體的，可以先基於上述N個實例分割模型中每個實例分割模型的實例分割輸出數據，得到上述每個實例分割模型的語義數據和中心區域數據，即一共N組語義數據和N組中心區域數據，再基於上述N個實例分割模型中每個實例分割模型的語義數據和中心區域數據進行集成處理，得到上述圖像的集成語義數據和集成中心區域數據。

對於N個實例分割模型的每個實例分割模型中每個實例分割模型的實例分割輸出數據，可以確定在該實例分割模型中的每個像素點對應的實例標識信息（實例ID），再基於上述實例分割模型中所述多個像素點中每個像素點對應的實例標識信息，得到每個像素點在上述實例分割模型中的語義預測值。其中，上述實例分割模型的語義數據包括上述圖像的多個像素點中每個像素點的語義預測值。

本申請實施例中提到的二值化（Thresholding）是圖像分割的一種簡單的方法。二值化可以把灰度圖像轉換成二值圖像，可以把大於某個臨界灰度值的像素點灰度設為灰度極大值，把小於這個值的像素點灰度設為灰度極小值，從而實現二值化。

在本公開實施例中，二值化處理可以為固定閾值的二值化處理或者自適應閾值的二值化處理。例如雙峰法、P參數法、迭代法和OTSU法等，本公開實施例對二值化處理的具體實現不做限定。

在本公開實施例中，可以通過對第一圖像進行處理，得到第一圖像包含的多個像素點中每個像素點的語義預測結果。在一些可能的實現方式中，通過判斷像素點的語義預測值與上述第一閾值之間的大小關係，來獲得像素點的語義預測結果。可選地，上述二值化處理的第一閾值可以是預設的或者是根據實際情況確定的，本公開實施例對此不做限定。

在得到上述圖像的集成語義數據和集成中心區域數據之後，可以執行步驟103。

103、基於上述圖像的集成語義數據和集成中心區域數據，獲得上述圖像的實例分割結果。

在一些可能的實現方式中，可以基於上述圖像的集成中心區域數據，得到上述圖像的至少一個實例中心區域，基於上述至少一個實例中心區域和上述圖像的集成語義數據，確定上述圖像的多個像素點中每個像素點所屬的實例。

上述集成語義數據指示圖像中位於實例區域的至少一個像素點，例如，集成語義數據可以包括圖像的多個像素點中每個像素點的集成語義值，集成語義值用於指示像素點是否位於實例區域，或用於指示像素點位於實例區域或背景區域。上述集成中心區域數據指示上述圖像中位於實例中心區域的至少一個像素點，例如，集成中心區域數據包括圖像的多個像素點中每個像素點的集成中心區域預測值，集成中心區域預測值用於指示像素點是否位於實例中心區域。

可選地，通過上述集成語義數據可以確定圖像的實例區域中包含的至少一個像素點，通過上述集成中心區域數據可以確定圖像的實例中心區域中包含的至少一個像素點。基於上述圖像的集成中心區域數據和集成語義數據，則可以確定上述圖像的多個像素點中每個像素點所屬的實例，獲得圖像的實例分割結果。

通過上述方法獲得的實例分割結果集成了N個實例分割模型的實例分割輸出結果，整合了不同實例分割模型的優點，不再要求不同實例分割模型擁有相同含義的數據輸出，並且提高了實例分割精度。

本申請實施例通過獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數，再基於上述N組實例分割輸出數據，得到上述圖像的集成語義數據和集成中心區域數據，其中，上述集成語義數據指示上述圖像中位於實例區域的像素點，上述集成中心區域數據指示上述圖像中位於實例中心區域的像素點，進而基於上述圖像的集成語義數據和集成中心區域數據，獲得上述圖像的實例分割結果，可以在圖像處理的實例分割問題中，實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或涵義的數據輸出，在實例分割問題中取得更高的精度。

請參閱圖2，圖2是本申請實施例公開的另一種圖像處理方法的流程示意圖，圖2是在圖1的基礎上進一步優化得到的。該方法可以由任意電子設備執行，例如終端設備、服務器或者處理平臺等，本公開實施例對此不做限定。如圖2所示，該圖像處理方法包括如下步驟。

201、獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數。

其中，上述步驟201可以參考圖1所示實施例的步驟101中的具體描述，此處不再贅述。

202、基於上述實例分割模型的實例分割輸出數據，確定在上述實例分割模型中，上述圖像中位於實例區域的至少兩個像素點。

可以將實例中心所屬的一小塊區域定義為實例中心區域，即實例中心區域是在該實例區域內並且小於該實例區域的區域，並且該實例中心區域的幾何中心與該實例區域的幾何中心重疊或鄰近，例如，實例中心區域的中心為實例中心。可選地，該實例中心區域可以為圓形、橢圓或其他形狀，上述實例中心區域可以根據需要進行設置，本申請實施例對實例中心區域的具體實現不做限制。可選地，實例分割輸出數據可以包括圖像中位於實例區域的至少兩個像素點中每個像素點對應的實例標識信息，例如，實例ID為1、2或3等大於0的整數，或者也可以為其他數值，位於背景區域的像素點對應的實例標識信息可以為預設值，或者位於背景區域的像素點不對應任何實例標識信息。這樣可以基於實例分割輸出數據中多個像素點中每個像素點對應的實例標識信息，確定圖像中位於實例區域的至少兩個像素點。

可選地，實例分割輸出數據也可以不包括每個像素點對應的實例標識信息，此時，可以通過對實例分割輸出數據進行處理，得到圖像中位於實例區域的至少兩個像素點，本公開實施例對此不做限定。

在確定上述圖像中位於實例區域的至少兩個像素點之後，可以執行步驟203。

203、基於上述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定上述實例分割模型的實例中心位置。

在確定了上述實例分割模型中位於實例區域的至少兩個像素點之後，可以獲得上述至少兩個像素點的位置信息，其中，可選地，該位置信息可以包括像素點在圖像中的坐標，但本公開實施例不限於此。

可以根據上述至少兩個像素點的位置信息，確定上述實例分割模型的實例中心位置，上述實例中心位置不局限於為該實例的幾何中心位置，而是為實例區域中預測的該實例區域的中心位置，用於進一步確定實例中心區域，即可以理解為上述實例中心區域中的任一位置。

可選的，可以將上述位於實例區域的至少兩個像素點的位置的平均值，作為上述實例分割模型的實例中心位置。

具體可以將上述位於實例區域的至少兩個像素點的坐標取平均值，作為上述實例分割模型的實例中心位置的坐標，以確定上述實例中心位置。

204、基於上述實例分割模型的實例中心位置和上述至少兩個像素點的位置信息，確定上述實例分割模型的實例中心區域。

具體的，可以基於上述實例分割模型的實例中心位置和上述至少兩個像素點的位置信息，確定上述至少兩個像素點與上述實例中心位置的最大距離，再基於上述最大距離，確定第一閾值，然後，可以將上述至少兩個像素點中與上述實例中心位置之間的距離小於或等於上述第一閾值的像素點確定為實例中心區域的像素點。

比如，可以基於上述實例分割模型的實例中心位置和上述至少兩個像素點的位置信息，計算其中每一個像素點到達該實例中心位置的距離（像素點距離），電子設備中可以預先設置上述第一閾值的算法，比如上述第一閾值可以設置為上述像素點距離中最大距離的30%，在確定上述像素點距離中最大距離之後，可以計算獲得上述第一閾值，以此為基礎，保留像素點距離小於上述第一閾值的像素點，確定這些像素點為上述實例中心區域的像素點，即確定了上述實例中心區域。

可選地，還可以對樣本圖像進行腐蝕處理，得到腐蝕處理後的樣本圖像，並基於腐蝕處理後的樣本圖像確定實例中心區域。

圖像的腐蝕操作是表示用某種結構元素對圖像進行探測，以便找出在圖像內部可以放下該結構元素的區域。本申請實施例中提到的圖像腐蝕處理可以包括上述腐蝕操作，腐蝕操作是結構元素在被腐蝕圖像中平移填充的過程。從腐蝕後的結果來看，圖像前景區域縮小，區域邊界變模糊，同時一些比較小的孤立的前景區域被完全腐蝕掉，達到了濾波的效果。

比如，針對每一個實例遮罩，首先利用5×5的卷積核對實例遮罩（mask）進行圖像腐蝕處理，然後，將實例包括的多個像素點的坐標進行平均，得到實例的中心位置，並確定實例中的所有像素點到達該實例的中心位置的最大距離，並將與實例的中心位置之間的距離小於上述最大距離的30%的像素點確定為實例的中心區域的像素點，即得到實例的中心區域。這樣，由樣本圖像中的實例遮罩縮小一圈後，進行圖像二值化處理獲得中心區域預測的二值圖遮罩。

此外，可選地，可以基於樣本圖像中標注的實例中包含的像素點的坐標以及實例的中心位置，獲得像素點的中心相對位置信息，即上述像素點與實例中心之間的相對位置信息，例如由像素點到實例中心的向量，並將該相對位置信息作為監督進行神經網路的訓練，但本公開實施例不限於此。

205、基於上述N個實例分割模型中每個實例分割模型的語義數據，確定上述圖像的多個像素點中每個像素點的語義投票值。

電子設備可以基於上述N個實例分割模型中每個實例分割模型的語義數據，對多個像素點中每個像素點進行語義投票，確定上述圖像的多個像素點中每個像素點的語義投票值，比如使用基於滑動窗口的投票對上述實例分割模型的語義數據進行處理，確定上述每個像素點的語義投票值，進而可以執行步驟206。

206、對上述多個像素點中每個像素點的語義投票值進行二值化處理，得到上述圖像中每個像素點的集成語義值，其中，上述圖像的集成語義數據包括上述多個像素點中每個像素點的集成語義值。

上述確定的語義投票值來自上述N個實例分割模型，進一步地，可以對每個像素點的語義投票值進行二值化處理，得到上述圖像中每個像素點的集成語義值，可以理解為不同實例分割模型得到的語義遮罩相加得到集成語義遮罩。

具體的，可以基於上述多個實例分割模型的個數N，確定第二閾值；基於上述第二閾值，對上述多個像素點中每個像素點的語義投票值進行二值化處理，得到上述圖像中每個像素點的集成語義值。

上述多個像素點中每個像素點的取值有實例分割模型個數的取值可能性，可以基於上述多個實例分割模型的個數N，確定第二閾值，比如，上述第二閾值可以為N/2的向上取整結果。

可以以第二閾值為該步驟中二值化處理的判斷依據，得到上述圖像中每個像素點的集成語義值。電子設備中可以儲存有上述第二閾值的計算方法，比如規定上述預設像素點閾值為N/2，若N/2不為整數則向上取整。舉例來講，比如4個實例分割模型獲得的4組實例分割輸出數據，則N=4，4/2=2，此時的第二閾值是2，比較上述語義投票值和上述第二閾值，語義投票值大於等於2的截斷為1，小於2的截斷為0，由此得到上述圖像中每個像素點的集成語義值，此時輸出的數據具體可以為集成語義二值圖。上述集成語義值可以理解為上述每個像素點的語義分割結果，可以以為基礎確定該像素點所屬的實例，實現實例分割。

207、基於上述圖像的多個像素點中每個像素點的集成語義值和上述至少一個實例中心區域，進行隨機遊走，得到上述每個像素點所屬的實例。

隨機遊走（random walk）也稱隨機漫步，隨機行走等，是指基於過去的表現，無法預測將來的發展步驟和方向。隨機遊走的核心概念是指任何無規則行走者所帶的守恆量都各自對應著一個擴散運輸定律，接近於布朗運動，是布朗運動理想的數學狀態。本申請實施例中針對圖像處理的隨機遊走的基本思想是，將圖像看成由固定的頂點和邊組成的連通帶權無向圖，從未標記頂點開始隨機漫步，首次到達各類標記頂點的機率代表了未標記點歸屬於標記類的可能性，把最大的機率所在類的標簽賦給未標記頂點，完成分割。

基於上述圖像的多個像素點中每個像素點的集成語義值和上述至少一個實例中心區域，使用隨機遊走的形式來根據像素點的集成語義值判斷像素點的分配情況，從而得到上述每個像素點所屬的實例，比如可以將離像素點最近的實例中心區域對應的實例確定為該像素點所屬的實例。本申請實施例可以通過得到最終的集成語義圖和集成中心區域圖，結合上述連通區域搜索和隨機遊走的一種具體實現（就近分配）確定實例的像素點分配，獲得最後的實例分割結果。

通過上述方法獲得的實例分割結果集成了N個實例分割模型的實例分割輸出結果，整合了這些實例分割模型的優點，不再要求不同實例分割模型擁有相同含義的連續機率圖輸出，並且提高了實例分割精度。

本申請實施例中的方法，適用於任意實例分割問題中，例如在臨床的輔助診斷中。在醫生獲得了病人的器官組織切片數位掃描圖像後，將該圖像輸入本申請實施例的處理步驟，可以獲得每一個獨立細胞核的像素點遮罩，醫生可以以此為依據，計算該器官的細胞密度、細胞形態特徵，進而得出醫學判斷。又如在蜂巢四周，飼養員獲得了蜂巢四周密集的蜜蜂飛舞圖像後，可以使用本算法，獲得每一隻獨立蜜蜂的實例像素點遮罩，可進行宏觀的蜜蜂計數、行為模式計算等，具有很大的實用價值。

本申請實施例的具體應用中，對於自底向上的方法，可以優選應用UNet模型。UNet首先被開發用於語義分割，並有效地從多個尺度融合信息。對於自頂向下的方法，可以應用MaskR-CNN模型，MaskR-CNN通過為分割任務添加頭部來擴展更快的R-CNN。此外，所提出的MaskR-CNN中可以將跟蹤特徵與輸入對齊，避免了雙線性插值的任何量化。對齊對於像素點級任務，比如實例分割任務是十分重要的。

UNet模型的網路結構由收縮路徑（contracting path）和擴張路徑（expanding path）組成。其中，收縮路徑用於獲取上下文信息（context），擴張路徑用於精確的定位（localization），且兩條路徑相互對稱。該網路能夠從極少圖像端對端進行訓練，並且對於分割電子顯微鏡中的神經元等細胞結構的表現好於以前最好的方法（滑動窗口卷積網路）。除此之外運行速度也非常快，

在一種具體的實施方式中，可以利用UNet和Mask R-CNN模型對實例進行分割預測，得到每個實例分割模型的語義遮罩，並通過像素點投票（Vote）進行集成。然後通過腐蝕處理來計算每個實例分割模型的中心遮罩，並對中心遮罩進行集成。最後，利用隨機遊走算法從集成的語義遮罩和中心遮罩中獲得實例分割結果。

針對上述結果可以採用交叉驗證（Cross-validation）方法進行評估。交叉驗證主要用於建模應用中。在給定的建模樣本中，拿出大部分樣本進行建模型，留小部分樣本用剛建立的模型進行預報，並求這小部分樣本的預報誤差，記錄它們的平方加和。本申請實施例中可採用3倍交叉驗證進行評估，將三個AJI（5）得分0.605，0.599，0.589的UNet模型與和一個AJI（5）得分0.565的MaskR-CNN模型結合，使用本申請實施例的方法獲得的結果最後AJI（5）得分為0.616，可見本申請的圖像處理方法具有明顯的優勢。

本申請實施例通過獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數，基於上述實例分割模型的實例分割輸出數據，確定在上述實例分割模型中，上述圖像中位於實例區域的至少兩個像素點，基於上述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定上述實例分割模型的實例中心位置，基於上述實例分割模型的實例中心位置和上述至少兩個像素點的位置信息，確定上述實例分割模型的實例中心區域，基於上述N個實例分割模型中每個實例分割模型的語義數據，確定上述圖像的多個像素點中每個像素點的語義投票值，對上述多個像素點中每個像素點的語義投票值進行二值化處理，得到上述圖像中每個像素點的集成語義值，其中，上述圖像的集成語義數據包括上述多個像素點中每個像素點的集成語義值，基於上述圖像的多個像素點中每個像素點的集成語義值和上述至少一個實例中心區域，進行隨機遊走，得到上述每個像素點所屬的實例，可以在圖像處理的實例分割問題中，實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或含義的數據輸出，在實例分割問題中取得更高的精度。

請參閱圖3，圖3是本申請實施例公開的一種細胞實例分割的圖像表現形式示意圖，如圖所示，以細胞實例分割為例，使用本申請實施例中的方法進行處理，可以獲得精度更高的實例分割結果。使用N種實例分割模型（圖中僅展示4種）分別給出輸入圖片的實例預測遮罩（圖中不同色彩表示不同的細胞實例），將所述實例預測遮罩轉換為使用語義預測分割的語義遮罩和使用中心預測分割的中心區域遮罩後，分別進行像素點投票，再進行集成，最終獲得實例分割結果，可以看出，在該過程中修復了方法1的右側三細胞漏檢兩個的錯誤，修復了方法2的中間兩細胞黏合的錯誤，還修復了4個方法都沒能發現的左下角其實是三個細胞，中間還有個小細胞存在的現象。該集成方法可以在任意實例分割模型上集成，整合了不同方法的優點。通過上述舉例可以更加清晰地瞭解前述實施例的具體過程及其優勢。

上述主要從方法側執行過程的角度對本申請實施例的方案進行了介紹。可以理解的是，電子設備為了實現上述功能，其包含了執行各個功能相應的硬體結構和/或軟體模塊。本領域技術人員應該很容易意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，本申請能夠以硬體或硬體和電腦軟體的結合形式來實現。某個功能究竟以硬體還是電腦軟體驅動硬體的方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對特定的應用使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。

本申請實施例可以根據上述方法示例對電子設備進行功能單元的劃分，例如，可以對應各個功能劃分各個功能單元，也可以將兩個或兩個以上的功能集成在一個處理單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。需要說明的是，本申請實施例中對單元的劃分是示意性的，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。

請參閱圖4，圖4是本申請實施例公開的一種電子設備的結構示意圖。如圖4所示，該電子設備400包括：獲取模塊410、轉換模塊420和分割模塊430，其中：所述獲取模塊410，用於獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有不同的數據結構，所述N為大於1的整數；所述轉換模塊420，用於基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；所述分割模塊430，用於基於所述圖像的集成語義數據和集成中心區域數據，獲得所述圖像的實例分割結果。

可選的，所述轉換模塊420包括第一轉換單元421和第二轉換單元422，其中：所述第一轉換單元421，用於基於所述N個實例分割模型中每個實例分割模型的實例分割輸出數據，得到所述每個實例分割模型的語義數據和中心區域數據；所述第二轉換單元422，用於基於所述N個實例分割模型中每個實例分割模型的語義數據和中心區域數據，得到所述圖像的集成語義數據和集成中心區域數據。

可選的，所述第一轉換單元421具體用於：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中所述圖像的多個像素點中每個像素點對應的實例標識信息；基於所述實例分割模型中所述多個像素點中每個像素點對應的實例標識信息，得到所述每個像素點在所述實例分割模型中的語義預測值，其中，所述實例分割模型的語義數據包括所述圖像的多個像素點中每個像素點的語義預測值。

可選的，所述第一轉換單元421具體還用於：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點；基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置；基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域。

可選的，所述轉換模塊420還包括腐蝕處理單元423，用於對所述實例分割模型的實例分割輸出數據進行腐蝕處理，得到實例分割模型的腐蝕數據；所述第一轉換單元421具體用於，基於所述實例分割模型的腐蝕數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點。

可選的，所述第一轉換單元421具體用於，將所述位於實例區域的至少兩個像素點的位置的平均值，作為所述實例分割模型的實例中心位置。

可選的，所述第一轉換單元421具體還用於：基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述至少兩個像素點與所述實例中心位置的最大距離；基於所述最大距離，確定第一閾值；將所述至少兩個像素點中與所述實例中心位置之間的距離小於或等於所述第一閾值的像素點確定為實例中心區域的像素點。

可選的，所述轉換模塊420，具體用於：基於所述N個實例分割模型中每個實例分割模型的語義數據，確定所述圖像的多個像素點中每個像素點的語義投票值；對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值，其中，所述圖像的集成語義數據包括所述多個像素點中每個像素點的集成語義值。

可選的，所述轉換模塊420，具體還用於：基於所述多個實例分割模型的個數N，確定第二閾值；基於所述第二閾值，對所述多個像素點中每個像素點的語義投票值進行二值化處理，得到所述圖像中每個像素點的集成語義值。

可選的，所述第二閾值為N/2的向上取整結果。

可選的，所述分割模塊430，包括中心區域單元431和確定單元432，其中：所述中心區域單元431，用於基於所述圖像的集成中心區域數據，得到所述圖像的至少一個實例中心區域；所述確定單元432，用於基於所述至少一個實例中心區域和所述圖像的集成語義數據，確定所述圖像的多個像素點中每個像素點所屬的實例。

可選的，所述確定單元432，具體用於基於所述圖像的多個像素點中每個像素點的集成語義值和所述至少一個實例中心區域，進行隨機遊走，得到所述每個像素點所屬的實例。

實施圖4所示的電子設備400，電子設備400可以獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數，再基於上述N組實例分割輸出數據，得到上述圖像的集成語義數據和集成中心區域數據，其中，上述集成語義數據指示上述圖像中位於實例區域的像素點，上述集成中心區域數據指示上述圖像中位於實例中心區域的像素點，進而基於上述圖像的集成語義數據和集成中心區域數據，獲得上述圖像的實例分割結果，可以在圖像處理的實例分割問題中，實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或含義的數據輸出，在實例分割問題中取得更高的精度。

請參閱圖5，圖5是本申請實施例公開的另一種電子設備的結構示意圖。如圖5所示，該電子設備500包括處理器501和記憶體502，其中，電子設備500還可以包括匯流排503，處理器501和記憶體502可以通過匯流排503相互連接，匯流排503可以是外設部件互連標準（Peripheral Component Interconnect，PCI）匯流排或擴展工業標準結構（Extended Industry Standard Architecture，EISA）匯流排等。匯流排503可以分為地址匯流排、數據匯流排、控制匯流排等。為便於表示，圖5中僅用一條粗線表示，但並不表示僅有一根匯流排或一種類型的匯流排。其中，電子設備500還可以包括輸入輸出設備504，輸入輸出設備504可以包括顯示屏，例如液晶顯示屏。記憶體502用於儲存電腦程式；處理器501用於調用儲存在記憶體502中的電腦程式執行上述圖1和圖2實施例中提到的部分或全部方法步驟。

實施圖5所示的電子設備500，電子設備500可以獲取N組實例分割輸出數據，其中，上述N組實例分割輸出數據分別為N個實例分割模型對圖像進行處理獲得的實例分割輸出結果，且上述N組實例分割輸出數據具有不同的數據結構，上述N為大於1的整數，再基於上述N組實例分割輸出數據，得到上述圖像的集成語義數據和集成中心區域數據，其中，上述集成語義數據指示上述圖像中位於實例區域的像素點，上述集成中心區域數據指示上述圖像中位於實例中心區域的像素點，進而基於上述圖像的集成語義數據和集成中心區域數據，獲得上述圖像的實例分割結果，可以在圖像處理的實例分割問題中，實現各個實例分割模型的優勢互補，不再要求各個模型具有相同結構或含義的數據輸出，在實例分割問題中取得更高的精度。

本申請實施例還提供一種電腦可讀儲存介質，其中，該電腦可讀儲存介質用於儲存電腦程式，該電腦程式使得電腦執行如上述方法實施例中記載的任何一種圖像處理方法的部分或全部步驟。

需要說明的是，對於前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本申請並不受所描述的動作順序的限制，因為依據本申請，某些步驟可以採用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述的實施例均屬優選實施例，所涉及的動作和模塊並不一定是本申請所必須的。

在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置，可通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性或其它的形式。

所述作為分離部件說明的單元（模塊）可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取記憶體中。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個記憶體中，包括若干指令用以使得一台電腦設備（可為個人電腦、服務器或者網路設備等）執行本申請各個實施例所述方法的全部或部分步驟。而前述的記憶體包括：U盤、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、移動硬盤、磁碟或者光盤等各種可以儲存程式代碼的介質。

本領域普通技術人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程式來指令相關的硬體來完成，該程式可以儲存於一電腦可讀記憶體中，記憶體可以包括：隨身碟、唯讀記憶體、隨機存取器、磁盤或光盤等。

以上對本申請實施例進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其核心思想；同時，對於本領域的一般技術人員，依據本申請的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。

101、102、103、201、202、203、204、205、206、207:步驟 400、500:電子設備 410:獲取模塊 420:轉換模塊 421:第一轉換單元 422:第二轉換單元 423:腐蝕處理單元 430:分割模塊 431:中心區域單元 432:確定單元 501:處理器 502:記憶體 503:匯流排 504:輸入輸出設備

為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹。 圖1是本申請實施例公開的一種圖像處理方法的流程示意圖。 圖2是本申請實施例公開的另一種圖像處理方法的流程示意圖。 圖3是本申請實施例公開的一種細胞實例分割的圖像表現形式示意圖。 圖4是本申請實施例公開的一種電子設備的結構示意圖。 圖5是本申請實施例公開的另一種電子設備的結構示意圖。

101、102、103:步驟

Claims (10)

1. 一種圖像處理方法，包括：獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個不同的實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有表示不同含義的數據結構，所述N為大於1的整數，所述N個不同的實例分割模型對應不同的算法或者神經網路結構；基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；以及基於所述圖像的集成中心區域數據，得到所述圖像的至少一個實例中心區域；基於所述圖像的多個像素點中每個像素點的集成語義值和所述至少一個實例中心區域，進行隨機遊走，得到所述每個像素點所屬的實例，其中，所述集成語義數據包括所述圖像的多個像素點中每個像素點的集成語義值。
2. 如申請專利範圍第1項所述的圖像處理方法，基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，包括：針對所述N個不同的實例分割模型中每個實例分割模型，基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據；以及 基於所述N個不同的實例分割模型中每個實例分割模型的語義數據和中心區域數據，得到所述圖像的集成語義數據和集成中心區域數據。
3. 如申請專利範圍第2項所述的圖像處理方法，基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據，包括：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中所述圖像的多個像素點中每個像素點對應的實例標識信息；以及基於所述實例分割模型中所述多個像素點中每個像素點對應的實例標識信息，得到所述每個像素點在所述實例分割模型中的語義預測值，其中，所述實例分割模型的語義數據包括所述圖像的多個像素點中每個像素點的語義預測值。
4. 如申請專利範圍第2或3項所述的圖像處理方法，基於所述實例分割模型的實例分割輸出數據，得到所述實例分割模型的語義數據和中心區域數據，還包括：基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點；基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置；以及基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域。
5. 如申請專利範圍第4項所述的圖像處理方法，在基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點之前，所述圖像處理方法還包括：對所述實例分割模型的實例分割輸出數據進行腐蝕處理，得到所述實例分割模型的腐蝕數據；以及基於所述實例分割模型的實例分割輸出數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點，包括：基於所述實例分割模型的腐蝕數據，確定在所述實例分割模型中，所述圖像中位於實例區域的至少兩個像素點。
6. 如申請專利範圍第4項所述的圖像處理方法，所述基於所述實例分割模型中位於實例區域的至少兩個像素點的位置信息，確定所述實例分割模型的實例中心位置，包括：將所述位於實例區域的至少兩個像素點的位置的平均值，作為所述實例分割模型的實例中心位置。
7. 如申請專利範圍第4項所述的圖像處理方法，基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述實例分割模型的實例中心區域，包括：基於所述實例分割模型的實例中心位置和所述至少兩個像素點的位置信息，確定所述至少兩個像素點與所述實例中心位置的最大距離；基於所述最大距離，確定第一閾值；以及將所述至少兩個像素點中與所述實例中心位置之間的距離小 於或等於所述第一閾值的像素點確定為實例中心區域的像素點。
8. 一種電子設備，包括：獲取模塊，用於獲取N組實例分割輸出數據，其中，所述N組實例分割輸出數據分別為N個不同的實例分割模型對圖像進行處理獲得的實例分割輸出結果，且所述N組實例分割輸出數據具有表示不同含義的數據結構，所述N為大於1的整數，所述N個不同的實例分割模型對應不同的算法或者神經網路結構；轉換模塊，用於基於所述N組實例分割輸出數據，得到所述圖像的集成語義數據和集成中心區域數據，其中，所述集成語義數據指示所述圖像中位於實例區域的像素點，所述集成中心區域數據指示所述圖像中位於實例中心區域的像素點；以及分割模塊，用於基於所述圖像的所述集成中心區域數據，得到所述圖像的至少一個實例中心區域；基於所述圖像的多個像素點中每個像素點的集成語義值和所述至少一個實例中心區域，進行隨機遊走，得到所述每個像素點所屬的實例，其中，所述集成語義數據包括所述圖像的多個像素點中每個像素點的集成語義值。
9. 一種電子設備，包括處理器以及記憶體，所述記憶體用於儲存電腦程式，所述電腦程式被配置成由所述處理器執行，所述處理器用於執行如申請專利範圍第1至7項中任一項所述的圖像處理方法。
10. 一種電腦可讀儲存介質，所述電腦可讀儲存介質用於儲存電腦程式，其中，所述電腦程式使得電腦執行如申請專利範圍 第1至7項中任一項所述的圖像處理方法。

Images