TW202125316A - 影像處理方法、電子設備和電腦儲存介質 - Google Patents
影像處理方法、電子設備和電腦儲存介質 Download PDFInfo
- Publication number
- TW202125316A TW202125316A TW109117087A TW109117087A TW202125316A TW 202125316 A TW202125316 A TW 202125316A TW 109117087 A TW109117087 A TW 109117087A TW 109117087 A TW109117087 A TW 109117087A TW 202125316 A TW202125316 A TW 202125316A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- processed
- area
- image processing
- neural network
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 138
- 238000013528 artificial neural network Methods 0.000 claims abstract description 116
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 46
- 230000004044 response Effects 0.000 claims description 37
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
Abstract
本揭露實施例提出了一種影像處理方法、電子設備和電腦儲存介質，影像處理方法包括：將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的；基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
Description
本揭露涉及電腦視覺技術，尤其涉及一種影像處理方法、電子設備和電腦儲存介質。
隨著機器人技術的發展，越來越多的機器人開始應用於作業範圍不固定、障礙種類多且速度快的戶外場景，因此，開發一種可以在戶外作業範圍內作業的機器人自主避障系統顯得尤為重要。
本揭露實施例期望提供影像處理的技術方案。
本揭露實施例提供了一種影像處理方法，所述方法包括：
將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的；
基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
可選地，所述待處理影像是由影像採集設備採集的；所述方法還包括：
根據所述待處理影像的影像處理結果，判斷是否滿足第一預設條件；
在滿足第一預設條件的情況下，確定所述影像採集設備前方存在障礙物。
可以看出，該判斷影像採集設備前方是否存在障礙物的方法，能夠確定影像採集設備前方是否存在障礙物，進而採取後續措施。
可選地，所述第一預設條件包括以下至少一項：
所述待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值；
所述待處理影像中的至少一個目標的像素面積值大於或等於最大面積安全閾值。
可以看出，透過對上述第一預設條件的限定，可以使得障礙物的判斷標準更加符合實際需求，更符合用戶需求。
可選地，所述方法還包括：
在所述待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及所述目標檢測結果，分別得到所述待處理影像中的各目標與影像採集設備之間的距離值；和/或，根據所述目標檢測結果，分別獲得所述待處理影像中的各目標的像素面積值；其中，所述單應性矩陣用於表示各像素點的世界坐標系和像素坐標系之間的位置映射關係。
可以看出，採用本揭露實施例的技術方案，可以在目標檢測結果的基礎上，準確識別待處理影像中的目標以及目標與影像採集設備之間的距離，並獲得所述影像中的各目標在像素座標上對應的像素面積值。
可選地，所述單應性矩陣是根據所述影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置確定的。
可以看出，透過影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置來確定單應性矩陣，可以準確獲得單應性矩陣。
可選地，所述影像採集設備設置於移動載體上，所述方法還包括：
在所述影像採集設備前方存在障礙物的情況下，確定所述移動載體的避障反應。
可以看出，採用本揭露實施例的技術方案，可以在移動載體遇到障礙物的情況下，使得移動載體執行對應的避障反應。
可選地，所述確定所述移動載體的避障反應，包括：
根據所述影像處理結果，確定所述障礙物的類別；
根據所述障礙物的類別，確定所述移動載體的避障反應。
可以看出，上述確定移動載體避障反應的方法，由於考慮了障礙物的類別，因此，移動載體可以對不同的障礙物執行不同的避障策略，更智慧，更能滿足實際應用需求。
可選地，所述背景環境包括以下至少一項：光照條件、紋理背景。
可以看出，採用本揭露實施例的技術方案，可以對不同光照條件和/或不同紋理背景的多個樣本影像進行訓練，獲得訓練完成的神經網路，由於訓練過程是基於不同光照條件和/或紋理背景下的樣本影像實現的，因此，該訓練完成的神經網路更適用於光照條件變化較大的戶外場景。
可選地，所述待處理影像是由影像採集設備採集的；所述方法還包括：
根據所述待處理影像的影像處理結果，判斷是否滿足第二預設條件；
在滿足第二預設條件的情況下，確定所述影像採集設備抵達可工作區域與不可工作區域的邊界。
可以看出，本實施例可以透過判斷是否滿足第二預設條件，來準確判斷影像採集設備是否抵達可工作區域與不可工作區域的邊界。
可選地，所述第二預設條件包括以下至少一項：
所述邊界的平均像素高度值小於或等於邊界像素高度閾值；
所述待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值；
所述待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值。
可以看出，透過對上述第二預設條件的判斷，可以使得是否抵達可工作區域與不可工作區域的邊界的判斷標準更能符合實際應用需求。
可選地，所述方法還包括：
在所述待處理影像的影像處理結果包括語義分割結果的情況下，根據語義分割結果確定所述待處理影像的各像素點的區域類別，根據所確定的各像素點的區域類別確定可作業區域和不可作業區域；根據所確定的可作業區域和不可作業區域，獲得所述待處理影像中的可工作區域的面積值，和/或確定所述邊界的平均像素高度值。
可以看出，本實施例可以得到待處理影像中的區域劃分情況，較為準確地確定可工作區域和不可工作區域以及可工作區域和不可工作區域的邊界，便於後面獲得可工作區域的面積值和邊界的平均像素高度值。
可選地，所述影像採集設備設置於移動載體上，所述方法還包括：
在所述影像採集設備抵達所述邊界的情況下，確定所述移動載體的動作反應。
可以看出，本實施例在移動載體抵達可工作區域和不可工作區域邊界的情況下，可以及時確定移動載體的動作反應，避免移動載體抵達不可工作區域。
可選地，所述移動載體的動作反應包括以下至少一項：停止、轉彎、掉頭。
可以看出，採用本揭露實施例的技術方案，移動載體可以及時地執行停止、轉彎、掉頭等動作反應，有利於避免移動載體移動至不可工作區域。
可選地，所述影像採集設備是單眼影像採集設備。
可以看出，由於該單眼影像採集設備成本低、重量輕，因此，可以應用於多種應用場景，拓展了本實施例的應用範圍。
可選地，所述神經網路是透過以下步驟訓練得到的：
將樣本影像輸入至神經網路中，基於所述神經網路執行以下步驟：對所述樣本影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果；其中，所述樣本影像用於表示不同背景環境下的影像；
根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值；
重複執行上述步驟，直至網路參數值調整後的神經網路滿足設定條件，得到訓練完成的神經網路。
可以看出，在本揭露實施例中，基於對不同背景環境下的樣本影像進行影像處理的訓練，得到可以獲得影像處理結果的神經網路，以滿足對影像的影像處理結果的實際需求，由於神經網路的訓練過程是基於不同背景環境下的樣本影像實現的，因此，透過該訓練完成的神經網路對影像進行處理，獲得的影像處理結果不易受背景環境的影響，穩定性和可信度較高。
可選地，所述方法還包括：
獲取所述待處理影像的標注；
根據所述待處理影像的影像處理結果以及所述待處理影像的標注，在所述訓練完成的神經網路的基礎上進行增量訓練。
可以看出，透過該增量訓練，神經網路可以根據移動載體的任務進行神經網路的即時更新，從而，能夠適應新的場景和作業任務。
本揭露實施例還提供了一種影像處理裝置，所述裝置包括：
處理模組，配置為將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的；基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
可選地，待處理影像是由影像採集設備採集的；所述處理模組還配置為根據所述待處理影像的影像處理結果，判斷是否滿足第一預設條件；在滿足第一預設條件的情況下，確定所述影像採集設備前方存在障礙物。
可以看出，該判斷影像採集設備前方是否存在障礙物的方法，能夠確定影像採集設備前方是否存在障礙物，進而採取後續措施。
可選地，所述第一預設條件包括以下至少一項：
所述待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值；
所述待處理影像中的至少一個目標的像素面積值大於或等於最大面積安全閾值。
可以看出，透過對上述第一預設條件的限定，可以使得障礙物的判斷標準更加符合實際需求，更符合用戶需求。
可選地，所述處理模組還配置為在所述待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及所述目標檢測結果，分別得到所述待處理影像中的各目標與影像採集設備之間的距離值；和/或，根據所述目標檢測結果，分別獲得所述待處理影像中的各目標的像素面積值；其中，所述單應性矩陣用於表示各像素點的世界坐標系和像素坐標系之間的位置映射關係。
可以看出，採用本揭露實施例的技術方案，可以在目標檢測結果的基礎上，準確識別待處理影像中的目標以及目標與影像採集設備之間的距離，並獲得所述影像中的各目標在像素座標上對應的像素面積值。
可選地，所述單應性矩陣是根據所述影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置確定的。
可以看出，透過影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置來確定單應性矩陣，可以準確獲得單應性矩陣。
可選地，所述影像採集設備設置於移動載體上，所述處理模組還配置為在所述影像採集設備前方存在障礙物的情況下，確定所述移動載體的避障反應。
可以看出，採用本揭露實施例的技術方案，可以在移動載體遇到障礙物的情況下，使得移動載體執行對應的避障反應。
可選地，所述確定所述移動載體的避障反應，所述處理模組還配置為根據所述影像處理結果，確定所述障礙物的類別；根據所述障礙物的類別，確定所述移動載體的避障反應。
可以看出，上述確定移動載體避障反應的方法，由於考慮了障礙物的類別，因此，移動載體可以對不同的障礙物執行不同的避障策略，更智慧，更能滿足實際應用需求。
可選地，所述背景環境包括以下至少一項：光照條件、紋理背景。
可以看出，採用本揭露實施例的技術方案，可以對不同光照條件和/或不同紋理背景的多個樣本影像進行訓練，獲得訓練完成的神經網路，由於訓練過程是基於不同光照條件和/或紋理背景下的樣本影像實現的，因此，該訓練完成的神經網路更適用於光照條件變化較大的戶外場景。
可選地，所述待處理影像是由影像採集設備採集的；所述處理模組還配置為根據所述待處理影像的影像處理結果，判斷是否滿足第二預設條件；在滿足第二預設條件的情況下，確定所述影像採集設備抵達可工作區域與不可工作區域的邊界。
可以看出，本實施例可以透過判斷是否滿足第二預設條件，來準確判斷影像採集設備是否抵達可工作區域與不可工作區域的邊界。
可選地，所述第二預設條件包括以下至少一項：
所述邊界的平均像素高度值小於或等於邊界像素高度閾值；
所述待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值；
所述待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值。
可以看出，透過對上述第二預設條件的判斷，可以使得是否抵達可工作區域與不可工作區域的邊界的判斷標準更能符合實際應用需求。
可選地，所述處理模組還配置為在所述待處理影像的影像處理結果包括語義分割結果的情況下，根據語義分割結果確定所述待處理影像的各像素點的區域類別，根據所確定的各像素點的區域類別確定可作業區域和不可作業區域；根據所確定的可作業區域和不可作業區域，獲得所述待處理影像中的可工作區域的面積值，和/或確定所述邊界的平均像素高度值。
可以看出，本實施例可以得到待處理影像中的區域劃分情況，較為準確地確定可工作區域和不可工作區域以及可工作區域和不可工作區域的邊界，便於後面獲得可工作區域的面積值和邊界的平均像素高度值。
可選地，所述影像採集設備設置於移動載體上，所述處理模組還配置為在所述影像採集設備抵達所述邊界的情況下，確定所述移動載體的動作反應。
可以看出，本實施例在移動載體抵達可工作區域和不可工作區域邊界的情況下，可以及時確定移動載體的動作反應，避免移動載體抵達不可工作區域。
可選地，所述移動載體的動作反應包括以下至少一項：停止、轉彎、掉頭。
可以看出，採用本揭露實施例的技術方案，移動載體可以及時地執行停止、轉彎、掉頭等動作反應，有利於避免移動載體移動至不可工作區域。
可選地，所述影像採集設備是單眼影像採集設備。
可以看出，由於該單眼影像採集設備成本低、重量輕，因此，可以應用於多種應用場景，拓展了本實施例的應用範圍。
可選地，所述神經網路是透過以下步驟訓練得到的：
將樣本影像輸入至神經網路中，基於所述神經網路執行以下步驟：對所述樣本影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果；其中，所述樣本影像用於表示不同背景環境下的影像；
根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值；
重複執行上述步驟，直至網路參數值調整後的神經網路滿足設定條件，得到訓練完成的神經網路。
可以看出，在本揭露實施例中，基於對不同背景環境下的樣本影像進行影像處理的訓練，得到可以獲得影像處理結果的神經網路，以滿足對影像的影像處理結果的實際需求，由於神經網路的訓練過程是基於不同背景環境下的樣本影像實現的，因此，透過該訓練完成的神經網路對影像進行處理，獲得的影像處理結果不易受背景環境的影響，穩定性和可信度較高。
可選地，所述處理模組還配置為獲取所述待處理影像的標注；
根據所述待處理影像的影像處理結果以及所述待處理影像的標注，在所述訓練完成的神經網路的基礎上進行增量訓練。
可以看出，透過該增量訓練，神經網路可以根據移動載體的任務進行神經網路的即時更新，從而，能夠適應新的場景和作業任務。
本揭露實施例還提供了一種電子設備，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中，
所述處理器配置為運行所述電腦程式時，執行上述任意一種所述的影像處理方法。
本揭露實施例還提供了一種電腦儲存介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現上述任意一種所述的影像處理方法。
本揭露實施例還提供了一種電腦程式，所述電腦程式被處理器執行時實現上述任意一種影像處理方法。
可以看出，本揭露實施例中的影像處理方法，可以將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的，並基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。由於該影像處理方法中所使用的神經網路是基於不同背景環境下的樣本影像訓練得到的，因此，透過該影像處理方法而獲得的待處理影像的影像處理結果，不易受背景環境的影響，穩定性和可信度較高。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本揭露。
以下結合附圖及實施例，對本揭露進行進一步詳細說明。應當理解，此處所提供的實施例僅僅用以解釋本揭露，並不用於限定本揭露。另外，以下所提供的實施例是用於實施本揭露的部分實施例，而非提供實施本揭露的全部實施例，在不衝突的情況下，本揭露實施例記載的技術方案可以任意組合的方式實施。
需要說明的是，在本揭露實施例中，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的方法或者裝置不僅包括所明確記載的要素，而且還包括沒有明確列出的其他要素，或者是還包括為實施方法或者裝置所固有的要素。在沒有更多限制的情況下，由語句「包括一個......」限定的要素，並不排除在包括該要素的方法或者裝置中還存在另外的相關要素(例如方法中的步驟或者裝置中的單元，例如的單元可以是部分電路、部分處理器、部分程式或軟體等等)。
本文中術語「和/或」，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語「至少一種」表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
例如，本揭露實施例提供的神經網路訓練及影像處理方法包含了一系列的步驟，但是本揭露實施例提供的神經網路訓練及影像處理方法不限於所記載的步驟，同樣地，本揭露實施例提供的神經網路訓練及影像處理裝置包括了一系列模組，但是本揭露實施例提供的裝置不限於包括所明確記載的模組，還可以包括為獲取相關資訊、或基於資訊進行處理時所需要設置的模組。
本揭露實施例可以應用於終端和伺服器等硬體或硬體組成的電腦系統中，並可以與眾多其它通用或專用計算系統環境或配置一起操作，或者可透過處理器運行電腦可執行代碼的方式實現本揭露實施例。這裡，終端可以是瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路個人電腦、小型電腦系統，等等，伺服器可以是伺服器電腦系統小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
終端、伺服器等電子設備可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由透過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
本揭露的一些實施例中，提出了一種影像處理方法，本揭露實施例可以應用於任意的影像處理場景，例如，可以應用於戶外作業機器人、農業機器人等影像處理場景。
第1圖為本揭露實施例的一種影像處理方法的流程圖，如第1圖所示，該流程可以包括：
步驟101：將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的。
在一種實施方式中，待處理影像可以是圖片或影片檔，在將待處理影像輸入至神經網路之前，需要對待處理影像進行處理，這裡的處理可以是判斷待處理影像的檔案類型，根據待處理檔的類型確定檔案類型所對應的處理操作。例如，在待處理影像為影片類型檔的情況下，需要先對待處理影像進行選幀操作，以獲取選取的圖片，並對選取的影像進行影像預處理操作；在待處理影像為圖片檔的情況下，僅對待處理影像進行影像預處理操作。這裡，影像預處理操作可以是對待處理影像的尺寸進行處理，例如，可以是將待處理影像都轉化為固定尺寸大小的影像。
作為一種實施方式，當神經網路用於對待處理影像進行目標檢測時，輸入的待處理影像的尺寸可以是固定大小的，當神經網路用於對待處理影像進行語義分割時，待處理影像的尺寸可以是非固定大小的，這裡，不對待處理影像的尺寸的具體大小進行限制，待處理影像的尺寸可以是預先設定的固定尺寸。
本揭露實施例中，這裡的神經網路是指經過訓練得到的神經網路，且這裡的訓練是基於不同背景環境下的樣本影像實現的。具體地，不對神經網路的種類進行限定，示例性地，神經網路可以是單步多框檢測器（Single Shot MultiBox Detector，SSD）、只看一次（You Only Look Once，YOLO）、RetinaNet、快速區域卷積神經網路（Faster Region-Convolutional Neural Networks，Faster RCNN）或其他實現目標檢測的神經網路，也可以是全卷積神經網路（Fully Convolutional Networks）、U-net、SegNet、DeconvNet或其他實現語義分割的神經網路。
這裡，不同背景環境下的樣本影像可以是在不同的拍攝背景環境下所獲取的多個影像，樣本影像可以是同一拍攝物件處於不同背景環境下的多個影像，也可以是不同拍攝物件處於不同背景環境下的多個影像，這裡不對影像的拍攝物件進行限制，只要樣本影像的背景環境不同即可。同時，本揭露實施例並不對樣本影像的格式和來源進行限定，在一種實施方式中，樣本影像可以是預先獲取的樣本影像，示例性地，可以從本機存放區區域或網路獲取樣本影像，例如，可以透過公共資料集獲取樣本影像，這裡的公共資料集可以是VOC資料集、COCO資料集等；樣本影像的格式可以是聯合影像專家小組（Joint Photographic Experts GROUP，JPEG）影像、點陣圖（Bitmap，BMP）、可攜式網路圖形（Portable Network Graphics，PNG）或其他格式。
在一種實施方式中，神經網路是基於不同背景環境下的樣本影像訓練得到的，且具備獲取輸入影像的影像處理結果能力，將待處理影像輸入至該神經網路，則可以獲得所處理影像的影像處理結果。
步驟102：基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
作為一種實施方式，對所述待處理影像進行影像處理，得到影像處理結果，可以是對樣本影像進行目標檢測獲得影像的目標檢測結果，和/或，對樣本影像進行語義分割獲得影像的語義分割結果。示例性地，目標檢測結果可以包括影像中表示目標位置和大小的邊界框（Bounding box），例如，邊界框可以是矩形檢測框或其它形狀的檢測框，在邊界框是矩形檢測框的情況下，目標檢測結果可以包括矩形檢測框的左上角的點的像素座標位置以及矩形檢測框的長寬，在目標檢測框不是矩形檢測的情況下，目標檢測結果可以是包括檢測框左上角的點和右下角的點的像素座標位置等位置資訊。語義分割結果可以包括影像中每個像素點的類別，可以透過不同的顏色來分別表示像素點的不同類別，例如，對於影像中的馬路對應的所有像素點可以用藍色來表示，對於影像中汽車對應的所有像素點可以用紅色來表示，對於圖片中草坪對應的所有像素點採用綠色來表示，進而，可以獲得不同的顏色區域，可區別不同的物件。
在實際應用中，步驟101至步驟102可以利用電子設備中的處理器實現，上述處理器可以為特定用途積體電路（Application Specific Integrated Circuit ，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位訊號處理裝置（Digital Signal Processing Device，DSPD）、可程式設計邏輯裝置（Programmable Logic Device，PLD）、FPGA、中央處理器（Central Processing Unit，CPU）、控制器、微控制器、微處理器中的至少一種。可以看出，由於該影像處理方法中所使用的神經網路是基於不同背景環境下的樣本影像訓練得到的，因此，透過該影像處理方法而獲得的待處理影像的影像處理結果，不易受背景環境的影響，穩定性和可信度較高。
在一種實施方式中，待處理影像是由影像採集設備採集的；影像採集設備可以是攝影機等可以採集影像的設備，上述影像處理方法還包括：根據所述待處理影像的影像處理結果，判斷是否滿足第一預設條件；在滿足第一預設條件的情況下，確定所述影像採集設備前方存在障礙物；在不滿足第一預設條件的情況下，確定所述影像採集設備前方不存在障礙物。
在一個示例中，待處理影像可以是由影像採集設備即時採集的影像；待處理影像的影像處理結果，可以是指影像採集設備即時採集的影像的目標檢測結果。這裡，在確定影像採集設備前方存在障礙物的情況下，所識別出的障礙物可以是與地面接觸的障礙物，如高爾夫球、路錐，也可以是懸空的障礙物，如行人抬起的腳。
可以看出，該判斷影像採集設備前方是否存在障礙物的方法，能夠確定影像採集設備前方是否存在障礙物，進而採取後續措施。
在一種實施方式中，所述第一預設條件包括以下至少一項：
待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值；
待處理影像中的至少一個目標的像素面積值大於或等於最大面積安全閾值。
在一個示例中，待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值，可以是待處理影像中的所有邊界框中的一個或多個邊界框分別與影像採集設備之間的距離值小於或等於最小距離安全閾值距離，例如，可以是距離影像採集設備最近的一個邊界框與採集設備之間的距離小於等於距離安全閾值。其中，邊界框與影像採集設備之間的距離可以是邊界框的中心或邊界點等位置點對應的世界坐標系下的位置與影像採集設備之間的距離。
作為一種實施方式，待處理影像中的至少一個目標的像素面積值大於或等於最大面積安全閾值，可以是待處理影像中的所有邊界框中的一個或多個邊界框的像素面積大於等於最大安全閾值，例如，可以是像素面積最大的邊界框的像素面積大於等於最大安全閾值。
同時，這裡的最小距離安全閾值和最大面積安全閾值是根據任務需求情況和使用者需求而具體確定的，這裡不對最小距離安全閾值和最大面積安全閾值的具體大小進行限定。
可以看出，透過對上述第一預設條件的限定，可以使得障礙物的判斷標準更加符合實際需求，更符合用戶需求。
在一種實施方式中，上述影像處理方法還包括：在待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及所述目標檢測結果，分別得到待處理影像中的各目標與影像採集設備之間的距離值；和/或，根據目標檢測結果，分別獲得待處理影像中的各目標的像素面積值；其中，單應性矩陣用於表示世界坐標系和像素坐標系之間的位置映射關係。
這裡的單應性矩陣可以用於表示待處理影像的上的像素點的座標與待處理影像的上的像素點映射在世界坐標系上的座標之間的關係，即，透過單應性矩陣可以獲得待處理影像中已知座標的像素點在對應在世界坐標系上的座標，進而獲得該已知座標像素點對應的目標與影像採集設備之間的距離。
在一種實施方式中，所述單應性矩陣是根據所述影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置確定的。
作為一種實施方式，可以透過下述方式確定單應性矩陣：首先，影像採集設備採集不同位元姿放置標定板時的影像，可計算獲得影像採集設備的內部參數，然後，根據獲得的影像採集設備的內部參數，基於固定位置放置的標定板（即一張影像）可獲得單應性矩陣。這裡的影像採集設備的內部參數至少包括影像採集設備的焦距和像素大小。
可以看出，透過影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置來確定單應性矩陣，可以準確獲取單應性矩陣。使用單應性矩陣作為獲取影像像素位置對應的世界坐標系深度矩陣的方案，容易實現、運算量小，且能夠説明目標檢測演算法快速獲取檢測物體的距離，有利於進行避障判斷。
作為一種實施方式，目標檢測結果還可以包括邊界框置信度，邊界框置信度用於表示該邊界框的可信程度，置信度越高，該邊界框的可信程度越高，示例性地，目標檢測結果包括置信度高於第一閾值的邊界框，也就是說，透過目標檢測所識別的目標是置信度高於第一閾值的邊界框對應的目標，這裡，不對第一閾值進行限定，例如，第一閾值可以是50%、60%或80%。
對於在所述待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及目標檢測結果，分別得到待處理影像中的各目標與影像採集設備之間的距離值的實現方式，在一個示例中，可以根據上述邊界框，以及世界坐標系和像素坐標系之間的位置映射關係，確定目標在世界坐標系上的位置資訊，即，確定目標與影像採集設備之間的距離值。這裡不對確定目標與影像採集設備之間的距離值的方式進行限定，具體地可以透過雷射雷達或超聲波等來檢測目標與影像採集設備之間的距離值。
對於根據所述目標檢測結果，分別獲得待處理影像中的各目標的像素面積值的實現方式，示例性地，可以分別獲得影像採集設備即時採集的影像上的所有邊界框所佔據的像素的面積值。這裡不對獲取影像上的邊界框所佔據的像素的面積值的方式進行限定，具體地，可以透過GPS定位系統結合單應性矩陣來確定影像上的邊界框所佔據的像素的面積值。
可以看出，採用本揭露實施例的技術方案，可以在目標檢測結果的基礎上，準確識別待處理影像中的所有目標以及目標與影像採集設備之間的距離，並獲得所述影像中的各目標在像素座標上對應的像素面積值。
在一種實施方式中，所述影像採集設備設置於移動載體上，移動載體可以是移動機器人或智慧割草機等智慧移動設備，所述方法還包括：在所述影像採集設備前方存在障礙物的情況下，確定所述移動載體的避障反應。
在一示例中，所述移動載體的避障反應可以是指移動載體在移動時前方存在障礙物不能按原方向繼續前進時的反應，具體地，所述避障反應可以是停止前進等待障礙物移除，也可以是轉彎或掉頭等，這裡不對避障反應進行具體地限制。
可以看出，採用本揭露實施例的技術方案，可以在移動載體遇到障礙物的情況下，使得移動載體執行對應的避障反應。
在一種實施方式中，所述確定所述移動載體的避障反應，包括：根據所述影像處理結果，確定所述障礙物的類別；根據所述障礙物的類別，確定所述移動載體的避障反應。
作為一種實施方式，對於根據影像處理結果，確定障礙物的類別，示例性地，可以是在神經網路的訓練階段加入對目標類別的訓練內容，使得訓練得到的神經網路可以具有獲得輸入影像中目標的類別的能力，即，影像處理結果也包含了輸入影像中各目標的類別，進而，可以確定障礙物的類別。
示例性地，障礙物的類別可以是可以移動的物體如高爾夫球，不可移動的物體如路錐、灑水器，以及可以移動的人物，如行人等。
對於根據所述障礙物的類別，確定移動載體的避障反應，在一示例中，障礙物可以是高爾夫球，如果移動載體裝有機械臂，避障反應可以將高爾夫球進行回收；障礙物也可以是路錐或其它靜態物，避障反應也可以是保持與靜態障礙物的安全距離進行繞行；障礙物也可以是行人，如果行人在運動，避障反應也可以是移動載體等待人離開再前進，當移動載體需要繞過靜止的行人時，所述避障反應可以是移動載體需要降低速度並保持較大的安全距離以保證行人安全。
可以看出，上述確定移動載體避障反應的方法，由於考慮了障礙物的類別，因此，移動載體可以對不同的障礙物執行不同的避障策略，更智慧，更能滿足實際應用需求。
在一種實施方式中，在所述影像採集設備前方不存在障礙物的情況下，確定所述移動載體沿原方向繼續移動。
這裡，在所述影像採集設備前方不存在障礙物的情況下，可以是指在影像處理結果不滿足第一預設條件的情況下，確定所述移動載體沿原方向繼續移動，也可以是對正在移動中的移動載體不做任何干預措施。
可以看出，採用本揭露實施例的技術方案，可以在影像採集設備前方不存在障礙物的情況下，移動載體能夠按時完成工作或任務。
在一種實施方式中，所述背景環境可以包括以下至少一項：光照條件、紋理背景。
這裡，光照條件可以是指光照的強度或其它光照資訊，紋理背景可以是作為背景使用的線形花紋、非線性花紋或其它紋理背景。
可以看出，採用本揭露實施例的技術方案，可以對不同光照條件和/或不同紋理背景的多個樣本影像進行訓練，獲得訓練完成的神經網路，由於訓練過程是基於不同光照條件和/或紋理背景下的樣本影像實現的，因此，該訓練完成的神經網路更適用於光照條件變化較大和/或低紋理背景的戶外場景。
在一種實施方式中，所述待處理影像是由影像採集設備採集的；影像採集設備可以是相機、攝影機等可以採集影像的設備，上述影像處理方法還包括：根據所述待處理影像的影像處理結果，判斷是否滿足第二預設條件；在滿足第二預設條件的情況下，確定所述影像採集設備抵達可工作區域與不可工作區域的邊界；在不滿足第二預設條件的情況下，確定所述影像採集設備未抵達可工作區域與不可工作區域的邊界。
在一個示例中，所述待處理影像可以是由影像採集設備即時採集的影像；所述待處理影像的影像處理結果，可以是指影像採集設備即時採集的影像的語義分割結果。
可以看出，本實施例可以透過判斷是否滿足第二預設條件，來準確判斷影像採集設備是否抵達可工作區域與不可工作區域的邊界。
在一實施方式中，第二預設條件包括以下至少一項：邊界的平均像素高度值小於或等於邊界像素高度閾值；待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值；所述待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值。
在一個示例中，邊界的平均像素高度值可以是指可工作區域和不可工作區域形成的邊界與影像下邊緣之間的距離的平均值，可以理解的是，該平均值越小，可工作區域和不可工作區域形成的邊界越靠近影像下邊緣，即，影像採集設備越靠近邊界，此時，可以確定影像採集設備抵達可工作區域與不可工作區域的邊界，且如果影像採集設備沿原方向向前稍作移動，即可能離開可工作區域，抵達不可工作區域。
對於可工作區域的面積值的實現方式，示例性地，可以是指影像的可工作區域在像素坐標系中所佔的區域面積值。這裡，當待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值時，可以認為影像採集設備可以工作的區域範圍不夠大。
對於待處理影像中的可工作區域的面積所佔比例可以是指待處理影像中可工作區域的面積與整個影像的面積的比值，也可以是可工作區域的面積與不可工作區域的面積的比值，還可以是指待處理影像中可工作區域的面積與預設總可工作區域的面積的比值，這裡不做具體限定。當待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值時，表明可工作區域面積比較小。
這裡的邊界像素高度閾值、可工作區域面積閾值和可工作區域的面積所佔比例是根據任務需求情況和使用者需求而具體確定的，這裡不對邊界像素高度閾值、可工作區域面積閾值和可工作區域面積所佔比例閾值的具體大小進行限定。
可以看出，透過對上述第二預設條件的判斷，可以使得是否抵達可工作區域與不可工作區域的邊界的判斷標準更能符合實際應用需求。
在一實施方式中，上述影像處理方法還包括：在所述待處理影像的影像處理結果包括語義分割結果的情況下，根據語義分割結果確定所述待處理影像的各像素點的區域類別，根據所確定的各像素點的區域類別確定可作業區域和不可作業區域；根據所確定的可作業區域和不可作業區域，獲得所述待處理影像中的可工作區域的面積值，和/或確定所述邊界的平均像素高度值。
作為一種實施方式，各像素點的區域類別可以是指各像素點所屬的具體區域是可作業區域還是不可作業區域。對於可工作區域和不可工作區域的劃分方式，示例性地，對於設置有影像採集設備的割草機器人來說，可工作區域可以是指草地等可割草的空間區域，不可工作區域可以是指水泥地、馬路等不可割草的區域。
可以看出，本實施例可以得到待處理影像中的區域劃分情況，較為準確地確定可工作區域和不可工作區域以及可工作區域和不可工作區域的邊界，便於後面獲得可工作區域的面積值和邊界的平均像素高度值。
在一種實施方式中，影像採集設備設置於移動載體上，上述影像處理方法還包括：在所述影像採集設備抵達所述邊界的情況下，確定所述移動載體的動作反應。
可以看出，本實施例在移動載體抵達可工作區域和不可工作區域邊界的情況下，可以及時確定移動載體的動作反應，避免移動載體抵達不可工作區域。
在一種實施方式中，所述方法還包括：在所述影像採集設備未抵達所述邊界的情況下，確定所述移動載體沿原方向繼續移動。
可以看出，本實施例在影像採集設備未抵達可工作區域和不可工作區域邊界的情況下，可以保證移動載體在可工作區域中按照需求完成任務。
在一種實施方式中，所述移動載體的動作反應包括以下至少一項：停止、轉彎、掉頭。
可以看出，採用本揭露實施例的技術方案，移動載體可以及時地執行停止、轉彎、掉頭等動作反應，有利於避免移動載體移動至不可工作區域。
在一種實施方式中，所述影像採集設備是單眼影像採集設備。
單眼影像採集設備是指具有單個攝影機的影像採集設備，示例性地，可以是單眼相機。
可以看出，由於該單眼影像採集設備成本低、重量輕，因此，可以應用於多種應用場景，拓展了本實施例的應用範圍。
第2圖本揭露實施例的一種神經網路訓練方法的流程圖，如第2圖所示，上述神經網路是透過以下步驟訓練得到的：
步驟201：將樣本影像輸入至神經網路中，基於所述神經網路對所述樣本影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果；其中，所述樣本影像用於表示不同背景環境下的影像；
步驟202：根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值；
步驟203：判斷基於網路參數值調整後的神經網路得到的影像處理結果是否滿足設定條件，如果否，則重新執行步驟201至步驟203；如果是，則執行步驟204。
步驟204：將網路參數值調整後的神經網路作為訓練完成的神經網路。
作為一種實施方式，這裡的神經網路可以是未經訓練的神經網路，也可以是經過神經網路訓練，但所述訓練不包含本揭露的訓練內容的神經網路。
在實際應用中，需要預先獲取樣本影像的標注；在一種實施方式中，樣本影像的標注可以是標注框以及標注資訊，其中，標注框用於框選樣本影像中的目標，標注框也可以標識目標的位置，例如，可以透過標注框標注樣本影像中的人物、動物等目標以及目標的位置，標注資訊用於標注目標的類別，例如，可以標注目標是物體、人還是動物；樣本影像的標注也可以是用於標注影像中像素點的類別的標注資訊，由於多個像素點可以是同一類別，因此，可以是多個區域類別的標注資訊，例如，可以是標注出可割草區域和不可割草區域的標注資訊。
對於根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值，示例性地，可以是根據樣本影像的影像處理結果與樣本影像的標注之間的差異，以減少該差異為目標來調整所述神經網路的網路參數值，其中，該差異可以透過損壞神經網路的損失函數值來描述。具體的損失函數值確定方法可以根據神經網路的類型確定，本揭露實施例不做限定。
這裡，設定條件可以是調整神經網路的網路參數的次數等於設定反覆運算次數，也可以是神經網路的損失函數達到收斂條件，當然，設定條件也可以是在固定的測試集上測試達到設定的準確率。這裡，設定反覆運算次數表示調整神經網路的網路參數的次數的最大值，設定反覆運算次數為大於1的整數；收斂條件可以是調整神經網路的損失函數的值小於設定損失，設定損失可以根據實際應用需求預先設置。需要說明的是，上述僅僅是對設定條件進行了示例性說明，本揭露實施例的設定條件並不局限於此；設定的準確率可以是預先設置的百分比值，具體地，設定的百分比值可以是50%及大於50%的值。
可以看出，在本揭露實施例中，基於對不同背景環境下的樣本影像進行影像處理的訓練，得到可以獲得影像處理結果的神經網路，以滿足對影像的影像處理結果的實際需求，由於神經網路的訓練過程是基於不同背景環境下的樣本影像實現的，因此，透過該訓練完成的神經網路對影像進行處理，獲得的影像處理結果不易受背景環境的影響，穩定性和可信度較高。
在一種實施方式中，影像處理方法還包括：獲取所述待處理影像的標注；根據所述待處理影像的影像處理結果以及所述待處理影像的標注，在所述訓練完成的神經網路的基礎上進行增量訓練。
作為一種實施方式，增量訓練表示在上述神經網路的基礎上，利用新增資料對所述神經網路進行參數調整的過程。本實施例不對增量訓練的實施方式進行具體限定，在一個示例中，可以根據將神經網路的損失函數加上預設的正規化項，得到修改後的損失函數；利用神經網路對新增資料進行影像處理，得到樣本影像的影像處理結果；根據修改後的損失函數、新增資料的標注，確定神經網路的損失；根據神經網路的損失，調整神經網路的網路參數；重複執行上述確定神經網路的損失、以及調整神經網路的網路參數的步驟，直至網路參數調整後的神經網路滿足訓練結束條件，得到訓練完成的神經網路。
可以看出，透過該增量訓練，神經網路可以根據移動載體的任務進行神經網路的即時更新，從而，能夠適應新的場景和作業任務。
在前述實施例提出的影像處理方法的基礎上，本揭露實施例提出了一種影像處理裝置。
第3圖為本揭露實施例的影像處理裝置的組成結構示意圖，如第3圖所示，該裝置可以包括：處理模組301其中，
處理模組301，配置為將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的；基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
可選地，所述處理模組301，還配置為根據所述待處理影像的影像處理結果，判斷是否滿足第一預設條件；在滿足第一預設條件的情況下，確定所述影像採集設備前方存在障礙物。
可選地，所述第一預設條件包括以下至少一項：
所述待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值；
所述待處理影像中的至少一個目標在像素座標上對應的像素面積值大於或等於最大面積安全閾值。
可選地，所述處理模組301還配置為在所述待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及所述目標檢測結果，分別得到所述待處理影像中的各目標與影像採集設備之間的距離值；和/或根據所述目標檢測結果，分別獲得所述待處理影像中的各目標在像素座標上對應的像素面積值；其中，所述單應性矩陣用於表示世界坐標系和像素坐標系之間的位置映射關係。
可選地，所述單應性矩陣是根據所述影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置確定的。
可選地，所述影像採集設備設置於移動載體上，所述處理模組301還配置為在所述影像採集設備前方存在障礙物的情況下，確定所述移動載體的避障反應。
可選地，所述處理模組301還配置為根據所述影像處理結果，確定所述障礙物的類別；根據所述障礙物的類別，確定所述移動載體的避障反應。
可選地，處理模組301還配置為在所述影像採集設備前方不存在障礙物的情況下，確定所述移動載體沿原方向繼續移動。
可選地，所述背景環境包括以下至少一項：光照條件、紋理背景。
可選地，所述待處理影像是由影像採集設備採集的，所述處理模組301還配置為根據所述待處理影像的影像處理結果，判斷是否滿足第二預設條件；在滿足第二預設條件的情況下，確定所述影像採集設備抵達可工作區域與不可工作區域的邊界。
可選地，所述第二預設條件包括以下至少一項：
所述邊界的平均像素高度值小於或等於邊界像素高度閾值；
所述待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值；
所述待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值。
可選地，所述處理模組301還配置為在所述待處理影像的影像處理結果包括語義分割結果的情況下，根據語義分割結果確定所述待處理影像的各像素點的區域類別，根據所確定的各像素點的區域類別確定可作業區域和不可作業區域；根據所確定的可作業區域和不可作業區域，獲得所述待處理影像中的可工作區域的面積值，和/或確定所述邊界的平均像素高度值。
可選地，所述影像採集設備設置於移動載體上，所述處理模組301還配置為在所述影像採集設備抵達所述邊界的情況下，確定所述移動載體的動作反應。
可選地，所述處理模組301還配置為在所述影像採集設備未抵達所述邊界的情況下，確定所述移動載體沿原方向繼續移動。
可選地，所述移動載體的動作反應包括以下至少一項：停止、轉彎、掉頭。
可選地，所述影像採集設備是單眼影像採集設備。
可選地，所述神經網路是透過以下步驟訓練得到的：將樣本影像輸入至神經網路中，基於所述神經網路對所述樣本影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果；其中，所述樣本影像用於表示不同背景環境下的影像；
根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值；
重複執行上述步驟，直至網路參數值調整後的神經網路滿足設定條件，得到訓練完成的神經網路。
可選地，所述處理模組301還配置為獲取所述待處理影像的標注；根據所述待處理影像的影像處理結果以及所述待處理影像的標注，在所述訓練完成的神經網路的基礎上進行增量訓練。
實際應用中，處理模組301可以利用電子設備中的處理器實現，上述處理器可以為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。
另外，在本實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存介質中，基於這樣的理解，本實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或processor（處理器）執行本實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read Only Memory ，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。
具體來講，本實施例中的一種神經網路訓練方法或影像處理方法對應的電腦程式指令可以被儲存在光碟，硬碟，U盤等儲存介質上，當儲存介質中的與一種神經網路訓練方法或影像處理方法對應的電腦程式指令被一電子設備讀取或被執行時，實現前述實施例的任意一種影像處理方法或任意一種神經網路訓練方法。
基於前述實施例相同的技術構思，本揭露實施例還提供了一種電腦程式，該電腦程式被處理器執行時實現上述任意一種影像處理方法。
基於前述實施例相同的技術構思，參見第4圖，其示出了本揭露實施例提供的一種電子設備400，可以包括：記憶體401和處理器402；其中，
所述記憶體401，配置為儲存電腦程式和資料；
所述處理器402，配置為執行所述記憶體中儲存的電腦程式，以實現前述實施例的任意一種影像處理方法。
在實際應用中，上述記憶體401可以是易失性記憶體（volatile memory），例如RAM；或者非易失性記憶體（non-volatile memory），例如ROM，快閃記憶體（flash memory），硬碟（Hard Disk Drive，HDD）或固態硬碟（Solid-State Drive，SSD）；或者上述種類的記憶體的組合，並向處理器402提供指令和資料。
上述處理器402可以為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。可以理解地，對於不同的增強現實雲平臺，用於實現上述處理器功能的電子器件還可以為其它，本揭露實施例不作具體限定。
在一些實施例中，本揭露實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述
上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述
本申請所提供的各方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本申請所提供的各產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本申請所提供的各方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
透過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到上述實施例方法可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本揭露的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質（如ROM/RAM、磁碟、光碟）中，包括若干指令用以使得一台終端（可以是手機，電腦，伺服器，空調器，或者網路設備等）執行本揭露各個實施例所述的方法。
上面結合附圖對本揭露的實施例進行了描述，但是本揭露並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本揭露的啟示下，在不脫離本揭露宗旨和發明申請專利範圍所保護的範圍情況下，還可做出很多形式，這些均屬於本揭露的保護之內。
101,102:步驟
201,202,203,204:步驟
301:處理模組
401:記憶體
402:處理器
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本揭露的實施例，並與說明書一起用於說明本揭露的技術方案。
第1圖為本揭露實施例的影像處理方法的流程圖；
第2圖為本揭露實施例的神經網路訓練方法的流程圖；
第3圖為本揭露實施例的影像處理裝置的組成結構示意圖；
第4圖為本揭露實施例的電子設備的結構示意圖。
101,102:步驟
Claims (15)
- 一種影像處理方法，其中，所述方法包括： 將待處理影像輸入至神經網路，所述神經網路是基於不同背景環境下的樣本影像訓練得到的； 基於所述神經網路對所述待處理影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果。
- 根據請求項1所述的方法，其中，所述待處理影像是由影像採集設備採集的； 所述方法還包括： 根據所述待處理影像的影像處理結果，判斷是否滿足第一預設條件； 在滿足第一預設條件的情況下，確定所述影像採集設備前方存在障礙物。
- 根據請求項2所述的方法，其中，所述第一預設條件包括以下至少一項： 所述待處理影像中的至少一個目標分別與影像採集設備之間的距離值小於或等於最小距離安全閾值； 所述待處理影像中的至少一個目標的像素面積值大於或等於最大面積安全閾值。
- 根據請求項3所述的方法，其中，所述方法還包括： 在所述待處理影像的影像處理結果包括目標檢測結果的情況下，根據預先獲取的單應性矩陣以及所述目標檢測結果，分別得到所述待處理影像中的各目標與影像採集設備之間的距離值；和/或，根據所述目標檢測結果，分別獲得所述待處理影像中的各目標的像素面積值；其中，所述單應性矩陣用於表示各像素點的世界坐標系和像素坐標系之間的位置映射關係。
- 根據請求項4所述的方法，其中，所述單應性矩陣是根據所述影像採集設備的內部參數以及標定板相對於所述影像採集設備的已知位置確定的。
- 根據請求項2-5任一項所述的方法，其中，所述影像採集設備設置於移動載體上， 所述方法還包括： 在所述影像採集設備前方存在障礙物的情況下，確定所述移動載體的避障反應。
- 根據請求項6所述的方法，其中，所述確定所述移動載體的避障反應，包括： 根據所述影像處理結果，確定所述障礙物的類別；根據所述障礙物的類別，確定所述移動載體的避障反應。
- 根據請求項1-5任一項所述的方法，其中，所述待處理影像是由影像採集設備採集的； 所述方法還包括： 根據所述待處理影像的影像處理結果，判斷是否滿足第二預設條件； 在滿足第二預設條件的情況下，確定所述影像採集設備抵達可工作區域與不可工作區域的邊界。
- 根據請求項8所述的方法，其中，所述第二預設條件包括以下至少一項： 所述邊界的平均像素高度值小於或等於邊界像素高度閾值； 所述待處理影像中的可工作區域的面積值小於或等於可工作區域面積閾值； 所述待處理影像中的可工作區域的面積所佔比例小於或等於可工作區域面積所佔比例閾值。
- 根據請求項9所述的方法，其中，所述方法還包括： 在所述待處理影像的影像處理結果包括語義分割結果的情況下，根據語義分割結果確定所述待處理影像的各像素點的區域類別，根據所確定的各像素點的區域類別確定可作業區域和不可作業區域；根據所確定的可作業區域和不可作業區域，獲得所述待處理影像中的可工作區域的面積值，和/或確定所述邊界的平均像素高度值。
- 根據請求項8所述的方法，其中，所述影像採集設備設置於移動載體上， 所述方法還包括： 在所述影像採集設備抵達所述邊界的情況下，確定所述移動載體的動作反應。
- 根據請求項1-5任一項所述的方法，其中，所述神經網路是透過以下步驟訓練得到的： 將樣本影像輸入至神經網路中，基於所述神經網路執行以下步驟：對所述樣本影像進行影像處理，得到影像處理結果；所述影像處理結果包括目標檢測結果和/或語義分割結果；其中，所述樣本影像用於表示不同背景環境下的影像； 根據所述樣本影像的影像處理結果以及所述樣本影像的標注，調整所述神經網路的網路參數值； 重複執行上述步驟，直至網路參數值調整後的神經網路滿足設定條件，得到訓練完成的神經網路。
- 根據請求項12所述的方法，其中，所述方法還包括： 獲取所述待處理影像的標注； 根據所述待處理影像的影像處理結果以及所述待處理影像的標注，在所述訓練完成的神經網路的基礎上進行增量訓練。
- 一種電子設備，其中，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中， 所述處理器配置為運行所述電腦程式時，執行請求項1-13任一項所述的影像處理方法。
- 一種電腦儲存介質，其上儲存有電腦程式，其中，該電腦程式被處理器執行時實現請求項1-13任一項所述的影像處理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911328268.7A CN111126251B (zh) | 2019-12-20 | 2019-12-20 | 图像处理方法、装置、设备和存储介质 |
| CN201911328268.7 | 2019-12-20 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202125316A true TW202125316A (zh) | 2021-07-01 |
Family
ID=70500812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109117087A TW202125316A (zh) | 2019-12-20 | 2020-05-22 | 影像處理方法、電子設備和電腦儲存介質 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP2022518324A (zh) |
| KR (1) | KR20210081364A (zh) |
| CN (1) | CN111126251B (zh) |
| TW (1) | TW202125316A (zh) |
| WO (1) | WO2021120455A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI823491B (zh) * | 2022-07-22 | 2023-11-21 | 鴻海精密工業股份有限公司 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102378B (zh) * | 2020-08-06 | 2024-06-11 | 深圳市优必选科技股份有限公司 | 图像配准方法、装置、终端设备及计算机可读存储介质 |
| CN112183476B (zh) * | 2020-10-28 | 2022-12-23 | 深圳市商汤科技有限公司 | 一种障碍检测方法、装置、电子设备以及存储介质 |
| CN112418219A (zh) * | 2020-11-24 | 2021-02-26 | 广东工业大学 | 一种服装面料裁片的颜色和形状识别方法及相关装置 |
| CN112465794A (zh) * | 2020-12-10 | 2021-03-09 | 无锡卡尔曼导航技术有限公司 | 一种基于YOLOv4和嵌入式平台的高尔夫球检测方法 |
| CN112651931B (zh) * | 2020-12-15 | 2024-04-26 | 浙江大华技术股份有限公司 | 建筑物变形监测方法、装置和计算机设备 |
| CN112561897A (zh) * | 2020-12-22 | 2021-03-26 | 电子科技大学中山学院 | 一种基于U-Net的光子晶体光纤端面结构提取方法 |
| CN112862776A (zh) * | 2021-02-02 | 2021-05-28 | 中电鸿信信息科技有限公司 | 基于ar和多重语义分割的智能测量方法 |
| CN113345034A (zh) * | 2021-07-14 | 2021-09-03 | 山东诺德能源科技有限公司 | 一种利用图像识别方法快速测量钢筋直径的方法 |
| CN113611079A (zh) * | 2021-07-30 | 2021-11-05 | 北京市商汤科技开发有限公司 | 提示方法及装置、电子设备和存储介质 |
| CN113910225A (zh) * | 2021-10-09 | 2022-01-11 | 邦鼓思电子科技（上海）有限公司 | 一种基于视觉边界检测的机器人控制***及方法 |
| CN113706561B (zh) * | 2021-10-29 | 2022-03-29 | 华南理工大学 | 一种基于区域分离的图像语义分割方法 |
| CN114339046B (zh) * | 2021-12-30 | 2023-10-03 | 中元汇吉生物技术股份有限公司 | 基于自动旋转试管的图像采集方法、装置、设备及介质 |
| CN116132645A (zh) * | 2023-01-06 | 2023-05-16 | 清华大学 | 图像处理方法、装置、设备和介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007148835A (ja) * | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
| JP2016181068A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社明電舎 | 学習サンプル撮影装置 |
| CN108303747B (zh) * | 2017-01-12 | 2023-03-07 | 清华大学 | 检查设备和检测***的方法 |
| US10546242B2 (en) * | 2017-03-03 | 2020-01-28 | General Electric Company | Image analysis neural network systems |
| CN107301646B (zh) * | 2017-06-27 | 2019-09-17 | 深圳市云洲创新科技有限公司 | 基于单目视觉的无人船智能避障方法和装置 |
| CN107895378A (zh) * | 2017-10-12 | 2018-04-10 | 西安天和防务技术股份有限公司 | 目标检测方法和装置、存储介质、电子设备 |
| JP6621220B2 (ja) * | 2018-02-09 | 2019-12-18 | 株式会社ビコー | 情報処理装置、情報処理方法およびプログラム |
| CN108321722B (zh) * | 2018-03-08 | 2023-09-22 | 贵州电网有限责任公司 | 自动避障的可纵向弯曲树障清理空中机器人和避障方法 |
| CN109063575B (zh) * | 2018-07-05 | 2022-12-23 | 中国计量大学 | 一种基于单目视觉的智能割草机自主有序割草方法 |
| CN110228484B (zh) * | 2019-06-17 | 2021-02-19 | 福州视驰科技有限公司 | 一种具有辅助驾驶功能的低时延智能远程驾驶*** |
| CN110245710B (zh) * | 2019-06-18 | 2022-11-29 | 腾讯科技（深圳）有限公司 | 语义分割模型的训练方法、语义分割方法及装置 |
| CN110502019A (zh) * | 2019-09-06 | 2019-11-26 | 北京云迹科技有限公司 | 一种室内机器人的避障方法及装置 |
-
2019
- 2019-12-20 CN CN201911328268.7A patent/CN111126251B/zh active Active
-
2020
- 2020-04-09 KR KR1020217014432A patent/KR20210081364A/ko active IP Right Grant
- 2020-04-09 WO PCT/CN2020/084018 patent/WO2021120455A1/zh active Application Filing
- 2020-04-09 JP JP2021526557A patent/JP2022518324A/ja active Pending
- 2020-05-22 TW TW109117087A patent/TW202125316A/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI823491B (zh) * | 2022-07-22 | 2023-11-21 | 鴻海精密工業股份有限公司 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210081364A (ko) | 2021-07-01 |
| CN111126251B (zh) | 2022-08-02 |
| WO2021120455A1 (zh) | 2021-06-24 |
| CN111126251A (zh) | 2020-05-08 |
| JP2022518324A (ja) | 2022-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021120455A1 (zh) | 图像处理方法、装置、设备和存储介质 | |
| CN111753609B (zh) | 一种目标识别的方法、装置及摄像机 | |
| CN108459599B (zh) | 一种运动路径规划方法及装置 | |
| KR102206834B1 (ko) | 도로정보 변화 감지 방법 및 시스템 | |
| CN110442120B (zh) | 控制机器人在不同场景下移动的方法、机器人及终端设备 | |
| WO2022088611A1 (zh) | 障碍检测方法、装置、电子设备、存储介质及计算机程序 | |
| TWI726278B (zh) | 行車偵測方法、車輛及行車處理裝置 | |
| CN106650701A (zh) | 基于双目视觉的室内阴影环境下障碍物检测方法及装置 | |
| Ososinski et al. | Automatic Driving on Ill‐defined Roads: An Adaptive, Shape‐constrained, Color‐based Method | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN112605993A (zh) | 基于双目视觉引导的自动抓取档案机器人控制***及方法 | |
| JP7153264B2 (ja) | 画像解析システム、画像解析方法及び画像解析プログラム | |
| CN112784639A (zh) | 路口检测、神经网络训练及智能行驶方法、装置和设备 | |
| WO2022061632A1 (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
| CN116503566B (zh) | 一种三维建模方法、装置、电子设备及存储介质 | |
| CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| Shanmugam et al. | A machine-vision-based real-time sensor system to control weeds in agricultural fields | |
| CN115880643A (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
| CN115902977A (zh) | 基于视觉和gps的变电站机器人双重定位方法及*** | |
| WO2022052853A1 (zh) | 目标跟踪方法、装置、设备及计算机可读存储介质 | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
| CA3148404A1 (en) | Information processing device, data generation method, and non-transitory computer-readable medium storing program | |
| CN114333345B (zh) | 停车位被遮挡时的预警方法、设备、存储介质及程序产品 | |
| TWI807904B (zh) | 深度識別模型訓練方法、圖像深度識別方法及相關設備 |