TWI831176B - 影像處理方法、裝置、電腦裝置及儲存介質 - Google Patents
影像處理方法、裝置、電腦裝置及儲存介質 Download PDFInfo
- Publication number
- TWI831176B TWI831176B TW111113568A TW111113568A TWI831176B TW I831176 B TWI831176 B TW I831176B TW 111113568 A TW111113568 A TW 111113568A TW 111113568 A TW111113568 A TW 111113568A TW I831176 B TWI831176 B TW I831176B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- driving
- traveling
- autoencoder
- vehicle
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 81
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 238000003672 processing method Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申請涉及圖像分析技術，提供一種影像處理方法、裝置、電腦裝置及儲存介質。該方法能夠獲取行駛車輛在行駛過程中的行駛左圖像及行駛右圖像，生成與行駛左圖像對應的實例左圖像及與行駛右圖像對應的實例右圖像，對行駛左圖像進行重構處理，得到預測視差圖，根據行駛左圖像、預測視差圖及行駛右圖像生成第一誤差值，根據實例左圖像、預測視差圖及實例右圖像生成第二誤差值，根據第一誤差值及第二誤差值調整自編碼器，得到自編碼模型，獲取測試行駛圖像，對測試行駛圖像進行重構得到目標視差圖，轉換目標視差圖，能夠生成精細化的深度圖像。
Description
本申請涉及圖像分析技術領域，尤其涉及一種影像處理方法、裝置、電腦裝置及儲存介質。
在車輛處於自動行駛過程中，需要利用深度圖像以時刻監測車輛周圍的行人、車輛或者障礙物。然而，深度圖像的生成精確度及精細度會導致大量的資料計算，從而影響自動駕駛。
鑒於以上內容，有必要提供一種影像處理方法、裝置、電腦裝置及儲存介質，能夠生成精確的深度圖像以避免影響車輛的自動行駛。
本申請的第一方面提供一種影像處理方法，所述影像處理方法包括：
獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像；
對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像；
基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖；
根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值；
根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型；
獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖；
轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
本申請的第二方面提供一種影像處理裝置，所述影像處理裝置包括：
獲取單元，用於獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像；
分割單元，用於對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像；
重構單元，用於基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖；
生成單元，用於根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值；
調整單元，用於根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型；
所述重構單元，還用於獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖；
轉換單元，用於轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
本申請的第三方面提供一種電腦裝置，所述電腦裝置包括：
儲存器，儲存至少一個指令；及
處理器，獲取所述儲存器中儲存的指令以實現所述影像處理方法。
本申請的第四方面提供一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦裝置中的處理器獲取以實現所述影像處理方法。
由以上技術方案可以看出，本申請透過對所述車輛行駛圖像進行實例分割處理，能夠準確的識別出所述車輛行駛圖像中的標籤資訊，透過所述行駛左圖像編碼生成的預測視差圖分析所述自編碼器對所述車輛行駛圖像的第一誤差值及所述自編碼器對所述實例分割圖像的第二誤差值，增強了所述預測視差圖在同一物件上的一致性，進而能夠剔除所述自編碼器對圖像編碼的干擾，提高了所述第一誤差值及所述第二誤差值的準確性，透過結合所述第一誤差值及所述第二誤差值調整所述自編碼器，能夠進一步提高所述自編碼模型的影像處理能力，從而基於所述自編碼模型對所述測試行駛圖像進行處理，能夠提高所述深度圖像的精確度及精細度，從而提高自動駕駛的精確度。
為了使本申請的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本申請進行詳細描述。
如圖1所示，是本申請一種影像處理方法的較佳實施例的應用環境圖。所述影像處理方法可應用於一個或者多個電腦裝置1中，所述電腦裝置1與雙目攝像機2及拍攝裝置3相通信，所述雙目攝像機2及所述拍攝裝置3可以是任意能夠實現拍攝的裝置。
所述影像處理方法應用於一個或者多個電腦裝置1中，所述電腦裝置1是一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或 資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、 可程式設計閘陣列(Field－Programmable Gate Array，FPGA)、 數位訊號處理器(Digital Signal Processor，DSP)、 嵌入式設備等。
所述電腦裝置1可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智慧手機、個人數位助理（Personal Digital Assistant，PDA）、遊戲機、互動式網路電視（Internet Protocol Television，IPTV）、智慧式穿戴式設備等。
所述電腦裝置1還可以包括網路設備和/或使用者設備。其中，所述網路設備包括，但不限於單個網路服務器、多個網路服務器組成的伺服器組或基於雲計算（Cloud Computing）的由大量主機或網路服務器構成的雲。
所述電腦裝置1所處的網路包括但不限於網際網路、廣域網路、都會區網路、局域網、虛擬私人網路（Virtual Private Network，VPN）等。
如圖2所示，是本申請一種影像處理方法的較佳實施例的流程圖。根據不同的需求，該流程圖中各個步驟的順序可以根據實際檢測要求進行調整，某些步驟可以省略。所述方法的執行主體為電腦裝置，例如圖1所示的電腦裝置1。
步驟S10，獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像。
在本申請的至少一個實施例中，所述行駛車輛可以是指任意需要進行自動駕駛的車輛。
所述車輛行駛圖像是指所述行駛車輛在行駛過程中由雙目攝像機拍攝所生成的圖像。其中，所述雙目攝像機中包含有兩個鏡頭。
所述行駛左圖像是指由所述雙目攝像機的左鏡頭對所述行駛車輛在行駛過程中的視野進行拍攝所得到的圖像。所述行駛左圖像可以從與所述左鏡頭有儲存關係的第一預設資料庫中獲取。其中，所述第一預設資料庫中儲存有所述左鏡頭拍攝的多張圖像及每張圖像的拍攝時刻。
所述行駛右圖像是指由所述雙目攝像機的右鏡頭對所述行駛車輛在行駛過程中的視野進行拍攝所得到的圖像。所述行駛右圖像可以從與所述右鏡頭有儲存關係的第二預設資料庫中獲取。其中，所述第二預設資料庫中儲存有所述右鏡頭拍攝的多張圖像及每張圖像的拍攝時刻。
在本申請的至少一個實施例中，所述電腦裝置獲取行駛車輛在行駛過程中的車輛行駛圖像包括以下一種或者多種方式的組合：
（1）控制雙目攝像機對所述行駛車輛在行駛過程中的視野進行拍攝，得到所述行駛左圖像及所述行駛右圖像。
透過所述雙目攝像機能夠即時獲取到所述行駛車輛在行駛過程中的視野圖像。
（2）從第一預設資料庫中獲取與所述行駛車輛對應的圖像作為所述行駛左圖像，從所述第一預設資料庫中獲取所述行駛左圖像的拍攝時刻，並從第二預設資料庫中獲取同時與所述行駛車輛及所述拍攝時刻對應的圖像作為所述行駛右圖像。
透過所述行駛車輛及所述拍攝時刻，能夠準確的獲取到與所述行駛左圖像對應的行駛右圖像。
本實施例，能夠從多方面獲取到所述車輛行駛圖像，有利於對所述自編碼器的調整。
步驟S11，對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像。
在本申請的至少一個實施例中，所述實例分割圖像中包含有所述車輛行駛圖像的標籤資訊。可以理解的是，當所述車輛行駛圖像中攜帶有小貓的圖像資訊時，則所述實例分割圖像中攜帶有指示小貓的框圖資訊。
在本申請的至少一個實施例中，所述電腦裝置對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像包括：將所述車輛行駛圖像輸入至預先訓練好的實例分割模型中，得到輸出圖像；基於所述輸出圖像檢測所述實例分割模型對所述車輛行駛圖像的分割準確度；若所述分割準確度大於預設閾值，則將所述輸出圖像確定為所述實例分割圖像。
其中，所述實例分割模型中包括特徵提取網路層、特徵映射層、分類層等。所述特徵提取網路層用於提取所述車輛行駛圖像中的特徵資訊，所述特徵提取網路層可以包括多個卷積層。所述特徵映射層用於將同一主體的特徵資訊映射為特徵圖，例如，若所述車輛行駛圖像中攜帶有行人主體及小貓主體，則所述特徵映射層所得到的特徵圖包含有與所述行人主體對應的特徵圖，及與所述小貓主體的特徵圖。所述分類層用於識別出所述特徵圖中所對應的類型。所述分類層中包含有全連接層。
所述預設閾值可以根據實際需求設定的數值，例如，所述預設閾值可以為95%。
透過所述實例分割模型能夠實現自動化的對所述車輛行駛圖像進行實例分割，提高所述輸出圖像的生成效率，同時，透過對所述輸出圖像進行檢測，能夠提高所述實例分割圖像的準確性。
本實施例中，所述電腦裝置基於所述輸出圖像檢測所述實例分割模型對所述車輛行駛圖像的分割準確度包括：識別所述車輛行駛圖像中主體標籤所在的主體位置；從所述輸出圖像中獲取與所述主體標籤對應的預測位置；計算所述預測位置與所述主體位置的位置差值在所述主體位置上的比值，得到所述分割準確度。
透過同一主體標籤對所述主體位置及所述預測位置進行分析，提高所述分割準確度的計算準確性。
步驟S12，基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖。
在本申請的至少一個實施例中，所述預測視差圖中包含有所述行駛左圖像中每個圖元點的預測視差值。
在本申請的至少一個實施例中，所述自編碼器中包括編碼器及解碼器，所述電腦裝置基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖包括：基於所述編碼器對所述行駛左圖像進行編碼處理，得到所述行駛左圖像的特徵向量；基於所述解碼器對所述特徵向量進行映射處理，得到所述預測視差圖。
透過上述實施方式，能夠快速的生成所述預測視差圖。
步驟S13，根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值。
在本申請的至少一個實施例中，所述電腦裝置根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值包括：從所述預測視差圖中獲取所述行駛左圖像中每個圖元點所對應的預測視差值；定位所述行駛左圖像中每個圖元點的第一圖元位置；基於所述預測視差值與所述第一圖元位置，確定第二圖元位置；從所述行駛左圖像中獲取所述第一圖元位置所對應的圖元點的RGB圖元值；根據所述第一圖元位置所對應的圖元點的RGB圖元值及所述第二圖元位置生成所述自編碼器對所述行駛左圖像的預測右圖像；根據所述行駛右圖像及所述預測右圖像生成所述第一誤差值，包括：
；其中，MSE是指所述第一誤差值，y為所述行駛右圖像的RGB圖元值，y ̂為所述預測右圖像的RGB圖元值。
其中，所述預測右圖像是以所述行駛左圖像中第一圖元位置上的RGB圖元值作為第二圖元位置上的RGB圖元值而生成的圖像，例如，所述行駛左圖像中第一圖元位置（100，200）所對應的圖元點的RGB圖元值為x，所述行駛左圖像中第一圖元位置（100，200）在所述預測視差圖中的預測視差值為（20，0），則所述預測右圖像中第二圖元位置為（120，200），第二圖元位置（120，200）所對應的圖元點的RGB圖元值為x。
具體地，所述電腦裝置基於所述預測視差值與所述第一圖元位置，確定第二圖元位置包括：計算所述預測視差值與所述第一圖元位置的總和，得到所述第二圖元位置。
例如：所述第一圖元位置為（100，200），則所述第一圖元位置（100，200）在所述預測視差圖中的預測視差值為（20，0），則所述預測右圖像中第二圖元位置為（120，200）。
透過所述行駛左圖像及所述預測視差圖能夠準確的確定出所述預測右圖像，進而透過分析所述行駛右圖像與所述預測右圖像的圖元關係，能夠準確的確定出所述第一誤差值。
在本申請的至少一個實施例中，所述電腦裝置根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值的方式與所述電腦裝置根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值的方式相似，本申請對此不再贅述。
步驟S14，根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型。
在本申請的至少一個實施例中，所述自編碼模型是指訓練總誤差值不再降低時的自編碼器。
在本申請的至少一個實施例中，所述電腦裝置根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型包括：計算所述第一誤差值與所述第二誤差值的總和，得到所述自編碼器的訓練總誤差值；調整所述自編碼器中的配置參數，直至所述訓練總誤差值不再降低，得到所述自編碼模型。
其中，所述配置參數是指所述解碼器及所述編碼器中初始化配置的參數，例如，所述配置參數包括所述解碼器中反卷積層的層數及反卷積層中卷積核的大小，所述配置參數還包括所述編碼器中卷積層的層數及卷積層中卷積核的大小。
透過所述第一誤差值及所述第二誤差值，能夠準確的確定出所述訓練總誤差值，從而提高所述自編碼模型的準確性。
步驟S15，獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖。
在本申請的至少一個實施例中，所述測試行駛圖像是指所述待測車輛在行駛過程中的視野所對應的圖像。
所述目標視差圖中包含有所述測試行駛圖像中每個圖元點所對應的視差值。
在本申請的至少一個實施例中，所述電腦裝置根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖的方式與所述電腦裝置基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖的方式相似，本申請對此不再贅述。
步驟S16，轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
在本申請的至少一個實施例中，所述深度圖像是指所述待測車輛在行駛過程中的視野所對應的深度圖。所述深度圖像中包含有所述測試行駛圖像的拍攝裝置到視野物體的距離值。
在本申請的至少一個實施例中，所述電腦裝置轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像包括：獲取所述測試行駛圖像的拍攝裝置的焦距值，並獲取所述拍攝裝置中鏡頭之間的鏡頭距離；從所述目標視差圖中獲取所述測試行駛圖像中每個圖元點的目標視差值；根據所述焦距值、所述鏡頭距離及所述目標視差值計算所述測試行駛圖像中每個圖元點所對應的深度圖元值，所述深度圖元值的計算公式為：
；其中，z是指所述深度圖元值，b是指所述鏡頭距離，f是指所述焦距值，d是指目標視差值；根據所述測試行駛圖像中每個圖元點及所述深度圖元值生成所述深度圖像。
透過上述實施方式，能夠準確的生成所述深度圖像，從而有利於控制對所述待測車輛的自動駕駛。
由以上技術方案可以看出，本申請透過對所述車輛行駛圖像進行實例分割處理，能夠準確的識別出所述車輛行駛圖像中的標籤資訊，透過所述行駛左圖像編碼生成的預測視差圖分析所述自編碼器對所述車輛行駛圖像的第一誤差值及所述自編碼器對所述實例分割圖像的第二誤差值，增強了所述預測視差圖在同一物件上的一致性，進而能夠剔除所述自編碼器對圖像編碼的干擾，提高了所述第一誤差值及所述第二誤差值的準確性，透過結合所述第一誤差值及所述第二誤差值調整所述自編碼器，能夠進一步提高所述自編碼模型的影像處理能力，從而基於所述自編碼模型對所述測試行駛圖像進行處理，能夠提高所述深度圖像的精確度及精細度，從而提高自動駕駛的精確度。
如圖3所示，是圖3是本申請影像處理裝置的較佳實施例的功能模組圖。所述影像處理裝置11包括獲取單元110、分割單元111、重構單元112、生成單元113、調整單元114及轉換單元115。本申請所稱的模組/單元是指一種能夠被處理器13所獲取，並且能夠完成固定功能的一系列電腦可讀指令段，其儲存在儲存器12中。在本實施例中，關於各模組/單元的功能將在後續的實施例中詳述。
具體地，獲取單元可以用於獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像，分割單元可以用於對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像，重構單元可以用於基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖，生成單元可以用於根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值，調整單元可以用於根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型，所述重構單元還可以用於獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖，轉換單元可以用於轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
本申請透過對所述車輛行駛圖像進行實例分割處理，能夠準確的識別出所述車輛行駛圖像中的標籤資訊，透過所述行駛左圖像編碼生成的預測視差圖分析所述自編碼器對所述車輛行駛圖像的第一誤差值及所述自編碼器對所述實例分割圖像的第二誤差值，增強了所述預測視差圖在同一物件上的一致性，進而能夠剔除所述自編碼器對圖像編碼的干擾，提高了所述第一誤差值及所述第二誤差值的準確性，透過結合所述第一誤差值及所述第二誤差值調整所述自編碼器，能夠進一步提高所述自編碼模型的影像處理能力，從而基於所述自編碼模型對所述測試行駛圖像進行處理，能夠提高所述深度圖像的精確度及精細度，從而提高自動駕駛的精確度。
如圖3所示，是本申請實現影像處理方法的較佳實施例的電腦裝置的結構示意圖。
在本申請的一個實施例中，所述電腦裝置1包括，但不限於，儲存器12、處理器13，以及儲存在所述儲存器12中並可在所述處理器13上運行的電腦程式，例如影像處理程式。
本領域技術人員可以理解，所述示意圖僅僅是電腦裝置1的示例，並不構成對電腦裝置1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電腦裝置1還可以包括輸入輸出設備、網路接入設備、匯流排等。
所述處理器13可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器 (Digital Signal Processor，DSP)、專用積體電路 (Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列 (Field-Programmable Gate Array，FPGA) 或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等，所述處理器13是所述電腦裝置1的運算核心和控制中心，利用各種介面和線路連接整個電腦裝置1的各個部分，及獲取所述電腦裝置1的作業系統以及安裝的各類應用程式、程式碼等。
所述處理器13獲取所述電腦裝置1的作業系統以及安裝的各類應用程式。所述處理器13獲取所述應用程式以實現上述各個影像處理方法實施例中的步驟，例如圖2所示的步驟。
示例性的，所述電腦程式可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被儲存在所述儲存器12中，並由所述處理器13獲取，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，該指令段用於描述所述電腦程式在所述電腦裝置1中的獲取過程。
所述儲存器12可用於儲存所述電腦程式和/或模組，所述處理器13透過運行或獲取儲存在所述儲存器12內的電腦程式和/或模組，以及調用儲存在儲存器12內的資料，實現所述電腦裝置1的各種功能。所述儲存器12可主要包括儲存程式區和儲存資料區，其中，儲存程式區可儲存作業系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；儲存資料區可儲存根據電腦裝置的使用所創建的資料等。此外，儲存器12可以包括非易失性儲存器，例如硬碟、儲存器、插接式硬碟，智慧儲存卡（Smart Media Card, SMC），安全數位（Secure Digital, SD）卡，快閃儲存器卡（Flash Card）、至少一個磁碟儲存器件、快閃儲存器器件、或其他非易失性固態儲存器件。
所述儲存器12可以是電腦裝置1的外部儲存器和/或內部儲存器。進一步地，所述儲存器12可以是具有實物形式的儲存器，如儲存器條、TF卡（Trans-flash Card）等等。
所述電腦裝置1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可儲存於一電腦可讀儲存介質中，該電腦程式在被處理器獲取時，可實現上述各個方法實施例的步驟。
其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可獲取檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦儲存器、唯讀儲存器（ROM，Read-Only Memory）。
結合圖2，所述電腦裝置1中的所述儲存器12儲存多個指令以實現一種影像處理方法，所述處理器13可獲取所述多個指令從而實現：獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像；對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像；基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖；根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值；根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型；獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖；轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
具體地，所述處理器13對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述，在此不贅述。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統，裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外，顯然“包括”一詞不排除其他單元或步驟，單數不排除複數。本申請中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一、第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
1：電腦裝置
12：儲存器
13：處理器
11：影像處理裝置
110：獲取單元
111：分割單元
112：重構單元
113：生成單元
114：調整單元
115：轉換單元
2：雙目攝像機
3：拍攝裝置
S10~S16：步驟
圖1是本申請影像處理方法的較佳實施例的應用環境圖。
圖2是本申請影像處理方法的較佳實施例的流程圖。
圖3是本申請影像處理裝置的較佳實施例的功能模組圖。
圖4是本申請實現影像處理方法的較佳實施例的電腦裝置的結構示意圖。
無。
S10~S16：步驟
Claims (10)
- 一種影像處理方法，應用於電腦裝置中，其中，所述影像處理方法包括： 獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像； 對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像； 基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖； 根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值； 根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型； 獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖； 轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
- 如請求項1所述的影像處理方法，其中，所述獲取行駛車輛在行駛過程中的車輛行駛圖像包括以下一種或者多種方式的組合： 控制雙目攝像機對所述行駛車輛在行駛過程中的視野進行拍攝，得到所述行駛左圖像及所述行駛右圖像； 從第一預設資料庫中獲取與所述行駛車輛對應的圖像作為所述行駛左圖像，從所述第一預設資料庫中獲取所述行駛左圖像的拍攝時刻，並從第二預設資料庫中獲取同時與所述行駛車輛及所述拍攝時刻對應的圖像作為所述行駛右圖像。
- 如請求項1所述的影像處理方法，其中，所述對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像包括： 將所述車輛行駛圖像輸入至預先訓練好的實例分割模型中，得到輸出圖像； 基於所述輸出圖像檢測所述實例分割模型對所述車輛行駛圖像的分割準確度； 若所述分割準確度大於預設閾值，則將所述輸出圖像確定為所述實例分割圖像。
- 如請求項1所述的影像處理方法，其中，所述自編碼器中包括編碼器及解碼器，所述基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖包括： 基於所述編碼器對所述行駛左圖像進行編碼處理，得到所述行駛左圖像的特徵向量； 基於所述解碼器對所述特徵向量進行映射處理，得到所述預測視差圖。
- 如請求項1所述的影像處理方法，其中，所述根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值包括： 從所述預測視差圖中獲取所述行駛左圖像中每個圖元點所對應的預測視差值； 定位所述行駛左圖像中每個圖元點的第一圖元位置； 基於所述預測視差值與所述第一圖元位置，確定第二圖元位置； 從所述行駛左圖像中獲取所述第一圖元位置所對應的圖元點的RGB圖元值； 根據所述第一圖元位置所對應的圖元點的RGB圖元值及所述第二圖元位置生成所述自編碼器對所述行駛左圖像的預測右圖像； 根據所述行駛右圖像及所述預測右圖像生成所述第一誤差值，包括： ； 其中， 是指所述第一誤差值， 為所述行駛右圖像的RGB圖元值， 為所述預測右圖像的RGB圖元值。
- 如請求項1所述的影像處理方法，其中，所述根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型包括： 計算所述第一誤差值與所述第二誤差值的總和，得到所述自編碼器的訓練總誤差值； 調整所述自編碼器中的配置參數，直至所述訓練總誤差值不再降低，得到所述自編碼模型。
- 如請求項1所述的影像處理方法，其中，所述轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像包括： 獲取所述測試行駛圖像的拍攝裝置的焦距值，並獲取所述拍攝裝置中鏡頭之間的鏡頭距離； 從所述目標視差圖中獲取所述測試行駛圖像中每個圖元點的目標視差值； 根據所述焦距值、所述鏡頭距離及所述目標視差值計算所述測試行駛圖像中每個圖元點所對應的深度圖元值，所述深度圖元值的計算公式為： ； 其中， 是指所述深度圖元值， 是指所述鏡頭距離， 是指所述焦距值， 是指目標視差值； 根據所述測試行駛圖像中每個圖元點及所述深度圖元值生成所述深度圖像。
- 一種影像處理裝置，運行於電腦裝置中，其中，所述影像處理裝置包括： 獲取單元，用於獲取行駛車輛在行駛過程中的車輛行駛圖像，所述車輛行駛圖像包括行駛左圖像及行駛右圖像； 分割單元，用於對所述車輛行駛圖像進行實例分割處理，得到實例分割圖像，所述實例分割圖像包括與所述行駛左圖像對應的實例分割左圖像，及與所述行駛右圖像對應的實例分割右圖像； 重構單元，用於基於預先構建好的自編碼器對所述行駛左圖像進行重構處理，得到預測視差圖； 生成單元，用於根據所述行駛左圖像、所述預測視差圖及所述行駛右圖像生成所述自編碼器對所述車輛行駛圖像的第一誤差值，並根據所述實例分割左圖像、所述預測視差圖及所述實例分割右圖像生成所述自編碼器對所述實例分割圖像的第二誤差值； 調整單元，用於根據所述第一誤差值及所述第二誤差值調整所述自編碼器，得到自編碼模型； 所述重構單元，還用於獲取待測車輛在行駛過程中的測試行駛圖像，並根據所述自編碼模型對所述測試行駛圖像進行重構處理，得到目標視差圖； 轉換單元，用於轉換所述目標視差圖，得到與所述測試行駛圖像對應的深度圖像。
- 一種電腦裝置，其中，所述電腦裝置包括： 儲存器，儲存至少一個指令；及 處理器，獲取所述儲存器中儲存的指令以實現如請求項1至7中任意一項所述的影像處理方法。
- 一種電腦可讀儲存介質，其中：所述電腦可讀儲存介質中儲存有至少一個指令，所述至少一個指令被電腦裝置中的處理器獲取以實現如請求項1至7中任意一項所述的影像處理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111113568A TWI831176B (zh) | 2022-04-08 | 2022-04-08 | 影像處理方法、裝置、電腦裝置及儲存介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111113568A TWI831176B (zh) | 2022-04-08 | 2022-04-08 | 影像處理方法、裝置、電腦裝置及儲存介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202340005A TW202340005A (zh) | 2023-10-16 |
| TWI831176B true TWI831176B (zh) | 2024-02-01 |
Family
ID=89855985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111113568A TWI831176B (zh) | 2022-04-08 | 2022-04-08 | 影像處理方法、裝置、電腦裝置及儲存介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI831176B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7079668B2 (en) * | 2000-07-12 | 2006-07-18 | Fuji Jukogyo Kabushiki Kaisha | Vehicle front-view monitoring system |
| TW201004818A (en) * | 2008-07-21 | 2010-02-01 | Univ Nat Defense | The asynchronous photography automobile-detecting apparatus |
| TWI532619B (zh) * | 2014-03-06 | 2016-05-11 | Univ Nat Changhua Education | Dual Image Obstacle Avoidance Path Planning Navigation Control Method |
| CN107200018A (zh) * | 2016-03-16 | 2017-09-26 | Lg电子株式会社 | 驾驶辅助装置及其控制方法 |
| US20190222820A1 (en) * | 2016-08-30 | 2019-07-18 | Lg Electronics Inc. | Vehicle display device |
-
2022
- 2022-04-08 TW TW111113568A patent/TWI831176B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7079668B2 (en) * | 2000-07-12 | 2006-07-18 | Fuji Jukogyo Kabushiki Kaisha | Vehicle front-view monitoring system |
| TW201004818A (en) * | 2008-07-21 | 2010-02-01 | Univ Nat Defense | The asynchronous photography automobile-detecting apparatus |
| TWI532619B (zh) * | 2014-03-06 | 2016-05-11 | Univ Nat Changhua Education | Dual Image Obstacle Avoidance Path Planning Navigation Control Method |
| CN107200018A (zh) * | 2016-03-16 | 2017-09-26 | Lg电子株式会社 | 驾驶辅助装置及其控制方法 |
| US20190222820A1 (en) * | 2016-08-30 | 2019-07-18 | Lg Electronics Inc. | Vehicle display device |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202340005A (zh) | 2023-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Miao et al. | Neuromorphic vision datasets for pedestrian detection, action recognition, and fall detection | |
| Yang et al. | Dense depth posterior (ddp) from single image and sparse range | |
| AU2019213369B2 (en) | Non-local memory network for semi-supervised video object segmentation | |
| CN108961327B (zh) | 一种单目深度估计方法及其装置、设备和存储介质 | |
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| CN112927279A (zh) | 一种图像深度信息生成方法、设备及存储介质 | |
| CN111079507B (zh) | 一种行为识别方法及装置、计算机装置及可读存储介质 | |
| CN111383204A (zh) | 视频图像融合方法、融合装置、全景监控***及存储介质 | |
| CN113711276A (zh) | 尺度感知单目定位和地图构建 | |
| Liu et al. | Deep representation learning for road detection using Siamese network | |
| US11869172B2 (en) | Kernel reshaping-powered splatting-based efficient image space lens blur | |
| WO2023282847A1 (en) | Detecting objects in a video using attention models | |
| Bi et al. | An application of stereo matching algorithm based on transfer learning on robots in multiple scenes | |
| TWI831176B (zh) | 影像處理方法、裝置、電腦裝置及儲存介質 | |
| WO2022226744A1 (en) | Texture completion | |
| Xu et al. | A real-time semi-dense depth-guided depth completion network | |
| TWI832302B (zh) | 深度圖像獲取方法、電子設備及電腦可讀存儲媒體 | |
| Que et al. | Lightweight and Dynamic Deblurring for IoT-Enabled Smart Cameras | |
| TWI817594B (zh) | 圖像深度識別方法、電腦設備及儲存介質 | |
| TW202349345A (zh) | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 | |
| TWI814503B (zh) | 深度識別模型訓練方法、圖像深度識別方法及相關設備 | |
| TWI755250B (zh) | 植物生長曲線確定方法、裝置、電子設備及存儲媒體 | |
| TWI840833B (zh) | 多尺度自編碼器生成方法、電腦設備及儲存介質 | |
| TW202418110A (zh) | 圖像分類方法、電腦設備及儲存介質 | |
| CN116934830A (zh) | 图像处理方法、装置、电子设备及存储介质 |