TWI696144B - 影像生成器的訓練方法 - Google Patents

影像生成器的訓練方法 Download PDF

Info

Publication number
TWI696144B
TWI696144B TW107145971A TW107145971A TWI696144B TW I696144 B TWI696144 B TW I696144B TW 107145971 A TW107145971 A TW 107145971A TW 107145971 A TW107145971 A TW 107145971A TW I696144 B TWI696144 B TW I696144B
Authority
TW
Taiwan
Prior art keywords
image
generator
loss value
generated
determiner
Prior art date
Application number
TW107145971A
Other languages
English (en)
Other versions
TW202025079A (zh
Inventor
林哲聰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW107145971A priority Critical patent/TWI696144B/zh
Priority to US16/231,669 priority patent/US10803355B2/en
Priority to CN201811602343.XA priority patent/CN111340060B/zh
Priority to JP2019134001A priority patent/JP6824339B2/ja
Application granted granted Critical
Publication of TWI696144B publication Critical patent/TWI696144B/zh
Publication of TW202025079A publication Critical patent/TW202025079A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

影像生成器的訓練方法包括數次疊代，各執行：輸入真實影像至第一生成器；第一生成器的影像轉換分支產生一生成影像；輸入生成影像至第一判定器；第一判定器產生一損失值；第一生成器的影像分割分支產生一分割影像；根據分割影像，產生一分割損失值；輸入生成影像至第二生成器；第二生成器產生一重建影像；及根據重建影像及真實影像，產生一重建損失值。比較影像轉換分支與影像分割分支的權重差異程度，產生一相似程度損失值。根據各疊代的損失值、分割損失值、重建損失值及相似程度損失值，更新第一生成器及第二生成器的網路參數。

Description

影像生成器的訓練方法
本揭露是有關於一種影像生成器的訓練方法，且特別是有關於一種基於生成式對抗網路之影像生成器的訓練方法。
近年來，由於人工智慧技術的興起，以往需要以人工方式完成的工作，現已可透過機器完成，大幅縮減人力成本。
然而，要讓機器足以取代人力，需要大量的學習資料才能增加應用的準確率。例如應用在道路偵測的影像辨識上時，需要大量的目標物標記(例如標線標記)之資料來進行深度學習模型的訓練，但大量的目標物標記之資料往往不易取得，使得深度學習模型的學習效果不佳。
本揭露係有關於一種影像生成器的訓練方法，可改善前述問題。
本揭露之一實施例提出一種影像生成器的訓練方法，使訓練出的影像生成器可用於擴充具有目標物標記之影像。訓練方法包括以下步驟。進行複數次第一疊代，在各第一疊代的過程中，執行以下步驟：輸入一第一真實影像至一第一生成器，第一真實影像具有一第一路面特徵；第一生成器的一第一影像轉換分支對第一真實影像進行一第一影像轉換處理，產生一第一生成影像，以將第一路面特徵轉換為一第二路面特徵；輸入第一生成影像至一第一判定器；第一判定器根據第一生成影像，產生一第一損失值第一生成器的一第一影像分割分支對第一真實影像進行一第一影像分割處理，產生一第一分割影像；根據第一分割影像，產生一第一分割損失值；輸入第一生成影像至一第二生成器；第二生成器對第一生成影像進行一第二影像轉換處理，產生一第一重建影像，以將第二路面特徵轉換為第一路面特徵；及根據第一重建影像及第一真實影像，產生一第一重建損失值。比較第一影像轉換分支與第一影像分割分支的權重差異程度，產生一第一相似程度損失值。根據各第一疊代產生的第一損失值、第一分割損失值、第一重建損失值及第一相似程度損失值，更新第一生成器及第二生成器的網路參數，以完成訓練影像生成器。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
本揭露提供一種影像生成器的訓練方法，所獲得的影像生成器可用於擴充訓練影像，以供深度學習模型學習，進而使深度學習模型能應用在道路偵測的影像辨識上。
此類的訓練影像通常需要大量的目標物標記(label)之資料，以增強深度學習模型的學習效果。例如，一種目標物標記為道路之標線標記，標線舉例可為車道線(lane line)、停止線、路面邊線等。透過學習多張具有標線標記之目標物標記的訓練影像，可有助於深度學習模型進行高精度的車道線偵測，且愈多張的訓練影像，更可增強深度學習模型的學習效果。
根據本揭露的實施例，是基於生成式對抗網路(Generative Adversarial Network, GAN)技術訓練出可用於擴充訓練影像之影像生成器。透過此訓練出的影像生成器，當輸入一張具有目標物標記之初始訓練影像時，影像生成器可生成同樣場景下具有另一種路面特徵(例如路面材質、或車道線種類、或其它的路面特徵)的另一張訓練影像，此生成的另一張訓練影像亦具有一目標物標記，且其位置與所輸入之初始訓練影像之目標物標記的位置相對應。這裡所指的「位置相對應」、或其它類似的用語，可泛指影像中屬於「此目標物標記」類別之像素在兩張訓練影像之間是屬於相同位置的像素。
簡言之，透過訓練完成的影像生成器，所生成之另一張訓練影像的目標物標記的位置可保持不變，亦即其位置與初始訓練影像的目標物標記的位置相對應。如此一來，即可得到在同樣場景下具有不同路面特徵的數張訓練影像，且這些訓練影像的目標物標記的位置均不變，因而不需再重新進行目標物的標記作業。藉此，可達成倍增同樣場景下、不同路面特徵的數張訓練影像的目的。
第1圖為本揭露實施例之生成器訓練系統100的方塊圖。在一實施例中，生成器訓練系統100可包括第一生成器110之訓練系統，如第1圖的上半部分所示。第一生成器110之訓練系統包括第一生成器110、第二生成器120及第一判定器130。第一生成器110、第二生成器120及第一判定器130中至少一者可整合成至一處理器(process)，如中央處理器(CPU)。例如，第一生成器110、第二生成器120及第一判定器130中至少一者可以是軟體、韌體或電路結構。
第一生成器110可用於使具有第一路面特徵GF1的影像，產生並轉換為具有第二路面特徵GF2的另一影像。相反地，第二生成器120可用於使具有第二路面特徵GF2的影像，產生並轉換為具有第一路面特徵GF1的另一影像。
在一些實施例中，第一路面特徵GF1及第二路面特徵GF2可分別為不同種類的路面材質，例如柏油路面、水泥路面、或任何可繪出標線之路面材質。舉例來說，第一路面特徵GF1可以是柏油路面，第二路面特徵GF2可以是水泥路面。在另一些實施例中，第一路面特徵GF1及第二路面特徵GF2可分別為在不同天氣、日夜或其組合之條件下具有不同特性的路面，例如晝、夜、晴天、雨天、霧氣或其組合條件下具有不同特性的路面。舉例來說，第一路面特徵GF1可以是白晝時的柏油路面，第二路面特徵GF2可以是傍晚時的水泥路面。在又一些實施例中，第一路面特徵GF1及第二路面特徵GF2可分別為不同種類的標線，標線舉例可為車道線，例如是雙黃實線、單黃實線、單黃虛線、雙白實線、單白虛線、單紅實線等。舉例來說，第一路面特徵GF1可以是雙黃實線，第二路面特徵GF2可以是單黃虛線。上述實施例僅為舉例說明，可理解的是，本揭露不以上述實施例為限。
待完成第一生成器110之訓練後，即可輸入一張具有目標物標記及第一路面特徵GF1之初始訓練影像至第一生成器110，第一生成器110可將初始訓練影像的第一路面特徵GF1轉換為第二路面特徵GF2，生成另一張訓練影像，此生成的另一張訓練影像亦具有一目標物標記，且其位置與所輸入之初始訓練影像之目標物標記的位置相對應。以下內容先進一步描述第一生成器110之訓練方法。
第2圖為本揭露實施例之判定器訓練系統200的方塊圖。第3圖為本揭露一實施例之影像生成器的訓練方法的流程圖。第4A圖為本揭露一實施例之第一真實影像GT1的示意圖。第4B圖為本揭露一實施例之第一生成影像FK1的示意圖。第4C圖為本揭露一實施例之第一分割影像SM1的示意圖。
請參照第3圖，並配合參照第1圖和第4A圖。在進行第一生成器110之訓練時，係進行多次疊代，疊代的次數(處理的影像數)可依據處理器的記憶體大小而定，在此不特別限制。每次的疊代均重複執行步驟S101～S109，直到完成所有應完成的疊代。在每次的疊代中，均產生一第一損失值(步驟S104)、一第一分割損失值(步驟S106)及一第一重建損失值(步驟S109)。
首先如步驟S101所示，在每次的疊代中，輸入第一真實影像GT1至第一生成器110。在此，第一真實影像GT1是屬於實際在道路上拍攝出的影像，其可由擺放於車輛上的影像感測器(例如行車記錄器)所拍攝。第一真實影像GT1具有第一路面特徵GF1。並且，在不同次的疊代中，可輸入不同張的第一真實影像GT1，但這些第一真實影像GT1皆具有第一路面特徵GF1。在本實施例中，如第4A圖所示，第一路面特徵GF1係以雙黃實線為例作說明。
請參照第3圖，並配合參照第1圖和第4B圖。在步驟S102中，第一生成器110的一第一影像轉換分支111對第一真實影像GT1進行一第一影像轉換處理T1，產生一第一生成影像FK1，以將第一路面特徵GF1轉換為第二路面特徵GF2。在本實施例中，如第4B圖所示，第二路面特徵GF2係以單黃虛線為例作說明。
在步驟S103中，輸入第一生成影像FK1至第一判定器130。接著，在步驟S104中，第一判定器130根據第一生成影像FK1，產生一第一損失值。
在一實施例中，第一損失值可以函數式表述，函數式如下式(1)：
Figure 02_image001
(1)
式(1)中，X和Y分別代表具有第一路面特徵GF1(雙黃實線)之影像(第一真實影像GT1)與具有第二路面特徵GF2(單黃虛線)之影像(第一生成影像FK1)，
Figure 02_image003
代表第一生成器110負責對x影像(第一真實影像GT1)進行第一影像轉換處理T1的第一影像轉換分支111，
Figure 02_image005
代表第一判定器130。
需說明的是，在進行第一生成器110之訓練的多次疊代的過程中，亦交互地進行第一判定器130之訓練。如第2圖之判定器訓練系統200的上半部分所示，係將第一生成影像FK1及第二真實影像GT2輸入至第一判定器130，第一生成影像FK1及第二真實影像GT2均具有第二路面特徵GF2(單黃虛線)；差異在於，第一生成影像FK1係經由第一生成器110所產生的影像，第二真實影像GT2是屬於實際在道路上拍攝出的影像。第一判定器130的訓練目標在於：負責判斷第一生成影像FK1中的單黃虛線之車道線與真實具有單黃虛線之車道線的第二真實影像GT2是否具有差別。若輸入的影像為第二真實影像GT2，係期望第一判定器130的輸出結果(即
Figure 02_image005
)為接近1；若輸入的影像為第一生成影像FK1，係期望第一判定器130的輸出結果(即
Figure 02_image007
)為接近0。因此，對於第一判定器130之訓練而言，係期望最大化函數式(1)之值。
相反地，對於第一生成器110的第一影像轉換分支111而言，係期望第一判定器130的輸出結果(即
Figure 02_image007
)為接近1。因此，對於第一生成器110的第一影像轉換分支111而言，在多次的疊代後，係期望函數式(1)後半部分之值愈小愈好。第一生成器110的第一影像轉換分支111與第一判定器130兩者互相對抗，期望得到的最佳化目標為
Figure 02_image009
。
進一步地說，在步驟S104中，第一判定器130可透過比較第一生成影像FK1與第二真實影像GT2的差異程度，根據函數式(1)產生第一損失值。在經過多次的疊代後，便可產生多個第一損失值。最後，將以
Figure 02_image009
為最佳化目標來更新第一生成器110的網路參數(步驟S122)。
請參照第3圖，並配合參照第1圖和第4C圖。在步驟S105中，第一生成器110的第一影像分割分支112對第一真實影像GT1進行一第一影像分割處理S1，產生一第一分割影像SM1。
接著，在步驟S106中，根據第一分割影像SM1，產生一第一分割損失值。
在一實施例中，第一分割損失值可以函數式表述，函數式如下式(2)：
Figure 02_image011
(2)
式(2)中，
Figure 02_image013
代表負責對x影像(第一真實影像GT1)進行第一影像分割處理S1的第一生成器110的第一影像分割分支112，
Figure 02_image015
代表對應第一真實影像GT1之影像分割真值(Ground-Truth)。
進一步地說，在步驟S106中，可比較第一分割影像SM1與對應第一真實影像GT1之影像分割真值，進而產生第一分割損失值。也就是說，第一分割損失值可代表第一分割影像SM1與對應第一真實影像GT1之影像分割真值之比較結果。若第一生成器110的第一影像分割分支112將影像分割得愈來愈好，則損失值將會愈來愈小。例如第4C圖所示，假設第一影像分割分支112為一理想模型，經第一影像分割處理S1後，第一分割影像SM1可將標線L和可行駛區域FS分割出來。在經過多次的疊代後，便可產生多個第一分割損失值。最後，將以最小化第一分割損失值為目標來更新第一生成器110的網路參數(步驟S122)。
請參照第3圖，並配合參照第1圖和第4B圖。在步驟S107中，輸入第一生成影像FK1至第二生成器120。
接著，在步驟S108中，第二生成器120對第一生成影像FK1進行一第二影像轉換處理T2，產生一第一重建影像FK3，以將第二路面特徵GF2轉換為第一路面特徵GF1。
接著，在步驟S109中，根據第一重建影像FK3及第一真實影像GT1，產生一第一重建損失值。
在一實施例中，第一重建損失值可以函數式表述，函數式如下式(3)：
Figure 02_image017
(3)
式(3)中，
Figure 02_image019
代表第二生成器120負責對y影像(具有第二路面特徵GF2之影像，在此為第一生成影像FK1)進行第二影像轉換處理T2的部分。
進一步地說，在步驟S109中，可比較第一重建影像FK3與第一真實影像GT1，進而產生第一重建損失值。也就是說，第一重建損失值可代表第一重建影像FK3與第一真實影像GT1之比較結果。若第一重建影像FK3(即
Figure 02_image021
)與第一真實影像GT1的差距很小，可避免所產生的第一生成影像FK1彼此間差距過小，或是轉換後的第一生成影像FK1與第一真實影像GT1的差距過大。在經過多次的疊代後，便可產生多個第一重建損失值。最後，將以最小化第一重建損失值為目標來更新第一生成器110即第二生成器120的網路參數(步驟S122)。
請參照第3圖，接著，判斷是否完成所有應完成的疊代，如步驟S110所示。若尚未完成，則重複執行步驟S101～S109。若已完成所有應完成的疊代，執行步驟S121。
在步驟S121中，比較第一影像轉換分支111與第一影像分割分支112的權重差異程度，產生一第一相似程度損失值。
在一實施例中，第一相似程度損失值可以函數式表述，函數式如下式(4)：
Figure 02_image023
(4)
式(4)中，
Figure 02_image025
為第一生成器110的第一影像轉換分支111之網路權重，
Figure 02_image027
為第一生成器110的第一影像分割分支112的網路權重。
進一步地說，在步驟S121中，透過比較第一生成器110的第一影像轉換分支111與第一生成器110的第一影像分割分支112的權重差異程度，可得知第一影像轉換分支111與第一影像分割分支112的相似程度。這裡所指的相似程度，可指兩分支的權重向量的餘絃相似度。若能讓
Figure 02_image025
和
Figure 02_image027
這兩組權重向量十分類似，即兩組權重向量之間的夾角愈小，使兩分支的網路權重盡量一致，則損失值愈小，以使第一影像分割分支112能引導第一影像轉換分支111在進行第一影像轉換處理T1的過程中，盡量維持影像中的目標物結構。在本發明中，目的即是要維持影像中位置不變的目標物標記，使得轉換後的另一張訓練影像的目標物標記的位置，可與初始訓練影像的目標物標記的位置相對應。
接著，在步驟S122中，根據所有疊代產生的第一損失值(步驟S104)、第一分割損失值(步驟S106)、第一重建損失值(步驟S109)及第一相似程度損失值(步驟S121)，更新第一生成器110及第二生成器120的網路參數，即完成訓練影像生成器一次。在其它實施例中，可多次地(例如上千次或上萬次)執行如第3圖所述的流程步驟，以完成訓練影像生成器。如此一來，第一生成器110的第一影像轉換分支111即可作為影像生成器使用。第一影像轉換分支111適於將具有第一路面特徵GF1的初始訓練影像轉換並生成具有第二路面特徵GF2的另一張訓練影像，且轉換前後的兩張訓練影像的目標物標記之位置相對應。
舉例來說，請參照第5A圖和第5B圖，當完成上述第一生成器110之訓練後，即可輸入一初始訓練影像Ti_1至第一生成器110，初始訓練影像Ti_1具有目標物標記(舉例為標線標記LL)及第一路面特徵GF1(舉例為雙黃實線)。第一生成器110的第一影像轉換分支111便可將初始訓練影像Ti_1的第一路面特徵GF1轉換為第二路面特徵GF2(舉例為單黃虛線)，生成另一張訓練影像Ti_2。由於經訓練後的第一影像轉換分支111的網路權重與第一影像分割分支112的網路權重具有足夠的相似性，因此，第一影像轉換分支111在對初始訓練影像Ti_1進行第一影像轉換處理T1的過程中，會受到第一影像分割分支112的影響，使生成的另一張訓練影像Ti_2中的標線標記LL的位置能夠與初始訓練影像Ti_1的標線標記LL的位置相對應，而達到影像轉換後、標線標記LL的位置能維持不變之目的。
請參照第1圖，在另一實施例中，生成器訓練系統100包括第一生成器110之訓練系統，且更包括第二生成器120之訓練系統。第二生成器120之訓練系統包括第二生成器120、第一生成器110及第二判定器140。第二生成器120、第一生成器110及第二判定器140中至少一者可整合成至一處理器，如中央處理器。例如，第二生成器120、第一生成器110及第二判定器140中至少一者可以是軟體、韌體或電路結構。於此，第二生成器120包括一第二影像轉換分支121。
第6A圖及第6B圖為本揭露另一實施例之影像生成器的訓練方法的流程圖。在本實施例中，為了確保第二生成器120產生影像的能力，除了進行第一生成器110之訓練(如第6A圖的步驟S101～S110)外，亦進行第二生成器120之訓練(如第6B圖的步驟S111～S114、S117～S120)。待完成第一生成器110及第二生成器120之訓練後，第一生成器110的第一影像轉換分支111即可作為影像生成器使用。
第6A圖的步驟S101～S110同第3圖的步驟S101～S110，於此不再贅述。以下內容進一步描述第二生成器120之訓練方法。
第7A圖為本揭露另一實施例之第二真實影像GT2的示意圖。第7B圖為本揭露另一實施例之第二生成影像FK2的示意圖。
請參照第6B圖，並配合參照第1圖和第7A圖。在進行第二生成器120之訓練時，係進行多次疊代，疊代的次數可依據處理器的記憶體大小而定，在此不特別限制。每次的疊代均重複執行步驟S111～S114、S117～S119，直到完成所有應完成的疊代。在每次的疊代中，均產生一第二損失值(步驟S114)及一第二重建損失值(步驟S119)。
如步驟S111所示，在每次的疊代中，輸入第二真實影像GT2至第二生成器120。第二真實影像GT2具有第二路面特徵GF2。並且，在不同次的疊代中，可輸入不同張的第二真實影像GT2，但這些第二真實影像GT2皆具有第二路面特徵GF2。在本實施例中，如第7A圖所示，第二路面特徵GF2係以單黃虛線為例作說明。
請參照第6B圖，並配合參照第1圖和第7B圖。在步驟S112中，第二生成器120的第二影像轉換分支121對第二真實影像GT2進行一第二影像轉換處理T2，產生一第二生成影像FK2，以將第二路面特徵GF2轉換為第一路面特徵GF1。在本實施例中，如第7B圖所示，第一路面特徵GF1係以雙黃實線為例作說明。
在步驟S113中，輸入第二生成影像FK2至第二判定器140。接著，在步驟S114中，第二判定器140根據第二生成影像FK2，產生一第二損失值。
第二損失值的產生方式類似於第一損失值，於此不再贅述。並且，在進行第二生成器120之訓練的多次疊代的過程中，亦交互地進行第二判定器140之訓練。如第2圖之判定器訓練系統200的下半部分所示，係將第二生成影像FK2及第一真實影像GT1輸入至第二判定器140，第二生成影像FK2及第一真實影像GT1均具有第一路面特徵GF1(雙黃實線)；差異在於，第二生成影像FK2係經由第二生成器120所產生的影像，第一真實影像GT1是屬於實際在道路上拍攝出的影像。第二判定器140的訓練目標在於：負責判斷第二生成影像FK2中的雙黃實線之車道線與真實具有雙黃實線之車道線的第一真實影像GT1是否具有差別。
請參照第6B圖，並配合參照第1圖和第7B圖。在步驟S117中，輸入第二生成影像FK2至第一生成器110。
接著，在步驟S118中，第一生成器110的第一影像轉換分支111對第二生成影像FK2進行第一影像轉換處理T1，產生一第二重建影像FK4，以將第一路面特徵GF1轉換為第二路面特徵GF2。
接著，在步驟S119中，根據第二重建影像FK4及第二真實影像GT2，產生一第二重建損失值。
第二重建損失值的產生方式類似於第一重建損失值，於此不再贅述。
接著，判斷是否完成所有應完成的疊代，如步驟S120所示。若尚未完成，則重複執行步驟S111～S114、S117～S119。若已完成所有應完成的疊代，則至節點A之流程。
請參照第6A圖，節點A接續於步驟S110之後。接著，執行步驟S121。
如同第3圖的步驟S121，比較第一影像轉換分支111與第一影像分割分支112的權重差異程度，產生一第一相似程度損失值。於此不再贅述。
接著，執行步驟S222。在步驟S222中，根據所有疊代產生的第一損失值(步驟S104)、第一分割損失值(步驟S106)、第一重建損失值(步驟S109)、第二損失值(步驟S114)、第二重建損失值(步驟S119)及第一相似程度損失值(步驟S121)，更新第一生成器110及第二生成器120的網路參數，即完成訓練影像生成器一次。在其它實施例中，可多次地(例如上千次或上萬次)執行如第6A圖和第6B圖所述的流程步驟，以完成訓練影像生成器。如此一來，第一生成器110的第一影像轉換分支111即可作為影像生成器使用。第一影像轉換分支111適於將具有第一路面特徵GF1的初始訓練影像轉換並生成具有第二路面特徵GF2的另一張訓練影像，且轉換前後的兩張訓練影像的目標物標記之位置相對應。
請參照第1圖，在又一實施例中，生成器訓練系統100包括第一生成器110之訓練系統和第二生成器120之訓練系統，且第二生成器120更包括一第二影像分割分支122。
第8A圖及第8B圖為本揭露又一實施例之影像生成器的訓練方法的流程圖。在本實施例中，除了進行第一生成器110之訓練(如第8A圖的步驟S101～S110)外，亦進行第二生成器120之訓練(如第8B圖的步驟S111～S120)。待完成第一生成器110及第二生成器120之訓練後，不但可將第一生成器110的第一影像轉換分支111作為影像生成器使用，亦可將第二生成器120的第二影像轉換分支121作為另一影像生成器使用。
第8A圖的步驟S101～S110同第3圖的步驟S101～S110，第8B圖的步驟S111～S114、S117～S119同第6B圖的步驟S111～S114、S117～S119，於此不再贅述。
第9圖為本揭露又一實施例之第二分割影像SM2的示意圖。
請參照第8B圖，並配合參照第1圖和第9圖。在進行第二生成器120之訓練時，更包括執行步驟S115及步驟S116。
在步驟S115中，第二生成器120的第二影像分割分支122對第二真實影像GT2進行一第二影像分割處理S2，產生一第二分割影像SM2。
接著，在步驟S116中，根據第二分割影像SM2，產生一第二分割損失值。
第二分割損失值的產生方式類似於第一分割損失值，於此不再贅述。如第9圖所示，若第二影像分割分支122為一理想模型，經第二影像分割處理S2後，第二分割影像SM2可將標線L和可行駛區域FS分割出來。
請參照第8B圖，若已完成所有應完成的疊代，則至節點B之流程。
請參照第8A圖，節點B接續於步驟S110之後。接著，執行步驟S321。
在步驟S321中，係比較第一影像轉換分支111與第一影像分割分支112的權重差異程度，產生一第一相似程度損失值。此外，更比較第二影像轉換分支121與第二影像分割分支122的權重差異程度，產生一第二相似程度損失值。
第二相似程度損失值的產生方式類似於第一相似程度損失值，於此不再贅述。
接著，在步驟S322中，根據所有疊代產生的第一損失值(步驟S104)、第一分割損失值(步驟S106)、第一重建損失值(步驟S109)、第二損失值(步驟S114)、第二分割損失值(步驟S116)、第二重建損失值(步驟S119)、第一相似程度損失值(步驟S321)及第二相似程度損失值(步驟S321)，更新第一生成器110及第二生成器120的網路參數，即完成訓練影像生成器一次。在其它實施例中，可多次地(例如上千次或上萬次)執行如第8A圖和第8B圖所述的流程步驟，以完成訓練影像生成器。如此一來，第一生成器110的第一影像轉換分支111即可作為影像生成器使用，且第二生成器120的第二影像轉換分支121亦可作為另一影像生成器使用。第一影像轉換分支111適於將具有第一路面特徵GF1的初始訓練影像轉換並生成具有第二路面特徵GF2的另一張訓練影像，且轉換前後的兩張訓練影像的目標物標記之位置相對應。此外，第二影像轉換分支121適於將具有第二路面特徵GF2的初始訓練影像轉換並生成具有第一路面特徵GF1的另一張訓練影像，且轉換前後的兩張訓練影像的目標物標記之位置相對應。
舉例來說，請參照第5A圖、第5B圖、第10A圖和第10B圖，當完成上述第一生成器110及第二生成器120之訓練後，即可輸入一初始訓練影像Ti_1(第5A圖)至第一生成器110，初始訓練影像Ti_1具有目標物標記(舉例為標線標記LL)及第一路面特徵GF1(舉例為雙黃實線)。第一生成器110的第一影像轉換分支111便可將初始訓練影像Ti_1的第一路面特徵GF1轉換為第二路面特徵GF2(舉例為單黃虛線)，生成另一張訓練影像Ti_2。
另一方面，也可輸入一初始訓練影像Ti_3(第10A圖)至第二生成器120，初始訓練影像Ti_3具有目標物標記(舉例為標線標記LL)及第二路面特徵GF2(舉例為單黃虛線)。第二生成器120的第二影像轉換分支121便可將初始訓練影像Ti_3的第二路面特徵GF2轉換為第一路面特徵GF1(舉例為雙黃實線)，生成另一張訓練影像Ti_4。
經訓練後的第一生成器110及第二生成器120，第一生成器110的第一影像轉換分支111與第一影像分割分支112之間的網路權重具有足夠的相似性，且第二生成器120的第二影像轉換分支121與第二影像分割分支122之間的網路權重具有足夠的相似性，因此，第一影像轉換分支111和第二影像轉換分支121分別在對初始訓練影像Ti_1、Ti_3進行第一影像轉換處理T1和第二影像轉換處理T2的過程中，分別會受到第一影像分割分支112和第二影像分割分支122的影響，使生成的另一張訓練影像Ti_2、Ti_4中的標線標記LL的位置能夠與初始訓練影像Ti_1、Ti_3的標線標記LL的位置相對應，而達到影像轉換後、標線標記LL的位置能維持不變之目的。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100:生成器訓練系統 110:第一生成器 111:第一影像轉換分支 112:第一影像分割分支 120:第二生成器 121:第二影像轉換分支 122:第二影像分割分支 130:第一判定器 140:第二判定器 200:判定器訓練系統 FK1:第一生成影像 FK2:第二生成影像 FK3:第一重建影像 FK4:第二重建影像 FS:可行駛區域 GF1:第一路面特徵 GF2:第二路面特徵 GT1:第一真實影像 GT2:第二真實影像 L:標線 LL:標線標記 S1:第一影像分割處理 S2:第二影像分割處理 S101～S122、S222、S321、S322:步驟 SM1:第一分割影像 SM2:第二分割影像 T1:第一影像轉換處理 T2:第二影像轉換處理 Ti_1、Ti_3:初始訓練影像 Ti_2、Ti_4:另一張訓練影像
第1圖為本揭露實施例之生成器訓練系統的方塊圖。 第2圖為本揭露實施例之判定器訓練系統的方塊圖。 第3圖為本揭露一實施例之影像生成器的訓練方法的流程圖。 第4A圖為本揭露一實施例之第一真實影像的示意圖。 第4B圖為本揭露一實施例之第一生成影像的示意圖。 第4C圖為本揭露一實施例之第一分割影像的示意圖。 第5A圖及第5B圖分別為本揭露一實施例之初始訓練影像及所生成之另一張訓練影像的示意圖。 第6A圖及第6B圖為本揭露另一實施例之影像生成器的訓練方法的流程圖。 第7A圖為本揭露另一實施例之第二真實影像的示意圖。 第7B圖為本揭露另一實施例之第二生成影像的示意圖。 第8A圖及第8B圖為本揭露又一實施例之影像生成器的訓練方法的流程圖。 第9圖為本揭露又一實施例之第二分割影像的示意圖。 第10A圖及第10B圖分別為本揭露又一實施例之初始訓練影像及所生成之另一張訓練影像的示意圖。
S101~S110、S121~S122:步驟

Claims (10)

  1. 一種影像生成器的訓練方法，該影像生成器用於擴充具有目標物標記之影像，該訓練方法包括： 進行複數次第一疊代，在各該第一疊代的過程中，執行以下步驟： 輸入一第一真實影像至一第一生成器，該第一真實影像具有一第一路面特徵； 該第一生成器的一第一影像轉換分支對該第一真實影像進行一第一影像轉換處理，產生一第一生成影像，以將該第一路面特徵轉換為一第二路面特徵； 輸入該第一生成影像至一第一判定器； 該第一判定器根據該第一生成影像，產生一第一損失值； 該第一生成器的一第一影像分割分支對該第一真實影像進行一第一影像分割處理，產生一第一分割影像； 根據該第一分割影像，產生一第一分割損失值； 輸入該第一生成影像至一第二生成器； 該第二生成器對該第一生成影像進行一第二影像轉換處理，產生一第一重建影像，以將該第二路面特徵轉換為該第一路面特徵；及 根據該第一重建影像及該第一真實影像，產生一第一重建損失值； 比較該第一影像轉換分支與該第一影像分割分支的權重差異程度，產生一第一相似程度損失值；以及 根據各該第一疊代產生的該第一損失值、該第一分割損失值、該第一重建損失值及該第一相似程度損失值，更新該第一生成器及該第二生成器的網路參數，以完成訓練該影像生成器。
  2. 如申請專利範圍第1項所述之訓練方法，其中在產生該第一相似程度損失值的步驟中，該第一相似程度損失值係以下式表述：
    Figure 03_image023
    ； 其中，
    Figure 03_image025
    為該第一影像轉換分支的網路權重，
    Figure 03_image029
    為該第一影像分割分支的網路權重。
  3. 如申請專利範圍第1項所述之訓練方法，其中： 在各該第一疊代的過程中，更執行以下步驟： 輸入該第一生成影像及一第二真實影像至該第一判定器，以訓練該第一判定器，該第二真實影像具有該第二路面特徵；以及 該第一判定器根據該第一生成影像產生該第一損失值的步驟包括：該第一判定器比較該第一生成影像與該第二真實影像的差異程度，產生該第一損失值。
  4. 如申請專利範圍第1項所述之訓練方法，更包括： 進行複數次第二疊代，在各該第二疊代的過程中，執行以下步驟： 輸入一第二真實影像至該第二生成器，該第二真實影像具有該第二路面特徵； 該第二生成器對該第二真實影像進行該第二影像轉換處理，產生一第二生成影像，以將該第二路面特徵轉換為該第一路面特徵； 輸入該第二生成影像至一第二判定器； 該第二判定器根據該第二生成影像，產生一第二損失值； 輸入該第二生成影像至該第一生成器； 該第一生成器的該第一影像轉換分支對該第二生成影像進行該第一影像轉換處理，產生一第二重建影像，以將該第一路面特徵轉換為該第二路面特徵；及 根據該第二重建影像及該第二真實影像，產生一第二重建損失值； 其中，該訓練方法更根據各該第二疊代產生的該第二損失值及該第二重建損失值，更新該第一生成器及該第二生成器的網路參數。
  5. 如申請專利範圍第4項所述之訓練方法，其中： 在各該第一疊代的過程中，更執行以下步驟： 輸入該第一生成影像及該第二真實影像至該第一判定器，以訓練該第一判定器；以及 該第一判定器根據該第一生成影像產生該第一損失值的步驟包括：該第一判定器比較該第一生成影像與該第二真實影像的差異程度，產生該第一損失值；且 在各該第二疊代的過程中，更執行以下步驟： 輸入該第二生成影像及該第一真實影像至該第二判定器，以訓練該第二判定器；以及 該第二判定器根據該第二生成影像產生該第二損失值的步驟包括：該第二判定器比較該第二生成影像與該第一真實影像的差異程度，產生該第二損失值。
  6. 如申請專利範圍第1項所述之訓練方法，更包括： 進行複數次第二疊代，在各該第二疊代的過程中，執行以下步驟： 輸入一第二真實影像至該第二生成器，該第二真實影像具有該第二路面特徵； 該第二生成器的一第二影像轉換分支對該第二真實影像進行該第二影像轉換處理，產生一第二生成影像，以將該第二路面特徵轉換為該第一路面特徵； 輸入該第二生成影像至一第二判定器； 該第二判定器根據該第二生成影像，產生一第二損失值； 該第二生成器的一第二影像分割分支對該第二真實影像進行一第二影像分割處理，產生一第二分割影像； 根據該第二分割影像，產生一第二分割損失值； 輸入該第二生成影像至該第一生成器； 該第一生成器的該第一影像轉換分支對該第二生成影像進行該第一影像轉換處理，產生一第二重建影像，以將該第一路面特徵轉換為該第二路面特徵；及 根據該第二重建影像及該第二真實影像，產生一第二重建損失值；以及 比較該第二影像轉換分支與該第二影像分割分支的權重差異程度，產生一第二相似程度損失值； 其中，該訓練方法更根據各該第二疊代產生的該第二損失值、該第二分割損失值、該第二重建損失值及該第二相似程度損失值，更新該第一生成器及該第二生成器的網路參數，以完成訓練該影像生成器。
  7. 如申請專利範圍第6項所述之訓練方法，其中： 在各該第一疊代的過程中，更執行以下步驟： 輸入該第一生成影像及該第二真實影像至該第一判定器，以訓練該第一判定器；以及 該第一判定器根據該第一生成影像產生該第一損失值的步驟包括：該第一判定器比較該第一生成影像與該第二真實影像的差異程度，產生該第一損失值；且 在各該第二疊代的過程中，更執行以下步驟： 輸入該第二生成影像及該第一真實影像至該第二判定器，以訓練該第二判定器；以及 該第二判定器根據該第二生成影像產生該第二損失值的步驟包括：該第二判定器比較該第二生成影像與該第一真實影像的差異程度，產生該第二損失值。
  8. 如申請專利範圍第1項所述之訓練方法，其中該第一路面特徵及該第二路面特徵分別為不同種類的路面材質、或分別為在不同天氣、日夜或其組合之條件下具有不同特性的路面。
  9. 如申請專利範圍第1項所述之訓練方法，其中該第一路面特徵及該第二路面特徵分別為不同種類的標線。
  10. 如申請專利範圍第1項所述之訓練方法，其中該第一路面特徵及該第二路面特徵分別為不同種類的車道線。
TW107145971A 2018-12-19 2018-12-19 影像生成器的訓練方法 TWI696144B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107145971A TWI696144B (zh) 2018-12-19 2018-12-19 影像生成器的訓練方法
US16/231,669 US10803355B2 (en) 2018-12-19 2018-12-24 Method for training image generator
CN201811602343.XA CN111340060B (zh) 2018-12-19 2018-12-26 图像生成器的训练方法
JP2019134001A JP6824339B2 (ja) 2018-12-19 2019-07-19 画像生成装置の学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107145971A TWI696144B (zh) 2018-12-19 2018-12-19 影像生成器的訓練方法

Publications (2)

Publication Number Publication Date
TWI696144B true TWI696144B (zh) 2020-06-11
TW202025079A TW202025079A (zh) 2020-07-01

Family

ID=71098542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145971A TWI696144B (zh) 2018-12-19 2018-12-19 影像生成器的訓練方法

Country Status (4)

Country Link
US (1) US10803355B2 (zh)
JP (1) JP6824339B2 (zh)
CN (1) CN111340060B (zh)
TW (1) TWI696144B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837317A (zh) * 2020-12-31 2021-05-25 无锡祥生医疗科技股份有限公司 基于乳腺超声图像增强的病灶分类方法、装置及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135302B (zh) * 2019-04-30 2021-08-31 百度在线网络技术（北京）有限公司 训练车道线识别模型的方法、装置、设备和存储介质
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
CN113850179A (zh) * 2020-10-27 2021-12-28 深圳市商汤科技有限公司 图像检测方法及相关模型的训练方法、装置、设备、介质
CN112949592B (zh) * 2021-03-31 2022-07-22 云南大学 高光谱图像的分类方法、装置和电子设备
CN114022863B (zh) * 2021-10-28 2022-10-11 广东工业大学 基于深度学习的车道线检测方法、***、计算机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201441849A (zh) * 2013-04-30 2014-11-01 Ibm 自動決定圖像樣本群以進行分析之方法、系統及電腦程式產品
CN106650814A (zh) * 2016-12-27 2017-05-10 大连理工大学 一种基于车载单目视觉室外道路自适应分类器生成方法
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法
US20180253866A1 (en) * 2017-03-03 2018-09-06 General Electric Company Image analysis neural network systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI334517B (en) 2007-08-30 2010-12-11 Ind Tech Res Inst Method for predicting lane line and lane departure warning system using the same
US8452086B2 (en) 2009-07-10 2013-05-28 Palo Alto Research Center Incorporated System and user interface for machine-assisted human labeling of pixels in an image
TWI434239B (zh) 2011-08-26 2014-04-11 Ind Tech Res Inst 後方來車變換車道預警方法及其系統
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
JP2016176769A (ja) 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
US9996772B2 (en) 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
US10336326B2 (en) 2016-06-24 2019-07-02 Ford Global Technologies, Llc Lane detection systems and methods
JP2018097807A (ja) * 2016-12-16 2018-06-21 株式会社デンソーアイティーラボラトリ 学習装置
CN107123151A (zh) 2017-04-28 2017-09-01 深圳市唯特视科技有限公司 一种基于变分自动编码器和生成对抗网络的图像转化方法
CN107464210B (zh) 2017-07-06 2020-02-21 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
AU2017101166A4 (en) * 2017-08-25 2017-11-02 Lai, Haodong MR A Method For Real-Time Image Style Transfer Based On Conditional Generative Adversarial Networks
CN107679489B (zh) * 2017-09-29 2021-06-04 北京奇虎科技有限公司 基于场景分割的自动驾驶处理方法、装置及计算设备
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法
CN108629747B (zh) * 2018-04-25 2019-12-10 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201441849A (zh) * 2013-04-30 2014-11-01 Ibm 自動決定圖像樣本群以進行分析之方法、系統及電腦程式產品
CN106650814A (zh) * 2016-12-27 2017-05-10 大连理工大学 一种基于车载单目视觉室外道路自适应分类器生成方法
US20180253866A1 (en) * 2017-03-03 2018-09-06 General Electric Company Image analysis neural network systems
CN107481188A (zh) * 2017-06-23 2017-12-15 珠海经济特区远宏科技有限公司 一种图像超分辨率重构方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837317A (zh) * 2020-12-31 2021-05-25 无锡祥生医疗科技股份有限公司 基于乳腺超声图像增强的病灶分类方法、装置及存储介质

Also Published As

Publication number Publication date
JP2020102186A (ja) 2020-07-02
US10803355B2 (en) 2020-10-13
CN111340060A (zh) 2020-06-26
TW202025079A (zh) 2020-07-01
JP6824339B2 (ja) 2021-02-03
US20200202174A1 (en) 2020-06-25
CN111340060B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
TWI696144B (zh) 影像生成器的訓練方法
CN109145939B (zh) 一种小目标敏感的双通道卷积神经网络语义分割方法
CN109784333B (zh) 基于点云带权通道特征的三维目标检测方法及***
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN103824050B (zh) 一种基于级联回归的人脸关键点定位方法
CN111652892A (zh) 一种基于深度学习的遥感影像建筑物矢量提取及优化方法
CN105528588A (zh) 一种车道线识别方法及装置
CN113822278B (zh) 一种无受限场景车牌识别方法
Ma et al. Crlf: Automatic calibration and refinement based on line feature for lidar and camera in road scenes
CN110363178B (zh) 基于局部和全局深度特征嵌入的机载激光点云分类方法
CN109784205B (zh) 一种基于多光谱巡检图像的杂草智能识别方法
CN113409267A (zh) 一种基于深度学习的路面裂缝检测与分割方法
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN110084107A (zh) 一种基于改进mrf的高分辨率遥感影像道路提取方法及装置
CN113837191A (zh) 基于双向无监督域适应融合的跨星遥感图像语义分割方法
CN116052094A (zh) 一种船舶检测方法、***及计算机存储介质
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN102270343B (zh) 一种基于Ising图模型的图像分割方法
CN103942779A (zh) 一种基于图论和半监督学习相结合的图像分割方法
CN108038835B (zh) 显著性驱动的图像重要区域马赛克自动生成方法
CN108921852B (zh) 基于视差与平面拟合的双分支室外非结构化地形分割网络
CN105205161A (zh) 一种基于互联网图片的同时目标搜索与分割方法
CN113159082B (zh) 一种增量式学习目标检测网络模型构建及权重更新方法
Lü et al. Color image segmentation based on the ant colony algorithm
CN103714344B (zh) 基于几何部件及径向梯度角的遥感检测飞机的方法