TWI641516B - 車道線偵測方法 - Google Patents

Abstract

本揭露提出一種車道線偵測方法，包含：使用影像擷取裝置擷取原始影像，其中原始影像包含路面區域與天空區域。在原始影像中標示出天空區域與路面區域之間的第一分隔線。測量原始影像中位於第一分隔線上方的中央區域的平均亮度值，並依據平均亮度值判斷出天候狀況。依據天候狀況設定閥值，並依據閥值對原始影像中位於第一分隔線下方的整體區域進行二值化，得到二值化影像。對該二值化影像使用線段偵測方法，得到複數個車道線。

Description

車道線偵測方法

本揭露有關於一種車道線偵測方法。

為因應無人車、自動駕駛等移動工具自動化的趨勢，而蓬勃發展出了許多影像辨識方法，輔助電腦自動判斷外部資訊並做出決策。此外在一般車輛行進時，影像辨識方法亦可自動判斷目前行車的安全狀況，並依據條件給予駕駛者警示。

目前影像辨識方法面臨諸多難題，其中之一是在不同環境下可能會導致原先設計的偵測、辨識技術失效。因此如何發展出一種能適應各種外部狀況的影像偵測方法，為本領域重要課題之一。

本揭露提出一種車道線偵測方法，包含：使用影像擷取裝置擷取原始影像，其中原始影像包含路面區域與天空區域；在原始影像中標示出天空區域與路面區域之間的第一分隔線；測量原始影像中位於第一分隔線上方的中央區域的平均亮度值，並依據平均亮度值判斷出天候狀況；依據天候狀況設 定閥值，並依據閥值對原始影像中位於第一分隔線下方的整體區域進行二值化，得到二值化影像；對二值化影像使用線段偵測方法，得到複數個車道近似線。

綜上所述，本揭露所提出的車道線偵測方法可以適應不同天候狀況，並在偵測車道線之前藉由多種方法排除車道線以外的路面物件。且使用運算時間皆為一維的演算法，得以快速得到偵測結果，進行即時性的車道線偵測。

100‧‧‧車道線偵測方法

200‧‧‧原始影像

210‧‧‧路面區域

211‧‧‧近端區域

212‧‧‧遠端區域

220‧‧‧天空區域

221‧‧‧中央區域

230‧‧‧交界線

240‧‧‧第一分隔線

250‧‧‧路面物件

260‧‧‧第二分隔線

300‧‧‧二值化影像

310‧‧‧近端候選車道線

L1‧‧‧左側車道線

L2‧‧‧右側車道線

L11‧‧‧左側近端車道線

L12‧‧‧左側遠端車道線

L21‧‧‧右側近端車道線

L22‧‧‧右側遠端車道線

L1’‧‧‧左側車道近似線

L2’‧‧‧右側車道近似線

L11’‧‧‧左側近端車道近似線

L12’‧‧‧左側遠端車道近似線

L21’‧‧‧右側近端車道近似線

L22’‧‧‧右側遠端車道近似線

S110、S120、S130、S140、S141、S142、S150、S151、S152、S160‧‧‧步驟

D1、D2、D3‧‧‧點

P1、P2‧‧‧固定點

R‧‧‧半徑

第1圖繪示依據本揭露一實施方式之車道線偵測方法的流程圖。

第2A圖至第2E圖繪示第1圖中車道線偵測方法中各階段的示意圖。

第3A圖繪示依據本揭露一實施方式的車道線偵測方法中所使用的閥值萃取方法中設定閥值參數的流程圖。

第3B圖繪示依據第3A圖中的閥值參數進行閥值萃取的流程圖。

第4圖繪示依據本揭露一實施方式的車道線偵測方法中所使用的細線化及物件排除方法的流程圖。

以下將以圖式揭露本發明之複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。 然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。並且，除非有其他表示，在不同圖式中相同之元件符號可視為相對應的元件。這些圖式之繪示是為了清楚表達這些實施方式中各元件之間的連接關係，並非繪示各元件的實際尺寸。

請參照第1圖，其繪示依據本揭露一實施方式之車道線偵測方法100的流程圖。在本實施方式中，車道線偵測方法100包含步驟S110~步驟S160。車道線偵測方法100由步驟S110開始：使用影像擷取裝置擷取原始影像，其中該原始影像包含路面區域與天空區域；接著進行步驟S120：在原始影像中標示出天空區域與路面區域之間的第一分隔線；接著進行步驟S130：測量原始影像中位於第一分隔線上方的中央區域的平均亮度值，並依據該平均亮度值判斷天候狀況；接著進行步驟S140：依據天候狀況設定閥值，並依據閥值對原始影像中位於第一分隔線下方的整體區域進行二值化，得到二值化影像；接著進行步驟S150：執行細線化及物件排除方法；最後執行步驟S160：使用曲線偵測方法，偵測出複數個車道線。

本揭露所提出的車道線偵測方法100可以即時(in real-time)偵測出影像擷取裝置所擷取的原始影像中的車道線。由於在偵測車道線的過程中依據天候狀況設定適當的參數，因此在不同天候狀況下，依然能維持所偵測出車道線的正確率。以下將由第2A圖至第2E圖，介紹車道線偵測方法100 中各個步驟細節。

請參照第1圖以及第2A圖，其中第2A圖繪示第1圖中車道線偵測方法100中一階段的示意圖。車道線偵測方法100由步驟S110開始：使用影像擷取裝置擷取原始影像200。在本實施方式中，影像擷取裝置是安裝於車輛前方正中央的行車紀錄器。在一些實施方式中，影像擷取裝置可能安裝於車輛前方右側或是左側，在這些情形下可以預先設定原始影像200的中軸線位置，並將該中軸線的位置作為原始影像200的中央。

以行駛於道路上的車輛來說，原始影像200會包含路面區域210、天空區域220、左側車道線L1、右側車道線L2以及多個路面物件250。路面區域210與天空區域220之間的交界處在此稱之為交界線230。在車輛行駛於平坦的路面時，影像擷取裝置與路面的相對距離是固定的，且鏡頭與路面所夾的角度亦是固定的，因此影像擷取裝置所擷取到的原始影像200中路面區域210與天空區域220的相對位置並不會改變。也就是說，在不同時間所擷取到的原始影像200中，交界線230的高度以及形狀只會有很小的變化。

如第1圖及第2A圖所示，接下來進行步驟S120：在原始影像200中標示出路面區域210與天空區域220之間的第一分隔線240，以便將原始影像200中的路面區域210與天空區域220分隔開來。承前段所述，由於交界線230的高度幾乎是固定的，因此在本實施方式中，使用一條水平的直線近似交界線230以作為第一分隔線240。在本實施方式中，將第一分隔線240設定於交界線230上方，如此一來即可確保所有的路 面區域210皆位於原始影像200中第一分隔線240以下的區域。

在一些實施方式中，可使用人工的方式標定第一分隔線240在原始影像200中的高度。又或者可以使用自動偵測出原始影像200中交界線230位置的方法，並直接將交界線230作為第一分隔線240。

如第1圖以及第2A圖所示，接下來進行步驟S130：測量原始影像200中位於第一分隔線240上方的天空區域220中一個中央區域221的平均亮度值，並依據該平均亮度值判斷天候狀況。中央區域221具體而言為原始影像200的天空區域220較不容易被外來物件影響的區域。具體而言，在一些實施方式中，使用第一分隔線240以上、畫面寬度四分之一至四分之三的範圍作為中央區域221。在其他實施方式中，中央區域221可以具有任意大小，並可位於天空區域220中的其他位置。舉例而言，可以省略額外設定中央區域221的尺寸以及位置的步驟，直接將第一分隔線240上方的所有區域都作為中央區域221。

在一天當中不同時段，天空區域220的亮度值會不同，而不同的天氣狀態亦會影響天空區域220的亮度值。因此在步驟S130中，藉由判斷天空區域220的中央區域221的亮度值，即可推測當時的天候狀況。在本實施方式中，原始影像200的影像深度為256階，即亮度值介於0至255之間，其中若中央區域221的平均亮度值大於110，則判斷天候狀況為白天；若中央區域221的平均亮度值介於50至110之間，則判斷天候狀況為陰天；若中央區域221的平均亮度值小於50，則判 斷天候狀況為夜晚。在其他實施方式中，可依據實務需求設定天候狀況的判斷標準，並不以上述為限。

接下來請參照第1圖以及第2B圖，其中第2B圖繪示第1圖中車道線偵測方法100中另一階段的示意圖。在進行完步驟S130後，進行步驟S140：依據天候狀況設定閥值參數，並依據閥值參數對原始影像200中位於第一分隔線240下方的整體區域進行二值化，並得到二值化影像300。由於路面上的左側車道線L1以及右側車道線L2是白色的，其亮度值會大於路面區域210中的其他部分(如部分的路面物件250)。在本實施方式中使用的二值化方法為閥值萃取，如此一來即可萃取出具有較高亮度值的左側車道線L1以及右側車道線L2，並將具有較低亮度值的路面物件250濾除(以虛線表示被移除的路面物件250)。而如第2B圖所示，部分亮度較高的路面物件250在步驟S140中未被移除，而仍留在第一分隔線240以下的區域中。

有關本實施方式中所採用的閥值萃取方法，請一併參照第3A圖以及第3B圖。第3A圖繪示依據本揭露一實施方式的車道線偵測方法100中所使用的閥值萃取方法中設定閥值參數的流程圖；第3B圖繪示依據第3A圖中的閥值參數進行閥值萃取的流程圖。如第3A圖以及第3B圖所示，步驟S140中的閥值萃取方法包含步驟S141至步驟S143。

如第3A圖所示，首先執行步驟S141：依據在步驟S130中所得到的天候狀況設定閥值參數。本實施方式中的閥值參數包含全域閥值Gt、區域閥值係數Lc以及區域閥值Lt，當天候狀況為白天時，設定全域閥值Gt為60，區域閥值 係數Lc為1.03；當天候狀況為陰天時，設定全域閥值Gt為55，區域閥值係數Lc為1.15；而當天候狀況為夜晚時，設定全域閥值Gt為50，區域閥值係數Lc為1.30。在其他實施方式中，可依據實務需求設定閥值參數，並不以上述為限。

接著如第3B圖所示，執行步驟S142：依據在步驟S141中所設定的全域閥值Gt以及區域閥值係數Lc更改第一分隔線240下方區域中各個像素點的強度值。在步驟S142中，首先從第一分隔線240下方區域中選擇一像素點，並藉由其亮度值來決定該像素點是否可能為組成左側車道線L1或右側車道線L2的像素點。具體判斷方法為：若該像素點具有的亮度值小於全域閥值Gt，則判斷該像素點不是組成左側車道線L1或右側車道線L2的像素點，將該像素點的亮度值設定為0；而若該像素點具有的亮度值大於全域閥值Gt，則判斷該像素點有可能是組成左側車道線L1或右側車道線L2的像素點。接著以該像素點為中心，判斷該像素點在其周遭區域內是否屬於較亮的像素點。具體判斷方法為：將該像素點以及其周遭區域內的其他像素點的平均亮度值乘上區域閥值係數Lc作為區域閥值Lt，若該像素點的亮度值小於區域閥值Lt，則判斷該像素點並非組成左側車道線L1或右側車道線L2的像素點，將該像素點的亮度值設定為0。經過步驟S142後，除了可濾除出部分的路面物件250外，亦可排除小面積的高亮度雜訊。

在步驟S142中，周遭區域具體而言是指以該像素點為中心的九宮格區域、十字形區域、或是其他尺寸及形狀的區域。在本實施方式中，將周遭區域的形狀定義為正方形，且 其尺寸與該像素點至第一分隔線240的距離成正比關係：若該像素點與第一分隔線240距離越遠，則正方形的邊長越大；若該像素點與第一分隔線240的距離越近，則正方形的邊長越小。因為在原始影像200中，越靠近第一分隔線240的車道線會越細，而越遠離第一分隔線240的車道線會越粗，這樣的設計使步驟S142能更準確的判斷該像素點是否可能為組成左側車道線L1或右側車道線L2的像素點。具體而言，若像素點與第一分隔線240距離d個像素點，那麼正方形的邊長=C*d，其中C為依據實際情形設定的常數。

接下來請參照第2C圖，其繪示第1圖中車道線偵測方法100中一階段的示意圖。在第一分隔線240下方區域中所有的像素點皆經過步驟S142後，即可得到一個二值化影像300。接下來則進行步驟S150：對二值化影像300執行細線化(thinning)以及物件排除方法。在本實施方式中，使用橫向細線化，並在橫向細線化的過程中判別物件的橫向尺寸，若物件的橫向尺寸過大或過小，則將其排除。

有關本實施方式中所採用的橫向細線化及物件排除方法，請一併參考第4圖。第4圖繪示依據本揭露一實施方式的車道線偵測方法100中所使用的細線化及物件排除方法的流程圖。如第4圖所示，步驟S150中的細線化及物件排除方法包含步驟S151至步驟S152。

如第4圖所示，首先執行步驟S151：判斷二值化影像300中一像素點的亮度值是否為0，若該像素點的亮度值不為0，則找出所有亮度值不為0，且與該像素點沿著水平方向 相連的像素點，並計算上述水平方向相連的像素點的數量N。在步驟S151所得到的數量N代表二值化影像300中物件的橫向寬度。

接著執行步驟S152：依據數量N，執行物件排除或細線化。在第1圖所示原始影像200中可發現，左側車道線L1以及右側車道線L2的橫向寬度會介於一定的範圍之內，因此可藉由判斷數量N的值是否介於一個標準區間之內，來判斷該些像素點是否為組成左側車道線L1或右側車道線L2的像素點。

在本實施方式中，標準區間的值設定為4至50。因此數量N的值若介於4至50之間，則判定該些像素點為組成左側車道線L1或右側車道線L2的像素點，並進一步對其進行細線化：將該些像素點最左側以及最右側的一部份移除，僅留下中間的部分。舉例而言，在中心點不變的情形下留下一半的像素點。可比較第2B圖以及第2C圖，可發現經過細線化後的第2C圖中的左側車道線L1較第2B圖中的左側車道線L1細，右側車道線L2亦然。而若數量N的值小於4或大於50，則判斷該些像素點為組成其他物件的像素點，則對其進行物件排除：將該些像素點的亮度值全部設定為0。經過步驟S152後，可以排除亮度與左側車道線L1及右側車道線L2相當，但尺寸過大或過小的路面物件250(以虛線表示被移除的路面物件250)。在本實施方式中，執行完步驟S150後，已經完成了二值化影像300的前處理。

接下來請參照第2D圖以及第2E圖。第2D圖繪示 第1圖中車道線偵測方法100中一階段的示意圖；第2E圖繪示第1圖中車道線偵測方法100中另一階段的示意圖。執行完步驟S150後接著進行步驟S160：對二值化影像300使用線段偵測方法，偵測出左側車道近似線L1’以及右側車道近似線L2’。在本實施方式中，進一步將二值化影像300分為近端區域211以及遠端區域212，並分別對近端區域211以及遠端區域212使用直線偵測方法以及圓錐曲線偵測方法，提升偵測的準確度以及效率。

如第2D圖所示，具體而言，近端區域211是指左側車道線L1以及右側車道線L2整體呈現直線的區域，而遠端區域212是指左側車道線L1以及右側車道線L2整體呈現曲線的區域。在本實施方式中使用一條第二分隔線260，將二值化影像300分為位於第二分隔線260下方的近端區域211以及位於第二分隔線260上方的遠端區域212。與前述有關第一分隔線240的介紹相同，由於在車輛行駛時，原始影像200中左側車道線L1以及右側車道線L2由直線轉為曲線的交界點幾乎固定於同一個高度，因此可以使用一條水平的直線作為第二分隔線260。

具體而言，在本實施方式中，第二分隔線260與二值化影像300底部的距離，為第二分隔線260與第一分隔線240的距離的3倍。也就是說，近端區域211的面積為遠端區域212的面積的3倍。

選定第二分隔線260後，第二分隔線260會將左側車道線L1切割為位於近端區域211中的左側近端車道線L11以 及位於遠端區域212中的左側遠端車道線L12，並將右側車道線L2切割為位於近端區域211中的右側近端車道線L21以及位於遠端區域212中的右側遠端車道線L22。

如第2D圖所示，對第二分隔線260下方的近端區域211執行直線偵測方法。在本實施方式中採用的直線偵測方法包含霍夫轉換(Hough transform)，在其他實施方式中亦可採用其他方法，並不以上述為限。

如第2D圖所示，執行完霍夫轉換後，在二值化影像300中可以偵測出許多條近端候選車道線310。如第2D圖所示，左側近端車道近似線L11’以及右側近端車道近似線L21’的延伸線交點D1會位於交界線230中央附近，因此判斷兩條近端候選車道線310的延伸線交點是否位於交界線230的中央附近，即可判斷該些近端候選車道線310是否分別代表左側近端車道線L11以及右側近端車道線L21。

在本實施方式中，定義第一分隔線240正中央的點D2為圓心，展開一個半徑R的圓形區域。舉例而言，在第2D圖中由路面物件250產生的近端候選車道線310與左側近端車道線L11產生的近端候選車道線310相交於點D3，但點D3位於圓形區域以外，因此判斷該兩條近端候選車道線310並非位於交界線230的中央附近。而若兩條近端候選車道線310的延伸線交點(如點D1)位於該圓形區域中，則判斷該兩條近端候選車道線310的交點是位於交界線230的中央附近，旋及將兩條候選車道線310中位於二值化影像300中左側者定為左側近端車道近似線L11’，位於二值化影像300中右側者定為右側近端車 道近似線L21’。圓形區域的半徑R為依據實務情境設定的參數值，舉例而言，在本實施方式中，半徑R為畫面寬度的八分之一。

接下來如第2E圖所示，在二值化影像300中第二分隔線260至第一分隔線240之間的區域執行曲線偵測方法。在本實施方式中採用的曲線偵測方法包含雙曲線配對(hyperbola pair)，在其他實施方式中亦可採用其他方法，並不以上述為限。

如第2E圖所示，在本實施方式中以左側近端車道近似線L11’與第二分隔線260的交點為固定點P1，執行雙曲線配對。如此一來所偵測出的左側遠端車道近似線L12’會與左側近端車道近似線L11’相連。同樣的，以右側近端車道近似線L21’與第一分隔線240的交點為固定點P2，執行雙曲線配對，以此偵測出右側遠端車道近似線L22’。偵測出左側遠端車道近似線L12’以及左側近端車道近似線L11’後即代表偵測出了左側車道近似線L1’，而偵測出右側遠端車道近似線L22’以及右側近端車道近似線L21’後即代表偵測出了右側車道近似線L2’。

當一個時間點所擷取的原始影像200成功經由車道線偵測方法100，分別偵測出左側車道近似線L1’以及右側車道近似線L2’後，將左側車道近似線L1’以及右側車道近似線L2’設置為預設車道近似線一段時間。在本實施方式中，預設車道近似線維持的一段時間為5幀(frame)，若在接下來的這5幀中有新偵測出的左側車道近似線L1’以及右側車道近似線 L2’，則將新偵測出的左側車道近似線L1’及右側車道近似線L2’作為預設車道近似線。

預設近似車道線可以預防在一些特殊狀況下，可能會發生所有的近端候選車道線310皆不符合判斷標準的情形發生。舉例而言，在經過未劃有車道線的路面，或是有大型車輛遮住大部分的車道線時，有可能無法偵測出左側車道近似線L1’或右側車道近似線L2’。此時即可使用該些預設車道線作為暫時性的車道近似線作為緩衝，直到偵測出左側車道近似線L1’以及右側車道近似線L2’為止。

車道線偵測方法100可以具有多種應用。舉例而言，可以藉由判斷左側車道近似線L1’以及右側車道近似線L2’在原始影像200中央的距離，判斷車輛是否偏移正常行駛路徑。除此之外，在本實施方式中，使用雙曲線配對方法會得到曲率參數，可由曲率參數的正負值得知前方路面為向左轉或向右轉，且可由曲率參數的大小得知轉彎的幅度。本領域通常技藝者可以依據實務需求，自由應用車道線偵測方法100。

綜上所述，本揭露所提出的車道線偵測方法可以適應不同天候狀況，且在偵測車道線之前藉由多種方法排除車道線以外的路面物件。以上使用運算時間皆為一維的演算法，得以快速得到偵測結果，進行即時性的車道線偵測。

本揭露已由範例及上述實施方式描述，應了解本發明並不限於所揭露之實施方式。相反的，本發明涵蓋多種更動及近似之佈置(如，此領域中之通常技藝者所能明顯得知者)。因此，附加之請求項應依據最寬之解釋以涵蓋所有此類 更動及近似佈置。

Claims (13)

1. 一種車道線偵測方法，包含：使用一影像擷取裝置擷取一原始影像，其中該原始影像包含一路面區域與一天空區域；在該原始影像中標示出該天空區域與該路面區域之間的一第一分隔線；測量該原始影像中位於該第一分隔線上方的一中央區域的一平均亮度值，並依據該平均亮度值判斷出一天候狀況；依據該天候狀況設定一閥值參數，並依據該閥值參數對該原始影像中位於該第一分隔線下方的整體區域進行二值化，得到一二值化影像；以及對該二值化影像使用一線段偵測方法，得到複數個近似車道線。
2. 如請求項1所述之車道線偵測方法，其中該第一分隔線為水平直線。
3. 如請求項1所述之車道線偵測方法，其中天候狀況包含白天、陰天以及夜晚。
4. 如請求項1所述之車道線偵測方法，其中該閥值包含一全域閥值以及一區域閥值。
5. 如請求項4所述之車道線偵測方法，其中該二值化步驟包含：判斷一像素點具有的一亮度值是否大於該全域閥值；若該像素點具有的該亮度值小於該全域閥值，則設定該像素點的該亮度值為0；若該像素點具有的該亮度值大於該全域閥值，則以該像素點為中心，並以該像素點之一周遭區域的一平均亮度值定義該區域閥值，接著判斷該像素點的亮度值是否大於該區域閥值；以及若該像素點具有的該亮度值小於該區域閥值，則設定該像素點的該亮度值為0。
6. 如請求項5所述之車道線偵測方法，其中該像素點與該第一分隔線的距離越遠，則該周遭區域的尺寸越大。
7. 如請求項6所述之車道線偵測方法，其中該周遭區域為一正方形，該正方形的邊長正比於該像素點與該第一分隔線的距離。
8. 如請求項1所述之車道線偵測方法，進一步包含對該二值化影像進行細線化以及物件排除方法，包含：判斷該二值化影像中一像素點的一亮度值是否為0；若該像素點的該亮度值不為0，找出所有亮度值不為0，且與該像素點沿著該水平方向相連的複數個像素點，並計算該些像素點的一數量；若該數量位於一標準區間以外，將該些像素點全部設定為0；以及若該數量位於該標準區間以內，將一部分的該些像素點設定為0。
9. 如請求項1所述之車道線偵測方法，其中該線段偵測方法包含：使用一第二分隔線將該二值化影像區分為一近端區域以及一遠端區域；對該近端區域使用直線偵測方法，得到複數個近端車道近似線；以及對該遠距區域使用曲線偵測方法，得到複數個遠端車道近似線。
10. 如請求項9所述之車道線偵測方法，其中該第二分隔線為水平直線，且該近端區域的面積為該遠端區域的面積的3倍。
11. 如請求項9所述之車道線偵測方法，其中該直線偵測方法包含：偵測出複數個候選車道線；以及若該些候選車道線中之兩者交叉於該第一分隔線的一中央附近區域以內，則判斷該兩者為該些近端車道近似線。
12. 如請求項11所述之車道線偵測方法，其中若該些候選車道線中無符合判斷條件者，則使用複數個預設車道近似線作為該些近端車道近似線。
13. 如請求項11所述之車道線偵測方法，其中該曲線偵測方法包含：以該近端車道近似線與該第二分隔線的交點為固定點，偵測出該些遠端車道近似線。