TWI621073B - Road lane detection system and method thereof - Google Patents

Abstract

本發明提供一種道路車道線的偵測系統及其方法，包含影像擷取裝置擷取車輛前方的影像畫面資料，並將影像畫面資料傳輸至處理裝置，其自影像畫面資料的下方往上逐漸取出一或二車道線所轉換的複數特徵值，處理裝置利用處理這些特徵值，以在影像畫面資料中產生一或二預測車道線，接著利用所預測的車道線動態預測出影像畫面資料中完整的車道線，以形成車道線預測模型，處理裝置再將影像畫面資料及車道線預測模型傳輸至顯示裝置中顯示，當車輛進行偏移時，顯示裝置會進行警示動作。本發明可以加強模糊、單條及遠方的車道線辨識。

Description

道路車道線的偵測系統及其方法

本發明係有關一種車道線的偵測系統與方法，尤其是一種利用演算法及影像畫面處理，對道路上的車道線進行預測的道路車道線的偵測系統及其方法。

隨著車輛的普及化，在道路上行駛的車輛容易匯集成相當龐大的車流量，眾多的車輛也同時在道路上形成了潛在危機。根據統計，駕駛在開車中，因為各種原因造成車輛偏移車道，所造成的碰撞事故，佔了所有交通事故的51%，且多數以車輛偏離車道所引起，屬於頻繁且嚴重的交通事故。

因此，爾後逐漸發展出許多與駕駛車輛相關的技術及產品，例如發展至今的車道偏移警示系統（Lane Departure Warning，LDW）、車道維持系統（Lane Keeping Support，LKS）與車道跟隨系統（Lane Following System，LFS），皆是用於輔助駕駛的行車安全，並且可以預防事故的發生，而上述這些系統皆需使用車道線辨識的演算法。在一般的車道線辨識方法中，主要是將車用攝影機所擷取出的影像畫面，利用處理器將影像畫面上所有車道線的特徵點進行擬合，而此一作法容易受到雜訊點以及遠端特徵點不清楚影響，例如實際道路的兩條車道線中，有一條車道線因為毀損或被遮蔽而不清楚，使得處理器不能有效擬合出車道線擬合模型，或是遠端的車道線因為距離遠，在影像畫面上較為不清楚，也不容易進行特徵點的識別，進而導致擬合效果不佳。

是以，在針對習知車道線辨識方法的缺失，本發明發展出一種最少利用一條車道線，以及影像畫面中較近車道線的特徵點，再結合演算法及可預測出完整車道線的道路車道線的偵測系統及其方法，以有效克服上述習知技術的問題。

本發明的主要目的係在提供一種道路車道線的偵測系統及其方法，在道路狀況不佳的車道上，例如其中一條車道線毀損或是被物體遮蔽時，也能有效辨識出另一條車道線，以及在影像畫面中先辨識畫面中下方的車道線之特徵點，進而預測出整條車道線，一來可以節省辨識時間，二來透過完整預測，可以偵測出整條車道線，也能清楚規劃出遠方不易辨識的車道線，加強遠端車道擬合的精確性及演算法效能的提升。

本發明的另一目的係在提供一種道路車道線的偵測系統及其方法，利用清楚的辨識車道線，可以應用在車道偏移上，進而對於車道偏移警示系統、車道維持系統或車道跟隨系統產生更高效能的應用，當駕駛者分心時，造成車輛偏移時也可以給予警示作用，或是安裝在車輛自主巡航系統，達到自動駕駛的目的。

為了達到上述的目的，本發明提供一種道路車道線的偵測方法，包含先擷取車輛前方的影像畫面資料，接著從影像畫面資料的最下方開始，往上逐漸取出從一或二車道線所轉換的複數特徵值，然後處理這些特徵值以在影像畫面資料中產生一或二預測車道線，最後利用這一或二預測車道線動態預測影像畫面資料中完整的一或二車道線，藉此形成車道線預測模型。

另外，本發明亦提供一種道路車道線的偵測系統，包含至少一影像擷取裝置擷取出車輛前方的影像並產生出影像畫面資料，影像擷取裝置再將影像畫面資料傳輸至處理裝置中，使處理裝置自影像畫面資料下方往上逐漸將一或二車道線轉換成複數特徵值，處理裝置再處理這些特徵值以在影像畫面資料中形成一或二預測車道線，利用這預測車道線可以動態預測影像畫面資料中完整的一或二車道線，以形成一車道線預測模型，處理裝置可以利用車道線預測模型判斷車輛行進時是否產生偏移，並且將影像畫面資料及車道線預測模型傳輸至一顯示裝置中顯示，當車輛進行偏移時利用顯示裝置作警示。

在本發明中，處理特徵值所形成的斜率以在影像畫面資料中，產生預測車道線之步驟中，更包含先判斷這些特徵值所形成的斜率變化量是否快速收斂，以得知所產生的預測車道線是直線或彎曲。

在本發明中，影像畫面資料係以複數縱橫交錯的縱軸、橫軸區分出點座標，利用灰階、二值化、雜訊處理及特徵分析後，將車道線轉換成特徵值，再自影像畫面資料下方對應車道線的點座標中往上取出特徵值。

在本發明中，利用一方程式計算特徵值所形成的斜率，以及特徵值在影像畫面資料中的縱軸及橫軸點座標位置，以計算出一或二預測車道線，以形成車道線預測模型，之後藉由車道線預測模型在影像畫面中取出感興趣區域及進行車道偏移警示。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

藉由本發明可以辨識出車道線的曲率以及預測出車道線模型，即使僅結合一條車道線也能進行車道線的偵測，並可以達到車道偏移警示系統、車道維持系統及車道跟隨系統的影像辨識功能，最終還可以達到輔助駕駛及車輛自主巡航的功能。

首先，請參照本發明第一圖所示，一種道路車道線的偵測系統10安裝於車輛上，並包含至少一影像擷取裝置12、一處理裝置14、一顯示裝置16及一車身訊號接收裝置18，處理裝置14訊號連接至少一影像擷取裝置12、顯示裝置16及車身訊號接收裝置18。在本實施例中影像擷取裝置12係為車用攝影機，處理裝置14係為微控制器（Microcontroller Unit，MCU），顯示裝置16係為液晶螢幕，訊號連接方式係可為有線訊號或無線訊號，上述為本發明的實施例說明，不以此技術說明為發明之限制。

承接上段，並請參照本發明第二圖所示，影像擷取裝置12係擷取車輛前方的影像，以產生一影像畫面資料20，影像擷取裝置12可將影像畫面資料20傳輸至處理裝置14，處理裝置14自影像畫面資料20的最下方開始，再逐漸往上將一或二車道線202轉換為複數特徵值，處理裝置14處理這些特徵值，並在影像畫面資料20中產生一或二預測車道線204，同時利用這一或二預測車道線204動態預測影像畫面資料20中完整的一或二車道線202，利用影像畫面資料20中預測車道線204動態預測可以形成一車道線預測模型。車身訊號接收裝置18自車輛中所接收的車速訊號、方向盤轉動訊號或是轉速訊號，再將這些訊號傳輸至處理裝置14中，處理裝置14則藉由車道線預測模型及車速訊號、方向盤轉動訊號或是轉速訊號，來判斷車輛在行進時是否偏移，同時，處理裝置14亦將影像畫面資料20及車道線預測模型傳輸至顯示裝置16中顯示，當判斷車輛進行偏移時，顯示裝置16會進行警示動作，例如顯示裝置16的畫面中產生警示訊息或是顯示裝置16可以發出警示聲響。

為了更進一步地瞭解本發明係如何以道路車道線的偵測系統進行車道線的辨識或預測，請參照本發明第一圖、第三圖及第四圖所示，在此係以一個影像擷取裝置12為例說明本發明道路車道線的偵測方法。首先，如步驟S10所示，利用影像擷取裝置12係擷取車輛前方的影像畫面資料20，接著進入到下一步驟。如步驟S12所示，處理裝置14會自影像畫面資料20下方逐漸往上以依序取出一或二車道線202所轉換的複數特徵值208，在本實施例中係先以正常道路為例說明，因此會取出二車道線202，接著請同時參本發明第五圖所示，在處理裝置14中會將影像畫面資料20分割成複數縱軸及複數橫軸，利用這些縱軸、橫軸交錯以在影像畫面資料20中區分出複數點座標，接著處理裝置14再對影像畫面資料20進行處理以轉換出複數特徵值208，例如運用灰階（Gray Scale）的方式對影像畫面資料20中的每一像素進行顏色採樣，接著使用二值化的方式把灰階的圖像作分割，找出大於及小於臨界灰度值的像素，再從影像畫面資料20進行雜訊處理，消除不必要的雜訊點，以及最後利用車道線202的特徵分析，將二車道線202轉換成複數特徵值208，同時對照影像畫面資料20，從下方開始對應二車道線202在影像畫面資料20的座標軸中取出這些特徵值208的點座標。

承接上段，如步驟S14所示，並請同時參照本發明第六圖所示，處理裝置14取出特徵值208後，這些特徵值208的排列緊密，使得這些特徵值208的排列接近成一條線，因此處理裝置14會利用這些特徵值208，在影像畫面資料20中產生出二預測車道線204，利用這些特徵值208所形成的斜率、特徵值208在影像畫面資料20中的縱軸及橫軸的點座標位置，再搭配公式(1)的計算： (1)其中，參數 代表縱軸的點座標，參數 代表橫軸的點座標，參數 代表預測車道線204的曲率，參數 代表這些特徵值208所形成的斜率，參數 代表平移量。接著請參照本發明第七圖所示，搭配公式(1)的計算以分別產生二預測車道線204。如步驟S16所示，處理裝置14可以利用二預測車道線204推敲出實際的二車道線202，同時二預測車道線204也可以偵測出更遠端的二車道線202，以清楚在影像畫面資料20中顯示出遠端的車道線202，而這二預測車道線204在影像畫面資料20中形成一車道線預測模型，並且依照車輛的移動可以即時動態預測出車輛前方的二車道線202。如步驟S18所示，處理裝置14利用二預測車道線204形成車道線預測模型後，即可在影像畫面資料20中，搭配動態的車道線預測模型取出感興趣區域(Region of Interest，ROI)，本發明不限制感興趣區域的位置及範圍，可依照使用者需求而設定。如步驟S20所示，因此，處理裝置14可以利用動態的車道線預測模型以及車速訊號、方向盤轉動訊號或是轉速訊號，對車輛作出車道偏移的警示。

在上述的實施例中，利用公式(1)所偵測出的道路是彎曲的道路，而一般實際道路除了彎曲道路也會有直線道路，在此更進一步的說明本發明係如何快速判斷兩種不同的道路路線，請參照本發明第八圖及第九圖所示，並請一併參照第一圖，第八圖係在第三圖的步驟S14中，更可包含判斷車道線為直線或彎曲線的步驟。如步驟S142所示，處理裝置14利用這些特徵值208判斷，從這些特徵值208所形成的斜率變化量中，得知斜率變化量是否快速收斂，在此所指出的快速收斂係為當斜率的變化量超過某一臨界點，隨後斜率不再產生明顯的改變，因此，若斜率變化量是快速收斂則進行下一步驟。如步驟S144所示，因為所擷取出的特徵值208所產生的斜率並未有明顯的改變，很快的就進行收斂，此時在影像畫面資料20中所產生的二預測車道線204則係為直線。再回到步驟S142中，當判斷出這些特徵值208的斜率變化量並非快速收斂時，且此時擷取出的特徵值208所形成的斜率，經計算後無法立即超過某一臨界值，例如臨界值會出現在影像畫面資料20較遠方的位置才開始進行收斂，才會進入到步驟S146。如步驟S146所示，並請同時參照本發明第七圖所示，在影像畫面資料20中遠離車輛遠方的遠端車道線202位置才會進行收斂，使得遠方的車道線202逐漸形成一橫直線，不再產生明顯的改變時，才使得所產生的二預測車道線204係為彎曲的並收斂在影像畫面資料20的上方。

在以上的實施例中，皆是以正常道路做為實施例說明，一旦出現車輛前方的道路有問題時，請參照本發明第十圖所示，倘若影像擷取裝置12所擷取的右邊車道線202b有部分係為不正常時，處理裝置14仍然依照左邊的車道線202a取出特徵值，並產生一預測車道線204a，同時利用這預測車道線204a動態預測影像畫面資料20中的車道線202a，並形成車道線預測模型。

因此，在本發明中，無論是一條或是兩條車道線，均可在畫面中產生出預測車道線，並且同時形成車道線預測模型，不會因為僅有單一車道線的存在而失去功能，使本發明的道路車道線的偵測系統及其方法皆可作車道偏移警示。更進一步地，本發明可應用到車道偏移警示系統、車道維持系統及車道跟隨系統這些系統中，有效保護駕駛的行車安全，利用影像畫面中最下方的複數特徵點即可推敲出完整的車道線，本發明不以特徵點的數量為限制，約莫取出10~15個特徵點即可分辨車道線是為直線或曲線，累積到更多如30~50個特徵點即可產生預測車道線，並且有效的推估出完整的車道線。所以，本發明可不用像習知技術般，需要分析出整張影像畫面的車道線特徵點，可以節省計算的時間，並且利用推估完整的車道線又可以解決畫面遠端不清楚車道線的問題，利用特徵點所計算出的預測車道線可以清楚顯示遠端的車道線，好讓駕駛者在開車時可以有更多的反應時間，或是應用在車輛自主巡航時，可以更精準地讓車輛發揮自動駕駛的功效。並且本發明在僅偵測單一車道線時，也能有效依賴單一車道線進行道路車道線的預判，不用如習知技術非要擷取整張影像畫面及兩條車道線的要求，在車道線不清楚、毀損或被遮蔽時，也能清楚依賴單一車道線進行車道偏移警示，更加保護車輛駕駛及其他用路人的安全。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍。

10‧‧‧偵測系統
12‧‧‧影像擷取裝置
14‧‧‧處理裝置
16‧‧‧顯示裝置
18‧‧‧車身訊號接收裝置
20‧‧‧影像畫面資料
202、202a、202b‧‧‧車道線
204、204a‧‧‧預測車道線
208‧‧‧特徵值

第一圖為本發明道路車道線的偵測系統的方塊示意圖。 第二圖為本發明中影像畫面資料的影像示意圖。 第三圖為本發明道路車道線的偵測方法的步驟流程圖。 第四圖為本發明取出車道線所轉換之特徵值的影像示意圖。 第五圖為本發明對影像畫面資料產生橫軸、縱軸之座標軸的影像示意圖。 第六圖為本發明利用特徵值產生預測車道線的影像示意圖。 第七圖為本發明利用預測車道線預測完整車道線的影像示意圖。 第八圖為本發明第三圖步驟S14中之判斷特徵值之斜率變化量的步驟流程圖。 第九圖為本發明產生直線預測車道線的影像示意圖。 第十圖為本發明產生單一預測車道線的影像示意圖。

Claims (14)

1. 一種道路車道線的偵測方法，包含：擷取車輛前方的一影像畫面資料；自該影像畫面資料下方往上以逐漸取出一或二車道線所轉換的複數特徵值；處理該等特徵值，當該等特徵值所面成之斜率的變或量快速收斂時，以於該影像畫面資料中產生直線的一或二預測車道線，另外當該等特徵值所面成之該斜率的該變或量沒有快速收斂時，以於該影像畫面資料中產生彎曲的該一或該二預測車道線；以車利用該一或該二預測車道線動態預測該影像畫面資料中完整的該一或該二車道線，以面成一車道線預測模型值。
2. 如請求項1所述之道路車道線的偵測方法，其中該影像畫面資料係以複數縱軸車複數橫軸交錯，以所分為複數點座標。
3. 如請求項2所述之道路車道線的偵測方法，其中該影像畫面資料係經由灰階、二值或、雜上處理車特徵分析二，以將該一外該二車道線轉換成該等特徵值，再自該影像畫面資料下方對應該一或該二車道線的該等點座標中逐漸往上取出該等特徵值。
4. 如請求項2所述之道路車道線的偵測方法，其中應由專算該等特徵值所面成之斜率、該等特徵值在該影像畫面資料中的該縱軸與該橫軸之該點座標位置，以產生該一或該二預測車道線。
5. 如請求項4所述之道路車道線的偵測方法，其中該一或該二預測車道線係路表示為y=ax ²+bx+c，其中y代表該縱軸之該點座標，x代表該橫軸之該點座標，a代表該預測車道線的曲率，b代表該等特徵值所面成之該斜率，c代表平移量。
6. 如請求項1所述之道路車道線的偵測方法，其中在面成該車道線預測模型二，更包含下列步驟模應由該車道線預測模型於該影像畫面資料中取出一感興趣區域(Region of Interest，ROI)；及進行車道偏移警示。
7. 一種道路車道線的偵測移統，項含：至少一影像擷取裝置，其係可擷取車輛前方之影像，以產生一影像畫面資料；以及一處理裝置，其係上號連接該至少一影像擷取裝置，以接收該影像畫面資料，並自該影像畫面資料下方往上以逐漸將一或二車道線轉換為複數特徵值，該處理裝置利用該等特徵值所面成之斜率的變化量快速收斂時，以於該影像畫面資料中產生直線的一或二預測車道線，該處理裝置利用該等特徵值所面成之該斜率的該變化量沒有快速收斂時，以於該影像畫面資料中產生彎曲的該一或該二預測車道線，以使該處理裝置可動態預測該影像畫面資料中完整的該一或該二車道線，以面成一車道線預測模型。
8. 如請求項7所述之道路車道線的偵測移統，更包含一車身上號接收裝置，其係上號連接該處理裝置，該車身上號接收裝置係接收車速上號、方向盤轉動上號或轉速上號，並將該車速上號、該方向盤轉動上號或該轉速上號傳輸至該處理裝置，以使該處理裝置結合該車道線預測模型判斷該車輛是否偏移。
9. 如請求項7所述之道路車道線的偵測移統，更包含一顯示裝置，其係上號連接該處理裝置，以接收該處理裝置所傳輸之該影像畫面資料及該車道線預測模型，並顯示出該影像畫面資料及該車道線預測模 型，及當該車輛進行偏移時，該顯示裝置會進行警示動作。
10. 如請求項9所述之道路車道線的偵測移統，其中該處理裝置係應由該車道線預測模型於該影像畫面資料中取出一感興趣區域，並將該感興趣區域顯示在該顯示裝置。
11. 如請求項7所述之道路車道線的偵測移統，其中該影像畫面資料係以複數縱軸及複數橫軸交錯，以區理為複數點座標。
12. 如請求項11所述之道路車道線的偵測移統，其中該處理裝置係應由灰階、二值外、雜上處理及特徵理析該影像畫面資料，並將該一或該二車道線轉換成該等特徵值，以自該影像畫面資料下方對應該一或該二車道線的該等點座標中逐漸往上取出該等特徵值。
13. 如請求項11所述之道路車道線的偵測移統，其中該處理裝置專算該等特徵值之該斜率、該等特徵值在該影像畫面資料中的該縱軸與該橫軸之該點座標位置，以產生該一或該二預測車道線。
14. 如請求項13所述之道路車道線的偵測移統，其中該一或該二預測車道線係可表示為y=ax ²+bx+c，其中y代表該縱軸之該點座標，x代表該橫軸之該點座標，a代表該預測車道線的曲率，b代表每一該特徵值之該斜率，c代表平移量。