TWI498831B

TWI498831B - 產生可變形狀之適應性動態區域之系統與其控制方法

Info

Publication number: TWI498831B
Application number: TW102137099A
Authority: TW
Inventors: Chung Bin Wu; An Le Li; Li Hung Wang
Original assignee: Nat Univ Chung Hsing
Priority date: 2013-10-15
Filing date: 2013-10-15
Publication date: 2015-09-01
Also published as: TW201514864A

Description

產生可變形狀之適應性動態區域之系統與其控制方法

本發明係有關於一種產生感興趣區域(Region of Interest，ROI)的系統與其控制方法，尤指一種適用於產生可變形狀之適應性動態區域(adaptive ROI)之系統與其控制方法。

目前產生影像畫面中感興趣區域(ROI)之系統與方法被廣泛用於許多領域中，例如許多影像比對系統，其中道路偵測系統更是熱門發展的領域。由於交通事故的肇事原因常是因為駕駛不當，因此若能在發生危險之前先提醒駕駛人注意，將可以減少許多危險的事故發生，故輔助駕駛工具的開發是有其必要性的。目前ROI技術常被用於輔助駕駛上，其係藉由駕駛人的行車視線，從行車影像中擷取駕駛人需要注意的區域與路面資訊，供給行車安全系統，來提升行車安全系統的準確性。

然而目前既有技術多為純粹的道路偵測以及固定式ROI技術，其中純粹的道路偵測僅能將道路由畫面中區分出來並定義其邊界，而固定式的ROI技術則無法適應各種實際道路的情況，例如彎道。因此本發明提出一種將路面偵測與ROI結合的系統與方法，使ROI可以適應於各種道路情況，例如彎道，並可以有效地減少運算區域，進而降低整體運算量，而使行車系統能更快速提供安全的行車資訊。

本發明之目的係在提供一種產生可變形狀之適應性動態區域(adaptive ROI)之系統，包括：一消失點偵測模組、一路面偵測模組及一適應性動態區域決定模組。該消失點偵測模組用以依照一影像的像素資訊連結來得到一消失點；該路面偵測模組用以將該消失點結合一演算法來找出一路面範圍；該適應性動態區域決定模組用以依照該路面範圍的至少一個座標來決定一適應性動態區域的範圍。

本發明之另一目的係在提供一種產生可變形狀之適應性動態區域(adaptive ROI)之系統之控制方法，包括步驟：(a)將一影像的像素資訊連結來得到消失點；(b)將該消失點結合一演算法來找出一路面範圍；以及(c)依照該路面範圍的至少一個座標來決定一適應性動態區域的範圍。

藉此，本發明可提供適應於各種道路情況的ROI，並可以有效地減少運算區域，進而降低整體運算量，而使行車系統能更快速提供安全的行車資訊。

(1)‧‧‧產生可變形狀之適應性動態區域之系統

(12)‧‧‧區塊分類模組

(121)‧‧‧區塊邊緣偵測模組

(122)‧‧‧平滑判斷模組

(13)‧‧‧消失點偵測模組

(14)‧‧‧路面偵測模組

(15)‧‧‧適應性動態區域決定模組

(16)‧‧‧控制單元

(17)‧‧‧靜態隨機存取記憶體

(51~58)‧‧‧角度區塊的搜尋順序對照圖

(7)‧‧‧路面參數位置之搜尋順序對照表

(71、72)‧‧‧路面參數位置之搜尋順序對照圖

(S21,S22,S23,S24)‧‧‧步驟

(S31,S32)‧‧‧步驟

(S41,S42,S43,S44,S45,S46,S47,S48,S49)‧‧‧步驟

(S61,S62,S63,S64)‧‧‧步驟

(S81,S81’,S82,S82’)‧‧‧步驟

圖1係本發明之產生可變形狀之適應性動態區域之系統架構圖。

圖2係本發明一較佳實施例之流程圖。

圖3係本發明消失點取得步驟之細部流程圖。

圖4(a)係本發明消失點取得步驟中區塊分類步驟之細部流程圖。

圖4(b)係本發明消失點取得步驟中車道線連結處理步驟之細部流程圖。

圖5係本發明各角度區塊的搜尋順序對照圖。

圖6係本發明路面偵測步驟之細部流程圖。

圖7係本發明路面參數位置之搜尋順序對照圖。

圖8係本發明決定ROI範圍步驟之細部流程圖。

圖1是本發明一產生可變形狀之適應性動態區域之系統(1)架構圖。在一實施例中，該系統(1)包括具有一區塊邊緣偵測模組(121)和一平滑判斷模組(122)的一區塊分類模組(12)、一消失點偵測模組(13)、一路面偵測模組(14)以及一適應性動態區域決定模組(15)。該系統(1)藉由一控制單元(16)連結各模組用以控制該系統(1)的操作，並使用一靜態隨機存取記憶體(17)來存取各模組的資料。該系統(1)可應用在各種影像偵測上，後續將以路面偵測作為該系統(1)的實施態樣，但本發明不限於此。其中該等模組連結至單一控制單元(16)亦只是舉例，實際上也可以是多個控制單元分別位於該等模組裡，也可以是多個控制單元分別控制多個模組等態樣。另外該等模組係為可藉由軟體來進行操作的微控制器或微處理器等裝置，或模組本身即為軟體等，但不限於上述之舉例。

圖2是本發明一實施例之流程圖，請一併參照圖1，首先取得一經由色彩空間轉換處理的前方道路狀況的影像畫面，該色彩空間轉換較佳的實施情況是使用明度、色度及濃度色彩空間(YUV)進行轉換，但不限於此，三原色空間(RGB)或色相、飽和度及明度空間(HSV)等其它種類的色彩空間亦可適用於本發明。之後進行步驟S21，該系統(1)輸人一轉換後的YUV影像畫面，該消失點偵測模組(13)藉由存於該靜態隨機存取記憶體(17)中的該影像畫面上的像素資料，將該影像畫面進行一連結處理，即步驟S22，在達到特定條件後該步驟S22可找出一車道線的消失點與其座標，接著進行步驟S23，該系統(1)的該路面偵測模組將步驟S22所得到的消失點位置座標作為起始點，並依照一規則來進行路面範圍的偵測，得到路面範圍後進行步驟S24，該系統(1)的適應性動態區域決定模組(15)將藉由步驟S23所得到的路面範圍資訊來決定該適應性動態區域的大小。以下將更詳述各步驟的實施方式。

圖3為步驟S22該消失點取得之流程圖，該步驟主要可分為二部分，第一部份係關於該消失點偵測模組(13)如何定義出該影像畫面之像素資料，如步驟S31；第二部份係關於該消失點偵測模組如何利用像素資料來取得車道線消失點，如步驟S32。其中，該第一部分之像素資料可使用各種有區別性的像素訊息來定義，例如像素的顏色、形狀、大小等，只要是能區別出不同像素訊息的方式本發明皆適用，而其中較佳的像素資料係使用像素的角度與平滑度來定義，該系統(1)透過該區塊分類模組(12)，將角度分為多個區塊分類，將各區塊分類作為像素資料在第二部分時進行處理，為方便說明，以下將以該較佳實施例做為舉例。

圖4(a)為步驟S31之一實施態樣之區塊分類細部流程圖，該流程用以將畫面分為不同的區塊類型，並過濾不需要的畫面並保留所需要的畫面資訊，藉此大幅降低後續處理的畫面複雜度。首先進行步驟S41，該系統(1)藉由畫面解析度大小的決定使該區塊分類模組(12)得以設定區塊大小並將畫面分為NxN區塊，N為大於1之整數，之後進行步驟S42之邊緣偵測(Edge Detection)，將該畫面進行二值化門檻處理來取得邊緣影像，並進行步驟S43計算該畫面像素的資訊，接著進行邊步驟S44邊緣影像平滑度分析，最終是步驟S45將各區塊分為平滑區塊與資訊區塊，其中該畫面像素的資訊可以為像素的紋理度、像素的邊緣點角度等，較佳的情況是邊緣點的角度，但不限於此，只要是能用來對畫面進行分類的資訊皆適用於本發明；另外本發明較佳的區塊大小在QCIF(176x144)解析度下為8x8大小、在HD(1280x720)解析度下為16x16大小以及在Full HD(1920x1080)解析度下為32x32大小，但任何其它的解析度以及區塊大小皆可因應不同的畫面而適用於本發明。接下來將更詳細地說明上述步驟。

進行步驟S41完成區塊大小之設定後，該區塊分類模組(12)接著利用邊緣偵測模組(121)進行一邊緣偵測步驟S42，用以計算區塊內的邊緣像素與邊緣像素點之資訊，該資訊在此實施例中為邊緣像素點之角度資訊。一般而言，影像畫面除了亮度(Y)外尚有彩度(CbCr)之訊息，然而對於取得道路特徵及輪廓而言，取用亮度訊息之灰階值來進行二值化邊緣偵測轉換即可呈現原圖的大部分訊息，因此在較佳實施例裡可僅取用該畫面的亮度訊息進行邊緣偵測運算，藉此減少整體運算量，但其它實施例亦可使用彩度訊息來達成本發明。本發明之邊緣偵測步驟S42可使用肯尼邊緣偵測(Canny Edge Detector)、賽伯過濾器(Sobel Filter)等方法，本實施例是使用Sobel Filter方法。該邊緣偵測模組(121)進行該邊緣偵測步驟S42將畫面像素點進行梯度的計算，並以一門檻值作為影像遮罩門檻，進行影像過濾來取得明顯的邊緣影像，其中該門檻值較佳情況被設定為50，但不限於此，只要光線充足亦可設定為50以上甚至100以上，同理光線不足亦可設定為50以下。

另外，該邊緣偵測模組(121)亦採用像素點上的方向作為參考指標，如步驟S43，其利用梯度向量Gx和Gy來計算像素的方向，以取得像素的角度資訊，如下式：α(x,y)=tan^-1 (Gx/Gy)，其中α為像素方向與x軸之夾角。該邊緣偵測模組(121)利用該公式進一步得到邊緣像素點的角度，將所得之角度分為六組，如下所示：P_a=30度；=60度；=0度；=-30度；=-60度；=90度；其中P_a為邊緣像素點上的角度。之後統計區塊內所有邊緣像素各分組角度的總數，選取最大數量的角度分組來代表該區塊的角度資訊，如此一來可得知各區塊之角度。

此外，在使用Sobel Filter進行步驟S42來取得該邊緣影像後，可進行步驟S44，該邊緣偵測模組(121)可將像素點之像素值資料存入該靜態隨機存取記憶體(17)，該平滑判斷模組(122)使用一標準差驗證平滑法對影像進行辨識，將路面上不包含車道線邊緣的區塊與未包含之區塊區分，以提高後續步驟的準確性。由於車道線一般為黃色與白色等明度較高之顏色，因此車道線上的內外邊緣像素值相差較大，故較易辨識。該標準差驗證平滑法係利用該邊緣影像計算區塊內邊緣像素的平均值，如下式：其中a_e 為所求的邊緣點平均值，edge pels為邊緣像素點，e(m,n)為判斷為邊緣之像素點上的像素值，s_e為區塊內邊緣像素點的總數。在計算出平均值後，計算其變異數，如下式其中v_e 為所求區塊內邊緣像素點的變異數。該平滑判斷模組(122)藉此算出影像中所有區塊的變異數，並設定一門檻值判斷該區塊平滑與否，假如變異數大於該門檻則為非平滑，如此可將區塊分為角度區塊與平滑區塊(S45)。

圖4(b)為步驟S32之車道線連結處理細部流程圖，該流程圖係顯示為左半部之連結處理，實施上則是左右半部同時進行連結處理，在圖4(a)區塊分類完成後，該影像畫面已被區塊分類模組(12)分為多個區塊，每個區塊更可被分為平滑區塊與角度區塊，之後進行連結處理(S32)，以取得完整的車道線以及車道線延伸之消失點。請一併參照圖1至圖4(b)，首先進行步驟S46，該消失點偵測模組(13)在該畫面設立一起始位置座標(init_i,init_j)，之後判斷該座標是否為平滑區塊(S47)，若非平滑區塊則判定為車道線或障礙物，表示該座標位置之車道正在偏移或有需要注意的行車狀況並進行步驟S48，若為平滑區塊則進行步驟S49。

當該起始座標(init_i,init_j)為平滑區塊時，該消失點偵測模組(13)進行步驟S48，由該起始座標向左/右找尋新區塊，若找到的新區塊為非平滑區塊則進行步驟S49；若向左/右搜尋，至該座標系邊界都未搜尋到非平滑區塊時，該消失點偵測模組(14)則將搜尋位置更新為(init_i,init_j+1)，並重新執行步驟S48。其中會設定一水平線，作為搜尋終止的條件，即當搜尋位置y軸達到該水平線的高度時，即跳出步驟S48並執行S49。

當搜尋到角度區塊位置時，該消失點偵測模組(13)將該角度區塊座標設定為一連結位置S(i,j)，並參照圖5，依照圖5的角度依序判斷對應位置做連結。圖5為各角度區塊的搜尋順序，該順序只是一舉例，本發明不限於此。當該角度區塊S(i,j)的角度為30度時，即參照圖5區塊集51，該角度區塊的位置為區塊集51的S處，之後該模組(13)向區塊集51的“1”處進行搜尋，若“1”處的區塊為平滑區塊，則檢查區塊集51的“2”處，若仍為平滑區塊則檢查“3”處，並依此類推。若搜尋到的區塊為角度區塊時，例如“1”處區塊為角度區塊，且其角度為60度，則將“1”處位置重新設定為連結位置S(i,j)，並參照圖5的區塊集52，進行新的搜尋。當連結處理達到該水平線所在的列時，則停止步驟S44，並執行步驟S45。

步驟S44為輸出該連結的座標位置，最後將左右端連結所輸出的座標的終點，設定為道路的消失點，並完成消失點的取得。

當完成圖4之連結處理後，雖可以得到一消失點，但將其作為駕駛者之ROI參考點仍有所不足，因此該系統(1)進一步執行圖2之步驟S23路面偵測。圖6為圖2之步驟S23路面偵測之細部流程圖，該流程圖顯示為左半部之路面偵測處理，實施上則是左右半部同時進行路面偵測處理。首先進行步驟S61，該路面偵測模組(14)將該消失點座標(Vp_x,Vp_y)設為起始點座標，並判斷該座標是否為平滑區塊，若為平滑區塊則上移至(Vp_x,Vp_y+1)，並重複判斷，直到達到該水平線或搜尋到非平滑區塊的位置，之後進行步驟S63，並將此位置設定為一路面參數，該路面參數將於步驟S64時被作為依據來判斷路面邊界；若該消失點座標(Vp_x,Vp_y)非平滑區塊，則進行步驟S62。

當藉由S61搜尋到路面參數位置時，該系統(1)進行步驟S62，參照圖7之對應表，該路面偵測模組(14)將該位置依照圖7依序進行對應位置之搜尋。步驟S62仍各自向左右進行，該路面參數位置為圖7對照表7(區塊集71、72)中的“R”處區塊，之後向區塊集71、72之“1”處進行搜尋，若“1”處區塊為平滑區塊則跳至“2”處區塊進行搜尋，若至“3”處區塊時仍為平滑區塊，則由“3”處區塊的位置向上搜尋非平滑區塊或達到該水平線所在的列。若該“1”處區塊非平滑區塊，則將該“1”處區塊修該為路面參數，並重複執行S62，直到該座標邊界結束，之後進行步驟S64，路面偵測模組(14)由路面參數位置，向每列找尋最左邊界與最右邊界的路面座標，並可得到一路面範圍。其中，該對應表第一步驟皆為向下搜尋，可避免路面邊界偵測發散。另外，有時車道線並非路面邊界，因此本發明更可依道路紋理的規則查找車道邊界，並藉由步驟S64找出實際的路面範圍。

當該系統(1)完成路面搜尋後，可得到一路面範圍，本發明可進一步利用該路面範圍來決定ROI範圍，使該ROI可隨路況適時調整。圖8為圖2步驟S24決定ROI 範圍之細部流程圖，在一組較佳實施例中，該ROI決定模組(15)以路面邊界的邊界座標作為ROI範圍的座標。首先進行步驟S81，該ROI決定模組(15)以水平線高度的列，從畫面最左端向右搜尋路面參數，若搜尋不到路面參數時則換至下一列重新由左向右搜尋；當搜尋到路面參數時，該ROI決定模組(15)從該點向左上方延伸，延伸程度由畫面解析度決定，並將延伸後的位置定義為ROI的左上端點。之後進行步驟S82，由步驟S81所搜尋到的路面參數點向右搜尋路面的邊界，當搜尋到邊界後從邊界端點向右上方延伸，延伸程度由畫面解析度決定，並將延伸的位置定義為ROI的右上端點。

在進行步驟S81時，該ROI決定模組(15)可同時進行步驟S81’，參照圖4(b)連結處理之起始點的高度，由畫面最左端向右搜尋路面參數，當搜尋到時，將該點向左下方延伸，延伸程度由畫面解析度決定，並將延伸的位置定義為ROI的左下端點。之後進行步驟S82’，由步驟S81’所搜尋到的路面參數點向右搜尋路面邊界，並由邊界端點向右下方延伸，延伸程度由畫面解析度決定，並將延伸的位置定義為ROI的右下端點。

當定義端點座標後，即完成ROI的範圍大小之定義。其中，本發明並不只限定利用四個端點或由左至右之搜尋來定義出ROI的範圍，本發明亦可使用其它端點及端點數量而不限於實施例之說明，例如由S81’所搜尋到的路面參數點向上搜尋路面參數區塊，當搜尋到第一個不為路面參數的區塊時，以該區塊向左定義為ROI的中左端點，以及進行S82’，由S82’的右邊路面邊界向上搜尋第一個不為路面參數區塊，並由該區塊向右定義為ROI的中右端點。

藉此本發明可提供以路面為參考的可適應性ROI，利用本發明，該ROI可以涵蓋所需注意的完整路面範圍以及路面消失點。

上述實施例僅係為了方便說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。