TWI824265B - 用於車輛的偵測系統與違規偵測方法 - Google Patents
用於車輛的偵測系統與違規偵測方法 Download PDFInfo
- Publication number
- TWI824265B TWI824265B TW110124643A TW110124643A TWI824265B TW I824265 B TWI824265 B TW I824265B TW 110124643 A TW110124643 A TW 110124643A TW 110124643 A TW110124643 A TW 110124643A TW I824265 B TWI824265 B TW I824265B
- Authority
- TW
- Taiwan
- Prior art keywords
- vehicle
- image
- unit
- lane
- module
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 230000005540 biological transmission Effects 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000013473 artificial intelligence Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本發明提出一種用於車輛的偵測系統，包含電子裝置，以及與該電子裝置連接的伺服器。該電子裝置包含偵測模組、處理模組以及傳輸模組；該伺服器包含狀態判斷模組、事件處理模組以及資料庫。其中，狀態判斷模組包含判斷該車輛的運動狀態的狀態判斷單元；辨識至少一影像資訊是否包含交通號誌的號誌辨識單元；辨識該車輛是否駛入輔助車道的車道辨識單元；以及判斷該車輛是否違規駕駛或違反路口淨空規則的違規偵測單元。另外，一種用於車輛的違規偵測方法亦被揭露於其中。
Description
本發明係關於一種車載偵測系統，尤指一種可進行號誌辨識、影像處理與區域判定的車載偵測系統。
隨著交通工具智能化的快速發展，使物流運輸的管理也將更有效率。但是一般的物流管理系統在車輛出勤派遣的任務期間，無法自動偵測到車輛違規，例如違規左轉、車輛違規迴轉或車輛停留於路口等問題，難使管理人員對於出勤駕駛人員平日的工作表現進行評核，仍有進步的空間。
為解決先前技術中所提到的問題，本發明提出一種用於車輛的偵測系統，包含電子裝置，以及與該電子裝置連接的伺服器。該電子裝置包含偵測模組、處理模組以及傳輸模組；該伺服器包含狀態判斷模組、事件處理模組以及資料庫。其中，狀態判斷模組包含判斷該車輛的運動狀態的狀態判斷單元；辨識至少一影像資訊是否包含交通號誌的號誌辨識單元；辨識該車輛是否駛入輔助車道的車道辨識單元；以及判斷該車輛是否違規駕駛或違反路口淨空規則的違規偵測單元。
進一步而言，該偵測模組，包含一影像偵測單元、一狀態偵測單元以及一定位單元；該處理模組包含一計算單元、一模組控制單元；以及該傳輸模組包含一資訊收發單元。
進一步而言，該模組控制單元包含偵測模組控制單元及傳輸模組控制單元。該偵測模組控制單元定期儲存該影像資訊、該運動狀態資訊及該定位資訊；該傳輸模組控制單元依據該車輛的車速，動態控制該傳輸模組的傳送速率。
進一步而言，該資訊收發單元包含影像收發單元及文字收發單元。該影像收發單元依據該車輛的車速，動態控制該影像資訊的傳送速率；該文字收發單元傳送該運動狀態資訊及該定位資訊。
進一步而言，該電子裝置更包含一應用程式，該應用程式包含使用者介面、車輛即時監控介面、事件查詢介面及、車輛歷史軌跡介面及系統設定介面。
本發明還提出一種用於車輛的違規偵測方法，包含：即時偵測該車輛行駛路徑的至少一影像資訊；偵測該車輛的一加速度角度，一定位單元偵測該車輛的一定位資訊；依據該加速度角度和該定位資訊判斷該車輛是否發生轉彎行為；取得一特定時間前之所有影像資訊，判斷該所有影像資訊是否包含違規號誌；以及判斷該車輛是否違規。
本發明更提出另一種用於車輛的違規偵測方法，包含：依據一地理圖資系統判斷該車輛是否位於路口區域；依據該車輛的車速判斷是否處於怠速狀態；即時偵測該車輛行駛路徑的至少一影像資訊，並依據該至少一影像資
訊判斷該車輛是否進入輔助車道；依據該車輛是否位於路口區域、該車輛是否處於怠速狀態與該車輛是否進入輔助車道，判斷該車輛是否違規。
以上對本發明的簡述，目的在於對本發明之數種面向和技術特徵作基本說明。發明簡述並非對本發明的詳細表述，因此其目的不在特別列舉本發明的關鍵性或重要元件，也不是用來界定本發明的範圍，僅為以簡明的方式呈現本發明的數種概念而已。
1:偵測系統
10:電子裝置
12:偵測模組
122:影像偵測單元
124:狀態偵測單元
126:定位單元
14:處理模組
142:計算單元
144:偵測模組控制單元
146:傳輸模組控制單元
16:傳輸模組
162:資訊收發單元
164:通訊控制單元
20:伺服器
22:狀態判斷模組
222:狀態判斷單元
224:號識辨識單元
226:車道辨識單元
228:違規偵測單元
24:事件處理模組
26:資料庫
第一圖為本發明較佳實施例之偵測系統的示意圖。
第二圖為攝像裝置的拍攝示意圖。
第三圖為本實施例處理人工智慧模型輸入影像的前處理流程圖。
第四圖為發明較佳實施例之車道辨識方法流程圖。
第五圖為本發明較佳實施例之違規偵測的流程圖。
第六圖為本發明較佳實施例之路口淨空違規偵測的演算流程圖。
第七圖為本發明第一實施例之違規偵測方法流程圖。
第八圖為本發明第二實施例之違規偵測方法流程圖。
為能瞭解本發明的技術特徵及實用功效，並可依照說明書的內容來實施，茲進一步以如圖式所示的較佳實施例，詳細說明如後：
本發明提出一種用於車輛的偵測系統，透過電子裝置中的影像、狀態及定位等偵測單元取得車輛的偵測資訊，經由傳輸模模組將該等偵測資訊
傳送至外部伺服器或雲端服務進行號誌辨識、影像處理與區域判定；藉此，當發生定義中違規行為時，由後台系統通知電子裝置的使用者，解決既有車隊管理系統在車輛出勤派遣任務期間，無法偵測車輛違規左轉、車輛違規迴轉與車輛停留於路口等的交通違規問題。
首先，請參照第一圖，其為本發明較佳實施例之偵測系統的示意圖。如第一圖所示，本實施例之用於車輛的偵測系統1包含一電子裝置10，以及與該電子裝置10連接的伺服器20。具體而言，該電子裝置10但不限於智慧型手機、行動裝置、平板電腦、個人電腦或穿戴裝置等具有連網、顯示及操作功能的電子裝置。該伺服器(或雲端服務器)可透過基地台以4G或5G行動通訊技術與電子裝置遠端連線，藉此即時接收電子裝置10偵測的車輛資訊，以及傳送經運算處理的違規通知。
以下將針對本實施例之用於車輛的偵測系統1做進一步的說明。首先，電子裝置10更包含一偵測模組12、一處理模組14以及一傳輸模組16。該偵測模組12包含一影像偵測單元122、一狀態偵測單元124以及一定位單元126。其中，該影像偵測單元122可以是但不限於攝像裝置或紅外線感測器，即時擷取車輛行駛過程中的影像資訊，以作為號誌辨識、輔助轉彎車道辨識的影像輸入來源。該狀態偵測單元124可以是但不限於重力感測器(G-Sensor，或稱加速度計)、陀螺儀或磁力計，也可以是九軸姿態感測器或慣性測量單元(Inertial Measurement Unit,IMU)；其中，九軸姿態感測器具有三軸陀螺儀、三軸磁力計及三軸加速度計，慣性測量單元則由三個加速度計及三個陀螺儀所構成。狀態偵測單元124的目的在於偵測車輛行駛的角度、位置、位移、轉動及速度等運動
狀態資訊，以作為車輛轉彎與迴轉時的依據。定位單元126則透過GPS取得車輛的定位資訊，以作為車輛定位、車速計算與路口違規區域判定的依據。
該處理模組14與該偵測模組12連接，包含有一模組控制單元以及一計算單元142。其中，該計算單元142可依據該定位資訊計算該車輛的車速，該模組控制單元更包含一偵測模組控制單元144及一傳輸模組控制單元146；該偵測模組控制單元144以定期執行程序定期儲存該偵測模組取得的影像資訊、運動狀態資訊及定位資訊，該輸模組控制單元146則依據車輛的車速，動態控制該傳輸模組的傳送速率。在本實施例中，處理模組包含有一微控制器(Microcontroller Unit,MCU)，或舉凡能接受各模組間資訊之傳遞並進行運算處理後發送控制命令之裝置皆屬於該保護範圍內，本發明不應依此為限。
處理模組14於系統中的作用為取得偵測資訊、計算車輛速度及傳輸模組的控制。具體而言，計算單元142可透過定位資訊、日期與時間計算車輛目前的車速；車輛速度是採用電子裝置取得的經度、緯度與時間進行計算，其方式是以前後兩個時間點(假設為t2與t1)的時間差與兩個時間點間的經緯度距離(以畢氏定理：a2+b2取平方根)計算，計算公式如下：
偵測模組控制單元144以定期執行的程序存取偵測模組，取得包含影像、運動狀態、定位、日期與時間等資訊，也可以依據車速運算的結果，動態調整存取偵測模組的頻率，並將所有資訊透過傳輸模組傳送至伺服器20進行運算。另一方面，傳輸模組控制單元146同樣可依據車速運算的結果，動態調整傳輸模組的資訊傳送速度；舉例而言，在車速較快(如大於60公里/小時)時控制傳輸模組傳送較多的資訊，以使後台伺服器20中的狀態判斷模組能夠有足夠的時間與資訊判斷駕駛行為的異常。
傳輸模組16與該偵測模組12和該處理模組14連接，包含一資訊收發單元162和一通訊控制單元164。具體而言，通訊控制單元164控制電子裝置10與伺服器20間網路通訊連線的建立與關閉；其中，通訊方式採用但不限於***行動通訊技術(4th-Generation,4G)、第五代行動通訊技術(5th-Generation,5G)或通用封包無線服務(GPRS)。***和第五代行動通訊技術係支援高速資料傳輸的移動通訊技術能夠同時傳送聲音及資訊，其代表特徵是提供高速資訊業務；通用封包無線服務(GPRS)的成本低且資訊傳輸速率高，且引入分組交換的傳輸模式，使用者僅在發送或接收數據期間才佔用資源。另一方面，資訊收發單元162包含影像收發單元及文字收發單元，該影像收發單元依據該車輛的車速，動調整該影像資訊的傳送速率，以使伺服器20持續接收影像；文字收發單元則傳送該運動狀態、定位、日期時間及車速等資訊，同樣使伺服器20持續接收該些資訊
傳輸模組16的目的是將即時的影像資訊依據車速傳送至伺服器20；在伺服器當中，引用了人工智慧深度學習的CNN(Convolutional Neural Network，卷積神經網絡)模型以辨識影像中的號誌。在本實施例中，目前道路上禁止左轉與禁止迴轉的的號誌設計規範，其形狀為圓形，直徑為60-70公分。
在伺服器20(號誌辨識單元224)的影像辨識過程中，道路上的違規號誌在影像偵測後應具有特定的大小，伺服器20的人工智慧演算法才即可辨識。舉例而言，人工智慧訓練的影像大小為長寬各為16畫素的畫面，攝像裝置可擷取的視角寬度為120度，擷取的影像畫面寬度與高度為1920與1080個畫素；考量現實環境中違規號誌的大小為60-70公分，在攝相裝置取像的時候須大於或等於16畫素，則攝像裝置的拍攝示意圖如第二圖。若以1920 * 1080取像，1畫素的寬度在現實中的寬度為65/16=4.0625公分，可推估1920畫素為4.0625 x 1920=7800公分；根據示意圖，假設攝像裝置的角度120度、攝像畫面在現實中的寬度
為y公分，將7800除以2
x可推算出可辨識號誌的最短攝像距離x為2251.67公分。
進一步而言，考量車輛行駛過程即時影像辨識的需求，影像資訊的傳輸必須根據車速快慢傳送，在車速快的時候傳送更多的影像，使得號誌辨識能順利完成。假設可辨識號誌的最短攝像距離為x公分，車輛速率為s公分/秒，則影像擷取可辨識號誌的頻率為每秒鐘1/(x/s)張影像，其單位為frame per second(fps)，再根據實務上的規劃設定網路通訊速率，單位為send frame per second(sfps)。
請參照下表一，本實施例中以車輛行駛速度、攝像解析度以及先期人工智慧訓練影像大小作為變因計算影像的傳送速率。其中，車速設定為36、54與72公里/小時，攝像解析度為1920x1080及720x480，先期人工智慧影像訓練大小為64x64、32x32、16x16、8x8，在此條件下各種組態下每秒鐘須傳送的影像規劃如下表一：
接續，與電子裝置10連接的後台伺服器20，包含：一狀態判斷模組22、一事件處理模組24以及一資料庫26。在本實施例中，伺服器20將電子裝置10傳送的資訊進行號誌辨識、影像處理及區域判定，當發生事件處理模組或資料庫中定義的違規事件時，由後台伺服器透過Google的FCM或Mail服務即時通知使用者；其中，伺服器20可以是雲端服務器。雲端服務器意指基於網際網
路的運算方式，透過使用服務商提供的系統進行運算分析，其共用的軟硬體資訊可以依需求提供給各種終端電子裝置或其他裝置。其中，雲端運算服務器可包含但不限於SaaS(軟體即服務，Software as a Service)服務器、IaaS(基礎設施即服務，Infrastructure as a Service)服務器、PaaS(平台即服務，Platform as a service)服務器及DaaS(資料即服務，Data as a service)服務器，而本實施例採用SaaS服務器作為系統中的雲端運算服務器。
SaaS服務器的特點在於，使用雲端集中式的託管軟體(或應用程式)及其相關的資訊，該軟體僅需透過網際網路而不需經由下載或安裝即可使用，用戶端通常使用網路傳輸協定經由瀏覽器來存取軟體及服務。藉此，軟體(或應用程式)本身並未下載或安裝置用戶的電子裝置中，而是儲存在服務商提供的雲端或伺服器中。相較於傳統的軟體須經由購買後下載並安裝等步驟，SaaS服務器僅需要使用者租用軟體在線使用，減少了使用者購買風險也無需下載軟體或裝置需求的限制；對服務商而言，也降低了軟硬體架構建置的資訊科技成本。
進一步而言，該狀態判斷模組22更包含判斷該車輛運動狀態的狀態判斷單元222，判斷該車輛的運動狀態；辨識影像是否包含交通號誌的號誌辨識單元224；辨識該車輛是否駛入輔助車道的車道辨識單元226；以及判斷該車輛是否違規駕駛或違反路口淨空規則的違規偵測單元228。在狀態判斷單元222中，可透過電子裝置10傳送的資訊偵測車輛行駛中、怠速、違規及斷訊的主要狀態；其中，違規還可再細分為違規迴轉、違規左(右)轉、路口淨空違規、車域違規與超速違規。本實施例中，狀態判斷單元的偵測與判斷定義如下：
A.行駛中：當車輛行駛速度大於0且小於規定速限時，表示車輛行駛中。
B.怠速：當車輛行駛速度為0且引擎發動中時，表示車輛怠速中。
C.違規：分為以下五種違規異常之偵測
1.違規迴轉：請參照後段違規偵測單元之敘述。
2.違規左(右轉)：請參照後段違規偵測單元之敘述。
3.路口淨空違規：請參照後段違規偵測單元之敘述。
4.車域違規：提供使用者在地圖中定義一個圓形或多邊形區域，並可設定該區域的屬性為禁止進入或者禁止離開，當車輛離開一個禁止離開的區域或車輛進入了一個禁止進入的區域，則視為車域違規，將觸發車域違規事件。
5.超速違規：在最近的m筆資料當中，若有n筆超過系統設定的速限時，即視為車輛超速違規，將觸發超速違規事件。
D.斷訊：伺服器超過一預定時間未接收電子裝置所傳送之資訊，斷訊的情況可能是車輛通過隧道、車輛駛入地下室或電子裝置出現異常。
本實施例中，該號誌辨識單元224是以人工智慧深度卷積神經網絡(Convolutional Neural Network,CNN)辨識影像，先以影像樣本輸入神經網絡進行訓練，經過訓練後產出模型，再以模型辨識號誌。訓練模型使用的影像必須先經過前處理，請參照第三圖，其為本實施例處理人工智慧模型輸入影像的前處理流程圖，詳細的說明如下：
1. RGB->HSV：將RGB(紅、綠、藍)色彩空間的圖像轉換為HSV(色調、飽和度、亮度)，藉此讓後續的影像處理程序能夠更靈敏地處理影像。
2.找尋紅色區塊感興趣區域(Region of Interest,ROI)：影像經過轉換後，在HSV的色彩空間中，紅色在S與V的數值都接近100，且H的部分非常
低。藉此設定一個數值過濾門檻，可以快速地找出影像中偏紅色的區域。
3.模糊去雜訊：模糊去雜訊是影像處理中使影像模糊而去移除雜訊與細節的手段，如高斯濾波器即是將影像中高頻的部分消除的濾波器。
4.二值化：二值化是一種圖像分割的方法。二值化可以把灰度圖像轉換成二值圖像，將大於特定臨界灰度值的像素灰度設為灰度極大值；將小於這個值的像素灰度設為灰度極小值，藉此得到二值化後的圖像。
5.邊緣偵測：邊緣偵測是搜尋特徵的程序，可以找出影像中的區塊，以進行進一步的處理。
6.霍夫圓：霍夫圓轉換主要的功能是找出圖像中的圓形，其原理是在每一個邊緣的地方各畫一個圓，並將所有被畫出來的線段中，經過疊加後最亮的點為圓心，藉此搜尋圖形中的圓形。
7.型變封閉缺口：型變封閉缺口的處理程序，其目的是要將前一步驟檢測出來的圓，經過修補之後產生型態上更符合號誌偵測的圓形，藉此找出影像中的候選區域。
8.切割影像：經過前段的所有處理，基本已經找出影像中圓形的區域，故此步驟需要將該區域進行切割。
9.輸出號誌圖：經過影像的切割後，即可輸出需要辨識的號誌區域。
10.圖片篩選：圖片篩選的目的是篩選可能造成誤判的影像。例如，同為紅色圓形的圖案，卻不是交通號誌的廣告燈牌、裝置藝術或戶外的各種類似的場景。
11. CNN model：本實施例採用CNN模型進行影像模型的訓練，最終產出的模型將能夠偵測所需之禁止左(右)轉和禁止迴轉，藉此辨識交通號誌。
上述影像辨識的程序中，前處理的目的為建立模型。當模型建置完成，後續電子裝置輸入的影像將以訓練的模型進行，判斷輸入的影像對於流程中需要辨識的禁止左(右)轉和禁止迴轉交通號誌的相似程度，若相似程度高，表示辨識成功；若程度低，則表示該影像並非違規號誌。
本實施例中，車道辨識單元226是以影像處理的方式辨識左(右)轉輔助車道，請參照第四圖，其為發明較佳實施例之車道辨識方法流程圖，詳細的說明如下：
1. RGB->GRAY：將原始影像的RGB轉換為灰階影像，其原理是將RGB以不同的比例轉換成為灰度，灰階轉換公式如下：
Gray=R*0.299+G*0.587+B*0.114
Gray=(R*299+G*587+B*114)/1000
2.膨脹型變(擴張)：膨脹型變是考慮在空間中的兩個集合、A集合和B集合，當A集合被B集合膨脹時可以用A+B表示，A為輸入影像，B為結構元素；當輸入像素及其周圍像素相對於結構元素為1的像素值有一個以上為255時，則將輸入像素的值設為255，運算結果會使影像看起來擴大，其應用是用來做隙縫的填滿，利用適當的結構元素即可將間隙填補。在本實施例中，膨脹的意圖在於使左轉輔助車道的車道線得以連接，以便作進一步的處理。
3.收縮型變(侵蝕)：考慮在空間中的兩個集合、A集合和B集合，當A集合被B集合侵蝕，可表示為A-B，A為輸入影像，B為結構元素；當輸入像素及其周圍像素相對於結構元素為1的像素值皆為255，則將輸入像素的值設為255，運算結果會使影像看起來收縮。侵蝕可以利用適當的結構元素將不必要的元素去除掉。在本實施例中，收縮的目的在於
使已經連接的左轉輔助車道的車道線得以更明顯的成為線條，以便於作進一步的處理。
4.透視變換(鳥瞰)：透視變換是將影像從向前照射轉換為由上向下照射，其原理是透過座標系的轉換，設定轉換前與轉換後的圖片位置座標，使得須偵測的輔助車道在影像中更加明顯。
5.霍夫線段：霍夫線段轉換是霍夫轉換三大應用之一，霍夫線段轉換的目的是在影像中偵測線段，其原理是透過霍夫線段演算法中的投票步驟，在複雜的參數空間中找到圖形的參數，並由參數得知該邊緣(edge)的形狀。在本實施例中，霍夫線段的應用是找出影像中的左轉輔助車道。
6.取兩線左右各一點、求斜率與輸出是否為曲線待轉區：在霍夫線段處理結束後，影像中的線段基本已經被篩選。本實施例在車道兩條線上取點並求其斜率，若斜率持續不變，表示車輛目前在直道上；若斜率發生變化，則表示車輛目前在左轉輔助車道中，即可輸出目前車輛是否在左轉輔助車道中的判斷結果。
最後，本實施例中違規偵測單元228的目的在於判斷該車輛是否違規駕駛或違反路口淨空規則。首先，本實施例中的違規駕駛行為包含違規左轉及違規迴轉，在其他可能的實施樣態中，也包含違規右轉的偵測。具體而言，本實施例是透過狀態偵測單元所偵測的車輛運動狀態資訊(如加速度角)、定位單元取得的定位資訊(如經緯度)以及前述之號誌辨識單元處理的號誌辨識結果，判斷該車輛是否違規左轉或違規迴轉。請參照第五圖，其為本發明較佳實施例之違規偵測的流程圖，其中當車輛在左轉時，偵測單元量測的加速度角度小於0；反之，當車輛在右轉時，加速度角度大於0。
接續，將偵測單元量測的加速度角度以D表示，D小於0的計數器以DCminus表示，判定車輛轉彎的最低門檻值以thr表示，經緯度以(x,y)表示，任意時間的經緯度以x(t),y(t)表示，距離以d表示。違規偵測單元開始時，DCminus=0，當違規偵測單元偵測到D<0時就將DCminus+1，隨著時間推移。若系統持續偵測到D<0，則DCminus就持續遞增；若遞增期間發現DCminus>thr，就確認是否已儲存x(t-n),y(t-n)。若尚未儲存則先儲存，再以當下時間的經緯度x(t),y(t)與x(t-n),y(t-n)計算兩點間的距離d0；下一個時間點t+1如果也符合D<0、DCminus>thx，此時已儲存x(t-n),y(t-n)，並計算x(t+1),y(t+1)與x(t-n),y(t-n)的距離d1。在下一個時間點t+2，如果也符合D<0、DCminus>thr，計算x(t+2),y(t+2)與x(t-n),y(t-n)的距離d2；依此程序計算dt+i所有的距離資訊；其中i=0到j，再比較dt、dt+1、dt+2...dt+j的關係。若距離為遞增，表示車輛離經緯度x(t-n),y(t-n)越來越遠，判定為左轉；若距離為遞減，表示車輛離經緯度x(t-n),y(t-n)越來越近，判定為迴轉。
當發生左轉或左迴轉的任一行為時，需再取出前n秒的所有影像資訊的紀錄，判斷車輛行駛的路徑中，是否有禁止左轉或迴轉的號誌；當偵測到對應流程中禁止左轉或迴轉的號誌時，便觸發事件並消除先前已儲存的x(t-n),y(t-n)。
另一方面，請參照第六圖，其為本發明較佳實施例之路口淨空違規偵測的演算流程圖。違反路口淨空規則的演算法，會依據重要路口標示的電子圍籬區域，當車輛停留於電子圍籬區域中一段時間後，則被視為車輛之停留行為，隨即開始偵測車輛是否依規定停等於左轉輔助車道的待轉區當中；若車輛未在左轉輔助車道的待轉區當中，則表示違規。
路口淨空違規偵測的演算法，需考慮車輛是否進入路口區域、車輛是否位在左轉輔助車道與車輛是否為怠速三個變數。
在三個變數中，車輛是否進入路口區域以Geo-inint表示，Geo-inint=0表示車輛並未在路口區域中；反之，Geo-inint=1表示車輛在路口區域中。車輛是否進入路口區域的偵測，本實施例採用電子地理圖資系統偵測，在電子地理圖資系統中，現實地理位置都是以經緯度資訊在二維平面上標示。首先，在電子地理圖資系統中預先建立相關的路口區域，再使用PostGIS提供的geofence函式即時偵測，以取得目前車輛所在位置是否為路口區域中的資訊(Geo-inint)。
車輛是否位在左轉輔助車道的偵測請參照前述車道辨識單元的敘述。該步驟是引用該演算法的運算結果並以L-turn Lane表示，L-turn Lane=1表示車輛位於左轉輔助車道之中，L-turn Lane=0表示車輛位於左轉輔助車道之外。車輛是否怠速則可參照狀態判斷單元的運算結果，怠速中的定義為車速為0且引擎發動中，其表示為idle=1，行駛中的車輛則表示為idle=0。
路口違規偵測的狀態移轉，是依據上述車輛是否進入路口區域、車輛是否位於左轉輔助車道與車輛是否處於怠速狀態三個變數的運算結果進行移轉。如第六圖所示，當車輛開始行駛後為起始狀態Init，假設此時車輛未在路口偵測區域中(Geo-inint=0)，隨著車輛行駛；如果車輛停止下來，車輛為怠速(idle=1)，車輛狀態由Init轉換為Idle(1)；若車輛在下一個時間點仍沒有移動(idle=1)，車輛狀態由Idle(1)轉換為Idle(2)。依此邏輯，當持續停留n-1次後狀態進入Idle(n-1)，如圖中Stay n-1狀態；反之，若車輛在Idle(1)移轉至Idle(n-1)期間，發生了車輛移動(idle=0)，則車輛狀態將重新回到起始狀態Init，如圖狀態轉移trans 1。
當車輛狀態進入Idle(n-1)(如圖中Stay n-1狀態)後，如果車輛在路口區域之中(Geo-inint=1)、車輛怠速中(idle=1)且車輛在左轉輔助車道之中(L-turn Lane=1)，表示車輛在路口的左轉輔助車道等待左轉並非路口淨空違規，狀態由
Idle(n-1)移轉至Idle(nL)，如圖Blue狀態Idle(nL)。其中，L-turn Lane=1的辨識，是以車輛進入路口區域之後，連續擷取影像判斷L-turn Lane的狀態。
當車輛狀態進入Idle(n-1)(如圖中Stay n-1狀態)後，如果車輛在路口區域之中(Geo-inint=1)、車輛怠速中(idle=1)且車輛未在左轉輔助車道之中(L-turn Lane=0)，則表示車輛停在路口且非左轉輔助車道的區域，即違反路口淨空的規則，狀態由Idle(n-1)進入Idle(nI)，如圖Red狀態Idle(nI)，此時便觸發了違反路口淨空事件。其中，L-turn Lane=1的辨識，是以車輛進入路口區域之後，連續擷取影像判斷L-turn Lane的狀態。
另一方面，當車輛在Blue狀態Idle(nL)或Red狀態Idle(nI)時，若發生車輛已不在路口區域中(Geo-inint=0)，表示車輛已經離開路口區域，則重新回到初始狀態，如圖狀態移轉trans 2。
最後，與該狀態判斷模組連接的事件處理模組可依據該狀態判斷模組的判斷結果定義至少一事件，並傳送事件通知至電子裝置以告之駕駛人，同時將該些事件儲存於資料庫中。關於事件的定義可參照下表二：
進一步而言，事件儲存是將事件資訊儲存至資料庫的機制；事件通知的機制，則是對外連線至Google Gmail或Google FCM兩項服務，以電子郵件或Firebase Cloud Message通知使用者。
另外，本實施例之車載偵測系統還可相容於外部系統進行輔助，Google Gmail(事件以電子郵件通知時使用)或Google FCM(事件以Google Firebase Cloud Message的服務傳送至手機時使用)主要是提供事件通知的機制，而GIS Service則是提供電子地理圖資服務，如Google Maps或OpenStreepMaps等GIS服務(事件地理位置查詢使用)。
在本實施例中，電子裝置更包含一應用程式，該應用程式包含使用者介面、車輛即時監控介面、事件查詢介面及、車輛歷史軌跡介面及系統設定介面。使用者介面規劃以響應式網頁設計(Responsive Web Design,RWD)的方式規劃並實作系統使用者介面，使單一系統之使用者介面能提供智慧型手機、平板及個人電腦等不同裝置解析度的使用者介面。在系統登入後顯示選單按鈕，點擊選單按鈕後將顯示選單，提供使用者進一步選擇其他功能，選單之中提供地圖監控、總表監控、事件查詢、歷史軌跡、系統設定與系統登出之功能。
其中，車輛即時監控的部分，將以電子地理圖資系統顯示車輛目前所在的即時位置與車輛狀態，電子地理圖資系統(Graph Information System,GIS)將以Google Maps或Open Street Maps實現，車輛狀態分為行駛中、怠速、違規與斷訊。甚者，違規狀態還可再細分為違規迴轉、違規左(右)轉、路口淨空違規、車域違規與超速違規。
事件查詢提供使用者檢視與查詢的功能，「檢視」可提供當日即時事件資訊，點擊任一事件可顯示事件詳細資訊；「查詢」提供歷史事件查詢，以日期、時間進行查詢。歷史軌跡的功能包含歷史軌跡查詢與歷史軌跡播放，歷史軌跡查詢將根據開始日期時間、結束日期時間與車號調閱指定車輛的歷史軌跡，並以電子地圖的方式顯示；歷史軌跡播放的部分，提供使用者可以撥放、停止與回到最原點三種功能。系統設定提供公司基本資訊、速限與車域區域的設定，登出則是提供使用者登出應用程式。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即依本發明申請專利範圍及說明內容所作之簡單變化與修飾，皆仍屬本發明涵蓋之範圍內。
1:偵測系統
10:電子裝置
12:偵測模組
122:影像偵測單元
124:狀態偵測單元
126:定位單元
14:處理模組
142:計算單元
144:偵測模組控制單元
146:傳輸模組控制單元
16:傳輸模組
162:資訊收發單元
164:通訊控制單元
20:伺服器
22:狀態判斷模組
222:狀態判斷單元
224:號識辨識單元
226:車道辨識單元
228:違規偵測單元
24:事件處理模組
26:資料庫
Claims (5)
- 一種用於車輛的偵測系統，包括：一電子裝置，包含有，一偵測模組，包含：一影像偵測單元，取得至少一影像資訊；一狀態偵測單元，取得該車輛的一運動狀態資訊；以及一定位單元，取得該車輛的一定位資訊；一處理模組，與該偵測模組連接，該處理模組包含：一計算單元，依據該定位資訊計算該車輛的車速；以及一模組控制單元，包含有一偵測模組控制單元及一傳輸模組控制單元；以及，一傳輸模組，與該偵測模組和該處理模組連接，該傳輸模組包含一影像收發單元及一文字收發單元，該影像收發單元傳送該至少一影像資訊，該文字收發單元傳送該運動狀態資訊及該定位資訊；其中，該偵測模組控制單元定期儲存該至少一影像資訊、該運動狀態資訊及該定位資訊，該傳輸模組控制單元依據該車輛的車速，動態控制該傳輸模組的傳送速率；其中，動態控制係該傳輸模組傳送該至少一影像資訊的速率隨著該車輛的車速增加；以及，一伺服器，與該電子裝置連接，該伺服器包含：一狀態判斷模組，包含有，一狀態判斷單元，依據該運動狀態資訊判斷該車輛的運動狀態； 一號誌辨識單元，辨識該至少一影像資訊是否包含交通號誌，其中該號誌辨識單元是以一人工智慧深度卷積神經網絡(Convolutional Neural Network,CNN)技術辨識該至少一影像資訊；一車道辨識單元，依據該至少一影像資訊，辨識該車輛是否駛入輔助車道；以及，一違規偵測單元，依據該車輛的運動狀態和該至少一影像資訊，判斷該車輛是否違規駕駛；一事件處理模組，與該狀態判斷模組連接，該事件處理模組係依據該狀態判斷模組的判斷結果定義至少一事件；以及，一資料庫，與該事件處理模組連接，該資料庫儲存該至少一事件。
- 如請求項1所述之偵測系統，其中該傳輸模組更包含有一通訊控制單元控制該電子裝置和該伺服器的連線開關。
- 如請求項1所述之偵測系統，其中該電子裝置更包含有一應用程式，該應用程式包含使用者介面、車輛即時監控介面、事件查詢介面、車輛歷史軌跡介面及系統設定介面。
- 如請求項1所述之偵測系統，其中該人工智慧深度卷積神經網絡技術係以該至少一影像資訊為樣本輸入神經網絡進行訓練，經過訓練後產出模型，再以模型辨識該至少一影像資訊是否包含交通號誌。
- 一種用於車輛的違規偵測方法，包含：a.依據一地理圖資系統判斷該車輛是否位於路口區域；b.依據該車輛的車速判斷是否處於怠速狀態； c.即時偵測該車輛行駛路徑的至少一影像資訊，並依據該至少一影像資訊判斷該車輛行駛於一般車道或輔助車道，該判斷方法包含：c1.將該至少一影像資訊的RGB影像轉換為灰階影像；c2.透過膨脹型變應用，使得該至少一影像資訊中一車道的車道線得以連接；c3.透過收縮型變應用，使得已經連接的該車道線得以明顯形成線條c4.透過透視變換應用，使得偵測的該車道明顯呈現於該至少一影像；c5.透過霍夫線段應用，辨識該至少一影像中的該車道；c6.於該車道兩條線上取至少一點並求該至少一點的斜率，若斜率持續不變，表示該車輛行駛於一般車道；若斜率發生變化，則表示該車輛行駛於輔助車道；以及，d.依據該車輛是否位於路口區域、該車輛是否處於怠速狀態與該車輛是否進入輔助車道，判斷該車輛是否違規。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110124643A TWI824265B (zh) | 2021-07-05 | 2021-07-05 | 用於車輛的偵測系統與違規偵測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110124643A TWI824265B (zh) | 2021-07-05 | 2021-07-05 | 用於車輛的偵測系統與違規偵測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202303539A TW202303539A (zh) | 2023-01-16 |
| TWI824265B true TWI824265B (zh) | 2023-12-01 |
Family
ID=86657956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110124643A TWI824265B (zh) | 2021-07-05 | 2021-07-05 | 用於車輛的偵測系統與違規偵測方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI824265B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080211689A1 (en) * | 2005-11-02 | 2008-09-04 | Fujitsu Limited | Illegal-parking-management portable terminal, illegal-parking management method and computer program product |
| CN103985253A (zh) * | 2014-05-26 | 2014-08-13 | 北京易华录信息技术股份有限公司 | 一种快速发现信号灯控制的路口内异常停车的***及方法 |
| CN105632182A (zh) * | 2016-01-27 | 2016-06-01 | 福建工程学院 | 一种车辆违规行为举证的方法及其*** |
| CN105957347A (zh) * | 2016-06-16 | 2016-09-21 | 大连海事大学 | 一种基于导航行车记录仪的车辆违章掉头检测方法 |
| TWM549179U (zh) * | 2017-04-27 | 2017-09-21 | 嶺東科技大學 | 車輛標誌標線違規警示系統 |
| TW201800289A (zh) * | 2016-06-17 | 2018-01-01 | 中華電信股份有限公司 | 針對事故的駕駛行為分析系統及方法 |
| CN112927504A (zh) * | 2021-01-26 | 2021-06-08 | 遥相科技发展(北京)有限公司 | 一种基于大数据的交通违章确认方法及*** |
| TW202125459A (zh) * | 2019-12-27 | 2021-07-01 | 財團法人工業技術研究院 | 號誌辨識系統及其方法 |
-
2021
- 2021-07-05 TW TW110124643A patent/TWI824265B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080211689A1 (en) * | 2005-11-02 | 2008-09-04 | Fujitsu Limited | Illegal-parking-management portable terminal, illegal-parking management method and computer program product |
| CN103985253A (zh) * | 2014-05-26 | 2014-08-13 | 北京易华录信息技术股份有限公司 | 一种快速发现信号灯控制的路口内异常停车的***及方法 |
| CN105632182A (zh) * | 2016-01-27 | 2016-06-01 | 福建工程学院 | 一种车辆违规行为举证的方法及其*** |
| CN105957347A (zh) * | 2016-06-16 | 2016-09-21 | 大连海事大学 | 一种基于导航行车记录仪的车辆违章掉头检测方法 |
| TW201800289A (zh) * | 2016-06-17 | 2018-01-01 | 中華電信股份有限公司 | 針對事故的駕駛行為分析系統及方法 |
| TWM549179U (zh) * | 2017-04-27 | 2017-09-21 | 嶺東科技大學 | 車輛標誌標線違規警示系統 |
| TW202125459A (zh) * | 2019-12-27 | 2021-07-01 | 財團法人工業技術研究院 | 號誌辨識系統及其方法 |
| CN112927504A (zh) * | 2021-01-26 | 2021-06-08 | 遥相科技发展(北京)有限公司 | 一种基于大数据的交通违章确认方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202303539A (zh) | 2023-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941887B2 (en) | Scenario recreation through object detection and 3D visualization in a multi-sensor environment | |
| US10540554B2 (en) | Real-time detection of traffic situation | |
| EP3944213A2 (en) | Method and apparatus of controlling traffic, roadside device and cloud control platform | |
| EP4152204A1 (en) | Lane line detection method, and related apparatus | |
| US11993291B2 (en) | Neural networks for navigation of autonomous vehicles based upon predicted human intents | |
| US20220343758A1 (en) | Data Transmission Method and Apparatus | |
| KR20210013216A (ko) | 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체 | |
| WO2016010818A1 (en) | Image modification | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN113033463A (zh) | 减速带检测方法、装置、电子设备及存储介质 | |
| CN113221756A (zh) | 交通标志检测方法及相关设备 | |
| CN117015792A (zh) | 有凹图像放大用于自动驾驶生成物体检测标签的***和方法 | |
| Ghahremannezhad et al. | Automatic road detection in traffic videos | |
| CN113742440B (zh) | 道路图像数据处理方法、装置、电子设备及云计算平台 | |
| KR102625000B1 (ko) | 딥러닝 기반의 자동차 번호판 인식 방법 및 그 시스템 | |
| TWI824265B (zh) | 用於車輛的偵測系統與違規偵測方法 | |
| CN113902047B (zh) | 图像元素匹配方法、装置、设备以及存储介质 | |
| CN105574499B (zh) | 一种基于soc的人数检测统计方法及*** | |
| Dutta et al. | Smart usage of open source license plate detection and using iot tools for private garage and parking solutions | |
| Gowtham et al. | An Investigation Approach used for Pattern Classification and Recognition of an Emergency Vehicle | |
| Muhammad | Detection parking Spaces by using the ResNet50 Algorithm | |
| CN118038397B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20240233387A1 (en) | Scenario recreation through object detection and 3d visualization in a multi-sensor environment | |
| Hayawi et al. | Detection parking Spaces by using the ResNet50 Algorithm | |
| Zhang et al. | Collision Risk Warning Model for Construction Vehicles Based on YOLO and DeepSORT Algorithms |