TWM600873U

TWM600873U - 用於檢測道路破損之檢測系統

Info

Publication number: TWM600873U
Application number: TW109203029U
Authority: TW
Inventors: 游勳喬; 吳順德; 章皓鈞
Original assignee: 日陞空間資訊股份有限公司
Priority date: 2020-03-17
Filing date: 2020-03-17
Publication date: 2020-09-01

Abstract

本創作提供一種用於檢測道路破損之檢測系統，其包括：一GNSS-RTK 定位設備，用於接收與傳輸觀測資料；一移動載具，其包含：一影像擷取設備，用於擷取道路鋪面之影像；一GNSS-RTK移動設備，用以接收與傳輸該GNSS-RTK定位設備之觀測資料；一計算單元，資訊連接於該影像擷取設備與該GNSS-RTK移動設備，根據該影像辨別道路破損，並同時根據該觀測資料計算與儲存該GNSS-RTK移動設備瞬時座標，來達到精準定位來檢測及記錄道路破損。

Description

用於檢測道路破損之檢測系統

本創作係關於一種檢測道路破損之檢測系統，尤其是利用多衛星組合結合實時動態測量技術(Global Navigation Satellite System-Real Time Kinematic，GNSS-RTK)以及擷取影像方式，來檢測道路破損、紀錄破損座標位置以及預估破損之大小之系統。

道路是現今社會的物流命脈，也是與人民日常通勤息息相關的，因此路面的平整與否不僅會對經濟有所影響，也對人民的交通安全有重大的關係。但是道路使用久了，破損的產生是無可避免的，而目前國內道路維護多為定期派遣工程車檢測與人民通報等方式，但此方式甚為花費人力與時間，此外每個人對於道路破損判斷標準皆有不同，因此希望借助科技以達到客觀的判斷。

隨著科技的發展，AI領域逐漸地成熟，深度學習已經運用在許多領域上，像是：癌症診斷、設備診斷、金融營銷等，但是目前還未使用於路面檢測，透過深度學習取得影像中物件的細微特徵，為分析路面破損有更加精確的方式。

目前巡查車輛係於車上裝設有GPS定位裝置及攝影機，巡查人員可將巡查路線全程進行攝影，巡查過程中若發現道路破損，則可利用車上電腦即時將破損進行標定截取畫面，並利用GPS定位確認破損座標，透過無線傳輸將查報資訊傳至監控中心，由於使用人工判斷，因此有可能產生漏判、判斷錯誤的可能，若使用AI進行自動檢測，則可避免此問題，並且減少人力的花費；此外，因為GPS有受以下問題影響而導致在座標定位上會有較大的誤差。

一、大氣層影響：大氣層中的電離層和對流層對電磁波的折射效應，使得GPS信號的傳播速度發生變化，從而讓GPS信號產生延遲。

二、衛星星曆誤差：由於衛星運行中受到複雜的外力作用，而地面控制站和接收終端無法測定和掌握其規律，從而無法消除產生的誤差。

三、多路徑效應：GPS信號在不同的障礙物上反射後才被接收到，而使時間產生延遲。

由於上述因素，使GPS技術的應用在某種程度上受到了限制，為了達到一定的精度，在實際應用中往往會要求與地面控制站的距離不能太長(需小於10公里)。

此外，行駛於高架橋下方、隧道、地下停車場等有遮掩物的環境時，因無法即時獲得定位資訊，而造成無法定位等問題。

為解決上述之定位精準度不良之缺失以及辨別路面破損，本創作提供一種用於檢測道路破損之檢測系統，其包括：一GNSS-RTK定位設備，用於接收與傳輸觀測資料；一移動載具，其包含：一影像擷取設備，用於擷取道路鋪面之影像；一GNSS-RTK移動設備，用以接收與傳輸該GNSS-RTK定位設備之觀測資料；一計算單元，資訊連接於該影像擷取設備與該GNSS-RTK移動設備，根據該影像辨別道路破損，並同時根據該觀測資料計算與儲存該GNSS-RTK移動設備瞬時座標。

如上述之用於檢測道路破損之檢測系統，其中該移動載具更包括一慣性導航模組，資訊連接於該計算單元。

如上述之用於檢測道路破損之檢測系統，其中，該影像擷取設備包含至少一個攝影機。

如上述之用於檢測道路破損之檢測系統，其中該計算單元使用深度學習訓練模型來辨識影像中的路面是否有破損。

如上述之用於檢測道路破損之檢測系統，其中該深度學習訓練模型可包含區域卷積神經網路(Region-based Convolutional Neural Network，R-CNN)、快速區域卷積神經網路(Fast Region-based Convolutional Neural Network，Fast R-CNN)、更快速區域卷積神經網路(Faster Region-based Convolutional Neural Network，Faster R-CNN)、遮罩區域卷積神經網路模型之模型(Mask Region-based Convolutional Neural Network，Mask R-CNN)其中之一者。

如上述之用於檢測道路破損之檢測系統，其中該深度學習訓練模型可為YOLO(You Only Look Once)的檢測框架或單次多框偵測器(Single Shot Multibox Detector，SSD)的檢測框架。

如上述之用於檢測道路破損之檢測系統，其中該計算單元資訊連接於雲端或者網際網路，由該雲端替代該計算單元，根據該影像辨別道路破損，並同時根據該觀測資料計算與儲存該GNSS-RTK移動設備瞬時座標。

100:路面破損檢測之系統

101:移動載具

102:影像擷取裝置

103:GNSS-RTK移動設備

104:計算單元

105:慣性導航模組

200:GNSS-RTK定位設備

300:衛星

D:焦距至路面破損的距離

FL:焦距

IM:道路影像/路面破損大小

LC:左鏡頭

RC:右鏡頭

S:感光元件大小

圖1顯示為本創作路面破損檢測系統的示意圖。

圖2顯示為本創作GNSS-RTK技術之示意圖。

圖3顯示為本創作移動載具檢測時的示意圖。

圖4顯示為本創作計算單元之工作流程圖。

圖5顯示為本創作Mask R-CNN模型之流程圖。

圖6顯示為本創作Mask R-CNN訓練模型之流程圖。

圖7顯示為本創作Mask R-CNN預測模型之流程圖。

圖8顯示為本創作GNSS-RTK技術之流程圖。

圖9顯示為本創作破損大小計算方法之示意圖。

圖10顯示為本創作雙鏡頭測距之示意圖。

本創作之實施方式將於下文中，參照本創作的理想實施方式的示意圖來進行描述。該等圖示中的形狀、設置方式會因製造技術、設計及/或公差而有所不同。因此，本創作文中所說明的實施方式不應被視為是用來將本創作結構侷限在特定的元件或形狀，其應包含任何因製作所造成在形狀方面的差異。

請參閱圖1之路面破損檢測之系統100的示意圖，如圖所示，當移動載具101在道路上進行檢測道路是否有破損，其較為深色的區域為路面破損檢測的範圍，其中該檢測範圍為不限定，因此360度檢測道路也是可行的。

請參閱本創作圖2之GNSS-RTK技術之示意圖，如圖所示，GNSS-RTK技術包含：複數個衛星300，以及地面上設有複數個定點的GNSS-RTK定位設備200(為方便敘述，只用單個圖示)與設置於移動載具101上的GNSS-RTK移動設備103，其中該GNSS-RTK定位設備200最佳設置為架設在已知高精度座標的點位上，也就是作為能接收複數個衛星300所傳送的觀測資料，以及透過無線電設備的傳輸，將該GNSS-RTK定位設備200的觀測資料傳送給該GNSS-RTK移動設備103，因此該GNSS-RTK移動設備103不限定設置於該移動載具101上方，而能接收該衛星300以及該GNSS-RTK定位設備200的觀測資料之設置位置即可，為方便理解下文之內容，此處只說明GNSS-RTK技術的連接關係，其關於GNSS-RTK技術的詳細流程將後述。

接著，請參閱本創作圖3之移動載具檢測時的示意圖，該行動載具101搭載影像擷取設備102，如：攝影機、GNSS-RTK移動設備103與計算單元104，其中該影像擷取設備102、該GNSS-RTK移動設備103與該計算單元104可/或為一體設置，該計算單元104資訊連接於該影像擷取設備102以及該GNSS-RTK移動設備103，首先，當該行動載具101於路面上遇到破損的路面時，由該影像擷取裝置102將檢測範圍內所接收之道路影像IM進行擷取，以及根據該GNSS-RTK移動設備103從該GNSS-RTK定位設備200所得到的觀測資料，接著同時將該道路影像IM以及該座標資料傳輸至該計算單元104進行道路影像IM辨別處理、紀錄當前座標、估測路面破損大小之處理程序。

接著，將對於路面破損檢測之系統100的步驟與方法的細節進行說明，首先，請參閱圖4計算單元104之工作流程圖，如圖所示，該計算單元104之處理流程共有5個步驟，其中根據不同的需求，流程圖中所示步驟的執行順序可以調整或者部分步驟可以省略。

步驟S101，該計算單元104從該影像擷取裝置102讀入擷取之路面影像IM。

步驟S102，根據檢測路面影像IM，該計算單元104利用深度學習模型進行快速且統一的辨別路面是否有破損，以下對於破損辨別的訓練與預測的模型進行說明，本創作最佳的深度學習模型配置為使用遮罩區域卷積神經網路模型(Mask Region based Convolutional Neural Network，Mask R-CNN)，當然也可使用習知的深度學習模型，如：區域卷積神經網路(Region based Convolutional Neural Network，R-CNN)、快速區域卷積神經網路(Fast Region based Convolutional Neural Network，Fast R-CNN)、更快速區域卷積神經網路(Faster Region based Convolutional Neural Network，Faster R-CNN)，或者使用YOLO(You Only Look Once)的檢測框架或單次多框偵測器(Single Shot Multibox Detector，SSD)的檢測框架進行影像辨識，請同時參閱圖5至圖7，圖5為本創作Mask R-CNN模型之流程圖，圖6為本創作Mask R-CNN訓練模型之流程圖，圖7為本創作Mask R-CNN檢測模型之流程圖。本實施例使用骨幹(Backbone)為殘差網路101(Residual Network 101，ResNet101)之Mask R-CNN訓練模型之流程圖進行檢測路面破損。

本創作Mask R-CNN模型之流程圖為一種物件檢測及實例分割(Instance Segmentation)模型，步驟S201，將影像輸入到一個預訓練好的卷積神經網絡中進行特徵提取，獲得對應的特徵圖(feature map)，步驟S202，使用區域候選網路(Region Proposal Network，RPN)在feature map提取出候選框(region proposals)，並以候選框分數篩選出準確度較高的感興趣區域(Region of interest，RoI)，步驟S203，使用RoI Align層提取這些RoI的特徵，步驟S204，對每個採樣的RoI定義一個多任務損失函數Loss Function=類別損失(Classification Loss)+邊框回歸損失(Bounding box regression Loss)+遮罩損失(Mask Loss)，其中訓練時，更快速區域卷積神經網路模型(Faster Region based Convolutional Neural Network，Faster R-CNN)分支與遮罩分支是分開並行訓練。使用Mask R-CNN模型進行檢測步驟與訓練相似，請參閱圖6與7，步驟S201至步驟S203與圖5皆相同，而不同於圖5的步驟S204，訓練時Faster R-CNN分支與遮罩分支是分開並行訓練，而預測時，先運行Faster R-CNN分支獲得步驟S203之RoI具體Classification(如：龜裂、坑洞等)與Bounding box後，再運行遮罩分支，來預測每個感興趣區域(RoI)上的分割蒙版，即可快速的檢測出破損類別，同時自動圈選出破損區域，並將破損圖片與破損訊息儲存於該計算單元104中。

請參閱圖4之計算單元104之工作流程圖步驟S103，運用GNSS-RTK技術獲取高精度的座標位置並記錄，請參閱圖8，並同時參閱圖2所示，其方法為：利用該GNSS-RTK定位設備200將已知該GNSS-RTK定位設備200的座標與載波相位觀測量等資料(接收觀測時瞬間自行產生的定位相位與該衛星300接收到的相位差)，透過通訊設備將該觀測資料即時傳送給該GNSS-RTK移動設備103，該GNSS-RTK移動設備103再經由OTF(On-the-Fly)週波未定值搜尋法快速解算週波未定值(該衛星300與該GNSS-RTK定位設備200之間的整數週波值為未知值，稱為週波未定值，其中，OTF泛指在移動的狀態下，正確求解週波未定值之演算法)，之後利用差分定位，再計算GNSS-RTK移動設備103的瞬時座標，意即GNSS-RTK移動設備103可以在純動態環境下求解週波未定值，另外，兩站之間距離越近，越能消除該GNSS-RTK定位設備200與該GNSS-RTK移動設備103間的共同性誤差，而週波未定值解算時間也越短，定位精度越高。

故使用GNSS-RTK技術，可以去除掉該GNSS-RTK移動設備103與該GNSS-RTK定位設備200間的共同誤差以及獲得該GNSS-RTK移動站之釐米級瞬時坐標，相對於GPS，其定位精度相對甚大，因此對於道路破損的地方更能精準定位，而不會發生施工人員在道路破損的座標上找不到破損路面的情況。

此外，本創作檢測道路破損之系統另具備慣性導航模組105(未圖示)，當行駛於高架橋下方、隧道、地下停車場等有遮掩物的環境時，GNSS定位精度大大的降低或是無法定位，使用該慣性導航模組105，即使在GNSS信號丟失的駕駛過程中也可以準確的定位，慣性導航技術使用陀螺儀用來形成一個導航坐標系，使加速度計的測量軸穩定在該坐標系中，並給出航向和姿態角；加速度計用來測量運動體的加速度，經過對時間的一次積分得到速度，速度再經過對時間的一次積分即可得到位移，如此一來，當GNSS信號丟失時，可以預測出即時的座標位置。

步驟S104，運用攝影測量預估破損大小IM，如圖9所示，藉由該影像擷取設備102的焦距FL與感光元件S正比於焦點至破損的距離D與路面破損大小IM，其中該影像擷取設備102與影像中路面距離由雙鏡頭(對應於圖10的左鏡頭LC與右鏡頭RC)測距得到，接著請參閱圖10，根據三角形相似定律：

，由式(1)解得方程式：

，

，可得像機距P之距離為

，其中f為相機焦距，P(x，z)為目標座標，此外焦距與感光元件長度為已知，因此可以計算得到破損之大小。

步驟S105，將破損圖片、破損座標與破損估算大小資訊彙整、儲存於該計算單元中104，以利道路破損管理，或者該計算單元中104資訊連接於雲端或者網際網路，該計算單元中104也可將該觀測資料、該道路影像IM上傳至雲端或者網際網路，由雲端或者網際網路代替該計算單元中104進行上述之深度學習對於影像辨別、訓練以及瞬時座標等計算儲存，更佳的是，可以做即時的管理，配合即時的管理系統，當附近有維修工程車，可以直接或者算出最佳的維修排定行程進行維修，因此可減少人力時間的付出，進而增加效率。

103:GNSS-RTK移動設備

200:GNSS-RTK定位設備

300:衛星

Claims

一種用於檢測道路破損之檢測系統，其包括：一GNSS-RTK(Global Navigation Satellite System-Real Time Kinematic)定位設備，用於接收與傳輸一觀測資料；一移動載具，其包含：一影像擷取設備，用於擷取一道路鋪面之影像；一GNSS-RTK移動設備，用以接收與傳輸該GNSS-RTK定位設備之觀測資料；一計算單元，資訊連接於該影像擷取設備與該GNSS-RTK移動設備，根據該影像辨別道路破損，並同時根據該觀測資料計算與儲存該GNSS-RTK移動設備瞬時座標。
如請求項1所述之檢測系統，其中該移動載具更包括一慣性導航模組，資訊連接於該計算單元。
如請求項1所述之檢測系統，其中該觀測資料為一載波相位觀測資料。
如請求項1所述之檢測系統，其中，該影像擷取設備包含至少一個攝影機。
如請求項1所述之檢測系統，其中該計算單元使用一深度學習訓練模型來辨識該道路鋪面之影像中的路面是否有破損。
如請求項5所述之檢測系統，其中該深度學習訓練模型可包含區域卷積神經網路(Region based Convolutional Neural Network，R-CNN)、快速區域卷積神經網路(Fast Region based Convolutional Neural Network，Fast R-CNN)、更快速區域卷積神經網路(Faster Region based Convolutional Neural Network，Faster R-CNN)、遮罩區域卷積神經網路模型之模型(Mask Region based Convolutional Neural Network，Mask R-CNN)其中之一者。
如請求項5所述之檢測系統，其中該深度學習訓練模型可為YOLO(You Only Look Once)的檢測框架或單次多框偵測器(Single Shot Multibox Detector，SSD)的檢測框架。
如請求項1所述之檢測系統，其中該計算單元資訊連接於雲端或者網際網路，由該雲端替代該計算單元，根據該影像辨別道路破損，並同時根據該觀測資料計算與儲存該GNSS-RTK移動設備瞬時座標。