TWI841054B

TWI841054B - 道路散落物警報系統及方法

Info

Publication number: TWI841054B
Application number: TW111143688A
Authority: TW
Inventors: 吳奇峰
Original assignee: 英業達股份有限公司
Priority date: 2022-11-16
Filing date: 2022-11-16
Publication date: 2024-05-01

Abstract

道路散落物警報方法包括運算裝置執行的下列步驟：取得拍攝道路的影片，取得影片中關聯於道路的第一像素，輸入影片至移動物件偵測模型取得影片中移動物件的第二像素，輸入影片至固定物件分割模型以指定影片的每個原始像素為固定物件或非固定物件，執行減法運算得到多個候選像素，即從第一像素中扣除屬於第二像素的部分及屬於固定物件的部分，依據候選像素產生一或多個散落物區塊，並判斷每個散落物區塊的面積是否大於第一閾值，當面積大於第一閾值時，判斷這些散落物區塊在影片中的存在時間，當存在時間大於第二閾值時，發送警報訊號。

Description

道路散落物警報系統及方法

本發明係關於影像中的物件偵測，特別是一種道路散落物警報系統及方法。

傳統道路散落物的偵測，目前主要的方式大部份是透過收集散落物的照片，將其標註為散落物的類別，利用深度學習物件偵測的演算法，訓練出偵測散落物的模型來偵測散落物所在的位置，而後發出警報。

然而，上述方式的缺點包括以下兩點：其一是道路散落物的資料很難收集，需要收集很多道路發生事故時的影片，並且分析事故是否由散落物引起，再從影片中擷取照片作為訓練資料。其二是可以作為道路散落物的種類實在太多，無法每種都收集到並訓練模型來學習。一個折衷的辦法是先針對常見的散落物收集資料並訓練模型來偵測，然後佈署到道路案場，再針對沒偵測到或誤偵測到的散落物持續學習。但是這種方式仍然需要花費大量時間和人力才能得到一個大部份道路散落物都能偵測到的模型。

鑒於上述，本發明提供一種道路散落物警報系統及方法。

依據本發明一實施例的一種道路散落物警報方法，包括以運算裝置執行：從攝像裝置取得對道路拍攝而產生的影片，影片具有多個原始像素；取得影片中關聯於道路的第一外框，第一外框內部具有多個第一像素；輸入影片至移動物件偵測模型，以取得影片中移動物件的第二外框，第二外框內部具有多個第二像素；輸入影片至固定物件分割模型，以指定每個原始像素屬於固定物件或非固定物件；執行減法運算得到多個候選像素，其中減法運算是從第一像素中扣除屬於第二像素的部分，並扣除屬於固定物件的部分；依據候選像素產生一或多個散落物區塊，並判斷每個散落物區塊的面積是否大於第一閾值；當面積大於第一閾值時，判斷這些散落物區塊在影片中的存在時間是否大於第二閾值；當存在時間大於第二閾值時，發送警報訊號。

依據本發明一實施例一種道路散落物警報系統，包括攝像裝置、儲存裝置及運算裝置。攝像裝置用於對道路拍攝而產生影片，影片具有多個原始像素。儲存裝置用於儲存移動物件偵測模型、固定物件分割模型及多個指令。運算裝置電性連接攝像裝置及儲存裝置。運算裝置讀取儲存裝置並執行指令，這些指令包括：取得影片中關聯於道路的第一外框，第一外框內部具有多個第一像素；輸入影片至移動物件偵測模型，以取得影片中移動物件的第二外框，第二外框內部具有多個第二像素；輸入影片至固定物件分割模型，以指定每個原始像素屬於固定物件或非固定物件；執行減法運算得到多個候選像素，其中減法運算是從第一像素中扣除屬於第二像素的部分，並扣除屬於固定物件的部分；依據候選像素產生一或多個散落物區塊，並判斷每個散落物區塊的面積是否大於第一閾值；當面積大於第一閾值時，判斷這些散落物區塊在影片中的存在時間是否大於第二閾值；以及當存在時間大於第二閾值時，發送警報訊號。

綜上所述，本發明提出的道路散落物警報系統及方法，可以減少訓練模型時所需訓練資料的資料量，也不需要納入各式各樣的散落物圖像進行訓練便能夠實現道路散落物的偵測，而且本方法不會占用過多的運算資源，可以與現有的移動物件偵測模型在同一個處理器上並行運作，因此在增加道路散落物警報功能的同時又不會增加額外的硬體成本，可謂是具有經濟效益的道路散落物偵測系統及方法。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

圖1是依據本發明一實施例所繪示的道路散落物警報系統的方塊圖。如圖1所示，道路散落物警報系統100包括攝像裝置10、儲存裝置20以及運算裝置30。

攝像裝置10用於對道路拍攝而產生影片，影片中的每個訊框（frame）具有多個原始像素（pixel）。圖2是影片中一訊框的示意圖。此訊框中包含一感興趣區域（region of interest, ROI)，ROI標示了畫面中屬於道路的部分。後文中將此ROI稱為第一外框。

儲存裝置20用於儲存一移動物件偵測模型、一固定物件分割模型及多個指令。在一實施例中，儲存裝置20例如是下列範例中的一者：快閃記憶體、唯讀記憶體、磁性記憶體或其他非揮發性儲存媒介，本發明不限制儲存裝置20的硬體類型。移動物件偵測模型用於偵測影片中的移動物件。所述移動物件包括但不限於下列範例：汽車、行人、巴士、機車及卡車。固定物件分割模型用於判斷影片中的每個像素屬於固定物件或非固定物件。所述固定物件包括但不限於下列範例：道路的路面、道路的標線及道路周圍的電線桿。在一實施例中，儲存裝置20可採用快閃記憶體、唯讀記憶體、磁性記憶體或其他非揮發性儲存媒介，本發明不限制儲存裝置的硬體類型。

運算裝置30電性連接攝像裝置10及儲存裝置20。運算裝置30讀取儲存裝置20並執行其中儲存的多個指令。為清楚說明這些指令對應的操作及其細節，請參考圖3。在一實施例中，運算裝置可採用下列範例中的一或數者進行實作：中央處理器單元（central processor unit，CPU）、微控制器（microcontroller，MCU）、應用處理器（application processor，AP）、現場可程式化閘陣列（field programmable gate array，FPGA）、特殊應用積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、系統晶片（system-on-a-chip，SOC）、深度學習加速器（deep learning accelerator），或是任何用於執行所述多個指令的電子裝置。

圖3是依據本發明一實施例所繪示的道路散落物警報方法的流程圖，包括步驟S1至S9。

在步驟S1中，運算裝置30從從攝像裝置10取得對道路拍攝而產生的影片。在步驟S1完成後，步驟S2至步驟S4可以被先後或同時執行，本發明對此不予限制。

在步驟S2中，運算裝置30取得影片中關聯於道路的第一外框，其中第一外框內部具有多個第一像素。第一外框的範例請參考圖2中標示為B1的道路。

在步驟S3中，運算裝置30輸入影片至移動物件偵測模型，以取得影片中移動物件的第二外框，其中第二外框內部具有多個第二像素。實務上，移動物件用於偵測到路上的汽車、行人、巴士、機車及卡車等會移動的物件。本發明不限制移動物件偵測模型所採用的演算法。在圖2中，標示為C1的汽車以及標示為P1的行人為所述移動物件的範例。而第二外框則是上述移動物件的邊緣部分。

在步驟S4中，運算裝置30輸入影片至固定物件分割模型，以指定每個原始像素的屬於固定物件或非固定物件。

在一實施例中，移動物件偵測模型的運作週期小於固定物件分割模型的運作週期。因為道路上經常會出現移動的車輛，但並不會經常出現掉落在道路上處於靜止（固定）狀態的散落物。因此相較於需要頻繁運作（例如每秒一次）的移動物件偵測模型，固定物件分割模型可以採用較長的運作週期（如每五分鐘）。這樣也可以節省運算裝置30的算力以及電力消耗。

在一實施例中，固定物件分割模型是事先訓練而得。詳言之，在步驟S4輸入影片至固定物件分割模型之前，本發明提出的道路散落物警報方法更包括下列步驟：以儲存裝置20儲存關聯於道路的多個訓練用影片，以及以運算裝置30讀取儲存裝置20，以依據這些訓練用影片執行一圖像分割（Image Segmentation）演算法，從而訓練出固定物件分割模型。所述圖像分割包括語義分割（Semantic Segmentation）及實例分割（Instance Segmentation）。而本發明採用的是語義分割，可將圖像中的所有像素點進行分類。詳言之，圖像分割演算法用於在這些訓練用影片中分割得到固定不變的多個物件，這些物件包括道路的路面、道路的標線及道路周圍的電線桿中的至少一者。

在步驟S2至步驟S4皆完成後，運算裝置30繼續執行步驟S5。

在步驟S5中，運算裝置30執行減法運算得到多個候選像素，其中減法運算是從多個第一像素中扣除屬於那些第二像素的部分，並扣除屬於固定物件的部分。在實際世界中，道路散落物的種類太多，不可能收集到所有可能的散落物圖片再輸入至物件辨識模型進行訓練。因此，發明人採用反向思考的概念，先透過第一外框B1限制影片中屬於道路的範圍，再扣掉上面可能出現的車輛、行人等移動物件。經過上述減法運算之後，所得到的候選像素理論上就是道路散落物。然而為了進一步確認減法運算所得到的候選像素是否真的代表散落物，發明人還提出步驟S6至步驟S8的流程進一步驗證。

在步驟S6中，運算裝置30依據候選像素產生一或多個散落物區塊。散落物的範例可參考圖2的G1及G2。詳言之，由於道路上可能不只一個散落物，因此運算裝置30可執行任一個用於偵測物件邊緣的演算法來實現本步驟S6。

在步驟S7中，運算裝置30判斷每個散落物區塊的面積是否大於第一閾值。若步驟S7的判斷為「否」，代表散落物的大小不足以影響到交通。因此可返回步驟S1，等待下一次的偵測。反之，若步驟S7的判斷為「是」，則繼續執行步驟S8。在一實施例中，步驟S7的實施方式為：運算裝置30計算每個散落物區塊的像素的數量作為該面積。在另一實施例中，運算裝置30依據每個散落物區塊的每一者產生多邊形，再依據多邊形的邊長計算多邊形面積作為散落物區塊的面積。本發明不特別限制散落物區塊的面積的計算方式。

在步驟S8中，運算裝置30判斷每個散落物區塊的存在時間是否大於第二閾值。換言之，散落物區塊停留在同一區域的時間是否足夠久。若步驟S8的判斷為「否」，代表先前偵測到的候選像素可能是誤判，因此可返回步驟S1，等待下一次的偵測。反之，若步驟S8的判斷為「是」，代表

畫面ROI中非道路且非道路變動的物件的像素的「面積夠大」且「停在同一區域夠久」，因此可斷定該候選像素所代表的物件為道路上的散落物，並繼續執行步驟S9。另需提到的是，本發明並不限制第一閾值及第二閾值的數值設定，實務上可根據不同的道路狀況，車流量，常見會影響交通的散落物尺寸而決定第一閾值和第二閾值的數值設定。

在步驟S9中，運算裝置30發送警報訊號。藉此通知相關人員前往排除道路散落物，以維護交通安全。

為了讓一般設置在道路的機器（運算裝置30）除了一般的事件（移動物件）偵測，也有辦法偵測散落物。在維持原有車輛偵測的模型（移動物件偵測模型）運作而且不影響正常偵測事件的前提下，本發明提出的方法可週期性用圖像分割的方式偵測道路，將ROI（第一外框）中屬於道路的部份（固定物件）扣除另一物件偵測模型所偵測到的部分（第二外框），並且將剩餘部份的像素（候選像素）用電腦視覺（computer vision）相關的演算法找出外框（散落物區塊）。並增加額外的散落物區塊判斷機制：若散落物區塊的面積足夠大，且停在同一區域足夠久，即可判斷為散落物，並發出警報訊號。如此一來，既維持了原本機器的偵測功能，也提供了在散落物發生一定時間內會發出告警的功能。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

100:道路散落物警報系統

10:攝像裝置

20:儲存裝置

30:運算裝置

B1:第一外框

C1:第二外框

G1, G2:散落物

S1~S9:步驟

P1:行人

圖1是依據本發明一實施例所繪示的道路散落物警報系統的方塊圖；圖2是影片的某時間點的第一外框的示意圖；以及圖3是依據本發明一實施例所繪示的道路散落物警報方法的流程圖。

S1~S9:步驟

Claims

一種道路散落物警報方法，包括以一運算裝置執行：從一攝像裝置取得對道路拍攝而產生的影片，其中該影片具有多個原始像素；取得該影片中關聯於該道路的第一外框，其中該第一外框內部具有多個第一像素；輸入該影片至一移動物件偵測模型，以取得該影片中一移動物件的第二外框，其中該第二外框是該移動物件的邊緣部分，且該第二外框內部具有多個第二像素；輸入該影片至一固定物件分割模型，以指定該些原始像素的每一者屬於固定物件或非固定物件；執行一減法運算得到多個候選像素，其中該減法運算是從該些第一像素中扣除屬於該些第二像素的部分，並扣除屬於該固定物件的部分；依據該些候選像素產生一或多個散落物區塊，並判斷該一或多個散落物區塊的每一者的面積是否大於第一閾值；當該面積大於該第一閾值時，判斷該一或多個散落物區塊在該影片中的存在時間是否大於第二閾值；以及當該存在時間大於該第二閾值時，發送警報訊號。
如請求項1所述的道路散落物警報方法，其中該移動物件偵測模型的運作週期小於該固定物件分割模型的運作週期。
如請求項1所述的道路散落物警報方法，其中該移動物件包括：汽車、行人、巴士、機車及卡車中的至少一者；在輸入該影片至該固定物件分割模型之前，更包括：以儲存裝置儲存關聯於該道路的多個訓練用影片；以及以該運算裝置讀取該儲存裝置，以依據該些訓練用影片執行一圖像分割演算法，從而訓練出該固定物件分割模型，其中該圖像分割演算法用於在該些訓練用影片中分割得到固定不變的多個物件；該些物件包括該道路的路面、該道路的標線及該道路周圍的電線桿中的至少一者。
如請求項1所述的道路散落物警報方法，其中判斷該一或多個散落物區塊的每一者的面積是否大於該第一閾值包括：以該運算裝置計算該一或多個散落物區塊的每一者的像素的數量作為該面積。
如請求項1所述的道路散落物警報方法，其中判斷該一或多個散落物區塊的每一者的面積是否大於該第一閾值包括：以該運算裝置依據該一或多個散落物區塊的每一者產生一多邊形；以及以該運算裝置依據該多邊形的邊長計算一多邊形面積作為該面積。
一種道路散落物警報系統，包括：攝像裝置，用於對道路拍攝而產生影片，其中該影片具有多個原始像素；儲存裝置，用於儲存一移動物件偵測模型、一固定物件分割模型及多個指令；以及運算裝置，電性連接該攝像裝置及該儲存裝置，該運算裝置讀取該儲存裝置並執行該些指令，該些指令包括：取得該影片中關聯於該道路的第一外框，其中該第一外框內部具有多個第一像素；輸入該影片至一移動物件偵測模型，以取得該影片中一移動物件的第二外框，其中該第二外框是該移動物件的邊緣部分，且該第二外框內部具有多個第二像素；輸入該影片至一固定物件分割模型，以指定該些原始像素的每一者屬於固定物件或非固定物件；執行一減法運算得到多個候選像素，其中該減法運算是從該些第一像素中扣除屬於該些第二像素的部分，並扣除屬於該固定物件的部分；依據該些候選像素產生一或多個散落物區塊，並判斷該一或多個散落物區塊的每一者的面積是否大於第一閾值；當該面積大於該第一閾值時，判斷該一或多個散落物區塊在該影片中的存在時間是否大於第二閾值；以及當該存在時間大於該第二閾值時，發送警報訊號。
如請求項6所述的道路散落物警報系統，其中該移動物件偵測模型的運作週期小於該固定物件分割模型的運作週期。
如請求項6所述的道路散落物警報系統，其中該移動物件包括：汽車、行人、巴士、機車及卡車中的至少一者；在輸入該影片至該固定物件分割模型之前，更包括：以儲存裝置儲存關聯於該道路的多個訓練用影片；以及以該運算裝置讀取該儲存裝置，以依據該些訓練用影片執行一圖像分割演算法，從而訓練出該固定物件分割模型，其中該圖像分割演算法用於在該些訓練用影片中分割得到固定不變的多個物件；該些物件包括該道路的路面、該道路的標線及該道路周圍的電線桿中的至少一者。
如請求項6所述的道路散落物警報系統，其中判斷該一或多個散落物區塊的每一者的面積是否大於該第一閾值包括：以該運算裝置計算該一或多個散落物區塊的每一者的像素的數量作為該面積。
如請求項6所述的道路散落物警報系統，其中判斷該一或多個散落物區塊的每一者的面積是否大於該第一閾值包括：以該運算裝置依據該一或多個散落物區塊的每一者產生一多邊形；以及以該運算裝置依據該多邊形的邊長計算一多邊形面積作為該面積。