TWI793901B - 煙霧偵測系統以及煙霧偵測方法 - Google Patents

Abstract

本發明提出一種煙霧偵測系統以及煙霧偵測方法。煙霧偵測系統包括攝影機、儲存單元以及處理器。攝影機取得當前影像以及先前影像。儲存單元儲存多個模組。處理器耦接攝影機，並且執行多個模組。處理器根據該當前影像以及該先前影像產生一差異影像。處理器將該當前影像以及差異影像輸入至語義分割模型，以使語義分割模型輸出煙霧信心地圖。煙霧信心地圖根據當前環境為暗環境或亮環境產生。處理器分析煙霧信心地圖，以判斷當前影像是否發生煙霧事件。

Description

煙霧偵測系統以及煙霧偵測方法

本發明是有關於一種偵測技術，且特別是有關於一種煙霧偵測系統以及煙霧偵測方法。

傳統的煙霧偵測系統通常是透過將攝影機設置於用於監控管線可能發生易燃性揮發性物質外洩的場景中，以使攝影機回傳當前場景影像至監控者，並透過監控者的人眼判斷方式進行監控。然而，由於監控場景可能隨著天氣或照明變化的影響，因此當煙霧受到不同環境光的不同色溫改變或煙霧濃淡變化等因素的影響時，人眼可能變得不易察覺煙霧的發生。甚至，基於煙霧的形狀可能為不固定、煙霧顏色可能為透明或半透明以及煙霧形狀可能為動態變化等諸如此類的因素影響，傳統的人眼煙霧偵測方法具有準確度及偵測效率不佳的問題。

本發明提供一種煙霧偵測系統以及煙霧偵測方法，可實現可靠的煙霧偵測功能。

本發明的煙霧偵測系統包括攝影機、儲存單元以及處理器。攝影機取得當前影像以及先前影像。儲存單元儲存多個模組。處理器耦接攝影機，並且執行多個模組，以進行以下操作：處理器根據當前影像以及先前影像產生差異影像；處理器將當前影像以及差異影像輸入至語義分割模型，以使語義分割模型輸出煙霧信心地圖，其中煙霧信心地圖根據當前環境為暗環境或亮環境產生；以及處理器分析煙霧信心地圖，以判斷當前影像是否發生煙霧事件。

本發明的煙霧偵測方法包括以下步驟：通過攝影機取得當前影像以及先前影像；通過處理器根據當前影像以及先前影像產生差異影像；通過處理器將當前影像以及差異影像輸入至語義分割模型，以使語義分割模型輸出煙霧信心地圖，其中煙霧信心地圖根據當前環境為暗環境或亮環境產生；以及通過處理器分析煙霧信心地圖，以判斷當前影像是否發生煙霧事件。

基於上述，本發明的煙霧偵測系統以及煙霧偵測方法，可透過影像分析的方式來偵測當前場景是否發生煙霧事件。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本揭示確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是本發明的一實施例的煙霧偵測系統的電路示意圖。參考圖1，煙霧偵測系統100包括處理器110、儲存單元120以及攝影機130。處理器110耦接儲存單元120以及攝影機130。在本實施例中，煙霧偵測系統100適於設置在工廠，以例如對工廠中的用於輸送易燃性揮發性物質的管線進行即時影像監控，但本發明的應用場景並不限於此。在本實施例中，攝影機130可持續性地取得影像，並且提供至處理器110進行影像處理及影像分析，以判斷當前場景是否發生煙霧事件。在本實施例中，處理器110以及儲存單元120可設置於雲端伺服器，並且攝影機130可通過通訊模組將影像提供至此雲端伺服器。然而，在一實施例中，處理器110、儲存單元120以及攝影機130也可整合在單一設備中。

在本實施例中，處理器110可例如是中央處理器(Central Processing Unit，CPU)、微處理器(Microprocessor Control Unit，MCU)或現場可程式閘陣列(Field Programmable Gate Array，FPGA)等諸如此類的處理電路或控制電路，並且本發明並不限於此。在本實施例中，儲存單元120可例如是記憶體(Memory)，並且用以儲存相關模組、影像資料以及相關軟體程式或演算法，以供處理器110存取並執行之。攝影機130可為CMOS影像感測器(CMOS Image Sensor，CIS)或感光耦合元件(Charge Coupled Device，CCD)的攝影機。

圖2是本發明的一實施例的煙霧偵測方法的流程圖。圖3是本發明的一實施例的影像處理的示意圖。參考圖1至圖3，煙霧偵測系統100可執行如以下步驟S210~S240來實現煙霧偵測功能。在本實施例中，儲存單元120可儲存如圖3所示的差異影像產生模組121、語意分割模型122、像素信心值判斷模組123以及煙霧警報判斷模組124。在步驟S210，煙霧偵測系統100可通過攝影機130取得當前影像302以及先前影像301。如圖3所示，假設在當前影像302的時間點，當前場景發生煙霧事件時，當前影像302中可包括煙霧影像3021。在步驟S220，煙霧偵測系統100可通過處理器110根據當前影像302以及先前影像301產生差異影像303。在本實施例中，處理器110可執行差異影像產生模組121，並且將當前影像302以及先前影像301輸入差異影像產生模組121，以使差異影像產生模組121輸出差異影像303。差異影像產生模組121可例如將當前影像302的多個像素值與先前影像301的多個像素值進行相減，以產生具有影像差異區域3031(對應於發生煙霧區域)的差異影像303，但本發明並不限於此，並且以下將由圖4實施例來詳細說明之。值得注意的是，差異影像303為一灰階影像。

在步驟S230，煙霧偵測系統100可通過處理器110將當前影像302以及差異影像303輸入至語義分割模型122，以使語義分割模型122輸出煙霧信心地圖304。在本實施例中，煙霧信心地圖304可根據當前環境為暗環境或亮環境產生，並且語義分割模型122所輸出的煙霧信心地圖304可為一種具有正常(無煙霧)及煙霧兩分類的信心值分布地圖，其中煙霧信心地圖304可為灰階影像。在本實施例中，語義分割模型122在訓練時期或執行時期將當前影像302中的紅(R)像素、綠(G)像素、藍(B)像素的顏色通道以及差異影像303的灰階像素通道作為四個通道的輸入資料，以使可學習判斷影像空間資訊以及判斷影像隨時間改變的動態差異變化資訊。在本實施例中，語義分割模型122可例如是基於BiSeNetV2語意分割模型修改擴展的，但本發明並不限於此。

在步驟S240，煙霧偵測系統100可通過處理器110分析煙霧信心地圖304，以判斷當前影像302是否發生煙霧事件。在本實施例中，處理器110可執行像素信心值判斷模組123，以根據像素信心閾值來判斷煙霧信心地圖304中具有像素信心值高於像素信心閾值的煙霧像素的煙霧像素數量，其中煙霧信心地圖304的區域3041中的每個像素即是煙霧像素。對此，處理器110可判斷煙霧像素數量是否高於煙霧像素閾值，以判斷當前影像302是否發生煙霧事件。並且，在一實施例中，處理器110還可搭配判斷煙霧信心地圖304中的煙霧像素分布，以透過判斷煙霧像素區域的面積是否大於面積閾值的方式來判斷當前影像302是否發生煙霧事件。

因此，處理器110可接續執行煙霧警報判斷模組124，以即時地偵測當前場景是否發生煙霧事件，並且相應地發出警報。在本實施例中，煙霧偵測系統100可輸出標記有煙霧區域3051的當前影像305至外部的顯示設備，以透過外部的顯示設備來即時地顯示發生煙霧事件的當前場景影像給場景監控者，以使場景監控者可有效掌握煙霧狀況。

圖4是本發明的一實施例的判斷當前環境的流程圖。參考圖1至圖4，上述圖2的步驟S220以及差異影像產生模組121所產生的差異影像303的方式還可採用如圖4的步驟S410~S440的判斷方式來產生。在步驟S410，煙霧偵測系統100可通過處理器110將當前影像302或先前影像301的平均綠色像素值(AVG_G)與平均藍色像素值(AVG_B)相減，以取得像素差值(AVG_G-AVG_B)。在步驟S420，煙霧偵測系統100可通過處理器110判斷像素差值(AVG_G-AVG_B)是否大於或等於像素閾值(AVG_TH)。

若像素差值大於或等於像素閾值(AVG_G-AVG_B≧AVG_TH)，在步驟S430，處理器110判斷當前環境為暗環境。處理器110可將當前影像302以及先前影像301進行sRGB色彩空間差值運算，並且可取得差異影像303。並且，處理器110可對應地將屬於暗環境的神經網路參數例如權重等提供至語義分割模型122，以使語義分割模型122可有效分析對應於暗環境的差異影像303。此外，在一實施例中，當前影像302以及先前影像301進行sRGB色彩空間差值運算後，處理器110還可對差異影像303進行影像侵蝕(Erosion)處理以及影像擴充(Dilation)處理的至少其中之一，以使可去除差異影像303中多餘較亮的小雜訊點。

在本實施例中，處理器110可例如對當前影像302以及先前影像301中的每一相對應的像素執行如以下公式(1)以及公式(2)的sRGB色彩空間差值運算，以取得差異影像303中的每一相對應的像素的像素值(灰階值)。在以下公式(1)中，參數

為差異影像303中一像素的一像素值(灰階值)。參數

為對當前影像302以及先前影像301中的一像素中的紅色子像素的像素差值的平方值。參數

為對當前影像302以及先前影像301中的一像素中的綠色子像素的像素差值的平方值。參數

為對當前影像302以及先前影像301中的一像素中的藍色子像素的像素差值的平方值。參數R1為當前影像302中的一像素的紅色子像素的像素值。參數R2為先前影像301中的一像素的紅色子像素的像素值。

………公式(1)

………公式(2)

反之，若像素差值小於像素閾值(AVG_G-AVG_B＜AVG_TH)，在步驟S440，處理器110判斷當前環境為亮環境。處理器110可對當前影像302以及先前影像301分別進行影像暗通道(dark channel)計算，以產生當前暗通道影像以及先前暗通道影像。值得注意的是，本實施例的暗通道計算是指分別選擇當前影像302以及先前影像301中的每一個像素中的紅色子像素、綠色子像素以及藍色子像素中的最小值，並分別將其儲存至當前暗通道影像以及先前暗通道影像中的對應像素中。接著，處理器110可將當前暗通道影像的多個像素值以及先前暗通道影像的多個像素值進行相減，並濾除負值部分，以產生差異影像303。並且，處理器110可對應地將屬於亮環境的神經網路參數例如權重等提供至語義分割模型122，以使語義分割模型122可有效分析對應於亮環境的差異影像303。此外，在一實施例中，處理器110還可先對當前暗通道影像以及先前暗通道影像分別進行影像侵蝕(Erosion)處理後，再將經影像侵蝕處理後的當前暗通道影像的多個像素值以及經影像侵蝕處理後的先前暗通道影像的多個像素值進行相減，以使可去除差異影像303中多餘較亮的小雜訊點與細微結構。

因此，在本實施例中，煙霧偵測系統100可因應不同明暗的環境情況，來分別透過不同方式來產生差異影像303。因此煙霧偵測系統100可適應各種明暗變化的環境皆可提供有效且高可靠度的煙霧偵測功能。另外，在一實施例中，煙霧偵測系統100的處理器110可在透過攝影機130連續取得影像的過程中，例如每十張影像的區間執行上述步驟S410~S440的環境判斷，以使可長時間且有效地進行煙霧偵測。在其他實施例中，處理器110也可以是將平均紅色像素值(AVG_R)與平均藍色像素值(AVG_B)相減以取得像素差值(AVG_R-AVG_B)，並在像素差值(AVG_R-AVG_B)大於或等於像素閾值AVG_TH時判斷當前環境為暗環境，反之則判斷當前環境為亮環境。在另一實施例中，處理器110也可根據其他方法決定當前環境為暗環境或亮環境，例如根據CIELAB色彩空間的亮度值L*決定，其中例如可以是當亮度值L*小於一亮度閾值時判斷當前環境為暗環境，反之則判斷當前環境為亮環境。在又一實施例中，處理器110也可根據當前環境為暗環境或亮環境而對應地決定其他參數如像素信心閾值與煙霧像素閾值等，例如暗環境的像素信心閾值與亮環境的像素信心閾值可以是不同值。

圖5是本發明的一實施例的計算煙霧分數的示意圖。參考圖1以及圖5，上述圖2的步驟S240以及煙霧警報判斷模組124的煙霧警報的產生方式可透過計算煙霧分數的方式來實現。在本實施例中，煙霧偵測系統100的處理器110可執行煙霧警報模糊邏輯(Fuzzy logic)，煙霧警報模糊邏輯可為一種演算法並儲存在儲存單元120中。在本實施例中，煙霧偵測系統100可通過攝影機130連續取得多個影像。接著，煙霧偵測系統100可通過處理器110分析這些影像以產生多個煙霧信心地圖(如圖3所示的煙霧信心地圖304)。在本實施例中，處理器110可根據這些煙霧信心地圖以及煙霧警報模糊邏輯來判斷是否發生煙霧事件。

如圖5所示，在時間T1~T10之間，處理器110可對於時間T1~T10的多張當前影像分別進行分析以產生多張煙霧信心地圖，並且對此多張煙霧信心地圖進行像素信心值的判斷，以分別在時間T1~T10來計算煙霧分數Yn1~Yn10。舉例而言，在時間T1時Yn1=0故不發出煙霧警報，而在時間T1至時間T2之間，若處理器110判斷對應於時間T1的影像(先前影像)以及時間T2的影像(當前影像)的煙霧信心地圖中具有像素信心值高於像素信心閾值的煙霧像素的煙霧像素數量增加，則處理器110將煙霧分數Yn1提高至煙霧分數Yn2，但因此時Yn2未達到煙霧分數閾值Ys故不發出煙霧警報。當煙霧分數增加到煙霧分數閾值Ys時(例如在時間T3)，則處理器110才發出煙霧警報並可不再增加分數(維持在煙霧分數將維持在煙霧分數閾值Ys，例如在時間T4至時間T5)。反之，再舉例而言，在時間T5至時間T6之間，若處理器110判斷對應於時間T5的影像(先前影像)以及時間T6的影像(當前影像)的煙霧信心地圖中具有像素信心值高於像素信心閾值的煙霧像素的煙霧像素數量減少，則處理器110將煙霧分數Yn5下降至煙霧分數Yn6，但因此時Yn6未降到0故仍繼續發出煙霧警報，直到時間T10時Yn10降到0才停止發出煙霧警報。

如此一來，處理器110可定義在無煙霧警報時，當煙霧分數上升達到煙霧分數閾值Ys時，煙霧警報判斷模組124才發出煙霧警報。在有煙霧警報時，當煙霧分數下降達到0時，煙霧警報判斷模組124才取消煙霧警報。因此，煙霧偵測系統100可實現可靠且平滑穩定的煙霧偵測功能，並且可有效避免誤判或頻繁切換煙霧警報狀態的情況發生。

綜上所述，本發明的煙霧偵測系統以及煙霧偵測方法，可透過即時影像監控的方式來有效地判斷攝影機所拍攝的當前場景是否發生煙霧事件。並且，本發明的煙霧偵測系統以及煙霧偵測方法，還可自動判斷當前場景為亮環境或暗環境，以使語義分割模型可進行適當的分析與處理，而可實現針對不同明暗環境的自適應性煙霧偵測功能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:煙霧偵測系統 110:處理器 120:儲存單元 121:差異影像產生模組 122:語義分割模型 123:像素信心值判斷模組 124:煙霧警報判斷模組 130:攝影機 301:先前影像 302、305:當前影像 3021:煙霧影像 303:差異影像 3031:影像差異區域 304:煙霧信心地圖 3041:區域 3051:煙霧區域 T1~T10:時間 S210~S240、S410~S440:步驟 Ys:煙霧分數閾值 Yn1~Yn10:煙霧分數

圖1是本發明的一實施例的煙霧偵測系統的電路示意圖。 圖2是本發明的一實施例的煙霧偵測方法的流程圖。 圖3是本發明的一實施例的影像處理的示意圖。 圖4是本發明的一實施例的判斷當前環境的流程圖。 圖5是本發明的一實施例的計算煙霧分數的示意圖。

S210~S240:步驟

Claims (20)

1. 一種煙霧偵測系統，包括：一攝影機，取得一當前影像以及一先前影像；一儲存單元，儲存多個模組；以及一處理器，耦接該攝影機，並且執行該些模組，以進行以下操作：該處理器根據該當前影像以及該先前影像產生一差異影像，其中該處理器還根據當前環境為暗環境或亮環境，分別透過不同方式產生該差異影像；該處理器將該當前影像以及該差異影像輸入至一語義分割模型，以使該語義分割模型輸出一煙霧信心地圖，其中該煙霧信心地圖是根據當前環境為該暗環境或該亮環境，分別透過不同方式所產生；以及該處理器分析該煙霧信心地圖，以判斷該當前影像是否發生一煙霧事件。
2. 如請求項1所述的煙霧偵測系統，其中該攝影機連續取得多個影像，並且該處理器分析該些影像以產生多個煙霧信心地圖，其中該處理器根據該些煙霧信心地圖以及一煙霧警報模糊邏輯來判斷是否發生該煙霧事件。
3. 如請求項1所述的煙霧偵測系統，其中該處理器將該當前影像的多個像素值與該先前影像的多個像素值進行相減，以產生該差異影像。
4. 如請求項1所述的煙霧偵測系統，其中該處理器根據一像素信心閾值來判斷該煙霧信心地圖中具有像素信心值高於該像素信心閾值的煙霧像素的一煙霧像素數量，並且該處理器判斷該煙霧像素數量是否高於一煙霧像素閾值，以判斷該當前影像是否對應發生該煙霧事件。
5. 如請求項1所述的煙霧偵測系統，其中該處理器將該當前影像或該先前影像的一平均綠色像素值與一平均藍色像素值相減，或是將該當前影像或該先前影像的一平均紅色像素值與一平均藍色像素值相減，以取得一像素差值，其中當該處理器判斷該像素差值大於或等於一像素閾值時，該處理器判斷當前環境為該暗環境，其中當該處理器判斷該像素差值小於該像素閾值時，該處理器判斷當前環境為該亮環境。
6. 如請求項1所述的煙霧偵測系統，其中當該處理器判斷該當前環境為該亮環境時，該處理器對該當前影像以及該先前影像分別進行一影像暗通道計算，以產生一當前暗通道影像以及一先前暗通道影像，並且該處理器將該當前暗通道影像的多個像素值以及該先前暗通道影像的多個像素值進行相減，以產生該差異影像。
7. 如請求項6所述的煙霧偵測系統，其中該處理器先對該當前暗通道影像以及該先前暗通道影像分別進行一影像侵蝕處理後，再將經該影像侵蝕處理後的該當前暗通道影像的該些像 素值以及經該影像侵蝕處理後的該先前暗通道影像的該些像素值進行相減，以產生該差異影像。
8. 如請求項1所述的煙霧偵測系統，其中當該處理器判斷該當前環境為該暗環境時，該處理器將該當前影像以及該先前影像進行一sRGB色彩空間差值運算，以取得該差異影像。
9. 如請求項1所述的煙霧偵測系統，其中該處理器將該當前影像中的紅(R)像素、綠(G)像素、藍(B)像素的顏色通道以及該差異影像的灰階像素通道作為四個通道的輸入資料輸入至該語義分割模型。
10. 如請求項1所述的煙霧偵測系統，其中該處理器以及該儲存單元設置於一雲端伺服器，並且該攝影機通過一通訊模組將該當前影像以及該先前影像提供至該雲端伺服器。
11. 一種煙霧偵測方法，包括：通過一攝影機取得一當前影像以及一先前影像；通過該處理器根據該當前影像以及該先前影像產生一差異影像，其中該處理器還根據當前環境為暗環境或亮環境，分別透過不同方式產生該差異影像；通過該處理器將該當前影像以及該差異影像輸入至一語義分割模型，以使該語義分割模型輸出一煙霧信心地圖，其中該煙霧信心地圖是根據當前環境為該暗環境或該亮環境，分別透過不同方式所產生；以及通過該處理器分析該煙霧信心地圖，以判斷該當前影像是否 發生一煙霧事件。
12. 如請求項11所述的煙霧偵測方法，還包括：通過該攝影機連續取得多個影像；通過該處理器分析該些影像以產生多個煙霧信心地圖；以及通過該處理器根據該些煙霧信心地圖以及一煙霧警報模糊邏輯來判斷是否發生該煙霧事件。
13. 如請求項11所述的煙霧偵測方法，其中產生該差異影像的步驟包括：通過該處理器將該當前影像的多個像素值與該先前影像的多個像素值進行相減，以產生該差異影像。
14. 如請求項11所述的煙霧偵測方法，其中判斷該當前影像是否發生該煙霧事件的步驟包括：通過該處理器根據一像素信心閾值來判斷該煙霧信心地圖中具有像素信心值高於該像素信心閾值的煙霧像素的一煙霧像素數量；以及通過該處理器判斷該煙霧像素數量是否高於一煙霧像素閾值，以判斷該當前影像是否發生該煙霧事件。
15. 如請求項11所述的煙霧偵測方法，其中根據該當前影像以及該先前影像產生該差異影像的步驟包括：通過該處理器將該當前影像或該先前影像的一平均綠色像素值與一平均藍色像素值相減，或是將該當前影像或該先前影像的一平均紅色像素值與一平均藍色像素值相減，以取得一像素差 值；當該處理器判斷該像素差值大於或等於一像素閾值時，通過該處理器判斷當前環境為該暗環境；以及當該處理器判斷該像素差值小於該像素閾值時，通過該處理器判斷當前環境為該亮環境。
16. 如請求項11所述的煙霧偵測方法，其中根據該當前影像以及該先前影像產生該差異影像的步驟還包括：當該處理器判斷該當前環境為該亮環境時，通過該處理器對該當前影像以及該先前影像分別進行一影像暗通道計算，以產生一當前暗通道影像以及一先前暗通道影像；以及通過該處理器將該當前暗通道影像的多個像素值以及該先前暗通道影像的多個像素值進行相減，以產生該差異影像。
17. 如請求項16所述的煙霧偵測方法，其中根據該當前影像以及該先前影像產生該差異影像的步驟還包括：通過該處理器先對該當前暗通道影像以及該先前暗通道影像分別進行一影像侵蝕處理後，再將經該影像侵蝕處理後的該當前暗通道影像的該些像素值以及經該影像侵蝕處理後的該先前暗通道影像的該些像素值進行相減，以產生該差異影像。
18. 如請求項11所述的煙霧偵測方法，其中根據該當前影像以及該先前影像產生該差異影像的步驟還包括：當該處理器判斷該當前環境為該暗環境時，通過該處理器將該當前影像以及該先前影像進行一sRGB色彩空間差值運算，以 取得該差異影像。
19. 如請求項11所述的煙霧偵測方法，其中將該當前影像以及該差異影像輸入至該語義分割模型的步驟還包括：通過該處理器將該當前影像中的紅(R)像素、綠(G)像素、藍(B)像素的顏色通道以及該差異影像的灰階像素通道作為四個通道的輸入資料輸入至該語義分割模型。
20. 如請求項11所述的煙霧偵測方法，其中該處理器以及該儲存單元設置於一雲端伺服器，並且該攝影機通過一通訊模組將該當前影像以及該先前影像提供至該雲端伺服器。

Images