TWI828368B - 用於偵測航空器於停機坪的行為的方法與其系統 - Google Patents

Abstract

本發明提供一種用於偵測航空器於停機坪的行為的方法，包含：識別至少一個停機坪影像以獲得其中表示為航空器區域與空橋區域的狀態條件；根據狀態條件決定停機坪影像屬於多個情境模式的其中一個；根據情境模式所設定的多個判斷條件，判斷停機坪影像內的航空器區域的航空器物件以及空橋區域的空橋物件之間的空間關係與時間關係，並據以產生判斷結果；以及，輸出判斷結果與停機坪影像結合而成的事件影像。本發明能精準且即時地取得航空器和空橋進入和離開停機坪的時間。

Description

用於偵測航空器於停機坪的行為的方法與其系統

本發明關於一種用於偵測航空器於停機坪的行為的方法與其系統，尤指一種偵測航空器和空橋的進入、離開、與接合時間的方法。

當航空器滑行進入停機坪時，機長仰賴人工導引或導引系統進行降落，藉此停駛在正確位置。常見的導引系統會識別航空器機型，並以信號導引機長修正滑行路線、減速、以及煞停在鼻輪停止線。另一方面，人工導引是利用拖車移動航空器位置，亦即由拖車駕駛操作航空器的停駛路線及停放位置。

鑒於航空器進入與離開機場的時間會影響降落費與停留費，機場方面需要精確記錄前述時間。而因應大量航空器的起降，機場方面可以通過大量人力進行解決，但這會相應地增加成本、且存在記錄正確性的疑慮。在先前技術中，有使用基於物聯網（IoT）技術運作的卡鉗以扣住航空器的輪胎或其他接觸點，並自動發送時間資訊。然而，這種方法仍需仰賴人工實現時間資訊的傳送，且僅能提供基本的時間資訊，因此尚未達到全自動化程序。

鑒於先前技術的缺點，本發明提供一種用於偵測航空器於停機坪的行為的方法。通過物件偵測技術與前景背景分離技術，本發明能精準且快速的取得航空器和空橋進入、離開與接合時間。

本發明提供的用於偵測航空器於停機坪的行為的方法，識別至少一個停機坪影像，以獲得至少一個停機坪影像中表示為一航空器區域及一空橋區域的一狀態條件，其中，停機坪影像為至少一個攝像裝置所產生；根據狀態條件，判斷至少一個停機坪影像屬於多個情境模式的其中一個；根據情境模式所設定的多個判斷條件，判斷至少一個停機坪影像中存在於航空器區域的一航空器物件以及存在於空橋區域的一空橋物件之間的空間關係與時間關係，並產生一判斷結果；以及輸出判斷結果與至少一個停機坪影像結合而成的一事件影像。

在一些實施例中，本發明係利用深度學習技術與前景背景分離技術中的至少一個，以在至少一停機坪影像中，識別航空器區域的航空器物件於停機坪的空間關係及時間關係，並識別空橋區域的空橋物件與停機坪的空間關係及時間關係，以獲得狀態條件。

在一些實施例中，多個情境模式包括航空器進入模式、航空器離開模式、空橋進入模式、空橋離開模式及輸出模式。

在一些實施例中，航空器進入模式、航空器離開模式、空橋進入模式、空橋離開模式、以及輸出模式的狀態關係，為航空器物件與空橋物件的空間關係與時間關係，且被定義為：航空器進入模式被定義為，至少一停機坪影像中航空器物件沒有進入，且航空器物件沒有離開；航空器離開模式被定義為，至少一停機坪影像中有航空器物件進入，且航空器物件尚未離開；空橋進入模式被定義為，至少一停機坪影像中有航空器物件進入、航空器物件尚未離開、且空橋物件尚未銜接航空器物件；空橋離開模式被定義為，至少一停機坪影像中有航空器物件進入、空橋物件已銜接航空器物件，且空橋物件未離開航空器物件；以及輸出模式被定義為，至少一停機坪影像中航空器物件進入，且航空器物件已離開。

在一些實施例中，判斷條件包括：航空器區域的航空器物件或空橋區域的空橋物件的移動方向、移動速度、以及航空器物件與空橋區域是否存在，些判斷條件還用以決定是否輸出事件影像。

本發明還提供一種系統，用於實現前述用於偵測航空器於停機坪的行為的方法。

據上所述，本發明基於物件偵測技術與前景背景分離技術識別停機坪影像中的航空器區域與空橋區域，藉此判斷航空器與空橋在時間與空間上的關係。因此，本發明能精準且快速地判斷出航空器和空橋進入、離開與接合的時間。藉此，本發明具備自動化程序、可快速回溯時間資料的稽核能力、以及減少作業時間與人力費用等多個面向的競爭優勢。

本發明之實施例將藉由下文配合相關圖式進一步加以解說。盡可能的，於圖式與說明書中，相同標號係代表相同或相似構件。

首先，請參照第1圖，其為本創作之用於偵測航空器於停機坪的行為的系統示意圖。本創作的用於偵測航空器於停機坪的行為的系統10，包括至少一個攝像裝置100、一個影像識別單元110、一個處理單元120、一個影像結合單元130。攝像裝置100可以被設置在機場空側，並根據實務上的需求而選擇設置的數量。攝像裝置100用來對停機坪拍攝至少一個停機坪影像。影像識別單元110，訊號連接攝像裝置100以獲得每一個攝像裝置100拍攝的每一個停機坪影像。影像識別單元110用以識別停機坪影像中的航空器區域以及空橋區域，並相應地產生一狀態條件。航空器區域表示航空器物件駛入並停止的區域，而空橋區域表示空橋物件接近航空器物件並與其接合的區域。狀態條件表示航空器物件與空橋物件在時間關係與空間關係。訊號連接影像識別單元110的處理單元120用以根據狀態條件確定屬於多個情境模式中的其中一個；處理單元120還根據經確定的情境模式的多個判斷條件，判斷停機坪影像以產生判斷結果。判斷結果包括存在於該航空器區域的一航空器物件以及存在於該空橋區域的一空橋物件之間的空間關係與時間關係，例如第6圖至第11圖左上角所標記的航空器物件的進入時間與離開時間、以及空橋的進入時間與離開時間等訊息。影像結合單元130，訊號連接處理單元120；影像結合單元130用以結合判斷結果與停機坪影像以輸出事件影像，即第6圖至第11圖所示的停機坪影像以及前述判斷結果的至少一個訊息。

在一些實施例中，影像識別單元110包括影像處理單元111與深度學習單元112中的至少一個。影像處理單元111是基於前景背景分離技術對停機坪影像進行影像處理，並輸出狀態條件。深度學習單元112是基於深度學習模型識別停機坪影像，並輸出狀態條件；或者，深度學習單元112是基於深度學習模型識別影像處理單元111處理過的停機坪影像，並輸出狀態條件。

請參考第2圖，接下來說明本發明的用於偵測航空器於停機坪的行為的方法，其行為偵測方法步驟如下：

步驟（A）中，先識別由多個停機坪影像以獲得多個停機坪影像中為航空器區域及空橋區域的狀態條件，多個停機坪影像為攝像裝置拍攝所產生。

另外，請參考第3圖，建立深度學習技術及/或前景背景分離技術，用來識別停機坪影像中航空器區域中航空器物件於停機坪的空間關係及時間關係，及空橋區域中空橋物件與停機坪的空間關係及時間關係，以獲得航空器物件的狀態條件。

在一些實施例中，前述識別過程是基於深度學習技術與前景背景分離技術中的至少一個而實現。

建立深度學習技術的方法包含建立深度學習模型的前置作業。在前置作業中，首先收集機場航廈紀錄的不同機種的航空器以及作業車等相關公開數據集，並收集本發明實際偵側的停機坪的影像；接著，利用Label Image等標註工具對這些影像與資料進行資料標註及定義類別，例如：航空器機鼻與空橋等；然後，將已標註的資料輸入深度學習神經網路以進行模型訓練，並輸出深度學習初始模型。因應不同的偵測地點，可進行客製化的模型優化，例如：提高判斷的精準度或速度。通過上述步驟與模型優化，能完成深度學習模型的前置作業。

本發明的深度學習是一種物件偵測的深度學習模型。在攝影裝置取得的停機坪影像被讀取與匯入物件偵測的深度學習模型後，前述深度學習模型能利用物件偵測相關的演算法（包括但不限制YOLO系列或SSD系列演算法）推論與偵測航空器的類別及位置。

在一些實施例中，前景背景分離技術是以高斯混合（Gaussian Mixture）為基礎所實現的。前景背景分離技術能對停機坪影像進行二值化處理與雜訊處理。舉例來說，本發明可根據被設定為125的閾值過濾停機坪影像中的雜訊，進而提供識別時的精確度。或者，本發明還可通過輪廓檢測演算法取得停機坪影像中的前景物件的外觀。具體而言，通過保留佔據影像畫面2%以上的前景物件以供後續判定，並忽略佔據影像畫面2%以下的前景物件，本發明能有效降低停機坪影像的雜訊。

基於上述，深度學習技術能偵測與識別停機坪影像中的航空器類別與航空器位置，而前景背景分離技術能產出停機坪影像中的前景物。接下來，請參照第4A圖與第4B圖，其分別繪示深度學習偵測的航空器和停機坪影像、以及基於前景偵測演算法產出的前景物件的影像。由於本發明可比對基於深度學習技術和前景背景分離技術獲得的兩種影像，因此能提升物件位置的分析精準度。

讀取並識別依時間序列產生的停機坪影像，可獲得航空器物件與空橋物件在時間與空間上的先後關係，即狀態條件；狀態條件包括但不限於飛航器、空橋、與前景物件的類別、移動方向與位置。接著，本發明將在步驟（B）中根據停機坪影像的狀態條件而決定情境模式。請參閱第2圖和第5圖，在一些實施例中，多個情境模式可包括航空器進入模式、航空器離開模式、空橋進入模式、空橋離開模式、以及輸出模式。通過航空器物件與空橋物件的空間關係與時間關係，能決定應為進入航空器進入模式、航空器離開模式、空橋進入模式、空橋離開模式以及輸出模式中的哪一個。

上述多個情境模式的判定邏輯與判別式（即判斷條件），具體如下所述：

1.當停機坪影像中沒有航空器物件進入（系統有關於航空器進入的旗標顯示：False），同時也沒有航空器物件離開（系統有關於航空器離開的旗標顯示：False），進入航空器進入判別式；

2.當停機坪影像中有航空器物件進入（系統有關於航空器進入的旗標顯示：True）且航空器物件尚未離開（系統有關於航空器離開的旗標顯示：False），進入航空器離開判別式；

3.航空器進入空橋進入模式被定義為停機坪影像中有航空器物件進入（系統有關於航空器進入的旗標顯示：True）、航空器物件尚未離開（系統有關於航空器離開的旗標顯示：False），且空橋物件尚未銜接航空器物件（系統有關於空橋銜接航空器的旗標顯示：False），進入空橋進入判別式；

4.當停機坪影像中有航空器物件進入（系統有關於航空器進入的旗標顯示：True）、空橋物件已銜接航空器物件（系統有關於空橋銜接航空器的旗標顯示：True），且空橋物件未離開航空器物件（系統有關於空橋脫離航空器的旗標顯示：False），進入空橋離開判別式；

5.當停機坪影像中的已有航空器物件進入（系統有關於航空器進入的旗標顯示：True）並且已經離開（系統有關於航空器離開的旗標顯示：True），進入輸出結果的初始化處理。

請參考第2圖，步驟（C）中，利用情境模式各自設定的多個判斷條件，判斷停機坪影像內的航空器區域的航空器物件及空橋區域的空橋物件的空間關係與時間關係而產生判斷結果。

步驟（D） 輸出判斷結果與停機坪影像結合而成的事件影像。請參考第6圖至第11圖，分別為本發明的不同實施例中的事件影像示意圖。應注意的，第6圖至第11圖的皆標示有時間紀錄，其包括：Gate（閘道口）、airplane_in（航空器進入）、airplane_out（航空器離開）、bridge_in（空橋進入）、bridge_out（空橋離開）。其中，Gate會依照時間序列顯示航空器進入、航空器離開、空橋進入、與空橋離開這些階段的時間。這些圖式中的其他時間紀錄，會分別在各個情境模式的判斷條件符合時而被產生、並顯示在對應的時間區域中；換句話說，其他時間記錄為判斷結果的時間。

在一些實施例中，前述判斷條件還可包括：航空器區域的航空器物件或空橋區域內的空橋物件的移動方向、移動速度或者是否存在航空器物件或空橋物件等。在產生判斷結果時，可選擇前述一個或多個的組合，以作為不同判斷結果程度的限定標準。前述限定標準可包括最嚴謹、正常、與寬鬆，具體如后所述。

若採用最嚴謹的限定標準，需要上述航空器物件或空橋物件的移動方向、移動速度以及是否存在前景物所有條件都要成立，而且前述條件在N秒皆無變化，才會輸出判斷結果並據以結合成事件影像。N為正整數。若採用正常的限定標準，只要航空器區域的航空器物件或空橋區域內的空橋物件的移動方向、移動速度這兩個條件成立，就會輸出判斷結果並據以結合成事件影像。若採用寬鬆標準，只要航空器區域的航空器物件或空橋區域內的空橋物件的移動方向這一條件成立，就會輸出判斷結果並據以結合成事件影像。當然，前述條件成立只是示例性的，本發明不應以前述為限制。

在一些實施例中，所謂的航空器區域的航空器物件或空橋區域內的空橋物件的移動速度的判斷標準，可以基於移動的像素值是否超過閾值而決定。同理，所謂的航空器區域的航空器物件或空橋區域內的空橋物件的移動方向的判斷標準，可以是為航空器物件或空橋物件移動的方向是否與事先設定的航空器物件或空橋物件移動的方向相同。又，所謂的是否存在航空器物件或空橋物件的判斷標準，可以是深度學習設定的偵測框是否有佔據80%以上的前景物件。

接下來將通過第6圖至第11圖，說明飛航器進入與離開的時間紀錄過程。

如第6圖與第7圖右上方所示的analysis_airplane_in，其代表本發明的方法或系統進入了航空器進入判斷式。analysis_airplane_in右側的括號顯示的是判斷條件，如上述的移動方向與移動速度等。如第6圖所示，當判斷條件為[False, True, False]時，表示尚未有飛航器進入飛航器區域（即停機坪閘道口）。如第7圖所示，當判斷條件為[True, True, True]時，表示有飛航器進入停機坪閘道口；此時，在左側產生airplane_in的判斷結果，並顯示為airplane_in：2022-09-28 14:56:58，表示航空器進入停機坪閘道口的時間是十四點五十六分五十八秒。其中，方框502顯示航空器區域位置，方框504則顯示航空器機鼻位置，可供系統經由影像判斷航空器種類以及航空器進入航空器區域的時間和空間關係。

如第8圖右上方所示的analysis_bridge_in，其代表本發明的方法或系統進入空橋進入判斷式。當analysis_bridge_in的判斷條件為[True, True ,True]時，產生bridge_in的判斷結果，並顯示為bridge_in：2022-09-28 14:59:07，表示空橋連接上航空器的時間是十四點五十九分七秒。其中，方框506表示空橋區域，即航空器連接空橋的位置，用來偵測空橋是否在方框內並完成空橋連接航空器。第9圖是另一攝像裝置拍攝的影像，其中的analysis_bridge_out的判斷條件為[False, False, False]，說明空橋尚未與飛航器分離。

如第10圖右上方所示的analysis_bridge_out，其代表本發明的方法或系統進入空橋離開判斷式。具體來說，當判斷條件為[True, True, True]時，產生bridge_out的判斷結果，並顯示為bridge_out：2022-09-28 16:57:40，表示空橋離開航空器的時間是十六點五十七分四十秒。

第11圖右上方所示的analysis_airplane_out，其代表本發明的方法或系統進入航空器離開判斷式。具體來說，當判斷條件為[True, True, True]時，系統產生airplane_out的判斷結果，並顯示為airplane_out：2022-09-28 16:59:16，表示航空器離開停機坪航空器區域的時間是十六點五十九分十六秒。

在取得上述多個時間紀錄後，本發明的方法或系統經由計算airplane_in和airplane_out的時間差可精準算出航空器降落於停機坪的時間，以及計算bridge_in和bridge_out的時間差可以得出空橋作業的時間，所以本發明可以經由系統精準又快速判斷出航空器和空橋進入和離開的時間，進而節省人力且快速回溯需確認的時間點，大量減少工作時間和費用。

本發明提供一種航空器和空橋進入和離判別時間的演算法，透過多層次判定設計，降低偵測誤差造成輸出結果精準度不夠之問題，可提升精準度30%以上。並且能提供即時的航空器空橋進離資訊，除可提供使用單位作為航空器停留的收費系統資料外，也可讓使用單位即時掌控各航廈狀況。

本發明的攝影裝置可設置於停機坪前方，只要欲偵測的物件不被大量遮蔽後續可補充少量數據集作為訓練資料，即可擴充本發明進行多項作業程序的偵測。另外，結合深度學習物件偵測與影像處理前景分離技術，讓本發明能容許物件偵測因數據集較少導致精準度不夠的狀況下，依然有較佳的結果輸出精準度。再者，透過深度學習物件偵測加追蹤演算法可以取得物件移動的狀態，另外可以依照客戶需求增加機場環境、天氣變化、光影變化等資料以提供精準度。

以上所述，僅為舉例說明本發明的較佳實施方式，並非以此限定實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單置換及等效變化，皆屬本發明的專利申請範疇。

10:系統 100:攝像裝置 110:影像識別單元 111:處理單元 112:深度學習單元 120:處理單元 130:影像結合單元 502、504、506:方框 A、B、C、D:步驟

第1圖是本創作之用於偵測航空器於停機坪的行為的系統示意圖； 第2圖是本發明之一實施例的操作流程圖； 第3圖是本發明之一實施例中深度學習技術和前景背景分離技術的操作流程圖。 第4A圖與第4B圖是本發明之一實施例中深度學習技術和前景背景分離技術取得影像示意圖。 第5圖是本發明之一實施例中情境模式和判斷條件的示意圖。 第6圖至第11圖是本發明在判斷飛航器進入與離開時的示意圖。。

A、B、C、D:步驟

Claims (8)

1. 一種用於偵測航空器於停機坪的行為的方法，該方法包括： (A)     識別至少一停機坪影像，以獲得該至少一停機坪影像中表示為一航空器區域及一空橋區域的一狀態條件，其中，該至少一停機坪影像為至少一攝像裝置所產生； (B)      根據該狀態條件，判斷該至少一停機坪影像屬於多個情境模式的其中一個； (C)      根據該情境模式所設定的多個判斷條件，判斷該至少一停機坪影像中存在於該航空器區域的一航空器物件以及存在於該空橋區域的一空橋物件之間的空間關係與時間關係，並產生一判斷結果；以及 (D)     輸出該判斷結果與該至少一停機坪影像結合而成的一事件影像。
2. 如請求項1所述的用於偵測航空器於停機坪的行為的方法，該步驟（A）包括： 利用一深度學習技術與一前景背景分離技術中的至少一個，識別該至少一停機坪影像中該航空器區域的該航空器物件於該停機坪的空間關係及時間關係，並識別該空橋區域的該空橋物件與該停機坪的空間關係及時間關係，以獲得該狀態條件。
3. 如請求項2所述的用於偵測航空器於停機坪的行為的方法，其中，該前景背景分離技術是以高斯混合（Gaussian Mixture）為基礎所實現的。
4. 如請求項2所述的用於偵測航空器於停機坪的行為的方法，該前景背景分離技術包括對該至少一停機坪影像進行二值化處理與基於一閾值的雜訊過濾。
5. 如請求項1所述的用於偵測航空器於停機坪的行為的方法，其中，該些情境模式包括航空器進入模式、航空器離開模式、空橋進入模式、空橋離開模式、以及輸出模式。
6. 如請求項5所述的用於偵測航空器於停機坪的行為的方法，其中，該航空器進入模式、該航空器離開模式、該空橋進入模式、該空橋離開模式、以及該輸出模式的狀態關係對應於該航空器物件與該空橋物件的空間關係與時間關係，且分別被定義為： 該航空器進入模式被定義為，該至少一停機坪影像中該航空器物件沒有進入，且該航空器物件沒有離開； 該航空器離開模式被定義為，該至少一停機坪影像中有該航空器物件進入，且該航空器物件尚未離開； 該空橋進入模式被定義為，該至少一停機坪影像中有該航空器物件進入、該航空器物件尚未離開、且該空橋物件尚未銜接該航空器物件； 該空橋離開模式被定義為，該至少一停機坪影像中有該航空器物件進入、該空橋物件已銜接該航空器物件，且該空橋物件未離開該航空器物件；以及 該輸出模式被定義為，該至少一停機坪影像中該航空器物件進入，且該航空器物件已離開。
7. 如請求項6所述的用於偵測航空器於停機坪的行為的方法，該些判斷條件包括：該航空器區域的該航空器物件或該空橋區域的該空橋物件的移動方向、移動速度、以及該航空器物件與該空橋區域是否存在，該些判斷條件還用以決定是否輸出該事件影像。
8. 一種用於偵測航空器於停機坪的行為的系統，用以實施如請求項1至7任一項所述的用於偵測航空器於停機坪的行為的方法。