TWI548566B - 多執行序全畫面即時光流估測方法 - Google Patents

Description

多執行序全畫面即時光流估測方法

本發明係有關於一種即時光流估測方法，尤其是針對全畫面利用多執行序的交互變換使用方式以實現即時的光流估測功能。

隨著電子科技的進步，以及相關演算法的輔助，使得導航功能在許多應用領域中更加風行，比如汽車導航，飛行器自動導航，不僅可減少因精神疲勞、長途長時間駕駛、或人為疏忽所導致的嚴重災禍，同時還可輔助駕駛人員專注於較為複雜的路況或緊急的突發狀況，因而提高駕駛操作的可靠性及安全性。

如何取得精確可靠的平面或空間資訊，對於平面或立體導航非常重要。針對微型飛行器的導航，為了得到空間資訊，習用技術一般是透過適當配置的特徵點以產生光流值，並從光流值的大小以判斷周圍環境的相對空間關係。具體而言，特徵點的產生方式有兩種，一種是哈理森角落法(Harris corner)，另一種則為均勻灑點法。此外，為了讓特徵點能持續提供充足的資訊給微型飛行器，必需對特徵點進行重灑，而一般特徵點的重灑方式可分成兩種，一種是點數數量進行重灑，另一種則是利用影像的張數進行重灑。

如果是使用重灑方式，單單利用光流法進行導航任務常常會發生光流地圖錯誤的問題，其主要原因是重灑特徵點後，光流地圖會遺忘先前的資訊，使得在重灑特徵點的瞬間之後，影像畫面中的特徵點將無法與上一刻影像畫面之特徵點做對應，故無法計算出光流值，進而造成在重灑特徵點的瞬間無法得知環境狀況，進而微型飛行器無從下達飛行命令，導致盲目飛行。此外，如果重灑特徵點的瞬間是發生於與障礙物即將相撞 的緊急時刻，將使得微型飛行器無法及時閃避，而碰撞、損毀。

此外，上述的導航技術會有無法偵測出牆面的問題。因此，非常需要一種創新的多執行序全畫面即時光流估測方法，利用雙程序光流法以改善單程序光流法中常會遇到的重灑特徵點所產生的問題，並利用兩個光流程序的交互變換使用，防止特徵點重灑時產生錯誤的光流地圖，有效提昇整體操作功效，藉以解決上述習用技術的問題。

本發明之主要目的在於提供一種多執行序全畫面即時光流估測方法，主要包括：配置多個特徵點於一輸入影像上；交互變換使用雙程序光流法，依據該等特徵點，以產生決策結果；針對該決策結果，計算光流值；依據該光流值，產生並輸出一空間資訊；以及依據一預設影像張數，重灑該等特徵點於一另一輸入影像上，並回到該交互變換使用雙程序光流法的步驟，重複後續的處理。

此外，上述的預設影像張數可為大於或等於2的一自然數。

具體而言，雙程序光流法包括第一及第二光流程序，其中先由第一光流程序對連續且數量為二分之一預設影像張數的影像進行處理，以產生相對應的決策結果，再利用第二光流程序以處理連續且數量為二分之一預設影像張數的影後續像，並產生相對應的決策結果，且重複以上操作步驟，以持續產生決策結果。

本發明的方法可有效解決利用光流法進行導航任務會在重灑特徵點時發生光流資訊無法估測的問題，因而能應用於微型飛行器自動導航用，尤其適合室內環境，藉以下達正確的飛行命令，完成自動飛行。

S10‧‧‧配置特徵點

S20‧‧‧產生決策結果

S30‧‧‧計算光流值

S40‧‧‧產生空間資訊

S50‧‧‧重灑特徵點

第一圖顯示依據本發明實施例多執行序全畫面即時光流估測方法的操作流程示意圖。

第二圖顯示本發明中雙程序光流法的示意圖。

以下配合圖示及元件符號對本發明之實施方式做更詳細的說明，俾使熟習該項技藝者在研讀本說明書後能據以實施。

參閱第一圖，依據本發明實施例多執行序全畫面即時光流估測方法的操作流程示意圖。如第一圖所示，本發明多執行序全畫面即時光流估測方法主要是包括步驟S10、S20、S30、S40及S50，用以針對連續的輸入影像，進行光流估測。

首先，在步驟S10中，可使用哈理森角落法(Harris corner)或均勻灑點法，在輸入影像上配置多個特徵點。接著進入步驟S20，交互變換使用雙程序光流法，依據特徵點，產生決策結果。

進一步執行步驟S30，針對決策結果，計算光流(Optical Flow)值，接著在步驟S40中，依據光流值，產生並輸出空間資訊。然後進入步驟S50，依據一預設影像張數，重灑該等特徵點於連續的另一輸入影像上，並回到S20，重複後續的處理。

具體而言，上述的雙程序光流法主要是包括第一光流程序及第二光流程序，且預設影像張數為大於或等於2的一偶數，並先對連續且數量為二分之一預設影像張數的影像，進行第一光流程序，以獲得相對應的決策結果，接著對連續且數量為二分之一預設影像張數的後續影像，進行第二光流程序，以獲得相對應的決策結果。因此，可重複以上的操作步驟，持續產生決策結果。

具體而言，上述的雙程序光流法主要是包括第一光流程序及第二光流程序，且預設影像張數為大於或等於2的一偶數，並先對連續且數量為二分之一預設影像張數的影像，進行第一光流程序，以獲得相對應的決策結果，接著對連續且數量為二分之一預設影像張數的後續影像，進行第二光流程序，以獲得相對應的決策結果。因此，可重複以上的操作步驟，持續產生決策結果。

參考第二圖，本發明中雙程序光流法的示意圖。如第二圖所示，每個程序均是六張重灑特徵點一次，而一開始，是先完整執行一個光流法運算序列，到此程序執行第三張影像完後，則加入另一個光流程序，等到第一個光流程序執行完後，光流估測資訊由第二個光流程序產生，等到第二個光流程序執行完，光流估測資訊由第一個光流程序產生，之後則不斷循環。

進一步參考表一，依序顯示本發明採用雙程序光流法時部分的連續決策結果，其中，#frame 89到#frame 91的決策結果，是由第二光流程序，亦即執行緒2，來決定，而#frame 92是執行緒2在經執行重灑特徵點後，由第一光流程序，亦即執行緒1，來決定決策結果，之後則每三張交替一次。從表一的決策結果顯示，可以克服習用技術中單程序重灑點後會遺忘先前資訊的問題，其中表一的粗體框是代表決策結果所採用之影像。

因此，本發明可持續產生空間資訊，適合用以供室內環境下的微型飛行器參考，進而下達正確的飛行命令，確保飛行安全，提高操作可靠度及穩定性。

綜上所述，本發明的主要特點在於採用影像張數作為重灑條件，並提出雙程序光流法來產生光流估測資訊，包括利用兩個光流程序交互變換使用，可有效的改良一般單光流程序所產生的問題，比如在重灑特徵點時發生光流資訊無法估測而產生錯誤的光流地圖的問題，進而持續產生空間資訊。

以上所述者僅為用以解釋本發明之較佳實施例，並非企圖據以對本發明做任何形式上之限制，是以，凡有在相同之發明精神下所作有關本發明之任何修飾或變更，皆仍應包括在本發明意圖保護之範疇。

S10‧‧‧配置特徵點

S20‧‧‧產生決策結果

S30‧‧‧計算光流值

S40‧‧‧產生空間資訊

S50‧‧‧重灑特徵點

Claims (3)

1. 一種多執行序全畫面即時光流估測方法，包括：配置多個特徵點於一輸入影像上；交互變換使用雙程序光流法，依據該等特徵點，以產生決策結果；針對該決策結果，計算光流值；依據該光流值，產生並輸出一空間資訊；以及依據一預設影像張數，重灑該等特徵點於連續的一另一輸入影像上，並回到該交互變換使用雙程序光流法的步驟，重複後續的處理。
2. 依據申請專利範圍第1項所述之方法，其中該配置多個特徵點是使用哈理森角落法(Harris corner)或均勻灑點法而實現。
3. 依據申請專利範圍第1項所述之方法，其中該雙程序光流法包括一第一光流程序及一第二光流程序，而預設影像張數為大於或等於2的一偶數，先對連續且數量為二分之一預設影像張數的影像，進行該第一光流程序，以獲得相對應的決策結果，接著，對連續且數量為二分之一預設影像張數的後續影像，進行該第二光流程序，以獲得相對應的決策結果，並重複以上操作步驟，以持續產生該決策結果。