TWI728469B - 移動載具之教導路徑模組 - Google Patents

Abstract

一種移動載具之教導路徑模組，所述移動載具為可移動的機器人或車體，該模組包括一視覺感測元件與一接收器、一運算器及一儲存器，該接收器接收遠端發送的指示命令，教導移動載具行走指示的路徑，該視覺感測元件作為拍攝影像，並將移動載具行走的路徑以連續拍攝影像，並且將該連續拍攝影像資料傳到該運算器，該運算器計算出路徑提供指導路徑給儲存器，該儲存器將指導路徑提供給移動的載具，藉此提供該移動載具以進行移動者。

Description

移動載具之教導路徑模組

本發明作為移動載具之教導路徑模組，是指可設於移動載具上的模組，所述移動載具包括移動式機器人或是車體，該模組是作為移動載具位移到目的位置的路徑的指導模組，模組的數據計算方法是運用拍攝連續擷取之影像運算出特徵點，再由運算器以該特徵點計算出到達目的地行走路徑，藉此提供移動載具位移的方向路徑。

現有在工廠或高爾夫球場或餐廳等，已有需要利用移動載具來替代人類載運貨品或巡邏監視等工作，目前這些區域所使用的移動載具的行走路徑模組設有感應元件，是藉由在路徑的轉向重點位置上設有多個感測器或紅外線或者是QR Code等對應元件，藉此以提供移動載具的行走路徑上由感應元件與對應元件進行信息配對以進行固定路徑的位移，然而這樣的指引路徑的對應元件必須要設在所有必要轉折位置上，因此所需的對應元件數量眾多，如該對應元件其中有一個故障，則該移動載具就無法進行移動。

以及，當這些工作區域遇到火災時，或者是工作區環境路徑變更，則所述對應元件無法與移動載具的感應元件達成配對；以及，這些感應元件必須設置在固定位置上，若移動載具變更執行環境位置，則必須重新建置這些感應元件於相對應的位置上。

亦有運用GPS進行路徑導航，但GPS的定位精度約在數公尺範圍，且如果機器人在室內移動工作，甚至穿梭於建築物內外或樓層之間，這些GPS無法精確提供移動載具移動並執行工作。

為此，本創作為改良習知的缺點，運用攝影取得影像建立特徵點影像，以取得導航路徑，以影像特徵點計算指導路徑，不需要強大的運算與大型儲存器，可以達到運算快速的需求。

本發明運用視覺圖像的方式來建立起教導路徑的資料，所儲存資料為視覺圖像特徵點產生的固定路徑，只儲存特徵點產生的路徑資料使數據資訊量最小化為目的。

本發明移動載具之位置確認模組，採取一種指導路徑定位目的地的方式，其利於快速儲存及讀取後可以快速比對；以及，提供運算器快速地將儲存器內舊有資料進行比對，來更新儲存器，以產生最新的路徑更新。

本發明移動載具之教導路徑模組，該移動載具設有一驅動裝置與一控制器，該教導路徑模組以電路或是以無線傳輸的方式連接組裝於移動載具的該控制器；所述教導路徑模組包括：一視覺感測元件與一接收器與一運算器及一儲存器，該接收器為接收遠端發送教導路徑的訊息，並提供給移動載具進行移動 的行走方向；以及，該視覺感測元件電路連接運算器，該運算器連結該儲存器，該儲存體係供作儲存記錄路徑資料的回存與提取；以及，該視覺感測元件包括一個攝像鏡頭；以及，該視覺感測元件作為配置於該移動載具的任意表面上；以及，該視覺感測元件藉由該攝像鏡頭將接收器接收指引移動載具行走路徑進行連續拍攝影像，並提供將得到多張影像傳輸給該運算器，該運算器將多張影像取得的特徵點計算，以取得指導路徑，並將該指導路徑儲存到儲存器，這個運算指導路徑特定流程包括以FAST、HARRIS、GFTT、SIFT等適當方法，藉由該方法取出照片中的二維特徵點，並使用如Fundamental Matrix投影幾何方法，利用二維特徵點在不同照片中的視差，計算出特徵點在三維中的位置，稱為三維特徵點和移動載具所在地的位姿，如此該移動載具的位姿與當時的二維特徵點與該二維特徵點對應的該三維特徵點，將建構起對應的關係，將該關係路徑資料一併存入儲存於儲存器中，將可供後續使用；以及，該儲存器僅記錄由影像輪廓產生的二維特徵點、三維特徵點與移動載具的進行行走的路徑關係資料，因此儲存資料空間很小，因該路徑關係資料比全息影像資料更直覺簡單，所以當重新載入時能快速的比對出移動載具目前的位置，讓移動載具能快速取得所在位置，並因此依照指導路徑定位並被教導進行下一步行走路徑以達到目的地；又，該指導路徑資料建立所需的儲存器儲存空間較少，因此在進行讀取儲存器快速，所以進行比對移動載具當下定位時能有最快的搜尋指導路徑及較準確的定位精度。

1‧‧‧視覺感測元件

2‧‧‧接收器

3‧‧‧運算器

4‧‧‧儲存器

P1、P2‧‧‧特徵點

Pi‧‧‧三維特徵點

O1、O2‧‧‧位姿

第一圖 為本創作之模組運作流程。

第二圖 為本創作實施利方塊圖。

第三圖 為本創作特徵點對應關係圖。

本發明移動載具之教導路徑模組，請參閱第一圖所示，所述移動載具A包含移動式機器人或運輸機具，所述教導路徑模組B是作為組裝於移動載具A的內建電子元件內，其提供移動載具A所在位置辨識與姿態的教導功能元件，該教導路徑模組B包括一視覺感測元件1與一接收器2及一運算器3與一儲存器4，該視覺感測元件1電子線路連結該接收器2與該運算器3，該運算器3電子線路連接該儲存器4；以及，其連接方法可為直接電路連接電路板上的線路，或網路無線連結，或其它的通訊連結；所述無線連接的實施是指該運算器3可為設於模組之外，如第二圖所示，該運算器3設置於一控制主機端C，藉由無線發送或網路雲端，將運算器3的計算路徑訊息傳送到該接收器2，再由該接收器2將路徑訊息儲存到儲存器4，藉此該儲存器4提供存取路徑資訊，待移動載具欲進行移動時，再由接收器2經由儲存器4取得的以儲存預定的路徑資訊提供給移動載具，以供移動載具A依照指定路徑進行移動；以及，該視覺感測元件1包括一鏡頭，該攝影鏡頭裝設於移動載具A之任一表面位置處，作為拍攝該載具所在的環境的景物功能，該攝影鏡頭連續拍攝數張影像，並將所得影像傳到該運算器3，所述運算器3從該視覺感測元件1拍攝之二維影像中，擷取出離散的二維特徵點，並依據該連續取得影像的特徵找出同一個空間點位在不同影像上的二維座標，由於移動載具的在移動位置影像產生視差，這些二維特徵點在每一張影像上的二維座標會因此改變，並以該連續取得的二維特徵點數據利用投影的方法計算出特徵點在空間中的真實三維空間位置與移動載具本身的位姿，所述位姿是指移動載具在三維空間中朝向的方向，常用數學表達方向方式有歐拉角、三維正交矩陣、單位四元數；以及，該視覺感測元件的相機模組在工作時，會持續拍攝移動載具當下環境的影像，並將拍攝數據傳給運算器，並重覆依上述方法計算出新的二維特徵點與三維特徵點與移動載具新的位姿，並將這些數據與關係的資料儲存入所述的儲存器中更新，而不需要重新建立整個儲存器4。

該運算器3分析若在一位置附近有大量類似或重覆的特徵點時，經連結該儲存器的資料比對後，則會自動將部份相似或重疊的特徵點或位姿關係等資訊從儲存器中刪除，以降低資料佔據儲存器空間。

該視覺感測元件能透過電路、網路、行動通訊等方式，取得影像資料傳輸給運算器。

以上運算器3取得影像資訊，包括：特徵點描述、特徵點在影像中的二維座標、特徵點在空間的三維座標、移動載具曾經走過的位置與當時的姿態等，運算器3將資訊組合成路徑檔案並預存於儲存器4，在移動載具A暫停或重新啟動或失去位置時，運算器3可根據此儲存器4的內容來比對當下拍到影像中取出的二維特徵點，藉此計算出移動載具A當下所在的路徑位置，並將該路徑位置訊息傳送給移動載具A的驅動裝置以供其繼續移動工作。

又，該視覺感測元件1與該接收器2及該運算器3與該儲存器4，可為一個以上。

又，該儲存器4設於教導路徑模組B亦可設於網路雲端或外接於一電腦主機的記憶體；以及，該儲存器4的資料提供被移動載具A直接使用，或是傳到另一個移動載具A使用，該儲存器4可提供將檔案傳到另一儲存體備存。

實施本發明模組的運算器3計算方法如以下舉例所述，首先，因拍攝的相機其光學成像或多或少都會產生像差，這些相差會導致空間位置計算錯誤；甚至讓計算結果發散；因此在位置計算前運算器3要根據所搭載相機的光學特性校正影像的像差(例如：image sensor的像素尺寸、像素長寬比、光學鏡頭的paraxial焦距、垂直與水平焦距差異、畸變等)，還原出特徵點在影像上的真實投影位置。

繼續，實施計算配對方法，一開始先由使用者在近端操 作移動載具進行移動，依照所要行走的路徑，遙控移動載具行走一遍該指定路徑，在移動載具開始移動當下起，該視覺感測元件1被啟動，因此開始進行連續拍攝，並將連續拍攝的影像提供給運算器3，該運算器3中找出二維特徵點，該每兩張影像的二維特徵點找出相同的特徵點配對，運用fundamental matrix及多組特徵點匹配，通常是8組但不限，還原出機器人位姿與配對特徵點的三維位置，並利用此幾何關係將影像中所有的特徵點都計算出在空間中的位置。

又，如第二圖所示，使用者可在遠端的控制主機端C以無線發送操控訊號給該接收器2，該接收器2將操控訊息提供給移動載具A的內建的驅動元件(圖面未示)，進而驅動元件驅使移動載具A依照遠端控制進行移動，藉此移動載具A行走一遍該指定路徑，在移動載具開始移動當下起，該視覺感測元件1被啟動，因此開始進行連續拍攝，並將連續拍攝得影像提供給運算器3，該運算器3則將該影像資料計算出路徑資料檔案，並將路徑資料檔案儲存到儲存器4內。

如第三圖所示，從每兩張影像I1、l2中找出的眾多特徵點配對中，當空間中一個特徵點Pi被兩張影像I1、l2看到時，此時相機中心分別在位姿O1和位姿O2，當相機在位姿O1時可以看到三維特徵點Pi的投影在特徵點p1；以及，當相機在位姿O2時三維特徵點Pi的投影在特徵點p2，第二張影像l2的相機中心投影至第一張影像l1時的投影稱為極點(epipole)e1，反之位姿O1投影到12上的極點為e2，任一配對的特徵點P1與P2都能對應該真實空間中的三維特徵點Pi，特徵點三維座標為[x,y,z]t，利用多個三維特徵點投影即可算出機器人的位姿O1與位姿O2，其關係為：O2=O1．[(R‧f)]其中，

亦可簡化表示如下：[x,y,z,ψ,θ,φ]

其中x,y,z是三維位置座標，ψ,θ,φ則表示yaw,pitch,roll三個旋轉角度；藉以表示載具在空間中的姿態，運算順序是先轉yaw(ψ)，其次是pitch(θ)，最後是roll(φ)

當連續拍攝的影像中，任二張均可透過以上方式取得一定數量的特徵點匹配，與推算出來的特徵點空間位置，以及拍攝這二張影像時模組的相對位置及位姿，這些資料可以連續地建構成一個有結構性的資料檔案，並放置入儲存器4，以檔案的型態儲存，將來能被重覆使用。

通常使用方式如下：該視覺感測元件1將持續擷取景物影像傳給該運算器3，並由該運算器3解析成為一個或一個以上的二維特徵點，通常至少10個特徵點，再將二維特徵點與一個或一個以上的儲存器內的二維特徵點比較，藉此得到最接近儲存器內儲存最接近的二維特徵點，並據此得到當時載具的位置與姿態，用來初步定位目前的位姿，再將新拍攝的影像中擷取出的二維特徵點與儲存器內的二維特徵點及儲存器內的特徵點三維空間位置進行運算及分析，可以得到移動載具A所在的路徑的當下位置，為此移動載具A就能依據此資訊來繼續進行移動工作，亦可將此儲存器4內的指導路徑檔案傳送給任何一個移動載具A，讓其它的移動載具A可重覆使用此儲存器4檔案，以利於進行工作，或是將該儲存器4內的指導路徑檔案上傳，當有其它移動載具A需要相同場地工作時即可藉由遠端或近端傳送儲存器4內的指導路徑檔案到另一台移動載具A的教導路徑模組內的儲存器4，藉此提供另一台移動載具A可行走與相同的指導路徑。

本方法另一實施，為可以結合其它感測器作為輔助位姿資料獲取路徑位置資料來源，藉以整合成更可靠的位置推估，例如：當環境的影像特徵稀少時，上述方法計算出來的結果誤差較大，若能從其它感測器獲取路徑位置資料，將有助於修正影像計算位姿的誤差；其優點為：

1.在一個特定區域內，可以在儲存器4上建立一個指導路徑檔案，該指導路徑檔案為一個以上的檔案資料夾，或是將檔案資料夾分散建在不同的儲存器4上。

2.儲存器4能被儲存成指導路徑檔案，將來能被其它移動載具A直 接使用，或是傳到另一個移動載具A使用。

3.當環境改變時，儲存器4內的指導路徑檔案能被更新。

4.當移動載具A指導路徑檔案超出原本儲存器4的儲存容納範圍時，儲存器4能被擴充。

5.當有相當類似的特徵或位姿在儲存器4中時，經由分析後，運算器4會將一些特徵點資訊從儲存器4中移出。

6.運算器3會因不同時間，因光影、環境…等造成的不同特徵變化的特徵點資料進行計算，並隨時由儲存器4進行存取重新計算特徵點。

綜上所述，僅為本發明較佳實施例而已，並非用來限定本發明實施之範圍，即凡依本發明申請專利範圍所做之均等變化與修飾，皆為本發明專利範圍所涵蓋。

1‧‧‧視覺感測元件

2‧‧‧接收器

3‧‧‧運算器

4‧‧‧儲存器

Claims (11)

1. 一種移動載具之教導路徑模組，該移動載具包含移動式機器人或運輸機具，該教導路徑模組是作為組裝於移動載具的內建電子元件內，該教導路徑模組包括一視覺感測元件與一接收器及一運算器與一儲存器，該視覺感測元件電子線路連結該接收器與該運算器，該運算器電子線路連接該儲存器；以及，該視覺感測元件包括一攝影鏡頭，該攝影鏡頭裝設於移動載具之任一表面位置處，作為拍攝該移動載具所在的環境的景物功能，並將所得影像傳到該運算器，所述運算器從該視覺感測元件拍攝之二維影像中，擷取出離散的二維特徵點，並依據該連續取得該影像的特徵找出同一個空間點位在不同影像上的二維座標，由於移動載具的在移動位置影像產生視差，移動載具的在移動位置影像的二維特徵點在每一張影像上的二維座標會因此改變，並以該連續取得該二維特徵點數據利用投影的方法計算出特徵點在空間中的真實三維空間位置與移動載具本身的位姿，所述位姿是指移動載具在三維空間中朝向的方向，常用數學表達方向方式有歐拉角、三維正交矩陣、單位四元數；以及，該視覺感測元件的相機模組會持續拍攝移動載具當下環境的影像，並將拍攝數據傳給運算器，並重覆依上述方法計算出新的二維特徵點與三維特徵點與移動載具新的位姿，並將這些數據與關係的資料儲存入所述的儲存器中更新，而不需要重新建立整個儲存器；以及，該接收器為接收遠端的一控制主機端以無線發送操控訊號給該接收器，該接收器將操控訊息提供給移動載具的內建的驅動元件，進而驅動元件驅使移動載具依照遠端控制進行移動，藉此移動載具行走指定路徑，在移動載具開始啟動當下起，該視覺感測元件被啟動，因此開始進行連續拍攝，並將連續拍攝得影像提供給運算器，該運算器則將該指定路徑拍攝的影像資料計算出路徑資料檔案，並將路徑資料檔案儲存到儲存器內。
2. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該接收器與運算器連接方法可為直接電路連接電路板上的線路，或網路無線連結，或其它的通訊連結；所述無線連接的實施是指該運算器可為設於模組之外的一控制主機端，藉由無線發送或網路雲端，將運算器的計算路徑訊息傳送到該接收器，再由該接收器將路徑訊息儲存到儲存器，藉此該儲存器提供存取路徑資訊，待移動載具欲進行移動時，再由接收器經由儲存器取得的以儲存預定的路徑資訊提供給移動載具，以供移動載具依照指定路徑進行移動。
3. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該儲存器一個特定區域內，可以在儲存器上建立一個以上的指導路徑檔案，或是將檔案資料夾分散建在不同的儲存器上。
4. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該儲存器能儲存多個指導路徑檔案，將來能被其它移動載具直接使用，或是傳到另一個移動載具使用。
5. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該儲存器在環境改變時，儲存器內的指導路徑檔案能被更新。
6. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該儲存器在當移動載具指導路徑檔案超出原本儲存器的儲存容納範圍時，儲存器能被擴充。
7. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該儲存器在有相當類似的特徵或位姿在儲存器中時，經由分析後，運算器會將一些特徵點資訊從儲存器中移出。
8. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該運算器會因不同時間，因光影、環境等造成的不同特徵變化的特徵點資料進行計算，並隨時由儲存器進行存取重新計算特徵點。
9. 如申請專利範圍第1項所述之移動載具之教導路徑模組，該視覺感測元件與該接收器及該運算器與該儲存器，可為一個以上。
10. 一種移動載具之教導路徑模組，該移動載具包含移動式機器人或運輸機具，該教導路徑模組是作為組裝於移動載具的內建電子元件內，該教導路徑模組包括一視覺感測元件與一運算器與一儲存器，該視覺感測元件電子線路連結該接收器與該運算器，該運算器電子線路連接該儲存器；以及，該視覺感測元件包括一攝影鏡頭，該攝影鏡頭裝設於移動載具之任一表面位置處，作為拍攝該移動載具所在的環境的景物功能，並將所得影像傳到該運算器，所述運算器從該視覺感測元件拍攝之二維影像中，擷取出離散的二維特徵點，並依據該連續取得該影像的特徵找出同一個空間點位在不同影像上的二維座標，由於移動載具的在移動位置影像產 生視差，這些二維特徵點在每一張影像上的二維座標會因此改變，並以該連續取得該二維特徵點數據利用投影的方法計算出特徵點在空間中的真實三維空間位置與移動載具本身的位姿，所述位姿是指移動載具在三維空間中朝向的方向，常用數學表達方向方式有歐拉角、三維正交矩陣、單位四元數；以及，該視覺感測元件的相機模組會持續拍攝移動載具當下環境的影像，並將拍攝數據傳給運算器，並重覆依上述方法計算出新的二維特徵點與三維特徵點與移動載具新的位姿，並將這些數據與關係的資料儲存入所述的儲存器中更新，而不需要重新建立整個儲存器；在移動載具開始啟動當下起，該視覺感測元件被啟動，因此開始進行連續拍攝，並將連續拍攝得影像提供給運算器，該運算器則將該指定路徑拍攝的影像資料計算出路徑資料檔案，並將路徑資料檔案儲存到儲存器內。
11. 如申請專利範圍第10項所述之移動載具之教導路徑模組，該教導路徑模組設有一接收器，該接收器連結該視覺感測元件與該運算器；以及，該接收器可以外接組裝於移動載具的驅動元件；以及，接收遠端的一控制主機端以無線發送操控訊號給該接收器，該接收器將操控訊息提供給移動載具的內建的驅動元件，進而驅動元件驅使移動載具依照遠端控制進行移動，藉此移動載具被遙控行走指定路徑，並將視覺感測元件拍攝的影像傳送給運算器。

Images