TWI471821B - A system, a method, and a recording medium for establishing a correlation for a plurality of images - Google Patents

Description

為複數影像建立關聯性之系統、方法及其記錄媒體

本發明係有關於一種為複數影像建立關聯性的技術領域，特別是有關於一種依據複數個影像之間的拍攝內容，將具有共同內容之任二影像建立一關聯影像組，獲得其關聯位置資訊及關聯角度資訊，據以建立各影像之間關聯性的技術領域。

先前技術中，建立影像關聯性的模式不外乎幾種，第一種：分析所有影像的特徵點，如影像內容重疊處，將各拍攝影像組合以形成一全景影像；第二種，利用如一般攝影機、紅外線拍攝儀器、雷射感距設備等特殊硬體，不斷擷取環境資訊，以取得不同角度的環境影像，以供建立為一立體影像地圖；第三種，分析所有影像的特徵點及拍攝角度，利用立體建模技術(如：photosynth)建立一立體影像地圖。

然上述技術中，第一種技術僅能應用於二維影像地圖的建立，只能處理簡單的空間關係，無法呈現單一物件的全貌。第二種技術需在目標環境中不斷拍攝，且特殊硬體的設備要求甚高，實用性並不佳。第三種技術雖是利用影像特徵點進行影像關係計算，然兩影像中若不具有相關的特徵點，即使兩影像包括相關的影像內容，影像空間建立系統仍會將其視為無影像關聯。

故如何找出複數影像之間的關聯性，以輔助業者或使用者來進行相關的影像處理作業，實為應思慮的問題。

本發明係提供一種無需輸入各影像之攝影參數，或是複數影像之間不必然具有相關特徵點時，亦可輔助建立各影像之間關聯性的關聯性建立系統。

為解決上述系統問題，本發明係揭露一種為複數影像建立關聯性之系統，其包括：一儲存模組與一關聯性建立模組。

儲存模組用以儲存複數個影像，所有影像中任兩個包括一個以上共同內容的影像者，為一關聯影像組。每一關聯影像組具有一關聯位置資訊及一關聯角度資訊，同一關聯影像組分別對應其中一共同內容各具有一拍攝點，關聯位置資訊為兩拍攝點之間的相對位置，關聯角度資訊為兩拍攝點分別對應共同內容的拍攝角度的夾角。關聯性建立模組依據每一關聯影像組及其關聯位置資訊和關聯角度資訊，建立各影像之間的關聯性。

為解決上述方法問題，本發明係揭露一種為複數影像建立關聯性之方法，其包括：提供複數個影像，其中所有影像中任兩個包含至少一共同內容的影像者，為一關聯影像組。每一關聯影像組具有一關聯位置資訊及一關聯角度資訊，同一關聯影像組分別對應其中一共同內容各具有一拍攝點，關聯位置資訊為兩拍攝點之間的相對位置，關聯角度資訊係為兩拍攝點分別對應共同內容的拍攝角度的夾角；依據各關聯影像組及其關聯位置資訊和關聯角度資訊，建立所有影像之間的關聯性。

本發明揭露一種記錄媒體，可提供一電子設備讀取以執行為複數影像建立關聯性之方法，其中記錄媒體包括：一第一程式碼與一第二程式碼。第一程式碼用以儲存複數個影像，其中該複數個影像中任兩個包括至少一共同內容之影像係為一關聯影像組，該關聯影像組具有一關聯位置資訊及一關聯角度資訊；且其中該關聯影像組分別對應其中一共同內容各具有一拍攝點，該關聯位置資訊係為兩拍攝點之間的相對位置，該關聯角度資訊係為該兩拍攝點分別對應該共同內容之拍攝角度的夾角；第二程式碼用以依據該些關聯影像組、及其關聯位置資訊和關聯角度資訊，建立該等影像之間的關聯性。

本發明之特點係在於本發明適用於建立平面與立體影像地圖，因此較完整呈現環境的各角度面貌。其次，本發明揭露技術對設備要求不高，亦降低所需設備成本。其三，本發明揭露技術係利用各影像對應的攝影機參數(即關聯位置資訊與關聯角度資訊)，確實建立各影像之間的絕對位置與鄰接關係，有益於輔助相關的影像處理作業。

茲配合圖式將本發明較佳實施例詳細說明如下。

請參照圖1A繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第一實施例。系統包括一儲存模組1與一關聯性建立模組2。儲存模組1儲存複數個影像3，複數個影像3中，當其中任二影像包括一個以上的共同內容時，即為一關聯影像組4，每關聯影像組4具有一關聯位置資訊41與一關聯角度資訊42。

請同時參照圖1B繪示本發明實施例之影像概念示意圖，其繪示複數個等邊三角形，每一等邊三角形用以示意一影像的相關含義。所有影像3由一個以上的攝像模組5(於圖1D)所拍攝而得，每三角形的二個等邊頂角的圓點表示各影像對應的拍攝點3a，即攝像模組5所在位置，二個等邊代表攝像模組5的攝影範圍，底邊表示攝像模組5拍攝的影像3。

請同時參照圖1C繪示本發明實施例之關聯影像關係示意圖。同一關聯影像組4包括的兩影像3分別對應共同內容，兩影像3各別具有一拍攝點3a，關聯位置資訊41為兩拍攝點3a之間的相對位置，例如二維或三維的相對座標，而關聯角度資訊42係為兩拍攝點3a分別對應共同內容的拍攝角度的夾角。其中，拍攝點3a及拍攝角度為攝像模組5於拍攝對應的影像時相對於共同內容之位置及角度。

如圖1C，第一影像31對應第一拍攝點31a，第二影像32對應第二拍攝點32a。攝像模組5在第一拍攝點31a拍攝共同內容T的第一拍攝角度，與攝像模組5在第二拍攝點32a拍攝共同內容T的第二拍攝角度32b為交錯形成夾角A，其為前述的關聯角度資訊。第一拍攝點31a與第二拍攝點32a之間的相對方位與距離，其為前述的關聯位置資訊。

上述所提及之關聯位置資訊41及關聯角度資訊42，其為攝影機參數，可以藉由Five Points Algorithm計算出Fundamental Matrix，然後再將此矩陣分解後得出，或由其他種攝影機校正(Camera Calibration)的方式得到，此為習知技術，因此不予詳細說明。

上述所提及之共同內容T，可以是同關聯影像組4中所拍攝到一物體、一形狀、一顏色區塊、或是一可供進行辨識的特徵點。而特徵點可以是在影像3中，具有某種特定特徵的點，這些特徵可以為邊緣、角落以及顏色變化大等等，根據不同的特徵點擷取方式，可以得到具有各種不同特徵的特徵點。例如Moravec角落偵測演算法(Moravec Corner Detection Algorithm)藉由判斷鄰近的patch是否相近來判斷角落的位置；SIFT(Scale Invariant Feature Transform)藉由計算DOG(Difference of Gaussians)的極值來找出可能特徵點的位置。

特徵點的匹配則是指將一張影像3中的特徵點，與其他影像3中的特徵點做比較，並判斷出這些特徵點是否對應到相同的空間位置。匹配的方式可以單純的檢查特徵點的描述(descriptor)是否相近，或者是再利用RANSAC與Funda-mental Matrix來檢出正確的對應關係。

請同時參照圖1D繪示本發明實施例之關聯影像組的資料關係方塊示意圖。舉例：儲存模組1儲存有第一影像31、第二影像32、第三影像33、第四影像34與第五影像35等五個影像。第一影像31關聯第二影像32、第三影像33、第五影像35；第二影像32關聯第一影像31、第四影像34；第三影像33關聯第一影像31；第四影像34關聯第二影像32、第五影像35；第五影像35關聯第一影像31、第四影像34。成組的關聯影像包括：(第一影像，第二影像)；(第一影像，第三影像)；(第一影像，第五影像)；(第二影像，第四影像)；(第四影像，第五影像)等五組。但不以此為限，當影像數量與各影像之間關聯型式不同時，亦形成不同的關聯影像組。關聯性建立模組2則根據依據各關聯影像組4、每組的關聯位置資訊41和關聯角度資訊42，以建立各影像3之間的關聯性。其中，當各影像3之間的關聯性為二維空間型態時，拍攝角度包括一水平角度，且該關聯角度資訊42係為該兩拍攝點分別對應該共同內容之水平角度的夾角。而各影像3之間的關聯性為三維空間型態時，拍攝角度包括一水平角度和一仰俯角度，且該關聯角度資訊42係為該兩拍攝點分別對應該共同內容之水平角度的夾角和該兩拍攝點分別對應該共同內容之仰俯角度的夾角；亦或是，拍攝角度包括一X軸角度、一Y軸角度和一Z軸角度，且該關聯角度資訊42係為該兩拍攝點分別對應該共同內容之X軸角度的夾角、Y軸角度的夾角和Z軸角度的夾角。其次，各影像3之間的關聯性為各影像所對應之拍攝點3a及拍攝角度的關聯性。

請同時參照圖1E至圖1G繪示本發明實施例之影像關聯建立示意圖，請同時參照圖1D以利於了解。本實施例中，以建立二維空間的影像地圖作說明，但此方法亦適用於三維空間。關聯性建立模組2於建立各影像3之間的關聯性，係先選擇一關聯影像組4中之一影像3作為一起始影像，決定起始影像的拍攝點3a於一座標系統中的座標及拍攝角度，並依據此關聯影像組4的關聯位置資訊41和關聯角度資訊42決定此關聯影像組4中另一影像3之拍攝點的座標及拍攝角度，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群。期間，關聯性建立模組2會選擇與其它影像3關聯最多的影像3為作起始影像，以本實施例而言，係指在所有組別的關聯影像組4中，出現最多次的影像3，但不以此為限。

如圖1D與圖1E，第一影像31與其它影像的關聯次數最多，關聯性建立模組2即選擇第一影像31作為起始影像，視第一影像31的第一拍攝點31a作為座標系統的原點。原點之拍攝點對應的拍攝角度皆為零，即座標系統為二維空間時，原點之拍攝點對應的水平角度為零，座標系統為三維空間時，原點之拍攝點對應的水平角度與仰俯角度皆為零。本實施例中，第一拍攝點31a對應的第一拍攝角度31b，其包括的水平角度為零。

如圖1D與圖1F，關聯性建立模組2會找出關聯第一影像31的第二影像32、第三影像33與第五影像35，根據各關聯影像組4包括的關聯位置資訊41與關聯角度資訊42，以決定第二影像32、第三影像33與第五影像34的第二拍攝點32a、第三拍攝點33a與第五拍攝點35a於座標系統中的座標及拍攝角度，即對應第一拍攝點31a(起始影像之拍攝點)的相對座標，及此等影像之拍攝角度對應第一拍攝點31a的第一拍攝角度31b的相對角度，並視第一影像31、第二影像32、第三影像33與第五影像35為已具關聯性的影像群。

關聯性建立模組2再依據已具關聯性之影像群，尋找另一待處理關聯影像組，而待處理關聯影像組的其一影像為已具關聯性影像群的其中之一，關聯性建立模組2依據此其一影像已具有座標的拍攝點、所屬待處理影像的關聯位置資訊與關聯角度資訊，以決定此待處理關聯影像組中另一影像拍攝點在座標系統中的座標及拍攝角度，然後將已具有座標及拍攝角度的影像視為已具關聯性的影像群。

如圖1D、圖1F與圖1G，關聯性建立模組2會從第二影像32、第三影像33與第五影像35中，依據找尋與此等影像關聯的影像。第二影像32關聯第四影像34，第五影像35亦關聯第四影像34，關聯性建立模組2擇任一者以進行第四影像34的關聯性作業。

本實施例中，以關聯影像組(第二影像32，第四影像34)說明，關聯性建立模組2會找出關聯第二影像32的第四影像34，根據此關聯影像組(第二影像32，第四影像34)包括的關聯位置資訊41與關聯角度資訊42，以決定第四影像34之第四拍攝點34a於座標系統中的座標及拍攝角度，即對應第二拍攝點32a的相對座標，及第四影像34的拍攝角度對應第二影像32的拍攝角度的相對角度，並視第一影像31、第二影像32、第三影像33、第四影像34與第五影像35為已具關聯性的影像群。如圖1G，即完成各影像之間的關聯性。其中，最後完成的已具關聯性影像群的拍攝點，其座標及拍攝角度係構成一影像地圖，本實施例中所形成的影像地圖為二維空間，但此方法亦適用於建立對應三維空間的影像地圖。

請同時參照圖1H與圖1I繪示本發明實施例之影像近似比對作業示意圖。關聯性建立模組2在決定待處理關聯影像組中的另一影像拍攝點之座標時，會從所有已具關聯性影像群中判斷是否已存在拍攝點的座標及拍攝角度相近的一比對影像。如果比對影像存在，關聯性建立模組2會確認比對影像與此待處理關聯影像組中另一影像兩者是否具有共同內容。如沒有共同內容，關聯性建立模組2會決定不將此待處理關聯影像組中另一影像加入已具關聯性影像群。更進一步，關聯性建立模組2將被判定不加入已具關聯性影像群的影像，找出其與其它影像組成的待處理關聯影像組，再根據任一待處理關聯影像組的關聯位置資訊與關聯角度資訊，以重新決定不加入影像的拍攝點在座標系統的座標及對應的拍攝角度。以下以一範例詳加說明：本實施例中，更包括一第六影像36關聯第四影像34，關聯建立模組2載入第六影像36的第六拍攝點及第六拍攝角度36b至座標系統時，判定其與第三影像33的第三拍攝點33及第三拍攝角度33b相近，即視第三影像33為前述的比對影像，關聯建立模組2會分析第三影像33與第六影像36是否具有共同內容。如果分析結果為有，關聯建立模組2加入第六影像36對應的第六拍攝點36a與第六拍攝角度36b入座標系統，如圖1H所示。

反之，如果分析結果為沒有，關聯建立模組2不加入第六影像36對應的第六拍攝點36a與第六拍攝角度36b入座標系統。

更進一步者，假設第六影像36關聯第五影像35，關聯建立模組2會判斷第六影像36與第五影像35為關聯影像組，並根據此關聯影像組(第六影像36，第五影像35)的關聯位置資訊41與關聯角度資訊42，以決定第六影像36於座標系統中的座標及拍攝角度，即對應第五拍攝點35a的相對座標，及第六影像36的第六拍攝角度36a對應第五拍攝點35a的拍攝角度的相對角度。如圖1I所示，以修正第六拍攝點36a及第六拍攝角度36b於座標系統的載入形式。

請參照圖2繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第二實施例，其包括一影像分析模組6。影像分析模組6用以分析每一關聯影像組4的攝影資訊及共同內容，為每一關聯影像組4包括的兩影像3，分別產生對應的拍攝點與拍攝角度，以供關聯性建立模組2產生每一關聯影像組4的關聯位置資訊41與關聯角度資訊42。

請參照圖3繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第三實施例，與圖1A及圖2不同在於，系統包括一鄰接關係建立模組7，其用以建立各影像之間的鄰接關係。鄰接關係建立模組7會分析各影像之間的鄰接關係，以分別決定並記錄每一影像對應的一個以上的鄰接影像。例：第一影像31鄰接第二影像32、第三影像33與第五影像35；第二影像32鄰接第一影像31與第四影像34；第三影像33鄰接第一影像31；第四影像34鄰接第二影像32與第五影像35；第五影像35鄰接第一影像31與第四影像34。

鄰接關係建立模組7從所有影像中選出一目前處理影像，先視其它影像皆為鄰接目前處理影像的鄰接影像，並記錄成鄰接影像記錄。鄰接關係建立模組7再從鄰接影像記錄中選取任二影像，以將目前處理影像與任二影像的拍攝點導入一鄰接關係篩選原則，用以從二個影像中找出不符合鄰接關係篩選原則之一者，從鄰接影像之紀錄中刪除。例：鄰接關係篩選原則為目前處理影像以主，其與任二影像的拍攝點在座標系統中是否近似一直線。

請同時參照圖1J繪示本發明實施例之影像鄰接比對示意圖。如圖1G與圖1J，鄰接關係建立模組7視第一影像31為目前處理影像，其它影像先視為第一影像31的鄰接影像，並記錄成鄰接影像記錄71。鄰接關係建立模組7再從鄰接影像記錄71中取出任二影像，以第二影像32與第四影像34為例，將第一拍攝點31a、第二拍攝點32a與第四拍攝點34a導入鄰接關係篩選原則。

在一實施例中，該鄰接關係篩選原則說明如下：cosθ計算公式為(a² +b² -c² )/2ab=cosθ，再依據cosθ是否小於一定值δ來進行鄰接關係的判斷。其中，a為第一拍攝點31a與第二拍攝點32a之距離，b為第二拍攝點32a與第四拍攝點34a之距離，c為第一拍攝點31a與第四拍攝點34a之距離。物理意義為：當夾角cosθ小於一定值δ的時候，則代表第二拍攝點32a相當靠近第一拍攝點31a與第四拍攝點34a的連線，故第一拍攝點31a與第四拍攝點34a不具有鄰接關係，第一影像31與第四影像34不會成為鄰接影像。其中δ係由於系統中事先設定，或由使用者從相關介面(圖未示)輸入。之後，鄰接關係建立模組判定第四拍攝點離第一拍攝點較遠，即從鄰接影像記錄中刪除第四影像。

反之，則視第一拍攝點31a與第四拍攝點34a具有鄰接關係，第一影像31與第四影像34為鄰接影像。

在其他實施例中，如圖1J中的第一影像31、第二影像32和第四影像34之間，亦可使用下列關係式在，來鄰接關係的判斷，例如：

(a+b)/c＜δ

或是(a² +b² )/c² ＜δ

亦即，依據a+b和c的比值是否小於一定值δ，或是a² +b² 和c² 的比值是否小於等於一定值δ，來判斷第一拍攝點31a與第四拍攝點34a是否具有鄰接關係。

請參照圖4繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第三實施例，與前述實施例不同處在於，系統更包括一影像搜尋模組8。影像搜尋模組8用以取得一影像搜尋條件，從各影像3中找出一目標影像。

更進一步者，系統建有各影像的鄰接關係且更包括一操作介面81。操作介面81供使用者選擇一輸入影像，及輸入一鄰接關係的搜尋條件。影像搜尋模組8會根據輸入影像及其對應的鄰接影像，從各影像3後找出匹配的目標影像。

請同時參照圖1G，本實施例中，影像搜尋模組係適用於各種不同的影像搜尋法則，以貪婪法則為例，影像間為平均分佈時，藉由輸入影像及影像搜尋條件找尋目標影像的複雜度為O(n^1/3 )，其中n為目標影像的拍攝點。

請參照圖5A繪示本發明實施例之為複數影像建立關聯性之方法流程圖。請同時參照圖1A至圖4以利於了解。此方法包括：提供複數個影像3，所有影像3中任兩個包含至少一共同內容之影像係為一關聯影像組4，每一關聯影像組4具有一關聯位置資訊41及一關聯角度資訊42(步驟S110)。

請同時參照圖1A，儲存模組1儲存所有影像3與具有共同內容的關聯影像組4，及每一關聯影像組4包括的關聯位置資訊41與關聯角度資訊42。

請同時參照圖1B與圖1C，同一關聯影像組4包括的兩影像3分別對應一共同內容，兩影像3各別具有一拍攝點3a，關聯位置資訊41為兩拍攝點3a之間的相對位置，關聯角度資訊42係為兩拍攝點3a分別對應共同內容的拍攝角度的夾角。其中，拍攝點3a及拍攝角度為攝像模組5於拍攝對應的影像3時相對於共同內容之位置及角度。其中，當各影像3之間的關聯性為二維空間型態時，拍攝角度包括一水平角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角。而各影像3之間的關聯性為三維空間型態時，拍攝角度包括一水平角度和一仰俯角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角和仰俯角度的夾角。其次，各影像3之間的關聯性為各影像3所對應之拍攝點3a及拍攝角度之間的關聯性。

如圖1C，第一影像31對應第一拍攝點31a，第二影像32對應第二拍攝點32a。攝像模組5在第一拍攝點31a拍攝共同內容T的第一拍攝角度31b，與攝像模組5在第二拍攝點32a拍攝共同內容T的第二拍攝角度32b為交錯形成夾角A，其為前述的關聯角度資訊41。第一拍攝點31與第二拍攝點32之間的相對方位與距離，其為前述的關聯位置資訊42。

上述所提及之關聯位置資訊41及關聯角度資訊42，其為攝影機參數，可以藉由Five Points Algorithm計算出Fundamental Matrix，然後再將此矩陣分解後得出，或由其他種攝影機校正(Camera Calibration)的方式得到，此為習知技術，因此不予詳細說明。

上述所提及之共同內容，可以是同一關聯影像組4中所拍攝到一物體、一形狀、一顏色區塊、或是一可供進行辨識的特徵點。而特徵點可以是在影像3中，具有某種特定特徵的點，這些特徵可以為邊緣、角落以及顏色變化大等等，根據不同的特徵點擷取方式，可以得到具有各種不同特徵的特徵點。例如Moravec角落偵測演算法(Moravec Corner Detection Algorithm)藉由判斷鄰近的patch是否相近來判斷角落的位置；SIFT(Scale Invariant Feature Transform)藉由計算DOG(Difference of Gaussians)的極值來找出可能特徵點的位置。

特徵點的匹配則是指將一張影像3中的特徵點，與其他影像3中的特徵點做比較，並判斷出這些特徵點是否對應到相同的空間位置。匹配的方式可以單純的檢查特徵點的描述(descriptor)是否相近，或者是再利用RANSAC與Funda-mental Matrix來檢出正確的對應關係。

請同時參照圖2，系統包括一影像分析模組6，其依據各關聯影像組4的攝影資訊及共同內容，分別為各關聯影像組4產生對應的拍攝點及拍攝角度。

關聯性建立模組2則依據各關聯影像組4、及其關聯位置資訊41和關聯角度資訊42，建立各影像3之間的關聯性(步驟S120)。

請同時參照圖5B繪示本發明實施例之為複數影像建立關聯性之方法細部流程圖。

在建立各影像3之間的關聯性時，關聯性建立模組2會先選擇一關聯影像組4中之一影像作為一起始影像(步驟S121)，決定起始影像之拍攝點於一座標系統中的座標及拍攝角度，並依據此關聯影像組4的關聯位置資訊41和關聯角度資訊42決定此關聯影像組4中另一影像之拍攝點的座標及拍攝角度(步驟S122)，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群(步驟S123)。期間，關聯性建立模組2會選擇與其它影像關聯最多的影像為作起始影像，以本實施例而言，係指在所有的關聯影像組中，出現最多次的影像，但不以此為限。

如圖1D、圖1E與圖1F，第一影像31與其它影像的關聯次數最多，關聯性建立模組2即選擇第一影像31作為起始影像，視第一影像31的第一拍攝點31a作為座標系統的原點。原點之拍攝點對應的拍攝角度皆為零，即座標系統為二維空間時，原點之拍攝點對應的水平角度為零，座標系統為三維空間時，原點之拍攝點對應的水平角度與仰俯角度皆為零。本實施例中，第一拍攝點31a對應第一拍攝角度31b，其包括的水平角度為零。

之後，關聯性建立模組2會依據此等已具關聯性之影像群，尋找另一待處理之關聯影像組(步驟S124)，被選出的待處理關聯影像組其中一影像為已具關聯性影像群之其一影像。

如圖1D、圖1E與圖1F，關聯性建立模組2會找出關聯第一影像31的第二影像32、第三影像33與第五影像35，根據各關聯影像組4包括的關聯位置資訊41與關聯角度資訊42，以決定第二影像32、第三影像33與第五影像35的第二拍攝點32a、第三拍攝點33a與第五拍攝點35a於座標系統中的座標及拍攝角度，即對應第一拍攝點31a(起始影像之拍攝點)的相對座標，及此等影像之拍攝角度對應第一拍攝點31a的第一拍攝角度31b的相對角度，並視第一影像31、第二影像32、第三影像33與第五影像35為已具關聯性的影像群。

關聯性建立模組2再依據被選出的待處理關聯影像組的其一影像已具有座標之拍攝點、此組待處理影像的關聯位置資訊和關聯角度資訊，決定此待處理關聯影像組的另一影像拍攝點於座標系統中之座標及拍攝角度，將已具有座標及拍攝角度的影像視為已具關聯性之影像群(步驟S125)。

如圖1D、圖1F與圖1G，關聯性建立模組2會從第二影像32、第三影像33與第五影像35中，依據找尋與此等影像關聯的影像。第二影像32關聯第四影像34，第五影像35亦關聯第四影像34，關聯性建立模組2擇任一者以進行第四影像34的關聯性作業。

本實施例中，以關聯影像組(第二影像32，第四影像34)說明，關聯性建立模組2會找出關聯第二影像32的第四影像34，根據此關聯影像組(第二影像32，第四影像34)包括的關聯位置資訊41與關聯角度資訊42，以決定第四影像34於座標系統中的座標及拍攝角度，即對應第二拍攝點32a的相對座標，及第四影像34的拍攝角度對應第二拍攝點32a的拍攝角度的相對角度，並視第一影像31、第二影像32、第三影像33、第四影像34與第五影像35為已具關聯性的影像群。如圖1G，即完成各影像之間的關聯性。其中，最後完成的已具關聯性影像群的拍攝點，其座標及拍攝角度係構成一影像地圖，本實施例中所形成的影像地圖為二維空間，但此方法亦適用於建立對應三維空間的影像地圖。

然步驟S125期間，關聯性建立模組2在決定待處理關聯影像組中的另一影像拍攝點之座標時，會從所有已具關聯性影像群中判斷是否已存在拍攝點的座標及拍攝角度相近的一比對影像。如果比對影像存在，關聯性建立模組2會確認比對影像與此待處理關聯影像組中另一影像兩者是否具有共同內容。如沒有共同內容，關聯性建立模組會決定不將此待處理關聯影像組中另一影像加入已具關聯性影像群。

更進一步，關聯性建立模組2將被判定不加入已具關聯性影像群的影像，找出其與其它影像組成的待處理關聯影像組，再根據任一待處理關聯影像組包括的關聯位置資訊與關聯角度資訊，以重新決定不加入影像的拍攝點在座標系統的座標及對應的拍攝角度。

如圖1H與圖1I，關聯建立模組2載入第四影像34的第六拍攝點36a及第六拍攝角度36b至座標系統時，判定其與第三影像33的第三拍攝點33a及第三拍攝角度33b相近，即視第三影像33為前述的比對影像，關聯建立模組2會分析第三影像33與第六影像36是否具有共同內容。如果分析結果為有，關聯建立模組2加入第六影像36對應的第六拍攝點36a與第六拍攝角度36b至座標系統，如圖1H所示。

反之，如果分析結果為沒有，關聯建立模組2不加入第六影像36對應的第六拍攝點36a與第六拍攝角度36b至座標系統。

更進一步者，設第六影像關聯第五影像，關聯建立模組2判斷第六影像36與第五影像35為關聯影像組，並根據此關聯影像組包括的關聯位置資訊41與關聯角度資訊42，以決定第六影像36的第六拍攝點36a於座標系統中的座標及拍攝角度，即對應第五拍攝點35a的相對座標，及第六影像36的第六拍攝角度36b對應第五拍攝點35a的拍攝角度的相對角度。如圖1I所示，以修正第六拍攝點36a及第六拍攝角度36b於座標系統的載入形式。

請參照圖6繪示本發明實施例之影像鄰接關係建立方法流程圖。請同時參照圖1A至圖4以利於了解。影像鄰接關係建立方法如下：如圖3，系統包括有一鄰接關係建立模組7，用以建立各影像3之間的鄰接關係。鄰接關係建立模組7為各影像3中的每一影像3，分別決定並紀錄其對應的至少一鄰接影像。詳細步驟說明如下：鄰接關係建立模組7從所有影像3中選擇一目前處理影像，且先紀錄所有影像3中的其他影像皆為目前處理影像的鄰接影像(步驟S210)。

鄰接關係建立模組7從其他影像中選出其中任二個影像，以將目前處理影像的拍攝點與任二影像3的拍攝點導入一鄰接關係篩選原則(步驟S220)。

從此任二影像中找出不符合鄰接關係篩選原則之一者，從鄰接影像紀錄71中刪除(步驟S230)。

舉例：鄰接關係篩選原則為目前處理影像以主，其與任二影像的拍攝點在座標系統中是否近似一直線。

如圖1G，鄰接關係建立模組7視第一影像31為目前處理影像，其它影像先視為第一影像31的鄰接影像，並記錄成鄰接影像記錄71。鄰接關係建立模組7再從鄰接影像記錄71中取出任二影像，以第二影像32與第四影像34為例，將第一拍攝點31a、第二拍攝點32a與第四拍攝點34a導入鄰接關係篩選原則。鄰接關係篩選原則說明如前所述，在此則不再重複贅述。鄰接關係建立模組7更進一步時，依據篩選結果，例如刪除不符合鄰接關係篩選原則的影像之後，記錄各影像3的鄰接影像。

請參照圖7A繪示本發明實施例之影像搜尋方法流程圖。請同時參照圖1A至圖4以利於了解。

如圖4，系統更包括一影像搜尋模組8。影像搜尋模組8用以取得一影像搜尋條件(步驟S310)，從各影像3中找出一目標影像(步驟S320)。

請參照圖7B繪示本發明實施例之影像搜尋方法細部流程圖。其中影像搜尋條件為一座標時，步驟S320更包括下列細部流程：影像搜尋模組8將座標與已具關聯性影像群之拍攝點座標逐一比對，以取得匹配座標之一拍攝點，此拍攝點之對應影像即為目標影像(步驟S321)。

之後，影像搜尋模組8更輸出拍攝點對應的目標影像，由一顯示模組9顯示此目標影像(步驟S322)。

請參照圖7C繪示本發明實施例之影像搜尋方法流程圖之另一例。說明如下：如圖4所示，系統更包括一操作介面81，供使用者從各影像3中選擇一輸入影像以及輸入一鄰接關係之搜尋條件(步驟S410)。

影像搜尋模組8再依據輸入影像及系統所儲存輸入影像對應的各鄰接影像，以取得匹配的目標影像(步驟S420)。

之後，影像搜尋模組8更輸出目標影像，由一顯示模組9顯示此目標影像(步驟S430)。

此外，本發明亦揭露一種記錄媒體，其供一電子設備讀取以執行上述為複數影像建立關聯性之方法，其包括一第一程式碼與一第二程式碼。第一程式碼運作等同儲存模組，第二程式碼運作等同關聯性建立模組，在此不贅述。

綜上所述，乃僅記載本發明為呈現解決問題所採用的技術手段之實施方式或實施例而已，並非用來限定本發明專利實施之範圍。即凡與本發明專利申請範圍文義相符，或依本發明專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。

1．．．儲存模組

2．．．關聯性建立模組

3．．．影像

3a．．．拍攝點

31．．．第一影像

31a．．．第一拍攝點

31b．．．第一拍攝角度

32．．．第二影像

32a．．．第二拍攝點

32b．．．第二拍攝角度

33．．．第三影像

33a．．．第三拍攝點

33b．．．第三拍攝角度

34．．．第四影像

34a．．．第四拍攝點

35．．．第五影像

35a．．．第五拍攝點

36．．．第六影像

36a．．．第六拍攝點

36b．．．第六拍攝角度

4．．．關聯影像組

41．．．關聯位置資訊

42．．．關聯角度資訊

5．．．攝像模組

6．．．影像分析模組

7．．．鄰接關係建立模組

71．．．鄰接影像記錄

8．．．影像搜尋模組

81．．．操作介面

9．．．顯示模組

A．．．夾角

T．．．共同內容

圖1A繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第一實施例；

圖1B繪示本發明實施例之影像概念示意圖；

圖1C繪示本發明實施例之關聯影像組關係示意圖；

圖1D繪示本發明實施例之關聯影像組的資料關係方塊示意圖；

圖1E至圖1G繪示本發明實施例之影像關聯建立示意圖；

圖1H與圖1I繪示本發明實施例之影像近似比對作業示意圖；

圖1J繪示本發明實施例之影像鄰接比對示意圖；

圖2繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第二實施例；

圖3繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第三實施例；

圖4繪示本發明之為複數影像建立關聯性之系統方塊示意圖之第三實施例；

圖5A繪示本發明實施例之為複數影像建立關聯性之方法流程圖；

圖5B繪示本發明實施例之為複數影像建立關聯性之方法細部流程圖；

圖6繪示本發明實施例之影像鄰接關係建立方法流程圖；

圖7A繪示本發明實施例之影像搜尋方法流程圖；

圖7B繪示本發明實施例之影像搜尋方法細部流程圖；以及

圖7C繪示本發明實施例之影像搜尋方法流程圖之另一例。

1．．．儲存模組

2．．．關聯性建立模組

3．．．影像

4．．．關聯影像組

41．．．關聯位置資訊

42．．．關聯角度資訊

Claims (34)

1. 一種為複數影像建立關聯性之系統，其包括：一儲存模組，用以儲存複數個影像，該複數個影像中具有至少一共同內容之任二影像係為一關聯影像組，每一關聯影像組對應有一關聯位置資訊及一關聯角度資訊，且該關聯影像組之每一影像分別對應其中一共同內容各具有一拍攝點，該關聯位置資訊係為兩拍攝點之間的相對位置，該關聯角度資訊係為該兩拍攝點分別對應該共同內容之拍攝角度的夾角；一關聯性建立模組，依據該些關聯影像組及其該些關聯位置資訊和該些關聯角度資訊，建立該等影像所對應之拍攝點及拍攝角度之間的關聯性；以及一鄰接關係建立模組，用以建立該等影像之間的鄰接關係，其係從該等影像中選擇一目前處理影像，且先記錄該等影像中其他影像皆為該目前處理影像之鄰接影像，然後從其他影像中選出其中任二個影像，並將該目前處理影像之拍攝點與所選出二個影像之拍攝點導入一鄰接關係篩選原則，從該二個影像中找出不符合該鄰接關係篩選原則之一者，從鄰接影像之紀錄中刪除。
2. 如申請專利範圍第1項所述之系統，其中該拍攝點及該拍攝角度係為一攝像模組於拍攝該影像時相對於該共同內容之位置及角度。
3. 如申請專利範圍第2項所述之系統，其中該系統更包括有一影像分析模組，依據該關聯影像組之攝影資訊及該 共同內容，分別為該關聯影像組產生對應的拍攝點及拍攝角度。
4. 如申請專利範圍第1項所述之系統，其中該共同內容係為該關聯影像組中所拍攝到一物體、一形狀、一顏色區塊、或是一可供進行辨識的特徵點。
5. 如申請專利範圍第1項所述之系統，其中當該等影像之間的關聯性為二維空間時，該拍攝角度包括一水平角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角；而該等影像之間的關聯性為三維空間時，該拍攝角度包括一水平角度和一仰俯角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角和仰俯角度的夾角。
6. 如申請專利範圍第1項所述之系統，其中該系統更包括一影像搜尋模組，取得一影像搜尋條件以從該等影像中搜尋出一目標影像。
7. 如申請專利範圍第6項所述之系統，其中該系統更提供一操作介面以從該等影像中選擇一輸入影像以及輸入一鄰接關係之搜尋條件，該影像搜尋模組依據該輸入影像及所紀錄其對應的至少一鄰接影像，以取得匹配的目標影像予以顯示。
8. 如申請專利範圍第1項所述之系統，其中該關聯性建立模組於建立該等影像之間的關聯性，係先選擇一關聯影像組中之一影像作為一起始影像，決定該起始影像之拍 攝點於一座標系統中的座標及拍攝角度，並依據該關聯影像組之關聯位置資訊和關聯角度資訊決定該關聯影像組中另一影像之拍攝點的座標及拍攝角度，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群。
9. 如申請專利範圍第8項所述之系統，其中該關聯性建立模組更包括依據該些已具關聯性之影像群，尋找另一待處理之關聯影像組，而該待處理關聯影像組其中一影像係為該些已具關聯性影像群之其一；以及，該關聯性建立模組依據該待處理關聯影像組中其一影像已具有座標之拍攝點、該待處理影像組之該關聯位置資訊和該關聯角度資訊，以決定該待處理關聯影像組中另一影像拍攝點於該座標系統中之座標及拍攝角度，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群。
10. 如申請專利範圍第9項所述之系統，其中該些已具關聯性影像群之拍攝點的座標及拍攝角度係構成一影像地圖，且該影像地圖係為一二維空間或三維空間。
11. 如申請專利範圍第9項所述之系統，其中該起始影像之拍攝點於該座標系統中的座標係為原點，且該拍攝角度係為一水平角度和一仰俯角度，且該水平角度和該仰俯角度係為零；以及，該已具關聯性之影像群中其他影像之拍攝點，於該座標系統中的座標係為對應於該起始影像之拍攝點的相對座標，其他影像之拍攝角度係為對應於該起始影像之拍攝角度的相對角度。
12. 如申請專利範圍第9項所述之系統，其中該關聯性建立 模組在決定該待處理關聯影像組中另一影像拍攝點之座標時，更包括從該等已具關聯性之影像群中判斷是否已存在拍攝點座標及拍攝角度相近的一比對影像，且當判斷為是時，確認該比對影像與該待處理關聯影像組中另一影像，兩者是否具有共同內容，如沒有共同內容則決定該待處理關聯影像組中另一影像不加入已具關聯性之影像群。
13. 如申請專利範圍第12項所述之系統，其中該關聯性建立模組更包括將判斷不加入之影像，依據該些已具關聯性影像群中其他影像，尋找其他待處理之關聯影像組，重新決定其拍攝點之座標。
14. 如申請專利範圍第8項所述之系統，其中該關聯性建立模組更包括選擇與其他影像組成關聯影像組之組數最多的影像做為該起始影像。
15. 如申請專利範圍第14項所述之系統，其中與其他影像組成關聯影像組之組數最多的影像，係為在該些關聯影像組中出現次數最多的影像。
16. 如申請專利範圍第1項所述之系統，其中更包括一影像搜尋模組，係取得一影像搜尋條件以從該等影像中搜尋出一目標影像。
17. 如申請專利範圍第16項所述之系統，其中該影像搜尋條件為一座標，該影像搜尋模組係將該座標與已具關聯性影像群之拍攝點座標逐一比對，以取得匹配該座標之一拍攝點，並顯示對應該所匹配拍攝點之對應影像。
18. 一種為複數影像建立關聯性之方法，包括有以下步驟：提供複數個影像，其中該複數個影像中任兩個包含至少一共同內容之影像係為一關聯影像組，每一該關聯影像組具有一關聯位置資訊及一關聯角度資訊，且其中該關聯影像組分別對應其中一共同內容各具有一拍攝點，該關聯位置資訊係為該兩拍攝點之間的相對位置，該關聯角度資訊係為該兩拍攝點分別對應該共同內容之拍攝角度的夾角；依據該些關聯影像組及其關聯位置資訊和關聯角度資訊，建立該等影像所對應之拍攝點及拍攝角度之間的關聯性；以及依據所建立該等影像之間的關聯性，為該等影像中的每一影像，分別決定並記錄其對應的至少一鄰接影像，其係從該等影像中選擇一目前處理影像，且先紀錄該等影像中其他影像皆為該目前處理影像之鄰接影像，然後從其他影像中選出其中任二個影像，並將該目前處理影像之拍攝點與所選出二個影像之拍攝點導入一鄰接關係篩選原則，用以從該二影像中找出不符合該鄰接關係篩選原則之一者，從鄰接影像之紀錄中刪除。
19. 如申請專利範圍第18項所述之方法，其中該共同內容係為該關聯影像組中所拍攝到一物體、一形狀、一顏色區塊、或是一可供進行辨識的特徵點。
20. 如申請專利範圍第18項所述之方法，其中該拍攝點及該拍攝角度係為一攝像模組於拍攝該影像時相對於該 共同內容之位置及角度。
21. 如申請專利範圍第20項所述之方法，其中該方法更包括有以下步驟：依據該關聯影像組之攝影資訊及該共同內容，分別為該關聯影像組產生對應的拍攝點及拍攝角度。
22. 如申請專利範圍第18項所述之方法，其中當該等影像之間的關聯性為二維空間時，該拍攝角度係為一水平角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角；而該等影像之間的關聯性為三維空間時，該拍攝角度係為一水平角度和一仰俯角度，且該關聯角度資訊係為該兩拍攝點分別對應該共同內容之水平角度的夾角和仰俯角度的夾角。
23. 如申請專利範圍第18項所述之方法，其中該方法更包括以下步驟：取得一影像搜尋條件以從該等影像中搜尋出一目標影像；以及，提供一操作介面以從該等影像中選擇一輸入影像以及輸入一鄰接關係之搜尋條件，再依據該輸入影像及所紀錄其對應的至少一鄰接影像，以取得匹配的目標影像予以顯示。
24. 如申請專利範圍第18項所述之方法，其中該方法更包括以下步驟：於建立該等影像之間的關聯性，係先選擇一關聯影像組中之一影像作為一起始影像，決定該起始影像之拍攝點於一座標系統中的座標及拍攝角度，並依據該關聯影像組之關聯位置資訊和關聯角度資訊決定該關聯影像組中另一影像之拍攝點的座標及拍攝角 度，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群。
25. 如申請專利範圍第24項所述之方法，其中該方法更包括以下步驟：依據該些已具關聯性之影像群，尋找另一待處理之關聯影像組，而該待處理關聯影像組其中一影像係為該些已具關聯性影像群之其一；以及，依據該待處理關聯影像組中其一影像已具有座標之拍攝點、該待處理影像組之關聯位置資訊和關聯角度資訊，以決定該待處理關聯影像組中另一影像拍攝點於該座標系統中之座標及拍攝角度，然後將已具有座標及拍攝角度之影像視為已具關聯性之影像群。
26. 如申請專利範圍第25項所述之方法，其中該些已具關聯性影像群之拍攝點的座標及拍攝角度係構成一影像地圖，且該影像地圖係為一二維空間或三維空間。
27. 如申請專利範圍第25項所述之方法，其中該起始影像之拍攝點於該座標系統中的座標係為原點，且該拍攝角度係為一水平角度和一仰俯角度，且該水平角度和該仰俯角度係為零；以及，該已具關聯性之影像群中其他影像之拍攝點，於該座標系統中的座標係為對應於該起始影像之拍攝點的相對座標，其他影像之拍攝角度係為對應於該起始影像之拍攝角度的相對角度。
28. 如申請專利範圍第25項所述之方法，其中該方法在決定該待處理關聯影像組中另一影像拍攝點之座標時，更包括以下步驟：從該等已具關聯性之影像群中判斷是否 已存在拍攝點座標及拍攝角度相近的一比對影像，且當判斷為是時，確認該比對影像與該待處理關聯影像組中另一影像兩者是否具有共同內容，如沒有共同內容則決定該待處理關聯影像組中另一影像不加入已具關聯性之影像群。
29. 如申請專利範圍第28項所述之方法，其中該方法更包括以下步驟：將判斷不加入之影像，依據該些已具關聯性影像群中其他影像，尋找其他待處理之關聯影像組，重新決定其拍攝點之座標。
30. 如申請專利範圍第24項所述之方法，其中該方法更包括以下步驟：選擇與其他影像組成關聯影像組之組數最多的影像做為該起始影像。
31. 如申請專利範圍第30項所述之方法，其中與其他影像組成關聯影像組數最多的影像，係為在該些關聯影像組中出現次數最多的影像。
32. 如申請專利範圍第18項所述之方法，其中該方法更包括以下步驟：取得一影像搜尋條件以從該等影像中搜尋出一目標影像。
33. 如申請專利範圍第32項所述之方法，其中該影像搜尋條件為一座標，且該方法更包括以下步驟：將該座標與已具關聯性影像群之拍攝點座標逐一比對，以取得匹配該座標之一拍攝點，並顯示對應該所匹配拍攝點之該目標影像。
34. 一種記載有程式碼以提供一電子設備讀取以執行為複 數影像建立關聯性之方法的記錄媒體，可提供一電子設備讀取以執行為複數影像建立關聯性之方法，其中該記錄媒體包括：一第一程式碼，用以儲存複數個影像，其中該複數個影像中任兩個包括至少一共同內容之影像係為一關聯影像組，每一該關聯影像組具有一關聯位置資訊及一關聯角度資訊；且其中該關聯影像組分別對應其中一共同內容各具有一拍攝點，該關聯位置資訊係為兩拍攝點之間的相對位置，該關聯角度資訊係為該兩拍攝點分別對應該共同內容之拍攝角度的夾角；以及一第二程式碼，用以依據該些關聯影像組及其關聯位置資訊和關聯角度資訊，建立該等影像所對應之拍攝點及拍攝角度之間的關聯性，依據所建立該等影像之間的關聯性，為該等影像中的每一影像，分別決定並紀錄其對應的至少一鄰接影像，其係從該等影像中選擇一目前處理影像，且先紀錄該等影像中其他影像皆為該目前處理影像之鄰接影像，然後從其他影像中選出其中任二個影像，將該目前處理影像之拍攝點與所選出二個影像之拍攝點導入一鄰接關係篩選原則，用以從該二影像中找出不符合該鄰接關係篩選原則之一者，從鄰接影像之紀錄中刪除。