TWI622958B - 影像縫合方法及影像縫合系統 - Google Patents

Abstract

本發明提出一種影像縫合方法及影像縫合裝置。影像縫合方法適用於影像縫合系統，影像縫合系統包括多個影像擷取裝置及多個感測器，感測器分別對應設置於影像擷取裝置上。影像縫合方法包括：利用影像擷取裝置擷取多個影像；根據感測器的感測資訊來計算輸入參數；判斷輸入參數是否在預設範圍內；若輸入參數不在預設範圍內，判斷輸入參數所在的第一範圍；取得在第一範圍內的輸入參數所對應到的輸出參數；以及根據輸出參數來縫合影像。

Description

影像縫合方法及影像縫合系統

本發明是有關於一種影像縫合方法及影像縫合系統，且特別是有關於一種能動態調整縫合參數的影像縫合方法及影像縫合系統。

隨著微型攝影機技術的日益進步，越來越多產品可同時使用多個攝影機以產生視角更廣的影像，例如全景拍攝、監視系統、環車影像輔助系統(Around View Monitoring，AVM)等。目前市面上大多數產品設計為固定機構，因此只需要在產品出廠之前調整好參數就能達到廣角校正、視角轉換及影像縫合等效果。但在攜帶式裝置中，多個相機鏡頭之間的相對距離及角度可能會動態改變，這會造成縫合的影像產生失真，而降低使用者體驗。另一方面，在固定機構(例如，將多鏡頭安裝於汽車四周)進行校準後，若在使用途中產生位移，只能送回原廠重新校準，造成使用者的不便。

本發明提供一種影像縫合方法及影像縫合系統，其可隨著鏡頭的相對位置而動態調整影像縫合需要的參數，以達到智慧縫合的目的。

本發明提出一種影像縫合方法，適用於影像縫合系統，影像縫合系統包括多個影像擷取裝置及多個感測器，感測器分別對應設置於影像擷取裝置上。影像縫合方法包括：利用影像擷取裝置擷取多個影像；根據感測器之間的相對位置資訊來取得輸入參數；判斷輸入參數是否在預設範圍內；若輸入參數不在預設範圍內，判斷輸入參數所在的第一範圍；取得在第一範圍內的輸入參數所對應到的輸出參數；以及根據輸出參數來縫合影像。

本發明提出一種影像縫合系統，包括處理器、多個影像擷取裝置及多個感測器。上述影像擷取裝置耦接於處理器。上述感測器耦接於處理器且分別對應設置於影像擷取裝置上。其中處理器利用影像擷取裝置擷取多個影像。其中處理器根據感測器之間的相對位置資訊來取得輸入參數。其中處理器判斷輸入參數是否在預設範圍內。其中若輸入參數不在預設範圍內，處理器判斷輸入參數所在的第一範圍。其中處理器取得在第一範圍內的輸入參數所對應到的輸出參數。其中處理器根據輸出參數來縫合影像。

基於上述，本發明的影像縫合方法及影像縫合系統可根據設置於影像擷取裝置上的感測器來產生即時感測資訊，並利用感測資訊計算輸入參數，再查表取得輸入參數對應的輸出參數並根據輸出參數來縫合影像，因此在影像擷取裝置產生位移的的狀況下仍然能夠正確地縫合影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是根據本發明一實施例的影像縫合系統的方塊圖。

請參照圖1，本發明的影像縫合系統100包括處理器110、多個影像擷取裝置120-1~120-n、多個感測器130-1~130-n、以及儲存裝置140。處理器110可為中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他類似裝置。儲存裝置140可為隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、小型快閃(Compact Flash，CF)記憶卡、安全數位(Secure Digital，SD)記憶卡、微安全數位(Micro SD)記憶卡、記憶棒(Memory Stick，MS)或其他類似裝置。影像擷取裝置120-1~120-n可為感光耦合元件(Charge-Coupled Device，CCD)感測器、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)感測器或其他類似裝置。感測器130-1~130-n可包括加速度計、陀螺儀或任何可取得加速度資訊及角加速度資訊的感測器。

處理器110耦接到多個影像擷取裝置120-1~120-n及多個感測器130-1~130-n。而每一個感測器130-1~130-n可設置於對應的影像擷取裝置120-1~120-n上(例如，感測器130-1設置於影像擷取裝置120-n上)，以偵測影像擷取裝置120-1~120-n的加速度資訊及角加速度資訊。處理器110可根據感測器130-1~130-n的加速度資訊及角加速度資訊來獲得影像擷取裝置120-1~120-n的位置資訊及角度變化量，並從儲存裝置140中的參數表找出上述位置資訊及角度變化量所對應的輸出參數，再根據輸出參數來縫合影像擷取裝置120-1~120-n所擷取的影像。

圖2是根據本發明一實施例的影像縫合方法的流程圖。

請參照圖2，在步驟S201中，利用影像擷取裝置120-1~120-n擷取多個影像。在步驟S203中，偵測機械刻度輸入資料。在本實施例中，影像縫合系統100可為可調的頭戴式耳機，其中影像擷取裝置設置於耳機左右兩側，因此影像擷取裝置的相對位置會隨著多個機械刻度上的調整而有所不同。然而，在另一實施例中，影像縫合系統100也可為影像擷取裝置隨著機械刻度調整而改變位置的任何裝置。在步驟S205中，根據機械刻度從參數表中查詢此刻度對應的輸出參數。接著在步驟S207中，根據輸出參數進行影像前處理。並在步驟S209、S211、S213中根據輸出參數對擷取的多個影像進行特徵擷取及特徵比對，並將多個影像藉由上述特徵合成影像。最後在步驟S215中輸出影像。

值得注意的是，輸出參數可包括移動類型、感興趣區域、重疊部分、搜尋半徑等縫合影像時所需的參數設置。移動類型可包括平面移動、傾斜移動、轉動等類型。感興趣區域可為自訂區域或其他具有特定特徵的區域。重疊部分可為鄰近影像重疊部分的大小。搜尋半徑可為特徵比對時在影像中搜尋範圍的大小。

圖3是根據本發明另一實施例的影像縫合方法的流程圖。

在步驟S301中，利用影像擷取裝置120-1~120-n擷取多個影像。在步驟S303中，獲得感測器130-1~130-n的感測資訊並藉由感測資訊來計算輸入參數，其中感測資訊可為加速度計所感測的加速度資訊及陀螺儀感測的角加速度資訊，而輸入參數包括由加速度資訊計算出的感測器的位置資訊及由角加速度資訊計算出的感測器角度變化量。在步驟S305中，判斷輸入參數是否在預設範圍內。若輸入參數在預設範圍內，在步驟S307中，從參數表中取得在預設範圍內的輸入參數所對應到的預設輸出參數。若輸入參數不在預設範圍內，在步驟S309中，判斷輸入參數所在的第一範圍。在步驟S311中，從參數表中取得在第一範圍內的輸入參數所對應到的輸出參數。接著在步驟S313中，根據輸出參數進行影像前處理。並在步驟S315、S317、S319中根據輸出參數對擷取的多個影像進行特徵擷取及特徵比對，並將多個影像藉由上述特徵合成影像。最後在步驟S321中輸出影像。

圖4是根據本發明一實施例的影像縫合系統的示意圖。

請參照圖4，本發明的影像縫合系統400包括影像擷取裝置421及影像擷取裝置422，在影像擷取裝置421及影像擷取裝置422上分別設置了感測器(未繪示於圖中)。本實施例的影像縫合系統400使用了固定式機構組件，因此影像擷取裝置421及影像擷取裝置422的相對位置及各自的角度不會改變。詳細來說，在機構組件固定的情況下，影像擷取裝置421及影像擷取裝置422在X軸上的相對距離d、影像擷取裝置421及影像擷取裝置422的焦距D、影像擷取裝置421對於Z軸的旋轉角度θ ₁、影像擷取裝置422對於Z軸的旋轉角度θ ₂及影像擷取裝置421及影像擷取裝置422的視野(Field of View，FOV)資訊都會固定不變，因此影像縫合系統400可根據固定的參數來縫合影像。

圖5是根據本發明另一實施例的影像縫合系統的示意圖。

請參照圖5，本發明的影像縫合系統500包括影像擷取裝置521及影像擷取裝置522，在影像擷取裝置521及影像擷取裝置522上分別設置了感測器(未繪示於圖中)。本實施例的影像縫合系統500使用了非固定式機構組件，因此影像擷取裝置521及影像擷取裝置522的相對位置及各自的角度可隨時間而變動。影像擷取裝置521及影像擷取裝置522的焦距分別為D ₁及D ₂。

為了取得影像擷取裝置521及影像擷取裝置522的相對位置及角度變化量，影像縫合系統500會先從影像擷取裝置521上的感測器(例如，加速度計及陀螺儀)取得加速度資訊G ₁(x, y, x) m/s ²及角加速度資訊Gy ₁(α, β, γ) deg/s ²，並從影像擷取裝置522上的感測器取得加速度資訊G ₂(x, y, x) m/s ²及角加速度資訊Gy ₂(α, β, γ) deg/s ²。影像縫合系統500還會根據初始化影像擷取裝置521的初始位置Pi ₁(x, y, z)=(-d, 0, 0)及影像擷取裝置522的初始位置Pi ₂(x, y, z)=(0, 0, 0)，也就是說影像擷取裝置521及影像擷取裝置522在X軸上的初始相對距離為d且在Y軸及X軸上的初始相對距離為0。

當影像擷取裝置521及影像擷取裝置522隨著時間t變動時，影像擷取裝置521的位置改變為P ₁(x, y, z)= Pi ₁(x, y, z)+ ∫(∫G ₁(x, y, z)dt)dt且影像擷取裝置522的位置改變為P ₂(x, y, z)= Pi ₂(x, y, z)+ ∫(∫G ₂(x, y, z)dt)dt，因此影像擷取裝置521及影像擷取裝置522之間的相對位置關係△P(x, y, z)= P ₁(x, y, z)-P ₂(x, y, z)。此外，隨著時間t變動時影像擷取裝置521的角度變化量為△V ₁(α, β, γ)= ∫(∫Gy ₁(α, β, γ)dt)dt且影像擷取裝置522的角度變化量為△V ₂(α, β, γ)= ∫(∫Gy ₂(α, β, γ)dt)dt。由兩個影像擷取裝置的相對位置關係△P以及角度變化量△V ₁、△V ₂，可計算出兩個影像擷取裝置隨著時間變動的相對關係。

舉例來說，影像縫合系統500可計算出影像擷取裝置521對於影像擷取裝置522在X軸的相對距離a、影像擷取裝置521對於影像擷取裝置522在Y軸的相對距離b、影像擷取裝置521對於影像擷取裝置522在Z軸的相對距離c(未繪示於圖中)、影像擷取裝置521及影像擷取裝置522相對X軸的旋轉變化量Φ ₁及Φ ₂(未繪示於圖中)、影像擷取裝置521及影像擷取裝置522相對Y軸的旋轉變化量δ ₁及δ ₂(未繪示於圖中)、以及影像擷取裝置521及影像擷取裝置522相對Z軸的旋轉變化量θ ₁及θ ₂。接著根據上述參數a、b、c、Φ ₁、Φ ₂、δ ₁、δ ₂、θ ₁、θ ₂(又稱為輸入參數)從參數表中查找對應的輸出參數，並根據輸出參數來縫合影像擷取裝置521及影像擷取裝置522所擷取的影像。雖然在本實施例中說明了根據影像擷取裝置在X、Y、Z軸的相對距離及相對X、Y、Z軸的旋轉變化量從參數表中查找對應的輸出參數，但本發明並不以此為限。在另一實施例中，也可直接根據兩個影像擷取裝置的相對位置關係△P以及角度變化量△V ₁、△V ₂從參數表中查找對應的輸出參數。

圖6是根據本發明另一實施例的影像縫合系統的示意圖。

請參照圖6，本發明的影像縫合系統600包括影像擷取裝置621、影像擷取裝置622及影像擷取裝置623，在影像擷取裝置621、影像擷取裝置622及影像擷取裝置523上分別設置了感測器(未繪示於圖中)。本實施例的影像縫合系統600使用了非固定式機構組件，因此影像擷取裝置621、影像擷取裝置622及影像擷取裝置623的相對位置及各自的角度可隨時間而變動。

在本實施例中，影像縫合系統600可計算出影像擷取裝置621相對於攝影鏡頭中心C的X、Y、Z軸相對距離a ₁、b ₁、c ₁(未繪示於圖中)，並以類似方法計算出影像擷取裝置622及影像擷取裝置623相對於攝影鏡頭中心C的X、Y、Z軸相對距離a ₂、b ₂、c ₂、a ₃、b ₃、c ₃(未繪示於圖中)，並計算出三個影像擷取裝置對X軸的旋轉變化量Φ ₁、Φ ₂、Φ ₃(未繪示於圖中)、對Y軸的旋轉變化量δ ₁、δ ₂、δ ₃(未繪示於圖中)、以及對Z軸的旋轉變化量θ ₁、θ ₂、θ ₃(未繪示於圖中)。旋轉變化量的計算方法已經在圖5實施例中詳細說明，因此便不再此贅述。因此，影像縫合系統600就可根據上述參數a ₁、b ₁、c ₁、a ₂、b ₂、c ₂、a ₃、b ₃、c ₃、Φ ₁、Φ ₂、Φ ₃、δ ₁、δ ₂、δ ₃、θ ₁、θ ₂、θ ₃(又稱為輸入參數)從參數表中查找對應的輸出參數，並根據輸出參數來縫合影像擷取裝置621、影像擷取裝置622及影像擷取裝置623所擷取的影像。

圖7是根據本發明一實施例的調整權重以補償影像的示意圖。

請參照圖7，本發明的影像縫合系統可將每個影像擷取裝置設定一個權重，而在不同情境之下影像擷取裝置可具有不同權重。舉例來說，在情境S1中，n個影像擷取裝置可分別具有權重W ₁₁、W ₁₂、…、W _1n，而在情境S2中，n個影像擷取裝置可分別具有權重W ₂₁、W ₂₂、…、W _2n。值得注意的是，本發明可將每個情境中所有影像擷取裝置的總權重設定為1，也就是W ₁₁+W ₁₂+…+W _1n=1且W ₂₁+W ₂₂+…+W _2n=1。

在圖7中，C ₁、C ₂、…、C ₈為不同影像擷取裝置所拍攝到的照片，而在鄰近影像擷取裝置拍攝的照片中會有重疊部分。當其中一個影像擷取裝置所拍攝的照片在其位置上產生嚴重失真時，本發明的影像縫合系統會調整上述影像擷取裝置的左右影像擷取裝置的權重，以補償嚴重失真的照片。舉例來說，照片C ₄包含了照片C ₃及C ₅的重疊部分，當照片C ₃及C ₅的重疊部分足夠時，照片C ₄所對應的影像擷取裝置可具有較低的權重，甚至將其權重設定為零。然而，一旦隨著時間變動而使照片C ₃及C ₅的重疊部分不足時，本發明的影像縫合系統會加大照片C ₄所對應的影像擷取裝置的權重，使得影像縫合系統所拍攝的影像能順利縫合。

綜上所述，本發明的影像縫合方法及影像縫合系統可根據設置於影像擷取裝置上的感測器計算影像擷取裝置之間的距離及影像擷取裝置各自的旋轉角度，並根據距離及旋轉角度查看參數表獲得輸出參數且根據輸出參數來縫合影像，因此在影像擷取裝置產生位移的的狀況下仍然能夠正確地縫合影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、400、500、600‧‧‧影像縫合系統

110‧‧‧處理器

120-1~120-n、421、422、521、522、621、622、623‧‧‧影像擷取裝置

130-1~130-n‧‧‧感測器

140‧‧‧儲存裝置

S201、S203、S205、S207、S209、S211、S213、S215‧‧‧影像縫合方法的步驟

S301、S303、S305、S307、S309、S311、S313、S315、S317、S319、S321‧‧‧影像縫合方法的步驟

d、a₁、b₁‧‧‧距離

D、D₁、D₂‧‧‧焦距

θ₁、θ₂‧‧‧角度

C‧‧‧攝影鏡頭中心

C₁~C₈‧‧‧照片

圖1是根據本發明一實施例的影像縫合系統的方塊圖。 圖2是根據本發明一實施例的影像縫合方法的流程圖。 圖3是根據本發明另一實施例的影像縫合方法的流程圖。 圖4是根據本發明一實施例的影像縫合系統的示意圖。 圖5是根據本發明另一實施例的影像縫合系統的示意圖。 圖6是根據本發明另一實施例的影像縫合系統的示意圖。 圖7是根據本發明一實施例的調整權重以補償影像的示意圖。

Claims (8)

1. 一種影像縫合方法，適用於一影像縫合系統，該影像縫合系統包括多個影像擷取裝置及多個感測器，該些感測器分別對應設置於該些影像擷取裝置上，該影像縫合方法包括：利用該些影像擷取裝置擷取多個影像；根據該些感測器的一感測資訊來計算一輸入參數；判斷該輸入參數是否在一預設範圍內；若該輸入參數不在該預設範圍內，判斷該輸入參數所在的一第一範圍；取得在該第一範圍內的該輸入參數所對應到的一輸出參數；根據該些影像的重疊部分多寡來決定該些影像的權重；以及根據該輸出參數來縫合該些影像，其中該輸入參數包括該些感測器的三軸相對距離及三軸角度變化量，其中該輸出參數包括所述多個影像的移動類型、感興趣區域、重疊部分及搜尋半徑的至少其中之一。
2. 如申請專利範圍第1項所述的影像縫合方法，更包括若該輸入參數在該預設範圍內，取得在該預設範圍內的該輸入參數所對應到的一預設輸出參數。
3. 如中請專利範圍第1項所述的影像縫合方法，其中該些感測器的每一個包括一加速度計及一陀螺儀。
4. 如申請專利範圍第1項所述的影像縫合方法，更包括當多個影像擷取裝置中的一第一影像擷取裝置所拍攝的一第一影像失真時，調整該第一影像擷取裝置的至少一鄰近影像擷取裝置的權重以補償該第一影像。
5. 一種影像縫合系統，包括：一處理器；多個影像擷取裝置，耦接於該處理器；以及多個感測器，耦接於該處理器且分別對應設置於該些影像擷取裝置上，其中該處理器利用該些影像擷取裝置擷取多個影像，其中該處理器根據該些感測器的一感測資訊來取得一輸入參數，其中該輸入參數包括該些感測器的三軸相對距離及三軸角度變化量，其中該處理器判斷該輸入參數是否在一預設範圍內，其中若該輸入參數不在該預設範圍內，該處理器判斷該輸入參數所在的一第一範圍，其中該處理器取得在該第一範圍內的該輸入參數所對應到的一輸出參數，其中該輸出參數包括所述多個影像的移動類型、感興趣區域、重疊部分及搜尋半徑的至少其中之一，其中該處理器根據該些影像的重疊部分多寡來決定該些影像 的權重，其中該處理器根據該輸出參數來縫合該些影像。
6. 如申請專利範圍第5項所述的影像縫合系統，其中若該輸入參數在該預設範圍內，該處理器取得在該預設範圍內的該輸入參數所對應到的一預設輸出參數。
7. 如申請專利範圍第5項所述的影像縫合系統，其中該些感測器的每一個包括一加速度計及一陀螺儀。
8. 如申請專利範圍第5項所述的影像縫合系統，其中當多個影像擷取裝置中的一第一影像擷取裝置所拍攝的一第一影像失真時，該處理器調整該第一影像擷取裝置的至少一鄰近影像擷取裝置的權重以補償該第一影像。