TWI727393B - 雷射與攝像整合系統及其方法 - Google Patents

Abstract

一種雷射與攝像整合系統，包含攝像模組、雷射光源模組、分色鏡和處理器。攝像模組配置為將入射光轉換為圖像資料。雷射光源模組配置為產生雷射光束。分色鏡配置為反射雷射光束，且使入射光通過。處理器經配置為進行下列操作：取得攝像模組的內部參數和外部參數；利用攝像模組的內部參數和外部參數計算出偵測物件與攝像模組之間的距離；以及對攝像模組及雷射光源模組進行同軸校正操作。

Description

雷射與攝像整合系統及其方法

本發明是指一種雷射與攝像整合系統及其方法，且特別是指一種具有影像感測與雷射光束之同軸校正功能的雷射與攝像整合系統及其方法。

雷射與攝像整合系統為整合攝像模組與雷射光源模組的系統。在此系統的操作上，首先由攝像模組辨識目標物件，以及計算出目標物件的位置，接著再由雷射光源模組發射雷射光束至目標物件。然而，由於影像模組與雷射光源模組的設置位置通常未重疊，若是影像模組未與雷射光束進行同軸校正，將使得雷射光束的目標方向有所誤差。

本發明的目的是在於提供一種雷射與攝像整合系統及其方法，其具有影像感測與雷射光束之同軸校正功能，使得雷射光束的目標方向更為精確，且可加快系統的操作速度。

本發明之一方面是有關於一種雷射與攝像整合 系統，其包含攝像模組、雷射光源模組、分色鏡和處理器。攝像模組配置為感測入射光，並將入射光轉換為圖像資料。雷射光源模組配置為產生雷射光束。分色鏡配置為反射雷射光束，且使入射光通過。處理器經配置為進行下列操作：取得攝像模組的內部參數和外部參數；利用攝像模組的內部參數和外部參數計算出偵測物件與攝像模組之間的距離；以及對攝像模組及雷射光源模組進行同軸校正操作，使雷射光束對準偵測物件的目標部位。

依據本發明之一實施例，上述雷射與攝像整合系統更包含雙軸掃描振鏡，其設置於雷射光束之光路上，且配置為依據電壓訊號調整其位置，從而改變雷射光束的行進方向。

依據本發明之又一實施例，上述雷射與攝像整合系統更包含控制器，其耦接至處理器及雙軸掃描振鏡。在處理器對攝像模組及雷射光源模組進行同軸校正操作時，處理器用以將操作指示傳送至控制器，使控制器據以產生電壓訊號，並將電壓訊號傳輸至雙軸掃描振鏡。

依據本發明之又一實施例，上述雷射與攝像整合系統更包含慣性量測單元，其配置為取得雷射與攝像整合系統的三軸角度資料。

依據本發明之又一實施例，上述雷射與攝像整合系統更包含記憶體，其配置為儲存查找表，此查找表包含平面軸向偏離角度、攝像模組之焦距和調整值的對應資料。

依據本發明之又一實施例，上述攝像模組包含 電荷耦合元件(charge coupled device；CCD)晶片或互補式金氧半導體(complementary metal oxide semiconductor；CMOS)晶片。

本發明之另一方面是有關於一種用於一雷射與攝像整合系統之方法，此雷射與攝像整合系統包含攝像模組和雷射光源模組，且此方法包含：取得攝像模組的內部參數和外部參數；利用攝像模組的內部參數和外部參數計算出偵測物件與攝像模組之間的距離；以及對攝像模組及雷射光源模組進行同軸校正操作，使雷射光束對準偵測物件之目標部位。

依據本發明之一實施例，上述取得攝像模組的內部參數和外部參數之步驟包含：取得標的物件之距離資訊、平面尺寸資訊及角度資訊；以及依據標的物件之距離資訊、平面尺寸資訊及角度資訊，計算出攝像模組的內部參數和外部參數。

依據本發明之又一實施例，上述得到偵測物件與攝像模組之間的距離之步驟包含：取得偵測物件分別在攝像模組擷取之不同圖框影像中的畫素數量；以及依據偵測物件在不同圖框影像中的畫素數量的變化量及實際距離變化量，決定偵測物件與攝像模組之間的距離。

依據本發明之又一實施例，上述雷射與攝像整合系統更包含雙軸掃描振鏡，且上述對攝像模組及雷射光源模組進行同軸校正操作之步驟包含：計算出偵測物件之目標位置相對於雙軸掃描振鏡之基準位置的平面軸向偏離角 度；依據平面軸向偏離角度得到調整值，並以調整值產生電壓控制訊號，以調整雙軸掃描振鏡的位置。

100‧‧‧雷射與攝像整合系統

110‧‧‧攝像模組

112‧‧‧影像感測器

114‧‧‧透鏡

120‧‧‧雷射光源模組

132、134‧‧‧反射鏡

136‧‧‧雙軸掃描振鏡

140‧‧‧濾光片

150‧‧‧分色鏡

200‧‧‧安裝校正操作

400‧‧‧焦距校正操作

600‧‧‧雷射與攝像同軸校正操作

θ₁‧‧‧X軸偏離角度

θ₂‧‧‧Y軸偏離角度

D‧‧‧距離

d‧‧‧移動量

f‧‧‧焦距

G‧‧‧標的物件

I₁‧‧‧X軸距離

I₂‧‧‧Y軸距離

OB‧‧‧偵測物件

P1、P2‧‧‧水平畫素個數

S202、S204、S206、S402、S404、S602、S604、S606、S608、S610‧‧‧步驟

W‧‧‧寬度

為了更完整了解實施例及其優點，現參照結合所附圖式所做之下列描述，其中：〔圖1〕為本發明實施例之雷射與攝像整合系統的示意圖；〔圖2〕為本發明實施例之安裝校正操作的流程圖；〔圖3〕繪示計算透鏡的水平視角所需之參數所對應的位置；〔圖4〕為本發明實施例之焦距校正操作的流程圖；〔圖5〕繪示偵測物件的移動量和分別在前後兩圖框期間在圖框影像中所佔的水平畫素個數；〔圖6〕為本發明實施例之雷射與攝像同軸校正操作的流程圖；以及〔圖7〕繪示攝像模組的焦距為和目標位置相對於基準位置的平面軸向距離。

以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之較佳實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。

在本文中所使用的用語僅是為了描述特定實施例，非用以限制申請專利範圍。除非另有限制，否則單數形式的「一」或「該」用語也可用來表示複數形式。此外，空間相對性用語的使用是為了說明元件在使用或操作時的不同方位，而不只限於圖式所繪示的方向。

另外，在本文中可能會使用空間相對用語，例如「上方(over)」、「上(on)」、「下方(under)」、「下(below)」等等，以方便說明如圖式所繪示之一元件或一特徵與另一元件或特徵之關係。除了在圖式中所繪示之方向外，這些空間相對用詞意欲含括元件在使用或操作中的不同方位。結構可能以不同方式定位(旋轉90度或在其他方位上)，因此可利用同樣的方式來解釋在此所使用之空間相對描述符號。

關於本文中所使用之「耦接」一詞，可指二或多個元件相互直接實體或電性接觸，或是相互間接實體或電性接觸。「耦接」還可指二或多個元件相互操作或動作。

圖1為本發明實施例之雷射與攝像整合系統100的示意圖。雷射與攝像整合系統100包含攝像模組110、雷射光源模組120、反射鏡132、134、雙軸掃描振鏡136、濾光片140和分色鏡150。攝像模組110包含影像感測器112和透鏡114。影像感測器112包含光感測晶片，例如電荷耦合元件(charge coupled device；CCD)晶片、互補式金氧半導體(complementary metal oxide semiconductor；CMOS)晶片、或是其他適於感測入射光 的晶片。透鏡114用以折射入射光，使得影像感測器112感測入射光，並將入射光轉換為圖像資料。雷射光源模組120用以產生雷射光束。舉例而言，雷射光源模組120可使用雷射二極體作為泵浦光源，並激發雷射晶體，例如Nd：YVO₄(Neodymium Vanadate)晶體，以產生近紅外光的雷射光束。反射鏡132、134用以改變雷射光源模組120發射之雷射光束的行進方向，而雙軸掃描振鏡136用以快速改變雷射光束在X方向及Y方向(即互相垂直的兩平面維度方向)經過分色鏡150反射後的準直方向。雙軸掃描振鏡136設置於雷射光束的光路上，依據接收到的電壓訊號調整位置，從而改變雷射光束的行進方向。濾光片140用以阻擋可見光波段以上的光成分通過，從而提升攝像模組110的對比度。分色鏡150對可見光具有高穿透率，以使外部可見光通過而入射至攝像模組110，進而由影像感測器112吸收。另一方面，分色鏡150對雷射光源模組120產生的雷射光束具有高反射率，使得雷射光源模組120產生的雷射光束絕大部分經由分色鏡150反射出。

雷射與攝像整合系統100還包含處理器和控制器(圖未繪示)。處理器用以進行下列操作：取得攝像模組110的內部參數和外部參數，利用攝像模組110的內部參數和外部參數得到偵測物件與攝像模組110之間的距離，以及對攝像模組110及雷射光源模組120進行同軸校正操作。控制器耦接至處理器和雙軸掃描振鏡136。在處理器對攝像模組110和雷射光源模組120進行同軸校正操作時，處理器將 操作指示傳送至控制器，使控制器據以產生電壓訊號，並將電壓訊號傳輸至雙軸掃描振鏡136。上述操作完成後，雷射光源模組120發射出的雷射光束可對準偵測物件的目標部位。處理器的詳細操作可參照如後續段落所述之安裝校正操作200、焦距校正操作400和雷射與攝像同軸校正操作600。

雷射與攝像整合系統100還包含還包含慣性量測單元(inertia measurement unit；IMU)(圖未繪示)，其用以取得雷射與攝像整合系統100的俯仰角(pitch)、偏航角(yaw)、翻滾角(roll)等三軸角度資料。此外，雷射與攝像整合系統100還包含記憶體(圖未繪示)，其用以儲存查找表和/或其他資料，此查找表包含平面軸向(包含X軸和Y軸)偏離角度、攝像模組110的焦距和調整值的對應資料，使得處理器可從查找表中找到對應平面軸向(包含X軸和Y軸)偏離角度的調整值，並依據此調整值將操作指示傳送至控制器，使控制器據以產生電壓訊號。

圖2為本發明實施例之安裝校正操作200的流程圖。安裝校正操作200適用於雷射與攝像整合系統100或其他相似的系統。為方便說明，以下敘述以使用在雷射與攝像整合系統100為例。在安裝校正操作200中，首先進行步驟S202，取得標的物件的距離資訊、平面尺寸資訊及角度資訊。標的物件的距離資訊為標的物件與攝像模組110之間的距離。標的物件的平面尺寸資訊包含標的物件的長度和寬度等。標的物件角度資訊包含標的物件的長度和寬度等。

接著，進行步驟S204，取得攝像模組110的內 部參數。焦距可由標的物件與攝像模組之間的距離乘上感測器的尺寸接著再除上標的物件的長度而得。透鏡的水平視角(field of view；FOV)和垂直視角可藉由計算標的物件的平面尺寸資訊、標的物件與攝像模組之間的距離、感測器的解析度(resolution)和標的物件的影像在感測器中所佔的畫素個數而得。如圖3所示，若是標的物件G的寬度為W，標的物件G與攝像模組110之間的距離為D，感測器的水平解析度為X個畫素，且標的物件G的影像在感測器中所佔的畫素個數為Y個，則透鏡114的水平視角FOV_H為2tan^-1[(W/Y)×(X/2)/D]。此外，攝像模組110水平放置與慣性量測單元取得的三軸角度資料的誤差值亦記錄下已供後續步驟使用。

之後，進行步驟S206，當安裝攝像模組110在雷射與攝像整合系統100上時，取得攝像模組110的外部參數。攝像模組110的外部參數包含安裝角度和安裝高度等，其中安裝角度為由慣性量測單元進行量測而得到的角度數值減去在步驟S204中得到的誤差值。

圖4為本發明實施例之焦距校正操作400的流程圖。焦距校正操作400在安裝校正操作200完成後進行，且同樣地，以下敘述以使用在雷射與攝像整合系統100為例。在焦距校正操作400中，首先進行步驟S402，取得偵測物件OB分別在攝像模組110擷取之不同圖框影像中的畫素數量。偵測物件OB在圖框影像中的位置可經由處理器辨識出。接著，進行步驟S404，依據偵測物件OB在不同圖框 影像中的畫素數量的變化量及實際距離變化量，計算出偵測物件OB與攝像模組110之間的距離。偵測物件OB與攝像模組110之間的距離D ₀可由下式而得：

其中d為偵測物的移動量，W ₀為偵測物的寬度，△P為偵測物件OB在影像感測器112中所佔的水平畫素個數的變化量，而R _H 為影像感測器112的水平解析度。如圖5所示，若是在前後兩圖框期間，偵測物件OB在前面和後面的圖框影像中所佔的水平畫素個數分別為P1、P2，則偵測物件OB在影像感測器112中所佔的水平畫素個數的變化量△P為P1-P2。此外，偵測物件OB在對應前面和後面圖框影像的位置之間的距離即為偵測物件OB的移動量d。

圖6為本發明實施例之雷射與攝像同軸校正操作600的流程圖。雷射與攝像同軸校正操作600適用於雷射與攝像整合系統100或其他相似的系統。為方便說明，以下敘述以使用在雷射與攝像整合系統100為例。在雷射與攝像同軸校正操作600中，首先進行步驟S602，將雙軸掃描振鏡136固定在基準位置。舉例而言，可提供0伏的直流電壓訊號至雙軸掃描振鏡136，使雙軸掃描振鏡136回到初始位置。接著，進行步驟S604，利用反射鏡132、134調整雷射光束。在雷射光束進入至雙軸掃描振鏡136前，透過反射鏡132、134來調整雷射光束，使得由分色鏡150出光的雷射光束準直。調整完成後，雷射光束在影像感測器112感測到 的圖框影像中的位置為基準位置。之後，進行步驟S606，取得偵測物件與攝像模組110之間的距離。步驟S606可參照圖4之焦距校正操作400，在此不重複說明。接著，進行步驟S608，計算出目標位置相對於基準位置的平面軸向偏離角度，即X軸偏離角度和Y軸偏離角度。目標位置為偵測物件的目標部位在影像感測器112感測到的圖框影像中的位置。如圖7所示，若是攝像模組的焦距為f，且目標位置相對於基準位置的平面軸向距離(即X軸距離和Y軸距離)分別為I₁、I₂，則目標位置相對於基準位置的X軸偏離角度和Y軸偏離角度分別為θ₁=tan^-1(I₁/f)、θ₂=tan^-1(I₂/f)。得到目標位置相對於基準位置的X軸偏離角度θ₁和Y軸偏離角度θ₂後，繼續進行步驟S610，依據X軸偏離角度θ₁和Y軸偏離角度θ₂得到調整值，並以此調整值產生電壓控制訊號，以調整雙軸掃描振鏡136的位置，使得由分色鏡150出光的雷射光束對準偵測物件的目標部位。

由上述說明可知，本發明具有影像感測與雷射光束之同軸校正功能，使得雷射光束的目標方向更為精確，且可加快系統的操作速度。此外，本發明之雷射與攝像整合系統可用於許多實際應用。舉例而言，本發明之雷射與攝像整合系統用於農業上，可即時辨識出害蟲，並將雷射光束對準害蟲進行處理，以快速且有效地解決害蟲問題。

雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護 範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧雷射與攝像整合系統

110‧‧‧攝像模組

112‧‧‧影像感測器

114‧‧‧透鏡

120‧‧‧雷射光源模組

132、134‧‧‧反射鏡

136‧‧‧雙軸掃描振鏡

140‧‧‧濾光片

150‧‧‧分色鏡

Claims (7)

1. 一種雷射與攝像整合系統，包含：一攝像模組，配置為感測一入射光，並將該入射光轉換為一圖像資料；一雷射光源模組，配置為產生一雷射光束；一分色鏡，配置為反射該雷射光束，且使該入射光通過；一雙軸掃描振鏡，設置於該雷射光束之光路上，該雙軸掃描振鏡配置為依據一電壓訊號調整其位置，從而改變該雷射光束的行進方向；一處理器，經配置為進行下列操作：取得該攝像模組的內部參數和外部參數；利用該攝像模組的內部參數和外部參數計算出一偵測物件與該攝像模組之間的距離；以及對該攝像模組及該雷射光源模組進行同軸校正操作，使該雷射光束對準該偵測物件之一目標部位；以及一控制器，耦接至該處理器及該雙軸掃描振鏡；其中，在該處理器對該攝像模組及該雷射光源模組進行同軸校正操作時，該處理器用以將一操作指示傳送至該控制器，使該控制器據以產生該電壓訊號，並將該電壓訊號傳輸至該雙軸掃描振鏡。
2. 如申請專利範圍第1項所述之雷射與攝像整合系統，更包含：一慣性量測單元，配置為取得該雷射與攝像整合系統的三軸角度資料。
3. 如申請專利範圍第1項所述之雷射與攝像整合系統，更包含：一記憶體，配置為儲存一查找表，該查找表包含平面軸向偏離角度、該攝像模組之焦距和調整值的對應資料。
4. 如申請專利範圍第1項所述之雷射與攝像整合系統，其中該攝像模組包含一電荷耦合元件(charge coupled device；CCD)晶片或一互補式金氧半導體(complementary metal oxide semiconductor；CMOS)晶片。
5. 一種用於一雷射與攝像整合系統之方法，該雷射與攝像整合系統包含一攝像模組、一雷射光源模組和一雙軸掃描振鏡，該方法包含：取得該攝像模組的內部參數和外部參數；利用該攝像模組的內部參數和外部參數計算出一偵測物件與該攝像模組之間的距離；計算出該偵測物件之一目標位置相對於該雙軸掃描振鏡之一基準位置的平面軸向偏離角度；以及 依據該平面軸向偏離角度得到調整值，並以該調整值產生一電壓控制訊號，以調整該雙軸掃描振鏡的位置，使該雷射光束對準該偵測物件之一目標部位。
6. 如申請專利範圍第5項所述之方法，其中取得該攝像模組的內部參數和外部參數之步驟包含：取得一標的物件之距離資訊、平面尺寸資訊及角度資訊；以及依據該標的物件之距離資訊、平面尺寸資訊及角度資訊，計算出該攝像模組的內部參數和外部參數。
7. 如申請專利範圍第5項所述之方法，其中計算出該偵測物件與該攝像模組之間的距離之步驟包含：取得該偵測物件分別在該攝像模組擷取之不同圖框影像中的畫素數量；以及依據該偵測物件在不同圖框影像中的畫素數量的變化量及實際距離變化量，決定該偵測物件與該攝像模組之間的距離。

Images