TWI807997B - 感測器融合之時序同步方法 - Google Patents

感測器融合之時序同步方法 Download PDF

Info

Publication number
TWI807997B
TWI807997B TW111135388A TW111135388A TWI807997B TW I807997 B TWI807997 B TW I807997B TW 111135388 A TW111135388 A TW 111135388A TW 111135388 A TW111135388 A TW 111135388A TW I807997 B TWI807997 B TW I807997B
Authority
TW
Taiwan
Prior art keywords
point cloud
cloud data
image
error
time
Prior art date
Application number
TW111135388A
Other languages
English (en)
Other versions
TW202415049A (zh
Inventor
黃韋翔
林義傑
Original Assignee
財團法人車輛研究測試中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人車輛研究測試中心 filed Critical 財團法人車輛研究測試中心
Priority to TW111135388A priority Critical patent/TWI807997B/zh
Application granted granted Critical
Publication of TWI807997B publication Critical patent/TWI807997B/zh
Publication of TW202415049A publication Critical patent/TW202415049A/zh

Links

Images

Landscapes

  • Lining Or Joining Of Plastics Or The Like (AREA)
  • Branch Pipes, Bends, And The Like (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一種感測器融合之時序同步方法，每當一運算裝置自一光達模組接收到一點雲資料時，進行以下步驟：(A)根據該點雲資料，從已自一影像拍攝裝置所接收到之影像中獲得一時間上與該點雲資料對應的候選影像；(B)將該點雲資料疊合至該候選影像；(C)獲得疊合後之點雲資料與該候選影像間之一疊合誤差；(D)根據該疊合誤差，利用該轉換模型，獲得該疊合誤差所對應之一時間誤差；(E)根據該候選影像之接收時間與時間誤差獲得一目標時間；及(F)根據該目標時間，從已自該影像拍攝裝置所接收到之影像中獲得對應有接收時間與該目標時間最近之目標影像。

Description

感測器融合之時序同步方法
本發明是有關於一種時序同步方法，特別是指一種融合不同感測器的感測器融合之時序同步方法。
不論是包含了Traffic Jam Assist（交通壅塞輔助機能）而符合Level 3程度的自動駕駛系統，或是Level 4的自主性駕駛（Autonomous Drive，AD）系統，都需要考慮各種不同感測器如，雷達、光達及攝影機等的資訊並比對結合再輸出偵測以便後續的自駕控制，故多重感知融合系統被視為必要技術發展。
各感測元件有其不同優勢，例如，攝影機（Camera）負責電腦視覺處理，用以辨識行人、交通號誌等實際物體的成像，光學雷達（LiDAR）用以探測目標的距離、方位、高度、速度、姿態等特徵量。然而，各感測器的感測資料及取樣時間皆不相同，例如，攝影機係在每33ms拍攝一影像，光達係在每100ms獲得一點雲資料，因而存在時間無法同步之問題，將導致各感測數據時序不一致，以及存在彼此之間的空間位姿關係相依問題，故實有必要提出一解決方案。
因此，本發明的目的，即在提供一種進行不同感測器之時序同步的感測器融合之時序同步方法。
於是，本發明感測器融合之時序同步方法，藉由一儲存有一用以根據一距離誤差獲得一對應該距離誤差之時間誤差之轉換模型的運算裝置來實施，該運算裝置與設置於一移動載具上之一影像拍攝裝置與一光達模組電連接，該影像拍攝裝置用於持續且週期性地拍攝位於該移動載具前方之多個障礙物的一連串影像並傳送至該運算裝置，該光達模組用於持續且週期性地獲得位於該移動載具之前方且包含該等障礙物的一連串點雲資料並傳送至該運算裝置，該感測器融合之時序同步方法包含以下步驟：
每當該運算裝置自該光達模組接收到一點雲資料時，該運算裝置進行以下步驟(A)~(F)。
(A)根據該點雲資料，從已自該影像拍攝裝置所接收到之影像中獲得一時間上與該點雲資料對應的候選影像。
(B)將該點雲資料疊合至該候選影像。
(C)獲得疊合後之點雲資料與該候選影像間之一疊合誤差。
(D)根據該疊合誤差，利用該轉換模型，獲得該疊合誤差所對應之一時間誤差。
(E)根據該候選影像之接收時間與該疊合誤差所對應之該時間誤差獲得一目標時間。
(F)根據該目標時間，從已自該影像拍攝裝置所接收到之影像中獲得對應有接收時間與該目標時間最近之目標影像。
本發明的功效在於：藉由先自該影像拍攝裝置所接收到之影像中初步獲得該候選影像，接著計算疊合後之點雲資料與該候選影像間之該疊合誤差，且根據該疊合誤差利用該轉換模型，獲得該時間誤差，再根據該時間誤差獲得該目標影像，藉此針對該時間誤差進行時間補償，以使得最後所獲得之目標影像與該點雲資料在感測時間上最接近甚至是同步，進而達成不同感測器之時序同步。
參閱圖1，本發明感測器融合之時序同步方法的實施例藉由一運算裝置11來實施。該運算裝置11與設置於一移動載具上之一影像拍攝裝置12與一光達模組13電連接。
該影像拍攝裝置12用於持續且週期性地拍攝位於該移動載具前方之多個障礙物的一連串影像並傳送至該運算裝置11。在本實施例中，該影像拍攝裝置12例如為一攝影機，且在每33ms拍攝一張影像。
該光達模組13用於持續獲得位於該移動載具之前方且包含該等障礙物的一連串點雲資料。在本實施例中，該光達模組13例如為一光達感測器，且在每100ms獲得一筆點雲資料。
該運算裝置11儲存有多筆訓練資料，每筆訓練資料包含一訓練距離誤差及一訓練時間誤差。在本實施方式中，每筆訓練資料的獲得方式相似，以下僅就其中一筆訓練資料的獲得方式進行說明，該訓練資料可透過實驗設計在一第一時間點透過該影像拍攝裝置12拍攝相關於一場景的一訓練影像，且在一第二時間點透過該光達模組13獲得相關於該場景的一訓練點雲資料，並將該第一時間點與該的二時間點間之差值作為該訓練資料的訓練時間誤差。接著，將該訓練點雲資料進行物件分群以獲得多個不同的訓練點雲群組，並將每一訓練點雲群組標記為一訓練點雲物件，且將該訓練影像進行物件分群，以獲得多個不同的訓練影像物件，然後，將該訓練點雲資料疊合至該訓練影像，接著，自該訓練影像之訓練影像物件中獲得至少一待比對訓練物件，其中每一待比對訓練物件位置上與疊合後之訓練點雲資料所對應之訓練點雲物件之其中一者對應，然後，獲得該訓練影像之至少一待比對訓練物件的幾何特徵，並獲得疊合後之訓練點雲資料所對應之訓練點雲物件中至少一對應該至少一待比對訓練物件之基準訓練物件的幾何特徵，最後，計算該至少一待比對訓練物件的幾何特徵與該至少一基準訓練物件的幾何特徵間之一距離差值，以作為該訓練資料的訓練距離誤差。
該運算裝置11例如為一處理器或一微處理器等其他可執行運算功能的晶片。
本發明感測器融合之時序同步方法之實施例包含一轉換模型獲得程序及一感測器時序同步程序。其中，每當該運算裝置11自該光達模組13接收到一點雲資料時，該運算裝置11即會進行該感測器時序同步程序。
參閱圖1與圖2，本發明感測器融合之時序同步方法之實施例的轉換模型獲得程序包含以下步驟。
在步驟21中，該運算裝置11根據該等訓練資料，利用一機器學習演算法，獲得一用以根據一距離誤差獲得一對應該距離誤差之時間誤差的轉換模型。藉由此轉換模型即可獲得距離誤差與時間誤差之關係，以建立出可即時調整多重感測器之時序同步的機制，進而達成適應性獲得補償時間之目的。
參閱圖1與圖3，本發明感測器融合之時序同步方法之實施例的感測器時序同步程序包含以下步驟。
在步驟31中，該運算裝置11根據該點雲資料，從已自該影像拍攝裝置12所接收到之影像中獲得一時間上與該點雲資料對應的候選影像。
在步驟32中，該運算裝置11將該點雲資料進行物件分群以獲得多個不同的點雲群組，並將每一點雲群組標記為一點雲物件。在本實施方式中，該運算裝置11係透過一基於密度的聚類演算法或一k-平均演算法來將該點雲資料進行物件分群以獲得多個不同的點雲群組。
在步驟33中，該運算裝置11將該候選影像進行物件分群，以獲得多個不同的影像物件。在本實施方式中，該運算裝置11係透過該基於密度的聚類演算法或該k-平均演算法來將該候選影像進行物件分群，以獲得多個不同的影像物件。
在步驟34中，該運算裝置11將該點雲資料疊合至該候選影像。
值得一提，步驟34還包含以下子步驟(見圖4)。
在子步驟341，該運算裝置11根據相關於該點雲資料之一點雲座標系與該候選影像之像素座標系之座標系轉換的一座標轉換參數組，將該點雲資料轉換為二維點雲資料。值得一提的是，該座標轉換參數組包含一外部參數矩陣及一內部參數矩陣，該外部參數矩陣係根據該光達模組13之架設位置與該影像拍攝裝置12之架設位置而獲得。該內部參數矩陣係根據該影像拍攝裝置12之以像素為單位的焦距距離，及影像中心座標而獲得。由於本發明之重點不在於如何將該點雲資料轉換為二維點雲資料，其運算細節可參考http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html此網站之說明，不再於此贅述及細節。
在子步驟342，該運算裝置11將該二維點雲資料與該候選影像疊合。
在步驟35中，該運算裝置11獲得疊合後之點雲資料與該候選影像間之一疊合誤差。
值得一提，步驟35還包含以下子步驟(見圖5)。
在子步驟351，該運算裝置11自該候選影像之影像物件中獲得至少一待比對物件，其中每一待比對物件位置上與疊合後之點雲資料所對應之點雲物件之其中一者對應。
在子步驟352，該運算裝置11獲得該候選影像之至少一待比對物件的幾何特徵。在本實施方式中，該運算裝置11係透過一隨機抽樣一致性演算法或一快速特徵點提取和描述的演算法來獲得該至少一待比對物件的幾何特徵。
在子步驟353，該運算裝置11獲得疊合後之點雲資料所對應之點雲物件中至少一對應該至少一待比對物件之基準物件的幾何特徵。在本實施方式中，該運算裝置11係透過該隨機抽樣一致性演算法或該快速特徵點提取和描述的演算法來獲得該至少一基準物件的幾何特徵。
在子步驟354，該運算裝置11計算該至少一待比對物件的幾何特徵與該至少一基準物件的幾何特徵間之一距離差值，以作為該疊合誤差。在本實施方式中，該運算裝置11係透過計算該至少一待比對物件的幾何特徵與該至少一基準物件的幾何特徵間之一歐式距離或一馬氏距離來獲得該距離差值。
在步驟36中，該運算裝置11根據該疊合誤差，利用該轉換模型，獲得該疊合誤差所對應之一時間誤差。透過該轉換模型，針對不同之疊合誤差，皆可適應性地獲得對應之時間誤差，藉此達成依據不同之疊合誤差來適應性地調整補償時間之目的。
在步驟37中，該運算裝置11根據該候選影像之接收時間與該疊合誤差所對應之該時間誤差獲得一目標時間。藉此以針對該時間誤差進行時間補償。
在步驟38中，該運算裝置11根據該目標時間從已自該影像拍攝裝置12所接收到之影像中獲得對應有接收時間與該目標時間最近之目標影像。藉此，獲得拍攝上與進行時間補償後之目標時間最接近之目標影像。
值得特別說明的是，由於該影像拍攝裝置12係每33ms拍攝一張影像，該光達模組13係每100ms獲得一筆點雲資料，加上該影像拍攝裝置12與該光達模組13開始獲取資料的起始時間恐也存在誤差，故該影像拍攝裝置12與該光達模組13獲得資料的時間恐不同步，本發明藉由步驟31~38之執行，以該光達模組13獲得該點雲資料的獲得時間（等同於該運算裝置11接收到該點雲資料的接收時間）為準去獲得拍攝時間（等同於該運算裝置11接收到影像的接收時間）上最接近該點雲資料之獲得時間的目標影像，進而盡量使所獲得的目標影像能與所對應的點雲資料在時間上同步。
綜上所述，本發明感測器融合之時序同步方法，藉由該運算裝置11先自該影像拍攝裝置12所接收到之影像中初步獲得該候選影像，接著計算疊合後之點雲資料與該候選影像間之該疊合誤差，且根據該疊合誤差利用該轉換模型，獲得該時間誤差，再根據該時間誤差獲得該目標影像，以使得最後所獲得之目標影像與該點雲資料在感測時間上最接近甚至是同步，藉此，以達成不同感測器之時序同步，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
11:運算裝置 12:影像拍攝裝置 13:光達模組 21:步驟 31~38:步驟 341~342:子步驟 351~354:子步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，說明實施本發明感測器融合之時序同步方法之實施例的運算裝置與一影像拍攝裝置及一光達模組電連接； 圖2是一流程圖，說明本發明感測器融合之時序同步方法之實施例的一轉換模型獲得程序； 圖3是一流程圖，說明本發明感測器融合之時序同步方法之實施例的一感測器時序同步程序； 圖4是一流程圖，說明該運算裝置如何將一點雲資料疊合至一候選影像；及 圖5是一流程圖，說明該運算裝置如何獲得一疊合誤差。
31~38:步驟

Claims (8)

  1. 一種感測器融合之時序同步方法，藉由一儲存有一用以根據一距離誤差獲得一對應該距離誤差之時間誤差之轉換模型的運算裝置來實施，該運算裝置與設置於一移動載具上之一影像拍攝裝置與一光達模組電連接，該影像拍攝裝置用於持續且週期性地拍攝位於該移動載具前方之多個障礙物的一連串影像並傳送至該運算裝置，該光達模組用於持續且週期性地獲得位於該移動載具之前方且包含該等障礙物的一連串點雲資料並傳送至該運算裝置，該感測器融合之時序同步方法包含以下步驟： 每當該運算裝置自該光達模組接收到一點雲資料時，該運算裝置進行以下步驟 (A)根據該點雲資料，從已自該影像拍攝裝置所接收到之影像中獲得一時間上與該點雲資料對應的候選影像， (B)將該點雲資料疊合至該候選影像， (C)獲得疊合後之點雲資料與該候選影像間之一疊合誤差， (D)根據該疊合誤差，利用該轉換模型，獲得該疊合誤差所對應之一時間誤差， (E)根據該候選影像之接收時間與該疊合誤差所對應之該時間誤差獲得一目標時間，及 (F)根據該目標時間，從已自該影像拍攝裝置所接收到之影像中獲得對應有接收時間與該目標時間最近之目標影像。
  2. 如請求項1所述的感測器融合之時序同步方法，該運算裝置還儲存有多筆訓練資料，每筆訓練資料包含一訓練距離誤差及一訓練時間誤差，在接收該等點雲資料前，還包含以下步驟： (G)根據該等訓練資料，利用一機器學習演算法，獲得該轉換模型。
  3. 如請求項1所述的感測器融合之時序同步方法，其中，步驟(B)包含以下子步驟： (B-1)根據相關於該點雲資料之一點雲座標系與該候選影像之像素座標系之座標系轉換的一座標轉換參數組，將該點雲資料轉換為二維點雲資料；及 (B-2)將該二維點雲資料與該候選影像疊合。
  4. 如請求項1所述的感測器融合之時序同步方法，在步驟(B)之前，還包含以下步驟： (H)將該點雲資料進行物件分群以獲得多個不同的點雲群組，並將每一點雲群組標記為一點雲物件；及 (I)將該候選影像進行物件分群，以獲得多個不同的影像物件。
  5. 如請求項4所述的感測器融合之時序同步方法，其中，在步驟(H)中，係透過一基於密度的聚類演算法及一k-平均演算法之其中一者來將該點雲資料進行物件分群以獲得多個不同的點雲群組，且在步驟(I)中，係透過該基於密度的聚類演算法及該k-平均演算法之其中一者來將該候選影像進行物件分群，以獲得多個不同的影像物件。
  6. 如請求項4所述的感測器融合之時序同步方法，其中，步驟(C)包含以下子步驟： (C-1)自該候選影像之影像物件中獲得至少一待比對物件，其中每一待比對物件位置上與疊合後之點雲資料所對應之點雲物件之其中一者對應； (C-2)獲得該候選影像之至少一待比對物件的幾何特徵； (C-3)獲得疊合後之點雲資料所對應之點雲物件中至少一對應該至少一待比對物件之基準物件的幾何特徵；及 (C-4)計算該至少一待比對物件的幾何特徵與該至少一基準物件的幾何特徵間之一距離差值，以作為該疊合誤差。
  7. 如請求項6所述的感測器融合之時序同步方法，其中，在步驟(C-2)中，係透過一隨機抽樣一致性演算法及一快速特徵點提取和描述的演算法之其中一者來獲得該至少一待比對物件的幾何特徵，且在步驟(C-3)中，係透過該隨機抽樣一致性演算法及該快速特徵點提取和描述的演算法之其中一者來獲得該至少一基準物件的幾何特徵。
  8. 如請求項6所述的感測器融合之時序同步方法，其中，在步驟(C-4)中係透過計算該至少一待比對物件的幾何特徵與該至少一基準物件的幾何特徵間之一歐式距離及一馬氏距離之其中一者來獲得該距離差值。
TW111135388A 2022-09-19 2022-09-19 感測器融合之時序同步方法 TWI807997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111135388A TWI807997B (zh) 2022-09-19 2022-09-19 感測器融合之時序同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111135388A TWI807997B (zh) 2022-09-19 2022-09-19 感測器融合之時序同步方法

Publications (2)

Publication Number Publication Date
TWI807997B true TWI807997B (zh) 2023-07-01
TW202415049A TW202415049A (zh) 2024-04-01

Family

ID=88149148

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111135388A TWI807997B (zh) 2022-09-19 2022-09-19 感測器融合之時序同步方法

Country Status (1)

Country Link
TW (1) TWI807997B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945252A (en) * 2008-03-12 2009-11-01 Harris Corp Registration of 3D point cloud data using eigenanalysis
US20180188039A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Alignment of data captured by autonomous vehicles to generate high definition maps
CN113228114A (zh) * 2018-08-29 2021-08-06 莫维迪厄斯有限公司 计算机视觉***
US20220161815A1 (en) * 2019-03-29 2022-05-26 Intel Corporation Autonomous vehicle system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200945252A (en) * 2008-03-12 2009-11-01 Harris Corp Registration of 3D point cloud data using eigenanalysis
US20180188039A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Alignment of data captured by autonomous vehicles to generate high definition maps
CN113228114A (zh) * 2018-08-29 2021-08-06 莫维迪厄斯有限公司 计算机视觉***
US20220161815A1 (en) * 2019-03-29 2022-05-26 Intel Corporation Autonomous vehicle system

Also Published As

Publication number Publication date
TW202415049A (zh) 2024-04-01

Similar Documents

Publication Publication Date Title
JP6475772B2 (ja) 視覚的測位によるナビゲーション装置およびその方法
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
US8897502B2 (en) Calibration for stereoscopic capture system
US8798387B2 (en) Image processing device, image processing method, and program for image processing
JP5070213B2 (ja) ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
US20180056801A1 (en) Robotic Charger Alignment
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
WO2019025035A1 (en) METHOD, APPARATUS AND COMPUTER PROGRAM FOR VEHICLE
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及***
CN109377513A (zh) 一种针对两视图的全局三维人体姿态可信估计方法
CN108171728B (zh) 基于混合相机***的无标记运动物体姿态恢复方法及装置
WO2019075948A1 (zh) 移动机器人的位姿估计方法
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
US11727637B2 (en) Method for generating 3D skeleton using joint-based calibration acquired from multi-view camera
WO2018216341A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230014421A1 (en) 6DoF INSIDE-OUT TRACKING GAME CONTROLLER INITIAL REGISTRATION
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
CN111399634A (zh) 一种手势引导物体识别的方法及装置
TWI807997B (zh) 感測器融合之時序同步方法
US9538161B2 (en) System and method for stereoscopic photography
Shen et al. Plant image mosaic based on depth and color dual information feature source from Kinect
TWI774543B (zh) 障礙物偵測方法
CN117890902A (zh) 传感器融合的时序同步方法