TWI734648B - 雷達校正系統和方法 - Google Patents

雷達校正系統和方法 Download PDF

Info

Publication number
TWI734648B
TWI734648B TW109140938A TW109140938A TWI734648B TW I734648 B TWI734648 B TW I734648B TW 109140938 A TW109140938 A TW 109140938A TW 109140938 A TW109140938 A TW 109140938A TW I734648 B TWI734648 B TW I734648B
Authority
TW
Taiwan
Prior art keywords
radar
points
sampled
image processing
processing device
Prior art date
Application number
TW109140938A
Other languages
English (en)
Other versions
TW202221355A (zh
Inventor
林怡君
陳柏瑋
張哲睿
陳俊仁
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW109140938A priority Critical patent/TWI734648B/zh
Priority to CN202011430637.6A priority patent/CN114527437A/zh
Application granted granted Critical
Publication of TWI734648B publication Critical patent/TWI734648B/zh
Publication of TW202221355A publication Critical patent/TW202221355A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321—Velocity regulation, e.g. cruise control

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本案提供了一種雷達校正系統。雷達校正系統包括攝影裝置、雷達裝置和影像處理裝置。攝影裝置產生拍攝影像。 雷達裝置產生雷達感測資訊，其中雷達感測資訊對應一組雷達投影參數。影像處理裝置根據雷達投影參數，將雷達感測資訊投影至拍攝影像，以產生一合成影像。此外，影像處理裝置根據每一取樣時間區間產生之合成影像，取得複數個取樣雷達點，且對複數個取樣雷達點，進行統計運算，以產生一統計取樣雷達點。影像處理裝置根據統計取樣雷達點，計算一距離偏移值。影像處理裝置根據距離偏移值，經由一演算法，對雷達投影參數進行更新，以校正雷達感測資訊。

Description

雷達校正系統和方法
本案之實施例主要係有關於一雷達校正技術，特別係有關於動態調整雷達投影參數之雷達校正技術。
隨著科技日益的進步，偵測車輛前方的障礙物之應用(例如：主動巡航控制系統 (Autonomous cruise control，ACE))廣泛的被提出。在這些應用中，主要係藉由安裝在汽車上的感應器偵測車輛前方的障礙物，並根據偵測到之資訊，發出警示訊息或是自動控制車輛與障礙物維持安全距離，以避免駕駛者因疏忽或視線死角等因素導致交通意外的發生。
目前偵測車輛前方障礙物主要係利用攝影機和雷達。由於，利用攝影機產生之影像來進行偵測之方式容易受到氣候變化(例如：大雨或大霧等造成視線不良之因素)的影響，進而造成車輛系統無法判斷或誤判情形，因此，會使用雷達來輔助偵測，以降低誤判之情況以及提升判斷精準度。
傳統雷達之雷達投影參數，會在車輛出廠(或出車前)先經由車輛維修廠之專業人員先根據攝影機和雷達之位置進行校正。當車輛行駛時，車輛系統就會根據設定好之雷達投影參數將雷達感測資訊投影至攝影機產生之拍攝影像。然而，當攝影機和雷達之位置(例如：受外力產生之偏移)產生偏差時，車輛系統並無法即時地去校正雷達投影參數，因而造成雷達感測資訊無法準確地投影到攝影機產生之拍攝影像。因此，將可能造成交通意外的發生。
有鑑於上述先前技術之問題，本案之實施例提供了一種雷達校正和方法。
根據本案之一實施例提供了一種雷達校正系統。上述雷達校正系統包括一攝影裝置、一雷達裝置和一影像處理裝置。攝影裝置配置在一車輛，且產生一拍攝影像。 雷達裝置配置在上述車輛，且產生一雷達感測資訊，其中上述雷達感測資訊對應一組雷達投影參數。影像處理裝置配置在上述車輛，根據上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像，以產生一合成影像。此外，影像處理裝置根據每一取樣時間區間產生之上述合成影像，取得複數個取樣雷達點，且對上述複數個取樣雷達點，進行一統計運算，以產生一統計取樣雷達點。影像處理裝置根據上述統計取樣雷達點，計算一距離偏移值。影像處理裝置根據上述距離偏移值，經由一演算法，對上述雷達投影參數進行更新，以校正雷達感測資訊。
根據一實施例提供了一種雷達校正方法。雷達校正方法適用一雷達校正系統。雷達校正方法之步驟可包括：藉由雷達校正系統之一攝影裝置產生一拍攝影像； 藉由雷達校正系統之一雷達裝置產生一雷達感測資訊，其中上述雷達感測資訊對應一組雷達投影參數；藉由雷達校正系統之一影像處理裝置根據上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像，以產生一合成影像；藉由上述影像處理裝置根據每一取樣時間區間產生之上述合成影像，取得複數個取樣雷達點；藉由上述影像處理裝置對上述複數個取樣雷達點，進行一統計運算，以產生一統計取樣雷達點；藉由上述影像處理裝置根據上述統計取樣雷達點，計算一距離偏移值；以及藉由上述影像處理裝置根據上述距離偏移值，經由一演算法，對上述雷達投影參數進行更新，以校正雷達感測資訊。
關於本案其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本發明之精神和範圍內，當可根據本案實施方法中所揭露之雷達校正系統和方法，做些許的更動與潤飾而得到。
本章節所敘述的是本案之可實施方式範例，目的在於說明本案之精神而非用以限定發明之保護範圍，發明之保護範圍當視後附之申請專利範圍所界定者為準。
第1圖係顯示根據一實施例所述之一雷達校正系統100之方塊圖。雷達校正系統100可應用於一車輛上。如第1圖所示，雷達校正系統100可包括一攝影裝置110、一雷達裝置120、一影像處理裝置130和一儲存裝置140。注意地是，在第1圖中所示之方塊圖，僅係為了方便說明本案之可實施例，但可實施本案之系統並不以第1圖為限。雷達校正系統100中亦可包含其他元件。
根據一實施例，攝影裝置110配置在一車輛上。當車輛在行駛時，攝影裝置110可用以拍攝車輛可視界(visible view)之景象，以產生拍攝影像。
根據一實施例，雷達裝置120配置在一車輛上。當車輛在行駛時，雷達裝置120可用以發射雷達訊號，並接收反射回之雷達訊號，以產生雷達感測資訊。根據一實施例，雷達感測資訊可對應一組雷達投影參數(或轉換參數)。影像處理裝置130可根據雷達投影參數將雷達感測資訊投影至拍攝影像，以產生一合成影像，以對車輛可視界前方之目標物(感測物或障礙物)進行監控。根據一實施例，初始之雷達投影參數係車輛出廠(或行駛)前，預先根據攝影裝置110和雷達裝置120配置在車輛上之角度資訊所計算出，並儲存在儲存裝置140。在一實施例中，影像處理裝置130可動態去校正雷達投影參數，以確保雷達感測資訊可較準確地投影到拍攝影像。底下之實施例將會有更詳細之說明。
根據一實施例，儲存裝置140可係一揮發性記憶體(volatile memory)(例如：隨機存取記憶體(Random Access Memory, RAM))，或一非揮發性記憶體(Non-volatile memory)(例如：快閃記憶體(flash memory)、唯讀記憶體(Read Only Memory, ROM))、一硬碟或上述裝置之組合。儲存裝置140可用以儲存雷達投影參數和要進行雷達投影參數之校正所需之資訊和資料。
第2圖係顯示根據一實施例所述之一影像處理裝置130之方塊圖。如第2圖所示，影像處理裝置130可包括一影像處理電路131、一取樣電路132、一統計運算電路133以及一投影參數校正電路134。
根據一實施例，影像處理電路131可從攝影裝置110取得拍攝影像，以及從雷達裝置120取得雷達感測資訊。影像處理電路131可根據儲存在儲存裝置140之雷達投影參數，將雷達感測資訊投影至拍攝影像，以產生合成影像，以對車輛可視界前方之目標物(感測物或障礙物)進行監控。根據一實施例，在車輛行駛過程中，影像處理電路131在一取樣時間區間內產生之一合成影像可包含至少一目標物(例如：車或其他類型感測物或障礙物)以及複數個雷達點。在影像處理電路131產生之合成影像中的每一目標物都會對應一定界框(bounding box，B-box)。定界框之尺寸會和車輛和目標物之間的距離(車距)以及目標物的形態或類型相關。當車輛和目標物之距離越近，定界框之尺寸會越大。根據一實施例，合成影像產生後，影像處理電路131可將合成影像傳送給取樣電路132。
根據一實施例，取樣電路132接收到後合成影像後，取樣電路132可先根據預設之目標物類型或形態(例如：小客車、休旅車、機車和卡車之一者或其他任意物件，但不以此為限)和預設之一感測距離，去選取每一取樣時間區間內產生之合成影像中所要進行後續操作之目標物。舉例來說，若預設之目標物類型係小客車，且預設之感測距離是10公尺，取樣電路132可在每一取樣時間區間內產生之合成影像中，選取和車輛之距離10公尺(或最接近10公尺)之小客車，作為取樣電路132要進行後續操作之目標物。根據一實施例，每一取樣時間區間所對應之感測距離都是相同之距離(即一限定之距離)。根據另一實施例，每一取樣時間區間所對應之感測距離可係不相同之距離(即一不限定之距離)。
根據一實施例，不同的目標物類型可藉由執行一影像辨識演算法來進行辨識。預設之目標物類型(即要進行偵測之目標物類型)可係由駕駛預先設定。
根據一實施例，取樣電路132可使用預設比例將合成影像中選取之目標物對應之定界框之尺寸擴大(例如：擴大10%，但不以此為限)，以產生一擴大定界框。接著，取樣電路132可濾除在擴大定界框外之雷達點(無效雷達點)，以取得複數個候選雷達點。根據一實施例，取樣電路132可根據預設之感測距離(例如：10公尺或任一預設感測距離，但不以此為限)從複數個候選雷達點選取一者作為一取樣雷達點。明確地來說，取樣電路132可根據預設之感測距離，從複數個候選雷達點中選取和車輛間的距離最接近預設之感測距離之一候選雷達點，作為一取樣雷達點。根據另一實施例，取樣電路132亦可從複數個候選雷達點中選取距離最接近車輛之一候選雷達點，作為一取樣雷達點。以第3圖為例，在合成影像S1中，取樣電路132可濾除在以預設比例擴大之定界框B1所產生之擴大定界框B2外之雷達點R1(無效雷達點)。在擴大定界框B2內之雷達點R2和R3，則會被視為複數個候選雷達點R2和R3。接者，取樣電路132可從候選雷達點R2和R3中，選取和車輛間的距離最接近預設之感測距離之一候選雷達點作為取樣雷達點，或從候選雷達點R2和R3中選取距離最接近車輛之一候選雷達點，作為一取樣雷達點。以此類推，取樣電路132在每一取樣時間區間內產生之合成影像中，都會取出一取樣雷達點，且每一取樣雷達點都會對應一擴大定界框。
根據一實施例，若每一取樣時間區間所對應之感測距離都是相同之距離(即一限定之距離)，即表示每一取樣時間區間內所選取之取樣雷達點所對應之擴大定界框之尺寸都係相同的。
根據另一實施例，若每一取樣時間區間所對應之感測距離可係不相同之距離(即一不限定之距離)，即表示每一取樣時間區間內所選取之取樣雷達點所對應之擴大定界框之尺寸可係不相同。因此，在此實施例中，取樣電路132會對不同尺寸之擴大定界框，以及對不同尺寸之擴大定界框所對應之取樣雷達點之位置進行一標準化(normalize)運算。以第4圖為例，若第一取樣時間區間對應之擴大定界框B3具有第一尺寸，且第二取樣時間區間對應之擴大定界框B4具有第二尺寸，取樣電路132會對具有第一尺寸之擴大定界框B3和具有第二尺寸之擴大定界框B4進行標準化運算，以產生一經由標準化之擴大定界框B5。此外，如第4圖所示，取樣電路132亦會對擴大定界框B3對應之取樣雷達點R4之位置和擴大定界框B4對應之取樣雷達點R5之位置亦進行標準化運算。
根據一實施例，統計運算電路133可從取樣電路132取得取樣雷達點。根據一實施例，統計運算電路133可判斷目前取得之取樣雷達點(還未經過統計運算)之數量是否到達一第一數量。若目前取得之取樣雷達點(還未經過統計運算)之數量尚未到達第一數量，統計運算電路133就會繼續收集取樣雷達點，直到取樣雷達點(還未經過統計運算)之數量達到第一數量。若目前取得之取樣雷達點(還未經過統計運算)之數量已到達第一數量，統計運算電路133可對收集到之取樣雷達點和具有一第二數量之舊取樣雷達點(已經用來產生過統計取樣雷達點)，進行一統計運算(例如：一移動平均運算，但不以此為限)，以產生一統計取樣雷達點。根據一實施例，第一數量和第二數量之比例(例如：50比50(50:50)或任意預設比例，但不以此為限)可根據不同的應用情況做調整。
根據一實施例，移動平均運算可係表示，統計運算電路133會計算所有取樣雷達點之像素(包含第一數量之取樣雷達點之像素和第二數量之舊取樣雷達點之像素)之一平均值，以產生統計取樣雷達點。根據另一實施例，移動平均運算可係表示，統計運算電路133會對所有取樣雷達點之像素(包含第一數量之取樣雷達點之像素和第二數量之舊取樣雷達點之像素)進行一標準差運算，以產生統計取樣雷達點。特別說明地是，所述之統計運算並不以所揭露之移動平均實施例為限，其他以統計運算法則計算之方式亦可應用於本案中。
根據一實施例，統計運算電路133取得統計取樣雷達點後，統計運算電路133可去計算統計取樣雷達點和一理想雷達點之距離偏移值，並將距離偏移值傳送給投影參數校正電路134。根據本案之實施例，理想雷達點之位置會和目標物類型相關。對於不同目標物類型，理想雷達點之位置會不相同。根據本案之實施例，距離偏移值可係水平距離偏移植和/或垂直距離偏移植。以第5圖為例，統計運算電路133可先將所有取樣雷達點 (包含第一數量之取樣雷達點和第二數量之舊取樣雷達點)R all移動平均運算以產生統計取樣雷達點R S，再去計算統計取樣雷達點R S和理想雷達點R I之間的距離偏移值(
Figure 02_image001
和/或
Figure 02_image003
)。
根據一實施例，為了避免校正的幅度過大，統計運算電路133可先將距離偏移值乘上一預設比例值(例如：1/4，但不以此為限)，再將調整後之距離偏移值傳送給投影參數校正電路134。預設比例值可和第一數量和第二數量之比例相關，當第一數量之比例較高，預設比例值可越大。
根據一實施例，當投影參數校正電路134取得距離偏移值後，投影參數校正電路134可根據距離偏移值，經由一演算法，對儲存在儲存裝置140之雷達投影參數進行更新，以校正雷達感測資訊。也就是說，利用更新後之雷達投影參數，可讓後續接收到之雷達感測資訊投影到較準確的位置。
根據一實施例，投影參數校正電路134所採用之演算法可係一機器學習(Machine learning，ML)演算法，例如：一主成分分析（Principal components analysis，PCA）演算法結合線性回歸(Linear Regression)演算法、一深度學習(Deep Learning，DL)演算法，但不以此為限。根據一實施例，投影參數校正電路134所採用之演算法可係一自適應控制(Adaptive control)演算法，例如：一卡爾曼濾波(Kalman filter)演算法、一遞回最小平方法(Recursive least squares)演算法，但不以此為限。
根據一實施例，更新雷達投影參數，以校正雷達感測資訊後，影像處理電路131即可根據更新後之雷達投影參數，將後續接收到之雷達感測資訊投影至後續接收到之拍攝影像中。
第6圖係根據一實施例所述之一雷達校正方法之流程圖。雷達校正方法可適用雷達校正系統100。如第6圖所示，在步驟S610，雷達校正系統100之一攝影裝置產生拍攝影像。
在步驟S620，雷達校正系統100之一雷達裝置產生雷達感測資訊，其中雷達感測資訊會對應一組雷達投影參數。
在步驟S630，雷達校正系統100之一影像處理裝置根據雷達投影參數，將雷達感測資訊投影至拍攝影像，以產生合成影像。
在步驟S640，雷達校正系統100之影像處理裝置根據每一取樣時間區間產生之合成影像，取得複數個取樣雷達點。
在步驟S650 ，雷達校正系統100之影像處理裝置對複數個取樣雷達點，進行一統計運算(例如：一移動平均運算)，以產生一統計取樣雷達點。
在步驟S660，雷達校正系統100之影像處理裝置根據統計取樣雷達點，計算一距離偏移值。
在步驟S670，雷達校正系統100之影像處理裝置根據距離偏移值，經由一演算法，對雷達投影參數進行更新，以校正雷達感測資訊。接著，雷達校正方法回到S630，雷達校正系統100之影像處理裝置會根據更新後之雷達投影參數，將後續接收到之雷達感測資訊投影至後續接收到之拍攝影像中。
根據一實施例，在一取樣時間區間內取得之合成影像中包含至少一目標物，以及複數個雷達點。每一目標物對應一定界框。
根據一實施例，步驟S640更包括，雷達校正系統100之影像處理裝置以預設比例擴大定界框，以產生一擴大界定框，且根據在取樣時間區間取得之合成影像，濾除在擴大界定框外之雷達點，以取得複數個候選雷達點，以及根據一感測距離，從複數個候選雷達點中選取一者，作為複數個取樣雷達點之一者。在此實施例中，在不同取樣時間區間，感測距離係可以是一限定距離或一不限定距離，且上述定界框之尺寸依據感測物類型或形態而變動。此外，在此實施例中，當上述感測距離係不限定時，雷達校正系統100之影像處理裝置將對應一第一取樣時間區間之具有一第一尺寸之擴大定界框和對應一第二取樣時間區間之具有一第二尺寸之擴大定界框進行一標準化運算。
根據一實施例，步驟S650更包括，雷達校正系統100之影像處理裝置會取得複數個取樣雷達點，並判斷複數個取樣雷達點之數量是否到達一第一數量。當複數個取樣雷達點之數量到達第一數量時，雷達校正系統100之影像處理裝置對複數個取樣雷達點和具有一第二數量之舊取樣雷達點，進行一移動平均運算，以產生上述統計取樣雷達點。根據一實施例，移動平均運算係去計算複數個取樣雷達點之像素和具有第二數量之舊取樣雷達點之像素之一平均值，以產生統計取樣雷達點。根據另一實施例，移動平均運算係對複數個取樣雷達點之像素和具有第二數量之舊取樣雷達點之像素進行一標準差運算，以產生統計取樣雷達點。
根據一實施例，步驟S660更包括，雷達校正系統100之影像處理裝置可根據統計取樣雷達點，計算統計取樣雷達點和一理想雷達點之距離偏移值。此外，根據一實施例，雷達校正系統100之影像處理裝置會將距離偏移值乘上一預設比例值。
根據一實施例，步驟S670更包括，雷達校正系統100之影像處理裝置會根據距離偏移值，經由一演算法，對雷達投影參數進行更新，以校正雷達感測資訊。根據一實施例，上述演算法係一機器學習演算法。根據另一實施例，上述演算法係一自適應控制演算法。
根據一實施例，雷達校正方法之步驟更包括，雷達校正系統100之影像處理裝置會根據更新後之雷達投影參數，將雷達感測資訊投影至拍攝影像。
根據本案之雷達校正系統和方法，在車輛行駛時，當雷達裝置或攝影裝置之位置發生偏移時，雷達投影參數可動態地和即時地被調整，而使得雷達感測資訊可較準確地投影至拍攝影像。
本說明書中以及申請專利範圍中的序號，例如「第一」、「第二」等等，僅係為了方便說明，彼此之間並沒有順序上的先後關係。
本說明書所揭露之方法和演算法之步驟，可直接透過執行一處理器直接應用在硬體以及軟體模組或兩者之結合上。一軟體模組(包括執行指令和相關數據)和其它數據可儲存在數據記憶體中，像是隨機存取記憶體(RAM)、快閃記憶體(flash memory)、唯讀記憶體(ROM)、可抹除可規化唯讀記憶體(EPROM)、電子可抹除可規劃唯讀記憶體(EEPROM)、暫存器、硬碟、可攜式硬碟、光碟唯讀記憶體(CD-ROM)、DVD或在此領域習之技術中任何其它電腦可讀取之儲存媒體格式。一儲存媒體可耦接至一機器裝置，舉例來說，像是電腦/處理器(爲了說明之方便，在本說明書以處理器來表示)，上述處理器可透過來讀取資訊(像是程式碼)，以及寫入資訊至儲存媒體。一儲存媒體可整合一處理器。一特殊應用積體電路(ASIC)包括處理器和儲存媒體。一用戶設備則包括一特殊應用積體電路。換句話說，處理器和儲存媒體以不直接連接用戶設備的方式，包含於用戶設備中。此外，在一些實施例中，任何適合電腦程序之產品包括可讀取之儲存媒體，其中可讀取之儲存媒體包括和一或多個所揭露實施例相關之程式碼。
以上段落使用多種層面描述。顯然的，本文的教示可以多種方式實現，而在範例中揭露之任何特定架構或功能僅為一代表性之狀況。根據本文之教示，任何熟知此技藝之人士應理解在本文揭露之各層面可獨立實作或兩種以上之層面可以合併實作。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何熟習此技藝者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，因此發明之保護範圍當視後附之申請專利範圍所界定者為準。
100:雷達校正系統 110:攝影裝置 120:雷達裝置 130:影像處理裝置 131:影像處理電路 132:取樣電路 133:統計運算電路 134:投影參數校正電路 140:儲存裝置 B1:定界框 B2~B4:擴大定界框 B5:經由標準化之擴大定界框 R1:無效雷達點 R2、R3:候選雷達點 R4、R5:取樣雷達點 R all:所有取樣雷達點 R S:統計取樣雷達點 R I:理想雷達點 S1:合成影像 S610~S670:步驟
第1圖係顯示根據一實施例所述之一雷達校正系統100之方塊圖。 第2圖係顯示根據一實施例所述之一影像處理裝置130之方塊圖。 第3圖係顯示根據一實施例所述之一合成影像之示意圖。 第4圖係顯示根據一實施例所述之一標準化運算之示意圖。 第5圖係顯示根據一實施例所述之一移動平均運算之結果和距離偏移值之示意圖。 第6圖係根據一實施例所述之雷達校正方法之流程圖。
110:攝影裝置
120:雷達裝置
130:影像處理裝置
131:影像處理電路
132:取樣電路
133:統計運算電路
134:投影參數校正電路
140:儲存裝置

Claims (21)

  1. 一種雷達校正系統，包括： 一攝影裝置，配置在一車輛，且產生一拍攝影像； 一雷達裝置，配置在上述車輛，且產生一雷達感測資訊，其中上述雷達感測資訊對應一組雷達投影參數；以及 一影像處理裝置，配置在上述車輛，根據上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像，以產生一合成影像； 其中上述影像處理裝置根據每一取樣時間區間產生之上述合成影像，取得複數個取樣雷達點，且上述影像處理裝置對上述複數個取樣雷達點，進行一統計運算，以產生一統計取樣雷達點，並根據上述統計取樣雷達點，計算一距離偏移值，以及上述影像處理裝置根據上述距離偏移值，經由一演算法，對上述雷達投影參數進行更新，以校正上述雷達感測資訊。
  2. 如請求項1之雷達校正系統，其中在一取樣時間區間內取得之上述合成影像中包含至少一目標物，以及複數個雷達點，其中每一上述目標物對應一定界框。
  3. 如請求項2之雷達校正系統，其中上述影像處理裝置包括： 一取樣電路，使用預設比例擴大上述定界框，以產生一擴大界定框，且根據在上述取樣時間區間取得之上述合成影像，濾除在上述擴大界定框外之雷達點，以取得複數個候選雷達點，以及根據一感測距離，從上述複數個候選雷達點中選取一者，作為上述複數個取樣雷達點之一者。
  4. 如請求項3之雷達校正系統，其中在不同取樣時間區間，上述感測距離係一限定距離或一不限定距離，且上述定界框之尺寸依據感測物類型或形態而變動。
  5. 如請求項4之雷達校正系統，其中當不限定上述感測距離時，上述取樣電路將對應一第一取樣時間區間之具有一第一尺寸之上述擴大定界框和對應一第二取樣時間區間之具有一第二尺寸之上述擴大定界框進行一標準化運算。
  6. 如請求項1之雷達校正系統，其中上述影像處理裝置包括： 一統計運算電路，取得上述複數個取樣雷達點，並判斷上述複數個取樣雷達點之數量是否到達一第一數量，其中當上述複數個取樣雷達點之數量到達上述第一數量時，上述統計運算電路對上述複數個取樣雷達點和具有一第二數量之舊取樣雷達點，進行一移動平均運算，以產生上述統計取樣雷達點，並根據上述統計取樣雷達點，計算上述統計取樣雷達點和一理想雷達點之上述距離偏移值。
  7. 如請求項6之雷達校正系統，其中上述移動平均運算係上述統計運算電路計算上述複數個取樣雷達點之像素和具有上述第二數量之上述舊取樣雷達點之像素之一平均值，以產生上述統計取樣雷達點，或是上述移動平均運算係上述統計運算電路對上述複數個取樣雷達點之像素和具有上述第二數量之上述舊取樣雷達點之像素進行一標準差運算，以產生上述統計取樣雷達點。
  8. 如請求項6之雷達校正系統，其中上述統計運算電路更會將上述距離偏移值乘上一預設比例值。
  9. 如請求項1之雷達校正系統，其中上述影像處理裝置更包括： 一投影參數校正電路，取得上述距離偏移值，並根據上述距離偏移值，經由上述演算法，對上述雷達投影參數進行更新，以校正上述雷達感測資訊。
  10. 如請求項9之雷達校正系統，其中上述演算法係一機器學習演算法或一自適應控制演算法。
  11. 如請求項1之雷達校正系統，其中上述影像處理裝置更包括： 一影像處理電路，接收更新後之上述雷達投影參數，並根據更新後之上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像。
  12. 一種雷達校正方法，適用一雷達校正系統，包括： 藉由雷達校正系統之一攝影裝置產生一拍攝影像； 藉由雷達校正系統之一雷達裝置產生一雷達感測資訊，其中上述雷達感測資訊對應一組雷達投影參數； 藉由雷達校正系統之一影像處理裝置根據上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像，以產生一合成影像； 藉由上述影像處理裝置根據每一取樣時間區間產生之上述合成影像，取得複數個取樣雷達點； 藉由上述影像處理裝置對上述複數個取樣雷達點，進行一統計運算，以產生一統計取樣雷達點； 藉由上述影像處理裝置根據上述統計取樣雷達點，計算一距離偏移值；以及 藉由上述影像處理裝置根據上述距離偏移值，經由一演算法，對上述雷達投影參數進行更新，以校正上述雷達感測資訊。
  13. 如請求項12之雷達校正方法，其中在一取樣時間區間內取得之上述合成影像中包含至少一目標物，以及複數個雷達點，其中每一上述目標物對應一定界框。
  14. 如請求項13之雷達校正方法，更包括： 藉由上述影像處理裝置使用預設比例擴大上述定界框，以產生一擴大界定框； 藉由上述影像處理裝置根據在上述取樣時間區間取得之上述合成影像，濾除在上述擴大界定框外之雷達點，以取得複數個候選雷達點；以及 藉由上述影像處理裝置根據一感測距離，從上述複數個候選雷達點中選取一者，作為上述複數個取樣雷達點之一者。
  15. 如請求項14之雷達校正方法，其中在不同取樣時間區間，上述感測距離係一限定距離或一不限定距離，且上述定界框之尺寸依據感測物類型或形態而變動。
  16. 如請求項15之雷達校正方法，更包括： 當不限定上述感測距離時，藉由上述影像處理裝置將對應一第一取樣時間區間之具有一第一尺寸之上述擴大定界框和對應一第二取樣時間區間之具有一第二尺寸之上述擴大定界框進行一標準化運算。
  17. 如請求項12之雷達校正方法，更包括： 藉由上述影像處理裝置取得上述複數個取樣雷達點，並判斷上述複數個取樣雷達點之數量是否到達一第一數量； 當上述複數個取樣雷達點之數量到達上述第一數量時，藉由上述影像處理裝置對上述複數個取樣雷達點和具有一第二數量之舊取樣雷達點，進行一移動平均運算，以產生上述統計取樣雷達點；以及 藉由上述影像處理裝置根據上述統計取樣雷達點，計算上述統計取樣雷達點和一理想雷達點之上述距離偏移值。
  18. 如請求項17之雷達校正方法，其中上述移動平均運算係去計算上述複數個取樣雷達點之像素和具有上述第二數量之上述舊取樣雷達點之像素之一平均值，以產生上述統計取樣雷達點，或是對上述複數個取樣雷達點之像素和具有上述第二數量之上述舊取樣雷達點之像素進行一標準差運算，以產生上述統計取樣雷達點。
  19. 如請求項18之雷達校正方法，更包括： 藉由上述影像處理裝置將上述距離偏移值乘上一預設比例值。
  20. 如請求項12之雷達校正方法，其中上述演算法係一機器學習演算法或一自適應控制演算法。
  21. 如請求項12之雷達校正方法，更包括： 藉由上述影像處理裝置根據更新後之上述雷達投影參數，將上述雷達感測資訊投影至上述拍攝影像。
TW109140938A 2020-11-23 2020-11-23 雷達校正系統和方法 TWI734648B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109140938A TWI734648B (zh) 2020-11-23 2020-11-23 雷達校正系統和方法
CN202011430637.6A CN114527437A (zh) 2020-11-23 2020-12-07 雷达校正***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109140938A TWI734648B (zh) 2020-11-23 2020-11-23 雷達校正系統和方法

Publications (2)

Publication Number Publication Date
TWI734648B true TWI734648B (zh) 2021-07-21
TW202221355A TW202221355A (zh) 2022-06-01

Family

ID=77911153

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109140938A TWI734648B (zh) 2020-11-23 2020-11-23 雷達校正系統和方法

Country Status (2)

Country Link
CN (1) CN114527437A (zh)
TW (1) TWI734648B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800140B (zh) * 2021-12-06 2023-04-21 致伸科技股份有限公司 監控方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628942A (zh) * 2012-04-24 2012-08-08 中国科学院遥感应用研究所 一种雷达影像双视向信息补偿方法
CN107192997A (zh) * 2016-03-14 2017-09-22 松下电器产业株式会社 雷达装置及定位方法
WO2018156652A1 (en) * 2017-02-23 2018-08-30 Richard Bishel Vehicle guidance system
CN108597234A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于高分辨率雷达的智能交通检测仪
CN110192122A (zh) * 2017-01-24 2019-08-30 深圳市大疆创新科技有限公司 用于无人可移动平台上的雷达控制的***和方法
CN110221277A (zh) * 2019-06-21 2019-09-10 北京航空航天大学 一种基于激光雷达扫描的隧道表面渗水区域提取方法
US20200041612A1 (en) * 2018-08-02 2020-02-06 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
TW202009684A (zh) * 2018-08-22 2020-03-01 美商谷歌有限責任公司 用於語音介面之以雷達為基礎之手勢增強
TW202012222A (zh) * 2018-09-17 2020-04-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
CN111811784A (zh) * 2020-07-02 2020-10-23 中航华东光电（上海）有限公司 激光光斑中心坐标确定方法、装置及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628942A (zh) * 2012-04-24 2012-08-08 中国科学院遥感应用研究所 一种雷达影像双视向信息补偿方法
CN107192997A (zh) * 2016-03-14 2017-09-22 松下电器产业株式会社 雷达装置及定位方法
CN110192122A (zh) * 2017-01-24 2019-08-30 深圳市大疆创新科技有限公司 用于无人可移动平台上的雷达控制的***和方法
WO2018156652A1 (en) * 2017-02-23 2018-08-30 Richard Bishel Vehicle guidance system
CN108597234A (zh) * 2018-05-10 2018-09-28 芜湖航飞科技股份有限公司 一种基于高分辨率雷达的智能交通检测仪
US20200041612A1 (en) * 2018-08-02 2020-02-06 Metawave Corporation Recurrent super-resolution radar for autonomous vehicles
TW202009684A (zh) * 2018-08-22 2020-03-01 美商谷歌有限責任公司 用於語音介面之以雷達為基礎之手勢增強
TW202012222A (zh) * 2018-09-17 2020-04-01 為昇科科技股份有限公司 雷達偵測角度校正系統及其方法
CN110221277A (zh) * 2019-06-21 2019-09-10 北京航空航天大学 一种基于激光雷达扫描的隧道表面渗水区域提取方法
CN111811784A (zh) * 2020-07-02 2020-10-23 中航华东光电（上海）有限公司 激光光斑中心坐标确定方法、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800140B (zh) * 2021-12-06 2023-04-21 致伸科技股份有限公司 監控方法

Also Published As

Publication number Publication date
TW202221355A (zh) 2022-06-01
CN114527437A (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
Goldbeck et al. Lane detection and tracking by video sensors
US11620837B2 (en) Systems and methods for augmenting upright object detection
KR101969030B1 (ko) 차량용 카메라 캘리브레이션 장치 및 그 방법
US7619668B2 (en) Abnormality detecting apparatus for imaging apparatus
JP4763250B2 (ja) 物体検出装置
US8259174B2 (en) Camera auto-calibration by horizon estimation
US8548200B2 (en) Lane-marker recognition system with improved recognition-performance
JP6019646B2 (ja) 位置ずれ検出装置、車両及び位置ずれ検出方法
US20060115121A1 (en) Abnormality detecting apparatus for imaging apparatus
US9794543B2 (en) Information processing apparatus, image capturing apparatus, control system applicable to moveable apparatus, information processing method, and storage medium of program of method
US8824741B2 (en) Method for estimating the roll angle in a travelling vehicle
CN109532662B (zh) 一种车距及碰撞时间计算方法及装置
JP7096053B2 (ja) 車両の車両カメラを較正するための方法および装置
EP3070675A1 (en) Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
LU502288B1 (en) Method and system for detecting position relation between vehicle and lane line, and storage medium
US12020456B2 (en) External parameter calibration method, device and system for image acquisition apparatus
JP6776202B2 (ja) 車載カメラのキャリブレーション装置及び方法
US20180060679A1 (en) Vanishing point correction apparatus and method
WO2018131061A1 (ja) 走行路認識装置及び走行路認識方法
KR101356201B1 (ko) 차량용 후측방 감지시스템
KR20210005605A (ko) 카메라 고유 파라미터에 대한 온라인 평가
TWI734648B (zh) 雷達校正系統和方法
KR20180022277A (ko) 블랙박스영상 기반 차간거리 측정 시스템
CN108108706B (zh) 目标检测中滑动窗口的优化方法及***