TWI696905B - 車輛盲區偵測方法 - Google Patents

車輛盲區偵測方法 Download PDF

Info

Publication number
TWI696905B
TWI696905B TW108103250A TW108103250A TWI696905B TW I696905 B TWI696905 B TW I696905B TW 108103250 A TW108103250 A TW 108103250A TW 108103250 A TW108103250 A TW 108103250A TW I696905 B TWI696905 B TW I696905B
Authority
TW
Taiwan
Prior art keywords
monitoring
existing object
current frame
movement
tracking list
Prior art date
Application number
TW108103250A
Other languages
English (en)
Other versions
TW202020585A (zh
Inventor
何娟
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Publication of TW202020585A publication Critical patent/TW202020585A/zh
Application granted granted Critical
Publication of TWI696905B publication Critical patent/TWI696905B/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種車輛盲區偵測方法，適用於一電子裝置耦接配置於一車輛上的一或多個攝影機，該方法包括：在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對進入該捕獲區域的物體進行偵測，將符合捕獲條件的該物體與該物體的位置訊息被加入跟蹤列表中；對在早於該當前幀畫面的一至多個先前幀畫面中加入該跟蹤列表的既存物體進行跟蹤運算以得到該既存物體在該當前幀畫面中的新位置訊息，並根據該既存物體的該新位置訊息與該偵測範圍判定是否繼續將該既存物體保留在該跟蹤列表中；依據該跟蹤列表中保留的所有物體在該當前幀畫面中的位置訊息做出示警判斷。

Description

車輛盲區偵測方法
本發明係有關於車輛盲區偵測方法，特別是有關於基於光流法運算的車輛盲區偵測方法。
隨著機動車輛數量的持續增加，交通道路上的車流量也迅速增長，因而導致道路交通事故發生率亦呈逐年惡化的趨勢。尤其對於一般車輛而言，車輛兩側的後視鏡本身存在的盲區，會使得駕駛員無法清楚地了解車輛側方的情況，導致車禍風險升高。車輛盲區偵測技術則可以有效彌補上述升高的車禍風險，明顯提升行車安全，大為減少因視野盲區所引發的交通事故。
目前車輛盲區偵測技術主要是利用雷達裝置、視覺原理或視覺處理來達成。基於雷達裝置的盲區偵測技術主要是通過在車輛上布置雷達系統，來偵測周圍障礙物。其優點是偵測的靈敏度高，但缺點也較為明顯，例如無法提供給駕駛員視覺上的直觀訊息、無法區分背景或移動物體，或無法依據運動方向趨勢進行警報判斷，因此可能產生較多不必要的誤報。
基於視覺原理或視覺處理的技術也有兩大類，一類是透過增加側方後視鏡的視野範圍來縮小甚至消除盲區，以期降低盲區所帶來的風險，例如以各式曲率面鏡替代傳統的平面鏡，但這會導致駕駛員看到的畫面嚴重變形，無法判斷距離等信息。另一類則是透過架設側面攝影機作為視覺傳感器，這類做法由於能直觀地提供給駕駛員視覺信息，在實際使用中效果更好，更能有效提供上述視覺信息給駕駛員以輔助支持，降低事故發生率。
然而，目前基於計算機視覺處理技術的盲區偵測仍然有許多問題，主要是準確度不高，或者計算量過大。若是希望保證較高的準確度，一般需有機器學習類的複雜算法支持，採取此類方法時一般也僅能對特定類別物體如汽車進行警報，如果對多類別物體都要求示警的話，對設備的計算能力要求非常苛刻，實時性難以達到實際需求。
本發明的目的是為了解決現有技術存在的問題，而提供一種基於光流的車輛盲區偵測處理方法，使用基於光流的計算機視覺處理技術進行車輛盲區的偵測。
依據本發明一實施例之車輛盲區偵測方法，適用於配置於車輛上的電子裝置以偵測一偵測範圍，該電子裝置耦接配置於該車輛上的一或多個攝影機，該方法包括下列步驟：在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對該當前幀畫面中進入所述捕獲區域的物體進行偵測，其中符合捕獲條件的該物體與該物體的位置訊息被加入跟蹤列表中；對該攝影機所取得的早於該當前幀畫面的一至多個先前幀畫面中被偵測而加入該跟蹤列表的既存物體進行跟蹤運算以得到該既存物體在該當前幀畫面中的新位置訊息，並根據該既存物體的該新位置訊息與該偵測範圍判定是否繼續將該既存物體保留在該跟蹤列表中；依據該跟蹤列表中保留的所有物體在該當前幀畫面中的位置訊息做出示警判斷。
如上所述之車輛盲區偵測方法，其中該一或多個攝影機安裝在車輛兩側，該偵測範圍為車輛兩側從車輛兩側後視鏡到車輛尾部後方的監測線段的範圍，其中該監測線段為該捕獲區域的底部。
如上所述之車輛盲區偵測方法，其中該方法更包括：將該攝影機所取得的複數幀畫面產生畫面序列，並且對該些複數幀畫面進行灰度化；調整該些複數幀畫面至合適尺寸，其中該些複數幀畫面包括該當前幀畫面以及該些一至多個先前幀畫面。
如上所述之車輛盲區偵測方法，其中在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對該當前幀畫面中進入所述捕獲區域的物體進行偵測的步驟包括：在該捕獲區域中產生由複數監測點構成的監測點陣列，並將該監測點陣列劃分為複數監測窗口，其中每一該監測窗口中包括部分的該些監測點；透過光流法計算得出各該些監測點在該當前幀畫面中的運動位移；對於各該些監測窗口，當該監測窗口中所有該些監測點的運動位移的方向都為前移，則檢查該監測窗口中所有該些監測點的運動位移一致性，否則不檢查該監測窗口中該些監測點的運動位移一致性。
如上所述之車輛盲區偵測方法，其中檢查該監測窗口中所有該些監測點的運動位移一致性的步驟包括：計算該監測窗口中每一行中的各該些監測點的垂直運動位移的最大值與最小值之差；計算該監測窗口中每一列中的各該些監測點的水平運動位移的最大值與最小值之差；當該監測窗口中每一行中的各該些監測點的垂直運動位移的最大值與最小值之差以及每一列中的各該些監測點的水平運動位移的最大值與最小值之差皆小於第二閾值，則將該監測窗口中的所有該些監測點作為符合捕獲條件的該物體，並將該物體與該物體的位置訊息加入該跟蹤列表中。
如上所述之車輛盲區偵測方法，其中對該攝影機所取得的早於該當前幀畫面的一至多個先前幀畫面中被偵測而加入該跟蹤列表的既存物體進行跟蹤運算以得到該既存物體在當前幀畫面中的新位置訊息，並根據該既存物體的該新位置訊息與該偵測範圍判定是否繼續將該既存物體保留在該跟蹤列表中的步驟包括：透過光流法計算得出該跟蹤列表的該既存物體的所有該些監測點在當前幀畫面中的運動位移；選取具有最多該既存物體的該些監測點的運動位移的方向為該既存物體的運動方向；根據該既存物體的運動方向更新該跟蹤列表，其中對於各該些監測點，當該監測點的垂直運動位移大於零且其絕對值大於第一閾值時該監測點的運動位移的方向為前移，當該監測點的垂直運動位移小於零且其絕對值大於該第一閾值時該監測點的運動位移的方向為後退，當該監測點的垂直運動位移的絕對值小於該第一閾值時該監測點的運動位移的方向為靜止。
如上所述之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟包括：當以該既存物體的該運動方向為運動位移的方向的該些監測點的數目小於第三閾值時，將該既存物體自該跟蹤列表中刪除。
如上所述之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟包括：刪除該既存物體的所有該些監測點中運動位移的方向與該既存物體的該運動方向不同的監測點。
如上所述之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟更包括：根據該既存物體未被刪除的該些監測點得到該既存物體在當前幀畫面中的新位置訊息；根據該新位置訊息判定該既存物體在該當前幀畫面中是否仍在該偵測範圍內，其中當判定該既存物體不在該偵測範圍內則將該既存物體從該跟蹤列表中刪除，當判定該既存物體在該偵測範圍內則將該既存物體保留在該跟蹤列表中並更新該既存物體未被刪除的該些監測點以及該新位置訊息。
如上所述之車輛盲區偵測方法，其中依據該跟蹤列表中保留的所有物體在該當前幀畫面中的位置訊息做出示警判斷的步驟包括：檢查該跟蹤列表中的所有物體與其在該當前幀畫面中的位置訊息，當該跟蹤列表中存在位於示警範圍內的物體則發出示警訊息，其中該示警範圍小於該偵測範圍。
第1A圖為本發明實施例所涉及的車輛及其盲區偵測範圍的示意圖。如第1A圖所示，車輛盲區偵測環境100包括一車輛101、一預設車輛盲區偵測範圍103(實際上車輛左右兩側皆有偵測範圍，第1A圖僅圖示車輛101的右側盲區偵測範圍，以下實施例皆只針對右側盲區偵測範圍進行說明)，以及一標的物102。車輛101的右側後照鏡上，裝設有一攝影機(未圖示)，用以擷取一預設車輛盲區偵測範圍103的複數幀畫面。該攝影機係將所擷取的預設車輛盲區偵測範圍103的該等複數幀畫面以有線或無線的方式傳送至車輛101內的電子裝置的一處理單元(未圖示)。該電子裝置可以是內嵌式車載設備或外接式車載設備；該處理單元可以是內嵌式車載設備(例如車機系統)或外接式車載設備(例如個人可攜式導航裝置、智慧型手機等)內的一處理器，並且依據該攝影機所取得的一當前幀畫面，對進入預設車輛盲區偵測範圍103的一物體(未圖示)進行偵測(detection)。物體可為路上任何可能威脅行車安全的各式車輛、人、障礙物。在另一實施例中，該車輛101可配置一或多個攝影機，其耦接該電子裝置。
1. 盲區偵測範圍的確定
該處理單元需先確定預設車輛盲區偵測範圍103的範圍。在本實施例中，如第1A圖所示，該處理單元設定車輛101的側方寬度w公尺，從車輛101右側後照鏡到其車輛尾部後方h公尺為預設車輛盲區偵測範圍103的範圍。假設車輛101的右側後照鏡到車輛尾部的距離為L公尺，當物體進入預設車輛盲區偵測範圍103之範圍時，亦即如第1A圖所示寬w公尺、長L+h公尺的區域，則該處理單元係會對物體進行偵測。校準人員在確定裝設於車輛101右側後照鏡的該攝影機所拍攝畫面的垂直線與建築物垂直線呈平行後，可在車輛101後方離車寬度w公尺、離車輛尾部後方h公尺處放置標的物102。該處理單元將標的物102在畫面上的座標標記為A，並且將車輛尾部在畫面上與標的物102處於同一水平線的點標記為B，則線段AB即為一監測線段。
在另一個實施例中，校準人員亦可先將一副模板擺放在路面，使得該處理單元可標定出該模板上特定的點在該攝影機畫面中的座標，由此得到一個實際路面物理座標和畫面上座標的轉換關係。之後校準人員或車輛使用者可以通過該電子裝置設定w及h的值，由該處理單元利用座標轉換來從w及h的值算出監測線段AB處於畫面上的座標，因而不須利用該標的物102。
2. 攝影機畫面預處理
在確定完預設車輛盲區偵測範圍103的範圍之後，該處理單元係會對從該攝影機所輸入的畫面做預處理，包括將該攝影機所取得的該預設車輛盲區偵測範圍103的複數幀畫面產生畫面序列，並且對該等複數幀畫面進行灰度化，並縮小或放大畫面至合適尺寸，以準備用於後續光流法(optical flow method)計算的一當前幀畫面及一至多個先前幀畫面。在本實施例中，該處理單元係將該等複數幀畫面調整至300*200像素(此值僅為範例說明本實施例，但本發明並不限定只適用於上述尺寸)。在另一實施例中，若該攝影機所輸入的畫面本身已完成灰度化，或是其畫面大小已是合適尺寸，則該處理單元可不需進行上述灰度化或調整尺寸的預處理動作。
3. 偵測當前幀並捕獲物體
該處理單元對進入預設車輛盲區偵測範圍103的對應的捕獲區域104的物體進行偵測，如第1B圖所示，其中符合捕獲(capture)條件的物體將被加入一跟蹤列表中。其中，該跟蹤列表紀錄了在該當前幀畫面時，一或多個物體與該些物體的位置訊息。舉例來說，如第1B圖的攝影機畫面的示意圖所示，當物體在該當前幀畫面時進入捕獲區域104之中，該處理單元係會對物體進行偵測，並且將物體在該當前幀畫面的座標的位置訊息後續記錄在該跟蹤列表中。在一實施例中，在該跟蹤列表中，各物體是以畫面中的複數監測點(即如後面所述的特定像素)的形式記錄。
詳細來說，該處理單元對進入捕獲區域104的物體進行偵測時，首先，該處理單元會在該當前幀畫面中設立一捕獲區域104，其中該捕獲區域104係為以第1B圖中線段AB所形成的該監測線段為底部，以及以一捕獲高度為高所構成之矩形範圍。在本實施例中，該捕獲高度為該當前幀畫面中的15像素之高度(此值僅為範例說明本實施例，但本發明並不限定只適用於上述尺寸)。接著，在本實施例中，該處理單元更在該捕獲區域104中產生由複數監測點構成的一監測點陣列(未圖示)，其中該監測點陣列的每一行內每隔3個像素為一個監測點，且該監測點陣列的行與行之間同樣相隔3個像素，亦即捕獲區域104中水平方向(第1B圖中的x軸方向)與垂直方向(第1B圖中的y軸方向)上都是每隔3個像素做為一個監測點，但本發明並不限定於此。
接著，該處理單元透過一光流法計算處理，得出各該些監測點在該當前幀畫面中的運動位移。在本實施例中，該處理單元更將該捕獲區域104的該監測點陣列劃分為複數個監測窗口，其中每一該監測窗口中包括部分的該些監測點，並且對每一個監測窗口中的監測點進行一前向運動檢查，即檢查監測窗口中的所有監測點的運動位移的方向是否都為前移。在其他實施例中，不限定進行光流法計算處理的步驟與將該捕獲區域104劃分為複數個監測窗口的步驟的先後順序，或兩者同時進行亦可。在本實施例中，每一個監測窗口的大小為15*15像素，但本發明並不限定於此。在該前向運動檢查中，對於每一監測點在當前幀畫面時，透過光流法計算得出的運動位移包含一垂直運動位移(Δy)及一水平運動位移(Δx)；若一監測點的Δy ＞0且|Δy|＞第一閾值，則該處理單元判斷該監測點的該運動位移的方向為前移；若Δy＜0且|Δy|＞第一閾值，則該處理單元判斷該監測點的該運動位移的方向為後退；若|Δy|＜第一閾值，則該處理單元判斷該監測點的該運動方向為靜止。在本實施例中，該第一閾值為0.1像素(此值僅為範例說明本實施例，但本發明並不限定只適用於上述數值)。
接著，該處理單元個別統計每一監測窗口中的所有監測點的運動位移的方向為前移、後退及靜止的點數，當該處理單元判斷一監測窗口中的所有監測點的該運動位移的方向皆為前移時，則繼續對該監測窗口中的所有監測點做一運動位移一致性檢查；當該監測窗口中的所有監測點的該運動位移的方向並不是皆為前移時，則不檢查該監測窗口中該些監測點的運動位移一致性，並中斷對該監測窗口的檢查，接著進行對下一個監測窗口中的監測點進行前向運動檢查。在該運動位移一致性檢查中，該處理單元統計該捕獲區域104內的監測窗口的該些監測點在該當前幀畫面的垂直運動位移(Δy)及水平運動位移(Δx)的最大值及最小值，分別標記為Max(Δy)、Min(Δy)、Max(Δx)及Min(Δx)。在本實施例中，當該監測窗口中每一行中的各該些監測點的垂直運動位移的最大值與最小值之差小於第二閾值，即當每一行的Max(Δy)- Min(Δy)＜第二閾值時，則處理單元判斷該監測窗口的該些行中的各監測點的該垂直運動位移是一致的；當該監測窗口中每一列中的各該些監測點的水平運動位移的最大值與最小值之差小於第二閾值，即當每一列的Max(Δx)- Min(Δx)＜第二閾值時，則處理單元判斷該監測窗口的該些列中的各監測點的該水平運動位移是一致的。在本實施例中，該第二閾值可為1像素(此值僅為範例說明本實施例，但本發明並不限定只適用於上述數值)。如果一監測窗口中的所有監測點滿足以上運動位移一致性檢查，則處理單元判定有物體經過並占滿該監測窗口，也就是說該監測窗口中的所有該些監測點會被處理單元判定為符合捕獲條件的物體之一。
4. 對先前幀畫面中被加入跟蹤列表的既存物體進行跟蹤運算
在本部分中，該處理單元對畫面序列中早於當前幀(即第n幀)畫面的一至多個先前幀 (即第1, 2, …, n-1幀)畫面中被偵測而加入該跟蹤列表且尚未被刪除(詳述於後)的一至多個既存物體逐一進行跟蹤(tracking)運算以得到該一至多個既存物體在該當前幀畫面中的新位置訊息，用以確定是否繼續將該一至多個既存物體保留在該跟蹤列表中。需注意的是，在該當前幀為畫面序列中的第一幀(即n=1)的時候，該跟蹤列表裡不會有既存物體，這時處理單元不進行本部分的步驟。在本實施例中，該處理單元透過一光流法計算處理，得出各既存物體包含的所有監測點在該當前幀畫面的運動位移。該處理單元依據該各既存物體包含的所有監測點的運動位移的方向，在該當前幀畫面時判斷各該既存物體的運動方向。該處理單元首先統計該既存物體中對應各運動位移的方向的監測點的數目，其中既存物體的各監測點的該運動位移的方向的判斷方式係相同於上述根據監測點的垂直運動位移(Δy) 與第一閾值判斷監測點的運動位移的方向為前移、後退、或靜止的判斷方式，故不再贅述。接著，處理單元選取具有最多監測點的運動位移的方向(即前移、後退、或靜止)做為該既存物體的運動方向。
在一實施例中，在完成既存物體的該運動方向的判斷之後，該處理單元可以進一步確認以該既存物體的該運動方向為運動位移的方向的該些監測點的數目是否大於一第三閾值，以便確認既存物體包含的該些監測點是否具有足夠的準確度。當以該既存物體的該運動方向為運動位移的方向的該些監測點的數目小於等於該第三閾值時，表示此時用於記錄該既存物體的該些監測點的光流法計算結果已經混亂，該處理單元判定該些監測點的準確度低，並將該既存物體自該跟蹤列表中刪除，不再追蹤該既存物體。當以該既存物體的該運動方向為運動位移的方向的該些監測點的數目大於該第三閾值時，該處理單元則判斷該運動方向確為該既存物體的該運動方向。在一實施例中，第三閾值可以設定為：當該既存物體的該些監測點的總數小於8時，第三閾值設為4；當該既存物體的該些監測點的總數大於8時，第三閾值設為該些監測點的總數除以2，但本發明並不限定於此，亦可根據實際情況及需求作適當調整。
在一實施例中，該處理單元確認監測點準確度之後，可以進一步重新檢查該既存物體的所有該些監測點，將該些監測點中運動位移的方向與該既存物體的該運動方向不同的監測點自該跟蹤列表中刪除，只保留符合該既存物體的該運動方向的監測點。在其他實施例中，處理單元也可以省略上述確認監測點準確度的步驟或是/以及上述重新檢查所有監測點的步驟以節省計算時間。
接著，該處理單元依據保留的該既存物體的該些監測點的光流法計算結果得到該既存物體在當前幀畫面中的新位置訊息，根據該新位置訊息判斷該既存物體在該當前幀畫面中是否還在預設車輛盲區偵測範圍103內。若該既存物體不在預設車輛盲區偵測範圍103內，則將該既存物體從該跟蹤列表中刪除；若該既存物體仍在該預設車輛盲區偵測範圍103內，則將該既存物體保留在該跟蹤列表中並更新該既存物體未被刪除的該些監測點以及該新位置訊息，以繼續跟蹤該既存物體。
5. 將當前幀中捕獲的物體與其位置訊息加入跟蹤列表
在該處理單元完成上述「3. 偵測當前幀並捕獲物體」的動作以及「4. 對先前幀畫面中被加入跟蹤列表的既存物體進行跟蹤運算」的動作之後，接著將在「3. 偵測當前幀並捕獲物體」的動作中被判定為符合捕獲條件的監測窗口中的所有監測點作為一個物體記錄在跟蹤列表中，並將該物體的位置訊息加入該跟蹤列表。
6. 做出示警判斷
最後，該處理單元再依據該跟蹤列表中仍保留的所有物體(包括所有當前幀中捕獲的物體與所有未被刪除的既存物體)與其在該當前幀畫面中的位置訊息，用以做出示警判斷。在本實施例中，處理單元逐一檢查跟蹤列表中的所有物體與其位置訊息，如果存在位置處於示警範圍內的物體則發出示警訊息，該處理單元係可透過聲音、語音示警駕駛員，並可將示警訊息同步顯示於電子裝置的顯示幕上。示警範圍可以等同於預設車輛盲區偵測範圍103，也可以比預設車輛盲區偵測範圍103更小，可以根據實際需要來設定。
第2圖為本發明實施例之車輛盲區偵測流程圖。如第2圖所示，首先，該處理單元需確定預設車輛盲區偵測範圍103的範圍(S200)，確定預設車輛盲區偵測範圍103範圍的方式已詳述於本說明書「1. 盲區偵測範圍的確定」部分。在其他實施例中，如果預設車輛盲區偵測範圍103是事前已預先設定完成的，該處理單元也可以省略本步驟。接著該處理單元依據一當前幀畫面，對進入預設車輛盲區偵測範圍103的對應的捕獲區域104的物體進行偵測(S202)，其中符合捕獲條件的物體將在後續步驟中被加入一跟蹤列表中，其中步驟S202的詳細執行方式已揭露於本說明書「3. 偵測當前幀並捕獲物體」部分。此外，該處理單元對早於該當前幀畫面的一至多個先前幀畫面中被偵測而加入該跟蹤列表中的既存物體進行一跟蹤運算以得到該既存物體在當前幀畫面中的新位置訊息(S204)，用以確定是否繼續將該既存物體保留在該跟蹤列表中(S206)，其中步驟S204、S206的詳細執行方式亦已揭露於本說明書「4. 對先前幀畫面中被加入跟蹤列表的既存物體進行跟蹤運算」部分。之後，該處理單元將在步驟S202中被判定為符合捕獲條件的物體記錄在跟蹤列表中，並將該物體的位置訊息加入該跟蹤列表(S208) ，其中步驟S208的詳細執行方式已揭露於本說明書「5. 將當前幀中捕獲的物體與其位置訊息加入跟蹤列表」部分。最後，該處理單元依據該跟蹤列表中仍保留的物體與其在該當前幀畫面的該位置訊息，用以做出示警判斷(S210) ，其中步驟S210的詳細執行方式已揭露於本說明書「6. 做出示警判斷」部分。該處理單元判斷是否對駕駛員提出示警後，再回到步驟202，將畫面序列中新一幀畫面做為新的當前幀畫面，持續對進入預設車輛盲區偵測範圍103的物體進行偵測。
該處理單元所執行的上述光流法計算處理，具體可參考現有的許多光流算法，在此不再詳細敘述。一般光流算法均可。相對來說，稀疏光流(sparse optical flow)算法更適合本發明(因為其運算速度較快)。然而使用稠密光流(dense optical flow)算法也不影響正確性，只是其會做很多冗餘計算，運算速度無法達到實時性的要求。在本實施例中，稀疏光流算法中的LK光流算法(Lucas-Kanade Optical Flow Method)係為本發明之光流算法。另外亦可使用Fleet-Jepson光流算法(Fleet-Jepson Optical Flow Method)、Horn-Schunck光流算法(Horn-Schunck Optical Flow Method)等。
值得注意的是，在本實施例中，該處理單元可先依據該攝影機所取得的該當前幀畫面，對進入預設車輛盲區偵測範圍103的對應的捕獲區域104的物體進行偵測(「3. 偵測當前幀並捕獲物體」部分，第2圖步驟S202)後，再對該攝影機早於該當前幀畫面所取得的一至多個先前幀畫面中被偵測而加入跟蹤列表的既存物體進行跟蹤運算以確定是否繼續保留該既存物體(「4. 對先前幀畫面中被加入跟蹤列表的既存物體進行跟蹤運算」部分，第2圖步驟S204、S206)。或者在另一實施例中，該處理單元亦可先對該攝影機早於該當前幀畫面所取得的一至多個先前幀畫面中被偵測而加入跟蹤列表的既存物體進行跟蹤運算以確定是否繼續保留該既存物體(步驟S204、S206)，之後再對進入預設車輛盲區偵測範圍103的對應的捕獲區域104的物體進行偵測(步驟S202)。在又一實施例中，步驟S204與S206也可以和步驟S202同時獨立進行。換句話說，該處理單元所執行的該偵測當前幀並捕獲物體的動作與該對先前幀畫面中被加入跟蹤列表的既存物體進行跟蹤運算的動作兩者並不衝突，不論執行先後順序或兩者同時獨立進行皆可。
透過本發明提供的車輛盲區偵測方法，能夠實現對靠近並進入車輛側邊盲區的物體的偵測、跟蹤以及示警，並且對於所偵測的物體不侷限於特定類別例如汽車，而是可以較為廣泛地偵測到汽車、摩托車、自行車或行人等各類移動物體的靠近，是一種普遍適用於各種車型以及駕駛場景的盲區偵測機制。本發明實施例以常見家用小型汽車上使用本發明盲區檢測裝置及其工作流程為例來說明本發明的解決問題的機制，但是本發明並不限定於只適用家用轎車，以及只部署特定數目的攝影機，其同樣可以適用於其他各種車型，以及各種盲區偵測範圍和多個攝影機聯合偵測的場景。
本發明之車輛盲區檢測方法，使用光流法計算處理對特定區域的監測點陣列進行計算，基於監測點陣列的運動位移特徵來判斷是否有移動物體靠近進入車輛盲區，其具有以下優點：計算量小，耗時短，十分適合車載設備這樣的計算能力受侷限的應用場景，並能達到實際應用中的實時性需求；不同於現有許多基於計算機視覺處理技術的盲區偵測方法主要只針對汽車類物體，本發明裝置及其方法所偵測的物體不侷限於特定類別，除了各類大型車以及小型汽車以外，對摩托車；自行車、行人等類別物也可進行有效檢測；偵測靈敏度高，漏報率低，透過運動位移特徵檢查條件中的閾值調節，亦可達到非常低的誤報率。
雖然本發明的實施例如上述所描述，我們應該明白上述所呈現的只是範例，而不是限制。依據本實施例上述示範實施例的許多改變是可以在沒有違反發明精神及範圍下被執行。因此，本發明的廣度及範圍不該被上述所描述的實施例所限制。更確切地說，本發明的範圍應該要以以下的申請專利範圍及其相等物來定義。
100 ~ 車輛盲區偵測環境 101 ~ 車輛 102 ~ 標的物 103 ~ 預設車輛盲區偵測範圍 104 ~ 捕獲區域
第1A圖為本發明實施例所涉及的車輛及其盲區偵測範圍的示意圖； 第1B圖為本發明實施例所涉及的攝影機畫面的示意圖； 第2圖為本發明實施例之車輛盲區偵測流程圖。
100 ~ 車輛盲區偵測環境 101 ~ 車輛 102 ~ 物體 103 ~ 預設車輛盲區 104 ~ 捕獲區域

Claims (10)

  1. 一種車輛盲區偵測方法，適用於配置於車輛上的電子裝置以偵測一偵測範圍，該電子裝置耦接配置於該車輛上的一或多個攝影機，該方法包括下列步驟：在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對該當前幀畫面中進入所述捕獲區域的物體進行偵測，其中符合捕獲條件的該物體與該物體的位置訊息被加入跟蹤列表中；對該攝影機所取得的早於該當前幀畫面的一至多個先前幀畫面中被偵測而加入該跟蹤列表的既存物體進行跟蹤運算以得到該既存物體在該當前幀畫面中的新位置訊息，並根據該既存物體的該新位置訊息與該偵測範圍判定是否繼續將該既存物體保留在該跟蹤列表中；依據該跟蹤列表中保留的所有物體在該當前幀畫面中的位置訊息做出示警判斷；其中在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對該當前幀畫面中進入所述捕獲區域的物體進行偵測的步驟包括：在該捕獲區域中產生由複數監測點構成的監測點陣列，並將該監測點陣列劃分為複數監測窗口，其中每一該監測窗口中包括部分的該些監測點。
  2. 如申請專利範圍第1項之車輛盲區偵測方法，其中該一或多個攝影機安裝在車輛兩側，該偵測範圍為車輛兩側從車輛兩側後視 鏡到車輛尾部後方的監測線段的範圍，其中該監測線段為該捕獲區域的底部。
  3. 如申請專利範圍第1項之車輛盲區偵測方法，其中該方法更包括：將該攝影機所取得的複數幀畫面產生畫面序列，並且對該些複數幀畫面進行灰度化；調整該些複數幀畫面至合適尺寸，其中該些複數幀畫面包括該當前幀畫面以及該些一至多個先前幀畫面。
  4. 如申請專利範圍第1項之車輛盲區偵測方法，其中在該攝影機所取得的一當前幀畫面中設立捕獲區域，並對該當前幀畫面中進入所述捕獲區域的物體進行偵測的步驟更包括：透過光流法計算得出各該些監測點在該當前幀畫面中的運動位移；對於各該些監測窗口，當該監測窗口中所有該些監測點的運動位移的方向都為前移，則檢查該監測窗口中所有該些監測點的運動位移一致性，否則不檢查該監測窗口中該些監測點的運動位移一致性。
  5. 如申請專利範圍第4項之車輛盲區偵測方法，其中檢查該監測窗口中所有該些監測點的運動位移一致性的步驟包括：計算該監測窗口中每一行中的各該些監測點的垂直運動位移的最大值與最小值之差； 計算該監測窗口中每一列中的各該些監測點的水平運動位移的最大值與最小值之差；當該監測窗口中每一行中的各該些監測點的垂直運動位移的最大值與最小值之差以及每一列中的各該些監測點的水平運動位移的最大值與最小值之差皆小於第二閾值，則將該監測窗口中的所有該些監測點作為符合捕獲條件的該物體，並將該物體與該物體的位置訊息加入該跟蹤列表中。
  6. 如申請專利範圍第4項之車輛盲區偵測方法，其中對該攝影機所取得的早於該當前幀畫面的一至多個先前幀畫面中被偵測而加入該跟蹤列表的既存物體進行跟蹤運算以得到該既存物體在當前幀畫面中的新位置訊息，並根據該既存物體的該新位置訊息與該偵測範圍判定是否繼續將該既存物體保留在該跟蹤列表中的步驟包括：透過光流法計算得出該跟蹤列表的該既存物體的所有該些監測點在當前幀畫面中的運動位移；選取具有最多該既存物體的該些監測點的運動位移的方向為該既存物體的運動方向；根據該既存物體的運動方向更新該跟蹤列表，其中對於各該些監測點，當該監測點的垂直運動位移大於零且其絕對值大於第一閾值時該監測點的運動位移的方向為前移，當該監測點的垂直運動位移小於零且其絕對值大於該第一閾值時該監測點的運動位移的方向為後退，當該監測點的垂直運動位移的絕對值小於該第一閾值時該監測點的運動位移的方向為靜止。
  7. 如申請專利範圍第6項之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟包括：當以該既存物體的該運動方向為運動位移的方向的該些監測點的數目小於第三閾值時，將該既存物體自該跟蹤列表中刪除。
  8. 如申請專利範圍第6項之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟包括：刪除該既存物體的所有該些監測點中運動位移的方向與該既存物體的該運動方向不同的監測點。
  9. 如申請專利範圍第6項之車輛盲區偵測方法，其中根據該既存物體的運動方向更新該跟蹤列表的步驟更包括：根據該既存物體未被刪除的該些監測點得到該既存物體在當前幀畫面中的新位置訊息；根據該新位置訊息判定該既存物體在該當前幀畫面中是否仍在該偵測範圍內，其中當判定該既存物體不在該偵測範圍內則將該既存物體從該跟蹤列表中刪除，當判定該既存物體在該偵測範圍內則將該既存物體保留在該跟蹤列表中並更新該既存物體未被刪除的該些監測點以及該新位置訊息。
  10. 如申請專利範圍第1項之車輛盲區偵測方法，其中依據該跟蹤列表中保留的所有物體在該當前幀畫面中的位置訊息做出示警判斷的步驟包括： 檢查該跟蹤列表中的所有物體與其在該當前幀畫面中的位置訊息，當該跟蹤列表中存在位於示警範圍內的物體則發出示警訊息，其中該示警範圍小於該偵測範圍。
TW108103250A 2018-11-19 2019-01-29 車輛盲區偵測方法 TWI696905B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811376433.1 2018-11-19
CN201811376433.1A CN109263557B (zh) 2018-11-19 2018-11-19 车辆盲区侦测方法

Publications (2)

Publication Number Publication Date
TW202020585A TW202020585A (zh) 2020-06-01
TWI696905B true TWI696905B (zh) 2020-06-21

Family

ID=65189797

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103250A TWI696905B (zh) 2018-11-19 2019-01-29 車輛盲區偵測方法

Country Status (3)

Country Link
US (1) US10977947B2 (zh)
CN (1) CN109263557B (zh)
TW (1) TWI696905B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598668A (zh) * 2019-09-20 2019-12-20 深圳市豪恩汽车电子装备股份有限公司 机动车盲区检测方法及***
KR20220026938A (ko) * 2020-08-26 2022-03-07 현대모비스 주식회사 차량의 후측방 경고 시스템 및 방법
KR20220029843A (ko) * 2020-08-31 2022-03-10 현대모비스 주식회사 차량의 후측방 경고 시스템 및 방법
CN112172670B (zh) * 2020-10-19 2022-10-04 广州优创电子有限公司 基于图像识别的后视图像显示方法及装置
CN112277799B (zh) * 2020-10-30 2023-01-06 重庆长安汽车股份有限公司 一种汽车盲区检测报警方法及***
CN115158372B (zh) * 2022-07-18 2023-05-19 内蒙古工业大学 一种基于声波的大型梭车避障预警方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201009757A (en) * 2008-08-29 2010-03-01 Automotive Res & Testing Ct Object position detecting device and method
TW201010888A (en) * 2008-09-10 2010-03-16 Univ Nat Chiao Tung Intelligent vehicle traffic safety supply system
TW201100280A (en) * 2009-06-19 2011-01-01 Automotive Res & Testing Ct Collision warning system for vehicle
TWM422507U (en) * 2011-08-02 2012-02-11 Shihlin Electric & Eng Corp Blind spot warning system
TW201248517A (en) * 2011-05-20 2012-12-01 Chung Shan Inst Of Science Blind spot vehicle detection system and method
TWM552881U (zh) * 2017-08-22 2017-12-11 Chimei Motor Electronics Co Ltd 行車盲區之偵測警示裝置
TWM560413U (zh) * 2018-02-02 2018-05-21 康佑達 車輛後視的即時影像系統
TWM562412U (zh) * 2018-03-29 2018-06-21 Chimei Motor Electronics Co Ltd 車輛之環景偵測系統

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6618672B2 (en) * 1998-10-21 2003-09-09 Yazaki Corporation Vehicle-applied rear-and-side monitoring system
CN1160210C (zh) * 1999-09-20 2004-08-04 松下电器产业株式会社 驾驶提醒装置
JP4107605B2 (ja) * 2005-02-01 2008-06-25 シャープ株式会社 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
CN101375315B (zh) * 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和***
US7908060B2 (en) * 2007-07-31 2011-03-15 International Business Machines Corporation Method and system for blind spot identification and warning utilizing portable and wearable devices
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
JP5407952B2 (ja) * 2009-06-18 2014-02-05 日産自動車株式会社 車両運転支援装置及び車両運転支援方法
GB201014331D0 (en) * 2010-08-27 2010-10-13 Siemens Medical Solutions Automatic identification of disruptive events in pets scans
JP2012169826A (ja) * 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
CN102881024B (zh) * 2012-08-24 2015-03-11 南京航空航天大学 一种基于tld的视频目标跟踪方法
US10275669B2 (en) * 2015-09-09 2019-04-30 Lightmetrics Technologies Pvt. Ltd. System and method for detecting objects in an automotive environment
CN108198208B (zh) * 2017-12-27 2021-08-24 浩云科技股份有限公司 一种基于目标跟踪的移动侦测方法
CN108280444B (zh) * 2018-02-26 2021-11-16 江苏裕兰信息科技有限公司 一种基于车辆环视图的快速运动物体检测方法
US20190362159A1 (en) * 2018-05-23 2019-11-28 GM Global Technology Operations LLC Crowd sourced construction zone detection for autonomous vehicle map maintenance

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201009757A (en) * 2008-08-29 2010-03-01 Automotive Res & Testing Ct Object position detecting device and method
TW201010888A (en) * 2008-09-10 2010-03-16 Univ Nat Chiao Tung Intelligent vehicle traffic safety supply system
TW201100280A (en) * 2009-06-19 2011-01-01 Automotive Res & Testing Ct Collision warning system for vehicle
TW201248517A (en) * 2011-05-20 2012-12-01 Chung Shan Inst Of Science Blind spot vehicle detection system and method
TWM422507U (en) * 2011-08-02 2012-02-11 Shihlin Electric & Eng Corp Blind spot warning system
TWM552881U (zh) * 2017-08-22 2017-12-11 Chimei Motor Electronics Co Ltd 行車盲區之偵測警示裝置
TWM560413U (zh) * 2018-02-02 2018-05-21 康佑達 車輛後視的即時影像系統
TWM562412U (zh) * 2018-03-29 2018-06-21 Chimei Motor Electronics Co Ltd 車輛之環景偵測系統

Also Published As

Publication number Publication date
TW202020585A (zh) 2020-06-01
CN109263557B (zh) 2020-10-09
US10977947B2 (en) 2021-04-13
US20200160717A1 (en) 2020-05-21
CN109263557A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
TWI696905B (zh) 車輛盲區偵測方法
EP3382336B1 (en) Stereo camera device
JP4919036B2 (ja) 移動物体認識装置
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
EP3327625A1 (en) Vehicle image processing method and system thereof
US10846833B2 (en) System and method for visibility enhancement
CN109532662B (zh) 一种车距及碰撞时间计算方法及装置
KR102019047B1 (ko) 영상 내 차량 속도 추정 장치 및 방법
JP2016120892A (ja) 立体物検出装置、立体物検出方法および立体物検出プログラム
JP7050763B2 (ja) カメラ画像からのオブジェクトの検出
US10984264B2 (en) Detection and validation of objects from sequential images of a camera
KR102082254B1 (ko) 차량 인식 시스템
JP4991384B2 (ja) 接近物検知装置及び接近物検知プログラム
KR20100033161A (ko) 차량용 후측방 감지시스템
JP2015064735A (ja) 自車位置推定装置及び自車位置推定方法
JP6185327B2 (ja) 車両後側方警報装置、車両後側方警報方法および他車両距離検出装置
JP5783319B2 (ja) 立体物検出装置及び立体物検出方法
TWI773958B (zh) 車輛盲點影像顯示方法、裝置及系統
JP6179249B2 (ja) 車両検出装置
KR101432727B1 (ko) 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법
US11648876B2 (en) System and method for visibility enhancement
TWI647659B (zh) 車用影像處理方法及其系統
KR20150144899A (ko) 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법
TWI728811B (zh) 車輛轉向判斷方法