TW201426635A - 影像內週期性雜訊修補方法 - Google Patents

影像內週期性雜訊修補方法 Download PDF

Info

Publication number
TW201426635A
TW201426635A TW101148467A TW101148467A TW201426635A TW 201426635 A TW201426635 A TW 201426635A TW 101148467 A TW101148467 A TW 101148467A TW 101148467 A TW101148467 A TW 101148467A TW 201426635 A TW201426635 A TW 201426635A
Authority
TW
Taiwan
Prior art keywords
image
periodic noise
current picture
pixel
wiper
Prior art date
Application number
TW101148467A
Other languages
English (en)
Other versions
TWI494899B (zh
Inventor
Che-Tsung Lin
Yu-Chen Lin
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW101148467A priority Critical patent/TWI494899B/zh
Priority to CN201310041397.4A priority patent/CN103886567B/zh
Priority to US14/064,706 priority patent/US9224052B2/en
Publication of TW201426635A publication Critical patent/TW201426635A/zh
Application granted granted Critical
Publication of TWI494899B publication Critical patent/TWI494899B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

影像內週期性雜訊修補方法判斷當前畫面是否含有週期性雜訊，並找出當前畫面中構成週期性雜訊之所有像素之位置。利用參考畫面的非週期性雜訊像素來修補當前畫面的週期性雜訊。

Description

影像內週期性雜訊修補方法
本案有關於一種影像內週期性雜訊修補方法。
現今人們生活日漸富裕，機動車輛(比如汽車)日益普及化。除了在動力部份持續進步外，汽車對於行車安全性的要求也愈高。
一般來說，駕駛者以肉眼來辨識車前/車旁的其他物體。為提高安全，現已有前視安全警示系統安裝於汽車之內。前視安全警示系統通常是安裝在前檔風玻璃之後，拍攝車子前方影像並辨識影像中的障礙物，提醒駕駛者要保持安全距離，或避免危險的駕駛行為。然而，在惡劣天侯，如大雨下，前視安全警示系統的辦識率可能會大幅下降，因為影像內的週期性雜訊(比如，來回擺動的雨刷物件)可能週期性地遮蔽前視安全警示系統之系統辨識標的(如行人、汽車、車道及交通號誌等)，因而使得前視安全警示系統產生誤判，駕駛者在這樣的行車情境下行駛，充滿著危險性。
現雖有一技術能判斷影像是否受到雨之影響，但仍無法判斷影像中是否具有週期性雜訊(如雨刷物件)，並濾除之。此外，另一技術提出雨紋去除方法，但其無法適用於前視安全警示系統，因為下雨時，去除雨紋並不如去除雨刷物件來得重要。更有另一技術提出對含霧影像清晰化，然而其無法適用於前視安全警示系統，因為一旦雨刷被啟動，雨刷將成為最大的雜訊來源。
故而，本案提出影像內週期性雜訊修補方法，其能修補畫面中之週期性雜訊像素群(如雨刷物件)，如此一來，即便在大雨之惡劣天侯下，仍能辨識如行人、它車、車道或交通號誌等障礙物，以提昇行車安全。
本揭露實施例係有關於一種影像內週期性雜訊修補方法，其判斷當前畫面內是否含有週期性雜訊，並找出當前畫面中構成週期性雜訊之所有像素之位置，利用參考畫面的非週期性雜訊像素來修補當前畫面的週期性雜訊。
根據本揭露之一示範性實施例，提出一種影像內週期性雜訊修補方法，包括：確認一當前畫面是否包括一週期性雜訊像素群，以及如果是，確認該當前畫面之該週期性雜訊像素群之各像素位置；對該當前畫面中的複數個非週期性雜訊像素與一參考畫面的複數個非週期性雜訊像素進行匹配，以得到該當前畫面與該參考畫面之間的像素對應關係；以及根據該週期性雜訊像素群在該當前畫面中之各像素位置以及該像素對應關係，從該參考畫面中選擇對應的像素以修補該當前畫面之該週期性雜訊像素群。
為了對本案之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式，作詳細說明如下：
以下係藉由具體實施例說明本案之實施方式，所屬技術領域中具有通常知識者可由本說明書所揭示之內容瞭解本案實施例之優點與功效。
本案實施例利用影像分割與影像修補技術，修補影像中的週期性雜訊。雨刷物件是影像中的一種週期性雜訊，而底下實施例所講的「去除當前畫面中的雨刷物件」乃是「修補當前畫面中週期性雜訊」的一個例子)。針對當前畫面，影像分割技術確認此當前畫面中的雨刷物件所佔據之複數個像素(底下亦可稱為雨刷像素群，也就是說，雨刷物件在此當前畫面中的位置)，並針對當前畫面中的複數個非雨刷像素與參考畫面(可能是前一畫面或前幾個畫面)中的複數個非雨刷像素進行特徵點匹配，以求出彷射轉換矩陣，彷射轉換矩陣用於描述待修補畫面與參考畫面之間的像素對應關係。根據此彷射轉換矩陣，從參考畫面中選擇相對應的像素以修補當前畫面中雨刷物件所佔據的複數個像素。如此的話，可將雨刷物件從當前畫面中去除，以得到不含雨刷物件的修補後當前畫面。故而，已去除雨刷物件之畫面輸入至前視行車安全警示系統，可幫助其不受雨刷此週期性雜訊影響地辨識障礙物，進而可確保駕駛者行車之安全性。
現請參考第1圖，其顯示機動車輛100之示意圖，此機動車輛100安裝有：影像擷取單元110與本案實施例之內建影像內週期性雜訊修補方法之前視安全警示系統裝置120。
影像擷取單元110用以擷取車前的窗外影像。當下雨時，如果雨刷被啟動，則影像擷取單元110所擷取的畫面將可能包括雨刷影像。影像擷取單元110可為一影像感測 器，其比如但不受限於一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體之光學感測元件之其中一者或其任意組合。
影像擷取單元110所擷取之畫面會被送至內建影像內週期性雜訊修補方法之前視安全警示系統裝置120，以去除雨刷物件。前視安全警示系統可為車道偏離警示系統(Lane Departure Warning System,LDWS)、前方防碰撞警示系統(Forward Collision Warning System,FCWS)或交通號誌辨識系統(Traffic Sign Recognition System,TSRS)等，但不受限於此。此內建影像內週期性雜訊修補方法之前視安全警示系統裝置120可為實現在各類硬體平台之軟體或為可程式化的集積電路如微控制器、元件可程式邏輯閘陣列(FPGA，Field Programmable Gate Array)之類的電路。
於本案實施例中，內建影像內週期性雜訊修補方法之前視安全警示系統裝置120確認當前畫面中的雨刷所佔據之像素(也就是說，確認雨刷物件在此當前畫面中的位置)。之後，內建影像內週期性雜訊修補方法之前視安全警示系統裝置120根據當前畫面與參考畫面之間的像素對應關係，從參考畫面中選擇相對應的複數個像素以修補當前畫面中雨刷物件所佔據的像素群。比如，假設當前畫面中，因為雨刷啟動的關係，影像擷取單元110在擷取影像時，交通號誌(窗外物件)的全部或一部份被雨刷所遮住。則內建影像內週期性雜訊修補方法之前視安全警示系統裝置120會從適當的參考畫面中找出構成此交通號誌之複數個 像素，用以修補當前畫面中的雨刷像素群，使得修補後當前畫面中出現完整的交通號誌，也就是修補後的當前畫面內將不含雨刷物件。如此一來，前視安全警示系統將不會因待辨識物體的外觀被雨刷遮蔽，因而影響系統辨識率，故行車安全性即可因此而得以提昇。
現請參考第2圖，其顯示本案實施例之影像內週期性雜訊修補方法之流程。於步驟210中，針對當前畫面P(t)進行影像分割(Image Segmentation)。現將舉例說明本案實施例中之影像分割之細節內容，但當知，本案其他實施例可能有其他影像分割之方式。
現請參考第3圖，其顯示根據本案實施例之影像分割之流程。於步驟310中，以K平均(K-means)演算法將當前畫面的所有像素(比如但不受限於，像素以RGB信號來表示)分成K群(K為自然數)，並將暗像素群(也就是具有最低RGB訊號的像素群)視為雨刷物件的可能成份之一。這是因為，雨刷物件通常是黑色且為畫面中最暗的一群像素，故而，暗像素群視為可能的雨刷成份之一。
於步驟320中，對於步驟310的結果，以侵蝕、膨脹等演算法消除當前畫面較為破碎的暗像素群，並將較完整暗像素群的外型修正的更加完整。這是因為，雨刷的形狀是完整的，而其他暗色障礙物(比如陰影等)則有可能是破碎的形狀。故而，在此步驟320中，將破碎的暗色像素群去除，並將可能是雨刷物件的較完整暗像素群修正其外型。
於步驟330中，對步驟320的結果進行二值化，也就是，對於所有可能的雨刷像素群二值化為1，對被視為不 含雨刷物件的像素群則二值化為0。進行縮減取樣(Downsampling)至像素總量為P(P為正整數)，計算出被二值化為1的像素總個數q(q為正整數)，q/P為二值化雨刷影像的平均值。將p(p為正整數)個矩陣像素皆減去此平均值，並將所得到矩陣向量化(Vectorizing)，使其成為行向量(Column Vector)並進行縮減取樣而得到向量I。
於步驟340中，將向量I與特徵雨刷矩陣(Eigen Wipers Matrix)U依下列公式(1)得到其內積值ItU (1)
特徵雨刷矩陣U是在離線階段下，事先訓練好，以供後續線上判斷使用。於本案實施例中，特徵雨刷矩陣U之求法如下。利用主成份分析(Principal Component Analysis,PCA)演算法，對於事先搜集的N筆訓練影像(N為正整數)(訓練影像是事先得到的，且其皆包含雨刷影像)，事先以人工標記出各筆影像中的雨刷位置(也就是，在每一筆N筆訓練影像中，複數個雨刷像素之複數個座標點為已知)。
在另一情形下，假使裝設具本實施例的前視安全警示系統之車輛所使用的雨刷以及其攝影機所安裝的角度，使得雨刷在畫面中出現的大小、位置、外型與預設訓練影像(內含雨刷)不同，亦可設計自動人機訓練模式。其實施方式可為，在攝影機面前放置純白背景物件(比如純白海報)，使得攝影機所擷取之影像為全白之畫面，接著，在開啟雨刷的情形下，進行步驟310與320或步驟510與520即可準確地，不受任何雜訊干擾地自動擷取(學習)雨刷影像，以供後續使用。
將學習到的複數個雨刷影像進行步驟330之處理，並將處理結果排列成觀測矩陣(observation matrix)，其維度為PxN。使用奇異值分解(Singular Value Decomposition)來解下列公式(2)O=UDVt (2)
其中，U為特徵雨刷矩陣，其維度也為PxN；D為對角矩陣，維度為NxN，其記錄著每個特徵雨刷的重要性或顯著性；V記錄著特徵雨刷空間中，此N筆訓練影像所投影出之係數，其維度為NxN。
進行步驟350(線上分類步驟)，於步驟340中得到N筆訓練影像的內積後，找出具有最大內積值的訓練資料及其對應之原始雨刷影像。由於N筆訓練資料為事先離線訓練階段中所預先找出的，故其雨刷位置皆為已知。
但於本案其他可能實施例中，對於影像分割技術，除了使用分群演算法、型態學運算及主成份分析外，亦可使用任何足以確認複數個雨刷像素之複數個座標之演算法或這些演算法之任意組合。
步驟210之後，進行步驟220，判斷當前畫面P(t)內是否含有雨刷物件。細言之，若當前畫面P(t)對應之I藉由ItU所計算出來的N筆內積值中的最大值大於預設閥值(threshold)，則判斷當前畫面P(t)中含有雨刷物件並進行後續步驟以完成影像修補。若當前畫面P(t)對應之I藉由ItU所計算出來的N筆內積值中的最大值小於閥值，則判斷當前畫面P(t)不含雨刷物件。這是因為，如果P(t)中的暗像素群不符合N種事先訓練之雨刷形狀的話，則依ItU所計算 出的N筆內積值皆較小。
於步驟230中，求出當前畫面與參考畫面間之像素對應關係，其細節如後。在行車過程中，前視影像安全警示系統乃是擷取車子前方的影像。如欲達成即時影像修補，用以修補當前畫面P(t)的參考畫面需早於當前畫面。但如為非即時影像修補，則用以修補當前畫面P(t)的參考畫面可早於或晚於當前畫面。
在修補時，當前畫面P(t)中構成雨刷的複數個像素不能直接以參考畫面F(t-n)(n為正整數)中相同位置的複數個像素來修補。這是因為，在背景不動的情形下，於車子往前行駛的情況下，對於同一背景物體而言，較早擷取影像中的此背景物體會小於較晚擷取影像中的此背景物體。
故而，在本實施例中，使用彷射轉換矩陣(Affine Transformation Matrix)或投影轉換(Projective Transformation)矩陣或任一種足以描述兩畫面間的像素對應關係之轉換矩陣或轉換方程式，來模型化不同的兩畫面(亦即當前畫面與參考畫面)之間的像素對應關係。也就是說，對於出現於此兩畫面中的一共同物件而言，彷射轉換矩陣可描述此一共同物件在此兩畫面中的像素對應關係(亦即，此一共同物件在畫面1中的像素位置為Pi1，而在畫面2中的像素位置為Pi2，則彷射轉換矩陣可描述Pi1與Pi2之間的關係)。
欲求解此彷射轉換矩陣，於本案實施例中，利用尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)演算法或加速強健特徵(Speeded Up Robost Features, SURF)演算法或任何可以求取兩影像間對應點之演算法，來找出參考畫面P(t-n)中之複數個非雨刷像素特徵點、當前畫面P(t)中之複數個非雨刷像素特徵點(以進行特徵點匹配)，以及此兩張畫面中的對應點(Correspondence)。接著，利用隨機抽樣一致演算法(Random Sample Consensus,RANSAC)或最小平方法或是任何可解過定系統(Overdetermined System)之演算法，代入參考畫面P(t-n)以及當前畫面P(t)之共同對應點，以求出彷射轉換矩陣。也就是求出下列公式(3)中的α x 及α y 。
於公式(3)中，C x 與C y 為當前畫面正中央點之座標，Xt與Yt為當前畫面P(t)中的對應點，Xt-n與Yt-n為參考畫面P(t-n)中的對應點。至此，已完成步驟230。
現請回到第2圖。於本案實施例中，乃是利用參考畫面P(t-n)的複數個像素來修補當前畫面P(t)中的複數個雨刷像素。其中，用以修補的參考畫面P(t-n)中的複數個像素皆不能是雨刷像素。於步驟240中，判斷用以修補當前畫面P(t)中的複數個雨刷像素的參考畫面P(t-n)的複數個像素是否皆不為雨刷像素。如果為否，則回到步驟230，利用另一先前畫面(n=n-1)來當成參考畫面並重複步驟230與240，直到用以修補當前畫面P(t)中的複數個雨刷像素 的參考畫面P中的所有對應像素皆不為該畫面中的雨刷像素為止。亦即，於本案實施例中，由步驟240回到步驟230的話，本方法將會重新求取另一參考畫面P(t-n)與當前畫面P(t)之彷射轉換矩陣，直到用以修補當前畫面P(t)的複數個雨刷像素於參考畫面P(t-n)中的所有對應像素皆不為該畫面中的雨刷像素為止。
另外，本案實施例亦考量到影像擷取單元110之影像擷取頻率以及雨刷頻率(亦即此雨刷的移動速度)之間的關係。例如，所使用之影像擷取單元110為高速攝影機的話，而雨刷的頻率較低的話，則有可能，先前幾個畫面(比如但不受限於P(t-1)~P(t-5))中皆具有雨刷像素，且用於修補之像素亦為該畫面中之雨刷像素。在這樣的情形下，或許畫面P(t-6)比較適合修補當前畫面P(t)。
經過步驟230與240後，本方法可找出用來修補當前畫面P(t)的參考畫面，因此，於步驟250中，進行修補。比如，去除雨刷物件。步驟250的細節比如，以公式(3)來看的話，在此時，α x 、α y 、C x 、C y 、Xt與Yt乃為已知(Xt與Yt是待修補的當前畫面P(t)的雨刷像素位置)，故利用公式(3)可求出Xt-n與Yt-n，其代表在參考畫面P(t-n)中用以修補的像素位置。在得到用以修補的像素位置Xt-n與Yt-n之後，即可將此像素拿來修補當前畫面P(t)的雨刷像素。
請參考第4A圖~第4C圖，其為本案實施例之影像內週期性雜訊修補方法之修補示意圖。如第4A圖所示，假設在參考畫面P(t-n)中，所擷取到的參考畫面P(t-n)中有樹影像410與人物影像420，而樹影像410與人物影像420 都未被雨刷影像430所遮住。如第4B圖所示，在當前畫面P(t)中，則是樹影像410與人物影像420都被雨刷影像430所遮住。本案實施例之影像內週期性雜訊修補方法可將參考畫面P(t-n)中的樹影像410與人物影像420拿來修補當前畫面P(t)中被雨刷影像430所遮住的樹影像410與人物影像420，以得到修補後當前畫面P’(t)，如第4C圖所示。如此一來，修補後當前畫面P’(t)不再有雨刷影像430，且樹影像410與人物影像420不會被雨刷影像430所遮住。
此外，由於擷取影像的角度與限制，在第4A圖~第4C圖中，在所擷取的當前畫面/參考畫面當中，原則上只會擷取到一對雨刷當中的一隻雨刷的一部份。第4A圖~第4C圖只是示意而已，其並非用以限制本案。
本案另一實施例提出另一種確認當前畫面是否包括週期性雜訊像素群(比如是雨刷像素群)之流程。第5A圖與第5B圖顯示本案另一實施例之另一種確認當前畫面是否包括週期性雜訊像素群(比如是雨刷像素群)之流程。現請參考第5A圖，其等效於第3圖的步驟310與320。
對於連續影像，相較於背景影像，雨刷物件具有突然出現、面積較大且顏色偏暗之特性，故在本案另一實施例中以畫面差值法(Frame Difference Method)來替代K平均演算法，亦即，第5A圖之步驟510及520可達成與第3圖之步驟310與320相同/相似結果。
在此，背景影像B乃是不含雨刷的一畫面。於步驟510中，將當前畫面與背景影像B相減，得到這兩個畫面間的 像素差。所謂的像素差是指，取當前畫面的一像素與背景影像B的一相同位置像素之間的差值，當成像素差。於步驟520中，如果像素差之絕對值小於一閥值的話，則此像素被濾除，並濾除面積過小的連通單元。
濾除像素差之絕對值小於一閥值的像素的原因在於，如上述般，雨刷像素通常是暗像素，故而，當前畫素的雨刷像素與背景影像的相同位置像素間的像素差的絕對值應該會大於閥值。所以，如果像素的像素差絕對值小於閥值的話，則可推論出此像素並非雨刷像素。
連通單元是指，由位置相通的未被濾除像素相連而成。如果某連通單元的面積過小的話(亦即面積小於一面積閥值)，則此連通單元會被濾除。這是因為，通常雨刷像素的面積甚大，所以，面積過小的連通單元可能不是雨刷像素所組成的連通單元，故而濾除之。
現請參考第5B圖，其顯示本實施例如何找出背景影像B。於步驟530中，將當前畫面P(t)與前一畫面P(t-1)相減，並依上述來濾除面積過小之連通單元。如步驟540所示，假使最大之連通單元之面積小於面積閥值，則代表P(t)可能為背景影像，並將累積次數加1。如果步驟540的結果為否的話，則可判斷此當前畫面P(t)並不符合於背景影像(也就是說，此當前畫面P(t)可能含有雨刷像素)。
於步驟550中，判斷累積次數是否大於次數閥值(此閥值與攝影機之擷取速度有關，假使使用高速攝影機來擷取影像的話，則此閥值則必須提高)。如果步驟540與550的結果皆為是的話，則此當前畫面P(t)可設為新的背景影 像B(也就是用此當前畫面P(t)可更新背景影像B)，如步驟560。其原因在於，相較於背景之本身變化，原則上，只有雨刷才有可能造成畫面有連續且大面積的像素變化。因此，如果有連續幾個畫面無甚變化，即可將當前畫面P(t)視為背景影像。
此外，背景影像B可隨時更新，也就是一旦到找到一個背景影像，第5B圖之流程即重新開始，以在連續影像中找出下一個背景影像B。
於本案實施例中，啟動影像內週期性雜訊修補方法可有多種實施方式。其中一種方法比如是，如果偵測到雨刷被駕駛者啟動的話，則本案實施例的影像內週期性雜訊修補方法可被啟動，因為只有雨刷啟動後，所擷取的影像才可能包括雨刷影像。另一方法則是，如果以其他方法能夠判定所擷取的畫面內存在雨刷此週期性雜訊的話，則開始執行本案實施例的影像內週期性雜訊修補方法。
此外，在上述實施例說明中，在即時運算應用中，用以修補的參考畫面可為足以修補當前畫面之任一先前擷取畫面；在非即時運算當中，用以修補的參考畫面可為足以修補當前畫面之任一先前擷取畫面或任一稍後擷取畫面。
此外，影像內週期性雜訊修補方法可安裝於任何有運算能力的裝置，其可為嵌入式系統，如智慧型手機、個人電腦，桌上型電腦等，其運算核心可為單核或多核，且能夠執行一至多種程式指令。
本案實施例可去除影像中的週期性雜訊(如雨刷物 件)，即便在下雨時，駕駛者開啟雨刷時，各類前視安全警示系統之辨識率仍可維持，因而得以提昇駕駛者之安全性。
本案實施例所提出之影像內週期性雜訊修補方法，不需接收雨刷訊號即可判斷影像內是否具有雨刷物件以及得知雨刷像素之位置，因而得以在不增加系統裝設難度下，提昇前視影像安全警示系統之強健性。
但於其他可能實施例中，亦可藉由接收實體雨刷訊號，以決定本實施例之影像內週期性雜訊修補方法是否需開始執行，如此的話，可降低系統運算負荷，並降低誤判率。
所接收的雨刷訊號可將「雨刷是否正在運作」此資訊告知具備本影像內週期性雜訊修補方法之前視安全警示系統，而雨刷是否啟動可由人為判定或由雨滴感測器判定外界是否下雨。雨滴感測器可為一光學反射型感測器(Reflective Sensor)、一音頻型感測器(Audio Sensor)或一傳導型感測器(conductive sensor)之其中一者或其任意組合。
綜合上述，本案實施例中，於啟動雨刷時，以影像分割技術及影像修補技術，偵測並透明化雨刷(也就是說，修補被雨刷所遮擋住的影像)，使得障礙物辨識不受雨刷此週期性雜訊的影響，因而得以提昇障礙物的辨識率，並提昇駕駛者在下雨時行車之安全性。
本影像內週期性雜訊修補方法之實施例可利用如處 理單元、數位訊號處理單元、數位視訊處理單元實施，或是以可程式化的集積電路如微控制器、元件可程式邏輯閘陣列(FPGA，Field Programmable Gate Array)之類的電路來實現，其中例如以硬體描述(HDL，Hardware description language)來設計。
或者，本影像內週期性雜訊修補方法之實施例亦可以軟體程式來實現，比如，用以實施本案實施例的程式碼可記錄在一記憶媒體之中，如記憶體、ROM、RAM及之類的媒體、或光學或磁性或其他記錄媒體，或是實現為韌體(firmware)。當運算裝置之處理單元，從記憶媒體讀取並執行本案實施例之程式碼，以實現本影像內週期性雜訊修補方法之實施例。再者，本影像內週期性雜訊修補方法之實施例可以軟硬體結合之方式實現。
綜上所述，雖然本案已以實施例揭露如上，然其並非用以限定本案。本案所屬技術領域中具有通常知識者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾。因此，本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧機動車輛
110‧‧‧影像擷取單元
120‧‧‧內含影像內週期性雜訊修補方法之前視安全警示系統
210~250‧‧‧步驟
310~350‧‧‧步驟
P(t-n)‧‧‧參考畫面
410‧‧‧樹影像
420‧‧‧人物影像
430‧‧‧雨刷影像
P(t)‧‧‧當前畫面
P’(t)‧‧‧修補後當前畫面
510~560‧‧‧步驟
第1圖顯示機動車輛之示意圖，其安裝本案實施例之內含雨刷物件去除方法之前視安全警示系統裝置。
第2圖顯示根據本案實施例之去除雨刷像素之流程。
第3圖顯示根據本案實施例之影像分割之流程。
第4A圖~第4C圖顯示本案影像內週期性雜訊修補方法之實施例。
第5A圖與第5B圖顯示本案另一實施例之另一種確認當前畫面是否包括週期性雜訊像素群(比如是雨刷像素群)之流程。
210~250‧‧‧步驟

Claims (15)

  1. 一種影像內週期性雜訊修補方法，包括：確認一當前畫面是否包括一週期性雜訊像素群，以及如果是，確認該當前畫面之該週期性雜訊像素群之各像素位置；對該當前畫面中的複數個非週期性雜訊像素與一參考畫面的複數個非週期性雜訊像素進行匹配，以得到該當前畫面與該參考畫面之間的一像素對應關係；以及根據該週期性雜訊像素群在該當前畫面中之各像素位置以及該像素對應關係，從該參考畫面中選擇對應之像素以修補該當前畫面之該週期性雜訊像素群。
  2. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其中，該當前畫面與該參考畫面由一影像感測器所擷取，該影像感測器為一紅外線影像擷取裝置、一光電耦合元件或一互補式金氧半導體光學感測元件之其中一者或其任意組合。
  3. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其中，該週期性雜訊像素群由複數個雨刷像素所構成。
  4. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其中，以一影像分割步驟來確認該當前畫面是否包括該週期性雜訊像素群，及確認該週期性雜訊像素群之各像素位置。
  5. 如申請專利範圍第4項所述之影像內週期性雜訊修 補方法，其中，該影像分割步驟包括：將該當前畫面的所有像素分成複數群，並將至少一暗像素群視為可能之週期性雜訊像素群；消除該當前畫面之至少一不完整暗像素群，並將一完整暗像素群的一外型修正；對該當前畫面進行二值化、縮減取樣、得到二值化平均值，以得得到一向量；將該向量與事先訓練的一特徵矩陣得到一內積值；以及根據該內積值，判斷該當前畫面是否包括該週期性雜訊像素群。
  6. 如申請專利範圍第4項所述之影像內週期性雜訊修補方法，其中，該影像分割步驟包括：將該當前畫面與一背景影像相減，其中該背景影像不含該週期性雜訊像素；濾除該當前畫面中，像素差的絕對值小於一閥值的任一像素，該像素差為該當前畫面的一像素與該背景影像的一相同位置像素之間的差值；濾除該當前畫面中，面積小於一面積閥值的任一連通單元，該連通單元由未被濾除的複數像素所相連而成；對該當前畫面進行二值化、縮減取樣、得到二值化平均值，以得得到一向量；將該向量與事先訓練的一特徵矩陣得到一內積值；以及根據該內積值，判斷該當前畫面是否包括該週期性雜 訊像素群。
  7. 如申請專利範圍第6項所述之影像內週期性雜訊修補方法，更包括：將該當前畫面與一先前畫面相減；以及如果一最大連通單元面積小於一面積閥值且一累積次數大於一次數閥值，則將該背景影像更新為該當前畫面。
  8. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其中，以一彷射轉換矩陣、一投影轉換矩陣或任一種足以描述兩畫面間的像素對應關係之轉換矩陣或轉換方程式，來模型化該當前畫面與該參考畫面之間的該像素對應關係。
  9. 如申請專利範圍第8項所述之影像內週期性雜訊修補方法，其中，利用一尺度不變特徵轉換演算法或一加速強健特徵演算法，來找出該參考畫面中之複數個非週期性雜訊特徵點、該當前畫面中之複數個非週期性雜訊特徵點，以及該參考畫面的該複數個非週期性雜訊特徵點與該當前畫面的該複數個非週期性雜訊特徵點之間的一對應關係；以及利用隨機抽樣一致演算法或最小平方法或是任何用於解一過定系統演算法，代入該參考畫面以及該當前畫面之一共同對應點，以求出該彷射轉換矩陣。
  10. 如申請專利範圍第9項所述之影像內週期性雜訊修補方法，其中，將待修補之該當前畫面之該週期性雜訊像素群代入至該彷射轉換矩陣中，以求出用於修補的該參考畫面的複 數對應像素的位置。
  11. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其中，在一即時運算應用中，該參考畫面為早於該當前畫面；以及在一非即時運算應用中，該參考畫面為早於或晚於該當前畫面。
  12. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，其可應用於執行一至多種程式指令之具有運算能力的一裝置、一種嵌入式系統、一智慧型手機、或是一個人電腦。
  13. 如申請專利範圍第1項所述之影像內週期性雜訊修補方法，更包括：接收一雨刷訊號，以決定是否開始執行該影像內週期性雜訊修補方法，其中該週期性雜訊像素群為一雨刷像素群。
  14. 如申請專利範圍第13項所述之影像內週期性雜訊修補方法，其中，根據該雨刷訊號來判斷一雨刷是否正在運作；以及該雨刷由一雨刷啟動事件來啟動或由一雨滴感測器判定外界是否正在下雨來啟動。
  15. 如申請專利範圍第14項所述之影像內週期性雜訊修補方法，其中，該雨滴感測器為一光學反射型感測器或一音頻型感測器或一傳導型感測器(conductive sensor) 或其任意組合。
TW101148467A 2012-12-19 2012-12-19 影像內週期性雜訊修補方法 TWI494899B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW101148467A TWI494899B (zh) 2012-12-19 2012-12-19 影像內週期性雜訊修補方法
CN201310041397.4A CN103886567B (zh) 2012-12-19 2013-02-01 图像内周期性噪声修补方法
US14/064,706 US9224052B2 (en) 2012-12-19 2013-10-28 Method for in-image periodic noise pixel inpainting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101148467A TWI494899B (zh) 2012-12-19 2012-12-19 影像內週期性雜訊修補方法

Publications (2)

Publication Number Publication Date
TW201426635A true TW201426635A (zh) 2014-07-01
TWI494899B TWI494899B (zh) 2015-08-01

Family

ID=50930954

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101148467A TWI494899B (zh) 2012-12-19 2012-12-19 影像內週期性雜訊修補方法

Country Status (3)

Country Link
US (1) US9224052B2 (zh)
CN (1) CN103886567B (zh)
TW (1) TWI494899B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法
TWI759647B (zh) * 2019-08-30 2022-04-01 大陸商深圳市商湯科技有限公司 影像處理方法、電子設備，和電腦可讀儲存介質

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150076759A (ko) * 2013-12-27 2015-07-07 주식회사 만도 차량용 카메라의 제어 장치 및 방법
JP6418961B2 (ja) * 2015-01-28 2018-11-07 シャープ株式会社 障害物検知装置、移動体、障害物検知方法、および障害物検知プログラム
US10223590B2 (en) * 2016-08-01 2019-03-05 Qualcomm Incorporated Methods and systems of performing adaptive morphology operations in video analytics
JP2020013332A (ja) * 2018-07-18 2020-01-23 トヨタ自動車株式会社 画像認識装置
CN110414480A (zh) * 2019-08-09 2019-11-05 威盛电子股份有限公司 训练图像产生方法与电子装置
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
US20220292644A1 (en) * 2019-09-23 2022-09-15 Yu-Kuo Cheng Electronic device and image signal processing method of removing background noise based on spatial frequency
US11069042B2 (en) 2019-12-19 2021-07-20 Bae Systems Information And Electronic Systems Integration Inc. Bladed rotating assembly mitigation in high frame rate video
KR102349289B1 (ko) * 2019-12-26 2022-01-11 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
CN111190049B (zh) * 2020-01-14 2022-04-05 洛阳师范学院 主分量分析的混沌***检测纳伏级微弱正弦信号的方法
CN117474807B (zh) * 2023-12-27 2024-05-31 科大讯飞股份有限公司 一种图像修复方法、装置、设备及存储介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6414700A (en) 1987-07-08 1989-01-18 Aisin Aw Co Device for displaying prospective track of vehicle
US5796094A (en) 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
US5780719A (en) * 1997-01-22 1998-07-14 Vandam; Scott A. Windshield wiper rain sensor system
US6621923B1 (en) * 1999-03-29 2003-09-16 Hewlett-Packard Development Company, L.P. Color and tone correction of a negative film scan using existing silver-halide print
TW466192B (en) 1999-05-04 2001-12-01 E Lead Electronic Co Ltd Optical type automatic control system of automobile windshield wiper
JP3739269B2 (ja) 2000-10-04 2006-01-25 トヨタ自動車株式会社 車両運転支援装置
JP2004325113A (ja) 2003-04-22 2004-11-18 Suzuki Motor Corp 車両用歩行者検知方法及びその装置
DE112005001898A5 (de) 2004-09-03 2007-08-09 Adc Automotive Distance Control Systems Gmbh Verfahren zur Detektion von Niederschlag auf einer Scheibe
JP4670463B2 (ja) 2005-04-28 2011-04-13 アイシン・エィ・ダブリュ株式会社 駐車区画監視装置
US7613322B2 (en) * 2005-05-19 2009-11-03 Objectvideo, Inc. Periodic motion detection with applications to multi-grabbing
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4899367B2 (ja) 2005-07-27 2012-03-21 日産自動車株式会社 俯瞰画像表示システム及び俯瞰画像の表示方法
JP4820712B2 (ja) 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
JP2007099261A (ja) 2005-09-12 2007-04-19 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
JP4421549B2 (ja) 2005-11-29 2010-02-24 アイシン・エィ・ダブリュ株式会社 運転支援装置
JP2007226300A (ja) 2006-02-21 2007-09-06 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP4640238B2 (ja) 2006-04-10 2011-03-02 日産自動車株式会社 車両周囲映像作成装置及び車両周囲映像作成方法
JP4668838B2 (ja) 2006-05-16 2011-04-13 株式会社日本自動車部品総合研究所 雨滴検出装置およびワイパー制御装置
JP4797794B2 (ja) 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
JP5309442B2 (ja) 2006-05-29 2013-10-09 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP4232794B2 (ja) 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN100385461C (zh) * 2006-06-01 2008-04-30 电子科技大学 一种复杂背景下红外图像序列中运动目标的检测方法
JP4720650B2 (ja) 2006-06-30 2011-07-13 アイシン・エィ・ダブリュ株式会社 路面投影装置及び路面投影方法
JP2008017311A (ja) 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
JP4797877B2 (ja) 2006-08-14 2011-10-19 日産自動車株式会社 車両用映像表示装置及び車両周囲映像の表示方法
JP4904997B2 (ja) 2006-08-29 2012-03-28 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
JP5070809B2 (ja) 2006-11-10 2012-11-14 アイシン精機株式会社 運転支援装置、運転支援方法、及び、プログラム
TWM316829U (en) 2007-02-16 2007-08-11 Transmint Prec S Co Ltd Automatic windshield wiper apparatus for vehicle
JP2009002797A (ja) 2007-06-21 2009-01-08 Aisin Aw Co Ltd 車両状態判定装置
JP4946745B2 (ja) 2007-09-07 2012-06-06 日産自動車株式会社 縦列駐車支援装置
JP5104171B2 (ja) 2007-09-28 2012-12-19 日産自動車株式会社 駐車支援装置および駐車支援方法
JP2009154647A (ja) 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
DE102008001679A1 (de) * 2008-05-09 2009-11-12 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
KR20100053719A (ko) 2008-11-13 2010-05-24 주식회사 현대오토넷 차선이탈경보장치의 ｃｃｄ 카메라를 이용한 와이퍼 구동방법 및 와이퍼 구동장치
TW201034877A (en) * 2009-03-23 2010-10-01 Genius Electronic Optical Co Ltd Windshield wiper optical sensing system
TWI452909B (zh) * 2009-06-29 2014-09-11 Silicon Integrated Sys Corp 移動向量校正電路、影像產生裝置及相關方法
TW201113831A (en) * 2009-10-02 2011-04-16 Univ Nat Chunghsing Image inpainting method based on Bezier curves
TWI478831B (zh) 2009-12-30 2015-04-01 Hon Hai Prec Ind Co Ltd 行車安全維護系統及其維護方法
US20120011119A1 (en) * 2010-07-08 2012-01-12 Qualcomm Incorporated Object recognition system with database pruning and querying
CN102096915B (zh) * 2011-02-09 2013-08-07 北京航空航天大学 一种基于精准图像拼接的摄像机镜头去污方法
CN102139674A (zh) 2011-02-23 2011-08-03 电子科技大学 一种雾天汽车防追尾***
CN102186089B (zh) 2011-04-19 2013-06-05 南京航空航天大学 单分量视频图像雨场去除方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607901B (zh) * 2015-11-06 2017-12-11 財團法人工業技術研究院 影像修補系統及其方法
US10037597B2 (en) 2015-11-06 2018-07-31 Industrial Technology Research Institute Image inpainting system and method for using the same
TWI759647B (zh) * 2019-08-30 2022-04-01 大陸商深圳市商湯科技有限公司 影像處理方法、電子設備，和電腦可讀儲存介質

Also Published As

Publication number Publication date
CN103886567A (zh) 2014-06-25
TWI494899B (zh) 2015-08-01
US20140169695A1 (en) 2014-06-19
US9224052B2 (en) 2015-12-29
CN103886567B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
TWI494899B (zh) 影像內週期性雜訊修補方法
TWI607901B (zh) 影像修補系統及其方法
JP6395759B2 (ja) レーン検出
US9773176B2 (en) Image processing apparatus and image processing method
JP6772113B2 (ja) 付着物検出装置、および、それを備えた車両システム
JP7122364B2 (ja) 付着物検出装置、付着物検出方法
US10552706B2 (en) Attachable matter detection apparatus and attachable matter detection method
JP5223675B2 (ja) 車両検知装置，車両検知方法並びに車両検知プログラム
CN104657735A (zh) 车道线检测方法、***、车道偏离预警方法及***
JP2018524732A (ja) 半自動画像セグメンテーション
CN107845101B (zh) 车载环视图像的特征点标定方法、装置和可读存储介质
Nur et al. Vehicle detection based on underneath vehicle shadow using edge features
Chang et al. An efficient method for lane-mark extraction in complex conditions
JP6795224B2 (ja) 移動体検知装置、移動体検知方法、及びプログラム
Chen et al. Toward community sensing of road anomalies using monocular vision
JP7206909B2 (ja) 付着物検出装置および付着物検出方法
Sultana et al. Vision-based robust lane detection and tracking in challenging conditions
JP2018142828A (ja) 付着物検出装置および付着物検出方法
Liao et al. Video-based water drop detection and removal method for a moving vehicle
JP4887540B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP7283081B2 (ja) 付着物検出装置および付着物検出方法
JP2020098389A (ja) 道路標識認識装置及びそのプログラム
Dai et al. A driving assistance system with vision based vehicle detection techniques
JP5447164B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
JP7175188B2 (ja) 付着物検出装置および付着物検出方法