TWI462054B - Estimation Method of Image Vagueness and Evaluation Method of Image Quality - Google Patents

Description

影像模糊程度之估測方法及影像品質之評估方法

本發明係有關於一種影像運算方法，特是指一種影像模糊程度之估測方法及影像品質之評估方法。

影像處理可分為影像前處理以及影像後處理。我們可以使用影像擷取裝置拍攝景物以獲得景物的數位影像資料，此時所獲得的影像資料一般稱為原始資料(Raw data)。原始資料會再被處理以便產生特定的影像效果。其中，使用影像擷取裝置拍攝取得原始資料影像的過程被稱為影像前處理。在此之後所進行的影像處理程序則稱為影像後處理。前處理程序例如為自動對焦(Auto focus)、自動曝光(Auto exposure)等在影像擷取時的控制。一般常見的影像後處理程序包括：對原始資料進行減少雜訊(Noise reduction)、白平衡(White balancing)、色彩內插法(Interpolation)、色彩校正(Color calibration)、γ補償(Gamma correction)、RGB轉換為YCbCr(Color space conversion)、邊緣加強(Edge enhancement)、飽和度加強(Saturation enhancement)以及錯色壓制(False color suppression)等程序，則可獲得良好的影像。

再者，隨著數位相機、數位攝影機等數位光學裝置的普及，人們對於影像品質的要求也隨著日益提升。然而，數位光學裝置在於光學設計殘存的成像缺陷、鏡片加工的誤差、影像感測器的 非線性特性與雜訊等因素都將嚴重影響成像品質，特別是影像感測器的失焦容易導致模糊影像的產生。但，上述之影像後處理方式未能針對模糊影像的模糊程度進行估測，因此影像處理裝置在無法得知模糊影像之模糊程度的情況下，無法改善失焦之模糊影像的模糊情況。為了解決此一問題，影像處理技術領域中的研發人員因而發展出一種點擴散函數，以用於解決失焦問題。

一般來說，數位光學裝置可利用點擴散函數(Point Spreading Function，PSF)來表示一光路(Optical Path)或成像系統(Imaging System)，其中每一物距就會有一組對應的PSF用以表示該光路在該物距下的光學特性，且影像感測器所擷取到的影像則是目標影像與PSF之卷積(Convolution)結果。但現今PSF係依循高斯函數所建立之高斯PSF，而高斯PSF係用以呈現線性感測元件下的光學成像系統，也就是高斯PSF為一理想狀態下的點擴散函數，然，數位光學成像系統實際上為建立於非線性感測元件之影像擷取系統，因此高斯PSF所得到之成像無法貼切表達實際的目標影像。

因此，即便在聚焦(Focus)的情形下，對焦的景物也無法完美地成像於影像感測器，而對於其它物距下的物體，更會因為失焦使得成像品質嚴重劣化。未聚焦影像通常在彼此靠近之像素間僅具有略微差異，因而讓目標影像與PSF之卷積結果造成複數像素之間的影像強度均勻分配，所以影像感測器所擷取到的影像為模糊且強度值均勻的影像。由於現今針對失焦的模糊影像仍以高斯PSF為修飾模糊的主要函數，且因高斯PSF並未能建構使用非線性感測元件光學系統之成像模型，而高斯PSF僅能針對線性光學系統進行模糊修飾，以及現今影像修正之技術並未能確實估測出 模糊影像之模糊程度，所以現今影像修正之技術並未能有效地消除影像感測器因失焦所產生之模糊影像。

因此，本發明即針對上述問題而提出一種影像模糊程度之估測方法及影像品質之評估方法，其係利用非均勻影像相關聯之合成影像而與輸入影像作像素強度分布匹配處理，藉此，獲得模糊估測結果，並可進一步應用於影像品質評估。

本發明之一主要目的，在於提供一種影像模糊程度之估測方法及影像品質之評估方法，其提供較佳之模糊估測結果，以供後續應用。

本發明之一次要目的，在於提供一種影像模糊程度之估測方法及影像品質之評估方法，其利用像素強度分布匹配處理，以提高模糊估測精確度。

本發明係提供一種影像模糊程度之估測方法，其先傳送一輸入影像至一影像處理裝置，接續由影像處理裝置依據一非線性影像感測函數與該輸入影像之一輸入像素強度分布參數而產生一合成模糊影像，再由影像處理裝置依據該輸入影像與該合成模糊影像進行像素強度分布匹配處理，以產生一模糊程度參數，最後由該影像處理裝置依據該輸入影像與該合成影像之該模糊程度參數計算出該輸入影像之一模糊估測結果，因而得知該輸入影像之模糊程度。

本發明係提供一種影像品質之評估方法，其係先傳送複數輸入影像至一影像處理裝置，接續由該影像處理裝置依據該些輸入影像之複數輸入像素強度分布參數而獲得複數邊緣影像，再由該 影像處理裝置依據該些邊緣影像選取複數有效區域，然後由該影像處理裝置依據本發明所述之影像模糊程度之估測方法而針對該些有效區域進行模糊分布估測，以獲得該些有效區域之複數模糊估測結果，最後由該影像處理裝置依據該些模糊估測結果評估該些輸入影像之影像品質。

第一圖為本發明之一實施例之流程圖；第二A圖為習知高斯合成影像之像素強度分布的曲線圖；第二B圖為輸入影像之像素強度分布的曲線圖；第二C圖為本發明之合成模糊影像之像素強度分布的曲線圖；第三A圖為習知高斯合成影像之像素強度分布的曲線圖；第三B圖為輸入影像之像素強度分布的曲線圖；第三C圖為本發明之合成模糊影像之像素強度分布的曲線圖；第四圖為本發明之另一實施例之流程圖；第五A圖為本發明之另一實施例之邊緣偵測的示意圖；以及第五B圖為本發明之另一實施例之邊緣濾除的示意圖。

茲為使 貴審查委員對本發明之結構特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：請參閱第一圖，其為本發明之一實施例之流程圖。如圖所示，本發明影像模糊程度之估測方法係應用於一影像處理裝置，以針對一失焦影像進行估測，以進一步了解失焦影像的模糊分布程度。本發明之估測方法係包含： 步驟S10：傳輸一輸入影像；步驟S20：依據該輸入影像產生一合成影像；步驟S30：選擇至少一邊緣區域；步驟S40：過濾影像；步驟S50：像素強度分布匹配；以及步驟S60：獲得模糊程度估測結果。

於步驟S10中，利用一影像擷取裝置擷取一輸入影像並傳送至一影像處理裝置，本實施例之影像擷取裝置為一相機系統之一影像感測器，感測該輸入影像並傳送至該影像處理裝置，例如：中央處理單元(Central Processing Unit，CPU)、圖形處理單元(Graphic Processing Unit，GPU)，其中該輸入影像為一失焦模糊影像，其影像函數為g(x,y)，而一對焦影像之影像函數為f(x,y)，其亦即表示該對焦影像之像素強度分布，因此，依據該失焦模糊影像與對焦影像之間的關聯性，藉由影像函數之卷積(convolution)可求得方程式(1)，如下列方程式所示：

其中，ξ(x,y)為一影像雜訊之影像函數，一般利用影像感測器擷取影像時，皆會獲得該影像雜訊；h(x,y)為影像感測器之一點擴散函數(Point Spread Function，PSF)，基於空間不變性退化的特性，點擴散函數h(x,y)與影像雜訊之影像函數ξ(x,y)實際上的分布特性相當於對焦影像之影像函數f(x,y)的分佈特性，一般影像感測器之點擴散函數為非線性 函數。

於步驟S20中，影像處理裝置依據該輸入影像之像素強度分布而對應產生一合成模糊影像，其中本發明之影像處理裝置為藉由該輸入影像之一模糊像素分布參數的二相鄰像素分布參數而合成該合成模糊影像，例如：一失焦模糊之黑白輸入影像由不同灰階亮度之像素所構成，而失焦模糊部分為一影像之輪廓模糊，亦即較亮之像素與較暗之像素混合排列，未亮暗分明，本發明之影像處理裝置係針對失焦模糊部分二側的較亮像素分布與較暗像素分布進行疊合而合成對應於該黑白輸入影像，再者，本發明之合成模糊影像的影像函數g(x,y)′亦可被表示如上方程式(1)，但其中點擴散函數h(x,y)′則如下方程式(2)所示：

其中ρ為一光學函數，該光學函數係關聯於光圈大小與等效焦長，藉由影像強度值的非線性調整與方程式(2)提供卷積，以讓合成模糊影像趨近實際上的模糊影像，例如：該輸入影像。如第二A圖至第二C圖所示，其分別為高斯合成影像、輸入影像與本發明之合成模糊影像的曲線圖，模糊影像之像素強度分布為大多數像素之影像強度坐落於影像強度值25-225之間，其中第二A圖為習知合成影像之像素強度分布的曲線圖，其為一般影像還原技術所採用之高斯點擴散函數，以形成一高斯合成影像，因此第二A圖之高斯合成影像的像素強度分布會較為均勻分布，例如：以影像強度值125為中心點，而呈左右對稱；第二B圖為實際擷取之輸入影像的像素強度分布的曲線圖，由第二B圖可知，輸入影像 的像數強度分布並未對稱，由於高斯點擴散函數為理想化參數，使高斯合成影像的像數強度分布呈現均勻分布，因此影像處理裝置依據高斯點擴散函數所產生之高斯合成影像無法適切地趨近於輸入影像之像素強度分布曲線；第二C圖為影像處理裝置依據本實施例所述之合成模糊影像，由於本實施例之合成影像受到非線性影像感測函數與點擴散函數的影響亦呈現非對稱分布，所以第二C圖之像素強度分布曲線趨近於輸入影像之像素強度分布曲線，因此本發明之合成模糊影像較適合搭配輸入影像進行像素強度分布匹配處理。

為了凸顯像素強度分布之差異，請一併參閱第三A圖至第三C圖，其分別為高斯合成影像、輸入影像與本發明之合成模糊影像之邊緣的影像對亮度之曲線圖。如圖所示，第三A圖之高斯合成影像會在影像之邊緣部分呈現線性結果，亦即趨近一直線，但第三B圖之輸入影像相較於第三A圖可知，實際上的輸入影像於影像之邊緣部分並非呈現線性結果，因而呈現一曲線，而本發明之之合成模糊影像卻是如第三C圖所示，在影像之邊緣呈現一曲線，因此本發明之合成模糊影像可較趨近於輸入影像之邊緣部分的曲線。

此外，本發明為了讓合成模糊影像更逼近輸入影像之像素強度分布，更可將一比例因子加入上述之方程式(2)中，以讓本發明之合成模糊影像更加以逼近輸入影像，該比例因子之表示式如下列方程式(3)所示：

因此方程式(2)可改寫為如下方程式(5)所示，以清楚定義出點擴散函數之邊緣。

於步驟S30中，依據輸入影像與合成模糊影像選取出有效之邊緣，一般影像處理裝置以一邊緣偵測法偵測有效之邊緣，例如：Canny邊緣偵測法、高斯邊緣偵測法等之偵測法；於步驟S40中，基於像素強度分布在高頻、低頻訊號中表現出的變異性較不明顯，而中頻訊號較能呈現出細緻的變異性，因此針對中頻訊號加入雜訊變異度可更為突顯出像素強度分布之變異，因此方程式(1)將改寫成方程式(6)，其表示式如下所示：g(x,y)=f(x,y)* h(x,y)+n(0,σ ²)-(6)

其中n(0,σ ²)即為將方程式(1)之雜訊函數ξ(x,y)改寫為零均值(zero-mean)的高斯分布區線函數，而σ為影像之標準差，為了接續影像匹配，而讓合成模糊影像所呈現之變異性可與輸入影像相關，因此將標準差σ定義為σ=σ(f(x,y))，如此影像在亮部與暗部所呈現之雜訊強度會低於在亮、暗之間的雜訊強度。

於步驟S50中，依據步驟S40過濾完成之輸入影像與合成模糊影像進行像素強度分布匹配處理，因而獲得一影像模糊程度參數，其為平均值μ ₁、μ ₂與變異數σ ₁、σ ₂，其關係如下方程式(7)所示：σ=σ _max -k(μ _i -128)²,i=1,2-(7)

於步驟S60中，依據方程式(7)獲得模糊程度之估測結果，其表 示式如下列方程式(8)所示：

藉由方程式(8)可求得最低模糊程度與最大模糊程度，其分別為下列方程式(9)與方程式(10)。

此外，方程式(9)與方程式(10)更可在去除變數c₁、c₂之後，求得方程式(11)與方程式(12)，其分別為失焦模糊影像之模糊程度的初始值與最大估計值。

由以上所述可知，本發明之模糊分布之估測方法係針對失焦模糊影像可有效地提供客觀且逼近於實施需求的模糊估測，而非利用輸入影像之理想條件進行模糊分布之估測，因此本發明之估測方法方便使用者可確實得知影像之實際模糊程度，且針對後續應用可獲得更加精確的模糊估測結果，例如：影像品質評估、模糊影像還原等應用可提高效能。

請參閱第四圖，其為本發明之另一實施例之流程圖。如圖所示，本發明之影像品質之評估方法為採用前一實施例之模糊程度估測方法，而應用影像品質評估。該評估方法之步驟包含：步驟S100：傳輸複數輸入影像；步驟S110：邊緣偵測；步驟S120：選取有效區域； 步驟S130：進行模糊估測，以獲得模糊估測結果；以及步驟S140：依據輸入影像之模糊估測結果而獲得影像品質評估結果。

於步驟S100中，利用影像擷取裝置(如數位相機、網路監視器等)或儲存裝置將複數輸入影像傳送至影像處理裝置；於步驟S110中，其為基於仿人類視覺系統而針對該些輸入影像濾除非有效邊緣，亦即篩選出該些輸入影像之有效邊緣，例如：利用Canny邊緣偵測法偵測該些輸入影像之邊緣而過濾該些輸入影像，使該些輸入影像剩下的邊緣相對較少，或者採用Sobel邊緣偵測法針對仿人類視覺系統之RGB三原色中的G色系進行邊緣偵測，如第五A圖與第五B圖所示，本實施例之邊緣偵測係針對輸入影像之邊緣進行偵測，而獲得第五A圖之邊緣影像，再經由設置邊緣偵測之偵測條件而濾除難以運算之非有效邊緣，而獲得如第五B圖所示之邊緣偵測結果；於步驟S120，針對步驟S110之邊緣偵測結果選取出有效區域(Region Of Interest，ROI)，本實施例之選取方式係以標準差σ作為一選取門檻值，以保持被選取之輸入影像的標準差σ大於或等於該選取門檻值，而選取有效區域，以接續進行模糊估測。

於步驟S130所示，採用前一實施例之模糊估測方法而將步驟S120之選取結果進行模糊估測，而獲得該些輸入影像之模糊估測結果，由於模糊估測方式已於前一實施例說明，因此本實施例不再詳述；於步驟S140中，依據步驟S130之估測結果而進行影像品質評估，其中影像品質評估的判斷依據可為前一實施例之最低模糊程度與最大模糊程度，或者為模糊程度之初始估計值與最大估計值，因而獲得評估結果。

由以上所述可知，使用者無需在每一次獲得擷取影像後，隨即人工判斷是否影像品質過差，可藉由本發明之評估方法獲得影像品質之評估，在做決定是否重新擷取影像，或者針對影像品質進行排序等等。

綜上所述，本發明之影像模糊程度之估測方法，其為針對失焦模糊影像提供較為逼近之合成模糊影像，以進行像素強度分布匹配處理，而獲得較逼近輸入影像之模糊估測結果，以用於後續之應用。此外，本發明之影像品質之評估方法即為上述影像模糊程度之估測方法的應用，以用於評估影像品質。藉此提供較為方便之影像處理技術，讓使用者減少針對影像品質或模糊程度的人工判斷，並方便使用者快速得知失焦模糊影像的模糊程度以及影像品質，更可提供配套軟體可獲得較精確之模糊程度的估測結果。

雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (8)

1. 一種影像模糊程度之估測方法，其包含：傳送一輸入影像至一影像處理裝置；依據一比例因子過濾一合成影像，以讓該合成影像之一合成像素強度分布參數趨近於該輸入影像之一輸入像素強度分布參數；依據該輸入影像之一模糊像素分布的二相鄰像素強度分布參數而產生一合成模糊影像，該合成影像包含一非線性影像感測函數；以及比對該輸入影像與該合成模糊影像，以進行像素強度分布匹配處理而產生該輸入影像之一模糊程度參數。
2. 如申請專利範圍第1項所述之估測方法，模糊程度參數更包含：依據該模糊程度參數計算出該輸入影像之一初始模糊估測值；以及依據該模糊程度參數計算出該輸入影像之一最大模糊估測值。
3. 如申請專利範圍第1項所述之估測方法，其中該合成影像包含一影像卷積參數與一雜訊參數，該影像卷積參數為該輸入影像與一點擴散函數之卷積結果。
4. 如申請專利範圍第3項所述之估測方法，其中該點擴散函數係與一像素強度相依的比例因子相關聯。
5. 一種影像品質之評估方法，其包含：傳送一第一輸入影像與一第二輸入影像至一影像處理裝置；依據該第一輸入影像與該第二輸入影像之複數輸入像素強度分布 參數而獲得一第一邊緣影像與一第二邊緣影像；依據該第一邊緣影像與該第二邊緣影像選取複數有效區域；該影像處理裝置依據該些有效區域產生對應之一第一合成影像與一第二合成影像；該影像處理裝置依據該第一合成影像與該第二合成影像分別比對該第一輸入影像與該第二輸入影像之該些有效區域，以進行模糊分布估測，而獲得該第一輸入影像與該第二輸入影像之一第一模糊程度參數與一第二模糊成度參數；以及比對該第一模糊程度參數與該第二模糊成度參數，以評估該第一輸入影像與該第二輸入影像之影像品質。
6. 如申請專利範圍第5項所述之評估方法，其中該些有效區域之一亮部標準差與一暗部標準差皆小於一分布門檻值。
7. 如申請專利範圍第5項所述之評估方法，其中該些有效區域之一影像標準差差異大於一差異門檻值。
8. 如申請專利範圍第5項所述之評估方法，其中該些有效區域之一影像標準差大於等於一影像標準門檻值。