TWI539406B - 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置 - Google Patents

影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置 Download PDF

Info

Publication number
TWI539406B
TWI539406B TW102125102A TW102125102A TWI539406B TW I539406 B TWI539406 B TW I539406B TW 102125102 A TW102125102 A TW 102125102A TW 102125102 A TW102125102 A TW 102125102A TW I539406 B TWI539406 B TW I539406B
Authority
TW
Taiwan
Prior art keywords
value
exponential function
interpolation
operation unit
image
Prior art date
Application number
TW102125102A
Other languages
English (en)
Other versions
TW201503055A (zh
Inventor
陳慶瀚
郭家銘
Original Assignee
國立中央大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學 filed Critical 國立中央大學
Priority to TW102125102A priority Critical patent/TWI539406B/zh
Priority to US14/060,687 priority patent/US9378538B2/en
Priority to CN201410298894.7A priority patent/CN104284126B/zh
Publication of TW201503055A publication Critical patent/TW201503055A/zh
Application granted granted Critical
Publication of TWI539406B publication Critical patent/TWI539406B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/12—Indexing scheme for image data processing or generation, in general involving antialiasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Complex Calculations (AREA)

Description

影像插補方法以及應用影像插補方法之影像插補裝置與影像 裝置
本發明係一種影像處理方法，尤其係關於一種用於影像插補的方法。
影像插補方法是一個長期以來普遍使用在影像處理的技術，最常見的應用是位了讓影像產生更好的放大或縮小的視覺效果，以便進行影像的顯示和列印。近年來，隨著消費性多媒體產品的盛行，相關取像或顯像的電子裝置成為重要的產業項目，例如，平面顯示器、數位相機等，而影像插補方法就是其中核心控制的重要功能之一。
以平面顯示器為例，由於尺寸和解析度不斷的提高，加上熱門的全螢幕顯示需求，導致進行影像插補是必要的處 理程序，原因在於，若是輸入至平面顯示器的影像解析度過低，而平面顯示器的尺寸過大，則在沒有影像插補的動作下，全螢幕所顯示出來的畫面將會是模糊不清，不利觀看。此外，其他影像輸入裝置的運作，如掃瞄器的放大解析度或是數位相機的數位變焦功能，都需藉助影像插補的技術。
請參閱圖1，其為利用多個習知影像插補方法進行影像插補動作後的結果示意圖；其中，圖1A係為原始影像，圖1B為利用一鄰近內插法(nearest neighbor)對由高解析度之原始影像取樣成低解析度的目標影像，進行影像插補後的結果，圖1C為利用一雙線性內插法(bi-linear)對由高解析度之原始影像取樣成低解析度的目標影像，進行影像插補後的結果，圖1D為利用一雙立方內插法(bi-cubic)對由高解析度之原始影像取樣成低解析度的目標影像，進行影像插補後的結果。
觀察圖1可知，習知影像插補方法具有下列缺點：(1)插補後的影像細節會明顯出現鋸齒狀；(2)插補後的影像細節，特別是圖像邊緣與線條特徵呈現糊化的效果，令觀看者有離焦(de-focus)的視覺感受。
有鑑於此，有一種基於機率神經網路的影像插補技術(PNN)被提出來改善上述的缺陷。請參閱圖2，其為習知利用基於機率神經網路的影像插補技術進行影像插補動作後的結果示意圖；比較圖1與圖2可知，採用基於機率神經網路的影像插補技術進行影像插補的結果明顯得到了改善。然而，由於機率神經網路的核心是高斯函數，而因為高斯函數具有等方向以及低通濾波的特性，使得其面對影像中灰階值劇烈變化的邊緣區域，不會有 顯著的銳化效果，因此，圖2所示的結果中，圖像邊緣與線條特徵仍令觀看者有些微離焦的視覺感受。
基此，另有一種基於非等向性機率神經網路的影像插補技術(APNN)被提出。請參閱圖3，其為習知利用基於非等向性機率神經網路的影像插補技術進行影像插補動作後的結果示意圖；比較圖2與圖3可知，採用基於非等向性機率神經網路的影像插補技術進行影像插補的結果得到了更進一步的銳化效果。
雖然該技術導入了藉由計算邊緣方向角度使高斯函數具有非等向性的特質，進而使所欲插補之插補點的插補數值更能夠逼近原始影像之邊緣特性的概念；然而，於該技術中，與插補點相鄰的複數個參考點皆是以同一邊緣方向角度(如所欲插補之插補點的邊緣方向角度)，來取得各自的非等向性高斯函數數值，再進而相互內插而運算出插補點的插補數值，如此使得插補點的插補數值還是無法有效貼近原始影像的邊緣特性，因此圖3所示的結果仍有些微模糊。
是以，習知的影像插補技術仍具有改善的空間。
本發明之第一目的在提供一種影像插補方法，尤其係關於一種利用機率神經網路模型的影像插補方法。
本發明之第二目的在提供一種影像插補裝置，尤其係關於一種利用上述影像插補方法的影像插補裝置。
本發明之第三目的在提供一種影像裝置，尤其係關 於一種具有影像插補功能的影像裝置。
於一較佳實施例中，本發明提供一種影像插補方法，其係利用一機率神經網路模型對一影像之一插補點遂行一適應性插補動作，包括：(1)選取鄰近於該插補點之複數參考點；(2)利用該複數參考點中之每一該參考點的一邊緣方向角度、一橫向平滑參數、一縱向平滑參數以及每一該參考點與該插補點之間之一距離，獲得每一該參考點的一非等向性高斯函數數值；以及(3)利用一統計方法對該些非等向性高斯函數數值進行整合運算，以獲得該插補點之一插補數值。
如於一較佳實施例中，該統計方法係為一重心法、一最大值法、一中值法或一四分位法。
於一較佳實施例中，於該步驟(2)中，包括：(2-1)利用一梯度運算子獲得每一該參考點之一橫向梯度值以及一縱向梯度值；以及(2-2)利用每一該參考點之該橫向梯度值以及該縱向梯度值獲得每一該參考點之該邊緣方向角度。
於一較佳實施例中，於該步驟(2-1)中之該梯度運算子係為一索貝爾(sobel operator)運算子、一普里威特(Prewitt)運算子、一中心差分(CentralDifference)運算子、一中間差分(Intermediate Difference)運算子、一斯給爾(Scharr)運算子或一羅伯茲(Roberts)算子。
於一較佳實施例中，於該步驟(2-2)，包括： 將將每一該參考點之該橫向梯度值以及該縱向梯度值輸入至一拉奧(Rao)演算法中進行運算，以獲得每一該參考點之該邊緣方向角度。
於一較佳實施例中，於該步驟(2)中，包括：將每一該參考點的複數個特徵值輸入至一單神經元神經網路中，以獲得每一該參考點的該橫向平滑參數以及該縱向平滑參數；其中，該單神經元神經網路之一轉移函數係為一線性函數、一S形函數或一雙曲正切函數，且該轉移函數之一自變數為Σ(每一該特徵值)．(每一該特徵值所相對應之一權重)+(一偏壓值)
於一較佳實施例中，於該步驟(2)中，更包括：利用一最佳化演算法求得該轉移函數中之至少一參數、每一該特徵值所相對應之該權重以及該偏壓值。
於一較佳實施例中，該最佳化演算法係為一粒子群最佳化(PSO)演算法或一遺傳(GA)演算法。
於一較佳實施例中，於該步驟(2)中，更包括：採用一峰值信號雜訊比(PSNR)或一邊緣誤差百分比(PEE,Percentage Edge Error)作為該最佳化演算法之一適應函數。
於一較佳實施例中，每一該參考點的該複數個特徵值係包括一橫向梯度值以及一縱向梯度值。
於一較佳實施例中，於該步驟(3)中，該插補點之該插補數值係為
於一較佳實施例中，每一該參考點的該訊號值係為每一該參考點的一灰度值。
於一較佳實施例中，本發明亦提供一種影像插補裝置，其係利用一機率神經網路模型對一影像之一插補點遂行一適應性插補動作，包括：一資料儲存及控制單元，用以獲得鄰近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數；至少一高斯函數運算單元，連接於該資料儲存及控制單元，並利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之一距離，而獲得每一該參考點的一非等向性高斯函數數值；以及一統計運算單元，連接於該高斯函數運算單元，並利用一統計方法對該些非等向性高斯函數數值進行整合運算，以產生輸出該插補點之一插補數值。
於一較佳實施例中，該至少一高斯函數運算單元係包括分別對應於該複數參考點的複數高斯函數運算單元，且每一該高斯函數運算單元係利用相對應之該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及相對應之該參考點與該插補點之間之該距離，而獲得相對應之該參考點的該非等向性高斯函數數值；抑或是該複數參考點係被分為多個參考點群組，且該至少一高斯函數運算單元係包括分別對應於該些參考點群組的多個高斯函數運算單元，其中每一該高斯函數運算單元係利用相對應之該參考點群組中之每一該參考點的該邊緣方向角度、該 橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而獲得相對應之該參考點群組中之每一該參考點的該非等向性高斯函數數值；抑或是該至少一高斯函數運算單元係包括單一高斯函數運算單元，且該單一高斯函數運算單元係依序利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而依序獲得每一該參考點的該非等向性高斯函數數值。
於一較佳實施例中，該至少一高斯函數運算單元中之每一該高斯函數運算單元係包括一指數運算單元以及一指數函數運算單元，且該指數函數運算單元係連接於該指數運算單元以及該統計運算單元之間；其中，該指數運算單元用以產生輸出一指數數值供該指數函數運算單元使用。
於一較佳實施例中，該指數運算單元係包括一距離運算單元，且該距離運算單元連接於該資料儲存及控制單元，並用以接收該插補點之一位置座標，而產生輸出每一該參考點與該插補點之間之一橫向距離值以及一縱向距離值。
於一較佳實施例中，該指數運算單元係包括一旋轉單元，且該旋轉單元係用以接收一橫向距離值、一縱向距離值以及一邊緣方向角度，並依據該方向角度進行一座標旋轉運算，俾使該橫向距離值以及該縱向距離值分別轉換為一另一橫向距離值以及一另一縱向距離值。
於一較佳實施例中，該旋轉單元係包括一坐標旋轉數位計算器(CORDIC)，用以執行該座標旋轉運算；抑或是該旋轉單元內係設置有一座標旋轉表，且該旋轉單元係依據該座標旋 轉表而進行該座標旋轉運算；抑或是該旋轉單元係依據一泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元內係設置有該座標旋轉表，且該旋轉單元係依據該座標旋轉表以及該泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元係包括該坐標旋轉數位計算器以及該座標旋轉表，該旋轉單元係依據該坐標旋轉數位計算器以及該座標旋轉表而進行該座標旋轉運算。
於一較佳實施例中，該指數函數運算單元係包括一整數指數函數運算單元、一小數指數函數運算單元以及相連於該整數指數函數運算單元以及該小數指數函數運算單元之一乘法運算單元，且該指數數值係包括一整數指數數值以及一小數指數數值；其中，該整數指數函數運算單元係接收該整數指數數值，並產生輸出一整數指數函數值，該小數指數函數運算單元係接收該小數指數數值，並產生輸出一小數指數函數值，而該乘法運算單元係接收該整數指數函數值以及該小數指數函數值，並產生輸出該整數指數函數值以及該小數指數函數值之一乘積值。
於一較佳實施例中，該整數指數函數運算單元內係設置有一整數指數函數表，且該整數指數函數運算單元係於接收該整數指數數值後，依據該整數指數函數表而產生輸出該整數指數函數值。
於一較佳實施例中，該小數指數函數運算單元係包括一坐標旋轉數位計算器(CORDIC)，用以於該小數指數函數運算單元接收該小數指數數值後執行一指數運算；抑或是該小數指數函數運算單元內係設置有一小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表 而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係係於接收該小數指數數值後，依據一泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係設置有該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表以及該泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係包括該坐標旋轉數位計算器以及該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該坐標旋轉數位計算器所執行之該指數計算以及該小數指數函數表而產生輸出該整數指數函數值。
於一較佳實施例中，影像插補裝置係藉由一現場可程式規劃邏輯閘陣列(FPGA)實現。
於一較佳實施例中，鄰近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數係由該資料儲存及控制單元所算得，抑或是近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數係由與該資料儲存及控制單元相連之一前置運算單元所算得。
於一較佳實施例中，該統計方法係為一重心法、一最大值法、一中值法或一四分位法。
於一較佳實施例中，本發明亦提供一種具有影像插補功能之影像裝置，包括：一影像接收模組，用以接收一目標影像；一影像插補模組，連接於該影像接收模組，並利用一機率神經網路模型對該目標影像之至少一插補點遂行一適應性插補 動作而產生一插補影像，包括：一資料儲存及控制單元，用以獲得鄰近於該至少一插補點之複數參考點的邊緣方向度值、橫向平滑參數以及縱向平滑參數；至少一高斯函數運算單元，連接於該資料儲存及控制單元，並利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之一距離，而獲得每一該參考點的一非等向性高斯函數數值；以及一統計運算單元，連接於該高斯函數運算單元，並利用一統計方法對該些非等項性高斯函數數值進行整合運算，以產生輸出該插補點之一插補數值；以及一影像輸出模組，連接於該影像插補模組，用以輸出該插補影像。
於一較佳實施例中，影像裝置係為一數位機上盒、一多媒體匣道器或一多媒體傳輸裝置，抑或是該具有影像插補功能之影像裝置係內建於一多媒體播放裝置或一影像擷取裝置。
於一較佳實施例中，該至少一高斯函數運算單元係包括分別對應於該複數參考點的複數高斯函數運算單元，且每一該高斯函數運算單元係利用相對應之該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及相對應之該參考點與該插補點之間之該距離，而獲得相對應之該參考點的該非等向性高斯函數數值；抑或是該複數參考點係被分為多個參考點群組， 且該至少一高斯函數運算單元係包括分別對應於該些參考點群組的多個高斯函數運算單元，其中每一該高斯函數運算單元係利用相對應之該參考點群組中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而獲得相對應之該參考點群組中之每一該參考點的該非等向性高斯函數數值；抑或是該至少一高斯函數運算單元係包括單一高斯函數運算單元，且該單一高斯函數運算單元係依序利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而依序獲得每一該參考點的該非等向性高斯函數數值。
於一較佳實施例中，該至少一高斯函數運算單元中之每一該高斯函數運算單元係包括一指數運算單元以及一指數函數運算單元，且該指數函數運算單元係連接於該指數運算單元以及該統計運算單元之間；其中，該指數運算單元用以產生輸出一指數數值供該指數函數運算單元使用。
於一較佳實施例中，該指數運算單元係包括一距離運算單元，且該距離運算單元連接於該資料儲存及控制單元，並用以接收該至少一插補點之一位置座標，而產生輸出每一該參考點與該至少一插補點之間之一橫向距離值以及一縱向距離值。
於一較佳實施例中，該指數運算單元係包括一旋轉單元，且該旋轉單元係用以接收一橫向距離值、一縱向距離值以及一邊緣方向角度，並依據該方向角度進行一座標旋轉運算，俾使該橫向距離值以及該縱向距離值分別轉換為一另一橫向距離值以及一另一縱向距離值。
於一較佳實施例中，該旋轉單元係包括一坐標旋轉數位計算器(CORDIC)，用以執行該座標旋轉運算；抑或是該旋轉單元內係設置有一座標旋轉表，且該旋轉單元係依據該座標旋轉表而進行該座標旋轉運算；抑或是該旋轉單元係依據一泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元內係設置有該座標旋轉表，且該旋轉單元係依據該座標旋轉表以及該泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元係包括該坐標旋轉數位計算器以及該座標旋轉表，該旋轉單元係依據該坐標旋轉數位計算器以及該座標旋轉表而進行該座標旋轉運算。
於一較佳實施例中，該指數函數運算單元係包括一整數指數函數運算單元、一小數指數函數運算單元以及相連於該整數指數函數運算單元以及該小數指數函數運算單元之一乘法運算單元，且該指數數值係包括一整數指數數值以及一小數指數數值；其中，該整數指數函數運算單元係接收該整數指數數值，並產生輸出一整數指數函數值，該小數指數函數運算單元係接收該小數指數數值，並產生輸出一小數指數函數值，而該乘法運算單元係接收該整數指數函數值以及該小數指數函數值，並產生輸出該整數指數函數值以及該小數指數函數值之一乘積值。
於一較佳實施例中，該整數指數函數運算單元內係設置有一整數指數函數表，且該整數指數函數運算單元係於接收該整數指數數值後，依據該整數指數函數表而產生輸出該整數指數函數值。
於一較佳實施例中，該小數指數函數運算單元係包括一坐標旋轉數位計算器(CORDIC)，用以於該小數指數函數運 算單元接收該小數指數數值後執行一指數運算；抑或是該小數指數函數運算單元內係設置有一小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係係於接收該小數指數數值後，依據一泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係設置有該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表以及該泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係包括該坐標旋轉數位計算器以及該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該坐標旋轉數位計算器所執行之該指數計算以及該小數指數函數表而產生輸出該整數指數函數值。
1‧‧‧機率神經網路模型
2‧‧‧目標影像
3‧‧‧單神經元神經網路
4‧‧‧影像插補裝置
5‧‧‧影像裝置
11‧‧‧歐幾里德層
12‧‧‧高斯層
13‧‧‧權重層
14‧‧‧加法層
15‧‧‧除法層
41‧‧‧資料儲存及控制單元
42‧‧‧高斯函數運算單元
43‧‧‧統計運算單元
51‧‧‧影像接收模組
52‧‧‧影像插補模組
53‧‧‧影像輸出模組
421‧‧‧指數運算單元
422‧‧‧指數函數運算單元
4211‧‧‧距離運算單元
4212‧‧‧旋轉單元
4213‧‧‧指數乘除運算單元
4221‧‧‧整數指數函數運算單元
4222‧‧‧小數指數函數運算單元
4223‧‧‧乘法運算單元
42121‧‧‧坐標旋轉數位計算器
42211‧‧‧整數指數函數表
42221‧‧‧坐標旋轉數位計算器
A‧‧‧插補點
P1‧‧‧步驟
P2‧‧‧步驟
P3‧‧‧步驟
R‧‧‧參考點
U‧‧‧插補點的位置座標
G x ‧‧‧橫向梯度值
G y ‧‧‧縱向梯度值
a‧‧‧運算參數
b‧‧‧運算參數
ω 1‧‧‧橫向梯度值的權值
ω 2‧‧‧縱向梯度值的權值
x i ‧‧‧橫向距離值
y i ‧‧‧軸向距離值
u i ‧‧‧另一橫向距離值
v i ‧‧‧另一軸向距離值
σ x ‧‧‧橫向平滑參數
‧‧‧橫向平滑參數
σ y ‧‧‧縱向平滑參數
‧‧‧縱向平滑參數
θ i ‧‧‧邊緣方向角度
bias‧‧‧偏壓值
f(net i )‧‧‧轉移函數
net i ‧‧‧轉移函數的自變數
index_int i ‧‧‧整數指數數值
index_frac i ‧‧‧小數指數數值
exp(index_frac i )‧‧‧小數指數函數值
exp(index i )‧‧‧指數函數值
X 1~X 16‧‧‧參考點的位置座標
d 1~d 16‧‧‧參考點與插補點之間的距離
f(d 1,σ 1)~f(d 16,σ 16)‧‧‧參考點的非等向性高斯函數數
g(X 1)~g(X 16)‧‧‧參考點的訊號值
圖1：係為利用多個習知影像插補方法進行影像插補動作後的結果示意圖。
圖2：係為習知利用基於機率神經網路的影像插補技術進行影像插補動作後的結果示意圖。
圖3：係為習知利用基於非等向性機率神經網路的影像插補技術進行影像插補動作後的結果示意圖。
圖4：係為本發明影像插補方法之一較佳流程方塊示意圖。
圖5：係為圖4所述影像插補方法所利用之機率神經網路模型的架構示意圖。
圖6：係為圖4所述目標影像上之插補點以及參考點的位置關係示意圖。
圖7：係為一較佳單神經元神經網路模型的架構示意圖。
圖8：係為一較佳應用圖4所示影像插補方法之影像插補裝置的概念方塊示意圖。
圖9：係為圖8所示高斯函數運算單元於一較佳實施態樣的概念方塊示意圖。
圖10：係為利用本案影像插補方法以及影像插補裝置進行邊緣適應性插補動作後的結果示意圖。
圖11：係為本發明具有影像插補功能之影像裝置於一較佳實施例中之概念方塊示意圖。
本案影像插補方法係利用一機率神經網路模型對一影像之一插補點A遂行一適應性插補動作，其中，機率神經網路模型1係為一前向式的神經網路架構，因其不需經歷迭代的學習過程，故運作上比其他類型的神經網路更為快速。
請參閱圖4~圖6，圖4為本發明影像插補方法之一較佳流程方塊示意圖，圖5為圖4所述影像插補方法所利用之機率神經網路模型的架構示意圖，圖6為圖4所述目標影像上之插 補點A以及參考點R的位置關係示意圖。
於本較佳實施例中，機率神經網路模型1係為一五層神經元結構的網路模型，依序包括歐幾里德層(Euclidian layer)11、高斯層(Gaussian layer)12、權重層(weighting layer)13、加法層(summation layer)14以及除法層(division layer)15，且影像插補方法的流程如下：(P1)選取目標影像2中與所欲插補之插補點A相鄰近的複數個參考點R；於本較佳實施例中，參考點R的數量為16個，但並不以此為限，熟知本技藝人士可視實際應用需求而選取適當的數量。
(P2)利用每一參考點R的邊緣方向角度θ 1~θ 16、橫向平滑參數、縱向平滑參數以及每一參考點R與所欲插補之插補點A之間的距離d 1~d 16，獲得每一參考點R的一非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)，本步驟將於稍後進一步詳細說明；以及(P3)利用一統計方法對步驟P2中所獲得之該些非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)進行整合運算，以獲得插補點A的插補數值p(U)；於本較佳實施例中，所採用的統計方法係為一重心法，但並不以此為限，熟知本技藝人士可依據實際應用需求而進行任何均等的變更設計，舉例來說，可變更設計成，採用的統計方法為一最大值法、一中值法或一四分位法。
詳言之，機率神經網路模型1中的歐幾里德層11是用來求得步驟P2中所述之每一參考點R與插補點A之間的距離d 1~d 16，並予以輸入至高斯層12；其中， d i =∥U-X i ∥，i=1~16；U代表插補點A的位置座標，而X 1~X 16則分別代表16個參考點R的位置座標。此外，本案中之每一距離d i 係進一步被分為一橫向距離值x i 以及一縱向距離值y i 。
再者，機率神經網路模型1中的高斯層12係用以藉由非等向性的高斯函數f(d,σ)求得步驟P2中所述之每一參考點R的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)；其中， i=1~16；分別代表16個參考點R的橫向平滑參數，分別代表16個參考點R的縱向平滑參數，θ 1~θ 16分別代表16個參考點R的邊緣方向角度，u 1~u 16分別代表16個參考點R之經坐標轉換後的橫向距離值(另一橫向距離值)，v 1~v 16分別代表16個參考點R之經坐標轉換後的縱向距離值(另一縱向距離值)。
藉由上述可知，本發明影像插補方法必需要利用到每一參考點R各自的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)，而於計算每一參考點R的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)之前，必須先求得每一參考點R的橫向距離值x 1~x 16(已於歐幾里德層11獲得)、縱向距離值y 1~y 16(已於歐幾里德 層11獲得)、橫向平滑參數、縱向平滑參數以及邊緣方向角度θ 1~θ 16。
首先說明本案影像插補方法之步驟P2中求得每一參考點R之邊緣方向角度θ 1~θ 16的方式。於本較佳實施例中，每一參考點R的邊緣方向角度θ 1~θ 16係利用一拉奧(Rao)演算法而求得，且拉奧演算法中之一滑動區塊的大小定義為ω*ω，是以，邊緣方向角度θ 1~θ 16可被表示為 其中，分別代表16個參考點R的橫向梯度值，分別代表16個參考點R的縱向梯度值。
又，上述說明係為如何將拉奧演算法應用於本發明的一種教示，而對於拉奧演算法本身的原理則為熟悉本技藝人士所知悉，在此就不再予以贅述；此外，拉奧演算法係僅為求得邊緣方向角度的一種實施例，熟知本技藝人士亦可依據實際應用需求而將每一參考點R的橫向梯度值以及縱向梯度值代入其他種類的演算法來求得每一參考點R的邊緣方向角度θ 1~θ 16，或是採用不需橫向梯度值以及不需縱向梯度值的任一演算法求得每一參考點R的邊緣方向角度θ 1~θ 16。
再者，於本案步驟P2中，係利用一梯度運算子來獲得每一參考點R的橫向梯度值以及縱向梯度值，而於本較佳實施例中，是採用索貝爾(sobel operator)運算子作為用以求得該些橫向梯度值以及該些縱向梯度值的梯度 運算子，是以，每一參考點R的橫向梯度值以及每一參考點R的縱向梯度值可被表示為 i=1~16；其中，F(m i ,n i )代表像素點(m i ,n i )之臨域的像素值，且*代表二維空間的迴旋積，而Sobel x 以及Sobel y 則分別代表橫向索貝爾運算子以及縱向索貝爾運算子。
又，上述說明係為如何將索貝爾運算子應用於本發明的一種教示，而對於索貝爾運算子本身的原理則為熟悉本技藝人士所知悉，在此即不再予以贅述；此外，索貝爾運算子係僅為梯度運算子的一種實施例，熟知本技藝人士亦可依據實際應用需求而進行任何均等的變更設計；舉例來說，可變更設計為，採用普里威特(Prewitt)運算子、中心差分(CentralDifference)運算子、中間差分(Intermediate Difference)運算子、斯給爾(Scharr)運算子或羅伯茲(Roberts)算子等其他運梯度運算子來求得每一參考點R的橫向梯度值以及縱向梯度值。
接下來說明本案影像插補方法之步驟P2中求得每一參考點R之橫向平滑參數與縱向平滑參數的方式。於本較佳實施例中，係透過將每一參考點R的複數個特徵值輸入至一單神經元神經網路中，以獲得每一參考點R的橫向平滑參數以及縱向平滑參數。
請參閱圖7，其為一較佳單神經元神經網路模型的架構示意圖。於本較佳實施例中，參考點R的複數個特徵值係為參考點R的橫向梯度值G x 以及縱向梯度值G y ，進一步而言，單神經元神經網路3的輸入數值係為橫向梯度值G x 以及縱向梯度值G y ，單神經元神經網路3的輸出數值係為橫向平滑參數σ x 以及縱向平滑參數σ y ，而單神經元神經網路3中的轉移函數係為S形函數的一種，其可被表示為 i=1~16；其中，net i 代表轉移函數f(net i )的自變數，ω 1以及ω 2分別代表橫向梯度值的權值以及縱向梯度值的權值，a以及b代表運算參數，而bias係代表一偏壓值。
又，上述說明係為如何將S形函數作為轉移函數而應用於本發明的一種教示，而S形函數本身的原理則為熟悉本技藝人士所知悉，在此就不再予以贅述；此外，S形函數僅為轉移函數的一種實施例，熟知本技藝人士亦可依據實際應用需求而採用其他函數類型的轉移函數，如線性函數或雙曲正切函數等。
再者，為了讓單神經元神經網路3獲得較適當的橫向平滑參數σ x 以及縱向平滑參數σ y ，於本案步驟P2中更包括利用一最佳化演算法來訓練轉移函數中之偏壓值bias、權值ω 1、權值ω 2、參數a以及參數b；於本較佳實施例中，所採用的最佳化演算法係為一粒子群最佳化(PSO)演算法，且該粒子群最佳化演算法係利用峰值信號雜訊比(PSNR)作為適應函數，以判別粒子群最佳化演算法中之每一世代所產生之偏壓值bias、權值ω 1、權值ω 2、參數a以及參數b的品質。
詳言之，在粒子群最佳化演算法的訓練過程中，首先可將一張高解析度的初始影像取樣成低解析度的樣本影像，並利用粒子群最佳化演算法中之每一世代所產生之偏壓值bias、權值ω 1、權值ω 2、參數a以及參數b對低解析度的樣本影像進行影像插補，再將插補後的影像與初始影像進行比較，也就是說，利用峰值信號雜訊比作為插補後之影像與初始影像的比較依據，而峰值信號雜訊比可被表示為 其中，K與L係代表初始影像的維度，E kl 代表初始影像之像素點(k,l)的灰度值，F kl 代表插補後之影像之像素點(k,l)的灰度值；又，當峰值信號雜訊比越高，則代表所利用之偏壓值bias、權值ω 1、權值ω 2、參數a以及參數b越優異；是以，本案中之粒子群最佳化演算法即在求得於峰值信號雜訊比最高時的偏壓值bias、權值ω 1、權 值ω 2、參數a以及參數b。
又，上述說明係為如何將粒子群最佳化演算法及峰值信號雜訊比應用於本發明的一種教示，而粒子群最佳化演算法本身的原理及峰值信號雜訊比本身的原理則為熟悉本技藝人士所知悉，在此就不再予以贅述；此外，粒子群最佳化演算法僅為求得較佳之轉移函數f(net)之偏壓值bias、權值ω 1、權值ω 2、參數a以及參數b的一種方法，熟知本技藝人士亦可依據實際應用需求而採用其他最佳化演算法來獲得，如遺傳(GA)演算法；其次，峰值信號雜訊比亦僅為最佳化演算法之適應函數的一種實施例，熟知本技藝人士亦可依據實際應用需求而採用其他的適應函數，如邊緣誤差百分比(PEE,Percentage Edge Error)等，作為插補後之影像與初始影像的比較依據。
由於至此已獲得每一參考點R的橫向距離值x 1~x 16、縱向距離值y 1~y 16、邊緣方向角度θ 1~θ 16、橫向平滑參數以及縱向平滑參數，故高斯層12中可獲得每一參考點R的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)，並予以輸出至權重層13；其中，權重層13、加法層14以及除法層15是用來進行步驟P3中的重心法，以進而由除法層15輸出步驟P3中所述之插補點A的插補數值p(U)，而利用重心法所獲得之插補點A的插補數值p(U)可被表示為 其中，g(X 1)~g(X 16)則分別代表16個參考點R的訊號值；於本較佳實施例中，每一參考點R的訊號值係採用每一參考點R的灰度值，但並不以此為限，熟知本技藝人是皆可依據實際應用需求而進行任何均等的變更設計。
請參閱圖8，其為一較佳應用圖4所示影像插補方法之影像插補裝置的概念方塊示意圖。影像插補裝置4包括資料儲存及控制單元41、分別對應於16個參考點R的16個高斯函數運算單元42以及統計運算單元43；於本較佳實施例中，影像插補裝置4係藉由一現場可程式規劃邏輯閘陣列(FPGA)實現，但並不以此為限，熟悉本技藝人士皆可依據本案之教示而採用其他類型的可程式邏輯裝置或積體電路來實現。
再者，資料儲存及控制單元41係用以獲得每一參考點R的邊緣方向角度θ 1~θ 16、橫向平滑參數、縱向平滑參數以及訊號值g(X 1)~g(X 16)，且該些邊緣方向角度θ 1~θ 16、該些橫向平滑參數以及該些縱向平滑參數係可透過資料儲存及控制單元41本身經由圖4所述步驟2(對應於前文中圖4之步驟2的說明)而算得，抑或是可透過與資料儲存及控制單元41相連之一前置運算單元(圖中未標示)經由圖4所述步驟2(對應於前文中圖4之步驟2的說明)而算得。
又，每一高斯函數運算單元42皆係連接於資料儲存及控制單元41，並用以於接收相對應之參考點R的邊緣方向角度θ 1~θ 16、橫向平滑參數、縱向平滑參數後，計算相對應之參考點R的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)；其中，該些非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)係可經由圖4所 述步驟2(對應於前文中圖4之步驟2的說明)而算得。
補充說明的是，由於本較佳實施例中高斯函數運算單元42的數量相同於參考點R的數量，故每一高斯函數運算單元42係藉由平行處理的方式同時計算相對應之參考點R的高斯函數數值，惟其僅為一實施例，熟析本技藝人士可依據實際應用需求而進行均等的變更設計。
舉例來說，可變更設計為，該16個參考點R被分類成4個參考點群組(即每一個參考點群組包括4個參考點R)，且影像插補裝置4僅具有對應於該4個參考點群組的4個高斯函數運算單元42，故每一高斯函數運算單元42則用以接收相對應之參考點群組中之每一參考點R的邊緣方向角度、橫向平滑參數以及縱向平滑參數，並進而藉由串列處理的方式依序計算相對應之參考點群組中之每一參考點R的非等向性高斯函數數值，也就是說，每一高斯函數運算單元42會計算得到並輸出4個參考點R的非等向性高斯函數數值，而該4個高斯函數運算單元42則是藉由平行處理的方式同時運作。
再舉例來說，可變更設計為影像插補裝置4僅具有單一高斯函數運算單元42，故該單一高斯函數運算單元42則用以接收所有參考點R的邊緣方向角度、橫向平滑參數以及縱向平滑參數，並進而藉由串列處理的方式依序計算每一參考點R的非等向性高斯函數數值，也就是說，該單一高斯函數運算單元42會計算得到並輸出16個參考點R的非等向性高斯函數數值。
再者，統計運算單元43係連接於該些高斯函數運算單元42以及資料儲存及控制單元41，並用以於接收來自該些高斯 函數運算單元4之該些參考點R的非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)以及來自資料儲存及控制單元41之該些訊號值g(X 1)~g(X 16)後，利用一統計方法對該些非等向性高斯函數數值f(d 1,σ 1)~f(d 16,σ 16)進行整合運算，以產生輸出所欲插補之插補點A的插補數值p(U)；換言之，插補數值p(U)係可經由圖4所述重心法(對應於前文中圖4之步驟3的說明)而算得。
請參閱圖9，其為圖8所示高斯函數運算單元於一較佳實施態樣的概念方塊示意圖。任一高斯函數運算單元42係包括一指數運算單元421以及一指數函數運算單元422，且指數函數運算單元422連接於指數運算單元421以及統計運算單元43之間，而指數運算單元421用以產生輸出一指數數值index供指數函數運算單元422使用；其中，指數數值index係為高斯函數的指數，亦即
於本較佳實施態樣中，指數運算單元421係包括距離運算單元4211、旋轉單元4212以及指數乘除運算單元4213，且旋轉單元4212連接於距離運算單元4211以及指數乘除運算單元4213之間；其中，距離運算單元4211連接於資料儲存及控制單元41，並用以接收插補點A之位置座標U，以經由圖4所述步驟2(對應於前文中圖4之步驟2對歐幾里德層11的說明)，而產生輸出相對應之參考點R與插補點A之間之橫向距離值x i 以及軸向距離值y i 。
再者，旋轉單元4212係用以接收來自距離運算單元4211的橫向距離值x i 與軸向距離值y i 以及接收來自資料儲存及控制單元41的邊緣方向角度θ i ，並依據邊緣方向角度θ i 而對橫向距離值x i 以及軸向距離值y i 進行座標旋轉運算，即經由圖4所述步驟2(對應於前文中圖4之步驟2對高斯層12的說明)，而產生輸出另一橫向距離值u i 以及另一軸向距離值v i 。
於本較佳實施態樣中，旋轉單元4212係包括坐標旋轉數位計算器(CORDIC)42121，用以執行座標旋轉運算，惟坐標旋轉數位計算器42121的運作原理應為熟悉本技藝人士所知悉，在此就不再予以贅述；此外，雖然本較佳實施態樣中是利用坐標旋轉數位計算器42121來對橫向距離值x i 以及軸向距離值y i 進行座標旋轉運算，然其僅為一種實施態樣，熟知本技藝人士亦可依據實際應用需求而進行任何均等的變更設計。
舉例來說，可變更設計為，於旋轉單元4212內設置座標旋轉表，且座標旋轉表係為多個橫向距離值x、多個軸向距離值y、多個邊緣方向角度θ、多個橫向距離值u以及多個軸向距離值v之間的對應關係表，是以，當旋轉單元4212接收了來自距離運算單元4211的橫向距離值x i 、軸向距離值y i 以及來自資料儲存及控制單元41的邊緣方向角度θ i 時，能夠直接透過查表的方式尋找出相對應之橫向距離值u i 以及軸向距離值v i ，並予以輸出。
再舉例來說，可變更設計為，旋轉單元4212係依據一泰勒展開式而對橫向距離值x i 以及軸向距離值y i 進行座標旋轉運算，其中，泰勒展開式的運作原理係為熟悉本技藝人士所知悉，在此就不再予以贅述；再舉例來說，可變更設計為，旋轉單元4212 是同時利用座標旋轉表以及泰勒展開式對橫向距離值x i 以及軸向距離值y i 進行座標旋轉運算；抑或是可變更設計為，旋轉單元4212是同時利用座標旋轉表以及坐標旋轉數位計算器42121對橫向距離值x i 以及軸向距離值y i 進行座標旋轉運算。
再者，指數乘除運算單元4213則用以接收來自旋轉單元4212的橫向距離值u i 與軸向距離值v i 以及接收來自資料儲存及控制單元41的橫向平滑參數與縱向平滑參數，進而產生輸出相對應的指數數值index i ；其中，指數數值index i 可被分為整數指數數值index_int i 以及小數指數數值index_frac i 。
又，指數函數運算單元422係包括整數指數函數運算單元4221、小數指數函數運算單元4222以及相連於整數指數函數運算單元4221以及小數指數函數運算單元4222的乘法運算單元4223；其中，整數指數函數運算單元4221係用以接收整數指數數值index_int i ，並產生輸出整數指數函數值exp(index_int i )，小數指數函數運算單元4222則用以接收小數指數數值index_frac i ，並產生輸出小數指數函數值exp(index_frac i )，而乘法運算單元4223係用以接收整數指數函數值exp(index_int i )以及小數指數函數值exp(index_frac i )，並計算出整數指數函數值exp(index_int i )以及小數指數函數值exp(index_frac i )的乘積值exp(index i )，以進而產生輸出非等向性高斯函數數值f(d i ,σ i )。特別說明的是，為了簡化硬體上的運作，本較佳實施例中之非等向性高斯函數數值f(d i ,σ i )簡化如下
於本較佳實施態樣中，整數指數函數運算單元4221內設置有整數指數函數表42211，且整數指數函數表42211係為多個整數指數數值index_int以及多個整數指數函數值exp(index_int)之間的對應關係表，是以，當整數指數函數運算單元4221接收了整數指數數值index_int i 時，能夠直接透過查表的方式尋找出相對應之整數指數函數值exp(index_int i )，並予以輸出。
再者，於本較佳實施態樣中，小數指數函數運算單元4222係包括坐標旋轉數位計算器(CORDIC)42221，用以於小數指數函數運算單元4222接收小數指數數值index_frac i 後執行指數運算，以求得小數指數函數值exp(index_frac i )，惟坐標旋轉數位計算器42221的運作原理應為熟悉本技藝人士所知悉，在此就不再予以贅述；此外，雖然本較佳實施態樣中是利用坐標旋轉數位計算器42221來執行指數運算，然其僅為一種實施態樣，熟知本技藝人士亦可依據實際應用需求而進行任何均等的變更設計。
舉例來說，可變更設計為，於小數指數函數運算單元4222內設置小數指數函數表，且小數指數函數表係為多個小數指數數值index_frac以及多個整數指數函數值exp(index_frac)之間的對應關係表，是以，當小數指數函數運算單元4222接收了小數指數數值exp(index_frac i )時，能夠直接透過查表的方式尋找出相對應之整數指數函數值exp(index_frac i )，並予以輸出。
再舉例來說，可變更設計為，小數指數函數運算單元4222係依據一泰勒展開式來執行指數運算，其中，泰勒展開式的運作原理係為熟悉本技藝人士所知悉，在此就不再予以贅述；再舉例來說，可變更設計為，小數指數函數運算單元4222是同時 利用小數指數函數表以及泰勒展開式來執行指數運算；抑或是可變更設計為，旋轉單元4212是同時利用小數指數函數表以及坐標旋轉數位計算器42221來執行指數運算。
此外，由於坐標旋轉數位計算器42221對部分的整數指數數值進行指數運算時會產生一定程度的誤差，而本較佳實施態樣為了降低該程度的誤差而設計將指數數值index i 分為整數指數數值index_int i 以及小數指數數值index_frac i ，且整數指數數值index_int i 是接透過查表的方式求得相對應之整數指數函數值exp(index_int i )，是以，本較佳實施態樣中的計算精確度可達6.08 e -5以下。
特別說明的是，由於本案目標影像2中與所欲插補之插補點A的插補數值是由鄰近於插補點A之複數個參考點R中每一參考點R的非等向性高斯函數數值f(d i ,σ i )依據統計方法內插而得，且每一參考點R的非等向性高斯函數數值f(d i ,σ i )係包含了相對應之參考點R的影像特性，即插補點A的插補數值p(U)是依據了每一個參考點R的邊緣方向角度θ i 、橫向平滑參數、縱向平滑參數所整合運算而得，是以，本案所獲得之插補點A的插補數值p(U)更能夠逼近影像邊緣的特性，如邊緣強度、邊緣角度等。
請參閱圖10，其為利用本案影像插補方法以及影像插補裝置進行邊緣適應性插補動作後的結果示意圖。圖10示意了，於圖10A所示之高解析度的原始影像被取樣成低解析度的目標影像後，藉由圖4所示影像插補方法以及圖8所示影像插補裝置4對低解析度的目標影像進行邊緣適應性插補動作，進而產生 了圖10B所示之插補後的影像；其中，插補後的影像在邊緣區域不但不會有鋸齒狀方塊的效應，且銳利度足夠，並保留了邊緣的細節，故觀看者不會有失焦模糊的感受。
請參閱圖11，其為本發明具有影像插補功能之影像裝置於一較佳實施例中之概念方塊示意圖。影像裝置5包括影像接收模組51、影像插補模組52以及影像輸出模組53，且影像插補模組52連接於影像接收模組51以及影像輸出模組53之間；其中，影像接收模組51用以接收目標影像2，並予以傳輸至影像插補模組52，而影像插補模組52係為圖8所示之影像插補裝置4，且用以對所接收之目標影像2遂行適應性插補動作而產生插補影像，並予以傳輸至影像輸出模組53，最後，影像輸出模組53再將所接收之插補影像向外輸出。
特別說明的是，本發明影像裝置5係可為一多媒體匣道器或一數位機上盒等多媒體傳輸裝置，如此能夠帶來降低通訊網路之通訊頻寬的效果，原因在於，由於本發明影像裝置5具有高度的影像插補功能，故目標影像2的影像供應端(圖中未標示)僅需提供低解析度的目標影像2至通訊網路中，如此一來不但能降低通訊網路的負載，亦能夠增加影像的傳輸速度，而影像裝置5則於接收低解析度的目標影像2後進行性插補動作而產生輸出高解析度的插補影像至與多媒體傳輸裝置相連接的多媒體播放裝置，使用者就能夠觀賞到高解析度的影像。
此外，本發明影像裝置5亦可為內建於多媒體播放裝置(如平面顯示器)的視訊縮放器，即多媒體播放裝置可直接播放由影像裝置5進行插補後的影像。
又，本發明影像裝置5亦可內建於影像擷取裝置(如相機、攝影機)中，因此影像擷取裝置所拍攝獲得的影像不一定是要具有高解析度的影像，原因在於內建於其中的影像裝置5就可對其進行影像插補後再輸出呈現，如此一來，影像擷取裝置就不需設置高規格的影像感測元件，如高規格的電荷耦合元件(CCD)或高規格的互補性氧化金屬半導體(CMOS)，進而減少製作成本。
以上所述僅為本發明之較佳實施例，並非用以限定本發明之申請專利範圍，因此凡其它未脫離本發明所揭示之精神下所完成之等效改變或修飾，均應包含於本案之申請專利範圍內。
P1‧‧‧步驟
P2‧‧‧步驟
P3‧‧‧步驟

Claims (31)

  1. 一種影像插補方法，其係利用一機率神經網路模型對一影像之一插補點遂行一適應性插補動作，包括：(1)選取鄰近於該插補點之複數參考點；(2)利用該複數參考點中之每一該參考點的一邊緣方向角度、一橫向平滑參數、一縱向平滑參數以及每一該參考點與該插補點之間之一距離，獲得每一該參考點的一非等向性高斯函數數值；以及(3)利用一統計方法對該些非等向性高斯函數數值進行整合運算，以獲得該插補點之一插補數值。其中於該步驟(2)中，包括：將每一該參考點的複數個特徵值輸入至一單神經元神經網路中，以獲得每一該參考點的該橫向平滑參數以及該縱向平滑參數；其中，該單神經元神經網路之一轉移函數係為一線性函數、一S形函數或一雙曲正切函數，且該轉移函數之一自變數為：Σ(每一該特徵值).(每一該特徵值所相對應之一權重)+(一偏壓值)。
  2. 如申請專利範圍第1項所述之影像插補方法，其中該步驟(3)中之該統計方法係為一重心法、一最大值法、一中值法或一四分位法。
  3. 如申請專利範圍第1項所述之影像插補方法，其中於該步驟(2)中，包括：(2-1)利用一梯度運算子獲得每一該參考點之一橫向梯度值以及一縱向梯度值；以及(2-2)利用每一該參考點之該橫向梯度值以及該縱向梯度值獲得每一該參考點之該邊緣方向角度。
  4. 如申請專利範圍第3項所述之影像插補方法，其中於該步驟 (2-1)中之該梯度運算子係為一索貝爾(sobel operator)運算子、一普里威特(Prewitt)運算子、一中心差分(CentralDifference)運算子、一中間差分(Intermediate Difference)運算子、一斯給爾(Scharr)運算子或一羅伯茲(Roberts)算子。
  5. 如申請專利範圍第3項所述之影像插補方法，其中於該步驟(2-2)，包括：將將每一該參考點之該橫向梯度值以及該縱向梯度值輸入至一拉奧(Rao)演算法中進行運算，以獲得每一該參考點之該邊緣方向角度。
  6. 如申請專利範圍第1項所述之影像插補方法，其中於該步驟(2)中，更包括：利用一最佳化演算法求得該轉移函數中之至少一參數、每一該特徵值所相對應之該權重以及該偏壓值。
  7. 如申請專利範圍第6項所述之影像插補方法，其中該最佳化演算法係為一粒子群最佳化(PSO)演算法或一遺傳(GA)演算法。
  8. 如申請專利範圍第7項所述之影像插補方法，其中於該步驟(2)中，更包括：採用一峰值信號雜訊比(PSNR)或一邊緣誤差百分比(PEE,Percentage Edge Error)作為該最佳化演算法之一適應函數。
  9. 如申請專利範圍第1項所述之影像插補方法，其中每一該參考點的該複數個特徵值係包括一橫向梯度值以及一縱向梯度值。
  10. 如申請專利範圍第1項所述之影像插補方法，其中於該步驟(3)中，該插補點之該插補數值係為
  11. 如申請專利範圍第8項所述之影像插補方法，其中每一該參考點的該訊號值係為每一該參考點的一灰度值。
  12. 一種影像插補裝置，其係利用一機率神經網路模型對一影像之一插補點遂行一適應性插補動作，包括：一資料儲存及控制單元，用以獲得鄰近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數；至少一高斯函數運算單元，連接於該資料儲存及控制單元，並利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之一距離，而獲得每一該參考點的一非等向性高斯函數數值；以及一統計運算單元，連接於該高斯函數運算單元，並利用一統計方法對該些非等向性高斯函數數值進行整合運算，以產生輸出該插補點之一插補數值；其中，該至少一高斯函數運算單元係包括分別對應於該複數參考點的複數高斯函數運算單元，且每一該高斯函數運算單元係利用相對應之該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及相對應之該參考點與該插補點之間之該距離，而獲得相對應之該參考點的該非等向性高斯函數數值；抑或是該複數參考點係被分為多個參考點群組，且該至少一高斯函數運算單元係包括分別對應於該些參考點群組的多個高斯函數運算單元，其中每一該高斯函數運算單元係利用相對應之該參考點群組中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而獲得相對應之該參考點群組中之每一該參考點的該非等向性高斯函數數值；抑或是 該至少一高斯函數運算單元係包括單一高斯函數運算單元，且該單一高斯函數運算單元係依序利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而依序獲得每一該參考點的該非等向性高斯函數數值。
  13. 如申請專利範圍第12項所述之影像插補裝置，其中該至少一高斯函數運算單元中之每一該高斯函數運算單元係包括一指數運算單元以及一指數函數運算單元，且該指數函數運算單元係連接於該指數運算單元以及該統計運算單元之間；其中，該指數運算單元用以產生輸出一指數數值供該指數函數運算單元使用。
  14. 如申請專利範圍第13項所述之影像插補裝置，其中該指數運算單元係包括一距離運算單元，且該距離運算單元連接於該資料儲存及控制單元，並用以接收該插補點之一位置座標，而產生輸出每一該參考點與該插補點之間之一橫向距離值以及一縱向距離值。
  15. 如申請專利範圍第13項所述之影像插補裝置，其中該指數運算單元係包括一旋轉單元，且該旋轉單元係用以接收一橫向距離值、一縱向距離值以及一邊緣方向角度，並依據該方向角度進行一座標旋轉運算，俾使該橫向距離值以及該縱向距離值分別轉換為一另一橫向距離值以及一另一縱向距離值。
  16. 如申請專利範圍第15項所述之影像插補裝置，其中該旋轉單元係包括一坐標旋轉數位計算器(CORDIC)，用以執行該座標旋轉運算；抑或是該旋轉單元內係設置有一座標旋轉表，且該旋轉單元係依據該座標旋轉表而進行該座標旋轉運算；抑或是該旋轉單元係依據一泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元內係設置有該座標旋轉表，且該旋轉單元係依據該座標旋轉表 以及該泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元係包括該坐標旋轉數位計算器以及該座標旋轉表，該旋轉單元係依據該坐標旋轉數位計算器以及該座標旋轉表而進行該座標旋轉運算。
  17. 如申請專利範圍第13項所述之影像插補裝置，其中該指數函數運算單元係包括一整數指數函數運算單元、一小數指數函數運算單元以及相連於該整數指數函數運算單元以及該小數指數函數運算單元之一乘法運算單元，且該指數數值係包括一整數指數數值以及一小數指數數值；其中，該整數指數函數運算單元係接收該整數指數數值，並產生輸出一整數指數函數值，該小數指數函數運算單元係接收該小數指數數值，並產生輸出一小數指數函數值，而該乘法運算單元係接收該整數指數函數值以及該小數指數函數值，並產生輸出該整數指數函數值以及該小數指數函數值之一乘積值。
  18. 如申請專利範圍第17項所述之影像插補裝置，其中該整數指數函數運算單元內係設置有一整數指數函數表，且該整數指數函數運算單元係於接收該整數指數數值後，依據該整數指數函數表而產生輸出該整數指數函數值。
  19. 如申請專利範圍第17項所述之影像插補裝置，其中該小數指數函數運算單元係包括一坐標旋轉數位計算器(CORDIC)，用以於該小數指數函數運算單元接收該小數指數數值後執行一指數運算；抑或是該小數指數函數運算單元內係設置有一小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係係於接收該小數指數數值後，依據一泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係設置有該小數指數函數表，且該小數指數函數運算單元 係於接收該小數指數數值後，依據該小數指數函數表以及該泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係包括該坐標旋轉數位計算器以及該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該坐標旋轉數位計算器所執行之該指數計算以及該小數指數函數表而產生輸出該整數指數函數值。
  20. 如申請專利範圍第12項所述之影像插補裝置，係藉由一現場可程式規劃邏輯閘陣列(FPGA)實現。
  21. 如申請專利範圍第12項所述之影像插補裝置，其中鄰近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數係由該資料儲存及控制單元所算得，抑或是近於該插補點之複數參考點的邊緣方向角度、橫向平滑參數以及縱向平滑參數係由與該資料儲存及控制單元相連之一前置運算單元所算得。
  22. 如申請專利範圍第12項所述之影像插補裝置，其中該統計方法係為一重心法、一最大值法、一中值法或一四分位法。
  23. 一種具有影像插補功能之影像裝置，包括：一影像接收模組，用以接收一目標影像；一影像插補模組，連接於該影像接收模組，並利用一機率神經網路模型對該目標影像之至少一插補點遂行一適應性插補動作而產生一插補影像，包括：一資料儲存及控制單元，用以獲得鄰近於該至少一插補點之複數參考點的邊緣方向度值、橫向平滑參數以及縱向平滑參數；至少一高斯函數運算單元，連接於該資料儲存及控制單元，並利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點 之間之一距離，而獲得每一該參考點的一非等向性高斯函數數值；以及一統計運算單元，連接於該高斯函數運算單元，並利用一統計方法對該些非等項性高斯函數數值進行整合運算，以產生輸出該插補點之一插補數值；以及一影像輸出模組，連接於該影像插補模組，用以輸出該插補影像；其中，該至少一高斯函數運算單元係包括分別對應於該複數參考點的複數高斯函數運算單元，且每一該高斯函數運算單元係利用相對應之該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及相對應之該參考點與該插補點之間之該距離，而獲得相對應之該參考點的該非等向性高斯函數數值；抑或是該複數參考點係被分為多個參考點群組，且該至少一高斯函數運算單元係包括分別對應於該些參考點群組的多個高斯函數運算單元，其中每一該高斯函數運算單元係利用相對應之該參考點群組中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而獲得相對應之該參考點群組中之每一該參考點的該非等向性高斯函數數值；抑或是該至少一高斯函數運算單元係包括單一高斯函數運算單元，且該單一高斯函數運算單元係依序利用該複數參考點中之每一該參考點的該邊緣方向角度、該橫向平滑參數、該縱向平滑參數以及每一該參考點與該插補點之間之該距離，而依序獲得每一該參考點的該非等向性高斯函數數值。
  24. 如申請專利範圍第23項所述之具有影像插補功能之影像裝置，係為一數位機上盒、一多媒體匣道器或一多媒體傳輸裝置，抑或是該具有影像插補功能之影像裝置係內建於一多媒體播放裝置或一影像擷取裝置。
  25. 如申請專利範圍第23項所述之具有影像插補功能之影像裝置，其中該至少一高斯函數運算單元中之每一該高斯函數運算單元係包括一指數運算單元以及一指數函數運算單元，且該指數函數運算單元係連接於該指數運算單元以及該統計運算單元之間；其中，該指數運算單元用以產生輸出一指數數值供該指數函數運算單元使用。
  26. 如申請專利範圍第25項所述之具有影像插補功能之影像裝置，其中該指數運算單元係包括一距離運算單元，且該距離運算單元連接於該資料儲存及控制單元，並用以接收該至少一插補點之一位置座標，而產生輸出每一該參考點與該至少一插補點之間之一橫向距離值以及一縱向距離值。
  27. 如申請專利範圍第25項所述之具有影像插補功能之影像裝置，其中該指數運算單元係包括一旋轉單元，且該旋轉單元係用以接收一橫向距離值、一縱向距離值以及一邊緣方向角度，並依據該方向角度進行一座標旋轉運算，俾使該橫向距離值以及該縱向距離值分別轉換為一另一橫向距離值以及一另一縱向距離值。
  28. 如申請專利範圍第27項所述之具有影像插補功能之影像裝置，其中該旋轉單元係包括一坐標旋轉數位計算器(CORDIC)，用以執行該座標旋轉運算；抑或是該旋轉單元內係設置有一座標旋轉表，且該旋轉單元係依據該座標旋轉表而進行該座標旋轉運算；抑或是該旋轉單元係依據一泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元內係設置有該座標旋轉表，且該旋轉單元係依據該座標旋轉表以及該泰勒展開式而進行該座標旋轉運算；抑或是該旋轉單元係包括該坐標旋轉數位計算器以及該座標旋轉表，該旋轉單元係依據該坐標旋轉數位計算器以及該座標旋轉表而進行該座標旋轉運算。
  29. 如申請專利範圍第25項所述之具有影像插補功能之影像裝置，其中該指數函數運算單元係包括一整數指數函數運算單元、一小數指數函數運算單元以及相連於該整數指數函數運算單元以及該小數指數函數運算單元之一乘法運算單元，且該指數數值係包括一整數指數數值以及一小數指數數值；其中，該整數指數函數運算單元係接收該整數指數數值，並產生輸出一整數指數函數值，該小數指數函數運算單元係接收該小數指數數值，並產生輸出一小數指數函數值，而該乘法運算單元係接收該整數指數函數值以及該小數指數函數值，並產生輸出該整數指數函數值以及該小數指數函數值之一乘積值。
  30. 如申請專利範圍第29項所述之具有影像插補功能之影像裝置，其中該整數指數函數運算單元內係設置有一整數指數函數表，且該整數指數函數運算單元係於接收該整數指數數值後，依據該整數指數函數表而產生輸出該整數指數函數值。
  31. 如申請專利範圍第30項所述之具有影像插補功能之影像裝置，其中該小數指數函數運算單元係包括一坐標旋轉數位計算器(CORDIC)，用以於該小數指數函數運算單元接收該小數指數數值後執行一指數運算；抑或是該小數指數函數運算單元內係設置有一小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係係於接收該小數指數數值後，依據一泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係設置有該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該小數指數函數表以及該泰勒展開式而產生輸出該整數指數函數值；抑或是該小數指數函數運算單元係包括該坐標旋轉數位計算器以及該小數指數函數表，且該小數指數函數運算單元係於接收該小數指數數值後，依據該坐標旋轉數位計算器所執行之該指數計算以及該小 數指數函數表而產生輸出該整數指數函數值。
TW102125102A 2013-07-12 2013-07-12 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置 TWI539406B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102125102A TWI539406B (zh) 2013-07-12 2013-07-12 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置
US14/060,687 US9378538B2 (en) 2013-07-12 2013-10-23 Image interpolation method and image interpolation device and image apparatus using the same
CN201410298894.7A CN104284126B (zh) 2013-07-12 2014-06-27 影像插补方法以及应用该方法的影像插补装置与影像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102125102A TWI539406B (zh) 2013-07-12 2013-07-12 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置

Publications (2)

Publication Number Publication Date
TW201503055A TW201503055A (zh) 2015-01-16
TWI539406B true TWI539406B (zh) 2016-06-21

Family

ID=52258556

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102125102A TWI539406B (zh) 2013-07-12 2013-07-12 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置

Country Status (3)

Country Link
US (1) US9378538B2 (zh)
CN (1) CN104284126B (zh)
TW (1) TWI539406B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062694A1 (en) 2013-11-01 2016-09-07 Boston Scientific Scimed, Inc. Cardiac mapping using latency interpolation
US20150196215A1 (en) * 2014-01-13 2015-07-16 Boston Scientific Scimed, Inc. Medical devices for mapping cardiac tissue
EP3113671B1 (en) 2014-03-07 2023-10-25 Boston Scientific Scimed, Inc. Medical devices for mapping cardiac tissue
JP2017509399A (ja) 2014-03-11 2017-04-06 ボストン サイエンティフィック サイムド，インコーポレイテッドＢｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｓｃｉｍｅｄ，Ｉｎｃ． 心臓組織をマッピングするための医療用デバイス
TWI546777B (zh) 2015-03-12 2016-08-21 瑞昱半導體股份有限公司 影像處理裝置與方法
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
CN107451966B (zh) * 2017-07-25 2021-05-11 四川大学 一种采用灰度图引导滤波实现的实时视频去雾方法
CN107644398B (zh) * 2017-09-25 2021-01-26 上海兆芯集成电路有限公司 图像插补方法及其相关图像插补装置
CN108124102B (zh) * 2017-12-28 2020-10-13 北京小米移动软件有限公司 图像处理方法、装置及计算机可读存储介质
CN109685750A (zh) * 2018-12-14 2019-04-26 厦门美图之家科技有限公司 图像增强方法及计算设备
CN112305994B (zh) * 2020-11-05 2021-11-16 广东三维家信息科技有限公司 基于平均滤波的直线段平滑方法、装置、设备及存储介质
CN112508790B (zh) * 2020-12-16 2023-11-14 上海联影医疗科技股份有限公司 一种图像插值方法、装置、设备及介质
CN113344828B (zh) * 2021-06-30 2023-05-30 太原理工大学 一种基于混沌麻雀搜索算法的煤岩分界图像增强方法
CN114595740A (zh) * 2022-01-13 2022-06-07 南京航空航天大学 一种基于光电探测器的超高速射线图像识别方法
CN115082323B (zh) * 2022-08-19 2022-11-04 深流微智能科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6289112B1 (en) * 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion
KR100553892B1 (ko) * 2003-10-13 2006-02-24 삼성전자주식회사 디지털 영상 보간 방법 및 장치
CN100464579C (zh) * 2006-07-13 2009-02-25 北京中星微电子有限公司 一种对数字视频图像中物体边沿的处理方法及装置
KR101027323B1 (ko) * 2010-01-20 2011-04-06 고려대학교 산학협력단 비대칭 가우시안 필터를 이용한 영상 보간 장치 및 방법
CN102497524B (zh) * 2011-12-05 2014-02-12 四川虹微技术有限公司 边缘自适应去隔行的插值方法
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
US8891905B2 (en) * 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping

Also Published As

Publication number Publication date
US9378538B2 (en) 2016-06-28
CN104284126A (zh) 2015-01-14
CN104284126B (zh) 2018-10-12
US20150016749A1 (en) 2015-01-15
TW201503055A (zh) 2015-01-16

Similar Documents

Publication Publication Date Title
TWI539406B (zh) 影像插補方法以及應用影像插補方法之影像插補裝置與影像裝置
Liu et al. A spectral grouping and attention-driven residual dense network for hyperspectral image super-resolution
CN110136056B (zh) 图像超分辨率重建的方法和装置
WO2019192316A1 (zh) 图像相关处理方法及装置、设备、存储介质
US10846836B2 (en) View synthesis using deep convolutional neural networks
TWI545523B (zh) 影像形狀校正方法以及應用影像形狀校正方法之影像形狀校正裝置
TWI643137B (zh) 物件辨識方法及物件辨識系統
Yue et al. Recaptured screen image demoiréing
He et al. FPGA-based real-time super-resolution system for ultra high definition videos
Dehnavi et al. FPGA based real-time on-road stereo vision system
Singh et al. Real-time FPGA based implementation of color image edge detection
CN104184981B (zh) 一种基于缩减像素采样处理的低解析度显示方法及设备
Khan et al. Sparse to dense depth completion using a generative adversarial network with intelligent sampling strategies
Ruchay et al. Accuracy analysis of 3D object reconstruction using point cloud filtering algorithms
CN112785634A (zh) 计算机装置与合成深度图产生方法
Li et al. Dual-streams edge driven encoder-decoder network for image super-resolution
Dehnavi et al. Cost and power efficient FPGA based stereo vision system using directional graph transform
Gu et al. NeRVI: Compressive neural representation of visualization images for communicating volume visualization results
TWI406187B (zh) 快速高畫質視頻影像內插方法及裝置
CN101815165B (zh) 实时高效的数字图像分数阶积分滤波器
US20180158194A1 (en) Determining Optical Flow
Zhang et al. Perception-Driven Similarity-Clarity Tradeoff for Image Super-Resolution Quality Assessment
WO2020181641A1 (zh) 图像放大方法及图像放大装置
Yuan et al. Gradient residual attention network for infrared image super-resolution
Luo et al. Improved LUT-based image warping for video cameras

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees