TWI407776B - 影像產生裝置、靜態文字偵測裝置及相關方法 - Google Patents

影像產生裝置、靜態文字偵測裝置及相關方法 Download PDF

Info

Publication number
TWI407776B
TWI407776B TW098122102A TW98122102A TWI407776B TW I407776 B TWI407776 B TW I407776B TW 098122102 A TW098122102 A TW 098122102A TW 98122102 A TW98122102 A TW 98122102A TW I407776 B TWI407776 B TW I407776B
Authority
TW
Taiwan
Prior art keywords
block
image
static text
angle
static
Prior art date
Application number
TW098122102A
Other languages
English (en)
Other versions
TW201101806A (en
Inventor
Hung Wei Wu
Chih Yu Chang
Original Assignee
Silicon Integrated Sys Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Integrated Sys Corp filed Critical Silicon Integrated Sys Corp
Priority to TW098122102A priority Critical patent/TWI407776B/zh
Priority to US12/619,337 priority patent/US8503732B2/en
Publication of TW201101806A publication Critical patent/TW201101806A/zh
Application granted granted Critical
Publication of TWI407776B publication Critical patent/TWI407776B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
    • G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/16—Image preprocessing
    • G06V30/168—Smoothing or thinning of the pattern; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

影像產生裝置、靜態文字偵測裝置及 相關方法
本發明有關於畫面頻率提高(Frame Rate Up-Conversion，FRC)技術，尤有關於一種具有靜態文字偵測處理功能之影像產生裝置及其方法。
畫面頻率提高技術係用來增加視訊源(video source)的畫面頻率，一般業界有各式各樣的應用，例如：應用於低位元的網路視訊傳輸以節省頻寬(bandwidth)、應用於將畫面頻率25Hz的視訊源轉換為更高畫面頻率以減少畫面抖動(juddering)現象、及應用於保持驅動型(hold-type)液晶顯示器(liquid crystal display，LCD)以避免畫面的模糊(blurring)現象並得到更清晰的影像品質。
大部分的畫面頻率提高技術係先利用移動估計(motion estimation，ME)來計算出物體的移動向量，再進行移動補償內插(motion compensation interpolation，MCI)來內插出位於不同圖框(frame)的移動物體。大部分的動作估計技術係根據區塊比對估計(block matching estimation)演算法來計算出具有絕對誤差總和(sum of absolute difference，SAD)最小值的移動向量，然而，在許多情況下，許多移動估計演算法容易落入局部(local)SAD最小值的迷思，亦即，具有局部SAD最小值的移動向量未必是物體真正的移動向量，即使是全域(global)SAD最小值也未必是物體真正的移動向量。
再者，大部分的影像訊號包含有靜態文字(static text)，例如字幕、標誌...等，而習知技術中的區塊比對估計演算法在估計處理時，往往在影像背景包含動態物件時，無法正確估計。如第1圖所示，圖面上方圖示為前一張圖框(Frame)F0，圖面下方圖示為目前圖框F1。以前一張圖框F0為例，標號T所指之處為靜態文字、標號B所指之處為背景物件、標號Mv所指之處為移動向量。當影像由圖框F0轉換至F1時，習知之區塊匹配估計方法會因為背景物件B的移動而估計出錯誤的移動向量Mv。此種錯誤的估計常造成靜態文字跟著動態物件而抖動或移動，造成影像顯示品質降低。
本發明之目的之一，在提供一種影像產生裝置與方法，以消除影像中靜態文字的抖動或移動問題。
本發明之一實施例提供了一種影像產生裝置。該影像產生裝置用以接收一目前影像及一先前影像，以產生至少一內插影像。該影像產生裝置包含有一向量估算電路、一靜態文字偵測電路、以及一移動補償內插電路。向量估算電路根據目前影像之一目標區塊及先前影像之一預設搜索區，進行區塊比對估計，以產生目標區塊之暫時移動向量及與目標區塊相對應的多個移動估計誤差值。靜態文字偵測電路接收目標區塊的暫時移動向量、目前影像、及先前影像，進行目前影像與先前影像之靜態文字偵測，依據靜態文字偵測結果校正暫時移動向量，以產生該目標區塊之校正移動向量。以及移動補償內插電路根據該目前影像之所有校正移動向量、目前影像及先前影像，進行影像內插處理，產生至少一內插影像。
本發明一實施例提供了一種靜態文字偵測電路。該靜態文字偵測電路包含有一靜態文字角度偵測電路與一資料過濾電路。靜態文字角度偵測電路係接收一目前影像及一先前影像，將目前影像及先前影像劃分為同樣數目的區塊，且依據至少一角度來偵測目前影像及先前影像分別之每一區塊之畫素角度，且計算出目前影像及先前影像每一對應區塊具有的相同角度畫素的數目。而資料過濾電路則依據相同角度畫素的數目判斷目前影像及先前影像之每一區塊所具有的有效角度數目，比較每一區塊內之有效角度數目與一預設值，以決定該一區塊是否包含有靜態文字，以產生一靜態文字旗標資料作為影像移動向量校正之參考。
本發明一實施例提供了一種影像產生方法，包含有下列步驟：首先，接收一先前影像與一目前影像，並對兩該圖框進行移動向量估計處理；對兩該影像進行靜態文字偵測處理；接著，判斷兩該影像之相對應區塊是否包含有靜態文字之全部或部分，若有則將包含靜態文字之區塊的移動向量設為零；若無則將不包含靜態文字之區塊的移動向量設為原始向量；之後根據校正後之移動向量將先前影像與目前影像進行內插影像處理，以產生至少一內插影像。
茲配合下列圖示、實施例之詳細說明及申請專利範圍，將上述及本發明之其他目的與優點詳述於後。
以下之說明將舉出本發明之數個較佳的示範實施例，例如：各種電子電路、元件以及相關方法。熟悉本領域者應可理解，本發明可採用各種可能的方式實施，並不限於下列示範之實施例或實施例中的特徵。另外，眾所知悉之細節不再重覆顯示或贅述，以避免模糊本發明之重點。
再者，本發明影像產生裝置的輸入影像可為圖框(frame)或圖場(field)，以下實施例均以圖框為例作說明。
第2A圖顯示本發明影像產生裝置之一實施例的架構方塊圖。參考第2A圖，本發明影像產生裝置200包含：一向量估算電路(Vector estimation circuit)210、一靜態文字偵測電路(Static text detecting circuit)300及一移動補償內插電路(Motion compensation interpolation circuit)220。其中，靜態文字偵測電路300可為N維(Dimension)靜態文字偵測之電路，且N為正整數、小於無限大。例如，可為三維靜態文字偵測電路(3D-static text detecting circuit)。
如第2A、2B圖所示，該向量估算電路210接收一目前圖框F1及一先前圖框F0，將該目前圖框F1及先前圖框F0分為同樣數目的區塊，再比較一目標區塊Bi 與先前圖框F0之一預設搜尋區域，計算出多個移動估計誤差值，並比較該些移動估計誤差值，以得到該目標區塊Bi 之暫時移動向量TMVi 及與該目標區塊Bi 相對應的多個移動估計誤差值。之後，不斷重複上述動作，將整張圖框處理完後，向量估算電路210輸出之整張暫時移動向量TMVi 即如第2B圖所示。
其中，上述目標區塊Bi 之暫時移動向量TMVi 為具有最小移動估計誤差值的移動向量。須注意，本發明並不限於此，另一實施例中，亦可比較一目標區塊Bi 與目前圖框F1之一預設搜尋區域，以計算出多個移動估計誤差值及求出目標區塊Bi 之暫時移動向量TMVi 。
上述的移動估計誤差值可以藉由不同的演算法估測而得，例如：絕對誤差總和(SAD)演算法、平均誤差絕對(Mean Absolute Difference，MAD)演算法、均方差(Mean Square Error，MSE)演算法等等，以下實施例中係以SAD演算法計算出的SAD值當作移動估計誤差值為例作說明。據此，向量估算電路210計算出的多個SAD值形成一SAD曲線，而該SAD曲線的大小係相對應於上述預設搜尋區域之大小。等目前現有或未來發展出之各種演算法。熟悉本領域之技術者應能理解，各種可求得暫時移動向量TMVi 之方式，不在此贅述其細節。
接著，如第2A圖所示，向量估算電路210將目標區塊Bi 之暫時移動向量TMVi 傳送至靜態文字偵測電路300。
靜態文字偵測電路300接收每一目標區塊Bi 之暫時移動向量TMVi ，且進行圖框F0與F1之靜態文字偵測與移動向量校正處理，以產生每一目標區塊Bi 之校正移動向量MMVi 。
移動補償內插電路220依序接收完所有目前區塊之校正移動向量MMVi 後，根據目前圖框F1及先前圖框F0進行影像內插處理，進而產生至少一內插圖框。
第3A圖顯示本發明靜態文字偵測電路300之一實施例的架構方塊圖。靜態文字偵測電路300包含有一靜態文字角度偵測電路310與一資料過濾電路320。靜態文字角度偵測電路310用以接收目前圖框F1與先前圖框F0，且將目前圖框F1及先前圖框F0分為同樣數目的區塊，其中圖框之區塊劃分之數目與向量估算電路210劃分圖框區塊之數目相同。接著，靜態文字角度偵測電路310依據至少一角度來偵測每一圖框之每一區塊之畫素角度，且計算出每一圖框F0、F1每一對應區塊具有的相同角度畫素數目。而資料過濾電路320則依據相同角度畫素數目判斷兩圖框F0、F1每一區塊所具有的有效角度數目，比較每一區塊內之有效角度數目與一第一預設值，以決定該區塊是否具有靜態文字。
對於靜態文字而言，前後兩圖框F0、F1相同位置之兩畫素係具有相同的角度；而對於移動物件而言，兩圖框F0、F1相同位置之兩畫素，只有其中一個畫素具有角度，而另一畫素則不會有角度。因此，當上述每一區塊內之有效角度數目大於第一預設值時，則表示該一區塊確實具有角度，即可知道該一區塊內具有靜態文字。利用此資訊即可校正每一目標區塊之暫時移動向量TMVi 。例如當一區塊內具有靜態文字，則將該區塊之暫時移動向量TMVi 數值設為零，以產生校正移動向量MMVi ；反之當一區塊內無靜態文字時，則不改變該區塊之暫時移動向量TMVi ，以暫時移動向量TMVi 之數值作為校正移動向量。
第3B圖顯示本發明靜態文字角度偵測電路310之一實施例。靜態文字角度偵測電路310包含有一第一靜態文字角度偵測單元310a與一第二靜態文字角度偵測單元310b。第一靜態文字角度偵測單元310a用以偵測先前圖框F0之各區塊的至少一角度。如該圖之示例，第一靜態文字角度偵測單元310a包含有八組角度偵測單元，用來偵測先前圖框F0每一區塊是否具有該八組角度：+0、-0、+90、-90、+45、-45、+135、-135度。當然，本發明不以此為限，另一實施例中，可採用N組角度來偵測，N為正整數小於無限大。而第二靜態文字偵測單元310b亦包含有八組角度偵測單元，用來偵測目前圖框F1是否具有該八組角度。其中兩靜態文字偵測單元310a、310b之偵測角度數目實質上相等。
首先，以第一靜態文字偵測單元310a為例說明：第一靜態文字偵測單元310接收先前圖框F0且執行矩陣運算，以進行對先前圖框F0每一區塊之角度偵測。例如，假設一判斷角度是否成立之預設值為30，且偵測先前圖框F0一區塊是否具有+0度，則可將先前圖框F0一區塊之畫素值，例如為，乘上+0度之測試矩陣，則可得到40*1+40*1+40*1+40*0+40*0+40*0+0*(-1)+0*(-1)+0*(-1)=120。此運算之數值等於120，大於30，即表示該一區塊具有+0度之角度。而假設目前圖框F1對應該先前圖框F0之區塊畫素值為，同樣以+0度之測試矩陣測試，亦可得到相同數值120，且亦大於預設值30。由此可知，兩圖框之此相同區塊均具有+0度之角度。據此，可將一設於靜態文字偵測電路之方向計數器(未圖示)加1。
兩圖框中各區塊的其他角度偵測均可採用下列舉陣來運算，熟悉本領域之技術者應能依據上述說明求出每一區塊之具有的角度。若於一區塊之八組偵測角度中，共有三組角度計算出之數值大於上述預設值30，則該一區塊之方向計數器之數值等於3。須注意，本發明採用之矩陣或預設值，並不以此為限。例如，可採用各種N*M之矩陣，預設值可為X，N、M、X為正整數小於無限大。
以下為該八組角度之矩陣：
須注意，本發明之矩陣運算方式如下：以+0度為例，
熟悉本領域之技術者應可理解，上述矩陣運算僅為示例，不同的規格矩陣之運算方式可依此類推。
另外，目前圖框F1的背景向下移動，先前圖框F0一區塊之畫素值為，目前圖框F1相對應區塊之畫素值為。若以+0度矩陣來運算則可得到，先前圖框F0之該區塊之運算數值為120，而目前圖框F1知該區塊之運算數值為0。由此可知，此區塊之畫素沒有+0度之角度。則方向計數器之數值不改變。
重複上述區塊之畫素值的運算步驟，每一區塊中每一畫素之多個方向計數值。即可得到在此區塊中有多少個畫素具有+0角度，其他角度-0、+90、-90、+45、-45、+135、-135度之畫素數目亦可得知。依此會有八個方向計數器之八個計數值。假設計數值大於第二預設值，表示該角度為有效角度，則將一角度計數器加1。由此，可得到每個區塊具有多少個有效角度。舉例而言，假設某一區塊之八個方向計數器之計數值分別為「0、3、0、6、22、12、0、0」，且設定第二預設值為10，則可知有兩個方向計數值大於10。因此，角度計數器之計數值為2，則可知此區塊具有兩個有效角度。依此方式，不斷的重複處理，將可得到示例之第3C圖圖面左方圖框與其每一區塊對應的有效角度數目，此圖示即為初始靜態文字旗標資料。
第3C圖中，圖面左方圖框之初始靜態文字旗標資料中，數值0表示該區塊不具有有效角度，數值1表示該區塊具有一有效角度，數值2表示該區塊具有兩個有效角度，數值3表示該區塊具有三個有效角度...。此圖示之資料即為靜態文字角度偵測電路310之初始靜態文字旗標資料D。
第3D圖顯示本發明資料過濾電路320一實施例之示意圖。資料過濾電路320包含有一消除單元320a與一擴大單元320b。資料過濾電路320接收初始靜態文字旗標資料D，經過消除單元320a之消除(erosion)處理、與擴大單元320b之擴大(dilation)處理後，產生第3C圖圖面右方之過濾後靜態文字旗標資料D’。其中，消除單元320a之消除處理，例如由於區塊b1之周圍區塊並沒有任何角度，因此消除單元320a可依預設之權重規則判定區塊b1之權重較低，因此於將區塊b1由1變更為0。而其他區塊中較高之數值3或2，為統一處理可由消除單元320a將該些數值變更為1；而擴大單元320b之擴大處理例如係將區塊b2由0變更1。區塊b2雖然為0，但由於其周圍區塊均有角度，因此擴大單元320b可依據預設之權重規則判定區塊b2之權重較高，將區塊b2由0變更為1。重複上述處理，即可得到圖面右方圖框過濾後靜態文字旗標資料D’之每一區塊之數值，該些數值稱為靜態文字旗標。熟悉本領域者應可由上述說明理解，如何獲得圖面右方之過濾後靜態文字旗標資料D’，於此不再重複贅述其他細節。
一實施例，上述消除單元320a之權重規則包含有：
1.消去該一區塊，該一區塊總角度數僅含一種角度，且該一區塊周圍不含有多角度數的區塊，令該一區塊的文字旗標為假(false)；及/或
2.消去該一區塊，該一區塊鄰近周圍區塊之總角度數的總和小於一預設值時，且令該一區塊的文字旗標為假.
一實施例，擴大單元320b的權重規則包含有：
1.擴大該一區塊，該一區塊之左右皆為多角度數的區塊，令該一區塊的文字旗標為真(ture)；及/或
2.擴大該一區塊，該一區塊之上下皆為多角度數的區塊，令該一區塊的文字旗標為真；及/或
3.擴大該一區塊，該一區塊之鄰近周圍具有多角度數的總區塊數多於預設值時，令該一區塊的文字旗標為真；及/或
4.擴大該一區塊，該一區塊鄰近周圍區塊總角度數的總和多於預設值時，令該一區塊的文字旗標為真。
當然，本發明並不以此為限，亦可採用其他目前現有或未來發展出之各種權重規範。
接著，第3C圖中，圖面右方之圖框中之數值，具有數值1之區塊表示該些區塊中具有靜態文字之部份或全部，而靜態文字偵測電路300則根據該些靜態文字旗標，處理對應每一旗標之暫時移動向量，根據該些旗標校正對應之暫時移動向量，以產生校正移動向量給移動補償內插電路。舉例而言，當一區塊之旗標數值為1則表示此區塊具有靜態文字，靜態文字偵測電路300便將此區塊對應之暫時移動向量數值變更為0，產生校正移動向量給移動補償內插電路220，以作為內插圖框之參考。舉例而言，當一區塊之旗標數值為0則表示此區塊不具有靜態文字，則不變更暫時移動向量之數值，以暫時移動向量之數值作為校正移動向量輸出至移動補償內插電路220，以作為內插圖框之參考。
依此方式，移動補償內插電路可得到每一區塊正確的移動向量，而依據先前圖框F0與目前圖框F1內插出正確的至少一內插圖框，使影像在背景B移動時其靜態文字仍可保持固定不動，如第4圖所示。而可解決習知技術靜態文字因為錯誤的移動向量而發生抖動或移動之問題，而達成提升影像顯示品值之功效。
再者，如第5圖所示，資料過濾電路320可更包含一暫存單元(temporal)320c，其用以累計多張圖框之靜態文字旗標，當連續Z張圖框之靜態文字旗標均相同時，判定此過濾後靜態文字旗標為正確之旗標，以供靜態文字偵測電路300進行移動向量之校正處理。其中，Z大於1小於無限大。若其中有一張圖框之靜態文之旗標不同，則此靜態文字旗標便不被採用，重新進行圖框之靜態文字偵測處理。依此方式，可更加強靜態文字偵測的準確性。
第6圖顯示本發明影像產生方法一實施例之流程圖。
步驟S602：開始。
步驟S604：接收一先前圖框與一目前圖框，並對兩該圖框進行移動向量估計處理。其中，每該圖框係分為多數個區塊，且兩該圖框之區塊大小與數目相同。
步驟S606：對兩該圖框進行靜態文字偵測處理。
步驟S608：兩該圖框之相對應區塊是否包含有靜態文字之全部或部分？若有跳至步驟S610；若無則跳至步驟S612。
步驟S610：將包含靜態文字之區塊的移動向量設為0，跳至步驟614。
步驟S612：將不包含靜態文字之區塊的移動向量設為原始向量，即不改變原來算出之向量。
步驟S614：根據校正後之移動向量將先前圖框與目前圖框進行內插圖框處理，以產生至少一內插圖框。
步驟S616：結束。
以上雖以實施例說明本發明，但並不因此限定本發明之範圍，只要不脫離本發明之要旨，該行業者可進行各種變形或變更。
200．．．影像產生裝置
210．．．向量估算電路
220．．．移動補償內插電路
300．．．靜態文字偵測電路
310．．．靜態文字角度偵測電路
310a、310b．．．靜態文字角度偵測單元
320．．．資料過濾電路
320a．．．消除單元
320b．．．擴大單元
320c．．．暫存單元
第1圖顯示圖框中靜態文字與背景物件一範例之示意圖。
第2A圖顯示本發明影像產生裝置之一實施例的架構方塊圖。
第2B圖顯示本發明影像向量估算電路之一實施例的架構方塊圖。
第3A圖顯示本發明靜態文字偵測電路之一實施例的架構方塊圖。
第3B圖顯示本發明靜態文字角度偵測電路之一實施例的架構方塊圖。
第3C圖顯示本發明一實施例之初始靜態文字旗標資料與過濾後靜態文資資料之示意圖。
第3D圖顯示本發明資料過濾電路之一實施例的架構方塊圖。
第4圖顯示本發明圖框中靜態文字與背景物件一範例之示意圖。
第5圖顯示本發明資料過濾電路之一實施例的架構方塊圖。
第6圖為本發明一實施例之影像產生方法之流程圖。
300、310．．．偵測電路
320．．．資料過濾電路

Claims (31)

  1. 一種影像產生裝置，用以接收一第一影像及一第二影像，以產生至少一內插影像，包含：一向量估算電路，根據該第一影像之一目標區塊及該第二影像之一預設搜索區，進行區塊比對估計，產生該目標區塊之暫時移動向量；一靜態文字偵測電路，接收該目標區塊的暫時移動向量、該第一影像、及該第二影像，進行該第一影像與該第二影像之靜態文字偵測，依據該靜態文字偵測結果校正該暫時移動向量，以產生該目標區塊之校正移動向量；以及一移動補償內插電路，根據該第一影像之所有該校正移動向量、該第一影像及該第二影像，進行影像內插處理，產生該至少一內插影像；其中該靜態文字偵測電路，包含有：一靜態文字角度偵測電路，依據至少一角度來偵測該第一影像及該第二影像分別之每一區塊之畫素角度，且計算出該第一影像及該第二影像每一對應區塊具有的相同角度畫素的數目，以決定每一區塊的權重值大小；以及一資料過濾電路，依據每一區塊的權重值大小，決定該一區塊是否包含有靜態文字。
  2. 如申請專利範圍第1項所記載之影像產生裝置，其中該靜態文字偵測電路，包含有：一靜態文字角度偵測電路，依據至少一角度來偵測該第一影像及該第二影像分別之每一區塊之畫素角度，且計算出該第 一影像及該第二影像每一對應區塊具有的所有相同角度數目，再依據每一區塊的所有相同角度數目來決定每一區塊的權重值大小；以及一資料過濾電路，依據每該區塊的權重值大小，以決定該一區塊是否包含有靜態文字。
  3. 如申請專利範圍第2項所記載之影像產生裝置，其中，該權重值越大的區塊，係判斷成含有靜態文字的區塊，且該權重值越小的區塊，則判斷成不含靜態文字的區塊。
  4. 如申請專利範圍第2項所記載之影像產生裝置，其中，每一區塊所含有的角度數越多則表示該區塊之權重值越大，而每一區塊含有的角度數越少則表示該區塊之權重值越小。
  5. 如申請專利範圍第2項所記載之影像產生裝置，其中該相同角度係表示該第一影像與第二影像的同一畫素皆具有的角度大小相同。
  6. 如申請專利範圍第2項所記載之影像產生裝置，其中，該靜態文字角度偵測電路包含有：一第一靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以分別偵測該第二影像之每一區塊是否具有該N組角度；以及一第二靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以偵測該第一影像之每一區塊是否具有該N組角度，其中N為正整數小於無限大 其中，依據該第一、第二靜態文字角度偵測單元之偵測結果，求得該第二影像與該第一影像每一區塊所包含的總角度數目，並轉換為一初始靜態文字權重值資料。
  7. 如申請專利範圍第6項所記載之影像產生裝置，其中，資料過濾電路包含有：一消除單元，接收該初始靜態文字權重值資料，依據一預設權重規則消除該初始靜態文字權重資料中權重值較小的一區塊，以產生一過濾後靜態文字旗標資料；以及一擴大單元，接收該初始靜態權重值資料，依據該預設權重規則擴大初始靜態文字權重值資料中權重值較大的一區塊，以產生該過濾後靜態文字旗標資料。
  8. 如申請專利範圍第7項所記載之影像產生裝置，其中，該消除單元之權重規則包含有：消去該一區塊，該一區塊總角度數僅含一種角度，且該一區塊周圍不含有多角度數的區塊，令該一區塊的文字旗標為假(false)；及/或消去該一區塊，該一區塊鄰近周圍區塊之總角度數的總和小於一預設值時，且令該一區塊的文字旗標為假.
  9. 如申請專利範圍第7項所記載之影像產生裝置，其中，擴大單元的權重規則包含有：擴大該一區塊，該一區塊之左右皆為多角度數的區塊，令該一區塊的文字旗標為真(ture)；及/或擴大該一區塊，該一區塊之上下皆為多角度數的區塊，令該一區塊的文字旗標為真；及/或 擴大該一區塊，該一區塊之鄰近周圍具有多角度數的總區塊數多於預設值時，令該一區塊的文字旗標為真；及/或擴大該一區塊，該一區塊鄰近周圍區塊總角度數的總和多於預設值時，令該一區塊的文字旗標為真。
  10. 如申請專利範圍第7項所記載之影像產生裝置，其中，該靜態文字偵測電路依據該過濾後靜態文字旗標資料校正該暫時移動向量，以產生該目標區塊之校正移動向量。
  11. 如申請專利範圍第7項所記載之影像產生裝置，其中，該資料過濾電路更包含一暫存單元，用以累計多張影像之該過濾後靜態文字旗標，當連續Z張影像之過濾後靜態文字旗標均相同時，判定該過濾後靜態文字旗標為正確之旗標，以供該靜態文字偵測電路進行移動向量校正處理，其中，Z大於1小於無限大。
  12. 如申請專利範圍第1項所記載之影像產生裝置，其中，該第一影像及該第二影像係分成同樣數目的區塊。
  13. 如申請專利範圍第12項所記載之影像產生裝置，其中，該目標區塊之暫時移動向量為具有最小移動估計誤差值的移動向量。
  14. 如申請專利範圍第13項所記載之影像產生裝置，其中該些移動估計誤差值為絕對誤差總和(SAD)值、平均誤差絕對(MAD)值及均方差(MSE)值之其中之一。
  15. 如申請專利範圍第1項所記載之影像產生裝置，其中該第一影像及該第二影像為一圖場或一圖框。
  16. 一種靜態文字偵測電路，包含有： 一靜態文字角度偵測電路，接收一第一影像及一第二影像，將該第一影像及該第二影像劃分為同樣數目的區塊，且依據至少一角度來偵測該第一影像及該第二影像分別之每一區塊之畫素角度，且計算出該第一影像及該第二影像每一對應區塊具有的相同角度畫素的數目；以及一資料過濾電路，依據相同角度畫素的數目判斷該第一影像及該第二影像之每一區塊所具有的有效角度數目，比較每一區塊內之有效角度數目與一預設值，以決定該一區塊是否包含有靜態文字，以產生一靜態文字旗標資料作為影像移動向量校正之參考。
  17. 如申請專利範圍第16項所記載之影像產生裝置，其中，該靜態文字角度偵測電路包含有：一第一靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以分別偵測該第二影像之每一區塊是否具有該N組角度；以及一第二靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以偵測該第一影像之每一區塊是否具有該N組角度，其中N為正整數小於無限大其中，依據該第一、第二靜態文字角度偵測單元之偵測結果，求得該第二影像與該第一影像之初始靜態文字旗標資料。
  18. 如申請專利範圍第16項所記載之影像產生裝置，其中，資料過濾電路包含有： 一消除單元，接收該初始靜態文字旗標，依據一預設權重規則消除該初始靜態文字旗標資料中的靜態文字旗標，以產生一過濾後靜態文字旗標資料；以及一擴大單元，接收該初始靜態文字旗標，依據該預設權重規則擴大初始靜態文字旗標資料靜態文字旗標，以產生該過濾後靜態文字旗標資料。
  19. 如申請專利範圍第18項所記載之影像產生裝置，其中，該資料過濾電路更包含一暫存單元，用以累計多張影像之該過濾後靜態文字旗標，當連續Z張影像之過濾後靜態文字旗標均相同時，判定該過濾後靜態文字旗標為正確之旗標，以供該靜態文字偵測電路進行移動向量校正處理，其中，Z大於1小於無限大。
  20. 如申請專利範圍第16項所記載之影像產生裝置，其中該第一影像及該第二影像為一圖場或一圖框。
  21. 一種影像產生方法，包含有：接收一第二影像與一第一影像，並對兩該圖框進行移動向量估計處理，其中該第一影像及該第二影像劃分為同樣數目的區塊，且依據至少一角度來偵測該第一影像及該第二影像分別之每一區塊之畫素角度，且計算出該第一影像及該第二影像每一對應區塊具有的相同角度畫素的數目；對兩該影像進行靜態文字偵測處理，依據相同角度畫素的數目判斷該第一影像及該第二影像之每一區塊所具有的有效角度數目，比較每一區塊內之有效角度數目與一預設值，以決 定該一區塊是否包含有靜態文字，以產生一靜態文字旗標資料作為影像移動向量校正之參考；依據該靜態文字旗標資料判斷兩該影像之相對應區塊是否包含有靜態文字之全部或部分，若有則將包含靜態文字之區塊的移動向量設為零；若無則將不包含靜態文字之區塊的移動向量設為原始向量；以及根據校正後之移動向量將先前影像與第一影像進行內插影像處理，以產生至少一內插影像。
  22. 如申請專利範圍第21項所記載之影像產生方法，其中，每該影像係分為多數個區塊，且每該影像之區塊大小與數目相同。
  23. 如申請專利範圍第21項所記載之影像產生方法，其中該第一影像及該第二影像為一圖場或一圖框。
  24. 一種靜態文字偵測電路，包含有：一靜態文字角度偵測電路，接收一第一影像及一第二影像，將該第一影像及該第二影像劃分為同樣數目的區塊，且依據至少一角度來偵測該第一影像及該第二影像分別之每一區塊之畫素角度，且計算出該第一影像及該第二影像每一對應區塊具有的所有相同角度數目，再依據每一區塊的所有相同角度數目來決定每一區塊的權重值大小；以及一資料過濾電路，依據每該區塊的權重值大小，以決定該一區塊是否包含有靜態文字。
  25. 如申請專利範圍第24項所記載之靜態文字偵測電路，其中，該權重值越大的區塊，係判斷成含有靜態文字的區塊，且該權重值越小的區塊，則判斷成不含靜態文字的區塊。
  26. 如申請專利範圍第24項所記載之靜態文字偵測電路，其中，每一區塊所含有的角度數越多則表示該區塊之權重值越大，而每一區塊含有的角度數越少則表示該區塊之權重值越小。
  27. 如申請專利範圍第24項所記載之靜態文字偵測電路，其中該相同角度係表示該第一影像與第二影像的同一畫素皆具有的角度大小相同。
  28. 如申請專利範圍第24項所記載之靜態文字偵測電路，其中，該靜態文字角度偵測電路包含有：一第一靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以分別偵測該第二影像之每一區塊是否具有該N組角度；以及一第二靜態文字角度偵測單元，包含有N組角度偵測單元，該N組角度偵測單元用以偵測該第一影像之每一區塊是否具有該N組角度，其中N為正整數小於無限大其中，依據該第一、第二靜態文字角度偵測單元之偵測結果，求得該第二影像與該第一影像每一區塊所包含的總角度數目，並轉換為一初始靜態文字權重值資料。
  29. 如申請專利範圍第24項所記載之靜態文字偵測電路，其中，資料過濾電路包含有： 一消除單元，接收該初始靜態文字權重值資料，依據一預設權重規則消除該初始靜態文字權重資料中權重值較小的區塊，以產生一過濾後靜態文字旗標資料；以及一擴大單元，接收該初始靜態權重值資料，依據該預設權重規則擴大初始靜態文字權重值資料中權重值較大的區塊，以產生該過濾後靜態文字旗標資料。
  30. 如申請專利範圍第29項所記載之靜態文字偵測電路，其中，該消除單元之權重規則包含有：消去該一區塊，該一區塊總角度數僅含一種角度，且該一區塊周圍不含有多角度數的區塊，令該一區塊的文字旗標為假(false)；及/或消去該一區塊，該一區塊鄰近周圍區塊之總角度數的總和小於一預設值時，且令該一區塊的文字旗標為假.
  31. 如申請專利範圍第29項所記載之靜態文字偵測電路，其中，擴大單元的權重規則包含有：擴大該一區塊，該一區塊之左右皆為多角度數的區塊，令該一區塊的文字旗標為真(ture)；及/或擴大該一區塊，該一區塊之上下皆為多角度數的區塊，令該一區塊的文字旗標為真；及/或擴大該一區塊，該一區塊之鄰近周圍具有多角度數的總區塊數多於預設值時，令該一區塊的文字旗標為真；及/或擴大該一區塊，該一區塊鄰近周圍區塊總角度數的總和多於預設值時，令該一區塊的文字旗標為真。
TW098122102A 2009-06-30 2009-06-30 影像產生裝置、靜態文字偵測裝置及相關方法 TWI407776B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098122102A TWI407776B (zh) 2009-06-30 2009-06-30 影像產生裝置、靜態文字偵測裝置及相關方法
US12/619,337 US8503732B2 (en) 2009-06-30 2009-11-16 Image generating device, static text detecting device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098122102A TWI407776B (zh) 2009-06-30 2009-06-30 影像產生裝置、靜態文字偵測裝置及相關方法

Publications (2)

Publication Number Publication Date
TW201101806A TW201101806A (en) 2011-01-01
TWI407776B true TWI407776B (zh) 2013-09-01

Family

ID=43380302

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098122102A TWI407776B (zh) 2009-06-30 2009-06-30 影像產生裝置、靜態文字偵測裝置及相關方法

Country Status (2)

Country Link
US (1) US8503732B2 (zh)
TW (1) TWI407776B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003201136A1 (en) * 2002-02-06 2003-09-02 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
JP5574830B2 (ja) * 2010-06-03 2014-08-20 三菱電機株式会社 画像処理装置及び方法、並びに画像表示装置及び方法
US20130201404A1 (en) * 2012-02-08 2013-08-08 Chien-Ming Lu Image processing method
TW201333904A (zh) * 2012-02-14 2013-08-16 Wadoo Energy Tech Co Ltd 廣告機及其運作方法
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
CN107633247A (zh) * 2017-08-16 2018-01-26 歌尔股份有限公司 图像区域的确定方法及装置
TWI632527B (zh) 2017-11-22 2018-08-11 東友科技股份有限公司 影像擷取與輸出方法
CN114257756A (zh) 2020-09-25 2022-03-29 瑞昱半导体股份有限公司 校正移动向量的视频处理方法
US12010450B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method
US12008729B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185329B1 (en) * 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images
US6735338B1 (en) * 1999-06-30 2004-05-11 Realnetworks, Inc. System and method for generating video frames and detecting text
TWI255140B (en) * 2004-11-04 2006-05-11 Himax Tech Inc Caption detection and compensation for interlaced image
US7471830B2 (en) * 2003-03-15 2008-12-30 Samsung Electronics Co., Ltd. Preprocessing device and method for recognizing image characters

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4968132A (en) * 1989-05-24 1990-11-06 Bran Ferren Traveling matte extraction system
US4987480A (en) * 1989-07-11 1991-01-22 Massachusetts Institute Of Technology Multiscale coding of images
US5649032A (en) * 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
US6205231B1 (en) * 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
US5940139A (en) * 1996-08-07 1999-08-17 Bell Communications Research, Inc. Background extraction in a video picture
US6285797B1 (en) * 1999-04-13 2001-09-04 Sarnoff Corporation Method and apparatus for estimating digital video quality without using a reference video
JP4541482B2 (ja) * 2000-02-29 2010-09-08 キヤノン株式会社 画像処理装置及び画像処理方法
US20030011715A1 (en) * 2001-07-10 2003-01-16 Kastelic John A. Method and system for enhancing a graphic overlay on a video image
US7215827B2 (en) * 2002-03-15 2007-05-08 Hitachi Kokusai Electric Inc. Object detection method using an image-pickup device with easy detection masking region setting and object detection apparatus using the method
US7657836B2 (en) * 2002-07-25 2010-02-02 Sharp Laboratories Of America, Inc. Summarization of soccer video content
US7739584B2 (en) * 2002-08-08 2010-06-15 Zane Vella Electronic messaging synchronized to media presentation
KR100927143B1 (ko) * 2002-11-27 2009-11-18 삼성전자주식회사 움직임 검출장치 및 방법
US7535515B2 (en) * 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US7865015B2 (en) * 2006-02-22 2011-01-04 Huper Laboratories Co. Ltd. Method for video object segmentation
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
EP2061004A1 (en) * 2007-11-14 2009-05-20 Sony Corporation Object boundary accurate motion detection using hierarchical block splitting and motion segmentation
TWI353778B (en) * 2007-12-21 2011-12-01 Ind Tech Res Inst Moving object detection apparatus and method
US8121409B2 (en) * 2008-02-26 2012-02-21 Cyberlink Corp. Method for handling static text and logos in stabilized images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6185329B1 (en) * 1998-10-13 2001-02-06 Hewlett-Packard Company Automatic caption text detection and processing for digital images
US6735338B1 (en) * 1999-06-30 2004-05-11 Realnetworks, Inc. System and method for generating video frames and detecting text
US7471830B2 (en) * 2003-03-15 2008-12-30 Samsung Electronics Co., Ltd. Preprocessing device and method for recognizing image characters
TWI255140B (en) * 2004-11-04 2006-05-11 Himax Tech Inc Caption detection and compensation for interlaced image

Also Published As

Publication number Publication date
US8503732B2 (en) 2013-08-06
TW201101806A (en) 2011-01-01
US20100328532A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
TWI407776B (zh) 影像產生裝置、靜態文字偵測裝置及相關方法
US20080123743A1 (en) Interpolated frame generating method and interpolated frame generating apparatus
US8144255B2 (en) Still subtitle detection apparatus and image processing method therefor
US8184703B2 (en) Interpolated frame generating method and interpolated frame generating apparatus
JP4869049B2 (ja) 補間フレーム画像作成方法および補間フレーム画像作成装置
US20080025403A1 (en) Interpolation frame generating method and interpolation frame forming apparatus
US8467453B2 (en) Motion vector calibration circuit, image generating apparatus and method thereof
TWI408620B (zh) 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
WO2009104320A1 (ja) 映像表示装置
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
US8817869B2 (en) Image processing device and method, and image display device and method
US20080031338A1 (en) Interpolation frame generating method and interpolation frame generating apparatus
JP2012095048A (ja) 画像処理装置、画像処理方法、画像表示装置、及び画像表示方法
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
US9894367B2 (en) Multimedia device and motion estimation method thereof
JP2008245135A (ja) 補間フレーム作成方法および補間フレーム作成装置
US10587840B1 (en) Image processing method capable of deinterlacing the interlacing fields
TWI590663B (zh) 影像處理裝置及其影像處理方法
JP4354799B2 (ja) 補間画像生成方法および装置
JP5574830B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
KR102326163B1 (ko) 디스플레이장치 및 그 제어 방법
JP2008227826A (ja) 補間フレーム作成方法及び補間フレーム作成装置
WO2020075649A1 (ja) 補間フレーム生成装置及び方法
JP2010098513A (ja) 補間画像生成装置及び補間画像生成方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees