TWI502548B - 即時影像處理方法及其裝置 - Google Patents

即時影像處理方法及其裝置 Download PDF

Info

Publication number
TWI502548B
TWI502548B TW102121252A TW102121252A TWI502548B TW I502548 B TWI502548 B TW I502548B TW 102121252 A TW102121252 A TW 102121252A TW 102121252 A TW102121252 A TW 102121252A TW I502548 B TWI502548 B TW I502548B
Authority
TW
Taiwan
Prior art keywords
image
high resolution
displacement vector
resolution image
instant
Prior art date
Application number
TW102121252A
Other languages
English (en)
Other versions
TW201447814A (zh
Inventor
Jen Chih Wu
Original Assignee
Vivotek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivotek Inc filed Critical Vivotek Inc
Priority to TW102121252A priority Critical patent/TWI502548B/zh
Priority to CN201410100746.XA priority patent/CN104243794B/zh
Priority to US14/255,603 priority patent/US9172870B2/en
Publication of TW201447814A publication Critical patent/TW201447814A/zh
Application granted granted Critical
Publication of TWI502548B publication Critical patent/TWI502548B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

即時影像處理方法及其裝置
本發明係關於一種影像處理，特別是一種即時解析度運算的影像處理方法及其裝置。
現今影像處理技術之研究與改良，大多著重於提供給使用者更好的視覺體驗。而影響使用者視覺體驗的主要因素之一就是影像的解析度。此外，於手持攝影裝置及具光學變焦功能的監視器中，影響使用者視覺體驗的因素更包括了因手持攝影裝置的手震、及監視器機身移動時造成的晃動。
倘若只要獲得具高解析度並清楚的影像，於常見的數位相機及攝影機中，一般使用光學變焦及數位變焦。當使用者的要求超過了光學變焦可以支援的最大倍率時，數位變焦將會取代光學變焦。而數位變焦的變焦方式則是由內建的處理器進行模擬放大，在像素上必然有些部分是模擬產生，因此對於影像的畫質有所影響。但若只是將影像放大，並沒有提高影像的視覺清晰度，往往造成放大後的影像存在著模糊感。而影像放得越大，就越有這樣的問題。
再者，大多數使用者並不是專業的攝影人員，因 此常常於使用數位相機或攝影機時造成手震。先前有研發物理的改良方式，以減少鏡頭的震動。物理的改良方式則是於鏡頭上設置防震元件，但這種改良方式會增加成本及機身的重量。對於目前使用者對於數位相機的輕便需求，仍存在無法克服的問題。另一方面，對於解析度的要求，這種方法亦無法處理。
綜合上述，於習知影像處理方式中，雖然都有各自解決的方式，但於獲得高視覺清晰度的影像上，數位變焦仍有一定的限制。而於防止影像震動產生的模糊問題，經由加裝防震元件於鏡頭上之方式，會讓影像處理裝置之整體架構變得較為複雜、增加機身重量或提高成本等問題。
鑑於以上的問題，本發明提出一種即時影像處理裝置及其方法，用以幫助使用者於使用影像處理裝置時，可提高連續影像的解析度並同時減少震動。
本發明揭露一即時影像處理方法，其包含擷取一第一影像、一第二影像及一第三影像。再提高第一影像、第二影像及第三影像的解析度，用以分別得到一第一高析影像、一第二高析影像及一第三高析影像。並藉由第一高析影像及第二高析影像獲得第一位移向量，再由第二高析影像及第三高析影像獲得第二位移向量。並由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第三高析影像取 得一疊置高析影像。再由第一位移向量及第二位移向量獲得一補償位移向量，並根據補償位移向量產生超解析影像。
本發明再揭露一種即時影像處理裝置，其包含一影像擷取單元及一影像處理單元。影像擷取單元係用以擷取第一影像、第二影像及第三影像。影像處理單元連接影像擷取單元，執行一即時影像處理方法，以獲得超解析影像，其包含以下步驟。先擷取第一影像、第二影像及第三影像，再提高第一影像、第二影像及第三影像之解析度，分別得到第一高析影像、第二高析影像及第三高析影像。並利用第一影像、第二影像及第三影像獲得第一位移向量及第二位移向量。並由第一位移向量、第二位移向量、第一高析影像、第二高析影像及第三高析影像取得一疊置高析影像。再依據第一位移向量、第二位移向量獲得一補償位移向量，並依據補償位移向量輸出超解析影像。
以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。
30‧‧‧即時影像處理裝置
302‧‧‧影像擷取單元
304‧‧‧影像處理單元
306‧‧‧影像輸出單元
42‧‧‧第一影像
44‧‧‧第二影像
46‧‧‧第三影像
52‧‧‧第一高析影像
522‧‧‧影像內容
54‧‧‧第二高析影像
542‧‧‧第一目前影像內容
544‧‧‧第一先前影像位置
56‧‧‧第三高析影像
562‧‧‧第二目前影像內容
564‧‧‧第二先前影像位置
602‧‧‧像素位置
604‧‧‧像素位置
606‧‧‧像素位置
608‧‧‧像素位置
62‧‧‧覆蓋像素
70‧‧‧即時影像處理裝置
702‧‧‧影像擷取單元
704‧‧‧影像處理單元
706‧‧‧影像輸出單元
72‧‧‧影像標的物
80‧‧‧原始影像
82‧‧‧高析影像
822‧‧‧空白像素
90‧‧‧第一高析影像
902‧‧‧第一區塊
92‧‧‧第二高析影像
922‧‧‧第二區塊
924‧‧‧第一目前影像內容
926‧‧‧第一先前影像位置
94‧‧‧第三高析影像
942‧‧‧第三區塊
944‧‧‧第二目前影像內容
946‧‧‧第二先前影像位置
第1圖，係為本發明一實施例之即時影像處理方法之流程圖。
第2圖，係為本發明一實施例之即時影像處理裝置的架構 圖。
第3圖，係為本發明一實施例之即時影像處理方法中影像內容進行位移的示意圖。
第4圖，係為本發明一實施例之即時影像處理方法中影像內容位移比對的示意圖。
第5圖，係為本發明一實施例之即時影像處理方法中疊置高析影像其像素重疊的示意圖。
第6圖，係為本發明一實施例之即時影像處理裝置的使用示意圖。
第7圖，係為本發明一實施例之即時影像處理方法中獲得高析影像的示意圖。
第8圖，係為本發明一實施例之即時影像處理方法中移動向量計算的示意圖。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
鑑於習知技術已存在之問題，本發明提出一種即時影像處理方法及其裝置。其中即時影像處理裝置可為一數 位相機、一攝影機或一監視器等，或是任何具有如前述可以執行本發明所提出之即時影像處理方法和即時影像處理方法的裝置。且影像處理裝置也可以應用於手持設備拍攝、自動移動設備拍攝或是各種進行移動之裝置進行監視或是觀察用途。
請參考『第1圖』，其係為本發明一實施例之即時影像處理方法之流程圖。其中即時影像處理方法可包含下列步驟：擷取一第一影像、一第二影像及一第三影像(步驟S100)；提高第一影像、第二影像及第三影像之解析度，得到一第一高析影像、一第二高析影像及一第三高析影像(步驟S110)；利用第一高析影像、第二高析影像及第三高析影像，得到一第一位移向量及一第二位移向量(步驟S120)；利用第一位移向量及第二位移向量，結合第一高析影像、第二高析影像及第三高析影像，獲得一疊置高析影像(步驟S130)；在經由計算第一位移向量及第二位移向量後，獲得一補償位移向量(步驟S140)；再利用補償位移向量，結合疊置高析影像，獲得一超解析影像(步驟S150)。
在步驟S100中，請一併參照『第2圖』及『第3圖』，其中第一影像42、第二影像44及第三影像46，係經由即時影像處理裝置30中的影像擷取單元302進行擷取。影像擷取單元302可為數位相機之感光元件，但並不以此為限。而第一影像42、第二影像44及第三影像46具有同一攝 影範圍及時間上之先後相依性，於本實施例中，第一影像42、第二影像44及第三影像46，其為在時間軸上依序擷取之影像，但並不以此為限。擷取影像時，並不以三張為限。但至少需擷取兩張影像以上，擷取越多影像加入即時影像處理方法可讓最後產生之超解析影像更為精細。
而在步驟S110中，第一影像42、第二影像44和第三影像46分別擁有多個原始像素點，而提高解析度的做法可以為但不限於在原始像素點之間將多個空白像素點***。請參閱『第4圖』，其中第一高析影像52、第二高析影像54和第三高析影像56，係為第一影像42、第二影像44和第三影像46***空白像素後產生之高析影像。值得注意的是，放大倍率不一定為長與寬的比值採一比一的正方形式的提高解析度，也可以為長方形式的提高解析度，也就是說，可以將所擷取到的正方形影像，在一軸向(如水平軸)放大三倍形成長軸，而另一軸(如垂直軸)放大二倍形成寬軸，提高解析度後之影像即成為長方形，除此之外，提高解析度後之長寬比例可以是但不限於十六比九或十六比十的影像。
接著於步驟S120中，請同時參閱『第4圖』，於第一高析影像52中，鎖定一影像內容522，對影像內容522於第二高析影像54及第三高析影像56中進行持續追蹤。於第二高析影像54中，影像內容522之位置已經移動至第一目前影像內容544之位置，先前於第一高析影像52中之位置以 第一先前影像位置542用虛線進行標示，進行座標比對計算後得出第一位移向量。於第三高析影像56中，影像內容522之位置已經移動至第二目前影像內容564之位置，先前於第二高析影像54中之位置以第二先前影像位置562用虛線進行標示，進行座標比對計算後得出第二位移向量。於影像比對時，取得位移向量的方式可以是但不限於光流法(Optical flow)或區塊移動估計法(Block Motion Estimation，BME)，其詳細說明將以後續圖示及敘述說明。
再者，於步驟S130中，請繼續參閱『第4圖』，依據第一位移向量將第二高析影像54中第一目前影像內容544，進行反向調整以對應第一高析影像52之內容，即將第一目前影像內容544調整回第一先前影像位置542，以對應第一高析影像52。同樣地，依據第一位移向量及第二位移向量將第三高析影像56中第二目前影像內容564，進行兩次反向調整以對應第一高析影像52之內容，即將第二目前影像內容564調整回第一先前影像位置542，以對應第一高析影像52。重疊經過調整的第二高析影像54和第三高析影像56於第一高析影像52上，而獲得疊置高析影像。由於疊置高析影像包含了第一高析影像52、第二高析影像54和第三高析影像56，因此一併包含了來自第一影像42、第二影像44和第三影像46的多個原始像素點和因為重疊所產生的多個剩餘空白像素點。請參閱『第5圖』，經過重疊後，有部分像素會跨越於像 素與像素之間，如覆蓋像素62，跨越了像素位置602、像素位置604、像素位置606及像素位置608。因此需依據覆蓋像素62的亮度(彩色畫面另包括彩度)，計算鄰近剩餘空白像素點的亮度(彩色畫面另包括彩度)。而計算剩餘空白像素點的值的方法為，依據要計算的剩餘空白像素點周圍的多個原始像素點，使用內插法計算。
而在步驟S140中，利用第一位移向量及第二位移向量，獲得補償位移向量。本發明一實施例之即時影像處理方法中補償向量計算之流程可整理為以下公式組。
其中i、n及k為自然數，且為第i影像相對於第(i-1)影像的位移向量，為第i影像的補償向量，Wn-1 與Wn 為以任意數表示的權重值，並採用絕對值總合法(Sum of absolute differences,SAD)決定k值，絕對值總合法公式如下
於絕對值總合法公式中，A(x,y)係代表A影像中對應座標(x,y)的像素值，B(x,y)係代表B影像中對應座標(x,y)的像素值，若SAD(第j影像，第(j-1)影像)大於一門檻值則k 為j，j為自然數，否則k為1，該門檻值為任意數。在計算第三影像及後續影像的補償向量時，Wn-1 為一常數Wa ，Wn 亦為一常數Wb 。
在影像處理裝置初始擷取影像時，由於第一影像之前並沒有任何影像，故沒有相對於前一張影像位移向量，其補償向量 =(0,0) 。由於為零，令其不佔權重，即W1 =0。在上述實施例中，令第一位移向量為V2 ，第二位移向量為V3 。關於第二張影像的補償向量，由與W1 與上式可得出 =V 2 ，無論W2 值為何。步驟S140是要計算出第三影像的補償向量。
權重值W，在計算第三影像及後續影像的補償向量時，Wn-1 為一常數Wa ，Wn 亦為一常數Wb ，且Wa 與Wb 可以相同也可以不同。若要讓經向量補償後的結果更接近現況，可另Wb 大於Wa ，例如Wb =0.7，Wa =0.3。若要讓經向量補償後的結果更穩定，則可另Wb 小於Wa ，例如Wb =0.3，Wa =0.7。上述權重值可由使用者決定。
經過上述絕對值總合法公式運算後，若結果大於一門檻值，則影像序列重置，下一張影像起重新成為第一影像、第二影像，再如上述計算補償向量。
最後，在步驟S150中，利用S140得到的補償向量將S130產生之疊置高析影像進行位移後，即獲得超解析影像。獲得超解析影像後，可將其輸出。
在本實施例中，由於第一影像前沒有影像可供疊置處理，故不輸出。由於第二影像前只有第一影像可供疊置處理，故亦不輸出。
在本發明另一實施例中，第一影像可用傳統的數位放大(如內插法)後輸出，第二影像可採只與第一影像作上述疊置等處理後輸出。如此雖前兩張輸出影像品質較差，但能讓使用者感覺輸出的影像較順暢。
復請參閱『第2圖』，其係為根據本揭露一實施例之即時影像處理裝置。其中即時影像處理裝置30包含有一影像擷取單元302、一影像處理單元304及一影像輸出單元306。其中根據本發明一實施例中，影像擷取單元302傳送影像資料至影像處理單元304，影像處理單元304輸出影像資料至影像輸出單元306。
影像擷取單元302可為數位相機、數位攝影裝置或監視器系統之感光元件。舉例來說可以是電荷耦合元件(Charge Coupled Device，CCD)，或是互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)感光元件，用以擷取影像並將其轉換成為數位資料。
影像處理單元304則用於執行即時影像處理方法，而即時影像處理方法結合了獲得超解析影像和穩定高解析影像的程序。影像處理單元304可以是具有影像處理功能的處理器，舉例來說可以是中央處理器(Central Processing Unit,CPU)或是數位相機或是數位攝影機的影像處理器等，而在執行完即時影像處理方法後，影像處理單元304會依據使用者的意願進行一個將影壓縮的影像壓縮程序，如產生JPEG或GIF等影像檔案。
影像輸出單元306則是將影像處理單元304獲得的超解析影像傳送至目標裝置上，目標裝置可為連接於影像輸出單元306之儲存設備，如記憶卡或硬碟等，更可為經由網路連線之遠端儲存設備。其中傳送的方式可以是無線或是有線，有線的傳送方式可以為實體的網路線或是通用串列匯流排(Universal Serial Bus,USB)的連結來傳送超解析影像給目標裝置；無線的傳送方式可以為無線保真(Wireless Fidelity,WiFi)或是藍牙(Blue Tooth)等都可以將超解析影像傳送給目標裝置。
請參考『第6圖』，其係為本發明一實施例之即時影像處理裝置的範例圖。其包括即時影像處理裝置70及一影像標的物72。即時影像處理裝置70之相關資料已於『第2圖』中進行敘述，故不再贅述。而影像標的物72為使用者欲拍攝之標的。
舉例來說，即時影像處理裝置70為機場之監視器。由於機場需要高度保安，其監視器需具備高倍率光學放大功能，於高倍率光學放大時因自然環境因素產生的機體震動都將被放大至影像上，因此可利用影像晃動的現象實施本 發明產出高解析影像。影像標的物72為機場之內部空間，影像擷取單元702包含具有光學變焦之鏡頭。影像擷取單元702對影像標的物72進行了影像擷取，取得了第一影像、第二影像及第三影像並傳送至影像處理單元704。影像處理單元704依據一預設或動態改變的倍率，將空白像素***原始像素點中進行了倍率放大後，各別獲得了第一高析影像、第二高析影像及第三高析影像。
而將第一高析影像與第二高析影像經由光流法進行比較後，得到第一位移向量V2 。同樣對於第二高析影像與第三高析影像進行比較，得到第二位移向量V3 。再利用第一位移向量及第二位移向量為參考基準，利用影像中的相同標的將第一高析影像與第二高析影像與第三高析影像至少部分區域進行重疊，相同標的為影像中重複出現的物件等，得到疊置高析影像。再如前述使用內插法計算剩餘的空白像素點。並利用第一位移向量及第二位移向量代入前述公式，取得第三高析影像的補償位移向量。最後將整張疊置高析影像參考補償位移向量進行位移後，獲得超解析影像。更詳細之演算步驟，將於下方以圖示說明。並輸出至影像輸出單元706，其可為保全室裡之閉路電視。
前述得到位移向量的演算法不限定為光流法，也可以是習知此技藝者所熟知的其他方法。
再以另一例說明，即時影像處理裝置70為手持 式之數位相機。由於移動時進行攝影往往會產生手震，因此可利用手震造成影像晃動的現象實施本發明產出高解析影像。影像標的物72為動物、人物或靜態物件，影像擷取單元702包含具有光學變焦之鏡頭。影像擷取單元702對影像標的物72進行了影像擷取，取得了第一影像、第二影像及第三影像並傳送至影像處理單元704。影像處理單元704依據一預設或動態改變的倍率，將空白像素***原始像素點中進行了倍率放大後，各別獲得了第一高析影像、第二高析影像及第三高析影像。
而將第一高析影像與第二高析影像經由像素差值演算法進行比較後，得到第一位移向量。同樣對於第二高析影像與第三高析影像進行比較，得到第二位移向量。再利用第一位移向量及第二位移向量為參考基準，利用影像中的相同標的將第一高析影像與第二高析影像與第三高析影像至少部分區域進行重疊，相同標的為影像中重複出現的物件等，得到疊置高析影像。再如前述使用內插法計算剩餘的空白像素點。並利用第一位移向量及第二位移向量代入前述公式，取得第三高析影像的補償位移向量。最後將整張疊置高析影像參考補償位移向量進行位移後，獲得超解析影像。更詳細之演算步驟，將於下方以圖示說明。並輸出至影像輸出單元706，其可為數位相機之觀景液晶螢幕。
前述得到位移向量的演算法不限定為像素差值 演算法，也可以是習知此技藝者所熟知的其他方法。
請參考『第7圖』，其係為本發明一實施例之即時影像處理方法中獲得高析影像的示意圖。其中包括原始影像80及高析影像的局部82。原始影像80之部分像素如圖上所示，係為一色塊，而將原始影像80進行四倍放大後得到高析影像。於高析影像的局部82中，可發現於色塊經過影像放大演算法(Scaling Algorithm)之計算後，填入數個空白像素822進行填補。
請參考『第8圖』，其係為本發明一實施例之即時影像處理方法中移動向量計算的示意圖。圖為監視器之畫面，其畫面已經經過四倍倍率放大為高析影像，其放大之過程已於先前敘述，故不再贅述。其包括第一高析影像90、第二高析影像92及第三高析影像94，第一高析影像90、第二高析影像92及第三高析影像94，其為在時間軸上依序擷取之影像，第一高析影像90之時間早於第二高析影像92，而第二高析影像92之時間早於第三高析影像94。本例中係以區塊移動估計(Block Motion Estimation，BME)進行移動向量計算，區塊移動估計(Block Motion Estimation，BME)之原則為針對錄影畫面中固定區域之像素進行偵測，即鎖定第一區塊902、第二區塊922及第三區塊942。
於第一高析影像90中，鎖定第一區塊902，對第一區塊902中的影像內容904於第二高析影像92及第三高析 影像94中進行持續追蹤。於第二高析影像92中，第二區塊922中的影像內容904之位置，已經移動至第一目前影像內容926之位置，先前於第一高析影像90中之位置以第一先前影像位置924用虛線進行標示，進行座標比對計算後得出第一位移向量V2 為(3,3)。於第三高析影像94中，第三區塊942中的影像內容926之位置已經移動至第二目前影像內容946之位置，先前於第二高析影像92中之位置以第二先前影像位置944用虛線進行標示，進行座標比對計算後得出第二位移向量V3 為(5,5)。要特別說明的是，計算出的位移向量不限定只能包含整數，亦可包含小數。
請繼續參閱『第8圖』，依據第一位移向量(3,3)將第二高析影像92中第一目前影像內容926，進行反向調整以對應第一高析影像90之內容，即將第一目前影像內容926調整回第一先前影像位置924，以對應第一高析影像90。同樣地，依據第一位移向量V2 及第二位移向量V3 將第三高析影像94中第二目前影像內容946，進行兩次反向調整以對應第一高析影像90之內容，即將第二目前影像內容946調整回第一先前影像位置924，以對應第一高析影像90。重疊經過調整的第二高析影像92和第三高析影像94於第一高析影像90上，而獲得疊置高析影像。由於疊置高析影像包含了第一高析影像90、第二高析影像92和第三高析影像94，因此一併包含了來自第一影像42、第二影像44和第三影像46的多個原 始像素點和因為重疊所產生的多個剩餘空白像素點。並依據多個原始像素點計算剩餘空白像素點，其計算方式已於先前敘述，故不再贅述。
接著依據先前於步驟S140中敘述之公式，計算補償向量。本例中第一位移向量V2 ' 為(3,3)，第二位移向量V3 ' 為(5,5)。因V1 ' 為(0,0)，故V2 為(3,3)，V3 為(8,8)。為(3,3)。如先前所述，令Wa 為0.5，令Wb 為0.5。帶入公式後得 為(5.5,5.5)即為第三高析影像的補償位移向量。即最後將整張疊置高析影像進行(-5,5,-5,5)的位移後，獲得超解析影像。需注意的是，由於補償位移向量包含小數，故第三高析影像依此補償位移向量進行位移運算時必須配合內插法進行運算。
將疊置高析影像以上列函式得出之補償向量進行位移後，即得到所需之高解析影像。其中前述之第一位移向量及第二位移向量之計算方式，並不以區塊移動估計(Block Motion Estimation，BME)法為限，亦可利用光流法。而區塊移動估計(Block Motion Estimation，BME)法可利用像素差值演算法進行計算，但亦並不以此為限。
綜上所述，本發明提供之即時影像處理方法及其裝置可以將提高影像解析度並輸出超解析影像的程序和穩定 超解析影像的程序進行融合。可以同時輸出和穩定超解析影像，而不會讓使用者有延遲的感覺。本發明在一個影像處理器中可以同時做到輸出和穩定超解析影像的功效，卻不必增加數位相機、數位攝影裝置或是監視器系統的硬體成本。也無須因為將兩個程序分開執行而花費較久的時間，所以同時也達到了降低處理影像的時間成本。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

Claims (11)

  1. 一種即時影像處理方法，該即時影像處理方法包含：擷取一第一影像、一第二影像及一第三影像；提高該第一影像、該第二影像及該第三影像的解析度以分別得到一第一高析影像、一第二高析影像及一第三高析影像；利用該第一高析影像、該第二高析影像及該第三高析影像獲得一第一位移向量及一第二位移向量；依據該第一位移向量、該第二位移向量、該第一高析影像、該第二高析影像及該第三高析影像獲得一疊置高析影像，其中該疊置高析影像具有至少一覆蓋像素，且該至少一覆蓋像素與周圍相鄰之像素具有彼此重疊之區域；依據該第一位移向量、及該第二位移向量獲得一補償位移向量；以及依據該補償位移向量輸出一超解析影像；其中該第一影像、該第二影像及該第三影像各別包含了該些原始像素點，依據該第一位移向量、該第二位移向量、該第一高析影像、該第二高析影像及該第三高析影像獲得該疊置高析影像的步驟包含：依據該第一位移向量與該第二位移向量將該第一高析影像與該第二高析影像及該第三高析影像重疊，獲得該疊置高析影像，該疊置高析影像包含該第一影像、該第二 影像與該第三影像的該些原始像素點、以及多個剩餘空白像素點；以及依據該第一影像、該第二影像與該第三影像的該些原始像素點而獲得該些剩餘空白像素點的值。
  2. 如請求項1所述之即時影像處理方法，其中該第一影像、該第二影像及該第三影像各別包含了多個原始像素點，提高該第一影像、該第二影像及該第三影像的解析度以分別得到該第一高析影像、該第二高析影像及該第三高析影像為依據一放大倍率於該第一影像、該第二影像及該第三影像的該些原始像素點間***多個高析空白像素點。
  3. 如請求項1所述之即時影像處理方法，其中該各別獲得該第一高析影像、該第二高析影像及該第三高析影像之該第一位移向量、及該第二位移向量包含：使用區塊移動估計法(Block Motion Estimation，BME)計算該些位移向量或是使用光流法(optical flow)計算該些位移向量。
  4. 如請求項1所述之即時影像處理方法，其中獲得該補償向量的方法為以下一公式組： 其中i、n及k為自然數，為第n影像的補償向量，且為第i影像相對於第(i-1)影像的位移向量，Wn-1 與Wn 為以任意數表示的權重值，在計算該第三影像及該第三影像之後續影像的補償向量時，Wn-1 為一常數Wa ，Wn 亦為一常數Wb 。
  5. 如請求項4所述之即時影像處理方法，其中該公式組中的k值係由絕對值總合法(Sum of absolute differences,SAD)決定，絕對值總合法公式如下， 其中A(x,y)係代表A影像中對應座標(x,y)的像素值，B(x,y)係代表B影像中對應座標(x,y)的像素值，若SAD(第j影像，第(j-1)影像)大於一門檻值則k為j，否則k為1，且j係為自然數，該門檻值為任意數。
  6. 一種即時影像處理裝置，包含：一影像擷取單元，用以擷取一第一影像、一第二影像、及一第三影像；以及 一影像處理單元，連接該影像擷取單元，執行一即時影像處理方法，用以獲得一超解析影像，包含：擷取該第一影像、該第二影像、及該第三影像；提高該第一影像、該第二影像、及該第三影像的解析度以分別得到一第一高析影像、一第二高析影像及一第三高析影像；利用該第一高析影像、該第二高析影像、及該第三高析影像獲得一第一位移向量、一第二位移向量；依據該第一位移向量、該第二位移向量、該第一高析影像、該第二高析影像、及該第三高析影像獲得一疊置高析影像，其中該疊置高析影像具有至少一覆蓋像素，且該至少一覆蓋像素與周圍相鄰之像素具有彼此重疊之區域；依據該第一位移向量、該第二位移向量獲得一補償位移向量；以及依據該補償位移向量輸出一超解析影像；其中該第一影像、該第二影像及該第三影像各別包含了該些原始像素點，且該即時影像處理方法更包含：依據該第一位移向量與該第二位移向量將該第一高析影像與該第二高析影像及該第三高析影像重疊，獲得該疊置高析影像，該疊置高析影像包含該第一影像、該第二影像與該第三影像的該些原始像素點、以及多個剩餘空白像素點；以及 依據該第一影像、該第二影像與該第三影像的該些原始像素點而獲得該些剩餘空白像素點的值。
  7. 如請求項6所述之即時影像處理裝置，其中該即時影像處理裝置更含有一輸出單元，連接該影像處理單元，用以輸出該超解析影像。
  8. 如請求項6所述之即時影像處理裝置，其中該影像處理單元另執行一影像壓縮程序。
  9. 如請求項6所述之即時影像處理裝置，其中該影像擷取單元是一光學變焦影像擷取單元。
  10. 如請求項6所述之即時影像處理裝置，其中該補償向量係利用以下一公式組獲得： 其中i、n及k為自然數，為第n影像的補償向量，且為第i影像相對於第(i-1)影像的位移向量，Wn-1 與Wn 為以任意數表示的權重值，在計算該第三影像及該第三影像之後續影像的補償向量時，Wn-1 為一常數Wa ，Wn 亦為一常數Wb 。
  11. 如請求項10所述之即時影像處理方法，其中該公式組中的k值係由絕對值總合法(Sum of absolute differences,SAD)決定，絕對值總合法公式如下， 其中A(x,y)係代表A影像中對應座標(x,y)的像素值，B(x,y)係代表B影像中對應座標(x,y)的像素值，若SAD(第j影像，第(j-1)影像)大於一門檻值則k為j，否則k為1，且j係為自然數，該門檻值為任意數。
TW102121252A 2013-06-14 2013-06-14 即時影像處理方法及其裝置 TWI502548B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102121252A TWI502548B (zh) 2013-06-14 2013-06-14 即時影像處理方法及其裝置
CN201410100746.XA CN104243794B (zh) 2013-06-14 2014-03-18 即时影像处理方法及其装置
US14/255,603 US9172870B2 (en) 2013-06-14 2014-04-17 Real-time image processing method and device enhancing the resolution of successive images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102121252A TWI502548B (zh) 2013-06-14 2013-06-14 即時影像處理方法及其裝置

Publications (2)

Publication Number Publication Date
TW201447814A TW201447814A (zh) 2014-12-16
TWI502548B true TWI502548B (zh) 2015-10-01

Family

ID=52018908

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102121252A TWI502548B (zh) 2013-06-14 2013-06-14 即時影像處理方法及其裝置

Country Status (3)

Country Link
US (1) US9172870B2 (zh)
CN (1) CN104243794B (zh)
TW (1) TWI502548B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI588774B (zh) * 2016-07-26 2017-06-21 Nat Chung Shan Inst Of Science And Tech Programmable instant image preprocessing device and method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011121332A1 (de) * 2011-12-16 2013-06-20 Testo Ag Verfahren zur Erzeugung von SR-Bildern mit verbesserter Bildauflösung und Messvorrichtung
US9282253B2 (en) 2014-02-18 2016-03-08 Qualcomm Technologies, Inc. System and method for multiple-frame based super resolution interpolation for digital cameras
KR102352681B1 (ko) * 2015-07-27 2022-01-18 삼성전자주식회사 동영상 안정화 방법 및 이를 위한 전자 장치
TWI554105B (zh) * 2015-11-17 2016-10-11 緯創資通股份有限公司 電子裝置與影像處理方法
US9888179B1 (en) * 2016-09-19 2018-02-06 Google Llc Video stabilization for mobile devices
US10621446B2 (en) * 2016-12-22 2020-04-14 Texas Instruments Incorporated Handling perspective magnification in optical flow processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053346A1 (en) * 2008-09-03 2010-03-04 Tomoo Mitsunaga Image Processing Apparatus, Imaging Apparatus, Solid-State Imaging Device, Image Processing Method and Program
TW201023616A (en) * 2008-12-03 2010-06-16 Altek Corp Method for improving image resolution
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
TW201203263A (en) * 2010-05-21 2012-01-16 Sandisk Corp Erase and programming techniques to reduce the widening of state distributions in non-volatile memories
TW201207770A (en) * 2010-08-13 2012-02-16 Primax Electronics Ltd Method for generating high resolution image
TW201246125A (en) * 2011-05-13 2012-11-16 Altek Corp Digital image processing device and processing method thereof

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7239428B2 (en) * 2001-06-11 2007-07-03 Solectronics, Llc Method of super image resolution
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
JP4818031B2 (ja) * 2005-10-27 2011-11-16 キヤノン株式会社 画像処理装置及び画像処理方法
US8345158B2 (en) * 2008-03-21 2013-01-01 Sony Corporation Merging video with time-decimated high-resolution imagery to form high-resolution video frames
US20140072242A1 (en) * 2012-09-10 2014-03-13 Hao Wei Method for increasing image resolution

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053346A1 (en) * 2008-09-03 2010-03-04 Tomoo Mitsunaga Image Processing Apparatus, Imaging Apparatus, Solid-State Imaging Device, Image Processing Method and Program
TW201023616A (en) * 2008-12-03 2010-06-16 Altek Corp Method for improving image resolution
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
TW201203263A (en) * 2010-05-21 2012-01-16 Sandisk Corp Erase and programming techniques to reduce the widening of state distributions in non-volatile memories
TW201207770A (en) * 2010-08-13 2012-02-16 Primax Electronics Ltd Method for generating high resolution image
TW201246125A (en) * 2011-05-13 2012-11-16 Altek Corp Digital image processing device and processing method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI588774B (zh) * 2016-07-26 2017-06-21 Nat Chung Shan Inst Of Science And Tech Programmable instant image preprocessing device and method

Also Published As

Publication number Publication date
US20140368682A1 (en) 2014-12-18
US9172870B2 (en) 2015-10-27
CN104243794A (zh) 2014-12-24
TW201447814A (zh) 2014-12-16
CN104243794B (zh) 2017-06-27

Similar Documents

Publication Publication Date Title
TWI502548B (zh) 即時影像處理方法及其裝置
JP6100089B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
KR100994063B1 (ko) 화상처리장치, 화상처리방법 및, 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5903529B2 (ja) 撮像装置、撮像方法及び画像処理装置
JP2009100373A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
KR101465112B1 (ko) 카메라 시스템
TWI554108B (zh) 電子裝置及影像處理方法
JP6541327B2 (ja) 画像処理装置、画像処理方法およびプログラム
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
US8625933B2 (en) Image processing apparatus and method for the same
JP2015154334A (ja) 撮像装置、その制御方法、および制御プログラム
JP6115316B2 (ja) 画像処理システム、撮像装置およびプログラム
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
JP5161939B2 (ja) 画像処理装置、撮像システム、及び画像処理装置の制御方法
CN109218602A (zh) 影像撷取装置、影像处理方法及电子装置
JP2015041819A (ja) 撮像装置およびその制御方法、プログラム並びに記憶媒体
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP7262940B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6218520B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014236244A (ja) 画像処理装置、画像処理プログラム、およびデジタルカメラ
KR101567668B1 (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법
JP2017126889A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム