TWI491258B - 決定移動向量的方法及其相關裝置 - Google Patents

決定移動向量的方法及其相關裝置 Download PDF

Info

Publication number
TWI491258B
TWI491258B TW097123110A TW97123110A TWI491258B TW I491258 B TWI491258 B TW I491258B TW 097123110 A TW097123110 A TW 097123110A TW 97123110 A TW97123110 A TW 97123110A TW I491258 B TWI491258 B TW I491258B
Authority
TW
Taiwan
Prior art keywords
block
motion vector
image
interpolated
candidate motion
Prior art date
Application number
TW097123110A
Other languages
English (en)
Other versions
TW201002065A (en
Inventor
Chung Yi Chen
Su Chun Wang
Original Assignee
Mstar Semiconductor Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mstar Semiconductor Inc filed Critical Mstar Semiconductor Inc
Priority to TW097123110A priority Critical patent/TWI491258B/zh
Priority to US12/366,684 priority patent/US8437399B2/en
Publication of TW201002065A publication Critical patent/TW201002065A/zh
Application granted granted Critical
Publication of TWI491258B publication Critical patent/TWI491258B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Description

決定移動向量的方法及其相關裝置
本發明係指一種影像處理機制,尤指一種依據不同區塊尺寸執行區塊比對來決定移動向量的方法及裝置。
目前在移動估測(Motion Estimation)與移動補償(Motion Compensation)技術領域,一般採用區塊比對的機制來決定出較佳的移動向量(Motion Vector),而對於區塊比對機制來說,會使用單一大小的區塊範圍來進行區塊比對,而所採用的區塊範圍則會影響到移動向量的決定結果。一般而言,當所使用的區塊尺寸較小時,容易找到多個影像區塊極為相似而造成所決定之移動向量是錯誤的,亦即,所決定的移動向量並非對應到實際影像物件的移動方向;反之,當所使用的區塊尺寸較大時,雖然較不易決定出錯誤的移動向量,但卻較不易找到相似的影像區塊,所以,即便決定出一移動向量,然而,利用該移動向量所插補出的影像品質可能會較差。是故,習知機制無論係採用單一大區塊或單一小區塊來進行區塊比對以決定目標移動向量皆有其困難之處。
因此,本發明的目的之一在於提供一種依據不同區塊尺寸所進行之區塊比對運作產生的移動向量來決定一目標移動向量的方法及相關裝置,以解決上述所說之問題。
依據本發明的實施例,其係揭露一種決定移動向量的方法。該方法包含有下列步驟:依據一第一區塊尺寸執行一區塊比對來產生一待插補影像區塊之一第一候選移動向量;依據一第二區塊尺寸執行另一區塊比對來產生該待插補影像區塊之一第二候選移動向量,其中該第二區塊尺寸小於該第一區塊尺寸,該第二區塊尺寸等於該待插補影像區塊尺寸;以依據該第一、第二候選移動向量之其中之一來決定該待插補影像區塊之一目標移動向量。
依據本發明的實施例,其另揭露一種決定移動向量的裝置。該裝置包含有一第一產生電路,用來依據一第一區塊尺寸執行一區塊比對來產生一待插補影像區塊之一第一候選移動向量;一第二產生電路,用來依據一第二區塊尺寸執行另一區塊比對來產生該待插補影像區塊之一第二候選移動向量,其中該第二區塊尺寸小於該第一區塊尺寸,該第二區塊尺寸等於該待補影像區塊尺寸;以及一決定電路,耦接於該第一產生電路與該第二產生電路,用來依據該第一、第二候選移動向量之其中之一來決定該待插補影像區塊之一目標移動向量。
為使讀者能夠輕易了解本發明的精神,首先,先對使用不同區塊尺寸進行區塊比對的狀況加以說明之;以下將分別以第1圖與第2圖來說明使用不同區塊尺寸進行區塊比對的例子。請參照 第1圖,第1圖是使用一大區塊尺寸對不同影像資料I1 與I2 進行區塊比對的範例示意圖。在第1圖左半部中,三角形圖案P1 、P2 係為時間點t1 至時間點t2 時影像資料I1 中靜止的背景影像,而矩形圖案P3 則是一移動中的影像物件,由第1圖可知,若以影像區塊10的尺寸大小作為一區塊尺寸來進行區塊比對,實際上難以找到與影像區塊10相像的影像區塊,這是因為原先影像區塊10的範圍較大且同時涵蓋到移動影像與靜止影像。反之,在第1圖右半部中,因為矩形圖案P4 、P5 是移動中的影像物件,且影像區塊15並無涵蓋到移動影像與靜止影像,所以此時採用大尺寸的影像區塊來進行區塊比對將不會產生問題,例如,其可在時間點t2 '的畫面中找到與時間點t1 '的畫面中影像區塊15相像的影像區塊16。
對於採用小區塊尺寸進行區塊比對的例子,請參照第2圖,第2圖是使用一小區塊尺寸對第1圖所示之影像資料I1 與I2 執行區塊比對的範例示意圖。在第2圖中,請注意到,對處理影像資料I1 來說,其係以小區塊尺寸來執行區塊比對,而非採用第1圖所示之大區塊尺寸來進行區塊比對,例如,其係以影像區塊20的範圍作為一區塊尺寸來進行區塊比對。如第2圖左半部所示,時間點t2 上可找到與影像區塊20相近的影像區塊21;然而,若同樣以相同尺寸的區塊來對影像資料I2 進行區塊比對,則如第2圖右半部所示,由於圖案P4 與P5 所代表的影像本身極為相像,因此,將會於時間點t2 '上找到與時間點t1 '之影像區塊25相像的兩影 像區塊26、27,這可能會誤判矩形圖案P4 係由時間點t1 '上的影像區塊25移動至時間點t2 '上的影像區塊27,然而,由第2圖中明顯可知,矩形圖案P4 在時間點t2 '時實際上應位於影像區塊26。
為達到更好的影像品質,本發明結合上述大、小區塊尺寸的區塊比對運作產生不同的候選移動向量,並針對不同的畫面狀況依據所產生之候選移動向量的其中之一來決定一待插補待像區塊的目標移動向量。請參照第3圖,第3圖是本發明一實施例決定移動向量之裝置300的示意圖。裝置300在本實施例中係應用於依序的第一和第二圖框間插補出一第三圖框,該第一圖框經區分為複數第一區塊尺寸的第一影像區塊及複數第二區塊尺寸的第二影像區塊、該第二圖框經區分為複數第一區塊尺寸的第三影像區塊及複數第二區塊尺寸的第四影像區塊,而該第三圖框經區分為複數待插補影像區塊;裝置300包含有第一產生電路305、第二產生電路310與決定電路315,其中第一產生電路305依據一第一區塊尺寸針對該等第一影像區塊及該等第三影像區塊執行區塊比對來產生一待插補影像區塊的第一候選移動向量MV1 ,而第二產生電路310則依據一第二區塊尺寸針對該等第二影像區塊及該等第四影像區塊執行另一區塊比對來產生該待插補影像區塊的第二候選移動向量MV2 ,以及決定電路315係依據第一、第二候選移動向量MV1 與MV2 的其中之一來決定該待插補影像區塊的一目標移動向量MV。在本實施例中,第二區塊尺寸係為該待插補影像區塊的區塊尺寸並小於第一區塊尺寸,亦即,第一區塊尺寸係一大 區塊尺寸而第二區塊尺寸係一小區塊尺寸,且本實施例係將第一區塊尺寸設計為第二區塊尺寸的整數倍。此外,以下在說明裝置300的運作時,係舉裝置300處理具有鏡頭追蹤影像物件的影像畫面為範例來加以說明,當然,裝置300亦可適用於處理其他具有移動物件的影像畫面。請參照第4圖,第4圖是第3圖所示之裝置300處理具有鏡頭追蹤影像物件之影像畫面的示意圖。時間點t0 與t2 的兩畫面F0 、F2 是原始資料的影像畫面,而時間點t1 的畫面F1 則是裝置300理想上欲插補出的影像畫面。因為鏡頭係追蹤一移動物件(moving object)OBJ1 ,所以,可見到移動物件OBJ1 在連續畫面F0 、F2 中幾乎是位在畫面中相同的空間位置,因此,可預期移動物件OBJ1 在畫面F1 中應位於相同的空間位置。反之,背景的靜止物件OBJ2 在畫面F0 、F2 中位於不同的空間位置,所以,可預期靜止物件OBJ2 在畫面F1 中應位於相對的空間位置上。
而實作上,本實施例為了插補出影像畫面F1 ,必須決定出每一待插補影像區塊的目標移動向量。請搭配參照第5A圖,第5A圖是第3圖所示之裝置300決定一移動向量的第一範例流程圖,以決定待插補影像區塊MB1 的移動向量為例來說,第一產生電路305會以大區塊405(包含具有區塊MB1 尺寸大小的八個小區塊)的尺寸來執行區塊比對以產生候選移動向量MV1 (步驟505),而第二產生電路310會以小區塊MB1 的尺寸執行另一區塊比對來產生候選移動向量MV2 (步驟510),決定電路315在接收向量MV1 、MV2 後,先計算出向量MV1 與依據大區塊405尺寸所劃分之至少 一鄰近大區塊(401~404及406~409其中之一)之移動向量的一向量差異DIFF(步驟515),並偵測出向量差異DIFF與一第一預定臨界值Vth 的大小關係(步驟520)。以上述的例子來說,向量差異DIFF係大於第一預定臨界值Vth ,因此,決定電路315會判斷大區塊405所對應之影像的移動方向與至少一鄰近大區塊之影像的移動方向有一定程度的差異{亦即,大區塊405中有移動向量邊界(motion vector boundary)的情形},此時決定電路315會選擇採用小區塊MB1 的尺寸所產生之候選向量MV2 來作為待插補影像區塊MB1 的目標移動向量(步驟525),而非採用大區塊尺寸所產生的候選向量MV1 。反之,在其他的情況中,若與各鄰近區塊之向量差異皆小於該第一預定臨界值Vth ,則決定電路315會判斷該大區塊405所對應之影像的移動方向係與任一鄰近大區塊之影像的移動方向大致相同,此時決定電路315會選擇採用大區塊尺寸所產生之候選移動向量MV1 來作為該大區塊所包含之一待插補影像區塊的目標移動向量(步驟530)。亦可將與鄰近大區塊所有向量差異值累加或設定權重相加,再與另一預定臨界值比較,大於該臨界值,採用小區塊尺寸所得之移動向量,若小於該臨界值,則採用大區塊尺寸所得之移動向量;上述所計算的向量差異小於第一預定臨界值Vth 的情形,常見於該大區塊與其鄰近大區塊皆對應到背景影像時,亦即,該大區塊中沒有移動向量邊界的情形。如此一來,裝置300可有效地減少僅使用單一大區塊尺寸針對具有移動向量邊界的影像進行區塊比對時不易找出相近影像區塊的問題。請注意,第4圖所示的例子僅用來說明決定電路315的運 作,此非本發明的限制。
此外可更進一步說明當一大區塊不具有移動向量邊界,意即該大區塊之移動向量與各鄰近大區塊之移動向量皆小於第一預定臨界值Vth ,不直接以該大區塊之移動向量做為該大區塊所包含小區塊之待插補影像區塊的目標移動向量,而繼續執行下述步驟。請參照第5B圖,第5B圖是第3圖所示之裝置300決定一移動向量的第二範例流程圖;第5B圖中的步驟500~步驟525皆與第5A圖中相對應的步驟相類似。將其包含的小區塊計算所得之移動向量與鄰近小區塊計算所得之移動向量比較,決定電路315可藉由偵測依據一待插補影像區塊尺寸(亦即小區塊尺寸)所計算出的候選移動向量MV2 與任一鄰近小影像區塊之一移動向量的向量差異DIFF'(步驟535),以得知向量差異DIFF'與一第二預定臨界值Vth '的大小關係(步驟540)。當向量MV2 '與依據第二區塊尺寸所劃分之至少一鄰近影像區塊之移動向量之向量差異DIFF'大於或等於第二預定臨界值Vth '時,決定電路315判斷一待插補影像區塊所對應之影像的移動方向與至少一鄰近影像區塊所對應之影像的移動方向有一定程度的差異,此時決定電路315即參考向量MV2 來決定該待插補影像區塊的目標移動向量(步驟545);反之,當向量差異DIFF'小於第二預定臨界值Vth '時,決定電路315會判斷該待插補影像區塊所對應之影像的移動方向與任一鄰近影像區塊所對應之影像的移動方向大致相同,此時決定電路315則會參考依據大區塊所得出之一候選移動向量來決定該待插補影像區塊的目標移動向量(步驟550)。
在另一實施例中,為使插補出的影像品質最佳化,可對前述的方式進行些微修改以參考不同的影像區域來分別決定大區塊405所包含具有小區塊尺寸之八個待插補影像區塊的目標移動向量。請參照第5C圖,第5C圖是第3圖所示之裝置300決定移動向量的第三範例流程圖;第5C圖中的步驟500~520、步驟530皆與第5A圖中相對應的步驟相類似。步驟555係判斷是否與一待插補影像區塊相鄰且具有第一區塊尺寸之一至少一大區塊的移動向量與大區塊405之移動向量差異超過一第三臨界值Vth ";當與該待插補影像區塊相鄰且具有第一區塊尺寸之一至少一大區塊的移動向量與大區塊405之移動向量差異超過第三臨界值Vth "時,決定電路315會參考第二候選移動向量MV2 來決定目標移動向量(步驟560);否則,決定電路315會參考第一候選移動向量MV1 來決定目標移動向量(步驟565)。換言之,其係判定大區塊405與鄰近大區塊401~404及406~409間移動向量之差異。然後,依據前述移動向量之差異決定相關鄰近小區塊MB1 ~MB8 之目標移動向量。舉例來說,大區塊405所對應之影像的移動向量與鄰近大區塊401、404、407之影像的移動向量差異大於第三預定臨界值Vth ",而與其餘鄰近大區塊402、403、406、408、409之影像的移動向量差異小於或等於該第三預定臨界值Vth ",由於大區塊401、404、407與小區塊MB1 及MB2 相鄰,決定電路315會採用以小區塊尺寸執行區塊比對時所分別得到的候選向量來作為影像區塊MB1 及MB2 的目標移動向量。而對於影像區塊 MB3 ~MB8 來說,決定電路315會採用大區塊尺寸執行區塊比對時所得到的移動向量來分別作為區塊MB3 ~MB8 的目標移動向量。另舉一例說明,若大區塊405所對應之影像的移動向量與鄰近大區塊402之影像的移動向量差異很大,而與其餘鄰近大區塊401、403、404、406、407、408、409之影像的移動向量差異很小時,由於大區塊402與小區塊MB1 、MB3 、MB5 及MB7 相鄰,決定電路315會採用以小區塊尺寸執行區塊比對時所分別得到的候選向量來作為影像區塊MB1 、MB3 、MB5 及MB7 的目標移動向量;而對於影像區塊MB2 、MB4 、MB6 及MB8 來說,決定電路315會採用大區塊尺寸執行區塊比對時所得到的移動向量來分別作為區塊MB2 、MB4 、MB6 及MB8 的目標移動向量。當然,上述兩例非本發明的限制,亦可對不同的鄰近大區塊設定不同的臨界值或加入不同的鄰近大區塊給予不同的權重;其他變化亦符合本發明的精神。
本案另一實施例,除了依據是否具有移動向量邊界來決定使用哪一個候選向量來作為目標移動向量之外,亦可根據以小區塊尺寸進行區塊比對時的比對結果來決定使用哪一個候選向量來作為目標移動向量。請參照第5D圖,第5D圖是第3圖所示之裝置300決定移動向量的第四範例流程圖;第5D圖中的步驟500~步驟510皆與第5A圖中相對應的步驟相類似。就原理來說,例如,若第二產生電路310在決定小區塊MB1 移動向量,進行區塊比對時,發現至少有一個以上的區塊比對差值與最小之區塊比對差值小於 一預定值,則代表小區塊MB1 找到複數個相近的區塊,無法正確地決定移動向量,第二產生電路310通常會以最小之區塊比對差值所對應之移動向量,作為MB1 的移動向量,也就是小區塊尺寸所產生之候選移動向量,但此時決定電路315若直接參考小區塊所得到的候選移動向量來決定出一目標移動向量可能會出錯,因此,決定電路315會選擇參考以大區塊尺寸進行區塊比對所得到的候選移動向量來決定該目標移動向量。反之,決定電路315則會參考小區塊所得到的候選移動向量(亦即,以小區塊尺寸進行區塊比對所得到的候選移動向量)來決定該目標移動向量。因此,步驟570係檢測以小區塊尺寸進行區塊比對時是否有一個以上的區塊比對差值與最小之區塊比對差值小於一預定值,若是,則步驟575會參考大區塊尺寸進行區塊比對所得到的候選移動向量MV1 來決定該目標移動向量;反之,則步驟580會參考小區塊所得到的候選移動向量MV2 來決定該目標移動向量。
再者,在其他實施例中,亦可依據區塊比對差值{例如絕對像素差值總和(Sum of Absolute Pixel Differences)}來決定採用某一個候選向量來作為一目標移動向量。請再次參閱第4圖並搭配參照第5E圖,第5E圖是第3圖所示之裝置300決定移動向量的第五範例流程圖;第5E圖中的步驟500~步驟510皆與第5A圖中相對應的步驟相類似。比方以影像區塊MB1 來說,當第二產生電路310產生候選向量MV2 時會一同將相對應的絕對像素差值總和SAD2 傳送至決定電路315,而決定電路315會將絕對像素差值 總和SAD2 乘以一特定數值(例如8)來產生一乘積值(步驟585),並檢測該乘積值與第一產生電路305所產生之候選向量MV1 所對應之絕對像素差值總和SAD1 的比值是否小於一第四預定臨界值Vth "'(步驟590)。當該乘積值與第一產生電路305所產生之候選向量MV1 所對應之絕對像素差值總和SAD1 的比值小於第四預定臨界值Vth "'時,決定電路315會採用/參考候選向量MV2 來決定影像區塊MB1 的目標移動向量(步驟595A);反之,當該乘積值與絕對像素差值總和SAD1 的比值並未小於第四預定臨界值Vth "'(例如該比值大於或等於第四預定臨界值Vth "')時,決定電路315會採用/參考候選向量MV1 來決定影像區塊MB1 的目標移動向量(步驟595B)。換言之,決定電路315可依據該乘積值與候選向量MV1 所對應之區塊比對差值來選擇性地決定採用候選向量MV1 、MV2 的其中之一來作為區塊MB1 的目標移動向量。
另外,在前述所有的實施例中,決定電路315亦可進一步對決定採用的候選向量進行計算來產生一目標移動向量,且第一、第二產生電路305、310可整合為一單一的移動向量產生電路,換言之,該移動向量產生電路具有第一、第二產生電路305、310的操作與功能。此外,前述所有決定目標移動向量的方法當然亦可整合成為一較佳實施例;凡此皆落入本發明的範疇。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範 圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
10、15、16、20、21、25、26、27、401~409‧‧‧影像區塊
300‧‧‧裝置
305‧‧‧第一產生電路
310‧‧‧第二產生電路
315‧‧‧決定電路
第1圖為使用一大區塊尺寸對不同影像資料進行區塊比對的範例示意圖。
第2圖為使用一小區塊尺寸對第1圖所示之不同的影像資料執行區塊比對的範例示意圖。
第3圖為本發明一實施例決定移動向量之裝置的示意圖。
第4圖為第3圖所示之裝置處理一影像畫面的範例示意圖。
第5A圖為第3圖所示之裝置決定一移動向量的第一範例流程圖。
第5B圖為第3圖所示之裝置決定一移動向量的第二範例流程圖。
第5C圖為第3圖所示之裝置決定一移動向量的第三範例流程圖。
第5D圖為第3圖所示之裝置決定一移動向量的第四範例流程圖。
第5E圖為第3圖所示之裝置決定一移動向量的第五範例流程圖。
300‧‧‧裝置
305‧‧‧第一產生電路
310‧‧‧第二產生電路
315‧‧‧決定電路

Claims (16)

  1. 一種決定移動向量之方法,可應用於依序的第一和第二圖框間插補出一第三圖框;其中該第三圖框經區分為複數第一區塊尺寸之第一影像區塊,而任一第一待插補影像區塊經區分為複數第二區塊尺寸之第二影像區塊;該方法包含有:以一待插補影像區塊所在之一第一影像區塊,對第一圖框及第二圖框執行一區塊比對,來產生該待插補影像區塊之一第一候選移動向量;以該待插補影像區塊所在之一第二影像區塊,對第一圖框及第二圖框執行一區塊比對,來產生該待插補影像區塊之一第二候選移動向量;以及選擇性地採用該第一、第二候選移動向量之其中之一來作為該待插補影像區塊之一目標移動向量。
  2. 如申請專利範圍第1項所述之方法,其中依據該第一、第二候選移動向量之其中之一來決定該待插補影像區塊之該目標移動向量之步驟包含有:當該第一候選移動向量與依據該第一區塊尺寸劃分之至少一鄰近該待補影像區塊之區塊所對應之一移動向量差異超過預定之臨界值時,參考該第二候選移動向量來決定該待插補影像區塊之該目標移動向量;否則,參考該第一候選移動向量來決定該待插補影像區塊之該目標移動向量。
  3. 如申請專利範圍第2項所述之方法,其中第一區塊尺寸為第二區塊尺寸之整數倍,且該待插補區塊尺寸等於第二區塊尺寸。
  4. 如申請專利範圍第1項所述之方法,其中依據該第一、第二候選移動向量之其中之一來決定該待插補影像區塊之該目標移動向量之步驟包含有:將該第二候選移動向量所對應之一區塊比對差值乘以一特定數值來產生一乘積;以及依據該乘積與該第一候選移動向量所對應之一區塊比對差值來選擇性地決定參考該第一、第二候選移動向量之其中之一來產生該目標移動向量。
  5. 如申請專利範圍第4項所述之方法,其依據該乘積與該第一候選移動向量所對應之一區塊比對差值來選擇性地決定參考該第一、第二候選移動向量之其中之一來產生該目標移動向量之步驟包含有:當該乘積與該第一候選移動向量所對應之該區塊比對差值的比值小於一預定臨界值時,參考該第二候選移動向量來決定該目標移動向量;否則,參考該第一候選移動向量來決定該目標移動向量。
  6. 如申請專利範圍第1項所述之方法,其中依據該第一、第二候選移動向量之其中之一來決定該待插補影像區塊之該目標移動 向量之步驟包含有:當該第二候選移動向量與依據該第二區塊尺寸劃分之至少一鄰近該待補影像區塊之區塊所對應之一移動向量差異超過預定之臨界值時,參考該第二候選移動向量來決定該待插補影像區塊之該目標移動向量;否則,參考該第一候選移動向量來決定該待插補影像區塊之該目標移動向量。
  7. 如申請專利範圍第6項所述之方法,其中該至少一鄰近該待補影像區塊之區塊與該待插補影像區塊位於依據第一區塊尺寸劃分之同一區塊內。
  8. 一種決定移動向量之裝置,用於依序的第一和第二圖框間插補出一第三圖框;其中該第三圖框經區分為複數第一區塊尺寸之第一影像區塊,而任一第一待插補影像區塊經區分為複數第二區塊尺寸之第二影像區塊;該裝置包含有:一第一產生電路,用來依據一待插補影像區塊所在之第一影像區塊,對該第一圖框及該第二圖框,執行一區塊比對來產生該待插補影像區塊之一第一候選移動向量;一第二產生電路,用來依據該待插補影像區塊所在之第二影像區塊,對該第一圖框及該第二圖框,執行一區塊比對來產生該待插補影像區塊之一第二候選移動向量;以及一決定電路,耦接於該第一產生電路與該第二產生電路,用 來選擇性地採用該第一、第二候選移動向量之其中之一來作為該待插補影像區塊之一目標移動向量。
  9. 一種決定移動向量之裝置,用於依序的第一和第二圖框間插補出一第三圖框;其中該第三圖框經區分為複數第一區塊尺寸之第一影像區塊,而任一第一待插補影像區塊經區分為複數第二區塊尺寸之第二影像區塊;該裝置包含有:一移動向量產生電路,用來依據一待插補影像區塊所在之第一影像區塊,對該第一圖框及該第二圖框,執行一區塊比對來產生該待插補影像區塊之一第一候選移動向量,以及用來依據該待插補影像區塊所在之第二影像區塊,對該第一圖框及該第二圖框,執行一區塊比對來產生該待插補影像區塊之一第二候選移動向量;以及一決定電路,耦接於該移動向量產生電路,用來選擇性地採用該第一、第二候選移動向量之其中之一來作為該待插補影像區塊之一目標移動向量。
  10. 如申請專利範圍第8或9項所述之裝置,其中當該第一候選移動向量與依據該第一區塊尺寸劃分之至少一鄰近該待補影像區塊之區塊所對應之一移動向量差異超過預定之臨界值時,該決定電路參考該第二候選移動向量來決定該待插補影像區塊之該目標移動向量;否則,該決定電路參考該第一候選移動向量來決定該待插補影像區塊之該目標移動向量。
  11. 如申請專利範圍第8或9項所述之裝置,其中當該第二候選移動向量與依據該第二區塊尺寸劃分之至少一鄰近該待補影像區塊之區塊所對應之一移動向量差異超過預定之臨界值時,該決定電路參考該第二候選移動向量來決定該待插補影像區塊之該目標移動向量;否則,該決定電路參考該第一候選移動向量來決定該待插補影像區塊之該目標移動向量。
  12. 如申請專利範圍第8或9項所述之裝置,當與該待插補影像區塊相鄰且具有該第一區塊尺寸之一至少一影像區域之移動向量與該特定影像區域之移動向量差異超過一臨界值時,該決定電路會參考該第二候選移動向量來決定該目標移動向量;否則,該決定電路會參考該第一候選移動向量來決定該目標移動向量。
  13. 如申請專利範圍第8或9項所述之裝置,該決定電路係另將該第二候選移動向量所對應之一區塊比對差值乘以一特定數值來產生一乘積,以及依據該乘積與該第一候選移動向量所對應之一區塊比對差值來選擇性地決定參考該第一、第二候選移動向量之其中之一來產生該目標移動向量。
  14. 如申請專利範圍第13項所述之裝置,其中當該乘積與該第一候選移動向量所對應之該區塊比對差值的比值小於一預定臨界值時,該決定電路會參考該第二候選移動向量來決定該目標移動向量;以及當該乘積與該第一候選移動向量所對應之該區塊比對 差值的比值大於或等於該預定臨界值時,該決定電路會參考該第一候選移動向量來決定該目標移動向量。
  15. 如申請專利範圍第8或9項所述之裝置,其中該決定電路係另比較以該第二區塊尺寸為基礎所算出之一最小區塊比對差值與至少一區塊比對差值來產生一比較結果,以及依據該比較結果選擇性地參考該第一、第二候選移動向量之其中之一來決定該目標移動向量。
  16. 如申請專利範圍第15項所述之裝置,當該比較結果指示出該至少一區塊比對差值實質上等於該最小區塊比對差值時,該決定電路會參考該第一候選移動向量來決定該目標移動向量;否則,該決定電路會參考該第二候選移動向量來決定該目標移動向量。
TW097123110A 2008-06-20 2008-06-20 決定移動向量的方法及其相關裝置 TWI491258B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097123110A TWI491258B (zh) 2008-06-20 2008-06-20 決定移動向量的方法及其相關裝置
US12/366,684 US8437399B2 (en) 2008-06-20 2009-02-06 Method and associated apparatus for determining motion vectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097123110A TWI491258B (zh) 2008-06-20 2008-06-20 決定移動向量的方法及其相關裝置

Publications (2)

Publication Number Publication Date
TW201002065A TW201002065A (en) 2010-01-01
TWI491258B true TWI491258B (zh) 2015-07-01

Family

ID=41430848

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097123110A TWI491258B (zh) 2008-06-20 2008-06-20 決定移動向量的方法及其相關裝置

Country Status (2)

Country Link
US (1) US8437399B2 (zh)
TW (1) TWI491258B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI3448031T1 (sl) * 2009-06-18 2021-03-31 Kabushiki Kaisha Toshiba Naprava za video dekodiranje in postopek za video dekodiranje
US9628794B2 (en) * 2009-06-18 2017-04-18 Kabushiki Kaisha Toshiba Video encoding apparatus and a video decoding apparatus
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
TWI475882B (zh) * 2009-12-30 2015-03-01 Altek Corp Motion detection method using the adjusted digital camera of the shooting conditions
KR101710624B1 (ko) * 2010-07-27 2017-02-27 삼성전자주식회사 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체
CN106851271B (zh) * 2011-03-08 2019-10-18 Jvc 建伍株式会社 动图像编码装置以及动图像编码方法
GB2521491B (en) * 2014-06-17 2016-10-19 Imagination Tech Ltd Motion estimation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130752A1 (en) * 2006-11-30 2008-06-05 Kabushiki Kaisha Toshiba Interpolated frame generating method and interpolated frame generating apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080130752A1 (en) * 2006-11-30 2008-06-05 Kabushiki Kaisha Toshiba Interpolated frame generating method and interpolated frame generating apparatus

Also Published As

Publication number Publication date
TW201002065A (en) 2010-01-01
US8437399B2 (en) 2013-05-07
US20090316044A1 (en) 2009-12-24

Similar Documents

Publication Publication Date Title
TWI491258B (zh) 決定移動向量的方法及其相關裝置
TWI504267B (zh) 影像之移動向量估算方法
JP4997281B2 (ja) イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置
TWI452909B (zh) 移動向量校正電路、影像產生裝置及相關方法
US20090268097A1 (en) Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames
JP5081898B2 (ja) 補間画像生成方法及びシステム
US20050195324A1 (en) Method of converting frame rate of video signal based on motion compensation
US8817869B2 (en) Image processing device and method, and image display device and method
US8059920B2 (en) Method and apparatus for pixel interpolation
WO2010007777A1 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
CN101616247B (zh) 决定移动向量的方法及其装置
US20060050990A1 (en) Pixel interpolation circuit, pixel interpolation method and image reader
US20150326786A1 (en) Image processing device, imaging device, and image processing method
TWI353562B (en) A video processing apparatus and related method to
US8014610B2 (en) Method of multi-path block matching computing
KR20150119706A (ko) 글로벌 모션벡터 보상을 이용한 영상정합 방법
JP2009239515A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8254682B2 (en) Pattern detecting method and related image processing apparatus
US9894367B2 (en) Multimedia device and motion estimation method thereof
JP2009515395A (ja) 動き推定
US9563960B2 (en) Method for detecting foreground
US8531598B2 (en) Image processing method and related apparatus for generating target image block
JP2005175547A (ja) 傷補正回路
JP2009290277A (ja) 信号処理装置
JP2005184307A (ja) 傷画素補正回路及び傷画素補正方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees