TWI488502B - 視訊編修方法與視訊編修裝置 - Google Patents
視訊編修方法與視訊編修裝置 Download PDFInfo
- Publication number
- TWI488502B TWI488502B TW101145831A TW101145831A TWI488502B TW I488502 B TWI488502 B TW I488502B TW 101145831 A TW101145831 A TW 101145831A TW 101145831 A TW101145831 A TW 101145831A TW I488502 B TWI488502 B TW I488502B
- Authority
- TW
- Taiwan
- Prior art keywords
- segment
- image
- video
- movement
- editing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000007774 longterm Effects 0.000 claims description 54
- 230000002457 bidirectional effect Effects 0.000 claims description 13
- 238000003780 insertion Methods 0.000 claims description 9
- 230000037431 insertion Effects 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 3
- 230000002051 biphasic effect Effects 0.000 description 2
- 101800002712 p27 Proteins 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013643 reference control Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Description
本發明是有關於一種視訊編修的裝置與方法。
隨著視訊擷取裝置的普及,使用者可以更容易地取得一段視訊。這些視訊通常是先經過壓縮的步驟,而以位元串的形式被儲存。當使用者要編修視訊時,必須要解碼位元串成為多個影像,並對這些影像編修。在編修完以後,這些影像必須要重新被壓縮。然而,重新壓縮的步驟通常需要大量的計算。例如,這些計算包括離散餘弦轉換(discrete cosine transform)或動作估測(motion estimation)等。因此,在一些行動裝置上,上述的計算可能會花費許多時間而影響使用經驗。因此,如何增加視訊編修的速度,為此領域研究人員所關心的議題。
本發明提供一種視訊編修方法與視訊編修裝置,可以增加編修視訊的速度。
本發明一實施例提出一種視訊編修方法,適用於一視訊編修裝置。此視訊編修方法包括:取得一個視訊的一個編修片段,其中此編修片段是在視訊的一個第一片段之後,此編修片段是在視訊的一個第二片段之前,第一片段包括第一影像,第二片段包括第二影像,並且第二影像的
一短期參考索引指向第一影像;設定第一片段的第三影像的一個表頭,使得第三影像的表頭被解碼時,第一影像從短期參考影像串列被移動至長期參考影像串列;更改第二影像的短期參考索引為長期參考索引,其中長期參考索引指向長期參考影像串列中的第一影像;以及編碼視訊。
以另外一個角度來說,本發明一實施例提出一種視訊編修裝置。此視訊編修裝置包括記憶體與處理器。記憶體中儲存有多個指令。處理器是耦接至記憶體,用以執行上述的指令以執行多個步驟:取得一個視訊的一個編修片段,其中編修片段是在視訊的第一片段之後,編修片段是在視訊的第二片段之前,第一片段包括第一影像,第二片段包括第二影像,並且第二影像的一短期參考索引指向第一影像;設定第一片段的第三影像的一個表頭,使得第三影像的表頭被解碼時,第一影像從短期參考影像串列被移動至長期參考影像串列;更改第二影像的短期參考索引為長期參考索引,其中長期參考索引指向長期參考影像串列中的第一影像;以及編碼視訊。
基於上述,本發明實施例所提出的視訊編修方法與視訊編修裝置,可以透過觸碰操作以及短期參考影像串列與長期參考影像串列的管理,使得編修視訊的速度可被加快。
為讓本發明之上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是根據一實施例繪示視訊編修裝置的方塊圖。
請參照圖1,視訊編修裝置100包括觸碰單元110、處理器120與記憶體130。視訊編修裝置100可被實作為智慧型手機、平板電腦、筆記型電腦、或者是智慧電視。
觸碰單元110是用以偵測一個物體的一個觸碰操作。例如,觸碰單元110包括一個觸碰面板,此觸碰面板是由液晶顯示器(Liquid Crystal Display,LCD)、發光二極體(Light-Emitting Diode,LED)顯示器或場發射顯示器(Field Emission Display,FED)等顯示器,以及電阻式或電容式等觸碰單元組合而成,其可同時提供顯示及觸碰的功能。
處理器120是用以控制視訊編修裝置100的整體操作。例如,處理器120可為中央處理單元(Central Processing Unit,CPU)、微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)或可程式化邏輯裝置(Programmable Logic Device,PLD)。
記憶體130是用以儲存資料與程式碼。例如,記憶體130可為動態隨機存取記憶體(dynamic random access memory,DRAM)、靜態隨機存取記憶體(static random access memory,SRAM)或快閃記憶體(flash memory)。在一實施例中,處理器120會執行記憶體130中的程式碼以提供視訊編修的功能。
圖2與圖3是根據一實施例繪示取得編修片段的示意
圖。
當使用者選擇了一段要被編修的視訊後,處理器120會接收此視訊壓縮過後的位元串,並且解碼此位元串。處理器120會在觸碰單元110上顯示一個對應於此視訊的圖示物件210。使用者可以根據圖示物件210選取視訊中的一個片段。例如,處理器120會先偵測物體220在觸碰單元110上移動的一個軌跡。在此假設物體220是沿著軌跡230從上移動到下,軌跡230與圖示物件210首先相交於交點232,並且軌跡230與交點232上的一個法線233形成夾角234。處理器120會判斷此夾角234是否小於一個臨界值。若夾角234小於此臨界值,則處理器120會根據交點232決定視訊中的一個起始編修影像。若夾角234大於等於此臨界值,則處理器120並不會作出回應,並且處理器120會繼續偵測物體的下一個軌跡,直到形成的夾角小於臨界值。起始編修影像所代表的意思是,使用者是要從此起始編修影像開始編修此視訊。且,儘管未詳細示於圖中,處理器120可進一步於觸碰單元110上顯示起始編修影像的詳細畫面,以讓使用者確認起始編修影像的正確性。若此起始編修影像並非使用者想要開始編輯的時間點,則可重新觸碰輸入另一段軌跡。
如圖3所示,圖示物件210是由多個子圖式物件310~313所組成,而每一個子圖示物件310~313是對應於視訊中的一個影像。若交點232位於一個子圖示物件上,則此子圖示物件所對應的影像為起始編修影像。然而,若
交點232位於兩個子圖示物件中間,處理器120會選擇這兩個子圖示物件的其中之一作為起始編修影像。例如,在圖3所示的例子中,交點232是落在子圖示物件311與子圖示物件312中間,因此處理器120會選擇子圖示物件311或子圖示物件312所對應的影像為起始編修影像。為方便說明,在此用時間軸320表示一段視訊,而視訊中的每一個影像是對應於時間軸上的一個時間點。在此,根據交點232所決定出的起始編修影像是對應於時間點321。值得注意的是,時間軸320是屬於一個邏輯上的概念,處理器120並不會在觸碰單元110上顯示時間軸320。此外,在其他實施例中,圖示物件210也可以被繪示成直線。或者,處理器120也可以不顯示子圖示物件310~313。
在此實施例中,”影像”所指的是圖幀(frame)。然而,在其他實施例中,”影像”也可以是圖場(field),本發明並不在此限。
圖4是根據一實施例繪示改變圖示物件的顯示解析度的示意圖。
在一實施例中,使用者可以用兩根手指來改變時間軸的解析度。具體來說,處理器120會偵測一個第一物體在觸碰單元110上的移動(亦稱第一移動),以及另一個第二物體在觸碰單元110上的移動(亦稱第二移動)。處理器120會根據第一移動與第二移動之間的差距改變圖示物件210的顯示解析度。當圖示物件210的顯示解析度被改變時,處理器120會在觸碰單元110中顯示數目更多或更少的子
圖示物件。舉例來說,如圖4所示,當處理器120根據第一移動與第二移動之間的差距判斷第一物體410與第二物體420正彼此靠近時,處理器120會縮小子圖示物件,並且在觸碰單元110中顯示更多的子圖示物件310~315。相反的,當處理器120根據第一移動與第二移動之間的差距判斷第一物體410與第二物體420遠離彼此時,處理器120會放大子圖示物件310~315,並且在觸碰單元110中顯示較少的子圖示物件。
圖5A與圖5B是根據一實施例說明圖式物件被分為第一區域與第二區域的示意圖。
請參照圖5A,在決定起始編修影像以後,處理器120會根據起始編修影像將圖示物件210分為第一區域510與第二區域520。在此實施例中,起始編修影像對應的子圖示物件是被分為第二區域520。然而,在其他實施例中,起始編修影像對應的子圖示物件是被分為第一區域510,本發明並不在此限。另一方面,在時間軸上320,根據起始編修影像對應的時間點321,視訊會被分為片段530與片段540。其中,第一區域510是對應於片段530,而第二區域520是對應於片段540。
請參照圖5B,處理器120會繼續偵測一個第一物體610在第一區域510的移動,以及一個第二物體620在第二區域520的移動。處理器120會根據這兩個移動之間的差距以及起始編修影像決定一個編修片段及間距之大小。第一物體及第二物體可分別進行移動。在一實施例中,若
第一物體及第二物體其中之一仍保持接觸觸碰單元110,而另一物體連續進行多次連續移動(每次移動與前次移動的時間間隔不超過一特定閾值),則處理器120會偵測這些連續移動並且計算出這些連續移動的一個總距離以作為此另一個物體的移動,據此再計算兩個移動之間的差距。舉例來說,第一物體610保持接觸觸碰單元110,而第二物體620進行了連續移動551~554。處理器120會計算連續移動551~554的一個總距離以作為第二物體620的移動。接著,處理器120會根據第一物體610的移動與第二物體620的移動之間的差距決定編修片段560。要注意的是,若連續移動551~554為不同方向的移動,則處理器120可以將朝其中一方向移動的移動量設定為正值,將朝另一方向移動的移動量設定為負值,並且加總連續移動551~554的移動量來計算總距離。或者,處理器120也可以將朝向不同方向移動的移動量皆視為正值來計算總距離,端視使用者設定或是需求選定。另外,在不同的連續移動551~554之間,第二物體620可離開觸碰單元110。舉例來說,第二物體620在觸碰單元110上移動以產生連續移動551後離開觸碰單元110,然後於特定的時間閾值中第二物體620再度接觸觸碰單元110且再度移動以產生連續移動552。或者,在不同的連續移動551~554之間,第二物體620可停頓但保持與觸碰單元110的接觸。舉例來說,第二物體620先在觸碰單元110移動以產生連續移動553;接下來第二物體620會停頓,但其停頓的時間不超過特定閾值;最
後第二物體620會繼續移動以產生連續移動554。
處理器120會根據使用者輸入的一個編修操作決定此編修片段為***片段或是刪除片段。舉例來說,使用者可以透過選擇觸碰單元110上的一個按鈕來決定編修操作。若使用者選擇的編修操作為***操作,則編修片段為***片段,即表示使用者是要***一個片段在片段530與片段540之間。若使用者選擇的編修操作為刪除操作,則編修片段為刪除片段,即表示使用者是要刪除片段540中的一部分。
圖6是根據一實施例繪示刪除操作的示意圖。
請參照圖6,若使用者選擇的是刪除操作,處理器會偵測第一物體610在第一區域510的移動以及第二物體620在第二區域520的移動。處理器120會根據上述兩個移動之間的差距決定片段540中的一個刪除片段630。具體來說,刪除片段630是從時間點321開始,並且上述兩個移動之間的差距會決定刪除片段630的長度。片段540減去刪除片段630以後,會成為片段640(亦稱為第二片段),換言之,視訊中除了片段530與刪除片段630以外的片段為第二片段640。在此,片段530亦被稱為第一片段,刪除片段630亦被稱為編修片段。處理器120會將第二片段640接續在第一片段530之後,並且重新編碼該視訊。值得注意的是,處理器120會更改視訊中部份影像的表頭(header)或者是部分影像的編碼類型,並不會重新壓縮全部的片段530與片段640。而根據一個影像的編碼類型,影
像可被分為內部影像(I-picture),預測影像(P-picture)或是雙向影像(B-picture)。若一個影像為內部影像,表示此影像只會根據本身的資訊而被編碼。若一個影像為預測影像,則會根據此影像的一個前向參考影像(forward reference picture)來編碼此影像。若一個影像為雙向影像,則會根據此影像的一個前向參考影像與一個後向參考影像(backward reference picture)來編碼此影像。
圖7是根據一實施例繪示刪除操作的編碼的示意圖。
請參照圖7,第一片段530包括影像701~703,刪除片段630包括影像711~713,並且第二片段640包括影像721~723。其中刪除片段630是在第一片段530之後,並且刪除片段630是在第二片段640之前。由於重新編碼視訊時,刪除片段630已不存在,因此在第一片段530或第二片段640中若有影像是參考至刪除片段630中的影像,處理器120會改變一些影像的編碼類型。
首先,在第一片段530中的影像若為內部影像或預測影像,則處理器120並不會對這些影像做處理。
第二,若該第一片段530包括了一個雙向影像,並且此雙相影像的後向參考影像並不在第一片段530內,處理器120會改變此雙向影像為預測影像。例如,影像703是參考至影像702與影像711,而影像711並不在第一片段530當中。因此,處理器120會將影像703從雙向影像更改為預測影像,藉此只根據影像702來編碼影像703。
第三,若第二片段640中有影像(亦稱第四影像)的前
向參考影像並不在第一片段530與第二片段640,則處理器120會以一個無失真壓縮演算法壓縮此第四影像。在此實施例中,處理器120是用H.264的標準來編碼視訊,而此無失真壓縮演算法為內部式博碼調變(Intra Pulse Code Modulation,IPCM)。例如,影像721的前向參考影像713並不在第一片段530與第二片段640,因此處理器120會以無失真壓縮演算法來壓縮影像721。
第四,在此實施例中,處理器120是用H.264的標準來編碼視訊。而在H.264的標準中,會用一個短期參考影像串列(short-term reference picture list)與一個長期參考影像串列(long-term reference picture list)來儲存可使用的參考影像。當要編碼一個預測影像或者是雙向影像時,處理器120會根據一個短期參考索引從短期參考影像串列中取得一個參考影像,或者是根據一個長期參考索引從長期參考影像串列中取得一個參考影像。而當一個影像被編碼且重建以後,此影像也會被加入至短期參考索引。若第二片段640中有一第二影像,並且此第二影像的一個短期參考索引是指向第一片段530的一個第一影像,則處理器120會設定第一片段530中的一個第三影像的表頭,使得此第三影像的表頭被解碼時,第一影像會從一個短期參考影像串列被移動至一個長期參考影像串列。處理器也會120更改此第二影像的短期參考索引為一個長期參考索引,而此長期參考索引是指向長期參考影像串列的第一影像。
舉例來說,影像701被編碼且重建完以後,若影像701
要被作為其他影像的參考影像,則影像701會被加入至短期參考影像串列。當編碼影像702時,若影像702是要參考至影像701,則影像702的一個短期參考索引會指向短期參考影像串列中的影像701。短期參考索引可以用圖幀編號(frame number)或是影像順序計數(picture order count,POC)來表示。然而,此短期參考影像串列中所能儲存的影像的數目有一個上限。若短期參考影像串列中的影像的個數超過此上限,則至少一個影像會從短期參考影像串列中被移除。
另一方面,長期參考影像串列中所儲存的影像的個數並不受限。長期參考索引是用以指向長期參考影像串列中的影像,並且長期參考索引可以用長期影像編號(long term picture number)來表示。當一個影像被一個短期參考索引指向,且此短期參考索引被改為長期參考索引時,表示此影像已從短期參考影像串列中被移至長期參考影像串列。處理器120可以透過設定一個影像的表頭,使得一個解碼器在解碼此表頭時,會執行上述將影像從短期參考影像串列移動至長期參考影像串列的步驟。在一實施例中,處理器120可以透過滑動視窗參考影像標記(sliding window reference picture marking)或適應性參考影像標記(adaptive reference picture marking)來完成上述的步驟。
在此實施例中,影像722是在第二片段640中,且影像722的一個短期參考索引是指向第一片段530的影像701。換言之,在未編修的視訊中,當編碼至影像722時,
影像701會在短期參考影像串列中。然而,在刪除片段630被刪除以後,影像722的短期參考索引可能會指向其他的影像。因此,處理器120會設定影像703的表頭,使得影像703的表頭被解碼時,影像701會從短期參考影像串列被移動至長期參考影像串列中。此外,處理器也會將影像722的短期參考索引改為長期參考索引。另一方面,處理器120會設定第二片段640的一個起始影像(即,影像721)的表頭,使得此起始影像的表頭被解碼時,短期參考影像串列會被清除。如此一來,當要開始編碼第二片段640時,短期參考影像串列已被清除,而第二片段中所要使用的參考影像都會被儲存在長期參考影像串列當中。
圖8與圖9是根據一實施例繪示***操作的示意圖。
請參照圖8,若使用者輸入的編修操作為***操作,使用者會選擇一個***片段810,此***片段810可在觸控單元110上顯示為圖式物件820。相同於刪除操作,在決定出初始編修影像以後,圖式物件210會被分為第一區域510與第二區域520。其中第一區域510是對應至片段530,且第二區域520是對應至片段540(在此被稱為第二片段)。處理器120會偵測第一物體610在第一區域510的移動(亦稱為第一移動)以及第二物體620在第二區域520的移動(亦稱為第二移動)。處理器120會根據第一移動與第二移動之間的差距移動第二區域520。並且,處理器120會根據初始編修影像以及第一移動與第二移動之間的差距決定第一片段530與第二片段540之間的間距830。例如,
處理器120會以時間點321作為間距830的起始點,並根據第一移動與第二移動之間的差距決定間距830的長度。最後,處理器120會將***片段810加入至間距830當中。
詳細來說,處理器120會判斷***片段810的長度是否大於間距830的長度。若***片段810的長度大於間距830的長度,處理器120會取得***片段810的一個第二***片段812,並且將第二***片段812加入至第一片段530與第二片段540之間。其中第二***片段812的長度等於間距830的長度。換言之,編修過後的視訊是由第一片段530、第二***片段812與第二片段540所組成。而***片段810中除了第二***片段812以外的部份會被刪除。其中第二***片段812亦被稱為編修片段。
另一方面,如圖9所示,若***片段810的長度小於或等於間距830的長度,處理器120會設定間距830的長度為***片段810的長度,並且將該***片段810加入至第一片段530與第二片段540之間。換言之,處理器120會縮小間距830,並且編修後的視訊是由第一片段530、***片段810與第二片段540所組成。其中***片段810亦被稱為編修片段。
圖10是根據一實施例繪示***操作的編碼的示意圖。
請參照圖10,第一片段530包括影像1001~1003,編修片段840包括影像1011~1013,並且第二片段540包括影像1021~1023。其中編修片段840表示新***的片段(即,圖8中的第二***片段812或是圖9中的***片段
810)。在***操作中,處理器120並不會對第一片段530中的內部影像與預測影像做任何處理。然而,若第一片段530中有一雙向影像,且此雙向影像的後向參考影像並不在第一片段530內,處理器會改變此雙向影像為預測影像。例如,影像1003為雙向影像,其是參考影像1002與影像1021。由於影像1003的後向參考影像1021並不在第一片段530內,因此處理器120會將影像1003改為預測影像。也就是說,處理器僅會根據影像1002來編碼影像1003。
與刪除操作相同的是,若第二片段540有一個第二影像,並且此第二影像的短期參考索引是指向第一片段530的一個第一影像,則處理器120會設定第一片段中一個第三影像的表頭,使得第三影像的表頭被解碼時,第一影像會從短期參考影像串列被移動至長期參考影像串列。此外,處理器120也會改變第二影像的短期參考索引為長期參考索引,並且此長期參考索引是指向長期參考影像串列中的第一影像。舉例來說,影像1022的短期參考索引是指向影像1001。因此,處理器120會設定第一片段530中影像1003的表頭,使得影像1003的表頭被解碼時,影像1001會從短期參考影像串列被移動至長期參考影像串列。並且,影像1022中指向影像1001的短期參考索引會被改變為長期參考索引。
特別的是,處理器120會設定編修片段840中一個結尾影像(即,影像1013)的表頭,使得影像1013的表頭被解碼時,短期參考影像串列會被清除。如此一來,雖然在編
碼影像1011~1013時,影像1011~1013會被加入至短期參考影像串列,但是在編碼第二片段540時短期參考影像串列已被清空。
另一方面,處理器120會設定影像1011~1013的表頭,使得影像1011~1013的表頭被解碼時,長期參考影像串列會維持不變。也就是說,在解碼第一片段時對長期參考影像串列所做的設定並不會在解碼編修片段830時被改變。如此一來,在編碼第二片段540時,所有會使用到的參考影像都會在長期參考影像串列中。如此一來,對於第二片段540中的內部影像、預測影像或是雙向影像來說,處理器120都不需要對其重新壓縮,藉此增加編碼的速度。
圖11是根據一實施例說明重新編碼的示意圖。
請參照圖11,編修視訊的流程可被分為串列管理程序1110與解碼程序1120。串列管理程序1110是用以管理短期參考影像串列與長期參考影像串列,其各自包括一或多個影像。解碼程序1120是用以接收編修前的位元串1121,並且根據位元串1121調整短期參考影像串列與長期參考影像串列。
具體來說,處理器120會先接收一個視訊的位元串1121,並且進行可變長度解碼1122。在進行可變長度解碼1122編碼以後,處理器120會取得每一個影像的表頭,藉此取得一個解碼順序以及辨識出內部影像、預測影像與雙相影像。處理器120會執行參考控制1123來傳送短期參考索引或是長期參考索引給串列管理程序1110。串列管理程
序1110會回傳對應的參考影像1124給解碼程序1120。處理器120會根據參考影像以及多個動作向量執行動作補償1125,藉此取得一個影像1126。另一方面,處理器120也會根據可變長度解碼1122的結果執行去量化(dequantization)1127與反轉換(inverse-transforming)1128,藉此取得多個係數1129。處理器120會將影像1126與係數1129相加以取得影像1130,並且對影像1130執行濾波器運算1131以產生重建影像(reconstructed picture)1132。此濾波器運算1131是用以去除影像1130中的方塊效應(block effect)。最後,處理器120會將重建影像1132傳送給串列管理程序1110,而串列管理程序1110會將重建影像1132加入至短期參考影像串列。
如圖11所示,視訊編修裝置100是用以解碼一段視訊,並且配合上述編修視訊的步驟後會使得部份的影像不需要重新被壓縮,藉此增加編修視訊的速度。
圖12是根據一實施例繪示視訊編修方法的流程圖。
請參照圖12,在步驟S1202中,取得一視訊的一編修片段,其中此編修片段是在視訊的一個第一片段之後,編修片段是在視訊的一個第二片段之前,第一片段包括一個第一影像,第二片段包括一個第二影像,並且第二影像的一短期參考索引指向第一影像。值得注意的是,若編修操作為刪除操作,則編修片段表示欲被刪除的片段。若編修片段為***操作,則編修片段為欲被***的片段。
在此實施例中,步驟S1202中取得編修片段的方式是
透過使用者在觸碰單元上的觸碰操作而取得。然而,在其他實施例中,使用者可以透過滑鼠或者是鍵盤的輸入來選擇編修片段,本發明並不在此限。
在步驟S1204中,設定第一片段的第三影像的一表頭,使得第三影像的表頭被解碼時,第一影像從短期參考影像串列被移動至長期參考影像串列。
在步驟S1206中,更改第二影像的短期參考索引為長期參考索引,其中長期參考索引指向長期參考影像串列中的第一影像。
在步驟S1208中,編碼此視訊。例如,將部份的雙向影像改為預測影像,或者是將部份的預測影像改用無失真壓縮演算法來編碼。
圖12中各步驟可以被實作為一個模組,由一個處理器執行。然而,圖12中各步驟也可以被實作為一個電路,本發明並不限制用軟體或硬體的方式來實作此視訊編修方法。另一方面,圖12中各步驟已詳細說明如上,在此便不再贅述。
綜上所述,本發明實施例所提出的視訊編碼方法與視訊編碼裝置,可以透過觸碰操作以及短期參考影像串列與長期參考影像串列的管理,使得編修視訊的速度可被加快。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧視訊編修裝置
110‧‧‧觸碰單元
120‧‧‧處理器
130‧‧‧記憶體
210、820‧‧‧圖式物件
220、410、420、610、620‧‧‧物體
230‧‧‧軌跡
232‧‧‧交點
233‧‧‧法線
234‧‧‧夾角
310~315‧‧‧子圖示物件
320‧‧‧時間軸
321‧‧‧時間點
510‧‧‧第一區域
520‧‧‧第二區域
530、540、630、640、810、812、840‧‧‧片段
551~554‧‧‧連續移動
701~703、711~713、721~723、1001~1003、1011~1013、1021~1023、1126、1130‧‧‧影像
830‧‧‧間距
1110‧‧‧串列管理程序
1120‧‧‧解碼程序
1121‧‧‧位元串
1122‧‧‧可變長度解碼
1123‧‧‧參考控制
1124‧‧‧參考影像
1125‧‧‧動作補償
1127‧‧‧去量化
1128‧‧‧反轉換
1129‧‧‧係數
1131‧‧‧濾波器運算
1132‧‧‧重建影像
S1202、S1204、S1206、S1208‧‧‧視訊編修方法的步驟
圖1是根據一實施例繪示視訊編修裝置的方塊圖。
圖2與圖3是根據一實施例繪示取得編修片段的示意圖。
圖4是根據一實施例繪示改變圖示物件的顯示解析度的示意圖。
圖5A與圖5B是根據一實施例說明圖式物件被分為第一區域與第二區域的示意圖。
圖6是根據一實施例繪示刪除操作的示意圖。
圖7是根據一實施例繪示刪除操作的編碼的示意圖。
圖8與圖9是根據一實施例繪示***操作的示意圖。
圖10是根據一實施例繪示***操作的編碼的示意圖。
圖11是根據一實施例說明重新編碼的示意圖。
圖12是根據一實施例繪示視訊編修方法的流程圖。
S1202、S1204、S1206、S1208‧‧‧視訊編修方法的步驟
Claims (22)
- 一種視訊編修方法,適用於一視訊編修裝置,該視訊編修方法包括:取得一視訊的一編修片段,其中該編修片段是在該視訊的一第一片段之後,該編修片段是在該視訊的一第二片段之前,該第一片段包括一第一影像,該第二片段包括一第二影像,並且該第二影像的一短期參考索引指向該第一影像;設定該第一片段的一第三影像的一表頭,使得該第三影像的該表頭被解碼時,該第一影像從一短期參考影像串列被移動至一長期參考影像串列;更改該第二影像的該短期參考索引為一長期參考索引,其中該長期參考索引指向該長期參考影像串列中的該第一影像;以及編碼該視訊。
- 如申請專利範圍第1項所述之視訊編修方法,更包括:決定一編修操作;若該編修操作為一刪除操作,設定該第二片段的一起始影像的一表頭,使得該起始影像的該表頭被解碼時,該短期參考影像串列會被清除;以及若該編修操作為一***操作,設定該編修片段的一結尾影像的一表頭,使得該結尾影像的該表頭被解碼時,該短期參考影像串列會被清除。
- 如申請專利範圍第2項所述之視訊編修方法,更包括:若該編修操作為該***操作,設定該編修片段的多個影像的多個表頭,使得該些影像的該些表頭被解碼時,該長期參考影像串列維持不變。
- 如申請專利範圍第1項所述之視訊編修方法,其中取得該視訊的該編修片段的步驟包括:在一觸碰單元顯示一圖示物件,其中該圖示物件是對應於該視訊;偵測在該觸碰單元上的一軌跡,其中該軌跡相交於該圖示物件的一交點,並且該交點上的一法線與該軌跡形成一夾角;以及若該夾角小於一臨界值,根據該交點取得該視訊的一起始編修影像。
- 如申請專利範圍第4項所述之視訊編修方法,更包括:偵測一第一物體在該觸碰單元上的一第一移動以及一第二物體在該觸碰單元上的一第二移動,其中該第一物體不同於該第二物體;以及根據該第一移動與該第二移動之間的一差距改變該圖示物件的一顯示解析度。
- 如申請專利範圍第4項所述之視訊編修方法,其中取得該視訊的該編修片段的步驟更包括:根據該起始編修影像將該圖示物件分為一第一區域 與一第二區域,其中該第一區域是對應於該第一片段;偵測一第一物體在該第一區域上的一第一移動,並且偵測一第二物體在該第二區域上的一第二移動;以及根據該起始編修影像以及該第一移動與該第二移動之間的一差距,決定該編修片段。
- 如申請專利範圍第6項所述之視訊編修方法,其中偵測該第一移動與偵測該第二移動的步驟包括:偵測該第一物體或該第二物體在該觸碰單元上的多個連續移動;以及計算該些連續移動的一總距離以作為該第一移動或該第二移動。
- 如申請專利範圍第6項所述之視訊編修方法,其中根據該起始編修影像以及該第一移動與該第二移動之間的該差距,決定該編修片段的步驟包括:決定一編修操作;若該編修操作為一刪除操作,根據該起始編修影像以及該第一移動與該第二移動之間的該差距決定該視訊的一刪除片段,其中該刪除片段為該編修片段,並且該視訊中除了該第一片段與該刪除片段以外的一其餘片段為該第二片段;以及若該編修操作為一***操作,根據該起始編修影像以及該第一移動與該第二移動之間的該差距決定該第一片段與該第二片段之間的一間距,並且將一***片段加入至該間距中,其中至少部份的該***片段為該編修片段。
- 如申請專利範圍第8項所述之視訊編修方法,其中將該***片段加入至該間距中的步驟包括:判斷該***片段的一長度是否大於該間距的一長度;若該***片段的該長度小於等於該間距的該長度,設定該間距的該長度為該***片段的該長度,並且將該***片段加入至該第一片段與該第二片段之間;以及若該***片段的該長度大於該間距的該長度,取得該***片段的一第二***片段,並且將該第二***片段加入至該第一片段與該第二片段之間,其中該第二***片段的一長度等於該間距的該長度。
- 如申請專利範圍第1項所述之視訊編修方法,其中編碼該視訊的步驟更包括:若該第一片段的一雙向影像的一後向參考影像並不在該第一片段內,則改變該雙向影像為一預測影像。
- 如申請專利範圍第1項所述之視訊編修方法,其中編碼該視訊的步驟更包括;若該第二片段的一第四影像的一前向參考影像並不在該第一片段或該第二片段內,以一無失真壓縮演算法壓縮該第四影像。
- 一種視訊編修裝置,包括:一記憶體,儲存有多個指令;以及一處理器,耦接至該記憶體,用以執行該些指令以執行多個步驟:取得一視訊的一編修片段,其中該編修片段是在該視 訊的一第一片段之後,該編修片段是在該視訊的一第二片段之前,該第一片段包括一第一影像,該第二片段包括一第二影像,並且該第二影像的一短期參考索引指向該第一影像;設定該第一片段的一第三影像的一表頭,使得該第三影像的該表頭被解碼時,該第一影像從一短期參考影像串列被移動至一長期參考影像串列;更改該第二影像的該短期參考索引為一長期參考索引,其中該長期參考索引指向該長期參考影像串列中的該第一影像;以及編碼該視訊。
- 如申請專利範圍第12項所述之視訊編修裝置,其中該些步驟更包括:決定一編修操作;若該編修操作為一刪除操作,設定該第二片段的一起始影像的一表頭,使得該起始影像的該表頭被解碼時,該短期參考影像串列會被清除;以及若該編修操作為一***操作,設定該編修片段的一結尾影像的一表頭,使得該結尾影像的該表頭被解碼時,該短期參考影像串列會被清除。
- 如申請專利範圍第13項所述之視訊編修裝置,其中該些步驟更包括:若該編修操作為該***操作,設定該編修片段的多個影像的多個表頭,使得該些影像的該些表頭被解碼時,該 長期參考影像串列維持不變。
- 如申請專利範圍第12項所述之視訊編修裝置,更包括一觸碰單元,其中取得該視訊的該編修片段的步驟包括:在該觸碰單元顯示一圖示物件,其中該圖示物件是對應於該視訊;偵測在該觸碰單元上的一軌跡,其中該軌跡相交於該圖示物件的一交點,並且該交點上的一法線與該軌跡形成一夾角;以及若該夾角小於一臨界值,根據該交點取得該視訊的一起始編修影像。
- 如申請專利範圍第15項所述之視訊編修裝置,其中該些步驟更包括:偵測一第一物體在該觸碰單元上的一第一移動以及一第二物體在該觸碰單元上的一第二移動,其中該第一物體不同於該第二物體;以及根據該第一移動與該第二移動之間的一差距改變該圖示物件的一顯示解析度。
- 如申請專利範圍第15項所述之視訊編修裝置,其中取得該視訊的該編修片段的步驟更包括:根據該起始編修影像將該圖示物件分為一第一區域與一第二區域,其中該第一區域是對應於該第一片段;偵測一第一物體在該第一區域上的一第一移動,並且偵測一第二物體在該第二區域上的一第二移動;以及 根據該起始編修影像以及該第一移動與該第二移動之間的一差距,決定該編修片段。
- 如申請專利範圍第17項所述之視訊編修裝置,其中偵測該第一移動與偵測該第二移動的步驟包括:偵測該第一物體或該第二物體在該觸碰單元上的多個連續移動;以及計算該些連續移動的一總距離以作為該第一移動或該第二移動。
- 如申請專利範圍第17項所述之視訊編修裝置,其中根據該起始編修影像以及該第一移動與該第二移動之間的該差距,決定該編修片段的步驟包括:決定一編修操作;若該編修操作為一刪除操作,根據該起始編修影像以及該第一移動與該第二移動之間的該差距決定該視訊的一刪除片段,其中該刪除片段為該編修片段,並且該視訊中除了該第一片段與該刪除片段以外的一其餘片段為該第二片段;以及若該編修操作為一***操作,根據該起始編修影像以及該第一移動與該第二移動之間的該差距決定該第一片段與該第二片段之間的一間距,並且將一***片段加入至該間距中,其中至少部份的該***片段為該編修片段。
- 如申請專利範圍第19項所述之視訊編修裝置,其中將該***片段加入至該間距中的步驟包括:判斷該***片段的一長度是否大於該間距的一長度; 若該***片段的該長度小於等於該間距的該長度,設定該間距的該長度為該***片段的該長度,並且將該***片段加入至該第一片段與該第二片段之間;以及若該***片段的該長度大於該間距的該長度,取得該***片段的一第二***片段,並且將該第二***片段加入至該第一片段與該第二片段之間,其中該第二***片段的一長度等於該間距的該長度。
- 如申請專利範圍第12項所述之視訊編修裝置,其中編碼該視訊的步驟更包括:若該第一片段的一雙向影像的一後向參考影像並不在該第一片段內,則改變該雙向影像為一預測影像。
- 如申請專利範圍第12項所述之視訊編修裝置,其中編碼該視訊的步驟更包括;若該第二片段的一第四影像的一前向參考影像並不在該第一片段或該第二片段內,以一無失真壓縮演算法壓縮該第四影像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101145831A TWI488502B (zh) | 2012-12-06 | 2012-12-06 | 視訊編修方法與視訊編修裝置 |
US13/786,483 US9472240B2 (en) | 2012-12-06 | 2013-03-06 | Video editing method and video editing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101145831A TWI488502B (zh) | 2012-12-06 | 2012-12-06 | 視訊編修方法與視訊編修裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201424377A TW201424377A (zh) | 2014-06-16 |
TWI488502B true TWI488502B (zh) | 2015-06-11 |
Family
ID=50881057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101145831A TWI488502B (zh) | 2012-12-06 | 2012-12-06 | 視訊編修方法與視訊編修裝置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9472240B2 (zh) |
TW (1) | TWI488502B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9336685B2 (en) * | 2013-08-12 | 2016-05-10 | Curious.Com, Inc. | Video lesson builder system and method |
US9710076B2 (en) * | 2014-11-12 | 2017-07-18 | Successfactors, Inc. | Precise selection behavior for sliders by interpreting a second finger touch |
US10555002B2 (en) | 2016-01-21 | 2020-02-04 | Intel Corporation | Long term reference picture coding |
CN107277580B (zh) * | 2017-05-24 | 2019-07-05 | 中广热点云科技有限公司 | 一种在手机上缓存欲回放的电视节目的方法 |
CN111372085B (zh) * | 2018-12-25 | 2021-07-09 | 厦门星宸科技有限公司 | 影像解码装置与方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW520602B (en) * | 2001-06-28 | 2003-02-11 | Ulead Systems Inc | Device and method of editing video program |
WO2006040413A1 (en) * | 2004-10-14 | 2006-04-20 | Nokia Corporation | Reference picture management in video coding |
US20110243224A1 (en) * | 2006-07-11 | 2011-10-06 | Yeping Su | Methods and Apparatus Using Virtual Reference Pictures |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266431A (ja) * | 1997-12-17 | 1999-09-28 | Tektronix Inc | ビデオ編集方法及び装置 |
JPH11261958A (ja) * | 1998-03-09 | 1999-09-24 | Sony Corp | 映像編集装置及び映像編集方法 |
EP1098526A3 (en) * | 1999-11-02 | 2004-09-15 | Matsushita Electric Industrial Co., Ltd. | Video editing apparatus and method |
US9479776B2 (en) * | 2012-07-02 | 2016-10-25 | Qualcomm Incorporated | Signaling of long-term reference pictures for video coding |
-
2012
- 2012-12-06 TW TW101145831A patent/TWI488502B/zh active
-
2013
- 2013-03-06 US US13/786,483 patent/US9472240B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW520602B (en) * | 2001-06-28 | 2003-02-11 | Ulead Systems Inc | Device and method of editing video program |
WO2006040413A1 (en) * | 2004-10-14 | 2006-04-20 | Nokia Corporation | Reference picture management in video coding |
US20110243224A1 (en) * | 2006-07-11 | 2011-10-06 | Yeping Su | Methods and Apparatus Using Virtual Reference Pictures |
Non-Patent Citations (1)
Title |
---|
Akio Yoneyama, Yasuhiro Takishima, and Yasuyuki Nakajima, "A FAST FRAME-ACCURATE H.264/MPEG-4 AVC EDITING METHOD", 2005 IEEE International Conference on Multimedia and Expo, Pp. 1298–1301, 6-6 July 2005 Ari Hourunranta, Asad Islam, Fehmi Chebil, "VIDEO AND AUDIO EDITING FOR MOBILE APPLICATIONS", 2006 IEEE International Conference on Multimedia and Expo, Pp 1305–1308, 9-12 July 2006 * |
Also Published As
Publication number | Publication date |
---|---|
TW201424377A (zh) | 2014-06-16 |
US20140161422A1 (en) | 2014-06-12 |
US9472240B2 (en) | 2016-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI488502B (zh) | 視訊編修方法與視訊編修裝置 | |
JP6562992B2 (ja) | デジタルビデオストリーミングにおけるトリック再生 | |
US9881645B2 (en) | Systems, methods, and media for editing video during playback via gestures | |
US9275604B2 (en) | Constant speed display method of mobile device | |
US11405437B2 (en) | Media seek mechanisms | |
CN106060578B (zh) | 生成视频数据的方法和*** | |
CN103544977B (zh) | 基于触摸控制的视频定位装置和方法 | |
CN105144728B (zh) | 通过http的动态自适应流式传输中面对丢失的媒体分段的恢复力 | |
US8437392B2 (en) | Selective reencoding for GOP conformity | |
JPWO2007111206A1 (ja) | 画像処理装置及び画像処理方法 | |
US20140016910A1 (en) | Electronic apparatus and control method of the same | |
US20100247066A1 (en) | Method and apparatus for reverse playback of encoded multimedia content | |
WO2015188297A1 (zh) | 加权跳过模式的视频图像块压缩算术编解码方法及装置 | |
US9055272B2 (en) | Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method | |
KR20160095058A (ko) | 카메라 모션에 의해 손상된 비디오 프레임의 처리 | |
US10616551B2 (en) | Method and system for constructing view from multiple video streams | |
US20140369422A1 (en) | Remultiplexing Bitstreams of Encoded Video for Video Playback | |
CN103716638A (zh) | 表示视频图像显示顺序的方法 | |
CN112492384B (zh) | 视频解码方法、装置和计算机设备 | |
JP2009111762A (ja) | 画像符号化装置及び画像復号装置 | |
TWI735297B (zh) | 具有初始化片段之視訊及音訊之寫碼 | |
CN105847822A (zh) | 一种视频解码方法及装置 | |
CN103888781B (zh) | 视频编修方法与视频编修装置 | |
CN110858896B (zh) | 一种vr图像处理方法 | |
JP2006121267A (ja) | 連続再生システム |