TWI570666B - 電子裝置及其影片物體追蹤方法 - Google Patents
電子裝置及其影片物體追蹤方法 Download PDFInfo
- Publication number
- TWI570666B TWI570666B TW102141546A TW102141546A TWI570666B TW I570666 B TWI570666 B TW I570666B TW 102141546 A TW102141546 A TW 102141546A TW 102141546 A TW102141546 A TW 102141546A TW I570666 B TWI570666 B TW I570666B
- Authority
- TW
- Taiwan
- Prior art keywords
- picture
- tracking
- module
- screen
- pictures
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Signal Processing (AREA)
Description
本發明關於一種電子裝置及其影片處理方法。更具體而言,本發明關於一種電子裝置及其影片物體追蹤方法。
近年來,各式各樣的電子裝置,例如電視、電腦、行動電話、相機、攝影機等等,普遍都具有針對影片進行處理的功能。舉例而言,上述電子裝置普遍可被用以拍攝影片、播放影片、剪輯影片等等。
在某些應用情境下,影片物體追蹤功能可使電子裝置具有更高的附加價值。舉例而言,在互動式影片的情境下,若電子裝置具有影片物體追蹤功能,則可針對物體在影片中各個畫面所出現的位置進行估測,進而對在各該畫面中出現的該物體嵌人特定資訊或連結。如此,當使用者觀賞該影片時,將可透過直接點選出現於該影片中的物體而獲得對應至該物體的特定資訊或連結。在此應用情境下,具有影片物體追蹤功能的電子裝置,不但可讓使用者節省另外使用網際網路搜尋的時間,也利於廠商商品推廣及活動行銷。
影片物體追蹤技術的一大關鍵在於如何快速地估測出物體在影片中的移動軌跡,也就是如何快速地估測出該物體在影片中的變化(包括物體形狀以及物體位置的變化)。因應各種估測演算法的精進,傳統的影片物體追蹤技術在估測單一物體的移動軌跡所耗費的時間已逐漸縮減。然而,當在影片中有複數個物體的移動軌跡需要被估測時,傳統的影片物體追蹤技術必須依序地針對不同的物體於該影片中的移動軌跡進行估測,故所需耗費的時間往往呈現線性成長。換言之,當在影片中有複數個物體的移動軌跡需要被估測時,傳統的影片物體追蹤技術的效率並不夠卓越。
有鑑於此,如何針對傳統的影片物體追蹤技術追蹤複數個物體所耗費的時間進行改善,確為本發明所屬技術領域亟需解決的問題。
本發明的主要目的在於針對傳統的影片物體追蹤技術追蹤複數個物體所耗費的時間進行改善。
為達上述目的,本發明提供一種電子裝置。該電子裝置包含一影片供應單元與一電性連接至該影片供應單元的處理單元。該影片供應單元用以供應一影片。該處理單元用以:擷取該影片的一影片片段,該影片片段包含複數個連續畫面;於該等連續畫面的一第一畫面中界定至少一第一物體的位置;於該等連續畫面的一第二畫面中界定該至少一第一物體的位置;以及根據該至少一第一物體於該第一畫面與該第二畫面中的該等位置,判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位
置。
為達上述目的,本發明另提供一種用於一電子裝置的影片物體追蹤方法。該電子裝置包含一影片供應單元與一電性連接至該影片供應單元的處理單元。該影片物體追蹤方法包含下列步驟:(a)由該影片供應單元供應一影片;(b)由該處理單元擷取該影片的一影片片段,該影片片段包含複數個連續畫面;(c)於該等連續畫面的一第一畫面中,由該處理單元界定至少一第一物體的位置;(d)於該等連續畫面的一第二畫面中,由該處理單元界定該至少一第一物體的位置;以及(e)根據該至少一第一物體於該第一畫面與該第二畫面中的該等位置,由該處理單元判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位置。
具體而言,本發明提供一種電子裝置及其影片物體追蹤方法。透過上述影片供應單元與處理單元的運作,該電子裝置及其影片物體追蹤方法將在一影片片段所包含的複數個連續畫面中挑選出二個畫面,並分別在此二個畫面中界定一或多個相同物體的位置。接著,透過該一或多個相同物體位於此二個畫面中的位置,判斷該一或多個相同物體於此二個畫面之間的各畫面中的位置,藉以估測出該一或多個相同物體於此二個畫面之間的移動軌跡。不同於傳統的影片物體追蹤方法必須依序地對
不同的物體的移動軌跡進行估測,本發明可一次對多個物體的移動軌跡進行估測,故可有效地針對傳統的影片物體追蹤技術追蹤複數個物體所耗費的時間進行改善。
於參閱圖式及隨後描述的實施方式後,本發明所屬技術領域具有通常知識者便可瞭解本發明的其他目的,以及本發明的技術手段及部分實施態樣。
1‧‧‧電子裝置
11‧‧‧影片供應單元
13‧‧‧處理單元
131‧‧‧影片切割模組
133‧‧‧物體界定模組
135‧‧‧物體追蹤模組
15‧‧‧使用者介面單元
20‧‧‧影片
22‧‧‧影片片段
40‧‧‧至少一第一物體於第一畫面的位置
42‧‧‧至少一第一物體於第二畫面的位置
43‧‧‧至少一第二物體於第二畫面的位置
44‧‧‧至少一第二物體於第三畫面的位置
45‧‧‧至少一第三物體於第一畫面的位置
46‧‧‧至少一第三物體於第三畫面的位置
60‧‧‧使用者輸入
F1‧‧‧第一畫面
F2‧‧‧第二畫面
F3‧‧‧第三畫面
B1‧‧‧盒框
B2‧‧‧盒框
S21、S23、S25、S27、S29‧‧‧步驟
X1‧‧‧第一物體
X2‧‧‧第二物體
X3‧‧‧第三物體
第1圖為本發明第一實施例所述的電子裝置1的一結構示意圖;第2圖為本發明第一實施例所述的影片片段22的一示意圖;第3圖為本發明第一實施例所述的物體追蹤模組135的一運作示意圖;以及第4圖為本發明第二實施例所述的影片物體追蹤方法的一示意圖。
以下將透過實施例來解釋本發明的內容,本發明的實施例並非用以限制本發明須在如實施例所述的任何特定的環境、應用或特殊方式方能實施。因此,關於實施例的說明僅為闡釋本發明的目的,而非用以限制本發明。以下實施例及圖式中,與本發明非直接相關的元件皆已省略而未繪示,且圖式中各元件間的尺寸關係僅為求容易瞭解,非用以限制實際實施的比例。
本發明的第一實施例用以闡述一種電子裝置,且第1圖為該電子裝置的結構示意圖。如第1圖所示,電子裝置1包含一影
片供應單元11與一處理單元13,並可選擇地包含一使用者介面單元15。電子裝置1可以是但不限於:電視、電腦、行動電話、相機、攝影機等等。影片供應單元11與使用者介面單元15皆與處理單元13電性連接,且各單元彼此可相互通訊及傳遞訊息。
影片供應單元11可包含一影片擷取器,例如攝影機,用以擷取一影片20並供應影片20給處理單元13。影片供應單元11也可包含一儲存器,用以儲存影片20並供應影片20給處理單元13。於其他實施例,影片供應單元11亦可以透過其他實施態樣來提供影片20給處理單元13。
處理單元13用以擷取影片20的一影片片段22,其中影片片段22可包含複數個連續畫面。處理單元13更用以於該等連續畫面的一第一畫面中,界定至少一第一物體的位置40,並於該等連續畫面的一第二畫面中,界定該至少一第一物體的位置42。本實施例所述的至少一物體可視為一或多個物體。處理單元13還用以根據該至少一第一物體位於該第一畫面的位置40以及位於該第二畫面的位置42,判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位置,藉以估測該至少一第一物體從該第一畫面到該第二畫面的移動軌跡。
為便於說明,本實施例之處理單元13可包含一影片切割模組131、一物體界定模組133及一物體追蹤模組135。於其他實施例,處理單元13亦可僅為單一個處理器,並執行上述各個模組的相對應操作。
如第1圖所示,當影片供應單元11供應影片20至處理
單元13後,處理單元13首先透過影片切割模組131擷取影片20的影片片段22。影片切割模組131的目的在於確保擷取出的影片片段22所包含的複數個連續畫面中具有至少一共同物體。因此,影片片段22可以是整段影片20,也可以是影片20中的任一段片段。
舉例而言,影片切割模組131可根據拍攝影片20的畫面鏡頭是否切換,判斷畫面是否連續。若畫面不連續,則影片切割模組131會切割影片20,並擷取出包含複數個連續畫面的影片片段22。於其他實施例,處理單元13亦可不具有影片切割模組131,且影片供應單元11直接傳送影片20至物體界定模組133。
在電子裝置1不包含使用者介面單元15的情況下,於處理單元13的影片切割模組131擷取影片20的影片片段22之後,處理單元13的物體界定模組133可用以在該等連續畫面的該第一畫面界定至少一第一物體的位置40,並在該等連續畫面的該第二畫面界定該至少一第一物體的位置42。
在電子裝置1包含使用者介面單元15的情況下,處理單元13的物體界定模組133可根據來自使用者介面單元15的一使用者輸入60,於該第一畫面中界定該至少一第一物體的位置40以及於該第二畫面中界定該至少一第一物體的位置42。舉例而言,使用者可透過一觸控式螢幕、一滑鼠、一鍵盤或各種輸入裝置(未繪示),於該第一畫面與該第二畫面中手動框選出該至少一物體。然後,使用者介面單元15將根據使用者於該第一畫面與該第二畫面中所框選的範圍產生使用者輸入60。接著,處理單元13的物體界定模組133將根據使用者輸入60,於該第一畫
面中界定該至少一第一物體的位置40以及於該第二畫面中界定該至少一第一物體的位置42。
在處理單元13的物體界定模組133於該第一畫面中界定該至少一第一物體的位置40以及於該第二畫面中界定該至少一第一物體的位置42之後,處理單元13的物體追蹤模組135可用以根據該至少一第一物體位於該第一畫面的位置40以及位於該第二畫面中的位置42,判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位置,藉以估測該至少一第一物體從該第一畫面到該第二畫面的移動軌跡。
以下將以第2圖與第3圖作為一示範例,進一步說明物體界定模組133以及物體追蹤模組135的上述運作。第2圖為影片片段22的一示意圖,而第3圖為物體追蹤模組135的一運作示意圖。
如第2圖所示,影片片段22包含複數個連續畫面。為了便於說明,假設第一畫面F1為影片片段22包含的該等連續畫面中的起始畫面,而第二畫面F2為影片片段22包含的該等連續畫面中的結束畫面。於其他實施例,第一畫面F1與第二畫面F2亦可以是影片片段22所包含的該等連續畫面中的任二個非相鄰的畫面。
處理單元13的物體界定模組133首先判斷第一畫面F1及第二畫面F2是否出現相同的物體。由於第一畫面F1及第二畫面F2皆出現第一物體X1(圓形物體)時,故處理單元13的物體界定模組133將界定出第一物體X1位於第一畫面F1的位置40以及位於第二畫面F2的位置42。之後,處理單元13的物體追蹤模組135將根據第一物體X1位於第一畫面F1的位置40以及位於第二畫面F2的
位置42,判斷第一物體X1位於第一畫面F1與第二畫面F2之間的各畫面中的位置。
若多個第一物體X1同時出現在第一畫面F1以及第二畫面F2,處理單元13的物體界定模組133可同步界定出複數個第一物體X1位於第一畫面F1的複數個位置40以及位於第二畫面F2的複數個位置42,而處理單元13的物體追蹤模組135將根據複數個第一物體X1位於第一畫面F1的該等位置40以及位於第二畫面F2的該等位置42,判斷各該第一物體X1位於第一畫面F1與第二畫面F2之間的各畫面中的位置。
於其他實施例,即使是連續畫面,在影片片段22中,某些物體可能沒出現在第一畫面F1,但出現在第二畫面F2;或者某些物體可能出現在第一畫面F1,但沒出現在第二畫面F2。前者猶如第2圖中所示的第二物體X2(三角物體),而後者猶如第2圖中所示的第三物體X3(正方物體)。第二物體X2與第三物體X3的數量可為一個或複數個。
由於第二物體X2僅出現在第二畫面F2且沒出現在第一畫面F1,故第二物體X2可能在第一畫面F1到第二畫面F2之間的某一畫面開始出現,並持續出現直到第二畫面F2。因此,處理單元13的物體界定模組133更用以在第二畫面F2中界定第二物體X2的位置43;以及在第一畫面F1與第二畫面F2之間的畫面中選定一個第三畫面F3,然後在第三畫面F3中界定第二物體X2的位置44。接著,處理單元13的物體追蹤模組135更用以根據第二物體X2位於第二畫面F2的位置
43以及位於第三畫面F3中的位置44,判斷第二物體X2位於第二畫面F2與第三畫面F3之間的各畫面中的位置,藉以估測第二物體X2從第三畫面F3到第二畫面F2的移動軌跡。
相似地,由於第三物體X3僅出現在第一畫面F1且沒出現在第二畫面F2,故第三物體X3可能在第一畫面F1到第二畫面F2之間的某一畫面消失,並持續消失直到第二畫面F2。因此,處理單元13的物體界定模組133更用以在第一畫面F1中界定第三物體X3的位置45;以及在第一畫面F1與第二畫面F2之間的畫面中選定一個第三畫面F3,然後在第三畫面F3中界定第三物體X3的位置46。接著,處理單元13的物體追蹤模組135更用以根據第三物體X3位於第一畫面F1的位置45以及位於第三畫面F3中的位置46,判斷第三物體X3位於第一畫面F1與第三畫面F3之間的各畫面中的位置,藉以估測第三物體X3從第一畫面F1到第三畫面F3的移動軌跡。
當同時存在第二物體X2與第三物體X3時,處理單元13的物體界定模組133可以從第一畫面F1與第二畫面F2之間的畫面中分別選出二個不同的第三畫面F3以分別界定第二物體X2與第三物體X3的位置44、46,亦可以僅選出一個相同的第三畫面F3以界定第二物體X2與第三物體X3的位置44、46。另外,從第一畫面F1與第二畫面F2之間的畫面中選出第三畫面F3的規則,可以採納經驗法則、二分法則或其他習知的方法。舉例而言,處理單元13的物體界定模組133可採用二分法而選擇第一畫面F1與第二畫面F2之間的畫面中的中間那張畫面作為第三畫面F3。於其他實施例,
亦可由使用者透過使用者介面單元15從第一畫面F1與第二畫面F2之間的畫面中選出第三畫面F3。
除了上述第二物體X2與第三物體X3的情況外,某些物體可能出現在第一畫面F1與第二畫面F2之間的畫面中,並消失於第一畫面F1與第二畫面F2之間的畫面中。換言之,這些物體不出現於第一畫面F1中也不出現於第二畫面F2中。然而,基於上述揭露內容可知,處理單元13的物體界定模組133與物體追蹤模組135仍可有效地估測出這些物體的移動軌跡。
舉例而言,假設處理單元13的物體界定模組133在第三畫面F3中界定了一第四物體(未繪示),且該第四物體不出現於第一畫面F1中也不出現於第二畫面F2中。此時,處理單元13的物體界定模組133可在第一畫面F1與第三畫面F3之間的畫面中選定一第四畫面(未繪示),或在第三畫面F3與第二畫面F2之間的畫面中選定一第五畫面(未繪示),然後在該第四畫面及/或該第五畫面中界定出該第四物體的位置。類似地,處理單元13的物體追蹤模組135可根據該第四物體位於該第四畫面的位置以及位於第三畫面F3的位置,判斷該第四物體位於該第四畫面與第三畫面F3之間的各畫面中的位置,藉以估測該第四物體從該第四畫面到第三畫面F3的移動軌跡。或者,處理單元13的物體追蹤模組135可根據該第四物體位於第三畫面F3的位置以及位於該第五畫面的位置,判斷該第四物體位於第三畫面F3與該第五畫面之間的各畫面中的位置,藉以估測該第四物體從第三畫面F3到該第五畫面的移動軌跡。
於其他實施例,處理單元13的物體界定模組133亦可於第一畫面F1與第二畫面F2之間決定複數個特定畫面(未繪示)。舉例而言,物體界定模組133可從第一畫面F1開始,等間距的每間隔N個畫面(N為正整數),就決定一特定畫面直到第二畫面F2。或者,物體界定模組133亦可於第一畫面F1與第二畫面F2之間隨機的決定出該等特定畫面。當決定該等特定畫面後,物體界定模組133可從第一畫面F1、第二畫面F2與該等特定畫面裡的二相鄰畫面中,分別界定一相同物體的位置。接著,處理單元13的物體追蹤模組135可根據該相同物體於該二相鄰畫面中的該等位置,判斷該相同物體位於該二相鄰畫面之間的各畫面中的位置。
於處理單元13的物體界定模組133在影片片段22的任二個非相鄰的畫面中界定了一或多個物體後,處理單元13的物體追蹤模組135可根據各種習知的影片物體追蹤方法,估測出該一或多個物體於該二個非相鄰的畫面中的移動軌跡。如第三圖所例示,處理單元13的物體追蹤模組135可透過雙向追蹤技術(包含正向追蹤以及反向追蹤),估測第一物體X1從第一畫面F1到第二畫面F2的移動軌跡。
假設第一畫面F1及第二畫面F2之間還有三個畫面,物體追蹤模組135可在第一畫面F1中利用盒框B1界定第一物體X1的位置40,然後採用各種習知的影片物體追蹤技術,對第一物體X1在其餘四個畫面中的位置進行正向追蹤,其中第一物體X1在其餘四個畫面中的估測位置分別以盒框B2來表示。習知的影片物體追蹤技術可以是但不限於:平均位移演算法(Mean Shift
Algorithm)、連續可適性平均位移演算法(Continuously Adaptive Mean Shift Algorithm)、整體追蹤演算法(Ensemble Tracking Algorithm)等等。
物體追蹤模組135亦可針對第一物體X1在各個畫面中的估測位置計算一權重值。舉例而言,第一物體X1在各個畫面中的位置的權重值可依序為1、0.75、0.5、0.25、0。權重值越高表示盒框B1、B2涵蓋第一物體X1越完整,且第一物體X1在各畫面中的估測位置越精確。
相似地,物體追蹤模組135可在第二畫面F2中利用盒框B1界定第一物體X1的位置42,然後採用各種習知的影片物體追蹤技術,對第一物體X1在其餘四個畫面中的位置進行反向追蹤,其中第一物體X1在其餘四個畫面中的估測位置同樣分別以盒框B2來表示。物體追蹤模組135同樣可針對第一物體X1在各個畫面中的估測位置計算一權重值。舉例而言,第一物體X1在各個畫面中的位置的權重值可依序為0、0.25、0.5、0.75、1。
最後,根據正向追蹤以及反向追蹤對於第一物體X1在各個畫面中的位置所計算該等權重值進行平均加權計算,以判斷第一物體X1位於各個畫面中的位置,進而估測第一物體X1從第一畫面F1到第二畫面F2的移動軌跡。基於相同判斷方法,第二物體X2及第二物體X3的移動軌跡可被估測。
於其他實施例,物體追蹤模組135亦可根據第一物體X1位於第一畫面F1的位置40以及位於第二畫面F2的位置42,採用
各種習知的內插演算法,判斷第一物體X1位於第一畫面F1與第二畫面F2之間的各畫面中的位置,藉以估測第一物體X1從第一畫面F1到第二畫面F2的移動軌跡。
本發明的第二實施例用以闡述一種用於一電子裝置的影片物體追蹤方法。本實施例所述的電子裝置可包含一影片供應單元與一電性連接至該影片供應單元的處理單元。該處理單元可包含一影片切割模組、一物體界定模組及一物體追蹤模組。本實施例所述的影片物體追蹤方法適用於第一實施例所述的電子裝置1。
本實施例所描述的影片物體追蹤方法亦可由一電腦程式產品執行。當一電子裝置載入該電腦程式產品,並執行該電腦程式產品所包含的複數個指令後,即可完成本實施例述的影片物體追蹤方法。前述電腦程式產品可儲存於電腦可讀取記錄媒體中,例如唯讀記憶體(read only memory;ROM)、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、以及可由網路存取之資料庫或且具有相同功能的其它儲存媒體。
第4圖為本實施例所述的影片物體追蹤方法的一示意圖。本實施例所述的影片物體追蹤方法包含步驟S21、步驟S23、步驟S25、步驟S27及步驟S29,而各個步驟的排列順序並非用以限制本發明。
如第4圖所示,在步驟S21中,由該影片供應單元供應一影片。在步驟S23中,由該影片切割模組擷取該影片的一影片片
段,該影片片段包含複數個連續畫面。在步驟S25中,於該等連續畫面的一第一畫面中,由該物體界定模組界定至少一第一物體的位置。在步驟S27中,於該等連續畫面的一第二畫面中,由該物體界定模組界定該至少一第一物體的位置。可選擇地,該第一畫面為該等連續畫面的起始畫面,而該第二畫面為該等連續畫面的結束畫面。在步驟S29中,根據該至少一第一物體於該第一畫面與該第二畫面中的該等位置,由該物體追蹤模組判斷該至少一第一物體位於該第一畫面與該第二畫面之間的畫面中的位置。
在其他實施例中,該電子裝置可更包含一電性連接至該處理單元的使用者介面單元,且該物體界定模組根據來自該使用者介面單元的一使用者輸入,於該第一畫面與該第二畫面中界定該至少一第一物體的該等位置。
於其他實施例中,本實施例所述的影片物體追蹤方法可更包含以下步驟:於該第二畫面中,由該物體界定模組界定至少一第二物體的位置;於該等連續畫面的一第三畫面中,由該物體界定模組界定該至少一第二物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及根據該至少一第二物體於該第二畫面與該第三畫面中的該等位置,由該物體追蹤模組判斷該至少一第二物體位於該第二畫面與該第三畫面之間的畫面中的位置。
在其他實施例中,本實施例所述的影片物體追蹤方法可更包含以下步驟:於該第一畫面中,由該物體界定模組界定至少一第三物體的位置;於該等連續畫面的一第三畫面中,由該物體
界定模組界定該至少一第三物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及根據該至少一第三物體於該第一畫面與該第三畫面中的該等位置,由該物體追蹤模組判斷該至少一第三物體位於該第一畫面與該第三畫面之間的畫面中的位置。
在其他實施例中,本實施例所述的影片物體追蹤方法可更包含以下步驟:於該第一畫面與該第二畫面之間,由該物體界定模組決定複數個特定畫面;於該第一畫面、該第二畫面與該等特定畫面裡的二相鄰畫面中,由該物體界定模組分別界定一相同物體的位置;以及根據該相同物體於該二相鄰畫面中的該等位置,由該物體追蹤模組判斷該相同物體位於該二相鄰畫面之間的各畫面中的位置。
除了上述步驟,本實施例的影片物體追蹤方法可更包含對應至第一實施例中的電子裝置1所描述的所有操作的步驟及實現相對應的功能。由於所屬技術領域具有通常知識者可基於上述第一實施例的揭露內容而直接瞭解本實施例未揭露的步驟,於此不再贅述。
綜上所述,本發明提供了一種電子裝置及其影片物體追蹤方法。透過上述影片供應單元與處理單元的運作,該電子裝置及其影片物體追蹤方法將在一影片片段所包含的複數個連續畫面中挑選出二個畫面,並分別在此二個畫面中界定一或多個相同物體的位置。接著,透過該一或多個相同物體位於此二個畫面中的位置,判斷該一或多個相同物體於此二個畫面之間的各畫面中的位置,藉以估測出該一或多個相同物體
於此二個畫面之間的移動軌跡。不同於傳統的影片物體追蹤方法必須依序地對不同的物體的移動軌跡進行估測,本發明可一次對多個物體的移動軌跡進行估測,故可有效地針對傳統的影片物體追蹤技術追蹤複數個物體所耗費的時間進行改善。
上述實施例僅用來例舉本發明的部分實施態樣,以及闡釋本發明的技術特徵,但並非用來限制本發明的保護範疇。任何熟悉此技術者可輕易完成的改變或均等性的安排均屬於本發明所主張的範圍,而本發明的權利保護範圍以申請專利範圍為準。
S21、S23、S25、S27、S29‧‧‧步驟
Claims (12)
- 一種電子裝置,包含:一影片供應單元,用以供應一影片;以及一處理單元,電性連接至該影片供應單元,並包含:一影片切割模組,用以擷取該影片的一影片片段,該影片片段包含複數個連續畫面;一物體界定模組,用以於該等連續畫面的一第一畫面中,界定至少一第一物體的位置,並於該等連續畫面的一第二畫面中,界定該至少一第一物體的位置;以及一物體追蹤模組,用以根據該至少一第一物體於該第一畫面與該第二畫面中的該等位置,分別透過一正向追蹤與一反向追蹤計算該至少一第一物體於該第一畫面與該第二畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位置。
- 如請求項1所述的電子裝置,其中:該物體界定模組更用以:於該第二畫面中,界定至少一第二物體的位置;以及於該等連續畫面的一第三畫面中,界定該至少一第二物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及該物體追蹤模組更用以:根據該至少一第二物體於該第二畫面與該第三畫面中的該等位置,分別透過一正向追蹤與一反向追蹤計算該至少一 第二物體於該第二畫面與該第三畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第二物體位於該第二畫面與該第三畫面之間的各畫面中的位置。
- 如請求項1所述的電子裝置,其中:該物體界定模組更用以:於該第一畫面中,界定至少一第三物體的位置;以及於該等連續畫面的一第三畫面中,界定該至少一第三物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及該物體追蹤模組更用以:根據該至少一第三物體於該第一畫面與該第三畫面中的該等位置,分別透過一正向追蹤與一反向追蹤計算該至少一第三物體於該第一畫面與該第三畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第三物體位於該第一畫面與該第三畫面之間的各畫面中的位置。
- 如請求項1所述的電子裝置,其中該第一畫面為該等連續畫面的起始畫面,而該第二畫面為該等連續畫面的結束畫面。
- 如請求項1所述的電子裝置,更包含一電性連接至該處理單元的使用者介面單元,其中該物體界定模組根據來自該使用者介面單元的一使用者輸入,於該第一畫面與該第二畫面中界定該至少一第一物體的該等位置。
- 如請求項1所述的電子裝置,其中:該物體界定模組更用以:於該第一畫面與該第二畫面之間決定複數個特定畫面;以及於該第一畫面、該第二畫面與該等特定畫面裡的二相鄰畫面中,分別界定一相同物體的位置;以及該物體追蹤模組更用以:根據該相同物體於該二相鄰畫面中的該等位置,分別透過一正向追蹤與一反向追蹤計算該相同物體於該二相鄰畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該相同物體位於該二相鄰畫面之間的各畫面中的位置。
- 一種用於一電子裝置的影片物體追蹤方法,該電子裝置包含一影片供應單元與一電性連接至該影片供應單元的處理單元,該處理單元包含一影片切割模組、一物體界定模組及一物體追蹤模組,該影片物體追蹤方法包含下列步驟:(a)由該影片供應單元供應一影片;(b)由該影片切割模組擷取該影片的一影片片段,該影片片段包含複數個連續畫面;(c)於該等連續畫面的一第一畫面中,由該物體界定模組界定至少一第一物體的位置;(d)於該等連續畫面的一第二畫面中,由該物體界定模組界定該至少一第一物體的位置;以及(e)根據該至少一第一物體於該第一畫面與該第二畫面中 的該等位置,由該物體追蹤模組分別透過一正向追蹤與一反向追蹤計算該至少一第一物體於該第一畫面與該第二畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第一物體位於該第一畫面與該第二畫面之間的各畫面中的位置。
- 如請求項7所述的影片物體追蹤方法,更包含下列步驟:(f1)於該第二畫面中,由該物體界定模組界定至少一第二物體的位置;(f2)於該等連續畫面的一第三畫面中,由該物體界定模組界定該至少一第二物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及(f3)根據該至少一第二物體於該第二畫面與該第三畫面中的該等位置,由該物體追蹤模組分別透過一正向追蹤與一反向追蹤計算該至少一第二物體於該第二畫面與該第三畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第二物體位於該第二畫面與該第三畫面之間的各畫面中的位置。
- 如請求項7所述的影片物體追蹤方法,更包含下列步驟:(g1)於該第一畫面中,由該物體界定模組界定至少一第三物體的位置;(g2)於該等連續畫面的一第三畫面中,由該物體界定模組界定該至少一第三物體的位置,該第三畫面介於該第一畫面與該第二畫面之間;以及(g3)根據該至少一第三物體於該第一畫面與該第三畫面 中的該等位置,由該物體追蹤模組分別透過一正向追蹤與一反向追蹤計算該至少一第三物體於該第一畫面與該第三畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該至少一第三物體位於該第一畫面與該第三畫面之間的各畫面中的位置。
- 如請求項7所述的影片物體追蹤方法,其中該第一畫面為該等連續畫面的起始畫面,而該第二畫面為該等連續畫面的結束畫面。
- 如請求項7所述的影片物體追蹤方法,其中該電子裝置更包含一電性連接至該處理單元的使用者介面單元,且該物體界定模組根據來自該使用者介面單元的一使用者輸入,於該第一畫面與該第二畫面中界定該至少一第一物體的該等位置。
- 如請求項7所述的影片物體追蹤方法,更包含下列步驟:(h1)於該第一畫面與該第二畫面之間,由該物體界定模組決定複數個特定畫面;(h2)於該第一畫面、該第二畫面與該等特定畫面裡的二相鄰畫面中,由該物體界定模組分別界定一相同物體的位置;以及(h3)根據該相同物體於該二相鄰畫面中的該等位置,由該物體追蹤模組分別透過一正向追蹤與一反向追蹤計算該相同物體於該二相鄰畫面之間的各畫面中的估測位置及其權重值,並對於該等權重值進行一平均加權計算,以判斷該相同物體位於該二相鄰畫面之間的各畫面中的位置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102141546A TWI570666B (zh) | 2013-11-15 | 2013-11-15 | 電子裝置及其影片物體追蹤方法 |
US14/092,708 US20150138345A1 (en) | 2013-11-15 | 2013-11-27 | Electronic device and video object tracking method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102141546A TWI570666B (zh) | 2013-11-15 | 2013-11-15 | 電子裝置及其影片物體追蹤方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201519158A TW201519158A (zh) | 2015-05-16 |
TWI570666B true TWI570666B (zh) | 2017-02-11 |
Family
ID=53172903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102141546A TWI570666B (zh) | 2013-11-15 | 2013-11-15 | 電子裝置及其影片物體追蹤方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150138345A1 (zh) |
TW (1) | TWI570666B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI785269B (zh) * | 2019-07-19 | 2022-12-01 | 日商三菱電機股份有限公司 | 顯示處理裝置、顯示處理方法及記錄有程式的媒體 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6261266B2 (ja) * | 2013-10-02 | 2018-01-17 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 移動体検知装置 |
TWI618032B (zh) * | 2017-10-25 | 2018-03-11 | 財團法人資訊工業策進會 | 目標偵測與追蹤方法及系統 |
EP3724809A1 (en) | 2017-12-13 | 2020-10-21 | Telefonaktiebolaget LM Ericsson (publ) | Indicating objects within frames of a video segment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1297552A (zh) * | 1999-01-28 | 2001-05-30 | 皇家菲利浦电子有限公司 | 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法 |
US20110081048A1 (en) * | 2008-07-09 | 2011-04-07 | Gwangju Institute Of Science And Technology | Method and apparatus for tracking multiple objects and storage medium |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266159A (ja) * | 2000-03-17 | 2001-09-28 | Toshiba Corp | 物体領域情報生成方法及び物体領域情報生成装置並びに近似多角形生成方法及び近似多角形生成装置 |
US6449019B1 (en) * | 2000-04-07 | 2002-09-10 | Avid Technology, Inc. | Real-time key frame effects using tracking information |
US6636237B1 (en) * | 2000-07-31 | 2003-10-21 | James H. Murray | Method for creating and synchronizing links to objects in a video |
US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
US7432940B2 (en) * | 2001-10-12 | 2008-10-07 | Canon Kabushiki Kaisha | Interactive animation of sprites in a video production |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
EP2160037A3 (en) * | 2006-06-23 | 2010-11-17 | Imax Corporation | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition |
US8091103B2 (en) * | 2007-07-22 | 2012-01-03 | Overlay.Tv Inc. | Server providing content directories of video signals and linkage to content information sources |
US20090278937A1 (en) * | 2008-04-22 | 2009-11-12 | Universitat Stuttgart | Video data processing |
US8717498B2 (en) * | 2009-08-17 | 2014-05-06 | Adobe Systems Incorporated | Systems and methods for moving objects in video by generating and using keyframes |
US9224245B2 (en) * | 2011-01-10 | 2015-12-29 | Hangzhou Conformal & Digital Technology Limited Corporation | Mesh animation |
US8929588B2 (en) * | 2011-07-22 | 2015-01-06 | Honeywell International Inc. | Object tracking |
-
2013
- 2013-11-15 TW TW102141546A patent/TWI570666B/zh active
- 2013-11-27 US US14/092,708 patent/US20150138345A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1297552A (zh) * | 1999-01-28 | 2001-05-30 | 皇家菲利浦电子有限公司 | 代表可视动画数据基于内容索引和检索的移动对象轨迹的***和方法 |
US20110081048A1 (en) * | 2008-07-09 | 2011-04-07 | Gwangju Institute Of Science And Technology | Method and apparatus for tracking multiple objects and storage medium |
Non-Patent Citations (1)
Title |
---|
Rajvi Shah and P J Narayanan, "Trajectory Based Video Object Manupulation", Multimedia and Expo (ICME), 2011 IEEE International Conference on, July 11~15, 2011. * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI785269B (zh) * | 2019-07-19 | 2022-12-01 | 日商三菱電機股份有限公司 | 顯示處理裝置、顯示處理方法及記錄有程式的媒體 |
Also Published As
Publication number | Publication date |
---|---|
US20150138345A1 (en) | 2015-05-21 |
TW201519158A (zh) | 2015-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8928813B2 (en) | Methods and apparatus for reducing structured noise in video | |
KR101757838B1 (ko) | 일반 플랫폼 비디오 이미지 안정화 기법 | |
CN104967803B (zh) | 一种视频录制方法及装置 | |
JP5847924B2 (ja) | 拡張現実表現のための二次元画像取込み | |
US9373187B2 (en) | Method and apparatus for producing a cinemagraph | |
TWI570666B (zh) | 電子裝置及其影片物體追蹤方法 | |
US20170032819A1 (en) | Automated Looping Video Creation | |
CN101789235B (zh) | 一种图像处理方法及装置 | |
JP2015100066A5 (ja) | 撮像装置、画像処理装置、画像処理方法、及びプログラム | |
CN105049728A (zh) | 一种拍摄图像的获取方法和装置 | |
JP5923021B2 (ja) | 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム | |
CN107087121A (zh) | 一种基于运动检测的自动导播方法及装置 | |
JP4496992B2 (ja) | 動物体アップフレーム検出方法及びプログラム及びプログラムを格納した記憶媒体及び動物体アップショット検出方法及び動物体アップフレームあるいはショット検出方法及びプログラム及びプログラムを格納した記憶媒体 | |
CN100593948C (zh) | 一种拼合视频的方法和装置 | |
WO2018058476A1 (zh) | 一种图像校正方法及装置 | |
JP2011141710A (ja) | 奥行推定装置、奥行推定方法および奥行推定プログラム | |
KR100780057B1 (ko) | 동영상 그레쥬얼 샷 변환 장치 및 그 방법 | |
JP2011155477A (ja) | 映像処理装置、映像処理方法及びプログラム | |
CN104935815B (zh) | 拍照的方法、装置及相机和移动终端 | |
US20170068650A1 (en) | Method for presenting notifications when annotations are received from a remote device | |
Ottenwälder et al. | Distributed complex event processing for mobile large-scale video applications | |
CN108876691A (zh) | 自适应可逆水印方法及*** | |
JP5918098B2 (ja) | 視聴領域推定装置、視聴領域推定方法、及びプログラム | |
JP2012054724A (ja) | 画像処理装置、及びその制御方法 | |
JP3747230B2 (ja) | 動画解析システム |