TWI554096B - 包含興趣特徵之視訊摘要 - Google Patents

Description

包含興趣特徵之視訊摘要

本發明係關於數位視訊處理之領域，且更特定而言，係關於一種用於形成一數位視訊摘要之系統及方法。

諸多數位擷取裝置能夠擷取視訊以及靜止影像。然而，管理數位視訊內容可係一困難任務。視覺上經常藉助視訊之第一圖框之一簡略影像來表示該視訊。此不可使得洞察到視訊之內容。判定一既定視訊中是否含有一特定事件經常需要觀看整個視訊。對於一冗長視訊而言，一使用者可更喜歡能夠在不必觀看視訊之全部內容之情況下得到視訊之一快速摘要。

數位視訊亦可自一共用角度呈現實務問題。諸多數位擷取裝置以每秒30個或60個圖框以高達1920×1080像素之空間解析度記錄視訊。甚至在經壓縮時，所產生之資料之量亦可使得共用甚至相對短之視訊不切實際。

視訊編輯軟體可用以將一視訊人工地概括成可較容易共用之一較短版本。然而，人工視訊編輯可係一冗長費力程序且諸多使用者對人工編輯不感興趣。亦存在自動視訊概括演算法。此等解決方案以一經擷取視訊作為輸入而開始，且分析該視訊以判定一視訊摘要。標題為「Method for hierarchical summarization and browsing of digital video」之頒給Ratakonda之美國專利 5,995,095揭示一種用於基於一視訊序列之關鍵圖框產生一階層式摘要之方法。標題為「Scalable video summarization and navigation system and method」之頒給Li等人之美國專利7,035,435揭示一種用於將一重要性值指派給一視訊中之每一場景、截圖及圖框且使用該等重要性值來判定一視訊摘要之關鍵圖框之方法。標題為「Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest」之頒給Edwards等人之美國專利7,483,618揭示一種用於判定其中自視訊消除低品質或或極少感興趣之內容之一視訊摘要之方法。

然而，自動視訊概括演算法極複雜，此乃因必需解碼視訊以執行判定視訊摘要所需之分析。因此，不可能在一數位擷取裝置上立即觀看對應於一剛剛擷取之視訊之一視訊摘要。此缺點使得難以促進經擷取視訊之快速審閱及共用。

當形成一視訊摘要時，經常期望在該摘要內具有一特定特徵。視訊摘要經形成以含有其中存在一特徵之視訊內容中之某些或全部內容。此等特徵之實例可包含人、寵物、事件、位置、活動或物件。人工地形成此一經裁剪視訊摘要可係一令人生厭之程序。使用桌上型軟體來產生此一經裁剪視訊摘要防止能夠快速審閱及共用視訊摘要。

因此，將期望提供用於在一數位擷取裝置中計算一視訊摘要之系統及方法。特定而言，將期望提供允許在完成視訊擷取時以最小延遲在一數位擷取裝置上產生一視訊摘要之解決方案。此外，將期望提供含有一使用者規定特徵之一視訊摘要。

本發明表示一種用於擷取一視訊序列且提供一相關聯視訊摘要之數位視訊攝影機系統，其包括：一影像感測器，其用於擷取一數位影像；一光學系統，其用於將一場景之一影像形成至該影像感測器上；一資料處理系統；一儲存記憶體，其用於儲存經擷取視訊序列；及一程式記憶體，其以通信方式連接至該資料處理系統且儲存經組態以致使該資料處理系統實施用於形成一視訊摘要之一方法之指令，其中該方法包含：規定參考資料，其中該參考資料指示一興趣特徵；使用該影像感測器來擷取該場景之一視訊序列，該視訊序列包含影像圖框之一時間序列；使用一視訊處理路徑來處理該經擷取視訊序列以形成一數位視訊檔案；使用一特徵辨識演算法來分析該等經擷取影像圖框以識別含有該興趣特徵之該等影像圖框之一子組；形成包含少於該經擷取視訊序列中之所有該等影像圖框之該視訊摘要，其中該視訊摘要包含含有該興趣特徵之影像圖框之該經識別子組之至少部分；將該數位視訊檔案儲存於該儲存記憶體中；及將該視訊摘要之一表示儲存於該儲存記憶體中。

本發明具有以下優點：其在擷取時分析視訊圖框以判定含有一興趣特徵之視訊圖框之一子組，藉此消除在形成視訊摘要時解壓縮視訊資料之需要。

其具有以下額外優點：其在無需解壓縮所儲存數位視訊序列之情況下將視訊摘要之一表示儲存於儲存記憶體中。此允許在完成視訊擷取時以最小延遲在一數位擷取裝置上產生且觀看一視訊摘要。

在某些實施例中，使用後設資料將視訊摘要編碼於一數位視訊檔案中而無需編碼該視訊摘要作為一單獨檔案。此具有以下優點：視訊摘要可方便地用於藉助理解視訊摘要後設資料同時使其對習用播放器透明之「智慧型」視訊播放器觀看。

2‧‧‧閃光燈

4‧‧‧鏡頭

6‧‧‧調整光圈及可調整快門

8‧‧‧變焦與聚焦馬達驅動器

10‧‧‧數位攝影機

12‧‧‧時序產生器

14‧‧‧影像感測器

16‧‧‧類比信號處理器與類比轉數位轉換器

18‧‧‧緩衝器記憶體

20‧‧‧處理器

22‧‧‧音訊編解碼器

24‧‧‧麥克風

25‧‧‧壓力感測器

26‧‧‧揚聲器

27‧‧‧加速度計

28‧‧‧韌體記憶體

30‧‧‧儲存記憶體

32‧‧‧影像顯示器

34‧‧‧使用者控制件

36‧‧‧顯示記憶體

38‧‧‧有線介面

40‧‧‧電腦

42‧‧‧傾斜感測器

44‧‧‧視訊介面

46‧‧‧視訊顯示器

48‧‧‧介面/充電器

50‧‧‧無線數據機

52‧‧‧射頻頻帶

58‧‧‧無線網路

70‧‧‧網際網路

72‧‧‧相片服務提供者

200‧‧‧擷取視訊序列步驟

205‧‧‧數位視訊序列

210‧‧‧擷取參考影像步驟

215‧‧‧參考影像

220‧‧‧處理經擷取視訊序列步驟

225‧‧‧數位視訊檔案

230‧‧‧儲存數位視訊檔案步驟

235‧‧‧所儲存數位視訊檔案

240‧‧‧分析經擷取影像圖框步驟

245‧‧‧影像圖框之子組

250‧‧‧形成視訊摘要步驟

255‧‧‧視訊摘要

260‧‧‧儲存視訊摘要之表示步驟

265‧‧‧視訊摘要之表示

300‧‧‧其他視訊處理步驟

310‧‧‧經擷取影像圖框

320‧‧‧第一視訊處理路徑

330‧‧‧第二視訊處理路徑

340‧‧‧第一視訊編碼器

350‧‧‧第一經編碼影像圖框

360‧‧‧影像重調大小器

370‧‧‧經修改影像圖框

380‧‧‧第二視訊編碼器

390‧‧‧第二經編碼影像圖框

430‧‧‧第二視訊處理路徑

460‧‧‧影像含有特定人測試

470‧‧‧摒棄影像步驟

510‧‧‧擷取參考影像步驟

610‧‧‧規定參考資料步驟

615‧‧‧參考資料

640‧‧‧分析經擷取影像圖框步驟

圖1係展示用於形成一視訊摘要之一系統之組件之一高階圖式；圖2係用於形成一視訊摘要之一方法之一流程圖；圖3係圖解說明用於處理一數位視訊序列之兩個不同視訊處理路徑之使用之一流程圖；圖4係圖解說明根據一替代實施例之用於處理一數位視訊序列之兩個不同視訊處理路徑之使用之一流程圖；圖5係根據一第二實施例之用於形成視訊摘要之一方法之一流程圖；且圖6係根據一第三實施例之用於形成視訊摘要之一方法之一流程圖。

在以下說明中，將關於通常將實施為一軟體程式之本發明之一較佳實施例進行闡述。熟習此項技術者將易於認識到此軟體之等效物亦可構造於硬體中。由於影像操縱演算法及系統係眾所周知的，因此本說明特定而言將係關於形成根據本發明之系統及方法之部分或與根據本發明之系統及方法更直接協作之演算法及系統。本文中未特定展示或闡述之此等演算法及系統之其他態樣以及其所涉及之用於產生且以其他方式處理影像信號之硬體或軟體可選自此項技術中已知之此等系統、演算法、組件及元件。若給出如以下材料中根據本發明所闡述之系統，則本文中未展示、提出或闡述之用於實施本發明之軟體係習用的且屬於此等技術中之普通技術。

更進一步地，如本文中所使用，用於執行本發明之方法之一電腦程式可儲存於一電腦可讀儲存媒體中，舉例而言，該電腦可讀儲存媒體可包含：磁性儲存媒體，諸如一磁碟(諸如，一硬磁碟機或一軟碟)或磁帶；光學儲存媒體，諸如一光碟、光學磁帶或機器可讀條碼；固態電子儲存裝置，諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)；或用以儲存具有用於控制一或多個電腦以實踐根據本發明之方法之指令之一電腦程式之任何其他實體裝置或媒體。

本發明包含本文中所闡述之實施例之組合。提及「一特定實施例(a particular embodiment)」及諸如此類係指存在於本發明之至少一個實施例中之特徵。單獨提及「一實施例(an embodiment)」或「特定實施例(particular embodiments)」或注入此類未必係指同一實施例或相同實施例；然而，除非如此指示或如熟習此項技術者易於明瞭，否則此等實施例並不相互排斥。在提及「方 法(method)」或「若干方法(methods)」及諸如此類時使用單數或複數並非限制性的。應注意，除非上下文另外明確表明或需要，否則措辭「或(or)」在本發明中以一非排他性意義使用。

由於採用成像裝置及用於信號擷取及處理及顯示之相關電路之數位攝影機係眾所周知的，因此本說明特定而言將係關於形成根據本發明之方法及設備之部分或與根據本發明之方法及設備更直接協作之元件。本文中未特定展示或闡述之元件選自此項技術中已知之彼等元件。欲闡述之實施例之某些態樣提供於軟體中。若給出如以下材料中根據本發明所闡述之系統，則本文中未特定展示、闡述或提出之可用於實施本發明之軟體係習用的且屬於此等技術中之普通技術。

熟習此項技術者將熟悉一數位攝影機之以下說明。存在可行且經選擇以降低成本、添加特徵或改良攝影機之效能之此實施例諸多變化形式將係顯而易見的。

圖1繪示根據本發明之能夠擷取視訊影像之一數位攝影機10之一數位照相系統之一方塊圖。較佳地，數位攝影機10係一可攜式電池操作裝置，其足夠小以在擷取且審閱影像時容易由一使用者手持。數位攝影機10產生使用儲存記憶體30儲存為數位影像檔案之數位影像。如本文中所使用之短語「數位影像」或「數位影像檔案」係指任何數位影像檔案，諸如一數位靜止影像或一數位視訊檔案。

在某些實施例中，數位攝影機10擷取運動視訊影像及靜止影像兩者。在其他實施例中，數位攝影機10係僅擷取運動視訊影像之一數位視訊攝影機。數位攝影機10亦可包含其他功能，該等功能包含但不限於一數位音樂播放 器(例如，一MP3播放器)、一音訊記錄裝置、一行動電話、一GPS接收器或一可程式化數位助理(PDA)之功能。

數位攝影機10包含具有一可調整光圈及可調整快門6之一鏡頭4。在一較佳實施例中，鏡頭4係一變焦鏡頭且受控於變焦與聚焦馬達驅動器8。鏡頭4將光自一場景(未展示)聚焦至一影像感測器14(舉例而言，一單晶片色彩CCD或CMOS影像感測器)上。鏡頭4係用於在影像感測器14上形成場景之一影像之一個類型光學系統。在其他實施例中，該光學系統可使用具有可變焦點或固定焦點之一固定焦長鏡頭。

影像感測器14之輸出係藉由類比信號處理器(ASP)與類比轉數位(A/D)轉換器16轉換至數位形式且暫時儲存於緩衝器記憶體18中。隨後，使用儲存於韌體記憶體28中之嵌入式軟體程式(例如，韌體)由一處理器20操縱儲存於緩衝器記憶體18中之影像資料。在某些實施例中，使用一唯讀記憶體(ROM)將軟體程式持久地儲存於韌體記憶體28中。在其他實施例中，舉例而言，可使用快閃EPROM記憶體來修改韌體記憶體28。在此等實施例中，一外部裝置可使用有線介面38或無線數據機50來更新儲存於韌體記憶體28之軟體程式。在此等實施例中，韌體記憶體28亦可用以儲存影像感測器校準資料、使用者設定選擇及必須在關閉攝影機時保存之其他資料。在某些實施例中，處理器20包含一程式記憶體(未展示)，且儲存於韌體記憶體28中之軟體程式係在由處理器20執行之前複製至該程式記憶體中。

應理解，可使用一單個可程式化處理器或藉由使用多個可程式化處理器(包含一或多個數位信號處理器(DSP)裝置)來提供處理器20之功能。另一選擇係，可藉由定製電路(例如，藉由經特定設計供用於數位攝影機中之一或多 個定製積體電路(IC))或藉由可程式化處理器與定製電路之一組合來提供處理器20。應理解，可使用一共同資料匯流排達成處理器20與圖1中所展示之各種組件中之某些或全部組件之間的連接器。舉例而言，在某些實施例中，可使用一共同資料匯流排達成處理器20、緩衝器記憶體18、儲存記憶體30與韌體記憶體28之間的鏈接。

然後，使用儲存記憶體30來儲存經處理影像。應理解，儲存記憶體30可係熟習此項技術者已知之任何記憶體形式，包含但不限於一可抽換快閃記憶體卡、內部快閃記憶體晶片、磁性記憶體或光學記憶體。在某些實施例中，儲存記憶體30可包含內部快閃記憶體晶片及至一可抽換快閃記憶體卡(諸如，一安全數位(SD)卡)之一標準介面兩者。另一選擇係，可使用一不同記憶體卡格式，諸如一微型SD卡、小型快閃(Compact Flash；CF)卡、多媒體卡(MMC)、xD卡或記憶體棒(Memory Stick)。

影像感測器14受控於一時序產生器12，時序產生器12產生各種定時信號以選擇若干列及像素且同步化ASP與A/D轉換器16之操作。舉例而言，影像感測器14可具有12.4百萬像素(4088×3040像素)以提供大約4000×3000像素之一靜止影像檔案。為提供一彩色影像，影像感測器通常疊加有一色彩濾光器陣列，其提供具有包含不同著色像素之一像素陣列之一影像感測器。該等不同色彩像素可配置成諸多不同圖案。作為一項實例，可使用眾所周知的拜耳色彩濾光器陣列來配置該等色彩像素，如頒給拜耳(Bayer)的共同受讓之美國專利3,971,065、「Color imaging array」中所闡述。作為一第二實例，可配置該等不同色彩像素，如標題為「Image sensor with improved light sensitivity」、頒給Compton 及Hamilton的共同受讓之美國專利申請公開案2007/0024931。此等實例係非限制性的，且可使用諸多其他色彩圖案。

應理解，影像感測器14、時序產生器12及ASP與A/D轉換器16可係單獨製作之積體電路，或其可製作為如通常與CMOS影像感測器一起完成之一單個積體電路。在某些實施例中，此單個積體電路可執行圖1中所展示之其他功能中之某些功能，包含由處理器20提供之功能中之某些功能。

影像感測器14在由時序產生器12致動為一第一模式以用於提供較低解析度感測器影像資料之一運動序列(其係在擷取視訊影像時以及預覽欲擷取之一靜止影像時使用)以構成影像時係有效的。此預覽模式感測器影像資料可提供為(舉例而言)具有1280×720像素之HD解析度影像資料或提供為(舉例而言)具有640×480像素之VGA解析度影像資料或使用與影像感測器之解析度相比具有充分較少資料行及列之其他解析度來提供。

可藉由組合具有相同色彩之毗鄰像素之值或藉由消除像素值中之某些像素值或藉由組合某些色彩像素值同時消除其他色彩像素值來提供該預覽模式感測器影像資料。可處理該預覽模式影像資料，如標題為「Electronic camera for initiating capture of still images while previewing motion images」、頒給Parulski等人的共同受讓之美國專利6,292,218。

影像感測器14在由時序產生器12致動為一第二模式以用於提供高解析度靜止影像資料時亦係有效的。此最後模式感測器影像資料提供為高解析度輸出影像資料，其對於具有一高照明位準之場景而言包含影像感測器之像素中之所有像素且可係(舉例而言)具有4000×3000像素之一12百萬像素最後影像資料。在較低照明位準下，可藉由「併像(binning)」影像感測器上之某一數目個 相似色彩像素來提供最後感測器影像資料以增加信號位準及因此感測器之「ISO速度」。

藉由由處理器20供應之控制信號控制變焦與聚焦馬達驅動器8以提供適當焦距設定且將場景聚焦至影像感測器14上。藉由控制可調整光圈及可調整快門6之f/數及曝光時間、經由時序產生器12的影像感測器14之曝光週期以及ASP與A/D轉換器16之增益(亦即，ISO速度)設定來控制影像感測器14之曝光位準。處理器20亦控制可照明場景之一閃光燈2。

可藉由使用「鏡後測光(through-the-lens)」自動聚焦將數位攝影機10之鏡頭4聚焦成第一模式，如頒給Parulski等人之標題為「Electronic Camera with Rapid Automatic Focus of an Image upon a Progressive Scan Image Sensor」、共同受讓之美國專利5,668,597中所闡述。此可藉由以下操作達成：使用變焦與聚焦馬達驅動器8以將鏡頭4之焦點位置調整至介於一接近焦點位置至一無窮大焦點位置之間的若干位置，而處理器20判定提供由影像感測器14擷取之影像之一中心部分之一峰值清晰度值之最靠近焦點位置。對應於最靠近焦點位置之焦距然後可係出於數個目的(諸如，自動設定一適當場景模式)而利用且可連同其他鏡頭及攝影機設定一起作為後設資料儲存於影像檔案中。

處理器20產生暫時儲存於顯示記憶體36中且顯示於影像顯示器32上之選單及低解析度彩色影像。影像顯示器32通常係一主動矩陣彩色液晶顯示器(LCD)，但可使用其他類型之顯示器，諸如有機發光二極體(OLED)顯示器。一視訊介面44將一視訊輸出信號自數位攝影機10提供至一視訊顯示器46，諸如一平板HDTV顯示器。在預覽模式或視訊模式中，由處理器20操縱來自緩衝器記憶體18之數位影像資料以形成通常作為彩色影像顯示於影像顯示器32上之一系 列運動預覽影像。在審閱模式中，使用來自儲存於儲存記憶體30中之數位影像檔案之影像資料來產生顯示於影像顯示器32上之影像。

回應於由使用者控制件34提供之使用者輸入而控制顯示於影像顯示器32上之圖形使用者介面。使用者控制件34用以選擇諸如視訊擷取模式、靜止擷取模式及審閱模式等各種攝影機模式且起始靜止影像之擷取及運動影像之記錄。在某些實施例中，當使用者部分地按下一快門按鈕(其係使用者控制件34中之一者)時起始上文所闡述之第一模式(亦即，靜止預覽模式)，且當使用者完全按下快門按鈕時起始第二模式(亦即，靜止影像擷取模式)。使用者控制件34亦用以打開攝像機、控制鏡頭4且起始圖片拍攝程序。使用者控制件34通常包含按鈕、搖桿開關、操縱桿或旋轉撥號盤之某一組合。在某些實施例中，藉由使用上覆於影像顯示器32上之一觸碰螢幕來提供使用者控制件34中之某些控制件。在其他實施例中，可使用額外狀態顯示器或影像顯示器。

可使用使用者控制件34選擇之攝影機模式包含一「計時器」模式。當選擇「計時器」模式時，在使用者完全按壓快門按鈕之後、在處理器20起始一靜止影像之擷取之前發生一短延遲(例如，10秒)。

連接至處理器20之一音訊編解碼器22自一麥克風24接收一音訊信號且將一音訊信號提供至一揚聲器26。此等組件可欲記錄且回放一音訊追蹤連同一視訊序列或靜止影像。若數位攝影機10係一多功能裝置(諸如，一組合攝影機與行動電話)，則麥克風24及揚聲器26可用於電話交談。

在某些實施例中，揚聲器26可用作使用者介面之部分(舉例而言)以提供指示已按下一使用者控制件或已選擇一特定模式之各種聲訊信號。在某些實施例中，麥克風24、音訊編解碼器22及處理器20可用以提供語音辨識，以 使得使用者可藉由使用語音命令而非使用者控制件34將一使用者輸入提供至處理器20。揚聲器26亦可用以將一撥入電話呼叫通知使用者。此可使用儲存於韌體記憶體28中之一標準鈴聲音調或藉由使用自一無線網路58下載且儲存於儲存記憶體30中之一定製鈴聲音調來完成。另外，一振動裝置(未展示)可用以提供一撥入電話呼叫之一靜音(例如，非聲訊)告知。

在某些實施例中，數位攝影機10亦含有提供與攝影機之任何運動相關資料之一加速度計27。較佳地，加速度計27偵測三個正交方向(總共6個輸入維度)中之每一者之線性加速度及旋轉加速度兩者。

處理器20亦提供來自影像感測器14之影像資料之額外處理，以產生經壓縮且儲存於儲存記憶體30中之一「經完成」影像檔案(諸如，一眾所周知的Exif-JPEG影像檔案)內之經再現sRGB影像資料。

數位攝影機10可經由有線介面38連接至一介面/充電器48，介面/充電器48連接至一電腦40，電腦40可係位於一家庭或辦公室中之一桌上型電腦或可攜式電腦。舉例而言，有線介面38保形於眾所周知的USB 2.0介面規範。介面/充電器48可經由有線介面38將電力提供至數位攝影機10中之一組可充電電池(未展示)。

數位攝影機10可包含一無線數據機50，其在一射頻頻帶52上與無線網路58介接。無線數據機50可使用諸如眾所周知的藍芽(Bluetooth)無線介面或眾所周知的802.11無線介面等各種無線介面協定。電腦40可經由網際網路70將影像上載至一相片服務提供者72，諸如Kodak EasyShare Gallery。其他裝置(未展示)可存取由相片服務提供者72儲存之影像。

在替代實施例中，無線數據機50在一射頻(例如，無線)鏈路上與一行動電話網路(未展示)(諸如，一3GSM網路)通信，該行動電話網路與網際網路70連接以上載來自數位攝影機10之數位影像檔案。可將此等數位影像檔案提供至電腦40或相片服務提供者72。

現將參考圖2闡述本發明。初始地，在一擷取視訊序列步驟200中使用一數位視訊擷取裝置(諸如，數位攝影機10(圖1))以使用影像感測器14擷取一數位視訊序列205，其中數位視訊序列205包括影像圖框之一時間序列。

在擷取視訊序列步驟200期間，執行一擷取參考影像步驟210以使用影像感測器14擷取一參考影像215，其中參考影像215含有一特定人。參考影像215可係來自經擷取數位視訊序列205之一影像圖框，且可透過使用一使用者控制件34來選擇參考影像215。舉例而言，在視訊擷取期間，一使用者可藉由按壓一適當使用者控制按鈕來請求參考影像215之擷取，此將一信號發送至處理器20以將緩衝器記憶體18中之當前視訊圖框指定為參考影像215。參考影像215含有感興趣之一特定人。在一較佳實施例中，參考影像215以充足空間解析度含有該特定人之面部之前額以允許自參考影像215判定面部特徵。在某些實施例中，參考影像215僅含有一單個人，且將該特定人識別為參考影像215中之僅有的人。在其他實施例中，參考影像215可含有多個人，且可藉由諸多手段中之任一者來挑選該特定人，包含選擇最大人、選擇最接近參考影像215之中心之人、選擇具有最大可見面部之人或使用一適當使用者介面(例如，藉由使一使用者使用一指向裝置來選擇面部)人工地選擇該人。另一選擇係，可將參考影像215中之每一人指定為特定人。在某些實施例中，藉由比較存在於參考影像215中之面部與一面部辨識資料庫中之已知面部且選擇一已知面部來選擇特定人。在其他實施 例中，可提供一使用者介面以使得使用者能夠人工地指定參考影像215中所含有之特定人。

一處理經擷取視訊序列步驟220使用一視訊處理路徑來處理經擷取數位視訊序列205以形成一數位視訊檔案225。舉例而言，該視訊處理路徑可包含一視訊壓縮步驟。諸如MPEG及H.263標準中所規定之視訊壓縮演算法係熟習此項技術者所熟知的。

在數位視訊序列205之擷取期間，一分析經擷取影像圖框步驟240使用一人辨識演算法來分析經擷取數位視訊序列205中之影像圖框以識別含有特定人之影像圖框之一子組245。在一較佳實施例中，該人辨識演算法可係一面部辨識演算法，且分析經擷取影像圖框步驟240將含有與參考影像中之特定人之面部相同之面部之影像圖框。面部辨識演算法在此項技術中係眾所周知的。舉例而言，Turk等人在論文「Eigenfaces for Recognition」(認知神經科學雜誌，1991年，第3卷，第71至86頁中闡述可根據本發明使用之一面部辨識演算法。另一選擇係，人辨識演算法可係匹配一影像圖框中之一人與參考影像215中之特定人之任何演算法。此一演算法可包含性別分類、高度估計及衣服分析之步驟且可選自熟習此項技術者已知之此等演算法當中。

一形成視訊摘要步驟250形成包含少於經擷取數位視訊序列205中之所有影像圖框之視訊摘要255，其中視訊摘要255包含含有特定人之影像圖框之經識別子組245之至少一部分。在本發明之一項實施例中，僅使用含有特定人之彼等影像圖框來形成視訊摘要255。

在某些實施例中，視訊摘要255僅包含含有特定人之影像圖框之子組245之一部分。舉例而言，視訊摘要255可限制於包含少於預定數目個影像 圖框。在一替代實施例中，視訊摘要255可包含來自影像圖框之子組245中之每一鄰接影像圖框群組之一單個影像圖框。以此方式，視訊摘要255可係由選自含有特定人之影像圖框之經識別子組245之一組靜止影像構成之一「幻燈片(slideshow)」。

在另一實施例中，除含有特定人之影像圖框之經識別子組245以外，視訊摘要255亦包含額外影像圖框。在本發明之一項實施例中，額外影像圖框包含緊接在含有特定人之影像圖框之經識別子組245中之影像圖框之前或之後的影像圖框。舉例而言，挑選此等圖框作為轉變圖框以允許自視訊摘要255之一個區段至另一區段的一段時間之轉變。此等圖框亦可經挑選以使得視訊摘要255包括可自數位視訊檔案225容易地提取之圖片群組。諸如MPEG等視訊壓縮標準編碼視訊序列以使得獨立地編碼某些圖框(不參考其他圖框)且編碼某些時間順序圖框群組或圖片群組而不參考圖片群組外部之任何圖框。因此，可在無需解碼經壓縮視訊資料之情況下自經壓縮數位視訊檔案225提取表示此一圖片群組之經壓縮視訊資料。

在本發明之另一實施例中，額外影像圖框包含判定為重要部分之經擷取數位視訊序列205之其他部分。可藉由執行一關鍵圖框提取或視訊摘要演算法來識別數位視訊序列205之此等其他重要部分。此等演算法闡述於2011年12月l日公佈、標題為「Method for determining key video frames」之頒給Deever的共同受讓、同在申請中之美國申請公開案第2011/0292288號及標題為「Video summary method and system」、頒給Deever的共同受讓、同在申請中之美國申請公開案第2011/0293018號中。

在美國申請公開案第2011/0293018號中，揭示一種用於形成一視訊摘要之方法，其中在擷取時分析影像圖框以判定特徵值。在不解壓縮經壓縮數位視訊序列之情況下分析此等特徵值以識別構成一視訊摘要之關鍵視訊片段。

在美國申請公開案第2011/0292288中，揭示一種用於判定關鍵視訊片段之方法，其中使用在擷取時間處判定之特徵值來分析數位視訊序列以依據時間判定一重要值。該重要值用以形成數位視訊序列之一彎曲時間表示。該彎曲時間表示將較大時間加權給至數位視訊序列中之某些視訊圖框且將較少時間加權給至其他視訊圖框。將彎曲時間數位視訊序列表示劃分為一組相等時間間隔。藉由分析與對應時間間隔中之視訊圖框相關聯之特徵值而自每一時間間隔選擇一關鍵視訊圖框。此等準則可包含選擇在一推攝程序完成之後不久發生之一關鍵視訊圖框或選擇具有視訊圖框之中心區中之局部運動之一適中位準之一關鍵視訊圖框。

在某些實施例中，可藉由選擇環繞關鍵視訊圖框中之每一者之一組視訊圖框來形成關鍵視訊片段。舉例而言，可藉由選擇在一關鍵視訊圖框之前及之後的兩秒鐘之視訊圖框來形成一關鍵視訊片段，因此形成一個四秒鐘長之關鍵視訊片段。

另一選擇係，可排位關鍵視訊圖框且關鍵視訊片段經形成僅用於對應於最高排位之關鍵視訊圖框之關鍵視訊圖框之一子組。關鍵視訊圖框之排位可包含分析數位視訊序列以判定一攝影機固定型樣及回應於該攝影機固定型樣而排位關鍵視訊圖框。在對應於全域運動之擷取時間處判定之特徵值可提供指示遍及數位視訊序列之攝影機之固定區之一全域運動跡線。對應於高固定之 區(亦即，攝影機保持固定在其上達總體視訊擷取之一高百分比之區)之視訊圖框排位頗高。可反覆執行排位程序，從而在每一步驟處選擇下一最高排位關鍵視訊圖框，且在每一步驟處，該程序可將表示未表示之固定區之關鍵視訊圖框提升到高於表示已包含於排位程序中之固定區之關鍵視訊圖框。一旦已排位關鍵視訊圖框，頂部排位關鍵視訊圖框可經挑選以包含於關鍵視訊片段中。可組合由此等關鍵視訊片段表示之額外影像圖框與含有特定人之影像圖框之經識別子組以形成視訊摘要。

一儲存數位視訊檔案步驟230將數位視訊檔案225儲存至儲存記憶體30，從而產生一所儲存數位視訊檔案235。一儲存視訊摘要之表示步驟260將視訊摘要265之一表示儲存於儲存記憶體30中。在一項實施例中，將視訊摘要265之表示儲存於儲存記憶體30中包含將提供影像圖框之一指示之圖框識別後設資料儲存於對應於視訊摘要255之數位視訊序列205中。圖框識別後設資料可經儲存而與所儲存數位視訊檔案235相關聯。舉例而言，視訊摘要265之表示可作為視訊摘要後設資料儲存於所儲存數位視訊檔案235中，該視訊摘要後設資料指示對應於視訊摘要中所含有之片段之一系列開始圖框及結束圖框。此允許在除儲存圖框識別後設資料所需之小量記憶體以外不使用任何額外實體記憶體之情況下儲存視訊摘要265之表示。然後，可使用一「智慧型」視訊播放器來播放視訊摘要255，該「智慧型」視訊播放器理解視訊摘要後設資料同時使其對習用播放器透明。

在另一實施例中，視訊摘要265之表示係一摘要數位視訊檔案。在此實施例中，視訊摘要255儲存為來自所儲存數位視訊檔案235之一單獨數位視訊檔案。在此情形下，視訊摘要265之表示係可獨立於所儲存數位視訊檔案235 觀看或共用之一摘要數位視訊檔案。在一較佳實施例中，視訊摘要265係經調適以使用一標準視訊播放器播放之一格式之一摘要數位視訊檔案。

在某些實施例中，可在完成視訊序列之擷取之後形成摘要數位視訊檔案。可自所儲存數位視訊檔案235提取視訊摘要之所期望圖框。若視訊摘要之所期望圖框經選擇以對應於獨立編碼之圖片群組，則可藉由在不解碼經壓縮視訊資料之情況下提取對應於所期望圖框之經壓縮資料來形成摘要數位視訊檔案。

在某些實施例中，使用不同於用以形成數位視訊檔案225之一視訊處理路徑由經擷取數位視訊序列205之影像圖框形成摘要數位視訊檔案。舉例而言，諸多視訊擷取裝置可同時擷取且編碼兩個視訊串流。在此等裝置中，使用一單個影像感測器14來擷取每一影像圖框。然後，使用兩個不同處理路徑來處理每一影像圖框。一個處理路徑可產生數位視訊檔案225。第二處理路徑可產生用以儲存視訊摘要255之摘要數位視訊檔案。第二處理路徑可不同於第一處理路徑，此乃因其可產生每一影像圖框之一經降低空間解析度版本且編碼一較低解析度視訊。諸多視訊擷取裝置可同時擷取一1080p解析度視訊及一QVGA解析度視訊。

圖3圖解說明具有兩個處理路徑之一視訊擷取程序。將一經擷取影像圖框310引導至一第一視訊處理路徑320及一第二視訊處理路徑330兩者。第一視訊處理路徑320包含一第一視訊編碼器340，其以一第一空間解析度提供一第一經編碼影像圖框350。第二視訊處理路徑330包含一選用影像重調大小器(image resizer)360，其以一第二空間解析度產生經修改影像圖框370。第二視訊處理路徑330亦包含一第二視訊編碼器380，其編碼經修改影像圖框370，從而提 供一第二經編碼影像圖框390。熟習此項技術者應認識到，第一視訊處理路徑320及第二視訊處理路徑330亦可視情況包含其他視訊處理步驟300，諸如色彩及色調標度處理、雜訊減少、清晰化及影像穩定。雖然此等其他視訊處理步驟300圖解說明為首先應用，但應認識到，其可在第一視訊處理路徑320及第二視訊處理路徑330內之任何點處應用或甚至散置於其他步驟之間。熟習此項技術者亦應認識到，圖3圖解說明其中兩個視訊處理路徑可不同之一個可能方式，且歸屬於本發明之範疇內之其他差異係可能的。

使用不同於用以形成數位視訊檔案225(圖2)之一視訊處理路徑，可與數位視訊檔案225同時形成摘要數位視訊檔案。圖4圖解說明圖3中所展示之方法之可用於兩個視訊檔案之同時形成之一變化形式。如同圖3，將每一經擷取影像圖框310引導穿過包含第一視訊編碼器340之第一視訊處理路徑320以產生第一經編碼影像圖框350。第一經編碼影像圖框350包含於數位視訊檔案225中。

亦將經擷取影像圖框310引導穿過一第二視訊處理路徑430。第二視訊處理路徑430類似於圖3中之第二視訊處理路徑330，除一影像含有特定人測試460之添加以外。影像含有特定人測試460使用一人辨識演算法來分析經擷取影像圖框310，以自參考影像215判定其是否含有特定人。若不含有，則使用摒棄影像步驟470來摒棄經擷取影像圖框310。若經擷取影像圖框310中存在特定人，則處理進行至影像重調大小器360以判定經修改影像圖框370且進行至第二視訊編碼器380以提供第二經編碼影像圖框390。第二經編碼影像圖框390包含於摘要數位視訊檔案中。在替代實施例中，在第二視訊處理路徑中可在影像含有特定人測試460之前較早應用影像重調大小器360。在其他實施例中，影像重調大小器360可根本不存在於第二視訊處理路徑430中。

圖4中所圖解說明之第一視訊處理路徑320及第二視訊處理路徑430用以產生兩個單獨視訊檔案。第一視訊檔案(數位視訊檔案225)含有以一第一空間解析度編碼之經擷取影像圖框310中之所有圖框。第二視訊檔案(摘要數位視訊檔案)僅含有彼等經擷取影像圖框310(其含有感興趣之特定人)且係以一第二空間解析度編碼。與第一視訊檔案同時形成第二視訊檔案。

另一選擇係，可與數位視訊檔案同時僅部分地形成摘要數位視訊檔案。可形成一初始摘要數位視訊檔案，如圖4中所圖解說明。在擷取完成之後，可以自所儲存數位視訊檔案235提取之額外資料擴充摘要數位視訊檔案。在此情形下，摘要數位視訊檔案可經擴展以含有最初未藉由第二視訊處理路徑編碼之影像圖框。此允許比藉由在擷取後形成整體摘要數位視訊檔案更快地產生摘要數位視訊檔案。

圖5圖解說明本發明之一替代實施例。在此情形下，含有特定人之參考影像215不與擷取視訊序列步驟200同時擷取而是在一獨立擷取參考影像步驟510中擷取，獨立擷取參考影像步驟510可係在擷取視訊序列步驟200之前或之後執行。參考影像215可係在靜止擷取模式中獲得之一單個影像或可係來自一現有經擷取數位視訊序列之一影像圖框。在某些實施例中，數位攝影機可儲存對應於數位攝影機之擁有者感興趣之一組人之一組人影像(例如，可針對每一家庭成員儲存一人影像)，且可使用一適當使用者介面(例如，預界定人之姓名之一列表)自該組人影像選擇參考影像215。參考影像215可係在數位攝影機10上擷取或替代地可係在一單獨影像擷取裝置上擷取且匯入至數位攝影機10中。

在某些實施例中，可指定含有特定人之不同視圖之複數個參考影像215。分析經擷取影像圖框步驟240可使用複數個參考影像215以幫助做出一影像圖框是否含有特定人之一較可靠判定。

在某些實施例中，分析經擷取影像圖框步驟240與擷取視訊序列步驟200同時發生，以使得與數位視訊檔案225之產生同時形成視訊摘要255。在其他實施例中，可使用在已擷取且儲存數位視訊檔案225之後執行之一後處理操作來形成視訊摘要255。在某些情形下，可在數位攝影機10上執行分析經擷取影像圖框步驟240。替代地，其亦可在已將所儲存數位視訊檔案235載入至諸如一主機電腦之某一其他裝置上之後執行。圖5中之其餘元件等效於圖2之實施例中所展示之彼等元件。

現將參考圖6闡述本發明之一替代實施例。在此情形下，除基於參考影像215分析經擷取影像圖框以外，一分析經擷取影像圖框步驟640基於在一規定參考資料步驟610中規定之指示一興趣特徵之一組參考資料615而選擇影像圖框之子組245。圖6之方法中之其餘元件等同於圖2之實施例中所展示之彼等元件。

此參考資料615可具有諸多形式。在某些實施例中，參考資料615可係興趣特徵之文字說明。舉例而言，參考資料615可係個體、物件、位置或事件之名稱。在某些實施例中，參考資料615可係興趣特徵之數學表示。舉例而言，參考資料615可係色彩直方圖、本徵值、範本或任何其他特徵向量。熟習此項技術者應認識到，存在可藉由其在本發明之範疇內表示影像資訊之眾多方法。在某些實施例中，參考資料615可係與非影像資訊相關聯。舉例而言，參考資料615可係與音訊信號、全球定位系統(GPS)資料、自動聚焦資料、自動曝光資料、自 動白色平衡資料、變焦鏡頭資料、加速度計資料、迴轉儀資料或紅外光感測器資料相關聯之資訊。熟習此項技術者應認識到，存在可提供為參考資料615以用於由分析經擷取影像圖框步驟640使用以識別影像圖框之子組245之多種類型之資訊。

在擷取數位視訊序列205期間，分析經擷取影像圖框步驟640使用一特徵辨識演算法來分析數位視訊序列205中之影像圖框以識別含有如由參考資料615規定之興趣特徵之影像圖框之一子組。舉例而言，若由參考資料615規定之興趣特徵係先前已針對其規定一參考面部影像之一特定姓名之人，則可使用一面部辨識演算法以藉由參考該參考面部影像分析影像圖框來判定一影像圖框是否含有該特定姓名之人。在另一實例中，若由參考資料615規定之興趣特徵係一事件標記(例如，「高爾夫球擺(golfswing)」)，則可使用一特徵辨識演算法來判定影像圖框是否對應於所規定事件。在某些情形下，特徵辨識演算法可需要分析一系列影像圖框以判定適當事件標記(例如，以偵測哪些影像圖框含有一高爾夫球擺之運動特性)。在另一實例中，若由參考資料615規定之興趣特徵係一物件標記(例如，「鯨魚」)，則可使用一特徵辨識演算法來判定影像圖框是否含有所規定物件。所有此等實例皆係其中可在擷取時間處識別興趣特徵以判定影像圖框之子組245包含於一視訊摘要中之情形。

在某些實施例中，由參考資料615規定之興趣特徵可對應於與影像圖框相關聯之一般特性。舉例而言，由參考資料615規定之興趣特徵可係具有低相關聯之攝影機運動之一影像圖框。在此情形下，可使用一特徵辨識演算法來分析迴轉儀資料、加速度計資料或基於影像之運動估計資料以識別滿足所規定攝影機運動條件之影像圖框。類似地，由參考資料615規定之興趣特徵可係跟 隨在一攝影機變焦程序之後的一影像圖框。在此情形下，可使用一特徵辨識演算法來分析變焦鏡頭資料或基於影像之變焦估計資料以識別其中一攝影機變焦已剛剛完成之影像圖框。在另一實例中，由參考資料615規定之興趣特徵可係具有場景中之物件運動之一大量值之一影像圖框。在此情形下，可使用一特徵辨識演算法來量化場景中之物件運動之量以識別滿足物件運動條件之影像圖框。熟習此項技術者應認識到，此等僅係在本發明之範疇內之諸多興趣特徵及特徵辨識演算法之實例。

一電腦程式產品可包含一或多個儲存媒體，舉例而言：磁性儲存媒體，諸如磁碟(諸如，一軟碟)或磁帶；光學儲存媒體，諸如光碟、光學磁帶、或機器可讀條碼；固態電子儲存裝置，諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)；或用以儲存具有用於控制一或多個電腦以實踐根據本發明之方法之指令之一電腦程式之任何其他實體裝置或媒體。

200‧‧‧擷取視訊序列步驟

205‧‧‧數位視訊序列

210‧‧‧擷取參考影像步驟

215‧‧‧參考影像

220‧‧‧處理經擷取視訊序列步驟

225‧‧‧數位視訊檔案

230‧‧‧儲存數位視訊檔案步驟

235‧‧‧所儲存數位視訊檔案

240‧‧‧分析經擷取影像圖框步驟

245‧‧‧影像圖框之子組

250‧‧‧形成視訊摘要步驟

255‧‧‧視訊摘要

260‧‧‧儲存視訊摘要之表示步驟

265‧‧‧視訊摘要之表示

Claims (15)

1. 一種數位視訊攝影機系統，包括：一影像感測器，用以擷取一數位影像；一光學系統，用以將一場景之一影像形成至該影像感測器上；一儲存記憶體，用以儲存經擷取視訊序列；及一處理系統，用以：從該影像感測器擷取該場景之一視訊序列，該視訊序列包含影像圖框之一時間序列；規定分別於該經擷取視訊序列中之一參考之參考資料，其中該參考資料指示一興趣特徵，且其中該參考資料包括由該影像圖框之一所期望特性規定之資訊；使用一特徵辨識演算法來分析該等經擷取影像圖框以識別含有該興趣特徵及具有該所期望特性之該等影像圖框之一子組；形成包含少於該經擷取視訊序列中所有該等影像圖框之一視訊摘要，其中該視訊摘要包含含有該興趣特徵及具有該所期望特性之影像圖框之該經識別子組之至少部分；以及將該視訊摘要之一表示儲存於該儲存記憶體中。
2. 如請求項1之數位視訊攝影機系統，其中該參考資料包含一參考影像，該參考影像包含該興趣特徵。
3. 如請求項2之數位視訊攝影機系統，其中該參考影像包含一特定個體或一特定物件。
4. 如請求項1之數位視訊攝影機系統，其中該參考資料係一興趣特徵之一文字說明。
5. 如請求項4之數位視訊攝影機系統，其中該文字說明包含一個體、一物件、一位置或一事件之一名稱。
6. 如請求項1之數位視訊攝影機系統，其中該所期望影像圖框特性係一攝影機運動特性、一攝影機變焦程序特性或一物件運動特性。
7. 如請求項1之數位視訊攝影機系統，其中該視訊摘要之該表示係一摘要數位視訊檔案分別於該經擷取視訊序列。
8. 如請求項7之數位視訊攝影機系統，其中該摘要數位視訊檔案係至少部分地與自該經擷取視訊序列所形成之該數位視訊檔案同時形成。
9. 如請求項1之數位視訊攝影機系統，其中該視訊摘要之該表示包含規定一組影像圖框包含於該視訊摘要中之圖框識別後設資料。
10. 如請求項1之數位視訊攝影機系統，其中該視訊序列之該等影像圖框經壓縮用於儲存於該數位視訊檔案中，且其中緊接在含有該興趣特徵之影像圖框之該經識別子組中之該等影像圖框之前或之後的影像圖框經選擇以使得該視訊摘要包含可在無需解碼該等經壓縮影像圖框之情況下自該數位視訊檔案提取之影像圖框群組。
11. 如請求項1之數位視訊攝影機系統，其中該視訊摘要包括一額外影像圖框位於含有該興趣特徵之影像圖框之該識別子組旁，且其中該等額外影像圖框包含該經擷取視訊序列之經判定為重 要部分之其他部分。
12. 如請求項11之數位視訊攝影機系統，其中該經擷取視訊序列之該等重要部分包含使用一關鍵圖框提取演算法識別之關鍵影像圖框。
13. 如請求項1之數位視訊攝影機系統，其中分析該等經擷取影像圖框之該步驟係在該視訊序列之該擷取期間執行。
14. 如請求項1之數位視訊攝影機系統，其中該視訊摘要係選自含有該興趣特徵之影像圖框之該經識別子組之靜止影像之一集合。
15. 一種用於形成視訊序列之視訊摘要之方法，其包括：接收包含影像圖框之一時間序列之該視訊序列；規定分別於已接收之該視訊序列中之一參考之參考資料，其中該參考資料指示一興趣特徵，且其中該參考資料包括由該影像圖框之一所期望特性規定之資訊；使用一資料處理器以使用一特徵辨識演算法來自動分析該等影像圖框以識別含有該興趣特徵及具有該所期望特性之該等影像圖框之一子組；形成包含少於該視訊序列中所有該等影像圖框之該視訊摘要，其中該視訊摘要包含含有該興趣特徵及具有該所期望特性之影像圖框之該經識別子組之至少部分；及將該視訊摘要之一表示儲存於一處理器可存取儲存記憶體中。