TW201712524A

TW201712524A - 調焦成視訊部份檢視面積之資料處理裝置和方法，以及電腦程式和製品

Info

Publication number: TW201712524A
Application number: TW105118662A
Authority: TW
Inventors: 亞蘭維迪爾; 克里斯多福卡塞堤; 西瑞里甘頓; 布魯諾卡尼爾
Original assignee: 湯姆生特許公司
Priority date: 2015-06-15
Filing date: 2016-06-15
Publication date: 2017-04-01
Also published as: KR20180018561A; US20180173393A1; CN107771314A; EP3308258A1; JP2018517984A; WO2016202764A1

Abstract

基本上揭示一種致能視訊調焦特點之方法，同時可在裝置100上播放或擷取視訊訊號。實施此方法的裝置典型例，為手持裝置，諸如平板電腦或智慧型手機。當作動調焦特點時，使用者雙分接頭指示所要放大之面積。此動作啟動下列作用：首先，在使用者分接頭位置周圍，界定搜尋視窗420，再於此搜尋視窗檢測人員臉孔，選擇最接近分接頭位置之臉孔430，按照所選臉孔和某些參數，決定身體視窗440和檢視視窗450。標度檢視視窗450，故僅顯示視訊之部份面積。身體視窗440可在視訊流內追蹤，視訊內此面積之運動，將應用於檢視視窗450，使其停留聚焦在先前選用的關係人。此外，連續核對所選臉孔仍呈現於檢視視窗450。在最後核對錯誤情況時，調節檢視視窗位置，涵蓋所檢測臉孔位置。檢視視窗之標度因數在使用者控制下，透過最好顯示在顯示幕上的滑件為之。

Description

調焦成視訊部份檢視面積之資料處理裝置和方法，以及電腦程式和製品

本案內容一般係關於一種裝置，能夠在其播放或擷取之際，顯示視訊，尤指一種視訊調焦特點，包含在如此裝置上實施的影像部份面積之選擇和追蹤方法。如此裝置之代表例為裝設有觸摸顯示幕之手持裝置，諸如平板電腦或智慧型手機。

此節旨在對讀者介紹技術之諸層面，與下述和/或所請求本案內容諸要旨有關。此項論述相信有助於向讀者提供背景資訊，方便更佳明白本案內容諸要旨。因此，應知此等論述係就此觀點閱讀，而非引進先前技術。

選擇顯示幕上所顯示影像部份面積，是今日電腦系統普遍所見，例如在影像編輯工具，諸如Adobe公司的Photoshop影像調處軟體、免費開放原始程式應用(Gimp)或Microsoft Paint。先前技術包括許多不同的解決方案，容許選擇影像之部份面積。

一種非常普遍的解決方案是長方形選擇，基本上點擊第一點，即為長方形之第一角隅，同時保持觀察器壓滑鼠上，運動指點器至第二點，即為長方形之第二角隅。於指點器運動之際，即在顯示幕上繪出選擇長方形，讓使用者可目視所選擇之影像面積。須知長方形可以變通，選擇時使用任何幾何形狀，諸如方形、圓形、橢圓形，或更複雜形式。此法主要缺點是，第一角隅缺乏準確性。繪示此議題之最佳例為，選擇圓形物體，諸如具有長方形之球。沒有參照可協助使用者知道在何處開始。為解決此議題，有些實施方式擬議所謂手柄，在長方形上，得以重訂尺寸藉點擊此等手柄，運動至新位置，即可更為準確調節。然而，此舉需由使用者多次互動，才能調節選擇面積。

其他技術提供選擇非幾何形式，更接近影像內容，有些使用輪廓檢測演算，以追循影像內照相之物體。在此等解決方案中，通常是使用者試圖追循所要選擇的面積輪廓。此舉形成軌跡，以選擇面積為界。然而，此解決方案之缺點是，使用者必須回到第一點，指示已完成選擇，才能接近軌跡，這有些很難。

此等技術有些已適應裝設有智慧型手機和平板電腦等裝置的觸摸顯示幕之特殊性。誠然，在如此裝置中，使用者直接與其手指在顯示幕所顯示的影像上互動。CN101458586擬議組合多數手指觸摸，以調節選擇面積，其缺點為較複雜適用性，和使用者增加學習階段。US20130234964以手指引導在待選擇面積和使用者壓按顯示幕之點間移位，解決影像罩覆問題。此技術具有和前述解決方案同樣缺點：適用性不良且增加一些學習複雜性。

有些智慧型手機和平板電腦擬議視訊調焦特點，容許使用者聚焦在影像選定的部份面積，可在使用積體照相機於播放視訊和記錄視訊的同時。此視訊調焦特點需選擇影像之部份面積。為此項選擇使用全方迴轉伸縮鏡頭之傳統策略，或上述任一解決方案，都無效率，尤其是當使用者要聚焦於演員身上時。誠然，演員在顯示幕上之位置隨時變化，難以利用在影像正確位置一再縮小和放大，連續以人為方式調節調焦面積。

所以，可知亟需有一種解決方案，容許有現場調焦特點，聚焦於演員身上，針對先前技術之至少若干問題。本案內容即提供如此之解決方案。

本案內容在第一要旨中，針對可調焦於視訊部份面積之資料處理裝置，包括顯示幕，構成顯示包括接續影像之視訊，獲得在顯示視訊的顯示幕上所為觸摸之座標；和處理器，構成選擇與觸摸座標最小幾何形距離的人臉，人臉具有大小和位置，決定相對於所選擇人臉大小和位置之部份檢視面積大小和位置，和按照標度因數，顯示部份檢視面積。第一具體例包括藉檢測與選定臉孔關聯的區別性元件之像素集合，決定部份檢視面積之大小和位置，區別性元件具有之大小和位置，是利用對選擇人臉的大小和位置之幾何形函數決定。第二具體例包括按照在影像和視訊內先前影像間所檢測區別性元件相關像素集合之運動，調節影像的部份檢視面積之位置。第三具體例包括按照決定標度因數之滑件值，調節影像的部份檢視面積之大小。第四具體例包括按照對顯示幕邊界的觸摸，調節影像的部份檢視面積大小，顯示幕邊界之不同面積相當於不同標度因數。第五具體例包括核對選擇的臉孔是否包含在部份檢視面積內，若否，調節部份檢視面積之位置，以包含選擇臉孔。第六具體例包括只對一部份影像進行檢測人臉，其大小為顯示幕大小之比率，而其位置定中在觸摸座標。第七具體例包括檢測雙分接頭，以提供在顯示幕上之觸摸座標。

本案內容第二要旨，針對調焦於視訊部份檢視面積之方法，視訊包括接續影像，方法包括獲得對顯示視訊的顯示幕所為之觸摸座標，選擇對觸摸座標最小幾何形距離之人臉，人臉具有大小和位置，決定相對於所選擇人臉大小和位置之部份檢視面積大小和位置，按照決定之標度因數，顯示部份檢視面積。第一具體例包括藉檢測與所選擇臉孔關聯的區別性元件之像素集合，決定部份檢視面積之大小和位置，區別性元件具有大小和位置，係由所選擇人臉大小和位置之幾何形函數決定。第二具體例包括相對於視訊內在影像和前一影像間檢測到的區別性元件，按照像素集合之運動，調節影像的部份檢視面積之位置。第三具體例包括，當與所選擇臉孔關聯之區別性元件的像素集合，不包含在部份檢視面積內時，調節部份檢視面積之位置，以包含像素集合在內。

本案內容之第三要旨，針對電腦程式，包括程式碼指令，可利用處理器執行，以實行第一要旨方法之任何具體例。

本案內容之第三要旨，針對電腦程式製品，儲存於非暫態電腦可讀式媒體，並包括程式碼指令，可利用處理器執行，以實行第一要旨方法之任何具體例。

100‧‧‧裝置

110‧‧‧硬體處理器

120‧‧‧記憶體

130‧‧‧顯示控制器

140‧‧‧觸摸顯示幕

150‧‧‧觸摸輸入控制器

160‧‧‧其他界面

170‧‧‧電源系統

180‧‧‧電腦可讀式儲存媒體

200,202,204‧‧‧舞者

210‧‧‧雙分接頭

220‧‧‧檢視視窗

410‧‧‧分接頭位置

420‧‧‧搜尋視窗

430‧‧‧追蹤臉孔

431‧‧‧臉孔

440‧‧‧身體視窗

450‧‧‧檢視視窗

510‧‧‧垂直滑件

520‧‧‧圖形元件

300‧‧‧決定搜尋視窗(SW)

301‧‧‧檢測搜尋視窗(SW)內的臉孔

302‧‧‧選擇最接近使用者分接點之臉孔

303‧‧‧決定身體視窗(BW)

304‧‧‧決定檢視視窗(VW)

305‧‧‧追蹤演算身體視窗(BW)

306‧‧‧追蹤身體視窗(BW)並更新檢視視窗(VW)

307‧‧‧進行驗證檢視視窗(VW)是否仍可看到追蹤臉孔

308‧‧‧遞增錯誤計數器

309‧‧‧確定錯誤是否超過臨限值

310‧‧‧保存最後位置(TF)

311‧‧‧重置錯誤計數

312‧‧‧是否仍然作動調焦功能

317‧‧‧檢視視窗(VW)同步化

333‧‧‧獲得顯示幕上所為觸摸座標

350‧‧‧不再追蹤正確元件，或以新元件罩覆被追蹤元件

353‧‧‧重新開始完整過程

354‧‧‧過程繼續常態進行

茲參照附圖所示非限制性實施例，說明本案內容之較佳特點。附圖中：第1圖為可實施本案內容之系統例；第2A,2B,2C,2D圖描繪按照本案內容較佳具體例進行操作之結果；第3圖繪示本案內容較佳具體例方法之流程圖；第4A和4B圖繪示第3圖流程圖內所界定之不同元件；第5A和5B圖繪示透過裝置顯示網上所顯示滑件，實施變焦因數控制。

本案主要揭示一種方法，致能視訊調焦特點，同時在裝置上播放或擷取視訊訊號。實施此方法的典型裝置實施例，為手持裝置，諸如平板電腦或智慧型手機。當啟動調焦特點時，使用者雙分接頭即指示所要放大之面積。此項動作發動如下作用：首先，在使用者分接頭位置左右，界定搜尋視窗，再於此搜尋視窗檢測人臉，選擇最接近分接頭位置之臉孔，按照所選擇臉孔和若干參數，決定身體視窗和檢視視窗。檢視視窗經標度，使其僅顯示視訊之部份面積。身體視窗可在視窗流內追蹤，而視訊內此面積之運動可應用於檢視視窗，故保持聚焦在先前選擇之關係人。再者，連續核對所選擇臉孔仍存在於檢視視窗。關於最後核對有誤時，即調節檢視視窗位置，以包含所檢測臉孔之位置。檢視視窗之標度因數，是透過最好在顯示幕上所顯示滑件，在使用者控制下。

第1圖繪示本案內容可實施之裝置例。平板電腦是裝置之一例，智慧型手機是另一例。裝置100最好包括至少一硬體處理器110，構成執行本案內容至少一具體例之方法；記憶體120；顯示控制器130，為使用者產生影像，顯示在觸摸顯示幕140上；以及觸摸輸入控制器150，以觸摸顯示幕140讀取使用者互動。裝置100亦最好包括其他界面160，與使用者及其他裝置互動，還有電源系統170。電腦可讀式儲存媒體180儲存電腦可讀式程式碼，可由處理器110執行。技術專家均知，為清晰起見，圖示裝置大為簡化。

在本說明書中，座標均以第一象限脈絡內表示，意即影像原點(座標0,0)取自左下角，在第2A圖中如元件299所示。

第2a,2B,2C,2D圖繪示按照本案內容較佳具體例進行之操作結果。第2A圖表示裝置100，包括顯示幕140，顯示視訊訊號，代表三位舞者200,202,204的場景。視訊可播放或擷取。使用者對舞者200有興趣。他的目標是舞者200和周圍細部佔有顯示幕之主要部份，如第2B圖所示，故可更詳細看到此舞者的動作，不受到其他舞者運動的干擾。為此目的，使用者對其偏愛舞者200之身體，啟動調焦特點和雙分接頭，如第2C圖內圓圈210所示。此舉造成第2D圖內在舞者200左右檢視視窗220之明晰度。裝置在此檢視視窗變焦，如第4D圖所示，並連續追蹤舞者身體，循其運動，直至調焦特點停止，詳後。於追蹤之際，裝置亦連續驗證舞者頭部顯示在檢視視窗220內。當搜尋視窗內已檢測到臉孔，但其位置在檢視視窗外時，即視為是錯誤。於此情況，重新同步化機制即更新檢視視窗位置和追蹤演算，得以再度捕捉頭部，因而更新檢視視窗。當此錯誤出現太頻繁，即超過預定臨限值時，臉孔檢測即延伸到整個影像。第3圖繪示本案內容較佳具體例方法之流程圖實施例。此過程開始時，視訊可由裝置100播放或擷取，使用者啟用調焦特點。使用者在所需位置雙分接頭顯示幕140，例如在第4A圖內元件410表示的舞者200身上。雙分接頭位置是由觸摸輸入控制器150而得，例如計算做為手指觸摸時所擷取面積之重心，相當於一對座標TAP.X和TAP.Y所界定顯示幕位置。在步驟300中，此等座標用來決定第4A圖內元件420所表示之搜尋視窗(SW)。搜尋視窗以長方形面積為佳，使用公知影像處理技術，在此操作臉孔檢測演算，以檢測人臉。僅限制搜尋整體影像之一部份，得以改進臉孔檢測演算之回應時間。搜尋視窗的位置集中在分接頭位置周圍。搜尋視窗的規模按顯示幕大小界定。典型的實施例為在各維度α=25%，以致搜尋面積只有完整影像的1/16，約加速檢測階段16倍。搜尋視窗以長方形之二角隅界定，例如下述分別為座標SW.X _Min,SW.Y _Min和SW.X _Max,SW.Y _Max，而SCR.W和SCR.H分別顯示幕寬度和高度：SW.X _Min=TAP.X-(α/2×SCR.W)；SW.Y _Min=TAP.Y-(α/2×SCR.h)；SW.X _Max=TAP.X+(α/2×SCR.W)；SW.Y _Max=TAP.Y+(α/2×SCR.H)。

在步驟301，對搜尋視窗所含影像發動臉孔檢測。此項演算是對搜尋視窗內表示臉孔的影像、影像大小和影像位置，以第4B圖內重複元件430和431所表示檢測臉孔集合。在步驟302，選擇最接近使用者分接頭位置之臉孔，以第4B圖內元件430表示。例如，分接頭位置和所檢測臉孔的影像各中心間之距離，計算如下：D[i]=SQRT((SW.X _Min+DF[i].X+DF[i].W/2-TAP.X) ²+(SW.Y _Min+DF[i].Y+DF[i].H/2-TAP.Y) ² )

在式中，DF[ ]為檢測臉孔之表單，各臉孔之水平位置 DF[i].X，垂直位置DF[i].X，寬度DF[i].X，高度DF[i].X，而D[]是結果之距離表單。選擇表單上最小距離值之臉孔，成為追蹤臉孔(TF)。在步驟303即使用追蹤臉孔之位置(TF.X和TF.Y)及其大小(TF.W和TF.H)，決定身體視窗(BW)，在第4B圖內以元件440表示。身體視窗用於追蹤目的，例如使用基於追蹤演算之特點。在一般情況下，就影像分析觀點，關於根據特點之追蹤器，以影像背景和存在於場景之潛在其他人員而言，身體元件比頭部更具區別性。來自追蹤臉孔的身體視窗明晰度，係隨意為之。那是位於追蹤臉孔的下方，其維度以水平參數α_w和垂直參數α_h，與追蹤臉孔維度成比例。例如，身體視窗界定如下：BW.W=α _w ×TF.W；BW.H=α _h ×TF.H；BW.X=TF.X+TF.W/2-BW.W/2；BW.Y=TF.Y-BW.H。

從代表性影像集合之統計，得以界定啟發式，對α _w=3和α _h=4數值之追蹤階段，證明成功。從追蹤臉孔決定身體視窗，任何其他幾何函數均可用。

同理，在步驟304，可隨意決定第4B圖內元件450所表示之檢視視窗(VW)。其位置係由追蹤臉孔的位置界定，其尺寸為追蹤臉孔大小，變焦因數α’和顯示幕維度(SD)的函數。檢視視窗之寬高比，最好關聯到顯示幕之寬高比。檢視視窗之定義例，列如下：VW.H=α’×TF.H；VW.W=TF.H×SD.W/SD.H；VW.X=min(0,TF.X+TF.W/2-VW.W/2)；VW.Y=min(0,TF.Y+TF.H/2-VW.H/2)。

α’=10的實驗值提供滿意的結果，做為內定值。然而，此參數是仔使用者控制下，其值在過程中可以改變。

在步驟305，提供身體視窗至追蹤演算。在步驟306，追蹤演算使用公知之影像處理技術，追蹤在視訊流內組成身體視窗影像之像素位置。此係藉分析視訊流的接續影像為之，並提供在視訊流第一影像和進一步影像的身體視窗接續位置間所檢測之運動估計(MX,MY)。檢測之運動衝擊檢視視窗內容。當原先影像內的舞者200位置，運動到右邊，使舞者200如今在影像中間，在舞者200左側即出現另一新元件，例如另一舞者。所以，檢視視窗的內容，即按照此新內容所選擇變焦因數α’，並按照檢測之運動更新。此項更新包含摘取位於更新位置的完整影像之部份面積，在步驟306連續存留，按照變焦因數α’加以標度並顯示。image[]係組成視訊的接續影像之表單，VW[i-1].X和VW[i-1].Y為先前影像內檢視視窗之保存座標：VW.image=摘取(image[i],VW[i-1].X+MX,VW[i-1].Y+MY,VW.W/α’,VW.H/α’)；VW.image=標度(VW.image,α’)。

先前影像摘取致使檢視視窗，可遵循視訊流內檢測之運動，追蹤演算之經常議題，與被追蹤面積之閉塞和演算之漂移有關。為防止此等問題，在步驟307進行額外驗證。包含驗證追蹤臉孔在檢視視窗仍可目視。若非如此，在支線350，意即不是追蹤漂移，不再追蹤正確元件，便是新元件正罩覆被追蹤元件，例如新元件在前景而閉塞。此效果是在步驟317，令檢視視窗位置與追蹤臉孔最後檢測之位置重新同步化。然後，在步驟308，遞增錯誤計數器。然後在步驟309，核對錯誤計數是否高於預定臨限值。若然，在支線353，重新開始完整過程，惟把搜尋視窗延伸到完整影像，而開始位置已不再是使用者提供之分接頭位置，而是追蹤臉孔最後檢測位置，如步驟307所驗證和先前在步驟310所保存。只要錯誤計數減到臨限值以下，在支線354，過程正常繼續。誠然，以暫時閉塞情況而言，追蹤臉孔會在一些影像後重現，所以能夠容易恢復追蹤演算，不需任何額外措施。當在步驟307之核對為真，在支線352，意即追蹤臉孔已在檢視視窗內重新組織。在此情況下，於步驟310保存追蹤臉孔位置，在步驟311重置錯誤計數。然後，在步驟312核對，調焦功能是否仍然活化。若然，過程環流回到步驟306之追蹤和更新。否則，過程停止，顯示器能夠再顯示正常影像，取代變焦過的影像。

最好，藉步驟306進行的追蹤和檢測操作，追蹤臉孔辨識和身體視窗重複追蹤，增進臉孔和身體模式，得以改進二元件之進一步辨識。

第4A和4B圖繪示第3圖流程中界定之不同元件。在第4A圖中，圓圈410相當於分接頭位置，長方形420相當於搜尋視窗。在第4B圖中，圓圈430,431相當於在步驟301檢測之臉孔。圓圈430代表在步驟 302選擇的追蹤臉孔。長方形440代表在步驟303界定之身體視窗，而長方形450相當於在步驟304決定之檢視視窗。

第5A和5B圖繪示變焦因數透過裝置顯示幕上所顯示滑件加以控制之實施例。在步驟304和306用來建立和更新檢視視窗的變焦因數α’，可由使用者在調焦操作之際構成，例如透過位於影像右側的垂直滑件510，用來設定變焦因數值。在第5A圖中，滑件510設定在低值，接近顯示幕底部，所以包含小變焦效果。在第5B圖中，滑件510設定於高值，接近顯示幕頂部，所以包含重大變焦效果。再者，圖形元件520可由使用者作動，以停止調焦特點。此滑件亦可不顯示在顯示幕上，以免減少視訊專用面積。例如，當觸摸有限變焦的底部和最大變焦的頂部時，顯示幕右邊界可控制變焦因數。但無任何圖形元件把滑件符號化。此項結果為，顯示幕看似第2D圖所示。另外，滑件亦可簡略顯示，一旦進行變焦因數改變，即告消失。

在較佳具體例中，應使用者要求，作動視訊調焦特點。可以使用不同機構建立此項要求，諸如壓按裝置上的實體按鈕，或透過聲控，使顯示幕上顯示的肖像成效。

在一變化例中，關係焦點並非人員，而是動物、物體，諸如汽車、建築物或各種物體。在此情況下，步驟301和306中所用辨識和追蹤演算，以及試探，均適於待辨識和追蹤的元件之特別特徵，惟方法之其他元件仍然有效。例如以樹而言，臉孔檢測改為樹幹檢測，可用不同試探，決定待追蹤面積，以界定樹幹上之追蹤面積。在此變化例中，使用者在作動功能之前，選擇視訊調焦型式，所以可使用最適當演算。

在另一變化例中，於步驟301檢測特殊元件之前，首先對搜尋視窗進行分析，以決定在此面積內，於諸如人員、動物、汽車、建築物等等型式的集合之間，決定存在的元件型式。元件型式按照重要性遞減順序列表。重要性的一項標準是，搜尋視窗內的物體大小。另一標準是各型物體之元件數量。裝置按照表單頂部的元件型式，選擇辨識和追蹤演算。此變化例提供調焦特點自動適應多種型式元件。

在一變化例中，部份檢視視窗450以全顯示幕顯示，在顯示解析度比顯示幕解析度更高的視訊時，特別有益。在一變化例中，部份檢視視窗僅佔有顯示幕之一部份，例如一角隅，以畫中畫的方式，兼可全局檢視全景，和細看選定人員或元件。

在較佳具體例中，身體視窗是按照臉孔追蹤參數決定。更準確而言，對人員檢測情況，要賦予特別試探。為此目的，可用任何其他幾何函數，宜基於所檢測第一元件之大小，即人員檢測情況之追蹤臉孔。例如，垂直標度值、水平標度值、水平偏移和垂直偏移，可用來決定幾何函數。此等數值宜視所檢測第一元件之參數而定。

圖中所用影像係在公共領域，透過pixabay.com取得。

技術專家均知，本案原理要旨可採取形式有，完全硬體具體例、完全軟體具體例(包含韌體、常駐軟體、微碼等)，或硬體和軟體要旨組合之具體例，一般可界定為電路、模組或系統。此外，本案原理之要旨可採取電腦可讀式儲存媒體。一或以上電腦可讀式儲存媒體之任何組合，均可利用。因此，例如，技術專家均知本案呈現之圖面，表示本案內容原理具體化例示系統組件和/或電路集之構想視圖。同理，可知任何流程、流程圖、狀態過渡圖、偽碼等表示各種過程，可實質上表現於電腦可讀式儲存媒體，並由電腦或處理器執行，不論如此電腦或處理器是否明確顯示。電腦可讀式儲存媒體，可採取電腦可讀式程式製品之形式，於一或以上電腦可讀式媒體內具體化，其上並有具體化之電腦可讀式程式碼，可利用電腦執行。於此所用電腦可讀式儲存媒體，可視為非暫態儲存媒體，賦予在其內儲存資訊之基本能力，和由此提供資訊復原之基本能力。電腦可讀式儲存媒體，例如但不限於電子、磁力、光學、電磁、紅外線或半導體系統、儀器或裝置，或前述之任何適當組合。須知下述提供可應用本案原理的電腦可讀式媒體之更特殊實施例，只是舉例說明而非全列，為一般技術人員所知：可攜式電腦磁片、硬碟、唯讀記憶體(ROM)、可抹除規劃性唯讀記憶體(EPROM或快閃記憶體)、可攜式微型光碟唯讀記憶體(CD-ROM)、光學儲存裝置、磁力儲存裝置，或前述之任何適當組合。

說明書和(適當時)申請專利範圍以及附圖內揭示之各特點，可單獨或任何適當組合式提供。以硬體實施之所述特點，亦可由軟體實施，反之亦然。申請專利範圍內出現之參照號碼，僅供繪示，對申請專利範圍無限制效果。