TWI504252B

TWI504252B - 連續顯示畫面局部的方法與電腦可讀取媒體

Info

Publication number: TWI504252B
Application number: TW102139334A
Authority: TW
Inventors: Jiang Shih Wu Fan
Original assignee: Vivotek Inc
Priority date: 2013-10-30
Filing date: 2013-10-30
Publication date: 2015-10-11
Also published as: CN104601945A; US20150116370A1; TW201517619A

Description

連續顯示畫面局部的方法與電腦可讀取媒體

本發明係關於影像處理，特別係關於連續顯示畫面局部的方法及其對應電腦可讀取媒體。

PTZ(pan-tilt-zoom)攝影機可行左右、俯仰和縮放三向運動，讓使用者鎖定大範圍中某個視角的畫面，在監控應用上較諸傳統固定式攝影機有顯著優勢。PTZ的實現可以是純粹機械性的，也就是攝影機在雲台(如pan-tilt head)上水平和垂直旋轉，內部則配有可光學變焦的鏡片模組。亦有一種電子式的PTZ(ePTZ)攝影機，其鏡頭不能旋轉但可拍攝某種廣角(wide angle)影像，使用者擷取廣角影像的局部再輔以數位變焦即可達成PTZ的功能。ePTZ的優點在於成本低廉、反應迅速，且在即時串流時能多工作業，但由於其係一種模擬效果，操作體驗遠不若機械式PTZ自然。舉例而言，在廣角影像中改變視角時，ePTZ往往是瞬時地切換畫面，沒有考慮到真正的PTZ攝影機需要時間調整或轉動鏡頭。類似地，在Google街景(Google Street View)的全景影像中虛擬地移位或轉向是藉由拉扯目的地的影像完成過渡，與人親臨現場行走、顧盼的體驗有相當出入。

鑒於上述問題，本發明旨在提供一種連續顯示畫面局部的方法及其對應電腦可讀取媒體，可用於ePTZ等自廣角畫面擷取而顯示局部畫面的數位機制，使得連續顯示各張局部畫面時能接近人眼或機械式PTZ攝影機的視角轉移特性，提升使用者體驗，同時保留數位機制原有的優點。

本發明提供一種連續顯示畫面局部的方法，其步驟包含：載入第一畫面，其具有座標系；依據座標系中的一個起點座標，將起點座標對應的部分第一畫面轉換成起點子畫面；於座標系中選擇一個終點座標，將終點座標對應的部分第一畫面轉換成終點子畫面；於座標系中選擇多個中途座標，這些中途座標和起點座標、終點座標共同對應一個時序；分別將各個中途座標對應的部分第一畫面轉換成中途子畫面；以及依據前述時序順序地顯示起點子畫面、各張中途子畫面和終點子畫面。

本發明提供一種電腦可讀取媒體，其具有用以使一個處理器執行多道指令的電腦程式碼，這些指令包含：載入第一畫面，其具有座標系；依據座標系中的一個起點座標，將起點座標對應的部分第一畫面轉換成起點子畫面；於座標系中選擇一個終點座標，將終點座標對應的部分第一畫面轉換成終點子畫面；於座標系中選擇多個中途座標，這些中途座標和起點座標、終點座標共同對應一個時序；分別將各個中途座標對應的部分第一畫面轉換成中途子畫面；以及依據前述時序順序地顯示起點子畫面、各張中途子畫面和終點子畫面。

綜上所述，本發明在起點和終點兩個第一畫面的視角間選取多個中途點，依序顯示起點、中途點和終點分別對應的局部第一畫面即構成一齣動畫。由是，本發明提供之連續顯示畫面局部的方法及其對應電腦可讀取媒體能在ePTZ等數位機制中模擬人眼或機械式PTZ攝影機的連續性轉移，從而提升使用者體驗。另外，在本發明諸實施例中，第一畫面和諸子畫面可具有不同特性或同時被顯示，諸子畫面可具有不同的解析度，且座標和時序的對應關係可形成一任意函數。

以上之關於本發明內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

S101-S111‧‧‧步驟

21‧‧‧第一畫面

23‧‧‧終點子畫面

25‧‧‧終點座標

27‧‧‧使用者感興趣的區域

d ‧‧‧緩動函數

4‧‧‧第一畫面

41‧‧‧路徑

401‧‧‧起點座標

403-409‧‧‧中途座標

411‧‧‧終點座標

第1圖係本發明一實施例中連續顯示畫面局部的方法的流程圖。

第2圖係依據本發明一實施例第一畫面和子畫面的示意圖。

第3圖係依據本發明一實施例的緩動函數圖。

第4圖係本發明一實施例中依據緩動函數選擇中途座標與顯示中途子畫面的示意圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且依據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參見第1圖。第1圖係本發明一實施例中連續顯示畫面局部的方法的流程圖。如第1圖所示，於步驟S101中，第一畫面被載入。由於使用者可在第一畫面中切換視角，第一畫面必須具有一套座標系索引其上可被觀察的點。於步驟S103中，座標系中某個作為連續顯示起點的座標於第一畫面上對應的那一部分被轉換成起點子畫面。起點座標或任何其他座標和第一畫面如何對應本發明並不設限。以前述步驟為例，起始座標所對應的可能是第一畫面中以起始座標為中心的一個矩形或多邊形區域，也可能起始座標位於區域的左上角，且使用者可決定這個區域的大小。

一般而言，第一畫面是一種全覽(global view)，具有相對較大的範圍或視野，子畫面(包括前述的起點子畫面)則代表相對較小的、使用者感興趣的區域(region of interest)。在一些實施例中，第一畫面具有第一特性；第一特性可以指第一畫面為廣角(wide angle)影像，可能是魚眼鏡頭(fisheye lens)拍攝所得，而在某種程度上帶有曲線性(curvilinearity)。同時，子畫面則可具有第二特性，而第二特性可以指子畫面是直線性的(rectilinear)。在這些實施例中，從第一畫面的局部「轉換」為子畫面的過程可能是一種曲線性影像的失真校正(distortion correction)。請注意本發明並不對第一特性、第二特性和轉換過程有任何限制。在其他實施例中，「轉換」可能只包括裁切第一畫面而無任何校正操作，或者第一畫面和子畫面並無線性的分別，只是視野大小不同。

實作本發明的裝置或軟體啟動後可切換使用者感興趣的區域，以提供非對應起點座標的子畫面。於第1圖中這對應著步驟S105：於第一畫面的座標系中選擇終點座標，並將終點座標於第一畫面上對應的那一部分轉換成終點子畫面。與前述的起點座標相同，終點座標和第一畫面如何對應本發明並不設限。如第2圖所示，第一畫面21中終點座標25所對應的部分可能是以終點座標25為中心的一個矩形或多邊形的使用者感興趣的區域27，且使用者可決定這個矩形或多邊形的大小。在其他實施例中，終點座標25也可能位於使用者感興趣的區域27的左上角。實作本發明的裝置或軟體可能如第2圖同時提供第一畫面21與終點子畫面23作為其預設顯示的主要部分，也就是說，此時的第一畫面21可被縮小在顯示的一角，使用者利用輸入裝置於第一畫面21上點選(click)便能指定終點座標25。另外，終點子畫面23或使用者感興趣的區域27的大小除了由實作本發明的裝置或軟體自行決定，還可以由使用者點選終點座標25後再行拖曳(drag)產生。產生的使用者感興趣的區域27也可以被標示於第一畫面21上。除上述於第一畫面21上選擇終點座標25外，終點座標25亦可能由使用者手動輸入，或由實作本發明的裝置或軟體自行產生。

接著，於第1圖的步驟S107和S109中，多個中途座標被選擇，而分別對應這些中途座標的部分的第一畫面被轉換為多張中途子畫面。這裡「選擇」和「轉換」的過程可以類比於終點座標和終點子畫面的產生。顯然地，這些中途座標會在第一畫面的座標系上形成一條以起點座標和終點座標為端點的路徑。本發明並不限定這條路徑是彎是直、長度幾何，亦不限定中途座標的個數和可以出現在第一畫面中何處。若第一畫面屬曲線性卻具有直線性的座標系，則可能選擇一條彎曲的路徑較符合PTZ(pan-tilt-zoom)攝影機或人轉頭時的視角變化。

重要的是，起點座標、中途座標和終點座標會依據一「緩動函數」(easing curve)來對應一個時序，這個時序指示著在第一畫面中切換視角的過程中，也就是使用者感興趣的區域的改變過程中，起點子畫面、中途子畫面和終點子畫面如何於第1圖的步驟S111中順序地顯示。這個緩動函數指示著如何於這個時序中選取中途座標，且同時指示著在第一畫面中切換視角的過程中，所對應場景轉移的快慢。在本發明中，緩動函數上凸(ease out，數學上的concave)時相鄰的中途座標彼此距離漸減，前後張中途子畫面的差異愈來愈少，也就是場景轉移越來越慢；緩動函數下凹(ease in，數學上的convex)時則相鄰的中途座標彼此距離漸增，前後張中途子畫面的差異愈來愈多，也就是場景的轉移越來越快。緩動函數可具有任意樣貌，實務上，緩動函數可以是線性也可以是平滑曲線，後者如三次多項式。凡本發明所屬技術領域具有通常知識者皆可自由設計選用。

一般而言，選擇中途座標時係對不同維度套用相同或相異的緩動函數。請參考第3圖。第3圖所依據的實施例係對二維空間的x 軸和y 軸套用相同的緩動函數d ，且假設兩軸距離單位相同。在第3圖中，橫軸是時間，縱軸是各座標相對起點座標的距離，記作「(0.0、0.2、0.4、0.6、0.8、1.0)」的時序則可能表示實作本發明的裝置或軟體開始時(0.0秒)顯示著預設的起點子畫面，0.2秒時顯示第一張中途子畫面，0.4秒時顯示第二張中途子畫面，以此類推，至1.0秒時顯示終點子畫面完成視角的改變，終點子畫面作為下一次切換視角時的起點子畫面。在這個例子中不計起點子畫面總共有五張待顯示的子畫面。緩動函數d 表示每一中途座標和終點座標相對起點座標之距離，如d (0.2)=10表示第一張中途子畫面所對應的中途座標相對起點座標之距離，d (0.4)=20表示第二張中途子畫面所對應的中途座標相對起點座標之距離，以此類推，至d (1.0)=100表示終點座標相對起點座標之距離。將各座標相對起點座標的距離與時序的對應關係表示成函數即第3圖中先凹後凸(ease in-out)的折線。也就是本實施例中同時套用於x 軸和y 軸的緩動函數d ，所選擇的中途座標於第一畫面中的移動路徑即以之決定。假設第一畫面和中途子畫面並無直或曲線性的分別，則當x 軸和y 軸套用相同的緩動函數時，中途座標於第一畫面上形成的路徑會是直線；當套用相異的緩動函數時中途座標於第一畫面上形成的路徑則會是曲線。

請參見第4圖。第4圖係依據第3圖的緩動函數d 選擇中途座標與顯示中途子畫面的示意圖。如第4圖所示，第一畫面4中起點座標401、中途座標403、405、407和409以及終點座標411形成一條路徑41。起點座標401旁的虛線框代表起點座標401對應的部分的第一畫面4，其他座標對應的部分的第一畫面4可以此類推。緩動函數d 表示第一畫面中局部場景的轉移先慢而快再變慢，具體而言便是切換視角的流程開始後，實作本發明的裝置或軟體花了0.2秒自中途座標403(顯示第一張中途子畫面)沿路徑41移動10單位距離到中途座標405(顯示第二張中途子畫面)，也花了0.2秒自中途座標407(顯示第三張中途子畫面)沿路徑41移動同樣距離到中途座標409(顯示第四張中途子畫面)，但在同樣時間內便自中途座標405移動60單位距離到中途座標407，且其路徑41為直線。

本發明依據緩動函數以及所對應的時序來選擇對應的座標時，這些座標所對應的時序一般而言具有多個時間點，這些時間點的間隔相等，此概念亦可稱做子畫面顯示幀率(frame rate)固定。在本發明較佳的實施例中，子畫面顯示幀率為每秒約30張子畫面時可良好地模擬人眼或機械式PTZ攝影機的連續性轉移。在此實施例中，假設事先亦定義改變視角的流程需時1秒，則大約需選擇30個座標並轉換出對應的子畫面，也就是說，每張子畫面之顯示時間相等且都約為1/30秒。

值得注意的是實務上顯示尺寸雖然固定，各子畫面卻不見得有相同的解析度。起點子畫面和終點子畫面的解析度可以相同也可以相異。中途子畫面的解析度可以和起點子畫面的相同，也可以和終點子畫面的相同。當起點子畫面和終點子畫面的解析度相異時，中途子畫面的解析度可以漸進變化，使第一張中途子畫面和起點子畫面解析度相似，而最後一張中途子畫面和終點子畫面解析度相似。具體而言，假設起點子畫面的解析度是160畫素乘以120畫素(以下省略單位)，而終點子畫面的解析度是320乘以240，又假設選擇並轉換出30張的中途子畫面，則可設計每張中途子畫面的解析度都需較前一張於寬(width)多(320-160)/30=5.3畫素，於高(height)多(240-120)/30=4畫素。在不考慮次畫素(subpixel)的情形下，這意味著第一張中途子畫面的解析度是165乘以124，第二張中途子畫面的解析度是171乘以128，以此類推。又假設顯示尺寸固定在640乘以480時，起點子畫面顯示時寬與高各會被放大4倍，終點子畫面顯示時寬與高各會被放大2倍，30張中途子畫面則依各自解析度放大。在此例中，從起點子畫面、中途子畫面到終點子畫面的連續顯示過程使用者看到的是同樣大小但愈來愈清晰的移動畫面。

前述的第一畫面不一定是僅僅一張影像，而可能是一個幀序列(frame sequence)，子畫面則轉換自其中不同的幀。舉例而言，假設實作本發明的裝置或軟體連結有一台ePTZ攝影機，其每秒擷取30幀廣角影像，即影像擷取幀率為每秒30幀廣角影像。復假設事先定義子畫面顯示幀率亦是每秒30張且改變視角的流程需時1秒，則起點子畫面係轉換自第一幀廣角影像，第一張中途子畫面係轉換自第二幀廣角影像，第二張中途子畫面係轉換自第三幀廣角影像，以此類推，至終點子畫面係轉換自第30幀廣角影像。若更改假設使顯示幀率為每秒60張，則第一張和第二張子畫面(即起點子畫面以及第一張中途子畫面)係轉換自第一幀廣角影像，第三張和第四張中途子畫面係轉換自第二幀廣角影像，以此類推。若復更改影像擷取幀率或子畫面顯示幀率的假設，使兩者互不能整除時，則在某時間點需轉換某中途座標對應的「部分的第一畫面」時，顯示出的中途子畫面可來自最晚近取得的廣角影像，或前後兩幀廣角影像中時間上較為接近者。請注意前述諸實施例中影像擷取幀率、子畫面顯示幀率以及改變視角的流程所需總時間等參數分別可以由使用者依據喜好所自訂，或是實作本發明的裝置或軟體所提供的預設值。

綜上所述，本發明提供之連續顯示畫面局部的方法及其對應電腦可讀取媒體以一全覽畫面為本，以動畫方式模擬人眼或機械式PTZ攝影機在大範圍景觀中的視角轉移特性，提升了使用者體驗。本發明在第一畫面的座標系中選取多個中途點，配合起點和終點依時序顯示各點分別對應的局部第一畫面，點座標和時序的對應關係形成線性或非線性的緩動函數。在本發明一實施例中，顯示子畫面的同時亦可顯示至少部分的第一畫面於顯示的角落以檢索終點座標。在另一實施例中，廣角的第一畫面與直線性的諸子畫面相對；子畫面的直線性係對局部第一畫面執行失真校正而來。在其他實施例中，子畫面彼此可具有相同或相異的解析度，或者第一畫面係由多張影像組成的幀序列。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S101-S111‧‧‧步驟

Claims

一種連續顯示畫面局部的方法，包含：載入一第一畫面，該第一畫面具有一座標系；依據該座標系中的一起點座標，將該起點座標對應的部分的該第一畫面，轉換成一起點子畫面；於該座標系中選擇一終點座標，將該終點座標對應的部分的該第一畫面，轉換成一終點子畫面；於該座標系中選擇多個中途座標，該起點座標、該些中途座標以及該終點座標對應一時序；分別將該些中途座標對應的部分的該第一畫面，轉換成多個中途子畫面；以及依據該時序順序地顯示該起點子畫面、該些中途子畫面以及該終點子畫面；其中該第一畫面包括相同視野的複數張連續影像，該起點子畫面、該些中途子畫面以及該終點子畫面分別對應該些連續影像中的部分的該第一畫面。
如請求項1所述連續顯示畫面局部的方法，其中於順序地顯示該起點子畫面、該些中途子畫面以及該終點子畫面的步驟中，部分或全部的該第一畫面同時被顯示。
如請求項2所述連續顯示畫面局部的方法，其中該起點子畫面具有一第一解析度，該終點子畫面具有一第二解析度。
如請求項1所述連續顯示畫面局部的方法，其中該第一畫面具有一第一特性，該起點子畫面、該些中途子畫面以及該終點子畫面具有一第二特性，該第一特性係廣角性(wide angle)，該第二特性係直線性(rectilinearity)，該第二特性係經由對該起點座標、該些中途座標以及該終點座標所分別對應的部分的該第一畫面執行曲線性影像的失真校正(distortion correction)而來。
如請求項1所述連續顯示畫面局部的方法，其中該時序具有多個時間點，該起點座標、該些中途座標以及該終點座標分別對應該些時間點其中之一，該些時間點中任兩個相鄰的時間點之間隔固定。
如請求項1所述連續顯示畫面局部的方法，其中該起點座標、該些中途座標以及該終點座標係依據一緩動函數(easing curve)對應該時序。
一種電腦可讀取媒體，具有用以使一處理器執行多個指令的電腦程式碼，該些指令包含：載入一第一畫面，該第一畫面具有一座標系；依據該座標系中的一起點座標，將該起點座標對應的部分的該第一畫面，轉換成一起點子畫面；於該座標系中選擇一終點座標，將該終點座標對應的部分的該第一畫面，轉換成一終點子畫面；於該座標系中選擇多個中途座標，該起點座標、該些中途座標以及該終點座標對應一時序；分別將該些中途座標對應的部分的該第一畫面，轉換成多個中途子畫面；以及依據該時序順序地顯示該起點子畫面、該些中途子畫面以及該終點子畫面；其中該第一畫面包括相同視野的複數張連續影像，該起點子畫面、該些中途子畫面以及該終點子畫面分別對應該些連續影像中的部分的該第一畫面。
如請求項7所述的電腦可讀取媒體，其中順序地顯示該起點子畫面、該些中途子畫面以及該終點子畫面包含同時顯示部分或全部的該第一畫面。
如請求項8所述的電腦可讀取媒體，其中該起點子畫面具有一第一解析度，該終點子畫面具有一第二解析度。
如請求項7所述的電腦可讀取媒體，其中該第一畫面具有一第一特性，該起點子畫面、該些中途子畫面以及該終點子畫面具有一第二特性，該第一特性係廣角性，該第二特性係直線性，該第二特性係經由對該起點座標、該些中途座標以及該終點座標所分別對應的部分的該第一畫面執行曲線性影像的失真校正而來。
如請求項7所述的電腦可讀取媒體，其中該時序具有多個時間點，該起點座標、該些中途座標以及該終點座標分別對應該些時間點其中之一，該些時間點中任兩個相鄰的時間點之間隔固定。
如請求項7所述電腦可讀取媒體，其中該起點座標、該些中途座標以及該終點座標係依據一緩動函數對應該時序。