TWI389569B - 視訊會議訊號處理系統 - Google Patents

Description

視訊會議訊號處理系統

本發明係關於一種視訊會議訊號處理系統，特別是一種可節省電腦系統資源及傳輸頻寬使用之視訊會議訊號處理系統。

隨著影像處理技術以及網路傳輸技術的進步，使得透過網路視訊進行雙向交談或多方會議的方式已廣泛地被大眾所接受，由於網路視訊可不限時間地點進行，且比起電話連絡方式更增加了對話方的即時影像資訊，大幅地提升使用上的便利性。

現今網路視訊大多透過電腦執行具有相關視訊功能之軟體來傳送即時視訊資料，而視訊資料可包括影像資料及音訊資料二部分。但此類軟體在執行狀態下極佔電腦系統資源，且透過網路傳輸視訊資料會佔據大部分的頻寬。當網路狀態不甚理想或電腦資源不足的情況下，很容易使得所接收到的影像或音訊斷續或延遲不順暢，造成使用者的困擾。因此如何能降低視訊軟體於執行過程中所佔用的系統資源及網路頻寬使用量，以提高資料傳輸效率並減少對使用者之影響，實為一值得研究之課題。

本發明之主要目的係在提供一種可節省電腦系統資源及傳輸頻寬使用之視訊會議訊號處理系統。

為達到上述之目的，本發明之視訊會議訊號處理系統包括接收端及發送端。發送端包括影像擷取裝置及編碼模組，影像擷取裝置用以取得原始訊號，編碼模組用以對原始訊號進行編碼，以產生視訊會議訊號。接收端包括視訊會議模組，用以接收並輸出視訊會議訊號，其中視訊會議模組包括狀態監控模組，用以監控視訊會議模組之訊號輸出狀態，以產生輸出狀態資訊。其中發送端之編碼模組進行編碼之前係先取得輸出狀態資訊，以根據輸出狀態資訊對原始訊號進行編碼。藉此設計，本發明之視訊會議訊號處理系統可視不同狀況對原始訊號進行對應之編碼處理，達到視訊資料最佳編碼化之效果。

為能讓　貴審查委員能更瞭解本發明之技術內容，特舉出較佳實施例說明如下。

以下請先參考圖1係本發明之視訊會議訊號處理系統1之示意圖。如圖1所示，本發明之視訊會議訊號處理系統1包括接收端10及發送端20，於接收端10及發送端20間可進行雙向之視訊會議訊號傳輸功能，在本實施例中，接收端10及發送端20各為一電腦裝置，但本發明並不以此為限。

接收端10包括視訊會議模組11及音訊輸出裝置12，視訊會議模組11用以接收並輸出自發送端20傳送過來的視訊會議訊號，並將視訊會議訊號以一視窗型式介面輸出顯示視頻訊號，且透過音訊輸出裝置12播放音頻訊號，其中音訊輸出裝置13可為一揚聲器。視訊會議模組11更包含狀態監控模組111，用以監控視訊會議模組之一訊號輸出狀態，以產生輸出狀態資訊，其中輸出狀態資訊包括視訊會議模組11之影像輸出視窗狀態資訊及音訊輸出狀態資訊其中之一。

由於本發明之視訊會議訊號處理系統1於視頻訊號處理部分，係依據接收端10之視訊會議模組11之影像輸出視窗狀態資訊進行對應編碼處理，因此藉由狀態監控模組111來監控視訊會議模組11之影像輸出視窗狀態，進而取得對應之影像輸出視窗狀態資訊，其中影像輸出視窗狀態資訊包括視窗狀態參數及視窗座標位置參數。接收端10的使用者可能因為某些需求暫時將視訊會議模組11之影像輸出視窗於作業系統桌面上進行縮放，或針對影像輸出視窗大小做調整，或是因正在使用其他軟體視窗而擋住了視訊會議模組11之影像輸出視窗，這些操作均會變更影像輸出視窗之狀態。其中前述視窗狀態參數係表示視訊會議模組11之影像輸出視窗之狀態，其包括視窗最小化、視窗縮放比例及視窗遮蔽狀態其中之一。視窗座標位置參數係表示視訊會議模組11之影像輸出視窗之座標位置。

本發明之視訊會議訊號處理系統1於音頻訊號處理部分，可依據接收端10之音訊輸出裝置12之音訊輸出狀態進行對應編碼處理，因此亦藉由狀態監控模組111來監控音訊輸出裝置12之音訊輸出狀態。接收端10的使用者可能會視需求開啟或關閉音訊輸出裝置12或對其進行音量輸出調整，而改變於接收端10所輸出之視訊會議訊號之音訊輸出狀態。這些操作均會變更音訊輸出裝置12之狀態。

以下針對前述各輸出訊號狀態以取得對應視窗狀態參數之監控處理方式加以說明：

1.視窗最小化：利用狀態監控模組111針對視訊會議模組11之影像輸出視窗取得其目前的視窗座標位置參數，以判斷是否處於視窗最小化之狀態。

2.視窗縮放比例：利用狀態監控模組111取得視訊會議模組11之影像輸出視窗目前的視窗座標位置參數，並計算比對目前影像輸出視窗與視訊會議模組11預設影像輸出視窗之比例，來判斷影像輸出視窗被調整縮放之程度。

3.視窗遮蔽狀態：利用狀態監控模組111取得視訊會議模組11之影像輸出視窗及至少一其他視窗目前的座標位置後，藉由彼此座標來判斷影像輸出視窗是否被至少一其他視窗所遮蔽，並判斷影像輸出視窗被部分遮蔽或是被完全遮蔽，以取得視窗座標位置參數。當影像輸出視窗被部分遮蔽時，狀態監控模組111可利用座標計算影像輸出視窗被遮蔽之程度，以取得視窗座標位置參數，此處之視窗座標位置參數係表示視訊會議模組11之影像輸出視窗被遮蔽處之座標位置。

4.音訊輸出裝置12之狀態：利用狀態監控模組111監控音訊輸出裝置12是否開啟或輸出音量是否為零。此外狀態監控模組111亦可監控音訊輸出裝置12之音訊輸出品質，例如音訊輸出裝置12由多聲道輸出調整成單聲道輸出等。

發送端20包括視訊會議模組21及影像擷取裝置22，影像擷取裝置22用以取得發送端20使用者所在位置之原始訊號；視訊會議模組21可為一視訊會議軟體，用以傳送原始訊號至接收端10；視訊會議模組21包括接收模組211及編碼模組212，編碼模組212用以對原始訊號進行編碼，以產生視訊會議訊號。其中接收模組211用以接收自接收端10傳來之輸出狀態資訊，編碼模組212於進行編碼前先取得輸出狀態資訊，並依據輸出狀態資訊對原始訊號進行編碼，以形成視訊會議訊號，再藉由視訊會議模組21將視訊會議訊號傳輸至接收端10。

發送端10之視訊會議模組21更包括音訊監控模組213，音訊監控模組213用以監控發送端10之音訊輸入裝置23之輸入狀態以取得輸入狀態資訊，使得編碼模組212可同時依據此輸入狀態資訊及前述輸出狀態資訊對原始訊號執行編碼處理，其中音訊輸入裝置23可為一麥克風。由於發送端20的使用者可能視需求開啟或關閉音訊輸入裝置23或對其進行音量輸入調整，而改變所輸入之音頻訊號狀態，因此藉由音訊監控模組213來監控音訊輸入裝置23之狀態，以便於本發明之視訊會議訊號處理系統1依其針對音頻資料部分進行後續編碼處理。

接收端10之狀態監控模組12可為作業系統所提供之應用程式介面(Application Program Interface,API)或微功能電路(Micro Function circuit,MFC)，以針對接收端10之訊號輸出狀態進行即時或週期性地偵測，但狀態監控模組111亦可採用其他具有類似功能之元件所取代，本發明並不以此為限。同理，發送端20之音訊監控模組213亦可採用相同之設計，以針對發送端20之音訊輸入裝置23之輸入狀態進行即時或週期性地偵測。

前述由接收端10之狀態監控模組12所監控之訊號輸出狀態，以及由發送端20之音訊監控模組213所監控之音訊輸入裝置23之輸入狀態，均可區分為主要狀態或次要狀態。其中主要狀態定義為不可降低原始訊號之編碼品質之狀態，例如接收端10之視訊會議模組11之影像輸出視窗自最小化回復為非最小化、影像輸出視窗放大、影像輸出視窗被遮蔽區域減小、音訊輸出裝置12被開啟(或音量從零調整為非零)、音訊輸入裝置23被開啟(或音量從零調整為非零)等。次要狀態則定義為可降低原始訊號之編碼品質之狀態，例如接收端10之視訊會議模組11之影像輸出視窗最小化、影像輸出視窗縮小、影像輸出視窗被遮蔽區域增加、音訊輸出裝置12被關閉(或音量調整為零)、音訊輸入裝置23被關閉(或音量調整為零)。

狀態監控模組111可包括主要狀態偵測模組111a及次要狀態偵測模組111b。次要狀態偵測模組111b以一第一週期偵測訊號輸出狀態以判斷是否出現次要狀態，並依偵測結果產生輸出狀態資訊以通知發送端20，以便進行後續編碼處理。主要狀態偵測模組111a係即時或以一第二週期偵測視訊資料狀態以判斷是否出現主要狀態，並依偵測結果立即產生輸出狀態資訊以通知發送端20，且第二週期小於第一週期。同理，發送端20之音訊監控模組213亦可採用相同之設計，透過主要狀態偵測模組213a及次要狀態偵測模組213b，以針對發送端20之音訊輸入裝置23之輸入狀態進行即時或週期性地偵測。

在監控訊號輸出狀態的同時，狀態監控模組111可依前述之定義判斷目前的訊號輸出狀態為主要狀態或次要狀態，其中當偵測到訊號輸出狀態出現主要狀態時，主要狀態於第一週期結束之前，不會因為發生新的訊號輸出狀態而有所變動。

請參考圖2係使用本發明之視訊會議訊號處理系統針對訊號輸出狀態為主要狀態或次要狀態進行判斷處理之示意圖。如圖2所示，以視窗最小化之調整為例，次要狀態偵測模組111b以時間長為t之第一週期定時檢查影像輸出視窗是否被最小化，並於每一週期結束時(如圖中黑色圓點處)記錄為輸出狀態資訊以傳送至發送端20；主要狀態偵測模組111a則即時偵測是否有影像輸出視窗自最小化回復為非最小化之狀態發生。假設在區段A中，使用者將影像輸出視窗最小化(如圖中斜線箭頭N1)，當區段A結束時，次要狀態偵測模組111b會偵測到N1之操作並判斷為次要狀態，因此將此狀態記錄為輸出狀態資訊後傳送至發送端20以進行對應編碼處理。接著進入區段B中，使用者將影像輸出視窗自最小化回復為非最小化(如圖中黑色箭頭M1)，在使用者操作的同時主要狀態偵測模組111a可即時偵測此主要狀態，並記錄為輸出狀態資訊後立即通知發送端20以進行對應編碼處理。而在此操作後到區段B結束之前(如圖中所示t1之範圍內)，不論使用者再次進行影像輸出視窗的最小化(如圖中斜線箭頭N2)，或是反覆操作影像輸出視窗最小化與回復至非最小化(如圖中斜線箭頭N1、M2、N2)，主要狀態偵測模組111a及次要狀態偵測模組111b均不會將所偵測到新出現之其他訊號輸出狀態記錄為輸出狀態資訊。此設計用以防止使用者在短時間內重覆改變訊號輸出狀態時，發送端20必須在短時間內進行對應編碼處理，反而造成視訊會議訊號處理不及導致視頻或音頻訊號模糊不清之情況。

發送端20取得接收端10之輸出狀態資訊，或又取得輸入狀態資訊後，依據不同的輸出狀態資訊(及輸入狀態資訊)來針對原始訊號執行對應編碼處理，經編碼處理後之原始訊號即形成視訊會議訊號。編碼模組212可針對原始訊號之視頻訊號部分或音頻訊號部分各別進行編碼處理。編碼模組212之編碼處理係為原始訊號之壓縮程度調整，其中壓縮程度調整包括音訊編碼之停止或回復、每秒圖框數(frames per second,fps)調整、解析度調整及局部影像區域之編碼調整等其中之一，但亦可包括其他有關原始訊號調整功能之編碼處理方式，本發明不以此為限。以下針對各種壓縮程度調整分別說明：

1.每秒圖框數(frames per second,fps)調整：當接收端10之視訊會議模組11之影像輸出視窗最小化或被其他視窗完全遮蔽時，發送端20之視訊會議模組21可依據對應的輸出狀態資訊降低原始訊號之每秒圖框數，以減少發送端20及接收端10所處理之訊號資料量。在前述狀態下，由於使用者無法觀看到影像輸出視窗，降低原始訊號之每秒圖框數並不會影響使用者之視覺效果。

2.解析度或影像品質調整：當藉由視窗座標比對判斷視訊會議模組11之影像輸出視窗被縮小到一定程度時，由於小畫面之影像輸出視窗採用高畫質編碼影像(VGA或HD)或較低畫質編碼影像(QVGA)，所呈現出的畫面並無顯著差異，因此藉由發送端20之視訊會議模組21依據對應的輸出狀態資訊可降低原始訊號之畫面解析度或影像編碼品質，以減少系統資源的使用。

3.局部影像區域之編碼調整：請參考圖3係本發明之視訊會議訊號處理系統之局部影像區域之編碼調整示意圖。如圖1及圖3所示，視訊會議模組11之影像輸出視窗w1可藉由狀態監控模組111運算劃分為大小一致之複數區塊，並對這些複數區塊加以編號。假設影像輸出視窗w1被一其他視窗w2部分遮蔽，可利用現有所取得之視窗座標先取得影像輸出視窗w1實質上被其他視窗w2所遮蔽範圍之四個頂點A、B、C、D的座標值，藉由這四點座標先計算出影像輸出視窗w1實質上被遮蔽範圍大小(如圖3中右下角較粗之虛線部分所圍成之範圍)，接著計算出一被遮蔽區，被遮蔽區係由此範圍內被完全遮蔽之複數區塊所構成(如圖3中之斜線部分)。這些被完全遮蔽之複數區塊可透過前述針對複數區塊之編號來確認其位置，因此在這些資訊傳送至發送端20後，能夠藉由視訊會議模組21之編碼模組212僅針對被遮蔽區進行特定編碼處理，以局部降低視訊資料之編碼品質。在本實施例中雖以影像輸出視窗w1被一個其他視窗w2所遮蔽之情況加以說明，但當影像輸出視窗w1被多個其他視窗w2所遮蔽時，亦適用前述影像區域編碼之處理方法，不以本實施例為限。

4.音訊編碼之停止或回復：當利用狀態監控模組111判斷音訊輸出裝置12被關閉或輸出音量調整為零時，代表接收端10並無法播放音頻訊號，因此發送端20之視訊會議模組21則依此輸出狀態資訊停止對原始訊號之音頻編碼，以減少不必要之音頻訊號處理；同理，利用音訊監控模組213判斷音訊輸入裝置23被關閉或輸出音量調整為零時，代表發送端20並未輸入音頻訊號，因此亦停止對原始訊號之音頻編碼。相反地，當利用狀態監控模組111判斷音訊輸出裝置12被開啟或輸出音量從零調整為非零時，代表接收端10已具有音頻訊號播放功能，因此發送端20之視訊會議模組21則依此輸出狀態資訊回復對原始訊號之音頻編碼；同理，利用音訊監控模組213判斷音訊輸入裝置23被開啟或輸出音量從零調整為非零時，代表發送端20已具有音頻訊號輸入功能，因此亦回復對原始訊號之音頻編碼。

5.音訊品質調整：當接收端10之音訊輸出裝置12所採用之音訊輸出品質低於發送端20之音訊輸入裝置23所採用之音訊輸入品質，例如音訊輸出裝置12為單聲道而音訊輸入裝置23為多聲道時，在此情況下由於音訊輸出裝置12並未同步支援高音質輸出，因此藉由視訊會議模組21之編碼模組212調降音頻訊號之壓縮編碼品質，以節省頻寬使用及減少不必要之訊號處理。

藉此，本發明之視訊會議訊號處理系統1可針對原始訊號依所監控到之視頻或音頻訊號狀態不同，而進行對應之編碼處理，以視情況調整所形成之視訊會議訊號的編碼品質，達到最佳化編碼之效果。

又如圖1所示，於發送端20將原始訊號經編碼處理而形成視訊會議訊號後，利用發送端20之視訊會議模組21將視訊會議訊號傳送至接收端10，並以接收端10之視訊會議模組11輸出此視訊會議訊號。經編碼處理後之視訊會議訊號係依據前述輸出狀態資訊(及輸入狀態資訊)對應調整其視頻及音頻編碼品質，可有效控制其資料傳輸頻寬及資料處理量，使得接收端10之視訊會議模組11於輸出視訊會議訊號時可減少不必要之系統資源浪費；因此當接收端10為一筆記型電腦時，運用本發明之視訊會議訊號處理系統能夠減少電池耗電量以延長筆記型電腦使用時間。此外，又如圖3所示，對於前述影像輸出視窗w1被其他視窗w2部分遮蔽之處理，由於進行編碼處理之被遮蔽區係小於影像輸出視窗w1實質上被遮蔽之範圍，使得接收端10之視訊會議模組11於輸出視訊會議訊號時，影像輸出視窗w1之視訊會議訊號與其他視窗w2重疊之邊緣處(即圖3中之AB線及AC線)不會產生影像不連續的狀況，仍可保持使用者良好之觀看效果。

與習知僅對原始訊號進行一般編碼處理之技術相較，本發明經編碼處理後產生之視訊會議訊號，可視其為不可降低原始訊號之編碼品質之主要狀態，或是可降低原始訊號之編碼品質之次要狀態，以針對原始訊號調整視頻及音頻訊號之編碼品質，如此可減少資料傳輸量，以降低資料傳輸頻寬及系統資源的使用。

藉此設計，本發明之視訊會議訊號處理系統可運用於一般網路視訊對談或是視訊會議上，由於雙方均可做為發送端及接收端，因此可同時針對雙方進行訊號監控及相關編碼處理，以節省雙方系統資源及頻寬之使用。

綜上所陳，本發明無論就目的、手段及功效，在在均顯示其迥異於習知技術之特徵，為一大突破，懇請貴審查委員明察，早日賜准專利，俾嘉惠社會，實感德便。惟須注意，上述實施例僅為例示性說明本發明之原理及其功效，而非用於限制本發明之範圍。任何熟於此項技藝之人士均可在不違背本發明之技術原理及精神下，對實施例作修改與變化。本發明之權利保護範圍應如後述之申請專利範圍所述。

1．．．視訊會議訊號處理系統

10．．．接收端

11．．．視訊會議模組

111．．．狀態監控模組

111a．．．主要狀態偵測模組

111b．．．次要狀態偵測模組

12．．．音訊輸出裝置

20．．．發送端

21．．．視訊會議模組

211．．．接收模組

212．．．編碼模組

213．．．音訊監控模組

213a．．．主要狀態偵測模組

213b．．．次要狀態偵測模組

22．．．影像擷取裝置

23．．．音訊輸入裝置

w1．．．影像輸出視窗

w2．．．其他視窗

圖1係本發明之視訊會議訊號處理系統之示意圖。

圖2係本發明之視訊會議訊號處理系統針對視訊資料狀態為主要狀態或次要狀態進行判斷處理之示意圖。

圖3係本發明之視訊會議訊號處理系統之局部影像區域之編碼調整示意圖。

1．．．視訊會議訊號處理系統

10．．．接收端

11．．．視訊會議模組

111．．．狀態監控模組

111a．．．主要狀態偵測模組

111b．．．次要狀態偵測模組

12．．．音訊輸出裝置

20．．．發送端

21．．．視訊會議模組

211．．．接收模組

212．．．編碼模組

213．．．音訊監控模組

213a．．．主要狀態偵測模組

213b．．．次要狀態偵測模組

22．．．影像擷取裝置

23．．．音訊輸入裝置

Claims (16)

1. 一種視訊會議訊號處理系統，包括：一發送端，包括：一影像擷取裝置，用以取得一原始訊號；以及一編碼模組，用以對該原始訊號進行編碼，以產生一視訊會議訊號；一接收端，其包括一視訊會議模組，用以接收並輸出該視訊會議訊號，其中該視訊會議模組更包含一狀態監控模組，用以監控該視訊會議模組的一輸出狀態，以產生一輸出狀態資訊；其中該輸出狀態資訊包括該視訊會議模組之一影像輸出視窗狀態資訊及一音訊輸出狀態資訊其中之一；其中該發送端之該編碼模組進行編碼之前係先取得該輸出狀態資訊，以根據該輸出狀態資訊對該原始訊號進行編碼。
2. 如申請專利範圍第1項所述之視訊會議訊號處理系統，其中該影像輸出視窗狀態資訊包括一視窗狀態參數及一視窗座標位置參數。
3. 如申請專利範圍第2項所述之視訊會議訊號處理系統，其中該視窗座標位置參數係表示該視訊會議模組之影像輸出視窗之座標位置。
4. 如申請專利範圍第2項所述之視訊會議訊號處理系統，其中該視窗狀態參數係表示該視訊會議模組之影像輸出視窗之狀態，包括視窗最小化、視窗縮放比例及視窗遮蔽狀態其中之一。
5. 如申請專利範圍第4項所述之視訊會議訊號處理系統，其中該視窗座標位置參數係表示該視訊會議模組之影像輸出視窗被遮蔽處之座標位置。
6. 如申請專利範圍第4項所述之視訊會議訊號處理系統，其中該視窗縮放比例係利用該視窗座標位置參數比對目前影像輸出視窗與預設影像輸出視窗之比例來判斷。
7. 如申請專利範圍第1項所述之視訊會議訊號處理系統，其中該編碼模組的編碼處理係為該原始訊號之壓縮程度調整。
8. 如申請專利範圍第7項所述之視訊會議訊號處理系統，其中該壓縮程度調整係為一每秒圖框數(frames per second,fps)調整、一解析度調整及一局部影像區域之編碼調整其中之一。
9. 如申請專利範圍第8項所述之視訊會議訊號處理系統，其中該局部影像區域之編碼調整係針對該影像輸出視窗之至少一被遮蔽區降低其編碼品質。
10. 如申請專利範圍第1項所述之視訊會議訊號處理系統，其中該發送端更包括一音訊監控模組，用以監控該發送端的一音訊輸入裝置之輸入狀態，以取得一輸入狀態資訊。
11. 如申請專利範圍第10項所述之視訊會議訊號處理系統，其中該編碼模組係同時依據該輸入狀態資訊對該原始訊號進行編碼。
12. 如申請專利範圍第11項所述之視訊會議訊號處理系統，其中當該音訊輸入裝置被關閉或音量調整為零時，進行該原始訊號之編碼。
13. 一種視訊會議訊號處理系統，包括：一視訊會議模組，其係用以向一遠端裝置傳送一視訊會議訊號，其中該視訊會議模組包含：一遠端狀態接收模組，用以接收該遠端裝置的一輸出狀態資訊，其中該輸出狀態資訊包括該遠端裝置之一影像輸出視窗狀態資訊及一音訊輸出狀態資訊其中之一；以及一編碼模組，其係根據該輸出狀態資訊對該視訊會議訊號進行編碼，其中經過編碼後的視訊會議訊號具有相對較低的編碼品質。
14. 如申請專利範圍第13項所述之視訊會議訊號處理系統，其中該視訊會議訊號係包含一視頻訊號及一音頻訊號其中之一。
15. 一種視訊會議訊號處理系統，包括：一視訊會議模組，其係用以向一遠端裝置傳送一視訊會議訊號，其中該視訊會議模組包含：一狀態監控模組，用以監控該視訊會議模組之一音訊輸入狀態以及該遠端裝置的一訊號輸出狀態，其中該訊號輸出狀態包括該遠端裝置之一影像輸出視窗狀態及一音訊輸出狀態其中之一；以及 一編碼模組，其係根據該音訊輸入狀態及該訊號輸出狀態其中之一來對該視訊會議訊號進行編碼，其中經過編碼後的視訊會議訊號具有相對較低的編碼品質。
16. 如申請專利範圍第15項所述之視訊會議訊號處理系統，其中該視訊會議訊號係包含一視頻訊號及一音頻訊號其中之一。