TWI558146B - Screen sharing methods and related equipment and communication systems - Google Patents
Screen sharing methods and related equipment and communication systems Download PDFInfo
- Publication number
- TWI558146B TWI558146B TW103120938A TW103120938A TWI558146B TW I558146 B TWI558146 B TW I558146B TW 103120938 A TW103120938 A TW 103120938A TW 103120938 A TW103120938 A TW 103120938A TW I558146 B TWI558146 B TW I558146B
- Authority
- TW
- Taiwan
- Prior art keywords
- mobile terminal
- screen sharing
- sharing service
- screen
- index label
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 82
- 238000004891 communication Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims description 24
- 230000000977 initiatory effect Effects 0.000 claims description 19
- 230000005236 sound signal Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 10
- 239000000872 buffer Substances 0.000 description 72
- 230000006870 function Effects 0.000 description 42
- 230000000903 blocking effect Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 20
- 239000003999 initiator Substances 0.000 description 19
- 230000009286 beneficial effect Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000011664 signaling Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
- H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
- G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
- H04W84/10—Small scale networks; Flat hierarchical networks
- H04W84/12—WLAN [Wireless Local Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/02—Terminal devices
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
- H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
- Information Transfer Between Computers (AREA)
- Databases & Information Systems (AREA)
Description
本發明涉及通信技術領域,具體涉及一種螢幕分享方法和相關設備及通信系統。
如今,智慧移動終端的發展日新月異,其螢幕越來越大,螢幕顯示的清晰度越來越高,運算處理能力也不斷增強,儲存空間不斷擴大。正是如此,使得智慧移動終端在滿足人們基本的通訊和娛樂功能的需求時,提供了更加豐富的資源儲存和應用擴展,而分享功能和及時互動就是使用最為廣泛和頻繁的一個功能。
現在智慧移動終端上的分享都是基於社交網路平台的社交分享,對於小範圍內的多人同時參與的分享沒有涉及。例如在一個小範圍內搭建一個多人參與的會議系統,分享當前智慧移動設備上的文檔資料,或者在小範圍內邀請好友共同流覽一組精彩照片等,在這些場景下,分享發起者僅想臨時的在小範圍內分享一些內容,而在傳統的社交網路平台上沒有涉及。
現有存在如下螢幕分享場景,通過藍牙技術將兩個移動終端互聯,然後其中一個移動終端將其螢幕顯示的內容編碼成視頻流發送給另一個移動終端顯示從而實現螢幕分享的目的。但是,基於藍牙的螢幕分享只能支援1對1的螢幕分享;且藍牙傳送速率和靈活性有限,在介面動畫和視頻等對流暢性和即時性要求高的情況下難以支
撐。
本發明實施例提供螢幕分享方法和相關設備及通信系統,以期提高螢幕分享技術對流暢性和即時性要求高場景的支撐,增強移動終端參與螢幕分享的靈活性以期擴展螢幕分享參與方的數量。
本發明第一方面提供一種螢幕分享方法,可包括:第一移動終端發起螢幕分享服務;所述第一移動終端通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述第一移動終端和所述N個第二移動終端都位於所述無線區域網路,所述N為正整數;若允許所述N個第二移動終端接入所述螢幕分享服務,所述第一移動終端將第一移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二移動終端發送第一視頻流。
結合第一方面,在第一種可能的實施方式中,所述第一移動終端發起螢幕分享服務,包括:所述第一移動終端在所述無線區域網路中廣播與螢幕分享服務對應的螢幕分享服務開啟消息,其中,所述與所述螢幕分享服務對應的螢幕分享服務接入請求由所述第二移動終端在接收到所述螢幕分享服務開啟消息之後發送,或者,所述第一移動終端發起螢幕分享服務包括:所述第一移動終端接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在所述無線區域網路中廣播與所述螢幕分享服務對應的螢幕分享服務開啟消息,或者向所述N個第二移動終端發送用於回應所述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,所述與所述螢幕分享服務對應的螢幕分享服務接入請求由所述第二移動終端在接收到所述螢幕分享服務開
啟消息之後發送。
結合第一方面或第一方面的第一種可能的實施方式中,在第二種可能的實施方式中,所述方法還包括:所述第一移動終端若通過所述無線區域網路接收到來自第二移動終端的第一使用者操作事件,則執行所述第一用戶操作事件,其中,所述第一用戶操作事件是針對所述第二移動終端的螢幕之中第二區域的使用者操作事件,所述第二區域顯示有所述第二移動終端接收到的第一視頻流。
結合第一方面第二種可能的實施方式,在第三種可能的實施方式中,所述第一移動終端在所述第一區域覆蓋有透明圖層;所述第一用戶操作事件為塗鴉繪製事件,所述第一移動終端若通過所述無線區域網路接收到來自第二移動終端的第一使用者操作事件,則執行所述第一用戶操作事件,包括:所述第一移動終端若通過所述無線區域網路接收到來自第二移動終端的塗鴉繪製事件,在所述透明圖層上顯示所述塗鴉繪製事件所要繪製的塗鴉。
結合第一方面或第一方面的第一種可能的實施方式或第一方面的第二種可能的實施方式或第一方面的第三種可能的實施方式,在第四種可能的實施方式中,所述方法還包括:所述第一移動終端採集所述第一移動終端所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,將第一音訊流交織到第一視頻流之中,或者,所述第一移動終端解碼音訊檔得到第一音訊流,將得到的第一音訊流交織到第一視頻流之中,其中,所述通過所述無線區域網路向所述N個第二移動終端發送第一視頻流包括:通過所述無線區域網路向所述N個第二移動終端發佈交織有第一音訊流的第一視頻流。
結合第一方面或第一方面的第一種可能的實施方式或第一
方面的第二種可能的實施方式或第一方面的第三種可能的實施方式或第一方面的第四種可能的實施方式,在第五種可能的實施方式中,所述第一視頻流的碼率恒定不變,或者,所述第一視頻流的碼率與所述N的大小相對應,或者,所述第一視頻流的碼率與所述第一區域的顯示內容的類型相對應。
結合第一方面或第一方面的第一種可能的實施方式或第一方面的第二種可能的實施方式或第一方面的第三種可能的實施方式或第一方面的第四種可能的實施方式或第一方面的第五種可能的實施方式,在第六種可能的實施方式中,所述方法還包括:所述第一移動終端開啟遠端剪貼服務;若所述N個第二移動終端之中的M個第二移動終端通過所述無線區域網路接入到所述遠端剪貼服務,則當所述第一移動終端監聽到所述第一移動終端的系統剪貼板上有更新的剪貼物件時,通過所述無線區域網路向所述M個第二移動終端發送所述剪貼物件,以便於所述M個第二移動終端將接收到的所述剪貼物件更新到其系統剪貼板上。
結合第一方面或第一方面的第一種可能的實施方式或第一方面的第二種可能的實施方式或第一方面的第三種可能的實施方式或第一方面的第四種可能的實施方式或第一方面的第五種可能的實施方式或第一方面的第六種可能的實施方式,在第七種可能的實施方式中,所述方法還包括:當所述第一移動終端在其螢幕中的第一區域顯示文檔時,所述第一移動終端向所述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K1個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一文檔的關聯關係,其中,所述第
一文檔為錄製所述語音索引標籤期間所述第一移動終端在其螢幕中的第一區域所顯示的文檔;或者,當所述第一移動終端在其螢幕中的第一區域顯示圖片時,所述第一移動終端向所述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K2個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一圖片的關聯關係,其中,所述第一圖片為錄製所述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的圖片;或者,當所述第一移動終端在其螢幕中的第一區域顯示視頻時,所述第一移動終端向所述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K3個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一視頻的關聯關係,其中,所述第一視頻為錄製所述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的視頻。
結合第一方面或第一方面的第一種可能的實施方式或第一方面的第二種可能的實施方式或第一方面的第三種可能的實施方式或第一方面的第四種可能的實施方式或第一方面的第五種可能的實施方式或第一方面的第六種可能的實施方式或第一方面的第七種可能的實施方式,在第八種可能的實施方式中,所述第一移動終端作為無線保真(wifi)熱點,所述N個第二移動終端通過所述wifi熱點接入所述無線區域網路;或者,所述N個第二移動終端中的其中一個第二移動終端作為wifi熱點,所述第一移動終端和所述N個第二移動終端中除所述其中一個第二移動終端之外的剩餘第二移動終端通過
所述wifi熱點接入所述無線區域網路;或者,所述第一移動終端作為組擁有者(groupowner),所述N個第二移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,所述N個第二移動終端中的其中一個第二移動終端作為組擁有者,所述第一移動終端和所述N個第二移動終端中除所述其中一個第二移動終端之外的剩餘第二移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者所述第一移動終端和所述N個第二移動終端通過協力廠商wifi熱點接入所述無線區域網路。
本發明第二方面提供一種移動終端,包括:服務發起單元,用於發起螢幕分享服務;分享單元,用於通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述移動終端和所述N個第二移動終端都位於所述無線區域網路,所述N為正整數;若允許所述N個第二移動終端接入所述螢幕分享服務,將所述移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二移動終端發送第一視頻流。
結合第二方面,在第一種可能的實施方式中,所述服務發起單元具體用於,在所述無線區域網路中廣播與螢幕分享服務對應的螢幕分享服務開啟消息,其中,所述與所述螢幕分享服務對應的螢幕分享服務接入請求由所述第二移動終端在接收到所述螢幕分享服務開啟消息之後發送,或者,所述服務發起單元具體用於,接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在所述無線區域網路中廣播與所述螢幕分享服務對應的螢幕分享服務開啟消息,或者向所述N個第二移動終端發送用於回應所述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,所述與所述螢幕分享服務對應的螢幕
分享服務接入請求由所述第二移動終端在接收到所述螢幕分享服務開啟消息之後發送。
結合第二方面或第二方面的第一種可能的實施方式,在第二種可能的實施方式中,所述移動終端還包括:事件回應單元,用於若通過所述無線區域網路接收到來自第二移動終端的第一使用者操作事件,則執行所述第一用戶操作事件,其中,所述第一用戶操作事件是針對所述第二移動終端的螢幕之中第二區域的使用者操作事件,所述第二區域顯示有所述第二移動終端接收到的第一視頻流。
結合第二方面的第二種可能的實施方式,在第三種可能的實施方式中,所述事件回應單元在所述第一區域覆蓋有透明圖層;所述第一用戶操作事件為塗鴉繪製事件,所述事件回應單元用於:若通過所述無線區域網路接收到來自第二移動終端的塗鴉繪製事件,在所述透明圖層上顯示所述塗鴉繪製事件所要繪製的塗鴉。
結合第二方面或第二方面的第一種可能的實施方式或第二方面的第二種可能的實施方式或第二方面的第三種可能的實施方式,在第四種可能的實施方式中,所述移動終端還包括:音訊處理單元,用於採集所述移動終端所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,或者,解碼音訊檔得到第一音訊流,所述分享單元具體用於,若有N個第二移動終端通過無線區域網路接入到所述移動終端開啟的螢幕分享服務,則將所述移動終端的螢幕中的第一區域所顯示內容編碼為第一視頻流,將第一音訊流交織到第一視頻流之中,並通過所述無線區域網路向所述N個第二移動終端發送交織有第一音訊流的第一視頻流。
結合第二方面或第二方面的第一種可能的實施方式或第二
方面的第二種可能的實施方式或第二方面的第三種可能的實施方式或第二方面的第四種可能的實施方式,在第五種可能的實施方式中,所述移動終端還包括:遠端剪貼服務單元用於,開啟遠端剪貼服務;若所述N個第二移動終端之中的M個第二移動終端通過所述無線區域網路接入到所述遠端剪貼服務,則當監聽到所述移動終端的系統剪貼板上有更新的剪貼物件時,通過所述無線區域網路向所述M個第二移動終端發送所述剪貼物件,以便於所述M個第二移動終端將接收到的所述剪貼物件更新到其系統剪貼板上。
結合第二方面或第二方面的第一種可能的實施方式或第二方面的第二種可能的實施方式或第二方面的第三種可能的實施方式或第二方面的第四種可能的實施方式或第二方面的第五種可能的實施方式,在第六種可能的實施方式中,所述移動終端還包括:語音索引標籤單元,用於當所述移動終端在其螢幕中的第一區域顯示文檔時,所述移動終端向所述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K1個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一文檔的關聯關係,其中,所述第一文檔為錄製所述語音索引標籤期間所述移動終端在其螢幕中的第一區域所顯示的文檔;或者,當所述移動終端在其螢幕中的第一區域顯示圖片時,所述移動終端向所述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K2個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一圖片的關聯關係,其中,所述第一圖片為錄製所述
語音索引標籤期間所述移動終端在其螢幕中的第一區域所顯示的圖片;或者,當所述移動終端在其螢幕中的第一區域顯示視頻時,所述移動終端向所述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到所述K3個第二移動終端中的部分或全部第二移動終端在接收到所述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存所述語音索引標籤並記錄所述語音索引標籤與第一視頻的關聯關係,其中,所述第一視頻為錄製所述語音索引標籤期間所述移動終端在其螢幕中的第一區域所顯示的視頻。
本發明協力廠商面提供一種螢幕分享方法,包括:第二移動終端檢測第一移動終端是否發起螢幕分享服務;在檢測到第一移動終端發起螢幕分享服務之後,通過無線區域網路向所述第一移動終端發送與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述第一移動終端和所述第二移動終端都位於所述無線區域網路;接收來自所述第一移動終端的第一視頻流,在第二移動終端螢幕中的第二區域顯示第一視頻流,其中,所述第一視頻流由所述第一移動終端將所述第一移動終端的螢幕中的第一區域所顯示內容進行編碼而得到。
結合協力廠商面,在第一種可能的實施方式中,所述第二移動終端檢測第一移動終端是否發起螢幕分享服務,包括:第二移動終端在通過無線區域網路接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到所述第一移動終端開啟了所述螢幕分享服務,或者,所述第二移動終端在所述無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過所述無線區域網路向所述第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到所述第一移動終端開啟了所述螢幕分享服務。
結合協力廠商面或協力廠商面的第一種可能的實施方式,在第二種可能的實施方式中,所述在第二移動終端螢幕中的第二區域顯示第一視頻流之後還包括:所述第二移動終端監測使用者針對所述第二區域的第一使用者操作事件,若監測到使用者針對所述第二區域的第一使用者操作事件,通過所述無線區域網路向所述第一移動終端發送第一使用者操作事件,以便所述第一移動終端執行所述第一使用者操作事件。
結合協力廠商面的第二種可能的實施方式,在第三種可能的實施方式中,所述第一移動終端在所述第一區域覆蓋有透明圖層;所述第一用戶操作事件為塗鴉繪製事件,其中,所述若監測到使用者針對所述第二區域的第一使用者操作事件,通過所述無線區域網路向所述第一移動終端發送第一使用者操作事件,以便所述第一移動終端執行所述第一使用者操作事件,包括:若監測到使用者針對所述第二區域的塗鴉繪製事件,通過所述無線區域網路向所述第一移動終端發送所述塗鴉繪製事件,以便所述第一移動終端在所述透明圖層上顯示所述塗鴉繪製事件所要繪製的塗鴉。
結合協力廠商面或協力廠商面的第一種可能的實施方式或協力廠商面的第二種可能的實施方式或協力廠商面的第三種可能的實施方式,在第四種可能的實施方式中,所述方法還包括:所述第二移動終端接入第一移動終端開啟的遠端剪貼服務;若通過所述無線區域網路接收到來自所述第一移動終端的剪貼物件,將接收到的所述剪貼物件更新到系統剪貼板上,其中,所述剪貼物件為所述第一移動終端的系統剪貼板上更新的剪貼物件。
結合協力廠商面或協力廠商面的第一種可能的實施方式或
協力廠商面的第二種可能的實施方式或協力廠商面的第三種可能的實施方式或協力廠商面的第四種可能的實施方式,在第五種可能的實施方式中,所述方法還包括:當所述第二區域顯示文檔時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一文檔的關聯關係,其中,所述第一文檔為錄製所述語音索引標籤期間所述第二區域所顯示的文檔;或者,當所述第二區域顯示圖片時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一圖片的關聯關係,其中,所述第一圖片為錄製所述語音索引標籤期間所述第二區域所顯示的圖片;或者,當所述第二區域顯示視頻時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一視頻的關聯關係,其中,所述第一視頻為錄製所述語音索引標籤期間所述第二區域所顯示的視頻。
本發明第四方面提供一種移動終端,包括:檢測單元,用於檢測第一移動終端是否發起螢幕分享服務;接入單元,用於在檢測到第一移動終端發起螢幕分享服務之後,通過無線區域網路向所述第一移動終端發送與所述螢幕分享服務對應的螢幕分享服務接入請求,所述第一移動終端和所述所述移動終端都位於所述無線區域網路;分享單元,用於接收來自所述第一移動終端的第一視頻流,在所述移動終端螢幕中的第二區域顯示第一視頻流,其中,所述第一視頻流由所述
第一移動終端將所述第一移動終端的螢幕中的第一區域所顯示內容進行編碼而得到。
結合第四方面,在第一種可能的實施方式中,所述檢測單元具體用於,在通過無線區域網路接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到所述第一移動終端開啟了所述螢幕分享服務,或者,在所述無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過所述無線區域網路向所述第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到所述第一移動終端開啟了所述螢幕分享服務。
結合第四方面或第四方面的第一種可能的實施方式,在第二種可能的實施方式中,所述在所述移動終端螢幕中的第二區域顯示第一視頻流之後還包括:所述移動終端監測使用者針對所述第二區域的第一使用者操作事件,若監測到使用者針對所述第二區域的第一使用者操作事件,通過所述無線區域網路向所述第一移動終端發送第一使用者操作事件,以便所述第一移動終端執行所述第一使用者操作事件。
結合第四方面或第四方面的第一種可能的實施方式或第四方面的第二種可能的實施方式,在第三種可能的實施方式中,所述移動終端還包括:遠端剪貼服務單元,用於接入第一移動終端開啟的遠端剪貼服務;若通過所述無線區域網路接收到來自所述第一移動終端的剪貼物件,將接收到的所述剪貼物件更新到系統剪貼板上,其中,所述剪貼物件為所述第一移動終端的系統剪貼板上更新的剪貼物件。
結合第四方面或第四方面的第一種可能的實施方式或第四
方面的第二種可能的實施方式或第四方面的第三種可能的實施方式,在第四種可能的實施方式中,所述移動終端還包括:語音索引標籤單元,用於當所述第二區域顯示文檔時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一文檔的關聯關係,其中,所述第一文檔為錄製所述語音索引標籤期間所述第二區域所顯示的文檔;或者,當所述第二區域顯示圖片時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一圖片的關聯關係,其中,所述第一圖片為錄製所述語音索引標籤期間所述第二區域所顯示的圖片;或者,當所述第二區域顯示視頻時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一視頻的關聯關係,其中,所述第一視頻為錄製所述語音索引標籤期間所述第二區域所顯示的視頻。
本發明第五方面提供一種通信系統,可包括:第一移動終端和N個第二移動終端,其中,所述第一移動終端和所述N個第二移動終端位於同一無線區域網路,所述N為正整數,所述第一移動終端用於發起螢幕分享服務;通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,若允許所述N個第二移動終端接入所述螢幕分享服務,將第一移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向
所述N個第二移動終端發送第一視頻流。
可以看出,本發明實施例中,第一移動終端開啟允許多個移動終端接入的螢幕分享服務之後;若N個第二移動終端通過無線區域網路接入到第一移動終端開啟的螢幕分享服務,則第一移動終端將第一移動終端的螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流,由於第一移動終端和上述N個第二移動終端都接入到了同一無線區域網路,第一移動終端和上述N個第二移動終端基於無線區域網路進行螢幕分享服務,交互與螢幕分享服務相關資料,基於無線區域網路實現螢幕分享資料的交互可解決在無大型外部伺服器及外部網路的情況下實現小範圍的螢幕分享的問題,並可達到簡便易用且實用的效果。並且,借助無線區域網路較高的傳輸速率,接入簡單且支援多終端接入,使得本發明實施例螢幕分享技術能夠更好的支持流暢性和即時性要求高場景,同時,第一移動終端借助無線區域網路可實現多個N個第二移動終端的螢幕分享服務的接入控制,也有利於增強螢幕分享參與的靈活性,進而有利於擴展螢幕分享參與方的數量。
101~102‧‧‧步驟
301~303‧‧‧步驟
500、600、700、800、1000‧‧‧移動終端
510‧‧‧服務發起單元
520、630‧‧‧分享單元
530‧‧‧事件回應單元
540‧‧‧音訊處理單元
550、650‧‧‧遠端剪貼服務單元
560‧‧‧語音索引標籤單元
610‧‧‧檢測單元
620‧‧‧接入單元
640‧‧‧監測單元
701、802‧‧‧匯流排
702、801、1080‧‧‧處理器
703、805、1020‧‧‧記憶體
803‧‧‧用戶介面
804‧‧‧網路介面
8051‧‧‧作業系統
8052‧‧‧應用程式模組
910‧‧‧第一移動終端
920‧‧‧第二移動終端
1010‧‧‧射頻電路
1030‧‧‧輸入單元
1031‧‧‧觸控面板
1032‧‧‧輸入裝置
1070‧‧‧無線保真模組
1040‧‧‧顯示單元
1041‧‧‧顯示面板
1050‧‧‧感測器
1060‧‧‧音訊電路
1061‧‧‧揚聲器
1062‧‧‧傳聲器
1090‧‧‧電源
為了更清楚地說明本發明實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對於本領域普通技術人員來講,在不付出進步性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
第1圖是本發明實施例提供的一種螢幕分享方法的流程示意圖;第2圖是本發明實施例提供的一種螢幕分享區域設置示意圖;
第3-a~3-e圖是本發明實施例提供的幾種無線區域網路構建示意圖,第3-f圖是本發明實施例提供的塗鴉服務的示意圖;第3-g圖是本發明實施例提供的另一種螢幕分享方法的流程示意圖,第4-a圖是本發明實施例提供的一種螢幕分享系統的架構示意圖;第4-b圖是本發明實施例提供的視頻流緩衝佇列和阻塞緩衝佇列的示意圖;第5-a~5-e圖是本發明實施例提供的幾種移動終端的示意圖;第6-a~6-d圖是本發明實施例提供的幾種移動終端的示意圖;第7圖是本發明實施例提供的另一種移動終端的示意圖;第8圖是本發明實施例提供的另一種移動終端的示意圖;第9圖是本發明實施例提供的一種通信系統的示意圖;第10圖是本發明實施例提供的另一種移動終端的示意圖。
本發明實施例提供螢幕分享方法和相關設備及通信系統,以期提高螢幕分享技術對流暢性和即時性要求高場景的支撐,增強移動終端參與螢幕分享的靈活性以期擴展螢幕分享參與方的數量。
為了使本技術領域的人員更好地理解本發明方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分的實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有做出進步性勞動前提下所獲得的所有其他實施例,都應當屬於
本發明保護的範圍。
以下分別進行詳細說明。
本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”、“第三”“第四”等(如果存在)是用於區別類似的物件,而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換,以便這裡描述的本發明的實施例例如能夠以除了在這裡圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在於覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
本發明螢幕分享方法的一個實施例,一種螢幕分享方法可包括:第一移動終端發起螢幕分享服務;第一移動終端通過無線區域網路接收來自N個第二移動終端的與上述螢幕分享服務對應的螢幕分享服務接入請求,其中,第一移動終端和上述N個第二移動終端都位於上述無線區域網路,上述N為正整數;若允許上述N個第二移動終端接入上述螢幕分享服務,第一移動終端將第一移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。
參見第1圖,第1圖為本發明的一個實施例提供的一種螢幕分享方法的流程示意圖。如第1圖所示,本發明的一個實施例提供的一種螢幕分享方法可包括以下內容:101、第一移動終端發起螢幕分享服務。
其中,本發明各實施例中的移動終端可為智慧移動終端、便
攜電腦或個人數文書處理等移動終端,當然,本發明各實施例中的移動終端可具有觸摸顯示幕或其它類型的顯示幕。
可以理解,第一移動終端(第一移動終端如安裝了螢幕分享用戶端)發起螢幕分享服務,表示第一移動終端允許其它移動終端和其進行螢幕分享,位於同一局域網內的一些移動終端(例如,安裝了螢幕分享用戶端的移動終端)則可監測到第一移動終端開啟了螢幕分享服務,並可接入到第一移動終端開啟的螢幕分享服務。其中,發起螢幕分享服務的移動終端可稱作而螢幕分享服務發起方,接入螢幕分享服務的移動終端可稱作而螢幕分享服務接入方。
102、第一移動終端通過無線區域網路接收來自N個第二移動終端的與上述螢幕分享服務對應的螢幕分享服務接入請求,若允許上述N個第二移動終端接入上述螢幕分享服務,第一移動終端將第一移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。其中,第一移動終端和上述N個第二移動終端都位於上述無線區域網路,上述N為正整數。如此,可以便第二移動終端在接收到第一移動終端發送的第一視頻流之後,在其螢幕的某個區域(為便於引述故而稱之為第二區域)顯示第一視頻流(即,顯示第一視頻流對應的內容),相應的,第二移動終端在接收到第一移動終端發送的第一視頻流之後,可在其螢幕的第二區域顯示第一視頻流。
在本發明一些實施例中,第一移動終端發起螢幕分享服務可包括:第一移動終端在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服
務開啟消息之後發送。
此外,在本發明的另一些實施例中,第一移動終端發起螢幕分享服務可以包括:第一移動終端接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,或者向上述N個第二移動終端發送用於回應上述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
在本發明的一些實施例中,第一移動終端可根據使用者指令或處理資源的剩餘量或無線區域網路信號品質,來確定是否允許上述N個第二移動終端接入上述螢幕分享服務。
可以理解,第一移動終端在接收到來自第二移動終端的螢幕分享服務接入請求之後,若不允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務拒絕接入消息(或者不回復任何消息),若允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務允許接入消息。
其中,第一移動終端可選定其螢幕中的某個區域(為便於引述故而稱之為第一區域)作為螢幕分享區域。第一移動終端選出的作為螢幕分享的第一區域可占第一移動終端螢幕的部分或全部面積,第2圖中以第一區域占第一移動終端螢幕的部分面積為例。第一移動終端可在第一區域顯示圖片、視頻、文檔、桌面等等內容。
下面舉例第一移動終端選定螢幕分享區域的方式,如第2圖所示。使用者觸發分享區域選定操作後,第一移動終端在當前螢幕上覆蓋一層半透明圖層,用戶可在該半透明圖上長滑動手指,在手指滑
動過程中,以手指的起始觸摸點為頂點,手指滑動過程中的當前觸摸點為對角線頂點生成一個矩形框,而該矩形框隨著手指的滑動而不斷重繪改變。手指離開螢幕停止滑動的時候,第一移動終端記錄當前選定區域的位置和大小參數,同時可彈出一選項功能表列,該選項功能表列顯示在螢幕底部,使用者在選項功能表中選擇一個想要的操作完成本次螢幕分享區域設置。例如選項功能表中有“取消”、“重選”和“確定”三種。選擇“取消”是放棄本次的設定,第一移動終端可取消選項功能表的顯示,取消選定區域矩形框的顯示,取消半透明圖層的顯示,退出設置模式;選擇“重選”表示要重新設定分享區域,第一移動終端消失選定區域矩形框和選項功能表列,使用者可重新執行設定步驟;選擇“確定”後,第一移動終端取消選項功能表顯示,取消選定區域矩形框顯示,取消半透明圖層顯示。
在本發明的一些實施例中,第一移動終端作為無線保真(wifi)熱點,上述N個第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-a圖)。或者,上述N個第二移動終端中的其中一個第二移動終端作為wifi熱點,第一移動終端和上述N個第二移動終端中除上述其中一個第二移動終端之外的剩餘第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-b圖)。或者,第一移動終端作為組擁有者(groupowner),上述N個第二移動終端作為組用戶端,以wifi直連方式接入上述無線區域網路(參見第3-c圖)。或者,所述N個第二移動終端中的其中一個第二移動終端作為組擁有者,第一移動終端和上述N個第二移動終端中除上述其中一個第二移動終端之外的剩餘第二移動終端作為組用戶端,以wifi直連方式接入上述無線區域網路(參見第3-d圖)。或者,第一移動終端和上述N個第二移動終端通過協力廠商wifi熱點接入上述無線區域網
路(參見第3-e圖)。當然,第一移動終端和上述N個第二移動終端亦可通過其它方式來接入同一無線區域網路。
在本發明一些實施例中,第一移動終端可基於組播或單播方式,通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。例如第一移動終端中可包括視頻流緩衝佇列和阻塞緩衝佇列;對於單播方式,第一移動終端可按照先入先出原則的將第一視頻流的視頻幀依次置入到上述視頻流緩衝佇列中,其中,若在上述視頻流緩衝佇列中的第X個佇列單元所儲存的第一視頻幀將被第一視頻流中的第二視頻幀替換時,仍然未能成功將第一視頻幀發送給上述N個第二移動終端中的K4個第二移動終端(即:上述K4個第二移動終端獲取第一視頻幀未成功),則將第一視頻幀寫入阻塞緩衝佇列中與K4個第二移動終端對應的佇列單元(其中,阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元),並將第X個佇列單元所儲存的第一視頻幀替換為第二視頻幀。其中,上述通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:針對N個第二移動終端中的每個第二移動終端,向該每個第二移動終端發送從上述視頻流緩衝佇列和/或阻塞緩衝佇列中讀取的第一視頻流的視頻幀。可以看出,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,因為第一移動終端無需在視頻流緩衝佇列長期儲存未成功分發的視頻幀,這樣,視頻流緩衝佇列的出隊速度可與編碼出第一視頻流的速度同步,並且阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元,這有利於實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技
術效果。
在本發明的一些實施例中,第一移動終端若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,其中,第一用戶操作事件是針對第二移動終端的螢幕之中第二區域的用戶操作事件,第二區域顯示有第二移動終端接收到的第一視頻流。第一移動終端可將第一用戶操作事件添加到系統操作事件鏈表中,根據系統操作事件鏈表中各事件的執行順序來執行第一使用者操作事件。其中,第一用戶操作事件可能是針對第二移動終端的螢幕之中第二區域的多種用戶操作事件,假設第二區域顯示的是動畫,則第一用戶操作事件例如可能是用於調整第二區域所顯示動畫的進度、亮度、對比度和/或尺寸等的用戶操作事件。假設第二區域顯示的是包含多個應用圖示的桌面,則第一用戶操作事件例如可能是用於開啟第二區域所顯示桌面中的某應用圖示對應的應用的用戶操作事件,其它作用的用戶操作事件以此類推。若需要,第二移動終端可將監測到的針對第二移動終端的螢幕之中第二區域的用戶操作事件轉換為指定格式(例如第一移動終端指定了用戶操作事件的格式)的第一用戶操作事件,通過上述無線區域網路向第一移動終端發送第一用戶操作事件,以便於第一移動終端執行第一用戶操作事件。當然若第一移動終端和第二移動終端的系統類型相同,第一移動終端能識別第二移動終端監測到的用戶操作事件,則第二移動終端可將監測到的用戶操作事件發送給第一移動終端而無需進行格式轉換。
在本發明一些實施例中,螢幕分享還可支援塗鴉功能,例如第一移動終端還可在第一區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,其中第一移動終端若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,包
括:第一移動終端若通過上述無線區域網路接收到來自第上移動終端的塗鴉繪製事件,則可在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉,而繪製的塗鴉也會被分享給其它螢幕分享服務接入方。舉例來說,例如第3-f圖所示,螢幕分享服務發起方S把螢幕分享區域的內容分享給螢幕分享服務接入方平板(Pad)和手機(Phone),首先,Pad在分享區域上做塗鴉標記,此時三個設備均可看到Pad所做的塗鴉標記;之後,Phone有在分享區域上做一些塗鴉標記,三個設備又均可看到Phone所做的塗鴉標記,其它場景可以此類推。
在本發明一些實施例中,第一移動終端還可採集第一移動終端所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,將第一音訊流交織到第一視頻流之中,或者,第一移動終端解碼音訊檔得到第一音訊流,將得到的第一音訊流交織到第一視頻流之中;其中,上述通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:通過上述無線區域網路向上述N個第二移動終端發佈交織有第一音訊流的第一視頻流。如此,第一移動終端可據此向第二移動終端發佈語音指令或播放背景音樂等。
在本發明一些實施例中,第一移動終端將第一音訊流和第一視頻流交織為超文字傳輸協定直播流(HLS,Hyper text transfer protocol Live Streaming)格式的視頻流,第一移動終端也可將第一音訊流和第一視頻流交織為非HLS格式的視頻流,例如,第一移動終端可將第一音訊流和第一視頻流交織為第二移動終端指定格式視頻流。其中,N個第二移動終端中的部分或全部第二移動終端可以流覽器形式的訪問HLS格式的視頻流,N個第二移動終端中的部分或全部第二移動終端可用專用client訪問非HLS格式的視頻流。
在本發明一些實施例中,第一視頻流的碼率可恒定不變。或者,第一視頻流的碼率可與上述N的大小相對應,例如在接入的螢幕分享服務的移動終端數量變化時,第一移動終端可動態調整視頻流碼率,例如第一移動終端檢測到接入的螢幕分享服務的移動終端數量變化時,可根據變化後的接入的螢幕分享服務的移動終端數量調整視頻流碼率,假設設定只有1個接入的螢幕分享服務的移動終端時的視頻流碼率為A,而當前的接入的螢幕分享服務的移動終端數量為N,那麼當前視頻流的碼率應該可為A/N。即,接入的螢幕分享服務的移動終端數量越多,視頻流的碼率越低。或者,第一視頻流的碼率可與第一區域的顯示內容的類型相對應,例如,若第一移動終端當前在第一區域顯示內容的類型為高動態畫面(如視頻、介面動畫等),則第一移動終端可提高第一視頻流的幀率,降低第一視頻流的幀大小,以提高第一視頻流的流暢度;若第一移動終端當前在第一區域顯示內容的類型為非高動態畫面,則第一移動終端可降低視頻流的幀率,提高視頻流的幀大小,以提高第一視頻流的清晰度。
可以理解,第一移動終端可根據有否接入的螢幕分享服務的移動終端來決定是否啟動第一視頻流的編碼。例如,若沒有接入的螢幕分享服務的移動終端則不啟動第一視頻流的編碼;若有至少一個接入的螢幕分享服務的移動終端則啟動第一視頻流的編碼;若接入的螢幕分享服務的移動終端全部斷開,則第一移動終端可停止第一視頻流的編碼。當然,第一移動終端亦可在發起螢幕分享服務期間,一直進行第一視頻流的編碼。
在本發明的一些實施例中,第一移動終端還可開啟遠端剪貼服務;若上述N個第二移動終端之中的M個第二移動終端通過上述無線區域網路接入到上述遠端剪貼服務,則當第一移動終端監聽到第
一移動終端的系統剪貼板上有更新的剪貼物件時,通過上述無線區域網路向上述M個第二移動終端發送上述剪貼物件,以便於上述M個第二移動終端將接收到的上述剪貼物件更新到其系統剪貼板上。
在本發明一些實施例中,還可在螢幕分享的同時實現語音索引標籤。例如當第一移動終端在其螢幕中的第一區域顯示文檔時,第一移動終端還可向上述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K1個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的文檔。進一步的,第一移動終端在再次打開第一文檔時可播放與之具有關聯關係的語音索引標籤。可以理解,K1小於或等於N。
又例如,當第一移動終端在其螢幕中的第一區域顯示圖片時,第一移動終端向上述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K2個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的圖片。進一步的,第一移動終端在再次打開第一圖片時可播放與之具有關聯關係的語音索引標籤。
可以理解,K2小於或等於N。
又例如,當第一移動終端在其螢幕中的第一區域顯示視頻
時,第一移動終端向上述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K3個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的視頻。其它場景下可按照類似方式進行語音索引標籤。進一步的,第一移動終端在再次打開第一視頻時可播放與之具有關聯關係的語音索引標籤。可以理解,K3小於或等於N。
可以看出,本實施例第一移動終端開啟允許多個移動終端接入的螢幕分享服務後;若N個第二移動終端通過無線區域網路接入到第一移動終端開啟的螢幕分享服務,則第一移動終端將第一移動終端的螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流,由於第一移動終端和上述N個第二移動終端都接入到了同一無線區域網路,第一移動終端和上述N個第二移動終端基於無線區域網路進行螢幕分享服務,交互與螢幕分享服務相關資料,基於無線區域網路實現螢幕分享資料的交互可解決在無大型外部伺服器及外部網路的情況下實現小範圍的螢幕分享的問題,並可達到簡便易用且實用的效果。並且,借助無線區域網路較高的傳輸速率,接入簡單且支援多終端接入,使得本發明實施例螢幕分享技術能夠更好的支持流暢性和即時性要求高場景,並且第一移動終端借助無線區域網路可實現多個N個第二移動終端的螢幕分享服務的接入控制,同時也有利於增強螢幕分享參與的靈活性,進而有利於擴展螢幕分享參與方的數量。
進一步的,可根據當前螢幕顯示內容類別型的不同採用不同
編碼手段,有利於解決在視頻或介面動畫等需要高流暢度的場景下對流暢性需求和在圖片顯示場景下對清晰度需求的平衡問題,進而有利於達到在螢幕顯示場景切換時所編碼的視頻流對場景需求的動態回應效果。
進一步的,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,並且實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
參見第3-g圖,第3-g圖為本發明的另一個實施例提供的一種螢幕分享方法的流程示意圖。如第3-g圖所示,本發明的另一個實施例提供的一種螢幕分享方法可包括以下內容:301、第二移動終端檢測第一移動終端是否發起螢幕分享服務;302、在檢測到第一移動終端發起螢幕分享服務之後,通過無線區域網路向第一移動終端發送與上述螢幕分享服務對應的螢幕分享服務接入請求,其中第一移動終端和第二移動終端都位於上述無線區域網路;303、接收來自第一移動終端的第一視頻流,在第二移動終端螢幕中的第二區域顯示第一視頻流,其中,第一視頻流由第一移動終端將第一移動終端的螢幕中的第一區域所顯示內容進行編碼而得到。
其中,第二移動終端可通過多種方式檢測第一移動終端是否發起螢幕分享服務。例如,第二移動終端檢測第一移動終端是否發起
螢幕分享服務,可以包括:第二移動終端在通過無線區域網路接收到來自第一移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到第一移動終端開啟了上述螢幕分享服務。或者,第二移動終端在上述無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過上述無線區域網路向第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第一移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到第一移動終端開啟了上述螢幕分享服務。
在本發明一些實施例中,上述在第二移動終端螢幕中的第二區域顯示第一視頻流之後還包括:第二移動終端監測用戶針對第二區域的第一用戶操作事件,若監測到用戶針對第二區域的第一用戶操作事件,通過上述無線區域網路向第一移動終端發送第一用戶操作事件,以便第一移動終端執行第一用戶操作事件。
在本發明一些實施例中,第一移動終端可作為無線保真(wifi)熱點,第二移動終端通過所述wifi熱點接入所述無線區域網路;或者,第二移動終端作為wifi熱點,第一移動終端通過所述wifi熱點接入所述無線區域網路;或者,第一移動終端作為組擁有者(groupowner),第二移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,第二移動終端作為組擁有者,第一移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,第一移動終端和所述N個第二移動終端通過協力廠商wifi熱點接入所述無線區域網路。
在本發明一些實施例中,第一移動終端在第一區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,其中,上述若監測到用
戶針對第二區域的第一用戶操作事件,通過上述無線區域網路向第一移動終端發送第一用戶操作事件,以便第一移動終端執行第一用戶操作事件,包括:若監測到用戶針對第二區域的塗鴉繪製事件,通過上述無線區域網路向第一移動終端發送上述塗鴉繪製事件,以便第一移動終端在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉。
在本發明一些實施例中,第二移動終端還可接入第一移動終端開啟的遠端剪貼服務;若通過上述無線區域網路接收到來自第一移動終端的剪貼物件,將接收到的上述剪貼物件更新到系統剪貼板上,其中,上述剪貼物件為第一移動終端的系統剪貼板上更新的剪貼物件。
在本發明一些實施例中,方法還包括:當第二區域顯示文檔時,若接收到來自第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第一移動終端發送上述錄製的語音索引標籤,以便於第一移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間第二區域所顯示的文檔。和/或,當第二區域顯示圖片時,若接收到來自第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第一移動終端發送上述錄製的語音索引標籤,以便於第一移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間第二區域所顯示的圖片。和/或,當第二區域顯示視頻時,若接收到來自第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第一移動終端發送上述錄製的語音索引標籤,以便於第一移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間第二區域所顯示的
視頻。
可以理解的是,上述第1圖和第3-g圖所示實施例主要是以第一移動終端作為螢幕分享服務發起方,而第二移動終端作為螢幕分享服務接入方的角度進行描述的,當然同一個移動終端在某些時刻可能作為螢幕分享服務發起方,而在同一時刻或另一時刻也可能作為螢幕分享服務接入方,因此,第一移動終端可以兼具上述實施例描述的第二移動終端的部分或全部功能。
為便於更好的理解和實施本發明實施例的上述方案,下面舉例幾個應用場景來進行說明。
請參見第4-a圖,第4-a圖為本發明實施例提供的一種螢幕分析系統的示意圖。
如第4-a圖所示,作為螢幕分享服務發起方的第一移動終端可包括:分享區域設置單元、螢幕資料獲取單元、音訊採集單元、視頻流編碼單元、視頻流分發管理單元、用戶控制執行單元和信令處理單元。
作為螢幕分享服務接入方的第二移動終端可包括:用戶操作監測單元、信令處理單元、視頻流顯示單元、視頻流解碼單元和視頻流接收單元。
第一移動終端和第二移動終端中的上述單元可配合完成本發明方案的幾個主要功能,如將分享螢幕的顯示內容編碼成視頻流,然後分享給各個螢幕分享服務接入方顯示;螢幕分享服務接入方將監測到的用戶操作事件傳遞給螢幕分享服務發起方,螢幕分享服務發起方執行接收到的來自螢幕分享服務接入方的用戶操作事件。
下面舉例螢幕分享過程中的涉及視頻流處理方式。
螢幕分享服務發起方的分享區域設置單元接收用戶對螢幕分享區域的設置指令,將螢幕分享區域設置參數傳送給螢幕資料獲取單元。螢幕資料獲取單元根據螢幕分享區域設置參數採集相應區域的顯示內容,並將採集到的顯示內容發送給視頻流編碼單元。音訊採集單元可將設備當前播放的音訊採集後發送給視頻流編碼單元。螢幕分享服務發起方的視頻流編碼單元將接收到的顯示內容編碼為第一視頻流,並發送第一視頻流給視頻流分發管理單元。視頻流分發管理單元可將第一視頻流發到各個螢幕分享服務接入方。
螢幕分享服務接入方的視頻流接收單元接收來自螢幕分享服務發起方的第一視頻流,並傳遞視頻流解碼單元。視頻流解碼單元將接收到的第一視頻流解碼後發送到視頻流顯示單元。視頻流顯示單元顯示接收到的解碼後的第一視頻流。
下面舉例螢幕分享服務接入方的用戶操作控制方式。
螢幕分享服務接入方的用戶操作監測單元監測到用戶操作事件後,將監測到的用戶操作事件傳遞給信令處理單元,螢幕分享服務接入方的信令處理單元向螢幕分享服務發起方發送用戶操作事件。螢幕分享服務發起方的信令處理單元接收到來自螢幕分享服務接入方的用戶操作事件之後,將接收到的用戶操作事件轉換為螢幕分享服務發起方的系統可執行的用戶操作事件(其中,轉換用戶操作事件的操作亦可由螢幕分享服務接入方的信令處理單元執行),併發送給螢幕分享服務發起方的用戶控制執行單元,用戶控制執行單元可將收到的用戶操作事件添加到系統操作事件清單,並基於系統操作事件清單執行上述用戶操作事件。
下面舉例螢幕分享服務發起方選定螢幕分享區域的方式,如第2圖所示。當用戶觸發分享區域選定操作後,分享區域設置單元在當前螢幕上覆蓋一層半透明圖層,用戶可在該半透明圖上長滑動手指,在手指滑動過程中,以手指的起始觸摸點為頂點,手指滑動過程中的當前觸摸點為對角線頂點生成一個矩形框,而該矩形框隨著手指的滑動而不斷重繪改變。手指離開螢幕停止滑動的時候,分享區域設置單元記錄當前選定區域的位置和大小參數,同時可彈出一選項功能表列,該選項功能表列顯示在螢幕底部,用戶在選項功能表中選擇一個想要的操作完成本次螢幕分享區域設置。例如選項功能表中有“取消”、“重選”和“確定”三種。選擇“取消”是放棄本次的設定,分享區域設置單元可取消選項功能表的顯示,取消選定區域矩形框的顯示,取消半透明圖層的顯示,退出設置模式;選擇“重選”表示要重新設定分享區域,分享區域設置單元消失選定區域矩形框和選項功能表列,用戶可重新執行設定步驟;選擇“確定”後,分享區域設置單元可取消選項功能表顯示,可取消選定區域矩形框顯示,可取消半透明圖層顯示。
在本發明一些實施例中,螢幕資料獲取單元可將螢幕分享服務發起方的螢幕顯示內容拷貝一份到螢幕資料獲取單元的資料緩存區。螢幕資料獲取單元根據螢幕分享區域的邊界,從整個螢幕中將螢幕分享區域裁剪出來,將得到的顯示內容發送給視頻流編碼單元編碼為第一視頻流。
在本發明一些實施例中,視頻流編碼單元可保持第一視頻流的碼率可恒定不變。或者第一視頻流的碼率可與上述N的大小相對應,例如在接入的螢幕分享服務的移動終端數量變化時,視頻流編碼單元可動態調整視頻流碼率,例如視頻流編碼單元檢測到接入的螢幕
分享服務的移動終端數量變化時,可根據變化後的接入的螢幕分享服務的移動終端數量調整視頻流碼率,假設設定只有1個接入的螢幕分享服務的移動終端時的視頻流碼率為A,而當前的接入的螢幕分享服務的移動終端數量為N,那麼當前視頻流的碼率應該可為A/N。即接入的螢幕分享服務的移動終端數量越多,視頻流的碼率越低。或者,第一視頻流的碼率可與第一區域的顯示內容的類型相對應,例如,若第一移動終端當前在第一區域顯示內容的類型為高動態畫面(如視頻、介面動畫等),則視頻流編碼單元可提高第一視頻流的幀率,降低第一視頻流的幀大小,以提高第一視頻流的流暢度;若第一移動終端當前在第一區域顯示內容的類型為非高動態畫面,則視頻流編碼單元可降低視頻流的幀率,提高視頻流的幀大小,以提高第一視頻流的清晰度。
可以理解,視頻流編碼單元可根據有否接入的螢幕分享服務的移動終端來決定是否啟動第一視頻流的編碼。例如,若沒有接入的螢幕分享服務的移動終端則不啟動第一視頻流的編碼;若有至少一個接入的螢幕分享服務的移動終端則啟動第一視頻流的編碼;若接入的螢幕分享服務的移動終端全部斷開,則視頻流編碼單元可停止第一視頻流的編碼。當然,視頻流編碼單元亦可在發起螢幕分享服務期間,一直進行第一視頻流的編碼。
在本發明一些實施例中,視頻流編碼單元將第一音訊流和第一視頻流交織為HLS格式的視頻流,視頻流編碼單元也可將第一音訊流和第一視頻流交織為非HLS格式的視頻流,例如,視頻流編碼單元可將第一音訊流和第一視頻流交織為第二移動終端指定格式視頻流。其中,N個第二移動終端中的部分或全部第二移動終端可以利用流覽器的訪問HLS格式的視頻流,或者,N個第二移動終端中的
部分或全部第二移動終端可用專用client訪問非HLS格式的視頻流。
在本發明的一些實施例中,視頻流分發管理單元例如可基於組播或者單播方式,通過上述無線區域網路向接入螢幕分享服務的N個第二移動終端發送第一視頻流。例如第一移動終端中可包括視頻流緩衝佇列和阻塞緩衝佇列;對於單播方式,視頻流分發管理單元可按照先入先出原則的將第一視頻流的視頻幀依次置入到上述視頻流緩衝佇列之中,當視頻流緩衝佇列飽和後,新視頻幀替代佇列中隊首的舊視頻幀。其中,若在上述視頻流緩衝佇列中的第X個佇列單元所儲存的第一視頻幀將被第一視頻流中的第二視頻幀替換時,仍然未能成功將第一視頻幀發送給上述N個第二移動終端中的K4個第二移動終端(即上述K4個第二移動終端獲取第一視頻幀未成功,其中,第4-b圖中以K4等於1為例,第4-b圖中阻塞緩衝佇列包括N個佇列單元,視頻流緩衝佇列包括M個佇列單元),則將第一視頻幀寫入阻塞緩衝佇列中與K4個第二移動終端對應的佇列單元(其中,阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元),並將第X個佇列單元所儲存的第一視頻幀替換為第二視頻幀。其中,通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:針對N個第二移動終端中的每個第二移動終端,向該每個第二移動終端發送從上述視頻流緩衝佇列和/或阻塞緩衝佇列中讀取的第一視頻流的視頻幀。可以看出,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,因為,第一移動終端無需在視頻流緩衝佇列長期儲存未成功分發的視頻幀,這樣,視頻流緩衝佇列的出隊速度可與編碼出第一視頻流的速度同步,並且阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動
終端均對應有至少一個佇列單元,這有利於實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
在本發明的一些實施例中,螢幕分享服務發起方的語音索引標籤服務單元可開啟語音索引標籤服務。例如當第一移動終端在其螢幕中的第一區域顯示文檔時,信令處理單元還可向上述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示。第二移動終端的語音錄製單元在接收到上述語音索引標籤服務開啟指示之後錄製語音索引標籤,第二移動終端的語音錄製單元可向螢幕分享服務發起方發送錄製的語音索引標籤。螢幕分享服務發起方的語音索引標籤服務單元若接收到上述K1個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的文檔。進一步的,第一移動終端在再次打開第一文檔時可播放與之具有關聯關係的語音索引標籤。可以理解,K1小於或等於N。
又例如,當第一移動終端在其螢幕中的第一區域顯示圖片時,語音索引標籤服務單元向上述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K2個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的圖片。進一步的,第一移動終端在再次打開第一圖片時可播放
與之具有關聯關係的語音索引標籤。
可以理解,K2小於或等於N。
又例如,當第一移動終端在其螢幕中的第一區域顯示視頻時,語音索引標籤服務單元向上述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K3個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間第一移動終端在其螢幕中的第一區域所顯示的視頻。其它場景下可按照類似方式進行語音索引標籤。進一步的,第一移動終端在再次打開第一視頻時可播放與之具有關聯關係的語音索引標籤。可以理解,K3小於或等於N。
可以理解,螢幕分享服務發起方和螢幕分享服務接入方亦可具有其它的模組組成形式,不限於第4-a圖所示舉例。
參見第5-a圖,本發明實施例還提供一種移動終端500,可包括:服務發起單元510和分享單元520。
服務發起單元510,用於發起螢幕分享服務。
分享單元520,用於通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述移動終端和所述N個第二移動終端都位於所述無線區域網路,所述N為正整數;若允許所述N個第二移動終端接入所述螢幕分享服務,將所述移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二移動終端發送第一視頻流。
在本發明一些實施例中,服務發起單元510可具體用於,在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
或者,服務發起單元510可具體用於,接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,或者向上述N個第二移動終端發送用於回應上述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
參見第5-b圖,在本發明一些實施例中,移動終端500還可包括:事件回應單元530,用於若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,其中,第一用戶操作事件是針對第二移動終端的螢幕之中第二區域的用戶操作事件,第二區域顯示有第二移動終端接收到的第一視頻流。
在本發明的一些實施例中,事件回應單元530可在第一區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,事件回應單元530用於,若通過上述無線區域網路接收到來自第二移動終端的塗鴉繪製事件,在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉。
參見第5-c圖,在本發明一些實施例中,移動終端500還包括:音訊處理單元540,用於採集第一移動終端所播放的聲音信號,
並將採集到的聲音信號編碼為第一音訊流,或者,解碼音訊檔得到第一音訊流,分享單元520可具體用於,若有N個第二移動終端通過無線區域網路接入到第一移動終端開啟的螢幕分享服務,則將第一移動終端的螢幕中的第一區域所顯示內容編碼為第一視頻流,將第一音訊流交織到第一視頻流之中,並通過上述無線區域網路向上述N個第二移動終端發送交織有第一音訊流的第一視頻流。
在本發明一些實施例中,第一視頻流的碼率恒定不變,或者,第一視頻流的碼率與上述N的大小相對應,或者,第一視頻流的碼率與第一區域的顯示內容的類型相對應。
參見第5-d圖,在本發明一些實施例中,移動終端500還包括:遠端剪貼服務單元550,用於開啟遠端剪貼服務;若上述N個第二移動終端之中的M個第二移動終端通過上述無線區域網路接入到上述遠端剪貼服務,則當監聽到第一移動終端的系統剪貼板上有更新的剪貼物件時,通過上述無線區域網路向上述M個第二移動終端發送上述剪貼物件,以便於上述M個第二移動終端將接收到的上述剪貼物件更新到其系統剪貼板上。
參見第5-e圖,在本發明一些實施例中,移動終端500還包括:語音索引標籤單元560,用於當移動終端500在其螢幕中的第一區域顯示文檔時,移動終端500向上述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述
K1個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間移動終端500在其螢幕中的第一區域所顯示的文檔;和/或,當移動終端500在其螢幕中的第一區域顯示圖片時,移動終端500向上述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K2個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間移動終端500在其螢幕中的第一區域所顯示的圖片;和/或,當移動終端500在其螢幕中的第一區域顯示視頻時,移動終端500向上述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K3個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間移動終端500在其螢幕中的第一區域所顯示的視頻。
在本發明的一些實施例中,移動終端500作為wifi熱點,上述N個第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-a圖)。或者,上述N個第二移動終端中的其中一個第二移動終端作為wifi熱點,移動終端500和上述N個第二移動終端中除上述其中一個第二移動終端之外的剩餘第二移動終端通過上述wifi熱
點接入上述無線區域網路(參見第3-b圖)。或者,移動終端500作為組擁有者groupowner,上述N個第二移動終端作為組用戶端,以wifi直連方式接入上述無線區域網路(參見第3-c圖)。或者移動終端500和上述N個第二移動終端通過協力廠商wifi熱點接入上述無線區域網路(參見第3-d圖)。當然移動終端500和上述N個第二移動終端亦可通過其它方式來接入同一無線區域網路。
在本發明一些實施例中,分享單元520可基於組播或單播方式,通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。例如移動終端500中可包括視頻流緩衝佇列和阻塞緩衝佇列;對於單播方式,分享單元520可按照先入先出原則的將第一視頻流的視頻幀依次置入到上述視頻流緩衝佇列中,其中,若在上述視頻流緩衝佇列中的第X個佇列單元所儲存的第一視頻幀將被第一視頻流中的第二視頻幀替換時,仍然未能成功將第一視頻幀發送給上述N個第二移動終端中的K4個第二移動終端(即:上述K4個第二移動終端獲取第一視頻幀未成功),則將第一視頻幀寫入阻塞緩衝佇列中與K4個第二移動終端對應的佇列單元(其中,阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元),並將第X個佇列單元所儲存的第一視頻幀替換為第二視頻幀。其中,上述通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:針對N個第二移動終端中的每個第二移動終端,向該每個第二移動終端發送從上述視頻流緩衝佇列和/或阻塞緩衝佇列中讀取的第一視頻流的視頻幀。可以看出,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,因為移動終端500無需在視頻流緩衝佇列長期儲存未成功分發的視頻幀,這樣,視
頻流緩衝佇列的出隊速度可與編碼出第一視頻流的速度同步,並且阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元,這有利於實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
可以看出,本實施例移動終端500開啟允許多個移動終端接入的螢幕分享服務後;若N個第二移動終端通過無線區域網路接入到移動終端500開啟的螢幕分享服務,則移動終端500將移動終端500的螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流,由於移動終端500和上述N個第二移動終端都接入到了同一無線區域網路,移動終端500和上述N個第二移動終端基於無線區域網路進行螢幕分享服務,交互與螢幕分享服務相關資料,基於無線區域網路實現螢幕分享資料的交互可解決在無大型外部伺服器及外部網路的情況下實現小範圍的螢幕分享的問題,並可達到簡便易用且實用的效果。並且,借助無線區域網路較高的傳輸速率,接入簡單且支援多終端接入,使得本發明實施例螢幕分享技術能夠更好的支持流暢性和即時性要求高場景,同時也有利於增強螢幕分享參與的靈活性,進而有利於擴展螢幕分享參與方的數量。
進一步的,可根據當前螢幕顯示內容類別型的不同採用不同編碼手段,有利於解決在視頻或介面動畫等需要高流暢度的場景下對流暢性需求和在圖片顯示場景下對清晰度需求的平衡問題,進而有利於達到在螢幕顯示場景切換時所編碼的視頻流對場景需求的動態回應效果。
進一步的,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,並且實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
參見第6-a圖,本發明實施例還提供一種移動終端600,可包括:檢測單元610、接入單元620和分享單元630。
其中,檢測單元610,用於檢測第一移動終端是否發起螢幕分享服務;接入單元620,用於在檢測到第一移動終端發起螢幕分享服務之後,通過無線區域網路向所述第一移動終端發送與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述第一移動終端和移動終端600都位於所述無線區域網路。
分享單元630,用於接收來自所述第一移動終端的第一視頻流,在所述移動終端螢幕中的第二區域顯示第一視頻流,其中,所述第一視頻流由所述第一移動終端將所述第一移動終端的螢幕中的第一區域所顯示內容進行編碼而得到。
在本發明的一些實施例中,檢測單元610可具體用於,在通過無線區域網路接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到所述第一移動終端開啟了所述螢幕分享服務;或者,在所述無線區域網路中廣播螢幕分享服務開啟查詢請
求,或通過所述無線區域網路向所述第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第一移動終端的與所述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到所述第一移動終端開啟了所述螢幕分享服務。
參見第6-b圖,在本發明的一些實施例中,移動終端600還可包括:監測單元640,用於在移動終端600螢幕中的第二區域顯示第一視頻流之後,監測用戶針對所述第二區域的第一用戶操作事件,若監測到用戶針對所述第二區域的第一用戶操作事件,通過所述無線區域網路向所述第一移動終端發送第一用戶操作事件,以便所述第一移動終端執行所述第一用戶操作事件。
參見第6-c圖,在本發明的一些實施例中,移動終端600還可包括:遠端剪貼服務單元650,用於接入第一移動終端開啟的遠端剪貼服務;若通過所述無線區域網路接收到來自所述第一移動終端的剪貼物件,將接收到的所述剪貼物件更新到系統剪貼板上,其中,所述剪貼物件為所述第一移動終端的系統剪貼板上更新的剪貼物件。
參見第6-d圖,在本發明的一些實施例中,移動終端600還可包括:語音索引標籤單元660,用於當所述第二區域顯示文檔時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一文檔的關聯關係,其中,所述第一文檔為錄製所述語音索引標籤期間所述第二區域所顯示的文檔;
或者,當所述第二區域顯示圖片時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一圖片的關聯關係,其中,所述第一圖片為錄製所述語音索引標籤期間所述第二區域所顯示的圖片;或者,當所述第二區域顯示視頻時,若接收到來自所述第一移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向所述第一移動終端發送所述錄製的語音索引標籤,以便於所述第一移動終端儲存所述語音索引標籤並記錄所述語音索引標籤與第一視頻的關聯關係,其中,所述第一視頻為錄製所述語音索引標籤期間所述第二區域所顯示的視頻。
可以理解的是,本實施例的移動終端600的各功能模組的功能可根據上述方法實施例中的方法具體實現,移動終端600可用於實現上述第二移動終端所需實現的功能,其具體實現過程可以參照上述方法實施例的相關描述,此處不再贅述。
第7圖為本發明提供的一種移動終端的結構示意圖,如第7圖所示,本實施例的移動終端700包括至少一個匯流排701、與匯流排701相連的至少一個處理器702以及與匯流排701相連的至少一個記憶體703。
其中,處理器702通過匯流排701,調用記憶體703中儲存的代碼以用於發起螢幕分享服務;通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述移動終端700和所述N個第二移動終端都位於所述無線區域
網路,所述N為正整數;若允許所述N個第二移動終端接入所述螢幕分享服務,將移動終端700螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二移動終端發送第一視頻流。
在本發明一些實施例中,處理器702發起螢幕分享服務包括:第一移動終端在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
此外,在本發明的另一些實施例中,處理器702發起螢幕分享服務也可以包括:第一移動終端接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,或者向上述N個第二移動終端發送用於回應上述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
可以理解,處理器702在接收到來自第二移動終端的螢幕分享服務接入請求之後,若不允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務拒絕接入消息(或者不回復任何消息),若允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務允許接入消息。
其中,處理器702可選定移動終端700螢幕中的某個區域(為便於引述故而稱之為第一區域)作為螢幕分享區域。其中,移動終端700可在第一區域顯示圖片、視頻、文檔、桌面等等內容。
在本發明的一些實施例中,移動終端700作為wifi熱點,上述N個第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-a圖)。或者,上述N個第二移動終端中的其中一個第二移動終端作為wifi熱點,移動終端700和上述N個第二移動終端中除上述其中一個第二移動終端之外的剩餘第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-b圖)。或者,移動終端700作為組擁有者groupowner,上述N個第二移動終端作為組用戶端,以wifi直連方式接入上述無線區域網路(參見第3-c圖)。或者移動終端700和上述N個第二移動終端通過協力廠商wifi熱點接入上述無線區域網路(參見第3-d圖)。當然移動終端700和上述N個第二移動終端亦可通過其它方式來接入同一無線區域網路。
在本發明一些實施例中,處理器702可基於組播或單播方式,通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。例如移動終端700中可包括視頻流緩衝佇列和阻塞緩衝佇列;對於單播方式,處理器702可按照先入先出原則的將第一視頻流的視頻幀依次置入到上述視頻流緩衝佇列中,其中若在上述視頻流緩衝佇列中的第X個佇列單元所儲存的第一視頻幀將被第一視頻流中的第二視頻幀替換時,仍然未能成功將第一視頻幀發送給上述N個第二移動終端中的K4個第二移動終端(即:上述K4個第二移動終端獲取第一視頻幀未成功),則將第一視頻幀寫入阻塞緩衝佇列中與K4個第二移動終端對應的佇列單元(其中,阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元),並將第X個佇列單元所儲存的第一視頻幀替換為第二視頻幀。其中,處理器702可針對N個第二移動終端中的每個第二移動終端,向該每個第二移動終端發送從上述視頻流緩衝佇列和/或阻塞緩衝佇列中讀取的第
一視頻流的視頻幀。
在本發明的一些實施例中,處理器702若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,其中,第一用戶操作事件是針對第二移動終端的螢幕之中第二區域的用戶操作事件,第二區域顯示有第二移動終端接收到的第一視頻流。處理器702可將第一用戶操作事件添加到系統操作事件鏈表中,根據系統操作事件鏈表中各事件的執行順序來執行第一用戶操作事件。其中,第一用戶操作事件可能是針對第二移動終端的螢幕之中第二區域的多種用戶操作事件,假設第二區域顯示的是動畫,則第一用戶操作事件例如可能是用於調整第二區域所顯示動畫的進度、亮度、對比度和/或尺寸等的用戶操作事件。假設第二區域顯示的是包含多個應用圖示的桌面,則第一用戶操作事件例如可能是用於開啟第二區域所顯示桌面中的某應用圖示對應的應用的用戶操作事件,其它作用的用戶操作事件以此類推。
若需要,第二移動終端可將監測到的針對第二移動終端的螢幕之中第二區域的用戶操作事件轉換為指定格式(例如處理器702指定了用戶操作事件的格式)的第一用戶操作事件,通過上述無線區域網路向移動終端700發送第一用戶操作事件,以便於移動終端700執行第一用戶操作事件。當然若移動終端700和第二移動終端的系統類型相同,處理器702能識別第二移動終端監測到的用戶操作事件,則第二移動終端可將監測到的用戶操作事件發送給移動終端700而無需進行格式轉換。
在本發明一些實施例中,螢幕分享還可支援塗鴉功能,例如處理器702還可在第一區域覆蓋有透明圖層;第一用戶操作事件為塗
鴉繪製事件,其中處理器702若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,包括:處理器702若通過上述無線區域網路接收到來自第二移動終端的塗鴉繪製事件,則可在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉,而繪製的塗鴉也會被分享給其它螢幕分享服務接入方。
在本發明一些實施例中,處理器702還可採集移動終端700所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,將第一音訊流交織到第一視頻流之中,或者,處理器702解碼音訊檔得到第一音訊流,將得到的第一音訊流交織到第一視頻流之中,其中,處理器702通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:通過上述無線區域網路向上述N個第二移動終端發佈交織有第一音訊流的第一視頻流。如此,移動終端700可據此向第二移動終端發佈語音指令或播放背景音樂等。
在本發明一些實施例中,第一視頻流的碼率可恒定不變。或者,第一視頻流的碼率可與上述N的大小相對應,例如在接入的螢幕分享服務的移動終端數量變化時,處理器702可動態調整視頻流碼率,例如處理器702檢測到接入的螢幕分享服務的移動終端數量變化時,可根據變化後的接入的螢幕分享服務的移動終端數量調整視頻流碼率,假設設定只有1個接入的螢幕分享服務的移動終端時的視頻流碼率為A,而當前的接入的螢幕分享服務的移動終端數量為N,那麼當前視頻流的碼率應該可為A/N。即,接入的螢幕分享服務的移動終端數量越多,視頻流的碼率越低。或者,第一視頻流的碼率可與第一區域的顯示內容的類型相對應,例如,若處理器702當前在第一區域顯示內容的類型為高動態畫面(如視頻、介面動畫等),則處理器702
可提高第一視頻流的幀率,降低第一視頻流的幀大小,以提高第一視頻流的流暢度;若處理器702當前在第一區域顯示內容的類型為非高動態畫面,則處理器702可降低視頻流的幀率,提高視頻流的幀大小,以提高第一視頻流的清晰度。
可以理解,處理器702可根據有否接入的螢幕分享服務的移動終端來決定是否啟動第一視頻流的編碼。例如,若沒有接入的螢幕分享服務的移動終端則不啟動第一視頻流的編碼;若有至少一個接入的螢幕分享服務的移動終端則啟動第一視頻流的編碼;若接入的螢幕分享服務的移動終端全部斷開,則處理器702可停止第一視頻流的編碼。當然,處理器702亦可在發起螢幕分享服務期間,一直進行第一視頻流的編碼。
在本發明的一些實施例中,處理器702還可開啟遠端剪貼服務;若上述N個第二移動終端之中的M個第二移動終端通過上述無線區域網路接入到上述遠端剪貼服務,則當處理器702監聽到移動終端700的系統剪貼板上有更新的剪貼物件時,可通過上述無線區域網路向上述M個第二移動終端發送上述剪貼物件,以便於上述M個第二移動終端將接收到的上述剪貼物件更新到其系統剪貼板上。
在本發明一些實施例中,還可在螢幕分享的同時實現語音索引標籤。例如當處理器702在移動終端700螢幕中的第一區域顯示文檔時,處理器702還可向上述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K1個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製
上述語音索引標籤期間處理器702在移動終端700螢幕中的第一區域所顯示的文檔。進一步的,處理器702在再次打開第一文檔時可播放與之具有關聯關係的語音索引標籤。可以理解,K1小於或等於N。
又例如,當處理器702在移動終端700螢幕中的第一區域顯示圖片時,處理器702向上述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K2個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間處理器702在移動終端700螢幕中的第一區域所顯示的圖片。進一步的,處理器702在再次打開第一圖片時可播放與之具有關聯關係的語音索引標籤。可以理解,K2小於或等於N。
又例如,當處理器702在移動終端700螢幕中的第一區域顯示視頻時,處理器702向上述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K3個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間處理器702在移動終端700螢幕中的第一區域所顯示的視頻。其它場景下可按照類似方式進行語音索引標籤。進一步的,處理器702在再次打開第一視頻時可播放與之具有關聯關係的語音索引標籤。可以理解,K3小於或等於N。
下面介紹假設移動終端700作為服務接入方的功能實現。
在本發明一些實施例中,處理器702還可用於檢測第三移動
終端是否發起螢幕分享服務;在檢測到第三移動終端發起螢幕分享服務之後,通過無線區域網路向第三移動終端發送與上述螢幕分享服務對應的螢幕分享服務接入請求,其中,第三移動終端和移動終端700都位於上述無線區域網路;接收來自第三移動終端的第一視頻流,在移動終端700螢幕中的第四區域顯示第一視頻流,第一視頻流由第三移動終端將第三移動終端的螢幕中的第三區域所顯示內容進行編碼而得到。
其中,處理器702可通過多種方式檢測第三移動終端是否發起螢幕分享服務。例如,處理器702檢測第三移動終端是否發起螢幕分享服務可包括:在通過無線區域網路接收到來自第三移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到第三移動終端開啟了上述螢幕分享服務。或者,在上述無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過上述無線區域網路向第三移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第三移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到第三移動終端開啟了上述螢幕分享服務。
在本發明一些實施例中,處理器702在移動終端700螢幕中的第四區域顯示第一視頻流之後還包括:監測用戶針對第四區域的第一用戶操作事件,若監測到用戶針對第四區域的第一用戶操作事件,通過上述無線區域網路向第三移動終端發送第一用戶操作事件,以便第三移動終端執行第一用戶操作事件。
在本發明一些實施例中,第三移動終端可作為wifi熱點,移動終端700通過所述wifi熱點接入所述無線區域網路;或移動終端700作為wifi熱點,第三移動終端通過所述wifi熱點接入所述無線區
域網路;或者,第三移動終端作為組擁有者groupowner,移動終端700作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,移動終端700作為組擁有者groupowner,第三移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,第三移動終端和移動終端700通過協力廠商wifi熱點接入所述無線區域網路。
在本發明的一些實施例中,第三移動終端在第三區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,其中,上述若監測到用戶針對第四區域的第一用戶操作事件,通過上述無線區域網路向第三移動終端發送第一用戶操作事件,以便第三移動終端執行第一用戶操作事件,包括:若監測到用戶針對第四區域的塗鴉繪製事件,通過上述無線區域網路向第三移動終端發送上述塗鴉繪製事件,以便第三移動終端在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉。
在本發明一些實施例中,移動終端700還可接入第三移動終端開啟的遠端剪貼服務;若通過上述無線區域網路接收到來自第三移動終端的剪貼物件,將接收到的上述剪貼物件更新到系統剪貼板上,其中,上述剪貼物件為第三移動終端的系統剪貼板上更新的剪貼物件。
在本發明一些實施例中,方法還包括:當第四區域顯示文檔時,若接收到來自第三移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間第四區域所顯示的文檔。和/或,當第四區域顯示圖片時,若接收到來自第三移動終端的語音索引標籤服務開啟指示,則錄製語音索引
標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間第四區域所顯示的圖片。和/或,當第四區域顯示視頻時,若接收到來自第三移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間第四區域所顯示的視頻。
本實施例提供的移動終端700,可以用於執行第1圖或第3-g圖所示方法實施例的技術方案中移動終端700對應執行的部分,並且,在某些場景下,移動終端700也可以用於執行第1圖或第3-g圖所示方法實施例的技術方案中第二移動終端對應執行的部分,其實現原理和技術效果與之類似,此處不再贅述。第7圖僅為本發明提供的移動終端的結構的一種示意圖,具體結構可根據實際進行調整。
可以理解的是,本實施例的移動終端700的各功能模組的功能可根據上述方法實施例中的方法具體實現,其具體實現過程可以參照上述方法實施例的相關描述,此處不再贅述。
可以看出,本實施例移動終端700開啟允許多個移動終端接入的螢幕分享服務後;若N個第二移動終端通過無線區域網路接入到移動終端700開啟的螢幕分享服務,則移動終端700將移動終端700的螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流,由於移動終端700和上述N個第二移動終端都接入到了同一無線區域網路,移動終
端700和上述N個第二移動終端基於無線區域網路進行螢幕分享服務,交互與螢幕分享服務相關資料,基於無線區域網路實現螢幕分享資料的交互可解決在無大型外部伺服器及外部網路的情況下實現小範圍的螢幕分享的問題,並可達到簡便易用且實用的效果。並且,借助無線區域網路較高的傳輸速率,接入簡單且支援多終端接入,使得本發明實施例螢幕分享技術能夠更好的支持流暢性和即時性要求高場景,同時也有利於增強螢幕分享參與的靈活性,進而有利於擴展螢幕分享參與方的數量。
進一步的,可根據當前螢幕顯示內容類別型的不同採用不同編碼手段,有利於解決在視頻或介面動畫等需要高流暢度的場景下對流暢性需求和在圖片顯示場景下對清晰度需求的平衡問題,進而有利於達到在螢幕顯示場景切換時所編碼的視頻流對場景需求的動態回應效果。
進一步的,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,並且實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
第8圖描述了本發明實施例提供的一種通信終端800的結構,該通信終端800包括:至少一個處理器801,例如CPU,至少一個網路介面804或者其他用戶介面803,記憶體805,至少一個通信匯流排802。通信匯流排802用於實現這些元件之間的連接通信。該通信終端800可選的包含用戶介面803,包括顯示器,鍵盤或者點擊設備(例如,滑鼠,軌跡球(trackball),觸感板或者觸感顯示幕)。
記憶體805可能包含高速RAM記憶體,也可能還包括非揮發性的記憶體(non-volatile memory),例如至少一個磁碟記憶體。記憶體805可選的可以包含至少一個位於遠離前述處理器801的儲存裝置。
在一些實施方式中,記憶體805儲存了如下的元素,可執行模組或者資料結構,或者他們的子集,或者他們的擴展集:作業系統8051,包含各種系統程式,用於實現各種基礎業務以及處理基於硬體的任務;應用程式模組8052,包含各種應用程式,用於實現各種應用業務。
應用程式模組8052中包括但不限於服務發起單元510和分享單元520。
進一步的,應用程式模組8052中還可包括事件回應單元530、音訊處理單元540、遠端剪貼服務單元550、語音索引標籤單元560。
應用程式模組8052中各模組的具體實現參見第5-a圖~第5-e圖所示實施例中的相應模組,在此不贅述。
在本發明一些實施例中,通過調用記憶體805儲存的程式或指令,處理器801可用於:發起螢幕分享服務;通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,其中,所述移動終端800和所述N個第二移動終端都位於所述無線區域網路,所述N為正整數;若允許所述N個第二移動終端接入所述螢幕分享服務,將移動終端800螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二
移動終端發送第一視頻流。
在本發明一些實施例中,處理器801發起螢幕分享服務包括:第一移動終端在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
此外,在本發明的另一些實施例中,處理器801發起螢幕分享服務也可以包括:第一移動終端接收來自N個第二移動終端的螢幕分享服務開啟查詢請求,在上述無線區域網路中廣播與上述螢幕分享服務對應的螢幕分享服務開啟消息,或者向上述N個第二移動終端發送用於回應上述螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,上述與上述螢幕分享服務對應的螢幕分享服務接入請求由第二移動終端在接收到上述螢幕分享服務開啟消息之後發送。
可以理解,處理器801在接收到來自第二移動終端的螢幕分享服務接入請求之後,若不允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務拒絕接入消息(或者不回復任何消息),若允許該第二移動終端接入上述螢幕分享服務,可向該第二移動終端發送螢幕分享服務允許接入消息。
其中,處理器801可選定移動終端800螢幕中的某個區域(為便於引述故而稱之為第一區域)作為螢幕分享區域。其中,移動終端800可在第一區域顯示圖片、視頻、文檔、桌面等等內容。
在本發明的一些實施例中,移動終端800作為wifi熱點,上述N個第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-a圖)。或者,上述N個第二移動終端中的其中一個第二移動
終端作為wifi熱點,移動終端800和上述N個第二移動終端中除上述其中一個第二移動終端之外的剩餘第二移動終端通過上述wifi熱點接入上述無線區域網路(參見第3-b圖)。或者,移動終端800作為組擁有者groupowner,上述N個第二移動終端作為組用戶端,以wifi直連方式接入上述無線區域網路(參見第3-c圖)。或者移動終端800和上述N個第二移動終端通過協力廠商wifi熱點接入上述無線區域網路(參見第3-d圖)。當然移動終端800和上述N個第二移動終端亦可通過其它方式來接入同一無線區域網路。
在本發明一些實施例中,處理器801可基於組播或單播方式,通過上述無線區域網路向上述N個第二移動終端發送第一視頻流。例如移動終端800中可包括視頻流緩衝佇列和阻塞緩衝佇列;對於單播方式,處理器801可按照先入先出原則的將第一視頻流的視頻幀依次置入到上述視頻流緩衝佇列中,其中若在上述視頻流緩衝佇列中的第X個佇列單元所儲存的第一視頻幀將被第一視頻流中的第二視頻幀替換時,仍然未能成功將第一視頻幀發送給上述N個第二移動終端中的K4個第二移動終端(即:上述K4個第二移動終端獲取第一視頻幀未成功),則將第一視頻幀寫入阻塞緩衝佇列中與K4個第二移動終端對應的佇列單元(其中,阻塞緩衝佇列中針對N個第二移動終端中的每個第二移動終端均對應有至少一個佇列單元),並將第X個佇列單元所儲存的第一視頻幀替換為第二視頻幀。其中,處理器801可針對N個第二移動終端中的每個第二移動終端,向該每個第二移動終端發送從上述視頻流緩衝佇列和/或阻塞緩衝佇列中讀取的第一視頻流的視頻幀。
在本發明的一些實施例中,處理器801若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶
操作事件,其中,第一用戶操作事件是針對第二移動終端的螢幕之中第二區域的用戶操作事件,第二區域顯示有第二移動終端接收到的第一視頻流。處理器801可將第一用戶操作事件添加到系統操作事件鏈表中,根據系統操作事件鏈表中各事件的執行順序來執行第一用戶操作事件。其中,第一用戶操作事件可能是針對第二移動終端的螢幕之中第二區域的多種用戶操作事件,假設第二區域顯示的是動畫,則第一用戶操作事件例如可能是用於調整第二區域所顯示動畫的進度、亮度、對比度和/或尺寸等的用戶操作事件。假設第二區域顯示的是包含多個應用圖示的桌面,則第一用戶操作事件例如可能是用於開啟第二區域所顯示桌面中的某應用圖示對應的應用的用戶操作事件,其它作用的用戶操作事件以此類推。
若需要,第二移動終端可將監測到的針對第二移動終端的螢幕之中第二區域的用戶操作事件轉換為指定格式(例如處理器801指定了用戶操作事件的格式)的第一用戶操作事件,通過上述無線區域網路向移動終端800發送第一用戶操作事件,以便於移動終端800執行第一用戶操作事件。當然若移動終端800和第二移動終端的系統類型相同,處理器801能識別第二移動終端監測到的用戶操作事件,則第二移動終端可將監測到的用戶操作事件發送給移動終端800而無需進行格式轉換。
在本發明一些實施例中,螢幕分享還可支援塗鴉功能,例如處理器801還可在第一區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,其中處理器801若通過上述無線區域網路接收到來自第二移動終端的第一用戶操作事件,則執行第一用戶操作事件,包括:處理器801若通過上述無線區域網路接收到來自第二移動終端的塗鴉繪製事件,則可在上述透明圖層上顯示上述塗鴉繪製事件所要繪製
的塗鴉,而繪製的塗鴉也會被分享給其它螢幕分享服務接入方。
在本發明一些實施例中,處理器801還可採集移動終端800所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,將第一音訊流交織到第一視頻流之中,或者,處理器801解碼音訊檔得到第一音訊流,將得到的第一音訊流交織到第一視頻流之中,其中,處理器801通過上述無線區域網路向上述N個第二移動終端發送第一視頻流可包括:通過上述無線區域網路向上述N個第二移動終端發佈交織有第一音訊流的第一視頻流。如此,移動終端800可據此向第二移動終端發佈語音指令或播放背景音樂等。
在本發明一些實施例中,第一視頻流的碼率可恒定不變。或者,第一視頻流的碼率可與上述N的大小相對應,例如在接入的螢幕分享服務的移動終端數量變化時,處理器801可動態調整視頻流碼率,例如處理器801檢測到接入的螢幕分享服務的移動終端數量變化時,可根據變化後的接入的螢幕分享服務的移動終端數量調整視頻流碼率,假設設定只有1個接入的螢幕分享服務的移動終端時的視頻流碼率為A,而當前的接入的螢幕分享服務的移動終端數量為N,那麼當前視頻流的碼率應該可為A/N。即,接入的螢幕分享服務的移動終端數量越多,視頻流的碼率越低。或者,第一視頻流的碼率可與第一區域的顯示內容的類型相對應,例如,若處理器801當前在第一區域顯示內容的類型為高動態畫面(如視頻、介面動畫等),則處理器801可提高第一視頻流的幀率,降低第一視頻流的幀大小,以提高第一視頻流的流暢度;若處理器801當前在第一區域顯示內容的類型為非高動態畫面,則處理器801可降低視頻流的幀率,提高視頻流的幀大小,以提高第一視頻流的清晰度。
可以理解,處理器801可根據有否接入的螢幕分享服務的移動終端來決定是否啟動第一視頻流的編碼。例如,若沒有接入的螢幕分享服務的移動終端則不啟動第一視頻流的編碼;若有至少一個接入的螢幕分享服務的移動終端則啟動第一視頻流的編碼;若接入的螢幕分享服務的移動終端全部斷開,則處理器801可停止第一視頻流的編碼。當然,處理器801亦可在發起螢幕分享服務期間,一直進行第一視頻流的編碼。
在本發明的一些實施例中,處理器801還可開啟遠端剪貼服務;若上述N個第二移動終端之中的M個第二移動終端通過上述無線區域網路接入到上述遠端剪貼服務,則當處理器801監聽到移動終端800的系統剪貼板上有更新的剪貼物件時,可通過上述無線區域網路向上述M個第二移動終端發送上述剪貼物件,以便於上述M個第二移動終端將接收到的上述剪貼物件更新到其系統剪貼板上。
在本發明一些實施例中,還可在螢幕分享的同時實現語音索引標籤。例如當處理器801在移動終端800螢幕中的第一區域顯示文檔時,處理器801還可向上述N個第二移動終端之中的K1個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K1個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間處理器801在移動終端800螢幕中的第一區域所顯示的文檔。進一步的,處理器801在再次打開第一文檔時可播放與之具有關聯關係的語音索引標籤。可以理解,K1小於或等於N。
又例如,當處理器801在移動終端800螢幕中的第一區域顯
示圖片時,處理器801向上述N個第二移動終端之中的K2個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K2個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間處理器801在移動終端800螢幕中的第一區域所顯示的圖片。進一步的,處理器801在再次打開第一圖片時可播放與之具有關聯關係的語音索引標籤。可以理解,K2小於或等於N。
又例如,當處理器801在移動終端800螢幕中的第一區域顯示視頻時,處理器801向上述N個第二移動終端之中的K3個第二移動終端發送語音索引標籤服務開啟指示;若接收到上述K3個第二移動終端中的部分或全部第二移動終端在接收到上述語音索引標籤服務開啟指示之後所錄製的語音索引標籤,儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間處理器801在移動終端800螢幕中的第一區域所顯示的視頻。其它場景下可按照類似方式進行語音索引標籤。進一步的,處理器801在再次打開第一視頻時可播放與之具有關聯關係的語音索引標籤。可以理解的是,K3小於或者等於N。
下面介紹假設移動終端800作為服務接入方的功能實現。
在本發明一些實施例中,處理器801還可用於檢測第三移動終端是否發起螢幕分享服務;在檢測到第三移動終端發起螢幕分享服務之後,通過無線區域網路向第三移動終端發送與上述螢幕分享服務對應的螢幕分享服務接入請求,其中,第三移動終端和移動終端800都位於上述無線區域網路;接收來自第三移動終端的第一視頻流,在
移動終端800螢幕中的第四區域顯示第一視頻流,第一視頻流由第三移動終端將第三移動終端的螢幕中的第三區域所顯示內容進行編碼而得到。
其中,處理器801可通過多種方式檢測第三移動終端是否發起螢幕分享服務。例如,處理器801檢測第三移動終端是否發起螢幕分享服務可包括:在通過無線區域網路接收到來自第三移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到第三移動終端開啟了上述螢幕分享服務。或者,在上述無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過上述無線區域網路向第三移動終端發送螢幕分享服務開啟查詢請求,若接收到來自第三移動終端的與上述螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到第三移動終端開啟了上述螢幕分享服務。
在本發明一些實施例中,處理器801在移動終端800螢幕中的第四區域顯示第一視頻流之後還包括:監測用戶針對第四區域的第一用戶操作事件,若監測到用戶針對第四區域的第一用戶操作事件,通過上述無線區域網路向第三移動終端發送第一用戶操作事件,以便第三移動終端執行第一用戶操作事件。
在本發明一些實施例中,第三移動終端可作為wifi熱點,移動終端800通過所述wifi熱點接入所述無線區域網路;或移動終端800作為wifi熱點,第三移動終端通過所述wifi熱點接入所述無線區域網路;或者,第三移動終端作為組擁有者groupowner,移動終端800作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,移動終端800作為組擁有者groupowner,第三移動終端作為組用戶端,以wifi直連方式接入所述無線區域網路;或者,第三移動終端和
移動終端800通過協力廠商wifi熱點接入所述無線區域網路。
在本發明的一些實施例中,第三移動終端在第三區域覆蓋有透明圖層;第一用戶操作事件為塗鴉繪製事件,其中,上述若監測到用戶針對第四區域的第一用戶操作事件,通過上述無線區域網路向第三移動終端發送第一用戶操作事件,以便第三移動終端執行第一用戶操作事件,包括:若監測到用戶針對第四區域的塗鴉繪製事件,通過上述無線區域網路向第三移動終端發送上述塗鴉繪製事件,以便第三移動終端在上述透明圖層上顯示上述塗鴉繪製事件所要繪製的塗鴉。
在本發明一些實施例中,移動終端800還可接入第三移動終端開啟的遠端剪貼服務;若通過上述無線區域網路接收到來自第三移動終端的剪貼物件,將接收到的上述剪貼物件更新到系統剪貼板上,其中,上述剪貼物件為第三移動終端的系統剪貼板上更新的剪貼物件。
在本發明一些實施例中,方法還包括:當第四區域顯示文檔時,若接收到來自第三移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一文檔的關聯關係,其中,第一文檔為錄製上述語音索引標籤期間第四區域所顯示的文檔。和/或,當第四區域顯示圖片時,若接收到來自第三移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一圖片的關聯關係,其中,第一圖片為錄製上述語音索引標籤期間第四區域所顯示的圖片。和/或,當第四區域顯示視頻時,若接收到來自第三
移動終端的語音索引標籤服務開啟指示,則錄製語音索引標籤,向第三移動終端發送上述錄製的語音索引標籤,以便於第三移動終端儲存上述語音索引標籤並記錄上述語音索引標籤與第一視頻的關聯關係,其中,第一視頻為錄製上述語音索引標籤期間第四區域所顯示的視頻。
可以理解的是,本實施例的移動終端800的各功能模組的功能可根據上述方法實施例中的方法具體實現,其具體實現過程可以參照上述方法實施例的相關描述,此處不再贅述。
可見,採用上述方案後,移動終端800開啟允許多個移動終端接入的螢幕分享服務後;若N個第二移動終端通過無線區域網路接入到移動終端800開啟的螢幕分享服務,則移動終端800將移動終端800的螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過上述無線區域網路向上述N個第二移動終端發送第一視頻流,由於移動終端800和上述N個第二移動終端都接入到了同一無線區域網路,移動終端800和上述N個第二移動終端基於無線區域網路進行螢幕分享服務,交互與螢幕分享服務相關資料,基於無線區域網路實現螢幕分享資料的交互可解決在無大型外部伺服器及外部網路的情況下實現小範圍的螢幕分享的問題,並可達到簡便易用且實用的效果。並且,借助無線區域網路較高的傳輸速率,接入簡單且支援多終端接入,使得本發明實施例螢幕分享技術能夠更好的支持流暢性和即時性要求高場景,同時也有利於增強螢幕分享參與的靈活性,進而有利於擴展螢幕分享參與方的數量。
進一步的,可根據當前螢幕顯示內容類別型的不同採用不同編碼手段,有利於解決在視頻或介面動畫等需要高流暢度的場景下對
流暢性需求和在圖片顯示場景下對清晰度需求的平衡問題,進而有利於達到在螢幕顯示場景切換時所編碼的視頻流對場景需求的動態回應效果。
進一步的,發起螢幕分享服務的移動終端中引入配合使用視頻流緩衝佇列和阻塞緩衝佇列,有利於在存在多個接入螢幕分享服務的移動終端的場景下節省記憶體開銷,並且實現各路視頻流互不影響,進而有利於達到在不影響各路視頻流的情況下節省記憶體開銷和時間開銷的技術效果。
參見第9圖,本發明實施例還提供一種通信系統,可包括:第一移動終端910和N個第二移動終端920,其中,第一移動終端910和上述N個第二移動終端920都接入到了同一無線區域網路,上述N為正整數;其中,第一移動終端910,用於用於發起螢幕分享服務;通過無線區域網路接收來自N個第二移動終端的與所述螢幕分享服務對應的螢幕分享服務接入請求,若允許所述N個第二移動終端接入所述螢幕分享服務,將第一移動終端螢幕中的第一區域所顯示內容編碼為第一視頻流,並通過所述無線區域網路向所述N個第二移動終端發送第一視頻流。
在本發明的一些實施例中,第一移動終端910可如移動終端500、移動終端700和移動終端800。
可以理解的是,本實施例的第一移動終端910可用於實現上述實施例中第一移動終端的功能,其具體實現過程可以參照上述方法實施例的相關描述,此處不再贅述。
本發明實施例還提供一種移動終端1000的示意圖(如第10圖所示),其中,移動終端1000可用於實現上述實施例中第一移動終端、第二移動終端、移動終端500、移動終端600、移動終端700和移動終端800的部分或全部功能。
如第10圖所示,為了便於說明,僅示出了一些可能與本發明實施例相關的部分,具體技術細節未揭示的,請參照本發明實施例方法部分。
其中,第10圖示出的是與本發明實施例提供的終端可能相關的移動終端的部分結構的框圖。參考第10圖,移動終端包括射頻(Radio Frequency,RF)電路1010、記憶體1020、輸入單元1030、無線保真(wireless fidelity,WiFi)模組1070、顯示單元1040、感測器1050、音訊電路1060、處理器1080、以及電源1090等部件。
其中,本領域技術人員可以理解,第10圖中示出的移動終端結構並不構成對移動終端的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件佈置。
RF電路1010可用於在收發資訊或通話過程中,信號的接收和發送,特別地,將基站的下行資訊接收後,給處理器1080處理;另外,將設計上行的資料發送給基站。通常,RF電路包括但不限於天線、至少一個放大器、收發信機、耦合器、低雜訊放大器(Low Noise Amplifier,LNA)、雙工器等。此外,RF電路1010還可以通過無線通訊與網路和其他設備通信。上述無線通訊可以使用任一通信標準或協定,包括但不限於全球移動通訊系統(Global System of Mobile communication,GSM)、通用分組無線服務(General Packet Radio Service,GPRS)、碼分多址(Code Division Multiple Access,CDMA)、
寬頻碼分多址(Wideband Code Division Multiple Access,WCDMA)、長期演進(Long Term Evolution,LTE))、電子郵件、短消息服務(Short Messaging Service,SMS)等。
其中,記憶體1020可用於儲存軟體程式以及模組,處理器1080通過運行儲存在記憶體1020的軟體程式以及模組,從而執行移動終端的各種功能應用以及資料處理。記憶體1020可主要包括儲存程式區和儲存資料區,其中,儲存程式區可儲存作業系統、至少一個功能所需的應用程式(如聲音播放功能、圖像播放功能等)等;儲存資料區可儲存根據移動終端的使用所創建的資料(如音訊資料、電話本等)等。此外,記憶體1020可以包括高速隨機存取記憶體,還可以包括非易失性記憶體,例如至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
輸入單元1030可用於接收輸入的數位或字元資訊,以及產生與移動終端1000的用戶設置以及功能控制有關的鍵信號輸入。具體地,輸入單元1030可包括觸控面板1031以及其他輸入裝置1032。觸控面板1031,也稱為觸控式螢幕,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板1031上或在觸控面板1031附近的操作),並根據預先設定的程式驅動相應的連接裝置。可選的,觸控面板1031可包括觸摸檢測裝置和觸摸控制器兩個部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,並檢測觸摸操作帶來的信號,將信號傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸資訊,並將它轉換成觸點座標,再送給處理器1080,並能接收處理器1080發來的命令並加以執行。此外,可以採用電阻式、電容式、紅外線以及表面聲波等多種類型實現觸控面板1031。除了觸控面板1031,輸入單元1030還可以包括其他輸入裝
置1032。具體地,其他輸入裝置1032可以包括但不限於物理鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)、軌跡球、滑鼠、操作杆等中的一種或多種。
其中,顯示單元1040可用於顯示由用戶輸入的資訊或提供給用戶的資訊以及移動終端的各種功能表。顯示單元1040可包括顯示面板1041,可選的,可以採用液晶顯示器(Liquid Crystal Display,LCD)、有機發光二極體(Organic Light-Emitting Diode,OLED)等形式來配置顯示面板1041。進一步的,觸控面板1031可覆蓋顯示面板1041,當觸控面板1031檢測到在其上或附近的觸摸操作後,傳送給處理器1080以確定觸摸事件的類型,隨後處理器1080根據觸摸事件的類型在顯示面板1041上提供相應的視覺輸出。雖然在第10圖中,觸控面板1031與顯示面板1041是作為兩個獨立的部件來實現移動終端的輸入和輸入功能,但是在某些實施例中,可以將觸控面板1031與顯示面板1041集成而實現移動終端的輸入和輸出功能。
其中,移動終端1000還可包括至少一種感測器1050,比如光感測器、運動感測器以及其他感測器。具體地,光感測器可包括環境光感測器及接近感測器,其中,環境光感測器可根據環境光線的明暗來調節顯示面板1041的亮度,接近感測器可在移動終端移動到耳邊時,關閉顯示面板1041和/或背光。作為運動感測器的一種,加速計感測器可檢測各個方向上(一般為三軸)加速度的大小,靜止時可檢測出重力的大小及方向,可用於識別移動終端姿態的應用(比如橫豎屏切換、相關遊戲、磁力計姿態校準)、振動識別相關功能(比如計步器、敲擊)等;至於移動終端還可配置的陀螺儀、氣壓計、濕度計、溫度計和紅外線感測器等其他感測器,在此不再贅述。
音訊電路1060、揚聲器1061、傳聲器1062可提供用戶與移動終端之間的音訊介面。音訊電路1060可將接收到的音訊資料轉換後的電信號,傳輸到揚聲器1061,由揚聲器1061轉換為聲音信號輸出;另一方面,傳聲器1062將收集的聲音信號轉換為電信號,由音訊電路1060接收後轉換為音訊資料,再將音訊資料輸出處理器1080處理後,經RF電路1010以發送給比如另一移動終端,或者將音訊資料輸出至記憶體1020以便進一步處理。
WiFi屬於短距離無線傳輸技術,移動終端通過WiFi模組1070可以說明用戶收發電子郵件、流覽網頁和訪問流式媒體等,它為用戶提供了無線的寬頻互聯網訪問。雖然第10圖示出了WiFi模組1070,但是可以理解的是,其並不屬於移動終端1000的必須構成,完全可以根據需要在不改變發明的本質的範圍內而省略。
處理器1080是移動終端的控制中心,利用各種介面和線路連接整個移動終端的各個部分,通過運行或執行儲存在記憶體1020內的軟體程式和/或模組,以及調用儲存在記憶體1020內的資料,執行移動終端的各種功能和處理資料,從而對移動終端進行整體監控。可選的,處理器1080可包括一個或多個處理單元;較佳的,處理器1080可集成應用處理器和調製解調處理器,其中,應用處理器主要處理作業系統、用戶介面和應用程式等,調製解調處理器主要處理無線通訊。可以理解的是,上述調製解調處理器也可以不集成到處理器1080中。
移動終端1000還包括給各個部件供電的電源1090(比如電池),較佳地,電源可以通過電源管理系統與處理器1080邏輯相連,從而通過電源管理系統實現管理充電、放電、以及功耗管理等功能。
儘管未示出,移動終端1000還可以包括攝像頭、藍牙模組等,在此不再贅述。
本發明實施例還提供一種電腦儲存介質,其中,該電腦儲存介質可儲存有程式,該程式執行時包括上述方法實施例中記載的螢幕分享方法的部分或全部步驟。
需要說明的是,對於前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本發明並不受所描述的動作順序的限制,因為依據本發明,某些步驟可以採用其他順序或者同時進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬於較佳實施例,所涉及的動作和模組並不一定是本發明所必須的。
在上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本發明所提供的幾個實施例中,應該理解到,所揭露的裝置,可通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面,裝置或單元的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現,也可以採用軟體功能單元的形式實現。
所述集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解,本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存介質中,包括若干指令用以使得一台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括:U盤、唯讀記憶體(ROM,Read-Only Memory)、隨機存取記憶體(RAM,Random Access Memory)、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述,以上實施例僅用以說明本發明的技術方案,而非對其限制;儘管參照前述實施例對本發明進行了詳細的說明,本領域的普通技術人員應當理解:其依然可以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特徵進行等同替換;而這些修改或者替換,並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。
101~102‧‧‧步驟
Claims (21)
- 一種螢幕分享方法,其中,包括:一第一移動終端發起一螢幕分享服務;該第一移動終端通過一無線區域網路接收來自N個第二移動終端的與該螢幕分享服務對應的螢幕分享服務接入請求,其中,該第一移動終端和該N個第二移動終端都位於該無線區域網路,該N為正整數;若允許該N個第二移動終端接入該螢幕分享服務,該第一移動終端將該第一移動終端的螢幕中的一第一區域所顯示內容編碼為一第一視頻流,並通過該無線區域網路向該N個第二移動終端發送該第一視頻流;該方法還包括:該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的一第一用戶操作事件,則執行該第一用戶操作事件,其中,該第一用戶操作事件是針對該第二移動終端的螢幕之中一第二區域的用戶操作事件,該第二區域顯示有該第二移動終端接收到的該第一視頻流該第一移動終端在該第一區域覆蓋有透明圖層;該第一用戶操作事件為塗鴉繪製事件,該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的該第一用戶操作事件,則執行該第一用戶操 作事件,包括:該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的塗鴉繪製事件,在該透明圖層上顯示該塗鴉繪製事件所要繪製的塗鴉。
- 如申請專利範圍第1項所述的方法,其中,該第一移動終端發起該螢幕分享服務,包括:該第一移動終端在該無線區域網路中廣播與該螢幕分享服務對應的螢幕分享服務開啟消息,其中,所述與該螢幕分享服務對應的螢幕分享服務接入請求由該第二移動終端在接收到該螢幕分享服務開啟消息之後發送;或者,該第一移動終端發起該螢幕分享服務包括:該第一移動終端接收來自該N個第二移動終端的螢幕分享服務開啟查詢請求,在該無線區域網路中廣播與該螢幕分享服務對應的螢幕分享服務開啟消息,或者向該N個第二移動終端發送用於回應該螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,所述與該螢幕分享服務對應的螢幕分享服務接入請求由該第二移動終端在接收到該螢幕分享服務開啟消息之後發送。
- 如申請專利範圍第1或2項所述的方法,其中,該方法還包括:該第一移動終端採集該第一移動終端所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流, 將第一音訊流交織到該第一視頻流之中,或者,該第一移動終端解碼音訊檔得到第一音訊流,將得到的第一音訊流交織到該第一視頻流之中,其中,該通過該無線區域網路向該N個第二移動終端發送該第一視頻流包括:通過該無線區域網路向該N個第二移動終端發佈交織有第一音訊流的該第一視頻流。
- 如申請專利範圍第1或2項所述的方法,其中,該第一視頻流的碼率恒定不變,或者,該第一視頻流的碼率與該N的大小相對應,或者,該第一視頻流的碼率與該第一區域的顯示內容的類型相對應。
- 如申請專利範圍第1或2項所述的方法,其中,該方法還包括:該第一移動終端開啟遠端剪貼服務;若該N個第二移動終端之中的M個該第二移動終端通過該無線區域網路接入到該遠端剪貼服務,則當該第一移動終端監聽到該第一移動終端的系統剪貼板上有更新的剪貼物件時,通過該無線區域網路向該M個第二移動終端發送該剪貼物件,以便於該M個第二移動終端將接收到的該剪貼物件更新到其系統剪貼板上。
- 如申請專利範圍第1或2項所述的方法,其中,該方法還包括: 當該第一移動終端在其螢幕中的該第一區域顯示文檔時,該第一移動終端向該N個第二移動終端之中的K1個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K1個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第一語音索引標籤,儲存該第一語音索引標籤並記錄該第一語音索引標籤與第一文檔的關聯關係,其中,該第一文檔為錄製該第一語音索引標籤的期間該在其螢幕中的該第一區域所顯示的文檔;或者,當該第一移動終端在其螢幕中的該第一區域顯示圖片時,該第一移動終端向該N個第二移動終端之中的K2個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K2個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第二語音索引標籤,儲存該第二語音索引標籤並記錄該第二語音索引標籤與第一圖片的關聯關係,其中,該第一圖片為錄製該第二語音索引標籤的期間該第一移動終端在其螢幕中的該第一區域所顯示的圖片;或者,當該第一移動終端在其螢幕中的該第一區域顯示視頻時,該第一移動終端向該N個第二移動終端之 中的K3個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K3個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第三語音索引標籤,儲存該第三語音索引標籤並記錄該第三語音索引標籤與第一視頻的關聯關係,其中,該第一視頻為錄製該第三語音索引標籤的期間該第一移動終端在其螢幕中的該第一區域所顯示的視頻。
- 如申請專利範圍第1或2項所述的方法,其中,該第一移動終端作為無線保真(wifi)熱點,該N個第二移動終端通過該無線保真熱點接入該無線區域網路;或者,該N個第二移動終端中的其中一個該第二移動終端作為無線保真熱點,該第一移動終端和該N個第二移動終端中除該其中一個第二移動終端之外的剩餘該第二移動終端通過該無線保真熱點接入該無線區域網路;或者,該第一移動終端作為組擁有者(groupowner),該N個第二移動終端作為組用戶端,以無線保真直連方式接入該無線區域網路;或者,該N個第二移動終端中的其中一個該第二移動終端作為組擁有者,該第一移動終端和該N個第二移動終端中除該其中一個第二移動終端之外的剩餘該第二移動終端作為組用戶端,以無線保真直連方式接入該無線區域網路;或者該第一移動終端和該N個第二移動終端通過協力廠商無線保真熱點接入該 無線區域網路。
- 一種移動終端,其中,包括:一服務發起單元,用於發起一螢幕分享服務;一分享單元,用於通過一無線區域網路接收來自N個第二移動終端的與該螢幕分享服務對應的螢幕分享服務接入請求,其中,該移動終端和該N個第二移動終端都位於該無線區域網路,該N為正整數;若允許該N個第二移動終端接入該螢幕分享服務,將該移動終端的螢幕中的一第一區域所顯示內容編碼為一第一視頻流,並通過該無線區域網路向該N個第二移動終端發送該第一視頻流;該移動終端還包括:一事件回應單元,用於若通過該無線區域網路接收到來自該第二移動終端的第一用戶操作事件,則執行該第一用戶操作事件,其中,該第一用戶操作事件是針對該第二移動終端的螢幕之中一第二區域的用戶操作事件,該第二區域顯示有該第二移動終端接收到的該第一視頻流;該事件回應單元在該第一區域覆蓋有透明圖層;該第一用戶操作事件為塗鴉繪製事件,該事件回應單元用於:若通過該無線區域網路接收到來自該第二移動終端的塗鴉繪製事件,在該透明圖層上顯示該塗鴉繪製事件所要繪製的塗鴉。
- 如申請專利範圍第8項所述的移動終端,其中,該服務發起單元具體用於,在該無線區域網路中廣播與該螢幕分享服務對應的螢幕分享服務開啟消息,其中,所述與該螢幕分享服務對應的螢幕分享服務接入請求由該第二移動終端在接收到該螢幕分享服務開啟消息之後發送,或者,該服務發起單元具體用於,接收來自該N個第二移動終端的螢幕分享服務開啟查詢請求,在該無線區域網路中廣播與該螢幕分享服務對應的螢幕分享服務開啟消息,或者向該N個第二移動終端發送用於回應該螢幕分享服務開啟查詢請求的螢幕分享服務開啟消息,其中,所述與該螢幕分享服務對應的螢幕分享服務接入請求由該第二移動終端在接收到該螢幕分享服務開啟消息之後發送。
- 如申請專利範圍第8或9項所述的移動終端,其中,該移動終端還包括:一音訊處理單元,用於採集該移動終端所播放的聲音信號,並將採集到的聲音信號編碼為第一音訊流,或者,解碼音訊檔得到第一音訊流,該分享單元具體用於,若有該N個第二移動終端通過該無線區域網路接入到該移動終端開啟的該螢幕分享服務,則將該移動終端的螢幕中的該第一區域所顯示內容編碼為該第一視頻流,將第一音訊流 交織到該第一視頻流之中,並通過該無線區域網路向該N個第二移動終端發送交織有第一音訊流的該第一視頻流。
- 如申請專利範圍第8或9項所述的移動終端,其中,該移動終端還包括:一遠端剪貼服務單元用於,開啟遠端剪貼服務;若該N個第二移動終端之中的M個該第二移動終端通過該無線區域網路接入到該遠端剪貼服務,則當監聽到該移動終端的系統剪貼板上有更新的剪貼物件時,通過該無線區域網路向該M個第二移動終端發送該剪貼物件,以便於該M個第二移動終端將接收到的該剪貼物件更新到其系統剪貼板上。
- 如申請專利範圍第8或9項所述的移動終端,其中,該移動終端還包括:一語音索引標籤單元,用於當該移動終端在其螢幕中的該第一區域顯示文檔時,該移動終端向該N個第二移動終端之中的K1個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K1個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第一語音索引標籤,儲存該第一語音索引標籤並記錄該第一語音索引標籤與第一文檔的關聯關係,其中,該第一文檔為錄製該第一語音索引標籤的期間該移動終端在其螢幕中的該第一區域所顯示的文 檔;或者,當該移動終端在其螢幕中的該第一區域顯示圖片時,該移動終端向該N個第二移動終端之中的K2個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K2個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第二語音索引標籤,儲存該第二語音索引標籤並記錄該第二語音索引標籤與第一圖片的關聯關係,其中,該第一圖片為錄製該第二語音索引標籤的期間該移動終端在其螢幕中的該第一區域所顯示的圖片;或者,當該移動終端在其螢幕中的該第一區域顯示視頻時,該移動終端向該N個第二移動終端之中的K3個該第二移動終端發送語音索引標籤服務開啟指示;若接收到該K3個第二移動終端中的部分或全部該第二移動終端在接收到該語音索引標籤服務開啟指示之後所錄製的第三語音索引標籤,儲存該第三語音索引標籤並記錄該第三語音索引標籤與第一視頻的關聯關係,其中,該第一視頻為錄製該第三語音索引標籤的期間該移動終端在其螢幕中的該第一區域所顯示的視頻。
- 一種螢幕分享方法,其中,包括: 一第二移動終端檢測一第一移動終端是否發起一螢幕分享服務;在檢測到該第一移動終端發起該螢幕分享服務之後,通過無線區域網路向該第一移動終端發送與該螢幕分享服務對應的螢幕分享服務接入請求,其中,該第一移動終端和該第二移動終端都位於該無線區域網路;接收來自該第一移動終端的一第一視頻流,在該第二移動終端的螢幕中的一第二區域顯示該第一視頻流,其中,該第一視頻流由該第一移動終端將該第一移動終端的螢幕中的一第一區域所顯示內容進行編碼而得到;所述在該第二移動終端的螢幕中的該第二區域顯示該第一視頻流之後還包括:該第二移動終端監測使用者針對該第二區域的第一用戶操作事件,若監測到使用者針對該第二區域的第一用戶操作事件,通過該無線區域網路向該第一移動終端發送第一用戶操作事件,以便該第一移動終端執行該第一用戶操作事件;該第一移動終端在該第一區域覆蓋有透明圖層;該第一用戶操作事件為塗鴉繪製事件;其中,該若監測到使用者針對該第二區域的第一用戶操作事件,通過該無線區域網路向該第一移動終端 發送第一用戶操作事件,以便該第一移動終端執行該第一用戶操作事件,包括:若監測到使用者針對該第二區域的塗鴉繪製事件,通過該無線區域網路向該第一移動終端發送該塗鴉繪製事件,以便該第一移動終端在該透明圖層上顯示該塗鴉繪製事件所要繪製的塗鴉。
- 如申請專利範圍第13項所述的方法,其中,該第二移動終端檢測該第一移動終端是否發起該螢幕分享服務,包括:該第二移動終端在通過該無線區域網路接收到來自該第一移動終端的與該螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到該開啟了該螢幕分享服務,或者,該第二移動終端在該無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過該無線區域網路向該第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自該第一移動終端的與該螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到該第一移動終端開啟了該螢幕分享服務。
- 如申請專利範圍第13或14項所述的方法,其中,該方法還包括:該第二移動終端接入該第一移動終端開啟的遠端剪貼服務;若通過該無線區域網路接收到來自該第一移動終端 的剪貼物件,將接收到的該剪貼物件更新到系統剪貼板上,其中,該剪貼物件為該第一移動終端的系統剪貼板上更新的剪貼物件。
- 如申請專利範圍第13或14項所述的方法,其中,該方法還包括:當該第二區域顯示文檔時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第一語音索引標籤,向該第一移動終端發送該錄製的第一語音索引標籤,以便於該第一移動終端儲存該第一語音索引標籤並記錄該第一語音索引標籤與第一文檔的關聯關係,其中,該第一文檔為錄製該第一語音索引標籤的期間該第二區域所顯示的文檔;或者,當該第二區域顯示圖片時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第二語音索引標籤,向該第一移動終端發送該錄製的第二語音索引標籤,以便於該第一移動終端儲存該第二語音索引標籤並記錄第二該語音索引標籤與第一圖片的關聯關係,其中,該第一圖片為錄製該第二語音索引標籤的期間該第二區域所顯示的圖片;或者,當該第二區域顯示視頻時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第三語音索引標籤,向該第一移動終端發送該錄製的第三 語音索引標籤,以便於該第一移動終端儲存該第三語音索引標籤並記錄該第三語音索引標籤與第一視頻的關聯關係,其中,該第一視頻為錄製該第三語音索引標籤的期間該第二區域所顯示的視頻。
- 一種移動終端,其中,包括:一檢測單元,用於檢測一第一移動終端是否發起一螢幕分享服務;一接入單元,用於在檢測到該第一移動終端發起該螢幕分享服務之後,通過一無線區域網路向該第一移動終端發送與該螢幕分享服務對應的螢幕分享服務接入請求,該第一移動終端和該移動終端都位於該無線區域網路;一分享單元,用於接收來自該第一移動終端的一第一視頻流,在該移動終的端螢幕中的一第二區域顯示該第一視頻流,其中,該第一視頻流由該第一移動終端將該第一移動終端的螢幕中的一第一區域所顯示內容進行編碼而得到;所述在該移動終端的螢幕中的該第二區域顯示該第一視頻流之後還包括:該移動終端監測使用者針對該第二區域的第一用戶操作事件,若監測到使用者針對該第二區域的第一用戶操作事件,通過該無線區域網路向該第一移動終端發送第一用戶操作事件,以便該第一移動終端執行該第一用戶操作事件; 該第一移動終端在該第一區域覆蓋有透明圖層;該第一用戶操作事件為塗鴉繪製事件;其中,該若監測到使用者針對該第二區域的第一用戶操作事件,通過該無線區域網路向該第一移動終端發送第一用戶操作事件,以便該第一移動終端執行該第一用戶操作事件,包括:若監測到使用者針對該第二區域的塗鴉繪製事件,通過該無線區域網路向該第一移動終端發送該塗鴉繪製事件,以便該第一移動終端在該透明圖層上顯示該塗鴉繪製事件所要繪製的塗鴉。
- 如申請專利範圍第17項所述的移動終端,其中,該檢測單元具體用於,在通過該無線區域網路接收到來自該第一移動終端的與該螢幕分享服務對應的螢幕分享服務開啟消息之後,確定檢測到該第一移動終端關啟了該螢幕分享服務,或者,在該無線區域網路中廣播螢幕分享服務開啟查詢請求,或通過該無線區域網路向該第一移動終端發送螢幕分享服務開啟查詢請求,若接收到來自該第一移動終端的與該螢幕分享服務對應的螢幕分享服務開啟消息,確定檢測到該第一移動終端開啟了該螢幕分享服務。
- 如申請專利範圍第17或18項所述的移動終端, 其中,該移動終端還包括:一遠端剪貼服務單元,用於接入該第一移動終端開啟的遠端剪貼服務;若通過該無線區域網路接收到來自該第一移動終端的剪貼物件,將接收到的該剪貼物件更新到系統剪貼板上,其中,該剪貼物件為該第一移動終端的系統剪貼板上更新的剪貼物件。
- 如申請專利範圍第17或18項所述的移動終端,其中,該移動終端還包括:一語音索引標籤單元,用於當該第二區域顯示文檔時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第一語音索引標籤,向該第一移動終端發送該錄製的第一語音索引標籤,以便於該第一移動終端儲存該第一語音索引標籤並記錄該第一語音索引標籤與第一文檔的關聯關係,其中,該第一文檔為錄製該第一語音索引標籤的期間該第二區域所顯示的文檔;或者,當該第二區域顯示圖片時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第二語音索引標籤,向該第一移動終端發送該錄製的第二語音索引標籤,以便於該第一移動終端儲存該第二語音索引標籤並記錄該第二語音索引標籤與第一圖片的關聯關係,其中,該第一圖片為錄製該第二語音索引標籤的期間該第二區域所顯示的圖片; 或者,當該第二區域顯示視頻時,若接收到來自該第一移動終端的語音索引標籤服務開啟指示,則錄製第三語音索引標籤,向該第一移動終端發送該錄製的第三語音索引標籤,以便於該第一移動終端儲存該第三語音索引標籤並記錄該第三語音索引標籤與第一視頻的關聯關係,其中,該第一視頻為錄製該第三語音索引標籤的期間該第二區域所顯示的視頻。
- 一種通信系統,其中,包括:一第一移動終端和N個第二移動終端,其中,該第一移動終端和該N個第二移動終端位於同一無線區域網路,該N為正整數,該第一移動終端用於發起一螢幕分享服務;通過該無線區域網路接收來自該N個第二移動終端的與該螢幕分享服務對應的螢幕分享服務接入請求,若允許該N個第二移動終端接入該螢幕分享服務,將該第一移動終端的螢幕中的一第一區域所顯示內容編碼為一第一視頻流,並通過該無線區域網路向該N個第二移動終端發送該第一視頻流該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的一第一用戶操作事件,則執行該第一用戶操作事件,其中,該第一用戶操作事件是針對該第二移動終端的螢幕之中一第二區域的用戶操作事件,該第二區域顯示有該第二移動終端接 收到的該第一視頻流該第一移動終端在該第一區域覆蓋有透明圖層;該第一用戶操作事件為塗鴉繪製事件,該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的該第一用戶操作事件,則執行該第一用戶操作事件,包括:該第一移動終端若通過該無線區域網路接收到來自該第二移動終端的塗鴉繪製事件,在該透明圖層上顯示該塗鴉繪製事件所要繪製的塗鴉。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310242043.6A CN103312804B (zh) | 2013-06-17 | 屏幕分享方法和相关设备及通信*** |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201505407A TW201505407A (zh) | 2015-02-01 |
TWI558146B true TWI558146B (zh) | 2016-11-11 |
Family
ID=49137582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103120938A TWI558146B (zh) | 2013-06-17 | 2014-06-17 | Screen sharing methods and related equipment and communication systems |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150019694A1 (zh) |
KR (1) | KR20150018770A (zh) |
TW (1) | TWI558146B (zh) |
WO (1) | WO2014201876A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11918892B2 (en) | 2021-06-17 | 2024-03-05 | Acer Incorporated | Gaming system and operation method of gaming server thereof |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8902248B1 (en) | 2011-07-14 | 2014-12-02 | Vmware, Inc. | Method and system for measuring display performance of a remote application |
US9063631B2 (en) * | 2013-03-15 | 2015-06-23 | Chad Dustin TILLMAN | System and method for cooperative sharing of resources of an environment |
KR20140143971A (ko) * | 2013-06-10 | 2014-12-18 | 삼성전자주식회사 | 홈 화면 공유 장치 및 방법 |
US9635091B1 (en) | 2013-09-09 | 2017-04-25 | Chad Dustin TILLMAN | User interaction with desktop environment |
US9674265B2 (en) * | 2013-11-04 | 2017-06-06 | Vmware, Inc. | Filtering unnecessary display updates for a networked client |
US9674518B2 (en) | 2013-12-20 | 2017-06-06 | Vmware, Inc. | Measuring remote video display with embedded pixels |
CN104731829B (zh) | 2013-12-24 | 2019-06-21 | 腾讯科技(深圳)有限公司 | 一种网络图片的互动方法和装置 |
US20150186095A1 (en) * | 2013-12-31 | 2015-07-02 | Huawei Technologies Co., Ltd. | Inter-terminal image sharing method, terminal device, and communications system |
US9888047B2 (en) * | 2014-04-03 | 2018-02-06 | Cisco Technology, Inc. | Efficient on-demand generation of ABR manifests |
US9699247B2 (en) | 2014-06-17 | 2017-07-04 | Vmware, Inc. | User experience monitoring for application remoting |
US20160098180A1 (en) * | 2014-10-01 | 2016-04-07 | Sony Corporation | Presentation of enlarged content on companion display device |
TWI536174B (zh) * | 2014-12-17 | 2016-06-01 | 緯創資通股份有限公司 | 資料分享方法、資料分享系統及其伺服端裝置 |
CN107209728B (zh) * | 2015-01-23 | 2020-09-08 | 麦克赛尔株式会社 | 显示装置以及显示方法 |
US20160231812A1 (en) * | 2015-02-06 | 2016-08-11 | The Eye Tribe Aps | Mobile gaze input system for pervasive interaction |
US10921896B2 (en) | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
US9923939B2 (en) * | 2015-04-29 | 2018-03-20 | Optim Corporation | Electronic share server, screen sharing method, and program for electronic share server |
US9894126B1 (en) * | 2015-05-28 | 2018-02-13 | Infocus Corporation | Systems and methods of smoothly transitioning between compressed video streams |
US10171429B2 (en) * | 2015-06-12 | 2019-01-01 | Arris Enterprises Llc | Providing security to video frames |
US11106417B2 (en) * | 2015-06-23 | 2021-08-31 | Airwatch, Llc | Collaboration systems with managed screen sharing |
JP6601036B2 (ja) * | 2015-07-24 | 2019-11-06 | 富士通株式会社 | ミーティング支援方法、ミーティング支援装置およびミーティング支援プログラム |
JP6186411B2 (ja) * | 2015-09-30 | 2017-08-23 | 株式会社オプティム | 画面共有システム、画面共有方法、および画面共有プログラム |
CN107197364A (zh) * | 2016-03-15 | 2017-09-22 | 上海创功通讯技术有限公司 | 屏幕共享的***及方法 |
CN106227328A (zh) * | 2016-05-27 | 2016-12-14 | 中兴通讯股份有限公司 | 业务流程标识的处理方法及装置、终端、*** |
US9769612B1 (en) * | 2016-08-18 | 2017-09-19 | Wowza Media Systems, LLC | Streaming at target locations |
US10901679B2 (en) | 2017-02-06 | 2021-01-26 | Hewlett-Packard Development Company, L.P. | Mirroring of screens |
US11330029B2 (en) * | 2018-03-27 | 2022-05-10 | Lenovo (Singapore) Pte. Ltd. | Sharing content with a detected device |
US10824384B2 (en) | 2018-04-30 | 2020-11-03 | Dell Products L.P. | Controller for providing sharing between visual devices |
KR102101382B1 (ko) * | 2018-08-09 | 2020-04-22 | 링크플로우 주식회사 | 영상 공유 방법 및 장치 |
US11350172B2 (en) | 2019-02-01 | 2022-05-31 | Rovi Guides, Inc. | Intelligent display of content based on event monitoring |
US11153635B2 (en) * | 2019-02-01 | 2021-10-19 | Rovi Guides, Inc. | Intelligent display of content based on event monitoring |
CN110489072B (zh) * | 2019-08-20 | 2023-10-10 | 东软集团股份有限公司 | 一种智能座舱多屏同步的方法、装置及智能座舱 |
CN110933470B (zh) * | 2019-11-29 | 2022-02-22 | 杭州当虹科技股份有限公司 | 一种视频数据的共享方法 |
KR20210101075A (ko) * | 2020-02-07 | 2021-08-18 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 클립 보드 운용 방법 |
US11388209B2 (en) * | 2020-03-19 | 2022-07-12 | DTEN, Inc. | Interactive broadcast |
CN113542331B (zh) * | 2020-04-21 | 2023-07-18 | 北京国基科技股份有限公司 | 一种数据流的调度方法和装置 |
JP7443164B2 (ja) * | 2020-06-03 | 2024-03-05 | シャープ株式会社 | 情報処理システム、情報処理方法、及び情報処理プログラム |
TWI767438B (zh) * | 2020-12-09 | 2022-06-11 | 明基電通股份有限公司 | 資料控制方法及資料控制系統 |
CN113079578B (zh) * | 2021-03-29 | 2022-06-14 | 成都飞鱼星科技股份有限公司 | 一种智慧屏无线投屏数据的优先传输方法及*** |
CN114237531A (zh) * | 2021-09-26 | 2022-03-25 | 浪潮软件股份有限公司 | 一种远程投屏的控制方法及*** |
CN114296586B (zh) * | 2021-12-28 | 2023-10-10 | 威创集团股份有限公司 | 坐席***的内容推送方法、坐席***、存储介质和设备 |
CN115022694B (zh) * | 2022-06-27 | 2023-10-27 | 北京奇艺世纪科技有限公司 | 一种投屏时间统计方法、装置、***、后台服务器及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004097618A2 (en) * | 2003-04-29 | 2004-11-11 | Motorola Inc | Allowing screen functions to share a common display are of a touch screen |
US7046134B2 (en) * | 2002-06-27 | 2006-05-16 | Axeda Corporation | Screen sharing |
CN1946213A (zh) * | 2005-10-07 | 2007-04-11 | 三星电子株式会社 | 执行视频通信业务的方法及其移动通信终端 |
EP1876521A2 (en) * | 2006-07-04 | 2008-01-09 | Samsung Electronics Co., Ltd. | Apparatus and method for sharing video telephony screen in mobile communication terminal |
TW200834417A (en) * | 2007-02-01 | 2008-08-16 | Academia Sinica | A screen sharing system |
TW200839603A (en) * | 2007-03-21 | 2008-10-01 | Academia Sinica | Systems and methods for screen management |
CN101888519A (zh) * | 2009-05-14 | 2010-11-17 | 华为技术有限公司 | 共享桌面内容的方法和智能设备 |
CN101977324A (zh) * | 2010-11-09 | 2011-02-16 | 青岛海信宽带多媒体技术有限公司 | 一种实现屏幕共享的方法 |
TW201116011A (en) * | 2009-07-09 | 2011-05-01 | Ibm | Selectively distributing updates of changing images to client devices |
CN102480688A (zh) * | 2010-11-24 | 2012-05-30 | 中兴通讯股份有限公司 | 多媒体广播方法及*** |
US20130000789A1 (en) * | 2011-06-29 | 2013-01-03 | Postech Academy Industry Foundation | Method for manufacturing steel plate with a layered structure |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319385B2 (en) * | 2004-09-17 | 2008-01-15 | Nokia Corporation | Sensor data sharing |
US20090319947A1 (en) * | 2008-06-22 | 2009-12-24 | Microsoft Corporation | Mobile communication device with graphical user interface to enable access to portal services |
US8436887B2 (en) * | 2009-11-13 | 2013-05-07 | Samsung Electronics Co., Ltd. | Mobile terminal, display apparatus and control method thereof |
KR101680344B1 (ko) * | 2010-05-06 | 2016-11-28 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
GB2481612A (en) * | 2010-06-30 | 2012-01-04 | Skype Ltd | Updating image regions in a shared image system |
CA2722460A1 (en) * | 2010-11-26 | 2012-05-26 | Centre De Recherche Informatique De Montreal | Screen sharing and video conferencing system and method |
US20120284638A1 (en) * | 2011-05-06 | 2012-11-08 | Kibits Corp. | System and method for social interaction, sharing and collaboration |
US9197427B2 (en) * | 2011-08-26 | 2015-11-24 | Salesforce.Com, Inc. | Methods and systems for screensharing |
US9124657B2 (en) * | 2011-12-14 | 2015-09-01 | International Business Machines Corporation | Dynamic screen sharing for optimal performance |
CN102638774A (zh) * | 2012-03-31 | 2012-08-15 | 王方淇 | 一种移动终端数据同步分享的方法和*** |
KR101960306B1 (ko) * | 2012-07-13 | 2019-03-20 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
US20140213227A1 (en) * | 2013-01-28 | 2014-07-31 | Bindu Rama Rao | Mobile device capable of substantially synchronized sharing of streaming media, calls and other content with other devices |
-
2014
- 2014-02-25 KR KR1020147027799A patent/KR20150018770A/ko not_active Application Discontinuation
- 2014-02-25 WO PCT/CN2014/072506 patent/WO2014201876A1/zh active Application Filing
- 2014-06-17 TW TW103120938A patent/TWI558146B/zh active
- 2014-09-16 US US14/487,335 patent/US20150019694A1/en not_active Abandoned
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7046134B2 (en) * | 2002-06-27 | 2006-05-16 | Axeda Corporation | Screen sharing |
WO2004097618A2 (en) * | 2003-04-29 | 2004-11-11 | Motorola Inc | Allowing screen functions to share a common display are of a touch screen |
CN1946213A (zh) * | 2005-10-07 | 2007-04-11 | 三星电子株式会社 | 执行视频通信业务的方法及其移动通信终端 |
EP1876521A2 (en) * | 2006-07-04 | 2008-01-09 | Samsung Electronics Co., Ltd. | Apparatus and method for sharing video telephony screen in mobile communication terminal |
TW200834417A (en) * | 2007-02-01 | 2008-08-16 | Academia Sinica | A screen sharing system |
TW200839603A (en) * | 2007-03-21 | 2008-10-01 | Academia Sinica | Systems and methods for screen management |
CN101888519A (zh) * | 2009-05-14 | 2010-11-17 | 华为技术有限公司 | 共享桌面内容的方法和智能设备 |
TW201116011A (en) * | 2009-07-09 | 2011-05-01 | Ibm | Selectively distributing updates of changing images to client devices |
CN101977324A (zh) * | 2010-11-09 | 2011-02-16 | 青岛海信宽带多媒体技术有限公司 | 一种实现屏幕共享的方法 |
CN102480688A (zh) * | 2010-11-24 | 2012-05-30 | 中兴通讯股份有限公司 | 多媒体广播方法及*** |
US20130000789A1 (en) * | 2011-06-29 | 2013-01-03 | Postech Academy Industry Foundation | Method for manufacturing steel plate with a layered structure |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11918892B2 (en) | 2021-06-17 | 2024-03-05 | Acer Incorporated | Gaming system and operation method of gaming server thereof |
Also Published As
Publication number | Publication date |
---|---|
CN103312804A (zh) | 2013-09-18 |
TW201505407A (zh) | 2015-02-01 |
KR20150018770A (ko) | 2015-02-24 |
WO2014201876A1 (zh) | 2014-12-24 |
US20150019694A1 (en) | 2015-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI558146B (zh) | Screen sharing methods and related equipment and communication systems | |
US20200401281A1 (en) | Information Display Method, Graphical User Interface, and Terminal | |
TWI597663B (zh) | 用於直覺多重作業之方法及裝置 | |
US11392285B2 (en) | Method and a system for performing scrubbing in a video stream | |
CN104506650B (zh) | 一种用户设备协同控制方法、用户设备以及通信*** | |
KR102071579B1 (ko) | 화면 미러링을 이용한 서비스 제공 방법 및 그 장치 | |
WO2016124095A1 (zh) | 生成视频的方法、装置及终端 | |
US20140055552A1 (en) | Mobile device and method for messenger-based video call service | |
WO2017050169A1 (zh) | 网络通话方法、装置、终端和服务器 | |
KR101901720B1 (ko) | 더미 장치와의 연동 방법 및 그 전자 장치 | |
KR20190086517A (ko) | 생방송방 비디오 스트림 전송 제어방법, 해당 서버 및 이동단말 | |
TWI547159B (zh) | 媒體內容分享方法和終端設備及內容分享系統 | |
KR20140133363A (ko) | 디스플레이 장치 및 이의 제어 방법 | |
CN110825302A (zh) | 一种响应操作轨迹的方法以及操作轨迹响应装置 | |
RU2619089C2 (ru) | Способ и устройство для воспроизведения множества видео | |
CN103532945B (zh) | 分享控制方法和相关设备及通信*** | |
WO2018036352A1 (zh) | 视频数据的编解码方法、装置、***及存储介质 | |
US10666588B2 (en) | Method for sharing media content, terminal device, and content sharing system | |
WO2021248988A1 (zh) | 跨终端录屏方法、终端设备及存储介质 | |
US20140333421A1 (en) | Remote control device, display apparatus, and method for controlling the remote control device and the display apparatus thereof | |
JP2016540270A (ja) | 端末でメディアデータを再生するための方法および装置 | |
WO2020134756A1 (zh) | 通话方法以及相关设备 | |
CN111372127B (zh) | 一种数据传输方法和相关装置 | |
CN103312804B (zh) | 屏幕分享方法和相关设备及通信*** | |
KR20160001463A (ko) | 컨텐츠 공유 장치 및 방법 |