CN1534503A - 实现网络游戏中实时影音会谈的方法、***及储存媒体 - Google Patents
实现网络游戏中实时影音会谈的方法、***及储存媒体 Download PDFInfo
- Publication number
- CN1534503A CN1534503A CNA031088600A CN03108860A CN1534503A CN 1534503 A CN1534503 A CN 1534503A CN A031088600 A CNA031088600 A CN A031088600A CN 03108860 A CN03108860 A CN 03108860A CN 1534503 A CN1534503 A CN 1534503A
- Authority
- CN
- China
- Prior art keywords
- real
- time
- network
- audio
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种以影音同步技术实现于网络游戏进行实时影音会谈的方法。其用以建立不经过网络游戏服务器的网络传输信道于网络游戏客户端之间,进行实时影音会谈。首先,撷取实时影音数据并将影音数据压缩编码为视讯及音讯数据框架。接着,封装视讯及音讯数据框架为网络传输封包并加入时间标签以作为影音同步之用。通过网络传输信道,将此网络传输封包传送至其它游戏客户端。最后,接收网络传输封包的游戏客户端将此网络传输封包译码,并根据时间卷标同步播放译码后的视讯数据以及音讯数据。
Description
(1)技术领域
本发明是有关于一种影音会谈的方法,特别是有关于一种以影音同步技术实现于网络游戏中进行实时影音会谈的方法。
(2)背景技术
一般网络游戏的***架构是以一网络游戏服务器及多个网络游戏客户端的架构为主,网络游戏服务器用以处理及保存由游戏客户端传来的数据,游戏客户端则用以显示游戏的画面及使用者与网络游戏间的互动。换言之,所有网络游戏客户端的数据均送至网络游戏服务器进行处理及运算。而实时影音会谈是利用游戏客户端计算机上的摄影机及麦克风,通过网络传送实时影音数据,以便与其它网络游戏客户端进行会谈。
现行的网络游戏的***架构无法支持于网络游戏中同时进行实时影音会谈的功能,主要技术困难有三。其一,当网络游戏以三度空间动画独占屏幕画面时,便无法再显示实时视讯画面,现行的视讯数据处理技术无法在三度空间动画独占屏幕画面时,同时显示实时视讯画面。其二,视讯与音讯数据的编译码及传输若均以网络游戏服务器进行,则其负担(load)及频宽(band width)均无法负荷,相对地影响网络游戏执行的速度。其三,实时视讯画面与实时音讯若无法达到同步则影响实时影音会谈的效果。
以影音同步技术而言,若由传送的网络游戏客户端撷取影音数据后,直接通过网络传送至接收的网络游戏客户端,而接收的网络游戏客户端直接播放所接收到的影音数据。在网络频宽良好且数据处理的能力足以负担的情形下,可完成影音同步的要求。但若传送的网络游戏客户端、传输网络或接收的网络游戏客户端稍有延迟,则影音便会产生不同步的现象,而且此不同步的现象会随着时间持续累积。实际使用时,现行的网络游戏的网络频宽及数据处理的能力并无法负担影音同步的需求,因此,目前的网络游戏并不支持于网络游戏中同时进行实时影音会谈的功能。
(3)发明内容
有鉴于此,本发明的目的就在于以网络游戏客户端与网络游戏客户端间建立网络传输信道的方式,将实时影音数据于网络游戏客户端进行压缩编码及封装工作,并传输至其它网络游戏客户端。而接收到实时影音数据的网络游戏客户端,便进行影音数据译码,并配合「同时支持实时视讯流及三度空间动画」模块,使得当网络游戏以三度空间动画独占屏幕画面时,还可同时显示实时视讯画面,另以声卡通过耳机、喇叭支持播放音讯数据。
「同时支持实时视讯流及三度空间动画」模块是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,达到同时显示的目的。
为实现上述目的,本发明提出一种以影音同步技术实现于网络游戏进行实时影音会谈的方法。首先,于网络游戏客户端之间建立网络传输信道,网络游戏客户端执行网络游戏并联机至网络游戏服务器,此网络传输信道不经过网络游戏服务器。网络传输信道的建立是由网络游戏客户端,根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端的网络地址,通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端,再由被指定的网络游戏客户端根据接续要求建立网络传输信道。
接着,于网络游戏客户端撷取实时视讯数据以及实时音讯数据。将实时视讯数据压缩编码为视讯数据框架,将实时音讯数据压缩编码为音讯数据框架,封装视讯数据框架以及音讯数据框架为网络传输封包,并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息。然后,通过网络传输信道,将网络传输封包传送至其它网络游戏客户端。
当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时,实时音讯数据的优先权高于实时视讯数据,也就是网络传输封包会以实时音讯数据为优先考虑。以音讯数据为优先考虑的优点在于音讯数据可压缩至非常小,因此即使在网络频宽相当不足的情形下,仍可维持音讯数据的实时性,达到实时影音会谈的基本要求。
最后,接收网络传输封包的网络游戏客户端会将网络传输封包译码为视讯数据以及音讯数据,根据时间标签同步实时音讯数据和实时视讯数据,并显示视讯数据及播放音讯数据,实现于网络游戏中同时进行实时影音会谈的目的。显示视讯数据是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,达到同时显示的目的。
影音同步的重点在于,如何于播放影音数据的网络游戏客户端维持正确的时间信息,当播放影音数据的网络游戏客户端即为撷取影音数据的网络游戏客户端时,影音数据的同步播放并不会产生问题,因为撷取影音数据的***时间与播放影音数据的***时间相同。当撷取影音数据的网络游戏客户端与播放影音数据的网络游戏客户端不同时,则需以播放影音数据的网络游戏客户端***时间,加上前述时间标签以作为播放实时音讯数据以及显示实时视讯数据的时间。
另外,将网络传输封包译码为视讯数据以及音讯数据时,因为网络传输封包是以音讯数据为优先考虑,因此可能会产生网络传输封包所传输的视讯数据框架少于原有视讯数据框架的情形,加上网络传输封包于译码时,也可能因视讯数据压缩的参照性(IPB参照编码),丢弃(drop)网络传输封包中的数据框架。因此,影音同步则需以前述时间标签以及实时视讯数据的数量,将实时视讯数据进行间隔显示,获得影音同步的效果。此同步的动作可在影音数据译码前或影音数据译码后进行。
其次,本发明提出一种以影音同步技术实现于网络游戏进行实时影音会谈的***,包括网络游戏服务器以及多个网络游戏客户端。网络游戏服务器执行网络游戏主程序。网络游戏客户端,包括欲进行实时影音会谈的网络游戏客户端以及网络传输信道,网络游戏客户端与网络游戏服务器连接以进行网络游戏,网络传输信道连接欲进行实时影音会谈的网络游戏客户端。
影音会谈传送方的网络游戏客户端包括实时数据撷取器、数据编码器、网络传输封装器以及网络传输器。实时数据撷取器,用以于网络游戏客户端撷取实时视讯数据以及实时音讯数据。数据编码器用以将实时视讯数据压缩编码产生视讯数据框架,以及将实时音讯数据压缩编码产生音讯数据框架。网络传输封装器,封装视讯数据框架以及音讯数据框架为网络传输封包并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息。网络传输器,通过网络传输信道,将网络传输封包传送至接收网络游戏客户端。
网络传输信道的建立是由网络游戏客户端,根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端的网络地址,通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端,再由被指定的网络游戏客户端根据接续要求建立网络传输信道。当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时,实时音讯数据的优先权高于实时视讯数据,也就是网络传输封包会以实时音讯数据为优先考虑。
影音会谈接收方的网络游戏客户端包括数据译码器以及影音播放器。数据译码器用以将网络传输封包译码为实时视讯数据以及实时音讯数据。影音播放器,会将网络传输封包译码为视讯数据以及音讯数据,根据时间标签,同步实时音讯数据和实时视讯数据,并显示视讯数据及播放音讯数据。显示视讯数据是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,达到画面同时显示的目的。前述同步是以网络游戏客户端的***时间加上时间标签,作为播放实时音讯数据以及显示实时视讯数据的时间。或者,以时间标签以及实时视讯数据的数量,将实时视讯数据进行间隔显示,以获得实时影音会谈的效果。
另外,本发明提出一种以影音同步技术实现于网络游戏进行实时影音会谈的方法,其适用于一网络游戏客户端。网络游戏客户端联机至网络游戏服务器,以执行网络游戏并显示游戏画面至显示器上。首先,在网络游戏执行前,建立网络传输信道至外部网络游戏客户端,再执行网络游戏并连接至游戏服务器,网络传输信道不经过游戏服务器。
接着,利用实时数据撷取器,撷取实时视讯数据和实时音讯数据。压缩编码实时视讯数据和实时音讯数据产生网络传输封包,并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息。
然后,通过网络传输信道,传送网络传输封包。网络传输信道的建立是由网络游戏客户端,根据通讯簿指定或直接指定外部网络游戏客户端的网络地址,通讯簿可包括所有外部网络游戏客户端的网络地址。网络游戏客户端发出接续要求至指定的网络游戏客户端,再由被指定的网络游戏客户端根据接续要求建立网络传输信道。当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时,实时音讯数据的优先权高于实时视讯数据,也就是网络传输封包会以实时音讯数据为优先考虑。
最后,网络游戏客户端通过网络传输信道,接收网络传输封包。并将网络传输封包解压缩/译码产生实时视讯数据和实时音讯数据。最后,在网络游戏执行中,根据时间标签,同步实时音讯数据和实时视讯数据,并播放实时音讯数据及显示实时视讯数据于游戏画面中。显示实时视讯数据是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,达到同时显示的目的。前述同步是以网络游戏客户端的***时间加上时间标签,作为播放实时音讯数据以及显示实时视讯数据的时间。或者,以时间标签以及实时视讯数据的数量,将实时视讯数据进行间隔显示,以获得实时影音会谈的效果。
另外,本发明提出一种储存媒体,用以储存一计算机程序,上述计算机程序用以加载至一计算机***中并且使得上述计算机***执行如上所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法。
另外,本发明提出一种网络游戏计算机***,其执行一网络游戏并且具有一储存媒体,上述储存媒体用以储存一计算机程序,上述计算机程序用以加载至上述网络游戏计算机***中并且使得上述网络游戏计算机***执行如上所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法。
(4)附图说明
图1是显示本发明所揭示的方法的执行流程图。
图2是显示本发明所揭示的***的功能方块图。
图3是显示本发明所揭示的***的细部功能方块图。
图4(包括图4a及图4b)是显示本发明所揭示的实施例的示意图。
(5)具体实施方式
请参照图1,图1是显示本发明所揭示的方法的执行流程图。首先,于网络游戏进行前,于网络游戏客户端之间建立网络传输信道(步骤S100),此网络传输信道可以任何标准网络协议建立,如传输控制协议/互联网协议(TCP/IP)等。此网络传输信道并不经过网络游戏服务器。网络传输信道的建立是由网络游戏客户端,根据通讯簿指定或直接指定欲进行实时影音会谈的网络游戏客户端的网络地址,通讯簿可包括所有可进行实时影音会谈的网络游戏客户端的网络地址。网络游戏客户端发出接续要求至欲进行实时影音会谈的网络游戏客户端,再由被指定的网络游戏客户端根据接续要求建立网络传输信道。接着,则可执行欲进行的网络游戏程序并连接至游戏服务器。
然后,执行网络游戏程序并连接至网络游戏服务器(步骤S101)。于网络游戏客户端撷取实时视讯数据以及实时音讯数据(步骤S102)。实时视讯数据可利用摄影机(Camera)等视讯撷取装置(Video Capture Device)传入,而实时音讯数据则可利用麦克风(Microphone)等音讯撷取装置(Audio CaptureDevice)传入。
接着,将实时视讯数据压缩(compress)编码(encode)产生视讯数据框架(frame),以及将实时音讯数据压缩编码产生音讯数据框架(步骤S104)。此压缩编码可利用标准的压缩格式,如H.263、MPEG1/2/4、G723等,其作用在于将原本数量庞大的影音数据,经过压缩编码,缩小为适合网络传输的格式。
由于通过网络传输实时影音数据时,音讯顺畅及影音同步为最重要的考虑,因此本发明所提出的方法是以音讯数据框架为优先,封装视讯数据框架以及音讯数据框架为网络传输封包(步骤S106),以达到音讯顺畅及影音同步的效果。并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息(步骤S107)。
也就是当网络传输信道的频宽无法支持同时传送实时视讯数据以及实时音讯数据时,实时音讯数据的优先权高于实时视讯数据。此外在网络传输封包中会加入时间标签,作为实时视讯数据以及实时音讯数据同步的依据。
然后,通过网络传输信道,将网络传输封包传送至其它网络游戏客户端(步骤S108)。最后,接收网络传输封包的网络游戏客户端会将网络传输封包译码为实时视讯数据以及实时音讯数据(步骤S110),并根据时间标签,同步实时音讯数据和实时视讯数据(步骤S111),播放实时音讯数据及显示实时视讯数据于游戏画面中(步骤S112)。显示视讯数据是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,达到同时显示的目的。
步骤S111的同步是以播放影音的网络游戏客户端的***时间加上时间标签,作为播放实时音讯数据以及显示实时视讯数据的时间。或者,以时间标签以及实时视讯数据的数量,将实时视讯数据进行间隔显示,即相同时间区间内显示较少的视讯数据,延迟每个视讯画面显示的时间,以达到影音同步的目的。
步骤S111的同步动作也可置于步骤S110之前执行,其差别在于若先进行同步再进行译码,可能因译码器的不同还会有视讯数据的丢弃现象。若先进行译码再进行同步,则译码器所产生的视讯数据的丢弃现象已发生,故可掌握视讯数据的最终数量。
请参照图2,图2是显示本发明所揭示的***的功能方块图。本发明提出一种于网络游戏进行实时影音会谈的***,包括网络游戏服务器20以及多个网络游戏客户端24、26、28、30。网络游戏服务器20执行网络游戏主程序。网络游戏客户端24、26、28、30,包括欲进行实时影音会谈的网络游戏客户端24、26以及网络传输信道32,网络游戏客户端24、26、28、30与网络游戏服务器20连接形成网络游戏服务器网络22以进行网络游戏,网络游戏服务器网络22用以传输网络游戏客户端24、26、28、30的数据至网络游戏服务器20以进行运算、储存等,网络传输信道连32连接欲进行实时影音会谈的网络游戏客户端24、26。
请参照图3,图3是显示本发明所揭示的***的细部功能方块图。影音会谈传送方的网络游戏客户端300包括实时数据撷取器302、数据编码器304、网络传输封装器306以及网络传输器308。实时数据撷取器302,用以于网络游戏客户端撷取实时视讯数据以及实时音讯数据。实时数据撷取器302可以为分开的装置,分别撷取实时视讯数据以及实时音讯数据。也可设计为同一装置,同时撷取实时视讯数据以及实时音讯数据,再分别进行后续数据处理。实时数据撷取器302可以是摄影机以及麦克风等数据撷取装置。
数据编码器304用以将实时视讯数据压缩编码产生视讯数据框架,以及将实时音讯数据压缩编码产生音讯数据框架。数据编码器304可以设计为分开的装置,分别进行实时视讯数据压缩编码以及实时音讯数据压缩编码,或者也可设计于同一装置中,分别对实时视讯数据及实时音讯数据进行压缩编码。
网络传输封装器306,是以音讯数据框架为优先,封装视讯数据框架以及音讯数据框架为网络传输封包,并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息。网络传输器308,通过网络传输信道310,将网络传输封包传送至影音会谈接收方的网络游戏客户端320。举例而言,网络传输封装器306、网络传输器308及网络传输信道310均可以计算机可执行的程序语言撰写成模块,以实现上述功能。
影音会谈接收方的网络游戏客户端320包括数据译码器322以及影音播放器324。数据译码器322,用以将网络传输封包译码为实时视讯数据以及实时音讯数据。数据译码器322可以设计为分开的装置,分别进行实时视讯数据译码以及实时音讯数据译码,或者也可设计于同一装置中,分别对实时视讯数据及实时音讯数据进行译码。前述的数据编码器304及数据译码器322均可以计算机可执行的程序语言撰写成模块,并于计算机中执行以完成所需的编译码功能。
影音播放器324,会将网络传输封包译码过后的视讯数据以及音讯数据,根据时间标签,同步实时音讯数据和实时视讯数据,并显示视讯数据及播放音讯数据。显示实时视讯数据是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上,以声卡通过耳机、喇叭播放实时音讯数据,达到同时显示的目的。而进行实时影音会谈的网络游戏客户端,因影音会谈为双向会谈,会同时具有传送及接收的功能,即同时具有300及320所包含的组件及功能。
举例而言,请参照图4,图4是显示本发明所揭示的实施例的示意图。建立网络传输信道50于网络游戏客户端之间,网络游戏客户端连接至网络游戏服务器并执行网络游戏。于网络游戏进行中,当网络游戏客户端欲进行实时影音会谈时,摄影机40于网络游戏客户端撷取实时视讯数据,麦克风42于网络游戏客户端撷取实时音讯数据。
数据编码器44、46将实时视讯数据压缩编码为视讯数据框架440、442、444、446,假设共有P个,将实时音讯数据压缩编码为音讯数据框架460、462、464,假设共有L个。在本实施例中,网络传输封装器,是以音讯数据框架为优先,封装视讯数据框架以及音讯数据框架为网络传输封包48。亦即在一段时间区间内,会优先将音讯框架460纳入封包48中,剩余的频宽或时间再分配给视讯数据框架440至视讯数据框架442,并将音讯框架460与视讯数据框架440至442封装成网络传输封包48,例如仅有N个被纳入封包48中,而有(P-N)未纳入封包48中。并加入时间标签于此网络传输封包内,时间标签表示实时音讯数据和实时视讯数据的同步关系,即为产生实时音讯数据和实时视讯数据的时间信息。
通过网络传输信道50,例如互联网,将网络传输封包48传送至另一网络游戏客户端。数据译码器52、54将网络传输封包48译码为实时视讯数据520至实时视讯数据522,以及实时音讯数据540。由于此封包是藉由网络传输,所以可能并非全部的视讯数据框架都会被接收,例如仅接收到M个(M小于或等于N),亦即视讯数据框架440至视讯数据框架442的数量会大于或等于实时视讯数据520至实时视讯数据522的数量等,再加上视讯解压缩的方式例如IPB模式,所以有些实时视讯数据会被丢弃不用,例如仅有K个(K小于或等于M)会被解压缩出来,但是实时音讯数据540会全部被解压缩出来,故可达到音讯顺畅及影音同步的预定效果。
影音播放器56、58,以「同时支持实时视讯流及三度空间动画」模块显示实时视讯数据,「同时支持实时视讯流及三度空间动画」模块是将实时视讯数据作为材质贴图,混入网络游戏的游戏画面上。影音播放器56、58会以***时间加上时间标签,作为播放实时音讯数据以及显示实时视讯数据的时间。或者,影音播放器56、58会以时间标签以及实时视讯数据的数量,将实时视讯数据进行间隔显示,获得影音同步的效果。影音同步的动作可在数据译码器52、54之前或之后执行。影音播放器56、58并以声卡通过耳机、喇叭58播放实时音讯数据,达到于网络游戏中同时进行影音会谈的功能。
总之,本发明所提出的方法,可以独立于网络游戏的架构,由网络游戏客户端之间建立网络传输信道,以实现于网络游戏中进行实时影音会谈的目的。本发明还采用以音讯数据优先考虑的影音同步封装机制以及利用时间标签进行影音数据同步的技术,获得实时影音会谈中最重要的音讯流畅及影音同步的效果。而且本发明所提出的方法无需增加网络游戏服务器额外的负担,便可解决现行技术无法解决的问题,仅增加虚拟游戏世界的实时性与真实感,达到本发明所欲达到的目的。
虽然本发明已以较佳实施例揭示如上,然而其并非用以限定本发明,任何熟习本技术的人士在不脱离本发明的精神和范围内,当可作出种种的等效改变或替换,因此本发明的保护范围当视后附的权利要求所界定的为准。
Claims (33)
1.一种以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,包括下列步骤:
建立一网络传输信道于一第一网络游戏客户端与一第二网络游戏客户端间,所述网络传输信道未经过一网络游戏服务器;
于所述第一网络游戏客户端与所述第二网络游戏客户端执行一网络游戏并联机至所述网络游戏服务器;
在所述网络游戏进行中,于所述第一网络游戏客户端撷取多个第一实时视讯数据以及多个第一实时音讯数据;
于所述第一网络游戏客户端,压缩/编码所述第一实时视讯数据产生多个第一视讯数据框架,压缩/编码所述第一实时音讯数据产生多个第一音讯数据框架;
于所述第一网络游戏客户端,封装所述第一视讯数据框架以及所述第一音讯数据框架为一网络传输封包,并加入一时间标签于所述网络传输封包内,所述时间标签用以表示所述第一实时音讯数据和所述第一实时视讯数据的同步关系;
通过所述网络传输信道,将所述网络传输封包传送至所述第二网络游戏客户端;
于所述第二网络游戏客户端,将所述网络传输封包译码产生多个第二实时视讯数据以及多个第二实时音讯数据;以及
于所述第二网络游戏客户端,根据所述时间标签同步所述第二实时音讯数据和所述第二实时视讯数据,并播放所述第二实时音讯数据以及显示所述第二实时视讯数据于所述网络游戏的游戏画面上。
2.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述建立所述网络传输信道的步骤,尚包括下列步骤:
所述第一网络游戏客户端根据一通讯簿指定或直接指定所述第二网络游戏客户端的网络地址,所述通讯簿包含所述第二网络游戏客户端的网络地址;
所述第一网络游戏客户端发出一接续要求至所述第二网络游戏客户端;以及
所述第二网络游戏客户端根据所述接续要求建立所述网络传输信道。
3.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述封装所述网络传输封包的步骤中,当所述网络传输信道的频宽无法支持同时传送所述第一实时音讯数据和所述第一实时视讯数据时,所述第一实时音讯数据的优先权高于所述第一实时视讯数据的优先权。
4.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述产生所述网络传输封包的步骤中,所述时间标签是为产生所述第一实时音讯数据和所述第一实时视讯数据的时间信息。
5.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述第二网络游戏客户端的***时间加上所述时间标签以作为播放所述第二实时音讯数据以及显示所述第二实时视讯数据的时间。
6.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述时间标签以及所述第二实时视讯数据的数量,将所述第二实时视讯数据进行间隔显示。
7.如权利要求1所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述显示所述第二实时视讯数据的步骤中,是将所述第二实时视讯数据作为一材质贴图,混入所述网络游戏的游戏画面上。
8.一种以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,包括:
一网络游戏服务器,用以执行一网络游戏;以及
多个网络游戏客户端,所述网络游戏客户端包括一第一网络游戏客户端、一第二网络游戏客户以及一网络传输信道,所述第一网络游戏客户端以及所述第二网络游戏客户端联机至所述网络游戏服务器,用以进行所述网络游戏,所述网络传输信道耦接于所述第一网络游戏客户端以及所述第二网络游戏客户端。
9.如权利要求8所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述第一网络游戏客户端还包括:
一实时数据撷取器,用以于所述第一网络游戏客户端撷取多个第一实时视讯数据以及多个第一实时音讯数据;
一数据编码器,其耦接于所述实时数据撷取器,用以压缩/编码所述第一实时视讯数据,产生多个第一视讯数据框架以及压缩/编码所述第一实时音讯数据,产生多个第一音讯数据框架;
一网络传输封装器,其耦接于所述视讯数据编码器以及所述音讯数据编码器,用以封装所述第一视讯数据框架以及所述第一音讯数据框架为一网络传输封包,并加入一时间标签于所述网络传输封包内,所述时间标签用以表示所述第一实时音讯数据和所述第一实时视讯数据的同步关系;以及
一网络传输器,其耦接于所述网络传输封装器,通过所述网络传输信道,将所述网络传输封包传送至所述第二网络游戏客户端。
10.如权利要求9所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述网络传输封装器,当所述网络传输信道的频宽无法支持同时传送所述第一实时音讯数据和所述第一实时视讯数据时,所述第一实时音讯数据的优先权高于所述第一实时视讯数据的优先权。
11.如权利要求9所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述网络传输封装器中,所述时间标签是为产生所述第一实时音讯数据和所述第一实时视讯数据的时间信息。
12.如权利要求8所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述第二网络游戏客户端还包括:
一数据译码器,其耦接于所述网络传输信道,用以使所述网络传输封包译码产生多个第二视讯数据以及使所述网络传输封包译码产生多个第二音讯数据;以及
一影音播放器,其耦接于所述视讯数据译码器以及所述音讯数据译码器,用以根据所述时间标签,同步所述第二实时音讯数据和所述第二实时视讯数据,并播放所述第二视讯数据以及所述第二音讯数据。
13.如权利要求12所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述影音播放器中,所述同步是以所述第二网络游戏客户端的***时间加上所述时间标签以作为播放所述第二实时音讯数据以及显示所述第二实时视讯数据的时间。
14.如权利要求12所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述影音播放器中,所述同步是以所述时间标签以及所述第二实时视讯数据的数量,使所述第二实时视讯数据进行间隔显示。
15.如权利要求12所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述影音播放器,是将所述第二实时视讯数据作为一材质贴图,混入所述网络游戏的游戏画面上。
16.如权利要求8所述的以影音同步技术实现于网络游戏进行实时影音会谈的***,其特征在于,所述网络传输信道是由所述第一网络游戏客户端根据一通讯簿指定或直接指定所述第二网络游戏客户端的网络地址,所述通讯簿包含所述第二网络游戏客户端的网络地址,并发出一连接要求至所述第二网络游戏客户端,再由所述第二网络游戏客户端根据所述连接要求建立所述网络传输信道。
17.一种以影音同步技术实现于网络游戏进行实时影音会谈的方法,其适用于一网络游戏客户端,所述网络游戏客户端是联机至一网络游戏服务器,用以执行一网络游戏并显示一游戏画面至一显示器上,其特征在于,包括下列步骤:
建立一网络传输信道至一外部网络游戏客户端,所述网络传输信道不经过所述网络游戏服务器;
利用一实时数据撷取器,撷取一第一实时视讯数据和一第一实时音讯数据;
压缩/编码所述第一实时视讯数据和所述第一实时音讯数据,产生一第一网络传输封包,并加入一时间标签于所述网络传输封包内,所述时间标签用以表示所述第一实时音讯数据和所述第一实时视讯数据的同步关系;
通过所述网络传输信道,传送所述第一网络传输封包;
通过所述网络传输信道,接收一第二网络传输封包;
解压缩/译码所述第二网络传输封包,产生一第二实时视讯数据和一第二实时音讯数据;以及
在所述网络游戏执行中,根据所述时间标签,同步所述第二实时音讯数据和所述第二实时视讯数据,并播放所述第二实时音讯数据并且显示所述第二实时视讯数据于所述游戏画面中。
18.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述建立所述网络传输信道的步骤包括下列步骤:
由所述网络游戏客户端和所述外部网络游戏客户端之一指定另一网络地址;
利用所述网络地址,由所述网络游戏客户端和所述外部网络游戏客户端之一发出一接续要求至另一端;以及
根据所述接续要求,所述网络游戏客户端和所述外部网络游戏客户端的另一端建立所述网络传输信道。
19.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,产生所述第一网络传输封包的步骤中,当所述网络传输信道的频宽无法支持同时传送所述第一实时音讯数据和所述第一实时视讯数据时,所述第一实时音讯数据的优先权高于所述第二实时视讯数据的优先权。
20.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,建立所述网络传输信道的步骤,是根据一通讯簿执行,所述通讯簿包含所述外部网络游戏客户端的网络地址。
21.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述网络游戏客户端的***时间加上所述时间标签以作为播放所述第二实时音讯数据以及显示所述第二实时视讯数据的时间。
22.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述时间标签以及所述第二实时视讯数据的数量,使所述第二实时视讯数据进行间隔显示。
23.如权利要求17所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,显示所述第二实时视讯数据的步骤中,是将所述第二实时视讯数据作为一材质贴图,混入所述游戏画面并显示于所述显示器上。
24.一种储存媒体,用以储存一计算机程序,所述计算机程序用以加载至一计算机***中并且使得所述计算机***执行如权利要求17至23中任一项所述的于网络游戏进行实时影音会谈的方法。
25.一种网络游戏计算机***,其执行一网络游戏并且具有一储存媒体,所述储存媒体用以储存一计算机程序,所述计算机程序用以加载至所述网络游戏计算机***中并且使得所述网络游戏计算机***执行如权利要求17至23中任一项所述的于网络游戏进行实时影音会谈的方法。
26.一种以影音同步技术实现于网络游戏进行实时影音会谈的方法,用于一第一网络游戏客户端与一第二网络游戏客户端之间,所述第一网络游戏客户端与所述第二网络游戏客户端均执行一网络游戏并联机至一网络游戏服务器,其特征在于,所述方法至少包括下列步骤:
建立一网络传输信道于所述第一网络游戏客户端与所述第二网络游戏客户端之间,且所述网络传输信道未经过所述网络游戏服务器;
于所述第一网络游戏客户端撷取多个第一实时视讯数据以及多个第一实时音讯数据;
产生多个第一视讯数据框架及多个第一音讯数据框架;
封装所述第一视讯数据框架以及所述第一音讯数据框架为一网络传输封包,并加入一时间标签于所述网络传输封包内,所述时间标签用以表示所述第一实时音讯数据和所述第一实时视讯数据的同步关系;
传送所述网络传输封包至所述第二网络游戏客户端;
将所述网络传输封包译码产生多个第二实时视讯数据以及多个第二实时音讯数据;及
于所述第二网络游戏客户端,根据所述时间标签,同步所述第二实时音讯数据和所述第二实时视讯数据,并播放所述第二实时音讯数据以及显示所述第二实时视讯数据于所述网络游戏的游戏画面上。
27.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述建立所述网络传输信道的步骤,还包括下列步骤:
所述第一网络游戏客户端根据一通讯簿指定所述第二网络游戏客户端的网络地址,所述通讯簿包含所述第二网络游戏客户端的网络地址;
所述第一网络游戏客户端发出一接续要求至所述第二网络游戏客户端;以及
所述第二网络游戏客户端根据所述接续要求建立所述网络传输信道。
28.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述封装所述网络传输封包的步骤中,是先将所述第一实时音讯数据纳入所述网络传输封包中,再依据剩余频宽将所述第一实时视讯数据纳入所述网络传输封包中。
29.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述第一视讯数据框架及多个第一音讯数据框架是由压缩/编码所产生。
30.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述网络传输封包是通过一网络传输信道传送至所述第二网络游戏客户端。
31.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述第二网络游戏客户端的***时间加上所述时间标签以作为播放所述第二实时音讯数据以及显示所述第二实时视讯数据的时间。
32.如权利要求26所述的以影音同步技术实现于网络游戏进行实时影音会谈的方法,其特征在于,所述同步所述第二实时音讯数据和所述第二实时视讯数据的步骤中,所述同步是以所述时间标签以及所述第二实时视讯数据的数量,使所述第二实时视讯数据进行间隔显示。
33.一种以影音同步技术实现于网络游戏进行实时影音会谈的***,用于一第一网络游戏客户端、一第二网络游戏客户及一网络游戏服务器之间,所述网络游戏服务器是用以执行一网络游戏,其特征在于,所述***至少包括:
一网络传输信道,所述第一网络游戏客户端以及所述第二网络游戏客户端联机至所述网络游戏服务器,以进行所述网络游戏,所述网络传输信道耦接于所述第一网络游戏客户端以及所述第二网络游戏客户端之间以进行实时影音会谈。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA031088600A CN1534503A (zh) | 2003-03-27 | 2003-03-27 | 实现网络游戏中实时影音会谈的方法、***及储存媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA031088600A CN1534503A (zh) | 2003-03-27 | 2003-03-27 | 实现网络游戏中实时影音会谈的方法、***及储存媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1534503A true CN1534503A (zh) | 2004-10-06 |
Family
ID=34283212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA031088600A Pending CN1534503A (zh) | 2003-03-27 | 2003-03-27 | 实现网络游戏中实时影音会谈的方法、***及储存媒体 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1534503A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101622041A (zh) * | 2007-02-27 | 2010-01-06 | 索尼爱立信移动通讯股份有限公司 | 用于在通信设备之间使用基于事件的信息交换启动游戏会话的***和方法 |
CN101918937A (zh) * | 2007-12-05 | 2010-12-15 | 生命力有限公司 | 使用流动互动式视频的用于合作会议的*** |
CN102395960A (zh) * | 2009-04-16 | 2012-03-28 | 微软公司 | 基于运行时的应用行为的选择性启用 |
US8468575B2 (en) | 2002-12-10 | 2013-06-18 | Ol2, Inc. | System for recursive recombination of streaming interactive video |
US8495678B2 (en) | 2002-12-10 | 2013-07-23 | Ol2, Inc. | System for reporting recorded video preceding system failures |
US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
CN103501316A (zh) * | 2013-09-16 | 2014-01-08 | 天脉聚源(北京)传媒科技有限公司 | 网页游戏客户端之间的音视频同步方法、***及装置 |
US8632410B2 (en) | 2002-12-10 | 2014-01-21 | Ol2, Inc. | Method for user session transitioning among streaming interactive video servers |
US8661496B2 (en) | 2002-12-10 | 2014-02-25 | Ol2, Inc. | System for combining a plurality of views of real-time streaming interactive video |
US8832772B2 (en) | 2002-12-10 | 2014-09-09 | Ol2, Inc. | System for combining recorded application state with application streaming interactive video output |
US8834274B2 (en) | 2002-12-10 | 2014-09-16 | Ol2, Inc. | System for streaming databases serving real-time applications used through streaming interactive |
CN104092711A (zh) * | 2013-04-01 | 2014-10-08 | 云联(北京)信息技术有限公司 | 一种云游戏实现方法及*** |
US8893207B2 (en) | 2002-12-10 | 2014-11-18 | Ol2, Inc. | System and method for compressing streaming interactive video |
US9003461B2 (en) | 2002-12-10 | 2015-04-07 | Ol2, Inc. | Streaming interactive video integrated with recorded video segments |
US9015784B2 (en) | 2002-12-10 | 2015-04-21 | Ol2, Inc. | System for acceleration of web page delivery |
US9032465B2 (en) | 2002-12-10 | 2015-05-12 | Ol2, Inc. | Method for multicasting views of real-time streaming interactive video |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
CN105289003A (zh) * | 2014-06-05 | 2016-02-03 | 掌赢信息科技(上海)有限公司 | 智能手持终端点对点视频和游戏的融合方法、装置及*** |
-
2003
- 2003-03-27 CN CNA031088600A patent/CN1534503A/zh active Pending
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9032465B2 (en) | 2002-12-10 | 2015-05-12 | Ol2, Inc. | Method for multicasting views of real-time streaming interactive video |
US8661496B2 (en) | 2002-12-10 | 2014-02-25 | Ol2, Inc. | System for combining a plurality of views of real-time streaming interactive video |
US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US8468575B2 (en) | 2002-12-10 | 2013-06-18 | Ol2, Inc. | System for recursive recombination of streaming interactive video |
US8495678B2 (en) | 2002-12-10 | 2013-07-23 | Ol2, Inc. | System for reporting recorded video preceding system failures |
US8549574B2 (en) | 2002-12-10 | 2013-10-01 | Ol2, Inc. | Method of combining linear content and interactive content compressed together as streaming interactive video |
US9015784B2 (en) | 2002-12-10 | 2015-04-21 | Ol2, Inc. | System for acceleration of web page delivery |
US8632410B2 (en) | 2002-12-10 | 2014-01-21 | Ol2, Inc. | Method for user session transitioning among streaming interactive video servers |
US9003461B2 (en) | 2002-12-10 | 2015-04-07 | Ol2, Inc. | Streaming interactive video integrated with recorded video segments |
US8949922B2 (en) | 2002-12-10 | 2015-02-03 | Ol2, Inc. | System for collaborative conferencing using streaming interactive video |
US8832772B2 (en) | 2002-12-10 | 2014-09-09 | Ol2, Inc. | System for combining recorded application state with application streaming interactive video output |
US8834274B2 (en) | 2002-12-10 | 2014-09-16 | Ol2, Inc. | System for streaming databases serving real-time applications used through streaming interactive |
US8893207B2 (en) | 2002-12-10 | 2014-11-18 | Ol2, Inc. | System and method for compressing streaming interactive video |
US8840475B2 (en) | 2002-12-10 | 2014-09-23 | Ol2, Inc. | Method for user session transitioning among streaming interactive video servers |
CN101622041B (zh) * | 2007-02-27 | 2015-09-09 | 索尼爱立信移动通讯股份有限公司 | 用于在通信设备之间使用基于事件的信息交换启动游戏会话的***和方法 |
CN101622041A (zh) * | 2007-02-27 | 2010-01-06 | 索尼爱立信移动通讯股份有限公司 | 用于在通信设备之间使用基于事件的信息交换启动游戏会话的***和方法 |
CN101918937A (zh) * | 2007-12-05 | 2010-12-15 | 生命力有限公司 | 使用流动互动式视频的用于合作会议的*** |
CN102395960B (zh) * | 2009-04-16 | 2014-02-05 | 微软公司 | 基于运行时的应用行为的选择性启用的方法和*** |
CN102395960A (zh) * | 2009-04-16 | 2012-03-28 | 微软公司 | 基于运行时的应用行为的选择性启用 |
CN104092711A (zh) * | 2013-04-01 | 2014-10-08 | 云联(北京)信息技术有限公司 | 一种云游戏实现方法及*** |
CN103501316A (zh) * | 2013-09-16 | 2014-01-08 | 天脉聚源(北京)传媒科技有限公司 | 网页游戏客户端之间的音视频同步方法、***及装置 |
CN103501316B (zh) * | 2013-09-16 | 2017-02-08 | 天脉聚源(北京)传媒科技有限公司 | 网页游戏客户端之间的音视频同步方法、***及装置 |
CN105289003A (zh) * | 2014-06-05 | 2016-02-03 | 掌赢信息科技(上海)有限公司 | 智能手持终端点对点视频和游戏的融合方法、装置及*** |
CN105289003B (zh) * | 2014-06-05 | 2018-09-07 | 掌赢信息科技(上海)有限公司 | 智能手持终端点对点视频和游戏的融合方法、装置及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107846633B (zh) | 一种直播方法及*** | |
CN1534503A (zh) | 实现网络游戏中实时影音会谈的方法、***及储存媒体 | |
TW589892B (en) | Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology | |
CN106992959B (zh) | 一种3d全景音视频直播***及音视频采集方法 | |
US20020154691A1 (en) | System and process for compression, multiplexing, and real-time low-latency playback of networked audio/video bit streams | |
US10177958B2 (en) | Method for synchronously taking audio and video in order to proceed one-to-multi multimedia stream | |
EP1009140A2 (en) | Data transmission method, data transmission system, data receiving method, and data receiving apparatus | |
WO2008061416A1 (fr) | Procédé et système permettant d'accepter des données media de divers formats de codage | |
CN113225598A (zh) | 移动端音视频同步的方法、装置、设备及存储介质 | |
TW589891B (en) | Real-time video conferencing method, system and storage medium in web game | |
JP2018117259A (ja) | オーディオビデオ同期取込によって一対多オーディオビデオストリーミングを行う方法 | |
CN110602523A (zh) | 一种vr全景直播多媒体处理合成***和方法 | |
CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及*** | |
CN112788431A (zh) | 基于html5的视频播放方法、装置、***、介质及浏览器 | |
CN108882010A (zh) | 一种多屏播放的方法及*** | |
CN114554277B (zh) | 多媒体的处理方法、装置、服务器及计算机可读存储介质 | |
CN108124183B (zh) | 以同步获取影音以进行一对多影音串流的方法 | |
CN116261001A (zh) | 一种手术录播方法及*** | |
CN1532720A (zh) | 于网络游戏中进行实时影音会谈的方法、***及储存媒体 | |
CN1406055A (zh) | 影音式网络摄像机 | |
CN100350765C (zh) | 影音播放***传输数据的方法 | |
TWI600319B (zh) | A method for capturing video and audio simultaneously for one-to-many video streaming | |
CN113950825A (zh) | 数据传输、处理方法、可移动平台、终端设备及芯片 | |
CN114189727B (zh) | 同步播放方法、装置、***、电子设备及可读存储介质 | |
CN101193101A (zh) | 一种媒体流的传送/切换*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |