CN101057504A - 在便携式多媒体设备中的音频视频数据处理 - Google Patents

在便携式多媒体设备中的音频视频数据处理 Download PDF

Info

Publication number
CN101057504A
CN101057504A CNA2005800388092A CN200580038809A CN101057504A CN 101057504 A CN101057504 A CN 101057504A CN A2005800388092 A CNA2005800388092 A CN A2005800388092A CN 200580038809 A CN200580038809 A CN 200580038809A CN 101057504 A CN101057504 A CN 101057504A
Authority
CN
China
Prior art keywords
data flow
video
audio
data
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800388092A
Other languages
English (en)
Inventor
威廉·J·D·瑞安
安库尔·梅罗特拉
拉维·坎特·拉奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Solutions Inc
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of CN101057504A publication Critical patent/CN101057504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1106—Call signalling protocols; H.323 and related
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种能使用多媒体的便携式通信设备和方法，包括通信耦合到同步实体(112)的实时处理器(110)和应用程序处理器(120)。在一个实施例中，同步实体为集成有实时处理器的H.324实体。所述同步实体基于延迟信息使来自所述应用程序处理器的视频数据流与来自实时处理器的音频数据流同步。

Description

在便携式多媒体设备中的音频视频数据处理
技术领域
本发明总地涉及在电子设备中的数据流处理，更具体地涉及处理例如在可使用多媒体的无线通信设备中的音频和视频数据流的非同步数据流，以及方法。
背景技术
在很多能使用多媒体的无线通信终端中，音频和视频参考公共的时序源，并且在能从相关的数字信号处理(DSP)设备捕获编码的音频视频信息的单核处理器中多路复用，其中音频视频输入和输出紧密耦合。这些公知的体系被设计来提供一组近乎恒定的品质，除了其他包括音频和视频的同步。
3GPP和3GPP2标准体系采用电路交换的H.324M协议，使得可使用包括通用移动通信***(UMTS)WCDM和CDMA2000协议网络等的第三代(3G)无线通信网络上的实时应用程序和服务。示例性而非限制性的应用程序和服务包括，视频电话和会议、视频监督、实时游戏和视频点播及其他。
在H.324M中，虽然H.324M协议在接收设备中提供了用于音频/视频延迟补偿的指令和接口，但音频和视频信息是非同步传输的。更具体地，H.324M提供了时滞指示消息(skew indication message)，使得传输终端可向接收终端报告在各音频和视频数据流之间的时滞，这可用于补偿以提供例如声像吻合的音频和视频数据等的同步数据流。但在H.324协议中，同步并不是强制性的并且接收终端并不要求使用时滞信息来提供同步。
对本领域的技术人员来说，通过仔细考察以下结合附图所作的详细描述将使本发明的各个方面、特征和优点变得更加明显。
附图说明
图1是表示示例性的便携式多媒体设备的结构图。
图2描述了用来管理音频和视频时滞的示例性的音频和视频队列机制。
图3描述了选择性丢弃程序由用于动态减少音频和视频的时滞。
图4描述了选择性***程序用于动态增加音频和视频的时滞。
图5是示例性的处理流图。
具体实施方式
图1是在无线通信终端100中的示例形式的便携式多媒体设备，其包括调制解调器110和应用程序实体120，提供了如下更全面讨论的在传输之前被多路复用的非同步音频和视频数据流。例如，在一个实施例中，可使用通用接口将视频路由到PC或执行从相机的视频***，例如，通过未集成有音频源的通用串行总线(USB)端口进行视频捕获和/或绘制。通常，还存在其他的应用和实施例，其中单独的各数据流源于非同步源或由非同步源提供。在本发明中，数据流源因何不同步是无关紧要的。
在一些实施例中，对于一个或多个数据流源自其中的源(或多个源)，其中的变化会影响时序。例如，从喇叭扩音器到蓝牙头戴式耳机的音频数据流的源中的改变可能要改变音频数据时序或时滞，该音频数据流与相应的希望与该音频数据流同步的视频数据流有关。在一些应用中，来自非同步源的多个数据流之间的延迟根据这些数据流中的一个或二者的处理结果而动态改变。时序的改变可能是由于对数据流的一个或两个的一部分进行编码或其他处理，例如数字版权管理(DRM)编码。
在其他的实施例中，当从一个来源获得视频时，不必同步音频和视频，但当从另一个源获得视频时可能需要同步音频和视频。例如，一些移动电话包括多个相机，可以由用户选择其中的一个或另外一个。但选择了背向用户的相机时，与音频的同步可能不成问题。但当选择了面向用户的相机时，通常需要声像吻合。这样，在一些实施例中，根据所选择的***而需要音频和视频的同步。
在当前公开文本中，时滞(skew)是分别从其中获取第一和第二数据流的非同步源之间近乎恒定的延迟。例如，在一个实施例中，时滞是根据非同步数据流源间的抖动和延迟差的中值或平均值。通常，非同步源要么是用于数据流的始发源要么作为数据流的管道来工作。
在一个实施例中，调制解调器110是无线调制解调器，其支持移动通信协议，例如全球数字移动电话***(GSM)协议、第3代(3G)通用移动通信***(UMTS)W-CDMA协议、或几个CDMA协议中的一个，以及其他移动通信协议。可替换地，该调制解调器可以兼容其他一些无线通信协议，诸如IEEE802.xx等的局域网协议、诸如蓝牙等的个人区域网络协议、和广域网协议以及其他。在其他的实施例中，该调制解调器可以是短程无线调制解调器，例如兼容DECT或其他无线电话协议。可替换地，该调制解调器可以是有线调制解调器。虽然示例性的多媒体设备包括调制解调器，但当前的公开文本在通常情况下并不要求调制解调器。这样的未装配调制解调器的设备包括个人数字助理(PDA)、多媒体播放器、音频和视频记录设备、膝上及笔记本计算机以及其他的便携式设备，它们中的任何一个也可以包括无线调制解调器。
示例性的调制解调器110包括从音频管理器实体132输入的音频。音频流管理器从音频编码器134接收音频数据流并将音频输出提供给音频解码器136。编码器134可以从至少一个源获得音频输入，虽然更一般的情况是可以在音频管理器实体的控制下从几个来源中的某一个选择音频输入。例如，在一个实施例中，音频管理器实体从头戴耳机的麦克风或喇叭扩音器、或蓝牙头戴耳机、或从其他一些源选择音频。在一些实施例中，音频编译码器在DSP处理器中实现，其可以封装为调制解调器电路(IC)的一部分或作为单独的实体。示例性音频源的每个一般都具有相对于例如由相机所捕获的相应的视频数据流的唯一延迟，其实例将在以下讨论。该示例性调制解调器接收实时的语音数据流。
在图1中，示例性的应用程序实体120通常包括用来管理源自不同源的视频数据的视频流管理器实体122。示例性的多媒体设备110通信耦合到例如摄相机或视频记录器等的附属设备130，用以将视频数据流提供给视频流管理器122。示例性的应用程序实体还包括视频编码器124，其具有作为输入端的集成相机引擎；和视频解码器126，其具有例如至显示设备的视频信号输出端。该示例性的应用程序处理器120的视频流管理器122就成为源于其他源的视频数据流的管道。在一些实施例中，数据流的选择由用户控制，而在其他实施例中，选择由应用程序自动控制。通常，源和由管理实体123管理的数据流的特定类型以及如何选择视频数据流都是无关紧要的。可替换地，输入到视频流管理器的视频数据流都源于集成的源或来自附属设备。
在图1中，通常，调制解调器110在多路复用的音频和视频数据被传送之前执行音频和视频多路复用。在一些实施例中，如以下要进一步讨论的，音频和视频数据流在多路复用前同步。调制解调器110还从独立的、非同步的处理器获得视频数据，且在示例性实施例中该处理器是应用程序实体120的一部分。从调制解调器110的透视图中可看到，视频数据流源自应用程序实体120，尽管在一些实施例中应用程序实体120仅仅是用于源于其他源的视频数据的管道，例如源于附属设备130或源于以上讨论的其他一些源。复用器并不一定是调制解调器的一部分。通常，在需要多路复用的应用程序中，复用器可以是独立于两个数据流源的实体。但，本公开文本并不限于其中的数据流是复用的实施例或应用。
在图1中，示例性的调制解调器110包括H.324M协议实体112，其使得可通过第3代(3G)无线通信网络进行实时应用和服务。H.324M协议实体包括H.245模块114，其指定呼叫控制协议，包括音频和视频能力交换、主/从确定、逻辑信道的信号打开和关闭、以及其他的功能。H.324M协议实体还包括H.223M模块116，其复用并分离信号和数据信道。具体地，H.223复用器116复用在音频信道118上的视频数据流、在音频信道119上的音频数据流并控制在H.245信道116上的信号信息。H.223协议通过公共通信链路支持数字语音/音频、数字视频/图像和数据组合的传输。在图1中，H.223输出端通信耦合至示例性的64kbps电路交换数据(CSD)信道。在一些实施例中，复用器是与非同步实体相分离的离散实体。在其他的实施例中，复用器并不一定要与H.324协议兼容。在其他实施例中，从其他非同步源来的数据流由例如H.323实体等的其他的复用器复用，其中H.323实体为H.324实体的基于分组的对等物。
在图1中，如上所讨论地，在控制所选择的视频捕获和绘制(render)路径的建立的同时，应用程序实体120启动并终止H.324M的调用。由于例如在图1中从附件130或集成的相机编码器124的视频数据流的源通常不与作为音频数据流源的调制解调器110同步，因此通常会影响音频和视频时序。
图2显示了在示例性的H.324栈中用于管理音频和视频时滞的音频和视频队列机制。在一个实施例中，在多路复用前，音频和视频数据流在H.324实体中同步。应用程序处理器以示例性的每秒7帧(7帧/秒)的速率将包括了视频帧212的视频数据流210提供给示例性的H.223复用器220。调制解调器以示例性的每秒五十帧(50帧/秒)的速率将包括音频帧232的音频数据流230提供给复用器。
在图1示例性的实施例中，先于多路复用控制、视频和音频信道而发生同步。具体地，时滞信息用来确定何时提供音频和视频数据流给H.223以确保同步。公知地，时滞信息依赖于所获得的数据流或基于其他的公知信息。在示例性的实施例中，由于存在编译码器不能解决的***级问题，因此同步发生在音频和视频编译码器之外。例如，在图1的示例性的实施例中，音频编译码器驻留在单独的子***中，这样视频数据流就必须经由多个处理器而管理。此外，诸如DRM编码的前述非编码解码器，可以将已知的延迟量引入数据流。
在图1中，调制解调器110给应用程序实体120提供了接口来设定用于计算音频/视频同步的队列延迟的捕获和绘制视频延迟参数。示例性的接口在视频应用程序实体123和H.234实体112之间。在示例性实施例中，视频应用程序实体123还与视频流管理器120和视频流管理器132通信。
在图1中，通过在视频应用程序实体123和H.324实体间的接口提供复用音频和视频的时间推迟量和拖延在执行H.223分离操作后解码音频的时间推迟量。这些示例性的参数用来计算音频/视频同步的延迟变量。如上所建议的，在一些实施例中，延迟或时滞的改变是基于一个或多个数据流源自其中的源的变化和/或基于其他情况，例如，对该一个或多个数据流进行的特定处理。
在一个实施例中，在便携式多媒体设备中，源于所选择源的数据流与源于其他非同步源的数据流根据源于这些数据流的源之间的延迟或时滞来同步。在图1的示例性的多媒体设备中，所选择的数据流和其他的数据流先于复用以及通过空中接口传输而同步。
在时滞或延迟变化的实施例中，第一和第二数据流通过短暂的时间周期或间隔逐渐同步。例如，在一些实施例中，当延迟从较高的值降到较低的值时，逐渐的同步可以通过从数据流中的一个去除帧而获得。在第一和第二数据流为音频和视频数据流的示例性实施例中，例如从音频数据流中去除受限数据承载(bearing)帧，即DTX帧。在图2的示例性实施例中，在时间“t”，时滞从160ms变为80ms。对新的时滞速率的逐渐同步通过按100ms的周期从音频流去除DTX而取得。在另一个实施例中，视频和音频数据流可以通过选择性地从视频数据帧中去除帧而逐渐同步。虽然在其他的实施例中帧的去除可以通过任意其他的同步实体或能够选择帧或数据去除的设备来执行帧的去除，但在图1的示例性实施例中，在H.324实体中执行帧的去除。
例如，在另一个实施例中，在延迟从较低值增加到较高值时，通过将帧添加到数据流中的一个而得到逐渐的同步。在第一和第二数据流为音频和视频数据流的示例性实施例中，将例如DTX帧的受限数据承载帧***到音频数据流中。在图4的示例性实施例中，在时间“t”时滞从80ms变为140ms。对新的时滞的逐渐同步通过按180ms的周期将DTX帧***到音频流而得到。在其他的实施例中，视频和音频数据流可以通过选择性地将帧***到视频数据流而逐渐同步。虽然在其他的实施例中***可以通过任意其他的实体或能够选择帧或数据***的设备执行，但在图1的示例性实施例中，帧的***在H.324实体中执行。在视频并不完全同步的应用中，数据流可以通过帧和视频比特率的增加或降低而降低或增加。
图5示出了例如在图1中的H.324实体中用来复用同步的音频和视频数据流的示例性处理500。在块510，请求同步音频和视频的复用。例如，在一个实施例中，在例如每隔20ms的特定的时间间隔中发生音频和视频的复用，不论是否存在同步。在其他的实施例中，时间间隔可以改变，即不是固定的。通常，可以请求一些时间间隔来同步音频和视频信号。间隔例如可根据待去除帧的可用性而改变。
在图5中，在块520，当判定是否存在音频的延迟大于参考配置。如果音频延迟大于参考配置，则在块530从音频数据流去除例如DTX帧的数据。在一些实施例中，帧被选择性去除直至获得新的时滞率。同时，无论是否完成了同步，都在块560按特定的速率复用帧。在块540判定延迟是否小于参考配置。如果音频延迟小于参考配置，则在块550将例如DTX帧的帧选择性***到音频数据流直至获得新的时滞。同时，无论是否完成了同步，都在块560以特定的速率复用帧。
虽然本公开以及认为是最佳方式的内容已经以通过建立发明人所有并使本领域的人员可以制造和使用的方式进行了描述，但可以理解并预期的是，还存在这里所公开的实施例的许多等同改型并且在不背离本发明的范围和精神下可以做出修改和变化，其并不受示例性实施例的限制而由权利要求书进行限定。

Claims (22)

1.一种用在便携式多媒体设备中的方法，该方法包括：
选择源自至少两个源之一的数据流；
基于所选择的数据流源自其中的源与另外非同步源之间的时滞，同步该选择的数据流和源自所述另外非同步源的另外数据流。
2.根据权利要求1的方法，
当选择了数据流，则改变到新的时滞，
该新的时滞与先前选择的数据流所关联的先前时滞不同，
在某个时间周期内逐渐同步所选择的数据流和该另外数据流以适应所述新的时滞。
3.根据权利要求2的方法，
该新的时滞小于该先前时滞，
在所述时间周期内通过在所选择的数据流和该另外数据流之一中选择性地去除帧来逐渐同步该选择的数据流和该另外数据流。
4.根据权利要求3的方法，
该选择的数据流是视频数据流而该另外数据流是音频数据流，
通过选择性地将受限数据承载帧从该音频数据流中去除而逐渐同步所述音频和视频数据流。
5.根据权利要求3的方法，
该选择的数据流是视频数据流而该另外数据流是音频数据流，
通过从该视频数据流中选择性地去除帧而逐渐同步所述音频和视频数据流。
6.根据权利要求2的方法，
该新的时滞大于该先前时滞，
通过将帧***到该选择的数据流和该另外数据流中的一个而逐渐同步该选择的数据流和该另外数据流。
7.根据权利要求1的方法，
先同步该选择的数据流和该另外数据流，然后传输同步的该选择数据流和该另外数据流。
8.根据权利要求1的方法，
在同步之后多路复用所述选择的数据流和另外数据流，
根据依赖于该选择的数据流的延迟参数而进行同步。
9.一种能使用多媒体的便携式通信设备，包括：
应用程序处理器；
与所述应用程序处理器不同步的实时处理器；
通信耦合至所述应用程序处理器和实时处理器的同步实体，
所述同步实体根据延迟信息来同步来自所述应用程序处理器的视频信息与来自所述实时处理器的音频信息。
10.根据权利要求9的设备，
时序控制实体，其与所述应用程序处理器和实时处理器中的一个关联；
所述同步实体通信耦合至所述时序控制实体，所述时序控制实体给所述同步实体提供所述延迟信息。
11.根据权利要求9的设备，
所述应用程序处理器具有视频流管理器，其从至少两个源之一获取视频信息，和
所述时序控制实体根据从中获取所述视频信息的源来提供延迟信息。
12.根据权利要求9的设备，所述同步实体响应在延迟信息中的变化而逐渐同步所述音频和视频信息。
13.根据权利要求12的设备，所述同步实体通过从所述音频和视频信息中的一个中去除帧而逐渐同步所述音频和视频信息。
14.根据权利要求13的设备，所述同步实体通过将帧***到所述音频和视频信息中的一个而逐渐同步所述音频和视频信息。
15.一种用在能够使用多媒体的电子设备中的方法，该方法包括：
从相应的非同步源获取第一和第二数据流；
通过在某个时间间隔中逐渐同步所述第一和第二数据流而补偿在所述第一和第二数据流之间的延迟中的改变。
16.根据权利要求15的方法，
通过在所述时间间隔从所述第一和第二数据流中的一个选择性地去除帧来补偿在所述第一和第二数据流间的延迟中的改变。
17.根据权利要求16的方法，
所述第一数据流为音频数据流而所述第二数据流为视频数据流，
通过从所述音频数据流和视频数据流中的一个去除受限数据承载帧而补偿在所述第一和第二数据流间的延迟中的改变。
18.根据权利要求15的方法，
通过将帧***到所述第一和第二数据流中的一个而补偿在所述第一和第二数据流间的延迟中的改变。
19.根据权利要求15的方法，
所述第一数据流为音频数据流而所述第二数据流为视频数据流，
通过将受限数据的承载帧***到所述音频和视频数据流中的一个而补偿在所述第一和第二数据流间的延迟中的改变。
20.根据权利要求15的方法，
通过改变所述第一和第二数据流中的一个从中发出的源而改变所述延迟。
21.根据权利要求15的方法，通过处理所述第一和第二数据流中的一个来改变所述延迟。
22.根据权利要求15的方法，多路复用所述第一和第二数据流。
CNA2005800388092A 2004-12-08 2005-11-17 在便携式多媒体设备中的音频视频数据处理 Pending CN101057504A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/007,374 2004-12-08
US11/007,374 US20060123063A1 (en) 2004-12-08 2004-12-08 Audio and video data processing in portable multimedia devices

Publications (1)

Publication Number Publication Date
CN101057504A true CN101057504A (zh) 2007-10-17

Family

ID=36575640

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800388092A Pending CN101057504A (zh) 2004-12-08 2005-11-17 在便携式多媒体设备中的音频视频数据处理

Country Status (5)

Country Link
US (1) US20060123063A1 (zh)
EP (1) EP1825689A1 (zh)
KR (1) KR20070090184A (zh)
CN (1) CN101057504A (zh)
WO (1) WO2006062715A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827271B (zh) * 2009-03-04 2012-07-18 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
CN105187688A (zh) * 2015-09-01 2015-12-23 福建富士通信息软件有限公司 一种对手机采集的实时视频和音频进行同步的方法及***
CN108495145A (zh) * 2013-04-01 2018-09-04 微软技术许可有限责任公司 媒体流传送中的动态轨道切换

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451375B2 (en) * 2005-04-28 2013-05-28 Panasonic Corporation Lip-sync correcting device and lip-sync correcting method
CN101305618A (zh) * 2005-09-12 2008-11-12 Nxp股份有限公司 接收包括音频帧和视频帧的多媒体信号的方法
WO2007096853A1 (en) * 2006-02-21 2007-08-30 Markport Limited Audio and video communication
FR2900750B1 (fr) * 2006-05-02 2008-11-28 Oberthur Card Syst Sa Entite electronique portable apte a recevoir un flux de donnees multimedia diffuse.
US20090319279A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit loopback processing in an audio codec
US8411603B2 (en) * 2008-06-19 2013-04-02 Broadcom Corporation Method and system for dual digital microphone processing in an audio CODEC
US20090319260A1 (en) * 2008-06-19 2009-12-24 Hongwei Kong Method and system for audio transmit processing in an audio codec
KR101016600B1 (ko) * 2008-07-04 2011-02-22 최상준 분산형 휴대전화 인터넷 장치
US9185445B2 (en) 2009-09-24 2015-11-10 At&T Intellectual Property I, L.P. Transmitting a prioritized audio stream along with multimedia content
JP5258826B2 (ja) * 2010-03-26 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末装置及びアプリケーション制御方法
EP3110105A1 (en) * 2011-02-11 2016-12-28 Interdigital Patent Holdings, Inc. Method and apparatus for synchronizing mobile station media flows during a collaborative session
US9459768B2 (en) 2012-12-12 2016-10-04 Smule, Inc. Audiovisual capture and sharing framework with coordinated user-selectable audio and video effects filters
US9300713B2 (en) * 2013-08-16 2016-03-29 Qualcomm Incorporated Clock synchronization for multi-processor/multi-chipset solution
AT15134U1 (de) * 2015-08-26 2017-01-15 Reditune Österreich Bornhauser Gmbh Verfahren zur Auswahl einer Videodatengruppe aus einer Mehrzahl von Videodatengruppen
KR102129126B1 (ko) * 2017-04-04 2020-07-01 한국전자통신연구원 복수의 영상 동기화 방법 및 그 장치
US10834295B2 (en) * 2018-08-29 2020-11-10 International Business Machines Corporation Attention mechanism for coping with acoustic-lips timing mismatch in audiovisual processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949410A (en) * 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6654933B1 (en) * 1999-09-21 2003-11-25 Kasenna, Inc. System and method for media stream indexing
US6177928B1 (en) * 1997-08-22 2001-01-23 At&T Corp. Flexible synchronization framework for multimedia streams having inserted time stamp
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
US20040198386A1 (en) * 2002-01-16 2004-10-07 Dupray Dennis J. Applications for a wireless location gateway
US6377972B1 (en) * 1999-01-19 2002-04-23 Lucent Technologies Inc. High quality streaming multimedia
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
SE517245C2 (sv) * 2000-09-14 2002-05-14 Ericsson Telefon Ab L M Synkronisering av audio- och videosignaler
US6636270B2 (en) * 2000-12-14 2003-10-21 Microsoft Corporation Clock slaving methods and arrangements
US6888893B2 (en) * 2001-01-05 2005-05-03 Microsoft Corporation System and process for broadcast and communication with very low bit-rate bi-level or sketch video
US7080152B2 (en) * 2001-06-14 2006-07-18 International Business Machines Corporation Broadcast user controls for streaming digital content under remote direction
US7194676B2 (en) * 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827271B (zh) * 2009-03-04 2012-07-18 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
CN108495145A (zh) * 2013-04-01 2018-09-04 微软技术许可有限责任公司 媒体流传送中的动态轨道切换
CN105187688A (zh) * 2015-09-01 2015-12-23 福建富士通信息软件有限公司 一种对手机采集的实时视频和音频进行同步的方法及***
CN105187688B (zh) * 2015-09-01 2018-03-23 福建富士通信息软件有限公司 一种对手机采集的实时视频和音频进行同步的方法及***

Also Published As

Publication number Publication date
WO2006062715A1 (en) 2006-06-15
EP1825689A1 (en) 2007-08-29
US20060123063A1 (en) 2006-06-08
KR20070090184A (ko) 2007-09-05

Similar Documents

Publication Publication Date Title
CN101057504A (zh) 在便携式多媒体设备中的音频视频数据处理
US11482240B2 (en) Presentation of communications
US7647229B2 (en) Time scaling of multi-channel audio signals
US20060026632A1 (en) Formatting media for delivery to an A/V telecommunication device
EP0882359A2 (en) Multimedia communications with system-dependent adaptive delays
JP2005536132A (ja) 通信を中断することなしにビデオ会議中でのマルチメディアファイルのリアルタイム放映を行う方法と実行のための人間／機械インターフェイス
US9928844B2 (en) Method and system of audio quality and latency adjustment for audio processing by using audio feedback
KR960036650A (ko) 종합정보통신망을 이용한 화상회의 제어시스템
US10362173B2 (en) Web real-time communication from an audiovisual file
EP1855441A3 (en) Multimedia data monitoring method
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
US7912454B2 (en) Method and system for archiving data in real-time communications
US20100002068A1 (en) Communication terminal and method for performing video telephony
CN112543202B (zh) 一种网络会议传输共享声音的方法、***和可读存储介质
JPH07170502A (ja) 受信装置
TWI425838B (zh) 資料過濾方法
KR100706866B1 (ko) 이동 통신 단말기의 파일 전송 서비스를 지원하는 방법 및그 시스템
KR100678124B1 (ko) 화상 통신 단말 및 화상 통신 단말의 화상 통신 데이터처리 방법
JP2005020639A (ja) 衛星を利用した多地点テレビ会議システム
CN114639389A (zh) 语音通信回声消除的方法、设备及***
JPH07307933A (ja) マルチメディア通信端末
Langi A multimedia communication terminal for telephone channels based on H. 324
US20060031903A1 (en) Emergency call source locator on an A/V telecommunication system
WO1995015047A2 (en) Audio and video subsystems for computer-based conferencing system
EP1515554A1 (en) System for sending and receiving video and audio data through an IP network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20071017