CN103297808B - 用于在电子装置之间传输流的方法及其电子装置 - Google Patents

用于在电子装置之间传输流的方法及其电子装置 Download PDF

Info

Publication number
CN103297808B
CN103297808B CN201310058773.0A CN201310058773A CN103297808B CN 103297808 B CN103297808 B CN 103297808B CN 201310058773 A CN201310058773 A CN 201310058773A CN 103297808 B CN103297808 B CN 103297808B
Authority
CN
China
Prior art keywords
video flowing
coding
video
stream
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310058773.0A
Other languages
English (en)
Other versions
CN103297808A (zh
Inventor
李兴基
金洁润
金成宽
金钟圭
林宗圭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103297808A publication Critical patent/CN103297808A/zh
Application granted granted Critical
Publication of CN103297808B publication Critical patent/CN103297808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供用于在电子装置之间传输流的方法及其装置。提供了一种用于在第一电子装置和第二电子装置之间传输视频流的技术。第一装置接收编码的视频流并确定编码的视频流的编码格式是不是第二电子装置能够解码的格式。如果所述格式是能够解码的，则编码的视频流被发送到第二装置而不需再编码操作。按照确定的延时时间延时的在第一装置显示的视频流能够使将在第二电子装置处显示的视频流基本上与在第一电子装置处的显示同步。

Description

用于在电子装置之间传输流的方法及其电子装置
技术领域
本公开总体上涉及用于传输视频流的方法和电子装置，更具体地讲，涉及用于在根据短距离通信方案相互通信的电子装置之间传输视频流的方法和电子装置。
背景技术
电子装置之间的通信技术正在以各种方式发展。具体地讲，随着用于便携式终端的通信技术的进步和互联网连接的引入，包括便携式终端的电子装置之间的通信由于很多目的被使用。
Wi-Fi通信是无线局域网(WLAN)技术。WLAN向便携式终端提供诸如互联网的通信服务，其中，所述便携式终端(例如，智能电话、平板PC、个人数字助理(PDA)、笔记本电脑等)在距离安装的作为无线接入设备的接入点(AP)特定距离内移动。WLAN技术早期具有短的传播距离(大约10m)，但最近已将传播距离扩大到50m～几百米。WLAN中的数据传输率也已经提高到发送和接收大容量多媒体数据。
Wi-Fi通信的发展已使Wi-Fi直连技术得到发展，其中，Wi-Fi直连技术允许在Wi-Fi装置之间通过自由的通信来打印和共享内容而不需AP或路由器。还被称为Wi-Fi点对点(P2P)的Wi-Fi直连可通过将组所有者和P2P客户机进行分组来进行操作。
在此领域出现的称作Wi-Fi显示通信(Wi-Fi Display communication)的协议是用于在启用Wi-Fi的电子装置之间共享包括视频流和/或音频流的数据的技术。例如，Wi-Fi显示源电子装置(以下，“源装置”或仅称作“源”)将视频流和/或音频流发送到Wi-Fi显示接收器电子装置(以下，“接收器装置”或仅称作“接收器”)，两个装置共享流并同时通过屏幕和/或扬声器输出流。在Wi-Fi显示通信中，使用例如Wi-Fi直连技术实现连接。
这里，源装置表示发送视频流和/或音频流的装置，接收器装置表示接收视频流和/或音频流的装置。
Wi-Fi显示通信的标准在由Wi-Fi联盟定义的Wi-Fi显示规范中被描述，Wi-Fi联盟是建立无线协议的公司和单位的联盟。
用于将数据从Wi-Fi显示源装置发送到Wi-Fi显示接收器装置的Wi-Fi显示通信包括Wi-Fi显示(WFD)装置发现、WFD连接设置、WFD能力协商和WFD会话建立。除这些之外，WFD通信还可包括多个诸如链接内容保护的选择性操作。
当WFD会话被建立时，数据从WFD源装置被发送到WFD接收器装置。
现将解释WFD会话建立和从WFD源装置到WFD接收器装置的流传输。WFD源装置对存储在其中或从另一媒体(诸如互联网)接收的经过编码的流进行解码，并通过屏幕输出解码的视频流，通过扬声器输出音频流。这里，编码至少表示视频流和/或音频流的压缩。例如，以国际标准组织(ISO)-国际电子委员会(IEC)的运动图像专家组(MPEG)-4或国际电信联盟-电信标准部门(ITU-T)的H.264的格式对视频流进行压缩，以如下格式对音频流进行压缩：线性脉冲编码调制(LPCM)44.1、LPCM16-48、高级音频编码(AAC)、AC-3、鉴别、授权和计费(AAA，Authentication，Authorization，andAccounting)、自适应多码率(AMR)、音频媒体(WMA)、MEPG-2音频或MPEG-4音频。
WFD源装置对已被解码并通过屏幕/扬声器输出的原始流(例如，视频流和音频流)进行编码，并将新编码的流发送到WFD接收器装置。WFD接收器装置对从WFD源装置接收的经过编码的流进行解码，并通过屏幕输出视频流，通过扬声器输出音频流。因此，WFD源装置和WFD接收器装置共享音频流和视频流。
因此，WFD源装置对存储在其中或从另一媒体(诸如互联网)接收的经过编码的流进行解码，并通过屏幕/扬声器输出音频流/视频流，并对所述输出的原流进行再编码以便发送所述流。然而，对视频流进行编码是费时的。视频流需要的编码时间大约是音频流的编码时间的10倍，其中，所述编码时间可根据硬件编码器或软件编码模块的性能而不同。在相机应用中，作为WFD源装置的示例的便携式通信终端经常使用嵌入的数码相机捕获图像。当拍摄视频时，使用连续的拍摄来捕获大量的图像。随着产生的大量数据，为了存储捕获的图像或将捕获的图像发送给另一人，编码是必需的。随着便携式终端频繁使用用于编码图像的编码器(或软件编码模块)并且处理的图像数据量增加，这使装置资源紧张。
因此，在WFD通信中，需要通过修改WFD源电子装置的方法来解决WFD源电子装置的大量的编码时间，其中，WFD源电子装置用于对经过编码的视频流进行解码、通过屏幕输出原始视频流，并对输出的视频流进行再编码和发送。
发明内容
为了解决以上讨论的现有技术的不足，本发明的主要方面在于提供用于改善用于编码和发送解码的输出流的方法的电子装置。
本发明的另一方面在于提供一种用于改善解码的输出流的编码和发送的流发送方法。
本发明的另一方面在于提供一种用于改善用于编码和发送解码的输出音频流的方法的电子装置。
本发明的另一方面在于提供一种用于改善解码的输出音频流的编码和发送的发送方法。
本发明的另一方面在于提供一种与改善的电子装置对应的视频流接收装置。
本发明的另一方面在于提供一种与改善的发送方法对应的视频流接收方法。
根据本发明的示例性实施例，一种在第一(源)电子装置中能够操作的方法，包括：确定编码的视频流的编码格式是不是第二电子装置能够解码的格式；对编码的视频流的帧进行解码并通过第一电子装置的输出装置输出所述帧，并将编码的视频流发送到第二电子装置，其中，将编码的视频流发送到第二电子装置的步骤是指在从编码的视频流的帧时间信息延时确定的时间之后，不对编码的视频流进行再编码的情况下，发送编码的视频流。
根据本发明的示例性实施例，一种用于在第二电子装置中处理视频流的方法，包括：从自第一电子装置接收的编码的视频流的帧确认用于延时和输出编码的视频流的延时时间；通过按照所述延时时间延时视频流，对编码的视频流进行解码并通过第二电子装置的输出装置输出所述视频流。
根据本发明的示例性实施例，第一电子装置和第二电子装置均包括：一个或多个处理器；存储器；存储在存储器中的将由所述一个或多个处理器执行的一个或多个模块。所述模块包括用于执行根据本发明的方法的指令。
计算机可读存储介质存储包括指令的一个或多个程序，其中，当由电子装置执行所述指令时，所述指令使电子装置执行根据本发明的方法。
通过结合附图公开本发明的示例性实施例的下面的详细描述，对于本领域的技术人员来说，本发明的其它方面、优点和显著特征将变得清楚。
本发明的特定实施例可体现以下优点；当将流从源装置发送到接收器装置时，可改善用于源装置对编码的视频流进行解码、通过屏幕输出原始视频流、对输出的视频流进行再编码并发送的方法。
附图说明
通过下面结合附图的描述，本发明特定示例性实施例的上述和其他方面、特征和优点将更加清楚，其中：
图1A至图1C是示出根据本发明实施例的源装置和接收器装置之间的信号传输的简化框图；
图2是根据本发明示例性实施例的WFD源装置的框图；
图3是根据本发明示例性实施例的图2的处理器单元的框图；
图4是根据本发明示例性实施例的用于将流从WFD源装置发送到WFD接收器装置的WFD通信会话建立的流程图；
图5A是根据本发明示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图；
图5B是根据本发明示例性实施例的与图5A的流程图的方法对应的设备的示图，其中，所述方法用于建立用于将视频流从源装置发送到接收器装置的WFD通信会话；
图6A是根据本发明另一示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图；
图6B是根据本发明另一示例性实施例的与图6A的流程图的方法对应的设备的示图，其中，所述方法用于建立用于将视频流从源装置发送到接收器装置的WFD通信会话；
图7A是根据本发明另一示例性实施例的从源装置接收视频流的接收器电子装置用于接收并输出视频流的流程图；
图7B是根据本发明另一示例性实施例的与图7A的流程图对应的设备的示图，其中，所述流程图用于接收并输出从源装置接收视频流的接收器装置的视频流；
图8是根据本发明另一示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图；
图9是示出针对图5A的方法中发生的各种操作的示例性时序的时序图；
图10是示出针对图6A的方法中发生的各种操作的示例性时序的时序图。
在整个附图中，相同的标号将被理解为表示相同的部件、组件和结构。
具体实施方式
参照附图的以下描述被提供以帮助由权利要求及其等同物限定的本发明的示例性实施例的全面理解。它包括多种用于帮助该理解的具体细节，但那些具体细节将被认为仅是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可对在此描述的实施例进行各种改变和修改。另外，为了清楚和简洁，可省略公知功能和构造的描述。
在下面的描述和权利要求中使用的术语和词语不限于字面上的意义，而仅被发明人使用以能够清楚和一致地理解本发明。因此，对于本领域的技术人员来说，显然本发明的示例性实施例的以下描述仅为了说明的目的被提供，而不是为了限制由权利要求及其等同物限定的本发明的目的被提供。
应理解除非上下文明确指示，否则单数指代包括复数指代。因此，例如，参考“组件表面”包括参考一个或多个这样的表面。
所用的术语“基本上”意味着列举的特点、参数或值不需被准确地实现，但偏差或变化可发生不排除所述特点意在提供的效果的量，其中，所述偏差或变化包括例如，公差、测量误差、测量准确度限制以及本领域技术人员公知的其它因素。
本发明涉及一种用于在根据短距离通信方案彼此通信的电子装置之间传输至少一个视频流的方法、以及用于执行所述方法的电子装置。合适的短距离通信方案的示例包括但不限于：Wi-Fi显示方案、蓝牙方案、短距离有线通信方案、近场通信方案和无线局域网方案。以下，将在Wi-Fi显示方案的情况下描述本发明的实施例，但应理解其它通信环境也在本发明的范围内。
图1A至图1C是示出根据本发明实施例的源装置和接收器装置之间的信号传输的简化框图。参照图1A，Wi-Fi显示(WFD)兼容源装置110(以下简称为“源装置”或仅为“源”)将音频信号和视频信号发送到WFD兼容接收器装置120(以下简称为“接收器装置”或仅为“接收器”)。存储在第一媒体装置上被发送到另一媒体装置并在所述另一媒体装置上播放的音频/视频(A/V)信号被描述为被流传输到第二装置；因此如在此使用的“音频信号”和“视频信号”将分别可交换地称作“音频流”和“视频流”。在此，音频“流”或视频“流”还将表示从相同的装置内的存储器读取的音频/视频帧序列。在Wi-Fi显示规范中，音频信号和视频信号还被称作音频有效负荷和视频有效负荷。在此，在多种实施例中，源装置可能已经预先存储了A/V信号，该A/V信号随后被流传输到接收器装置。或者，就在将A/V信号流传输到接收器之前，由源实时从外部装置(诸如，从互联网)接收A/V信号并暂时存储所述A/V信号。当必要时，在源装置和接收器装置之间交换控制信号。例如，控制信号可从源被发送到接收器装置，以便控制接收器播放、停止或暂停视频流和/或音频流。
用于将数据从源发送到接收器的基于WFD的通信包括WFD装置发现、WFD连接设置、WFD能力协商和WFD会话建立。此外，WFD通信选择性地执行链接内容保护。
在图1A的WFD通信中，当源装置将视频流发送到接收器装置时，源将其存储的经过编码的视频流发送到接收器，而不是对通过源的输出装置(屏幕)输出的经过解码的视频流进行再编码，并将经过再编码的视频流传输到接收器。通过这样做，源装置从编码的视频流的帧时间信息延时特定时间来延时编码的视频流(以下，与图9-10关联地进行进一步的描述)。在图1A的WFD通信中，当源装置将视频流和音频流发送到接收器装置时，发送的视频流和音频流可被不同地处理。这里，所述不同的处理将在源装置存储的经过编码的视频流发送到接收器装置。然而，不同的处理对通过源装置的扬声器输出的经过解码的音频流进行再编码，并发送再编码的音频流。也就是说，针对视频流，源将存储在其中的经过编码的视频流发送到接收器，或发送包括输出延时信息的视频流，而不是对经过编码的视频流进行解码，对通过源的屏幕输出的原始视频流进行再编码，并将再编码的视频流发送到接收器。可选择地，不同的处理没有被使用，从而音频流也可以与视频流类似的方式被处理，即，在没有解码和再编码的情况下，音频流以其原始的编码形式被发送到接收器装置。
在图1A、图1B和图1C的操作中，信号被编码以减少存储和传输所需的数据量，其中，所述编码包括压缩方法。所述编码将信息的类型或形式转换为用于标准化、安全、处理速率增强或存储空间节省的其它类型或形式。例如，视频流和/或音频流根据特定格式被压缩。用于视频流压缩的合适的示例包括MPEG-4格式或H.264格式，用于音频流的示例是LPCM44.1格式、LPCM16-48格式、AAC格式、AC-3格式、AAA格式、AMR格式、WMA格式、MPEG-2音频或MPEG-4音频格式。
解码将经过编码的信息转换为原始信息。通常，解码是编码的逆处理。解码对编码的音频流和/或视频流进行解压缩，并输出原始流。视频原始流指示例如，亮度、蓝-Y、红-Y(YUV)流或红、绿、蓝(RGB)流。
图1B描述在根据本发明示例性实施例的WFD通信中仅视频流从WFD源装置130被发送到WFD接收器装置140的示例。这里，控制信号功能可基本上与图1A的控制信号功能相同。WFD通信会话建立也可与图1A相同。
在图1B的WFD通信中，视频可以以与以上针对图1A解释的方式相同的方式从源被流传输到接收器。也就是说，当源将视频流发送到接收器装置时，源将其存储的经过编码的视频流发送到接收器，而不是对通过其输出装置(屏幕)输出的解码的视频流进行再编码并将再编码的视频流发送到接收器。通过这样做，源从编码的视频流的帧时间信息延时特定时间来延时经过编码的视频流，或可将输出延时信息包括在所述视频流中。
图1C描述在根据本发明示例性实施例的WFD通信中视频流从WFD源装置150被发送到主要WFD接收器装置(以下，称为第一接收器装置)160并且音频流被发送到次要WFD接收器装置(以下，称为第二接收器装置)170的示例。这里，已在图1A中解释了控制信号功能。在图1C中，如图1A中所述的WFD通信中的会话建立被应用到源和第一接收器装置之间以及源和第二接收器装置之间。在此示例中，第一接收器装置和第二接收器装置被耦接。例如，所述耦接允许主要接收器160和次要接收器170共享由源装置150流传输给它们的音频流和视频流。
在图1C的WFD通信中，当源将视频流发送到第一接收器时，源将其存储的经过编码的视频流发送到第一接收器，而不是对通过其输出装置(屏幕)输出的解码的视频流进行再编码并将再编码的视频流发送到接收器。通过这样做，源从编码的视频流的帧时间信息延时特定时间来延时经过编码的视频流，或可发送包括输出延时信息的视频流。
当视频流和音频流被发送到单独的接收器装置时，如图1C的情况，视频流和音频流可以以不同的方式被处理和发送。具体地讲，被流传输到第一接收器160的视频可以是最初编码的视频(即，没有对所述视频进行再编码)，同时，如以上针对图1A所述，被流传输到第二接收器170的音频可以是经过再编码的音频。图2是WFD装置200的框图，其中，WFD装置200可作为源或接收器装置中的任何一个进行操作，以执行结合图1A-1C描述的操作。下面的描述将涉及其作为源装置的操作。源装置200可以是便携式(即，手持)电子装置或便携式终端，例如，智能电话、移动电话、移动平板(mobilepad)、媒体播放器、平板计算机、手持计算机、数码相机或个人数字助理(PDA)。源装置200可以是将那些装置的两个或更多个功能组合的便携式电子装置。
源装置200包括存储器210、处理器单元220、第一无线通信子***230、第二无线通信子***231、外部端口260、音频子***250、扬声器251、麦克风252、输入/输出(I/O)***270、触摸屏280以及其它输入/控制装置290。可使用多个存储器210和多个外部端口260。
处理器单元220可包括存储器接口221、处理器222和***接口223。存储器接口221、处理器222和/或***接口223可被单独地提供，或可被集成到一个或多个集成电路上。
处理器222(实际上可包括多个处理器)通过运行多种软件程序来执行针对电子装置200的多种功能，并处理和控制语音通信和数据通信。除上述典型的功能以外，处理器222还执行存储在存储器210中的软件模块(指令集)并执行与所述模块对应的多种特定功能。也就是说，处理器222结合存储器210中的软件模块执行根据本发明示例性实施例的方法。
以下，由源装置从外部源(诸如互联网)接收的或从源装置的存储器检索的用于在所述装置的屏幕上再现和显示的经过编码的视频流将被简称为“编码的视频流”。当视频流从外部源被接收时，在解码之前，它被暂时存在存储器中。在多种实施例中，处理器222对编码的视频流的编码格式和由目标接收器装置支持的编码格式进行比较。当编码的视频流的编码格式被接收器装置中的解码支持时，编码的视频流被流传输到接收器装置而不需再编码操作。处理器222通过执行存储器210的编解码器模块215来对编码的视频流进行解码，并通过触摸屏280输出解码的视频流。为了显示在源再现的视频流并同步地将所述流发送到接收器装置，编码的视频流从编码的视频流的帧时间信息延时特定时间而被延时，随后被发送到接收器电子装置。可选择地，为了通知接收器装置由于发送的编码的视频流是没有被解码的视频流，因此在源装置需要用于对编码的视频流进行解码的时间，包括输出延时时间信息的编码视频流被发送到接收器电子装置。(以下，结合图9-10解释这两种方法)。
处理器222可包括一个或多个数据处理器、图像处理器和编解码器(通过执行编解码器模块215的指令来实现)。数据处理器、图像处理器和编解码器可被单独地设置。可选择地，处理器222包括用于执行不同的功能的多个处理器。***接口223将电子装置200的I/O子***270和多种外设连接到处理器222。存储器接口221将处理器222连接到存储器210。
源电子装置200的多种组件可使用一个或多个通信总线、或一个或多个流线被耦接。
外部端口260用于将电子装置200直接连接到其它电子装置或经由网络(例如，互联网、内联网和无线LAN)间接连接到其它电子装置。外部端口260可以是但不限于例如通用串行总线(USB)端口或火线端口(FIREWIREport)。
动作传感器291和第一光学传感器292被耦接到***接口223，以允许多种功能。例如，动作传感器291和第一光学传感器292被耦接到***接口223，以检测电子装置的动作和来自外部的光。除这些以外，定位***和其它传感器(诸如，温度传感器或仿生传感器)可被耦接到***接口223以执行它们的功能。
相机子***293被耦接到第二光学传感器294以执行相机功能(诸如，照片和视频剪辑记录)。
第一光学传感器292和第二光学传感器294可采用电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件。
通过一个或多个无线通信子***230和231执行通信功能。无线通信子***230和231可包括射频接收器和发送器和/或光(例如，红外光)接收器和发送器。第一无线通信子***230和第二无线子***231可基于电子装置200的通信网络被区分。例如，通信网络可包括但不限于被设计为在如下网络中进行操作的通信子***：全球移动通信***(GSM)网络、增强型数据GSM环境(EDGE)网络、码分多址(CDMA)网络、W-CDMA网络、长期演进(LTE)网络、正交频分多址(OFDM)网络、Wi-Fi网络、WiMax网络和/或蓝牙网络。对于本发明的WFD实现，例如，使用第一子***230在Wi-Fi网络上执行Wi-Fi通信。在这种情况下，可针对能够实现数据流传输到接收器装置的短距离通信来设计第二子***231。第一无线通信子***230和第二无线通信子***231可被集成为单个无线通信子***。
音频子***250可被耦接到扬声器251和麦克风252，以处理音频流的输入和输出，诸如，语音识别、语音再现、数码录音和电话功能。也就是说，音频子***250通过扬声器251和麦克风252与用户通信。音频子***250通过处理器单元220的***接口223接收数据流，并将接收的数据流转换为电信号。经过转换的电信号被输入到扬声器251。扬声器251将电信号转换为用户可听的声波，并输出声波。麦克风252将来自用户或其它声源的声波转换为电信号。音频子***250从麦克风252接收转换的电信号。音频子***250将接收的电信号转换为音频数据流，并将经过转换的音频数据流发送到***接口223。音频子***250可包括拆装自如的耳机或头戴式耳机。
I/O子***270可包括触摸屏控制器271和/或其它输入控制器272。触摸屏控制器271可被耦接到触摸屏280。触摸屏280和触摸屏控制器271可使用如下的技术检测接触和动作以检测触摸手势，但不限于如下的技术：用于确定与触摸屏280接触的一个或多个接触点的电容式、电阻式、红外线和表面声波技术以及包括多种近距离传感器阵列或其它元件的多点触摸检测技术。其它输入控制器272可被耦接到其它输入/控制装置290。其它输入/控制装置290可包括用于控制扬声器251和麦克风252的音量的一个或多个上/下键。按钮可采用按钮或摇杆按钮。其它输入/控制装置290可采用翘板开关、拇指旋轮、拨盘、杆(stick)和/或诸如手写笔的指示器。
触摸屏280提供电子装置200和用户之间的I/O接口。也就是说，触摸屏280将用户的触摸输入转发到处理器220。触摸屏280还包括用作用于向用户显示电子装置200的输出的媒体的显示器。显示器上的可视化输出可被表现为文本、图形、视频和这些的结合。因此，编码的视频流被解码，并且结果视频在触摸屏的显示器上被再现。
触摸屏280可采用多种显示器、显示器的示例包括但不限于：液晶显示器(LCD)、发光二级管(LED)显示器、发光聚合物显示器(LPD)、有机LED(OLED)显示器、主动式矩阵OLED(AMOLED)显示器或柔性LED(FLED)显示器。
存储器210可被耦接到存储器接口221。存储器210可包括快速随机存取存储器(RAM)(诸如，一个或多个磁盘存储装置)和/或非易失性存储器、一个或多个光学存储装置和/或闪存(例如，NAND或NOR)。当编码的视频流从外部源被装置200接收时，在解码处理的过程中，编码的视频流被暂时存储在RAM中。
存储器210存储软件。软件组件包括操作***模块211、通信模块212、图形模块213、用户界面模块214、编解码器模块215、相机模块216和一个或多个应用模块217。作为软件组件的模块可被表现为指令的集合，因此模块可被称为指令集。此外，模块可被称为程序。
包括用于执行本发明的多种方法的指令的一个或多个模块可被存储在存储器210中。
操作***软件211(嵌入式操作***，诸如，WINDOWS、LINUX、Darwin、RTXC、UNIX、OSX或VxWorks)包括用于控制一般的***操作的多种软件组件。这些一般的***操作包括，例如，存储器管理和控制、存储硬件(装置)控制和管理和电源控制和管理。操作***软件211处理多种硬件(装置)和软件组件(模块)之间的普通的通信。
通信模块212允许通过无线通信子***230和231或外部端口260与外部电子装置(诸如，计算机、服务器和/或便携式终端)进行通信。
图形模块213包括用于在触摸屏280上提供和显示图形的多种软件组件。术语“图形”包括文本、网页、图标、数字图像、视频和动画。
用户界面模块214包括与用户界面相关的多种软件组件。用户界面模块214涉及用户界面的状态改变和用户界面状态改变的条件。
编解码器模块215可包括与视频文件的编码和解码相关的软件组件。编解码器模块215可包括视频流模块(诸如，MPEG模块和/或H.264模块)。编解码器模块215可包括针对AAA、AMR和WMA的多种音频文件编解码器模块。应用模块217可包括用于执行在此描述的本发明的方法的指令集。在经过解析的编码的视频流的包头(帧头)或包有效负荷(帧有效负荷)区域中，可从全部包的时间信息和/或每个帧的时间信息获得存储在源电子装置中的编码的视频流的帧时间信息。例如，时间信息包含在指示音频流(数据)和视频流(数据)如何在经过解析的编码的流中被交织的数据中。基于对应帧的时间信息可包括对应的帧的输出顺序。基于对应帧的时间信息可以是作为与何时显示所述帧相关的信息的当前时间戳(PTS)值。所述帧包括与时钟对应的节目时钟参考(PCR)，因此确认时间。
为了输出(即，显示)编码的视频流，解码的视频流的帧时间信息PTS可通过监视解码的视频流的输出帧来获得。
因此，例如，可通过对编码的视频流的帧时间信息PTS和解码的视频流输出的帧时间信息PTS进行比较来确定差值。
相机模块216包括允许与相机相关的处理和功能的与相机相关的软件组件。应用模块217还可包括浏览器、电子邮件、即时消息、字处理、模拟键盘、通讯录、触摸列表、小控件、数字版权管理(DRM)、语音识别、语音再现、位置确定功能和基于位置的服务。存储器210可包括除那些模块以外的额外的模块(指令)。可选择地，如果有必要，可不使用部分模块(指令)。
可通过包括一个或多个流处理和/或专用集成电路(ASIC)的硬件和/或软件和/或它们的组合来执行以上描述且将被解释的电子装置200的多种功能。
图3是描述处理器单元300的可选择的实施例的框图，处理器单元300可用在图2的处理器单元220的位置。处理器单元300包括存储器接口310、***接口340、处理器320和编解码器330。处理器单元300与处理器单元220的区别在于通过硬件而不是如处理器单元220中的编解码器功能的软件实现来实现编解码器330。处理器320被配置为结合编解码器330和经由存储在存储器210中的软件模块的执行来执行根据本发明的方法。也就是说，处理器320和编解码器330可一起执行如在此所列举的根据本发明的方法。
当装置200用作接收器装置(即，被使用在接收器装置模式下)时，处理器220根据从存储器210读取的指令控制对应的操作，以执行在此描述的接收器装置功能。所述操作可包括接收和处理得自源装置的视频流和音频流，对所述视频流进行解码，并与源装置的视频再现同步地显示被再现的视频。以与源装置模式相同的方式执行解码。
图4是根据本发明示例性实施例的用于将A/V流从WFD源装置发送到WFD接收器装置的WFD通信会话建立的流程图。为了开始WFD通信，WFD装置发现410、WFD连接设置420、WFD能力协商430和WFD会话建立440被执行。为了安全数据传输，链接内容保护(未示出)也可选择性地被执行。在WFD会话被建立之后，视频流和音频流可在WFD装置之间(从源到接收器装置)被传输。
在WFD装置发现410中，源装置和接收器装置确认相互存在(mutualpresence)。WFD连接设置420确定哪一种方法使用WFD连接。例如，WFD连接设置确定将用于WFD连接的Wi-Fi或其它短距离通信参数。WFD能力协商430确定实时流传输协议(RTSP)源装置和RTSP接收器装置之间的消息交换的顺序(sequence)。RTSP消息交换顺序被确定，以确定定义从源装置被发送到接收器装置的视频流/音频流的参数。在此步骤，接收器装置能够解码的视频流的编码格式(即，编码格式信息)可从接收器被发送到源装置。视频流格式信息的示例包括但不限于H.264或MPEG-4。当确定源装置和接收器装置之间的消息交换的顺序并确定被发送的视频流/音频流的参数时，接收器装置可将能够解码的视频流的编码格式信息发送到源装置。
WFD会话建立440建立源和接收器装置之间的会话。当会话被建立时，源装置可将其选择的流发送到接收器装置。所述流根据本发明在源装置和接收器装置之间被传输。此外，在必要时，可执行多个可选择的步骤(诸如，针对从源装置被发送到接收器装置的内容的安全的链接内容保护)。链接内容保护可在内容中配置高带宽数字内容保护(HDCP)2.0会话密钥。
图5A是根据本发明示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图。在步骤510，源装置确认编码的视频流的编码格式，并将所述编码格式与接收器装置能够解码和能够显示的格式进行比较。为此，在比较之前，源装置获得接收器装置的至少一个能够解码的格式的信息。也就是说，在确认编码的视频流的编码格式之前，源装置可从接收器装置接收接收器装置能够解码的视频的编码格式(即，编码格式信息)。编码格式的示例包括但不限于H.264和MPEG-4。接收器装置可能能够对视频流的多个编码格式进行解码。在例如图4的WFD能力协商430中，可接收接收器装置能够解码的视频的编码格式信息。也就是说，当确定源装置和接收器装置之间的消息交换的顺序和确定发送的视频/音频流的参数时，能够解码的视频的编码格式信息可从接收器装置被接收。接收器装置可使用控制信号、帧头(例如，包传输中的包头)或帧有效负荷的特定位置(例如，包传输的包有效负荷)发送视频流的编码格式信息。
在步骤510确认编码的视频流的编码格式之前，源装置可将询问编码的视频流的编码格式是不是接收器装置能够解码的格式的请求发送到接收器装置，并可从接收器装置接收针对所述请求的响应(在附图中未示出)。可在图4的WFD能力协商430中执行这些操作。
在步骤520，源装置对视频流进行解码并将所述视频显示在它自己的显示器上。另外，如果在步骤510的格式比较中确定为接收器装置的解码格式与编码的视频流的格式兼容，则编码的视频流被发送到接收器装置。在没有如现有的方法那样进行解码和再编码操作的情况下，完成该处理。如果编码的视频流是具有与音频数据交织的视频数据的经过交织的A/V流(“A/V流”)的部分，则在解码和发送之前，首先从A/V流提取视频流。也就是说，A/V流可被解析和划分为编码的音频流和编码的视频流。A/V流可以是但不限于从另一电子装置下载并被存储在源装置中的编码的数据流、从另一组件(诸如源装置的相机子***)获得的编码的数据流或被接收为在互联网上被流传输的数据流的编码的数据流。可使用硬件或软件实现解析。通过使用软件，用于解析的指令集可被提供为单独的解析模块或编解码器模块的部分，并被存储在图2的存储器210中。解析的视频流和音频流存储在源装置中。存储位置可以是存储器接口的部分、***接口的部分或单独的缓冲器存储器(RAM)。
当在步骤520解码的视频流显示在源装置并且编码的视频流被发送时，在源装置和接收器装置两者或其中一个引入有意的延时，从而在源处的编码的视频流的显示与到接收器装置的编码的视频流的传输同步。在经过解析的编码的视频流的包头(帧头)或包有效负荷(帧有效负荷)中，可从全部包的时间信息和/或构成所述包的每个帧的时间信息获得编码的视频流的帧时间信息。帧时间信息可对应于MPEG格式的图像参数集(PPS)和序列参数集(SPS)。对应的帧时间信息可包括对应的帧的输出顺序。对应的帧时间信息可以是作为关于对应的帧何时被显示的信息的PTS值。由于所述帧包括与时钟对应的PCR，因此可确认时间。
可通过监视解码的视频流的输出帧来获得用于输出编码的视频流的解码的视频流的帧时间信息PTS。
因此，例如，解码所花费的时间可被计算为通过将编码的视频流的帧时间信息PTS与解码和输出视频流的帧时间信息PTS进行比较而确定的时间差值。
此外，用于将视频流从源发送到接收器的链接延时可被确定。链接延时包括在源装置发生的调制和其它处理延时以及传播延时。在这种情况下，时间差可以是减去链接延时的在源装置解码所花费的时间。
另外，在接收器装置处的接收器/解调延时(“接收器延时”)可被确定。接收器延时包括接收器装置处的解调延时。在这种情况下，时间差可以是减去链接延时和接收器延时两者的在源装置解码所花费的时间。“链接延时”可被确定为源装置和接收器装置之间的往返时间(RTT)值的1/2。RTT指示源装置从接收器装置接收响应于发送的流的确认所花费的时间。用于测量RTT值的方法可采用公知方法中的任何合适的一种方法。
此外，可由接收器装置测量接收器装置解码时间(即，接收器装置用于接收和解码经过编码的视频流并通过其输出装置输出编码的视频流所花费的时间)。也就是说，可在经过解析的编码的视频流的包头(帧头)或包有效负荷(帧有效负荷)中确认编码的视频流的接收的帧时间信息。帧时间信息可对应于MPEG格式的PPS和SPS。由于所述帧包括与时钟对应的PCR，因此可确认时间。可通过监视解码的视频流的输出帧来获得用于输出编码的视频流的解码的视频流的输出时间。
可使用控制信号、包头或包有效负荷的特定区域向源装置通知从流接收到接收器装置中输出的接收的流的输出的时间值。可在源装置和接收器装置之间的图4的WFD能力协商430中指定包有效负荷的特定区域。
图9是示出针对图5A的方法中发生的多种操作的示例性时序的时序图。为简化解释，描述流传输视频流的单个视频帧的示例。在起始时间t0，假设源装置从外部装置或诸如相机的内部组件接收编码的视频帧，或从装置存储器检索视频帧。(这里，“接收”所述视频或音频流表示从外部装置或内部组件接收所述视频或音频流，或者从诸如视频库的存储器检索所述视频或音频流)。此时，源装置将所述帧暂时存储在RAM中。随后，在时间t1源装置开始对视频帧进行解码，并且在t2显示所述视频帧。因此，由源装置使用例如以上描述的技术之一计算源装置解码延时TD＝t2-t1。
在时间t2(在延时一段时间之后)，源装置开始将编码的视频帧(以及可选择地相应的音频帧)发送到接收器装置。在时间t1，源装置能够在其屏幕上显示解码的帧，即，再现(输出)视频帧。针对音频流，可执行模拟处理。
用于源装置从编码的视频流的帧时间信息延时特定时间来延时编码的视频流并发送到接收器装置的操作可包括根据传输流标准对编码的视频流进行封包(未示出)。封包可以是MPEG-2-TS容器格式，并可在根据电器和电子工程师学会(IEEE)802.11标准进行封包之前，使用实时传输协议(RTP)/通用数据报协议(UDP)/互联网协议(IP)头进行封装。
继续参照图5A，在步骤510的用于确认编码的视频流的编码格式的源装置的操作可包括确认编码的音频流的编码格式。也就是说，源装置确认将在源装置扬声器解码和播放的编码的音频流的编码格式是不是接收器装置的能够解码的格式。可结合如下处理完成步骤520的从编码的视频流的帧时间信息延时特定时间来延时编码的视频流并发送到接收器装置的步骤：对源装置解析和存储的编码的音频帧的帧进行解码；通过源装置的扬声器输出解码的音频帧；从编码的音频流的帧时间信息延时特定时间来延时编码的音频流；并将其发送到接收器装置。音频流的处理可与前述的视频流的处理类似。
为了处理提取的音频流，所述方法选择性地可包括源装置解码和输出(播放)音频流、并将输出的音频流再编码并发送到接收器装置的操作(前面结合“不同的处理”讨论过)。通过图5A的各个操作的指令集可包括在图2的存储器210的编解码器模块215中。在这种情况下，可由一个或多个处理器执行存储在存储器210中的编解码器模块215。可将指令集选择性地存储在应用模块217中。
图5B是可执行用于根据本发明示例性实施例的与图5A的流程图的方法的通用设备的示图，其中，所述方法建立用于将视频流从源装置发送到接收器装置的WFD通信会话。用于确认编码的视频流的编码格式的源装置的装置530确定源装置解码并通过源装置的输出装置输出的编码的视频流的编码格式是不是接收器装置能够解码的格式。用于输出解码的视频流并发送编码的视频流的装置540对编码的视频流的帧进行解码，通过源装置的输出装置输出解码的帧，并通过从编码的视频流的帧时间信息延时特定时间来延时编码的视频流来发送编码的视频流。
此外，设备还可包括：用于通过对视频流和音频流被交织的编码的流进行解析来分离音频流和视频流的装置(未示出)、用于从接收器装置接收接收器装置能够解码的视频流的编码格式的装置(未示出)、用于将询问编码的视频流的编码格式是否能够被接收器装置解码的请求，并从接收器装置接收所述请求的响应的装置(未示出)和/或用于根据传输流标准对编码的视频流进行封包的装置(未示出)。
此外，设备可包括用于解码和输出编码的音频流，对输出的音频流进行编码并将其发送到接收器装置的源装置的装置(未示出)。
可使用单独的硬件或单个硬件实现上述装置。
图6A是根据本发明另一示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图。在步骤610，源装置确认将在源装置显示的编码的视频流的编码格式，并确定所述编码格式是不是接收器装置能够解码的格式。在操作620，源装置发送包括延时信息的编码的视频流，并对编码的视频流的视频帧进行解码和显示。换句话说，源装置将编码的视频流发送到接收器装置，其中，编码的视频流的帧包括用于按照从编码的视频流的帧时间信息延时特定时间来延时并输出编码的视频流的特定时间的延时信息。可由包头或包有效负荷的特定区域携带延时信息。可在图4的WFD能力协商430中在源装置和接收器装置之间指定包有效负荷的特定区域。此外，特定控制信号可携带延时信息。
在步骤610确认编码的视频流的编码格式之前，可从接收器装置接收接收器装置能够解码的视频流的编码格式。该操作可参考图5A的相应的解释。
在步骤610源装置确认编码的视频流的编码格式之前，源装置可将询问编码的视频流的编码格式是不是接收器装置的能够解码的格式的请求发送到接收器装置，并可从接收器装置接收针对所述请求的响应，其中，所述编码的视频流被源装置解码并通过源装置的输出装置被输出。该操作可参考图5A中的相应的解释。
当在步骤620解码的视频流被输出并且包括延时信息的编码的视频流被发送时，在源电子装置对编码的视频流的帧进行解码之前，可通过对视频流和音频流交织的编码流(可称为视频)进行解析来分离音频流和视频流并进行存储(未在附图中示出)。该操作可参考图5A中的相应的解释。
图10是示出图6A的方法的多种操作的示例性时序的时序图。描述了流传输视频流的单个视频帧的示例。在起始时间t0，假设源装置接收或检索编码的视频帧。随后，在t1，源装置开始对视频帧进行解码并将视频流发送到接收器装置。这里，从源装置发送到接收器装置的编码的视频流的帧包括用于按照从编码的视频流的帧时间信息延时特定时间来延时并输出编码的视频流的特定时间的延时信息。可根据结合图5A和图9描述的方法计算延时信息。
继续参照图6A，在源装置通过按照从编码的视频流的帧时间信息延时特定时间来延时编码的视频流来将编码的视频流发送到接收器装置之前，编码的视频流可根据传输流标准被封包。该操作可参考图5A中的相应的解释。
此外，源装置用于确认编码的视频流的编码格式的操作610可包括确认编码的音频流的编码格式。也就是说，该操作确定由源装置解码并通过源装置的扬声器播放的编码的音频流的编码格式是不是接收器装置能够解码的格式。用于输出解码的视频流并发送包括延时信息的编码的视频流的操作620可通过解析编码的流对由源装置存储的编码的音频流的帧进行解码并通过源电子装置的输出装置输出所述帧，并通过包括指示通过从编码的音频流的帧时间信息延时特定时间来延时并输出编码的音频流的延时信息来将编码的音频流发送到接收器装置。关于音频流的解释基于以上提到的视频流。
如前面参照不同的处理所较早提及，作为用于处理提取的音频流的可选择的方案，源装置可对音频流进行解码和播放，对输出的音频流进行再编码，并将经过再编码的音频流发送到接收器装置。
针对图6A的各个操作的指令集可包括在图2的存储器210的编解码器模块215中。在这种情况下，可由一个或多个处理器执行存储在存储器210中的编解码器模块215。
图6B描述根据本发明另一示例性实施例的与图6A的流程图的方法对应的设备，其中，所述方法用于建立用于将视频流从源装置发送到接收器装置的WFD通信会话。用于确认编码的视频流的编码格式的源装置的装置630确定源装置解码并通过源装置的输出装置输出的编码的视频流的编码格式是不是接收器装置能够解码的格式。用于输出解码的视频流并发送包括延时信息的编码的视频流的装置640对编码的视频流的帧进行解码，通过源装置的输出装置输出所述帧，并通过包括指示通过从编码的音频流的帧时间信息延时特定时间来延时并输出编码的视频流的延时信息来将视频流发送到接收器装置。
此外，设备还可包括：用于通过对视频流和音频流被交织的编码的流进行解析来分离音频流和视频流的装置(未示出)、用于从接收器装置接收接收器装置能够解码的视频流的编码格式的装置(未示出)、用于发送询问编码的视频流的编码格式是否能够被接收器装置解码的请求，并从接收器装置接收所述请求的响应的装置(未示出)和/或用于根据传输流标准对编码的视频流进行封包的装置(未示出)。
此外，设备可包括用于解码和输出编码的音频流，对输出的音频流进行编码并将其发送到接收器装置的源装置的装置(未示出)。
可使用单独的硬件或单个硬件实现上述装置。
图7A是根据本发明另一示例性实施例的从源装置接收视频流的接收器装置用于接收并输出接收器装置的视频流的流程图。当在步骤710确认接收的编码的视频流的输出延时信息时，接收器装置从自源电子装置接收的编码的视频流的包(帧)确认用于延时的特定时间以解码和输出编码的视频流。接下来，当在步骤720通过根据延时信息进行延时来对编码的视频流进行解码并通过接收器装置的输出装置输出编码的视频流时，接收器装置根据确认的延时信息延时和输出用于对接收的编码的视频流进行解码并输出的时间。
用于延时和输出的方法可使用用于按照与延时信息对应的特定时间延时编码的视频流的解码时序的方法。
可选择地，所述方法可在对编码的视频流进行解码之后，按照与延时信息对应的特定时间延时输出装置的输出时序。
另外，如前面所述，接收器装置可从源装置接收编码的音频，对编码的音频流进行解码和输出。
图7B是根据本发明另一示例性实施例的与图7A的流程图对应的设备，其中，所述流程图用于接收并输出从源装置接收视频流的接收器装置的视频流。接收器装置包括用于确认接收的编码的视频流的输出延时信息的装置730以及用于通过根据延时信息进行延时来对编码的视频流进行解码并通过输出装置输出的装置740。用于确认接收的编码的视频流的输出延时信息的装置730从自源装置接收的编码的视频流的包(帧)确认用于延时的特定时间以解码和输出编码的视频流。用于通过根据延时信息进行延时来对编码的视频流进行解码并通过输出装置输出的装置740根据确认的延时信息延时和输出用于对接收的编码的视频流进行解码并输出的时间。
设备还可包括：用于通过按照与延时信息对应的特定时间对编码的视频流的解码时序进行延时来输出解码的视频流的装置(未示出)或用于在对编码的视频流进行解码之后，按照与延时信息对应的特定时间延时输出装置的输出时序的装置(未示出)。
此外，如上所述，接收器装置可接收编码的音频流，并对编码的音频流进行解码和输出。
可使用单独的硬件或单个硬件实现上述装置。
图8是根据本发明另一示例性实施例的用于将视频流从源装置发送到接收器装置的WFD通信会话建立的流程图。
所述方法在步骤810确定源装置的编码的视频流是不是由接收器装置能够解码的视频流格式。也就是说，所述方法确定由源装置解码并通过源装置的输出装置输出的编码的视频流的编码格式是不是接收器装置能够解码的格式。为此，可先执行用于从接收器装置接收接收器装置能够解码的视频流的编码格式(即，编码格式信息)的操作。接收器装置可对多个编码格式的视频流进行解码。可在例如图4的WFD能力协商430中接收接收器装置能够解码的视频流的编码格式信息。也就是说，当确定源装置和接收器装置之间的消息交换的顺序并确定发送的视频/音频流的参数时，可从接收器装置接收能够解码的视频流的编码格式信息。接收器装置可使用控制信号、帧头(包传输中的包头)或帧有效负荷(包传输的包有效负荷)的特定位置发送视频流的编码格式信息。
可先执行如下的操作(未示出)：将询问编码的视频流的编码格式是不是接收器装置能够解码的格式的请求从源装置发送到接收器装置，并从接收器装置接收所述请求的响应，其中，由源装置对所述编码的视频流进行解码并通过源装置的输出装置输出。可在图4的WFD能力协商430中执行该操作。
当源装置的编码的视频流是接收器装置能够解码的格式时，在步骤820，所述方法确认存储在源装置中的编码的视频流的帧(包)时间信息，并确认解码的视频流的帧(包)时间信息以输出编码的视频流。(在步骤820，视频流在源装置被解码的同时并被输出到源装置的屏幕上。)
通过对编码的视频流和音频流被交织的编码的流(视频)进行解析来分离和存储编码的音频流和编码的视频流，来获得编码的视频流。
编码的流可以是但不限于从其它装置下载并被存储在源装置中的编码的流、从组件(诸如源装置的相机子***)获得的编码的流或在互联网上被流传输的编码的流。可使用硬件或软件实现解析。通过使用软件，用于解析功能的指令集可被提供为单独的解析模块或编解码器模块的部分，并随后被存储在图2的存储器210中。解析的视频流和音频流存储在源电子装置中。它们的存储位置可以是存储器接口的部分、***接口的部分或单独的缓冲器存储器(RAM)。
在经过解析的编码的视频流的包头(帧头)或包有效负荷(帧有效负荷)中，可从全部包的时间信息和/或每个帧的时间信息获得存储在源装置中的编码的视频流的帧时间信息。帧时间信息对应于MPEG格式的PPS和SPS。对应的帧时间信息表示对应的帧的输出顺序。可通过监视解码的视频流的输出帧来获得用于输出编码的视频流的解码的视频流的帧时间信息。因此，可通过比较编码的视频流的帧时间信息和解码和输出的视频流的帧时间信息来确定差值。
可通过从存储在第一存储装置中的编码的视频流的帧时间信息和用于输出编码的视频流的解码的视频流的帧时间信息的差值，减去从源装置的发送到接收器装置的接收所花费的时间来产生差值。从源装置的发送到接收器装置的接收所花费的时间可以是源装置和接收器装置之间的RTT值的1/2。
可通过从存储在第一存储装置中的编码的视频流的帧时间信息和用于输出的编码的视频流的解码的视频流的帧时间信息的差值减去源装置和接收器装置的传输所花费的时间以及接收器装置接收、解码编码的视频流并通过其输出装置输出该视频流所花费的时间，来产生所述差值。可由接收器装置测量接收器装置接收、解码编码的视频流并通过其输出装置输出该视频流所花费的时间。可使用控制信号、包头、或包有效负荷的特定区域将该特定时间值通知给源装置。可在源装置和接收器装置之间的图4的WFD能力协商430期间，执行包有效负荷的特定区域。
接下来，在步骤830，所述方法通过应用编码的视频流的帧(包)时间信息和输出的解码的视频流的帧(包)时间信息的差值，来监听编码的视频流。所述差值可使用前面解释的多种值。在步骤830，编码的视频流的监听的步骤包括按照所述差值延时编码的视频流。
在步骤840，根据传输流标准对编码的视频流进行封包。所述封包可采用，例如，MPEG-2-TS容器格式，并在根据IEEE 802.11标准进行封包之前，使用RTP/UDP/IP头进行封装。
在步骤850，源装置将编码的视频流发送到接收器装置。
另外，当所述方法在步骤810确定源装置的编码的视频流是接收器装置能够解码的视频流格式时，可确认编码的音频流的编码格式。也就是说，所述方法确定由源装置解码并通过源装置的输出装置输出的编码音频流的编码格式是不是接收器装置能够解码的格式。如上所述，可基于上述视频流的描述解释对音频流的随后的处理。
源装置还可对编码的音频流进行解码和输出，并对输出的音频流进行编码并发送到接收器装置(附图中未示出)。
如果在步骤810，确定编码的视频流格式不与接收器装置的任何解码格式兼容，则所述方法进行到步骤860。这里，在源装置对视频流进行解码和输出，并且在步骤870，随后以传统的方式以与接收器装置的解码格式兼容的格式对解码的视频进行再编码。随后在步骤840和850，对再编码的视频流进行封包和发送。
针对图8的各个操作的指令集可包括在图2的存储器210的编解码器模块215中。在这种情况下，可由一个或多个处理器执行存储在存储器210中的编解码器模块215。
可以以包括在本说明书中公开的结构和它们的结构的等同物的计算机软件、固件、硬件或它们中的一个或多个的组合，来实现这里描述的本发明的示例性实施例和多种功能操作。本发明的示例性实施例可被实现为一个或多个计算机程序产品，即，一个或多个数据处理器，或在计算机可读介质上被编码以控制装置的计算机程序指令的一个或多个模块。
计算机可读介质可以是机器可读的存储介质、机器可读的存储基底(substrate)、存储装置、影响机器可读的传播流的物质或这些中的一个或多个的组合。术语“数据处理器”包括包含例如可编程处理器、计算机、多个处理器或计算机的用于处理数据的每个装置、设备和机器。可将所述装置添加到硬件，并可包括用于创建对应的计算机程序的执行环境的程序，例如，用于组成处理器固件的代码、协议栈、数据库管理***、操作***或这些中的一个或多个的组合。
传播的流是人工产生的流，例如，为对用于传输到合适的接收器的信息进行编码而产生的机器产生的电、光或电磁流。计算机程序(也被称为程序、软件、软件应用、脚本或代码)可被写为包括编译或解释语言的程序语言的任何形式，并可被配置为包括独立的程序或模块、组件、子例程或其它适于在计算机环境中使用的其它单元的任何形式。计算机程序可不需对应于文件***的文件。程序可存储在具有其它程序或数据的文件的部分中(例如，存储在标记语言文档中的一个或多个脚本)，或被存储在专用于对应的程序，或被存储在多个并列文件中(例如，一个或多个模块、子程序或代码部分)。
计算机程序可被配置为在位于一个位置或分布于多个位置并与通信网络互连的一个或多个计算机上被执行。可由执行通过对输入数据进行操作并产生输出来执行功能的一个或多个计算机程序的一个或多个可编程处理器，来执行在本说明书中描述的处理器和逻辑流。还可由专用逻辑电路执行处理和逻辑流，并且所述设备也可被实现为所述专用逻辑电路(例如，现场可编程门阵列(FPGA)或专用集成电路(ASIC))。
虽然本说明书包含很多特定细节，但这些不应被解释为对任何发明或可能要求保护的范围的限制，而应被解释为特定于特定发明的特定实施例的特征的描述。在单独的实施例的情况下在本说明书中描述的特定特征还可被实现为组合的单个实施例。相反，在单个实施例的情况下描述的多种特征还可被单独地实现为多个实施例，或被实现为任何合适的子组合。另外，虽然以上特征可被描述为在特定组合下工作并且即使最初这样声明，在某些情况下，也可从声明的组合中删除所述声明的组合的一个或多个特征，并且声明的组合可指向子组合或子组合的变化。类似地，虽然在附图中以特定顺序描述操作，但这不应被理解为需要以示出的特定顺序或连续的顺序执行所述操作，或者执行所有示出的操作，以实现期望的结果。在某些情况下，多任务和并行处理会是有益的。另外，在以上描述的实施例中的多种***组件的分割不应被理解为在所有的实施例中需要的分割，并应理解描述的程序组件和***通常可被一起集成在单个软件产品或被封装到多个软件产品中。
虽然已参照本发明的特定示例性实施例示出和描述了本发明，但本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在形式和细节上进行各种改变。

Claims (24)

1.一种在第一电子装置中能够操作的方法，包括：
确定编码的视频流的编码格式是不是第二电子装置能够解码的格式；
如果编码的视频流的编码格式是第二电子装置能够解码的格式，则对编码的视频流的帧进行解码并通过第一电子装置的输出装置输出所述帧，并将编码的视频流发送到第二电子装置，
其中，将编码的视频流发送到第二电子装置的步骤是指在通过从编码的视频流的帧时间信息延时特定时间之后，不对编码的视频流进行再编码的情况下，发送经延时的编码的视频流。
2.如权利要求1所述的方法，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间。
3.如权利要求1所述的方法，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间和将编码的视频流发送到第二电子装置的链接延时。
4.如权利要求1所述的方法，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间、将编码的视频流发送到第二电子装置的链接延时和在第二电子装置处对编码的视频流进行解码的解码时间。
5.如权利要求1所述的方法，在确定编码格式是不是能够解码的格式之前，还包括：
从第二电子装置接收第二电子装置能够解码的视频流的编码格式。
6.如权利要求1所述的方法，在确定编码格式是不是能够解码的格式之前，还包括：
将询问编码的视频流的编码格式是不是第二电子装置能够解码的格式的请求从第一电子装置发送到第二电子装置；
在第一电子装置处，从第二电子装置接收所述请求的响应。
7.如权利要求2所述的方法，其中，基于编码的视频流的帧时间信息获得解码时间，其中，从在对编码的A/V流进行解析以获得编码的视频流和编码的音频流之后、存储的编码的视频流的头获得所述编码的视频流的帧时间信息。
8.如权利要求2所述的方法，其中，基于通过监视解码的视频流的输出帧而获得的解码的视频流的帧时间信息获得解码时间。
9.如权利要求1所述的方法，其中，特定时间至少部分基于通过比较编码的视频流的帧时间信息和解码的视频流的帧时间信息而确定的时间，其中，从在对编码的视频流进行解析之后存储的编码的视频流的头获得所述编码的视频流的帧时间信息，通过监视被解码和显示的视频流的输出帧来获得所述解码的视频流的帧时间信息。
10.如权利要求1所述的方法，其中，通过根据传输流标准对编码的视频流进行封包来将编码的视频流发送到第二电子装置。
11.如权利要求1所述的方法，其中，编码的视频流是编码的音频/视频A/V流的部分，所述方法还包括：
确定A/V流的音频流的编码格式是不是第二电子装置能够解码的格式，如果是，则在不对编码的音频流进行再编码的情况下，将编码的音频流发送到第二电子装置。
12.如权利要求1所述的方法，还包括：
在第一电子装置中对编码的音频流进行解码和输出，对输出的音频流进行再编码并将其发送到第二电子装置。
13.一种第一电子装置，包括：
一个或多个处理器：
存储器；
存储在存储器中的将由所述一个或多个处理器执行的一个或多个模块，
其中，所述一个或多个模块存储具有以下功能的指令：确定编码的视频流的编码格式是不是第二电子装置能够解码的格式、如果编码的视频流的编码格式是第二电子装置能够解码的格式，则将编码的视频流发送到第二电子装置，其中，将编码的视频流发送到第二电子装置的步骤是指在从编码的视频流的帧时间信息延时特定时间之后，不对编码的视频流进行再编码的情况下，发送经延时的编码的视频流。
14.如权利要求13所述的第一电子装置，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间。
15.如权利要求13所述的第一电子装置，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间和将编码的视频流发送到第二电子装置的链接延时。
16.如权利要求13所述的第一电子装置，其中，特定时间至少部分基于在第一电子装置处的视频流的解码时间、将编码的视频流发送到第二电子装置的链接延时和在第二电子装置处对编码的视频流进行解码的解码时间。
17.如权利要求13所述的第一电子装置，其中，所述一个或多个模块还存储用于辨别来自第二电子装置的第二电子装置能够解码的视频流的编码格式的接收的指令。
18.如权利要求13所述的第一电子装置，其中，所述一个或多个模块还存储用于将询问编码的视频流的编码格式是不是第二电子装置能够解码的格式的请求发送到第二电子装置，并用于辨别来自第二电子装置的所述请求的响应的接收的指令。
19.如权利要求14所述的第一电子装置，其中，解码时间基于编码的视频流的帧时间信息，其中，从在对编码的视频流进行解析之后存储的编码的视频流的头获得所述编码的视频流的帧时间信息。
20.如权利要求14所述的第一电子装置，其中，解码时间基于通过监视解码的视频流的输出帧而获得的解码的视频流的帧时间信息。
21.如权利要求13所述的第一电子装置，其中，特定时间至少部分基于通过比较编码的视频流的帧时间信息和解码的视频流的帧时间信息而确定的时间，其中，从在对编码的视频流进行解析之后存储的编码的视频流的头获得所述编码的视频流的帧时间信息，通过监视被解码和显示的视频流的输出帧来获得所述解码的视频流的帧时间信息。
22.如权利要求13所述的第一电子装置，其中，所述一个或多个模块还存储用于根据传输流标准对编码的视频流进行封包的指令。
23.如权利要求13所述的第一电子装置，其中，编码的视频流是音频/视频A/V流的部分，所述指令还包括具有以下功能的指令：
确定A/V流的音频流的编码格式是不是第二电子装置能够解码的格式，如果是，则在不对编码的音频流进行再编码的情况下，将编码的音频流发送到第二电子装置。
24.如权利要求13所述的第一电子装置，包括包含显示解码的视频流的显示器的触摸屏。
CN201310058773.0A 2012-02-24 2013-02-25 用于在电子装置之间传输流的方法及其电子装置 Active CN103297808B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0018922 2012-02-24
KR1020120018922A KR101917174B1 (ko) 2012-02-24 2012-02-24 전자 장치 사이의 스트림 전송 방법 및 그 방법을 처리하는 전자 장치

Publications (2)

Publication Number Publication Date
CN103297808A CN103297808A (zh) 2013-09-11
CN103297808B true CN103297808B (zh) 2016-09-28

Family

ID=47891384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310058773.0A Active CN103297808B (zh) 2012-02-24 2013-02-25 用于在电子装置之间传输流的方法及其电子装置

Country Status (4)

Country Link
US (2) US9386065B2 (zh)
EP (1) EP2632168B1 (zh)
KR (1) KR101917174B1 (zh)
CN (1) CN103297808B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107010B2 (en) 2005-01-05 2012-01-31 Rovi Solutions Corporation Windows management in a television environment
TWI495330B (zh) * 2010-08-02 2015-08-01 Ncomputing Inc 有效地串流數位視訊的系統及方法
US8788578B2 (en) * 2011-07-11 2014-07-22 Roku, Inc. Method and apparatus for customized provisioning of on-line application channels
US10158690B2 (en) * 2012-09-28 2018-12-18 Samsung Electronics Co., Ltd Method and system for streaming multimedia content in a wireless fidelity display network environment
US9826015B2 (en) * 2013-09-04 2017-11-21 Qualcomm Incorporated Dynamic and automatic control of latency buffering for audio/video streaming
JP2015080025A (ja) * 2013-10-15 2015-04-23 株式会社東芝 電子機器および通信制御方法
WO2015056296A1 (ja) * 2013-10-15 2015-04-23 株式会社 東芝 電子機器および通信制御方法
US10028002B2 (en) * 2013-12-16 2018-07-17 Samsung Electronics Co., Ltd. Server device for sharing contents, client device, and method for sharing contents
CA2938753C (en) * 2014-02-06 2021-04-13 Lg Electronics Inc. Method for performing wi-fi display service and device for same
US20150253974A1 (en) 2014-03-07 2015-09-10 Sony Corporation Control of large screen display using wireless portable computer interfacing with display controller
US20150350288A1 (en) * 2014-05-28 2015-12-03 Qualcomm Incorporated Media agnostic display for wi-fi display
US9912994B2 (en) * 2014-07-03 2018-03-06 Mobiledirect, Inc. Interactive distributed multimedia system
US9665336B2 (en) * 2014-07-29 2017-05-30 Qualcomm Incorporated Direct streaming for wireless display
CN104219551A (zh) * 2014-09-29 2014-12-17 武汉诚迈科技有限公司 一种智能设备屏幕共享与远程控制的方法
US20160098180A1 (en) * 2014-10-01 2016-04-07 Sony Corporation Presentation of enlarged content on companion display device
US11044386B1 (en) * 2014-12-18 2021-06-22 The Directv Group, Inc. Method and system for synchronizing playback of independent audio and video streams through a network
US10547896B2 (en) 2015-04-21 2020-01-28 Intel Corporation Techniques for communicating display streams
US10925014B2 (en) * 2015-07-16 2021-02-16 Samsung Electronics Co., Ltd. Method and apparatus for synchronization in a network
US10993069B2 (en) * 2015-07-16 2021-04-27 Snap Inc. Dynamically adaptive media content delivery
HUE057841T2 (hu) * 2016-06-29 2022-06-28 Ericsson Telefon Ab L M A jelérzékelési mód adaptív kiválasztása
US10033789B2 (en) * 2016-09-29 2018-07-24 Intel Corporation Connectionless wireless media broadcast
US10270832B1 (en) * 2016-12-30 2019-04-23 Tribune Broadcasting Company, Llc Method and system for modifying a media stream having a variable data rate
JP6873762B2 (ja) * 2017-03-15 2021-05-19 キヤノン株式会社 通信装置、通信システム、通信方法、および、プログラム
CN108809918B (zh) * 2017-05-04 2021-05-25 ***通信集团重庆有限公司 媒体流传输方法及装置
US11206442B2 (en) 2017-08-01 2021-12-21 Vishare Technology Limited Methods and apparatus for video streaming with improved synchronization
KR102445544B1 (ko) * 2018-04-02 2022-09-21 삼성전자 주식회사 전자장치, 그 제어방법 및 기록매체
KR20200055596A (ko) * 2018-11-13 2020-05-21 삼성전자주식회사 차량에 탑재되는 단말 장치가 영상을 전송하는 방법 및 차량의 주행을 제어하는 원격 제어 장치가 영상을 수신하는 방법
JP2020148888A (ja) * 2019-03-13 2020-09-17 株式会社デンソー 表示制御装置、表示装置、表示制御システム、表示制御プログラム及び表示プログラム
KR20210028880A (ko) * 2019-09-05 2021-03-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20220014519A (ko) 2020-07-29 2022-02-07 삼성전자주식회사 외부 장치들이 출력하는 컨텐츠의 출력 시점을 동기화하는 전자 장치 및 전자 장치의 동작 방법
KR20220098577A (ko) * 2021-01-04 2022-07-12 삼성전자주식회사 오디오 데이터 처리 방법 및 이를 지원하는 전자 장치
KR20220136778A (ko) * 2021-04-01 2022-10-11 삼성전자주식회사 오디오 공유를 지원하기 위한 전자 장치
KR20220144241A (ko) * 2021-04-19 2022-10-26 삼성전자주식회사 서버 및 그 제어 방법
EP4300994A4 (en) 2021-04-30 2024-06-19 Samsung Electronics Co., Ltd. METHOD AND ELECTRONIC DEVICE FOR RECORDING AUDIO DATA FROM MULTIPLE DEVICES
KR20220149250A (ko) * 2021-04-30 2022-11-08 삼성전자주식회사 복수의 장치에서 획득한 오디오 데이터 녹음 방법 및 전자 장치
US20230300223A1 (en) * 2022-01-27 2023-09-21 Shure Acquisition Holdings, Inc. Audio System
CN115866298B (zh) * 2022-11-24 2023-12-19 苏州睿芯通量科技有限公司 一种视频处理方法、***、电子设备及存储介质
CN115842919B (zh) * 2023-02-21 2023-05-09 四川九强通信科技有限公司 一种基于硬件加速的视频低延迟传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201222206Y (zh) * 2008-05-27 2009-04-15 王童 折叠式双屏显示笔记本电脑
CN101605252A (zh) * 2009-07-17 2009-12-16 深圳创维数字技术股份有限公司 将节目流转换成传输流的方法和***
CN101803390A (zh) * 2007-09-21 2010-08-11 汤姆森特许公司 对用户可观察信号进行同步的设备和方法
CN101807389A (zh) * 2010-03-19 2010-08-18 上海博康智能网络科技有限公司 大屏拼接方法及***

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446759A (en) * 1992-03-12 1995-08-29 Ntp Incorporated Information transmission system and method of operation
KR100358021B1 (ko) * 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5659539A (en) * 1995-07-14 1997-08-19 Oracle Corporation Method and apparatus for frame accurate access of digital audio-visual information
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6014545A (en) * 1997-03-27 2000-01-11 Industrial Technology Research Institute Growable architecture for high-speed two-way data services over CATV networks
US6845107B1 (en) * 1997-10-15 2005-01-18 Sony Corporation Video data multiplexer, video data multiplexing control method, method and apparatus for multiplexing encoded stream, and encoding method and apparatus
JP2002064802A (ja) * 2000-08-21 2002-02-28 Sony Corp データ伝送システム、データ伝送装置及び方法、シーン記述処理装置及び方法
JP4116470B2 (ja) * 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー メディア・ストリーミング配信システム
KR20040009927A (ko) * 2002-07-26 2004-01-31 삼성전자주식회사 Ｄｔｖ 스트림 생성을 위한 정보를 저장하는정보저장매체, ｄｔｖ 스트림 변환 방법 및 그 장치
US7627629B1 (en) * 2002-10-30 2009-12-01 Cisco Technology, Inc. Method and apparatus for multipoint conferencing
US20060031889A1 (en) 2002-12-11 2006-02-09 Bennett James D Video processing system with simultaneous multiple outputs each with unique formats
CN101159518B (zh) * 2003-02-03 2012-02-22 索尼株式会社 通信方法和通信设备
JP4289138B2 (ja) * 2003-12-09 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
EP1816868B1 (en) * 2004-11-25 2010-05-19 Panasonic Corporation Repeater apparatus and method for controlling the same
EP1675399A3 (en) * 2004-12-23 2009-04-29 Bitband Technologies Ltd. Fast channel switching for digital TV
US7657829B2 (en) * 2005-01-20 2010-02-02 Microsoft Corporation Audio and video buffer synchronization based on actual output feedback
US7447983B2 (en) * 2005-05-13 2008-11-04 Verizon Services Corp. Systems and methods for decoding forward error correcting codes
EP1814334A4 (en) * 2005-10-12 2010-04-28 Nec Corp METHOD, DEVICE AND SYSTEM FOR CONVERSION OF MOVEMENT PICTURES, SERVER DEVICE AND PROGRAM
EP1946293A1 (en) * 2005-11-07 2008-07-23 Telefonaktiebolaget L M Ericsson (PUBL) Method and arrangement in a mobile telecommunication network
US8275732B2 (en) * 2005-11-30 2012-09-25 Sony Corporation High definition multimedia interface transcoding system
EP2134013A4 (en) * 2007-03-26 2011-09-07 Panasonic Corp DIGITAL BROADCAST TRANSMITTING APPARATUS, DIGITAL BROADCAST RECEIVING APPARATUS, AND DIGITAL BROADCASTING TRANSMITTING / RECEIVING SYSTEM
US20090015723A1 (en) * 2007-06-18 2009-01-15 Sony Corporation Of Japan Media switching device
KR101132043B1 (ko) 2007-08-27 2012-04-02 후지쯔 가부시끼가이샤 디코더 장치 및 디코드 방법
JP5236938B2 (ja) * 2007-12-03 2013-07-17 パナソニック株式会社 デジタル放送受信装置、半導体集積回路及びデジタル放送受信方法
US8411569B2 (en) * 2008-01-10 2013-04-02 Alcatel Lucent Method of splicing encoded multimedia data streams
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
US8253860B2 (en) * 2008-04-07 2012-08-28 Mediatek Inc. System, method and devices for HDMI transmission using a commonly supported media format
EP2129130A1 (fr) * 2008-05-26 2009-12-02 THOMSON Licensing Procédé de transmission simplifié d'un flux de signaux entre un émetteur et un appareil électronique
US8126433B2 (en) * 2008-09-15 2012-02-28 Sony Ericsson Mobile Communications Ab Electronic devices and methods that communicate via transferjet and NFC transmitter and receiver pairing
US8542749B2 (en) * 2008-12-17 2013-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for measuring audiovisual synchronisation
WO2010106075A1 (en) * 2009-03-16 2010-09-23 Koninklijke Kpn N.V. Modified stream synchronization
US20100272102A1 (en) * 2009-04-23 2010-10-28 Stmicroelectronics, Inc. System and method for packet messaging and synchronization
WO2010131314A1 (ja) * 2009-05-14 2010-11-18 パナソニック株式会社 ビデオデータの伝送方法
US20100302346A1 (en) 2009-05-27 2010-12-02 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
US20110157298A1 (en) 2009-12-31 2011-06-30 Tingxue Huang System for processing and synchronizing large scale video conferencing and document sharing
KR101092493B1 (ko) 2010-04-13 2011-12-13 주식회사 텔레칩스 디스플레이 장치의 입력 장치를 이용한 호스트 제어 시스템 및 방법
US9596522B2 (en) 2010-06-04 2017-03-14 Mobitv, Inc. Fragmented file structure for live media stream delivery
CN102256128B (zh) * 2011-07-12 2013-07-24 浙江宇视科技有限公司 同步解码方法及其装置
US20130058419A1 (en) * 2011-09-05 2013-03-07 Zhou Ye Wireless video/audio data transmission system
US9380321B2 (en) * 2012-01-18 2016-06-28 Disney Enterprises, Inc. Method and apparatus for low-latency camera control in a wireless broadcasting system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101803390A (zh) * 2007-09-21 2010-08-11 汤姆森特许公司 对用户可观察信号进行同步的设备和方法
CN201222206Y (zh) * 2008-05-27 2009-04-15 王童 折叠式双屏显示笔记本电脑
CN101605252A (zh) * 2009-07-17 2009-12-16 深圳创维数字技术股份有限公司 将节目流转换成传输流的方法和***
CN101807389A (zh) * 2010-03-19 2010-08-18 上海博康智能网络科技有限公司 大屏拼接方法及***

Also Published As

Publication number Publication date
US9386065B2 (en) 2016-07-05
US20160294912A1 (en) 2016-10-06
KR101917174B1 (ko) 2018-11-09
EP2632168B1 (en) 2016-04-06
CN103297808A (zh) 2013-09-11
EP2632168A1 (en) 2013-08-28
US9954923B2 (en) 2018-04-24
US20130223539A1 (en) 2013-08-29
KR20130097336A (ko) 2013-09-03

Similar Documents

Publication Publication Date Title
CN103297808B (zh) 用于在电子装置之间传输流的方法及其电子装置
ES2864863T3 (es) Mapa de pantalla y códec progresivo basado en estándares para codificación de contenido de pantalla
EP2632106A1 (en) Method for transmitting stream and electronic device for the method thereof
JP6219310B2 (ja) ワイヤレスディスプレイのためのユーザ入力バックチャネルを介した双方向トンネリング
CN106028066B (zh) 分布式媒体流同步控制
US9438852B2 (en) Video share model-based video fixing
US9866611B2 (en) Display apparatus and display system
CN105027531A (zh) 针对无线显示设备的用户输入控制的无连接传输
CN109981607A (zh) 媒体流处理方法及装置、电子设备和存储介质
MX349110B (es) Método para codificar video para un entorno de decodificador y dispositivo para el mismo y método para decodificar video con base en el entorno de decodificador y dispositivo para el mismo.
CN106664458A (zh) 用于无线显示的直接流式传输
CN105874804A (zh) 针对hevc扩展的子比特流提取过程
TWI476759B (zh) 用於編碼及解碼浮水印信號之裝置
US20150371426A1 (en) Motion covers
WO2018040427A1 (zh) 屏幕界面共享方法和***
JP2017539111A (ja) カラーマッピングデータに基づきビデオ信号をカラーマッピングする方法、ビデオ信号及びカラーマッピングデータを符号化する方法、並びに対応するデバイス
CN106550242B (zh) Ip实时媒体流的转换方法和装置
JP6501127B2 (ja) 情報処理装置および方法
KR102281217B1 (ko) 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치
KR20080011986A (ko) 멀티미디어 콘텐츠 서비스 시스템 및 방법
US20220335979A1 (en) Method, apparatus and computer program product for signaling information of a media track
US20120201183A1 (en) Femtocell Base Station and Initiative Message Broadcasting Method Thereof
WO2024086230A1 (en) Carriage of coded haptics data in media containers
CN113747099A (zh) 视频传输方法和设备
KR20170032605A (ko) 영상 칼라성분 샘플링 위치 정보 전송을 통한 비디오 신호 복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant