CN102439971B - 用于无线***中的无压缩视频通信的累进速率适配的方法和*** - Google Patents

用于无线***中的无压缩视频通信的累进速率适配的方法和*** Download PDF

Info

Publication number
CN102439971B
CN102439971B CN201080017149.0A CN201080017149A CN102439971B CN 102439971 B CN102439971 B CN 102439971B CN 201080017149 A CN201080017149 A CN 201080017149A CN 102439971 B CN102439971 B CN 102439971B
Authority
CN
China
Prior art keywords
pixel
information
difference
block
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080017149.0A
Other languages
English (en)
Other versions
CN102439971A (zh
Inventor
邵怀荣
徐如兰
敖超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102439971A publication Critical patent/CN102439971A/zh
Application granted granted Critical
Publication of CN102439971B publication Critical patent/CN102439971B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002—Conversion to or from differential modulation
    • H03M7/3044—Conversion to or from differential modulation with several bits only, i.e. the difference between successive samples being coded by more than one bit, e.g. differential pulse code modulation [DPCM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H04L1/0013—Rate matching, e.g. puncturing or repetition of code symbols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H04N11/042—Codec means
    • H04N11/046—DPCM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/122—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line
    • H04N7/125—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal involving expansion and subsequent compression of a signal segment, e.g. a frame, a line the signal segment being a picture element

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

无压缩视频信息通过无线通信介质从无线发送器装置被发送到无线接收器装置。对原始无压缩视频像素信息执行累进传输数据速率适配。对选择的像素信息执行累进传输数据速率适配以获得速率降低的像素信息。速率降低的像素信息需要比原始帧更低的传输数据速率。速率降低的像素信息通过无线通信介质被发送到无线接收器装置。在接收器，执行逆向操作以恢复原始无压缩视频像素信息。

Description

用于无线***中的无压缩视频通信的累进速率适配的方法和***
技术领域
本发明总体涉及无线通信，更具体地说，涉及无线视频通信。
背景技术
随着高质量视频的增多，越来越多的电子装置(例如，消费电子装置)使用高清(HD)视频。传统地，大多数装置将可能占大约若干Gbps(千兆比特每秒)带宽的HD视频压缩到其大小的几分之一，以允许在装置之间进行传输。然而，随着视频的每次压缩和随后的解压，一些视频信息会丢失，并且图像质量下降。
在许多无线通信***中，帧结构用于无线基站(诸如发射器和接收器)之间数据传输。例如，IEEE 802.11标准在媒体访问控制(MAC)层和物理(PHY)层中使用帧结构。在典型的发射器中，MAC层接收MAC服务数据单元(MSDU)，并将MAC头添加到MAC服务数据单元，从而构造MAC协议数据单元(MPDU)。MAC头包括诸如源地址(SA)和目的地址(DA)的信息。MPDU是PHY服务数据单元(PSDU)的一部分，并被传送到发射器中的PHY层以将PHY头(即，PHY前同步码)添加到MPDU，来构造PHY协议数据单元(PPDU)。PHY头包括用于确定传输方案的参数，所述传输方案包括编码/调制方案。在作为包从发射器发送到接收器之前，前同步码被添加到PPDU，其中，所述前同步码可包括信道估计和同步信息。
在这样的无线通信***中，在发送视频流之前，进行连接设置和信道带宽保留。在理想情况下，可分配足够的信道带宽，并且在流设置控制之后，可流畅地传输视频流。然而，由于在相同信道上的其它正在进行的传输，所述流可能无法接收足够的信道带宽。另外，通常而言，无线信道的质量时常动态改变。具体地，对于使用波束成形传输的60GHz无线信道，所述信道甚至会受正在移动的人的影响。当无线信道的质量下降时，MAC/PHY层通常将调制和编码方案(MCS)自动改变为较低级别以保持相同的BER(误码率)性能。在较低MSC级别的情况下总的数据吞吐量被降低。由于MCS模式切换到较低模式导致原来为视频流保留的带宽不能适应视频数据。
发明内容
技术方案
本发明的实施例提供了用于无线***中的无压缩视频通信的累进速率适配。
附图说明
图1示出根据本发明的实施例的用于通过无线通信介质的无压缩视频传输的累进速率适配通信***的框图。
图2示出根据本发明的实施例的图1的通信***的更详细的示图。
图3示出根据本发明的实施例的像素的示例二维无压缩视频图像帧的代表。
图4到图9示出根据本发明的实施例的包括对无压缩视频图像帧的视频信息连续应用像素差分变换模式的累进速率适配的示例。
图10到图22示出根据本发明的实施例的包括对视频图像帧的视频信息连续应用像素丢弃模式的累进速率适配的示例。
图23示出根据本发明的实施例的在从发送器装置发送无压缩视频信息的过程中的累进速率适配的处理的流程图。
图24示出根据本发明的实施例的在接收器装置从接收的速率降低的视频信息中接收并重构无压缩视频信息的处理的流程图。
最佳实施方式
一个实施例包括一种无线通信***，所述无线通信***通过获得原始无压缩视频像素信息并执行累进传输数据速率适配来实现用于从无线发送器装置通过无线通信介质发送视频信息的处理。对选择的像素信息执行累进传输数据速率适配来获得速率降低的视频像素信息。速率降低的视频像素信息需要比原始视频像素信息更低的传输数据速率。通过无线通信介质将速率降低的视频像素信息发送到无线接收器装置以在接收器装置进行恢复来重构无压缩视频像素信息。
参照以下描述、权利要求和附图，将理解本发明的这些和其它特征、方面和优点。
具体实施方式
本申请要求通过引用合并于此的在2009年4月15日提交的第61/169,647号美国临时专利申请的优先权。
本发明提供了一种用于无线***中的无压缩视频通信的累进传输数据速率适配的方法和***。所述视频包括视频信息的像素。一个实施例包括一种实现通信处理的通信***，其中，视频流的传输数据速率动态地适应无线通信介质(例如，射频信道)可提供的可用通信带宽。所述通信***提供一种一般的传输数据速率适配方案，其中，传输数据速率可基于可用通信带宽顺利地适应期望的速率，而视频质量下降最小。这里，这被称为累进传输数据速率适配(或简称为累进速率适配)。
根据本发明的实施例的这样的累进传输数据速率适配通信***被配置用于：(1)执行累进像素差分变换，其中，视频像素的差值被***地压缩并被发送以进行累进速率适配，(2)如果数据速率对于可用信道带宽来说太高，则执行累进像素丢弃，其中，在不同位置的像素被***地均匀丢弃以进行累进速率适配。通信***维持一组像素差分变换模式和像素丢弃模式，并在这些模式中提供***切换以完成累进速率适配。
累进速率适配通信***的一个实施方案被配置用于利用简单空域处理的从无线发射器到无线接收器的无压缩视频传输。以这样的方式执行累进像素差分变换：视频像素的差值被***地呈现以进行累进速率适配。可通过逐步改变携带差值而非原始值的像素的数量，以粒度级别调整数据速率。
携带差值的像素(即，目标像素)的位置被选择以降低或最小化视觉质量下降，并且还使在接收器侧容易进行误差恢复。
如果在累进像素差分变换之后数据速率高于可用信道带宽，则以这样的方式执行累进像素丢弃(抛弃)：在不同位置的像素被***地均匀丢弃以进行累进速率适配。可通过逐步改变将被丢弃的像素的数量，以粒度级别调整数据速率。将被丢弃的像素的位置被选择以最小化视觉质量下降，并且还使在接收器侧容易进行误差恢复。
一个实施方案通过以下方式提供经由无线通信介质发送视频信息：获得无压缩视频像素的原始像素信息，对选择的像素信息执行累进传输数据速率适配来获得速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率。速率降低的像素信息经由无线通信介质从无线发送器装置被发送到无线接收器装置。
累进传输数据速率适配包括：对选择的像素的像素信息执行连续数据速率适配操作以降低其像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。执行连续数据速率适配操作的步骤可包括：执行连续像素差分变换模式，从而每个像素差分传输模式进一步降低选择的像素信息的传输数据速率。
此外，对选择的像素执行每个数据速率适配操作的步骤可包括：对选择的像素的块中的像素执行像素差分变换模式，其中，选择的像素的块包括初始像素和最近的空间相关像素。执行像素差分变换模式的步骤可包括：对所述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式。
对参考像素和目标像素进行的像素差分变换模式包括执行像素差分操作，其中，像素差分操作包括：确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息；使用所述像素差分信息来代替所述目标像素的当前像素信息。选择的像素位置均匀地分布在每个块中以最小化视觉质量下降。
图1示出根据本发明的实施例的用于通过无线信道从发送器装置11到接收器装置12的无压缩视频传输的累进速率适配通信***10的框图。在发送器装置11，无压缩视频输入模块13(例如，视频解码器或无压缩HD视频解码器)经由有线接口(诸如HDMI(高清晰度媒体接口))将包括无压缩视频的信息提供给无线发射器14。发射器14使用毫米波无线(mm波)技术通过无线信道来将所述信息发送到接收器装置12处的无线接收器15。对于更低的视频格式(诸如480p)，可使用其它无线技术(诸如UWB(超宽带)或802.11n)。在接收器装置12，无线接收器15经由另一有线接口将接收的信息提供给无压缩视频重放模块16(例如，可以是HDTV(高清晰度TV)、监视器、投影机等)。
发送器11包括：速率适配模块，被配置用于对无压缩视频像素的原始像素信息的选择的像素信息执行累进传输数据速率适配，以产生速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率。发送器11还包括：通信模块，被配置用于通过无线通信介质将速率降低的像素信息发送到无线接收器装置。接收器12包括：通信模块，用于无线通信；恢复模块，被配置用于执行发送器的逆向操作以恢复原始无压缩视频像素信息。
图2更详细地示出根据本发明的实施例的用于包括无线网络的***10中的无压缩视频传输的累进速率适配实施方案。在发送器侧11，视频输入模块13包括处理模块，其中，处理模块包括应用&PAL(协议适配层)层，所述应用&PAL层将视频流连续流传输到无线发射器14中的媒体访问控制(MAC)层14M。MAC层将视频流打包为MAC包，并将所述包下移到物理(PHY)层14P以通过无线信道发送到接收器装置12。
在接收器侧，无线接收器15的PHY层15P接收所述包，并将所述包提供给MAC层15M。MAC层15M对所述包进行解包，并随后将视频信息提供给视频重放模块16，其中，视频重放模块16包括处理模块，所述处理模块包括应用&PAL层。在***10中采用包括累进速率适配的动态速率适配，以满足终端用户的稳定的视频流需求。以下根据本发明的实施例描述***10的操作。
根据本发明的实施例，在发送器装置11的MAC层14M，基于用于像素分区的像素块(或子块)格式，从由视频输入模块13提供的视频信息创建视频包。M×N的像素块表示具有N行M列像素的一组相邻数字图像像素。在处理期间，在像素块中的所有像素被分离并被放置入不同的像素分区。
图3示出像素21的示例二维无压缩视频图像帧20的代表。由符号“○”来图形表示像素21。在这个示例中，2×2像素块22被用于将装置存储器中的像素映射到4个像素分区23(例如，分区0、分区1、分区2、分区3)。所述分区在发送器MAC层14M被放置入包，并经由发送器PHY层14P通过无线介质被无线发送到接收器。在接收器，由接收器MAC层15M对在接收器PHY层15P的接收的包进行解包，并且由接收器应用层16对所述包进一步处理以恢复为无压缩视频。
根据发送器装置存储器缓冲能力和视频格式/内容来确定像素块大小。例如，如果由于延迟需求和片内缓冲大小的限制，仅有8行(排)的无压缩视频可被缓冲用于信号处理，则最大像素块大小为8×M(M＞＝1)。视频内容和视频分辨率格式也影响像素块大小的选择。
在同一像素块中的像素通常具有相似值。对于高视频分辨率(诸如1929×1080)，在8×8像素块中的像素通常具有非常相似的值。然而，对于低视频分辨率(诸如800×600)，在4×4像素块中的像素通常具有相似的值，8×8作为像素块大小可能太大。块中的像素是空间相关的。像素块中的不同的像素被放置到不同的分区。
根据本发明的实施例，如果实际分配的无线信道带宽可适应来自输入模块13的输入(原始)视频流所需要的传输数据速率，则可利用像素块22中的每个像素的原始值。图3示出在具有相应值Ynm(即，Y00、Y01、...)的直角坐标(n，m)的视频像素21的示例帧20。像素值表示视频信息。整数值n＞＝0且m＞＝0，分别表示像素行坐标和列坐标。
图3示出累进速率适配处理的1×1像素差分变换模式。在这个模式中，对于从发送器装置到接收器装置的传输，在分区23中使用每个像素块中的所有像素的原始值。
累进速率适配
根据本发明的实施例，如果实际分配的无线信道带宽不能适应来自输入模块13的输入(原始)视频流所需要的传输数据速率，则对于更低的传输数据速率，利用累进速率适配。在一个实施方案中，累进速率适配包括累进像素差分变换(PPDT)处理和累进像素丢弃(PPDR)处理，其中，PPDT和PPDR处理可被单独地应用或可被结合地应用，如在下文中更具体地描述。
累进像素差分变换
例如，图4示出2×1像素差分变换模式。在每个2×1像素子块22中，对于目标像素(诸如在坐标(n＝i，m＝2j+1)的像素)，基于参考像素(诸如同一行上的在坐标(n＝i，m＝2j)的先前像素)的值Yi(2j)由值差D来代替相应的像素值Yi(2j+1)，从而D＝Yi(2j+1)-Yi(2j)。在这里的描述中，i＞＝0，为整数，j＞＝0，为整数。此外，在附图中，圆形符号“○”表示原始像素值，三角符号“△”表示差值D。
根据累进像素差分变换处理，在发射器侧，以减少来自参考像素的误差传播的方式来选择携带计算的差分值的每个目标像素。此外，当目标像素可用作下一目标像素的下一次计算的参考像素时，该目标像素的每个计算的差分值随后在用于进一步的差分计算的累进中被使用。这提供了差值的***和迭代计算，其中，在一个像素差分变换模式中的先前计算的差值被用于在下一像素差分变换模式中计算进一步的差值，以降低发送视频信息所需要的数据速率。相似地，在接收器侧，逆向处理被用于恢复原始像素值，减少计算开销。可基于包括例如发送器/接收器缓冲能力、计算延迟和像素块大小的因素来选择应用的像素差分变换模式的数量。
例如，在图4中，对于i＝0，j＝0，由在帧位置(0，0)的参考像素的像素值和在帧位置(0，1)的目标像素的像素值之间的差D来代替目标像素值Y01，其中，D＝Y01-Y00。相似地，对于i＝0，j＝1，由差D＝Y03-Y02来代替目标像素值Y03，其中，在帧位置(0，2)的像素是参考像素，等等。
在图4中，在一行中的一对像素之间的每个箭头25从参考像素指向目标像素，其中，所述箭头表示包括确定参考像素的当前像素信息和目标像素的当前像素信息之间的差D的像素差分计算。在D被确定之后，使用确定的差D来代替目标像素的像素信息，其中，作为该代替的结果，随后目标像素携带像素差分信息D作为目标像素的当前像素信息。在图5到图9中，相同的定义应用到一对像素之间的每个箭头(逐行和逐列)。
在完成差分变换模式之后，对于计算了差D的每个目标像素，差值D被存储在与所述原始像素相应的分区23中的位置，而不是存储目标像素的原始像素值。
根据本发明的实施例，为了进一步降低数据速率(即，使需要的数据速率逐步适应分配的无线信道带宽)，可如图5中的像素差分变换模式所示，应用2×2差分模式。在每个2×2像素子块22中，从以上2×1差分模式的结果，在每列2j中，像素值Y(2i+1)(2j)被来自同一列的先前像素的差值D＝Y(2i+1)(2j)-Y(2i)(2j)代替。在图5中，向下的箭头指示对2×1差分模式增加的操作。
根据本发明的实施例，为了进一步降低数据速率(即，逐步调整需要的数据速率)，可如图6中的像素差分变换模式所示，应用4×2差分模式。在每个4×2像素子块22中，从以上2×2差分模式的结果，在每行2i中，像素值Y(2i)(4j+2)被来自同一行的先前像素的差值Y(2i)(4j+2)-Y(2i)(4j+1)代替。由于在Y(2i)(4j+1)的像素位置的值为Y(2i)(4j+1)-Y(2i)(4j)，因此对在位置Y(2i)(4j+2)的值的值计算具有两个步骤：Y(2i)(4j)+(Y(2i)(4j+1)-Y(2i)(4j))＝Y(2i)(4j+1)，随后用于在位置Y(2i)(4j+2)的值的值为差D＝Y(2i)(4j+2)-Y(2i)(4j+1)。在这个示例中，Y01用于在帧位置(0，1)的参考像素，D用于在帧位置(0，2)的目标像素。在图6中，加粗箭头指示对2×2差分模式增加的操作。
根据本发明的实施例，在图7到图9中按顺序分别示出针对用于逐步调整需要的数据速率的4×4、8×4和8×8像素差分变换模式的其它示例数据速率降低(每个附图中的加粗箭头指示对紧接前面的先前差分模式增加的操作)。
因此，图4到图9分别示出根据本发明的一个实施例的对视频帧20的连续像素差分模式2×1、2×2、4×2、4×4、8×4、8×8的累进应用。例如，对包括第一速率降低的帧(需要比原始帧更低的传输数据速率的帧)的图4中的帧20的2×1像素差分变换模式应用的输出被用作图5中的2×2像素差分模式应用的输入。对包括第二速率降低的帧(需要比第一速率降低的帧更低的传输数据速率)的图5中的帧20的2×2像素差分模式应用的输出被用作图6中的4×2像素差分模式应用的输入，等等。
每个像素块22包括保持原始像素值的初始像素21i。根据本发明的实施例，对于每个像素差分变换模式，在每个像素块22中，基于三个标准来选择携带差值的目标像素。
第一，选择的像素均匀地分布在像素块中(以及视频帧中)以最小化视觉质量下降。
第二，选择的像素减小(并且优选地最小化)从初始像素21i到携带差值的像素的整体平均依赖长度以及最大依赖长度。在图4到图22中，像素块22中的两个像素之间的依赖长度是这两个像素之间的箭头25的数量的计数。例如，在图6中，在每个像素块中，距像素块中的初始21i的最大依赖长度为4(即，Y00-＞Y01-＞Y02-＞Y12-＞Y13)，平均依赖长度为2，这使相关像素块的依赖长度最小化(这相应地使传播误差最小化)。每个像素块中的整体平均依赖长度是像素块中的全部依赖长度的和对该块中的像素的数量的比。
第三，选择的像素允许从图4到图9的累进像素差分变换模式的***和自动的迭代，其中，首先逐行(水平)选择像素，再逐列(垂直)选择像素。逐行和逐列的选择从一个像素差分模式到下一像素差分模式交替进行。
累进像素差分变换处理的每个模式提供了速率降低的帧，在累进中所述速率降低的帧需要比先前的速率降低的帧更低的传输数据速率。
在像素差分变换之后，携带所述差值的特定像素值可变得非常小。例如，如果原始像素值是230，则由于相邻像素之间的值差通常非常小，因此差值可以仅为2。如果在一个分区23中，大多数像素具有非常小的值，则像素值的高阶位平面(例如，最高有效位(MSB))将大部分具有“0”。由于目标像素中的差值包含比目标像素的先前值更少的将被发送的信息，因此这降低了视频帧的需要的传输速率。此外，可执行差值的压缩。例如，无损压缩方案(诸如霍夫曼编码或游程长度编码(RLC))可被应用到像素分区23以减少用于每个像素分区23的比特量。随后，RLC可被应用到高阶位平面以压缩分区中的信息(即，分区压缩)。
在一个示例中，可使用针对2×1、2×2、4×2、4×4、8×4、8×8像素块的差分模式来逐步降低将从发送器装置发送到接收器装置的无压缩视频数据速率，同时基本保持视频质量。此外，可单独执行多个像素差分变换模式。例如，在2×2像素差分变换模式之后，可直接应用8×8像素差分变换模式。如果无线信道条件改善并且较高数据速率可用，则可逆向执行使用像素差分变换的速率适配。
累进像素丢弃
根据本发明的实施例，如果实际分配的无线信道带宽仍然不能适应在对发送器装置处的无压缩视频信息执行具有像素压缩的累进速率适配之后所需要的传输数据速率，则一个或多个像素分区可被逐步丢弃以进一步降低所述数据速率，并且保持稳定的和可接受的视频质量。优选地，丢弃的像素均匀分布在每个像素块22中，从而在接收器侧保持可接受的视觉视频质量以及简单的像素恢复和误差恢复(error resilience)。
在发送器装置的一个实施方案中，像素丢弃模式N×M:k表示在视频帧20中的N×M块22中，k个像素被丢弃。在每个像素丢弃模式中，通常基于目标像素距子块的第一像素的距离来丢弃目标像素。首先丢弃具有距像素块的参考像素(例如，在位置(0，0)的第一像素)最长距离的目标像素。换句话说，首先丢弃具有距像素块中的参考像素最长误差传播路径的目标像素。在附图中，任何两个像素之间的路径包括一组连接两个像素的箭头，其中，由在所述路径中的箭头的数量来表示所述路径的长度。对于在接收器装置处的视频质量，丢弃这样选择的目标像素减少了对其它像素的影响。
图10示出根据本发明的示例像素丢弃模式8×8:1，其中，子块大小22是8×8，像素丢弃模式是k＝1。因此，在像素丢弃模式8×8:1中，像素Y(8i+7)(8j+7)被丢弃。在这个示例中，N＝8，M＝8，k＝1，在每个8×8像素子块中被识别为Y(8i+7)(8j+7)的像素被丢弃。在图11中所示的另一示例像素丢弃模式中，为了进一步降低数据速率，在像素丢弃模式8×4:1下，像素Y(4i+3)(8j+7)被丢弃。
根据本发明的实施例，在图12到图22中示出其它示例像素丢弃模式，其中，由在像素上的“×”标记指示丢弃的像素。具体地，图12示出4×4:1像素丢弃模式，图13示出4×2:1像素丢弃模式，图14示出2×2:1像素丢弃模式，图15示出2×2:2像素丢弃模式，图16示出2×2:3像素丢弃模式，图17示出4×4:13像素丢弃模式，图18示出4×4:14像素丢弃模式，图19示出4×4:15像素丢弃模式，图20示出8×8:61像素丢弃模式，图21示出8×8:62像素丢弃模式，图22示出8×8:63像素丢弃模式。像素丢弃模式是按照丢弃的像素数增加的顺序。例如，2×2:3表示从8×8像素块中的64个像素中丢弃48个像素，8×8:61表示从64个像素中丢弃61个像素，因此，2×2:3的丢弃通常在8×8:61像素丢弃模式之前进行。也可按照相同的模式执行累进像素丢弃，诸如4×4:13到4×4:14到4×4:15到8×8:61到8×8:62到8×8:63。
图10到图22分别示出对视频帧20进行的连续像素丢弃模式8×8:1、8×4:1、4×4:1、4×2:1、2×2:1、2×2:2、2×2:3、4×4:13、4×4:14、4×4:15、8×8:61、8×8:62、8×8:63的累进应用，其中，先前已根据图4到图9中的像素差分变换应用对所述视频帧20进行过处理。例如，包括第一像素减少的帧的图9中的8×8像素差分变换模式的输出被用作图10中的8×8:1像素丢弃模式应用的输入。包括第二像素减少的帧的图10中的8×8:1像素丢弃模式应用的输出被用作图11中的8×4:1像素丢弃模式应用的输入，等等。
如果将被丢弃的像素在像素差分变换应用中被用作用于其它像素的参考像素以计算差值，则在丢弃处理期间执行差值的重算。例如，在2×2:2像素丢弃模式(图15)中，当在坐标(1，0)的具有值Y10的像素被丢弃时，在坐标(2，0)的差值Y20从Y20-Y10改变为Y20-Y00，针对在位置(2，0)的像素，如下执行重算：D＝(Y10-Y00)+(Y20-Y10)＝Y20-Y00，其中，D代替在位置(2，0)的像素的现有值Y20。如果无线信道条件改善并且更高的数据速率可用，则总可逆向进行使用像素丢弃的速率适配。
根据本发明的实施例，对于像素丢弃模式中的每个像素丢弃模式，在每个像素块22中，基于两个标准选择将被丢弃的目标像素。第一，选择的像素均匀地分布在像素块中(以及视频帧中)以最小化视觉质量下降。第二，首先选择丢弃具有距像素块中的初始像素21i最大依赖长度的像素。
累进像素丢弃处理的每个模式提供像素减少的帧，在累进中所述像素减少的帧需要比先前的像素减少的帧更低的传输数据速率。
根据本发明的实施例，还可在预先执行任何像素差分变换模式的情况下使用像素丢弃处理。例如，图10到图22示出在8×8像素差分变换模式之后的不同的像素丢弃模式。
根据本发明的实施例，可在不预先执行任何像素差分变换模式的情况下应用像素丢弃处理。在那种情况下，帧20(图3)中的原始像素值被丢弃，而不是像素的差值被丢弃。
在一个示例中，每个原始视频帧包括与二维空间中的图像相应的无压缩视频像素。无压缩视频像素信息的帧的示例包括1080p视频格式，其中，每个视频帧包括1080行，每行具有1920个像素。每个像素包括三个颜色元素：Y、Cb、Cr或R、G、B。每个颜色元素包括固定数量的比特，例如，8比特或10比特或12比特。
在像素差分变换和像素丢弃中的颜色元素的区分
每个像素具有三个颜色元素(未示出)。在像素分区之前根据RGB颜色空间或YCbCr颜色空间执行颜色元素分区(颜色元素分区是指将Y、Cb、Cr元素或R、G、B元素分离)。每个颜色元素具有相应的位平面。根据本发明的实施例，累进速率适配包括：在颜色元素中的差分变换的应用或在位平面中的差分变换的应用。
根据本发明的实施例，由于像素的不同颜色元素对视频质量的贡献不同，因此，不同的像素差分变换和像素丢弃模式可被应用到像素的不同的颜色元素。例如，对于亮度(亮度)Y，可利用2×2像素差分变换模式，而对于Cb(即，蓝色减去亮度(B-Y))和Cr(即，红色减去亮度(R-Y))，可利用4×4像素差分变换模式。在另一示例中，对于Y，不利用像素丢弃，而对于Cb和Cr，利用2×2:2像素丢弃。在这种情况下，视频格式从4:4:4被改变为4:2:2。在另一示例中，对于Y，不使用像素丢弃，而对于Cb和Cr，使用2×2:3像素丢弃。在这种情况下，视频格式被改变为4:2:0。对于不同的颜色元素，颜色深度下降也可不同。例如，Y可总保持比Cb和Cr更多的位平面。
根据本发明的实施列的颜色元素的区分的示例包括：
示例1：
Y使用2×2像素差分变换，而Cb和Cr使用4×4像素差分变换。
示例2(4:4:4到4:2:2)：
Y不使用像素丢弃，而Cb和Cr使用2×2:2像素丢弃。
示例3(4:4:4到4:2:0)：
Y不使用像素丢弃，而Cb和Cr使用2×2:3像素丢弃。
示例4(颜色深度下降)：
Y可总保持比Cb和Cr更多的位平面。
行和列处理的不同顺序
在以上示例中，对于像素的图像帧，总是在与列有关的处理之前，首先执行与行有关的处理。本发明的实施例对于行和列处理的不同顺序组合是有用的。在一个示例中，像素差分变换从模式1×1到模式2×1到模式2×2到模式4×2等进行累进。在另一示例中，像素差分变换模式从模式1×1到模式1×2到模式2×2到模式2×4等进行累进，其中，总是在与行有关的处理之前，首先执行与列有关的处理。
图23示出根据本发明的实施例的在发送器装置(诸如装置11(图2))的累进速率适配处理110的流程图，包括：
处理块111：对于无压缩视频信息的帧，对像素颜色元素进行分区，并选择像素块大小。
处理块112：确定足够的无线带宽是否可用于发送视频帧？如果否，则进行块113，否则进行块119。
处理块113：选择用于执行累进像素差分变换的像素压缩方案。
处理块114：计算差值。
处理块115：将原始值和差值放置到不同的像素分区中。
处理块116：通过去除差值的较高的位平面来压缩放置有差值的像素分区。
处理块117：对于可用的无线带宽，经过处理的像素分区的无线传输所需要的数据速率足够低？如果是，则进行块120，否则进行块118。
处理块118：通过像素丢弃来执行累进像素丢弃。进行块120。
处理块119：将原始值放置入不同的像素分区中。进行块120。
处理块120：对像素分区进行打包，并通过无线信道从发送器装置发送到接收器装置。
在本发明的一个实施例中，处理110的若干个处理块(例如，至少处理块113-115和118-119)在发送器装置11的应用和PAL层13(或音频视频控制(AVC)层)被执行。特定操作(诸如打包)还涉及到发送器装置11的MAC层14M。
图24示出根据本的实施例的在接收器装置(诸如装置12(图2))的相应的累进速率适配处理130的流程图，包括：
处理块131：接收包，并将不同的分区分离。在发送器侧，不同的分区被放置到一个包中。当接收器接收到所述包时，接收器识别所述包的哪个部分属于哪个分区。
处理块132：对于每个分区，如果该分区中的信息被压缩，则进行到块133。否则，进行到块134。
处理块133：对分区中的信息进行解压。
处理块134：如果分区携带像素的差值，则进行到块135。否则，进行到块136。
处理块135：对携带差值的每个分区计算原始像素值。这与在发送器侧的累进像素差分变换相反。在一个示例中，在接收器12的应用层模块16执行这样的计算，并且这样的计算通过从差值计算原始像素值，包括与在发送器11的累进像素差分变换模式的顺序相反的累退操作(regression operation)。例如，在图4到图9中，与在参考像素和目标像素之间的每个箭头有关的操作被逆向进行，其中，用参考像素值和差值的和来代替由目标像素携带的差值(例如，在图4到图9中，基于所述计算，使用圆形符号来代替三角符号)。用于确定原始像素值的逆向操作按顺序从最近应用的像素差分变换模式(例如，图9)开始，并按反方向顺序地继续进行到首先应用的像素差分变换模式(例如，图4)。逆向操作包括加法和减法操作以逐步恢复像素的原始值。例如，从图9到图8，如下进行计算：在位置Y(4i)(8j)的像素值被改变为其原始像素值，如下：
Y(4i)(8j)＝(Y(4i)(8j)-Y(4i-1)(8j))+(Y(4i-4)(8j))+(Y(4i-3)(8j)-Y(4i-4)(8j))+(Y(4i-2)(8j)-Y(4i-3)(8j))+(Y(4i-1)(8j)-Y(4i-2)(8j))。
处理块136：如果任何分区像素丢失(例如，被发送器丢弃)，则进行到块137。否则，进行到块138。
处理块137：诸如通过使用相邻像素的像素值的平均值，从相邻分区像素恢复丢失的分区像素。恢复操作也是与发送器侧的累进像素丢弃相反的累退操作。这在顺序上与以上在块135中描述的累退像素差分变换相似，使用相邻像素的值来恢复丢弃的像素，诸如通过使用相邻像素代替或使用相邻像素的平均值代替。
处理块138：通过将不同的分区的像素进行组合来对像素去分区，以恢复视频序列的图像中的像素的原始位置顺序，从而恢复无压缩视频。
在本发明的一个实施例中，通过在接收器装置12的应用和PAL层16(或AVC层)的重构模块来执行处理130的至少若干个处理块(例如，至少处理块135、137)。通过在接收器装置12的MAC层15M的解包模块来执行诸如解包的特定操作。
以下的表1示出根据本发明的实施例的根据霍夫曼编码或游程编码的不同编码率的每个像素差分变换模式的数据速率比的示例。
表1：在像素差分变换之后的平均数据速率比
表2示出根据本发明的实施例的根据霍夫曼编码或游程编码的不同编码率的在像素差分变换之后的每个像素丢弃模式的数据速率比的示例。
表2：在像素差分变换和像素丢弃之后的平均数据速率比
本发明的实施例利用简单的信号处理实施方案，为无线***中的无压缩视频通信提供累进速率适配，减少了计算开销，降低了能耗，减少了速率适配延迟，降低了视频质量损失或视觉质量损失，并简化了在接收器的误差恢复和帧重构。
虽然这里描述的示例涉及无压缩视频像素信息的帧经过累进速率适配以进行传输，但是可基于可用的无线信道带宽选择帧大小(尺寸)。此外，根据本发明的实施例，发送器和/或接收器不需要对整个视频帧进行缓冲，其中，视频帧的一些部分可经过累进速率适配，并从发送器被发送到接收器。
如本领域的技术人员所知，可以以多种方式实现根据本发明的上述示例架构，诸如在无线装置中、无线发射器/接收器中、无线网络等中由处理器执行的程序指令、软件模块、微码、计算机可读介质上的计算机程序产品、逻辑电路、专用集成电路、固件、消费电子装置等。此外，本发明的实施例可采取全硬件实施例、全软件实施例或包含硬件和软件元件两者的实施例的形式。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”一般用于表示诸如主存储器、辅助存储器、可移除存储驱动器、安装在硬盘驱动器中的硬盘以及信号的介质。这些计算机程序产品是用于向计算机***提供软件的工具。计算机可读介质允许计算机***从计算机可读介质读取数据、指令、消息或消息包以及其它计算机可读信息。计算机可读介质(例如)可包括非易失性存储器，诸如软盘、ROM、闪存、盘驱动器存储器、CD-ROM和其它永久性存储器。这对于例如在计算机***之间传输信息(诸如数据和计算机指令)是有用的。此外，计算机可读介质可包括过渡状态介质(诸如包括有线网络或无线网络的网络链路和/或网络接口)中的计算机可读信息，其中，所述过渡状态介质允许计算机读取这样的计算机可读信息。计算机程序(也被称为计算机控制逻辑)被存储在主存储器和/或辅助存储器中。计算机程序还可经由通信接口被接收。当这样的计算机程序被执行时，这样的计算机程序使计算机***能够执行如这里讨论的本发明的特征。具体地，当所述计算机程序被执行时，所述计算机程序使处理器或多核处理器执行计算机***的特征。因此，这样的计算机程序代表计算机***的控制器。
虽然已经参照了本发明的特定版本描述了本发明，但是其它版本也是可行的。因此，权利要求的精神和范围不应受限于这里包含的优选版本的描述。

Claims (15)

1.一种通过无线通信介质发送视频信息的方法，包括：
在无线发送器装置，获得无压缩视频像素的原始像素信息；
利用选择的像素的块中的像素的像素差分变换模式，来对选择的像素信息执行累进传输数据速率适配以获得速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率，其中，所述选择的像素的块包括初始像素和最近的空间相关的像素；
通过无线通信介质将速率降低的像素信息发送到无线接收器装置，
其中，像素差分变换模式包括：确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息，并且使用像素差分信息来代替目标像素的当前像素信息。
2.如权利要求1所述的方法，其中，执行累进传输数据速率适配的步骤包括：
对选择的像素的像素信息执行连续数据速率适配操作，以降低选择的像素的像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。
3.如权利要求2所述的方法，其中：
执行连续数据速率适配操作的步骤包括：执行连续像素差分变换模式，从而每个像素差分变换模式进一步降低选择的像素信息的传输数据速率。
4.如权利要求3所述的方法，其中：
对选择的像素执行每个数据速率适配操作的步骤包括：对选择的像素的块中的像素执行像素差分变换模式，
其中，执行像素差分变换模式的步骤包括：
对所述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式，
其中，选择的像素位置均匀分布在每个块中。
5.如权利要求4所述的方法，其中：
基于像素差分变换模式来选择块大小；
在所述块中选择每个目标像素位置以减小从所述初始像素到目标像素的整体平均依赖长度。
6.如权利要求4所述的方法，其中：
执行连续数据速率适配操作的步骤还包括：在执行一个或多个像素差分变换模式之后执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
7.如权利要求6所述的方法，其中：
执行每个像素丢弃模式的步骤包括：执行像素丢弃操作，其中，选择的在块中的不同位置的像素被均匀丢弃，并且具有距块中的初始像素最大依赖长度的像素被首先丢弃。
8.如权利要求1所述的方法，还包括：
在无线接收器装置，接收速率降低的像素信息；
通过与在发送器装置的累进数据速率适配的顺序相反的累退数据速率适配，来从速率降低的像素信息确定原始像素值；
从空间相关的像素重构无压缩视频像素信息。
9.如权利要求8所述的方法，还包括：
检查接收的像素的像素信息是否丢失；
使用接收的与损坏的像素空间相关的像素的像素信息来恢复丢失的像素信息。
10.如权利要求2所述的方法，其中：
执行连续数据速率适配操作的步骤包括执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
11.一种通过无线通信介质发送视频信息的无线基站，包括：
速率适配模块，被配置用于利用选择的像素的块中的像素的像素差分变换模式，来对无压缩视频像素的原始像素信息的选择的像素信息执行累进传输数据速率适配，以产生速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率，其中，所述选择的像素的块包括初始像素和最近的空间相关的像素；
通信模块，被配置用于通过无线通信介质将速率降低的像素信息发送到无线接收器装置，
其中，像素差分变换模式包括：确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息，并且使用像素差分信息来代替目标像素的当前像素信息。
12.如权利要求11所述的无线基站，其中，速率适配模式被配置用于对选择的像素的像素信息执行连续数据速率适配操作，以降低选择的像素的像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。
13.如权利要求12所述的无线基站，其中，速率适配模块被配置用于执行连续像素差分变换模式，从而每个像素差分变换模式进一步降低选择的像素信息的传输数据速率。
14.如权利要求13所述的无线基站，其中：
速率适配模块被配置用于：通过对选择的像素的块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式，来对选择的像素的块中的像素执行像素差分变换模式，其中，选择的像素位置均匀分布在每个块中。
15.如权利要求12所述的无线基站，其中，速率适配模块被配置用于执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
CN201080017149.0A 2009-04-15 2010-04-12 用于无线***中的无压缩视频通信的累进速率适配的方法和*** Expired - Fee Related CN102439971B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16964709P 2009-04-15 2009-04-15
US61/169,647 2009-04-15
US12/754,522 2010-04-05
US12/754,522 US9369759B2 (en) 2009-04-15 2010-04-05 Method and system for progressive rate adaptation for uncompressed video communication in wireless systems
PCT/KR2010/002192 WO2010120068A2 (en) 2009-04-15 2010-04-12 Method and system for progressive rate adaptation for uncompressed video communication in wireless systems

Publications (2)

Publication Number Publication Date
CN102439971A CN102439971A (zh) 2012-05-02
CN102439971B true CN102439971B (zh) 2015-08-05

Family

ID=42980729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080017149.0A Expired - Fee Related CN102439971B (zh) 2009-04-15 2010-04-12 用于无线***中的无压缩视频通信的累进速率适配的方法和***

Country Status (7)

Country Link
US (1) US9369759B2 (zh)
EP (1) EP2420060A4 (zh)
JP (1) JP5592476B2 (zh)
KR (1) KR101640508B1 (zh)
CN (1) CN102439971B (zh)
MX (1) MX2011010555A (zh)
WO (1) WO2010120068A2 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605797B2 (en) * 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
US8243823B2 (en) 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US8891610B2 (en) * 2010-05-05 2014-11-18 Samsung Electronics Co., Ltd. Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks
US20120002718A1 (en) * 2010-07-01 2012-01-05 Samsung Electronics Co., Ltd. Method and apparatus for selecting video codec to be used between stations
KR101830882B1 (ko) * 2010-09-02 2018-02-22 삼성전자주식회사 제어 패킷 생성 방법 및 그 장치
US20120243602A1 (en) * 2010-09-23 2012-09-27 Qualcomm Incorporated Method and apparatus for pipelined slicing for wireless display
US9842564B2 (en) * 2010-10-28 2017-12-12 Samsung Electronics Co., Ltd. Method and system for wireless video transmission via different interfaces
US20140082685A1 (en) * 2011-04-28 2014-03-20 Samsung Electronics Co., Ltd. Method and apparatus for adjusting data transmission rate in a wireless communication system
JP5969597B2 (ja) * 2011-05-26 2016-08-17 サムスン エレクトロニクス カンパニー リミテッド データ送信方法、データ受信方法、無線送信機及び無線受信機
GB2494172B (en) * 2011-09-01 2014-10-22 Canon Kk Communication of video information
TWI634806B (zh) * 2013-03-08 2018-09-01 皇家飛利浦有限公司 用於音訊／視訊的無線對接系統及其操作方法
US10049002B2 (en) 2014-06-26 2018-08-14 Intel Corporation Display interface bandwidth modulation
CN104301726B (zh) * 2014-09-15 2018-04-03 成都智明达电子股份有限公司 一种图像无损压缩与解压缩的方法
KR101687675B1 (ko) 2015-05-12 2016-12-20 (주)에어사운드 실시간 음향신호 처리 시스템 및 방법
KR101676792B1 (ko) * 2015-06-01 2016-11-16 삼성전자주식회사 데이터를 효율적으로 임베디드 압축 하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10264317B2 (en) * 2016-09-28 2019-04-16 T-Mobile Usa, Inc. Content access device geolocation verification
US10313715B2 (en) * 2017-04-27 2019-06-04 Nanning Fugui Precision Industrial Co., Ltd. Transmission method for video data and device employing same
KR102385365B1 (ko) * 2017-07-21 2022-04-12 삼성전자주식회사 전자 장치 및 전자 장치에서 이미지 데이터를 압축하는 방법
CN111447582A (zh) * 2019-01-16 2020-07-24 索尼公司 无线通信***中的用户设备
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179224A (zh) * 1995-03-22 1998-04-15 德国Idt国际数字技术有限公司 用于深度建模并提供运动物体的深度信息的方法和设备
CN1466737A (zh) * 2000-08-09 2004-01-07 动态数字视距研究有限公司 图像转换和编码技术

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4661862A (en) * 1984-04-27 1987-04-28 Rca Corporation Differential PCM video transmission system employing horizontally offset five pixel groups and delta signals having plural non-linear encoding functions
FR2644263B1 (fr) * 1989-03-13 1991-06-14 Matra Sep Imagerie Inf Procede et dispositif d'acquisition et de stockage numerique de cartes geographiques en couleurs et de restitution de ces cartes
EP0492528B1 (en) * 1990-12-27 1996-10-09 Kabushiki Kaisha Toshiba Recording/reproducing apparatus
DE69215760T2 (de) * 1991-06-10 1998-02-05 Eastman Kodak Co Kreuzkorrelationsausrichtsystem für einen Bildsensor
US6088045A (en) * 1991-07-22 2000-07-11 International Business Machines Corporation High definition multimedia display
EP0604230B1 (en) * 1992-12-24 1999-03-10 Canon Kabushiki Kaisha Image signal reproducing apparatus
US5621660A (en) 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
TW364107B (en) * 1996-03-25 1999-07-11 Trw Inc Method and system for three-dimensional compression of digital video signals
US6571016B1 (en) * 1997-05-05 2003-05-27 Microsoft Corporation Intra compression of pixel blocks using predicted mean
JP3748088B2 (ja) * 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
US6094453A (en) * 1996-10-11 2000-07-25 Digital Accelerator Corporation Digital data compression with quad-tree coding of header file
US6201834B1 (en) * 1996-12-20 2001-03-13 Intel Corporation Method and apparatus for packet loss recovery with standard-based packet video
US5969764A (en) * 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6298085B1 (en) * 1997-10-23 2001-10-02 Sony Corporation Source encoding using shuffling of data to provide robust error recovery in a burst error-environment
US6418240B1 (en) * 1997-12-03 2002-07-09 Alaris Inc. Multiple frame image compression and decompression of motion video
US6239886B1 (en) * 1998-01-08 2001-05-29 Xerox Corporation Method and apparatus for correcting luminance and chrominance data in digital color images
EP1715439A3 (en) * 1998-11-02 2007-10-10 Datalogic S.P.A. Device for the acquisition and automatic processing of data obtained from optical codes
US7327791B1 (en) * 1999-02-22 2008-02-05 Mitsubishi Denki Kabushiki Kaisha Video decoding method performing selective error concealment and resynchronization
CA2393898A1 (en) * 1999-08-05 2001-02-15 Broncus Technologies, Inc. Methods and devices for creating collateral channels in the lungs
US7339993B1 (en) * 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
KR20020064888A (ko) 1999-10-22 2002-08-10 액티브스카이 인코포레이티드 객체 지향형 비디오 시스템
US6973221B1 (en) * 1999-12-14 2005-12-06 Lsi Logic Corporation Method and apparatus for reducing block related artifacts in video
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
US6882750B2 (en) 2000-05-02 2005-04-19 Zaxel Systems, Inc. Fast loss less image compression system based on neighborhood comparisons
GB2362533A (en) 2000-05-15 2001-11-21 Nokia Mobile Phones Ltd Encoding a video signal with an indicator of the type of error concealment used
US6868186B1 (en) * 2000-07-13 2005-03-15 Ceva D.S.P. Ltd. Visual lossless image compression
JP2002032295A (ja) 2000-07-13 2002-01-31 Yafoo Japan Corp ネットワークを通じてクライアントに画像データを送達するサーバーの制御方法
US7113556B1 (en) * 2000-08-18 2006-09-26 Texas Instruments Incorporated Reliable decision directed adaptation in a communication system employing forward error control
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
US7088854B2 (en) * 2001-04-25 2006-08-08 Cotman Carl W Method and apparatus for generating special-purpose image analysis algorithms
US20030035586A1 (en) * 2001-05-18 2003-02-20 Jim Chou Decoding compressed image data
AU2002349220A1 (en) * 2001-06-12 2002-12-23 Digital Interactive Streams, Inc. System and method for enhancing digital video
EP1296524A1 (en) * 2001-09-20 2003-03-26 STMicroelectronics S.r.l. Process and apparatus for the compression of digital video signals, a system and a computer program product therefor
ATE419713T1 (de) * 2001-11-29 2009-01-15 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
GB2387056A (en) * 2002-03-28 2003-10-01 Sony Uk Ltd Differential encoding and decoding
JP4724351B2 (ja) 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
US7685315B2 (en) 2002-10-28 2010-03-23 Nokia Corporation System and method for conveying terminal capability and user preferences-dependent content characteristics for content adaptation
US7283165B2 (en) * 2002-11-15 2007-10-16 Lockheed Martin Corporation Method and apparatus for image processing using weighted defective pixel replacement
AU2003248908A1 (en) 2003-01-10 2004-08-10 Thomson Licensing S.A. Spatial error concealment based on the intra-prediction modes transmitted in a coded stream
US7161957B2 (en) 2003-02-10 2007-01-09 Thomson Licensing Video packets over a wireless link under varying delay and bandwidth conditions
US7672523B2 (en) * 2003-03-03 2010-03-02 The Hong Kong University Of Science And Technology Efficient rate allocation for multi-resolution coding of data
US7643558B2 (en) * 2003-03-24 2010-01-05 Qualcomm Incorporated Method, apparatus, and system for encoding and decoding side information for multimedia transmission
US7099678B2 (en) * 2003-04-10 2006-08-29 Ipr Licensing, Inc. System and method for transmit weight computation for vector beamforming radio communication
US20050047504A1 (en) * 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
JP4247680B2 (ja) * 2004-07-07 2009-04-02 ソニー株式会社 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
CA2573990A1 (en) 2004-07-15 2006-02-23 Qualcomm Incorporated H.264 spatial error concealment based on the intra-prediction direction
EP1638337A1 (en) * 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US20060268760A1 (en) * 2005-05-17 2006-11-30 University Of Florida Research Foundation, Inc. Medium access control in wireless local area networks with multi-beam access point
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
JP2007116351A (ja) * 2005-10-19 2007-05-10 Ntt Docomo Inc 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US8139645B2 (en) 2005-10-21 2012-03-20 Amimon Ltd Apparatus for enhanced wireless transmission and reception of uncompressed video
US8559525B2 (en) 2005-10-21 2013-10-15 Amimon Ltd. Apparatus and method for uncompressed, wireless transmission of video
GB0525161D0 (en) * 2005-12-09 2006-01-18 Airspan Networks Inc Antenna system for wireless communications
US7734106B1 (en) * 2005-12-21 2010-06-08 Maxim Integrated Products, Inc. Method and apparatus for dependent coding in low-delay video compression
US8036517B2 (en) * 2006-01-25 2011-10-11 Qualcomm Incorporated Parallel decoding of intra-encoded video
US8605797B2 (en) 2006-02-15 2013-12-10 Samsung Electronics Co., Ltd. Method and system for partitioning and encoding of uncompressed video for transmission over wireless medium
US20070189383A1 (en) 2006-02-15 2007-08-16 Samsung Electronics Co., Ltd. Method and system for appending redundancy to uncompressed video for transmission over wireless communication channels
US8718147B2 (en) * 2006-02-17 2014-05-06 Avocent Huntsville Corporation Video compression algorithm
US20070296822A1 (en) * 2006-06-09 2007-12-27 Yin-Chun Blue Lan Method and device for wireless video communication
KR100893863B1 (ko) 2006-09-05 2009-04-20 엘지전자 주식회사 무선 통신 시스템에서의 링크 적응적 데이터 전송 방법
US20080101467A1 (en) 2006-10-27 2008-05-01 Radiospire Networks, Inc. Method and system for secure and efficient wireless transmission of HDCP-encrypted HDMI/DVI signals
US8175041B2 (en) * 2006-12-14 2012-05-08 Samsung Electronics Co., Ltd. System and method for wireless communication of audiovisual data having data size adaptation
JP2008219479A (ja) 2007-03-05 2008-09-18 Mitsubishi Electric Corp 画像伝送システム、撮像装置、及び画像伝送方法
US8379734B2 (en) 2007-03-23 2013-02-19 Qualcomm Incorporated Methods of performing error concealment for digital video
US20080285651A1 (en) 2007-05-17 2008-11-20 The Hong Kong University Of Science And Technology Spatio-temporal boundary matching algorithm for temporal error concealment
KR20090004660A (ko) * 2007-07-02 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8842739B2 (en) * 2007-07-20 2014-09-23 Samsung Electronics Co., Ltd. Method and system for communication of uncompressed video information in wireless systems
US8243823B2 (en) * 2007-08-29 2012-08-14 Samsung Electronics Co., Ltd. Method and system for wireless communication of uncompressed video information
US7876968B2 (en) * 2007-10-15 2011-01-25 Himax Technologies Limited Apparatus of compressing image data and a method thereof
KR101509257B1 (ko) 2008-03-18 2015-04-08 한국전자통신연구원 광대역 고주파수 무선 시스템에서 다양한 형태의 비압축 동영상 신호 전송을 위한 차별적 오류 보호 방법 및 그 장치
WO2010007590A2 (en) * 2008-07-17 2010-01-21 Amimon Ltd. Methods circuits and systems for transmission and reconstruction of a video block
US20100166057A1 (en) * 2008-12-29 2010-07-01 Gregory Huchet Differential Data Representation for Distributed Video Coding
US8767820B2 (en) * 2009-11-11 2014-07-01 Dell Products, Lp Adaptive display compression for wireless transmission of rendered pixel data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1179224A (zh) * 1995-03-22 1998-04-15 德国Idt国际数字技术有限公司 用于深度建模并提供运动物体的深度信息的方法和设备
CN1466737A (zh) * 2000-08-09 2004-01-07 动态数字视距研究有限公司 图像转换和编码技术

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
li p.On creating depth maps form monoscopic video using structure from motion.《IN PROCEEDINGS OF IEEE WORKSHOP ON CONTENT GENERATION AND CODING FOR 3D-TELEVISION》.2008,全文. *

Also Published As

Publication number Publication date
MX2011010555A (es) 2011-10-19
US9369759B2 (en) 2016-06-14
EP2420060A4 (en) 2016-03-09
US20100265392A1 (en) 2010-10-21
CN102439971A (zh) 2012-05-02
EP2420060A2 (en) 2012-02-22
WO2010120068A2 (en) 2010-10-21
KR101640508B1 (ko) 2016-07-18
WO2010120068A3 (en) 2011-01-27
JP5592476B2 (ja) 2014-09-17
JP2012524449A (ja) 2012-10-11
KR20120013179A (ko) 2012-02-14

Similar Documents

Publication Publication Date Title
CN102439971B (zh) 用于无线***中的无压缩视频通信的累进速率适配的方法和***
KR101216099B1 (ko) 무선 통신 시스템에서의 데이터 전송 방법 및 디바이스
US9083986B2 (en) Method and system for adaptive rate video compression and transmission
US8176524B2 (en) System and method for wireless communication of video data having partial data compression
US8208390B2 (en) Structure of transmission packet for link adaptation mechanism, and transmitting/receiving device and method using the same
US8355434B2 (en) Digital video line-by-line dynamic rate adaptation
US20080049707A1 (en) Transmission packet for wireless transmission in a high frequency band, and method and apparatus for transmission/receiving using the same
KR101783963B1 (ko) 무선 네트워크들에서 비압축된 비디오 송신을 위한 크로마 파티셔닝 및 레이트 적응을 위한 방법 및 시스템
JP5038404B2 (ja) 非圧縮ａｖデータを送受信する方法、及び装置
CN101174919B (zh) 用于无线通信的设备和方法
KR20180035140A (ko) 비디오 송신 방법 및 데이터 송신기
KR20180035137A (ko) 비디오 송신 방법 및 데이터 송신기
US9071768B2 (en) Method of transmitting video information over a wireless multi-path communication link and corresponding wireless station
KR102107139B1 (ko) 무선 네트워크 시스템에서 영상 스트리밍 서비스 제공 방법 및 장치
US12003793B2 (en) Transmission apparatus and reception apparatus for parallel data streams
US20100183078A1 (en) Apparatus and method for keeping bit rate of image data
KR20070109760A (ko) 비압축 ａⅴ 데이터 송수신 방법 및 장치
WO2009028830A1 (en) Apparatus and method for keeping bit rate of image data

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150805