CN117440063A - 一种信号传输方法及装置 - Google Patents
一种信号传输方法及装置 Download PDFInfo
- Publication number
- CN117440063A CN117440063A CN202310189854.8A CN202310189854A CN117440063A CN 117440063 A CN117440063 A CN 117440063A CN 202310189854 A CN202310189854 A CN 202310189854A CN 117440063 A CN117440063 A CN 117440063A
- Authority
- CN
- China
- Prior art keywords
- message
- video
- signal
- data
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 230000008054 signal transmission Effects 0.000 title claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims description 60
- 230000005236 sound signal Effects 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 16
- 238000013329 compounding Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000000977 initiatory effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 58
- 238000013461 design Methods 0.000 description 54
- 230000006870 function Effects 0.000 description 17
- 230000006978 adaptation Effects 0.000 description 14
- 239000013256 coordination polymer Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010894 electron beam technology Methods 0.000 description 5
- 238000005538 encapsulation Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 101100381335 Arabidopsis thaliana AVP1 gene Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000005888 antibody-dependent cellular phagocytosis Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0826—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network costs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
- H04L41/0833—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability for reduction of network energy consumption
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请涉及音视频处理技术领域,公开了一种信号传输方法及装置,用以降低视频信号的传输时延,降低视频信号发送设备和接收设备的成本和功耗。该方法包括:获取视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号;根据像素时钟信号、显示使能信号获取视频数据信号中有效视频数据;根据垂直同步信号封装垂直消隐报文、根据水平同步信号封装水平消隐报文、根据有效视频数据封装有效视频报文;将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送。
Description
相关申请的交叉引用
本申请要求在2022年7月21日提交中华人民共和国知识产权局、申请号为202210859501.X、发明名称为“信号传输方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请实施例涉及音视频处理技术领域,尤其涉及一种信号传输方法及装置。
背景技术
目前计算机、便携机、手机、平板电脑等视频源设备与显示器等视频宿设备之间进行视频信号传输时,需要先通过视频源设备中的显示端口(displayport,DP)控制器将视频信号转换为DP流,然后通过通用串行总线(universal serial bus,USB)4/雷电(thunderbolt、TBT)路由器(router)中的DP输入(IN)适配器将DP流转换成USB4/TBT报文,再通过USB4/TBT网络传输到视频宿设备,由视频宿设备中USB4/TBT router中的DP输出(OUT)适配器根据报文恢复成DP流,再经过DP控制器还原成视频信号。
然而,上述信号传输时,视频信号需要经过DP控制器处理后再送往USB/TBT适配器进行处理,增大了视频信号的传输时延,并且视频源设备和视频宿设备均需集成DP控制器等硬件设备,也会带来额外的成本和功耗。
发明内容
本申请实施例提供一种信号传输方法及装置,用以降低视频信号的传输时延,降低视频信号发送设备(如视频源设备)和接收设备(视频宿设备)的成本和功耗。
第一方面,本申请实施例提供一种信号传输方法,可以应用于第一设备、或第一设备的部件(例如处理器、芯片、或芯片***等),或者与第一设备匹配使用的装置等。其中,第一设备可以是机顶盒,游戏机等视频源设备,还可以是进行视频信号等发送的终端设备、计算机,便携机等设备,以下以应用于第一设备为例。该方法包括:获取视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号;根据像素时钟信号、显示使能信号获取视频数据信号中有效视频数据;根据垂直同步信号封装垂直消隐报文、根据水平同步信号封装水平消隐报文、根据有效视频数据封装有效视频报文;将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送。可选地,在本申请实施例中,可以将垂直消隐报文、水平消隐报文和有效视频报文通过流复用器(如视频流复用器、音视频流复用器)等复合为视频流。
需要理解的是,在本申请实施例中,将多类报文复合为视频流,可以是指将多类报文通过一个视频流传输,在多类报文中均可以携带该视频流的标识。例如:上述将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流,可以是指将垂直消隐报文、水平消隐报文和有效视频报文通过一个视频流传输,在一个视频流中包括垂直消隐报文、水平消隐报文和有效视频报文,垂直消隐报文、水平消隐报文和有效视频报文中均可以携带该视频流的标识。
采用上述方法,可以直接将视频信号打包成报文进行传输,视频信号无需经过DP控制器处理后再送USB/TBT适配器进行打包处理,能够降低视频信号的传输时延;另外,无需视频信号发送设备(如第一设备)和接收设备集成额外的DP控制器,以及在USB/TBT等适配器集成DP的电气层和逻辑层,能够降低视频信号发送设备和接收设备的成本和功耗。
在一种可能的设计中,发送视频流包括:通过统一多媒体互联接口(unifiedmultimedia interconnection,UMI)的传输层和物理层发送视频流。
在本申请实施例中,可以通过发送设备中的视音频发送适配器(或视频发送适配器)将视频信号打包为UMI报文,并将UMI报文复合得到的视频流通过UMI网络的传输层和物理层(包括电气层和逻辑层)发送给相应的接收设备中的视音频接收适配器(或视频接收适配器),由视音频接收适配器再将UMI报文转换为视频信号,来降低视频信号发送设备和接收设备的成本和功耗。
在一种可能的设计中,该方法还包括:根据像素时钟信号、显示使能信号获取视频数据信号中位于消隐区的辅助数据;根据辅助数据封装辅助数据报文;将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送,包括:将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送。
可选地,根据辅助数据封装辅助数据报文,包括:当视频信号还包括随路音频信号时,根据辅助数据和音频信号封装辅助数据报文。
上述设计中,可以将随路音频信号(或音频数据)及其他随路数据,如音频和视频的配置及控制信息等,通过辅助数据报文传输,有利于保证视频信号传输的完整性与可靠性。
在一种可能的设计中,该方法还包括:当视频信号还包括随路音频信号时,根据音频信号封装音频数据报文;将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送,包括:将垂直消隐报文、水平消隐报文、有效视频报文、辅助数据报文和音频数据报文复合为视频流并发送。
上述设计中,将音频信号和辅助数据分开传输,有利于在接收端存在纯音频处理设备,如功放(音响)等时,接收端对音频信号的快速处理。
在一种可能的设计中,该方法还包括:根据加密参数(如加密算法等)和加密密钥对有效视频报文和辅助数据报文进行加密,得到加密后的有效视频报文和加密后的辅助数据报文;根据加密参数封装加密描述报文、根据加密密钥封装密钥分发报文;将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送,包括:将垂直消隐报文、水平消隐报文、加密后的有效视频报文、加密后的辅助数据报文、加密描述报文和密钥分发报文复合为视频流并发送。
上述设计中,能够实现对音视频数据的保密传输,满足用户在不同场景下的传输需求。
在一种可能的设计中,该方法还包括:根据加密参数和加密密钥对有效视频报文和音频数据报文进行加密,得到加密后的有效视频报文和加密后的音频数据报文;根据加密参数封装加密描述报文、根据加密密钥封装密钥分发报文;将垂直消隐报文、水平消隐报文、有效视频报文、辅助数据报文和音频数据报文复合为视频流并发送,包括:将垂直消隐报文、水平消隐报文、加密后的有效视频报文、辅助数据报文、加密后的音频数据报文、加密描述报文和密钥分发报文复合为视频流并发送。
上述设计中,能够实现对音视频数据的保密传输,满足用户在不同场景下的传输需求。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文在视频流中连续重复发送多份。
因视频报文中的垂直消隐报文用于传输垂直同步信号,指示一帧视频图像的开始,加密描述报文和密钥分发报文用于对有效视频数据的解密,如果这些报文传输出错,则可能出现无法正确输出视频信号的问题。上述设计中,连续重复发送多份报文,能够提高视频信号传输的可靠性。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文的报文头中包含重试(Retry)标志位,Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求。
上述设计中,通过指示接收端检查垂直消隐报文、加密描述报文和密钥分发报文是否正确,并在不正确时发起重传,能够提高视频信号传输的可靠性。
在一种可能的设计中,根据垂直同步信号封装垂直消隐报文,包括:根据垂直同步信号和视频帧控制信息封装垂直消隐报文,视频帧控制信息包括像素时钟信号的像素时钟参数。
上述设计中,在垂直消隐报文中携带视频帧控制信息,有利于接收端对视频信号的恢复。
在一种可能的设计中,根据水平同步信号封装水平消隐报文,包括:根据水平同步信号和像素时钟信号的像素时钟计数值封装水平消隐报文。
上述设计中,在水平消隐报文中携带像素时钟信号的像素时钟计数值,有利于视频信号发送端和接收端的时钟同步,提高视频信号传输的准确性。
第二方面,本申请实施例提供一种信号传输方法,可以应用于第二设备、或第二设备的部件(例如处理器、芯片、或芯片***等),或者与第二设备匹配使用的装置等。其中,第二设备可以是显示器,电视机等视频宿设备,还可以是进行视频信号等接收的终端设备、计算机,便携机等设备,以下以应用于第二设备为例。该方法包括:接收视频流,视频流包括垂直消隐报文、水平消隐报文和有效视频报文;根据垂直消隐报文生成垂直同步信号、根据水平消隐报文生成水平同步信号;根据垂直同步信号、水平同步信号、像素时钟信号和有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号;输出视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号。可选地,在本申请实施例中,可以将视频流通过流解复用器(如视频流解复用器、音视频流解复用器)等解复用,得到垂直消隐报文、水平消隐报文和有效视频报文。
需要理解的是,在本申请实施例中,将视频流解复合,得到将多类报文,可以是指根据报文的标识,对视频流中的多类报文进行识别(或划分)。以视频流中包括垂直消隐报文、水平消隐报文和有效视频报文为例,将视频流解复用,得到垂直消隐报文、水平消隐报文和有效视频报文,可以是指根据垂直消隐报文的标识(如4b'0001)、水平消隐报文的标识(如4b'0010)和有效视频报文的标识(如4b'0100),在视频流中识别(或划分)出垂直消隐报文、水平消隐报文和有效视频报文。
在一种可能的设计中,接收视频流,包括:通过UMI的传输层和物理层接收视频流。
在一种可能的设计中,视频流还包括辅助数据报文,根据垂直同步信号、水平同步信号、像素时钟信号和有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号,包括:根据垂直同步信号、水平同步信号、像素时钟信号、有效视频报文携带的有效视频数据和辅助数据报文携带的辅助数据,生成视频数据信号和显示使能信号。
在一种可能的设计中,该方法还包括:根据辅助数据报文,生成音频信号,其中输出的视频信号还包括音频信号。
在一种可能的设计中,视频流还包括音频数据报文,该方法还包括:根据音频数据报文生成音频信号;其中,输出的视频信号还包括音频信号。
在一种可能的设计中,视频流还包括加密描述报文和密钥分发报文,有效视频报文和辅助数据报文为加密后的有效视频报文和加密后的辅助数据报文,该方法还包括:获取加密描述报文携带的加密参数、获取密钥分发报文携带的加密密钥;根据加密参数和加密密钥对加密后的有效视频报文和加密后的辅助数据报文进行解密,得到解密后的有效视频报文和解密后的辅助数据报文。
在一种可能的设计中,视频流还包括加密描述报文和密钥分发报文,有效视频报文和音频数据报文为加密后的有效视频报文和加密后的音频数据报文,该方法还包括:获取加密描述报文携带的加密参数、获取密钥分发报文携带的加密密钥;根据加密参数和加密密钥对加密后的有效视频报文和加密后的音频数据报文进行解密,得到解密后的有效视频报文和解密后的音频数据报文。
在一种可能的设计中,视频流中包括连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文,该方法还包括:从连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文中选取通过正确性校验的垂直消隐报文、加密描述报文和密钥分发报文。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文的报文头中包含重试(Retry)标志位,Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求,该方法还包括:当垂直消隐报文、加密描述报文和密钥分发报文中任一报文不正确时,对报文发起重传。
在一种可能的设计中,该方法还包括:获取垂直消隐报文携带的视频帧控制信息,视频帧控制信息包括像素时钟参数;根据视频帧控制信息,生成像素时钟信号。
在一种可能的设计中,水平消隐报文还携带像素时钟信号的像素时钟计数值,该方法还包括:根据像素时钟计数值对像素时钟信号进行修正。
第三方面,本申请实施例提供一种信号传输装置,该装置具有实现上述第一方面中方法的功能,功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,比如包括接口单元和处理单元。
在一个可能的设计中,该装置可以是芯片或者集成电路。
在一个可能的设计中,该装置包括存储器和处理器,存储器用于存储处理器执行的指令,当指令被处理器执行时,装置可以执行上述第一方面的方法。
在一个可能的设计中,该装置可以为第一设备整机。
第四方面,本申请实施例提供一种信号传输装置,该装置具有实现上述第二方面中方法的功能,功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,比如包括接口单元和处理单元。
在一个可能的设计中,该装置可以是芯片或者集成电路。
在一个可能的设计中,该装置包括存储器和处理器,存储器用于存储处理器执行的指令,当指令被处理器执行时,装置可以执行上述第二方面的方法。
在一个可能的设计中,该装置可以为第二设备整机。
第五方面,本申请实施例提供一种信号传输装置,该信号传输装置包括接口电路和处理器,处理器和接口电路之间相互耦合。处理器通过逻辑电路或执行指令用于实现上述第一方面的方法。接口电路用于接收来自该信号传输装置之外的其它信号传输装置的信号并传输至处理器或将来自处理器的信号发送给该信号传输装置之外的其它信号传输装置。可以理解的是,接口电路可以为收发器或收发机或收发信机或输入输出接口。
可选的,信号传输装置还可以包括存储器,用于存储处理器执行的指令或存储处理器运行指令所需要的输入数据或存储处理器运行指令后产生的数据。存储器可以是物理上独立的单元,也可以与处理器耦合,或者处理器包括该存储器。
第六方面,本申请实施例提供一种信号传输装置,该信号传输装置包括接口电路和处理器,处理器和接口电路之间相互耦合。处理器通过逻辑电路或执行指令用于实现上述第二方面的方法。接口电路用于接收来自该信号传输装置之外的其它信号传输装置的信号并传输至处理器或将来自处理器的信号发送给该信号传输装置之外的其它信号传输装置。可以理解的是,接口电路可以为收发器或收发机或收发信机或输入输出接口。
可选的,信号传输装置还可以包括存储器,用于存储处理器执行的指令或存储处理器运行指令所需要的输入数据或存储处理器运行指令后产生的数据。存储器可以是物理上独立的单元,也可以与处理器耦合,或者处理器包括该存储器。
第七方面,本申请实施例提供一种通信***,该通信***包括第一设备和第二设备,第一设备可以实现上述第一方面的方法,第二设备可以实现上述第二方面的方法。
第八方面,本申请实施例提供一种计算机可读存储介质,在存储介质中存储有计算机程序或指令,当计算机程序或指令被处理器执行时,可以实现上述第一方面或第二方面的方法。
第九方面,本申请实施例还提供一种计算机程序产品,包括计算机程序或指令,当计算机程序或指令被处理器执行时,可以实现上述第一方面或第二方面的方法。
第十方面,本申请实施例还提供一种芯片***,该芯片***包括:处理器和存储器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,可以实现上述第一方面或第二方面的方法。
上述第二方面至第十方面所能达到的技术效果请参照上述第一方面所能达到的技术效果,这里不再重复赘述。
附图说明
图1为本申请实施例提供的图像显示示意图;
图2为本申请实施例提供的视频信号生成示意图;
图3为本申请实施例提供视频传输示意图;
图4为本申请实施例提供的信号传输方法示意图之一;
图5为本申请实施例提供的双向多时音频流传输示意图;
图6为本申请实施例提供的信号传输方法示意图之二;
图7为本申请实施例提供的视频信号时序参数示意图;
图8为本申请实施例提供的视频发送适配器逻辑图之一;
图9为本申请实施例提供的视频发送适配器逻辑图之二;
图10为本申请实施例提供的视频发送适配器逻辑图之三;
图11为本申请实施例提供的视频报文结构示意图之一;
图12为本申请实施例提供的垂直消隐报文格式示意图;
图13为本申请实施例提供的水平消隐报文格式示意图;
图14为本申请实施例提供的有效视频报文格式示意图;
图15为本申请实施例提供的有效视频数据的排布示意图;
图16为本申请实施例提供的RGB格式视频像素分量排布示意图;
图17为本申请实施例提供的YCbCr444格式视频像素分量排布示意图;
图18为本申请实施例提供的YCbCr422格式视频像素分量排布示意图;
图19为本申请实施例提供的视频的数据排布示意图之一;
图20为本申请实施例提供的有效视频报文示意图之一;
图21为本申请实施例提供的视频的数据排布示意图之二;
图22为本申请实施例提供的有效视频报文示意图之二;
图23为本申请实施例提供的辅助数据报文格式示意图;
图24为本申请实施例提供的辅助数据报文封装示意图;
图25为本申请实施例提供的音频数据报文封装示意图;
图26为本申请实施例提供的音频ADP报文示意图;
图27为本申请实施例提供的有效音频报文格式示意图;
图28为本申请实施例提供的视频报文结构示意图之二;
图29为本申请实施例提供的视频接收适配器逻辑图之一;
图30为本申请实施例提供的视频接收适配器逻辑图之二;
图31为本申请实施例提供的视频接收适配器逻辑图之三;
图32为本申请实施例提供的像素时钟同步示意图;
图33为本申请实施例提供的时钟恢复示意图;
图34为本申请实施例提供的视频信号传输与恢复示意图;
图35为本申请实施例提供的视频数据填充示意图;
图36为本申请实施例提供的通信装置结构示意图之一;
图37为本申请实施例提供的通信装置结构示意图之二。
具体实施方式
在介绍本申请实施例之前,首先对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
1)、视频信号时序,视频信号时序源自阴极射线管(cathode ray tube,CRT)显示器/电视机,这种显示器使用电子枪发射电子束,电子束击打屏上的磷光粉,使磷光粉发光,光子束的强度控制像素的明暗,电子束采用光栅扫描(raster-scan)技术实现图像显示。参照图1所示的图像显示示意图,在开始显示一帧图像之前,电子束(electron beam)需要从右下角回到左上角,在这个过程中电子束需要消隐(不显示图像),这段时间称为垂直消隐(vertical retrace)。在显示完一行(line)数据后,电子束需要从当前行的最右侧回到下一行的最左侧,同样在这个过程中也需要消隐,这段时间称为水平消隐(honzontalretrace)。
2)、视频信号,参照图2所示的视频信号生成示意图,视频信号通常包括垂直同步信号(VSYNC)、水平同步信号(HSYNC)、显示使能信号(DE)、像素时钟信号、视频数据信号(或像素数据信号)等几个子信号。垂直同步信号:高电平时表示一帧视频图像的开始;水平同步信号:高电平时表示一行视频图像的开始;显示使能信号:高电平时表示当前像素数据中传输的是有效视频像素数据;视频数据信号(或像素数据信号):像素数据传输通路,通常有24/30/36/48线(视频信号线)组成,任一传输通路(即视频信号线)在每个像素时钟周期传输一个像素对应的数据。
参照图3所示的视频传输示意图,目前在视频源设备与视频宿设备之间进行视频信号传输时,需要先通过视频源设备中的DP控制器将视频信号转换为DP流,然后通过USB4/TBT路由器(router)中的DP输入(IN)适配器将DP流转换成USB4/TBT报文,再通过USB4/TBT网络传输到视频宿设备,由视频宿设备中USB4/TBT router中的DP输出(OUT)适配器根据报文恢复成DP流,再经过DP控制器还原成视频信号。然而,上述视频信号传输时,视频信号需要经过DP控制器处理后再送USB/TBT适配器进行处理,增大了视频信号的传输时延,并且视频源设备和视频宿设备均需集成额外的DP控制器,适配器需要集成DP的电气层和逻辑层会带来额外的成本和功耗。
有鉴于此,本申请提供一种信号传输方法及装置,旨在通过直接将视频信号打包成报文进行传输,以期降低视频信号的传输时延,降低视频源设备和视频宿设备的成本和功耗。
如图4所示,为本申请实施例提供的一种信号传输方法示意图,视音频信号经过视音频发送适配器(或视频发送适配器)可以转换成统一多媒体互联接口(unifiedmultimedia interconnection,UMI)报文,UMI报文经过UMI网络传输给相应的视音频接收适配器(或视频接收适配器),由视音频接收适配器再将UMI报文转换为视音频信号。其中,UMI标准支持双向多视、音频业务流传输,适配层中视音频数据的排布与传输层无关。基于UMI的双向多时音频流传输可以如图5所示,适配层可以包括一个或多个视音频发送适配器和一个或多个视音频接收适配器,视音频信号经过适配层的视音频发送适配器打包成UMI报文后,由UMI报文构成的视音频流通过传输层和物理层(包括电气层和逻辑层)传输被接收端的视音频接收适配器接收,由视音频接收适配器再将UMI报文转换为视音频信号。需要理解的是,在本申请实施例中,视音频信号不局限于通过UMI传输,也可以支持在PCIe等通用高速数据传输接口中使用。下面将结合附图,对本申请实施例进行详细描述。
另外,需要理解的是,本申请实施例提及“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的大小、内容、顺序、时序、优先级或者重要程度等。例如,第一设备和第二设备,并不是表示这两个设备对应的优先级或者重要程度等的不同。
本申请实施例中,对于名词的数目,除非特别说明,表示“单数名词或复数名词”,即"一个或多个”。“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。例如,A/B,表示:A或B。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),表示:a,b,c,a和b,a和c,b和c,或a和b和c,其中a,b,c可以是单个,也可以是多个。
图6为本申请实施例提供的一种信号传输方法示意图。图6中以第一设备和第二设备作为执行主体为例示意该方法,其中第一设备可以是机顶盒,游戏机等视频源设备、第二设备可以是显示器,电视机等视频宿设备,第一设备还可以是进行视频信号等发送的终端设备、计算机,便携机等等、第二设备还可以是进行视频信号等接收的终端设备、计算机,便携机等等,本申请并不限制该方法的执行主体。例如,图6中的第一设备也可以是第一设备的部件(例如处理器、芯片、或芯片***等),或者和第一设备匹配使用的装置;图6中的第二设备也可以是第二设备的部件(例如处理器、芯片、或芯片***等),或者和第二设备匹配使用的装置。该方法包括:
S601:第一设备获取视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号。
S602:第一设备根据像素时钟信号、显示使能信号获取视频数据信号中有效视频数据。
S603:第一设备根据垂直同步信号封装垂直消隐报文、根据水平同步信号封装水平消隐报文、根据有效视频数据封装有效视频报文。
S604:第一设备将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送,相应地,第二设备接收视频流。
在本申请实施例中,视频信号可以由第一设备产生,例如由第一设备中的视频信号发生器产生,也可以由第一设备从其它设备处获取,本申请对比不做限定。
参照图7所示,为本申请实施例提供的一种视频信号时序参数示例。视频信号包括视频子信号:水平同步信号(HSYNC)、垂直同步信号(VSYNC)、显示使能信号(DE)、像素时钟信号和视频数据信号视频子信号(图7中矩形区域)。视频信号时序参数是指视频子信号之间在时间上的关系,具体各时序参数如表1所示。
表1
视频数据信号(或像素数据信号)的每个传输通路在每个像素时钟周期传输一个像素对应的数据,结合图7所示的视频信号时序参数示例可知,视频数据信号(或像素数据信号)在垂直消隐区和水平消隐区没有有效像素点的传输,显示使能信号高电平时表示当前像素数据中传输的是有效视频像素数据。因此,在本申请实施例中,可以根据像素时钟信号、显示使能信号获取视频数据信号中的有效视频数据(即有效像素数据)。以降低视频信号的传输带宽。
参照图8所示的视频发送适配器逻辑图,第一设备(或第一设备中的视频发送适配器)在获取到视频信号后,可以根据像素时钟信号、显示使能信号获取(或捕获)视频数据信号中有效视频数据,并根据有效视频数据封装有效视频报文(active video packet,AVP),有效视频报文AVP中可以携带有效视频数据。另外,第一设备还可以根据垂直同步信号封装垂直消隐报文(vertical blanking packet,VBP)、根据水平同步信号封装水平消隐报文(horizontal blanking packet,HBP)。例如:在垂直同步信号由低电平变为高电平时,生成垂直消隐报文VBP,指示垂直同步信号的开始,也即指示一帧视频图像的开始;在水平同步信号由低电平变为高电平时,生成水平消隐报文HBP,指示水平同步信号的开始,也即指示一行视频图像的开始。
在一些实施中,第一设备还可以根据像素时钟信号、显示使能信号获取(或捕获)视频数据信号中位于消隐区(如垂直消隐区和水平消隐区)的辅助数据;根据辅助数据封装辅助数据报文(auxiliary data packet,ADP),辅助数据报文ADP中可以携带有辅助数据。第一设备还可以将辅助数据报文ADP复合(如通过流复用器等复合)在视频流中发送。对于视频信号还包括随路音频信号的情况,第一设备还可以根据音频信号封装辅助数据报文,在辅助数据报文中还携带音频信号(或音频信号对应的音频数据)的信息。
另外,为了进一步提高视频数据传输的安全性,第一设备还可以启动内容保护(如加密),将有效视频报文AVP和辅助数据报文ADP进行加密(如进行高级数据内容保护***技术(advanced digital content protection,ADCP)加密等),并可以根据加密时采用的加密密钥封装密钥分发报文(key distribution packet,KDP)、加密时采用的加密算法/加密方式等加密参数封装加密描述报文(encryption description packet,EDP),将加密后的有效视频报文AVP’、加密后的辅助数据报文ADP’、携带加密密钥信息的密钥分发报文KDP、携带加密参数加密描述报文EDP、以及垂直消隐报文VBP、水平消隐报文HBP等复合(如通过流复用器等复合)为视频流并发送。例如:视频流可以通过UMI网络发送。如通过UMI的传输层和物理层(包括电气层和逻辑层)发送给接收的第二设备(或第二设备中的视频接收适配器)。
需要理解的是,如果第一设备和第二设备约定或预先协商有加密参数或加密密钥,视频流中还可以不包括加密描述报文EDP和密钥分发报文KDP。
在本申请实施例中,将多类报文复合(如通过流复用器等复合)为视频流,可以是指将多类报文通过一个视频流传输,在多类报文中均可以携带该视频流的标识。例如:上述将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流,可以是指将垂直消隐报文、水平消隐报文和有效视频报文通过一个视频流传输,在一个视频流中包括垂直消隐报文、水平消隐报文和有效视频报文,垂直消隐报文、水平消隐报文和有效视频报文中均可以携带该视频流的标识。
在一些实施例中,为了便于接收端对音频信号的处理,第一设备也可以将音频信号(或音频数据)与辅助数据分别传输。参照图9所示的视频发送适配器逻辑图,第一设备可以仅根据辅助数据封装辅助数据报文ADP,并可以根据音频信号单独封装音频数据报文(audio data packet,AAP),在音频数据报文AAP中携带音频信号(或音频信号对应的音频数据)的信息。可选地,第一设备还可以根据传输需求,对音频数据报文AAP进行加密,传输加密后的音频数据报文AAP’。
另外,第一设备也可以按照需求,对垂直消隐报文VBP、水平消隐报文HBP、有效视频报文AVP和辅助数据报文ADP、音频数据报文AAP中的一项或多项报文进行加密。参照图10所示的视频发送适配器逻辑图,第一设备在封装垂直消隐报文VBP、水平消隐报文HBP、有效视频报文AVP和辅助数据报文ADP、音频数据报文AAP等时,可以根据内容保护(如加密)需求,将报文头中的内容保护标识(如CP标志)置1或置0,第一设备(如第一设备中的内容保护模块)可以根据报文头中的CP标志进行处理,如果CP标志为1,则对该报文进行加密,如果CP标志为0,则不加密。
在一种可能的实现中,视频流中的视频报文(如垂直消隐报文、水平消隐报文、有效视频报文等)结构可以如图11所示,视频报文可以包括4字节(共32比特(bits)的报文头和有效载荷(payload)部分。其中,视频报文报文头各字段含义可以如表2所示。
表2
视频报文按照报文类型(或功能)可以被划分为垂直消隐报文VBP、水平消隐报文HBP、辅助数据报文ADP、有效视频报文AVP、加密描述报文EDP、密钥分发报文KDP等等。
(1)、垂直消隐报文(VBP),垂直消隐报文用于传输VBS信号,即垂直消隐开始信号(垂直消隐信号由低电平变为高电平)。垂直消隐报文VBP标志一帧的开始,垂直消隐报文VBP格式可以如图12所示,包括报文头4字节,和消息体28字节,总计32字节。当第一设备(如第一设备中的视频发送适配器)接收到VBS信号后,立即生成垂直消隐报文VBP。垂直消隐报文VBP的报文头各字段含义可以如表3所示。
表3
垂直消隐报文VBP的消息体(即有效载荷部分)可以携带用于描述视频帧相关信息的帧级控制信息(video frame control,VFC),在VFC中可以携带当前视频帧的时序、色彩空间和色彩深度等信息。垂直消隐报文的消息体(即VFC)信息可以如表4所示,包括水平有效像素点个数(HActivePixels)、水平消隐区像素点个数(HBlankPixels)、水平消隐区前肩像素点个数(HFrontPorch)、HSync像素点个数(HSyncPixels)、视频帧有效行个数(VActiveLines)、垂直消隐区行数(VBlankLines)、垂直消隐区前肩行数(VFrontPorch)、VSync行数(VSyncLines)等信息。
表4
/>
/>
(2)、水平消隐报文HBP,水平消隐报文HBP可以用于传输水平同步信号,当第一设备(如第一设备中的视频发送适配器)接收到水平消隐开始信号(水平消隐信号由低电平变为高电平)后,立即生成水平消隐报文HBP。水平消隐报文HBP的格式可以如图13所示,其中水平消隐报文可以只有报文头,其报文头各字段含义可以如表5所示。
表5
(3)、有效视频报文AVP,有效视频报文AVP用于传输视频信号的有效视频数据(也可以称为有效视频像素数据)。有效视频报文AVP的格式可以如图14所示,有效视频报文可以由报文头(4字节)和负载(用于承载有效视频数据,也即有效视频像素数据)两部分组成,垂直消隐报文的报文头各字段含义可以如表6所示。
表6
对于有效视频数据中各像素分量可以采用如下排布规则:对于连续的视频像素点,第一设备(或第一设备的视频适配模块)可以优先排布位于首位的像素数据,然后按照接收顺序,排布位于首位之后的像素数据。作为一种示例:视频信号为红绿蓝(red、green、blue,RGB)视频时,有效视频报文携带的有效视频数据的排布可以参照图15所示,Pixel表示像素点,第一设备对于每一行的像素点,可以从第0个像素点开始,按照顺序依次排列该行中的像素点,直到该行的最后1个像素点结束。
其中,对于RGB格式视频像素分量排布,参照图16所示RGB格式视频像素分量排布示意图,第一设备(如第一设备中的视频适配模块)可以优先排布R分量,再排布G分量,最后排布B分量。
对于YCbCr444格式视频像素分量排布,其中Y是指亮度分量,Cb指蓝色色度分量,而Cr指红色色度分量,参照图17所示YCbCr444格式视频像素分量排布示意图,第一设备(如第一设备中的视频适配模块)可以优先排布Y分量,再排布Cb分量,最后排布Cr分量。
对于YCbCr422格式视频,参照图18所示YCbCr422格式视频像素分量排布示意图,第一设备(如第一设备中的视频适配模块)可以优先排布第0像素点的Y分量,第0像素点的Cb分量,然后是第1像素点的Y分量,第1像素点的Cr分量,再然后是第2像素点的Y分量,第2像素点的Cb分量,……,第n像素点的Y分量,第n像素点的Cb分量等等。
对于YCbCr420格式视频,第一设备(如第一设备中的视频适配模块)可以优先排布2个Y分量,再根据奇偶行排布Cb或Cr分量,即偶数行排布Cb分量,奇数行再排布Cr分量。
有效视频报文AVP的负载部分用于传输有效视频像素数据或压缩视频像素数据,其长度可以不超过508字节。当行结尾处的有效视频数据无法4字节对齐时,第一设备(如第一设备中的视频适配模块)可以填充数据“0”进行结构整型,以确保有效视频报文AVP数据负载部分4字节对齐。接收端第二设备(如第二设备中的视频适配模块)可以通过VFC中的水平有效像素点个数(HActivePixels)识别并丢弃填充数据。
作为一种示例,以分辨率为1280×720帧率为60(P60)、24位分辨率(bitresolution,bpp)的RGB视频为例,视频的数据排布如图19所示,有效视频区的行长度为1280个像素点(pixel)。像素分量中R[7]、G[7]、B[7]是最高位,R[0]、G[0]、B[0]是最低位,其中图19中仅示出了部分像素点的像素分量。视频帧每一行有1280个像素,每个像素24bit,一行为3840字节。一个有效视频报文AVP最大可以携带508字节的有效视频像素数据,1280个像素(3840字节)需要8个有效视频报文AVP传输。其中,第1个AVP(AVP0)传输像素0到像素169的R分量;AVP1从像素169的G分量开始,到像素338的G分量;……,AVP7传输像素1185的G分量开始,到像素1279。参照图20所示的有效视频报文AVP示意图,对于有效视频报文AVP0报文头中S标志需置1,标识此有效视频报文AVP为该行的首个有效视频报文AVP,有效视频报文AVP7的E标志需置1,标识此有效视频报文AVP为本行的最后一个有效视频报文AVP,其中,中间有效视频报文AVP(如有效视频报文AVP1)报文头中S标志和E标识应置0,标识为中间有效视频报文AVP。
作为又一种示例,以1280×720P60、30bpp RGB视频为例,视频的数据排布如图21所示,效视频区的行长度为1280个像素点。像素分量中R[9]、G[9]、B[9]是最高位,R[0]、G[0]、B[0]是最低位。其中图21中仅示出了部分像素点的像素分量。视频每一行有1280个像素,每个像素30bit,一行为4800字节。一个有效视频报文AVP最大可以携带508字节的有效视频像素数据,1280个像素(4800字节)需要10个有效视频报文AVP传输,其中第1个有效视频报文AVP(AVP0)传输像素0到像素135的G分量的低4位;有效视频报文AVP1从像素135的G分量高6位(G135[9:4])开始,到像素270的B分量的低8位B270[7:0];……,有效视频报文AVP9传输像素1219的R分量高4位(R1219[9:6])开始,到像素1279,共228个字节。参照图22所示的有效视频报文AVP示意图,对于有效视频报文AVP0报文头中S标志需置1,标识此有效视频报文AVP为该行的首个有效视频报文AVP,有效视频报文AVP9的E标志需置1,标识此有效视频报文AVP为本行的最后一个有效视频报文AVP,其中,中间有效视频报文AVP报文(如有效视频报文AVP1)报文头中S标志和E标识应置0,标识为中间有效视频报文AVP。
(4)、辅助数据报文ADP,辅助数据报文ADP可以传输音频信号(或音频数据)及其他随路数据,如音频和视频的配置及控制信息等。辅助数据报文按传输的数据类型可以分为音频ADP报文,音频信息帧ADP报文,视频扩展控制ADP报文等等。其中,若第一设备和第二设备之间仅传输辅助数据报文,则辅助数据报文可以在任意时刻发送;如果还有其他高优先级数据(如垂直消隐报文VBP或水平消隐报文HBP)传输,辅助数据报文ADP可以在高优先级数据或报文发送完成后发送。如图23所示为本申请实施例提供的一种辅助数据报文格式示意图,包括报文头4字节,和40字节的消息体(有效载荷)。辅助数据报文报文头各字段含义可以如表7所示。
表7
辅助数据报文ADP负载部分的前4字节(HB0~HB3)为辅助数据头,随后是32字节的数据,最后是4字节的CRC校验字节,总计40字节。辅助数据报文负载部分字段含义可以如表8所示。
表8
其中,辅助数据报文头字节0(HB0)描述当前的辅助数据身份标识(identitydocument,ID),用于区分同一类型下不同的流,例如音频中的不同语言的音轨。辅助数据报文头字节1为辅助数据类型,辅助数据类型如下表9所示,其中表9中CTA861-H指美国国家标准学会(american national standards institute,ANSI)/消费者技术协会(consumertechnology association,CTA)标准中用于非压缩高速数字接口的数字电视(data treeviewer,DTV)配置文件(A DTV profile for uncompressed high speed digitalinterfaces)。辅助数据报文头字节2和字节3描述各类辅助数据的特有属性。
表9
参照如图24所示辅助数据报文ADP封装示意图,一个辅助数据报文ADP最大可以携带32字节的辅助数据。通常当待传输的辅助数据长度超过32字节时,需要拆分成多个辅助数据报文ADP,此时需将首个辅助数据报文(ADP0)的报文头中的S标志置1,将最后一个辅助数据报文(ADP2)的E标志置1来分别标识第一个和最后一个辅助数据报文ADP。
对于音频控制ADP报文,可以用于传输音频控制信息,其负载部分结构可以如表10所示。第一设备(源侧)可将音频控制ADP报文中的音频静音标志(AudioMuteFlag)设置为0b,对音频进行静音处理。例如在切换音频(不同音频)或音频格式(如采样率)以及停止播放音频前,源侧应将AudioMuteFlag设置为0b,并发送对应的音频控制ADP报文,避免宿侧输出带有噪声、毛刺等用户可察觉错误的音频。音频控制报文载荷的DB1-DB3共同标识音频采样频率,即AudioSampleFreq。AudioSampleFreq标识的采样率与实际音频采样率偏差应不超过1。当音频控制报文内容变更时,第一设备(源侧)应立刻发送音频控制ADP报文;当音频控制ADP报文内容不变时,第一设备(源侧)应每1280个音频数据报文发送一次音频控制ADP报文。对于保留域,源侧应填充0x00;宿侧应具备识别、忽略保留域的能力,也应保留解析能力,保证扩展需求。
UMI支持多个音频流同时传输,例如不同语言的音频流和或不同画面的音频流。当采用多个音频流时,需通过ADP报文负载中的流ID(HB1)来标识。音频控制ADP报文与音频数据ADP报文配合使用,当采用多音频流时,同一音频流的音频控制ADP报文和音频数据ADP报文需使用相同的流ID(HB1)。
表10
对于音频数据ADP报文,可以用于传输音频流的采样数据(脉冲编码调制(linearpulse code modulation,LPCM音频)或压缩后的采样数据(IEC 61937)。如图25所示,UMI音频数据使用类似于IEC60958子帧(Sub-Frame)的音频时隙的方式封装,一个音频时隙对应5字节,具体含义如下表11所示。如图25所示,对于非压缩音频,首先待传输的音频应遵守IEC60958规范封包,构成IEC 60958的音频子帧。然后遵守“音频采样数据结构”规范,第一设备(如第一设备中视频适配模块/视音频适配模块)将音频子帧封包为音频时隙,最终将音频时隙封装为音频数据ADP报文中进行传输。
对于压缩音频,待传输的音频应符合IEC 61937第6章映射规范(mapping rule),即将音频数据映射到IEC 60958规定的音频子帧,后续封包规范与上述非压缩音频一致。
表11
/>
视频适配模块或视音频适配模块将遵循IEC 60958或IEC 61937协议的音频数据封包到音频ADP报文中,实现音频数据的传输。ADP报文中的数据部分为32字节,可以容纳6个音频时隙,每个时隙可以传输1个声道的音频数据。ADP报文结构可以如图26所示,一个音频ADP报文可以传输6个音频时隙,具体的字节含义如下表12所示:
表12
/>
/>
对于视频流信息ADP报文,可以用于传输当前视频的功能信息,其负载部分结构可以如表13所示。
表13
/>
视频流信息ADP报文载荷中DB2[7:4]表示像素重复因子,像素重复因子如表14所示。
表14
视频流信息ADP报文载荷中DB3[7:4]和DB3[3:0]分别表示图像比例模式和有效图像比例模式。图像比例模式和有效图像比例模式如表15所示。其值描述详见CTA-861-H。视频流信息ADP报文载荷中DB4-DB12的描述详见CTA-861-H。
表15
视频元数据ADP报文,可以用于传输视频的元数据信息,其负载部分结构可以如表16所示。当视频元数据信息长度小于32字节,1个视频元数据ADP即可承载,此时视频元数据ADP报文头中S标和E标均需置1;同时HB3字节中保存实际的元数据长度。当视频元数据长度大于32字节时,需要封装为多个视频元数据ADP报文,每个报文传输32字节(HB3固定为32),最后一个报文不足32字节时填充0,同时在HB3中保存当前报文中实际有效的字节数;此外第1个ADP报文中的S标志置1,最后1个ADP报文的E标志置1。
表16
音频信息帧ADP报文音频信息帧的内容应符合CTA-861-H中的定义,通过音频信息帧ADP报文承载。音频信息帧ADP报文的报文头和载荷分别如下表17所示。当音频信息帧内容变更时,第一设备(源侧)应立刻发送音频信息帧ADP报文;当音频信息帧内容不变时,第一设备(源侧)应每1280个音频数据ADP报文发送一次音频信息帧报文。
表17
/>
ADP报文还可以包括厂商扩展ADP报文、厂商特定ADP报文、视频信息帧ADP报文、源产品描述ADP报文、动态图像专家组(moving pictures experts group,MPEG)源信息帧ADP报文、动态范围ADP报文等等,具体结构可以参照上述ADP报文的描述,不再进行赘述。
(5)、有效音频报文AAP,也可以称为视频数据报文,可以用于传输音频信号(或音频数据)。如图27所示为本申请实施例提供的一种有效音频报文AAP格式示意图,有效音频报文AAP报文结构与音频数据ADP报文格式可以完全相同,仅将类型(Type)字段修改为5,以便于后端设备(如第二设备)能快速识别出该报文为有效音频报文AAP。
(6)、加密描述报文(encryption description packet,EDP)和密钥分发报文(keydistribution packet,KDP),其中加密描述报文EDP和密钥分发报文KDP的结构可以参考上述视频报文处的介绍,不再进行赘述。对于加密描述报文EDP,在加密描述报文EDP的有效载荷中可以承载加密算法等加密参数,对于密钥分发报文KDP在加密描述报文KDP的有效载荷中可以承载加密密钥。
在一些实施中,因视频报文中的垂直消隐报文VBP用于传输垂直同步信号,指示一帧视频图像的开始,加密描述报文EDP和密钥分发报文KDP用于对有效视频数据等的解密,如果这些报文传输出错,则可能出现无法接收侧的第二设备无法正确输出视频信号的问题,为保障这些报文的传输,第一设备对于垂直消隐报文VBP、加密描述报文EDP和密钥分发报文KDP在视频流中可以连续重复发送多份。如连续发送三份,第二设备接收到上述三种报文后,先进行正确性校验,如CRC校验,如校验未通过,则接收下一个报文,直到接收到正确的报文为止。例如:第二设备中的视频接收适配器接收到垂直消隐报文VBP后,先进行CRC校验,如校验未通过,则接收下一个垂直消隐报文VBP,直到接收到正确的垂直消隐报文VBP为止。
在另一些实施中,如图28所示的报文结构。也可以将垂直消隐报文VBP、加密描述报文EDP和密钥分发报文KDP报文头中R标志由保留(Reserved)变为重试(Retry),由传输层来实现可靠传输。传输层的可靠传输规则:当报文头中的R标志为0时,则接收侧(如第二设备)不管收到的报文是否正确都向后传输。而当由到R标志为1时,则必须检查该报文是否正确,如果不正确,则发起重传请求,要求前一级重传该报文。也即,第一设备可以令垂直消隐报文VBP、加密描述报文EDP和密钥分发报文KDP的报文头中包含Retry标志位,Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求。第二设备当垂直消隐报文VBP、加密描述报文EDP和密钥分发报文KDP中任一报文不正确时,对报文发起重传。
重新回到图6,S605:第二设备根据垂直消隐报文生成垂直同步信号、根据水平消隐报文生成水平同步信号。
S606:第二设备根据垂直同步信号、水平同步信号、像素时钟信号和有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号。
S607:第二设备输出视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号。
在本申请实施例中,第二设备(或第二设备中的视频接收适配器)可以通过对来自第一设备的视频流解复合(如通过流解复用器等解复合),得到第一设备发送的垂直消隐报文、水平消隐报文等报文。需要理解的是,在本申请实施例中,将视频流解复合,得到将多类报文,可以是指根据报文的标识,对视频流中的多类报文进行识别(或划分)。以视频流中包括垂直消隐报文、水平消隐报文和有效视频报文为例,将视频流解复用,得到垂直消隐报文、水平消隐报文和有效视频报文,可以是指根据垂直消隐报文的标识(如4b'0001)、水平消隐报文的标识(如4b'0010)和有效视频报文的标识(如4b'0100),在视频流中识别(或划分)出垂直消隐报文、水平消隐报文和有效视频报文。
对于如表1所示VSync行数(VSyncLines)、HSync像素点个数(HSyncPixels)、像素时钟信号频点(PixelClockFreq)等视频信号时序参数第二设备可以和第一设备预先约定或协商,也可以通过第一设备发送的垂直消隐报文VBP中的VFC获取,本申请实施例对此不作限定。参照图29所示的视频接收适配器逻辑图,第二设备(或第二设备中的视频接收适配器)接收到来自第一设备的垂直消隐报文VBP时,确定垂直同步信号由低电平变为高电平,将垂直同步极性(VSyncPol)由低电平变为(或拉升为)高电平,并持续VSync行数,生成垂直同步信号。类似的,第二设备接收到来自第一设备的水平消隐报文HBP时,确定水平同步信号由低电平变为高电平,将水平同步极性(HSyncPol)由低电平变为(拉升为)高电平,并持续HSync像素点个数,生成水平同步信号。
视频数据信号(或像素数据信号)的每个传输通路在每个像素时钟周期传输一个像素对应的数据,结合图7所示的视频信号时序参数示例可知,视频数据信号(或像素数据信号)在垂直消隐区和水平消隐区没有有效像素点的传输,显示使能信号高电平时表示当前像素数据中传输的是有效视频像素数据。第二设备可以根据像素时钟信号频点(PixelClockFreq)配置本端锁相环(phase locked loop,PLL),生成本地像素时钟信号。第二设备接收到有效视频报文AVP后,可以将有效视频报文AVP携带的有效视频数据(即有效视频报文AVP携带的视频像素数据)放入“视频信号还原”模块的缓冲区。“视频信号还原”模块根据时序参数,在水平同步信号下降沿之后的HBackPorch(HBlankPixels–HSyncPixels-HFrontPorch)个像素时钟后,或者在水平同步信号上降沿之后的HSync+HBackPorch(HBlankPixels–HFrontPorch)个像素时钟后将显示使能信号拉高,同时将缓冲区中缓存的像素数据随像素时钟通过视频信号线输出。
在一些实施中,视频流中还可以包括辅助数据报文ADP,辅助数据报文ADP可以用于传输音频和视频的配置及控制信息等辅助数据,还可以用于传输随路的音频信号(或音频数据),第二设备还可以根据音频和视频的配置及控制信息等辅助数据,进行音频和视频的配置及控制,并且还可以根据传输的随路的音频信号(或音频数据),输出音频信号。
在一些实施中,参照图8所示的视频发送适配器逻辑图,如果第一设备启动内容保护(如加密),将有效视频报文AVP和辅助数据报文ADP进行加密(如进行ADCP加密),第二设备在对有效视频报文AVP和辅助数据报文ADP进行处理前,还可以获取视频流中的加密描述报文EDP携带的加密参数、密钥分发报文KDP携带的加密密钥,对加密后的有效视频报文AVP’和加密后的辅助数据报文ADP’进行解密,得到解密后的有效视频报文AVP和解密后的辅助数据报文ADP。
需要理解的是,如果第一设备和第二设备约定或预先协商有加密参数或加密密钥,视频流中还可以不包括加密描述报文EDP和密钥分发报文KDP。
在一些实施例中,参照图9所示的视频发送适配器逻辑图,如果为了便于第二设备对音频信号的处理,第一设备将音频信号(或音频数据)与辅助数据分别传输,根据辅助数据封装辅助数据报文ADP,根据音频信号单独封装音频数据报文AAP。在视频流中还可以包括音频数据报文AAP。参照图30所示的视频接收适配器逻辑图,第二设备还可以根据音频数据报文AAP单独生成(或恢复)音频信号,并输出。可选地,如果第一设备根据传输需求,对音频数据报文AAP进行加密,在视频流中传输的是加密后的音频数据报文AAP’,第二设备在对还可以根据加密密钥和加密参数对加密后的音频数据报文AAP’进行解密,得到解密后的音频数据报文AAP,再进行后续处理。
另外,第一设备也可以按照需求,对垂直消隐报文VBP、水平消隐报文HBP、有效视频报文AVP和辅助数据报文ADP、音频数据报文AAP中的一项或多项报文进行加密。参照图10所示的视频发送适配器逻辑图,第一设备在封装垂直消隐报文VBP、水平消隐报文HBP、有效视频报文AVP和辅助数据报文ADP、音频数据报文AAP等时,可以根据内容保护(如加密)需求,将报文头中的内容保护标识(如CP标志)置1或置0,第一设备(如第一设备中的内容保护模块)可以根据报文头中的CP标志进行处理,如果CP标志为1,则对该报文进行加密,如果CP标志为0,则不加密。参照图31所示的视频接收适配器,第二设备(或第二设备中的视频接收适配器)还可以识别视频流中的垂直消隐报文VBP、水平消隐报文HBP、有效视频报文AVP和辅助数据报文ADP、音频数据报文AAP等报文头中的内容保护标识(如CP标志)是否为1,在为1的时候对报文进行解密。
第二设备(如第二设备中的视频接收适配器)和第一设备(如第一设备中的视频发送适配器)位于不同的时钟域中,为避免视频接收适配器因时钟漂移导致像素和视频发送适配器的像素时钟随时间的推进而产生偏差。参照图32所示的像素时钟同步示意图,在本申请实施例中,第一设备可以根据水平同步信号(图中以垂直同步(VSYNC)表示)和像素时钟信号(图中以像素时钟表示)的像素时钟计数值封装水平消隐报文HBP,也即可以将第一设备侧的像素时钟信号的像素时钟计数值封装所述水平消隐报文HBP中,第二设备(如第二设备中的视频接收适配器)还可以使用需使用HBP报文中携带的像素时钟计数值进行像素时钟同步处理。
像素时钟计数器可以是一个64位的计数器,对视频信号中的像素时钟进行计数。视频源像素时钟为***内部时钟信号,通常不会引入展频等技术,因此不需引入数字滤波,而直接对像素时钟进行计数。如图32所示,在视频发送适配器(如第一设备中的视频发送适配器)的水平消隐报文打包模块和视频接收适配器的水平消隐报文解封装模块均需要实现像素时钟计数器,并对本端的像素时钟进行计数。需要理解的是,部分视频信号接口支持在一个时钟周期传输多个像素数据,此时为确保接收端收到的计数器与实际的像素时钟相符,视频发送适配器的计数器应按实际的像素个数进行计数,即一个时钟周期计数器增加的值需与实际接收像素个数相同。
作为一种示例,如图33所示,在时钟恢复时,第二设备在接收到第1个VBP时,根据VBP中的像素时钟频率(PixelClockFreq)参数配置本端PLL,生成本地像素时钟信号,同时本地像素时钟信号反馈给水平消隐报文解封装模块中的像素时钟计数器进行计数。视频接收适配器在生成本地像素时钟后,接收到第1个水平消隐报文HBP时,将水平消隐报文HBP中的像素时钟计数器采样值(PixelClock_Count)加载到本端的像素时钟计数器。后续视频接收适配器每接收到水平消隐报文HBP,都需要将水平消隐报文HBP中的像素时钟采样值减去本端像素时钟计数器中的值,并根据两者的差值调整PLL。
在一些实施中,视频接收适配器在重建视频像素数据流时,为避免因视频数据报文传输过程中的抖动导致部分报文延迟到达,从而出现视频数据输出中断的现象,视音频接收适配器应缓存一定量的视音频数据。为了确保缓冲区能累积一定的视频数据,以抵抗传输抖动,在视频接收适配器接收到每行的首个有效视频报文AVP时(报文中S标志为1)后,不能立即通过视频数据信号输出,而是需要经过一个累积周期(tVideoDelay)后,才将缓存的有效视频数据向外发送。除首个有效视频报文AVP外,其他的有效视频报文AVP报文接收到后可以直接输出。
其中,累积周期要确保缓存的视频数据基本能抵抗传输抖动对有效视频报文AVP影响,以避免视频接收适配器因缓冲区下溢而需要频繁地在有效视频区***填充数据。累积周期同样不宜过大,以避免引入过多的时延,并增加缓存成本。累积周期是像素时钟为单位,通常累积周期必须大于一个有效视频报文AVP的对应的像素时钟周期数,小于两个有效视频报文的像素时钟周期数。例如:在UMI标准中,有效视频报文AVP负载部分最大为508字节,当采用RGB/YCbCr444 8bpc时,每个像素占3字节(24比特),则一个有效视频报文AVP对应的像素时钟周期最大为508/3=170像素时钟周期,因此tVideoDelay的值为[170,340]之间。
另外,参照图34所示的视频信号传输与恢复示意图,其中垂直同步表示垂直同步信号(VSYNC)、水平同步表示水平同步信号(HSYNC)、显示使能表示显示使能信号、视屏数据表示视频数据信号。为了确保缓冲区能累积一定的视频数据,视频接收适配器在接收到垂直消隐报文VBP和水平消隐报文HBP后,也需要延迟累积周期,即tVideoDelay个像素时钟后再生成垂直同步信号(VSYNC)和水平同步信号(HSYNC),比如:也即接收侧的第二设备接收到垂直消隐报文VBP后,延迟一个固定时间(即累积周期(tVideoDelay))后产生垂直同步信号,并将垂直同步信号持续VSyncLines*HTotal个像素时钟;接收侧的第二设备接收水平同步信号HBP报文后,延迟一个固定时间(tVideoDelay)后产生水平同步信号,并将水平同步信号持续HSyncPixels个像素周期。接收侧的第二设备接收到有效视频报文AVP后,将其携带视频像素数据放入“视频信号还原”模块的缓冲区,并随显示使能信号进行输出。
需要理解的是视频接收适配器在接收到相应的报文头(如垂直消隐报文VBP报文头),根据报文头识别出报文类型后即可开始tVideoDelay计时,而不用等待到一个完整的报文接收结束。对于采用帧转发的***,即传输层需要完整接收一帧后才将整帧数据从传输层缓冲区复制到适配器缓冲区的***,则tVideoDelay只能从接收到完整的报文后开始计时,此时需要减去本报文对应的像素时钟周期数。如以RGB/YUV444 8bpc为例,垂直消隐报文VBP需减去9个像素时钟周期,水平消隐报文HBP减去8个像素时钟周期,有效视频报文AVP则需要根据实际的有效负载部分的长度计算需减去的像素时钟周期数。
在一些实施中,当视频接收适配器的缓冲区下溢时,可以采用填充的方式解决,即临时拉低显示使能(DE)信号,等待缓冲区有数据时再拉高显示使能信号并继续发送视频数据。如图35所示,有效视频报文AVP3延迟到达,视频接收适配器的缓冲区出现下溢,在缓存的像素数发送完成后,需要临时拉低显示使能信号;当接收到有效视频报文AVP3后立即恢复视频数据发送。
可以理解的是,为了实现上述实施例中功能,第一设备和第二设备包括了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本申请中所公开的实施例描述的各示例的单元及方法步骤,本申请能够以硬件或硬件和计算机软件相结合的形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用场景和设计约束条件。
图36和图37为本申请的实施例提供的可能的信号传输装置的结构示意图。这些信号传输装置可以用于实现上述方法实施例中第一设备或第二设备的功能,因此也能实现上述方法实施例所具备的有益效果。在一种可能的实现中,该信号传输装置可以是第一设备或第二设备,还可以是应用于第一设备或第二设备的模块(如芯片)。
如图36所示,信号传输装置3600包括处理单元3610和接口单元3620,其中接口单元3620还可以为收发单元或输入输出接口。信号传输装置3600可用于实现上述图6中所示的方法实施例中第一设备或第二设备的功能。
当信号传输装置3600用于实现图6所示的方法实施例中第一设备的功能时:
处理单元3610,用于获取视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号;根据像素时钟信号、显示使能信号获取视频数据信号中有效视频数据;根据垂直同步信号封装垂直消隐报文、根据水平同步信号封装水平消隐报文、根据有效视频数据封装有效视频报文;
接口单元3620,用于将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送。
在一种可能的设计中,处理单元3610,还用于根据像素时钟信号、显示使能信号获取视频数据信号中位于消隐区的辅助数据;根据辅助数据封装辅助数据报文;接口单元3620将垂直消隐报文、水平消隐报文和有效视频报文复合为视频流并发送时,具体用于将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送。
在一种可能的设计中,处理单元3610根据辅助数据封装辅助数据报文时,具体用于当视频信号还包括随路音频信号时,根据辅助数据和音频信号封装辅助数据报文。
在一种可能的设计中,处理单元3610,还用于当视频信号还包括随路音频信号时,根据音频信号封装音频数据报文;接口单元3620将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送时,具体用于将垂直消隐报文、水平消隐报文、有效视频报文、辅助数据报文和音频数据报文复合为视频流并发送。
在一种可能的设计中,处理单元3610,还用于根据加密参数和加密密钥对有效视频报文和辅助数据报文进行加密,得到加密后的有效视频报文和加密后的辅助数据报文;根据加密参数封装加密描述报文、根据加密密钥封装密钥分发报文;接口单元3620将垂直消隐报文、水平消隐报文、有效视频报文和辅助数据报文复合为视频流并发送时,具体用于将垂直消隐报文、水平消隐报文、加密后的有效视频报文、加密后的辅助数据报文、加密描述报文和密钥分发报文复合为视频流并发送。
在一种可能的设计中,处理单元3610,还用于根据加密参数和加密密钥对有效视频报文和音频数据报文进行加密,得到加密后的有效视频报文和加密后的音频数据报文;根据加密参数封装加密描述报文、根据加密密钥封装密钥分发报文;接口单元3620将垂直消隐报文、水平消隐报文、有效视频报文、辅助数据报文和音频数据报文复合为视频流并发送时,具体用于将垂直消隐报文、水平消隐报文、加密后的有效视频报文、辅助数据报文、加密后的音频数据报文、加密描述报文和密钥分发报文复合为视频流并发送。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文在视频流中连续重复发送多份。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文的报文头中包含重试Retry标志位,Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求。
在一种可能的设计中,处理单元3610根据垂直同步信号封装垂直消隐报文时,具体用于根据垂直同步信号和视频帧控制信息封装垂直消隐报文,视频帧控制信息包括像素时钟信号的像素时钟参数。
在一种可能的设计中,处理单元3610根据水平同步信号封装水平消隐报文时,具体用于根据水平同步信号和像素时钟信号的像素时钟计数值封装水平消隐报文。
当信号传输装置3600用于实现图6所示的方法实施例中第二设备的功能时:
接口单元3620,用于接收视频流,视频流包括垂直消隐报文、水平消隐报文和有效视频报文;
处理单元3610,用于根据垂直消隐报文生成垂直同步信号、根据水平消隐报文生成水平同步信号;根据垂直同步信号、水平同步信号、像素时钟信号和有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号;以及输出视频信号,视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号。
在一种可能的设计中,视频流还包括辅助数据报文,处理单元3610根据垂直同步信号、水平同步信号、像素时钟信号和有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号时,具体用于根据垂直同步信号、水平同步信号、像素时钟信号、有效视频报文携带的有效视频数据和辅助数据报文携带的辅助数据,生成视频数据信号和显示使能信号。
在一种可能的设计中,处理单元3610,还用于根据辅助数据报文,生成音频信号,其中输出的视频信号还包括音频信号。
在一种可能的设计中,视频流还包括音频数据报文,处理单元3610,还用于根据音频数据报文生成音频信号;其中,输出的视频信号还包括音频信号。
在一种可能的设计中,视频流还包括加密描述报文和密钥分发报文,有效视频报文和辅助数据报文为加密后的有效视频报文和加密后的辅助数据报文,处理单元3610,还用于获取加密描述报文携带的加密参数、获取密钥分发报文携带的加密密钥;根据加密参数和加密密钥对加密后的有效视频报文和加密后的辅助数据报文进行解密,得到解密后的有效视频报文和解密后的辅助数据报文。
在一种可能的设计中,视频流还包括加密描述报文和密钥分发报文,有效视频报文和音频数据报文为加密后的有效视频报文和加密后的音频数据报文,处理单元3610,还用于获取加密描述报文携带的加密参数、获取密钥分发报文携带的加密密钥;根据加密参数和加密密钥对加密后的有效视频报文和加密后的音频数据报文进行解密,得到解密后的有效视频报文和解密后的音频数据报文。
在一种可能的设计中,视频流中包括连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文,接口单元3620,还用于从连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文中选取通过正确性校验的垂直消隐报文、加密描述报文和密钥分发报文。
在一种可能的设计中,垂直消隐报文、加密描述报文和密钥分发报文的报文头中包含重试Retry标志位,Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求,接口单元3620,还用于当垂直消隐报文、加密描述报文和密钥分发报文中任一报文不正确时,对报文发起重传。
在一种可能的设计中,处理单元3610,还用于获取垂直消隐报文携带的视频帧控制信息,视频帧控制信息包括像素时钟参数;根据视频帧控制信息,生成像素时钟信号。
在一种可能的设计中,水平消隐报文还携带像素时钟信号的像素时钟计数值,处理单元3610,还用于根据像素时钟计数值对像素时钟信号进行修正。
如图37所示,本申请还提供一种信号传输装置3700,包括处理器3710和接口电路3720。处理器3710和接口电路3720之间相互耦合。可以理解的是,接口电路3720可以为收发器、输入输出接口、输入接口、输出接口、通信接口等。可选的,信号传输装置3700还可以包括存储器3730,用于存储处理器3710执行的指令或存储处理器3710运行指令所需要的输入数据或存储处理器3710运行指令后产生的数据。可选的,存储器3730还可以和处理器3710集成在一起。
当信号传输装置3700用于实现图6所示的方法时,处理器3710可以用于实现上述处理单元3610的功能,接口电路3720可以用于实现上述接口单元3620的功能。
可以理解的是,本申请的实施例中的处理器可以是中央处理单元(centralprocessing unit,CPU),还可以是其它通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、逻辑电路、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件、晶体管逻辑器件,硬件部件或者其任意组合。通用处理器可以是微处理器,也可以是任何常规的处理器。
本申请的实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器、闪存、只读存储器、可编程只读存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于网络设备或终端设备中。当然,处理器和存储介质也可以作为分立组件存在于网络设备或终端设备中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网络设备、终端、计算机、服务器或数据中心通过有线或无线方式向另一个网络设备、终端、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘;还可以是半导体介质,例如,固态硬盘。该计算机可读存储介质可以是易失性或非易失性存储介质,或可包括易失性和非易失性两种类型的存储介质。
在本申请的各个实施例中,如果没有特殊说明以及逻辑冲突,不同的实施例之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。
另外,需要理解,在本申请实施例中,“示例的”一词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
Claims (32)
1.一种信号传输方法,其特征在于,包括:
获取视频信号,所述视频信号包括垂直同步信号、水平同步信号、像素时钟信号、显示使能信号和视频数据信号;
根据所述像素时钟信号、显示使能信号获取所述视频数据信号中有效视频数据;
根据所述垂直同步信号封装垂直消隐报文、根据所述水平同步信号封装水平消隐报文、根据所述有效视频数据封装有效视频报文;
将所述垂直消隐报文、所述水平消隐报文和所述有效视频报文复合为视频流并发送。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述像素时钟信号、显示使能信号获取所述视频数据信号中位于消隐区的辅助数据;
根据所述辅助数据封装辅助数据报文;
所述将所述垂直消隐报文、所述水平消隐报文和所述有效视频报文复合为视频流并发送,包括:
将所述垂直消隐报文、所述水平消隐报文、所述有效视频报文和所述辅助数据报文复合为视频流并发送。
3.如权利要求2所述的方法,其特征在于,所述根据所述辅助数据封装辅助数据报文,包括:
当所述视频信号还包括随路音频信号时,根据所述辅助数据和所述音频信号封装所述辅助数据报文。
4.如权利要求2所述的方法,其特征在于,所述方法还包括:
当所述视频信号还包括随路音频信号时,根据所述音频信号封装音频数据报文;
所述将所述垂直消隐报文、所述水平消隐报文、所述有效视频报文和所述辅助数据报文复合为视频流并发送,包括:
将所述垂直消隐报文、所述水平消隐报文、所述有效视频报文、所述辅助数据报文和所述音频数据报文复合为视频流并发送。
5.如权利要求2或3所述的方法,其特征在于,所述方法还包括:
根据加密参数和加密密钥对所述有效视频报文和所述辅助数据报文进行加密,得到加密后的有效视频报文和加密后的辅助数据报文;
根据所述加密参数封装加密描述报文、根据所述加密密钥封装密钥分发报文;
所述将所述垂直消隐报文、所述水平消隐报文、所述有效视频报文和所述辅助数据报文复合为视频流并发送,包括:
将所述垂直消隐报文、所述水平消隐报文、所述加密后的有效视频报文、所述加密后的辅助数据报文、所述加密描述报文和所述密钥分发报文复合为视频流并发送。
6.如权利要求4所述的方法,其特征在于,所述方法还包括:
根据加密参数和加密密钥对所述有效视频报文和所述音频数据报文进行加密,得到加密后的有效视频报文和加密后的音频数据报文;
根据所述加密参数封装加密描述报文、根据所述加密密钥封装密钥分发报文;
所述将所述垂直消隐报文、所述水平消隐报文、所述有效视频报文、所述辅助数据报文和所述音频数据报文复合为视频流并发送,包括:
将所述垂直消隐报文、所述水平消隐报文、所述加密后的有效视频报文、所述辅助数据报文、所述加密后的音频数据报文、所述加密描述报文和所述密钥分发报文复合为视频流并发送。
7.如权利要求5或6所述的方法,其特征在于,所述垂直消隐报文、所述加密描述报文和所述密钥分发报文在所述视频流中连续重复发送多份。
8.如权利要求5或6所述的方法,其特征在于,所述垂直消隐报文、所述加密描述报文和所述密钥分发报文的报文头中包含重试Retry标志位,所述Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求。
9.如权利要求1-8中任一项所述的方法,其特征在于,所述根据所述垂直同步信号封装垂直消隐报文,包括:
根据所述垂直同步信号和视频帧控制信息封装垂直消隐报文,所述视频帧控制信息包括所述像素时钟信号的像素时钟参数。
10.如权利要求1-9中任一项所述的方法,其特征在于,所述根据所述水平同步信号封装水平消隐报文,包括:
根据所述水平同步信号和所述像素时钟信号的像素时钟计数值封装所述水平消隐报文。
11.如权利要求1-10中任一项所述的方法,其特征在于,将所述垂直消隐报文、所述水平消隐报文和所述有效视频报文复合为视频流,包括:
将所述垂直消隐报文、所述水平消隐报文和所述有效视频报文通过流复用器复合为视频流。
12.如权利要求1-11中任一项所述的方法,其特征在于,发送所述视频流包括:
通过统一多媒体互联接口UMI的传输层和物理层发送所述视频流。
13.一种信号传输方法,其特征在于,包括:
接收视频流,所述视频流包括垂直消隐报文、水平消隐报文和有效视频报文;
根据所述垂直消隐报文生成垂直同步信号、根据所述水平消隐报文生成水平同步信号;
根据所述垂直同步信号、所述水平同步信号、像素时钟信号和所述有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号;
输出视频信号,所述视频信号包括所述垂直同步信号、所述水平同步信号、所述像素时钟信号、所述显示使能信号和所述视频数据信号。
14.如权利要求13所述的方法,其特征在于,所述视频流还包括辅助数据报文,所述根据所述垂直同步信号、所述水平同步信号、像素时钟信号和所述有效视频报文携带的有效视频数据,生成视频数据信号和显示使能信号,包括:
根据所述垂直同步信号、所述水平同步信号、像素时钟信号、所述有效视频报文携带的有效视频数据和所述辅助数据报文携带的辅助数据,生成视频数据信号和显示使能信号。
15.如权利要求14所述的方法,其特征在于,所述方法还包括:
根据所述辅助数据报文,生成音频信号,其中输出的所述视频信号还包括所述音频信号。
16.如权利要求14所述的方法,其特征在于,所述视频流还包括音频数据报文,所述方法还包括:
根据所述音频数据报文生成音频信号;其中,输出的所述视频信号还包括所述音频信号。
17.如权利要求14或15所述的方法,其特征在于,所述视频流还包括加密描述报文和密钥分发报文,所述有效视频报文和所述辅助数据报文为加密后的有效视频报文和加密后的辅助数据报文,所述方法还包括:
获取所述加密描述报文携带的加密参数、获取所述密钥分发报文携带的加密密钥;
根据所述加密参数和所述加密密钥对所述加密后的有效视频报文和加密后的辅助数据报文进行解密,得到解密后的有效视频报文和解密后的辅助数据报文。
18.如权利要求16所述的方法,其特征在于,所述视频流还包括加密描述报文和密钥分发报文,所述有效视频报文和所述音频数据报文为加密后的有效视频报文和加密后的音频数据报文,所述方法还包括:
获取所述加密描述报文携带的加密参数、获取所述密钥分发报文携带的加密密钥;
根据所述加密参数和所述加密密钥对所述加密后的有效视频报文和加密后的音频数据报文进行解密,得到解密后的有效视频报文和解密后的音频数据报文。
19.如权利要求17或18所述的方法,其特征在于,所述视频流中包括连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文,所述方法还包括:
从所述连续重复发送的多份垂直消隐报文、加密描述报文和密钥分发报文中选取通过正确性校验的垂直消隐报文、加密描述报文和密钥分发报文。
20.如权利要求17或18所述的方法,其特征在于,所述垂直消隐报文、加密描述报文和密钥分发报文的报文头中包含重试Retry标志位,所述Retry标志位为1时,用于指示接收端检查报文是否正确,并在报文不正确时发起重传请求,所述方法还包括:
当所述垂直消隐报文、所述加密描述报文和所述密钥分发报文中任一报文不正确时,对所述报文发起重传。
21.如权利要求13-20中任一项所述的方法,其特征在于,所述方法还包括:
获取所述垂直消隐报文携带的视频帧控制信息,所述视频帧控制信息包括像素时钟参数;
根据所述视频帧控制信息,生成所述像素时钟信号。
22.如权利要求13-21中任一项所述的方法,其特征在于,所述水平消隐报文还携带所述像素时钟信号的像素时钟计数值,所述方法还包括:
根据所述像素时钟计数值对所述像素时钟信号进行修正。
23.如权利要求13-22中任一项所述的方法,其特征在于,接收所述视频流之后,所述方法还包括:
将所述视频流通过流解复用器解复用,得到所述垂直消隐报文、水平消隐报文和有效视频报文。
24.如权利要求13-23中任一项所述的方法,其特征在于,所述接收视频流,包括:
通过统一多媒体互联接口UMI的传输层和物理层接收所述视频流。
25.一种信号传输装置,其特征在于,包括接口单元和处理单元;
接口单元,用于接收和发送数据;
处理单元,用于通过所述接口单元,执行如权利要求1-12中任一项所述的方法。
26.一种信号传输装置,其特征在于,包括接口单元和处理单元;
接口单元,用于接收和发送数据;
处理单元,用于通过所述接口单元,执行如权利要求13-24中任一项所述的方法。
27.一种信号传输装置,其特征在于,包括处理器和接口电路,所述接口电路用于接收来自所述信号传输装置之外的其它信号传输装置的信号并传输至所述处理器,或将来自所述处理器的信号发送给所述信号传输装置之外的其它信号传输装置,所述处理器通过逻辑电路或执行指令用于实现如权利要求1-12中任一项所述的方法。
28.一种信号传输装置,其特征在于,包括处理器和接口电路,所述接口电路用于接收来自所述信号传输装置之外的其它信号传输装置的信号并传输至所述处理器,或将来自所述处理器的信号发送给所述信号传输装置之外的其它信号传输装置,所述处理器通过逻辑电路或执行指令用于实现如权利要求13-24中任一项所述的方法。
29.一种计算机程序产品,其特征在于,包含指令,当所述指令被处理器执行,使得如权利要求1-24中任一项所述的方法被实现。
30.一种芯片***,其特征在于,所述芯片***包括处理器,所述处理器用于与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,实现如权利要求1-24中任一项所述的方法。
31.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序或指令,当所述计算机程序或指令被处理器执行时,使得如权利要求1-24中任一项所述的方法被实现。
32.一种信号传输***,其特征在于,包括第一设备和第二设备;
所述第一设备用于执行如权利要求1-12中任一项所述的方法;
所述第二设备用于执行如权利要求13-24中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2023/107128 WO2024017125A1 (zh) | 2022-07-21 | 2023-07-13 | 一种信号传输方法及装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210859501X | 2022-07-21 | ||
CN202210859501 | 2022-07-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117440063A true CN117440063A (zh) | 2024-01-23 |
Family
ID=89545071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310189854.8A Pending CN117440063A (zh) | 2022-07-21 | 2023-02-21 | 一种信号传输方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117440063A (zh) |
WO (1) | WO2024017125A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8397272B2 (en) * | 2008-08-05 | 2013-03-12 | Analogix Semiconductor, Inc. | Multi-stream digital display interface |
CN101686399B (zh) * | 2008-09-28 | 2012-09-05 | 中兴通讯股份有限公司 | 会议电视***芯片间传输视频流的装置及方法 |
JP5610199B2 (ja) * | 2010-06-09 | 2014-10-22 | ソニー株式会社 | 受信装置、受信方法、及び通信システム |
JP6500199B2 (ja) * | 2017-01-13 | 2019-04-17 | 株式会社アクセル | 画像処理装置、および画像処理システム |
JP2021150790A (ja) * | 2020-03-18 | 2021-09-27 | ソニーグループ株式会社 | 送信装置、送信方法および受信装置 |
US11936927B2 (en) * | 2020-09-23 | 2024-03-19 | Realtek Semiconductor Corporation | Transmission control system of multi-media signal, transmitter control circuit and receiver control circuit |
-
2023
- 2023-02-21 CN CN202310189854.8A patent/CN117440063A/zh active Pending
- 2023-07-13 WO PCT/CN2023/107128 patent/WO2024017125A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024017125A1 (zh) | 2024-01-25 |
WO2024017125A9 (zh) | 2024-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10999554B2 (en) | Communication device and communication method | |
US9451313B2 (en) | Network media adapter | |
US9762887B2 (en) | Transmitting apparatus, stereo image data transmitting method, receiving apparatus, and stereo image data receiving method | |
KR100766496B1 (ko) | 에이치디엠아이 전송 시스템 | |
KR100709484B1 (ko) | 컨텐츠 수신기 및 컨텐츠 송신기 | |
EP2362643B1 (en) | Content reproduction system, content receiving apparatus, sound reproduction apparatus, content reproduction method and program | |
US20160021402A1 (en) | Transmission of digital audio signals using an internet protocol | |
US9749682B2 (en) | Tunneling HDMI data over wireless connections | |
KR20170088357A (ko) | 동기화된 미디어 서버 및 프로젝터 | |
US9973787B2 (en) | Communication device and communication method | |
CN116489454A (zh) | 一种包含字幕的高动态范围视频处理的方法及装置 | |
JP2014510426A (ja) | パケット通信ネットワークを介して伝送されるコンテンツをストリーミングするためのクロックリカバリ機構 | |
US20130307927A1 (en) | Content receiving device, display device, and method thereof | |
CN106464831B (zh) | 用于同步传输辅助数据帧的发射机、接收机、***和方法 | |
CN117440063A (zh) | 一种信号传输方法及装置 | |
KR102204613B1 (ko) | 모니터와 DDCCI(Display Data Channel Command Interface) 통신을 수행하는 컴퓨터 및 그 제어 방법 | |
CN113691744A (zh) | 影音接口的控制信号传输电路及控制信号接收电路 | |
KR20130087356A (ko) | 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법 및 데이터 송수신 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |