CN109644290B - 数据转接装置、数据采集装置及***、方法 - Google Patents

数据转接装置、数据采集装置及***、方法 Download PDF

Info

Publication number
CN109644290B
CN109644290B CN201880002425.2A CN201880002425A CN109644290B CN 109644290 B CN109644290 B CN 109644290B CN 201880002425 A CN201880002425 A CN 201880002425A CN 109644290 B CN109644290 B CN 109644290B
Authority
CN
China
Prior art keywords
data
multimedia playing
unit
clock signal
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880002425.2A
Other languages
English (en)
Other versions
CN109644290A (zh
Inventor
钮旋
朱璐
周新生
阮俊瑾
朱怀安
焦炳豪
高阳
陈垄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Uhdvision Technology Co ltd
Original Assignee
Shanghai Uhdvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Uhdvision Technology Co ltd filed Critical Shanghai Uhdvision Technology Co ltd
Priority claimed from PCT/CN2018/116626 external-priority patent/WO2020087590A1/zh
Publication of CN109644290A publication Critical patent/CN109644290A/zh
Application granted granted Critical
Publication of CN109644290B publication Critical patent/CN109644290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/22Adaptations for optical transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种数据转接装置、数据采集装置及***、方法。其中,数据转接装置用于传输数据采集装置所提供的多媒体播放数据。数据采集装置包括:获取单元,用于获取多媒体数据;时钟信号生成单元,用于生成并输出一时钟信号;编码单元,用于在时钟信号的控制下,将所获取的多媒体数据编码成多媒体播放数据和同步控制信息;数据发送单元,用于发送时钟信号,以及发送基于时钟信号而确定传输的多媒体播放数据和同步控制信息。数据转接装置包括:数据接收单元,获取来自数据采集装置的时钟信号、同步控制信息和多媒体播放数据;数据处理单元,用于在时钟信号的控制下,基于同步控制信息将多媒体播放数据进行转发处理。本申请实现无损图像的实时播放和异地存储。

Description

数据转接装置、数据采集装置及***、方法
技术领域
本申请涉及多媒体播放数据的通信技术领域,特别是涉及一种数据转接装置、数据采集装置及***、方法。
背景技术
受益于数据传输介质和网络传输技术的不断发展,用户收看网络直播时图像及声音的清晰度在不断提高。比如,在收看足球比赛、或者安防监控等场景下,用户均能够收看和收听到较为实时的音视频。
然而,受限于前端数据采集装置与后端数据接收装置之间的网络传输能力,数据采集装置通常将所获取的多媒体播放数据进行压缩处理,并藉由传输网络将压缩后的多媒体播放数据进行传输。一方面,由于压缩而产生的数据损失无法在播放时挽回,这使得用户在收看和收听音视频时不可能得到前端所采集的音视频数据的信息量;另一方面,为减少网络传输期间多媒体播放数据的丢失、延时等影响,在传输时,需增加校验过程(如应答机制),这增加了多媒体播放的延时。在一些需要高清视频和无损音频的场景下,现有技术方案是无法满足需求的。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种数据转接装置、数据采集装置及***、方法,用于解决现有技术中多媒体播放数据在传输期间具有较大损失和延时的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种数据转接装置,用于传输数据采集装置所提供的多媒体播放数据,包括:数据接收单元,获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据;数据处理单元,连接于所述数据接收单元,用于在所述时钟信号的控制下,基于所述同步控制信息将所述多媒体播放数据进行转发处理,以便存储或显示所述多媒体播放数据。
在所述第一方面的某些实施方式中,所述同步控制信息包含行场同步信号;对应地,所述数据处理单元在所述时钟信号的控制下,基于所述行场同步信号将所述多媒体播放数据中的图像帧进行转发处理。
在所述第一方面的某些实施方式中,所述同步控制信息包含控制码,所述数据处理单元基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。
在所述第一方面的某些实施方式中,所述数据处理单元还用于按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理;以及在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。
在所述第一方面的某些实施方式中,所述数据处理单元用于按照预设的解码格式将包含所述时钟信号、同步控制信息及多媒体播放数据中至少一种的数据包予以解码处理。
在所述第一方面的某些实施方式中,所述数据转接装置还包括:播放接口单元,连接于所述数据处理单元,用于按照所述数据处理单元的转发处理,输出所述多媒体播放数据,以供播放终端播放。
在所述第一方面的某些实施方式中,所述播放接口单元包括:至少一路播放接口;所述数据处理单元在所述同步控制信息中行场同步信号的控制下,分割所获取的多媒体播放数据中的图像帧,并分路输出至每路播放接口。
在所述第一方面的某些实施方式中,所述数据转接装置还包括外部缓存单元,连接于所述数据处理单元;所述数据处理单元基于所述同步控制信息将所述多媒体播放数据存储至所述外部缓存单元;以及用于基于预配置的播放频率自所述外部缓存单元提取所缓存的所述多媒体播放数据中的图像帧,并按照所提取的图像帧的行场同步信号,将所提取的图像帧输出至所述播放接口单元。
在所述第一方面的某些实施方式中,所述数据处理单元基于所获取的播放指令从所缓存的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便播放相应多媒体播放数据。
在所述第一方面的某些实施方式中,所述数据转接装置还包括:外部缓存单元和非易失性存储单元;所述数据处理单元,分别连接于所述外部缓存单元和非易失性存储单元;所述数据处理单元还用于基于所述同步控制信息将所述多媒体播放数据存储至所述外部缓存单元,以及自所述外部缓存单元提取所缓存的多媒体播放数据并转存至所述非易失性存储单元中。
在所述第一方面的某些实施方式中,所述非易失性存储单元包含存储阵列,所述存储阵列与所述数据处理单元并行连接;所述数据处理单元按照所述存储阵列分割多媒体播放数据,并将分割后的多媒体播放数据存储至所述存储阵列中。
在所述第一方面的某些实施方式中,所述数据转接装置还包括断电保护单元,用于在所述数据转接装置异常断电时提供供电,并将所述外部缓存单元中所缓存的多媒体播放数据转存至非易失性存储单元中。
在所述第一方面的某些实施方式中,所述数据处理单元基于所获取的播放指令从所存储的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便显示相应多媒体播放数据。
在所述第一方面的某些实施方式中,所述数据接收单元包含光纤接口。
在所述第一方面的某些实施方式中,所述多媒体播放数据包括以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。
在所述第一方面的某些实施方式中,所述同步控制信息包括以下至少一种或多种组合:行场同步信号、控制码、音视频同步信号。
本申请第二方面提供一种数据采集装置,包括:获取单元,用于获取多媒体数据;时钟信号生成单元,用于生成并输出一时钟信号;编码单元,与所述获取单元相连,用于在所述时钟信号的控制下,将所获取的多媒体数据编码成多媒体播放数据和同步控制信息;数据发送单元,与所述时钟信号生成单元和获取单元相连,用于发送所述时钟信号,以及发送基于所述时钟信号而确定传输的多媒体播放数据和同步控制信息。
在所述第二方面的某些实施方式中,所述数据发送单元包括光纤接口。
在所述第二方面的某些实施方式中,所发送的多媒体播放数据中包含8K图像帧。
在所述第二方面的某些实施方式中,所述编码单元还用于将所述时钟信号,以及在所述时钟信号所对应时间周期内处理的多媒体播放数据和同步控制信息进行至少一种编码处理;对应地,所述数据发送单元用于将编码后的所述时钟信号、多媒体播放数据和同步控制信息予以发送。
本申请第三方面提供一种数据传输***,包含:如前述第一方面任一所述的数据采集装置,以及如前述第二方面中任一所述的数据转接装置。
本申请第四方面提供一种数据转接方法,用于传输来自数据采集装置所提供的多媒体播放数据,包含:获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据;在所述时钟信号的控制下,基于所述同步控制信息将所述多媒体播放数据进行转发处理,以便存储或显示所述多媒体播放数据。
在所述第四方面的某些实施方式中,所述同步控制信息包含行场同步信号;对应地,所述在时钟信号的控制下,基于所述同步控制信息将至少所述多媒体播放数据进行转发处理的步骤包括:在所述时钟信号的控制下,基于所述行场同步信号将所述多媒体播放数据中的图像帧进行转发处理。
在所述第四方面的某些实施方式中,所述同步控制信息包含控制码,对应地,所述基于同步控制信息将至少所述多媒体播放数据进行转发处理的步骤包括:基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。
在所述第四方面的某些实施方式中,所述方法还包括:按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理的步骤;以便在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。
在所述第四方面的某些实施方式中,所述按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理的步骤包括:按照预设的解码格式将包含所述时钟信号、同步控制信息及多媒体播放数据中至少一种的数据包予以解码处理。
在所述第四方面的某些实施方式中,所述在时钟信号的控制下,基于所述同步控制信息将至少所述多媒体播放数据进行转发处理的步骤包括:按照所述同步控制信息,将所述多媒体播放数据输出至播放终端。
在所述第四方面的某些实施方式中,所述方法还包括以下至少一种:藉由一外部缓存单元中转,恢复所提取的多媒体播放数据的同步控制信息,以及按照所恢复的同步控制信息,将所获取的多媒体播放数据输出至播放终端;以及藉由一外部缓存单元中转,恢复所提取的多媒体播放数据的同步控制信息,以及按照所恢复的同步控制信息,将多媒体播放数据存储至一非易失性存储单元中。
在所述第四方面的某些实施方式中,所述方法还包括:基于所获取的播放指令从所存储的多媒体播放数据中提取相应多媒体播放数据并予以输出,以便播放相应多媒体播放数据。
在所述第四方面的某些实施方式中,所述多媒体播放数据包括以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。
在所述第四方面的某些实施方式中,所述同步控制信息包括以下至少一种或多种组合:行场同步信号、控制码、音视频同步信号。
本申请第五方面提供一种数据采集方法,包括:基于一时钟信号,将所获取的多媒体播放数据编码成多媒体播放数据和同步控制信息;发送所述时钟信号、所述多媒体播放数据和同步控制信息。
在所述第五方面的某些实施方式中,所述方法还包括:将所述时钟信号,以及在所述时钟信号所对应时间周期内处理的多媒体播放数据和同步控制信息进行至少一种编码处理;对应地,将编码后的所述时钟信号、多媒体播放数据和同步控制信息予以发送。
在所述第四方面的某些实施方式中,所发送的多媒体播放数据中包含8K图像帧。
本申请第六方面提供一种计算机可读存储介质,其特征在于,存储有至少一程序;所述至少一程序在被调用时执行如第四方面中任一所述的数据转接方法;或者,所述至少一程序在被调用时执行如第五方面中任一所述的数据采集方法。
如上所述,本申请的数据转接装置、数据采集装置及***、方法,具有以下有益效果:本申请所提供的数据采集装置和数据转接装置之间由于采用了同源的时钟信号进行数据同步处理,故而实现多媒体播放数据,特别是无损图像,能够实时播放和异地存储。在城市安防、交通监控等需要高清图像监控的领域提供了多媒体播放数据的传输方案。特别地,利用本申请所述方案中的光纤接口来获取图像采集装置侧的多媒体播放数据和同步控制信息等,能够以120帧/秒的速度将8K图像进行网络传输,由此实现将城市安防、交通监控、医疗处置等多领域中所采集的视频超高清画面的实时传输的目的。
附图说明
图1显示为本申请数据采集装置在一实施方式中的结构示意图。
图2显示为本申请数据转接装置在一实施方式中的结构示意图。
图3显示为本申请数据转接装置在又一实施方式中的结构示意图。
图4显示为本申请数据转接装置在又一实施方式中的结构示意图。
图5显示为本申请数据传输***在一实施方式中的网络架构示意图。
图6显示为本申请数据传输***在又一实施方式中的网络架构示意图。
图7显示为本申请数据传输***在另一实施方式中的网络架构示意图。
图8显示为本申请数据采集方法的流程图。
图9显示为本申请数据转接方法的流程图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
在现有的多媒体播放数据的网络传输中,一些实施方式可利用流媒体传输协议、或断点续传等传输技术实现多媒体播放数据的点对点传输、或多点传输。这类方式大多适用于实时性要求低的场景,如点播视频、收看延时直播等。然而对于一些兼顾实时性和音视频播放质量的场景,如城市的高清监控***、球场的回放***、甚至医用手术的多媒体教学***等应用领域,需要搭建专门的多媒体传输网络,使得播放终端能够实时播放高清图像和/或高品质音频。为此,在另一些实施方式中,现有方式中采用利用同步的时钟信号解决收发端多媒体播放数据传输和显示节奏的匹配问题,这需要不断校准收发端的时钟信号,以使其同步;其中时钟信号的同步处理过程降低了收发端的实时性。
随着用户对所收看收听的音视频清晰度要求和实时性要求不断提升,例如,在医疗、工业检测、电视信号传输微纳米检测等领域,技术人员需要传输压缩率更低、实时性更高的多媒体播放数据。为此,本申请提供一种数据采集装置。其中,所述数据采集装置可设置于如街道等用于获取前端多媒体播放数据的位置处。所述数据采集装置通过专用传输多媒体播放数据而搭建的传输线路、或者可传输多媒体播放数据的公共传输线路,与数据转接装置相连。其中,为确保数据采集装置和数据转接装置能够高效传输压缩率低、甚至无损压缩的多媒体播放数据,所选用的传输线路在单位时钟周期内所传输的数据量需远大于收发端在相同时钟周期内同步处理的数据量。例如,依据单位时钟周期同步处理数据的速率,对应选用的传输线路的传输速率是其十倍、数十倍或上百倍等。由此藉由所选用的传输线路的数据传输能力,使得所述数据采集装置和数据转接装置之间可采用单源时钟信号作为同步处理的基准时钟信号的方式实现对多媒体播放数据的同步处理。例如,利用光纤介质的传输线路,所述数据转接装置可利用所述数据采集装置侧所产生的时钟信号进行数据处理,以实现多媒体播放数据的高效传输。
请参阅图1,其显示为本申请提供的一种数据采集装置。所述数据采集装置1包括获取单元11、时钟信号生成单元14、编码单元12和数据发送单元13。
所述获取单元11用于获取多媒体数据。在此,所述获取单元11包括摄像模块或语音输入模块,或者包含摄像模块和语音输入模块。其中,所述摄像模块包括数码摄像头、或工业摄像装置。其中所述工业摄像装置举例包括线阵摄像装置或面阵摄像装置。所述语音输入模块包括内置或外接麦克等。对应地,所获取的多媒体数据包含音频数据和视频数据,其中,所述视频数据中包含图像帧和状态信息等。
所述时钟信号生成单元14用于生成并输出一时钟信号。其中,所述时钟信号生成单元14举例为藉由晶振而产生时钟信号的时钟信号生成电路,或者藉由斜坡信号而生成时钟信号的时钟信号生成电路。所述时钟信号用于为编码单元12和数据发送单元13提供用于进行数据处理的单位时钟周期。
所述编码单元12与所述获取单元11相连,用于在所述时钟信号的控制下,将所获取的多媒体数据编码成多媒体播放数据和同步控制信息。
在此,所述编码单元12包含可进行逻辑控制和数字运算的处理模块,和用于存储所述处理模块运行期间所产生的中间数据的存储模块。其中,所述处理模块举例包括以下任一种或多种的组合:FPGA、MCU及CPU等。所述存储模块举例包括以下任一种或多种的组合:寄存器、堆栈及缓存等易失性存储器。
所述编码单元12依据时钟信号将音视频数据同步进行编码处理以得到多媒体播放数据,以及得到对应多媒体播放数据的同步控制信息。其中,根据所述获取单元11所能获取的多媒体数据的类型,所述多媒体播放数据包含以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。其中,所述状态信息包括与获取单元11中软硬件相关的辅助信息,其包括但不限于:颜色信息、相机拍摄参数,以及一些专用于特定应用场景的预留信息等。其中,所述相机拍摄参数包括但不限于曝光率、快门速度、白平衡参数等。例如,所述数据采集装置中仅包含摄像模块,则所述多媒体播放数据中可仅包含图像帧,或者包含图像帧和状态信息。又如,所述数据采集装置中包含摄像模块和语音输入模块,则所述多媒体播放数据中包含图像帧和音频数据,甚至还包括所述状态信息。
在此,所述编码单元12在时钟信号所提供的单位时钟周期内,按照图像帧的播放频率、图像帧的像素数量,逐行、逐列、隔行或隔列地提取摄像模块所摄取的图像帧中的像素数据,并同时产生针对所提取的像素数据在图像各帧中的位置和表示图像帧起始位置和结束位置的同步控制信息。其中,所述同步控制信息对应包含行同步信号、场同步信号中的至少一种。例如,所述编码单元12在某一单位时钟周期起始时刻生成行同步信号和场同步信号,并依据所述行同步信号和场同步信号在后续单位时钟周期内提取图像帧第一行像素数据。
在时钟信号所提供的单位时钟周期内,所述编码单元12还从音频数据中提取音频数据段。在一些示例中,所述编码单元12按照音视频数据中的时间戳等同步信息,将所提取的音频数据段设置在对应图像帧之前或之后,并利用场同步信号来保证图像帧及所对应的音频数据段在接收端被同步处理。
在时钟信号所提供的单位时钟周期内,所述编码单元12还获取对应当前图像帧和/或摄像模块的状态信息,并将状态信息编码在多媒体播放数据中。例如,所述获取单元11中所使用的摄像模块采用工业摄像装置,所述编码单元12获取对应当前图像帧的颜色信息,以及工业摄像装置的拍摄参数等,并编码在多媒体播放数据中。例如,所述编码单元12将状态信息编码在多媒体播放数据的包头等。
在此,所述编码单元12按照预设的编码格式将在单位时间周期内所提取的像素数据、状态信息和音频数据段中的至少一种编码成多媒体播放数据。在一些实施方式中,所述编码单元12还按照标准的或自定义的封装协议将所述多媒体播放数据和所对应的同步控制信息封装至少一个可被传输的数据包中。在此,根据实际封装规则,所封装的单个数据包内可包含多媒体播放数据和同步控制数据中的至少一种。
在另一些实施方式中,为了便于传输如工业摄像装置所提供的8K图像帧的数据量,在一些示例中,所述同步控制信息还包括控制码、音视频同步信号中的至少一种。其中,所述音视频同步信号可藉由行同步信号、场同步信号和控制码的组合进行表示。例如,基于场同步信号所表示的场同步周期内,所述编码单元12将与所述场同步信号所对应的图像帧同步的音频信号编码在一起,并利用控制码表示单个数据包中所封装的多媒体数据的类型等。所述控制码可以藉由至少一个字段(或字节)来描述不同类型。例如,利用控制码描述当前封装的数据包含多媒体数据、状态信息、空闲信息等类型。所述控制码可以固定间隔封装在数据包中。例如,所述控制码依据固定数据量的间隔封装在数据包中。或者所述控制码可依据所封装的各类型数据在数据包中的具***置,设置控制码。如此,所述编码单元12可将同步控制信息和多媒体播放数据封装在一起,以便接收端可依据同步控制信息解析待同步处理的多媒体播放数据。
在又一些实施方式中,为了减少数据传输期间因信号衰减、噪声干扰等因素对时钟信号传输的干扰,所述编码单元12还将所述时钟信号,以及在所述时钟信号所对应时间周期内处理的多媒体播放数据和同步控制信息中的至少一种进行编码处理、采用不同信道传输、或者依预设时序将编码后的数据传递给数据发送单元13。
在一些示例中,所述编码单元12为所述时钟信号、同步控制信息和多媒体播放数据提供至少两种编码规则,以使编码后得到对应的时钟信息、控制信息和多媒体播放信息可依时序或采用不同信道被单独传输。在又一些示例中,所述编码单元12按照预设的规则将时钟信号、同步控制信息和多媒体播放数据进行统一编码和封装。以一个数据中包含单位时钟周期内所需同步处理的多媒体播放数据和同步控制信息为例,所述编码单元12按照预设的编码协议将时钟信号,和行同步信号、场同步信号、控制码等同步控制信息编码为预设字段位置的数字信息,并与多媒体播放数据封装在一起。根据实际数据封装的规则,对于所封装的单个数据包来说,数据包中可包含时钟信号、同步控制信息及多媒体播放数据中的至少一种。例如,某个数据包中可仅包含编码后的时钟信号,用以帮助数据转接装置构建本地时钟信号。又如,某个数据包中可包含编码后的时钟信号、场同步信号、控制码和空数据。再如,某个数据包中可包含编码后的时钟信号、同步控制信息及多媒体播放数据。还比如,某个数据包中可包含编码后的时钟信号和多媒体播放数据。
需要说明的是,本申请并不限制在前述提及的编码单元12所能提供的编码及封装方式的基础上,对多媒体播放数据进行如加密、压缩等处理。然而,藉由上述编码单元12所提供的编码及封装方式为多媒体播放数据进行网络传输准备的技术思想上,对多媒体播放数据进行其他前期准备,均应视为基于本申请的技术启示而得到的技术方案。
所述编码单元12将编码后的数据包传递给数据发送单元13,由所述数据发送单元13发送至接收端。其中,所述数据发送单元13可采用至少一根数据线发送时钟信号以及发送基于所述时钟信号而确定传输的多媒体播放数据和同步控制信息。
在此,根据所述数据采集装置单位时钟周期内需同步处理的多媒体播放数据的数据量,技术人员选择数据发送单元13的传输能力需满足单位时钟周期内需同步处理的多媒体播放数据的数据量。在一些实施方式中,为匹配工业摄像装置的图像帧的像素数据量以及播放频率,所述数据采集装置中的数据发送单元13包括光纤接口,所述数据发送单元13利用光纤介质将数据包传输至接收端。例如,所述数据发送单元13利用光纤介质将包含8K图像帧的多媒体播放数据传输至数据转接装置,并为数据转接装置提供可以120帧/秒、或60帧/秒的频率显示的多媒体播放数据。其中,8K图像帧可由8K摄像装置摄取而得、或者8K以上摄像装置摄取并压缩而得。例如,所述8K图像帧为利用8K摄像装置摄取的,8K图像帧为3300万像素(7680*4320像素)。在此,后续提及的图像帧的像素分辨率均可基于此推得所使用的相应摄像装置的像素分辨率,后续不再重述。
需要说明的是,根据实际传输的数据量、传输距离以及能够传递数据的数据线的数量,所述数据发送单元13可包含单模光纤接口,或者其他网络传输接口。
例如,所述数据发送单元13按照编码单元12所提供的被单独封装的时钟信号、多媒体播放数据和同步控制信息等数据包的顺序逐个发送。又如,所述数据发送单元13按照编码单元12所提供的封装有时钟信号、多媒体播放数据和同步控制信息的数据包顺序逐个发送。
为依据所述数据采集装置所提供的时钟信号处理所接收的多媒体播放数据,本申请还提供一种数据转接装置。所述数据转接装置包括数据接收单元和数据处理单元。
其中,所述数据接收单元对应于所述数据采集装置中的数据发送单元所使用的接口,以匹配数据传输能力、数据传输线路等。所述数据接收单元获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据。在此,所述数据接收单元包括:用于与数据发送单元对应的接收接口。在一些示例中,所述接收接口为光纤接口。例如,所述接收接口为单模光纤接口。
所述数据处理单元用于在所述时钟信号的控制下,基于所述同步控制信息将至少所述多媒体播放数据进行转发处理,以便存储或显示所述多媒体播放数据。
在此,所述数据处理单元包含可进行逻辑控制和数字运算的处理模块,和用于存储所述处理模块运行期间所产生的中间数据的存储模块。其中,所述处理模块举例包括以下任一种或多种的组合:FPGA、MCU及CPU等。所述存储模块举例包括以下任一种或多种的组合:寄存器、堆栈及缓存等易失性存储器。
所述数据处理单元依据于数据采集装置为发送时钟信号、同步控制信息及多媒体播放数据而设置的编码格式、发送时序、或数据线对应将数据接收单元所接收的数字信号进行处理,以从中提取数据采集装置侧的时钟信号,并生成对应的本地时钟信号,以及按照本地时钟信号产生同步控制信息和转发多媒体播放数据。
在一些实施方式中,所述数据转接装置所接收的时钟信号、同步控制信息及多媒体播放数据为经多种编码处理、多线路传输的编码数据。所述数据处理单元按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理。
在此,所述数据处理单元按照预先设定的解码格式,将所接收到的时钟信息、控制信息和多媒体播放信息进行对应解码,由此恢复出时钟信号、同步控制信息和多媒体播放数据。在一示例中,所述数据处理单元按照预先设定的多种解码格式,将来自不同数据线的时钟信息、控制信息和多媒体播放信息进行对应解码。在另一示例中,所述数据处理单元按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理;以及在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。其中,根据数据采集装置所实际发送的数据包中所包含的信息,所述数据包采用统一编码和封装格式。对于单个数据包来说,数据包中可包含时钟信号、同步控制信息及多媒体播放数据中的至少一种。例如,某个数据包中可仅包含编码后的时钟信号,用以帮助数据转接装置构建本地时钟信号。又如,某个数据包中可包含编码后的时钟信号、场同步信号、控制码和空数据。再如,某个数据包中可包含编码后的时钟信号、同步控制信息及多媒体播放数据。还比如,某个数据包中可包含编码后的时钟信号和多媒体播放数据。所述数据处理单元按照预设的解码格式,解码数据包,以得到所述时钟信号、同步控制信息及多媒体播放数据。
在此,所述数据处理单元依据时钟信号和同步控制信息缓存或转发多媒体播放数据。例如,所述数据处理单元一方面利用经解码得到的时钟信号生成本地时钟信号,另一方面通过解码得到在一个单位时钟周期内产生行同步信号和同步转发多媒体播放数据;在延时一个单位时钟周期后,所述数据处理单元生成所述行同步信号,并基于所述行同步信号并行地将对应的多媒体播放数据予以转发处理。
根据实际多媒体播放数据所包含的数据类型,所接收的同步控制信息中还包括控制码;对应地,所述数据处理单元基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。在此,所述数据处理单元按照预先设定的控制码所表示的类型,确定所解码的数据包中所包含的数据类型,并结合同步控制信息中的其他同步信号,对多媒体播放数据进行转发处理。例如,所述数据处理单元基于控制码确定所解码的数据包中包含状态信息,则依据状态信息确定对应图像帧中对应像素的颜色、亮度等。又如,所述数据处理单元基于控制码确定所解码的数据包中包含音频数据段,则可结合当前行场同步信号确定该音频数据段与图像帧需同步播放;或者在转存时给予对应的索引记录等。
结合上述各示例的描述,所述数据处理单元依据时钟信号和同步控制信息对多媒体播放数据进行转发处理的方式可包括将多媒体播放数据予以播放。为此,在一些实际应用中,请参阅图2,其显示为数据转接装置在一实施方式中的结构示意图。其中,所述数据转接装置2还包括播放接口单元23。在此,按照数据采集装置所提供的多媒体播放数据的数据量与播放终端的播放能力的匹配程度,以及数据采集装内置与播放终端之间的播放频率的匹配能力,所述播放接口单元包含HDMI、SDI、VGA、Displayport等播放接口。在一些示例中,所述播放接口单元包含一路播放接口。例如,所传递的多媒体播放数据中图像帧为2-4K像素数据,对应地,所述播放接口可选用一路HDMI接口。在又一些示例中,播放接口单元包含至少两路播放接口。例如,所传递的多媒体播放数据中图像帧为8K像素数据,对应地,所述播放接口选用四路HDMI接口。
为匹配如8K图像帧且30帧/s(或60帧/s)的播放频率,所述播放接口单元23采用四路播放接口进行多媒体播放数据的输出,以及,所述数据处理单元22在所述同步控制信息中行场同步信号的控制下,分割所获取的多媒体播放数据中的图像帧,并分路输出至每路播放接口。
在此,在来自于数据采集装置的时钟信号的控制下,所述数据处理单元22依据行场同步信号所对应的图像帧及图像帧中的像素数据行(或像素数据列),将像素数据行(或像素数据列)进行分割,得到可输出至每路播放接口的图像子帧,并将各图像子帧分别输出至对应的播放接口。与每个播放接口相连的播放终端对应显示图像子帧。在一些示例中,所述多媒体播放数据中的图像帧为8K像素数据,播放数据接口单元23包含四路播放接口,该四路播放接口连接8K显示终端;对应地,所述数据处理单元22依据行场同步信号将图像帧分隔成四幅图像子帧,并在时钟信号的控制下,并行地输出至每一路播放接口,由8K显示终端对该图像帧予以显示。
在又一些实际应用中,数据转接装置的处理速率、输出速率、或播放终端的播放频率中的至少一种不匹配于数据采集装置按照其播放频率而输出的多媒体播放数据,为此,请参阅图3,其显示为数据转接装置在又一实施方式中的结构示意图。与图2所示的数据转接装置不同的是,图3所示的数据转接装置还包括连接于数据处理单元的外部缓存单元34。在此,所述外部缓存单元34为一种易失性存储器,其举例为RAM、DRAM等。所述外部缓存单元34用于暂存所接收的多媒体播放数据等。
数据处理单元32将所述多媒体播放数据存储至所述外部缓存单元。与图2所示的数据转接装置不同的是,所述数据处理单元32并未直接将所得到的多媒体播放数据输出至播放接口单元,而是利用数据采集装置的时钟信号将其暂存到外部缓存单元34,以缓冲播放接口单元33的播放频率。例如,按照所获取的同步控制信息中的行场同步信号将多媒体数据中的图像帧和状态信息存入外部缓存单元34中,以及按照音视频同步信号将对应图像帧的音频输入也存入外部缓存单元中。数据处理单元32再依据本地时钟信号或者数据采集装置所提供的时钟信号从外部缓存单元34中将多媒体播放数据读取并输出至播放接口单元33。其中,无论是本地时钟信号或同源的时钟信号,均用于确保数据处理单元32在进行同步读写数据期间提供基本的单位时钟周期。在此,所述数据处理单元32按照存储外部缓存单元时所得到的图像帧及其各像素行(或列)的存储地址段生成行场同步信号,以及依据存入外部缓存单元34时所得到的音频数据段的存储地址段生成音视频同步信号,并按照播放接口单元33中播放接口的数量对图像帧进行分割并输出。
在另一些实施方式中,所述数据处理单元32还用于基于预配置的播放频率自所述外部缓存单元提取所缓存的所述多媒体播放数据中的图像帧,按照所提取的图像帧中的各像素行(或列)恢复行场同步信号,以及按照所恢复的行场同步信号将所提取的图像帧输出至所述播放接口单元。
以数据采集装置采集8K图像帧并按120帧/s的播放频率进行输出,以及数据转接装置中的播放接口单元所能输出的播放频率为60帧/s为例,所述数据处理单元按照60帧/s的播放频率选择隔帧地从缓存中读取多媒体播放数据中的图像帧,并按照本地时钟信号生成所提取的图像帧的行场同步信号,将所对应的图像帧分割成四路,并利用所生成的行场同步信号将分割后的图像帧分别输出至播放接口单元33。
所述多媒体播放数据中包含音频数据,所述数据处理单元32还从外部缓存单元34中提取与图像帧同步的音频数据,并输出至播放接口单元33。
需要说明的是,上述示例仅为举例,本领域技术人员可结合前述数据处理单元的示例描述,提供可按照播放接口单元的播放频率逐帧或隔帧显示图像帧的方案,在此不再逐一详述。
在一些示例中,所述数据转接装置还包含人机交互单元(未予图示),用以获取播放指令。其中,所述人机交互单元包括但不限于:与遥控器通信的无线接收模块,用于连接鼠标、键盘等的接口模块等。数据处理单元基于所获取的播放指令从所缓存的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便播放相应多媒体播放数据。其中,所述播放指令包括但不限于以下任一种:显示上一(或下一)图像帧的播放指令,慢放(或快放)多媒体播放数据的播放指令,逐帧显示的播放指令、基于上一(或下一)图像帧播放多媒体播放数据的播放指令等。
在此,数据处理单元根据所接收的播放指令从缓存中提取对应的多媒体播放数据,并按照本地时钟信号和图像帧中各像素行(或列)的数据存放地址恢复用于显示控制的行场同步信号,以及按照所恢复的行场同步信号向播放接口单元输出所述播放指令所指示的图像帧及同步播放的音频数据。例如,所接收的播放指令包含逐帧播放,数据处理单元依据该指令做一帧一帧地恢复各同步信号并将相应图像帧输出至播放接口单元,其包括按照播放指令向前逐帧播放(或向后逐帧播放)。又如,所接收的播放指令包含慢放,数据转换装置将原120帧/秒的速度降至30帧/秒的速度恢复各同步信号并从缓存中提取所需回放的图像帧,输出至播放接口单元。需要说明的是,数据转换装置可依据播放指令中所指示的速度进行慢放,如25帧/秒、或60帧/秒等。
根据所述外部缓存单元所能存储的多媒体数据的数据量,所述数据转接装置适用于提供直播的多媒体播放转接。
在一些如监控、医疗等应用场景中,位于前端的数据采集装置所采集的多媒体播放数据需保存在非易失性存储器中,以便保存和重现。为此,请参阅图4,其显示为本申请数据转接装置在又一实施方式中的结构示意图。与前述图2和图3所示的数据转接装置不同的是,所述数据转接装置4包含数据接收单元41、数据处理单元42、外部缓存单元44和非易失性存储单元45。
其中,所述数据接收单元41与前述数据接收单元(21、31)的结构和执行方式相同或相似,在此不再详述。
所述数据处理单元42分别连接于所述外部缓存单元44和非易失性存储单元45;所述数据处理单元42还用于基于所述同步控制信息将所述多媒体播放数据存储至所述外部缓存单元44,以及自所述外部缓存单元44提取所缓存的多媒体播放数据并转存至所述非易失性存储单元45中。
在此,所述数据处理单元42可在时钟信号的控制下,按照同步控制信息将多媒体播放数据存储到外部缓存单元44;并建立用于确定图像帧中像素行(或列)的存储地址、图像帧首尾存储地址、同步的音频数据存储地址的索引机制;并在从外部缓存单元44读取多媒体播放数据时,基于所述索引机制不仅可以恢复行场同步信号,还确定与对应图像帧同步的音频数据段;藉由所恢复的行场同步信号,所述数据处理单元42将用于同步播放的音视频数据转存到非易失性存储单元45中。如此,所述数据转接装置可有效解决数据接收单元41与数据处理单元42之间,以及数据处理单元42与非易失性存储单元45之间数据传输速率不匹配而造成的数据丢失问题。
在一些实际应用中,比如利用工业摄像装置所获取的图像帧包含8K像素数据,为防止缓存溢出,所述非易失性存储单元45包含存储阵列,所述存储阵列与所述数据处理单元42并行连接;所述数据处理单元42按照所述存储阵列分割多媒体播放数据,并将分割后的多媒体播放数据存储至所述存储阵列中。
在此,所述数据处理单元42按照将多媒体播放数据存储到外部缓存单元44后,自外部缓存逐一读取的方式将多媒体播放数据转存到存储阵列中。其中,由于存储阵列与数据处理单元42采用并行连接,数据处理单元42按照存储阵列的数量将一图像帧进行分割,并按照本地时钟信号同步地保存在存储阵列中,以实现数据处理单元42高速存储无损、高清的图像帧的目的。
需要说明的是,无论是将多媒体播放数据存储到外部缓存单元亦或非易失性存储单元中,都会构建对应存储地址的索引以供恢复行场同步信号等同步控制信息,在此,不再一一详述。
还需要说明的是,所述数据转接装置还可集成有数据采集装置中所提供的编码单元和数据发送单元,由此,借助编码单元将本地时钟信号、所恢复的行场同步信号等同步控制信息和所保存的多媒体播放数据进行重新编码和封装,以及借助数据发送单元将多媒体播放数据继续传输。由此实现了数据转接装置的级联,并解决因数据传输线路长度限制,而无法将多媒体播放数据传递至更远区域等问题。
在一些实际应用中,为防止数据转接装置因异常供电而丢失尚未保存到非易失性存储单元中的多媒体播放数据,本申请所提供的数据转接装置中还包括断电保护单元(未予图示),用于在所述数据转接装置异常断电时提供供电,并将所述外部缓存单元中所缓存的多媒体播放数据转存至非易失性存储单元中。
在此,所述断电保护单元包括电源管理模块和蓄电模块。其中电源管理模块用于监测数据转接装置的外部供电是否正常,当出现异常时切换至所述蓄电模块。在此,所述电源管理模块包含切换开关和切换开关的控制电路等。所述蓄电模块包含至少一个用于储能的电容,以及电容的充放电电路等。所述蓄电模块所能提供的用电时长大于等于数据处理单元将外部缓存单元中的多媒体播放数据转存到非易失性存储单元中所花费的时长。例如,当外部缓存单元几乎满存多媒体播放数据时,所述蓄电模块所能提供的用电时长应大于等于数据处理单元将外部缓存单元中所有多媒体播放数据转存到非易失性存储单元中所花费的时长。所述数据处理单元基于所述断电保护单元所提供的断电检测信号,还可在将多媒体播放数据转存到非易失性存储单元后执行关机操作,以防止因程序异常退出而对数据转接装置的硬件造成的损伤。
基于前述提供的数据采集装置和数据转接装置的结构描述,本申请还提供一种数据传输***。所述数据传输***可包含前述任一示例所描述的数据采集装置以及对应于数据采集装置的数据转接装置,在此不再重述。
请参阅图5,其显示为数据传输***在一实施方式中的网络架构示意图。其中,以数据采集装置1包含获取单元11、时钟信号生成单元14、编码单元12和数据发送单元13;以及数据转接装置2包含数据接收单元21、数据处理单元22和播放接口单元23为例,其中,获取单元11包含工业摄像装置和语音输入模块,其提供8K 60帧/s的图像帧、状态信息及其音频数据。时钟信号生成单元14输出一时钟信号。所述时钟信号用于对图像帧中各像素行(或列)和音频数据的同步处理提供基本的单位时钟周期。编码单元12在时钟信号的控制下,根据所读取的图像帧及其像素行(或列)生成行场同步信号,并读取像素数据,以及基于音频数据中时间戳读取拍摄一幅或多幅图像帧的时间段内的音频数据段;所述编码单元12依据预设的编码格式将时钟信号,行场同步信号、音视频同步信号和控制码,以及像素数据、状态信息和音频数据段等进行统一编码并封装成可传输的数据包。所述编码单元12将数据包逐一通过数据发送单元13发送至数据转接装置。所述数据转接装置2中的数据接收单元21接收并解析数据包以交由数据处理单元22。数据处理单元22按照解析后恢复的时钟信号、行场同步信号、音频同步信号等,并利用控制码等所提供的数据包中数据的类型,得到可同步播放的图像帧的各像素行(或列)和音频数据段;以及根据播放接口单元23的播放接口数量,将所得到的图像帧进行分割,将分割后的图像子帧及音频数据段分路发送给各播放接口,以实现包含8K图像帧的音视频被实时播放。
请参阅图6,其显示为数据传输***在一实施方式中的网络架构示意图。其中,以数据采集装置1包含获取单元11、时钟信号生成单元14、编码单元12和数据发送单元13;以及数据转接装置3包含数据接收单元31、数据处理单元32、外部缓存单元34和播放接口单元33为例,其中,获取单元11包含工业摄像装置和语音输入模块,其提供8K 120帧/s的图像帧、状态信息及其音频数据,其中,数据转接装置中的播放接口单元33的播放频率小于120帧/s,本示例中以播放接口单元33的播放频率为60帧/s为例,举例图6所示的数据传输***的执行过程。数据采集装置中的时钟信号生成单元14输出一时钟信号。所述时钟信号用于对图像帧中各像素行(或列)和音频数据的同步处理提供基本的单位时钟周期。编码单元12在时钟信号的控制下,根据所读取的图像帧及其像素行(或列)生成行场同步信号,并读取像素数据,以及基于音频数据中时间戳读取拍摄一幅或多幅图像帧的时间段内的音频数据段;所述编码单元12依据预设的编码格式将时钟信号,行场同步信号、音视频同步信号和控制码,以及像素数据、状态信息和音频数据段等进行统一编码并封装成可传输的数据包。所述编码单元12将数据包逐一通过数据发送单元13发送至数据转接装置。所述数据转接装置3中的数据接收单元31接收并解析数据包以交由数据处理单元32。数据处理单元32按照解析后恢复的时钟信号、行场同步信号、音频同步信号等,并利用控制码等所提供的数据包中数据的类型,得到可同步播放的图像帧的各像素行(或列)和音频数据段,并将其保存到外部缓存单元中;数据处理单元31按照隔帧显示的方式,按照本地时钟信号从外部缓存单元34读取图像帧,并依据存储时所得到的图像帧中各像素行(或列)数据、状态信息,及所同步的音频数据段,恢复行场同步信号、音视频同步信号等;以及在所恢复的行场同步信号、音视频同步信号等的控制下,并根据播放接口单元33的播放接口数量,将所得到的图像帧进行分割,将分割后的图像子帧及音频数据段分路发送给各播放接口,以实现包含8K图像帧的音视频被实时播放。
请参阅图7,其显示为数据传输***在又一实施方式中的网络架构示意图。其中,以数据采集装置1包含获取单元11、时钟信号生成单元14、编码单元12和数据发送单元13;以及数据转接装置4包含数据接收单元41、数据处理单元42、外部缓存单元44和非易失性存储单元45为例,其中,获取单元11包含工业摄像装置和语音输入模块,其提供8K 60帧/s的图像帧、状态信息及其音频数据。时钟信号生成单元14输出一时钟信号。所述时钟信号用于对图像帧中各像素行(或列)和音频数据的同步处理提供基本的单位时钟周期。编码单元12在时钟信号的控制下,根据所读取的图像帧及其像素行(或列)生成行场同步信号,并读取像素数据,以及基于音频数据中时间戳读取拍摄一幅或多幅图像帧的时间段内的音频数据段;所述编码单元12依据预设的编码格式将时钟信号,行场同步信号、音视频同步信号和控制码,以及像素数据、状态信息和音频数据段等进行统一编码并封装成可传输的数据包。所述编码单元将数据包逐一通过数据发送单元发送至数据转接装置。所述数据转接装置中的数据接收单元41接收并解析数据包以交由数据处理单元42。数据处理单元42按照解析后恢复的时钟信号、行场同步信号、音频同步信号等,并利用控制码等所提供的数据包中数据的类型,得到可同步播放的图像帧的各像素行(或列)和音频数据段,并保存在外部缓存单元44中。所述数据处理单元42按照本地时钟信号从外部缓存单元44读取图像帧,并依据存储时所得到的图像帧中各像素行(或列)数据、状态信息,及所同步的音频数据段,恢复行场同步信号、音视频同步信号等;以及在所恢复的行场同步信号、音视频同步信号等的控制下,并根据非易失性存储单元45中存储阵列的数量,将所得到的图像帧进行分割,将分割后的图像子帧及音频数据段分路发送给各存储阵列,以实现包含8K图像帧的音视频被实时存储。
需要说明的是,上述数据传输***的结构均为举例,而非对本申请的限制。事实上,根据实际应用场景的设计需要,数据传输***中的数据转接装置可集成外部缓存单元、播放接口单元和非易失性存储单元,用以既能提供实时显示,又能提供更长时间段内对所摄取的多媒体播放数据的回放、快慢放、逐帧查看等播放功能。在此不再一一详述。
请参阅图8,其显示为本申请提供的一种数据采集方法的流程图。所述数据采集方法可由本申请所提供的数据采集装置来执行,或者由任何其他能够执行所述采集方法的数据采集装置执行。
在此,所述数据采集装置用于采集多媒体数据。其中数据采集装置包含摄像模块或语音输入模块,或者包含摄像模块和语音输入模块。其中,所述摄像模块包括数码摄像头、或工业摄像装置。其中所述工业摄像装置举例包括线阵摄像装置或面阵摄像装置。所述语音输入模块包括内置或外接麦克等。对应地,所获取的多媒体数据包含音频数据和视频数据,其中,所述视频数据中包含图像帧和状态信息等。
在步骤S110中,基于一时钟信号,将所获取的多媒体播放数据编码成多媒体播放数据和同步控制信息。其中,所述时钟信号生成单元举例为藉由晶振而产生时钟信号的时钟信号生成电路,或者藉由斜坡信号而生成时钟信号的时钟信号生成电路。所述时钟信号用于为编码单元和数据发送单元提供用于进行数据处理的单位时钟周期。
在所述时钟信号的控制下,将所获取的多媒体数据编码成多媒体播放数据和同步控制信息。
在此,依据时钟信号将音视频数据同步进行编码处理以得到多媒体播放数据,以及得到对应多媒体播放数据的同步控制信息。其中所述多媒体播放数据包含以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。其中,所述状态信息包括与获取单元中软硬件相关的辅助信息,其包括但不限于:颜色信息、相机拍摄参数,以及一些专用于特定应用场景的预留信息等。其中,所述相机拍摄参数包括但不限于曝光率、快门速度、白平衡参数等。在此,所述多媒体播放数据中所包含的数据与数据采集装置所能采集的多媒体数据类型相关。例如,所述数据采集装置中仅包含摄像模块,则所述多媒体播放数据中可仅包含图像帧,或者包含图像帧和状态信息。又如,所述数据采集装置中包含摄像模块和语音输入模块,则所述多媒体播放数据中包含图像帧和音频数据,甚至还包括所述状态信息。
在时钟信号所提供的单位时钟周期内,数据采集装置按照图像帧的播放频率、图像帧的像素数量,逐行、逐列、隔行或隔列地提取摄像模块所摄取的图像帧中的像素数据,并同时产生针对所提取的像素数据在图像各帧中的位置和表示图像帧起始位置和结束位置的同步控制信息。其中,所述同步控制信息对应包含行同步信号、场同步信号中的至少一种。例如,所述编码单元在某一单位时钟周期起始时刻生成行同步信号和场同步信号,并依据所述行同步信号和场同步信号在后续单位时钟周期内提取图像帧第一行像素数据。
在时钟信号所提供的单位时钟周期内,所述数据采集装置还从音频数据中提取音频数据段。在一些示例中,所述编码单元按照音视频数据中的时间戳等同步信息,将所提取的音频数据段设置在对应图像帧之前或之后,并利用场同步信号来保证图像帧及所对应的音频数据段在接收端被同步处理。
在时钟信号所提供的单位时钟周期内,所述数据采集装置还获取对应当前图像帧和/或摄像模块的状态信息,并将状态信息编码在多媒体播放数据中。例如,所述数据采集装置中的摄像模块采用工业摄像装置,所述数据采集装置获取对应当前图像帧的颜色信息,以及工业摄像装置的拍摄参数等,并编码在多媒体播放数据中。例如,所述数据采集装置将状态信息编码在多媒体播放数据的包头等。
为此,所述数据采集方法还包括:按照预设的编码格式将在单位时间周期内所提取的像素数据、状态信息和音频数据段中的至少一种编码成多媒体播放数据的步骤。在一些实施方式中,所述数据采集装置还按照标准的或自定义的封装协议将所述多媒体播放数据和所对应的同步控制信息封装至少一个可被传输的数据包中。在此,根据实际封装规则,所封装的单个数据包内可包含多媒体播放数据和同步控制数据中的至少一种。
在另一些实施方式中,为了便于传输如工业摄像装置所提供的8K图像帧的数据量,在一些示例中,所述同步控制信息还包括控制码、音视频同步信号中的至少一种。其中,所述音视频同步信号可藉由行同步信号、场同步信号和控制码的组合进行表示。例如,基于场同步信号所表示的场同步周期内,所述数据采集装置将与所述场同步信号所对应的图像帧同步的音频信号编码在一起,并利用控制码表示单个数据包中所封装的多媒体数据的类型等。所述控制码可以藉由至少一个字段(或字节)来描述不同类型。例如,利用控制码描述当前封装的数据包含多媒体数据、状态信息、空闲信息等类型。所述控制码可以固定间隔封装在数据包中。例如,所述控制码依据固定数据量的间隔封装在数据包中。或者所述控制码可依据所封装的各类型数据在数据包中的具***置,设置控制码。如此,所述数据采集装置可将同步控制信息和多媒体播放数据封装在一起,以便接收端可依据同步控制信息解析待同步处理的多媒体播放数据。
在又一些实施方式中,为了减少数据传输期间因信号衰减、噪声干扰等因素对时钟信号传输的干扰,所述数据采集装置还将所述时钟信号,以及在所述时钟信号所对应时间周期内处理的多媒体播放数据和同步控制信息中的至少一种进行编码处理、采用不同信道传输、或者依预设时序将编码后的数据传递给数据发送单元。
在一些示例中,所述数据采集装置为所述时钟信号、同步控制信息和多媒体播放数据提供至少两种编码规则,以使编码后得到对应的时钟信息、控制信息和多媒体播放信息可依时序或采用不同信道被单独传输。在又一些示例中,所述数据采集装置按照预设的规则将时钟信号、同步控制信息和多媒体播放数据进行统一编码和封装。以一个数据中包含单位时钟周期内所需同步处理的多媒体播放数据和同步控制信息为例,所述数据采集装置按照预设的编码协议将时钟信号,和行同步信号、场同步信号、控制码等同步控制信息编码为预设字段位置的数字信息,并与多媒体播放数据封装在一起。根据实际数据封装的规则,对于所封装的单个数据包来说,数据包中可包含时钟信号、同步控制信息及多媒体播放数据中的至少一种。例如,某个数据包中可仅包含编码后的时钟信号,用以帮助数据转接装置构建本地时钟信号。又如,某个数据包中可包含编码后的时钟信号、场同步信号、控制码和空数据。再如,某个数据包中可包含编码后的时钟信号、同步控制信息及多媒体播放数据。还比如,某个数据包中可包含编码后的时钟信号和多媒体播放数据。
需要说明的是,本申请并不限制在前述提及的数据采集装置所能提供的编码及封装方式的基础上,对多媒体播放数据进行如加密、压缩等处理。然而,藉由上述数据采集装置所提供的编码及封装方式为多媒体播放数据进行网络传输准备的技术思想上,对多媒体播放数据进行其他前期准备,均应视为基于本申请的技术启示而得到的技术方案。
所述数据采集装置执行步骤S120以将时钟信号、多媒体播放数据和同步控制信息发送至接收端。其中,所述数据采集装置可采用至少一根数据线发送时钟信号以及发送多媒体播放数据和同步控制信息。
在此,根据所述数据采集装置单位时钟周期内需同步处理的多媒体播放数据的数据量,技术人员选择传输线路的数据传输能力需满足单位时钟周期内需同步处理的多媒体播放数据的数据量。在一些实施方式中,为匹配工业摄像装置的图像帧的像素数据量以及播放频率,所述数据采集装置中包括光纤接口,所述数据采集装置利用光纤介质将数据包传输至接收端。例如,所述数据采集装置利用光纤介质将包含8K图像帧的多媒体播放数据传输至数据转接装置,并为数据转接装置提供可以120帧/秒、或60帧/秒的频率显示的多媒体播放数据。其中,8K图像帧可由8K摄像装置摄取而得、或者8K以上摄像装置摄取并压缩而得。例如,所述8K图像帧为利用8K摄像装置摄取的,8K图像帧为3300万像素(7680*4320像素)。在此,后续提及的图像帧的像素分辨率均可基于此推得所使用的相应摄像装置的像素分辨率,后续不再重述。
需要说明的是,根据实际传输的数据量、传输距离以及能够传递数据的数据线的数量,所述数据发送单元可包含单模光纤接口,或者其他网络传输接口。
例如,所述数据采集装置按照数据采集装置所提供的被单独封装的时钟信号、多媒体播放数据和同步控制信息等数据包的顺序逐个发送。又如,所述数据发送单元按照数据采集装置所提供的封装有时钟信号、多媒体播放数据和同步控制信息的数据包顺序逐个发送。
请参阅图9,本申请还提供一种数据转接方法。所述数据转接方法主要由本申请提供的数据转接装置,或其他任何能执行所述数据转接方法的数据转接装置来执行。
在步骤S210中,获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据。其中,所述数据转接装置对应于所述数据采集装置所使用的接口,以匹配数据传输能力、数据传输线路等。在一些示例中,所述接收接口为光纤接口。例如,所述接收接口为单模光纤接口,并接收来自数据采集装置所发送的时钟信号、同步控制信息和多媒体播放数据。
在步骤S220中,在所述时钟信号的控制下,基于所述同步控制信息将所述多媒体播放数据进行转发处理,以便存储或显示所述多媒体播放数据。
在此,数据转接装置依据于数据采集装置为发送时钟信号、同步控制信息及多媒体播放数据而设置的编码格式、发送时序、或数据线对应将数据接收单元所接收的数字信号进行处理,以从中提取数据采集装置侧的时钟信号,并生成对应的本地时钟信号,以及按照本地时钟信号产生同步控制信息和转发多媒体播放数据。
在一些实施方式中,所述数据转接装置所接收的时钟信号、同步控制信息及多媒体播放数据为经多种编码处理、多线路传输的编码数据。所述步骤S220包括按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理。
在此,所述数据转接装置按照预先设定的解码格式,将所接收到的时钟信息、控制信息和多媒体播放信息进行对应解码,由此恢复出时钟信号、同步控制信息和多媒体播放数据的步骤。在一示例中,所述数据转接装置按照预先设定的多种解码格式,将来自不同数据线的时钟信息、控制信息和多媒体播放信息进行对应解码。在另一示例中,所述数据转接装置按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理;以及在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。其中,根据数据采集装置所实际发送的数据包中所包含的信息,所述数据包采用统一编码和封装格式。对于单个数据包来说,数据包中可包含时钟信号、同步控制信息及多媒体播放数据中的至少一种。例如,某个数据包中可仅包含编码后的时钟信号,用以帮助数据转接装置构建本地时钟信号。又如,某个数据包中可包含编码后的时钟信号、场同步信号、控制码和空数据。再如,某个数据包中可包含编码后的时钟信号、同步控制信息及多媒体播放数据。还比如,某个数据包中可包含编码后的时钟信号和多媒体播放数据。所述数据转接装置按照预设的解码格式,解码数据包,以得到所述时钟信号、同步控制信息及多媒体播放数据。
在此,所述数据转接装置依据时钟信号和同步控制信息缓存或转发多媒体播放数据。例如,所述数据转接装置一方面利用经解码得到的时钟信号生成本地时钟信号,另一方面通过解码得到在一个单位时钟周期内产生行同步信号和同步转发多媒体播放数据;在延时一个单位时钟周期后,所述数据转接装置生成所述行同步信号,并基于所述行同步信号并行地将对应的多媒体播放数据予以转发处理。
根据实际多媒体播放数据所包含的数据类型,所接收的同步控制信息中还包括控制码;对应地,所述数据转接装置基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。在此,所述数据转接装置按照预先设定的控制码所表示的类型,确定所解码的数据包中所包含的数据类型,并结合同步控制信息中的其他同步信号,对多媒体播放数据进行转发处理。例如,所述数据转接装置基于控制码确定所解码的数据包中包含状态信息,则依据状态信息确定对应图像帧中对应像素的颜色、亮度等。又如,所述数据转接装置基于控制码确定所解码的数据包中包含音频数据段,则可结合当前行场同步信号确定该音频数据段与图像帧需同步播放;或者在转存时给予对应的索引记录等。
结合上述各示例的描述,所述步骤S220包括将按照所述同步控制信息,将所述多媒体播放数据输出至播放终端。在此,按照数据采集装置所提供的多媒体播放数据的数据量与播放终端的播放能力的匹配程度,以及数据采集装内置与播放终端之间的播放频率的匹配能力,所述数据采集装置包含HDMI、SDI、VGA、Displayport等播放接口。在一些示例中,所述数据采集装置包含一路播放接口。例如,所传递的多媒体播放数据中图像帧为2-4K像素数据,对应地,所述播放接口可选用一路HDMI接口。在又一些示例中,播放接口单元包含至少两路播放接口。例如,所传递的多媒体播放数据中图像帧为8K像素数据,对应地,所述播放接口选用四路HDMI接口。
为匹配如8K图像帧且30帧/s(或60帧/s)的播放频率,所述数据采集装置采用四路播放接口进行多媒体播放数据的输出,以及,所述数据采集装置在所述同步控制信息中行场同步信号的控制下,分割所获取的多媒体播放数据中的图像帧,并分路输出至每路播放接口。
在此,在来自于数据采集装置的时钟信号的控制下,所述数据采集装置依据行场同步信号所对应的图像帧及图像帧中的像素数据行(或像素数据列),将像素数据行(或像素数据列)进行分割,得到可输出至每路播放接口的图像子帧,并将各图像子帧分别输出至对应的播放接口。与每个播放接口相连的播放终端对应显示图像子帧。在一些示例中,所述多媒体播放数据中的图像帧为8K像素数据,播放数据接口单元包含四路播放接口,该四路播放接口连接8K显示终端;对应地,所述数据采集装置依据行场同步信号将图像帧分隔成四幅图像子帧,并在时钟信号的控制下,并行地输出至每一路播放接口,由8K显示终端对该图像帧予以显示。
在又一些实际应用中,数据转接装置的处理速率、输出速率、或播放终端的播放频率中的至少一种不匹配于数据采集装置按照其播放频率而输出的多媒体播放数据,为此,所述数据转接装置包含外部缓存单元,其可以是一种易失性存储器,其举例为RAM、DRAM等。所述外部缓存单元用于暂存所接收的多媒体播放数据等。
对应地,所述数据转接方法还包括:藉由一外部缓存单元中转,恢复所提取的多媒体播放数据的同步控制信息,以及按照所恢复的同步控制信息,将所获取的多媒体播放数据输出至播放终端的步骤。
在此,所述数据转接装置并未直接将所得到的多媒体播放数据通过播放接口单元输出至播放终端,而是利用数据采集装置的时钟信号将其暂存到外部缓存单元,以缓冲播放接口单元的播放频率。例如,按照同步控制信息中的行场同步信号将多媒体数据中的图像帧和状态信息存入外部缓存单元中,以及按照音视频同步信号将对应图像帧的音频输入也存入外部缓存单元中。数据转接装置再依据本地时钟信号或者数据采集装置所提供的时钟信号从外部缓存单元中将多媒体播放数据读取并输出至播放接口单元。其中,无论是本地时钟信号或同源的时钟信号,均用于确保数据转接装置在进行同步读写数据期间提供基本的单位时钟周期。在此,所述数据转接装置按照存储外部缓存单元时所得到的图像帧及其各像素行(或列)的存储地址段生成行场同步信号,以及依据存入外部缓存单元时所得到的音频数据段的存储地址段生成音视频同步信号,并按照播放接口单元中播放接口的数量对图像帧进行分割并输出。
在另一些实施方式中,所述数据转接装置还基于预配置的播放频率自所述外部缓存单元提取所缓存的所述多媒体播放数据中的图像帧,按照所提取的图像帧中的各像素行(或列)恢复行场同步信号,以及按照所恢复的行场同步信号将所提取的图像帧输出至所述播放接口单元。
以数据采集装置采集8K图像帧并按120帧/s的播放频率进行输出,以及数据转接装置中的播放接口单元所能输出的播放频率为60帧/s为例,所述数据转接装置按照60帧/s的播放频率选择隔帧地从缓存中读取多媒体播放数据中的图像帧,并按照本地时钟信号生成所提取的图像帧的行场同步信号,将所对应的图像帧分割成四路,并利用所生成的行场同步信号将分割后的图像帧分别输出至播放接口单元。
所述多媒体播放数据中包含音频数据,所述数据转接装置还从其外部缓存单元中提取与图像帧同步的音频数据,并输出至播放接口单元。
需要说明的是,上述示例仅为举例,本领域技术人员可结合前述数据转接装置的示例描述,提供可按照播放接口单元的播放频率逐帧或隔帧显示图像帧的方案,在此不再逐一详述。
在一些示例中,所述数据转接装置还包含人机交互单元(未予图示),用以获取播放指令。其中,所述人机交互单元包括但不限于:与遥控器通信的无线接收模块,用于连接鼠标、键盘等的接口模块等。数据转接装置基于所获取的播放指令从所缓存的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便播放相应多媒体播放数据。其中,所述播放指令包括但不限于以下任一种:显示上一(或下一)图像帧的播放指令,慢放(或快放)多媒体播放数据的播放指令,逐帧显示的播放指令、基于上一(或下一)图像帧播放多媒体播放数据的播放指令等。
对应地,所述数据转接方法还包括以下步骤:根据所接收的播放指令从缓存中提取对应的多媒体播放数据,并按照本地时钟信号和图像帧中各像素行(或列)的数据存放地址恢复用于显示控制的行场同步信号,以及按照所恢复的行场同步信号向播放接口单元输出所述播放指令所指示的图像帧及同步播放的音频数据。例如,所接收的播放指令包含逐帧播放,数据处理单元依据该指令做一帧一帧地恢复各同步信号并将相应图像帧输出至播放接口单元,其包括按照播放指令向前逐帧播放(或向后逐帧播放)。又如,所接收的播放指令包含慢放,数据转换装置将原120帧/秒的速度降至30帧/秒的速度恢复各同步信号并从缓存中提取所需回放的图像帧,输出至播放接口单元。需要说明的是,数据转换装置可依据播放指令中所指示的速度进行慢放,如25帧/秒、或60帧/秒等。
根据所述外部缓存单元所能存储的多媒体数据的数据量,所述数据转接装置适用于提供直播的多媒体播放转接。
在一些如监控、医疗等应用场景中,位于前端的数据采集装置所采集的多媒体播放数据需保存在非易失性存储器中,以便保存和重现。为此,所述数据转接方法还包括以下步骤:藉由一外部缓存单元中转,恢复所提取的多媒体播放数据的同步控制信息,以及按照所恢复的同步控制信息,将多媒体播放数据存储至一非易失性存储单元中。
在此,所述数据转接装置可在时钟信号的控制下,按照同步控制信息将多媒体播放数据存储到外部缓存单元;并建立用于确定图像帧中像素行(或列)的存储地址、图像帧首尾存储地址、同步的音频数据存储地址的索引机制;并在从外部缓存单元读取多媒体播放数据时,基于所述索引机制不仅可以恢复行场同步信号,还确定与对应图像帧同步的音频数据段;藉由所恢复的行场同步信号,所述数据转接装置将用于同步播放的音视频数据转存到非易失性存储单元中。如此,所述数据转接装置可有效解决数据接收单元与数据转接装置之间,以及数据转接装置与非易失性存储单元之间数据传输速率不匹配而造成的数据丢失问题。
在一些实际应用中,比如利用工业摄像装置所获取的图像帧包含8K像素数据,为防止缓存溢出,所述非易失性存储单元包含存储阵列,所述存储阵列与所述数据转接装置并行连接;所述数据转接装置按照所述存储阵列分割多媒体播放数据,并将分割后的多媒体播放数据存储至所述存储阵列中。
在此,所述数据转接装置按照将多媒体播放数据存储到外部缓存单元后,自外部缓存逐一读取的方式将多媒体播放数据转存到存储阵列中。其中,由于存储阵列与数据转接装置采用并行连接,数据转接装置按照存储阵列的数量将一图像帧进行分割,并按照本地时钟信号同步地保存在存储阵列中,以实现数据转接装置高速存储无损、高清的图像帧的目的。
需要说明的是,无论是将多媒体播放数据存储到外部缓存单元亦或非易失性存储单元中,都会构建对应存储地址的索引以供恢复行场同步信号等同步控制信息,在此,不再一一详述。
还需要说明的是,所述数据转接装置还可集成有数据采集装置中所提供的编码单元和数据发送单元,由此,借助编码单元将本地时钟信号、所恢复的行场同步信号等同步控制信息和所保存的多媒体播放数据进行重新编码和封装,以及借助数据发送单元将多媒体播放数据继续传输。由此实现了数据转接装置的级联,并解决因数据传输线路长度限制,而无法将多媒体播放数据传递至更远区域等问题。
综上所述,本申请所提供的数据采集装置和数据转接装置之间由于采用了同源的时钟信号进行数据同步处理,故而实现多媒体播放数据,特别是无损图像,能够实时播放和异地存储。在城市安防、交通监控、医疗影像检测、工业无损影像检测等需要高清图像视频的领域提供了多媒体播放数据的传输方案。
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,还可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请还提供一种计算机可读存储介质,所述存储介质存储有至少一个程序,所述程序在被执行时实现前述的任一所述的数据采集方法或数据转接方法,比如实现前述对应图8或图9所描述的方法。
基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如数据采集方法或数据转接方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。
另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。
应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (24)

1.一种数据转接装置,用于传输数据采集装置所提供的8K图像帧的多媒体播放数据,其特征在于,所述数据采集装置和数据转接装置之间的传输线路在单位时钟周期内所传输的数据量大于收发端在相同时钟周期内同步处理的数据量,其中,所述数据转接装置包括:
数据接收单元,获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据;所述同步控制信息包括以下至少一种或多种组合:行场同步信号、控制码、音视频同步信号;
数据处理单元,连接于所述数据接收单元,用于在所述时钟信号的控制下,基于所述同步控制信息将所述多媒体播放数据进行转发处理;
所述数据转接装置还包括:外部缓存单元、以及播放接口单元和/或非易失性存储单元,分别连接于所述数据处理单元;
其中,所述数据处理单元在所述时钟信号的控制下,基于所述同步控制信息将所述多媒体播放数据进行转发的过程包括:
依据所述数据采集装置为发送时钟信号、同步控制信息及多媒体播放数据而设置的编码格式、发送时序、或数据线对应将所述数据接收单元所接收的数字信号进行处理,以从中提取数据采集装置侧的时钟信号,并生成对应的本地时钟信号,以及按照本地时钟信号和所述同步控制信息,将所述多媒体播放数据转存至所述外部缓存单元;以及以下至少一步骤:
按照所述本地时钟信号自所述外部缓存单元提取所缓存的多媒体播放数据并转存至所述非易失性存储单元中;和/或
按照所述本地时钟信号自所述外部缓存单元提取所缓存的多媒体播放数据并发送至所述播放接口单元;或按照所述本地时钟信号将所转发处理的多媒体播放数据发送至所述播放接口单元,以供播放终端播放。
2.根据权利要求1所述的数据转接装置,其特征在于,所述同步控制信息包含行场同步信号;对应地,所述数据处理单元在所述时钟信号的控制下,基于所述行场同步信号将所述多媒体播放数据中的图像帧进行转发处理。
3.根据权利要求1所述的数据转接装置,其特征在于,所述同步控制信息包含控制码,所述数据处理单元基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。
4.根据权利要求1所述的数据转接装置,其特征在于,所述数据处理单元还用于按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理;以及在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。
5.根据权利要求4所述的数据转接装置,其特征在于,所述数据处理单元用于按照预设的解码格式将包含所述时钟信号、同步控制信息及多媒体播放数据中至少一种的数据包予以解码处理。
6.根据权利要求1所述的数据转接装置,其特征在于,所述播放接口单元包括:至少一路播放接口;
所述数据处理单元在所述同步控制信息中行场同步信号的控制下,分割所获取的多媒体播放数据中的图像帧,并分路输出至每路播放接口。
7.根据权利要求1所述的数据转接装置,其特征在于,所述数据处理单元用于基于预配置的播放频率自所述外部缓存单元提取所缓存的所述多媒体播放数据中的图像帧,并按照所提取的图像帧的行场同步信号,将所提取的图像帧输出至所述播放接口单元。
8.根据权利要求7所述的数据转接装置,其特征在于,所述数据处理单元基于所获取的播放指令从所缓存的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便播放相应多媒体播放数据。
9.根据权利要求1所述的数据转接装置,其特征在于,所述非易失性存储单元包含存储阵列,所述存储阵列与所述数据处理单元并行连接;所述数据处理单元按照所述存储阵列分割多媒体播放数据,并将分割后的多媒体播放数据存储至所述存储阵列中。
10.根据权利要求1所述的数据转接装置,其特征在于,还包括断电保护单元,用于在所述数据转接装置异常断电时提供供电,并将所述外部缓存单元中所缓存的多媒体播放数据转存至非易失性存储单元中。
11.根据权利要求1所述的数据转接装置,其特征在于,所述数据处理单元基于所获取的播放指令从所存储的多媒体播放数据中提取相应多媒体播放数据,并按照所提取的多媒体播放数据的同步控制信息将相应多媒体播放数据予以输出,以便显示相应多媒体播放数据。
12.根据权利要求1所述的数据转接装置,其特征在于,所述数据接收单元包含光纤接口。
13.根据权利要求1所述的数据转接装置,其特征在于,所述多媒体播放数据包括以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。
14.一种数据传输***,其特征在于,包含:
数据采集装置,包括:
获取单元,用于获取包含8K图像帧的多媒体数据;
时钟信号生成单元,用于生成并输出一时钟信号;
编码单元,与所述获取单元相连,用于在所述时钟信号的控制下,将所获取的多媒体数据编码成多媒体播放数据和同步控制信息;所述同步控制信息包括以下至少一种或多种组合:行场同步信号、控制码、音视频同步信号;
数据发送单元,与所述时钟信号生成单元和获取单元相连,用于发送所述时钟信号,以及发送基于所述时钟信号而确定传输的多媒体播放数据和同步控制信息;以及
如权利要求1-13中任一所述的数据转接装置;其中,所述数据采集装置和数据转接装置之间的传输线路在单位时钟周期内所传输的数据量大于收发端在相同时钟周期内同步处理的数据量。
15.根据权利要求14所述的数据传输***,其特征在于,所述数据发送单元包括光纤接口。
16.根据权利要求14所述的数据传输***,其特征在于,所述编码单元还用于将所述时钟信号,以及在所述时钟信号所对应时间周期内处理的多媒体播放数据和同步控制信息进行至少一种编码处理;
对应地,所述数据发送单元用于将编码后的所述时钟信号、多媒体播放数据和同步控制信息予以发送。
17.一种数据转接方法,用于传输来自数据采集装置所提供的包含8K图像帧的多媒体播放数据,其特征在于,其中,所述数据采集装置通过传输线路提供多媒体播放数据,其中所述传输线路在单位时钟周期内所传输的数据量大于收发端在相同时钟周期内同步处理的数据量;所述数据转接方法包含:
获取来自所述数据采集装置的时钟信号、同步控制信息和多媒体播放数据;所述同步控制信息包括以下至少一种或多种组合:行场同步信号、控制码、音视频同步信号;
依据所述数据采集装置为发送时钟信号、同步控制信息及多媒体播放数据而设置的编码格式、发送时序、或数据线对应将所接收的数字信号进行处理,以从中提取数据采集装置侧的时钟信号生成对应的本地时钟信号,以及按照本地时钟信号和所述同步控制信息,将所述多媒体播放数据进行转发处理;
藉由一外部缓存单元中转,恢复所提取的多媒体播放数据的同步控制信息,以及按照所恢复的同步控制信息,将所述多媒体播放数据存储至一非易失性存储单元中;以及执行以下至少一步骤:
藉由一外部缓存单元中转,按照所述本地时钟信号恢复所提取的多媒体播放数据的同步控制信息,按照所恢复的同步控制信息,将所获取的多媒体播放数据输出至播放终端;
按照所述同步控制信息,按照所述本地时钟信号将所述多媒体播放数据输出至播放终端。
18.根据权利要求17所述的数据转接方法,其特征在于,所述同步控制信息包含行场同步信号;对应地,在时钟信号的控制下,基于所述同步控制信息将至少所述多媒体播放数据进行转发处理的步骤包括:在所述时钟信号的控制下,基于所述行场同步信号将所述多媒体播放数据中的图像帧进行转发处理。
19.根据权利要求17所述的数据转接方法,其特征在于,所述同步控制信息包含控制码,对应地,基于同步控制信息将至少所述多媒体播放数据进行转发处理的步骤包括:基于所述控制码所表示的类型,将所述多媒体播放数据中对应类型的数据进行转发处理。
20.根据权利要求17所述的数据转接方法,其特征在于,还包括:按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理的步骤;以便在所解码的时钟信号的控制下,基于解码后的同步控制信息将至少解码后的多媒体播放数据进行转发处理。
21.根据权利要求17所述的数据转接方法,其特征在于,按照预设的解码格式将所述时钟信号、同步控制信息及多媒体播放数据予以解码处理的步骤包括:按照预设的解码格式将包含所述时钟信号、同步控制信息及多媒体播放数据中至少一种的数据包予以解码处理。
22.根据权利要求17所述的数据转接方法,其特征在于,还包括:
基于所获取的播放指令从所存储的多媒体播放数据中提取相应多媒体播放数据并予以输出,以便播放相应多媒体播放数据。
23.根据权利要求17所述的数据转接方法,其特征在于,所述多媒体播放数据包括以下至少一种或多种组合:图像帧、音频数据、以及与所述数据采集装置相关的状态信息。
24.一种计算机可读存储介质,其特征在于,存储有至少一程序;所述至少一程序在被调用时执行如权利要求17-23中任一所述的数据转接方法。
CN201880002425.2A 2018-11-02 2018-11-21 数据转接装置、数据采集装置及***、方法 Active CN109644290B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811303551 2018-11-02
CN201811303551X 2018-11-02
PCT/CN2018/116626 WO2020087590A1 (zh) 2018-11-02 2018-11-21 数据转接装置、数据采集装置及***、方法

Publications (2)

Publication Number Publication Date
CN109644290A CN109644290A (zh) 2019-04-16
CN109644290B true CN109644290B (zh) 2022-03-08

Family

ID=66060074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880002425.2A Active CN109644290B (zh) 2018-11-02 2018-11-21 数据转接装置、数据采集装置及***、方法

Country Status (1)

Country Link
CN (1) CN109644290B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636219B (zh) * 2019-09-03 2020-12-01 北京三快在线科技有限公司 一种视频数据流的传输方法及装置
CN110855852B (zh) * 2019-12-03 2022-01-04 深圳市沃特沃德股份有限公司 多通道图像数据的输出方法、装置及存储介质
CN113271476B (zh) * 2021-05-12 2022-07-12 湖南泽天智航电子技术有限公司 一种提升视频数据流帧的同步方法、设备、装置及***
CN114286133A (zh) * 2021-12-28 2022-04-05 京东方科技集团股份有限公司 图像数据处理方法、装置及显示***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191160A (ja) * 2004-12-28 2006-07-20 Sony Corp 光伝送システム
CN202282830U (zh) * 2011-10-27 2012-06-20 上海德致伦电子科技有限公司 图像处理芯片及视频监控***
CN103686093A (zh) * 2013-12-29 2014-03-26 广州视声电子科技有限公司 一种可视门铃
CN204559747U (zh) * 2015-04-07 2015-08-12 华南理工大学 一种高清led显示屏视频数据收发装置
CN205029787U (zh) * 2015-10-10 2016-02-10 杭州海康威视数字技术股份有限公司 监控***
CN107277295A (zh) * 2017-06-22 2017-10-20 北京数码视讯科技股份有限公司 视频同步处理装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191160A (ja) * 2004-12-28 2006-07-20 Sony Corp 光伝送システム
CN202282830U (zh) * 2011-10-27 2012-06-20 上海德致伦电子科技有限公司 图像处理芯片及视频监控***
CN103686093A (zh) * 2013-12-29 2014-03-26 广州视声电子科技有限公司 一种可视门铃
CN204559747U (zh) * 2015-04-07 2015-08-12 华南理工大学 一种高清led显示屏视频数据收发装置
CN205029787U (zh) * 2015-10-10 2016-02-10 杭州海康威视数字技术股份有限公司 监控***
CN107277295A (zh) * 2017-06-22 2017-10-20 北京数码视讯科技股份有限公司 视频同步处理装置及方法

Also Published As

Publication number Publication date
CN109644290A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109644290B (zh) 数据转接装置、数据采集装置及***、方法
CN106992959B (zh) 一种3d全景音视频直播***及音视频采集方法
CN112752115B (zh) 直播数据传输方法、装置、设备及介质
CN108924600A (zh) 直播数据的发送接收方法、装置及电子设备
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
US20140281011A1 (en) System and method for replicating a media stream
CN104954812A (zh) 一种视频同步播放的方法、装置及***
CN110996122B (zh) 视频帧传输方法、装置、计算机设备及存储介质
CN104918123A (zh) 用于运动视频回放的方法和***
CN113938470A (zh) 一种浏览器播放rtsp数据源的方法、装置以及流媒体服务器
CN101272200B (zh) 一种多媒体流同步缓存的方法及***
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及***
KR101171389B1 (ko) Sdi를 이용한 압축 영상 전달 시스템 및 그 방법
US9584755B2 (en) Endoscope with high definition video recorder/player
US8184660B2 (en) Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
US20230025664A1 (en) Data processing method and apparatus for immersive media, and computer-readable storage medium
CN110798688A (zh) 一种基于实时传输的高清视频压缩编码***
CN101179695A (zh) 实现会议录播的方法、会议电视***和终端
JP5808485B2 (ja) 移動端末の録画方法、関連装置及びシステム
CN111406404A (zh) 获得视频文件的压缩方法、解压缩方法、***及存储介质
WO2020087590A1 (zh) 数据转接装置、数据采集装置及***、方法
CN112565799B (zh) 视频数据处理方法和装置
CN105187688A (zh) 一种对手机采集的实时视频和音频进行同步的方法及***
CN115734004A (zh) 视频处理方法、装置、***和设备
KR102426993B1 (ko) 에이브이 송수신 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant