CN105763848A - 鱼眼摄像机后端接入方法及*** - Google Patents

鱼眼摄像机后端接入方法及*** Download PDF

Info

Publication number
CN105763848A
CN105763848A CN201610121406.4A CN201610121406A CN105763848A CN 105763848 A CN105763848 A CN 105763848A CN 201610121406 A CN201610121406 A CN 201610121406A CN 105763848 A CN105763848 A CN 105763848A
Authority
CN
China
Prior art keywords
media data
information
media
rear end
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610121406.4A
Other languages
English (en)
Other versions
CN105763848B (zh
Inventor
朱洪燕
孙令亮
李汶钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201610121406.4A priority Critical patent/CN105763848B/zh
Publication of CN105763848A publication Critical patent/CN105763848A/zh
Application granted granted Critical
Publication of CN105763848B publication Critical patent/CN105763848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331—Caching operations, e.g. of an advertisement for later insertion during playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种鱼眼摄像机后端接入方法及***，该方法包括位于前端的鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，还包括：鱼眼摄像机根据媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包后发送至后端设备；鱼眼摄像机发送关于混合数据包的媒体数据恢复信息至后端设备；后端设备根据媒体数据恢复信息将混合数据包恢复为封装前的各类媒体数据并分别缓存；后端设备根据用户指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。本发明的方法及***保证了在节约带宽的同时，用户可以按照自己的需要选择要结合观看的多类视频进行回放和存储。

Description

鱼眼摄像机后端接入方法及***
技术领域
本发明涉及视频处理领域，尤其涉及一种鱼眼摄像机后端接入方法及***。
背景技术
鱼眼摄像机由于在全局监控、易维护、控成本方面的优势在监控行业应用越来越广泛，而其中属前端矫正的鱼眼摄像机由于适配能力强等因素应用的比较多，而该种实现方式使得鱼眼摄像机具有多个内容不同但相互又有关联的视频流和相同音频流的特性，在将鱼眼摄像机接入到后端后，需要解决如何能让用户看到矫正前、矫正后、几个校正后视频的局部视频(PTZ视频)这多个视频信息，且各视频应在音频上保持同步。
现有技术中，鱼眼摄像机按多通道形式接入到后端设备，每个通道各自发送媒体流，每条媒体流都携带音视频数据。
这种按普通多通道(N路)摄像机接入的方式缺点在于：由于多个视频流来自同一个鱼眼摄像机，因此音频数据是一样的，如果各通道分别发送媒体流则音频数据被多发送了N-1次，占用网络带宽；由于各通道之间没有关联，则存储也是分开存，音频数据也会被多存储N-1次，浪费存储容量；另外，由于各通道间没有关联，实况和回放时需要用户自行一个一个通道建立预览和回放并调整界面显示，也较为耗时耗力。
因此，现有技术的前端鱼眼摄像机接入后端的问题在于，要保证各视频在后端能够分别呈现和存储需要耗费大量的带宽和存储等资源。
发明内容
为了解决现有技术存在的问题，本发明提供了一种鱼眼摄像机后端接入方法，以保证在后端进行视频灵活呈现的同时节约带宽和存储等资源。
一种鱼眼摄像机后端接入方法，包括位于前端的鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，还包括：
鱼眼摄像机根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
鱼眼摄像机发送关于混合数据包的媒体数据恢复信息至后端设备；
后端设备根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
后端设备根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
本发明的鱼眼摄像机将一个音频数据和各个视频数据混合打包为一个混合数据包进行发送，音频数据不需要发送多份，只需和各类型的视频数据(鱼眼视频数据、全景视频数据、各个PTZ视频数据)同步发送即可，即作为一股媒体流发送给后端设备，且语音数据只需要发送一份，从而节约了带宽，也保证在后续的存储过程中语音数据也只需要存储一份，节约了存储空间。同时，除了发送混合数据包以外，鱼眼摄像机还发送了媒体数据恢复信息，用以在后端将混合数据包恢复成音频数据和各类视频数据，这样保证了在节约带宽的同时，用户可以按照自己的需要选择要结合观看的多类视频进行回放和存储。
进一步而言，鱼眼摄像机发送的混合数据包包括音频数据以及多种视频数据，对应地，媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息及媒体数据编码信息。
其中媒体数据类型数量用于后端设备对媒体数据进行分别缓存时确定缓存区的个数，媒体数据类型信息包括混合数据包中所包含的所有类型的媒体数据所对应的媒体数据类型，用于在后期进行解码显示和存储时提供所需显示和存储的类型信息，媒体数据编码信息可以包括媒体数据的编码格式、码率及帧率等用于解码及确定所分配的各个缓存区的大小。
媒体数据恢复信息的发送方式可以是多种，既可以在后端设备发起引流请求前主动向鱼眼摄像机获取能力集时随能力集信息上报，也可以通过流媒体的传输协议中自定义的字段部分进行自定义并发送，且每次混合数据包发送之前都进行一次媒体数据恢复信息的发送。
进一步而言，鱼眼摄像机在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
为了避免鱼眼摄像机发送的混合数据包在发送到后端时后端还未准备好缓存导致混合数据包被丢掉，在每发送一段时间的混合数据包或者每发送若干数据包之前，都进行一次媒体数据恢复信息的发送。其中具体每发送一段时间的混合数据包均进行媒体数据恢复信息的发送，还是每发送若干数据包均进行媒体数据恢复信息的发送，根据需要进行预先设定。
进一步而言，所述鱼眼摄像机采用RTP协议发送混合数据包及媒体数据恢复信息，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段设置为不同的预设值，以区分各类媒体数据。后端设备通过媒体数据恢复信息将混合数据包恢复成封装前的各类媒体数据。
进一步而言，后端设备根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
通过媒体数据恢复信息，后端可以得到多类视频数据以及同步的一份音频数据，通过用户的指令，可以选择其中的一种或多种进行存储或显示，且可以根据用户指令的更改而灵活更改，满足不同的需求。具有较大的灵活性。
本发明还提供了对应方法的***，用以实施本发明方法，以达到节约带宽和存储空间资源的目的。
一种鱼眼摄像机后端接入***，包括位于前端的鱼眼摄像机和后端设备，所述鱼眼摄像机包括接入模块，用于在鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，所述鱼眼摄像机还包括混合数据包发送模块及恢复信息发送模块，所述后端设备包括媒体数据恢复模块及用户指令处理模块，
所述混合数据包发送模块根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
所述恢复信息发送模块发送关于混合数据包的媒体数据恢复信息至后端设备；
所述媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
所述用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
进一步而言，混合数据包发送模块发送的混合数据包包括音频数据以及多种视频数据，对应地，媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息以及媒体数据编码信息。
进一步而言，恢复信息发送模块在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
进一步而言，混合数据包发送模块发送的混合数据包以及恢复信息发送模块发送的媒体数据恢复信息采用RTP协议发送，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
进一步而言，媒体数据恢复模块根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
本发明的优点在于：前端的鱼眼摄像机收到后端设备发来的媒体流请求后，采用音视频混合器，将矫正前、后、若干个局部的视频数据混合打包，并在同一路媒体流中发送给后端设备，能够节省带宽的同时保证多路数据同步；后端设备收到携带有多路视频单路音频的媒体流后，根据媒体数据恢复信息将多路视频和音频流拆分、解码并存到不同的缓冲区中，通知存储和解码模块根据实际需要取用，在节约存储空间的同时保证在后端根据用户需要灵活搭配处理。
附图说明
图1为本发明各实施例的前端媒体流混合发送处理的流程图；
图2为本发明各实施例的后端设备进行媒体流拆分存储和解码显示流程图。
具体实施方式
为使本发明更加详细明了，现结合附图和实施例对本发明加以详细的解释说明。
本发明的第一实施例和第二实施例中，鱼眼摄像机均采用RTP传输协议传输视频流，且各实施例都在本发明的***中使用，本发明的实施例所采用的鱼眼摄像机后端接入***包括：接入模块、混合数据包发送模块、恢复信息发送模块、媒体数据恢复模块以及用户指令处理模块。其中接入模块、混合数据包发送模块以及恢复信息发送模块位于前端的鱼眼摄像机中，媒体数据恢复模块以及用户指令处理模块位于后端设备中。
其中本发明第一实施例的方法参考图1和图2，包括如下步骤：
步骤1，位于前端的鱼眼摄像机的接入模块在以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息。
步骤2，鱼眼摄像机中的混合数据包发送模块根据接入模块所接收到的媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将混合数据包作为媒体流发送至后端设备。
如图1所示，在前端的鱼眼摄像机中，模拟视频采集模块采集到YUV类型的视频数据并存入YUV数据缓存区，鱼眼摄像机将YUV数据缓存区中的视频分成两路，其中一路为未经矫正直接编码并存入缓存区的鱼眼视频数据，另外一路通过矫正后再编码分别得到全景视频数据以及若干个PTZ视频数据并分别进行缓存。接着，混合数据包发送模块将各缓存区中同步的视频数据以及音频数据混合在一起，得到混合数据包并进行发送。具体的混合数据包大小根据带宽以及缓存区的条件而定，当前实施例中，同步数据及音频数据各取1帧时间长度的数据进行混合。
步骤3，鱼眼摄像机中的恢复信息发送模块发送关于混合数据包的媒体数据恢复信息至后端设备。
在当前实施例中，混合数据包发送模块发送的混合数据包以及恢复信息发送模块发送的媒体数据恢复信息均采用RTP协议发送，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段设置为不同的预设值，以区分各类媒体数据。在RTP传输协议的PAYLOADTYPE字段中，目前96-127段是没有定义的，可以在这中间选择进行自定义，例如：110代表鱼眼视频、111代表全景视频数据、112代表PTZ视频1(PTZ1)、113代表PTZ视频2(PTZ2)、114代表PTZ视频3(PTZ3)、115代表PTZ视频4(PTZ4)等等。本实施例中，媒体数据恢复信息包含的PAYLOADTYPE值为109。当然，除RTP协议外，也可以采用其他的传输协议例如TS协议，可以选择相应的自定义字符段进行定义和区分。
恢复信息发送模块在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。为避免后端设备收到媒体数据时缓存区还未准备好，导致接收到的混合数据包被丢弃，恢复信息发送模块还可以每间隔发送一定预设时长的混合数据包后发送一次媒体数据恢复信息。当前实施例中，在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，向后端设备发送一次媒体数据恢复信息，然后每隔1秒向后端设备发送一次媒体数据恢复信息。
媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息以及媒体数据编码信息。其中，媒体数据编码信息包括：视频数据的码率、视频数据的帧率以及音视频数据的编码格式。在混合数据包中，包含的各类媒体数据的PAYLOADTYPE均为不同的预设值，对应地，媒体数据恢复信息所包含媒体数据类型信息包含了混合数据包中所包含的所有媒体数据的类型信息，比如混合数据包中包含鱼眼视频和全景视频数据，则媒体数据类型信息中包含110、111两个类型信息。
步骤4，后端设备中的媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据进行分别缓存。
参考图2，媒体数据恢复模块将从同一条链路上收到的包含不同PAYLOADTYPE媒体数据的媒体流拆分并解封装后，将媒体数据进行归类，分别放入对应的缓存区中，并通知用户指令处理模块中的解码显示子模块和存储子模块分别取流显示和存储。
媒体数据恢复模块根据媒体数据恢复信息记录鱼眼摄像机发送给后端设备的媒体数据类型，包括鱼眼、全景、PTZ1、PTZ2、PTZ3以及PTZ4等等。媒体数据恢复模块根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区，且根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
步骤5，后端设备中的用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
用户指令处理模块中的存储子模块可以让用户选择对哪几类媒体数据进行存储，如鱼眼、全景、PTZ视频1、PTZ视频2、PTZ视频3以及PTZ视频4、音频等等，可多选。根据用户的存储配置，决定存储哪几类媒体数据及是否存储音频(存储子模块从不同的缓存区取媒体数据，并记录鱼眼摄像机及对应的媒体数据类型的关联关系，便于用户对存储的录像进行回放操作)。
解码显示模子块根据用户所设置的预览模式，将显示界面分割成不同的分屏和排版，将相应媒体数据解码并显示在相应的位置上。
鱼眼摄像机还可以在后端设备主动向鱼眼摄像机获取能力集时随能力集信息上报自身支持的媒体数据类型。以本发明第二实施例进行说明。本发明第二实施例包括如下步骤：
步骤1，位于前端的鱼眼摄像机的接入模块在以单通道形式接入到后端设备后，后端设备向鱼眼摄像机请求能力集信息。鱼眼摄像机中的恢复信息发送模块将关于混合数据包的媒体数据恢复信息随能力集信息发送至后端设备。
后端设备接收鱼眼摄像机发送的能力集信息，并从能力集信息中获得媒体数据恢复信息。媒体数据恢复信息的内容包括：媒体数据类型数量、媒体数据类型信息及媒体数据编码信息。其中，在当前实施例中各类媒体数据的PAYLOADTYPE值设定与第一实施例相同。如果采用其他的传输协议例如TS协议，则各视频的类型以及在能力集中对应包含的媒体数据类型信息按照相应的自定义字段进行自定义。
后端设备获得包含媒体数据恢复信息的能力集信息后，向鱼眼摄像机发送媒体流请求。
步骤2，位于鱼眼摄像机的接入模块接收后端设备发送的媒体流请求消息。
步骤3，鱼眼摄像机中的混合数据包发送模块根据接入模块接收的媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将混合数据包作为媒体流发送至后端设备。其中，步骤3参考图1中的步骤，与第一实施例中混合的过程相同。
步骤4，后端设备中的媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据进行分别缓存。
媒体数据恢复模块的数据恢复、存储以及显示的过程参考图2，与第一实施例的步骤4中这一过程相同。
步骤5，后端设备中的用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
其中，在当前实施例中，后端设备的用户指令处理模块除了第一实施例中的相应处理外，还包括鱼眼预览模式管理子模块和鱼眼回放子模块，其中鱼眼预览模式管理子模块为用户呈现不同的视频排版，如鱼眼+4PTZ、全景+4PTZ、自定义模板等，用户可以通过设置鱼眼预览模式管理模块灵活地选择不同排版，以满足不同场景的观察需求。而鱼眼回放子模块根据用户的存储配置结合当前预览模式，进行多路子通道的检索和同步回放。
本发明的优点在于：前端的鱼眼摄像机收到后端设备发来的媒体流请求后，采用音视频混合器，将矫正前、后、若干个局部的视频数据以及音频数据混合打包，并在同一路媒体流中发送给后端设备，能够节省带宽的同时保证多路数据同步；后端设备收到携带有多路视频单路音频的媒体流后，根据媒体数据恢复信息将多路视频和音频流拆分、解码并存到不同的缓冲区中，通知存储和解码模块根据实际需要取用，在节约存储空间的同时保证在后端根据用户需要灵活搭配处理。

Claims (10)

1.一种鱼眼摄像机后端接入方法，包括位于前端的鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，其特征在于，还包括：
鱼眼摄像机根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
鱼眼摄像机发送关于混合数据包的媒体数据恢复信息至后端设备；
后端设备根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
后端设备根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
2.如权利要求1所述的鱼眼摄像机后端接入方法，其特征在于，鱼眼摄像机发送的混合数据包括音频数据以及多种视频数据，对应地，媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息及媒体数据编码信息。
3.如权利要求1所述的鱼眼摄像机后端接入方法，其特征在于，鱼眼摄像机在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
4.如权利要求1所述的鱼眼摄像机后端接入方法，其特征在于，所述鱼眼摄像机采用RTP协议发送混合数据包及媒体数据恢复信息，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
5.如权利要求2所述的鱼眼摄像机后端接入方法，其特征在于，后端设备根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
6.一种鱼眼摄像机后端接入***，包括位于前端的鱼眼摄像机和后端设备，所述鱼眼摄像机包括接入模块，用于在鱼眼摄像机以单通道形式接入到后端设备后，接收后端设备发送的媒体流请求消息，其特征在于，所述鱼眼摄像机还包括混合数据包发送模块及恢复信息发送模块，所述后端设备包括媒体数据恢复模块及用户指令处理模块，
所述混合数据包发送模块根据所述媒体流请求消息，将分别缓存的多类同步媒体数据进行封装形成混合数据包，并将所述混合数据包作为媒体流发送至后端设备；
所述恢复信息发送模块发送关于混合数据包的媒体数据恢复信息至后端设备；
所述媒体数据恢复模块根据媒体数据恢复信息将接收到的混合数据包恢复为封装前的各类媒体数据并进行分别缓存；
所述用户指令处理模块根据来自用户的指令，利用媒体数据恢复信息选择缓存中相应的媒体数据进行存储和显示。
7.如权利要求6所述的鱼眼摄像机后端接入***，其特征在于，混合数据包发送模块发送的混合数据包括音频数据以及多种视频数据，对应地，恢复信息发送模块发送的媒体数据恢复信息包括：媒体数据类型数量、媒体数据类型信息以及媒体数据编码信息。
8.如权利要求6所述的鱼眼摄像机后端接入***，其特征在于，恢复信息发送模块在接收到后端设备发送的媒体流请求消息之后，且在向后端设备发送媒体流之前，进行媒体数据恢复信息的发送。
9.如权利要求6所述的鱼眼摄像机后端接入***，其特征在于，混合数据包发送模块发送的混合数据包以及恢复信息发送模块发送的媒体数据恢复信息采用RTP协议发送，且媒体数据恢复信息以及混合数据包中包括的各类媒体数据所包含的PAYLOADTYPE字段为不同的预设值。
10.如权利要求7所述的鱼眼摄像机后端接入***，其特征在于，媒体数据恢复模块根据媒体数据恢复信息进行混合数据包的恢复过程包括：
根据媒体数据恢复信息中的媒体数据类型数量分配相应数量个缓存区，且根据媒体数据恢复信息中的媒体数据编码信息，确定各缓存区的大小，建立各类媒体数据的缓存区；
根据媒体数据恢复信息中的媒体数据类型信息，将混合数据包中的各类媒体数据进行解码并存入对应的缓存区中。
CN201610121406.4A 2016-03-03 2016-03-03 鱼眼摄像机后端接入方法及*** Active CN105763848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610121406.4A CN105763848B (zh) 2016-03-03 2016-03-03 鱼眼摄像机后端接入方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610121406.4A CN105763848B (zh) 2016-03-03 2016-03-03 鱼眼摄像机后端接入方法及***

Publications (2)

Publication Number Publication Date
CN105763848A true CN105763848A (zh) 2016-07-13
CN105763848B CN105763848B (zh) 2019-06-11

Family

ID=56331653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610121406.4A Active CN105763848B (zh) 2016-03-03 2016-03-03 鱼眼摄像机后端接入方法及***

Country Status (1)

Country Link
CN (1) CN105763848B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106572290A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370140A (zh) * 2008-09-25 2009-02-18 浙江大华技术股份有限公司 一种多码流生成的方法
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、***及方法
WO2011001851A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
US20120081503A1 (en) * 2010-10-01 2012-04-05 Creative Technology Ltd Immersive video conference system
CN104349100A (zh) * 2013-07-25 2015-02-11 杭州海康威视数字技术股份有限公司 支持单个通道双码流录像的dvr监控***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、***及方法
CN101370140A (zh) * 2008-09-25 2009-02-18 浙江大华技术股份有限公司 一种多码流生成的方法
WO2011001851A1 (ja) * 2009-06-29 2011-01-06 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置、立体画像データ受信方法、画像データ送信装置および画像データ受信装置
US20120081503A1 (en) * 2010-10-01 2012-04-05 Creative Technology Ltd Immersive video conference system
CN104349100A (zh) * 2013-07-25 2015-02-11 杭州海康威视数字技术股份有限公司 支持单个通道双码流录像的dvr监控***及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572289A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106572290A (zh) * 2016-10-21 2017-04-19 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN106572289B (zh) * 2016-10-21 2019-08-20 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106572290B (zh) * 2016-10-21 2019-08-20 维沃移动通信有限公司 一种图像数据的处理方法和移动终端

Also Published As

Publication number Publication date
CN105763848B (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
US11178436B2 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
CN101917389B (zh) 一种网络电视直播***
EP4093034A1 (en) Quality tagging in adaptive bitrate technologies
CN101710965A (zh) 一种网络电视的全网存储、调度方法及***
CN104737514A (zh) 用于分布媒体内容服务的方法和设备
US20210409796A1 (en) Systems and methods for localized adaptive content distribution
KR20050049428A (ko) 콘텐츠를 기록하기 위해 사용되는 기록매체의 저장공간을절약하기 위한 방송 기록시스템, 기록장치, 방송장치 및프로그램
CN104038844A (zh) 一种基于mpeg-2标准的移动直播***
US10349095B2 (en) Transmission device for processing video data related to HDR/SDR and method for controlling the same
US20050094562A1 (en) Methods and devices for reducing total bandwidth when streaming multiple media streams
CN111629283B (zh) 一种多流媒体网关服务***及方法
US10412422B2 (en) Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal
CN101505298B (zh) 一种媒体时移码流的存储和获取方法及多媒体业务***
US10362342B2 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
US10666549B2 (en) Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method
CN105430510A (zh) 一种视频点播方法、网关、智能终端及视频点播***
US20110088069A1 (en) Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system
CN105763848A (zh) 鱼眼摄像机后端接入方法及***
US10298975B2 (en) Communication apparatus, communication data generation method, and communication data processing method
US8184660B2 (en) Transparent methods for altering the video decoder frame-rate in a fixed-frame-rate audio-video multiplex structure
JPWO2006027857A1 (ja) ザッピングストリームの生成装置とその方法
KR20020022147A (ko) 멀티미디어 오디오 복원용 디지털 티브이 및 이를 이용한멀티미디어 오디오 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant