CN115174884A - 一种基于sei的多相机同步信息传输与存储方法 - Google Patents
一种基于sei的多相机同步信息传输与存储方法 Download PDFInfo
- Publication number
- CN115174884A CN115174884A CN202210798076.8A CN202210798076A CN115174884A CN 115174884 A CN115174884 A CN 115174884A CN 202210798076 A CN202210798076 A CN 202210798076A CN 115174884 A CN115174884 A CN 115174884A
- Authority
- CN
- China
- Prior art keywords
- camera
- sei
- synchronization information
- information
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 238000013480 data collection Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 2
- 239000007784 solid electrolyte Substances 0.000 abstract description 2
- 230000016507 interphase Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种基于SEI的多相机同步信息传输与存储方法,利用H264或H265的SEI类型消息来存放多个同步相机的同步信息,每个相机只需要一个视频文件,不再需要额外的同步文件即可实现多个视频的同步解析,获取图片的唯一编号信息,并实现多个相机的图片对齐。本发明为H264或H265等视频文件与视频流的传输与存储提供了便捷的技术方案,特别是针对多个同步相机的视频流或文件。
Description
技术领域
视频编解码,多相机传输
背景技术
目前的多相机同步信息是保存在单独的文件中,与视频文件相分离,给网络传输与后续的应用带来了很多不便。特别是3D重建中需要用到多视角的图片,如果这些图片不是多个相机同一个时刻拍摄的,会给3D重建造成极大的破坏,甚至无法进行3D重建。3D重建对多相机的同步有十分严格的要求,当前的技术是将同步信息与图片信息分开存储与传输,很容易造成图片错位或同步信息丢失。另一方面,视频压缩算法H264或H265主要解决单个视频流的压缩与解压,而没有考虑多相机的同步问题。本发明对H264 or H265算法的SEI消息进行定制,将相机的同步信息保存到SEI消息中,从而实现图片与同步信息一起存储与传输,从而解决了图片错位或同步信息丢失的问题。
发明内容
本发明包括两大部分,图片与同步信息的编码部分和图片与同步信息的解码部分。
1)编码部分主要负责从相机中获取图片流并进行图片格式转换;获取同步信息(CameraID,FrameID,TimeStamp),并与通过相机标定获得的相机参数一起进行SEI预处理。然后将图片信息与SEI信息一起送到H264 or H265编码器进行视频编码生成视频流。最后将视频流通过网络传输或者保存到文件中。
2)解码部分主要负责将网络或文件中的视频流利用H264 or H265解码器分离出图片信息和SEI消息,再通过SEI解析,获得相机参数和同步信息。
***工作原理
1.多个相机的同步通过同步信号发生器来进行触发控制,相机收到一个触发信号进行一次拍照,并且FrameID加1,若FrameID达到了最大值,则FrameID会变为0;并且每个相机都有一个唯一的CameraID。通过CameraID,FrameID和TimeStamp可以将多个相机的图片进行对齐。
2.在真正开始图片采集前,需要通过相机标定方法来获得各个相机的参数,包括相机内参和外参。
3.***开始图片采集时,同步信号发生器会以一个固定的频率产生同步触发信号。
4.相机每接收到一个同步信号,就会进行一次拍摄,并对FrameID加1。
5.采集程序通过相机的SDK来获取到图片信息,CameraID,FrameID,TimeStamp等信息。
6.将CameraID用2个字节表示,如果是SDK提供相机的序列号,需要通过一张映射表将序列号转化为相机编号,2个字节最多可以表示65536个相机。将FrameID用8个字节表示,C语言中的long long类型。TimeStamp用8个字节表示,即C语言的long long类型。相机参数每个图片只传输4个字节,用2个字节表示数据在相机参数中的偏移值。通过多个连续的图片来传输完整的相机参数,每5分钟或10分钟传输一次完整的相机参数。以每秒60fps的视频流为例子,10分钟会产生的图片数量为10*60*60=36000,即做一个计数器,当传输图片的数量达到36000张时开始传输一次完整的相机参数,然后将计数器清零,重新开始计算。
7.由于相机的CameraID和相机参数在拍摄过程中一般是不发生变化的,所以每10分钟或5分钟传输一次即可。CameraID占用2个字节,相机参数占用6个字节,一共8个字节,这个8个字节不是每张图片都有的,是可选的。FrameID占用8个字节,TimeStamp占用8个字节,一共16个字节,是每张图片都有的。因此,SEI的内容长度可以是16个字节,也可以是24个字节(16+8)。
8.将这16或24个字节作为SEI的参数,并与从相机获取到的图片信息通过H264 orH265进行视频编码。
9.将编码后的视频流进行网络传输或保存到文件中。
10.将网络收到的视频流或从文件读取的视频信息通过H264 or H265进行视频解码,得到图片信息与SEI消息。SEI消息的长度可能是16或24字节,如果是16个字节,则只包含8个字节的FrameID和TimeStamp;如果是24个字节,则包括了8个字节的FrameID,8个字节的TimeStamp,2个字节的CameraID,2个字节的相机参数偏移地址,4个字节的相机参数。如果包含了相加参数,需要通过连续多个帧的积累,才能把所有相机参数搜集起来。
技术要求
1.采用的相机具有外触发拍照功能,且SDK提供图片信息、CameraID,FrameID,TimeStamp等信息。一般工业相机都具备有这些功能。
2.采用的H264 or H265编码器需要具有可以设置SEI的接口功能,一般的编码器都有这个功能。同理,H264 or H265的视频解码器需要能输出SEI的消息。
附图说明
附图1是基于SEI的多相机同步信息传输与存储方法视频编码功能图,描述了***的关键构成、主要原理和主要方法。
附图2是基于SEI的多相机同步信息传输与存储方法视频解码功能图,描述了如何获取SEI消息并对SEI进行解析。
技术方案优点
本发明一种基于SEI的多相机同步信息传输与存储方法,提供了多相机同步信息与图片信息一起传输与存储的技术方案,解决了多个相机图片的同步信息丢失或者错位的问题。对于计算机视觉的3D重建具有至关重要的作用,同时充分利用了现有的H264 orH265视频编解码功能,具有广泛的应用价值。
具体实施方式
1)采用工业相机来进行同步,以便获取CameraID,FrameID,TimeStamp等信息。
2)采用英伟达Nvidia提供的H264 or H265视频编解码软件,能充分利用GPU的计算能力来加速视频的编解码。
Claims (4)
1.一种基于SEI的多相机同步信息传输与存储方法,通过SEI消息将相机同步信息与图片信息一起进行H264 or H265进行编解码,以便于进行网络传输与文件保存,解决了相机同步信息与图片信息同步传输的问题。
2.根据权利要求1所述的数据采集方法,其特征在于,利用SEI来传输相机同步信息,包括CameraID,FrameID,TimeStamp,相机内参与外参等。
3.根据权利要求1所述的数据采集方法,其特征在于,SEI每次只传输部分相机参数,通过连续多个图片帧的SEI来传输完整的相机参数,降低了网络带宽的开销。
4.根据权利要求1所述的数据采集方法,其特征在于,SEI的消息长度是可变的,在每次的SEI传输中有些相机同步信息是可选的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210798076.8A CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210798076.8A CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115174884A true CN115174884A (zh) | 2022-10-11 |
Family
ID=83490638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210798076.8A Pending CN115174884A (zh) | 2022-07-08 | 2022-07-08 | 一种基于sei的多相机同步信息传输与存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115174884A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050204210A1 (en) * | 2004-02-05 | 2005-09-15 | Samsung Electronics Co., Ltd. | Decoding method, medium, and apparatus |
JP2007251542A (ja) * | 2006-03-15 | 2007-09-27 | Seiko Epson Corp | 表示制御装置、表示制御方法、情報再生装置及び電子機器 |
CN111630850A (zh) * | 2018-01-23 | 2020-09-04 | Lg电子株式会社 | 用于发送或接收包括相机镜头信息的360度视频的方法和设备 |
CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
CN112770122A (zh) * | 2020-12-31 | 2021-05-07 | 上海网达软件股份有限公司 | 一种在云导播台视频同步的方法及*** |
CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
-
2022
- 2022-07-08 CN CN202210798076.8A patent/CN115174884A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050204210A1 (en) * | 2004-02-05 | 2005-09-15 | Samsung Electronics Co., Ltd. | Decoding method, medium, and apparatus |
JP2007251542A (ja) * | 2006-03-15 | 2007-09-27 | Seiko Epson Corp | 表示制御装置、表示制御方法、情報再生装置及び電子機器 |
CN111630850A (zh) * | 2018-01-23 | 2020-09-04 | Lg电子株式会社 | 用于发送或接收包括相机镜头信息的360度视频的方法和设备 |
CN112004102A (zh) * | 2020-08-03 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种基于ip直播流的多机位画面同步方法 |
CN112770122A (zh) * | 2020-12-31 | 2021-05-07 | 上海网达软件股份有限公司 | 一种在云导播台视频同步的方法及*** |
CN113873345A (zh) * | 2021-09-27 | 2021-12-31 | 中国电子科技集团公司第二十八研究所 | 一种分布式的超高清视频同步处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2479937C2 (ru) | Устройство и способ обработки информации | |
KR100556826B1 (ko) | Mpeg-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법 | |
KR101560956B1 (ko) | 비트스트림 서브세트 표시 | |
US11044437B2 (en) | Method and system for combining multiple area-of-interest video codestreams into a combined video codestream | |
KR20090126176A (ko) | 정보 처리 장치 및 방법과, 프로그램 | |
US10334219B2 (en) | Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof | |
KR101345544B1 (ko) | 기본시점 복호 및 시점 임의 접근을 지원하기 위한 다시점비디오 부호화 시스템, 복호화 시스템 및 비트스트림 추출시스템 | |
CN112019877A (zh) | 基于vr设备的投屏方法、装置、设备及存储介质 | |
US20230224502A1 (en) | Providing semantic information with encoded image data | |
US20230319371A1 (en) | Distribution of Multiple Signals of Video Content Independently over a Network | |
CN109040818B (zh) | 直播时的音视频同步方法、存储介质、电子设备及*** | |
KR101171389B1 (ko) | Sdi를 이용한 압축 영상 전달 시스템 및 그 방법 | |
US9584755B2 (en) | Endoscope with high definition video recorder/player | |
KR20080065766A (ko) | 다시점 화상 및 3차원 오디오 송수신 장치 및 이를 이용한송수신 방법 | |
JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
CN112153401B (zh) | 视频处理方法、通信设备及可读存储介质 | |
CN115174884A (zh) | 一种基于sei的多相机同步信息传输与存储方法 | |
KR20210107678A (ko) | 송신 장치, 송신 방법, 부호화 장치, 부호화 방법, 수신 장치 및 수신 방법 | |
KR100898700B1 (ko) | 다중 시점의 영상을 이용한 초고해상도 방송 시스템 및방법 | |
JP2017220737A (ja) | タイムコード送信装置、タイムコード受信装置、映像信号送信装置及び映像信号受信装置 | |
US20150264360A1 (en) | Video transmission system, video encoding apparatus, and video decoding apparatus | |
US9479823B2 (en) | Transmitting device and receiving device | |
KR20010036262A (ko) | 다수의 부호기를 이용한 영상부호화장치 | |
CN112911346A (zh) | 视频源同步方法及装置 | |
KR20020065291A (ko) | 원격 감시를 위한 비디오 데이터 압축 및 전송 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20221011 |