CN102972024A - 动态图像发送装置以及动态图像发送方法 - Google Patents

动态图像发送装置以及动态图像发送方法 Download PDF

Info

Publication number
CN102972024A
CN102972024A CN2012800019100A CN201280001910A CN102972024A CN 102972024 A CN102972024 A CN 102972024A CN 2012800019100 A CN2012800019100 A CN 2012800019100A CN 201280001910 A CN201280001910 A CN 201280001910A CN 102972024 A CN102972024 A CN 102972024A
Authority
CN
China
Prior art keywords
dynamic image
coding
additional information
information
parameter information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800019100A
Other languages
English (en)
Inventor
角野真也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102972024A publication Critical patent/CN102972024A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

动态图像发送装置(10)具备:通过对动态图像信号进行压缩编码来生成编码参数信息和编码像素数据的动态图像编码部(31);通过对用于动态图像的显示控制的附加信息进行编码来生成编码附加信息的附加信息编码部(30);对编码参数信息和编码附加信息进行排列和输出的编码单元多路复用部(16);利用由编码单元多路复用部(16)输出的数据来生成编码流并输出的流发送部(32),该编码流数据包含具有编码参数信息和编码附加信息的一个数据包。

Description

动态图像发送装置以及动态图像发送方法
技术领域
本发明涉及一种以数据包单位来发送通过对动态图像信号进行压缩编码而获得的流的动态图像发送装置。
背景技术
近年来,随着利用ADSL(Asymmetric Digital Subscriber Line:非对称数字用户环路)或者光纤的高速网络环境的普及,在一般家庭也能够进行比特率超过数十Mbit/sec的数据通信。
在此,通过利用MPEG-1、MPEG-2、MPEG-4、MPEG-4AVC以及H.264等图像编码技术,不仅是在拥有专用电路的企业,可预测一般家庭也将进一步引入具有TV广播品质或者HDTV广播品质的TV电话***以及TV会议***。
在此,动态图像信号,可视之为由同一时刻的像素的集合即帧连续而成的信号。像素,其与帧内的近旁像素的关联较强,因此,在对动态图像信号进行压缩编码时,利用帧内的像素的关联来进行压缩。
另外,在连续的帧之间,像素的关联也强,因此也利用帧间的像素的关联来进行压缩。利用帧间的像素的关联和帧内的像素的关联进行的压缩编码,称之为画面间编码(通过该压缩编码,例如生成P帧)
另外,不利用帧间的像素的关联但利用帧内的像素的关联进行的压缩编码,称之为画面内编码(通过该压缩编码生成I帧)。
由于画面间编码利用帧间的关联,因此压缩率比画面内编码高。
在MPEG-1、MPEG-2、MPEG-4、MPEG-4AVC以及H.264(参照非专利文献1)中,以2维矩形区域的像素的集合即块(或宏块)的单位来切换画面内编码和画面间编码。
由一个以上的块集合而成的单位称之为切片,切片是为了对像素值进行正确的编码或者解码的最小可传输单位。由一个以上的同时刻的切片聚集而成的是帧。
通过H.264等被压缩的数据,按被称为数据包的单位,被发送到网络。通过H.264等被压缩的数据,在网络中一般被作为通过IP(Internet Protocol:互联网协议)网进行收发的数据包即IP数据包来发送。IP数据包,例如有适合高速传输的UDP(User DatagramProtocol:用户数据报协议)数据包和适合高信赖性传输的TCP(Transmission Control Protocol:传输控制协议)数据包。
并且,作为IP数据包,还有对UDP数据包赋予了时间信息的RTP(Real-time Transport Protocol)数据包。在快速传输大容量的动态图像信号的动态图像发送中,一般使用RTP数据包。
关于将通过H.264被压缩的数据存放在RTP数据包内进行传输的方法,RFC3984(非专利文献2)中有记载。
非专利文献1:ITU-T H.264,“Advanced video coding forgeneric audiovisual services”,March,2010
非专利文献2:RFC3984,“RTP Payload Format for H.264Video”,February,2005
近年来3D动态图像引人注目,数字广播也已开始3D动态图像广播。在用于此类广播的包含3D动态图像数据的流中,必须附加用于识别2D和3D的识别信息等的信息。因此也需要为了高效传输此类流的技术。
发明内容
本发明是针对所述课题的技术,其目的在于提供一种能够生成并发送数据量增加受抑制的、且容错性高的编码流的动态图像发送装置以及动态图像发送方法。
为了达成所述目的,本发明的一形态的动态图像发送装置具备:动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;流发送部,利用由所述编码单元多路复用部输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
在此,可通过***、方法、集成电路、计算机程序或者记录介质来实现以上结构的整体或者具体形态,还可以通过***、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
根据本发明,能够提供可生成并发送数据量增加被抑制的、且容错性高的编码流的动态图像发送装置以及动态图像发送方法。
附图说明
图1是表示本发明的实施方式1的动态图像数据的流结构的一个例子的图。
图2是表示本发明的实施方式1的RTP数据包结构的第1个例子的图。
图3是表示本发明的实施方式1的动态图像发送装置的功能结构的一个例子的方框图。
图4是表示本发明的实施方式1的动态图像发送装置的基本处理流程的流程图。
图5是本发明的实施方式1的动态图像编码处理的第1个流程图。
图6是本发明的实施方式1的动态图像编码处理的第2个流程图。
图7是本发明的实施方式1的RTP数据包生成处理的流程图。
图8是表示本发明的实施方式1的RTP数据包结构的第2个例子的图。
图9是表示本发明的实施方式1的RTP数据包结构的第3个例子的图。
图10A是表示由2个动态图像合成的动态图像的模式图。
图10B是表示剪取图10A所表示的2个动态图像中的一方进行显示的情况下的模式图。
图10C是表示剪取图10A所表示的2个动态图像中的另一方的情况下的模式图。
图11是表示本发明的实施方式1的位置信息SEI的一部分数据结构例的图。
图12是关于本发明的实施方式2的记录介质以及计算机***的说明图。
图13是用于说明现有的2D/3D识别方法和2D/3D识别信息的图。
图14是表示现有的2D动态图像数据的流结构的例子的图。
图15是表示现有的3D动态图像数据的流结构的例子的图。
图16是表示现有的RTP数据包结构的例子的图。
图17是表示现有的动态图像接收装置的功能结构的一个例子的方框图。
图18是表示现有的动态图像发送装置的功能结构的一个例子的方框图。
具体实施方式
(本发明所依据的基础知识)
本发明的发明者发现,在生成和发送包含3D动态图像数据的流的技术中,存在以下问题。
近几年来,如上所述,3D动态图像受到注目,数字广播也开始了3D动态图像的广播。但2D接收机已普及于数字广播,因此,进行3D动态图像的广播时,重要的是采用相对于现在接收2D广播的接收机而言变更少的3D方式。
由此,将动态图像信号的水平像素数、垂直像素数以及帧率存放在与2D同一帧内来实现3D广播。关于具体的实现方法,利用图13所表示的2D/3D识别信息和2D/3D识别信息有效范围来说明。
是图13(a)是现有的2D广播的图像。在2D图像的情况下,左眼用图像和右眼用图像为同一图像。
在数字广播中,使左眼用和右眼用的水平像素数成为2D时的一半,如图13(b),以左半部分作为左眼用图像,以右半部分作为右眼用图像来发送。这种发送方式被称为3D左右(Side-by-Side)方式。
在3D左右方式中,像图13(b)那样合成的图像的水平像素数以及垂直像素数,与图13(a)的现有的2D相同,因此,其优点在于可直接利用对应2D的广播设备。
在显示器上显示图13(b)的图像时,将左半部分水平扩大2倍,使之成为与13(a)的2D相同的像素数,作为左眼用图像来显示。另外,将该图像的右半部分水平扩大2倍,使之成为与图13(a)的2D相同的像素数,作为右眼用图像来显示。
另外,在此虽未使用,广播中还可以像图13(c)那样,以上半部分作为左眼用图像、下半部分作为右眼用图像。这种发送方式被称为3D上下(Top-and-Bottom)方式。
在显示器上,当显示图13(a)、图13(b)以及图13(c)的动态图像信号时,有必要识别出是采用哪种发送方式的动态图像信号,并要像以上说明的那样,适当地分离成左眼用图像和右眼用图像来进行显示。
在此,历来是,如图13(d)所表示,用于识别2D、3D左右方式以及3D上下方式的2D/3D识别信息,以0和1的代码字被多路复用在流上。由此所获得的流,从动态图像发送装置被传输到动态图像接收装置。
另外,可按帧单位被赋予该2D/3D识别信息,其只对该帧有效。可以按被称为GOP(Group Of Pictures:图像组)的I帧单位(即,从被赋予了2D/3D识别信息的帧,到下一个I帧之前一帧为止)赋予2D/3D识别信息,并在该GOP的范围内有效。
在此,为了表示2D/3D识别信息的有效范围,如图13(e)所表示,将2D/3D识别信息的有效范围,以0和1的代码字多路复用到流上,并将其与识别信息一同,从动态图像发送装置传输到2D/3D动态图像接收装置。
图14是表示现有的2D动态图像数据的流结构的例子的图。
如图14所表示,帧的像素按切片单位被编码,多个切片构成一个帧。并且,最初的帧包含有被称为SPS(Sequence Parameter Set:序列参数集)以及PPS(Picture Parameter Set:图像参数集)的,对多个帧进行编码/解码时被共同参照的信息。
SPS包含SPS_ID,PPS包含SPS_ID和PPS_ID。另外,为了确定在进行编码/解码时参照的PPS和SPS,各切片也包含PPS_ID。
对切片进行编码/解码时,参照具有与切片所包含的PPS_ID相同的PPS_ID的PPS。另外,还参照具有与PPS所包含的SPS_ID相同的SPS_ID的SPS。
通过以上,在对多个帧进行编码/解码时,能从多个SPS和PPS中确定出在对各切片进行编码/解码时需要参照的SPS和PPS。
例如,在图14中,帧0的各切片的PPS_ID为“0”,由此可知,在对该各切片进行编码/解码时,参照帧0的最初的PPS即PPS_ID=0的PPS。另外,帧1~3的各切片的PPS_ID为“1”,由此可知,在对该各切片进行编码/解码时,参照帧0的第2个PPS即PPS_ID=1的PPS。
图15是表示现有的3D动态图像数据的流结构的例子的图。
日本的数字广播中,将图15所表示的流结构作为3D动态图像数据的流结构使用。
图14所表示的现有的2D动态图像数据的流结构的例子、与图15所表示的现有的3D动态图像数据的流结构的例子的不同之处在于,现有的3D动态图像数据的流被赋予被称为SEI(SupplementalEnhancement Informasion:补充增强信息)的附加信息。
动态图像的编码/解码处理本身并不需要SEI,但对***而言,SEI是有意义的信息。图13(d)和(e)的2D/3D识别信息以及表示2D/3D识别信息的有效范围的信息相当于该SEI。
SEI例如有,表示可从被赋予了该SEI的帧进行解码再生的SEI,以及,表示从接收到流之后到解码开始为止,在接收缓冲器进行积蓄的推荐量的SEI等。
通过将SEI赋予各帧,即使在通过网络传输流时丢失了包含SEI的数据包,出错的也只是与该SEI对应的帧的2D/3D识别,从而能够防止多个帧的2D/3D识别连续出错。
图16是表示现有的RTP数据包结构的例子的图。
如图16所表示,以进行编码/解码的单位即切片,或者在对多个帧进行编码/解码时被共同参考的信息的单位即SPS以及PPS作为单位,构成作为一个网络传输单位的RTP数据包。
通过以上,如果在网络传输中丢失了一个RTP数据包,以编码/解码单位发生数据消失(丢失),因此该RTP数据包的丢失所造成的影响较小。
假设在一个RTP数据包包含多个切片、SPS或者PPS的情况下,若丢失一个RTP数据包,将无法对多个切片、SPS或者PPS进行解码,因此,解码之后的动态图像的画质劣化较大。
图17是表示现有的动态图像接收装置的功能结构的一个例子的方框图。
图17所表示的现有的动态图像接收装置200具备输入端子120、流接收部121、数据包分离部122、动态图像解码部123、附加信息解码部124、显示控制部125、动态图像显示部126以及动态图像输出端子127。另外,动态图像接收装置200通过动态图像输出端子127与动态图像显示装置128连接。
从输入端子120输入的编码流被流接收部121接收,被除去RTP标头之后的数据包被输入到数据包分离部122。数据包分离部122将动态图像解码所需要的数据包(SPS、PPS、切片)输入到动态图像解码部123,并将动态图像显示所需要的信息的数据包(SEI)输入到附加信息解码部124。
动态图像解码部123,对从数据包分离部122输入的、动态图像解码所需要的数据包进行解码,并将解码之后的动态图像输入到动态图像显示部126。并且,动态图像解码部123向显示控制部125通知帧解码已完成的这一情况。
附加信息解码部124对从数据包分离部122输入的、动态图像显示所需要的信息的数据包进行解码,并向显示控制部125通知2D/3D显示的方法。
显示控制部125,判断解码之后的帧是2D还是3D,并向动态图像显示部126通知显示方法是2D还是3D。
另外,通过使从数据包分离部122向附加信息解码部124输出的数据包与帧编号构成关联,或者通过对从数据包分离部122向附加信息解码部124输出的帧分隔信息的个数进行计数,从而使解码之后的帧和动态图像显示所需要的信息构成关联,
动态图像显示部126根据显示控制部125的指示,通过动态图像输出端子127输出被解码之后的动态图像,并使动态图像显示装置128进行显示。
如果动态图像显示装置128对应3D显示,动态图像显示部126,将由附加信息解码部124解码的、表示在帧内存放动态图像的形式(操作图13(a)~(c))的信息,作为针对动态图像显示装置128的控制信息,赋予由动态图像解码部123解码的动态图像的原样的帧。并且,动态图像显示部126将该动态图像输入到动态图像显示装置128。由此,动态图像显示装置128能够自动判断2D/3D,并进行适当的显示。
如果从输入端子120输入的编码流是3D动态图像,而动态图像显示装置128不对应3D,那么,动态图像显示部126从由动态图像解码部123进行解码的动态图像中只剪取如图13(b)或者(c)所表示的左眼用动态图像的部分,并将其扩大成1帧的大小,输入到动态图像显示装置128。由此,动态图像显示装置128能进行适当的显示。
在从输入端子120输入的编码流是2D的情况下,如果将由动态图像解码部123进行解码的动态图像按其原样的帧,输入到动态图像显示装置128,动态图像显示装置128能够正确显示2D的动态图像。
图18是表示现有的动态图像发送装置的功能结构的一个例子的方框图。
图18所表示的现有的动态图像发送装置100具备动态图像输入部112、动态图像编码部113、附加信息编码部115、编码单元多路复用部116以及流发送部117。
由动态图像摄像装置50拍摄的动态图像信号通过动态图像输入端子111被输入到动态图像输入部112。动态图像输入部112对动态图像信号进行消除其中包含的噪音等的图像处理,并输入到动态图像编码部113。动态图像编码部113对来自动态图像输入部112的输出数据进行压缩编码,并输出到编码单元多路复用部116。
表示2D/3D识别信息和表示3D时的帧内存放形式(参照图13(a)~(c))的信息,通过附加信息输入端子114被输入,该2D/3D识别信息表示从动态图像摄像装置50向动态图像输入端子111输出的动态图像信号是2D还是3D
在能够从动态图像摄像装置50自动取得被输入到附加信息输入端子114的2D/3D识别信息等的情况下,有时需要由用户作出明确指示。
被输入到附加信息输入端子114的2D/3D识别信息等,在附加信息编码部115被编码,然后被输入到编码单元多路复用部116。编码单元多路复用部116,将动态图像编码部113的输出数据、和附加信息编码部115的输出数据,重新排列成如图15所表示的数据顺序,并输入到流发送部117。流发送部117使编码单元多路复用部116的输出数据成为如图16所表示的RTP数据包,并生成和输出由该RTP数据包构成的编码流。
在此,在图15所表示的各帧都包含SEI的情况下,与各帧不包含SEI的情况相比,必须使比特率增加相当于这些SEI的数据量的程度。因此,在低比特率环境下无法忽视该SEI的数据量的增加,其结果,必须增加比特率。
另外,即使在可忽视SEI的数据量增加的高比特率环境下,如果包含SEI的数据包在网络中丢失,与该SEI对应的帧将以2D/3D识别错误的状态被进行解码以及显示。其结果,虽然只是1个帧,但会导致画质劣化。
为了解决这种问题,本发明的一形态的种动态图像发送装置具备:动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;流发送部,利用由所述编码单元多路复用部输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
根据该结构,生成包含用于该动态图像的显示控制的附加信息和、与该动态图像对应的参数信息的一个数据包,并发送包含该数据包的编码流。
因此,如果在传输该编码流时附加信息丢失,该参数信息也必会丢失。其结果,在接收该编码流并对其进行解码的动态图像接收装置中,由于无法对该动态图进行解码,因此能够确实检测出该附加信息的消失。
即,根据本形态的动态图像发送装置,能够使动态图像接收装置识别出,由于是显示控制信息而无需进行解码处理的附加信息的消失。因此,在动态图像接收装置侧,使用该附加信息进行适当的显示。
另外,由于能够使动态图像接收装置确实对附加信息的消失进行识别,因此,例如即使在不对多个图片分别附加附加信息的情况下,也能够早期消除因附加信息消失而造成的显示错误。
如上所述,根据本形态的动态图像发送装置,能够生成并发送数据量增加被抑制的、且容错性高的编码流。
另外,例如可以是,所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息。所述动态图像编码部,在所述动态图像信号是所述第一动态图像的情况下,生成被赋予了第一识别ID的所述编码参数信息以及所述编码像素数据,而在所述动态图像信号是所述第二动态图像的情况下,生成被赋予了与所述第一识别ID不同的第二识别ID的所述编码参数信息以及所述编码像素数据。
根据该结构,在该动态图像信号所表示的动态图像的显示形态被变更的情况下,被共同赋予编码参数信息以及编码像素数据的识别ID也被变更。
在此,动态图像的显示形态被变更的情况是指,该动态图像从2D切换成3D的情况、该动态图像的分辩率被变更的情况以及该动态图像从只由一个动态图像构成的通常的动态图像信号切换成包含被并列显示的多个动态图像的动态图像信号的情况。
即,用于确定对编码像素数据进行解码时使用的参数信息的识别ID,其在动态图像的显示形态变更之前和之后是不同的。因此,例如,与第2动态图像对应的参数信息在传输中丢失了的情况下,在动态图像接收装置中,当进行用于获得第2动态图像的解码处理时,不会错误地参照过去接收到的、与第1动态图像对应的参数信息。其结果,能够防止第2动态图像被显示成并非是其原来的显示形态的形态。
另外,例如可以是,所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息。所述附加信息编码部,在所述动态图像信号所表示的动态图像从所述第一动态图像以及所述第二动态图像的一方被变更成另一方的情况下,生成表示所述另一方的编码附加信息。所述动态图像编码部,在生成了表示所述另一方的编码附加信息的情况下,生成所述编码参数信息。
根据该结构,在生成编码附加信息或者对其内容进行更新的情况下,生成编码参数信息。其结果,生成包含被生成或更新的编码附加信息和、编码参数信息的一个数据包。
即,在该动态图像信号所表示的动态图像的显示形态有变更的情况下,与该变更相对应的附加信息将被确实传达到动态图像接收装置。
例如,可以是,所述流发送部,以每个由所述动态图像信号所表示的多个图片构成的序列,都包含具有与所述多个图片对应的编码参数信息和编码附加信息的一个数据包的方式,生成所述编码流。
根据该结构,按每个由多个图片构成的序列,赋予附加信息。因此,能够抑制该编码流整体数据量的增加。
另外,例如可以是,所述附加信息是表示所述动态图像信号所表示的动态图像的显示形态为3D的识别信息。
根据该结构,即使在传输中丢失了表示该编码流所包含的动态图像信号为3D的附加信息的情况下,动态图像接收装置也能够确实检测出该附加信息的消失。因此,能够防止该动态图像信号被误作为2D图像进行再生以及显示。
另外,例如可以是,所述动态图像信号所表示的动态图像的显示形态为3D,所述附加信息是用于确定所述动态图像信号的发送方式的识别信息。
根据该结构,即使在传输中丢失了表示该编码流所包含的3D动态图像信号的发送方式的附加信息,动态图像接收装置也能够确实检测出该附加信息的消失。因此,能够防止该动态图像信号被误显示成与其他发送方式对应的形态。
另外,例如可以是,所述动态图像信号是表示能够在一个帧区域内并列显示的两个以上的动态图像的信号,所述附加信息是表示所述两个以上的动态图像各自在所述帧区域内的位置的位置信息。
根据该结构,在接收了该编码流的动态图像接收装置中,能够根据附加信息所表示的信息,分别剪取该2个以上的动态图像。
另外,该附加信息在传输中丢失了的情况下,也能够确实检测出该附加信息的消失,因此,能够防止包含该2个以上的动态图像的动态图像信号以与只表示1个动态图像的通常的动态图像信号相同的方式被再生显示。
另外,例如可以是,所述动态图像编码部,在所述动态图像信号所表示的动态图像的水平像素数或者垂直像素数被变更的情况下,生成所述编码参数信息。
根据该结构,在该动态图像信号所表示的动态图像的分辩率被变更的情况下,能够将与应该以变更后的分辨率进行显示的动态图像对应的编码参数信息,与编码附加信息一同纳入1个数据包内发送。
另外,例如可以说,所述参数信息包含SPS(Sequence ParameterSet:序列参数集)以及PPS(Picture Parameter Set:图像参数集)的至少一方。
根据该结构,附加信息在编码流的传输中丢失了的情况下,对与该附加信息对应的编码像素数据进行解码时所需要的SPS以及PPS的至少一方必定会丢失。其结果,在接收该编码流并对其进行解码的动态图像接收装置中,可确实检测出附加信息的消失。
另外,可通过***、方法、集成电路、,计算机程序或者记录介质来实现这些整体或者具体形态,也可以通过***、方法、集成电路、计算机程序以及记录介质的任意组合来实现。
以下,就本发明的实施方式,利用附图进行说明。
以下将说明的实施方式均表示本发明的一个具体例子。以下的实施方式中的数值、形状、材料、,结构要素、结构要素的配置位置以及连接形态、步骤、步骤的顺序等也只表示1个例子,并不意味本发明限定于此。另外,关于以下的实施方式的结构要素中的、未被记载于表示最上位概念的独立要求项中的结构要素,作为任意的结构要素进行说明。
(实施方式1)
图1是表示本发明的实施方式1的动态图像数据的流结构的1个例子的图。
在图1所表示的流中,只有最初的帧被赋予SEI,在这一点上与图15所表示的流大为不同。即,在本实施方式的流中,按每个序列赋予SEI。
另外,SEI是用于动态图像信号所表示的动态图像的显示控制的附加信息的1个例子。
另外,本实施方式中的“帧”例如是渐进(Progressive)图像的帧,即1张图片。另外,本实施方式中的“帧”也可以是作为1张图片的、隔行(Interlace)图像的帧或域。
在图1中,表示了能以同一SEI显示帧0至帧3,并能以同一SEI显示帧4和帧5的流的结构。共用SEI的各个最初的帧被赋予SEI。
另外,在将通过网络传输的流记录在存储媒体中进行再生时,能进行开头检索,较为方便,因此,多数情况下作为该帧***I帧,以能够对2D/3D切换之后的帧进行解码再生。
因此,优选对I帧赋予SEI。另外,在图1中,对从帧0至帧3的帧、帧4以及帧5,赋予了不同的SPS_ID以及PPS_ID。即,赋予帧0至帧3的SPS_ID以及PPS_ID和、赋予帧4以及帧5的SPS_ID以及PPS_ID是不同的。
按照现有的方法通过网络发送的情况下,若SEI丢失,将造成多个帧的2D/3D识别错误问题。
在此,如图2所表示的本发明的实施方式1的RTP数据包结构的例子那样,在本实施方式中,不是以1个编码单元作为1个RTP数据包,而是以使SEI必与SPS以及PPS中的至少一方包含在同一RTP数据包中的方式,构成该RTP数据包。
另外,SPS以及PPS分别是,在对至少1个图片中包含的切片进行解码时被共用的参数信息的1个例子。
另外,在图2中,表示了包含2D/3D识别信息的SEI(2D/3D识别SEI)的一部分的数据结构例。具体而言,在H.264中,“nal_unit_type=‘6’”表示该信息是SEI,“frame_packing_arrangement_cancel_flag=‘0’”表示与该SEI对应的动态图像信号所表示的动态图像的显示形态为3D。
即,2D/3D识别SEI是表示,该动态图像信号所表示的动态图像是显示形态互不相同的2D动态图像(第1动态图像)以及3D动态图像(第2动态图像)中的哪一个的附加信息的1个例子。
另外,图2中虽未表示,但如上所述,表示该SEI的适用范围(只限于该帧等)的信息,也被包含在该SEI中。另外,用于确定该动态图像信号的发送方式(3D左右方式等)的识别信息也被包含在该SEI中
在此,在网络中以数据包为单位发生信息消失,在本发明中,如果SEI丢失,SPS以及PPS的至少一方必定会丢失。
因此,在动态图像发送装置和动态图像接收装置中,以数据包可能在网络中丢失为前提,一般会采用对数据包丢失耐性强的方法。具体是,一般使用例如以下的2等级的结构。
(1)由动态图像解码部预测丢失的数据包部分的像素值,并以预测生成的像素值作为丢失的数据包部分的像素值,继续进行动态图像解码。
(2)在动态图像解码部检测出了通过所述(1)的方法无法应对的重大错误的情况下,由动态图像接收装置对动态图像发送装置发出,作为不利用帧间预测的I帧,对下一个帧进行编码的指示。动态图像发送装置接到指示之后,作为I帧,对该下一个帧进行编码并发送。
动态图像接收装置暂停显示,直到接收I帧为止。由此,能够防止因未能解码的帧、被误解解码的帧或者被误解解码的帧显示等造成显示错误。
如上所述,作为针对网络中的数据包消失的对策,历来存在所述2等级的结构。
如果在现有的动态图像发送装置中发生了SEI丢失,虽然在动态图像接收装置侧不清楚丢失的是什么信息,但没有SEI也不会对动态图像解码部的解码处理造成任何问题。
即,SEI丢失了的情况下,作为像素值处理的所述(1)的结构不进行动作。另外,如果所接收到的流中没有作为用于显示控制的附加信息的2D/3D识别SEI,该流则与通常的2D动态图像信号的流相同,因此所述(2)的结构也不进行动作。
其结果,根据现有技术,动态图像接收装置无法检测出SEI丢失的情况,而会造成多个帧的2D/3D识别错误。
相对于此,在本实施方式中,对2D的帧和3D的帧,赋予不同的PPS_ID。
在动态图像接收装置中,由动态图像解码部对切片的数据进行解码时,参照根据该切片中包含的PPS_ID所确定的PPS。然而,在本实施方式中,通过同一数据包来传输SEI和PPS,因此,SEI丢失时PPS也必定会丢失。
即,由于SEI丢失时PPS也丢失,因此并不存在对与该SEI对应的切片进行解码所需要的PPS(根据该切片中包含的PPS_ID所确定的PPS)。
即,由于不存在对该切片进行解码时需要参照的PPS,因此完全无法进行解码。其结果,所述(2)的结构进行动作,动态图像发送装置发送该帧(I帧)。由此,该动态图像接收装置能够立刻对该帧正确地进行解码以及显示。
由此,作为2D和3D在中途被切换的动态图像信号的流结构,通过采用本实施方式的流结构,能够防止在2D和3D的识别有误的情况下对帧进行解码和显示。
图3是表示本发明的实施方式1的动态图像发送装置10的功能结构的1个例子的方框图。
动态图像发送装置10具备动态图像输入部12、动态图像编码部31、附加信息编码部30、编码单元多路复用部16以及流发送部32。
附加信息编码部30,在2D/3D识别信息等被更新时,对从附加信息输入端子14输入的2D/3D识别信息进行编码,并输入到编码单元多路复用部16。
另外,附加信息编码部30,在2D/3D识别信息等被更新时,向动态图像编码部31和流发送部32通知这一情况。
具体是,在本实施方式中,被输入到动态图像发送装置10的动态图像信号如果从2D切换成了3D,该情况将被通知给动态图像编码部31和流发送部向32。另外,包含该2D/3D识别信息的2D/3D识别SEI被编码。
在此,被输入到动态图像发送装置10的动态图像信号例如是,从动态图像摄像装置50通过动态图像输入端子11输入的动态图像信号。
动态图像编码部31对来自动态图像输入部12的输出数据进行压缩编码,并输出到编码单元多路复用部16。另外,动态图像编码部31在进行压缩编码时,若从附加信息编码部30接到了所述通知,就变更SPS和PPS的ID,并生成将SPS和PPS赋予编码后的各帧的数据。
编码单元多路复用部16,将来自动态图像编码部31的输出数据和、来自附加信息编码部30的输出数据重新排列成如图1所表示的顺序,并输入到流发送部32。
即,编码单元多路复用部16,将由动态图像编码部31以及附加信息编码部30生成的数据按每个编码单元排列成规定的顺序并输出。具体是,此时,编码参数信息(在本实施方式中,被编码是SPS以及PPS)和编码附加信息(在本实施方式中,被编码的SEI)被并列输出。
流发送部32利用由编码单元多路复用部16输出的数据,生成并发送由1个以上的数据包构成的编码流。具体是,发送包含具有编码参数信息和编码附加信息的1个数据包的编码流。
即,在本实施方式中,流发送部32,在从附加信息编码部30接收了所述通知的情况下,生成包含SEI和SPS以及PPS的、如图2所表示的RTP数据包。流发送部32生成包含该RTP数据包的编码流并输出。
另外,在编码对象的SEI包含例如2D/3D识别SEI等重要的SEI的情况下,可以控制流发送部32,以使SPS以及PPS中的至少一方必定与SEI被包含在同一RTP数据包中。在此情况下,可以省略由附加信息编码部30向流发送部32发出的所述通知。
另外,作为SEI例如有,像2D/3D识别SEI那样的重要SEI、表示可从被赋予了该SEI的帧进行解码再生的SEI、以及像表示在接收流之后到解码开始之间在接收缓冲中进行积蓄的推荐量的SEI等的并非重要SEI。
在本实施方式的附加信息编码部30中,只在该重要SEI的情况下向动态图像编码部31和流发送部向32通知该情况,从而能够对重要SEI和不重要的SEI进行区别处理。
另外,动态图像发送装置10也可以不具备动态图像输入端子11以及动态图像输入部12。在此情况下,动态图像编码部31例如可以从动态图像发送装置10所具备的记录介质(未图示)读出处理对象的动态图像信号。
另外,动态图像发送装置10也可以不具备附加信息输入端子14。在此情况下,附加信息编码部30例如可以通过参照动态图像发送装置10所保持的、表示2D/3D切换的定时的信息,将动态图像信号从2D以及3D的一方切换成另一方。
其次,利用图4来说明本实施方式的动态图像发送装置10的基本处理的流程。
图4是表示本发明的实施方式1的动态图像发送装置10的基本处理流程的流程图。
在此,图4所表示的各处理的顺序是1个例子,各处理的顺序也可以是与图4所表示的顺序不同的顺序。
动态图像编码部31,通过对动态图像信号进行压缩编码,来生成作为被编码的参数信息的编码参数信息、和编码像素数据(S1),所述参数信息是对被编码的至少1个图片所包含的切片进行解码时被共用的参数信息,该编码像素数据是该图片的编码像素数据。在本实施方式中,作为编码参数信息,生成被编码的SPS以及PPS。
附加信息编码部30通过对用于该动态图像信号所表示的动态图像的显示控制的附加信息进行编码,来生成编码附加信息(S2)。在本实施方式中,作为编码附加信息,生成被编码的SEI。
编码单元多路复用部16将由动态图像编码部31以及附加信息编码部30生成的数据,按每个编码单元排列成规定的顺序并输出。另外,作为特征性的处理,编码单元多路复用部16将编码附加信息排列在编码参数信息和编码像素数据之间输出(S3)。
流发送部32利用从编码单元多路复用部16接收的数据,生成并发送包含具有编码参数信息和编码附加信息的1个数据包的编码流。关于编码像素数据,只由编码像素数据构成数据包并发送(S4)。
本实施方式的动态图像发送装置10通过所述一系列的处理,能够发送包含具有SPS以及PPS和SEI的RTP数据包(参照图2)的编码流。
以下,进一步详细地说明动态图像发送装置10的处理。
图5是本发明的实施方式1的动态图像编码处理的第1个流程图,具体在于说明动态图像编码部31以及附加信息编码部30的动作。
关于由动态图像编码部31编码的帧,设想该帧从2D以及3D的一方被切换成另一方(S10为“是”)。
例如,在连续的多个帧中,由于该帧从2D被切换成了3D,而动态图像编码部31从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下(S10为“是”),动态图像编码部31变更SPS和PPS的id(S21)。
另外,变更前的SPS和PPS的id是第1识别ID的1个例子,变更后的SPS和PPS的id是第2识别ID的1个例子。
动态图像编码部31还将SPS和PPS,与变更后的id一同进行编码(S22)。
其次,附加信息编码部30,在该帧是3D的情况下(S23为“是”),即,在S10中判断出是从2D切换成了3D的情况下,对2D/3D识别SEI进行编码(S24)。另外,在该帧是2D的情况下(S23为“否”)即,在S10中判断出是从3D切换成了2D的情况下,跳过S24的处理。
其次,动态图像编码部31,作为I帧,以切片单位对该帧的所有像素值进行编码(S26)。
另外,关于该帧,在没有2D-3D切换的情况下,例如,动态图像编码部31未从附加信息编码部30接到还要对该帧赋予2D/3D识别SEI的通知的情况下(S10为“否”),作为P帧,以切片单位对该帧的所有的像素值进行编码(S25)。
图6是本发明的实施方式1的动态图像编码处理的第2个流程图。
图6是具体表示在动态图像摄像装置50中,与切换成了不同的分辩率的动态图像信号(例如,从全HD1920×1080切换成HD1280×720)对应的编码处理的流程的1个例子。
如图6所表示,动态图像发送装置10,在处理对象的动态图像信号的分辩率发生变化的情况下,即,该动态图像信号所表示的动态图像的水平像素数或者垂直像素数发生变化的情况下,也能变更SPS和PPS的id。由此,例如产生如下效果。
例如,设想在中途从第1分辩率切换成第2分辩率的动态图像信号的编码流中,与第2分辩率的切片对应的SPS或者PPS在网络传输中丢失了。
即,在此情况下,在接收该流的动态图像接收装置中,未能接收与对该切片进行解码时需要参照的PPS_id对应的SPS或者PPS。因此,能够防止该切片被错误地进行解码。
换言之,可防止过去被接收的、与第1分辩率的切片对应的SPS或者PPS被错误地参照,其结果,可防止第2分辩率的切片被错误地进行解码。因此,在该动态图像接收装置中能够立即检测出重要的数据在网络传输中丢失的情况。
因此,该动态图像接收装置检测出重要的数据丢失之后,能够向动态图像发送装置10发出通知。作为针对该通知的应答,动态图像发送装置10将符合条件的帧作为I帧来发送。由此,该动态图像接收装置能够立即对该帧进行正确的解码以及显示。
动态图像发送装置10具体进行如下动作。
关于由动态图像编码部31进行编码的帧,设想有2D-3D切换或者分辩率(图像尺寸)变更(S20为“是”)。
例如,在动态图像编码部31从附加信息编码部30接到了对该帧赋予2D/3D识别信息的通知的情况下,或者接到了图像尺寸被变更的通知的情况下(S20为“是”),动态图像编码部31变更SPS和PPS的id(S21)。
动态图像编码部31还将SPS和PPS,与变更的id一同进行编码(S22)。
然后,附加信息编码部30,在该帧是3D的情况下(S23为“是”),即,在S10判断出是从2D切换成了3D的情况下,对2D/3D识别SEI进行编码(S24)。
另外,在该帧是2D的情况下(S23为“否”),即,在S20判断出从3D切换成了2D的情况下,跳过S24的处理。
其次,动态图像编码部31,作为I帧,以切片单位对该帧的所有的像素值进行编码(S26)。
另外,关于该帧,在未发生2D-3D切换的情况下,例如,在动态图像编码部31未从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下(S23为“否”),作为I帧,以切片单位对帧的所有的像素值进行编码(S26)。
另外,关于该帧,在未发生2D-3D切换的情况下,例如,在动态图像编码部31未从附加信息编码部30接到对该帧赋予2D/3D识别SEI的通知的情况下,且,也未接到图像尺寸被变更的通知的情况下(以S20为“否”),作为P帧,以切片单位对该帧的所有的像素值介质编码(S25)。
另外,在图5以及图6各自的处理流程中,例如,也可以不对该帧是否为3D进行确认(S23)。即,在该帧是2D的情况下,可以对明示该帧是2D的2D/3D识别SEI进行编码。
图7是本发明的实施方式1的RTP数据包生成处理的流程图,具体是说明流发送部32的动作的图。
流发送部32,从编码单元多路复用部16接收到按每个编码单元被排列成规定的顺序的数据之后,判断应该进行数据包化的数据是否是SPS或者PPS(S30)。判断的结果,如果该数据是SPS或者PPS(S30为“是”),进一步判断,作为应该进行数据包化的数据,是否有是SEI且表示2D/3D识别信息的数据,即,2D/3D识别SEI(S31)。
如果有2D/3D识别SEI(S31为“是”),流发送部32以使SPS以及PPS的至少一方与2D/3D识别SEI被包含在同一数据包内的方式,生成该数据包(S33)。
在本实施方式中,如图2所表示,生成包含SPS以及PPS和2D/3D识别SEI的RTP数据包。
另外,如果没有2D/3D识别SEI(S31为“否”),生成包含SPS或者PPS而不包含2D/3D识别SEI的数据包(S32)。
另外,SPS和PPS,可以被包含在同一数据包内,也可以分别被包含在不同的数据包内。
在处理对象的数据既不是SPS也不是PPS的情况下(S30为“否”),以及在S32或者S33的处理之后,流发送部32对切片的数据进行数据包化。
在此,优选为1个切片被作为1个数据包被进行数据包化。此外,在切片的数据的大小相对较小的情况下,也可以将多个切片作为1个数据包进行数据包。
另外,在切片的数据的大小相对较大的情况下,可以对1个切片的数据进行分割,生成包含分割后的各数据的多个数据包。
图8是表示本发明的实施方式1的RTP数据包结构的第2个例子的图,具体表示了1个RTP数据包包含1个切片的例子。另外,在图8中,SPS和PPS被包含在不同的RTP数据包中。
图9是表示本发明的实施方式1的RTP数据包结构的第3个例子的图,表示了1个RTP数据包包含多个切片的例子。
另外,在图9中,1个RTP数据包中包含2个切片。此外,1个RTP数据包中也可以包含3以上的切片。
另外,作为图像的附加信息被包含在SEI中的信息并不限于2D/3D识别信息,在动态图像是由多个动态图像合成的情况下,也可以是各动态图像的位置信息。
图10A是表示由2个动态图像合成的动态图像的模式图。即,是对能够在1个帧区域内并列显示的2个以上的动态图像所表示的动态图像信号进行解码并再生的结果的显示例。
另外,图10B是表示剪取了图10A所表示的2个动态图像中的一方进行显示的情况下的模式图,图10C是表示剪取了图10A所表示的2个动态图像中的另一方进行显示的情况下的模式图。
如图10A所表示,设想从动态图像发送装置10发送了由动画1和动画2合成的动态图像。在此情况下,如果在动态图像接收装置中能够知道动画1和动画2被埋入在帧区域的哪个位置,当动态图像接收装置的用户只想视听动画1时,就能够只剪取动画1来进行扩大显示。
在此,动态图像发送装置10将动画1以及动画2各自的位置信息包含在SEI中进行编码。
由此,在动态图像接收装置中,在对接收到的编码流进行解码和再生时,通过参照表示所述位置信息的SEI(以下,称之为“位置信息”),能够分别剪取动画1以及动画2进行再生。
具体是,作为图10A的动画1以及动画2的位置信息,例如有如下的信息被包含在SEI中。
附加信息编码部30,作为动画1的位置信息,将图10B所表示的H、V、H0以及V0包含在位置信息SEI中。另外,附加信息编码部30,作为动画2的位置信息,将图10C所表示的h、v、h0以及v0包含在位置信息SEI中。附加信息编码部30对包含这些动画1的位置信息和动画2的位置信息的位置信息SEI进行编码。
即,位置信息SEI表示动画1以及动画2各自的宽度、高度和左上方的坐标的信息。
图11是表示本发明的实施方式1的位置信息SEI的一部分的数据结构例的图。
在图11所表示的位置信息SEI中,根据“nal_unit_type=‘6’”,表示该信息是SEI,接下来记录有表示动画1(M1)以及动画2(M2)各自的宽度、高度和左上方的坐标的信息。
即,位置信息SEI是表示,与该位置信息SEI对应的动态图像不是表示1个动画的通常的动态图像(第1动态图像),而是表示如图10A所表示的2个动画的动态图像(第2动态图像)的附加信息的1个例子。
流发送部32将包含这种信息的位置信息SEI视为与所述的2D/3D识别SEI同样的重要SEI,将其包含在与SPS或者PPS同一数据包中。流发送部32还将包含该数据包的编码流发送到网络。
在此情况下,如果位置信息SEI在网络中丢失,PPS或者SPS的至少一方也丢失,因此动态图像接收装置能够检测出位置信息SEI丢失的情况。即,将位置信息SEI的消失检测为错误。
由此,动态图像接收装置能够请求动态图像发送装置10再次发送与该位置信息SEI对应的帧。
其结果,动态图像接收装置能够接收由动态图像发送装置10发送的、赋予了该位置信息SEI的I帧,并通过参照该位置信息SEI,例如能够分别剪取动画1以及动画2进行再生。
在此,以有必要赋予位置信息SEI的情况为例进行说明。例如,设想动态图像发送装置10的处理对象的动态图像信号从表示1个动画的通常的动态图像信号切换成了如图10A所表示的表示2个动画的动态图像信号。
在此情况下,与2D-3D切换时同样,可以对SPS和PPS的id进行变更(参照图5的S21)。
另外,在该2个动画的位置或者大小发生了变更等的情况下,与位置信息SEI被更新的情况同样,也可对SPS和PPS的id进行变更。
如上所述,通过变更SPS和PPS的id,例如可获得如下效果。
例如,设想动态图像接收装置的解码对象从只包含1个动态图像的通常的动态图像信号切换成了如图10A所表示的包含2个动态图像的动态图像信号。另外,设想对后者的动态图像信号进行解码时需要参照的SPS以及PPS在网络传输中丢失了。
在此情况下,根据所述动态图像信号的种类的切换,SPS和PPS的id被变更。因此,具有后者的动态图像信号所包含的切片所被赋予的PPS_ID的PPS,不会存在于动态图像接收装置中。
即,不会发生误对过去接收到的SPS或者PPS进行参照,并对该切片进行解码的问题。因此,在该动态图像接收装置中能够立即检测出重要的数据在网络传输中丢失的情况。
如上所述,本实施方式的动态图像发送装置10,生成包含具有编码参数信息(被编码的PPS等)和编码附加信息(被编码的2D/3D识别SEI等)的1个数据包的编码流。
由此,能够发送数据量增加被抑制的、且容错性高的编码流。
(实施方式2)
以下,关于实施方式2进行说明。
在此,将用于实现所述实施方式1所表示的动态图像发送方法的程序,记录在软盘等记录介质中。由此,在独立的计算机***中可简单地实施所述实施方式1所述的处理。
图12是通过计算机***,利用被记录在软盘等记录介质中的程序来实施实施方式1的动态图像发送方法时的说明图。
图12(b)表示了从软盘的正面进行观察时的外观、断面结构以及软盘,图12(a)表示了作为记录介质本体的软盘的物理格式的例子。
软盘FD被内置在壳体F内,在该软盘的表面形成有从外周朝向内周的多个同心圆形的磁道Tr,各磁道在角方向上被分割成16个扇区Se。因此,在存放有所述程序的软盘中,在所述软盘FD上的分配区域内记录有所述程序。
另外,图12(c)表示了用于在软盘FD上进行所述程序的记录再生的结构。在软盘FD中记录用于实现动态图像发送方法的所述程序时,通过软盘驱动器将所述程序写入计算机***Cs。
另外,在计算机***Cs内构筑由软盘内的程序实施的动态图像发送方法时,由软盘驱动器从软盘读出程序,并转送到计算机***。
另外,在以上的说明中,利用作为记录介质的软盘进行了说明,此外,利用光盘也同样能进行。另外,记录介质并不限于这些,通过IC卡、ROM盒等,能够记录程序的介质也同样能实施。
另外,通过作为典型的集成电路的LSI来实现实施方式1的动态图像发送装置10的各功能块(参照图3)。可对这些分别进行单片化,也可以将其一部分或者全部包含在单片。例如,存储器以外的功能块可以被单片化。
在此例举了***LSI,此外,根据集成程度的不同还可以称为IC、LSI、超级LSI、最超级LSI。
另外,集成电路化的方法并不限定于LSI,还可以通过专用电路或者通用处理器来实现。还可以利用能够在制造LSI之后进行编程的FPGA(Field Programmable Gate Array:现场可编程门阵列),或者能够对LSI内部的电路单元的连接和设定进行重建的可重建处理器。
另外,随着半导体技术的进步以及衍生出其他技术,如果有可代替LSI的集成电路化技术出现,当然能够利用这些技术进行功能块的集成化。生物技术的应用的具有这种可能性。另外,可以将各功能块中的用于存放成为动态图像发送方法的对象的数据的构成部分作为个别结构,而无需对所有的结构都进行单片化。
即,可通过由专用的硬件构成,或者执行适于各结构要素的软件程序来实现本发明。可通过由CPU或者处理器等的程序执行部读出并执行被记录在硬盘或者半导体存储器等记录介质中的软件程序来实现各结构要素。在此,用于实现所述实施方式1的动态图像发送装置10等的软件是如下程序。
即,该程序使计算机执行动态图像发送方法。
该动态图像发送方法包括:动态图像编码步骤,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,该参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,该编码像素数据是该图片的编码像素数据;附加信息编码步骤,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;编码单元多路复用步骤,将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;流发送步骤,利用通过所述编码单元多路复用步骤输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
以上,关于本发明的一形态的动态图像发送装置以及动态图像发送方法,根据实施方式进行了说明,但本发明并不限定于该实施方式。只要不脱离本发明的主旨,本领域技术人员通过将其想出的各种变形形态实施于实施方式及其变形例而成的形态,或者对不同的实施方式及其变形例的结构要素进行组合而成的形态也属于本发明的一形态的范围内。
例如,图2以及图11分别表示了SEI的数据结构例,但SEI的数据结构能够确定所需信息即可,例如与该SEI对应的动态图像信号是2D还是3D等。
另外,实施方式1的动态图像发送装置10生成包含SEI和PPS以及SPS中的至少一个的1个RTP数据包。但由动态图像发送装置10生成的数据包并不限定于特定的类型。即,即使是RTP数据包以外的数据包,如果是按照无连接的协议以数据包单位发送编码流的话,能够通过动态图像发送装置10生成数据量增加被抑制的、且容错性高的编码流。
本发明,在利用网络传输动态图像信号时,通过将2D/3D识别信息等显示控制中的重要信息包含在与SPS以及PPS同一数据包内来发送,能够简单地实现对网络中的发送数据包丢失的对应性强的动态图像发送装置。因此,本发明能够应用于尤其是利用网络来进行动态图像双向通信或动态图像分发的设备以及监控摄像头等,对动态图像进行编码的通信机器以及成套设备。
符号说明
10、100    动态图像发送装置
11、111    动态图像输入端子
12、112    动态图像输入部
14、114    附加信息输入端子
16、116    编码单元多路复用部
30、115    附加信息编码部
31、113    动态图像编码部
32、117    流发送部
50     动态图像摄像装置
120    输入端子
121    流接收部
122    数据包分离部
123    动态图像解码部
124    附加信息解码部
125    显示控制部
126    动态图像显示部
127    动态图像输出端子
128    动态图像显示装置
200    动态图像接收装置
权利要求书(按照条约第19条的修改)
1.(修改后)一种动态图像发送装置,具备:
动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送部,利用由所述编码单元多路复用部输出的数据,以包含所述编码参数信息的数据包必定包含所述编码附加信息的方式,生成包含所述数据包的编码流,并发送该编码流。
2.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息,
所述动态图像编码部,
在所述动态图像信号是所述第一动态图像的情况下,生成被赋予了第一识别ID的所述编码参数信息以及所述编码像素数据,
在所述动态图像信号是所述第二动态图像的情况下,生成被赋予了与所述第一识别ID不同的第二识别ID的所述编码参数信息以及所述编码像素数据。
3.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息,
所述附加信息编码部,在所述动态图像信号所表示的动态图像从所述第一动态图像以及所述第二动态图像的一方被变更成另一方的情况下,生成表示所述另一方的编码附加信息,
所述动态图像编码部,在生成了表示所述另一方的编码附加信息的情况下,生成所述编码参数信息。
4.如权利要求1所述的动态图像发送装置,
所述流发送部,以每个由所述动态图像信号所表示的多个图片构成的序列,都包含具有与所述多个图片对应的编码参数信息和编码附加信息的一个数据包的方式,生成所述编码流。
5.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像的显示形态为3D的识别信息。
6.如权利要求1所述的动态图像发送装置,
所述动态图像信号所表示的动态图像的显示形态为3D,
所述附加信息是用于确定所述动态图像信号的发送方式的识别信息。
7.如权利要求1所述的动态图像发送装置,
所述动态图像信号是表示能够在一个帧区域内并列显示的两个以上的动态图像的信号,
所述附加信息是表示所述两个以上的动态图像各自在所述帧区域内的位置的位置信息。
8.如权利要求1所述的动态图像发送装置,
所述动态图像编码部,在所述动态图像信号所表示的动态图像的水平像素数或者垂直像素数被变更的情况下,生成所述编码参数信息。
9.如权利要求1至8中的任一项所述的动态图像发送装置,
所述参数信息包含序列参数集以及图像参数集的至少一方。
10.(修改后)一种动态图像发送方法,包括:
动态图像编码步骤,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码步骤,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用步骤,将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送步骤,利用通过所述编码单元多路复用步骤输出的数据,以包含所述编码参数信息的数据包必定包含所述编码附加信息的方式,生成包含所述数据包的编码流,并发送该编码流。
11.(修改后)一种记录介质,是记录有用于对动态图像信号进行编码来生成编码流并发送该编码流的、非临时性的、计算机可读取的记录介质,
所述程序是用于使计算机执行如下步骤的程序:
动态图像编码步骤,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码步骤,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用步骤,将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送步骤,利用通过所述编码单元多路复用步骤输出的数据,以包含所述编码参数信息的数据包必定包含所述编码附加信息的方式,生成包含所述数据包的编码流,并发送该编码流。
12.(修改后)一种集成电路,具备:
动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送部,利用由所述编码单元多路复用部输出的数据,以包含所述编码参数信息的数据包必定包含所述编码附加信息的方式,生成包含所述数据包的编码流,并发送该编码流。

Claims (12)

1.一种动态图像发送装置,具备:
动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送部,利用由所述编码单元多路复用部输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
2.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息,
所述动态图像编码部,
在所述动态图像信号是所述第一动态图像的情况下,生成被赋予了第一识别ID的所述编码参数信息以及所述编码像素数据,
在所述动态图像信号是所述第二动态图像的情况下,生成被赋予了与所述第一识别ID不同的第二识别ID的所述编码参数信息以及所述编码像素数据。
3.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像是显示形态互不相同的第一动态图像以及第二动态图像的哪一方的信息,
所述附加信息编码部,在所述动态图像信号所表示的动态图像从所述第一动态图像以及所述第二动态图像的一方被变更成另一方的情况下,生成表示所述另一方的编码附加信息,
所述动态图像编码部,在生成了表示所述另一方的编码附加信息的情况下,生成所述编码参数信息。
4.如权利要求1所述的动态图像发送装置,
所述流发送部,以每个由所述动态图像信号所表示的多个图片构成的序列,都包含具有与所述多个图片对应的编码参数信息和编码附加信息的一个数据包的方式,生成所述编码流。
5.如权利要求1所述的动态图像发送装置,
所述附加信息是表示所述动态图像信号所表示的动态图像的显示形态为3D的识别信息。
6.如权利要求1所述的动态图像发送装置,
所述动态图像信号所表示的动态图像的显示形态为3D,
所述附加信息是用于确定所述动态图像信号的发送方式的识别信息。
7.如权利要求1所述的动态图像发送装置,
所述动态图像信号是表示能够在一个帧区域内并列显示的两个以上的动态图像的信号,
所述附加信息是表示所述两个以上的动态图像各自在所述帧区域内的位置的位置信息。
8.如权利要求1所述的动态图像发送装置,
所述动态图像编码部,在所述动态图像信号所表示的动态图像的水平像素数或者垂直像素数被变更的情况下,生成所述编码参数信息。
9.如权利要求1至8中的任一项所述的动态图像发送装置,
所述参数信息包含序列参数集以及图像参数集的至少一方。
10.一种动态图像发送方法,包括:
动态图像编码步骤,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码步骤,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用步骤,将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送步骤,利用通过所述编码单元多路复用步骤输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
11.一种记录介质,是记录有用于对动态图像信号进行编码来生成编码流并发送该编码流的、非临时性的、计算机可读取的记录介质,
所述程序是用于使计算机执行如下步骤的程序:
动态图像编码步骤,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码步骤,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用步骤,将通过所述动态图像编码步骤以及所述附加信息编码步骤生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送步骤,利用通过所述编码单元多路复用步骤输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
12.一种集成电路,具备:
动态图像编码部,通过对动态图像信号进行压缩编码,生成作为被编码的参数信息的编码参数信息、和编码像素数据,所述参数信息是对至少一个图片中包含的切片进行解码时被共用的参数信息,所述编码像素数据是所述图片的编码像素数据;
附加信息编码部,通过对用于所述动态图像信号所表示的动态图像的显示控制的附加信息进行编码,生成编码附加信息;
编码单元多路复用部,将由所述动态图像编码部以及所述附加信息编码部生成的数据,按每个编码单元排列成规定的顺序来输出,并排列输出所述编码参数信息和所述编码附加信息;以及
流发送部,利用由所述编码单元多路复用部输出的数据,生成包含具有所述编码参数信息和所述编码附加信息的一个数据包的编码流,并发送该编码流。
CN2012800019100A 2011-05-11 2012-03-28 动态图像发送装置以及动态图像发送方法 Pending CN102972024A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011106446 2011-05-11
JP2011-106446 2011-05-11
PCT/JP2012/002145 WO2012153450A1 (ja) 2011-05-11 2012-03-28 動画像送信装置および動画像送信方法

Publications (1)

Publication Number Publication Date
CN102972024A true CN102972024A (zh) 2013-03-13

Family

ID=47138944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800019100A Pending CN102972024A (zh) 2011-05-11 2012-03-28 动态图像发送装置以及动态图像发送方法

Country Status (4)

Country Link
US (1) US20130100248A1 (zh)
JP (1) JPWO2012153450A1 (zh)
CN (1) CN102972024A (zh)
WO (1) WO2012153450A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474638A (zh) * 2014-05-27 2016-04-06 联发科技股份有限公司 提供投射显示***待显示的图像或视频的***以及通过投射显示***显示或投射图像或视频的***
CN105612756A (zh) * 2013-08-08 2016-05-25 国立大学法人电气通信大学 数据处理装置、数据处理方法、程序、记录介质以及数据处理***
CN107005730A (zh) * 2014-12-09 2017-08-01 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN109982067A (zh) * 2017-12-28 2019-07-05 浙江宇视科技有限公司 视频处理方法及装置
CN112954353A (zh) * 2015-09-14 2021-06-11 松下知识产权经营株式会社 解码装置和解码方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9554146B2 (en) 2012-09-21 2017-01-24 Qualcomm Incorporated Indication and activation of parameter sets for video coding
GB2512658B (en) * 2013-04-05 2020-04-01 British Broadcasting Corp Transmitting and receiving a composite image
WO2015040824A1 (ja) 2013-09-20 2015-03-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6268066B2 (ja) * 2013-09-20 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
WO2015093011A1 (ja) 2013-12-16 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
US10701400B2 (en) * 2017-03-21 2020-06-30 Qualcomm Incorporated Signalling of summarizing video supplemental information
US11234044B2 (en) * 2018-12-28 2022-01-25 Sony Group Corporation Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US11758108B2 (en) * 2021-06-18 2023-09-12 Qingdao Pico Technology Co., Ltd. Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency
CN115866254A (zh) * 2022-11-24 2023-03-28 亮风台(上海)信息科技有限公司 一种传输视频帧及摄像参数信息的方法与设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095177A1 (en) * 2001-11-21 2003-05-22 Kug-Jin Yun 3D stereoscopic/multiview video processing system and its method
US20050190774A1 (en) * 2004-02-27 2005-09-01 Thomas Wiegand Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
CN1758755A (zh) * 2004-02-03 2006-04-12 索尼株式会社 收发机***、发送机和接收机以及信息处理方法
WO2010044146A1 (ja) * 2008-10-15 2010-04-22 三菱電機株式会社 暗号装置及び復号装置及び暗号方法及び復号方法
JP2010136220A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 通信端末装置、通信量制御方法および集積回路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7542050B2 (en) * 2004-03-03 2009-06-02 Virtual Iris Studios, Inc. System for delivering and enabling interactivity with images
JP4081772B2 (ja) * 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
ES2941888T3 (es) * 2007-04-12 2023-05-26 Dolby Int Ab Organización en mosaico en codificación y decodificación de vídeo
KR20100085070A (ko) * 2007-09-24 2010-07-28 노키아 코포레이션 패킷화 방법 및 장치, 컴퓨터 판독 가능한 기록 매체, 패킷화 해제 방법 및 장치
US8396906B2 (en) * 2007-10-10 2013-03-12 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
JP5219122B2 (ja) * 2007-11-06 2013-06-26 パナソニック株式会社 電子機器
US20100026783A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to encode and decode stereoscopic video data
JP5614901B2 (ja) * 2009-05-01 2014-10-29 トムソン ライセンシングThomson Licensing 3dvの参照ピクチャ・リスト
JP5123340B2 (ja) * 2010-02-23 2013-01-23 日本電信電話株式会社 映像データ送信装置,映像データ送信方法および映像データ送信プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095177A1 (en) * 2001-11-21 2003-05-22 Kug-Jin Yun 3D stereoscopic/multiview video processing system and its method
CN1613263A (zh) * 2001-11-21 2005-05-04 韩国电子通信研究院 3d立体/多视图视频处理***及其方法
CN1758755A (zh) * 2004-02-03 2006-04-12 索尼株式会社 收发机***、发送机和接收机以及信息处理方法
US20050190774A1 (en) * 2004-02-27 2005-09-01 Thomas Wiegand Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream
WO2010044146A1 (ja) * 2008-10-15 2010-04-22 三菱電機株式会社 暗号装置及び復号装置及び暗号方法及び復号方法
JP2010136220A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 通信端末装置、通信量制御方法および集積回路

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105612756A (zh) * 2013-08-08 2016-05-25 国立大学法人电气通信大学 数据处理装置、数据处理方法、程序、记录介质以及数据处理***
CN105474638A (zh) * 2014-05-27 2016-04-06 联发科技股份有限公司 提供投射显示***待显示的图像或视频的***以及通过投射显示***显示或投射图像或视频的***
US10136114B2 (en) 2014-05-27 2018-11-20 Mediatek Inc. Projection display component and electronic device
CN107005730A (zh) * 2014-12-09 2017-08-01 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN107005730B (zh) * 2014-12-09 2020-04-21 松下知识产权经营株式会社 发送方法、接收方法、发送装置以及接收装置
CN112954353A (zh) * 2015-09-14 2021-06-11 松下知识产权经营株式会社 解码装置和解码方法
US11972741B2 (en) 2015-09-14 2024-04-30 Panasonic Intellectual Property Management Co., Ltd. Decoding device for decoding a coded video in a system stream with a transfer characteristic if the transfer characteristic is provided in the system stream
CN109982067A (zh) * 2017-12-28 2019-07-05 浙江宇视科技有限公司 视频处理方法及装置
CN109982067B (zh) * 2017-12-28 2021-02-02 浙江宇视科技有限公司 视频处理方法及装置

Also Published As

Publication number Publication date
US20130100248A1 (en) 2013-04-25
JPWO2012153450A1 (ja) 2014-07-31
WO2012153450A1 (ja) 2012-11-15

Similar Documents

Publication Publication Date Title
CN102972024A (zh) 动态图像发送装置以及动态图像发送方法
TWI449431B (zh) 用以對多視界視訊編碼利用可平行解碼切片之方法、裝置及電腦程式產品
US9602802B2 (en) Providing frame packing type information for video coding
JP6437096B2 (ja) ビデオ合成
CN115442621B (zh) 编码视频内容的装置、重构视频内容的装置和方法
US20110058016A1 (en) Method and system for processing 2d/3d video
CN102106146B (zh) 可缩放视频解码中增强层分组丢失错误的隐藏方法
US20060120451A1 (en) Grouping of image frames in video coding
KR20180005234A (ko) 합성 가변 비디오 스트리밍
JP5813236B2 (ja) フレーム互換なフル解像度立体視3d圧縮および復元
CN101156443A (zh) 鲁棒模式的交错播送快速信道改变
KR20130129481A (ko) 인코딩된 비디오 데이터의 스트리밍
WO2006104351A1 (en) Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods
KR101632076B1 (ko) 우선순위에 따른 스테레오스코픽 영상 데이터의 전송 장치 및 방법
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
CN104412595B (zh) 根据遮蔽图的使用来生成和重构三维视频流的方法以及对应的生成和重构设备
CN102104790A (zh) 一种视频处理方法和***
CN100407797C (zh) 运动图象编码装置以及运动图象译码装置
US20140376644A1 (en) Frame packing method, apparatus and system using a new 3d coding "frame compatible" format
US20150130897A1 (en) Method for generating, transporting and reconstructing a stereoscopic video stream
CN102387359A (zh) 三维视频传输方法、***及编解码装置
JP5343792B2 (ja) 画像符号化装置、画像符号化方法およびそのプログラム
Lee et al. Interlaced MVD format for free viewpoint video
US20060072675A1 (en) Method for encoding and decoding video signals
Xu et al. Similarity evaluation algorithm for concealing frame loss error in multi-view video transmission

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160411

Address after: Osaka Japan

Applicant after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130313