CN112655213A - 变换装置、解码装置、变换方法以及解码方法 - Google Patents
变换装置、解码装置、变换方法以及解码方法 Download PDFInfo
- Publication number
- CN112655213A CN112655213A CN201980058196.0A CN201980058196A CN112655213A CN 112655213 A CN112655213 A CN 112655213A CN 201980058196 A CN201980058196 A CN 201980058196A CN 112655213 A CN112655213 A CN 112655213A
- Authority
- CN
- China
- Prior art keywords
- picture
- stream
- encoded data
- unit
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims description 58
- 230000002441 reversible effect Effects 0.000 claims description 48
- 230000002427 irreversible effect Effects 0.000 claims description 34
- 230000005540 biological transmission Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 12
- 230000006835 compression Effects 0.000 description 39
- 238000007906 compression Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 238000013139 quantization Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种能够提供更灵活的服务的变换装置(10a)具备:获得部(11),获得第1流;变换部(12),将第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片;以及输出部(14),输出包括第2图片的第2流。
Description
技术领域
本公开涉及进行运动图像的编码、解码或变换的装置以及方法等。
背景技术
在运动图像编码处理中,一般采用画面间预测(以后也称为帧间预测)编码处理,利用运动图像所具有的时间方向上的冗余度,来进行信息量的压缩。在帧间预测编码处理中,在对图片进行编码时,将与该图片(以下称为编码对象图片)不同的已编码的图片用作参考图片。于是,通过基于该参考图片的编码对象图片的运动检测,来导出运动矢量。而且,通过求出根据运动矢量来进行运动补偿而得到的预测图像、与编码对象图片的差分,来去除时间方向上的冗余度。在此,在运动检测中,算出编码对象图片内的编码对象块、与参考图片内的各块的差分值,将差分值最小的参考图片内的块作为参考块来搜索。于是,利用编码对象块和参考块,来检测运动矢量。
在运动图像编码处理中,一般与采用帧间预测编码处理的同时,还并用画面内预测(以后也称为帧内预测)编码处理,该帧内预测编码处理不使用参考图片。并且,作为运动图像的编码方式,代表的有被称为H.265/HEVC的运动图像编码方式(参照非专利文献1)。
并且,运动图像编码处理被用于像监控摄像头或视频会议***这样将一个影像传输到多个终端的情况,或者用于将影像记录到存储介质的情况等。
(现有技术文献)
(非专利文献)
非专利文献1Recommendation ITU-T H.265“AUDIOVISUAL AND MULTIMEDIASYSTEMS Infrastructure of audiovisual services-Coding of moving video”,2018年2月
发明内容
发明要解决的课题
例如在监控摄像头等运动图像的传输中单纯地采用上述的运动图像编码处理的情况下,存在的课题是很难提供灵活的服务。
本公开提供一种将作为被编码的运动图像的流变换为其他的流的变换装置,该变换装置能够提供更灵活的服务。
解决课题所采用的手段
本公开的一个形态所涉及的变换装置,具备:获得部,获得第1流;变换部,将所述第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片;以及输出部,对包括所述第2图片的第2流进行输出。
另外,这些概括的或具体的形态可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过***、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。并且,记录介质也可以是非暂时性的记录介质。
发明效果
通过本公开的变换装置,能够提供更灵活的服务。
附图说明
图1是实施方式1中的变换装置的构成图。
图2是示出由实施方式1中的变换装置的各构成要素进行的处理的一个例子的时序图。
图3A是示出实施方式1中的变换装置的工作的一个例子的流程图。
图3B是示出实施方式1中的变换装置的工作的其他的例子的流程图。
图4是示出由实施方式2中的变换装置的各构成要素进行的处理的一个例子的时序图。
图5是示出由实施方式3中的变换装置的各构成要素进行的处理的一个例子的时序图。
图6是实施方式4中的编码装置的构成图。
图7是实施方式5中的影像分发***的构成图。
图8是实施方式6中的影像分发***的构成图。
图9是实施方式7中的影像再生***的构成图。
图10是用于对实施方式7中的可逆压缩方式的转码进行说明的图。
图11是实施方式7中的其他的影像记录再生装置的构成图。
图12是示出变换装置的构成的其他的例子的方框图。
具体实施方式
(成为本公开的基础的见解)
本发明人员针对“背景技术”中所记载的运动图像编码处理的适用例,发现了以下的课题。
例如,作为运动图像编码处理的适用例,有如下的***,即对监控摄像头等的运动图像进行编码处理,将作为该被编码处理的运动图像的流,发送到多个终端并进行再生。这些多个终端进行流再生。在这种***的情况下,在第1终端进行流的再生时,即使中途第2终端请求该流的发送,也会有通过该第2终端的流的再生发生延迟的可能性。
例如,第2终端请求从流中包括的GOP(Group of Picture)上的被帧间预测编码的图片的再生。也就是说,在该再生的请求被接受的定时,流中包括的各图片中的被进行了该帧间预测编码的图片被发送。并且,该图片具体而言是P图片(Predictive Picture)或B图片(Bidirectionally Predictive Picture)等。
但是,按照该请求,流中的被帧间预测编码的图片以后的各图片即使被发送到第2终端,第2终端也不能对该被帧间预测编码后的图片进行解码。这是因为,第2终端不能先对在帧间预测编码后的图片的解码中参考的图片进行解码的缘故。因此,直到流中的IDR(Instantaneous Decoding Refresh:即时解码刷新)图片被传输为止,第2终端需要等待再生。为此,难于进行高效地随机存取。
并且,为了解消这种再生的延迟,想到将该被帧间预测编码的图片变换为被帧内预测编码的图片。在这种情况下,替代被帧间预测编码的图片,而是将包括被帧内预测编码的图片的流发送到第2终端。这样,第2终端能够从流中包括的帧内预测编码后的图片,对各图片进行解码。但是会出现该被帧内预测编码的图片的后续的图片的解码图像的画质降低的问题。这是因为,流中包括的原来的图片被不可逆地进行帧间预测编码,这种图片的解码图像由于上述的变换,会进一步被不可逆地进行帧内预测编码。因此,在通过参考这种被帧内预测编码的图片的解码图像而被解码的图片中,画质降低。即在流所包括的被帧内预测编码的图片以后的各图片中,发生影像的紊乱。
并且,为了解消再生的延迟,即为了实现高效地随机存取,而设想到在流中***IDR图片,将***了该IDR图片的流发送到第2终端。但是在这种情况下,会增加用于传输这种流的网络的负担。
并且,为了解消再生的延迟,即为了实现高效地随机存取,设想到使监控摄像头等具备与各终端对应的编码装置。但是在这种情况下,能够同时对流进行再生的终端的数量受到编码装置的数量的限制。
于是,本公开的一个形态所涉及的变换装置具备:获得部,获得第1流;变换部,将所述第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片;以及输出部,对包括所述第2图片的第2流进行输出。例如可以是,所述变换部通过对所述第1图片进行解码,来生成所述第1图片的解码图像,通过对所述第1图片的解码图像进行可逆编码,从而将所述第1图片变换为所述第2图片。并且,可逆编码例如是由运动图像编码标准的H.264或H.265的扩展功能即H.264Lossless或H.265Lossless等来进行的编码。
据此,例如在第1流被发送时,即使终端请求该第1流中包括的第1图片以后的各图片的发送,被发送到该终端的不是包括被不可逆编码的图片的第2流,而是包括被可逆编码的图片即第2图片的第2流。这样,终端能够对第2流中包括的第2图片以后的各图片进行恰当的解码,因此能够抑制解码图像的画质的降低。因此,在不会造成网络负荷的增加、并且能够对流同时进行再生的终端的数量也不会受到限制的基础上,能够实现高效的随机存取,从而能够提供更灵活的服务。
并且也可以是,所述输出部,以第3图片按解码顺序被配置在所述第2图片之后的方式,使所述第3图片包括在所述第2流中,所述第3图片是所述第1流中包括的参考所述第1图片的解码图像而被编码的图片,对包括所述第3图片的所述第2流进行输出。
据此,即使不变换第3图片的编码方式,接收该第2流的终端也能够参考第2图片的解码图像,来对第3图片进行恰当的解码。
并且也可以是,所述输出部进一步对由所述获得部获得的所述第1流进行输出。
据此,在将第1流发送到第1终端时,能够按照来自第2终端的请求,将第2流发送到第2终端。
并且也可以是,所述变换装置进一步具备判断部,所述判断部针对所述第1流中包括的多个图片的每一个,判断是否对该图片的编码方式进行变换,所述变换部,将由所述判断部判断为进行变换的图片的所述第1图片,变换为所述第2图片。例如,所述判断部,针对如下的图片的每一个,判断为进行编码方式的变换,这些图片是指,所述第1流中包括的多个图片之中的、包括与接受到流的发送请求的定时对应的所述第1图片的至少一个连续的图片。
据此,能够以恰当的定时来执行图片的编码方式的变换,这样能够抑制来自发送请求的延迟,来开始第2流的再生。
并且也可以是,所述判断部,针对所述第1流中包括的多个图片之中的、所述至少一个连续的图片以后的各图片,判断为不进行编码方式的变换。
据此,能够减少编码方式的变换中的负荷。
并且也可以是,所述变换部通过对所述第1图片的解码图像进行帧内预测编码,从而将所述第1图片变换为所述第2图片。
据此,由于第2图片是被可逆编码的I图片,因此,即使在第2流的开头配置了第2图片,终端也能够不必参考解码图像,而从开头对第2流进行解码。并且,只要对第1流中包括的各图片中的第1图片的编码方式进行变换,就能够省略其他的图片的编码方式的变换。
并且也可以是,所述变换部进一步,通过对第4图片进行解码,从而生成所述第4图片的解码图像,所述第4图片是所述第1流中包括的、进行了不可逆的帧间预测编码的图片,通过对所述第4图片的解码图像进行不可逆的帧内预测编码,从而将所述第4图片变换为第5图片,在所述第1图片向所述第2图片的变换中,通过对参考所述第4图片的解码图像而被帧间预测编码的所述第1图片的解码图像,参考所述第5图片的解码图像,进行可逆的帧间预测编码,从而将所述第1图片变换为所述第2图片,所述输出部,对包括所述第5图片以及所述第2图片的所述第2流进行输出。
据此,第1流中包括的第4图片以及第1图片被变换为第2流中包括的第5图片以及第2图片。例如,被不可逆编码的P图片即第4图片、以及被不可逆编码的P图片即第1图片,被分别变换为被不可逆编码的I图片即第5图片、以及被可逆编码的P图片即第2图片。
例如,被可逆编码的I图片的编码量增加,会有因I图片的发送而使网络负荷增高的可能性。然而,在上述的形态中,第2图片不是被可逆编码的I图片,而是作为被可逆编码的P图片(或B图片)来构成。并且,通过将被不可逆编码的P图片即第4图片,变换为被不可逆编码的I图片即第5图片,虽然每一个的图片中的编码量会增加,但是能够抑制流全体的位速率。
并且也可以是,所述变换部进一步,通过对所述第1流中包括的进行了不可逆的帧间预测编码的所述第1图片进行解码,来生成所述第1图片的解码图像,通过对所述第1图片的解码图像进行不可逆的帧内预测编码,从而将所述第1图片变换为第4图片,在所述第1图片向所述第2图片的变换中,通过对所述第1图片的解码图像,参考所述第4图片的解码图像进行可逆的帧间预测编码,从而将所述第1图片变换为所述第2图片,所述输出部对包括所述第4图片以及所述第2图片的所述第2流进行输出。
据此,第1流中包括的第1图片被变换为第2流中包括的第4图片和第2图片。例如,被不可逆编码的P图片即第1图片,被变换为被不可逆编码的I图片即第4图片、和被可逆编码的P图片即第2图片。
例如,例如,被可逆编码的I图片的编码量增加,会有因I图片的发送而使网络负荷增高的可能性。然而,在上述的形态中,第2图片不是被可逆编码的I图片,而是作为被可逆编码的P图片(或B图片)来构成。并且,由于第4图片和第2图片分别是由相同的第1图片变换而生成的,因此,第4图片与第2图片的图像类似。这样,在从第1图片向第2图片的变换中,通过参考该第4图片的解码图像,从而能够抑制该第2图片的编码量。据此,能够抑制流全体的位速率。
并且,本公开的一个形态所涉及的解码装置具备:接收部,接收包括第2图片的第2流;解码部,通过对所述第2流进行解码,来生成影像信号;以及显示部,按照所述影像信号,对影像进行显示,所述第2图片是通过对第1流中包括的被不可逆编码的第1图片进行变换,而得到的进行了可逆编码的图片。
据此,例如在第1流被发送时,当请求该第1流中包括的第1图片以后的各图片的发送时,接收部接收的第2流不是包括被不可逆编码的图片的流,而是包括被可逆编码的图片即第2图片的流。这样,解码部能够恰当的对第2流中包括的第2图片以后的各图片进行解码,从而能够抑制解码图像的画质的降低。
另外,这些概括的或具体的形态可以由***、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过***、方法、集成电路、计算机程序或记录介质的任意的组合来实现。并且,记录介质也可以是非暂时性的记录介质。
以下参照附图,对本公开的实施方式进行具体说明。
另外,以下将要说明的实施方式均为概括性的或具体的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等均为一个例子,其主旨并非是对本公开进行限定。并且,对于以下的实施方式的构成要素中没有记载在示出最上位概念的独立技术方案中的构成要素,将作为任意的构成要素来说明。
并且,各个图为模式图,并非严谨的图示。并且,在各个图中,对于相同的构成要素赋予相同的编号。
(实施方式1)
图1是本实施方式中的变换装置的构成图。
本实施方式中的变换装置10a对第1流和第2流进行输出,第1流中包括通过对第1帧进行编码而得到的第1编码数据,第2流包括通过对第1编码数据进行转码而得到的第2编码数据。例如,变换装置10a将第1流输出到第1解码装置21,将第2流输出到第2解码装置22。
另外,在本公开中,帧与图片为同义。并且,帧或图片可以是没有被编码的状态,也可以是被编码的状态。不过,在明确示出被编码的状态的情况下,将该被编码的帧或图片称为编码数据。
并且,上述的第1编码数据不是被配置在第1流的开头的编码数据,而是被配置在中途的编码数据。另外,在流中,各编码数据从开头按解码顺序或编码顺而被配置。并且,第1流中包括的各编码数据是通过对帧或图片进行不可逆编码而得到的数据。
通过本实施方式中的变换装置10a,第1解码装置21针对第1流的解码,从开头的编码数据开始进行,第2解码装置22针对第2流的解码,从第2编码数据开始进行,该第2编码数据是与第1流的中途的第1编码数据对应的数据。另外,第2编码数据可以是通过对例如作为P图片的第1编码数据,以可逆编码的方式进行转码而得到的I图片。通过此构成,即使不对第2编码数据(即已编码的第1帧)的后续的编码数据进行转码,第2解码装置22也有能够对后续的编码数据进行解码的可能性。
变换装置10a如图1所示,具备获得部11、判断部13、变换部12、以及输出部14,与第1解码装置21和第2解码装置22连接。变换装置10a获得第1流,将该第1流输出到第1解码装置21。并且,变换装置10a将该第1流变换为第2流,将该第2流输出到第2解码装置22。第1解码装置21对第1流进行解码,第2解码装置22对第2流进行解码。另外,变换装置10a与第1解码装置21以及第2解码装置22可以经由网络来连接。
获得部11获得包括第1编码数据的第1流,将该第1流输出到输出部14以及变换部12。第1编码数据是帧内编码数据(即I图片)或帧间编码数据(即P图片或B图片)。另外,帧内编码数据是通过画面内预测即帧内预测而已被编码的帧或图片,帧间编码数据是通过画面间预测即帧间预测而已被编码的帧或图片。另外,在图1中示出了第1流和第2流的一个例子。“I1”以及“I2”示出I图片的编码数据,“P1”~“P4”示出P图片的编码数据。
变换部12对第1编码数据进行转码。变换部12具备解码部12a和编码部12b。解码部12a通过对第1编码数据进行解码,来生成解码图像。编码部12b通过对该解码图像进行编码,来将第1编码数据转码为第2编码数据。另外,将由编码部12b进行的编码也称为再次编码。
判断部13针对第1流中包括的编码数据的每一个,判断是否对这些编码数据进行转码。判断部13可以在来自第2解码装置22的请求开始解码的请求信号由变换装置10a接收到的情况下,判断为对接收到请求信号之后发送的一个或多个编码数据进行转码。例如,判断部13判断为对接收到请求信号之后(具体而言是紧后)发送的第1编码数据进行转码。另外,判断部13也可以判断为对从接收到请求信号之后到第1流中包括的下一个I图片为止进行转码。另外,下一个I图片是在接收到请求信号的定时之后,从变换装置10a最先发送的I图片。
输出部14将第1流输出到第1解码装置21,将第2流输出到第2解码装置22。即第1流以及第2流被发送或被传输。第2流包括第2编码数据、以及后续于该第2编码数据的一个或多个编码数据。具体而言,输出部14对第2帧、与后续于第2帧的一个或多个帧进行组合,并进一步附加控制信息,来生成第2流。
图2是示出由本实施方式中的变换装置10a的各构成要素执行的处理的一个例子的时序图。
如图2所示,变换装置10a的获得部11以编码数据I1、编码数据P1、编码数据P2、编码数据P3、编码数据P4的顺序来获得这些编码数据。即,获得部11获得包括以上述的顺序来排列的这些编码数据的第1流。并且,编码数据I1是第1个I图片的编码数据,编码数据Pn(n为1至5的任一个整数)是第n个P图片的编码数据。并且,P图片(或编码数据Pn)是参考紧前的编码数据而被编码的。并且,在图2所示的例子中,第1解码装置21对第1流中包括的所有的编码数据进行解码,第2解码装置22向变换装置10a,请求第1流中包括的编码数据P2以后的各编码数据的发送。换而言之,第1解码装置21向变换装置10a,请求从第1流的开头的编码数据开始的再生,第2解码装置22向变换装置10a,请求从第1流的中途的编码数据开始的再生。这种请求作为请求信号,而被发送到变换装置10a。
如图2所示,获得部11在每当获得编码数据时,就将该编码数据输出到输出部14和变换部12。变换部12的解码部12a对从获得部11输出的编码数据进行解码,来生成与该编码数据对应的解码图像。
判断部13例如直到接受来自第2解码装置22的请求为止,判断为对依次被输入到变换部12的编码数据不进行转码。并且,输出部14例如直到接受来自第2解码装置22的请求为止,不进行将第2流向第2解码装置22的发送,而进行将第1流向第1解码装置21的发送。
即如以上所述,在第2解码装置22请求第1流中包括的编码数据P2以后的各编码数据的发送的情况下,判断部13判断为对编码数据I1以及编码数据P1不进行转码。即,判断部13判断为不开始第2流的生成。于是,输出部14将编码数据I1以及编码数据P1,分别作为第1流中包括的编码数据,发送到第1解码装置21。
接着,在接受到来自第2解码装置22的请求的情况下,判断部13判断为对第1流中包括的编码数据P2进行转码。即,判断部13判断为开始第2流的生成。这样,判断部13将针对编码数据P2的指示再次编码的指示信号,发送到编码部12b。
编码部12b按照该指示信号,对由解码部12a生成的编码数据P2的解码图像进行编码。在该编码中采用可逆的帧内预测。这样,编码部12b生成作为可逆的帧内编码数据的编码数据I2,并输出到输出部14。据此,在变换部12,不可逆的编码数据P2被变换为可逆的编码数据I2。换而言之,不可逆的P图片被变换为可逆的I图片。
另外,可逆编码例如是运动图像编码标准的H.264或H.265的扩展功能的H.264Lossless或H.265Lossless等进行的编码。并且,在编码中进行量化的情况下,可逆编码可以是量化中采用量化步长为1的编码。并且,编码数据P2是上述的第1编码数据,编码数据I2是上述的第2编码数据。
输出部14将编码数据P2作为第1流中包括的编码数据,输出到第1解码装置21,将编码数据I2作为第2流中包括的编码数据,输出到第2解码装置22。
接着,判断部13在编码数据P3以后的各编码数据被输入到变换部12时,判断为对这些编码数据不进行转码。
在编码数据P2之后,输出部14将编码数据P3以后的各编码数据也作为第1流中包括的编码数据,输出到第1解码装置21。这样,第1流从输出部14被输出到第1解码装置21。
进一步,输出部14根据上述的判断部13的判断结果,不对编码数据P3以后的各编码数据的编码方式进行变换,将该各编码数据作为第2流中包括的编码数据,输出到第2解码装置22。据此,包括编码数据I2、以及第1流中的编码数据P3以后的各编码数据的第2流,由输出部14生成,并被输出到第2解码装置22。另外,在第2流中不包括第1流的编码数据I1以及P1。
通过此构成,第2解码装置22通过对第2流进行解码,从而实质上能够开始从第1流的编码数据P2的解码。
在此,若编码数据P2的解码图像以不可逆压缩方式,由编码数据I2编码时,第2流中的该编码数据I2的后续的编码数据,参考该编码数据I2的解码图像而被解码。这样,由第2流的再生而被显示的影像会有紊乱的可能性。即会有画质降低的可能性。
因此,本实施方式中的编码部12b将编码数据P2的解码图像,以可逆压缩方式编码为编码数据I2。据此,能够抑制影像的紊乱。另外,在本公开中,将按照可逆压缩方式的编码称为可逆编码,将按照不可逆压缩方式的编码称为不可逆编码。并且,也可以将可逆压缩方式简单称为可逆,将不可逆压缩方式简单称为不可逆。
图3A是示出本实施方式中的变换装置10a的工作的一个例子的流程图。
首先,变换装置10a的获得部11获得第1流的编码数据(步骤S101)。接着,判断部13判断是否开始第2流的生成(步骤S102)。在此,当由判断部13判断为不开始第2流的生成时(步骤S102的“否”),输出部14将包括由步骤S101获得的编码数据的第1流输出到第1解码装置21(步骤S103)。
另外,在由判断部13判断为开始第2流的生成时(步骤S102的“是”),编码部12b将第1流的编码数据的解码图像,可逆地编码为I图片的编码数据(步骤S104)。于是,输出部14在将包括由步骤S101获得的编码数据的第1流输出到第1解码装置21的同时,将包括通过步骤S104的编码而得到的编码数据的第2流输出到第2解码装置22(步骤S105)。
图3B是示出本实施方式中的变换装置10a的工作的其他的例子的流程图。该图3B所示的流程图除了包括图3A的流程图的各步骤以外,还包括步骤S106。
即,在步骤S102,当由判断部13判断为开始第2流的生成时(步骤S102的“是”),编码部12b对由步骤S101获得的编码数据是否为帧内编码数据进行判定(步骤S106)。在此,当判定为该编码数据不是帧内编码数据的情况下(步骤S106的“否”),编码部12b将该编码数据的解码图像可逆地编码为I图片的编码数据(步骤S104)。另外,在判定为该编码数据是帧内编码数据的情况下(步骤S106的“是”),编码部12b对该编码数据的解码图像不进行编码。即该编码数据不被转码。
这样,输出部14当在步骤S104进行了编码的情况下,对包括由步骤S101获得的编码数据的第1流进行输出,并且对包括通过步骤S104的编码而得到的编码数据的第2流进行输出(步骤S105)。并且,输出部14当在步骤S104没有进行再次编码的情况下,对分别包括由步骤S101获得的编码数据的第1流以及第2流进行输出(步骤S105)。
这样,本实施方式中的变换装置10a具备:获得部11,获得第1流;变换部12,将该第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片;以及输出部14,输出包括该第2图片的第2流。第1图片相当于上述的编码数据P2,第2图片相当于上述的编码数据I2。例如,变换部12通过对第1图片进行解码,从而生成该第1图片的解码图像,通过对该第1图片的解码图像进行可逆编码,从而将第1图片变换为第2图片。
据此,例如第1流被发送时,即使第2解码装置22请求该第1流中包括的第1图片以后的各图片的发送,在此被发送的也不是被不可逆编码的图片,而是将包括作为被可逆编码的图片的第2图片的第2流发送到该第2解码装置22。这样,第2解码装置22由于能够对第2流中包括的第2图片以后的各图片进行恰当的解码,因此能够抑制解码图像的画质的降低。因此,在网络的负荷不会增加,并且也不会受到能够同时对流进行再生的终端的数量的限制的情况下,就能够实现高效的随机存取,从而能够提供更灵活的服务。
并且,如图2所示,变换部12通过对第1图片的解码图像进行帧内预测编码,从而将第1图片变换为2图片。
据此,由于第2图片是被可逆编码的I图片,因此,即使在第2流的开头配置第2图片,第2解码装置22也能够针对该第2流,不必参考解码图像,从开头开始进行解码。并且,只要对第1流中包括的各图片中的第1图片的编码方式进行变换,就能够省去其他的图片的编码方式的变换。
即,输出部14以使第1流中包括的第3图片以解码顺序配置在第2图片之后的方式,使该第3图片包括在第2流中,来对包括第3图片的第2流进行输出,所述第3图片是参考第1图片的解码图像而被编码的图片。第3图片例如是图2所示的编码数据P3,在被发送到第2解码装置22的第2流中包括作为第2图片的编码数据I2、以及作为第3图片的编码数据P3。
据此,即使第3图片的编码方式不被变换,接收该第2流的第2解码装置22也能够参考第2图片的解码图像,来对第3图片进行恰当的解码。
并且,在本实施方式中,输出部14进一步对由获得部11获得的第1流进行输出。
据此,在将第1流发送到第1解码装置21时,能够按照来自第2解码装置22的请求,将第2流发送到该第2解码装置22。
并且,在本实施方式中,变换装置10a进一步具备判断部13,针对第1流中包括的多个图片的每一个,判断是否对该图片的编码方式进行变换,变换部12将由判断部13判断为进行变换的图片即第1图片,变换为第2图片。具体而言,判断部13判断为对如下的图片的每一个的编码方式进行变换,这些图片是指,第1流中包括的多个图片之中的、包括与接受到流发送请求的定时对应的第1图片的至少一个连续的图片。例如在图2所示的例子中,判断为对与该定时对应的编码数据P2的编码方式进行变换。
据此,由于能够以恰当的定时来执行图片的编码方式的变换,因此能够抑制来自发送请求的延迟,来开始第2流的再生。
并且,判断部13针对第1流中包括的多个图片之中的、上述的至少一个连续的图片之后的各图片的编码方式,判断为不进行变换。例如在图2所示的例子中,判断为不进行编码数据P4以及编码数据P5的编码方式的变换。
据此,能够减轻编码方式的变换中的负荷。
另外,在本实施方式中,帧间编码数据虽然是参考紧前的编码数据而被编码的P图片,不过并非受此所限。帧间编码数据也可以参考不是紧前的编码数据来编码,被参考的编码数据也可以不是一个。例如,被编码或被转码的编码数据并非受P图片所限,也可以是B图片。
并且,本实施方式中的变换装置10a虽然具备判断部13,不过也可以不具备该判断部13。在这种情况下,判断部13例如可以由个人计算机等外部装置具备,外部装置的判断部13将指示信号输出到编码部12b和输出部14。
并且,在本实施方式中,在判断为开始第2流的生成时,与该判断的定时对应的一个编码数据被转码。不过,变换装置10a可以对第1流中的该编码数据到下一个I图片的编码数据的各编码数据进行转码。
并且,在本实施方式中,虽然变换部12的解码部12a对第1流中包括的所有的编码数据进行解码,不过也可以是对其中的一部分的编码数据进行解码。例如,解码部12a可以仅对后续于I图片的规定数量的的图片(即编码数据)进行解码,也可以仅对满足规定条件的编码数据、或仅对满足规定条件的期间中包括的编码数据进行解码。据此,能够减少变换装置10a中的电力消耗。
并且,在本公开中,虽然将第1流中包括的帧的编码数据,变换为第2流中包括的编码数据的处理称为转码,关于该处理的名称并非受转码所限。例如,可以将该处理简单地称为编码。即,可以将变换装置称为编码装置。
(实施方式2)
本实施方式中的变换装置10a具有图1所示的构成,对包括通过对第1帧进行编码而得到的第1编码数据的第1流进行输出,并且对第2流进行输出。在此,本实施方式中的第2流包括第2编码数据以及第4编码数据,所述第2编码数据是通过对第1编码数据,以不可逆压缩方式进行转码而得到的帧内编码数据,所述第4编码数据是通过对第3编码数据,以可逆压缩方式进行转码而得到的数据。另外,第3编码数据是第1流中包括的后续于第1编码数据的编码数据,是参考该第1编码数据的解码图像而被编码的帧的编码数据。
例如,在将第1编码数据以可逆压缩方式转码为帧内编码数据时,该帧内编码数据的编码量增大,从而会给通信带来负荷。在本实施方式中,不是通过可逆压缩方式,而是以不可逆压缩方式,来将该第1编码数据转码为帧内编码数据,这样,会有能够减少第2流的编码量的可能性。
图4是示出由本实施方式中的变换装置10a的各构成要素进行的处理的一个例子的时序图。
如图4所示,变换装置10a的获得部11以编码数据I1、编码数据P1、编码数据P2、编码数据P3、编码数据P4的顺序来获得这些编码数据。即,获得部11获得包括按照上述的顺序来排列的编码数据的第1流。并且,P图片是参考紧前的编码数据而被编码的。并且,在图4所示的例子中,第1解码装置21对第1流中包括的所有的编码数据进行解码,第2解码装置22向变换装置10a请求第1流中包括的编码数据P2以后的各编码数据的发送。
如图4所示,获得部11在每当获得编码数据时,就将该编码数据输出到输出部14以及变换部12。变换部12的解码部12a对从获得部11输出的编码数据进行解码,从而生成与该编码数据对应的解码图像。
判断部13例如直到接受来自第2解码装置22的请求为止,针对被依次输入到变换部12的编码数据,判断为不进行转码。并且,输出部14例如直到接受来自第2解码装置22的请求为止,不进行向第2解码装置22的第2流的发送,而进行向第1解码装置21的第1流的发送。
即,如以上所述,在第2解码装置22请求第1流中包括的编码数据P2以后的各编码数据的发送的情况下,判断部13判断为对编码数据I1以及编码数据P1不进行转码。即,判断部13判断为不开始第2流的生成。于是,输出部14将编码数据I1以及编码数据P1,分别作为第1流中包括的编码数据,发送到第1解码装置21。
接着,在接受到来自第2解码装置22的请求的情况下,判断部13判断为对第1流中包括的编码数据P2进行转码。即,判断部13判断为开始第2流的生成。这样,判断部13将指示针对编码数据P2的再次编码的指示信号,发送到编码部12b。
编码部12b按照该指示信号,对由解码部12a生成的、与编码数据P2对应的解码图像进行编码。在该编码中,采用帧内预测以及不可逆压缩方式。于是,编码部12b将通过该编码而得到的帧内编码数据即编码数据I2,输出到输出部14。据此,在变换部12,编码数据P2被变换为以不可逆压缩方式而被编码的I图片的编码数据I2。换而言之,P图片被变换为不可逆的I图片。
输出部14将编码数据P2作为第1流中包括的编码数据,输出到第1解码装置21,将编码数据I2作为第2流中包括的编码数据输出到第2解码装置22。
接着,判断部13在后续于编码数据P2的编码数据P3被输入到变换部12时,判断为对第1流中包括的编码数据P3进行转码。这样,判断部13将指示针对编码数据P3的再次编码的指示信号,发送到编码部12b。
编码部12b按照该指示信号,对由解码部12a生成的、编码数据P3的解码图像进行编码。即,编码部12b参考编码数据I2的解码图像,以可逆压缩方式对编码数据P3的解码图像进行编码。于是,编码部12b将通过该编码而得到的帧间编码数据即编码数据P6,输出到输出部14。据此,在变换部12,编码数据P3被变换为,由可逆压缩方式而被编码的P图片的编码数据P6。换而言之,不可逆的P图片被变换为可逆的P图片。
输出部14将编码数据P3作为第1流中包括的编码数据,输出到第1解码装置21,将编码数据P6作为第2流中包括的编码数据,输出到第2解码装置22。
接着,判断部13在编码数据P4以后的各编码数据被输入到变换部12时,判断为对这些编码数据不进行转码。
在编码数据P3之后,输出部14继续将编码数据P4以后的各编码数据作为第1流中包括的编码数据,输出到第1解码装置21。这样,第1流从输出部14被输出到第1解码装置21。
而且,输出部14根据上述的判断部13进行的判断结果,不对编码数据P4以后的各编码数据的编码方式进行变化,而是将各编码数据作为第2流中包括的编码数据,输出到第2解码装置22。据此,包括编码数据I2以及P6、第1流之中的编码数据P4以后的各编码数据的第2流,由输出部14生成,并被输出到第2解码装置22。另外,第2流也可以不包括第1流的编码数据I1以及P1。
通过这种构成,第2解码装置22通过对第2流进行解码,从而实质上能够开始从第1流的编码数据P2的解码。并且,与实施方式1相比,更能够减少第2流的编码量。
即在本实施方式中,变换部12通过对第1流中包括的被进行了不可逆的帧间预测编码的图片即第4图片进行解码,从而生成第4图片的解码图像。接着,变换部12通过对第4图片的解码图像进行不可逆的帧内预测编码,从而将第4图片变换为第5图片。于是,在第1图片向第2图片的变换中,变换部12对通过参考第4图片的解码图像而被进行了帧间预测编码的第1图片的解码图像,参考第5图片的解码图像来进行可逆的帧间预测编码,据此,将第1图片变换为第2图片。输出部14对包括该第5图片以及第2图片的第2流进行输出。例如,第4图片以及第5图片分别相当于图4所示的编码数据P2以及编码数据I2,第1图片以及第2图片分别相当于图4所示的编码数据P3以及编码数据P6。
据此,第1流中包括的第4图片以及第1图片,被变换为第2流中包括的第5图片以及第2图片。即,被不可逆编码的编码数据P2和被不可逆编码的编码数据P3被分别变换为,被不可逆编码的编码数据I2和被可逆编码的编码数据P6。
例如,被可逆编码的I图片的编码量增大,通过该I图片的发送会有使网络负荷增高的可能性。但是,在本实施方式中,编码数据P6不是作为被可逆编码的I图片来构成,而是作为被可逆编码的P图片来构成。并且,通过将被不可逆编码的编码数据P2,变换为作为被不可逆编码的I图片的编码数据I2,虽然会有每一个图片的编码量增加的可能性,但是能够抑制流全体的位速率。
另外,在本实施方式中,通过对编码数据P3的解码图像,以可逆压缩方式来进行编码,从而生成可逆的编码数据P6,不过也可以利用不可逆压缩方式来编码。在这种情况下,不仅是编码数据P2以及P3,编码数据P4也被转码。即,变换部12对编码数据P4的解码图像,以可逆压缩方式来进行编码。并且,可以通过增加进行不可逆压缩方式的编码的次数,来控制进行可逆压缩的编码的定时。
并且,在本实施方式中,虽然是对编码数据I2的紧后的编码数据P6,通过可逆压缩方式来生成,通过可逆压缩来生成的编码数据只要是后续于编码数据I2的编码数据,也可以不是紧后的编码数据。并且,变换装置10a也可以对如下的各编码数据进行转码,这些编码数据是从与开始第2流的生成的定时对应的编码数据到下一个I图片的编码数据为止的数据。
即,判断部13可以判断为,对第1流中包括的多个图片之中、包括与接受到流的发送请求的定时对应的第1图片的至少一个连续的图片的每一个的编码方式进行变换。据此,能够以恰当的定时来执行图片的编码方式的变换,这样能够抑制来自发送请求的延迟,来开始第2流的再生。
(实施方式3)
本实施方式中的变换装置10a具有图1所示的构成,对包括通过对第1帧进行编码而得到的第1编码数据的第1流、以及第2流进行输出。在此,本实施方式中的第2流包括第2编码数据以及第4编码数据,所述第2编码数据是通过对第1编码数据,以不可逆压缩方式进行转码而得到的帧内编码数据,所述第4编码数据是通过对第1编码数据,以可逆压缩方式进行转码而得到的数据。
例如,在将第1编码数据,以可逆压缩方式转码为帧内编码数据时,该帧内编码数据的编码量增大,会给通信带来负荷。在本实施方式中,不仅是可逆压缩方式,而且可以采用不可逆压缩方式来对第1编码数据进行转码,因此会有能够减少第2流的编码量的可能性。即,在实施方式2中是对彼此不同的编码数据进行转码,而在本实施方式中是将同一个第1编码数据转码为第2编码数据和第4编码数据。在此,在第4编码数据的转码,参考第2编码数据。据此,能够减少第4编码数据的图像与被参考的第2编码数据的图像的差分量。这样,会有能够减少第2流的编码量的可能性。
图5是示出由本实施方式中的变换装置10a的各构成要素执行的处理的一个例子的时序图。
如图5所示,变换装置10a的获得部11以编码数据I1、编码数据P1、编码数据P2、编码数据P3、编码数据P4的顺序,来获得这些编码数据。即,获得部11获得包括被排列成上述的顺序的编码数据的第1流。并且,P图片是参考紧前的编码数据而被编码的。并且,在图5所示的例子中,第1解码装置21对第1流中包括的所有的编码数据进行解码,第2解码装置22向变换装置10a请求,第1流中包括的编码数据P2以后的各编码数据的发送。
如图5所示,获得部11每当获得编码数据时,就将该编码数据输出到输出部14和变换部12。变换部12的解码部12a通过对从获得部11输出的编码数据进行解码,从而生成与该编码数据对应的解码图像。
判断部13例如直到接受来自第2解码装置22的请求为止,针对被依次输入到变换部12的编码数据,判断为不进行转码。并且,输出部14例如直到接受来自第2解码装置22的请求为止,不进行向第2解码装置22的第2流的发送,而是进行向第1解码装置21的第1流的发送。
即,如以上所述,在第2解码装置22请求第1流中包括的编码数据P2以后的各编码数据的发送的情况下,判断部13判断为对编码数据I1以及编码数据P1不进行转码。即,判断部13判断为不开始第2流的生成。于是,输出部14将编码数据I1以及编码数据P1分别作为第1流中包括的编码数据,发送到第1解码装置21。
接着,在接受到来自第2解码装置22的请求的情况下,判断部13判断为对第1流中包括的编码数据P2进行转码。即,判断部13判断为开始第2流的生成。这样,判断部13将指示针对编码数据P2的再次编码的指示信号,发送到编码部12b。
编码部12b按照该指示信号,对由解码部12a生成的、与编码数据P2对应的解码图像进行编码。在该编码中,采用帧内预测以及不可逆压缩方式。于是,编码部12b将通过该编码而得到的帧内编码数据即编码数据I2,输出到输出部14。据此,在变换部12,编码数据P2被变换为通过不可逆压缩方式而被编码的I图片即编码数据I2。换而言之,P图片被变换为不可逆的I图片。
输出部14将编码数据P2作为第1流中包括的编码数据,输出到第1解码装置21,将编码数据I2作为第2流中包括的编码数据,输出到第2解码装置22。
在此,在本实施方式中,解码部12a通过对编码数据I2进行解码,从而生成与编码数据I2对应的解码图像。编码部12b针对编码数据P2的解码图像,参考编码数据I2的解码图像,以可逆压缩方式进行编码。于是,编码部12b将通过该编码而得到的帧间编码数据即编码数据P7,输出到输出部14。
输出部14将该编码数据P7作为第2流中包括的编码数据,输出到第2解码装置22。
接着,判断部13在编码数据P3以后的各编码数据被输入到变换部12时,判断为对这些编码数据不进行转码。
在编码数据P2之后,输出部14继续将编码数据P3以后的各编码数据作为第1流中包括的编码数据,输出到第1解码装置21。这样,第1流从输出部14被输出到第1解码装置21。
而且,输出部14将编码数据P3以后的各编码数据,作为第2流中包括的编码数据,输出到第2解码装置22。据此,包括编码数据I2以及P7、以及第1流之中的编码数据P3以后的各编码数据的第2流,由输出部14生成,并被输出到第2解码装置22。另外,在第2流中不包括第1流的编码数据I1以及P1。
通过此构成,第2解码装置22通过对第2流进行解码,从而能够实质上开始从第1流的编码数据P2的解码。并且,与实施方式1相比,会更能够减少第2流的编码量。并且,在实施方式2是对不同的编码数据进行转码的,而在本实施方式中是将同一个编码数据P2转码为编码数据I2和编码数据P7。在此,向编码数据P7的转码中参考编码数据I2。据此,能够减少编码数据P7的图像与被参考的编码数据I2的图像的差分量。这样,会有能够减少第2流的编码量的可能性。
即,在本实施方式中,变换部12通过对第1流中包括的、进行了不可逆的帧间预测编码的第1图片进行解码,从而生成第1图片的解码图像。接着,变换部12通过对第1图片的解码图像进行不可逆的帧内预测编码,从而将第1图片变换为第4图片。于是,在第1图片向第2图片的变换中,通过对第1图片的解码图像,参考第4图片的解码图像来进行可逆的帧间预测编码,从而将第1图片变换为第2图片。输出部14对包括该第4图片以及第2图片的第2流进行输出。例如,第4图片相当于图5所示的编码数据I2,第1图片以及第2图片分别相当于图5所示的编码数据P2以及编码数据P7。
据此,第1流中包括的第1图片,被变换为第2流中包括的第4图片和第2图片。即,被不可逆编码的编码数据P2被变换为,被不可逆编码的编码数据I2、以及被可逆编码的编码数据P7。
例如,被可逆编码的I图片的编码量增大,由该I图片的发送会使网络负荷增高。但是在本实施方式中,编码数据P7不是作为被可逆编码的I图片来构成,而是作为被可逆编码的P图片来构成。并且,由于编码数据I2和编码数据P7分别是由相同的编码数据P2的变换而生成的,因此,编码数据I2与编码数据P7的图像类似。这样,在从编码数据P2向编码数据P7的变换中,通过参考该编码数据I2的解码图像,从而能够抑制该编码数据P7的编码量。这样,能够抑制流的全体的位速率。
另外,本实施方式中的变换装置10a对于从与开始第2流的生成的定时对应的编码数据,到下一个I图片的编码数据为止的各编码数据,可以继续进行转码。
(实施方式4)
本实施方式中的编码装置包括编码部以及变换装置,所述编码部通过对运动图像进行编码,来生成第1流,所述变换装置从该第1流生成第2流。
图6是示出本实施方式中的编码装置的构成的方框图。另外,在图6中,对于与实施方式1的图1所示的构成要素相同的构成要素,采用相同的编号,并省略详细说明。
如图6所示,编码装置200具备第1编码部100和变换装置10b。
第1编码部100具备:片分割部101、减法器102、正交变换部103、量化部104、熵编码部105、逆量化部106、逆正交变换部107、加法器108、解块滤波器109、存储器110、帧内预测部111、帧间预测部112、运动检测部113、帧内/帧间判定部114。
片分割部101获得包括多个图片的运动图像信号,将每个图片分割为多个片或片段。
减法器102在获得包括多个图片的运动图像信号的同时,从帧内/帧间判定部114获得预测图像。于是,减法器102通过从该运动图像信号所包括的图片中的成为编码的对象的块(以下称为对象块),减去预测图像,从而生成差分图像。块例如相当于CTU(CodingTree Unit:编码树单元)、CU(Coding Unit:编码单元)、PU(Prediction Unit:预测单元)或TU(Transform Unit:转换单元)。
正交变换部103针对由减法器102生成的差分图像,例如进行离散余弦变换等正交变换(频率变换),将该差分图像变换为由多个频率系数构成的系数列。量化部104对该系数列中包括的各频率系数进行量化,从而生成被量化的系数列。
逆量化部106对由量化部104量化的系数列进行逆量化。逆正交变换部107对该被逆量化后的系数列中包括的各频率系数,进行逆离散余弦变换等逆正交变换(逆频率变换),生成解码差分图像。
加法器108从帧内/帧间判定部114获得预测图像,对该预测图像与由逆正交变换部107生成的解码差分图像进行相加,从而生成局部解码图像(再构成图像)。
解块滤波器109除去由加法器108生成的局部解码图像的块失真,将该局部解码图像存放到存储器110。
存储器110是用于存放局部解码图像的存储器,以用作帧间预测时的参考图像。另外,该存储器110作为解码图片缓冲器(DPB)来使用。
帧内预测部111使用由加法器108生成的局部解码图像,通过将对象块进行帧内预测,从而生成预测图像(帧内预测图像)。
运动检测部113针对运动图像信号中包括的对象块,检测运动矢量,将检测出的运动矢量输出到帧间预测部112和熵编码部105。
帧间预测部112将存储器110中存放的图像,作为参考图像来参考,并且同时采用由运动检测部113检测出的运动矢量,针对对象块进行运动补偿。帧间预测部112通过进行这样的运动补偿,即针对对象块进行帧间预测,从而生成对象块的预测图像(帧间预测图像)。
帧内/帧间判定部114针对对象块,判定是进行帧内预测编码还是进行帧间预测编码。在对象块被帧内预测编码的情况下,帧内/帧间判定部114将由帧内预测部111生成的预测图像(帧内预测图像)输出到减法器102以及加法器108。另外,帧内/帧间判定部114在对象块被帧间预测编码的情况下,将由帧间预测部112生成的预测图像(帧间预测图像)输出到减法器102以及加法器108。
熵编码部105通过对由量化部104量化的系数列、以及由运动检测部113检测出的运动矢量进行熵编码(可变长编码),从而生成比特流。即,熵编码部105通过进行熵编码,来获得作为比特流的第1流,将该第1流输出到变换装置10b。换而言之,熵编码部105具有实施方式1至3的变换装置10a的获得部11的功能。
变换装置10b具有与实施方式1至3的变换装置10a相同的功能。具体而言,变换装置10b具备第2编码部12c、判断部13、以及输出部14。第2编码部12c具有与实施方式1至3的变换装置10a中的编码部12b相同的功能。在此,变换装置10b虽然不具备解码部12a,不过可以将第1编码部100的存储器110中存放的各图像,作为第1流中包括的各编码数据的解码图像来获得。即,第2编码部12c针对第1编码部100的存储器110中存放的解码图像,执行编码处理。据此,能够简化构成。
另外,第2编码部12c可以具有与第1编码部100相同的构成。在这种情况下,第2编码部12c中的量化部104对上述的系数列中包括的各频率系数不进行量化,而是输出到熵编码部105。据此,第2编码部12c能够实现针对图像的可逆的编码。或者,第2编码部12c中的量化部104可以针对上述的系数列中包括的各频率系数,进行量化步长为1的量化。据此,与上述同样,第2编码部12c能够实现针对图像的可逆的编码。并且,实施方式1至3的变换装置10a中的编码部12b也与第2编码部12c同样,可以具有与第1编码部100相同的构成。即使在这种情况下,编码部12b也可以省略量化的处理,通过进行量化步长为1的量化,来实现针对图像的可逆的编码。
(实施方式5)
本实施方式中的影像分发***具备包括变换装置的影像分发装置。
图7是本实施方式中的影像分发***的构成图。
影像分发***300A如图7所示,具备采用了变换装置的影像分发装置310、影像接收装置320以及330。
影像分发装置310具备摄像部311、编码部312、变换装置313、以及发送部314。这种影像分发装置310经由网络,与影像接收装置320以及330分别连接,将作为流的影像数据分别发送到影像接收装置320以及330。
摄像部311具备包括多个透镜的光学***、以及作为光电转换元件的摄像元件,将被摄体的光学图像变换为每个像素的信号。每个像素的信号作为影像信号被输入到编码部312。
编码部312对从摄像部311输入的影像信号进行编码,生成编码数据,并输出到变换装置313。
变换装置313是实施方式1至3的变换装置10a。实施方式1至3的第1解码装置21相当于影像接收装置320,第2解码装置22相当于影像接收装置330。在影像分发装置310的影像数据的发送目的地仅为影像接收装置320的情况下,变换装置313仅将第1流输出到发送部314。例如,影像分发装置310在向影像接收装置320发送影像数据的途中,会有从影像接收装置330接受也请求影像接收装置330开始影像数据的分发的请求的情况。在这种情况下,变换装置313以与实施方式1至3相同的方法,将第2流与第1流一起输出到发送部314。
另外,包括编码部312和变换装置313的单元可以是实施方式4中的编码装置200。
发送部314将从变换装置313输出的流,发送到影像接收装置320以及330的至少其中一方。在本实施方式的情况下,发送部314将第1流发送到影像接收装置320,将第2流发送到影像接收装置330。在经由网络,影像分发装置310与影像接收装置320以及330分别连接的情况下,发送部314可以将流变换为多个IP数据包并传输。
影像接收装置320以及330分别具备接收部341、解码部342以及显示部343。接收部341从影像分发装置310接收流,并输出到解码部342。并且,接收部341在接收到多个IP数据包的情况下,将该多个IP数据包变换为流,并将该流输出到解码部342。解码部342通过对流进行解码,来生成影像信号,将该影像信号输出到显示部343。显示部343按照由解码部342生成的影像信号,对影像进行显示。
通过此构成,即使在影像分发装置310将流发送到影像接收装置320的中途,也不必直到下一个帧内编码数据而进行等待,能够从任意的定时的编码数据开始,将流发送到影像接收装置330。在此例如设想如下的情况,使影像分发装置具备多个由编码部以及变换装置构成的单元,从而能够以任意的定时,开始向多个影像接收装置的每一个发送流。但是在本实施方式中,变换装置313具有实施方式1至3的变换装置10a的功能,由编码部312以及变换装置313构成的单元具有实施方式4的编码装置200的功能。因此,影像分发装置310即使没有按照影像接收装置,来具备多个由编码部312和变换装置313构成的单元,也能够以任意的定时,来开始向多个影像接收装置的每一个发送流。
并且,本实施方式中的影像接收装置320以及330,与实施方式1至3中的第1解码装置21以及第2解码装置22分别对应。并且,影像接收装置320以及330分别具备:接收部341,接收包括第2图片的第2流;解码部342,通过对该第2流进行解码,来生成影像信号;以及显示部343,按照影像信号,来显示影像。在此,第2图片是通过对第1流中包括的被不可逆编码的第1图片进行变换而得到的被可逆编码的图片。
据此,例如在第1流被发送时,当请求该第1流中包括的第1图片以后的各图片的发送时,接收部341接收的第2流中包括的第2图片,不是被不可逆编码的图片,而是被可逆编码的图片。这样,解码部342能够对第2流中包括的第2图片以后的各图片进行恰当的解码,从而能够抑制解码图像的画质的降低。
(实施方式6)
本实施方式中的影像分发***具备包括变换装置的影像中继装置。
图8是本实施方式中的影像分发***的构成图。在图8中,对于与实施方式5的图7所示的构成要素相同的构成要素,采用相同的编号,并省略详细说明。
影像分发***300B如图8所示,具备影像发送装置350、影像中继装置360、影像接收装置320以及330。
影像发送装置350具备摄像部311、编码部312、以及发送部351。
摄像部311具备包括多个透镜的光学***、以及作为光电转换元件的摄像元件,将被摄体的光学图像变换为每个像素的信号。每个像素的信号作为影像信号,被输入到编码部312。
编码部312对从摄像部311输入的影像信号进行编码,生成编码数据,并输出到变换装置313。
发送部351将包括从编码部312输出的编码数据的流,发送到影像中继装置360。
影像中继装置360经由网络,与影像发送装置350连接,从该影像发送装置350接收流。并且,影像中继装置360经由网络,与影像接收装置320以及330分别连接,将作为影像数据流分别发送到影像接收装置320以及330。
影像中继装置360具备接收部361、变换装置313、以及发送部314。
接收部361从影像发送装置350接收流。
变换装置313是实施方式1至3的变换装置10a。实施方式1至3的第1解码装置21相当于影像接收装置320,第2解码装置22相当于影像接收装置330。在影像分发装置310的影像数据的发送目的地仅为影像接收装置320的情况下,变换装置313仅将第1流输出到发送部314。例如,影像中继装置360在向影像接收装置320发送影像数据的中途,会有从影像接收装置330接受也使影像接收装置330开始影像数据的分发的请求的情况。在这种情况下,变换装置313以与实施方式1至3相同的方法,将第2流与第1流一起输出到发送部314。
发送部314将从变换装置313输出的流,发送到影像接收装置320以及330的至少其中一方。在本实施方式的情况下,发送部314将第1流发送到影像接收装置320,将第2流发送到影像接收装置330。在经由网络,影像分发装置310与影像接收装置320以及330分别连接,发送部314可以将流变换为多个IP数据包来传输。
影像接收装置320以及330分别从影像中继装置360接收流,并通过解码来生成影像信号,按照该影像信号来显示影像。
(实施方式7)
本实施方式中的影像再生***具备包括变换装置的影像记录再生装置。
图9是本实施方式中的影像再生***的构成图。在图9中,对于与实施方式5的图7或实施方式6的图8所示的构成要素相同的构成要素,采用相同的编号,并省略详细说明。
如图9所示,影像再生***400A具备影像发送装置350、以及影像记录再生装置410。
影像发送装置350具有与实施方式6中的影像发送装置350相同的构成,经由网络,与影像记录再生装置410连接。
影像记录再生装置410具备接收部361、变换装置313、记录部411、记录介质412、读取部413、解码部342以及显示部343。该影像记录再生装置410具有如下的功能,即:从影像发送装置350,经由网络来接收流,并且同时进行再生的即时再生功能(所谓的流播放功能);将流记录到记录介质412的记录功能;以及对记录的流进行再生的记录再生功能。
接收部361从影像发送装置350的发送部351,依次获得IP数据包,从这些IP数据包,生成包括编码数据的流,将该流输出到变换装置313。
变换装置313是实施方式1至3的变换装置10a。
在即时再生功能的处理被执行的情况下,变换装置313针对从接收部361输出的流不进行变换,而是将该流作为第1流,输出到解码部342。
在即时再生功能的处理被执行的中途,当记录功能的处理被开始的情况下,变换装置313将从接收部361输出的流作为第1流来处理,以与实施方式1至3相同的方法,从第1流,生成第2流。并且,变换装置313将第2流存放到记录介质412。
在记录功能的处理被执行的情况下也是同样,变换装置313将从接收部361输出的流作为第1流来处理,从该第1流,生成第2流。但是在这种情况下,变换装置313的判断部13在第1流从接收部361被输出的期间,将上述的再次编码的指示信号进行周期性的输出。例如,判断部13以比第1流的GOP短的周期,来输出指示信号。据此,被可逆压缩的I图片或P图片的编码数据以更短的周期而被配置的第2流被生成。并且,变换装置313将该第2流存放到记录介质412。
另外,在第1流中被帧间编码的帧连续地出现规定的次数的情况下,判断部13可以输出再次编码的指示信号。或者,在满足特定的条件的情况下,判断部13可以输出再次编码的指示信号。
记录部411将从变换装置313输出的第2流记录到记录介质412。记录介质412可以是存储器、HDD(hard disk drive:硬盘驱动器)、或SSD(solid state drive:固态硬盘)等存储装置,也可以是能够取下的SD存储卡、USB(Universal Serial Bus:通用串行总线)存储器、或能够经由网络连接的NAS(Network Attached Storage:网络附属存储)等。
读取部413在记录再生功能被利用的情况下,从记录介质412读取第2流,将该第2流之中的、再生开始位置的帧以后的各编码数据,输出到解码部342。另外,再生开始位置的帧的编码数据也可以是被帧内编码的帧。
解码部342通过对从变换装置313或读取部413输出的流进行解码,来生成影像信号,将该影像信号输出到显示部343。
显示部343按照从解码部342输出的影像信号,来显示影像。
另外,接收部361、变换装置313、以及记录部411、与读取部413、解码部342、以及显示部343,也可以分别具备在不同的装置。
这种影像记录再生装置410,能够从接收的流的中途开始记录。并且,通过对任意的帧,以可逆压缩方式进行编码或帧内编码,从而能够增加可开始解码的帧。
图10是用于说明进行可逆压缩方式的转码的图。
本实施方式中的变换装置313如图10所示,将由编码部312生成的第1流中包括的不可逆的编码数据P2,转码为可逆的编码数据P2。据此,包括可逆的编码数据P2的第2流被蓄积到记录介质412。
在该转码中,变换装置313可以对由编码数据P2参考的编码数据进行变更。例如,编码数据P2是参考编码数据P1的解码图像,进行了不可逆的编码的图片。变换装置313的解码部12a通过对该不可逆的编码数据P2进行解码,来生成解码图像。于是,变换装置313的编码部12b对该解码图像,通过可逆的帧间预测来进行编码。此时,编码部12b不是参考该编码数据P2的紧前的编码数据P1的解码图像,而是参考长期的编码数据I1的解码图像,来进行帧间预测编码。
据此,解码部342在将记录介质412中蓄积的第2流,例如进行快速播放时,可以不必对编码数据P2的紧前的编码数据P1进行解码,就能够恰当地对该编码数据P2进行解码。而且,解码部342针对后续于该编码数据P2的其他的编码数据P3以及P4也能够恰当地进行解码。即,能够抑制影像的紊乱,来恰当地再生第2流。
图11是本实施方式中的其他的影像再生***的构成图。在图11中,对于与图9所示的构成要素相同的构成要素,采用相同的编号,并省略详细说明。
图11所示的影像再生***400B取代影像记录再生装置410,而具备影像记录装置410A、记录介质412、影像再生装置410B。影像记录装置410A具备接收部361、变换装置313、以及记录部411。影像再生装置410B具备读取部413、解码部342、以及显示部343。该影像再生装置410B与上述的影像记录再生装置410同样,虽然具有记录功能,但是不具有即时再生功能。并且,影像记录装置410A的变换装置313所具备的判断部13,与影像记录再生装置410的变换装置313所具备的判断部13同样,可以对上述的再次编码的指示信号进行周期性的输出。或者,在第1流中,被帧间编码的帧连续地出现规定次数的情况下,判断部13也可以对再次编码的指示信号进行输出。或者,可以在满足规定的条件的情况下,判断部13对再次编码的指示信号进行输出。据此,能够从GOP的中途开始流的记录再生。
以上对一个或多个形态所涉及的变换装置以及解码装置等,基于上述的各实施方式进行了说明,不过并非受这些实施方式所限。在不脱离本公开的主旨的范围内,将本领域技术人员所能够想到的各种变形执行于各实施方式而得到的形态、以及对不同的实施方式中的构成要素进行组合而构筑的形态,均包括在本公开的范围内。
例如在上述的各实施方式中,各构成要素可以由专用的硬件来构成,或者可以通过执行适于各构成要素的软件程序来实现。各构成要素可以由CPU或处理器等的程序执行部,读出并执行被记录在硬盘或半导体存储器等记录介质的软件程序来实现。
图12是示出变换装置10a的构成的其他的例子的方框图。
变换装置10a具备处理器1以及存储器2。处理器1利用该存储器2,获得第1流,将第1流中包括的被不可逆编码的第1图片,变换为被可逆编码的图片即第2图片,并输出包括第2图片的第2流。在存储器2中可以存放用于使处理器1执行上述的各处理的程序。在这种情况下,处理器1通过执行该程序,来执行图片的变换等上述的各处理。或者,存储器2可以被用于与保持获得的第1图片,也可以用于保持第2图片。另外,变换装置10b与变换装置10a同样,可以具有图12所示的构成。
并且,实现上述的各实施方式的变换装置等的软件,可以使计算机执行图3A或图3B所示的流程图中包括的各步骤。
并且,在上述的各实施方式中,编码数据虽然是图片或帧被编码而得到的数据,也可以是对图片或帧以外的图像单位进行编码而得到的数据。该图像单位例如可以是块、片或序列等。
并且,本公开的一个形态所涉及的编码装置可以由多个装置构成。例如,编码装置可以由对图像进行编码并输出编码数据的发送机、以及中继装置构成。中继装置可以具备变换部、发送部、以及接收部,所述变换部从发送机接收编码数据,对编码数据进行解码,并进行转码,所述发送部将编码数据发送到接收机,所述接收部接收来自接收机的请求信号。
并且,本公开的一个形态所涉及的变换装置也可以称为编码装置。即,编码装置具备编码部和输出部。编码部对通过解码第1流中包括的第1编码数据而得到的解码图像,执行编码处理,并生成第2编码数据。在此,第1编码数据是通过对影像信号进行编码而被生成的,第2编码数据与第1期间对应。输出部输出包括第2编码数据、以及与后续于第1期间的第2期间对应的编码数据的第2流。在此,第1编码数据以及第2编码数据分别是例如图2所示的编码数据P2以及编码数据I2。并且,与第2期间对应的编码数据是例如图2所示的编码数据P3。并且,上述的编码部以及输出部分别与例如图1所示的编码部12b以及输出部14对应。
并且,本公开的一个形态所涉及的变换装置也可以称为以下的编码装置。即编码装置具备编码部。该编码部针对影像信号中包括的第1帧的图像,执行参考了其他的帧的帧间编码处理,来生成第1编码数据。接着,编码部针对该影像信号中包括的第2帧的图像,执行参考了第1帧的帧间编码处理,来生成第2编码数据。于是,编码部针对与该第1帧对应且在第2帧的编码中所使用的参考图像,执行采用了可逆压缩方式的编码处理,来生成第3编码数据。在此,第1编码数据、第2编码数据以及第3编码数据例如分别是图2所示的编码数据P2、编码数据P3以及编码数据I2。并且,上述的编码部例如与图6所示的第1编码部100对应。
并且,本公开的一个形态所涉及的变换装置也可以称为以下的编码装置。即编码装置具备编码部和输出部。该编码部针对影像信号中包括的第1帧的图像,执行参考了其他的帧的帧间编码处理,来生成第1编码数据。接着,编码部针对该影像信号中包括的第2帧的图像,执行参考了第1帧的帧间编码处理,来生成第2编码数据。于是,编码部针对与该第1帧对应且用于第2帧的编码的参考图像,执行不参考其他的帧的编码处理,从而生成第3编码数据。并且,输出部对包括第1编码数据和第2编码数据的第1流、以及包括第3编码数据和第2编码数据的第2流进行输出。在此,第1编码数据、第2编码数据以及第3编码数据例如分别是图2所示的编码数据P2、编码数据P3以及编码数据I2。并且,上述的编码部以及输出部例如与图6所示的第1编码部100以及输出部14分别对应。
并且,第3编码数据也可以按照来自其他的装置的请求,仅在预先规定的期间而被生成。
并且也可以是,本公开的一个形态所涉及的变换装置是对已编码的影像流进行变换的变换装置,具备判断部、再次编码部、以及输出部。判断部判断是否对被输入的第1流中包括的编码数据进行变换。再次编码部对由该判断部判断为进行变换的变换前的编码数据,再次进行编码。输出部对包括在判断部被判断为不进行变换的非变换的编码数据、以及由再次编码部被再次编码的变换后的编码数据的第2流进行输出。
在此,再次编码部可以针对通过对上述的变换前的编码数据进行解码而得到的图像,以可逆压缩方式编码为帧内编码数据。
并且也可以是,再次编码部将通过对第1变换前编码数据进行解码而得到的第1图像,以不可逆压缩方式编码为帧内编码数据。再次编码部将通过对后续于该第1变换前编码数据的第2变换前编码数据进行解码而得到的第2图像,以可逆压缩方式编码为参考了该第1图像的帧间编码数据。
并且也可以是,再次编码部将通过对第1变换前编码数据进行解码而得到的第1图像,以不可逆压缩方式编码为帧内编码数据,参考通过对该帧内编码数据进行解码而得到的第2图像,以可逆压缩方式,将该第1图像编码为帧间编码数据。
并且可以是,判断部将想要开始解码的第1编码数据,判断为第1变换前编码数据,将后续于第1编码数据的第2编码数据,判断为非变换编码数据。
并且可以是,判断部将想要开始解码的第1编码数据和后续于第1编码数据的一个以上的第2编码数据,分别判断为变换前编码数据,将下一个编码数据判断为非变换编码数据。
产业上的可利用性
本公开所涉及的变换装置、编码装置、影像分发***、以及影像再生***等例如能够适用于监控摄像头或视频会议***等进行数据的编码或解码的设备或***。
符号说明
10a、10b 变换装置
11 获得部
12 变换部
12a 解码部
12b 编码部
12c 第2编码部
13 判断部
14 输出部
21 第1解码装置
22 第2解码装置
100 第1编码部
101 片分割部
102 减法器
103 正交变换部
104 量化部
105 熵编码部
106 逆量化部
107 逆正交变换部
108 加法器
109 解块滤波器
110 存储器
111 帧内预测部
112 帧间预测部
113 运动检测部
114 帧内/帧间判定部
200 编码装置
300A、300B 影像分发***
310 影像分发装置
311 摄像部
312 编码部
313 变换装置
314 发送部
320、330 影像接收装置
341 接收部
342 解码部
343 显示部
400A、400B 影像再生***
410 影像记录再生装置
410A 影像记录装置
410B 影像再生装置
411 记录部
412 记录介质
413 读取部
Claims (13)
1.一种变换装置,具备:
获得部,获得第1流;
变换部,将所述第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片;以及
输出部,对包括所述第2图片的第2流进行输出。
2.如权利要求1所述的变换装置,
所述输出部,以第3图片按解码顺序被配置在所述第2图片之后的方式,使所述第3图片包括在所述第2流中,所述第3图片是所述第1流中包括的参考所述第1图片的解码图像而被编码的图片,
对包括所述第3图片的所述第2流进行输出。
3.如权利要求1或2所述的变换装置,
所述输出部,进一步对由所述获得部获得的所述第1流进行输出。
4.如权利要求1至3的任一项所述的变换装置,
所述变换装置进一步具备判断部,
所述判断部针对所述第1流中包括的多个图片的每一个,判断是否对该图片的编码方式进行变换,
所述变换部,将由所述判断部判断为进行变换的图片即所述第1图片,变换为所述第2图片。
5.如权利要求4所述的变换装置,
所述判断部,针对如下的图片的每一个,判断为进行编码方式的变换,这些图片是指,所述第1流中包括的多个图片之中的、包括与接受到流的发送请求的定时对应的所述第1图片的至少一个连续的图片。
6.如权利要求5所述的变换装置,
所述判断部,针对所述第1流中包括的多个图片之中的、所述至少一个连续的图片以后的各图片,判断为不进行编码方式的变换。
7.如权利要求1至6的任一项所述的变换装置,
所述变换部,
通过对所述第1图片进行解码,来生成所述第1图片的解码图像,
通过对所述第1图片的解码图像进行可逆编码,从而将所述第1图片变换为所述第2图片。
8.如权利要求7所述的变换装置,
所述变换部,通过对所述第1图片的解码图像进行帧内预测编码,从而将所述第1图片变换为所述第2图片。
9.如权利要求7所述的变换装置,
所述变换部进一步,
通过对第4图片进行解码,从而生成所述第4图片的解码图像,所述第4图片是所述第1流中包括的、进行了不可逆的帧间预测编码的图片,
通过对所述第4图片的解码图像进行不可逆的帧内预测编码,从而将所述第4图片变换为第5图片,
在所述第1图片向所述第2图片的变换中,
通过对参考所述第4图片的解码图像而被帧间预测编码的所述第1图片的解码图像,参考所述第5图片的解码图像,进行可逆的帧间预测编码,从而将所述第1图片变换为所述第2图片,
所述输出部,对包括所述第5图片以及所述第2图片的所述第2流进行输出。
10.如权利要求7所述的变换装置,
所述变换部进一步,
通过对所述第1流中包括的进行了不可逆的帧间预测编码的所述第1图片进行解码,来生成所述第1图片的解码图像,
通过对所述第1图片的解码图像进行不可逆的帧内预测编码,从而将所述第1图片变换为第4图片,
在所述第1图片向所述第2图片的变换中,
通过对所述第1图片的解码图像,参考所述第4图片的解码图像进行可逆的帧间预测编码,从而将所述第1图片变换为所述第2图片,
所述输出部对包括所述第4图片以及所述第2图片的所述第2流进行输出。
11.一种解码装置,
所述解码装置具备:
接收部,接收包括第2图片的第2流;
解码部,通过对所述第2流进行解码,来生成影像信号;以及
显示部,按照所述影像信号,对影像进行显示,
所述第2图片是通过对第1流中包括的被不可逆编码的第1图片进行变换,而得到的进行了可逆编码的图片。
12.一种变换方法,由计算机对图片的编码方式进行变换,
在该变换方法中,
获得第1流,
将所述第1流中包括的被不可逆编码的第1图片,变换为第2图片,该第2图片是被可逆编码的图片,
对包括所述第2图片的第2流进行输出。
13.一种解码方法,由计算机对流进行解码,
在该解码方法中,
接收包括第2图片的第2流,
通过对所述第2流进行解码,来生成影像信号,
按照所述影像信号,对影像进行显示,
所述第2图片是通过对第1流中包括的被不可逆编码的第1图片进行变换,而得到的被可逆编码的图片。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170854A JP7378035B2 (ja) | 2018-09-12 | 2018-09-12 | 変換装置、復号装置、変換方法および復号方法 |
JP2018-170854 | 2018-09-12 | ||
PCT/JP2019/026648 WO2020054190A1 (ja) | 2018-09-12 | 2019-07-04 | 変換装置、復号装置、変換方法および復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112655213A true CN112655213A (zh) | 2021-04-13 |
Family
ID=69777110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980058196.0A Pending CN112655213A (zh) | 2018-09-12 | 2019-07-04 | 变换装置、解码装置、变换方法以及解码方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11490121B2 (zh) |
EP (1) | EP3852369A4 (zh) |
JP (1) | JP7378035B2 (zh) |
CN (1) | CN112655213A (zh) |
WO (1) | WO2020054190A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001257888A (ja) * | 2000-03-09 | 2001-09-21 | Seiko Epson Corp | 画像符号化装置、画像符号化方法、画像復号化装置および画像復号化方法ならびに情報記録媒体 |
JP2001359099A (ja) * | 2000-06-15 | 2001-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 段階的可逆画像信号符号化方法,復号方法,符号化装置,復号装置,およびその符号化,復号プログラムの記録媒体 |
WO2010041734A1 (ja) * | 2008-10-09 | 2010-04-15 | 日本電気株式会社 | 端末、画像表示方法及びプログラム |
EP2449778A2 (en) * | 2009-08-13 | 2012-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image by using large transformation unit |
US20120236111A1 (en) * | 2009-01-30 | 2012-09-20 | Polycom, Inc. | Method and System for Switching Between Video Streams in a Continuous Presence Conference |
WO2013002550A2 (ko) * | 2011-06-30 | 2013-01-03 | 에스케이텔레콤 주식회사 | 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치 |
RU2534751C1 (ru) * | 2008-04-24 | 2014-12-10 | Моторола Мобилити, Инк. | Способ и устройство для кодирования и декодирования видео |
WO2018135885A1 (ko) * | 2017-01-19 | 2018-07-26 | 가온미디어 주식회사 | 변환 처리를 제공하는 영상 복호화 및 부호화 방법 |
JP2018125882A (ja) * | 2018-03-28 | 2018-08-09 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3380981B2 (ja) | 1998-06-19 | 2003-02-24 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに記録媒体 |
JP3962053B2 (ja) * | 2004-11-15 | 2007-08-22 | 株式会社東芝 | 動画像再符号化装置 |
JP4772375B2 (ja) | 2005-04-28 | 2011-09-14 | 株式会社東芝 | 電子機器およびコンテンツ管理方法 |
CN102318202B (zh) | 2006-03-29 | 2014-06-04 | 维德约股份有限公司 | 用于可缩放与非可缩放视频编解码器之间的译码的***和方法 |
US8233527B2 (en) * | 2007-05-11 | 2012-07-31 | Advanced Micro Devices, Inc. | Software video transcoder with GPU acceleration |
WO2010027082A1 (ja) * | 2008-09-08 | 2010-03-11 | 日本電気株式会社 | カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム |
JP2013042492A (ja) * | 2011-08-11 | 2013-02-28 | Polycom Inc | 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム |
JP2018074349A (ja) * | 2016-10-28 | 2018-05-10 | 住友電気工業株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
-
2018
- 2018-09-12 JP JP2018170854A patent/JP7378035B2/ja active Active
-
2019
- 2019-07-04 WO PCT/JP2019/026648 patent/WO2020054190A1/ja unknown
- 2019-07-04 EP EP19859227.1A patent/EP3852369A4/en active Pending
- 2019-07-04 CN CN201980058196.0A patent/CN112655213A/zh active Pending
-
2021
- 2021-03-09 US US17/196,299 patent/US11490121B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001257888A (ja) * | 2000-03-09 | 2001-09-21 | Seiko Epson Corp | 画像符号化装置、画像符号化方法、画像復号化装置および画像復号化方法ならびに情報記録媒体 |
JP2001359099A (ja) * | 2000-06-15 | 2001-12-26 | Nippon Telegr & Teleph Corp <Ntt> | 段階的可逆画像信号符号化方法,復号方法,符号化装置,復号装置,およびその符号化,復号プログラムの記録媒体 |
RU2534751C1 (ru) * | 2008-04-24 | 2014-12-10 | Моторола Мобилити, Инк. | Способ и устройство для кодирования и декодирования видео |
WO2010041734A1 (ja) * | 2008-10-09 | 2010-04-15 | 日本電気株式会社 | 端末、画像表示方法及びプログラム |
JP2010093650A (ja) * | 2008-10-09 | 2010-04-22 | Nec Corp | 端末、画像表示方法及びプログラム |
CN102177712A (zh) * | 2008-10-09 | 2011-09-07 | 日本电气株式会社 | 终端、图像显示方法及程序 |
US20120236111A1 (en) * | 2009-01-30 | 2012-09-20 | Polycom, Inc. | Method and System for Switching Between Video Streams in a Continuous Presence Conference |
EP2449778A2 (en) * | 2009-08-13 | 2012-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding image by using large transformation unit |
WO2013002550A2 (ko) * | 2011-06-30 | 2013-01-03 | 에스케이텔레콤 주식회사 | 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치 |
WO2018135885A1 (ko) * | 2017-01-19 | 2018-07-26 | 가온미디어 주식회사 | 변환 처리를 제공하는 영상 복호화 및 부호화 방법 |
JP2018125882A (ja) * | 2018-03-28 | 2018-08-09 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
BILGIN A: "Scalable image coding using reversible integer wavelet transforms", IEEE TRANSACTIONS ON IMAGE PROCESSING : A PUBLICATION OF THE IEEE SIGNAL PROCESSING SOCIETY, vol. 9, no. 11, 31 July 2020 (2020-07-31) * |
吴琼;袁静;: "基于H.264视频编码的关键技术及其复杂度测试", 现代电子技术, no. 20 * |
Also Published As
Publication number | Publication date |
---|---|
EP3852369A4 (en) | 2021-11-10 |
JP7378035B2 (ja) | 2023-11-13 |
US20210195243A1 (en) | 2021-06-24 |
WO2020054190A1 (ja) | 2020-03-19 |
JP2020043519A (ja) | 2020-03-19 |
EP3852369A1 (en) | 2021-07-21 |
US11490121B2 (en) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11196995B2 (en) | Image processing device and image processing method | |
KR20110071231A (ko) | 부호화 방법, 복호화 방법 및 장치 | |
KR101147744B1 (ko) | 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 pvr | |
JP2003284078A (ja) | 画像符号化方法及び装置並びに画像復号化方法及び装置 | |
JP4983917B2 (ja) | 動画像配信システム、変換装置および動画像配信方法 | |
JP4799547B2 (ja) | それぞれマルチマクロブロックを含む予測ピクチャおよび非予測ピクチャを使用した、ピクチャシーケンスのエンコーディング方法およびエンコーディング装置 | |
KR101853998B1 (ko) | 동화상 복호화 장치 | |
US20100020883A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
US9807388B2 (en) | Adaptive intra-refreshing for video coding units | |
WO2008146892A1 (ja) | 動画像変換装置、動画像変換方法、および動画像変換プログラム | |
KR101788732B1 (ko) | 동화상 예측 부호화 및 복호 장치, 방법, 그리고 프로그램 | |
KR101880325B1 (ko) | 동화상 부호화 장치 | |
JP5472094B2 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
JP7378035B2 (ja) | 変換装置、復号装置、変換方法および復号方法 | |
CN110572680B (zh) | 视频解码、编码方法和装置,存储介质与解码器、编码器 | |
US20230388535A1 (en) | Systems and methods for combining subblock motion compensation and overlapped block motion compensation | |
JP2009049826A (ja) | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |