CN101902640A - 信息处理设备以及方法 - Google Patents

信息处理设备以及方法 Download PDF

Info

Publication number
CN101902640A
CN101902640A CN2010101842032A CN201010184203A CN101902640A CN 101902640 A CN101902640 A CN 101902640A CN 2010101842032 A CN2010101842032 A CN 2010101842032A CN 201010184203 A CN201010184203 A CN 201010184203A CN 101902640 A CN101902640 A CN 101902640A
Authority
CN
China
Prior art keywords
code flow
split position
unit
decoding
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010101842032A
Other languages
English (en)
Inventor
友永宪
高田敏男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101902640A publication Critical patent/CN101902640A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种能够进一步减少解码处理的延迟时间的信息处理设备以及方法。分析部(132)在传输过程中分析代码流。分割位置决定部(133)基于分析结果来决定代码流的分割位置。分割部(134)从存储部(122)读出代码流并同时在由分割位置决定部(133)决定的位置处分割代码流。解码控制部(135)将分割的代码流分配给多个解码处理执行部,并使所述解码处理执行部并列地执行解码处理。本发明例如能够应用于解码设备。

Description

信息处理设备以及方法
技术领域
本发明涉及信息处理设备以及方法,特别是涉及能够进一步减少解码处理的延迟时间的信息处理设备以及方法。
背景技术
以往有一种对代码流进行解码的解码设备,该代码流是通过被称为MPEG(Moving Picture Experts Group,运动图像专家组)的编码方式对运动图像进行编码而得的。在被标准化的MPEG系列中,MPEG 2较为普遍。最近,提高了压缩率的MPEG 4、AVC(Advanced Video Coding,高级视频编码)的压缩编码方式也进行了标准化。
当在个人计算机中对上述的代码流进行解码时,有一种解码方法使用通过硬件构成的解码器进行解码,所述解码器例如是通过扩展板等而增设在个人计算机中的。
在上述情况下,个人计算机在需要对代码流进行解码时,将该代码流提供给解码器。解码器一旦从个人计算机获取代码流就进行解码,并将基带的数据返回给个人计算机。因此,如果从个人计算机将代码流提供给解码器直到获得其编码结果的延迟时间(等待时间)长,个人计算机执行的整体处理的处理时间就会变长。
特别是,执行一般的转换和作用的应用软件的编解码器I/F通常一帧一帧进行解码,因此运动图像数据整体的等待时间会变得更长。
在例如影片制作等处理非压缩影像的领域,图像趋于越来越清晰化,例如达到4k×2k等,从而数据的编码越发变得重要。
专利文献1:日本专利文献特开2001-292450号公报。
发明内容
然而,如果解码处理的等待时间变长,编辑时间就会变长,从而可能变得不现实。
虽在MPEG 2中也有以更短的等待时间进行解码的方法,但由于MPEG 2执行帧间压缩,因此即便如此等待时间也较长。另外有高压缩率的帧内压缩的MPEG 4 Simple Studio Profile(MPEG 4简单演播室类,以下称为SStP)(例如,参考专利文献1)。
然而尚不存在使用MPEG 4 SStP执行短等待时间的解码处理的方法。例如,虽然在MPEG 2中存在表示行的起始的部分,但在MPEG 4中不存在这样的部分,因此难以应用现有方法。
本发明就是鉴于上述状况而提出的,目的在于进一步减少解码处理的延迟时间。
本发明的一个侧面是一种信息处理设备,其包括:分析装置,其将编码图像数据而得的代码流在传输过程中进行分析;分割位置决定装置,其基于由所述分析装置进行分析的结果,根据所述图像数据的图像的尺寸来决定所述代码流的分割位置;以及解码装置,其对多个分割单位代码流并列地进行解码,所述多个分割单位代码流是将所述代码流在由所述分割位置决定装置决定的所述分割位置分割而得的。
所述分析装置可以分析所述代码流来确定所述图像数据的图像的一行,并且所述分割单位决定装置能够以所述图像数据的图像的一行或多行为单位决定所述分割位置。
所述分析装置能够通过检测所述代码流的片段起始码并基于紧接在所述片段起始码之后的宏块号搜索行开头的宏块,来确定所述一行,所述分割单位决定装置能够以所述宏块的行数为单位决定所述分割位置。
所述信息处理设备还能够包括:获取装置,其获取所述代码流;以及存储装置,其存储由所述获取装置获取的所述代码流,所述分析装置能够在将由所述获取装置获取的所述代码流存储到所述存储装置中的同时对该代码流进行分析。
所述分割位置决定装置能够与所述存储装置的突发边界相符地决定所述分割位置。
所述信息处理设备还能够包括:控制装置,其将所述解码装置执行解码处理的结果通过突发传输而提供并存储到所述存储装置中;以及输出装置,其通过所述突发传输从所述存储装置读出由所述存储装置存储的所述解码处理的结果,并输出该结果。
本发明的一个侧面也是一种信息处理方法,其中,分析装置将编码图像数据而得的代码流在传输过程中进行分析;分割位置决定装置基于分析的结果,根据所述图像数据的图像的尺寸来决定所述代码流的分割位置;并且解码装置对多个分割单位代码流并列地进行解码,所述多个分割单位代码流是将所述代码流在所述分割位置分割而得的。
在本发明的一个侧面中,在传输过程中对编码图像数据而得的代码流进行分析,基于分析的结果,根据图像数据的图像的尺寸来决定代码流的分割位置,并对在分割位置分割代码流而得的多个分割单位代码流并列地进行解码。
发明效果
根据本发明,能够处理信息。特别是能够进一步减少解码处理的延迟时间。
附图说明
图1是示出应用本发明的信息处理***的构成示例的框图;
图2是示出图1的解码处理单元的详细的构成示例的框图;
图3是说明代码流获取处理的流程示例的流程图;
图4是说明分割单位决定处理的流程示例的流程图;
图5是示出数据的构造示例的图;
图6是说明解码控制处理的流程示例的流程图;
图7是说明分割情形示例的图;
图8是说明传输处理的流程示例的流程图;
图9是说明延迟情形示例的图;
图10是示出应用本发明的个人计算机的主要的构成示例的框图。
具体实施方式
下面,对用于实施本发明的方式(以下称为实施方式)进行说明。说明按以下顺序进行。
1.第一实施方式(低延迟解码处理)
2.第二实施方式(个人计算机)
<1.第一实施方式>
[设备的构成]
图1是示出应用本发明的信息处理***的构成示例的框图。
图1所示的信息处理***100是如下的***:个人计算机101经由总线103向解码处理单元102提供将图像数据编码而得的代码流以使解码处理单元102解码代码流,并且个人计算机101经由总线103获取解码结果。
代码流是将图像数据通过MPEG 4 Simple Studio Profile(以下称为SStP)编码而得的。即,解码处理单元102通过作为帧内压缩的MPEG 4SStP方式以短等待时间对代码流进行解码。
个人计算机101包括CPU(Central Processing Unit,中央处理器)111、主存储部112、芯片组113、主机总线适配器114、以及辅助存储部115。
CPU 111读出存储在辅助存储部115中的程序和数据,并将读出的程序和数据加载到主存储部112中执行,从而进行运算或控制处理。主存储部112例如由DRAM(Dynamic Random Access Memory,动态随机存储器)等半导体存储器等构成,暂时保存各种信息。
芯片组113执行CPU 111的总线接口等的处理。主机总线适配器114是连接辅助存储部115等存储介质、驱动器等的总线的接口。辅助存储部115例如是由硬盘或闪存等构成的大容量的存储介质。
解码处理单元102包括控制部121、存储部122、以及解码部123。控制部121例如由CPU等构成,对解码处理单元102的各个部分进行控制。存储部122例如由DRAM等半导体存储器等构成,暂时保存各种信息。解码部123执行通过MPEG 4 SStP方式解码编码数据来得到运动图像数据的解码处理。
个人计算机101的辅助存储部115存储通过MPEG 4 SStP方式对运动图像数据进行编码而得的代码流。CPU 111经由芯片组113和主机总线适配器114从辅助存储部115读出该代码流,并将其保存在主存储部112中。
CPU 111读出保存在主存储部112中的代码流,并经由芯片组113和总线103将该代码流提供给解码处理单元102。解码处理单元102的控制部121获取该代码流后将其暂时保存在存储部122中。
控制部121以预定的定时从存储部122读出代码流,并将读出的代码流提供给解码部使其进行解码处理。控制部121在从解码部123得到解码结果的图像数据后,将其暂时保存在存储部122中。控制部121以预定的定时从存储部122读出运动图像数据,并将该运动图像数据经由总线103提供给个人计算机101。
个人计算机101的CPU 111在经由芯片组113获取该运动图像数据时将该运动图像数据保存在主存储部112中,并根据需要读出来进行变换处理和图像处理等。另外,CPU 111根据需要而将保存在主存储部112中的运动图像数据提供并存储在辅助存储部115中。
在影片制作等处理非压缩影像的领域中,图像区域越来越清晰化,例如达到4k×2k等,并且辅助存储部115传输带宽不够,因而出现了利用压缩的必要性,但是,如果不减少解码处理单元102中的解码处理的等待时间(延迟时间),其编辑时间就会变得很长而变得不现实。
MPEG 2由于是帧间压缩,等待时间过长。因此,个人计算机101使用压缩率高的帧内压缩的MPEG 4 SStP。这里,解码部123能够并行执行多个解码处理。
为了减少等待时间,控制部121以预定的单位分割代码流,并使解码部123对分割后的代码流相并列进行解码。
但是,在MPEG 4 SStP的情况下,由于在代码流中不存在表示行的起始的部分,因此不能应用在MPEG 2中使用的方法。
另外,将代码流分割后通过编解码器进行解码的结果暂时被存储在存储部122中,并以预定的定时被读出并传输给个人计算机101。此时,对存储部122的数据的输入输出期望通过突发传输(burst transfer)进行。为此,分割单位的图像数据的数据量需要对应于存储部122的突发边界(burst boundary)。如果分割单位的图像数据的数据量与突发边界不一致,就不能进行突发传输,因此有可能导致等待时间反而增加。
因此,解码处理单元102的控制部121从MPEG 4 SStP的代码流中检测出行的起始,并将该1行作为单位来决定代码流的分割位置。另外,控制部121也考虑突发边界来决定代码流的分割位置。
图2是示出图1的解码处理单元的详细的构成例的框图。
如图2所示,解码处理单元102的控制部121包括获取部131、分析部132、分割位置决定部133、分割部134、解码控制部135以及传输部136。获取部131获取从个人计算机101提供的代码流,并将其提供给分析部132。
分析部132分析代码流,例如获取表示该代码流的图像的图像尺寸的图像尺寸信息、包含宏块的位置或大小等信息在内的宏块信息等各种信息,并将这些信息通知给分割位置决定部133。另外,分析部132根据图像和宏块的大小来确定行的开头位置,并将其通知给分割位置决定部133。分析部132将代码流存储到存储部122中并同时进行其分析。即,分析部132在代码流的传输过程中进行其分析。因此,分析部132能够抑制由其分析处理引起的延迟时间的增加。
分割位置决定部133基于从分析部132提供的各种信息来决定代码流的分割位置(分割单位的大小)。此时,分割位置决定部133进而还考虑存储部122的突发边界来决定分割位置。分割位置决定部133将决定的分割位置(分割单位)通知给分割部134。
分割部134基于从分割位置决定部133提供的信息,从存储部122将代码流按照其每个分割单位读出(读出代码流以使其在分割位置被分割),由此分割代码流。分割部134将读出的代码流依次提供给解码控制部135。
解码控制部135将通过分割部134读出的分割单位的代码流分配给解码部123的解码处理执行部151至解码处理执行部153,并使得各解码处理执行部进行解码并获取各自的解码结果。解码控制部135将获取的各解码处理执行部的解码结果排队存储在存储部122的预定地址中。另外,解码控制部135向传输部136通知解码结果被保存在存储部122中。
传输部136从存储部122按照每一分割单位读出作为解码结果的图像数据,并传输给个人计算机。
存储部122包括:存储从个人计算机101提供的代码流的区域141、和存储从解码控制部135提供的作为解码结果的图像数据的区域142。如图2所示,在区域141中,从个人计算机101提供的代码流按照其提供顺序而被排列存储。另外,在区域142中,从解码部123提供的图像数据按照与分割前相同的顺序被排列存储。即,通过传输部136从区域142按地址顺序读出各图像数据,分割单位的图像数据被相互合成。
解码部123具有解码处理执行部151至解码处理执行部153。解码处理执行部151至解码处理执行部153分别通过MPEG 4 SStP方式解码代码流。解码处理执行部151至解码处理执行部153能够彼此并行地(并列地)执行解码处理。
这里,“并行地”或“并列地”是指各解码处理执行部的解码处理期间重叠。例如是指有时在某个定时,有多个解码处理执行部正在执行解码处理。即,不限于各解码处理执行部的解码处理的开始和结束的定时彼此一致。
由于如上述那样最多能够并行地执行三个解码处理,因此解码部123具有与一个解码处理执行部相比最大三倍的处理能力。因此,解码部123能够以更低延迟进行解码处理。解码部123具有的解码处理执行部的个数是任意的,可以是两个以下,也可以是四个以上。但是,解码部123的解码处理能力越高越好(期望能够更高速地动作、或者能够并列地执行更多的解码处理)。
另外,也可以将解码部123构成为与控制部121不同(分开独立)的单元。当然,各解码处理执行部也不需要构成为相同的单元。
[处理的流程]
接着,对由如上构成的解码处理单元102执行的各种处理进行说明。当从个人计算机101提供了代码流时,解码处理单元102的控制部121执行代码流获取处理,并如上所述将该代码流存储在存储部122中。
参考图3的流程图来说明代码流获取处理的流程示例。
在代码流获取处理开始后,控制部121的获取部131在步骤S101中确认存储部122的区域141的空闲容量。在步骤102中,获取部131从个人计算机101获取代码流。
在步骤S103中,分析部132对获取的代码流进行分析,并确定图像的行的开头。在步骤S104中,分割位置决定部133基于分析结果来决定代码流的分割单位。
更具体地说,分割位置决定部133计算数据量为存储部122的突发边界的整数倍的行数,并将其作为分割单位来决定代码流的分割位置。
分割位置决定部133以行单位决定分割位置。但是,由于宏块的垂直方向上的大小为16像素(pixel),因此实际上分析部132将16行作为单位来决定分割位置。
通常,在存储解码结果的图像数据的存储部122中,根据原始图像的大小而使用DIMM(Dual Inline Memory Modules,双列直插式存储模块)等DRAM,但对DRAM的输入输出如果不用突发传输,那么传输就会很耗时。即,数据输入输出的等待时间(延迟时间)变长。
当相对于存储部122的数据读写单位(数据量)与存储部122的突发边界不相符时,同一突发边界内部有可能在下一次的写入中被改写,因此不能进行突发存取,等待时间恐怕会增加。另外,实现电路也有可能变得复杂且成本高。
即,为了抑制等待时间的增加和成本的增加,期望以与存储部122的突发边界相符的单位对该存储部122进行读写。然而,从多个解码处理执行部输出的图像数据被暂时存储在存储部122中。更具体地说,解码控制部135或传输部136对分割单位的图像数据进行读出及写入。
因此,分割位置决定部133决定分割位置以使得该分割单位的图像数据的数据量与存储部122的突发边界相符。
例如,假设存储部122具有16突发(16-burst),并且数据位宽总和为128位。其突发边界为128[位]/8×16=256[字节]。
另外,假定作为解码结果而得到的图像数据的图像例如为如下的图像:其图像水平尺寸为2048[像素],YCbCr=4:4:4格式,灰度级为10位。
在该情况下,由于图像具有YCbCr=4:4:4格式和10位灰度级,因此YcbCr的各10[位]被存储在4[字节]中。因而,1行的数据量为2048[像素]×4[字节/像素]=7680[字节],是突发边界256[字节]的整数倍。因此,在该情况下,分割位置决定部133能够将16行作为分割单位。换言之,通过分割位置决定部133将16行作为分割单位,能够将由解码控制部135和传输部136进行的对存储部122的存取全部设为突发存取。
与此相对,假定作为解码结果而得到的图像数据的图像例如为如下的图像:其图像水平尺寸为2048[像素],YCbCr=4:2:2格式,灰度级为10位。
在该情况下,由于图像具有YCbCr=4:2:2格式和10位灰度级,因此YcbCr的共20[位]×3[像素]被存储在8[字节]中。因此,1行的数据量为2048[像素]×8/3[字节/像素]=16384/3[字节],不是突发边界256[字节]的整数倍。在该情况下,即使16行的量也不是突发边界的整数倍。因此,通过分割位置决定部133将16行作为分割单位,无法将由解码控制部135和传输部136进行的对存储部122的存取全部设为突发存取,延迟时间恐怕会增加。
但是,例如如果为144行的量,则144=48×3,因此数据量为16384/3×144[字节]=786432[字节],是突发边界256[字节]的整数倍。即,能够将由解码控制部135和传输部136进行的对存储部122的存取全部设为突发存取。
在该情况下,分割位置决定部133当然能够将48(16×3)行作为分割单位,也能够将96(32×3)行作为分割单位。此外,还能够将192(64×3)行作为分割单位。
在如上述决定分割位置(分割单位)后,进入步骤S105中。
在步骤S105中,存储部122获取从分析部132提供的代码流并进行保存。
如上所述,分析部132将代码流存储在存储部122中并同时(在传输过程中)进行分析。分割位置决定部133一得到必要的信息就决定分割位置。即,步骤S103至步骤S105的各处理能够彼此并行地执行。另外,在已经决定了分割位置(分割单位)而不需要更新其位置的情况下,步骤S104的处理被省略。
在步骤S106中,分割位置决定部133基于从分析部132提供的分析结果,判断在存储部122中是否保存了分割单位的代码流。当判断出在存储部122中没有保存分割单位的代码流时,返回步骤S101,重复之后的处理。当在步骤S106中判断出在存储部122中保存了分割单位的代码流时,进入步骤S107。
在步骤S107中,分割位置决定部133对分割部134通知已保存了分割单位的代码流。当通知结束时,代码流获取处理结束。
接着,参考图4的流程图,对在图3的步骤S103中执行的分析处理的流程示例进行说明。根据需要而参考图5进行说明。
在分析处理开始后,分析部132在步骤S121中分析代码流,获取其图像的图像尺寸信息,并将其通知给分割位置决定部133。在步骤S122中,分析部132分析代码流,获取其图像的宏块尺寸信息,并将其通知给分割位置决定部133。
代码流虽以原始运动图像的水平行单位来分割,但在MPEG 4 SStP的代码流内不存在如MPEG 2那样的表示行的部分。因此,使用宏块号(macro block number)来确定各行(即,确定行的开头位置)。
图5是示出代码流的构造示例的图。如图5所示,代码流(VisualObject Sequence,视觉对象序列)具有分级构造,倒数第三级所示的视频对象面(Studio Video Object Plane)相当于一个画面的数据。
该影音对象面中有头信息(Header)和一个或多个片段(StudioSlice)。在该头信息中,包含表示图像的画面尺寸的信息(视频对象面宽度(vop_width)或视频对象面高度(vop_height))。另外,在各片段中,包括头信息(Header)和一个或多个宏块(Studio Macro Block)。在其头信息中,包括表示片段的开头的片段起始码(Slice_start_code)和表示开头的宏块的识别号的宏块号(macro block number)。
这里,将宏块的尺寸设为16[像素]×16[像素]。此时,1行的尺寸(像素数)/16是1行的宏块数。当然,这是一个示例,宏块的尺寸是任意的。
这里,如果将1行设为1920[像素],则1行的宏块数为1920/16=120个。在MPEG4 SStP中,由于片段(Studio Slice)不跨行,因此宏块号为120的整数倍的片段是行左端的片段。即,该片段的开头为行的开头。
因此,首先,分析部132在步骤123中从代码流中搜索片段起始码(Slice_start_code),由此搜索片段(Studio Slice)的开头(头部信息(Header))。片段起始码是预先确定的固定值,为(000001B7h),但即使变更为其他的值,也可调节。
在步骤S124中,分析部132判断是否检测到片段起始码。当判断为没有检测到片段起始码时,处理返回到步骤S123。即,继续进行片段起始码的检索。另外,当在步骤S124中判断为检测到了片段起始码时,进入步骤S125。分析部132在步骤S125中判断紧接其后的宏块号(macroblock number)是否为“水平方向的画面尺寸(vop_width)/宏块尺寸(例如16像素)”。
当判断为宏块号与“水平方向的画面尺寸/宏块尺寸”不一致时,返回到步骤S123。即,继续进行片段起始码的检索。另外,当在步骤S125中判断为宏块号与“水平方向的画面尺寸/宏块尺寸”一致时,进入步骤S126。
在步骤S126中,分析部132将该位置确定为行的开头,并将该位置通知给分割位置决定部133。
在如上述通知了行的开头位置后,分析处理结束,返回到图3的步骤S103,执行步骤S104以后的处理。即,分割位置决定部133从分析部132获取行开头的位置信息作为分析结果,并基于该位置信息来决定分割位置。
当通过图3的步骤S107的处理接收到已保存分割单位的代码流的通知时,分割部134开始进行解码控制处理。
参考图6的流程图,对由分割部134和解码控制部135执行的解码控制处理的流程示例进行说明。
在解码控制处理开始后,分割部134在步骤S141中以由分割位置决定部133决定的分割单位读出存储在存储部122中的代码流。在步骤142中,分割部134对读出的分割单位的代码流附加头部信息。在步骤S143中,解码控制部135将分割单位的代码流分配给解码处理执行部。
在步骤S144中,解码处理执行部151至解码处理执行部153分别对分配的分割单位的代码流进行解码。在解码处理结束后,解码处理执行部151至解码处理执行部153将得到的解码结果(图像数据)分别返回给解码控制部135。在步骤S145中,解码控制部135对提供的各分割单位的图像数据,指定存储部122的存储目的地的地址,使得各分割单位的图像数据按照预定顺序排队并保存在存储部122中。此时,解码控制部135通过突发传输将分割单位的图像数据提供并存储到存储部122中。
一旦步骤S145的处理结束,解码控制处理就结束。
图7是说明分割情形示例的图。如图7所示,如上所述,1帧的代码流201在与突发边界相符的分割位置被分割。在图7中,对应于上述的计算示例,其中将144行作为分割单位来分割代码流201。
对分割而得的各代码流以与1帧的代码流的时候相同的方式附加从视觉对象序列(Visual Object Sequence)到视频对象面(Studio Video ObjectPlane)的全部的头部信息。然后,附加了该头部信息的分割单位的各代码流分别依次被分配给解码处理执行部151至解码处理执行部153中的某一个。
在图7的示例的情况下,最初的代码流211被分配给解码处理执行部151,下一个的代码流212被分配给解码处理执行部152,再下一个的代码流213被分配给解码处理执行部153。另外,再再下一个的代码流214还是被分配给解码处理执行部151。如上所述,各代码流按照预定顺序被分配给解码处理执行部151至解码处理执行部153。
因此,解码处理执行部151至解码处理执行部153各自将提供而来的代码流作为视觉对象序列(Visual Object Sequence)来对待,进行解码处理。
通过执行上述的解码控制处理,控制部121能够以更低的延迟解码代码流。
传输部136与上述的各处理并行地执行传输处理,并将存储在存储部122中的图像数据传输给个人计算机101。
参考图8的流程图,对传输处理的流程示例进行说明。
在传输处理开始后,传输部136在步骤S161中判断在时间序列的顺序上为下一个的分割单位的图像数据(接下来应传输的图像数据)是否被存储在存储部122中,并进行等待直至判断为保存有该接下来应传输的图像数据。当判断为保存有接下来应传输的图像数据时,进入步骤S162。
在步骤S162中,传输部136从存储部122读出作为处理对象的图像数据(即,接下来应传输的图像数据),并传输给个人计算机101。此时,传输部136通过突发传输从存储部122读出图像数据。
在传输结束后,传输处理结束。在传输处理结束后,新的传输处理再次执行。该传输处理重复执行,直至来自个人计算机101的代码流的提供被停止为止。
通过如上述进行处理,传输部136能够将保存在存储部122中的图像数据依次提供给个人计算机。
图9是说明1帧的数据处理中的延迟情形的示例的图。
在该图9中示出了原始运动图像为如下的渐进式图像时的延迟情形的示例,即:图像尺寸为1920[像素]×1080[像素],YCbCr=4:2:2格式,灰度级为10位,帧速率为30[帧/秒]。
解码处理执行部151至解码处理执行部153具有渐进式60[帧/秒]的解码能力,在与个人计算机101之间的总线103上使用了PCI Express x8。在该情况下,从个人计算机101向解码处理单元102的1帧的代码流传输301、从存储部122向解码部123的代码流的分割传输302至分割传输304、解码处理305、从解码部123向存储部122的图像数据的分割传输306至分割传输308、以及从解码处理单元102向个人计算机101的图像数据传输309的各处理如图9所示那样执行。即,能够以约7[ms]的低等待时间解码1帧。
如果增加解码处理执行部的个数,就能够进一步抑制等待时间。例如,在使用六个上述的解码处理执行部,并使用调节了频带的总线(PCIExpress x16)等作为总线103的情况下,等待时间约为3.5[ms]。
在以上的说明中,对仅解码1帧的情况进行了说明,但不限于此,信息处理***100的解码处理单元102也能够容易地实现如下的解码,即:通过使用具有从计算机连续提供流的管线式I/F的应用程序等来以原始运动图像的实际时间的6倍速度等n倍速度进行解码。
如上所述,使用多个作为通用的编码/解码方式的MPEG 4 SstP方式的解码处理执行部,并使用MPEG 4 SStP的流的配置(scheme)对流进行解析,并分割为多个流进行解码控制,由此能够以低等待时间进行解码处理。
另外,使用该配置,能够以低等待时间且以高于实时的速度的例如n倍速进行解码。
<2.第二实施方式>
[个人计算机]
上述的一系列处理能够通过硬件来执行,也能够通过软件来执行。在该情况下,例如可以构成为图10所示的个人计算机。
在图10中,个人计算机400的CPU 401依照存储在ROM(Read OnlyMemory,只读存储区)402的程序、或者从存储部413加载到RAM(Random Access Memory,随机存取存储器)403中的程序来执行各种处理。在RAM403中还适当地存储CPU 401执行各种处理所需的数据。
CPU 401、ROM 402以及RAM 403经由总线404相互连接。在该总线404上,还连接着输入输出接口410。
在输入输出接口410上连接有由键盘、鼠标等构成的输入部411、由CRT(Cathode Ray Tube,阴极射线管)或LCD(Liquid Crystal Display,液晶显示器)等构成的显示器、由扬声器等构成的输出部412、由硬盘等构成的存储部413、以及由调制解调器等构成的通信部414。通信部414进行经由包括因特网在内的网络的通信处理。
在输入输出接口410上,根据需要,还连接驱动器415,并适当安装磁盘、光盘、光磁盘或半导体存储器等可移动介质421,从这些移动介质读出的计算机程序根据需要被安装在存储部413中。
当通过软件执行上述的一系列处理时,从网路或存储介质而安装构成该软件的程序。
该记录介质不仅如图10所示那样包括与设备主体分开独立的为传送程序而向用户配发的可移动介质421,还包括以预先安装在设备主体中的状态向用户配发的记录有程序的ROM 402、包含在存储部413中的硬盘等,其中所述移动介质421包括:记录有程序的磁盘(包括软磁盘)、光盘(包括CD-ROM(Compact Disc Read-Only Memory,CD只读磁盘))、DVD(Digital Versatile Disc,数字多功能光盘)、光磁盘(包括MD(Mini Disc,迷你光盘))、或者半导体存储器等。
计算机执行的程序既可以是安装本说明书中说明的顺序以时间序列执行处理的程序,也可以是并列地、或者在被调用的时候等必要的定时执行处理的程序。
另外,在本申请文件中,记述被记录在记录介质中的程序的步骤当然包括沿所记载的顺序以时间序列执行的处理,另外还包括未必以时间序列执行而是被并列或单独执行的处理。
在本申请文件中,***是指由多个设备(装置)构成的设备整体。
另外,也可以将在以上的说明中作为一个设备(或者处理部)进行说明的构成进行分割,并构成为多个设备(或者处理部)。相反地,也可以将在以上的说明中作为多个设备(或者处理部)进行说明的构成进行合并,并构成为一个设备(或者处理部)。另外,当然也可以对各设备(或者处理部)的构成添加除上述以外的构成。此外,只要作为***整体的构成或动作实质相同,既可以将某设备(或者处理部)的一部分包含在其他的设备(或者处理部)的构成中。即,本发明的实施方式不限定于上述的实施方式,可在不脱离本发明主旨的范围内进行各种变更。

Claims (7)

1.一种信息处理设备,包括:
分析装置,其将编码图像数据而得的代码流在传输过程中进行分析;
分割位置决定装置,其基于由所述分析装置进行分析的结果,根据所述图像数据的图像的尺寸来决定所述代码流的分割位置;以及
解码装置,其对多个分割单位代码流并列地进行解码,所述多个分割单位代码流是将所述代码流在由所述分割位置决定装置决定的所述分割位置分割而得的。
2.根据权利要求1所述的信息处理设备,其中,
所述分析装置分析所述代码流来确定所述图像数据的图像的一行,
所述分割单位决定装置以所述图像数据的图像的一行或多行为单位决定所述分割位置。
3.根据权利要求2所述的信息处理设备,其中,
所述分析装置检测所述代码流的片段起始码,并基于紧接在所述片段起始码之后的宏块号来搜索行开头的宏块,由此确定所述一行,
所述分割单位决定装置以所述宏块的行数为单位决定所述分割位置。
4.根据权利要求1所述的信息处理设备,还包括:
获取装置,其获取所述代码流;以及
存储装置,其存储由所述获取装置获取的所述代码流,
其中,所述分析装置在将由所述获取装置获取的所述代码流存储到所述存储装置中的同时对该代码流进行分析。
5.根据权利要求4所述的信息处理设备,其中,
所述分割位置决定装置与所述存储装置的突发边界相符地决定所述分割位置。
6.根据权利要求5所述的信息处理设备,还包括:
控制装置,其将所述解码装置执行解码处理的结果通过突发传输而提供并存储到所述存储装置中;以及
输出装置,其通过所述突发传输从所述存储装置读出由所述存储装置存储的所述解码处理的结果,并输出该结果。
7.一种信息处理方法,其中,
分析装置将编码图像数据而得的代码流在传输过程中进行分析,
分割位置决定装置基于分析的结果,根据所述图像数据的图像的尺寸来决定所述代码流的分割位置,并且
解码装置对多个分割单位代码流并列地进行解码,所述多个分割单位代码流是将所述代码流在所述分割位置分割而得的。
CN2010101842032A 2009-05-27 2010-05-20 信息处理设备以及方法 Pending CN101902640A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-127244 2009-05-27
JP2009127244A JP5321895B2 (ja) 2009-05-27 2009-05-27 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN101902640A true CN101902640A (zh) 2010-12-01

Family

ID=43220298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101842032A Pending CN101902640A (zh) 2009-05-27 2010-05-20 信息处理设备以及方法

Country Status (3)

Country Link
US (1) US8737467B2 (zh)
JP (1) JP5321895B2 (zh)
CN (1) CN101902640A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685477A (zh) * 2011-03-10 2012-09-19 华为技术有限公司 获取用于合并模式的图像块的方法和设备
CN110521167A (zh) * 2017-04-04 2019-11-29 佳能株式会社 信息处理装置、信息处理方法和计算机程序

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534409A (en) * 2015-01-23 2016-07-27 Sony Corp Data encoding and decoding
JP2021145157A (ja) * 2018-06-14 2021-09-24 ソニーグループ株式会社 画像処理装置および方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1224299A (zh) * 1998-12-15 1999-07-28 国家科学技术委员会高技术研究发展中心 并行解码的数字信源解码器
JPH11331840A (ja) * 1998-05-14 1999-11-30 Mitsubishi Electric Corp 映像信号処理装置
JP2001292450A (ja) * 2000-04-05 2001-10-19 Sony Corp 符号化装置及びその方法並びに復号化装置及びその方法
CN1393867A (zh) * 2001-07-04 2003-01-29 矽统科技股份有限公司 分散式视讯资料流解码***与方法
JP2003319389A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
CN1627826A (zh) * 2003-12-12 2005-06-15 索尼公司 解码装置、电子设备、计算机、解码方法、程序、和记录介质
CN1956545A (zh) * 2005-08-26 2007-05-02 索尼株式会社 图像处理装置、图像处理方法、记录介质和程序
US20080044090A1 (en) * 2006-08-15 2008-02-21 Fujitsu Limited JPEG image processing circuit
CN101222636A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 图像编解码方法和图像编解码装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6750909B1 (en) * 1999-03-26 2004-06-15 Texas Instruments Incorporated Image buffer between burst memory and data processor with multiple access modes set by the data processor
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7583732B2 (en) * 2002-12-06 2009-09-01 Broadcom Corporation Managing bursts of data
US7436328B2 (en) * 2003-07-09 2008-10-14 Texas Instruments Incorporated Video coding with start code emulation prevention
WO2006108685A2 (en) * 2005-04-15 2006-10-19 Thomson Licensing Remote management method of a distant device, and corresponding video device
US20080056381A1 (en) * 2006-08-30 2008-03-06 Chih-Ta Star Sung Image compression and decompression with fast storage device accessing
US8213518B1 (en) * 2006-10-31 2012-07-03 Sony Computer Entertainment Inc. Multi-threaded streaming data decoding
JP5050964B2 (ja) * 2008-03-31 2012-10-17 富士通株式会社 復号装置,復号方法および復号プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331840A (ja) * 1998-05-14 1999-11-30 Mitsubishi Electric Corp 映像信号処理装置
CN1224299A (zh) * 1998-12-15 1999-07-28 国家科学技术委员会高技术研究发展中心 并行解码的数字信源解码器
JP2001292450A (ja) * 2000-04-05 2001-10-19 Sony Corp 符号化装置及びその方法並びに復号化装置及びその方法
CN1393867A (zh) * 2001-07-04 2003-01-29 矽统科技股份有限公司 分散式视讯资料流解码***与方法
JP2003319389A (ja) * 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
CN1627826A (zh) * 2003-12-12 2005-06-15 索尼公司 解码装置、电子设备、计算机、解码方法、程序、和记录介质
CN1956545A (zh) * 2005-08-26 2007-05-02 索尼株式会社 图像处理装置、图像处理方法、记录介质和程序
US20080044090A1 (en) * 2006-08-15 2008-02-21 Fujitsu Limited JPEG image processing circuit
CN101222636A (zh) * 2008-01-24 2008-07-16 杭州华三通信技术有限公司 图像编解码方法和图像编解码装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685477A (zh) * 2011-03-10 2012-09-19 华为技术有限公司 获取用于合并模式的图像块的方法和设备
CN102685477B (zh) * 2011-03-10 2014-12-10 华为技术有限公司 获取用于合并模式的图像块的方法和设备
CN110521167A (zh) * 2017-04-04 2019-11-29 佳能株式会社 信息处理装置、信息处理方法和计算机程序
US11444789B2 (en) 2017-04-04 2022-09-13 Canon Kabushiki Kaisha Decrypted packet padding removal

Also Published As

Publication number Publication date
JP2010278597A (ja) 2010-12-09
US20100303369A1 (en) 2010-12-02
US8737467B2 (en) 2014-05-27
JP5321895B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
US10911816B2 (en) Information processing system
US8681861B2 (en) Multistandard hardware video encoder
JP5156655B2 (ja) 画像処理装置
US11570472B2 (en) Encoding device and encoding method
US11849124B2 (en) Device and method of video encoding with first and second encoding code
US20240171730A1 (en) Video decoding device and video decoding method
US20110316862A1 (en) Multi-Processor
CN101902640A (zh) 信息处理设备以及方法
US20130156310A1 (en) Dynamic Image Quality Checker for use in Image Transcoding
US20040148551A1 (en) Data processing apparatus having error concealment function
US20120033727A1 (en) Efficient video codec implementation
CN111405347B (zh) 画面显示方法、装置、电子设备及可读存储介质
US20110249959A1 (en) Video storing method and device based on variable bit allocation and related video encoding and decoding apparatuses
US9008185B2 (en) Apparatus and method of lossless compression/restoration of selective image information
CN216751965U (zh) 一种基于fpga的arinc818视频数据压缩与解压缩处理装置
US20140096168A1 (en) Media Playing Tool with a Multiple Media Playing Model
US20150271491A1 (en) Enhanced intra prediction mode selection for use in video transcoding
JP2002281505A (ja) 動画像圧縮装置、同装置のカット検出用データ作成方法およびカット位置データ作成方法ならびにカット検出装置および同装置のカット検出方法
TWI523541B (zh) 無線影音傳輸系統及其方法,及其電腦程式產品
CN101261605A (zh) 融合存储器设备及方法
CN113556495B (zh) 视频录制方法、视频处理方法及相应设备
US20230370620A1 (en) Server and control method thereof
US20090273606A1 (en) Rewind-enabled hardware encoder
CN114979775A (zh) 视频解码方法、装置、电子设备及存储介质
CN117370261A (zh) 数据传输的方法、多核芯片

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20101201