CN104412608B - 图像解码装置、图像解码方法、图像编码装置及图像编码方法 - Google Patents

图像解码装置、图像解码方法、图像编码装置及图像编码方法 Download PDF

Info

Publication number
CN104412608B
CN104412608B CN201380035503.6A CN201380035503A CN104412608B CN 104412608 B CN104412608 B CN 104412608B CN 201380035503 A CN201380035503 A CN 201380035503A CN 104412608 B CN104412608 B CN 104412608B
Authority
CN
China
Prior art keywords
picture
decoding
random access
cra
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380035503.6A
Other languages
English (en)
Other versions
CN104412608A (zh
Inventor
中野雄彦
平林光浩
胜股充
辻井训
铃木辉彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201711105400.9A priority Critical patent/CN107820089B/zh
Publication of CN104412608A publication Critical patent/CN104412608A/zh
Application granted granted Critical
Publication of CN104412608B publication Critical patent/CN104412608B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/22—Means responsive to presence or absence of recorded information signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/12—Control of operating function, e.g. switching from recording to reproducing by sensing distinguishing features of or on records, e.g. diameter end mark
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3081—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is a video-frame or a video-field (P.I.P)
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供有效地支持对CRA图片的随机访问的文件格式。提供了图像解码装置，包括：获取单元，被配置成从包括报头区和数据区的文件格式的报头区获取纯净随机访问(CRA)信息，CRA信息用于标识被***数据区的图像序列中的一个或更多个CRA图片；控制单元，被配置成当检测到随机访问的指令时，使用CRA信息将图像序列中的一个CRA图片指定为解码开始图片；以及解码单元，被配置成从控制单元所指定的解码开始图片起对图像序列进行解码。

Description

图像解码装置、图像解码方法、图像编码装置及图像编码方法
技术领域
本公开内容涉及图像解码装置、图像解码方法、图像编码装置以及图像编码方法。
背景技术
在作为图像编码方案的标准规范之一的H.264/AVC中，将各个图像(图片)分割成一个或更多个切片(slice)。将每个切片归类为I切片(帧内切片)、P切片(预测切片)和B切片(双向预测切片)之一。I切片是在不参考另一图像的情况下独立地解码的切片。P切片是通过参考另一单个图像解码的切片。B切片是通过参考多个其他图像解码的切片。将序列的仅包括I切片的开始图片称为IDR(瞬时解码刷新)图片。使用NAL(网络抽象层)单元类型的值来标识IDR图片。同一序列中IDR图片之后的图片仅按照呈现次序位于IDR图片后面，而不参考按照解码次序在IDR图片之前的图片。从而，当在某个编码流的视频中间的时间点处尝试随机访问(不是从流的开始解码而是从流的中间解码/再现)时，可以在指定时间点附近从IDR图片适当地对视频进行解码。
在作为H.264/AVC之后的下一代图像编码方案的HEVC(高效视频编码)的标准化中，除IDR图片之外还提出了一种使用NAL单元类型的值来标识图片CRA(纯净随机访问)图片。CRA图片是位于序列中间的仅包括I切片的图片。按照解码次序和呈现次序两者在CRA图片之后的图片既不参考按照解码次序在CRA图片之前的图片既也不参考按照呈现次序在CRA图片之前的图片(参见下面的非专利文献2)。从而，当尝试在视频的中间的时间点处对CRA图片进行随机访问(从CRA图片对视频进行解码)时，能够无故障地执行对按照呈现次序在CRA图片之后的图片进行解码的处理。
引用列表
非专利文献
非专利文献1：Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，GaryJ.Sullivan，Thomas Wiegand，“High efficiency video coding(HEVC)textspecification draft 6”(JCTVC-H1003ver20，2012年2月17日)
非专利文献2：Ye-Kui Wang,“Report of the BoG on clean random access(CRA)picture，”JCTVC-F759，2011年7月14日至22日
发明内容
技术问题
虽然在序列的开始仅存在一个IDR图片，但是在序列的中间可以存在多个CRA图片。从而，CRA图片的引入意味着视频的可随机访问点增加。从而，从对视频的再现或编辑的使用方面而言，存在显著提高用户便利性的潜力。然而，在存储遵照HEVC方案编码的编码流的已知文件格式中，尚未定义有效地支持对CRA图片的随机访问的信息要素。例如，在MPEG-4第14部分(ISO/IEC 14496-14:2003:下文称为MP4)格式中，除非参考存储在数据区(mdat盒(box))中的块(chunk)中的每个采样的NAL单元类型，否则可能难以确定哪个图片是CRA图片。这可能导致随机访问CRA图片的过度处理成本。
从而，期望提供有效地支持对CRA图片的随机访问的文件格式。
问题的解决方案
根据本公开内容，提供了一种图像解码装置，包括：获取单元，被配置成从包括报头区和数据区的文件格式的报头区获取CRA信息，CRA信息用于标识被***数据区的图像序列中的一个或更多个CRA图片；控制单元，被配置成当检测到随机访问的指令时，使用CRA信息将图像序列中的一个CRA图片指定为解码开始图片；以及解码单元，被配置成从控制单元所指定的解码开始图片起对图像序列进行解码。
此外，根据本公开内容，提供了一种图像解码方法，包括：从包括报头区和数据区的文件格式的报头区获取CRA信息，CRA信息用于标识被***数据区的图像序列中的一个或更多个CRA图片；当检测到随机访问的指令时，使用CRA信息将图像序列中的一个CRA图片指定为解码开始图片；以及从所指定的解码开始图片起对图像序列进行解码。
此外，根据本公开内容，提供了一种图像编码装置，包括：编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据；确定单元，被配置成在图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个CRA图片；以及文件生成单元，被配置成将用于标识由确定单元确定的一个或更多个CRA图片的CRA信息***到包括报头区和数据区的文件格式的报头区中，并且将图像数据***到数据区中。
此外，根据本公开内容，提供了一种图像编码方法，包括：对图像序列中的图像进行编码并且生成图像数据；在图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个CRA图片；以及将用于标识所确定的一个或更多个CRA图片的CRA信息***到包括报头区和数据区的文件格式的报头区中；以及将图像数据***到数据区中。
本发明的有利效果
与已知方案相比，根据本公开内容中的技术可以更简单地实现对CRA图片的随机访问。
附图说明
图1是示出根据一个实施方式的图像编码装置的配置示例的框图；
图2是示出该实施方式中可以采用的文件格式的示例的说明图；
图3是示出该实施方式中可以采用的文件格式的另一示例的说明图；
图4是示出关于非分段影片的CRA信息的专用盒的第一示例的说明图；
图5是示出关于非分段影片的CRA信息的专用盒的第二示例的说明图；
图6是示出关于非分段影片的CRA信息的专用盒的第三示例的说明图；
图7是示出关于非分段影片的随机访问信息的共享盒的第一示例的说明图；
图8是示出关于非分段影片的随机访问信息的共享盒的第二示例的说明图；
图9是示出关于非分段影片的随机访问信息的共享盒的第三示例的说明图；
图10是示出关于分段影片的CRA信息的专用盒的第一示例的说明图；
图11是示出关于分段影片的CRA信息的专用盒的第二示例的说明图；
图12是示出关于分段影片的CRA信息的专用盒的第三示例的说明图；
图13是示出关于分段影片的随机访问信息的共享盒的第一示例的说明图；
图14是示出关于分段影片的随机访问信息的共享盒的第二示例的说明图；
图15是示出关于分段影片的随机访问信息的共享盒的第三示例的说明图；
图16是示出用于基本采样组信息的盒的第一说明图；
图17是示出用于基本采样组信息的盒的第二说明图；
图18是示出对CRA图片进行分组的采样组的定义的第一示例的说明图；
图19是示出对CRA图片进行分组的采样组的定义的第二示例的说明图；
图20是示出对CRA图片进行分组的采样组的定义的第三示例的说明图；
图21是示出对CRA图片进行分组的采样组的定义的第四示例的说明图；
图22是示出对CRA图片进行分组的采样组的定义的第五示例的说明图；
图23是示出对CRA图片进行分组的采样组的定义的第六示例的说明图；
图24是示出根据该实施方式的图像解码装置的配置示例的框图；
图25是示出由图24所例示的装置执行的解码处理的流程的第一示例的流程图；
图26是示出获取与指定时间对应的采样号的处理的流程示例的流程图；
图27是示出指定解码开始图片的处理的流程的第一示例的流程图；
图28是示出指定解码开始图片的处理的流程的第二示例的流程图；
图29是示出跳过对未正常解码的先前图片的输出的处理的流程的第一示例的流程图；
图30是示出跳过对未正常解码的先前图片的输出的处理的流程的第二示例的流程图；
图31是示出跳过对未正常解码的先前图片的输出的处理的流程的第三示例的流程图；
图32是示出由图24中例示的装置执行的解码处理的流程的第二示例的流程图；
图33是示出指定解码开始图片的处理的流程的第三示例的流程图；
图34是示出电视机的示意性配置的示例的框图；
图35是示出移动电话的示意性配置的示例的框图；
图36是示出记录/再现装置的示意性配置的示例的框图；以及
图37是示出图像拍摄装置的示意性配置的示例的框图。
具体实施方式
下文中，将参考附图详细描述本发明的优选实施方式。注意，在此说明书和附图中，用相同的附图标记来表示具有基本上相同功能和结构的元件，并且省略重复说明。
按照以下顺序来进行描述。
1.根据实施方式的图像编码装置的配置示例
2.CRA信息的示例
2-1.CRA信息(非分段影片)的专用盒
2-2.随机访问信息(非分段影片)的共享盒
2-3.CRA信息(分段影片)的专用盒
2-4.随机访问信息(分段影片)的共享盒
2-5.采样组的利用
3.根据实施方式的图像解码装置的配置示例
4.解码处理的流程
4-1.非分段影片的解码处理
4-2.分段影片的解码处理
5.示例应用
6.结论
<1.根据实施方式的图像编码装置的配置示例>
在此部分，将描述图像编码装置，该图像编码装置使用支持对CRA图片的随机访问的新文件格式将依照HEVC方案编码的图像数据记录在运动图像文件中。
图1是示出根据一个实施方式的图像编码装置10的配置示例的框图。参考图1，图像编码装置10包括编码单元11、确定单元12、VCL缓冲器13、非VCL缓冲器14、文件生成单元15和控制单元16。
(1)编码单元
编码单元11是依照HEVC方案工作的编码器。编码单元11从连接至图像编码装置10的运动图像源如摄像机或电视调谐器获取要编码的图像。然后，编码单元11通过对所获取的图像序列中的每个图像进行各种处理如帧内预测、帧间预测、正交变换、量化以及无损编码来生成编码比特流。将与图像的实体对应的切片数据生成为VCL(视频编码层)NAL单元。另一方面，可以将如SPS(序列参数集)、PPS(图片参数集)或APS(自适应参数集)的参数集生成为非VCL NAL单元。编码单元11经由VCL缓冲器13将VCL NAL单元即切片数据的比特流输出至文件生成单元15。编码单元11经由非VCL缓冲器14将参数集输出至文件生成单元15。
(2)确定单元
确定单元12确定要由编码单元11编码的图像序列中的每个图像的类型。更具体地，在本实施方式中，确定单元12至少确定每个图像是否为IDR图片、CRA图片或另一图片之一。IDR图片和CRA图片两者是仅包括I切片的图片。如上所述，IDR图片是序列的开始图片。同一序列中的在IDR图片之后的图片仅按照呈现次序位于IDR图片之后，而不参考按照编码次序(解码次序)在IDR图片之前的图片。CRA图片是位于序列中间的图片并且可以当在解码器侧进行随机访问时用作解码开始图片。按照编码次序(解码次序)和呈现次序两者在CRA图片之后的图片不参考按照编码次序(解码次序)在CRA图片之前的图片也不参考按照呈现次序在CRA图片之前的图片。确定单元12将确定结果输出给编码单元11和文件生成单元15。编码单元11将由确定单元12确定的表示每个图像的类型的NAL单元类型分配给每个NAL单元的NAL报头。
顺便提及，在对CRA图片进行随机访问时，仅随机访问目的地的CRA图片以及按照解码次序在该CRA图片之后的图片是解码目标。然而，也可以存在按照解码次序在CRA图片之后的图片以及按照呈现次序在CRA图片之前的图片。在本说明书中，这样的图片称为先前图片。根据对CRA图片的定义的理解，允许先前图片参考按照解码次序在CRA图片之前的图片。在对CRA图片进行随机访问时，参考按照解码次序在CRA图片之前的图片的先前图片未被正常解码。这是因为先前图片的参考图片未被解码。即，在随机访问时，是否能够正常地对解码目标先前图片进行解码取决于先前图片的参考关系。因此，确定单元12还可以确定在对每个CRA图片进行随机访问时未被正常解码的先前图片，并且将确定结果提供给文件生成单元15。
(3)VCL缓冲器/非VCL缓冲器
VCL缓冲器13缓冲VCL NAL单元。CRA图片的切片数据由VCL缓冲器13来缓冲。非VCL缓冲器14缓冲非VCL NAL单元。
(4)文件生成单元
文件生成单元15生成运动图像文件20，在运动图像文件20中，根据包括报头区和数据区的文件格式来存储一系列编码图像数据。在本说明书中，将主要描述将MP4格式用作文件格式的示例。然而，本公开内容中的技术不限于该示例，并且适用于包括报头区和数据区的其他种类的运动图像文件格式。
在MP4格式中，数据被存储在称为盒的对象中并且以对象为单位被记录。在一个文件中，盒形成树结构并且主盒包括从属盒。每个盒的类型由具有4个字母的标识符来标识。
更具体地，文件生成单元15将与VCL NAL单元对应的切片数据的比特流按照解码次序***到运动图像文件20的数据区(例如，mdat盒)中。文件生成单元15将与非VCL NAL单元对应的一个或更多个参数集***到运动图像文件20的报头区(例如，moov盒)中。在本实施方式中，文件生成单元15将由确定单元12确定的用于标识一个或更多个CRA图片的CRA信息***运动图像文件20的报头区。文件生成单元15可以将先前图片信息包括在CRA信息中，以标识对作为对每个CRA图片进行随机访问时未被正常解码的先前图片。
(5)控制单元
控制单元16控制在图像编码装置10中进行的编码处理。例如，控制单元16在检测到开始编码的指令时使编码单元11对指定的图像序列进行编码。控制单元16使文件生成单元15生成运动图像文件20，在运动图像文件20中存储有被编码单元11编码的图像数据。控制单元16可以使用被称为HRD(假设参考解码器)的虚拟解码器模型在解码器的缓冲器无故障的情况下控制编码流的生成。
<2.CRA信息的示例>
图2是示出本实施方式中可以采用的文件格式的示例的说明图。参考图2，运动图像文件20包括moov盒21和mdat盒27。出于描述的简要性而未对本发明的技术中不直接涉及的盒进行描述。
moov盒21是与运动图像文件20的报头区对应的盒。moov盒21包括stbl盒22。stbl盒(采样表盒)22是包括用于报头信息的盒的容器盒。stbl盒22除了包括stsd盒23和stsc盒24以外还包括在本实施方式中新引入的stcs盒25。stsd盒(采样描述盒)23是保存与存储在mdat盒27中的实际数据相关联的参数。stsd盒23包括hevl盒26。hevl盒26是保存当对依照HEVC方案编码的图像数据进行解码时要使用的参数集。stsc盒(采样至块盒)24是保存mdat盒27中被称为块的实际数据与stsd盒23中的参数之间的映射的盒。stcs盒25是新定义以保存用于标识一个或更多个CRA图片的CRA信息的盒。
mdat盒27是与运动图像文件20的数据区对应的盒。mdat盒27包括一个或更多个块28。块指的是与单独的运动图像轨道、单独的音频轨道或其他种类的轨道对应的实际数据。通常按照解码次序将与每个VCLNAL单元对应的多个切片数据存储在依照HEVC方案编码的图像数据块中。
图2所例示的运动图像文件20具有所谓的非分段影片结构。即，在运动图像文件20中仅呈现moov盒和mdat盒的一个对。另一方面，将以下结构称为分段影片结构：一个运动图像被分段成多个片段，并且针对每个分段片段生成moov盒和mdat盒的对。参考图3，示出了非分段影片结构与分段影片结构之间的比较。在非分段影片结构中，将用于CRA信息的stcs盒25***moov盒21中。另一方面，在分段影片结构中，可以将用于CRA信息的tfca盒25a至25n分别***多个moov盒21a至21n中。在此部分将详细描述新定义的盒的各种语法示例。图2和图3所示的盒的标识符(“stcs”和“tfca”)仅为示例。即，可以使用其他四字母序列作为保存在CRA信息中的盒的标识符。不考虑图3的示例，保存CRA信息的盒实际上可以作为容器盒如stbl盒或mfra盒(影片分段随机访问盒)的从属盒***，而非作为moov盒的直接从属盒***。
[2-1.CRA信息(非分段影片)的专用盒]
为非分段影片引入的用于CRA信息的盒可以例如是用于CRA信息的专用盒。图4至图6示出了作为专用盒的stcs盒的示例。stcs盒被定义成对FullBox类进行扩展的CRASampleBox类。
(1)第一示例
在图4所示的第一示例中，CRASampleBox类包括由条目数(entry_count)指示的数的采样号(sample_number)。采样号指示与包括在mdat盒27中的块中的一系列采样中的CRA图片对应的采样号中的每个。条目数与和CRA图片对应的采样数相同。参考stcs盒，解码器可以容易地了解作为CRA图片的采样的采样的时间顺序。
(2)第二示例
在图5所示的第二示例中，CRASampleBox类包括由条目数(entry_count)指示的数的采样号(sample_number)和损坏采样的数(broken_samples)的集合。采样号指示与包括在mdat盒27中的块中的一系列采样中的CRA图片对应的采样号中的每个。每个损坏采样数指示当对相应采样号所指示的CRA图片进行随机访问时未被正常解码的先前图片的采样的数量(例如，按照呈现次序从开始起的数量)。可以通过损坏采样数的负值来指示以下事实：不知道未被正常解码的先前图片的采样的数量。条目数与对应于CRA图片的采样的数量相同。参考stcs盒，解码器能够容易地了解作为CRA图片的采样的采样的时间次序以及在对每个CRA图片进行随机访问时可能未被正常解码的先前图片。
(3)第三示例
在图6所示的第三示例中，CRASampleBox类包括由条目数(entry_count)指示的数的采样号(sample_number)和损坏持续时间(broken_duration)的集合。采样号指示与包括在mdat盒27中的块中的一系列采样中的CRA图片对应的采样号中的每个。每个损坏持续时间指示当对相应采样号所指示的CRA图片进行随机访问时未被正常解码的先前图片的总持续时间(例如，在mdhd块中定义的以时间为单位的值)。可以通过损坏持续时间的负值来指示以下事实：不知道未正常解码的先前图片的持续时间。条目数与对应于盒CRA图片的采样的数量相同。参考stcs盒，解码器能够容易地了解作为CRA图片的采样的采样的时间次序以及在对每个CRA图片进行随机访问时未被正常解码的先前图片。
[2-2.随机访问信息(非分段影片)的共享盒]
在先前部分的三个示例中，CRA信息存储在与存储用于标识IDR图片的IDR信息的盒(例如，stss盒(同步采样盒))不同的stcs盒中。另一方面，可以将CRA信息存储在与IDR信息共享的盒中。图7至图9示出了作为共享盒的stra盒的示例。stra盒被定义为对FullBox类进行扩展的RandomAccessSampleBox类。
(1)第一示例
在图7所示的第一示例中，RandomAccessSampleBox类包括由条目数(entry_count)指示的数的采样类型(sample_type)和采样号(sample_number)的集合。采样号指示与包括在mdat盒27中的块中的一系列采样的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。采样类型的值例如可以是与NAL单元类型的值相同的值。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考stra盒，解码器能够容易地了解作为IDR图片的采样的采样的时间顺序以及作为CRA图片的采样的采样的时间顺序。
(2)第二示例
在图8所示的第二示例中，RandomAccessSampleBox类包括由条目数(entry_count)指示的数的采样类型(sample_type)、采样号(sample_number)和损坏采样数(broken_samples)的集合。采样号指示与包括在mdat盒27中的块中的一系列采样的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。每个损坏采样数指示当对由相应采样号指示的图片进行随机访问时未被正常解码的先前图片的采样的数量。可以将用于IDR图片的损坏采样数忽略或指示零。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考stra盒，解码器能够容易地了解作为IDR图片的采样的采样的时间顺序、作为CRA图片的采样的采样的时间顺序以及当对每个CRA图片进行随机访问时可能未被正常解码的先前图片。
(3)第三示例
在图9所示的第三示例中，RandomAccessSampleBox类包括由条目数(entry_count)指示的数的采样类型(sample_type)、采样号(sample_number)和损坏持续时间(broken_duration)的集合。采样号指示与包括在mdat盒27中的块中的一系列采样的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。每个损坏持续时间指示当对由相应采样号指示的图片进行随机访问时未被正常解码的先前图片的总持续时间。可以将用于IDR图片的损坏持续时间忽略或指示零。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考stra盒，解码器能够容易地了解作为IDR图片的采样的采样的时间顺序、作为CRA图片的采样的采样的时间顺序以及当对每个CRA图片进行随机访问时可能未被正常解码的先前图片。
[2-3.CRA信息(分段影片)的专用盒]
为分段影片引入的用于CRA信息的盒可以例如是用于CRA信息的专用盒。图10至图12示出了作为专用盒的tfca盒的示例。tfca盒被定义成对FullBox类进行扩展的TrackFragmentCRAAccessBox类。
(1)第一示例
在图10所示的第一示例中，TrackFragmentCRAAccessBox类包括由条目数(number_of_entry)指示的数的采样号(sample_number)。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的CRA图片对应的采样号中的每个。条目数与盒CRA图片所对应的采样的数量相同。参考tfca盒，解码器可以容易地了解作为CRA图片的采样的每个片段的采样的时间顺序。
(2)第二示例
在图11所示的第二示例中，TrackFragmentCRAAccessBox类包括由条目数(number_of_entry)指示的数的采样号(sample_number)和损坏采样数(preceding_samples)的集合。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的CRA图片对应的采样号中的每个。每个损坏采样数指示当对由相应采样号指示的CRA图片进行随机访问时未被正常解码的先前图片的采样的数量(例如，按照呈现次序从开始起的数量)。可以通过损坏采样数的负值来指示以下事实：不知道未被正常解码的先前图片的采样的数量。条目数与对应于CRA图片的采样的数量相同。参考tfca盒，解码器能够容易地了解作为CRA图片的采样的每个分段的采样的时间次序以及在对每个CRA图片进行随机访问时未被正常解码的先前图片。
(3)第三示例
在图12所示的第三示例中，TrackFragmentCRAAccessBox类包括由条目数(number_of_entry)指示的数的采样号(sample_number)和损坏持续时间(preceding_duration)的集合。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的CRA图片对应的采样号中的每个。每个损坏持续时间指示当对由相应采样号指示的CRA图片进行随机访问时未被正常解码的先前图片的总持续时间(例如，在mdhd块中定义的以时间为单位的值)。可以通过损害持续时间的负值来指示以下事实：不知道未正常解码的先前图片的持续时间。条目数与对应于CRA图片的采样的数量相同。参考tfca盒，解码器能够容易地了解作为CRA图片的采样的每个分段的采样的时间次序以及在对每个CRA图片进行随机访问时未被正常解码的先前图片。
[2-4.随机访问信息(分段影片)的共享盒]
在先前部分的三个示例中，CRA信息被存储在与存储用于标识IDR图片的IDR信息的盒不同的tfca盒中。另一方面，可以将CRA信息存储在与IDR信息共享的盒中。图13至图15示出了作为共享盒的tfr2盒的示例。tfr2盒被定义成对FullBox类进行扩展的ExtTrackFragmentRandomAccessBox类。
(1)第一示例
在图13所示的第一示例中，ExtTrackFragmentRandomAccessBox类包括由条目数(number_of_entry)指示的数的采样类型(sample_type)和采样号(sample_number)的集合。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。采样类型的值可以例如是与NAL单元类型的值相同的值。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考tfr2盒，解码器能够容易地了解作为IDR图片的采样的每个分段的采样的时间顺序以及作为CRA图片的采样的采样的时间顺序。
(2)第二示例
在图14所示的第二示例中，ExtTrackFragmentRandomAccessBox类包括由条目数(number_of_entry)指示的数的采样类型(sample_type)、采样号(sample_number)和损坏采样数(preceding_samples)的集合。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。每个损坏采样数指示当对由相应采样号指示的图片进行随机访问时未被正常解码的先前图片的采样的数量。可以将用于IDR图片的损坏采样数忽略或指示零。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考tfr2盒，解码器能够容易地了解作为IDR图片的采样的每个分段的采样的时间顺序、作为CRA图片的采样的采样的时间顺序以及当对每个CRA图片进行随机访问时未被正常解码的先前图片。
(3)第三示例
在图15所示的第三示例中，ExtTrackFragmentRandomAccessBox类包括由条目数(number_of_entry)指示的数的采样类型(sample_type)、采样号(sample_number)和损坏持续时间(preceding_duration)的集合。采样号指示与包括在相应分段的mdat盒中的块中的一系列采样中的IDR图片或CRA图片对应的采样号中的每个。每个采样类型指示由相应采样号指示的图片是IDR图片和CRA图片之一。每个损坏持续时间指示当对由相应采样号指示的图片进行随机访问时未被正常解码的先前图片的总持续时间。可以将用于IDR图片的损坏持续时间忽略或指示零。条目数与对应于IDR图片或CRA图片的采样的数量相同。参考tfr2盒，解码器能够容易地了解作为IDR图片的采样的每个分段的采样的时间顺序、作为CRA图片的采样的采样的时间顺序以及当对每个CRA图片进行随机访问时未被正常解码的先前图片。
[2-5.采样组的利用]
可以通过利用用于对一个或更多个采样进行分组的已知采样组信息的结构来定义CRA信息，而非将CRA信息存储在如在图4至图15的示例中新定义的扩展采样盒中。
(1)用于采样分组信息的盒
图16和图17是示出用于基本采样组信息的盒的第二说明图。
参考图16，示出了定义sbgp盒(采样至组盒)的SampleToGroupBox类的语法。SampleToGroupBox类包括由条目数(entry_count)指示的数的采样计数器(sample_count)和组描述索引(group_description_index)的集合。每个集合将每个采样与该采样所属的采样组关联。
参考图17，示出了定义sgpd盒(采样组描述盒)的SampleGroupDescriptionBox类的语法。SampleGroupDescriptionBox类的实例与SampleToGroupBox类的具有共用分组类型(grouping_type)的实例相关联。当处理器类型(handler_type)指示“参见(运动图像轨道)”时，SampleGroupDescriptionBox类包括由VisualSampleGroupEntry类定义的采样组信息的条目。条目数(entry_count)指示采样组信息的条目的数量。
图18至图23示出了CRA信息的用于利用这种已知采样组信息的结构来定义CRA信息的采样组信息的六个示例。第一示例至第三示例是用于CRA信息的专用采样组信息的示例。第四示例至第六示例是用于IDR信息和CRA信息的共享采样组信息的示例。
(2)第一示例
参考图18，示出了对VisualSampleGroupEntry类进行扩展的CRAEntry类的语法。组类型是“crap”。CRAEntry类仅包括保留字段。参考图16描述的位于sbgp盒中的与CRAEntry类的采样组相关联的采样是CRA图片的采样。
(3)第二示例
参考图19，示出了对VisualSampleGroupEntry类进行扩展的CRAPointEntry类的语法。组类型是“crap”。CRAPointEntry类包括作为组属性的损坏采样数(broken_samples)。参考图16描述的位于sbgp盒中的与CRAPointEntry类的采样组相关联的采样是CRA图片的采样。损坏采样数指示当对每个CRA图片进行随机访问时未被正常解码的先前图片的采样的数量(例如，按照呈现次序从开始起的数量)。
(4)第三示例
参考图20，示出了对VisualSampleGroupEntry类进行扩展的CRAPointEntry类的另一语法。组类型是“crap”。CRAPointEntry类包括作为组属性的损坏持续时间(broken_duration)。每个损坏持续时间指示当对每个CRA图片进行随机访问时未被正常解码的先前图片的总持续时间。
(5)第四示例
参考图21，示出了对VisualSampleGroupEntry类进行扩展的ExtRAPEntry类的语法。组类型是“rap2”。ExtRAPEntry类包括作为组属性的采样类型(sample_type)。参考图16描述的位于sbgp盒中的与ExtRAPEntry类的采样组相关联的采样是IDR图片或CRA图片的采样。采样类型指示每个图片是IDR图片和CRA图片之一。采样类型的值可以例如是与NAL单元类型的值相同的值。
(6)第五示例
参考图22，示出了对VisualSampleGroupEntry类进行扩展的ExtRAPEntry类的另一语法。组类型是“rap2”。ExtRAPEntry类包括作为组属性的采样类型(sample_type)和损坏采样的数量(broken_samples)。损坏采样数指示当对每个图片进行随机访问时未被正常解码的先前图片的采样的数量。可以将用于IDR图片的损坏采样数忽略或指示零。
(7)第六示例
参考图23，示出了对VisualSampleGroupEntry类进行扩展的ExtRAPEntry类的又一个语法。组类型是“rap2”。ExtRAPEntry类包括作为组属性的采样类型(sample_type)和损坏持续时间(broken_duration)。损坏持续时间指示当对每个图片进行随机访问时未被正常解码的先前图片的总持续时间。可以将用于IDR图片的损坏持续时间忽略或指示零。
以此方式，通过利用已知采样组信息的结构，能够在不引入新采样盒的情况下定义CRA信息。在此情况下，由于解码器可以不处理新采样盒，所以可以以较低的成本扩展已知解码器，并且提供对CRA图片的随机访问的有效支持。
<3.根据实施方式的图像解码装置的配置示例>
在此部分，将描述根据具有先前部分描述的新文格式的运动图像文件，依照HEVC方案对编码图像数据进行解码的图像解码装置。图24是示出根据本实施方式的图像解码装置30的配置示例的框图。参考图24，图像解码装置30包括VCL缓冲器31、非VCL缓冲器32、参数存储器33、解码单元34、输出缓冲器35、CRA信息获取单元36和控制单元37。
(1)VCL缓冲器/非VCL缓冲器
VCL缓冲器31对从运动图像文件20的数据区(例如，mdat盒)读取的图像数据(通常为切片数据)的比特流进行缓冲。非VCL缓冲器32对从运动图像文件20的报头区(例如，moov盒)读取的参数集如SPS、PPS和APS以及报头信息如CRA信息进行缓冲。
(2)参数存储器
参数存储器33集体地存储经由非VCL缓冲器32获取的、文件的报头区中的信息。当运动图像文件20被打开时由参数存储器33保存可以按照上述各种格式记录在运动图像文件20的报头区中的CRA信息。
(3)解码单元
解码单元34是依照HEVC方案工作的解码器。解码单元34根据经由VCL缓冲器31从运动图像文件20的数据区获取的比特流来对图像序列进行解码。当解码单元34对图像进行解码时，解码单元34使用由参数存储器33存储的参数集中的参数。解码单元34按照呈现次序对解码图像中的图像进行整理，并且将经整理的图像输出值输出缓冲器35。
解码单元34按照从开始起的次序对按照解码次序存储在运动图像文件20中的运动图像轨道中的切片数据进行正常访问。然而，当控制单元37检测到随机访问的指令时，解码单元34对由控制单元37指定的解码开始图片(位于运动图像轨道的中间)做出随机访问。解码开始图片是运动图像轨道中的IDR图片和CRA图片之一。
(4)输出缓冲器
输出缓冲器35是对解码单元34所解码的图像进行缓冲的解码图片缓冲器(DPB)。输出缓冲器35缓冲的图像在图像的输出定时处输出至显示器或处理器(未示出)。
(5)CRA信息获取单元
CRA信息获取单元36获取经由非VCL缓冲器32从运动图像文件20的报头区读取至参数存储器33的CRA信息。CRA信息是用于标识解码图像序列中的至少一个或更多个CRA图片的信息。CRA信息可以是被存储在CRA信息的专用采样盒或共享采样盒中的信息。替代地，CRA信息可以是对一个或更多个CRA图片进行分组的采样组信息。CRA信息可以包括用于标识在对每个CRA图片进行随机访问时未被正常解码的先前图片的先前图片信息。CRA信息获取单元36将所获取的CRA信息输出值控制单元37。
(6)控制单元
控制单元37控制在图像解码装置30中进行的解码处理。例如，控制单元响应于来自用户的指令打开运动图像文件20，并且使解码单元34开始对图像序列进行解码。当检测到随机访问的指令时，控制单元37基于由CRA信息获取单元36获取的CRA信息，将图像序列中的CRA图片之一指定为解码开始图片。然后，控制单元37使解码单元34从所指定的解码开始图片(即，从运动图像轨道的中间)起对图像序列进行解码。
控制单元37通常将离随机访问的指令中指定的定时(例如，通过运动图像再现窗的搜索条(seek bar)的操作指针指示的定时)最近的CRA图片指定为解码开始图片。下面将详细描述指定解码开始图片的处理的流程的若干示例。
当CRA信息包括上述先前图片信息时，控制单元37可以跳过来自输出缓冲器35的先前图片的输出，这些先前图片基于先前图片信息被标识并且未被正常解码(并且通过解码单元34进行解码)。通过使用先前图片信息，可以防止损坏图像显示在显示器中或输出至外部处理器。此时，控制单元37随后可以不确定每个图像是否被正常解码。
<4.解码处理的流程>
[4-1.非分段影片的解码处理]
(1)总体流程
图25是示出由图24中例示的图像解码装置30执行的解码处理的流程的第一示例的流程图。第一示例与具有非分段影片结构的图像序列的解码相关联。
在图25所例示的解码处理中，控制单元37持续监视随机访问(RA)指令(步骤S100)。当检测到RA指令时，执行步骤S110至步骤S160的处理。当未检测到RA指令时，解码单元34按照解码次序对图像进行解码(步骤S190)。
当检测到RA指令时，控制单元37获取指示RA指令中的指定定时的指定时间T(步骤S110)。接着，控制单元37获取与指定时间T对应的采样(要在指定时间T显示的采样)的采样号X(步骤S120)。接着，控制单元37基于CRA信息检索紧接在采样号X之前的可随机访问图片(步骤S130)。本文所指定的解码开始图片是CRA图片或IDR图片。接着，解码单元34执行对由控制单元37指定的解码开始图片的随机访问(步骤S160)。然后，解码单元34按照解码次序从解码开始图片对图像进行解码(步骤S190)。
重复上述处理直到解码出结束解码的指令或最后的图像(步骤S195)。
(2)获取与指定时间对应的采样号
图26是示出以下处理的流程示例的流程图：该处理与图25的步骤S120对应并且被执行以获取与指定时间T对应的采样号X。
参考图26，控制单元37首先将时间变量S和计数器n初始化为零(步骤S121)。接着，控制单元37增大计数器n(即，给计数器n加1)(步骤S122)。接着，控制单元37将运动图像轨道的第n个采样的持续时间加到时间变量S(步骤S123)。例如，可以通过stts盒(时间至采样盒)中的参数(sample_delta)来指示第n个采样的持续时间。接着，控制单元37确定时间变量S是否超过指定时间T(S>T)(步骤S124)。此处，当时间变量S尚未超过指定时间T时，处理返回至步骤S122。相反地，当时间变量S超过指定时间时，控制单元37用计数器的值n代替采样号x(步骤S125)。
通过这样的处理，获取与指定时间T对应的采样号X。
(3)指定解码开始图片
图27是示出以下处理的流程的第一示例的流程图：该处理与图25的步骤S130对应，并且被执行以指定解码开始图片。在第一示例中，假设CRA信息被存储在图4至图6所例示的stcs盒以及图7至图9所例示的stra盒中。
参考图27，控制单元37首先将编号变量M和计数器n初始化为1(步骤S131)。接着，控制单元37参考CRA信息的采样盒中的第n个条目(步骤S132)。接着，控制单元37确定第n个条目的采样类型(sample_type)是否指示预定值(例如，指示CRA图片或IDR图片的NAL单元类型的值)(步骤S133)。当CRA信息的采样盒不包括采样类型时，此处忽略该确定。当第n个条目的采样类型不指示预定值时，跳过步骤S134后面的处理并且处理进行至步骤S136。当第n个条目的采样类型指示预定值时，控制单元37确定第n个条目的采样号(sample_number)Xn是否等于或小于与指定时间T对应的采样号X(步骤S134)。此处，当采样号Xn不小于等于采样号X时，处理行进至步骤S138。相反地，当采样号Xn等于或小于采样号X时，控制单元37用采样号Xn替换编号变量M(步骤S135)。接着，控制单元37确定第n个条目是否为最后条目(步骤S136)。如果第n个条目不是最后条目，则控制单元37增大计数器n(步骤S137)并且处理返回步骤S132。如果第n个条目是最后的条目，则处进行至步骤S138。在步骤S138中，控制单元37用编号变量M的值替换解码开始图片的采样号Y(步骤S138)。当CRA信息的采样盒与IDR信息的采样盒分开被定义时，则还可以对IDR信息的采样盒进行与图27的处理相同的处理。在该情况下，可以采用距采样号X较近的值作为解码开始图片的采样号Y。
图28是示出以下处理的流程的第二示例的流程图：该处理与图25的步骤S130对应，并且被执行以指定解码开始图片。在第二示例中，如图18至图23所例示的，假设CRA信息为对CRA图片进行分组的采样组信息。
参考图28，控制单元37首先将编号变量j初始化为零并且将编号变量M和计数器n初始化为1(步骤S141)。接着，控制单元37参考参照图16描述的sbgp盒中的第n个条目。本文所指的sbgp盒是包括组类型“crap”和“rap2”的盒。
接着，控制单元37将sbgp盒中的第n个条目的采样计数器(sample_count)加至编号变量j。接着，控制单元37确定编号变量j是否小于等于与指定时间T对应的采样号X(S144)。此处，当编号变量j不小于等于采样号X时，处理进行至步骤S150。相反地，当编号变量j等于或小于采样号X时，处理进行至步骤S145。在步骤S145中，控制单元37确定第n个条目的组描述索引(group_description_index)是否大于零，即，与编号变量j对应的采样分组至一个采样组(步骤S145)。此处，当组描述索引大于零时，控制单元37还确定相应的采样类型(sample_type)是否指示预定值(例如，指示CRA图片或IDR图片的NAL单元类型的值)(步骤S146)。此处，当相应采样类型指示预定值时，控制单元37用编号变量j替换编号变量M(步骤S147)。相反地，当相应采样类型不指示预定值或当组描述索引不大于零时，跳过步骤S147的处理并且处理进行至步骤S148。当采样组信息不包括作为组属性的采样类型时，忽略步骤S146的确定。接着，控制单元37确定第n个条目是否为最后条目(步骤S148)。当第n个条目不是最后条目时，控制单元37增大计数器n(步骤S149)，并且处理返回至步骤S142。如果第n个条目是最后的条目，则处理进行至步骤S150。在步骤S150中，控制单元37用编号变量M的值替换解码开始图片的采样号Y(步骤S148)。
通过图27或图28所例示的处理，指定解码开始图片的采样号Y。当CRA图片未包括在图像序列中时，图像序列的开始的IDR图片可以变为解码开始图片。从文件的开始至每个块的开始的字节数被存储在stco盒(块偏移盒)中。每个采样的字节数被存储在stsz盒(采样大小盒)中。从而，当指定了解码开始图片的采样号Y时，可以基于关于采样号Y的信息计算解码开始图片在文件中的位置(从文件的开始起的字节数)。
(4)跳过未被正常解码的先前图片的输出
图29和图30示出了当从图25中的步骤S160进行至步骤S190时跳过未被正常解码的先前图片的输出的处理的流程的三个示例。
在图29的第一示例中，假设CRA信息包括每个CRA图片的损坏采样数(broken_samples)。首先，控制单元37用解码开始图片的损坏采样数替换临时变量P(步骤S161)。接着，控制单元37用解码开始图片的输出定时替换时间变量t(步骤S162)。接着，控制单元37将编号变量R初始化为1(步骤S163)。
接着，控制单元37用输出缓冲器35中的第R个采样的输出定时替换时间变量X(步骤S164)。接着，控制单元37确定临时变量P是否为零，即，损坏采样数是否为零(步骤S165)。当损坏采样数不为零时，处理行进至步骤S166。相反地，当损坏采样数为零时，处理行进至步骤S167。在步骤S166中，控制单元37确定时间变量X是否小于t，即，第R个采样是否为解码开始图片的先前采样(步骤S166)。当第R个采样不是解码开始图片的先前采样或者损坏采样数为零时，从输出缓冲器35输出由解码单元34解码的第R个采样(步骤S167)。相反地，当第R个采样是解码开始图片的先前采样时，跳过对第R个采样的输出并且处理行进至步骤S168。之后，编号变量R增大(步骤S168)并且处理返回至步骤S164。
在第一示例中，统一跳过对解码开始图片的先前采样的输出。
在图30的第二示例中，还假设CRA信息包括每个CRA图片的损坏采样数(broken_samples)。首先，步骤S161至S163的处理与图29所示的第一示例的处理相同。
在第二示例中，在编号变量R被初始化为1之后，控制单元37确定临时变量P是否为零，即，损坏采样数是否零(步骤S165)。当损坏采样数不为零时，处理行进至步骤S171。相反地，当损坏采样数为零时，处理行进至步骤S175。在步骤S171中，控制单元37确定编号变量R是否小于等于临时变量P，即，第R个采样是否是未被正常解码的损坏采样(步骤S171)。当第R个采样不是损坏采样时，处理行进至步骤S172。相反地，当第R个采样是损坏采样时，处理行进至步骤S176。在步骤S172中，控制单元37确定临时变量P是否为负值，即，损坏采样数是否未知(步骤S172)。当损坏采样数未知时，处理行进至步骤S173。相反地，当损坏采样数并非未知时，处理行进至步骤S175。在步骤S173中，控制单元37用输出缓冲器35中的第R个采样的输出定时替换时间变量X(步骤S173)。接着，控制单元37确定时间变量X是否小于t，即，第R个采样是否为解码开始图片的先前采样(步骤S174)。当第R个采样不是解码开始图片的先前采样并且损坏采样数为零时或者当损坏采样数并非未知并且第R个采样不是损坏采样时，从输出缓冲器35输出由解码单元34解码的第R个采样(步骤S175)。相反地，当第R个采样是损坏采样或当损坏采样数未知并且第R个采样时解码开始图片的先前采样时，跳过对第R个采样的输出并且处理行进至步骤S176。之后，编号变量R增大(步骤S176)并且处理返回至步骤S164。
在第二示例中，选择性地跳过对解码开始图片的先前采样中未被正常解码的采样的输出。
在图31的第三示例中，假设CRA信息包括每个CRA图片的损坏持续时间(broken_duration)。首先，控制单元37用解码开始图片的损坏持续时间替换临时变量P(步骤S181)。接着，控制单元37用一个解码目标图片的输出定时(presentation_time)替换时间变量Z(步骤S182)。
接着，控制单元37确定临时变量P是否大于时间变量Z，即，解码目标图片的输出定时是否已经过损坏持续时间(步骤S183)。当解码目标图片的输出定时已经过损坏持续时间时，解码单元34对解码目标图片进行解码并且将解码图片存储在输出缓冲器35中(步骤S184)。当解码目标图片的输出定时尚未经过损坏持续时间时，跳过对图片的解码。此后，将按解码次序的后续图片设置成解码目标图片并且处理返回至步骤S182。
[4-2.分段影片的解码处理]
(1)总体流程
图32是示出由图24中例示的图像解码装置30执行的解码处理的流程的第二示例的流程图。第二示例与具有分段影片结构的图像序列的解码相关联。
在图32所例示的解码处理中，控制单元37持续监视随机访问(RA)指令(步骤S200)。当检测到RA指令时，执行步骤S210至步骤S260的处理。当未检测到RA指令时，解码单元34按照解码次序对图像进行解码(步骤S290)。
当检测到RA指令时，控制单元37获取指示RA指令中的指定定时的指定时间T(步骤S210)。接着，控制单元37基于CRA信息检索紧接在指定时间T之前的可随机访问图片并且指定解码开始图片(步骤S230)。本文所指定的解码开始图片是CRA图片或IDR图片。接着，解码单元3对由控制单元37指定的解码开始图片执行随机访问(步骤S260)。然后，解码单元34按照解码次序从解码开始图片起对图像进行解码(步骤S290)。
重复上述处理直到结束解码的指令或直到解码出最后图像(步骤S295)。
(2)指定解码开始图片
图33是示出以下处理的流程的示例的流程图：该处理与图32的步骤S230对应，并且被执行以指定解码开始图片。在图33的示例中，假设CRA信息被存储在图10至图12所例示的tfca盒中以及图13至图15所例示的tfr2盒中。
参考图33，控制单元37首先将编号变量M和计数器n初始化为1(步骤S231)。接着，控制单元37参考包括CRA图片的分段的CRA信息的采样盒中的第n个条目(步骤S232)。接着，控制单元37确定第n个条目的输出定时(time)是否小于等于指定时间T(步骤S234)。此处，当第n个条目的输出定时不小于等于指定时间T时，处理行进至步骤S238。相反地，当第n个条目的输出定时等于或小于指定时间T时，处理行进至步骤S234。在步骤S234中，控制单元37确定第n个条目的采样类型(sample_type)是否指示预定值(例如，指示CRA图片或IDR图片的NAL单元类型的值)(步骤S234)。当CRA信息的采样盒不包括采样类型时，此处忽略该确定。当第n个条目的采样类型不指示预定值时，跳过步骤S234的后续处理并且处理进行至步骤S236。当第n个条目的采样类型指示预定值时，控制单元37用采样号(sample_number)Xn替换编号变量M(步骤S235)。接着，控制单元37确定第n个条目是否为最后条目(步骤S236)。当第n个条目不是最后条目时，控制单元37增大计数器n(步骤S237)，并且处理返回至步骤S232。如果第n个条目是最后条目，则处进行至步骤S238。在步骤S238中，控制单元37用编号变量M的值替换解码开始图片的采样号Y(步骤S238)。当CRA信息的采样盒与IDR信息的采样盒分开被定义时，还可以对IDR信息的采样盒进行与图27的处理相同的处理。在该情况下，可以采用解码开始图片的输出定时距指定时间T较近的采样号Y。
当CRA信息是图18至图23所例示的对CRA图片进行分组的采样组信息时，还可以针对分段影片指定解码开始图片的采样号Y，如在图28所例示的非分段影片的情况下。
当从图32的步骤S260行进至步骤S290时，跳过对未被正常解码的先前图片的输出的处理可以与图29至图31所例示的处理相同。
<5.示例应用>
根据上述实施方式的图像编码装置10和图像解码装置30可以应用于多种电子设备，例如用于卫星广播、有线广播如有线电视、因特网上的分发、经由蜂窝通信至终端的分发等的发送器与接收器；将图像记录在如光盘、磁盘或闪存的介质中的记录装置；从这种存储介质再现图像的再现装置等。下面将描述四个示例应用。
[5-1.第一应用示例]
图34示出了应用前述实施方式的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902根据通过天线901接收的广播信号提取期望频道的信号并且对所提取的信号进行解调。调谐器902然后将通过解调获得的编码比特流输出至解复用器903。即，调谐器902在电视装置900中起到接收编码有图像的编码流的传输装置的作用。
解复用器903将要根据编码比特流观看的节目中的视频流和音频流分离开并且将每个分离流输出至解码器904。解复用器903还从编码比特流提取辅助数据如EPG(电子节目指南)并且将所提取的数据提供给控制单元910。此处，如果编码比特流被加扰，解复用器903可以对编码比特流进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905对从解码器904输入的视频数据进行再现并且将视频显示在显示器906上。视频信号处理单元905还可以将通过网络提供的应用屏幕显示在显示器906上。视频信号处理单元905还可以进行另外的处理如根据设置对视频数据进行降噪。此外，视频信号处理单元905可以生成GUI(图形用户接口)如菜单、按钮或光标的图像，并且将所生成的图像叠加到输出图像上。
显示器906被从视频信号处理单元905提供的驱动信号驱动，并且将视频或图像显示在显示装置(如液晶显示器、等离子显示器或OELD(有机电致发光显示器))的视频屏幕上。
音频信号处理单元907对从解码器904输入的音频数据进行再现处理如D/A转换和放大，并且从扬声器908输出音频。音频信号处理单元907还可以进行另外的处理如对音频数据进行降噪。
外部接口909是将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这意味着外部接口909在电视装置900中还起到接收编码有图像的编码流的传输装置的作用。
控制单元910包括处理器如中央处理单元(CPU)以及存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据以及通过网络获取的数据。例如，在电视装置900启动时由CPU读取并且执行存储在存储器中的程序。例如，通过执行程序，CPU根据从用户接口911输入的操作信号来控制电视装置900的工作。
用户接口911连接至控制单元910。例如，用户接口911包括供用户操作电视装置的按钮及开关以及接收远端控制信号的接收部件。用户接口911通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910互连。
在具有上述配置的电视装置900中，解码器904具有根据上述实施方式的图像解码装置30的功能。从而，在电视装置900中，可以基于上述CRA信息简单地对CRA图片进行随机访问。
[5-2.第二应用示例]
图35示出应用前述实施方式的电移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930和控制单元931互连。
移动电话920执行操作，如发送/接收音频信号，发送/接收电子邮件或图像数据，对图像进行成像，或在包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种操作模式下记录数据。
在音频呼叫模式下，将麦克风925生成的模拟音频数据提供给音频编解码器923。音频编解码器923然后将模拟音频信号转换成音频数据，对所转换的音频数据进行A/D转换并且对数据进行压缩。音频编解码器923之后将所压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。通信单元922然后将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。通信单元922之后对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923扩展音频数据，对数据进行D/A转换并且生成模拟音频信号。音频编解码器923通过将所生成的音频信号提供给扬声器924来输出音频。
在数据通信模式下，例如，控制单元931根据通过操作单元932的用户操作来生成对电子邮件进行配置的字符数据。控制单元931还将字符显示在显示器930上。此外，控制单元931根据来自用户的通过操作单元932的发送指令来生成电子邮件，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号通过天线921发送至基站(未示出)。通信单元922还对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。通信单元922此后对接收信号进行解调和解码，对电子邮件数据进行恢复并且将所恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上以及将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读可写的任意存储介质。例如，存储介质可以是内置的存储介质如RAM或闪存，或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。
在摄影模式下，例如，摄像机单元926对对象进行成像，生成图像数据并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像机单元926输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的存储介质中。
在视频电话模式中，例如，解复用单元928对由图像处理单元927编码的视频流以及从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。通信单元922随后将所生成的发送信号通过天线921发送至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，转换信号的频率并且获取接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至解复用单元928。解复用单元928将来自输入流的视频流与音频流分离并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据然后被提供给显示器930，显示器930显示一系列图像。音频编解码器923展开音频流并且对音频流进行D/A转换单元以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以输出音频。
在具有上述配置的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码装置10和图像解码装置30的功能。从而，在移动电话920或对在移动电话920中编码的图像进行解码的装置中，可以基于上述CRA信息简单地执行对CRA图片的随机访问。
[5-3.第三应用示例]
图36示出应用前述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并且将数据记录到记录介质中。例如，记录/再现装置940也可以对从另外的装置获取的音频数据和视频数据进行编码，并且将数据记录到记录介质中。响应于用户指令，例如，记录/再现装置940在监视器和扬声器上对记录在记录介质中的数据进行再现。记录/再现装置940此时对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制单元949和用户接口950。
调谐器941根据通过天线(未示出)接收的广播信号提取期望的频道的信号并且对所提取的信号进行解调。调谐器941然后将通过解调获得的编码比特流输出至选择器946。即，调谐器941具有作为记录/再现装置940中的传输装置的作用。
外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以例如是IEEE 1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。即，外部接口942具有作为记录/再现装置940中的传输装置的作用。
当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。编码器943之后将编码比特流输出至选择器946。
HDD 944将其中压缩有内容数据如视频和音频的编码比特流、各种程序以及其他数据记录到内部硬盘中。当再现视频和音频时，HDD 944从硬盘读取这些数据。
硬盘驱动器945将数据记录至安装至盘驱动器的记录介质中或从该记录介质读取数据。安装至硬盘驱动器945的记录介质可以例如是DVD盘(如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。
选择器946选择当记录视频和音频时从调谐器941或编码器943输入的编码比特，并且将所选择的编码比特输出至HDD 944或盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。解码器904然后将所生成的视频数据输出至OSD 948并且将所生成的音频数据输出至外部扬声器。
OSD 948对从解码器947输入的视频数据进行再现，并且显示视频。OSD 948还可以将GUI如菜单、按钮或光标等图像叠加到所显示的视频上。
控制单元949包括如CPU的处理器以及如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。例如，存储在存储器中的程序在记录/再现装置940启动时由CPU读取并且执行。例如，通过执行程序，CPU根据从用户接口950输入的操作信号来控制记录/再现装置900的工作。
用户接口950连接至控制单元949。例如，用户接口950包括供用户操作记录/再现装置940的按钮和开关以及接收遥控信号的接收部件。用户接口950通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元949。
在具有上述配置的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置10的功能。解码器947具有根据上述实施方式的图像解码装置30的功能。从而，在记录/再现装置940或对在记录/再现装置940中被解码的图像进行解码的装置中，可以基于上述CRA信息简单地执行对CRA图片的随机访问。
[5-4.第四应用示例]
图37示出应用上述实施方式的图像拍摄装置的示意性配置的示例。成像装置960对对象进行成像，生成图像，对图像数据进行编码并且将数据记录纸记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制单元970互联。
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)，并且执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。随后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号进行各种摄像机信号处理如拐点校正、伽马校正和颜色校正。信号处理单元963将执行了摄像机信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。图像处理单元964然后将所生成的编码数据输出至外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码以生成图像数据。图像处理单元964然后将所生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从OSD 969获取的显示数据叠加到输出在显示器965上的图像上。
OSD 969生成GUI如菜单、按钮或光标的图像，并且将所生成的图像输出至图像处理单元964。
例如，外部接口966被配置成USB输入/输出端子。例如，当打印图像时，外部接口966将成像装置960与打印机连接。此外，驱动器根据需要连接至外部接口966。例如，可移除介质如磁盘或光盘被安装至驱动器，使得从可移除介质读取的程序可以安装至成像装置960。外部接口966还可以被配置成连接至如LAN或因特网等网络的网络接口。即，外部接口966具有成像装置960中的传输装置的作用。
安装至媒体驱动器968的记录介质可以是任意可读可写的移动介质如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装至媒体驱动器968以使得非便携式存储单元如内置式盘驱动器或SSD(固态驱动器)被配置。
控制单元970包括如CPU的处理器以及如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序在成像装置960启动时由CPU读取并且然后被执行。例如，通过执行程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的工作。
用户接口971连接至控制单元970。例如，用户接口971包括供用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号并且将所生成的操作信号输出至控制单元970。
在具有上述配置的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置10和图像解码装置30的功能。从而，在对在成像装置960中拍摄和编码的图像进行解码的装置中，可以基于上述CRA信息简单地进行对CRA图片的随机访问。
<6.结论>
上面参考图1至图37详细描述了本公开中的技术的各种实施方式。根据上述实施方式，用于标识可用作随机访问时的解码开始图片的CRA图片的CRA信息被***到文件格式的报头区中。从而，解码器可以在不检查分配给跨一系列图像数据的数据区中的图像数据的NAL单元类型的情况下简单地实现对CRA图片的随机访问。
在某种实施方式中，可以通过利用采样组的具有MP4格式的结构对CRA图片进行分组来形成CRA信息。在该配置中，由于解码器不处理新的采样盒，所以可以以较低的成本来扩展已知的解码器并且基于CRA信息实现随机访问。
在另一种实施方式中，通过扩展具有MP4格式的采样盒，可以形成存储CRA信息的扩展采样盒。在该配置中，可以将各种信息如每个CRA图片的采样号以及未被正常解码的先前图片信息包括在扩展采样盒中。扩展采样盒可以是CRA信息的专用盒。在该情况下，不支持对CRA图片的随机访问的解码器可以简单地忽略该专用盒。从而，由于引入扩展采样盒而导致的缺点不会出现。扩展采样盒可以是IDR信息和CRA信息的共享盒。在该情况下，解码器可以安装仅参考共享盒的用于对IDR图片和CRA图片的随机访问的综合结构。
CRA信息可以包括用于标识按照呈现顺序在每个CRA图片之前的并且在对CRA图片进行随机访问时未被正常解码的先前图片的先前图片信息。因为IDR图片不包括这样的先前图片，可以仅针对CRA图片生成先前图片信息。在该配置中，解码器随后可以不确定在随机访问时先前图片是否被正常解码，并且可以防止损坏图像显示在显示器上或基于先前图片信息输出至外部处理器。
虽然上面参考附图描述了本发明的优选实施方式，但是本发明当然不限于上面的示例。本领域技术人员可以找到所附权利要求范围内的各种替代和修改，并且应当理解，它们自然会落入本发明的技术范围中。
此外，本技术还可以被配置如下。
(1)一种图像解码装置，包括：
获取单元，被配置成从包括报头区和数据区的文件格式的所述报头区获取纯净随机访问(CRA)信息，所述CRA信息用于标识被***所述数据区的图像序列中的一个或更多个CRA图片；
控制单元，被配置成当检测到随机访问的指令时，使用所述CRA信息将所述图像序列中的一个CRA图片指定为解码开始图片；以及
解码单元，被配置成从所述控制单元所指定的所述解码开始图片起对所述图像序列进行解码。
(2)根据(1)所述的图像解码装置，
其中，所述文件格式是MP4格式，并且
其中，所述CRA信息是对所述一个或更多个CRA图片进行分组的采样组信息。
(3)根据(1)所述的图像解码装置，
其中，所述文件格式是MP4格式，并且
其中，所述获取单元从被扩展以存储所述CRA信息的扩展采样盒获取所述CRA信息。
(4)根据(3)所述的图像解码装置，其中，所述扩展采样盒是还包括用于标识瞬时解码刷新(IDR)图片的IDR信息的盒。
(5)根据(3)所述的图像解码装置，其中，所述扩展采样盒是与包括用于标识IDR图片的IDR信息的盒分开定义的盒。
(6)根据(2)至(5)中任一项所述的图像解码装置，
其中，所述CRA信息包括用于标识以下先前图片的先前图片信息：所述先前图片按照呈现次序在每个CRA图片之前并且当随机访问所述CRA图片时不被正常解码，并且
其中，所述控制单元基于所述先前图片信息跳过所述图像解码装置对所述先前图片的输出。
(7)根据(6)所述的图像解码装置，其中，所述先前图片信息指示每个CRA图片的先前图片的数目。
(8)根据(6)所述的图像解码装置，其中，所述先前图片信息指示与每个CRA图片的所述先前图片相对应的持续时间。
(9)根据(1)至(8)中任一项所述的图像解码装置，其中，所述控制单元基于所述CRA信息，将位置与所述随机访问的指令中指定的定时最近的CRA图片指定为所述解码开始图片。
(10)一种图像解码方法，包括：
从包括报头区和数据区的文件格式的所述报头区获取纯净随机访问(CRA)信息，所述CRA信息用于标识被***所述数据区的图像序列中的一个或更多个CRA图片；
当检测到随机访问的指令时，使用所述CRA信息将所述图像序列中的一个CRA图片指定为解码开始图片；以及
从所指定的解码开始图片起对所述图像序列进行解码。
(11)一种图像编码装置，包括：
编码单元，被配置成对图像序列中的图像进行编码并且生成图像数据；
确定单元，被配置成在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问(CRA)图片；以及
文件生成单元，被配置成将用于标识由所述确定单元确定的所述一个或更多个CRA图片的CRA信息***到包括报头区和数据区的文件格式的所述报头区中，并且将所述图像数据***到所述数据区中。
(12)根据(11)所述的图像编码装置，
其中，所述文件格式是MP4格式，并且
其中，所述CRA信息是对所述一个或更多个CRA图片进行分组的采样组信息。
(13)根据(11)所述的图像编码装置，
其中，所述文件格式是MP4格式，并且
其中，所述文件生成单元将所述CRA信息存储在被扩展以存储所述CRA信息的扩展采样盒中。
(14)根据(13)所述的图像编码装置，其中，所述文件生成单元还将用于标识瞬时解码刷新(IDR)图片的IDR信息存储在所述扩展采样盒中。
(15)根据(13)所述的图像编码装置，其中，所述扩展采样盒是与存储有用于标识IDR图片的IDR信息的盒分开定义的盒。
(16)根据(12)至(15)中任一项所述的图像编码装置，
其中，所述确定单元还确定以下先前图片：所述先前图片按照呈现次序在每个CRA图片之前，并且当随机访问所述CRA图片时不被正常解码，并且
其中，所述文件生成单元将先前图片信息包括在所述CRA信息中，所述先前图片信息用于标识由所述确定单元确定的每个CRA图片的所述先前图片。
(17)根据(16)所述的图像解码装置，其中，所述先前图片信息指示每个CRA图片的先前图片的数目。
(18)根据(16)所述的图像解码装置，其中所述先前图片信息指示与每个CRA图片的所述先前图片相对应的持续时间。
(19)一种图像编码方法，包括：
对图像序列中的图像进行编码并且生成图像数据；
在所述图像序列中确定能够用作随机访问时的解码开始图片的一个或更多个纯净随机访问(CRA)图片；以及
将用于标识所确定的一个或更多个CRA图片的CRA信息***到包括报头区和数据区的文件格式的所述报头区中；以及
将所述图像数据***到所述数据区中。
附图标记列表
10 图像编码装置
11 编码单元
12 确定单元
15 文件生成单元
16 控制单元
20 运动图像文件
21 报头区
27 数据区
30 图像解码装置
34 解码单元
36 CRA信息获取单元
37 控制单元

Claims (10)

1.一种图像解码装置，包括：
获取单元，被配置成从包括报头区和数据区的文件的所述报头区获取纯净随机访问信息，所述纯净随机访问信息用于标识所述数据区的图像序列中的一个或更多个纯净随机访问图片；
控制单元，被配置成当检测到随机访问的指令时使用所述纯净随机访问信息将所述图像序列中的一个纯净随机访问图片指定为解码开始图片；以及
解码单元，被配置成从所述控制单元所指定的所述解码开始图片起对所述图像序列进行解码。
2.根据权利要求1所述的图像解码装置，
其中，所述文件的格式是MP4格式，并且
其中，所述纯净随机访问信息是对所述一个或更多个纯净随机访问图片进行分组的采样组信息。
3.根据权利要求1所述的图像解码装置，
其中，所述文件的格式是MP4格式，并且
其中，所述获取单元从被扩展以存储所述纯净随机访问信息的扩展采样盒获取所述纯净随机访问信息。
4.根据权利要求3所述的图像解码装置，其中，所述扩展采样盒是还包括用于标识瞬时解码刷新图片的瞬时解码刷新信息的盒。
5.根据权利要求3所述的图像解码装置，其中，所述扩展采样盒是与包括用于标识瞬时解码刷新图片的瞬时解码刷新信息的盒分开定义的盒。
6.根据权利要求2所述的图像解码装置，
其中，所述纯净随机访问信息包括用于标识以下先前图片的先前图片信息，所述先前图片按照呈现次序在每个纯净随机访问图片之前并且当随机访问所述纯净随机访问图片时不被正常解码，并且
其中，所述控制单元基于所述先前图片信息跳过所述图像解码装置对所述先前图片的输出。
7.根据权利要求6所述的图像解码装置，其中，所述先前图片信息指示每个纯净随机访问图片的先前图片的数目。
8.根据权利要求6所述的图像解码装置，其中，所述先前图片信息指示与每个纯净随机访问图片的所述先前图片相对应的持续时间。
9.根据权利要求1所述的图像解码装置，其中，所述控制单元基于所述纯净随机访问信息，将位置与随机访问的指令中指定的定时最近的纯净随机访问图片指定为所述解码开始图片。
10.一种图像解码方法，包括：
从包括报头区和数据区的文件的所述报头区获取纯净随机访问信息，所述纯净随机访问信息用于标识所述数据区的图像序列中的一个或更多个纯净随机访问图片；
当检测到随机访问的指令时，使用所述纯净随机访问信息将所述图像序列中的一个纯净随机访问图片指定为解码开始图片；以及
从所指定的解码开始图片起对所述图像序列进行解码。
CN201380035503.6A 2012-07-10 2013-05-10 图像解码装置、图像解码方法、图像编码装置及图像编码方法 Expired - Fee Related CN104412608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711105400.9A CN107820089B (zh) 2012-07-10 2013-05-10 图像解码装置、图像编码装置及图像编码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012154557 2012-07-10
JP2012-154557 2012-07-10
PCT/JP2013/063178 WO2014010300A1 (ja) 2012-07-10 2013-05-10 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711105400.9A Division CN107820089B (zh) 2012-07-10 2013-05-10 图像解码装置、图像编码装置及图像编码方法

Publications (2)

Publication Number Publication Date
CN104412608A CN104412608A (zh) 2015-03-11
CN104412608B true CN104412608B (zh) 2018-03-06

Family

ID=49915775

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380035503.6A Expired - Fee Related CN104412608B (zh) 2012-07-10 2013-05-10 图像解码装置、图像解码方法、图像编码装置及图像编码方法
CN201711105400.9A Expired - Fee Related CN107820089B (zh) 2012-07-10 2013-05-10 图像解码装置、图像编码装置及图像编码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711105400.9A Expired - Fee Related CN107820089B (zh) 2012-07-10 2013-05-10 图像解码装置、图像编码装置及图像编码方法

Country Status (4)

Country Link
US (2) US10062416B2 (zh)
JP (1) JP6319083B2 (zh)
CN (2) CN104412608B (zh)
WO (1) WO2014010300A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
US11206386B2 (en) * 2016-01-13 2021-12-21 Sony Corporation Information processing apparatus and information processing method
CN105741861B (zh) * 2016-02-05 2017-12-15 京东方科技集团股份有限公司 智能播放***、方法、可穿戴设备、主体单元和播放单元
JP7077141B2 (ja) * 2018-05-28 2022-05-30 シャープ株式会社 画像記録装置、画像記録方法およびプログラム
CN115150348B (zh) * 2021-03-30 2024-05-03 奇安信科技集团股份有限公司 邮件附件还原方法及***
CN115080531A (zh) * 2022-05-16 2022-09-20 重庆紫光华山智安科技有限公司 基于分布式存储图像处理方法、***、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198052A (zh) * 2006-12-04 2008-06-11 华为技术有限公司 一种视频编码方法、解码方法及其装置
WO2012011076A1 (en) * 2010-07-21 2012-01-26 Nokia Corporation Method and apparatus for indicating switching points in a streaming session

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3080087B2 (ja) * 1998-12-28 2000-08-21 日本電気株式会社 画像処理方法及びその装置
US8214655B2 (en) * 2002-03-29 2012-07-03 Kabushiki Kaisha Toshiba Data structure of multimedia file format, encrypting method and device thereof, and decrypting method and device thereof
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和***
US8509434B2 (en) * 2008-06-20 2013-08-13 Korean Broadcasting System Method and apparatus for protecting scalable video coding contents
US9706227B2 (en) * 2011-03-10 2017-07-11 Qualcomm Incorporated Video coding techniques for coding dependent pictures after random access
US9026671B2 (en) * 2011-04-05 2015-05-05 Qualcomm Incorporated IP broadcast streaming services distribution using file delivery methods
JP5993453B2 (ja) * 2011-07-15 2016-09-14 テレフオンアクチーボラゲット エルエム エリクソン（パブル） クリーンランダムアクセス画像に最下レイヤ識別情報を割り当てるための符号器およびその方法
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9351016B2 (en) * 2012-04-13 2016-05-24 Sharp Kabushiki Kaisha Devices for identifying a leading picture
US9532055B2 (en) * 2012-04-16 2016-12-27 Microsoft Technology Licensing, Llc Constraints and unit types to simplify video random access
US9979959B2 (en) * 2012-04-20 2018-05-22 Qualcomm Incorporated Video coding with enhanced support for stream adaptation and splicing
JP6045222B2 (ja) 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198052A (zh) * 2006-12-04 2008-06-11 华为技术有限公司 一种视频编码方法、解码方法及其装置
WO2012011076A1 (en) * 2010-07-21 2012-01-26 Nokia Corporation Method and apparatus for indicating switching points in a streaming session

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
On bitstreams starting with CRA pictures;Ye-Kui Wang，Ying Chen，Marta Karczewicz，Jianle Chen;《JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20120210;全文 *
Signaling of CRA Pictures;Sachin Deshpande, Louis Kerofsky;《JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20120427;全文 *

Also Published As

Publication number Publication date
CN107820089A (zh) 2018-03-20
JP6319083B2 (ja) 2018-05-09
WO2014010300A1 (ja) 2014-01-16
JPWO2014010300A1 (ja) 2016-06-20
CN107820089B (zh) 2020-05-19
US20150194188A1 (en) 2015-07-09
US10062416B2 (en) 2018-08-28
CN104412608A (zh) 2015-03-11
US20180277163A1 (en) 2018-09-27
US10283167B2 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
CN104412608B (zh) 图像解码装置、图像解码方法、图像编码装置及图像编码方法
KR101148765B1 (ko) 동화상 스트림 생성 장치, 동화상 부호화 장치, 동화상다중화 장치 및 동화상 복호화 장치
CN104704823B (zh) 图像处理装置和方法
JP4974984B2 (ja) 映像記録装置及び方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
CN106576176A (zh) 图像编码设备和方法以及图像解码设备和方法
CN104823450A (zh) 发送和接收广播信号以便提供特技播放服务的方法和装置
CN102474588A (zh) 发送控制装置、接收控制装置、发送控制方法、接收控制方法、以及发送控制程序
CN110087093A (zh) 信息处理装置和方法以及非暂态计算机可读介质
CN104854868B (zh) 图像处理设备和方法
JP6863271B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR102344751B1 (ko) 정보 처리 장치, 정보 기록 매체 및 정보 처리 방법, 그리고 프로그램
CN113014930A (zh) 信息处理设备、信息处理方法和计算机可读记录介质
CN106063275A (zh) 图像编码装置和方法及图像处理装置和方法
JP6145748B2 (ja) 映像再生装置および映像記録装置
US20030219041A1 (en) Method for recording location information of broadcasting signals, and a broadcasting signal receiving device and transmitting device capable of recording location information of broadcasting signals
CN110663250B (zh) 信息处理设备、信息记录介质和信息处理方法
KR20080064399A (ko) Ｍｐ4 역다중화 장치 및 그의 동작 방법
EP1926104B1 (en) Encoding device, decoding device, recording device, audio/video data transmission system
CN101444090B (zh) 用于显示记录的装置和方法
US8571392B2 (en) Apparatus for video recording and reproducing, and method for trick play of video
EP3429217B1 (en) Information processing device, information processing method, and program
EP3826297A1 (en) Information processing device, information recording medium, information processing method, and program
US20160118019A1 (en) Image processing device and image processing method
WO2014002618A1 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180306