CN103688546A - 编码装置和编码方法、以及解码装置和解码方法 - Google Patents

编码装置和编码方法、以及解码装置和解码方法 Download PDF

Info

Publication number
CN103688546A
CN103688546A CN201280035866.5A CN201280035866A CN103688546A CN 103688546 A CN103688546 A CN 103688546A CN 201280035866 A CN201280035866 A CN 201280035866A CN 103688546 A CN103688546 A CN 103688546A
Authority
CN
China
Prior art keywords
image
basic
display control
primary image
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280035866.5A
Other languages
English (en)
Inventor
市木祥二
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103688546A publication Critical patent/CN103688546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技术涉及一种编码装置和编码方法、以及解码装置和解码方法，其可以根据与用于传统的低帧速率的图像的方法具有兼容性的方法对高帧速率图像进行编码和解码。基本编码器将在高帧速率数据中的具有传统的帧速率的图像数据作为基本视图进行编码。非基本编码器通过参考基本视图、将在高帧速率数据中除了基本视图之外的图像数据作为非基本视图进行编码。SEI生成单元生成显示控制信息。天线传送编码基本视图、编码非基本视图、以及显示控制信息。本技术可以被应用至例如传送TV广播的TV传送器。

Description

编码装置和编码方法、以及解码装置和解码方法
技术领域
本技术涉及一种编码装置和编码方法、以及解码装置和解码方法，并且更具体地涉及一种可以根据与用于传统的低帧速率图像的方法具有兼容性的方法来对高帧速率图像进行编码和解码的编码装置和编码方法、以及解码装置和解码方法。
背景技术
数字广播正在各个国家得到普及，并且在数字广播中现在正在积极地引入涉及高帧速率图像和3D图像的下一代技术。在欧洲，例如对由1920×1080个像素以50p/60p（其为传统的帧速率的二倍的帧速率）形成的图像（在下文中被称为50p/60p图像）的广播进行了早期的标准化。
图1是示出根据此标准所实现的TV（电视）传送/接收***的示例的框图。
在图1中所示出的TV传送/接收***10包括摄像装置11、TV传送器12、以及TV接收器13。
TV传送/接收***10的摄像装置11捕获例如50p/60p的图像，并且将作为结果所获得的50p/60p图像的图像数据（50p/60p原始数据）提供给TV传送器12。
TV传送器12包括编码器12A。编码器12A对从摄像装置11所提供的50p/60p图像的图像数据进行编码。TV传送器12通过使用无线电波传送包含50p/60p图像的编码数据的所生成的比特流（50p/60p流）。
TV接收器13包括解码器13A。TV接收器13接收TV传送器12使用无线电波所传送的50p/60p图像的比特流。解码器13A根据与AVC方法兼容的方法对50p/60p的比特流中所包含的编码数据进行解码，并且获得50p/60p图像的图像数据。基于50p/60p图像的图像数据，TV接收器13显示50p/60p图像（50p/60p视图）。
为了对50p/60p图像进行编码和解码，以上所述的TV传送/接收***10通过MPEG4（运动图像专家组阶段4）/AVC（先进视频编码）的层级（level）4.2等来执行编码和解码。
然而，传统的广播标准将编码方法的上限限定为MPEG4/AVC的层级4.0。因此，大多数传统的TV接收器具有等于或低于MPEG4/AVC的层级4.0的解码能力。有鉴于此，对于传统的TV接收器难以对具有比由1920×1080个像素以50i/60i或25p/30p形成的图像更高的规格的图像进行解码。作为结果，当传统的TV接收器接收到50p/60p图像的广播时，所显示的图像可能是扰乱的、要显示的图像可能被跳过、或不能显示一些图像。
为了解决这样的问题，可以按照下面的方式执行与传统的广播具有兼容性的50p/60p图像的广播。TV传送器可以根据作为MPEG4/AVC的扩展标准的SVC（可伸缩视频编码）对50p/60p图像进行编码和传送，并且传统的TV接收器可以仅对在50p/60p图像之中由1920×1080个像素以50i/60i或25p/30p形成的图像进行解码和显示。然而，很少有采用SVC技术的TV传送/接收***，并且仅针对与50p/60p图像的广播的兼容性而将SVC技术引入到TV传送/接收***将导致成本的增加。
另外，可以执行同时广播以在一个广播频段中同时地传送50p/60p图像的广播和50i/60i图像或25p/30p图像的广播。然而，在这种情况下，在一个广播频段中需要传送两个广播，并且因此，需要降低每个广播的比特率。作为结果，每个广播的图像质量变差，特别是在使用窄的广播频段的地面广播中。此外，即使采用与50p/60p图像的广播不兼容的传统的TV接收器，观看者也可以通过同时广播来观看广播。作为结果，观看到50p/60p图像的广播的扰乱的图像可能使观看者困惑。
由于以上原因，实际中不能开始50p/60p图像的广播。
在欧洲，还对半HD（高清晰度）3D图像的广播进行了标准化，该半HD3D图像是通过并排方法对其进行复用并且通过MPEG4/AVC对其进行编码的。例如，在专利文献1中公开了广播这样的3D图像的***。并排方法是将在水平方向上具有减半的分辨率的用于左眼的图像和用于右眼的图像布置在屏幕的左半边和右半边的方法。
此外，在欧洲现在开始考虑全HD3D图像的广播的标准化。
作为用于实现全HD3D图像的广播的方法，存在使用在3D-BD（蓝光（注册商标名称）盘）中所使用的MVC（多视图视频编码）方法作为编码方法的方法。在实际地使用此方法的情况下，与全HD3D图像的广播兼容的TV接收器包括可以根据与MVC方法兼容的方法执行解码的解码器。MVC方法是MPEG4/AVC的扩展标准，并且与50p/60p图像兼容。
另外，记录根据MVC方法作为个人内容而编码的全HD3D图像正被考虑用于视频摄像装置等，并且这些3D图像可以由TV接收器再现。
鉴于上述，存在TV接收器包括可以根据与MVC方法兼容的方法执行解码的解码器的高的可能性。
作为用于实现全HD3D图像的广播的方法，还存在将用于左眼的图像编码为奇数编号的场和将用于右眼的图像编码为偶数编号的场的方法（例如，参见专利文献2）。
引用列表
专利文献
专利文献1：JP2011-109397A
专利文献2：JP7-123447A
发明内容
本发明要解决的问题
如上所述，当传统的TV接收器接收50p/60p图像的广播时，所显示的图像可能是扰乱的、要显示的图像可能被跳过、或不能显示一些图像。
有鉴于此，存在通过根据与传统的广播具有兼容性的方法对50p/60p图像的广播进行编码，来实现与传统的广播具有兼容性的50p/60p图像的广播的需求。即，存在根据与用于传统的低帧速率图像的方法具有兼容性的方法对高帧速率图像进行编码和解码的需求。
鉴于这些情形开发了本技术，并且本技术根据与用于传统的低帧速率图像的方法具有兼容性的方法对高帧速率图像进行编码和解码。
问题的解决方案
本技术的第一方面的编码装置包括：编码单元，将在具有第一帧速率的图像之中具有预定帧速率的图像为基本图像进行编码，并且通过参考基本图像、将在具有第一帧速率的图像之中除了基本图像之外的图像作为非基本图像进行编码；生成单元，生成显示控制信息，该显示控制信息要被用来将基本图像和非基本图像显示为具有等于或低于第一帧速率的第二帧速率的图像；以及传送单元，传送由编码单元所编码的基本图像和非基本图像、以及由生成单元所生成的显示控制信息。
本发明的第一方面的编码方法与本技术的第一方面的编码装置兼容。
在本技术的第一方面中，将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码，通过参考基本图像、将在具有第一帧速率的图像之中除了基本图像之外的图像作为非基本图像进行编码；生成显示控制信息，该显示控制信息要被用来将基本图像和非基本图像显示为具有等于或低于第一帧速率的第二帧速率的图像；以及传送编码基本图像和非基本图像以及所生成的显示控制信息。
根据本技术的第二方面的解码装置包括：接收单元，接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考基本图像、将除了基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将基本图像和非基本图像显示为具有等于或低于第一帧速率的第二帧速率的图像的显示控制信息；以及解码单元，通过对由接收单元所接收的基本编码数据进行解码来生成基本图像，并且通过使用由接收单元所接收的显示控制信息和参考所生成的基本图像、对由接收单元所接收的非基本编码数据进行解码。
本技术的第二方面的解码方法与本技术的第二方面的解码装置兼容。
在本技术的第二方面中，接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考基本图像、将除了基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将基本图像和非基本图像显示为具有等于或低于第一帧速率的第二帧速率的图像的显示控制信息。通过对所接收的基本编码数据进行解码来生成基本图像，并且通过使用所接收的显示控制信息和参考所生成的基本图像对所接收的非基本编码数据进行解码。
发明的效果
根据本技术的第一方面，可以根据与用于传统的低帧速率图像的方法具有兼容性的方法对高帧速率图像进行编码。
根据本技术的第二方面，可以根据与用于传统的低帧速率图像的方法具有兼容性的方法对高帧速率图像进行解码。
附图说明
图1是示出TV传送/接收***的示例的框图。
图2是示出传送和接收全HD3D图像的广播的TV传送/接收***的示例的框图。
图3是用于说明施加了本技术的TV传送/接收***的实施例的概要的图。
图4是示出图3中所示的TV传送器的具体示例结构的图。
图5是示出在显示控制信息的SEI中的示例描述符的图。
图6是示出格式转换类型的示例的图。
图7是示出插值AU标志的示例的图。
图8是示出基本视图不显示标志的示例的图。
图9是示出基本视图编码单位标志的图。
图10是示出显示控制信息标志的示例描述符的图。
图11是用于说明图4中所示的TV传送器要执行的传送处理的流程图。
图12是示出图3中所示的TV接收器的具体示例结构的框图。
图13是示出图3中所示的TV接收器的具体示例结构的框图。
图14是用于说明TV接收器要执行的处理的图。
图15是用于说明TV接收器要执行的处理的图。
图16是用于说明TV接收器要执行的处理的图。
图17是用于说明TV接收器要执行的处理的图。
图18是用于说明TV接收器53要执行的接收处理的流程图。
图19是用于具体地说明图18中所示的四倍（quad）处理的流程图。
图20是用于具体地说明图18中所示的两倍隔行扫描（doubleinterlace）处理的流程图。
图21是用于说明TV接收器54要执行的接收处理的流程图。
图22是示出计算机的实施例的示例结构的图。
具体实施方式
[本技术的前提]
图2是示出传送和接收全HD3D图像的广播的TV传送/接收***的示例的框图。
在图2中所示的TV传送/接收***30包括摄像装置31A和31B、TV传送器32、以及TV接收器33。
摄像装置31捕获在3D图像之中用于左眼的图像，并且将作为结果所获得的左眼图像数据提供给TV传送器32。摄像装置31B捕获在3D图像之中用于右眼的图像，并且将作为结果所获得的右眼图像数据提供给TV传送器32。
TV传送器32包括基本编码器32A和非基本编码器32B。基本编码器32A根据AVC方法将从摄像装置31A所提供的左眼图像数据作为基本视图进行编码。另外，基本编码器32A还对编码基本视图进行解码，并且将解码基本视图提供给非基本编码器32B。
通过参考从基本编码器32A所提供的解码基本视图等，非基本编码器32B根据MVC方法将从摄像装置31B所提供的右眼图像数据作为非基本图像进行编码。TV传送器32使用无线电波传送作为由基本编码器32A进行的编码的结果所获得的编码数据、和包含作为由非基本编码器32B进行的编码的结果所获得的编码数据的MVC流。
TV接收器33包括基本解码器33A和非基本解码器33B。TV接收器33接收TV传送器32使用无线电波所传送的MVC流。基本解码器33A根据与AVC方法兼容的方法对MVC流中的基本视图的编码数据进行解码。基本解码器33A将作为基本视图的左眼图像数据提供给非基本解码器33B，该基本视图是作为解码的结果所获得的。
通过参考从基本解码器33A所提供的基本视图等，非基本解码器33B根据与MVC方法兼容的方法对MVC流中的非基本视图的编码数据进行解码。通过这样作，非基本解码器33B获得了右眼图像数据。TV接收器33基于左眼图像数据显示用于左眼的图像，并且基于右眼图像数据显示用于右眼的图像。通过使用预定的眼镜等，观看者左眼仅看到用于左眼的图像并且右眼仅看到用于右眼的图像。以这种方式，观看者执行了具有立体感的观看。
与传统的广播兼容但是与全HD3D图像的广播不兼容的TV接收器包括根据例如与AVC方法兼容的方法执行解码的解码器。因此，这样的TV接收器可以对从TV传送器32所传送的MVC流中的基本视图流进行解码。因此，认为作为用于TV传送器32要传送的全HD3D图像的广播的编码方法的MVC方法与作为用于传统的广播的编码方法的AVC方法具有兼容性。
有鉴于此，本技术通过根据MVC方法对50p/60p图像进行编码，确保了50p/60p图像的广播和传统的广播的兼容性。以这种方式，可以确保50p/60p图像的广播和传统的广播的兼容性，而未如同在执行同时广播的情况下一样导致图像质量的劣化。因为在与传统的广播兼容的TV传送/接收***中实施了AVC方法的技术，所以可以在抑制TV传送/接收***的成本增加的同时确保与50p/60p图像的广播和传统的广播的兼容性。此外，在采用MVC方法作为用于全HD3D图像的广播的编码方法的情况下，仅需要对与全HD3D图像的广播兼容的TV传送/接收***做出很小量的改变。
[施加了本技术的TV传送/接收***的实施例的概述的说明]
图3是用于说明施加了本技术的TV传送/接收***的实施例的概要的图。
图3中所示的TV传送/接收***50包括摄像装置51、TV传送器52、TV接收器53、以及TV接收器54。
TV传送/接收***50的摄像装置51以为传统的TV接收器可以执行处理的帧速率（在下文中被称为传统的帧速率）的N（N是等于或大于2的整数）倍的高帧速率执行成像，并且获得所生成的图像数据作为高帧速率数据。在此，传统的帧速率为50i/60i或25p/30p。摄像装置51将高帧速率数据提供给TV传送器52。
TV传送器52用作编码装置，并且包括基本编码器61和非基本编码器62。基本编码器61根据AVC方法、将从摄像装置51所提供的高帧速率数据中具有传统的帧速率的图像数作为基本视图进行编码。另外，基本编码器61对编码基本视图进行解码，并且将解码基本视图提供给非基本编码器62。
非基本编码器62根据MVC方法将高帧速率数据中除了基本视图之外的图像数据作为非基本视图进行编码。此时，非基本编码器62使用从基本编码器61所提供的解码基本视图等作为参考图像。
通过使用无线电波，TV传送器52传送作为由基本编码器61进行编码的结果所获得的基本编码数据、以及包含作为由非基本编码器62进行的编码的结果所获得的非基本编码数据的MVC流。
TV接收器53是与50p/60p图像的广播兼容的TV接收器，用作解码装置，以及包括基本解码器71和非基本解码器72。TV接收器53接收TV传送器52使用无线电波所传送的MVC流。基本解码器71根据与AVC方法兼容的方法对MVC流中所包含的基本视图编码数据进行解码。基本解码器71将作为解码的结果所获得的基本视图提供给非基本解码器72。
非基本解码器72根据与MVC方法兼容的方法对MVC流中所包含的非基本视图编码数据的至少一部分进行解码。此时，非基本解码器72参考从基本解码器71所提供的基本视图等。
基于作为由基本解码器71进行的编码的结果所获得的基本视图和作为由非基本解码器72进行的编码的结果所获的非基本视图，TV接收器53以为传统的帧速率的M（M是不小于2并且不大于N的整数）倍的帧速率显示图像。在此，M的最大值是依赖于TV接收器53的处理能力的值。
TV接收器54是与50p/60p图像的广播不兼容的传统的TV接收器，用作解码装置，以及包括解码器81。TV接收器54接收TV传送器52使用无线电波所传送的MVC流。与基本解码器71类似，解码器81根据与AVC方法兼容的方法对在MVC流中所包含的基本视图编码数据进行解码。基于作为基本视图的传统的帧速率的图像数据，TV接收器54显示具有传统的帧速率的图像，该基本视图是作为由基本解码器71进行的解码的结果所获得的。
[TV传送器的示例结构]
图4是示出图3中所示的TV传送器52的具体示例结构的图。
如图4所示，TV传送器52不仅包括基本编码器61和非基本编码器62，并且还包括帧存储器101、SEI（补充增强信息）生成单元102、NAL（网络抽象层）生成单元103、PES（包化基本流（packetized elementarystream））生成单元104、TS（传输流）生成单元105以及天线106。
如上所述，TV传送器52的基本编码器61根据AVC方法将从摄像装置51所提供的高帧速率数据中具有传统的帧速率的图像数据作为基本视图进行编码。此时，基本编码器61使用在帧存储器101中所存储的并且被编码和解码的基本视图作为参考图像。另外，基本编码器61对编码基本视图进行解码，并且将解码基本视图提供给帧存储器101。
另外，基本编码器61将编码基本视图作为基本编码数据提供给NAL生成单元103。此外，基本编码器16将正在编码的每个当前基本视图的视图ID和编码单位提供给SEI生成单元102。在此，视图ID是按照成像顺序分配给每个图像数据的唯一ID。
如上所述，非基本编码器62根据MVC方法将高帧速率数据中除了基本视图之外的图像数据作为非基本视图进行编码。此时，非基本编码器62使用在帧存储器101中所存储的解码基本视图或非基本视图作为参考图像。另外，非基本编码器62对编码非基本视图进行解码，并且将解码非基本视图提供给帧存储器101。
另外，非基本编码器62将编码非基本视图作为非基本编码数据提供给NAL生成单元103。此外，非基本编码器62将正在编码的每个当前非基本视图的视图ID提供给SEI生成单元102。
帧存储器101保存从基本编码器61所提供的解码基本视图。另外，帧存储器101保存从非基本编码器62所提供的解码非基本视图。
SEI生成单元102用作生成单元，并且基于从基本编码器61所提供的视图ID和编码单位以及从非基本编码器62所提供的视图ID等，生成显示控制信息。显示控制信息是当TV接收器53中将与基本视图和非基本视图的至少一部分相对应的图像显示为具有为传统的帧速率的M倍的帧速率的图像时要使用的信息。
SEI生成单元102不仅生成显示控制信息的SEI等作为用于MVC方法的SEI，并且还生成用于AVC方法的SEI，以及将SEI提供给NAL生成单元103。另外，SEI生成单元102生成指示MVC流是否包含显示控制信息或用于MVC方法的SEI是否包含显示控制信息的SEI的显示控制信息标志，并且将显示控制信息标志提供给TS生成单元105。
NAL生成单元103将NAL数据头（header）加到从基本编码器61所提供的基本编码数据、从非基本编码器62所提供的非基本编码数据以及从SEI生成单元102所提供的SEI等。通过这样做，NAL生成单元103生成了基本编码数据、非基本编码数据以及SEI等的NAL单位。NAL生成单元103用作传送数据生成单元，根据所生成的NAL单位生成访问单位（AU），以及将AU提供给PES生成单元104。
PES生成单元104将从NAL生成单元103所提供的AU包化（packetize）为PES包，并且将所生成的PES包提供给TS生成单元105。
TS生成单元105对从PES生成单元104所提供的PES包、包含从SEI生成单元102所提供的显示控制信息标志的数据等进行包化以生成TS包。TS生成单元105对TS包进行复用以生成TS。TS生成单元105将所生成的TS作为MVC流提供给天线106。
天线106用作传输单元，并且使用无线电波将从TS生成单元105所提供的MVC流传送到TV接收器53。
[显示控制信息的SEI的示例]
图5是示出在显示控制信息的SEI中的示例描述的图。
如图5所示，在显示控制信息的SEI（mvc_format_type_info）中布置有格式转换类型（format_conversion_type）、插值AU标志（interpolation_AU_flag）、基本视图不显示标志（base_view_no_output_flag）、基本视图编码单位标志（base_view_is_field_encoded_flag）、以及用于将来扩展的保留区域（reserved）。
格式转换类型是指示要编码的相对应的图像的类型的信息，并且是基于用户输入等生成的。插值AU标志是如下配对信息：该配对信息指示相对应的非基本视图是否是形成与基本视图同一帧的图像数据的场或帧的图像数据。基于格式转换类型以及来自基本编码器61和非基本编码器62的视图ID生成插值AU标志。
基本视图不显示标志是指示当显示100i/120i图像时是否要显示形成与相对应的非基本视图同一帧的图像数据的基本视图的信息，并且是基于格式转换类型生成的。基本视图编码单位标志是指示已经按照帧对相对应的基本视图进行了编码、或已经按照场对相对应的基本视图进行了编码的编码单位信息，并且是基于从基本编码器61所提供的编码单位生成的。
[格式转换类型的示例]
图6是示出可以布置在显示控制信息的SEI中的格式转换类型的示例的图。
在图6所示的示例中，通过0至3的值代表格式转换类型。格式转换类型“0”指示要编码的相对应的图像是3D图像。格式转换类型“1”指示要编码的相对应的图像的N为2，并且要编码的图像是逐行扫描图像。格式转换类型“2”指示要编码的相对应的图像的N为2，并且要编码的图像是隔行扫描图像。格式转换类型“3”指示要编码的相对应的图像的N为4，并且要编码的图像是逐行扫描的图像。
格式转换类型“5”至“7”是用于将来扩展的保留区域。
[插值AU标志的示例]
图7是示出可以布置在显示控制信息的SEI中的插值AU标志的示例的图。
如图7所示，插值AU标志是0或1。插值AU标志“0”指示相对应的非基本视图既不是形成与基本视图同一帧的图像数据的场的图像数据也不是形成与基本视图同一帧的图像数据的帧的图像数据。同时，插值AU标志“1”指示相对应的非基本视图是形成与基本视图同一帧的图像数据的场的图像数据或形成与基本视图同一帧的图像数据的帧的图像数据。
[基本视图不显示标志的示例]
图8是示出可以布置在显示控制信息的SEI中的基本视图不显示标志的示例的图。
如图8所示，基本视图不显示标志是0或1。基本视图不显示标志“0”指示当显示100i/120i图像时要显示形成与相对应的非基本视图同一帧的图像数据的基本视图。同时，基本视图不显示标志“1”指示当显示100i/120i图像时不显示形成与相对应的非基本视图同一帧的图像数据的基本视图。在不可以基于高帧速率数据显示100i/120i图像的情况下，基本视图不显示标志可以具有任意值，但是在本实施例中为“0”。
[基本视图编码单位标志的示例]
图9是示出可以布置在显示控制信息的SEI中的基本视图编码单位标志的示例的图。
如图9所示，基本视图编码单位标志是0或1。基本视图编码单位标志“0”指示已经按照帧对相对应的基本视图进行了编码，并且基本视图编码单位标志“1”指示已经按照场对相对应的基本视图进行了编码。
[显示控制信息标志的示例描述符]
图10是示出显示控制信息标志的示例描述符的图。
如图10所示，显示控制信息标志（mvc_format_type_info_present）被写入到诸如PMT（节目映射表）等的TS包中的MVC扩展描述符（MVC_extension_descriptor）的4比特保留区域之中的1比特区域中。当指示MVC流中包含显示控制信息时，显示控制信息标志为“1”，并且当指示MVC流中不包含显示控制信息时，显示控制信息标志为“0”。
因为如上所述显示控制信息标志包含在TS包中，所以TV接收器53可以在进行解码之前确定MVC流中是否包含显示控制信息。
[由TV传送器进行的处理的描述]
图11是用于说明图4中所示的TV传送器52要执行的传输处理的流程图。例如，当从摄像装置51提供高帧速率数据时开始此传输处理。
针对每个编码单位执行图11的步骤S11至步骤S17中的处理。
在步骤S11中，TV传送器52的基本编码器61确定要处理的当前的高帧速率数据是否为具有传统的帧速率的图像数据。
如果在步骤S11中当前的高帧速率数据被确定为是具有传统的帧速率的图像数据，则基本编码器61在步骤S12中根据AVC方法将当前的高帧速率数据编码为基本视图。此时，基本编码器61使用在帧存储器101中所存储的、并且被编码和解码的基本视图作为参考图像。另外，基本编码器61对编码基本视图进行解码，并且将解码基本视图提供给帧存储器101。另外，基本编码器61将编码基本视图作为基本编码数据提供给NAL生成单元103。
在步骤S13中，基本编码器61将要编码的当前的基本视图的视图ID和编码单位提供给SEI生成单元102，并且处理继续到步骤S17。
另一方面，如果在步骤S11中当前的高帧速率数据被确定为不是具有传统的帧速率的图像数据，则处理继续到步骤S14。
在步骤S14中，非基本编码器62根据MVC方法将当前的高帧速率数据作为非基本视图进行编码。此时，非基本编码器62使用在帧存储器101中所存储的、并且被编码和解码的基本图像或非基本图像作为参考图像。另外，非基本编码器62对编码非基本视图进行解码，并且将解码非基本视图提供给帧存储器101。此外，非基本编码器62将编码非基本视图作为非基本编码数据提供给NAL生成单元103。
在步骤S15中，非基本编码器62将要编码的当前的非基本视图的视图ID提供给SEI生成单元102。
在步骤S16中，SEI生成单元102基于从基本编码单元61所提供的视图ID和编码单位以及从非基本编码器62所提供的视图ID等，生成显示控制信息。SEI生成单元102不仅生成显示控制信息的SEI等作为用于MVC方法的SEI并且还作为用于AVC方法的SEI，以及将SEI提供给NAL生成单元103。然后，处理继续到步骤S17。
在步骤S17中，SEI生成单元102生成显示控制信息标志，并且将显示控制信息标志提供给TS生成单元105。
在步骤S18中，NAL生成单元103将NAL数据头加到来自基本编码器61的基本编码数据、来自非基本编码器62的非基本编码数据、以及来自SEI生成单元102的SEI等，以生成基本编码数据、非基本编码数据、SEI等的NAL单位。
在步骤S19中，NAL生成单元103根据所生成的NAL单位生成AU，并且将AU提供给PES生成单元104。
在步骤S20中，PES生成单元104将从NAL生成单元103所提供的AU包化为PES包，并且将所获得的PES包提供给TS生成单元105。
在步骤S21中，TS生成单元105通过对从PES生成单元104所提供的PES包、包含从SEI生成单元102所提供的显示控制信息标志的数据等进行包化来生成TS包。
在步骤S22中，TS生成单元105对所生成的TS包进行复用，并且生成作为复用数据的TS。
在步骤S23中，TS生成单元105使用无线电波将所生成的TS作为MVC流从天线106传送到TV接收器53。然后处理结束。
如上所述，TV传送器52根据AVC方法将在具有为传统的帧速率的N倍的帧速率的图像之中的传统的帧速率图像作为基本视图进行编码，并且根据MVC方法将除了基本视图之外的图像作为非基本视图进行编码。以这种方式，可以根据与用于传统的帧速率图像的方法具有兼容性的方法对具有为传统的帧速率的N倍的帧速率的图像进行编码。作为结果，即使在与50p/60p图像的广播不兼容的传统的TV接收器54中，也可以对从TV传送器52所传送的MVC流中的基本视图进行解码。
TV传送器52仅需传送具有为传统的帧速率的N倍的帧速率的图像的编码数据。因此，与在同时广播中分别地传送传统的帧速率的图像和具有为传统的帧速率的N倍的帧速率的图像的情况下相比，实现了较高的频带使用效率。作为结果，可以防止图像质量的劣化，而不需要降低比特率。另外，TV传送器52不需要生成具有传统的帧速率的图像和具有为传统的帧速率N倍的帧速率的图像两者。因此，可以降低处理成本。
此外，因为在与传统的广播兼容的TV传送/接收***中引入了AVC方法的技术，所以可以抑制TV传送/接收***的成本的增加。此外，在采用MVC方法作为用于全HD3D图像的广播的编码方法的情况下，仅需要对与全HD3D图像的广播兼容的TV传送/接收***做出很小量的改变。
另外，因为TV传送器52传送显示控制信息，所以TV接收器53可以对基本视图和非基本视图执行解码，并且可以基于显示控制信息执行显示控制。因此，可以显示具有为传统的帧速率的M倍的帧速率的图像。
[TV接收器53的具体的示例结构]
图12是示出图3所示的TV接收器53的具体的示例结构的框图。
图12中所示的TV接收器53不仅包括基本解码器71和非基本解码器72，并且还包括天线121、TS分离单元122、PES分离单元123、NAL滤波器124、帧存储器125、SEI获取单元126以及显示控制单元127。
天线121用作接收单元，接收TV传送器52的天线106（图4）使用无线电波所传送的MVC流，以及将MVC流提供给TS分离单元122。
TS分离单元122将从天线121所提供的MVC流分离为TS包。TS分离单元122将在分离后的TS包中所包含的显示控制信息标志提供给NAL滤波器124。TS分离单元122将在分离后的TS包中所包含的PES包提供给PES分离单元123。
PES分离单元123将从TS分离单元122所提供的PES包分离为NAL单位。PES分离单元123将分离后的NAL单位提供给NAL滤波器124。
NAL滤波器124用作提取单元，并且基于从TS分离单元122所提供的显示控制信息标志，在从PES分离单元123所提供的NAL单位中提取基本视图编码数据、非基本视图编码数据、显示控制信息等。
具体地，NAL滤波器124参考在NAL单位中所包含的NAL数据头，并且将基本视图编码数据、非基本编码数、SEI等的NAL单位彼此分离。然后，NAL滤波器124从基本视图编码数据的NAL单位中提取基本视图编码数据，并且从非基本视图编码数据的NAL单位中提取非基本视图编码数据。另外，当显示控制信息标志指示在MCV流中包含显示控制信息时，NAL滤波器124从用于MVC方法的SEI中提取显示控制信息。
然后，NAL滤波器124将所提取的基本视图编码数据提供给基本解码器71，并且将非基本视图编码数据提供给非基本解码器72。另外，NAL滤波器124将所提取的显示控制信息提供给SEI获取单元126。
如上所述，基本解码器71根据与AVC方法兼容的方法对基本视图编码数据进行解码。此时，基本解码器71参考在帧存储器125中所存储的已经解码的基本视图。基本解码器71将作为解码的结果所获得的基本视图提供给帧存储器125和显示控制单元127。
非基本解码器72基于从SEI获取单元126所提供的格式转换类型来确定M，并且基于M来确定要解码的非基本视图编码数据。非基本解码器72根据与MVC方法兼容的方法对被确定为要解码的非基本视图编码数据进行解码。此时，非基本解码器72参考在帧存储器125中所存储的已经解码的基本视图或非基本视图。非基本解码器72将作为解码的结果所获得的非基本视图提供给帧存储器125和显示控制单元127。
帧存储器125临时地保存从基本解码器71所提供的基本视图。另外，帧存储器125临时地保存从非基本解码器72所提供的非基本视图。
SEI获取单元126将在从NAL滤波器124所提供的显示控制信息中的格式转换类型提供给非基本解码器72，并且将插值AU标志、基本视图不显示标志、以及编码单位标志提供给显示控制单元127。
基于从SEI获取单元126所提供的显示控制信息，显示控制单元127使得显示单元（未示出）显示与从基本解码器71所提供的基本视图和从非基本解码器72所提供的非基本视图相对应的图像。
具体地，显示控制单元127基于插值AU标志确定显示顺序，并且基于基本视图不显示标志确定要显示的视图。基于基本视图编码单位标志，显示控制单元127还将与基本视图和非基本视图相对应的图像设置为由基本视图编码单位标志所指示的单位的图像。然后，显示控制单元127使得显示单元按照所确定的显示顺序、将与被确定为要显示的基本视图和非基本视图相对应的并且具有为传统的帧速率M倍的帧速率的图像显示为由基本视图编码单位标志所指示的单位的图像。
[TV接收器54的具体的示例结构]
图13是示出图3中所示的TV接收器54的具体的示例结构的框图。
图13中所示的TV接收器54不仅包括解码器81，并且还包括天线141、TS分离单元142、PES分离单元143、NAL滤波器144、帧存储器145以及显示控制单元146。
天线141用作接收单元，接收TV传送器52的天线106（图4）使用无线电波所传送的MVC流，以及将MVC流提供给TS分离单元142。
TS分离单元142将从天线121所提供的MVC流分离为TS包。TS分离单元122将在分离后的TS包中所包含的PES包提供给PES分离单元143。
PES分离单元143将从TS分离单元142所提供的PES包分离为NAL单位。PES分离单元143将分离后的NAL单位提供给NAL滤波器144。
NAL滤波器144参考从PES分离单元143所提供的NAL单位中所包含的NAL数据头，分离基本视图编码数据的NAL单位，以及从NAL单位中提取基本视图编码数据。NAL滤波器144将所提取的基本视图编码数据提供给解码器81。
如上所述，解码器81根据与AVC方法兼容的方法对基本视图编码数据进行解码。此时，解码器81参考在帧存储器145中所存储的已经解码的基本视图。基本解码器71将作为解码的结果所获得的基本视图提供给帧存储器145和显示控制单元146。
帧存储器145临时地保存从解码器81所提供的基本视图。
显示控制单元146使得显示单元（未示出）显示与从解码器81所提供的基本视图相对应的图像。作为结果，将与基本视图相对应的传统的帧速率图像显示在显示单元上。
[TV接收器53和TV接收器54要执行的处理的描述]
图14是用于说明在下述情况下TV接收器53和TV接收器54要执行的处理的图：在该情况中，要编码的图像是50p/60p的图像，基本视图编码单位是由1920×1080个像素以25p/30p形成的图像（在下文中被称为25p/30p图像）的帧单位，M的最大值为2，以及由TV接收器53所使用的显示方法是逐行扫描的方法。
在图14中，每个方块代表一个帧的图像，并且在每个方块中的数字是帧编号。
如图14的A所示，在要编码的图像是50p/60p图像并且基本视图编码单位是25p/30p图像帧单位的情况下，将具有奇数帧编号的帧的图像作为基本视图进行编码。另外，将具有偶数帧编号的帧的图像作为非基本图像进行编码。
另外，如图14的A所示，将1或5作为指示NAL单位的类型的NAL单位类型（nal_unit_type）写入到基本编码数据的每个NAL单位的NAL数据头中。同时，将20作为NAL单位类型写入到非基本编码数据的每个NAL单位的NAL数据头中。
如图14的B所示，TV接收器54仅从50p/60p图像的MVC流中所包含的NAL单位中获取具有相加到其的作为NAL单位类型的1或5的NAL数据头的基本编码数据的NAL单位，并且执行解码和显示。作为结果，显示在50p/60p图像中具有奇数帧编号的帧的图像或具有传统的帧速率的25p/30p图像。
同时，如图14的C所示，TV接收器53不仅获取在50p/60p图像的MVC流中所包含的NAL单位之中的基本编码数据的NAL单位，并且还获取具有相加到其的作为NAL单位类型的20的NAL数据头的非基本编码数据的NAL单位和SEI的NAL单位。
在此处要编码的图像是50p/60p图像的情况下，被写入到显示控制信息的SEI中的格式转换类型为1，其指示N为2并且要编码的图像是逐行扫描的图像。另外，因为用于TV接收器53的M的最大值为2，所以TV接收器53具有处理50p/60p图像的能力。因此，TV接收器53将M确定为2，并且基于M确定要解码的所有非基本编码数据。然后，TV接收器53对基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于由作为解码的结果所获得的基本视图和非基本视图所形成的高帧速率数据来显示50p/60p图像。
具体地，如图14的A所示，所有非基本视图是形成与基本视图独立的帧的图像数据的帧单位的图像数据。因此，所有插值AU标志为“0”，其指示相对应的非基本视图既不是形成与基本视图同一帧的图像数据的场的图像数据也不是形成与基本视图同一帧的图像数据的帧的图像数据。因此，TV接收器53依照POC（图片顺序计数）来设置基本视图和非基本视图的显示顺序。
在要编码的图像是50p/60p图像的情况下，不可以显示100i/120i图像。因此，基本视图不显示标志为“0”，并且将所有解码基本视图和非基本视图设置为要显示的视图。
此外，因为基本视图的编码单位为帧，所以基本视图编码单位标志为“0”，其指示按照帧对相对应的基本视图进行编码。因此，TV接收器53将与基本图像和非基本图像相对应的图像设置为帧单位图像。
基于如上所确定的显示顺序、作为要显示的单位的帧、以及要显示的视图，TV接收器53将与基本视图和非基本视图相对应的所有图像按照显示顺序显示为帧单位图像。以这种方式，显示50p/60p图像。
图15是用于说明在下述情况下TV接收器53和TV接收器54要执行的处理的图：在该情况中，要编码的图像是50p/60p图像，基本视图编码单位是由1920×1080个像素以50i/60i形成的图像（在下文中被称为50i/60i图像）的帧单位，M的最大值为2，以及由TV接收器53所使用的显示方法是逐行扫描的方法。
在图15中，每个方块代表一个帧的图像。在每个方块中，数字是帧编号，T代表顶部的场，以及B代表底部的场。具体地，例如1T/2B是由具有帧编号1的帧的顶部的场和具有帧编号2的帧的底部的场所形成的帧。
如图15的A所示，在要编码的图像是50p/60p图像并且基本视图编码单位是50i/60i图像帧单位的情况下，例如将由具有奇数帧编号的帧的顶部的场和具有偶数帧编号的帧的底部的场所形成的帧（在下文中被称为奇数编号帧）的图像数据作为基本视图进行编码。另外，将由具有奇数帧编号的帧的底部的场和具有偶数帧编号的帧的顶部的场所形成的帧（在下文中被称为偶数编号帧）的图像数据作为非基本视图进行编码。
如图15的B所示，TV接收器54仅从50p/60p图像的MVC流中所包含的NAL单位中获取具有相加到其的作为NAL单位类型的1或5的NAL数据头的基本编码数据的NAL单位，并且执行解码和显示。作为结果，显示在50p/60p图像中的奇数编号帧的图像或具有传统的帧速率的50i/60i图像。
同时，如图15的C所示，TV接收器53不仅获取在50p/60p图像的MVC流中所包含的NAL单位之中的基本编码数据的NAL单位，并且还获取具有相加到其的作为NAL单位类型的20的NAL数据头的非基本编码数据的NAL单位和SEI的NAL单位。
如上所述，在要编码的图像是50p/60p图像的情况下，格式转换类型为1并且用于TV接收器53的M的最大值为2。因此，TV接收器53具有处理50p/60p图像的能力。因此，TV接收器53将M确定为2，并且基于M确定要解码的所有非基本编码数据。然后，TV接收器53对基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于由作为解码的结果所获得的基本视图和非基本视图所形成的高帧速率数据来显示50p/60p图像。
具体地，如图15的A所示，所有非基本视图图像是形成与基本视图同一帧的图像数据的帧单位的图像数据，并且所有插值AU标志为“1”。因此，TV接收器53按照连续的方式设置基本视图和非基本视图的显示顺序。如上所述，在要编码的图像是50p/60p图像的情况下，不可以显示100i/120i图像。因此，基本视图不显示标志为“0”，并且将所有解码基本视图和非基本视图设置为要显示的视图。
此外，因为基本视图的编码单位为帧，所以基本视图编码单位标志为“0”，并且TV接收器53将与基本图像和非基本图像相对应的图像设置为帧单位图像。
基于如上所确定的显示顺序、作为要显示的单位的帧、以及要显示的视图，TV接收器53以连续地显示与基本视图和非基本视图相对应的图像的方式、将与所有基本视图和非基本视图相对应的图像显示为帧单位图像。
在本实施例中，当编码单位标志为“0”时，编码单位是如图14中所示的逐行扫描的图像的帧，或是如图15中所示的隔行扫描的图像的帧，并且在图14中所示的情况与图15所示的情况中不存在区别。然而，那些情况也可以彼此区分。
图16是用于说明在下述情况下TV接收器53和TV接收器54要执行的处理的图：在该情况中，要编码的图像是50p/60p图像，基本视图编码单位是50i/60i图像的场单位，M的最大值为2，以及由TV接收器53所使用的显示方法是逐行扫描的方法。
在图16中，每个方块代表一个场的图像。在每个方块中，数字是帧编号，T代表顶部的场，以及B代表底部的场。具体地，例如1T代表具有帧编号1的帧的顶部的场，并且2B代表具有帧编号2的帧的底部的场。同样适用于稍后描述的图17。
如图16的A所示，在要编码的图像是50p/60p图像并且基本视图编码单位是50i/60i图像场单位的情况下，例如将具有奇数帧编号的帧的顶部的场和具有偶数帧编号的帧的底部的场的图像数据作为基本视图进行编码。另外，将具有奇数帧编号的帧的底部的场和具有偶数帧编号的帧的顶部的场的图像数据作为非基本视图进行编码。
如图16的B所示，TV接收器54仅从50p/60p图像的MVC流中所包含的NAL单位中获取具有相加到其的作为NAL单位类型的1或5的NAL数据头的基本编码数据的NAL单位，并且执行解码和显示。作为结果，显示在50p/60p图像中具有奇数帧编号的帧的顶部的场的图像和具有偶数帧编号的帧的底部的场的图像，或具有传统的帧速率的50i/60i图像。
同时，如图16的C所示，TV接收器53不仅获取在50p/60p图像的MVC流中所包含的NAL单位之中的基本编码数据的NAL单位，并且还获取具有相加到其的作为NAL单位类型的20的NAL数据头的非基本编码数据的NAL单位和SEI的NAL单位。
如上所述，在要编码的图像是50p/60p图像的情况下，格式转换类型为1并且用于TV接收器53的M的最大值为2。因此，TV接收器53具有处理50p/60p图像的能力。因此，TV接收器53将M确定为2，并且基于M确定要解码的所有非基本编码数据。然后，TV接收器53对基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于由作为解码的结果所获得的基本视图和非基本视图所形成的高帧速率数据来显示50p/60p图像。
具体地，如图16的A所示，所有非基本视图图像是形成与基本视图同一帧的图像数据的场单位的图像数据，并且所有插值AU标志为“1”。因此，TV接收器53按照连续的方式设置基本视图和非基本视图的显示顺序。另外，在要编码的图像是50p/60p图像的情况下，不可以显示100i/120i图像。因此，如同在图14和图15中一样，基本视图不显示标志为“0”，并且将所有解码基本视图和非基本视图设置为要显示的视图。
此外，因为基本视图的编码单位为场，所以基本视图编码单位标志为“1”，其指示按照场对相对应的基本视图进行编码。因此，TV接收器53将与基本图像和非基本图像相对应的图像设置为场单位图像。
基于如上所确定的显示顺序、作为要显示的单位的场、以及要显示的视图，TV接收器53以连续地显示与基本视图和非基本视图相对应的图像的方式、将与所有基本视图和非基本视图相对应的图像显示为场单位图像。以这种方式，显示50p/60p图像。
图17是用于说明在下述情况下TV接收器53和TV接收器54要执行的处理的图：在该情况中，要编码的图像是100p/120p图像，并且基本视图编码单位是50i/60i图像的场单位。
如图17的A所示，在要编码的图像是100p/120p图像并且基本视图编码单位是50i/60i图像的场单位的情况下，例如将具有每隔一个的奇数帧编号的帧的顶部的场和具有其次的奇数帧编号的帧的底部的场的图像数据作为基本视图进行编码。另外，将具有每隔一个的奇数帧编号的帧的底部的场、具有其次的奇数帧编号的帧的顶部的场、以及具有偶数帧编号的帧的顶部的场和底部的场的图像数据作为非基本视图进行编码。
如图17的B所示，TV接收器54仅从100p/120p图像的MVC流中所包含的NAL单位中获取具有相加到其的作为NAL单位类型的1或5的NAL数据头的基本编码数据的NAL单位，并且执行解码和显示。作为结果，显示在100p/120p图像中具有每隔一个的奇数帧编号的帧的顶部的场的图像和具有其次的奇数帧编号的帧的底部的场的图像，或具有传统的帧速率的50i/60i图像。
同时，如图17的C至E所示，TV接收器53不仅提取在100p/120p图像的MVC流中所包含的NAL单位之中的基本编码数据的NAL单位，并且还获取具有相加到其的作为NAL单位类型的20的NAL数据头的非基本编码数据的NAL单位和SEI的NAL单位。
在此处要编码的图像是100p/120p图像的情况下，被写入到显示控制信息的SEI中的格式转换类型为3，其指示N为4并且要编码的图像是逐行扫描图像。另外，在用于TV接收器53的M的最大值为2并且显示方法是逐行扫描方法的情况下，TV接收器53具有处理50p/60p图像的能力。因此，如图17的C所示，TV接收器53将M确定为2，并且基于M将具有奇数帧编号的帧的顶部的场和底部的场的非基本编码数据确定为要解码的数据。然后，TV接收器53对被确定为要解码的数据的基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于作为解码的结果所获得的基本视图和非基本视图显示50p/60p图像。
具体地，如图17的A所示，具有奇数帧编号的帧的非基本视图是形成与基本视图同一帧的图像数据的场单位的图像数据。因此，用于具有奇数帧编号的帧的插值AU标志为“1”。有鉴于此，TV接收器53按照连续的方式设置作为解码结果所获得的基本视图和非基本视图的显示顺序。
另外，在要编码的图像是100p/120p的情况下，为了显示100i/120i图像需要显示顶部的场的基本视图，但是不需要显示底部的场的基本视图。因此，形成与顶部的场的基本视图同一帧的底部的场的非基本视图的基本视图不显示标志为“0”，其指示要显示形成与相对应的非基本视图同一帧的图像数据的基本视图。同时，形成与底部的场的基本视图同一帧的顶部的场的非基本视图的基本视图不显示标志为“1”，其指示不显示形成与相对应的非基本视图同一帧的图像数据的基本视图。
然而，在这种情况下，TV接收器53尚未显示任何100i/120i图像。因此，忽略基本视图不显示标志“1”，并且将所有解码基本视图和非基本视图设置为要显示的视图。
此外，因为基本视图的编码单位是场，所以基本视图编码单位为“1”，其指示按照场对相对应的基本视图进行编码。因此，TV接收器53将与基本视图和非基本视图相对应的图像设置为场单位图像。
基于如上所确定的显示顺序、作为要显示的单位的场、以及要显示的视图，TV接收器53以连续地显示与基本视图和非基本视图相对应的图像的方式、将与具有奇数帧编号的帧的顶部的场和底部的场的所有基本视图和非基本视图相对应的图像显示为场单位图像。以这种方式，显示50p/60p图像。
另一方面，在用于TV接收器53的M的最大值为2并且显示方法为隔行扫描的方法的情况下，TV接收器53具有处理100i/120i图像的能力。如上所述，格式转换类型为4。因此，如图17的D所示，TV接收器53将M确定为2，并且基于M将具有奇数帧编号的帧的顶部的场和具有偶数帧编号的帧的底部的场的非基本编码数据确定为要解码的数据。然后，TV接收器53对被确定为要解码的数据的基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于作为解码的结果所获得的基本视图和非基本视图显示100i/120i图像。
具体地，如上所述，具有奇数帧编号的帧的插值AU标志为“1”，其指示相对应的非基本视图是形成与基本视图同一帧的图像数据的场或帧单位的图像数据。另一方面，如图17的A所示，具有偶数帧编号的帧的非基本视图是形成与其他非基本视图同一帧的图像数据的场单位的图像数据。因此，具有奇数帧编号的帧的插值AU标志为“0”，其指示相对应的非基本视图不是形成与基本视图同一帧的图像数据的场或帧单位的图像数据。
因此，TV接收器53以连续的方式设置具有奇数帧编号的帧的基本视图和非基本视图的显示顺序。另外，TV接收器53依照POC设置具有偶数帧编号的帧的非基本视图的显示顺序。
此外，如上所述，形成与顶部的场的基本视图同一帧的底部的场的非基本视图的基本视图不显示标志为“0”，并且形成与底部的场的基本视图同一帧的顶部的场的非基本视图的基本视图不显示标志为“1”。因此，TV接收器53将除了具有基本视图不显示标志“1”的底部的场的基本视图之外的解码基本视图和非基本视图设置为要显示的视图。
如上所述，因为基本视图编码单位标志为“1”，所以TV接收器53将与基本视图和非基本视图相对应的图像设置为场单位图像。
基于如上所确定的显示顺序、作为要显示的单位的场、以及要显示的视图，TV接收器53以显示顺序将与顶部的场的基本视图以及具有奇数帧编号的帧的顶部的场和具有偶数帧编号的帧的底部的场的非基本视图相对应的图像显示为场单位图像。以这种方式，显示100i/120i图像。
另外，在用于TV接收器53的M的最大值为4并且显示方法为逐行扫描的方法的情况下，TV接收器53具有处理100p/120p图像的能力。如上所述，格式转换类型为4。因此，如图17的E所示，TV接收器53将M确定为4，并且基于M确定要解码的所有非基本编码数据。然后，TV接收器53对基本编码数据和非基本编码数据进行解码。
依照被写入到显示控制信息的SEI中的插值AU标志、基本视图不显示标志、以及编码单位标志，TV接收器53基于作为解码的结果所获得的基本视图和非基本视图显示100p/120p图像。
具体地，如上所述，具有奇数帧编号的帧的插值AU标志为“1”，并且具有偶数帧编号的帧的插值AU标志为“0”。因此，如上所述，TV接收器53以连续地方式设置具有奇数帧编号的帧的基本视图和非基本视图的显示顺序，并且依照POC设置具有偶数帧编号的帧的非基本视图的显示顺序。
在这种情况下，TV接收器53尚未显示任何100i/120i图像。因此，忽略基本视图不显示标志“1”，并且将所有解码基本视图和非基本视图设置为要显示的视图。此外，如上所述，因为基本视图编码单位标志为“1”，所以将与基本视图和非基本视图相对应的图像设置为场单位图像。
基于如上所确定的显示顺序、作为要显示的单位的场、以及要显示的视图，TV接收器53以显示顺序将与所有基本视图和非基本视图相对应的图像显示为场单位图像。以这种方式，显示100p/120p图像。
[TV接收器53要执行的处理的描述]
图18是示出用于说明具有M的最大值为4并且与逐行扫描的方法兼容的TV接收器53要执行的接收处理的流程图。例如，当将MVC流传送到TV接收器53时开始此接收处理。
在图18的步骤S40中，天线121接收TV传送器52的天线106使用无线电波所传送的MVC流，并且将MVC流传送到TS分离单元122。
在步骤S41中，TS分离单元122将从天线121所传送的MVC流分离为TS包。TS分离单元122将在分离后的TS包中所包含的显示控制信息标志提供给NAL滤波器124。另外，TS分离单元122将在分离后的TS包中所包含的PES包提供给PES分离单元123。
在步骤S42中，PES分离单元123将从TS分离单元122所提供的PES包分离为NAL单位。PES分离单元123将分离后的NAL单位提供给NAL滤波器124。
在步骤S43中，NAL滤波器124参考在NAL单位中所包含的NAL数据头，并且将基本视图编码数据、非基本编码数、SEI等的NAL单位彼此分离。
在步骤S44中，基于从TS分离单元122所提供的显示控制信息标志，NAL滤波器124从在步骤S43中所分离的NAL单位中提取基本视图编码数据、非基本视图编码数据以及显示控制信息。然后，NAL滤波器124将所提取的基本视图编码数据提供给基本解码器71，并且将非基本视图编码数据提供给非基本解码器72。另外，NAL滤波器124将所提取的显示控制信息提供给SEI获取单元126。然后，SEI获取单元126将从NAL滤波器124所提供的显示控制信息中的格式转换类型提供给非基本解码器72，并且将插值AU标志、基本视图不显示标志、以及编码单位标志提供给显示控制单元127。
在步骤S45中，基本解码器71根据与AVC方法兼容的方法对从NAL滤波器24所提供的基本视图编码数据进行解码。此时，基本解码器71参考在帧存储器125中所存储的已经解码的基本视图。基本解码器71将作为解码的结果所获得的基本视图提供给帧存储器125以进行存储，并且还将基本视图提供给显示控制单元127。
在步骤S46中，非基本解码器72确定格式转换类型是否为3。如果在步骤S46中格式转换类型被确定为3，或如果要编码的图像是100p/200p图像，则处理继续到步骤S47。
在步骤S47中，TV接收器53基于显示控制信息执行四倍处理，以显示由基本视图和非基本视图形成的100p/200p图像，并且结束处理。稍后将参照图19详细地描述四倍处理。
另一方面，如果在步骤S46中格式转换类型被确定为不是3，则在步骤S48中非基本解码器72确定格式转换类型是否为2。
如果在步骤S48中格式转换类型被确定为2，或如果要编码的图像是100i/120i图像，则处理继续到步骤S49。
在步骤S49中，TV接收器53基于显示控制信息执行两倍隔行扫描处理以显示由基本视图和非基本视图所形成的100i/120i图像，并且结束处理。稍后将参照图20详细地描述两倍隔行扫描处理。
如果在步骤S48中确定格式转换类型不是2，则非基本解码器72在步骤S50中确定格式转换类型是否为1。
如果在步骤S50中格式转换类型被确定为1，或如果要编码的图像是50p/60p图像，则处理继续到步骤S51。
在步骤S51中，TV接收器53基于显示控制信息执行两倍逐行扫描处理以显示由基本视图和非基本视图所形成的50p/60p图像，并且结束处理。稍后将详细地描述两倍逐行扫描处理。
如果在步骤S50中确定格式转换类型不是1，或如果格式转换类型为0，则非基本解码器72在步骤S52中确定TV接收器53是否能够处理3D图像。
如果在步骤S52中确定TV接收器53能够处理3D图像，则TV接收器53在步骤S53中执行3D图像处理以将与基本视图相对应的图像显示为用于左眼的图像，并且将与非基本图像相对应的图像显示为用于右眼的图像。
具体地，TV接收器53的非基本解码器72根据与MVC方法兼容的方法对非基本视图编码数据进行解码，并且将所生成的数据提供给显示控制单元127。然后，显示控制单元127通过将与来自基本解码器71的基本视图相对应的图像显示为用于左眼的图像、并且将与来自非基本解码器72的非基本视图相对应的图像显示为用于右眼的图像，使得显示3D图像。然后，处理结束。
另一方面，如果在步骤S52中确定TV接收器53不能够处理3D图像，则显示控制单元127在步骤S54中执行2D图像处理，以将与从基本解码器71所提供的基本视图相对应的图像显示为2D图像。然后，处理结束。
尽管未在附图中示出，但是除了跳过步骤S46和S47以及在步骤S48中做出了确定格式转换类型是2或3的检查之外，具有2作为M的最大值并且与隔行扫描的方法兼容的TV接收器53要执行的接收处理与图18中所示的接收处理相同。
尽管也未在附图中示出，但是除了跳过步骤S46至S49以及在步骤S50中做出了确定格式转换类型是1至3中的哪一个的检查之外，具有2作为M的最大值并且与逐行扫描的方法兼容的TV接收器53要执行的接收处理与图18中所示的接收处理相同。
尽管也未在附图中示出，但是除了在步骤S41中忽略显示控制标志、在步骤S44中不提取显示控制信息、以及在S45的处理之后执行步骤S53的处理之外，能够处理3D图像并且与MVC方法兼容的TV接收器要执行的接收处理与图18中所示的接收处理相同。
图19是用于具体地说明图18中的步骤S47中的四倍处理的流程图。
在图19中的步骤S71中，非基本解码器72将M确定为4，并且对具有为传统的帧速率的三（=M-1）倍的帧速率的非基本视图编码数据进行解码，或对所有非基本视图编码数据进行解码。此时，非基本解码器72参考在帧存储器125中所存储的已经解码的基本视图或非基本视图。非基本解码器72将作为解码的结果所获得的非基本视图提供给帧存储器125以进行存储，并且还将非基本视图提供给显示控制单元127。然后，处理继续到步骤S72。针对每个解码非基本视图执行在步骤S72至S77中的处理。
在步骤S72中，显示控制单元127确定插值AU标志是否为1。如果在步骤S72中插值AU标志被确定为1，则显示控制单元127在步骤S73中按照连续的方式设置正在处理的当前的非基本视图和与非基本视图相对应的基本视图的显示顺序。然后，处理继续到步骤S75。
如果在步骤S72中插值AU标志被确定为不是1，或如果插值AU标志为0，则显示控制单元127在步骤S74中依照POC设置正在处理的当前的非基本视图和与非基本视图相对应的基本视图的显示顺序。然后处理继续到步骤S75。
在步骤S75中，显示控制单元127确定编码单位标志是否为1。如果在步骤S75中确定编码单位标志为1，则显示控制单元127在步骤S76中将与基本视图和非基本视图相对应的图像设置为场单位图像，并且处理继续到步骤S78。
如果在步骤S75中编码单位标志被确定为不是1，或如果编码单位标志为0，则处理继续步骤S77。在步骤S77中，显示控制单元127将与基本视图和非基本视图相对应的图像设置为帧单位图像，并且处理继续到步骤S78。
在步骤S78中，显示控制单元127使得显示单元按照显示顺序、将与解码基本视图和非基本视图相对应的图像显示为由编码单位标志所指示的单位图像。然后处理结束。
应当注意，除了在图19中的步骤S71中非基本解码器72将M确定为2、并且对具有为传统的帧速率一（=M-1）倍的帧速率的非基本编码数据进行解码之外，在图18中的步骤S51中的两倍逐行扫描处理与在图19中所示的四倍处理相同。因此，在此将不对两倍逐行扫描处理进行说明。
图20是用于具体地说明在图18中的步骤S49中的两倍隔行扫描处理的流程图。
在图20的步骤S91中，非基本解码器72将M确定为2，并且对具有为传统的帧速率一（=M-1）倍的帧速率的非基本视图编码数据进行解码。此时，非基本解码器72参考在帧存储器125中所存储的已经解码的基本视图或非基本视图。非基本解码器72将作为解码的结果所获得的非基本视图提供给帧存储器125以进行存储，并且还将这些非基本视图提供给显示控制单元127。然后，处理继续到步骤S92。针对每个解码非基本视图执行步骤S92至S99中的处理。
在步骤S92中，显示控制单元127确定基本视图不显示标志是否为0。如果在步骤S92中基本视图不显示标志被确定为0，则显示控制单元127在步骤S93中将与正在处理的当前的非基本视图相对应的基本视图设置为要显示的基本视图。然后，处理继续到步骤S94。
另一方面，如果在步骤S92中基本视图不显示标志被确定为不是0，或如果基本视图不显示标志是1，则显示控制单元127将与正在处理的当前的非基本视图相对应的基本视图设置为要是显示的基本视图。然后，处理继续到步骤S94。
在步骤S94至S99中的处理与在图19中的步骤S72至S77中的处理相同，并且因此在此将不再重复对其的说明。
在步骤S99中的处理之后，显示控制单元127在步骤S100中使得显示单元按照显示顺序将在步骤S93中被确定为要显示的基本视图和非基本视图相对应的图像显示为由编码单位标志所指示的单位图像。然后处理结束。
如上所述，TV接收器53根据与AVC方法兼容的方法对从TV传送器52所传送的MVC流中所包含的基本编码数据进行解码，并且根据与MVC方法兼容的方法对非基本编码数据进行解码。因此，TV接收器53可以使用与被用于传统的帧速率图像的方法兼容的方法，对TV传送器52所编码的高帧速率数据进行解码。
另外，TV接收器53基于显示控制信息对基本视图和非基本视图执行解码，并且执行显示控制。因此，可以显示具有为传统的帧速率M倍的帧速率的图像。
此外，随着显示控制信息被写入到用于MVC方法的SEI中，TV接收器53可以获取显示控制信息，而不对与MVC方法兼容的TV接收器进行显著的***改变，或更具体地，不对硬件进行改变。
[TV接收器54要执行的处理的描述]
图21是用于说明TV接收器54要执行的接收处理的流程图。例如，当MVC流传送到TV接收器54时开始此接收处理。
在图21中的步骤S120中，天线141接收TV传送器52的天线106使用无线电波所传送的MVC流，并且将MVC流传送到TS分离单元142。
在步骤S121中，TS分离单元142将从天线121所提供的MVC流分离为TS包。TS分离单元122将在分离后的TS包中所包含的PES包提供给PES分离单元143。
在步骤S122中，PES分离单元143将从TS分离单元142所提供的PES包分离为NAL单位。PES分离单元143将分离后的NAL单位提供给NAL滤波器144。
在步骤S123中，NAL滤波器144参考从PES分离单元143所提供的NAL单位中所包含的NAL数据头，分离基本视图编码数据的NAL单位，以及从那些NAL单位中提取基本视图编码数据。NAL滤波器144将所提取的基本视图编码数据提供给解码器81。
在步骤S124中，解码器81根据与AVC方法兼容的方法对基本视图编码数据进行解码。此时，解码器81参考在帧存储器145中所存储的已经解码的基本视图。基本解码器71将作为解码的结果所获得的基本视图提供给帧存储器145以进行存储，并且还将基本视图提供给显示控制单元146。
在步骤S125中，显示控制单元146使得显示单元（未示出）显示与从解码器81所提供的基本视图相对应的图像。作为结果，将与基本视图相对应的传统的帧速率图像显示在显示单元上。
如上所述，TV接收器54根据与AVC方法兼容的方法，对从TV传送器52所传送的MVC流中所包含的基本编码数据进行解码。因此，TV接收器53可以使用与被用于传统的帧速率图像的方法兼容的方法，对由TV传送器52所编码的高帧速率数据中所包含的传统的帧速率图像数据进行解码。
在本实施例中，根据AVC方法对传统的帧速率图像进行编码并且根据MVC方法对高帧速率图像进行编码。然而，可以使用的编码方法不限于以上，只要用于高帧速率图像的编码方法与用于传统的帧速率图像的编码方法具有兼容性即可。
另外，显示控制信息可以仅部分地包含格式转换类型、插值AU标志、基本视图不显示标志、以及基本视图编码单位标志。此外，显示控制信息可以包含不解码标志（force_no_decoded_flag），其指示是否要对相对应的非基本视图进行解码。
例如，在要编码的图像是100p/200p图像，M的最大值为2，以及TV接收器53与逐行扫描的方法兼容的情况下，当显示100p/120p图像中的50p/60p图像时不需要显示的非基本视图（在图17所示的示例中的2T、2B、4T、4B、6T以及6B）的不解码标志为“1”，其指示不对相对应的非基本视图进行解码。当显示50p/60p图像时需要显示的非基本视图（在图17所示的示例中的1B、3T、5B以及7T）的不解码标志为“0”，其指示对相对应的非基本视图进行解码。在显示控制信息包含不解码标志的情况下，非基本解码器72基于不解码标志，将与不解码标志“0”相对应的非基本编码数据确定为要解码的数据。不解码标志可以是依赖于TV接收器53的可能的能力所生成的。
此外，基本视图不显示标志是在以上的说明中显示100i/120i图像时要使用的信息。然而，基本视图不显示标志可以是当显示除了100i/120i图像之外的图像时要使用的信息。
[施加了本技术的计算机的描述]
可以采用硬件执行以上所描述的处理序列，并且也可以采用软件执行以上所描述的处理序列。在采用软件执行处理序列的情况下，构成软件的程序被安装到通用计算机等中。
有鉴于此，图22示出了安装有用于执行以上所述的处理序列的程序的计算机的实施例的示例结构。
程序可以预先记录在作为计算机中的记录介质所设置的存储单元208或ROM（只读存储器）202中。
替选地，程序可以存储（记录）在可移除介质211中。这样的可移除介质211可以被提供为所谓的封装软件。在此，可移除介质211可以是例如软盘、CD-ROM（压缩盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘、或半导体存储器。
程序可以从以上所述的可移除介质211经由驱动器210安装到计算机中，但是也可以经由通信网络或广播网络将程序下载到计算机中，并且将程序安装到内置存储单元208中。即，例如程序可以从下载站点经由用于数字卫星广播的人造卫星无线地传送到计算机，或可以经由诸如LAN（局域网）或互联网的网络通过线缆传送到计算机。
计算机包括CPU（中央处理单元201），并且输入/输出接口205经由总线204连接到CPU201。
当通过用户经由输入/输出接口205对输入单元206等进行操作而输入指令时，CPU201依照指令执行在ROM202中所存储的程序。替选地，CPU201将在存储单元208中所存储的程序载入到RAM（随机访问存储器）203中，并且执行改程序。
通过这样作，CPU201根据以上所述的流程图执行处理，或采用在以上所述的框图中所示的结构执行处理。当需要时，CPU201将处理结果从输出单元207输出，或将处理结果从通信单元209经由例如输入/输出接口205而传送，以及还将处理结果存储到存储单元208中。
输入单元206由键盘、鼠标、麦克风等形成。输出单元207由LCD（液晶显示器）、扬声器等形成。
在本说明书中，依照程序要由计算机所执行的处理不必是遵守流程图中所示的序列、按照时间顺序执行的。即，依照程序要由计算机所执行的处理包括并行地或彼此独立地执行的处理（诸如并行处理或基于对象的处理）。
程序可以由一个计算机（处理器）所执行，或可以由多于一个计算机以分布式的方式所执行。此外，程序可以传送到远程计算机，并且可以在其中执行。
在本说明书中，***意味着由多于一个装置所形成的整个设备。
应当注意，本技术的实施例不限于以上所述的实施例，并且可以对其进行各种修改，只要其不背离本技术的范围即可。
本技术还可以实现为以下所述的结构。
（1）一种编码装置，包括：
编码单元，将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码，并且通过参考所述基本图像、将在具有所述第一帧速率的图像之中除了所述基本图像之外的图像作为非基本图像进行编码；
生成单元，生成显示控制信息，所述显示控制信息要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像；以及
传送单元，传送所述编码单元所编码的所述基本图像和所述非基本图像、以及所述生成单元所生成的所述显示控制信息。
（2）根据（1）所述的编码装置，还包括：
传送数据生成单元，生成传送数据，所述传送数据包含所述编码单元所编码的所述基本图像和所述非基本图像、以及所述生成单元所生成的所述显示控制信息；
所述生成单元生成所述显示控制信息和显示控制信息标志，所述显示控制信息标志指示在所述传送数据中是否包含所述显示控制信息，
所述传送单元传送所述传送数据生成单元所生成的所述传送数据以及所述生成单元所生成的所述显示控制信息标志。
（3）根据（1）或（2）所述的编码装置，其中，
所述第一帧速率是所述预定帧速率的N倍，N是等于或大于2的整数，以及
所述显示控制信息包含指示N的信息。
（4）根据（1）至（3）中任一项所述的编码装置，其中，所述显示控制信息包含方法信息，所述方法信息指示所述图像是逐行扫描图像或指示所述图像是隔行扫描图像。
（5）根据（1）至（4）中任一项所述的编码装置，其中，所述显示控制信息包含解码标志，所述解码标志指示是否要对所述编码单元所编码的所述非基本图像进行解码。
（6）根据（1）至（5）中任一项所述的编码装置，其中，所述显示控制信息包含配对信息，所述配对信息指示所述非基本图像是否是形成与所述基本图像相同帧图像的图像。
（7）根据（1）至（6）中任一项所述的编码装置，其中，所述显示控制信息包含显示标志，所述显示标志指示是否要显示所述基本图像。
（8）根据（1）至（7）中任一项所述的编码装置，其中，所述显示控制信息包含编码单位信息，所述编码单位信息指示按照帧对所述基本图像进行了编码、或按照场对所述基本图像进行了编码。
（9）一种编码方法，包括：
编码步骤，将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码，并且通过参考所述基本图像、将在具有所述第一帧速率的图像之中除了所述基本图像之外的图像作为非基本图像进行编码；
生成步骤，生成显示控制信息，所述显示控制信息要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像；以及
传送步骤，传送通过在所述编码步骤中的处理所编码的所述基本图像和所述非基本图像、以及通过在所述生成步骤中的处理所生成的所述显示控制信息，
所述步骤由编码装置所实现。
（10）一种解码装置，包括：
接收单元，配置成接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考所述基本图像、将除了所述基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像的显示控制信息；以及
解码单元，配置成通过对所述接收单元所接收的所述基本编码数据进行解码来生成所述基本图像，并且通过使用所述接收单元所接收的所述显示控制信息和参考所生成的基本图像、对所述接收单元所接收的所述非基本编码数据进行解码。
（11）根据（10）所述的解码装置，还包括：
提取单元，从由所述基本编码数据、所述非基本编码数据以及所述显示控制信息所形成的传送数据中，提取所述基本编码数据、所述非基本编码数据以及所述显示控制信息，所述传送数据是由所述接收单元所接收的，
所述接收单元接收所述传送数据和显示控制信息标志，所述显示控制信息标志指示在所述传送数据中是否包含所述显示控制信息，
所述提取单元基于指示在所述传送数据中包含所述显示控制信息的所述显示控制信息标志，从所述接收单元所接收的所述传送数据中提取所述基本编码数据、所述非基本编码数据以及所述显示控制信息，所述显示控制信息标志是由所述接收单元所接收的，
所述解码单元通过对所述提取单元所提取的所述基本编码数据进行解码来生成所述基本图像，并且通过使用所述提取单元所提取的所述显示控制信息和参考所生成的基本图像、对所述提取单元所提取的所述非基本编码数据进行解码。
（12）根据（10）或（11）所述的解码装置，其中，
所述第一帧速率是所述预定帧速率的N倍，N是大于或等于2的整数，
所述显示控制信息包含指示N的信息，以及
所述解码单元基于指示N的信息、将所述第二帧速率确定为是所述预定帧速率M倍的帧速率，M是不小于2并且不大于N的整数；基于所述第二帧速率确定在所述非基本编码数据之中的要被解码的数据；以及对所述要被解码的数据进行解码。
（13）根据（10）至（12）中任一项所述的解码装置，其中，
所述显示控制信息包含方法信息，所述方法信息指示所述图像是逐行扫描图像或指示所述图像是隔行扫描图像，以及
所述解码单元基于所述方法信息确定所述第二帧速率，基于所述第二帧速率确定在所述非基本编码数据之中的要被解码的数据，以及对所述要被解码的数据进行解码。
（14）根据（10）或（11）所述的解码装置，其中
所述显示控制信息包含解码标志，所述解码标志指示是否要对所述非基本编码数据进行解码，以及
所述解码单元通过参考所述基本图像、对与所述解码标志相对应的非基本编码数据进行解码，所述解码标志指示要对所述非基本编码数据进行解码。
（15）根据（10）至（14）中任一项所述的解码装置，还包括：
显示控制单元，基于所述接收单元所接收的所述显示控制信息、使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，所述基本图像和所述非基本图像是作为所述解码单元所执行的解码的结果所获得的。
（16）根据（15）所述的解码装置，其中，
所述显示控制信息包含配对信息，所述配对信息指示所述非基本图像是否是形成与所述基本图像相同帧图像的图像，以及
所述显示控制单元基于所述配对信息，确定作为具有所述第二帧速率的图像的所述基本图像和所述非基本图像的显示顺序。
（17）根据（15）或（16）所述的解码装置，其中
所述显示控制信息包含显示标志，所述显示标志指示是否要显示所述基本图像，以及
所述显示控制单元使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，所述基本图像与指示要显示所述基本图像的所述显示标志相对应。
（18）根据（15）至（17）中任一项所述的解码装置，其中，
所述显示控制信息包含编码单位信息，所述编码单位信息指示按照帧对所述基本图像进行了编码、或按照场对所述基本图像进行了编码，以及
所述显示控制单元基于所述编码单位信息、使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，具有所述第二帧速率的图像是所述编码单位信息所指示的单位的图像。
（19）一种解码方法，包括：
接收步骤，接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考所述基本图像、将除了所述基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像的显示控制信息；以及
解码步骤，对通过在所述接收步骤中的处理所接收的所述基本编码数据进行解码来生成所述基本图像，以及通过使用通过在所述接收步骤中的处理所接收的所述显示控制信息和参考所生成的基本图像、对通过在所述接收步骤中的处理所接收的所述非基本编码数据进行解码，
所述步骤由解码装置所实施。
参考标记列表
52TV传送器，53、54TV接收器，61基本编码器，62非基本编码器，71基本解码器，72非基本解码器，81解码器，102SEI生成单元，103NAL生成单元，106天线，121天线，124NAL滤波器，127显示控制单元，141天线，146显示控制单元。

Claims (19)

1.一种编码装置，包括：
编码单元，配置成将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码，并且通过参考所述基本图像、将在具有所述第一帧速率的图像之中除了所述基本图像之外的图像作为非基本图像进行编码；
生成单元，配置成生成显示控制信息，所述显示控制信息要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像；以及
传送单元，配置成传送所述编码单元所编码的所述基本图像和所述非基本图像、以及所述生成单元所生成的所述显示控制信息。
2.根据权利要求1所述的编码装置，还包括：
传送数据生成单元，配置成生成传送数据，所述传送数据包含所述编码单元所编码的所述基本图像和所述非基本图像、以及所述生成单元所生成的所述显示控制信息；
所述生成单元生成所述显示控制信息和显示控制信息标志，所述显示控制信息标志指示在所述传送数据中是否包含所述显示控制信息，
所述传送单元传送所述传送数据生成单元所生成的所述传送数据以及所述生成单元所生成的所述显示控制信息标志。
3.根据权利要求1所述的编码装置，其中，
所述第一帧速率是所述预定帧速率的N倍，N是等于或大于2的整数，以及
所述显示控制信息包含指示N的信息。
4.根据权利要求1所述的编码装置，其中，所述显示控制信息包含方法信息，所述方法信息指示所述图像是逐行扫描图像或指示所述图像是隔行扫描图像。
5.根据权利要求1所述的编码装置，其中，所述显示控制信息包含解码标志，所述解码标志指示是否要对所述编码单元所编码的所述非基本图像进行解码。
6.根据权利要求1所述的编码装置，其中，所述显示控制信息包含配对信息，所述配对信息指示所述非基本图像是否是形成与所述基本图像相同帧图像的图像。
7.根据权利要求1所述的编码装置，其中，所述显示控制信息包含显示标志，所述显示标志指示是否要显示所述基本图像。
8.根据权利要求1所述的编码装置，其中，所述显示控制信息包含编码单位信息，所述编码单位信息指示按照帧对所述基本图像进行了编码、或按照场对所述基本图像进行了编码。
9.一种编码方法，包括：
编码步骤，将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码，并且通过参考所述基本图像、将在具有所述第一帧速率的图像之中除了所述基本图像之外的图像作为非基本图像进行编码；
生成步骤，生成显示控制信息，所述显示控制信息要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像；以及
传送步骤，传送通过在所述编码步骤中的处理所编码的所述基本图像和所述非基本图像、以及通过在所述生成步骤中的处理所生成的所述显示控制信息，
所述步骤由编码装置所实现。
10.一种解码装置，包括：
接收单元，配置成接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考所述基本图像、将除了所述基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像的显示控制信息；以及
解码单元，配置成通过对所述接收单元所接收的所述基本编码数据进行解码来生成所述基本图像，并且通过使用所述接收单元所接收的所述显示控制信息和参考所生成的基本图像、对所述接收单元所接收的所述非基本编码数据进行解码。
11.根据权利要求10所述的解码装置，还包括：
提取单元，配置成从由所述基本编码数据、所述非基本编码数据以及所述显示控制信息所形成的传送数据中，提取所述基本编码数据、所述非基本编码数据以及所述显示控制信息，所述传送数据是由所述接收单元所接收的，
所述接收单元接收所述传送数据和显示控制信息标志，所述显示控制信息标志指示在所述传送数据中是否包含所述显示控制信息，
所述提取单元基于指示在所述传送数据中包含所述显示控制信息的所述显示控制信息标志，从所述接收单元所接收的所述传送数据中提取所述基本编码数据、所述非基本编码数据以及所述显示控制信息，所述显示控制信息标志是由所述接收单元所接收的，
所述解码单元通过对所述提取单元所提取的所述基本编码数据进行解码来生成所述基本图像，并且通过使用所述提取单元所提取的所述显示控制信息和参考所生成的基本图像、对所述提取单元所提取的所述非基本编码数据进行解码。
12.根据权利要求10所述的解码装置，其中，
所述第一帧速率是所述预定帧速率的N倍，N是大于或等于2的整数，
所述显示控制信息包含指示N的信息，以及
所述解码单元基于指示N的信息、将所述第二帧速率确定为是所述预定帧速率M倍的帧速率，M是不小于2并且不大于N的整数；基于所述第二帧速率确定在所述非基本编码数据之中的要被解码的数据；以及对所述要被解码的数据进行解码。
13.根据权利要求10所述的解码装置，其中，
所述显示控制信息包含方法信息，所述方法信息指示所述图像是逐行扫描图像或指示所述图像是隔行扫描图像，以及
所述解码单元基于所述方法信息确定所述第二帧速率，基于所述第二帧速率确定在所述非基本编码数据之中的要被解码的数据，以及对所述要被解码的数据进行解码。
14.根据权利要求10所述的解码装置，其中
所述显示控制信息包含解码标志，所述解码标志指示是否要对所述非基本编码数据进行解码，以及
所述解码单元通过参考所述基本图像、对与所述解码标志相对应的非基本编码数据进行解码，所述解码标志指示要对所述非基本编码数据进行解码。
15.根据权利要求10所述的解码装置，还包括：
显示控制单元，配置成基于所述接收单元所接收的所述显示控制信息、使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，所述基本图像和所述非基本图像是作为所述解码单元所执行的解码的结果所获得的。
16.根据权利要求15所述的解码装置，其中，
所述显示控制信息包含配对信息，所述配对信息指示所述非基本图像是否是形成与所述基本图像相同帧图像的图像，以及
所述显示控制单元基于所述配对信息，确定作为具有所述第二帧速率的图像的所述基本图像和所述非基本图像的显示顺序。
17.根据权利要求15所述的解码装置，其中
所述显示控制信息包含显示标志，所述显示标志指示是否要显示所述基本图像，以及
所述显示控制单元使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，所述基本图像与指示要显示所述基本图像的所述显示标志相对应。
18.根据权利要求15所述的解码装置，其中，
所述显示控制信息包含编码单位信息，所述编码单位信息指示按照帧对所述基本图像进行了编码、或按照场对所述基本图像进行了编码，以及
所述显示控制单元基于所述编码单位信息、使得将所述基本图像和所述非基本图像显示为具有所述第二帧速率的图像，具有所述第二帧速率的图像是所述编码单位信息所指示的单位的图像。
19.一种解码方法，包括：
接收步骤，接收作为将在具有第一帧速率的图像之中具有预定帧速率的图像作为基本图像进行编码的结果所获得的基本编码数据、作为通过参考所述基本图像、将除了所述基本图像之外的图像作为非基本图像进行编码的结果所获得的非基本编码数据、以及要被用来将所述基本图像和所述非基本图像显示为具有等于或低于所述第一帧速率的第二帧速率的图像的显示控制信息；以及
解码步骤，对通过在所述接收步骤中的处理所接收的所述基本编码数据进行解码来生成所述基本图像，以及通过使用通过在所述接收步骤中的处理所接收的所述显示控制信息和参考所生成的基本图像、对通过在所述接收步骤中的处理所接收的所述非基本编码数据进行解码，
所述步骤由解码装置所实施。
CN201280035866.5A 2011-07-27 2012-07-11 编码装置和编码方法、以及解码装置和解码方法 Pending CN103688546A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011164422A JP2013030907A (ja) 2011-07-27 2011-07-27 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2011-164422 2011-07-27
PCT/JP2012/067716 WO2013015116A1 (ja) 2011-07-27 2012-07-11 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (1)

Publication Number Publication Date
CN103688546A true CN103688546A (zh) 2014-03-26

Family

ID=47600968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280035866.5A Pending CN103688546A (zh) 2011-07-27 2012-07-11 编码装置和编码方法、以及解码装置和解码方法

Country Status (6)

Country Link
US (1) US20140168366A1 (zh)
EP (1) EP2739054A1 (zh)
JP (1) JP2013030907A (zh)
KR (1) KR20140057242A (zh)
CN (1) CN103688546A (zh)
WO (1) WO2013015116A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134206A (zh) * 2014-04-14 2016-11-16 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN109922333A (zh) * 2017-12-13 2019-06-21 瑞昱半导体股份有限公司 视频扫描方式侦测方法与***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284840B2 (en) * 2013-06-28 2019-05-07 Electronics And Telecommunications Research Institute Apparatus and method for reproducing 3D image
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
WO2016190089A1 (ja) * 2015-05-22 2016-12-01 ソニー株式会社 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
CN107925767A (zh) 2015-09-10 2018-04-17 索尼公司 发送设备、发送方法，接收设备和接收方法
US11115689B2 (en) * 2015-10-13 2021-09-07 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041257A (ja) * 1998-07-24 2000-02-08 Kdd Corp ビデオ階層符号化装置
US20090190654A1 (en) * 2008-01-24 2009-07-30 Hiroaki Shimazaki Image recording device, image reproducing device, recording medium, image recording method, and program thereof
CN100571356C (zh) * 2004-04-28 2009-12-16 松下电器产业株式会社 流产生装置，流产生方法，流再生装置，流再生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3449370B2 (ja) * 1991-12-27 2003-09-22 ソニー株式会社 画像データ復号化方法及び装置
JPH07123447A (ja) 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP2003037823A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 映像表示処理システム
JP3935124B2 (ja) * 2003-08-29 2007-06-20 株式会社東芝 デジタルａｖ情報記録媒体とこの媒体を用いる記録方法、再生方法および再生装置
US20110164686A1 (en) * 2008-09-16 2011-07-07 Xiuping Lu Method for delivery of digital linear tv programming using scalable video coding
JP2011109397A (ja) 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000041257A (ja) * 1998-07-24 2000-02-08 Kdd Corp ビデオ階層符号化装置
CN100571356C (zh) * 2004-04-28 2009-12-16 松下电器产业株式会社 流产生装置，流产生方法，流再生装置，流再生方法
US20090190654A1 (en) * 2008-01-24 2009-07-30 Hiroaki Shimazaki Image recording device, image reproducing device, recording medium, image recording method, and program thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106134206A (zh) * 2014-04-14 2016-11-16 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN106134206B (zh) * 2014-04-14 2020-03-31 索尼公司 发送装置、发送方法、接收装置以及接收方法
CN109922333A (zh) * 2017-12-13 2019-06-21 瑞昱半导体股份有限公司 视频扫描方式侦测方法与***
CN109922333B (zh) * 2017-12-13 2020-06-30 瑞昱半导体股份有限公司 视频扫描方式侦测方法与***

Also Published As

Publication number Publication date
EP2739054A1 (en) 2014-06-04
JP2013030907A (ja) 2013-02-07
US20140168366A1 (en) 2014-06-19
WO2013015116A1 (ja) 2013-01-31
KR20140057242A (ko) 2014-05-12

Similar Documents

Publication Publication Date Title
CN103688546A (zh) 编码装置和编码方法、以及解码装置和解码方法
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
US9525895B2 (en) Transmission device, transmission method, reception device, and reception method
US9787968B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and transmission/reception system using audio compression data stream as a container of other information
CN102100074B (zh) 兼容立体视频递送
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
US7646432B2 (en) Multimedia signal matching system and method for performing picture-in-picture function
US9288467B2 (en) Method for providing and recognizing transmission mode in digital broadcasting
USRE49786E1 (en) Method for coding and decoding a digital video, and related coding and decoding devices
KR20190142326A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3439309B1 (en) Method and apparatus for transmitting and receiving broadcast signals
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
US20120062698A1 (en) Apparatus and method for transmitting/receiving data in communication system
JP5473563B2 (ja) 表示制御装置及びその制御方法
JP6450968B2 (ja) 受信装置、受信方法、及びプログラム
KR20120026013A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
JP2013247663A (ja) 映像再生装置、映像再生方法及び映像符号化方法
KR20140076487A (ko) 멀티화면을 제공하는 방송 시스템 및 방송 방법
JP2013174798A (ja) 映像再生装置、映像再生方法及び映像符号化方法
KR20150086801A (ko) 화질 향상을 위한 부가 영상 데이터 송신 및 수신 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140326