CN103081482A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103081482A
CN103081482A CN2011800408138A CN201180040813A CN103081482A CN 103081482 A CN103081482 A CN 103081482A CN 2011800408138 A CN2011800408138 A CN 2011800408138A CN 201180040813 A CN201180040813 A CN 201180040813A CN 103081482 A CN103081482 A CN 103081482A
Authority
CN
China
Prior art keywords
information
parallax amount
binocular parallax
rendering
encoding stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800408138A
Other languages
English (en)
Inventor
安藤裕司
绪形昌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103081482A publication Critical patent/CN103081482A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本技术涉及能够产生可以被安全地和舒适地观看的3D图像的图像处理装置和图像处理方法。通信单元获取3D图像的编码数据和3D图像比特流，该3D图像比特流至少包括用于表示这些3D图像的视差的视差信息。CPU指定3D图像的重放时刻。基于视差信息，CPU确定作为前流和后流的需要视差的调整的部分的重新编码区间，使得其重放时刻连续的3D图像的视差之间的差处于或小于预定阈值。编辑单元调整在重新编码区间中的图像数据的视差。本技术例如适用于编辑3D图像的编辑装置。

Description

图像处理装置和图像处理方法
技术领域
本技术涉及图像处理装置和图像处理方法，并且更具体地涉及使得能够产生可以被安全地和舒适地观看的3D图像的图像处理装置和图像处理方法。
背景技术
例如，已经提出向3D图像加上用于标识2D图像和3D图像的信息与用于执行适当的显示的成像方法的信息。也已经提出了向3D图像加上标记，该标记表示被包含在3D图像中的在2D图像的显示中使用的图像（例如参见PTL1）。
顺便提及，当3D图像是商业内容时，这些3D图像被制作者考虑到当被观看时的安全性和舒适性而在拍摄和编辑期间创建。
具体地说，当假定观看环境是电影院时，制作者假定在电影院中的屏幕的尺寸和座椅位置等，并且创建3D图像使得观众可以在电影院中舒适地观看3D图像。例如，如图1中所示，当假定观看环境是具有预定屏幕宽度的屏幕的电影院时，制作者拍摄3D电影使得最大双眼视差量是屏幕宽度的1%。
现在，以这种方式，如果然后在安装了具有其中在观众眼睛之间的宽度大于屏幕宽度的1%的宽度的屏幕的电影院处观看被拍摄使得最大双眼视差量是屏幕宽度的1%的3D图像，则关于观众可以感知到的内容，3D电影的双眼视差量将变得小于在观众两眼之间的宽度。因此，可以向在这些种类的电影院中的观众提供3D图像的更舒适的观看。
例如，如果在观众两眼之间的宽度是5cm并且屏幕宽度是226英寸（500cm）或更小，则可以提供更舒适的观看体验。此外，如果在观众两眼之间的宽度是6.5cm并且屏幕宽度是294英寸（650cm）或更小，则可以提供更舒适的观看体验。
此外，当制作者在编辑用于商业内容的3D图像时，调整双眼视差使得在编辑之后在编辑点之前和之后的双眼视差量上没有突变。
如上所述，当3D图像是商业内容时，这些3D图像被制作者考虑到当被观看时的安全性和舒适性而在拍摄和编辑期间创建。因此，可以针对由制作者假定的观看环境提供更舒适的观看体验。
引用列表
专利文献
PTL1：国际公布No.WO2010/067810
发明内容
技术问题
不幸的是，当3D图像不是商业内容时，未用于处理3D图像的业余爱好者难以考虑到当3D图像被观看时的安全性和舒适性来编辑3D图像。
此外，即使当3D图像是商业内容时，当执行其中拍摄时刻不连续的特殊重放（例如，加亮重放、摘要重放、跳跃重放和重复重放等）时，在双眼视差量上有突变。这导致观众体验到不舒适和压迫。此外，这可以引起关于观众安全性的问题。
本技术考虑到这种情形，并且其目的是使得能够创建可以被安全地和舒适地观看的3D图像。
对于问题的解决方案
本技术的第一方面是一种图像处理装置，所述图像处理装置包括：获得单元，其获得3D图像数据和用于表示所述3D图像数据的视差的视差信息；确定单元，其对于其重放时刻是连续的3D数据确定调整区间，所述调整区间是需要调整3D图像数据的视差使得所述3D图像数据的视差的差处于或小于预定阈值的区间；以及调整单元，其在由所述确定单元确定的调整范围内调整所述3D图像数据的视差。
根据本技术的第一方面的图像处理方法与本技术的第一方面的图像处理装置对应。
利用本技术的第一方面，获得3D图像数据和用于表示所述3D图像数据的视差的视差信息，对于其重放时刻是连续的3D数据基于视差信息来确定调整范围，所述调整范围是需要调整3D图像数据的视差使得所述3D图像数据的视差的差处于或小于预定阈值的范围，并且，调整在由所述确定单元确定的调整范围内的3D图像数据的视差。
本技术的第二方面是一种图像处理装置，所述图像处理装置包括：检测单元，其使用3D图像数据来检测所述3D图像数据的视差；以及发送单元，其发送3D图像数据和用于表示3D图像数据的视差的视差信息。
根据本技术的第二方面的图像处理方法与本技术的第二方面的图像处理装置对应。
利用本技术的第二方面，从3D图像数据检测3D图像数据的视差，并且发送3D图像数据和用于表示3D图像数据的视差的视差信息。
此外，通过计算机程序的执行来实现用于第一方面和第二方面的图像处理装置。
此外，通过经由传输介质的传输或通过在记录介质上的记录来提供要在计算机上执行以实现第一方面和第二方面的图像处理装置的程序。
本发明的有益效果
使用本技术的第一方面，可以创建可以被安全地和舒适地观看的3D图像。
使用本技术的第二方面，可以传输用于创建可以安全地和舒适地观看的3D图像的信息。
附图说明
图1是图示在屏幕宽度和最大双眼视差量之间的关系的示例的图。
图2是图示作为应用了本技术的图像处理装置的拍摄装置的实施例的示例配置的框图。
图3是图示附加信息的示例的图。
图4是用于描述双眼视差量的上限值和下限值的设置的图。
图5是用于描述双眼视差量的上限值和下限值的设置的另一个图。
图6是图示在屏幕宽度和对应于57像素的屏幕上的长度之间的关系的图。
图7是用于描述在双眼视差量的上限值和拍摄条件之间的关系的图。
图8是图示在焦距和视角之间的关系的图。
图9是图示在双眼视差量的上限值、双眼视差量的下限值、水平分辨率、屏幕宽度和在眼睛之间的空间之间的关系的图。
图10是图示双眼视差量的关系的图。
图11是用于描述通过在图2中的拍摄装置的执行的产生处理的流程图。
图12是图示作为应用了本技术的图像处理装置的编辑装置的实施例的示例配置的框图。
图13是用于描述重新编码区间的确定方法的图。
图14是用于描述双眼视差量的第一调整方法的图。
图15是用于描述双眼视差量的第二调整方法的图。
图16是用于描述通过在图12中的编辑装置执行的编辑处理的流程图。
图17是图示在屏幕宽度和双眼视差量的上限值之间的关系的图。
图18是图示计算机的实施例的示例配置的图。
具体实施方式
<实施例>
[拍摄装置的实施例的配置示例]
图2是图示作为应用了本技术的图像处理装置的拍摄装置的实施例的示例配置的框图。
在图2中的拍摄装置10包括拍摄单元11、编码器12、附加信息产生单元13和流产生单元14。拍摄装置10拍摄和编码3D图像，并且然后相加和输出用于表示这些3D图像的双眼视差量的信息等。
具体地说，拍摄装置10的拍摄单元11（拍摄单元）包括两个相机（在附图中未示出），该两个相机被布置得水平排成一行，使得相机的光轴平行。该两个相机每一个经由平行方法来执行拍摄。拍摄单元11然后将结果获得的两个图像之一选择为左图像，并且另一个图像变为右图像。拍摄单元11移位左图像和右图像以产生3D图像，其中，从无限远向前景移动深度的位置。
此外，可以相反地进行布置，其中，拍摄单元11不移位经由平行方法拍摄的左图像和右图像，而是通过在在两个相机的透镜和图像的位置关系之间施加偏移（移位拍摄）的同时执行拍摄来产生3D图像。
拍摄单元11向编码器12和附加信息产生单元13供应所产生的3D图像。此外，拍摄单元11向附加信息产生单元13供应3D图像拍摄条件、拍摄时刻和类似内容。
编码器12（编码单元）以诸如MVC（多视点视频编码）、AVC（高级视频编码）和MPEG2（运动图像专家组阶段2）的格式编码从拍摄单元11供应的3D图像。编码器12向流产生单元14供应作为编码的结果获得的编码数据。
附加信息产生单元13基于从拍摄单元11供应的3D图像、3D图像拍摄条件和拍摄时刻以及用户输入等来产生作为向编码数据加上的信息的附加信息。附加信息例如包括诸如下述内容的信息：用于表示3D图像的拍摄条件的拍摄条件信息、用于表示3D图像的双眼视差量的视差信息和用于表示其中假定要观看3D图像的观看环境的假定观看环境信息。附加信息产生单元13向流产生单元14供应所产生的附加信息。
流产生单元14（输出单元）向从编码器12供应的编码数据加上从附加信息产生单元13供应的附加信息，并且产生比特流。此时，流产生单元14通过将附加信息复用到对应的编码数据内来产生比特流，或者，它可以产生作为与对应的编码数据不同的文件数据的比特流。流产生单元14输出所产生的比特流。
[附加信息的描述]
图3是图示附加信息的示例的图。
在图3的示例中，由拍摄条件信息、视差信息和假定观看环境信息构成附加信息。从双眼视差量的上限值和时间戳构成拍摄条件信息。双眼视差量的上限值是由拍摄单元11拍摄的3D图像的双眼视差量的上限值，即，在无限远点处的双眼视差量。
此外，双眼视差量是用于表示在构成3D图像的左图像和右图像中的对应的点之间在水平位置上的移位量的像素的数量。在此，当右图像在左图像的右侧时，即，当3D图像的深度位置在背景中时，该移位量变为正值；并且，当右图像在左图像的左侧时，即，当深度位置在前景中时，该移位量变为负值。
双眼视差量的上限值例如被拍摄单元11配置，并且被输入到附加信息产生单元13内，并且然后在附加信息产生单元13处被产生为拍摄条件信息。
此外，取代双眼视差量的实际上限值，可以在拍摄条件信息中包括可以计算双眼视差量的上限值的替代参数。
此外，可以在拍摄条件信息中包括双眼视差量的下限值。在拍摄单元11处以与双眼视差量的上限值相同的方式来设置双眼视差量的下限值，其中，拍摄单元11拍摄3D图像，使得双眼视差量的下限值是用于在最前位置的3D图像的双眼视差量。当在拍摄条件信息中包括双眼视差量的下限值时，拍摄单元11向附加信息产生单元13内输入双眼视差量的下限值，其中，附加信息产生单元13将用于这个双眼视差量的下限值产生为拍摄条件信息。
时间戳是被加上拍摄条件信息的3D图像的拍摄时刻的、用于与这个拍摄条件信息对应的3D图像的拍摄时刻的偏移。基于从拍摄单元11输入的拍摄时刻等来产生这个时间戳。
从最大双眼视差量、最小双眼视差量和主观看区域的双眼视差量来构成视差信息。最大双眼视差量是3D图像的双眼视差量的上限值，并且最小双眼视差量是3D图像的双眼视差量的下限值。此外，主观看区域是在3D图像内的感兴趣的区域。
此外，不仅最大双眼视差量、最小双眼视差量和主观看区域的双眼视差量，此外用于表示用于这些双眼视差量的3D图像内的位置的信息也可以被包括在视差信息中。用于表示这个位置的信息可以来自包括在与双眼视差量对应的3D图像内的点的矩形的对角及左上和右上顶点的坐标以及包括在与双眼视差量对应的3D图像内的点的圆的中心坐标和半径等。
例如，附加信息产生单元13（检测单元）使用3D图像利用诸如块匹配或特征点提取等的技术来检测最大双眼视差量、最小双眼视差量和用于主观看区域的双眼视差量，并且该最大双眼视差量、最小双眼视差量和用于主观看区域的双眼视差量然后被产生为视差信息。
此外，可以通过用户输入或自动地检测来确定主观看区域。当自动检测主观看区域时，可以通过例如面部识别和人群识别等的组合将关键人群的区域检测为主观看区域。此外，通过用于提取拍摄主题的图像识别、图像结构分析和场景识别的组合，可以将被估计为对于观众感兴趣的拍摄主题的区域检测为主观看区域，或者，可以将包括当前焦点对准的拍摄主题、在区域中大的拍摄主题和具有用于双眼视差量的最常见的值即主要的双眼视差量的拍摄主题在内的拍摄主题的区域检测为主观看区域。
此外，也可以在视差信息中包括标记，用于指示是否使能或禁用最大双眼视差量、最小双眼视差量和用于主观看区域的双眼视差量。在该情况下，附加信息产生单元13产生标记，该标记用于指示在诸如当3D图像的拍摄条件是预定条件时、当在被编码器12编码之前已经执行某种编辑时或当在双眼视差量的检测期间出现错误时的事件中禁用用于主观看区域的双眼视差量。
作为估计观看环境信息产生最大屏幕宽度和估计眼睛间距离。最大屏幕宽度是在用户假定的观看环境中的最大屏幕宽度，并且是最大双眼视差量将必然小于估计眼睛间距离的屏幕宽度的上限值。通过使用下面的表达式（1）执行计算来产生该上限值，该上限值具有来自附加信息产生单元13的最大双眼视差量的假定预定值（5cm）。
[数学表达式1]
Figure BDA00002851824300071
此外，当将实际双眼视差量的上限值设置为在表达式（1）中的双眼视差量的上限值时，如果拍摄主题具有等于这个双眼视差量的上限值的双眼视差量，则推荐为实际设置的双眼视差量的上限值假定较大值，因为不能使得在该情况下的拍摄主题的双眼视差量更大。
估计眼睛间距离是由用户估计的观众的眼睛之间的距离。根据用户输入来产生估计眼睛间距离。此外，3DC安全指南说明成人的眼睛间平均距离是6.5cm，并且儿童的眼睛间距离是5cm；并且因此，推荐考虑到儿童观众将估计眼睛间距离设置为5cm。此外，当标准指示估计眼睛间距离是固定值时，该估计眼睛间距离不必被产生为估计观看环境信息。
此外，取代最大屏幕宽度，可以在估计观看环境信息中包括用户估计适合于观看环境的、由用户输入的屏幕宽度。
此外，可以例如对于3D图像的每一个帧产生附加信息。此外，当3D图像被编码器12使用MPEG2或类似品编码时，可以以GOP（图像组）的递增来产生附加信息。在该情况下，使用附加信息的装置（例如，下述的编辑装置）参考时间戳，并且然后通过内插以3D图像的GOP的递增产生的附加信息来产生用于3D图像的每一个帧的附加信息，并且使用该附加信息。
图4和图5是用于描述双眼视差量的上限值和双眼视差量的下限值的设置的图。此外，在图4中，为了清楚，组合和显示左图像和右图像。
如图4的A中所示，人眼很少看侧面。因此，用于可以安全地和舒适地观看的3D图像的双眼视差量应当小于观众的眼睛间距离。然而，如果屏幕宽度大，则这应当被设置为在1%-2%的可接受范围。这意味着双眼视差量的上限值被设置为由用户估计的观众的眼睛间距离和在由用户估计的观看环境中的屏幕宽度的1%-2%中的较大者。
此外，如图4的B中所示，根据3D安全指南等可以被安全和舒适地观看的3D图像的双眼视差量应当至少是当会聚角比在双眼视差量为零处的会聚角大1度的情况下的双眼视差量。具体地说，如图5中所示，当眼睛间距离在5至6.5cm之间时，作为从屏幕至观众的眼睛的距离的观看距离是标准观看距离，即，屏幕高度的3倍，屏幕长宽比是16:9，并且，水平分辨率是1920像素；作为用于在为零的双眼视差量处的会聚角γ加1度的和的会聚角β的双眼视差量是大约负57像素。因此，双眼视差量的下限值被设置为大约负57像素。图6是图示在屏幕宽度和57像素的对应屏幕长度之间的关系的图。
接下来，图7描述了在双眼视差量的上限值和拍摄单元11的拍摄条件之间的关系。
使用如图7中所示的相机光轴距离、在会聚点距离处的拍摄范围和3D图像的水平分辨率，通过下面的表达式（2）来表示双眼视差量的上限值。
[数学表达式2]
Figure BDA00002851824300081
此外，相机光轴距离是在两个相机的光轴之间的水平距离。此外，在会聚点距离处的拍摄范围是当拍摄时可以被每一个相机拍摄的水平范围，会聚点距离是其中两个相机拍摄作为在双眼视差量为零处的点的会聚点的拍摄范围。
通过下面的表达式（3）来获得会聚点距离，并且通过下面的表达式（4）来获得在会聚点距离处的拍摄范围。
[数学表达式3]
Figure BDA00002851824300091
[数学表达式4]
Figure BDA00002851824300092
此外，会聚角是当通过两个相机拍摄会聚点时的两个相机的光轴的角度。此外，在表达式（4）中的视角是在会聚点距离处的拍摄范围的视角。这个视角是通过将会聚点距离转换为使用35mm胶片的SLR（单透镜反射）相机或DSLR（数字单透镜反射）相机的焦距而获得的，并且可以因此从焦距和图像的尺寸被获得。图8是图示在视角和35mm半幅SLR相机或35mm全幅DSLR相机的焦距之间的关系的图。
如上所述，在表达式（2）中图示在双眼视差量的上限值和相机光轴距离之间的关系，并且因此，当通过拍摄单元11设置双眼视差量的上限值时，通过使用双眼视差量的这个上限值、在会聚点距离处的拍摄范围和水平分辨率执行上面的表达式（2）的计算来获得相机光轴距离。此外，可以通过拍摄单元11调整在此获得的相机光轴距离。
图9是图示在双眼视差量的上限值、双眼视差量的下限值、水平分辨率、屏幕宽度和在眼睛之间的空间之间的关系的图。图10是图示在双眼视差量的上限值、最大双眼视差量、用于主观看区域的双眼视差量、最小双眼视差量和双眼视差量的下限值之间的关系的图。
[拍摄装置处理的说明]
图11是用于描述由在图2中的拍摄装置10进行的产生处理的流程图。例如，当用户已经指令拍摄3D图像时，开始这个产生处理。
在图11的步骤S11中，拍摄单元11产生3D图像，并且将此供应到编码器12和附加信息产生单元13。此外，拍摄单元11向附加信息产生单元13供应3D图像的拍摄条件和拍摄时刻。
在步骤S12中，编码器12将从拍摄单元11供应的3D图像编码为MVC、AVC、MPEG2或另一种这样的格式，并且向流产生单元14供应结果产生的编码数据。
在步骤S13中，附加信息产生单元13基于从拍摄单元11供应的3D图像、3D图像的拍摄条件和拍摄时刻以及用户输入来产生附加信息。附加信息产生单元13向流产生单元14供应所产生的附加信息
在步骤S14中，流产生单元14编码从附加信息产生单元13供应的附加信息，并且向从编码器12供应的编码数据加上编码的附加信息，以产生比特流。然后，处理结束。
如上所述，拍摄装置10使用3D图像来检测视差信息，并且将这个视差信息与编码数据一起输出。因此，执行编码数据的重放或编辑的装置可以基于视差信息产生可以被安全地和舒适地观看的3D图像，并且将在其重放时刻连续的3D图像的双眼视差量上的差保持得处于或小于预定阈值。
此外，因为视差信息与编码数据一起被输出，所以执行编码数据的重放和编辑的装置不必解码编码数据以获得视差信息。因此，执行编码数据的重放和编辑的装置可以仅通过下述方式来产生可以被安全地和舒适地观看的3D图像：解码其中需要在重放期间调整双眼视差量的范围，并且编辑以将在其重放时刻连续的3D图像的双眼视差量上的差保持得处于或小于预定阈值。结果，执行编码数据的重放和编辑的装置可以向观众提供安全和舒适的3D图像，而没有很多的图像处理负荷。
[编辑装置的示例配置]
图12是图示作为应用了本技术的图像处理装置的、编辑装置的实施例的示例配置的框图。
在图12中的编辑装置30通过仅解码编辑所需的最小范围而执行从在图2中的拍摄装置10输出的3D图像比特流的编辑，使得可以在编辑后安全地和舒适地观看3D图像。
具体地说，编辑装置30的CPU（中央处理单元）31连接到北桥32。例如，CPU31控制诸如在HDD（硬盘驱动器）37中存储的数据的读取的任务的处理，并且产生和输出用于控制由CPU41执行的编辑处理的命令。
北桥32连接到PCI总线（***部件互连/接口）35。例如，基于CPU31控制，北桥32通过南桥36接收在HDD37中存储的数据的供应，并且然后将其通过PCI总线35和PCI桥38供应到存储器39。此外，北桥32也连接到存储器33，并且接受CPU31在其处理中使用的数据。此外，北桥32也连接到通信单元34，并且接受用于与其他装置进行通信的数据。
存储器33存储由CPU31执行的处理所需的数据。南桥36控制向HDD37的数据的写入/从HDD37的数据的读取。通信单元34向其他装置发送从北桥32供应的数据，并且向北桥32供应从其他装置接收的数据。HDD37将从拍摄装置10接收的3D图像比特流存储为可编辑材料。
PCI桥38控制向存储器39的数据的写入/从存储器39的数据的读取。此外，PCI桥38控制向解码器43至45的编码数据的供应、向CPU41的附加信息的供应和向流接合器46的比特流的供应。此外，PCI桥38控制从PCI总线35和控制总线40的数据的接收。
基于PCI桥38控制，存储器39存储作为可编辑材料并且从HDD37读取的比特流和从流接合器46供应的编辑后比特流。
CPU41根据从CPU31供应的命令并且通过北桥32、PCI总线35、PCI桥38和控制总线40来控制由PCI桥38、解码器43至45、流接合器46、编辑单元47和编码器48执行的处理。存储器42存储CPU41的处理所需的数据。
基于CPU41控制，解码器43和解码器44（解码单元）使用与由在图2中的编码器12使用的编码格式兼容的格式来解码从PCI桥38供应的编码数据，并且向编辑单元47供应作为解码结果获得的3D图像的图像数据。解码器45使用与由编码器12和编码器48使用的编码格式兼容的格式来解码和输出从流接合器46供应的编辑后比特流。
基于CPU41控制，流接合器46组合从PCI桥38供应的比特流和包括从编码器48供应的编码数据的比特流，并且产生编辑后比特流。流接合器46向解码器45供应编辑后比特流，并且也将其通过PCI桥38供应到存储器39以存储。
基于CPU41的控制，编辑单元47组合从解码器43或解码器44供应的3D图像的图像数据。此时，编辑单元47（调整单元）调整3D图像的图像数据的主观看区域的双眼视差量，使得其重放时刻连续的3D图像的图像数据的双眼视差量的差处于或小于预定阈值。编辑单元47向编码器48供应作为组合结果获得的图像数据来作为编辑后数据。
基于CPU41控制，编码器48使用由编码器12使用的同一编码格式来编码从编辑单元47供应的编辑后数据，并且然后向流接合器46输出作为结果获得的编码数据。
接下来，将描述编辑装置30的操作。
通信单元34（获得单元）获得从拍摄装置10输出的比特流，并且将其供应到北桥32。基于CPU31控制，北桥32向HDD37供应通过南桥36从通信单元34供应的比特流，以便存储。
根据从在图中未示出的操作输入单元供应的来自用户的操作输入和CPU31控制，南桥36从HDD37读取当编辑时连接的两个比特流中的前比特流（以下称为前流）和后比特流（以下称为后流）。已经读取的前比特流和后比特流基于CPU31控制通过北桥32、PCI总线35和PCI桥38被供应到存储器39，以便存储。CPU31（指定单元）也通过北桥32、PCI总线35、PCI桥38和控制总线40向CPU41供应用于表示编辑点的信息和表示编辑开始的命令。
此外，用于表示编辑点的信息是用于表示彼此连接先前的帧和随后的帧的位置的信息，并且该信息确定在编辑后比特流中的3D图像的重放时刻。因此，用于表示编辑点的信息是指定编辑后比特流的3D图像的重放时刻的信息。
基于从CPU31供应的表示编辑点的信息和在前流和后流中包括的附加信息，CPU41（确定单元）确定用于调整双眼视差量所需的作为重新编码区间的前流和后流的范围，使得其重放时刻连续的3D图像的主观看区域的双眼视差量的差处于或小于预定阈值。
接下来，基于CPU41控制，PCI桥38从在存储器39中存储的前流向解码器43供应在重新编码区间中的编码数据和当解码该编码数据时所需的编码数据。此外，基于CPU41控制，PCI桥38从在存储器39中存储的后流向解码器44供应在重新编码区间中的编码数据和当解码该编码数据时所需的编码数据。
此外，此时，基于CPU41控制，PCI桥38向流接合器46供应都在PCI桥38中存储的、前流的不在重新编码区间中直到编辑点的部分和后流的在编辑点后不在重新编码区间中的部分。
基于CPU41控制，解码器43和解码器44利用与由在图2中的编码器12使用的编码格式兼容的格式来解码从PCI桥38供应的编码数据。解码器43和解码器44然后向编辑单元47供应在解码后获得的重新编码区间中的3D图像的图像数据。
基于CPU41控制，编辑单元47将从解码器43供应的3D图像的图像数据与从解码器44供应的3D图像的图像数据连接。此外，此时，基于CPU41控制，编辑单元47调整其重放时刻连续的3D图像的图像数据的主观看区域的双眼视差量，使得其重放时刻连续的3D图像的主观看区域的双眼视差量的差处于或小于预定阈值。编辑单元47向编码器48供应所连接的3D图像的图像数据以作为编辑后数据。
基于CPU41控制，编码器48使用与在图2中的编码器12相同的格式来编码从编辑单元47供应的编辑后数据。编码器48向流接合器46供应作为结果获得的编码数据。
基于CPU41控制，流接合器46向从编码器48供应的编码数据加上使用用于主观看区域的调整后双眼视差量更新的附加信息，并且产生重新编码区间的比特流。基于CPU41控制，流接合器46将产生的重新编码区间的比特流与从PCI桥38供应的比特流连接，并且产生编辑后比特流。
基于CPU41控制，流接合器46然后向PCI桥38供应编辑后比特流以存储在存储器39中。此外，基于CPU41控制，流接合器46向解码器45供应编辑后比特流以被解码，然后在图中未示出的显示器或另一个装置上被显示。
当已经从在图中未示出的操作输入单元指令存储编辑后比特流时，基于CPU31控制，PCI桥38读取在存储器39中存储的编辑后比特流。基于CPU31控制，并且通过PCI总线35和北桥32，已经读取的编辑后比特流被供应到南桥36。南桥36继而向HDD37供应该比特流以存储。
[双眼视差量调整的说明]
图13是用于描述用于确定重新编码区间的方法的图。
此外，在图13中，水平轴表示3D图像的重放时刻，并且垂直轴表示双眼视差量。
如图13中所示，当在具有其中拍摄时刻不连续的编辑点的前流的主观看区域的双眼视差量和后流的主观看区域的双眼视差量之间的差（间隙）大于预定阈值时，CPU41获得在其中前流的重放时刻在编辑点之前的区段处的主观看区域的双眼视差量和在其中后流的重放时刻在编辑点之后的间隔处的主观看区域的双眼视差量。CPU41然后基于从前流和后流获得的主观看区域的双眼视差量来确定重新编码区间。
因此，当需要识别前流和后流的主观看区域的双眼视差量以确定重新编码区间时，编辑装置30不必解码编码数据以检测双眼视差量，因为主观看区域的双眼视差量被加到由拍摄装置10输出的比特流中的编码数据。因此，通过仅解码在重新编码区间中的编码数据，编辑装置30可以调整双眼视差量使得其重放时刻连续的3D图像的主观看区域的双眼视差量之间的差将处于或小于预定阈值。
图14是用于描述用于调整第一双眼视差量的第一方法的图，并且图15是用于描述用于调整第二双眼视差量的第二方法的图。此外，在图14中，图14的A部分图示由观众感知的3D图像的深度的位置，并且图14的B部分图示作为组合左图像和右图像以构成3D图像的结果的图像。这也对于图15成立。
如图14中所示，用于第一双眼视差量的第一调整方法水平地移位用于左眼的图像和用于右眼的图像。在图14的示例中，通过在右方向上移位用于左眼的图像并且在左方向上移位用于右眼的图像来减小双眼视差量。这允许观众比在已经调整双眼视差量之前更多地感知在前景中的房屋、树木和猫。
此外，当第一调整方法移位用于左眼的图像和用于右眼的图像时，这使得丢失用于左眼的图像和用于右眼的图像的最左边缘和最右边缘。因此，通过放大用于左眼的图像和用于右眼的图像并且***预定图像，内插最左边缘和最右边缘。此外，当放大用于左眼的图像和用于右眼的图像时，双眼视差量改变，并且因此，在考虑到该改变后，移位用于左眼的图像和用于右眼的图像。
如图15中所示，用于双眼视差量的第二调整方法基于用于左眼的图像和用于右眼的图像来产生新的用于左眼的图像和用于右眼的图像。该方法不仅改变3D图像的双眼视差量，还压缩3D图像的双眼视差量。
具体地说，在图15中的示例中，在新的用于左眼的图像中的房屋的位置相对于在原始的用于左眼的图像中的房屋的位置向右移动；树木的位置相对于原始的用于左眼的图像中的树木的位置向右移动，移动量大于房屋的移动量；并且，猫的位置相对于在原始的用于左眼的图像中的房屋的位置向右移动，移动量小于房屋的移动量。此外，在新的用于右眼的图像中的房屋的位置相对于在原始的用于右眼的图像中的房屋的位置向左移动；树木的位置相对于原始的用于右眼的图像中的树木的位置向左移动，移动量大于房屋的移动量；并且，猫的位置相对于在原始的用于右眼的图像中的房屋的位置向左移动，移动量小于房屋的移动量。因此，同时降低和压缩3D图像的双眼视差量。结果，与已经按树木、房屋和猫的顺序更大移动地调整双眼视差量之前相比，观众更多地感知到在前景中的树木、房屋和猫。换句话说，观众可以更多地在前景中感知到3D图像，因为比已经调整双眼视差量之前更多地压缩深度的位置。
[编辑装置处理的说明]
图16是用于描述用于在图12中的编辑装置30的编辑处理的流程图。该编辑处理例如当用户指令开始编辑作为可编辑材料的已经在HDD37中存储的比特流时开始。
在图16中的步骤30中，基于CPU41控制，南桥36基于从在图中未示出的操作输入单元供应的、来自用户的操作输入来从HDD37读取前流和后流。通过北桥32、PCI总线35和PCI桥38向存储器39供应前流和后流以存储。此外，CPU31通过北桥32、PCI总线35、PCI桥38和控制总线40向CPU41供应用于表示编辑点的信息和用于表示编辑开始的命令。
在步骤31中，基于从CPU31供应的用于表示编辑点的信息，CPU41从作为附加信息在存储器39中存储的前流和后流中包括的视差信息读取主观看区域的双眼视差量。
在步骤32中，CPU41将前流编辑点的主观看区域的双眼视差量与后流编辑点的主观看区域的双眼视差量作比较。
在步骤33中，CPU41确定在前流编辑点的主观看区域的双眼视差量与后流编辑点的主观看区域的双眼视差量之间的差是否大于预定阈值。该预定阈值例如是与会聚角的一度对应的双眼视差量。
当在步骤S33中确定在前流编辑点的主观看区域的双眼视差量与后流编辑点的主观看区域的双眼视差量之间的差大于预定阈值时，处理进行到步骤S34。在步骤S34中，基于来自在前流和后流中作为附加信息包括的估计观看环境信息的最大屏幕宽度，CPU41设置比该最大屏幕宽度小的宽度。
在步骤S35中，CPU41确定与屏幕宽度对应的双眼视差量的上限值。具体地，CPU41通过下述方式来执行计算：向前述的表达式（1）中代入3D图像的水平分辨率、在估计观看环境信息中包括的估计眼睛间距离和在步骤S33中设置的屏幕宽度的值，其中，确定与屏幕宽度对应的双眼视差量的上限值。
在步骤S36中，CPU41基于从CPU31供应的用于表示编辑点的信息和在前流和后流中包括的视差信息来确定重新编码区间和在调整重新编码区间后的双眼视差量。
在步骤S37中，CPU41确定在调整重新编码区间之后的双眼视差量是否在可接受范围内，即，处于或小于在步骤S35中确定的-57像素或更多的双眼视差量的上限值。
当在步骤S37确定在调整重新编码区间之后的双眼视差量在可接受范围内时，基于CPU41控制，PCI桥38从在存储器39中存储的前流选择在重新编码区间中的编码数据和解码这个编码数据所需的编码数据，并且将其供应到解码器43。此外，基于CPU41控制，PCI桥38从在存储器39中存储的后流选择在重新编码区间中的编码数据和解码该编码数据所需的编码数据，并且将其供应到解码器44。此外，基于CPU41控制，PCI桥38向流接合器46供应都在存储器39中存储的、前流的不在重新编码区间中的直到编辑点的部分和后流的不在重新编码区间中的在编辑点后的部分。处理然后进行到步骤S39。
相反，如果在步骤S37确定在调整重新编码区间后的双眼视差量不在可接受范围内，则CPU41在步骤S38中重新配置屏幕宽度。
具体地说，在图17中示出了在使用前述的表达式（1）获得的屏幕宽度和双眼视差量的上限值之间的关系的示例。此外，在图17中的3D图像的水平分辨率是1920像素。如图17中所示，屏幕宽度越小，则双眼视差量的上限值越大。因此，CPU41减小由用户估计的屏幕宽度，使得在调整重新编码区间后的双眼视差量在可接受范围内。
接下来，基于CPU41控制，PCI桥38从在存储器39中存储的前流向解码器43供应在重新编码区间中的编码数据和解码该编码数据所需的编码数据。此外，基于CPU41控制，PCI桥38从在存储器39中存储的后流向解码器44供应在重新编码区间中的编码数据和解码该编码数据所需的编码数据。此外，基于CPU41控制，PCI桥38向流接合器46供应都在存储器39中存储的、前流的未在重新编码区间中的直到编辑点的部分和后流的未在重新编码区间中的在编辑点后的部分。处理然后进行到步骤S39。
在步骤S39中，基于CPU41控制，解码器43和解码器44使用与由在图2中的编码器12使用的编码格式兼容的格式来解码从PCI桥38供应的编码数据。解码器43和解码器44然后向编辑单元47供应作为解码结果获得的3D图像的图像数据。
在步骤S40中，基于CPU41控制，编辑单元47基于在步骤S36中确定的在调整重新编码区间后的双眼视差量来调整从解码器43和解码器44供应的在3D图像的图像数据中的主观看区域的双眼视差量，并且连接调整后图像数据。编辑单元47向编码器48供应作为结果获得的3D图像的图像数据来作为编辑后数据。
在步骤S41中，基于CPU41控制，编码器48重新编码从编辑单元47供应的编辑后数据。编码器48向流接合器46供应作为结果获得的编码数据。
在步骤S42中，基于CPU41控制，流接合器46向从编码器48供应的编码数据和向在调整后的主观看区域的双眼视差量加上更新的附加信息，并且然后产生重新编码区间的比特流。此外，当执行步骤S38的处理时，使用在步骤S38处重新配置的屏幕宽度来更新在附加信息中的最大屏幕宽度。
在步骤S43中，基于CPU41控制，流接合器46连接所产生的重新编码区间的比特流和从PCI桥38供应的比特流，并且产生编辑后比特流。
相反，在步骤S33中，当在前流中的编辑点的主观看区域的双眼视差量和在后流中的编辑点的主观看区域的双眼视差量之间的差不大于预定阈值时，基于CPU41控制，PCI桥38向流接合器46供应都在存储器39中存储的、直到编辑点的前流和在编辑点后的后流。然后，在步骤S44中，基于CPU41控制，流接合器46连接都从PCI桥38供应的直到编辑点的前流和在编辑点后的后流，并且产生编辑后比特流。
编辑后比特流被存储在存储器39中，并且被解码器45解码。在存储器39中存储的编辑后比特流根据用户指令被供应到HDD37以存储。此外，作为通过解码器45的解码的结果获得的图像数据被输出到在图中未示出的显示器或类似装置，并且显示结果产生的3D图像。
如上所述，编辑单元30至少获得包括视差信息和编码数据的比特流，并且设置与该编码数据对应的3D图像的重放时刻，基于视差信息来确定重新编码区间，并且调整在重新编码区间中的3D图像的双眼视差量。以这种方式，编辑单元30可以通过下述方式来产生可以被安全地和舒适地观看的3D图像：保证在连续重放的3D图像的双眼视差量之间的差处于或小于预定阈值。
此外，由于在比特流中包括编码数据和视差信息两者，所以编辑装置30不必解码编码数据以获得视差信息。因此，编辑单元30可以通过下述方式来产生可以被安全地和舒适地观看的3D图像：仅解码保证其重放时刻连续的3D图像的双眼视差量的差处于或小于预定阈值所需的重新编码区间。结果，编辑装置30可以向观众提供安全和舒适的3D图像，而没有很多的图像处理负荷。
此外，在图16的步骤S37中的可接受范围是与拍摄条件信息兼容的范围，即，大于下限值并且小于上限值的双眼视差量的范围。此外，当调整后的双眼视差量不在可接受范围内时，编辑装置30向与前流对应的图像数据应用淡出，并且向与后流对应的图像数据应用淡入，这使得观众难以感知到在编辑点处的双眼视差量的差别。
此外，当用于主观看区域的双眼视差量的位置信息被包括为视差信息时，编辑单元30基于该位置信息来获得在前流的编辑点处的主观看区域和在后流的编辑点处的主观看区域之间的差，并且当该距离大时，不必执行双眼视差量的调整。
此外，作为估计观看环境信息，可以取代最大屏幕尺寸和估计眼睛间距离来增加允许在由用户估计的观看环境中的安全和舒适观看的双眼视差量的范围。在该情况下，该双眼视差量的范围在步骤S37中变为可接受范围。
此外，如上所述，编辑单元30已经调整了双眼视差量使得其重放时刻连续的3D图像的主观看区域的双眼视差量的差在预定阈值的范围内，但是，当最大双眼视差量、其重放时刻连续的3D图像的最小双眼视差量或最大双眼视差量和最小双眼视差量的中间值在预定范围内时，也可以执行双眼视差量的调整。
此外，除了编辑比特流的编辑装置30之外，使用在由拍摄装置10发送的比特流中包括的附加信息的装置也可以是执行具有不连续拍摄时刻的比特流的特殊重放（例如，加亮重放、摘要重放、跳跃重放、重复重放和以不连续拍摄时刻拍摄的3D图像的连续重放等）的重放装置。
此外，在从拍摄装置10发送的比特流中包括的编码数据可以是移动画面的编码数据或静止画面的编码数据。当在从拍摄装置10发送的比特流中包括的编码数据是静止画面的编码数据时，使用在比特流中包括的附加信息的装置可以执行例如幻灯片显示。
此外，对于本实施例，已经向编码数据内加上（写入）附加信息，但是可以与图像数据（或比特流）分离地发送（记录）附加信息。此外，附加信息可以与图像数据（或比特流）链接。
此外，对于本实施例，术语“链接”被定义如下。“链接”指示其中将图像数据（或比特流）和附加信息彼此链接的状态。可以使用独立的传输路径来发送要与附加信息链接的图像数据。此外，要与附加信息链接的图像数据（或比特流）可以每一个记录在独立的记录介质（或在同一记录介质内的不同记录区域上）。此外，用于链接要与附加信息链接的图像数据（或比特流）的度量单位可以是例如编码数据处理单位（一个帧或多个帧等）。
[应用了本技术的计算机的说明]
接下来，可以以硬件或以软件来执行前述的系列处理。当以软件来执行该系列处理时，在通用计算机或类似装置上安装构成该软件的程序。
图18是图示执行如上所述的系列处理的程序已经被安装到的计算机的实施例的示例配置的图。
可以将程序预先记录在作为在计算机中安装的记录介质的记录单元208或ROM（只读存储器）202中。
也可以在可装卸介质211上存储（记录）程序。该种类的可装卸介质211可以被提供为封装软件。在此，可装卸介质的示例包括软盘、CD-ROM（致密盘只读存储器）、MO（磁光）盘、DVD（数字通用盘）、磁盘和半导体存储器等。
此外，除了通过驱动器210从上述的可装卸介质211安装到计算机上之外，也可以通过通信网络或广播网络向计算机下载程序，并且然后将其安装到计算机内置的记录单元208。即，例如，可以通过用于数字卫星广播的卫星无线地从下载网站向计算机传送程序，或者，可以通过诸如因特网的网络经由有线连接向连接到LAN（局域网）的计算机传送程序。
该计算机具有内置的CPU（中央处理单元）201，并且CPU201通过总线204与输入输出接口205连接。
当经由输入输出接口205通过用户操作等向输入单元206输入指令时，CPU201执行在ROM202中预先存储的程序。替代地，CPU201向RAM（随机存取存储器）203安装在记录单元208中存储的程序，并且然后执行该程序。
这样，CPU201根据前述的流程图或者根据在框图中的配置来执行处理。CPU201然后例如在必要时通过输入输出接口205从输出单元207输出处理结果，从通信单元209发送，进一步记录到记录单元208等。
此外，输入单元206由键盘、鼠标、麦克风等构成。此外，输出单元207由LCD（液晶显示器）、扬声器等构成。
在此，根据本说明书，不必以在流程图中描述的顺序的时间序列执行由计算机根据程序执行的处理。即，由计算机根据程序执行的处理也包括并行地或单独地执行的处理（例如，并行处理或对象处理）。
此外，可以在一个计算机（处理器）上执行程序的处理，或者可以在多个计算机上实现分布式处理。此外，可以向远程计算机传送程序以在那里执行。
本技术可以被配置如下。
（1）一种图像处理装置，包括：
编码单元，其编码3D图像并产生编码流；
设置单元，其设置视差信息和估计观看环境信息，所述视差信息包括所述3D图像的主观看区域的双眼视差量，所述估计观看环境信息包括作为所述3D图像的观看环境被估计的最大屏幕宽度和估计眼睛间距离；以及
发送单元，其发送由所述编码单元产生的所述编码流以及由所述设置单元设置的所述视差信息和估计观看环境信息。
（2）根据（1）所述的图像处理装置，其中，所述设置单元进一步设置拍摄条件信息，所述拍摄条件信息包括所述双眼视差量的上限值；
并且其中所述发送单元也发送由所述设置单元设置的所述拍摄条件信息。
（3）根据（1）或（2）所述的图像处理装置，其中，所述视差信息包括用于表示与所述双眼视差量对应的所述3D图像中的位置的位置信息。
（4）根据（1）至（3）的任何一项所述的图像处理装置，其中，所述视差信息包括作为所述双眼视差量的上限值的最大双眼视差量和作为所述双眼视差量的下限值的最小双眼视差量。
（5）根据（1）至（4）的任何一项所述的图像处理装置，其中，所述视差信息包括标识信息，所述标识信息标识所述双眼视差量是否有效。
（6）一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
编码步骤，用于编码3D图像并产生编码流；
设置步骤，用于设置视差信息和估计观看环境信息，所述视差信息包括所述3D图像的主观看区域的双眼视差量，所述估计观看环境信息包括作为所述3D图像的观看环境被估计的最大屏幕宽度和估计眼睛间距离；以及
发送步骤，用于发送由所述编码单元产生的所述编码流以及由所述设置单元设置的所述视差信息和估计观看环境信息。
（7）一种图像处理装置，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理装置包括：
获得单元，其获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整单元，其调整所述第一视差信息的双眼视差量或所述第二视差信息的双眼视差量，使得在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量与在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新单元，其将在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整单元调整的所述双眼视差量；以及
编辑单元，其向所述第一编码流加上被所述更新单元更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新单元更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。
（8）根据（7）所述的图像处理装置，进一步包括：
设置单元，其基于在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量和在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量，将包括在所述第一编码流中设置的所述编辑点在内的预定范围和包括在所述第二编码流中设置的所述编辑点在内的预定范围设置为重新编码区间，所述重新编码区间是需要对其调整视差的区间；
其中，所述编辑单元对于所述第一编码流和所述第二编码流重新编码由所述设置单元设置的所述重新编码区间。
（9）根据（8）所述的图像处理装置，所述编辑单元进一步包括：
解码单元，其解码所述第一编码流的所述重新编码区间和所述第二编码流的所述重新编码区间；以及
编码单元，其编码作为在所述编辑点处编辑均已作为来自所述解码单元的解码结果获得的所述第一3D图像和所述第二3D图像的结果而获得的编辑的3D图像。
（10）根据（8）或（9）所述的图像处理装置，其中，所述获得单元获得第一估计观看环境信息，并且获得第二估计观看环境信息，所述第一估计观看环境信息包括已经被加到所述第一编码流的作为所述第一3D图像的观看环境被估计的最大屏幕宽度，所述第二估计观看环境信息包括已经被加到所述第二编码流的作为所述第二3D图像的观看环境被估计的最大屏幕宽度；以及
其中，所述设置单元基于从所述获得单元获得的所述第一估计观看环境信息和从所述获得单元获得的所述第二估计观看环境信息来设置所述重新编码区间。
（11）根据（8）或（9）所述的图像处理装置，其中，所述获得单元获得第一拍摄条件信息，并且获得第二拍摄条件信息，所述第一拍摄条件信息包括已经被加到所述第一编码流的、所述第一3D图像的双眼视差量的上限值，所述第二拍摄条件信息包括已经被加到所述第二编码流的、所述第二3D图像的双眼视差量的上限值；
并且其中所述设置单元基于从所述获得单元获得的所述第一拍摄条件信息和从所述获得单元获得的所述第二拍摄条件信息来设置所述重新编码区间。
（12）一种用于图像处理装置的图像处理方法，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理方法包括：
获得步骤，用于获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整步骤，用于调整所述第一视差信息的双眼视差量或者调整所述第二视差信息的双眼视差量，使得在从所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量与在从所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新步骤，用于将在由所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整步骤的处理调整的所述双眼视差量；以及
编辑步骤，用于向所述第一编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。
附图标记列表
10.  拍摄装置
11   拍摄单元
12   编码器
13   附加信息产生单元
14   流产生单元
30   编辑装置
31   CPU
34   通信单元
41   CPU
43   解码器
44   解码器
47   编辑单元
权利要求书(按照条约第19条的修改)
1.（删除）
2.（删除）
3.（删除）
4.（删除）
5.（删除）
6.（删除）
7.一种图像处理装置，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理装置包括：
获得单元，其获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整单元，其调整所述第一视差信息的双眼视差量或所述第二视差信息的双眼视差量，使得在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量与在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新单元，其将在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整单元调整的所述双眼视差量；以及
编辑单元，其向所述第一编码流加上被所述更新单元更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新单元更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。
8.根据权利要求7所述的图像处理装置，进一步包括：
设置单元，其基于在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量和在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量，将包括在所述第一编码流中设置的所述编辑点在内的预定范围和包括在所述第二编码流中设置的所述编辑点在内的预定范围设置为重新编码区间，所述重新编码区间是需要对其调整视差的区间；
其中，所述编辑单元对于所述第一编码流和所述第二编码流重新编码由所述设置单元设置的所述重新编码区间。
9.根据权利要求8所述的图像处理装置，所述编辑单元进一步包括：
解码单元，其解码所述第一编码流的所述重新编码区间和所述第二编码流的所述重新编码区间；以及
编码单元，其编码作为在所述编辑点处编辑均已作为来自所述解码单元的解码结果获得的所述第一3D图像和所述第二3D图像的结果而获得的编辑的3D图像。
10.根据权利要求8所述的图像处理装置，其中，所述获得单元获得第一估计观看环境信息，并且获得第二估计观看环境信息，所述第一估计观看环境信息包括已经被加到所述第一编码流的作为所述第一3D图像的观看环境被估计的最大屏幕宽度，所述第二估计观看环境信息包括已经被加到所述第二编码流的作为所述第二3D图像的观看环境被估计的最大屏幕宽度；以及
其中，所述设置单元基于从所述获得单元获得的所述第一估计观看环境信息和从所述获得单元获得的所述第二估计观看环境信息来设置所述重新编码区间。
11.根据权利要求8所述的图像处理装置，其中，所述获得单元获得第一拍摄条件信息，并且获得第二拍摄条件信息，所述第一拍摄条件信息包括已经被加到所述第一编码流的、所述第一3D图像的双眼视差量的上限值，所述第二拍摄条件信息包括已经被加到所述第二编码流的、所述第二3D图像的双眼视差量的上限值；
并且其中所述设置单元基于从所述获得单元获得的所述第一拍摄条件信息和从所述获得单元获得的所述第二拍摄条件信息来设置所述重新编码区间。
12.一种用于图像处理装置的图像处理方法，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理方法包括：
获得步骤，用于获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整步骤，用于调整所述第一视差信息的双眼视差量或者调整所述第二视差信息的双眼视差量，使得在从所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量与在从所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新步骤，用于将在由所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整步骤的处理调整的所述双眼视差量；以及
编辑步骤，用于向所述第一编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。

Claims (12)

1.一种图像处理装置，包括：
编码单元，其编码3D图像并产生编码流；
设置单元，其设置视差信息和估计观看环境信息，所述视差信息包括所述3D图像的主观看区域的双眼视差量，所述估计观看环境信息包括作为所述3D图像的观看环境被估计的最大屏幕宽度和估计眼睛间距离；以及
发送单元，其发送由所述编码单元产生的所述编码流以及由所述设置单元设置的所述视差信息和估计观看环境信息。
2.根据权利要求1所述的图像处理装置，其中，所述设置单元进一步设置拍摄条件信息，所述拍摄条件信息包括所述双眼视差量的上限值；
并且其中所述发送单元也发送由所述设置单元设置的所述拍摄条件信息。
3.根据权利要求2所述的图像处理装置，其中，所述视差信息包括用于表示与所述双眼视差量对应的所述3D图像中的位置的位置信息。
4.根据权利要求3所述的图像处理装置，其中，所述视差信息包括作为所述双眼视差量的上限值的最大双眼视差量和作为所述双眼视差量的下限值的最小双眼视差量。
5.根据权利要求4所述的图像处理装置，其中，所述视差信息包括标识信息，所述标识信息标识所述双眼视差量是否有效。
6.一种用于图像处理装置的图像处理方法，所述图像处理方法包括：
编码步骤，用于编码3D图像并产生编码流；
设置步骤，用于设置视差信息和估计观看环境信息，所述视差信息包括所述3D图像的主观看区域的双眼视差量，所述估计观看环境信息包括作为所述3D图像的观看环境被估计的最大屏幕宽度和估计眼睛间距离；以及
发送步骤，用于发送由所述编码单元产生的所述编码流以及由所述设置单元设置的所述视差信息和估计观看环境信息。
7.一种图像处理装置，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理装置包括：
获得单元，其获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整单元，其调整所述第一视差信息的双眼视差量或所述第二视差信息的双眼视差量，使得在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量与在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新单元，其将在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整单元调整的所述双眼视差量；以及
编辑单元，其向所述第一编码流加上被所述更新单元更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新单元更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。
8.根据权利要求7所述的图像处理装置，进一步包括：
设置单元，其基于在由所述获得单元获得的所述第一视差信息中包括的所述双眼视差量和在由所述获得单元获得的所述第二视差信息中包括的所述双眼视差量，将包括在所述第一编码流中设置的所述编辑点在内的预定范围和包括在所述第二编码流中设置的所述编辑点在内的预定范围设置为重新编码区间，所述重新编码区间是需要对其调整视差的区间；
其中，所述编辑单元对于所述第一编码流和所述第二编码流重新编码由所述设置单元设置的所述重新编码区间。
9.根据权利要求8所述的图像处理装置，所述编辑单元进一步包括：
解码单元，其解码所述第一编码流的所述重新编码区间和所述第二编码流的所述重新编码区间；以及
编码单元，其编码作为在所述编辑点处编辑均已作为来自所述解码单元的解码结果获得的所述第一3D图像和所述第二3D图像的结果而获得的编辑的3D图像。
10.根据权利要求8所述的图像处理装置，其中，所述获得单元获得第一估计观看环境信息，并且获得第二估计观看环境信息，所述第一估计观看环境信息包括已经被加到所述第一编码流的作为所述第一3D图像的观看环境被估计的最大屏幕宽度，所述第二估计观看环境信息包括已经被加到所述第二编码流的作为所述第二3D图像的观看环境被估计的最大屏幕宽度；以及
其中，所述设置单元基于从所述获得单元获得的所述第一估计观看环境信息和从所述获得单元获得的所述第二估计观看环境信息来设置所述重新编码区间。
11.根据权利要求8所述的图像处理装置，其中，所述获得单元获得第一拍摄条件信息，并且获得第二拍摄条件信息，所述第一拍摄条件信息包括已经被加到所述第一编码流的、所述第一3D图像的双眼视差量的上限值，所述第二拍摄条件信息包括已经被加到所述第二编码流的、所述第二3D图像的双眼视差量的上限值；
并且其中所述设置单元基于从所述获得单元获得的所述第一拍摄条件信息和从所述获得单元获得的所述第二拍摄条件信息来设置所述重新编码区间。
12.一种用于图像处理装置的图像处理方法，其在编辑点处编辑第一编码流和第二编码流，所述第一编码流具有第一3D编码图像，所述第二编码流具有第二编码3D图像，所述图像处理方法包括：
获得步骤，用于获得第一视差信息，并且获得第二视差信息，所述第一视差信息包括已经被加到所述第一编码流的、所述第一3D图像的主观看区域的双眼视差量，所述第二视差信息包括已经被加到所述第二编码流的、所述第二3D图像的主观看区域的双眼视差量；
调整步骤，用于调整所述第一视差信息的双眼视差量或者调整所述第二视差信息的双眼视差量，使得在从所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量与在从所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量之间的差小于或等于阈值；
更新步骤，用于将在由所述获得步骤的处理获得的所述第一视差信息中包括的所述双眼视差量或在由所述获得步骤的处理获得的所述第二视差信息中包括的所述双眼视差量更新为由所述调整步骤的处理调整的所述双眼视差量；以及
编辑步骤，用于向所述第一编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第一视差信息，或者向所述第二编码流加上被所述更新步骤的处理更新了所述双眼视差量的所述第二视差信息，并且在所述编辑点处编辑所述第一编码流和所述第二编码流。
CN2011800408138A 2010-09-03 2011-08-25 图像处理装置和图像处理方法 Pending CN103081482A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010197556A JP2012054862A (ja) 2010-09-03 2010-09-03 画像処理装置および画像処理方法
JP2010-197556 2010-09-03
PCT/JP2011/069111 WO2012029615A1 (ja) 2010-09-03 2011-08-25 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN103081482A true CN103081482A (zh) 2013-05-01

Family

ID=45772707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800408138A Pending CN103081482A (zh) 2010-09-03 2011-08-25 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (2) US8842972B2 (zh)
JP (1) JP2012054862A (zh)
CN (1) CN103081482A (zh)
WO (1) WO2012029615A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970885A (zh) * 2014-05-20 2014-08-06 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN109246411A (zh) * 2017-05-17 2019-01-18 财团法人交大思源基金会 立体图像产生方法及其装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103125120B (zh) * 2011-07-26 2015-12-09 松下电器产业株式会社 动画编辑装置、动画编辑方法、程序以及集成电路
CN104185985A (zh) * 2012-03-30 2014-12-03 富士胶片株式会社 拍摄装置、方法、存储介质以及程序
WO2013186962A1 (ja) * 2012-06-11 2013-12-19 パナソニック株式会社 映像処理装置、撮影装置、およびプログラム
KR102377634B1 (ko) * 2012-09-10 2022-03-22 에이매스, 아이엔씨. 복수의 기기를 이용한 다차원의 환경 데이터 캡쳐
US9538081B1 (en) 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
CN104853184B (zh) * 2015-05-27 2017-02-01 天津大学 一种影响立体图像舒适度的视差范围的检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
US20090244268A1 (en) * 2008-03-26 2009-10-01 Tomonori Masuda Method, apparatus, and program for processing stereoscopic videos

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4704627A (en) * 1984-12-17 1987-11-03 Nippon Hoso Kyokai Stereoscopic television picture transmission system
JPS61206395A (ja) * 1985-03-11 1986-09-12 Nippon Hoso Kyokai <Nhk> 立体テレビジョン画像信号の伝送方法
US5777666A (en) * 1995-04-17 1998-07-07 Sanyo Electric Co., Ltd. Method of converting two-dimensional images into three-dimensional images
JP3392627B2 (ja) * 1995-04-17 2003-03-31 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
JP4537597B2 (ja) 2001-02-22 2010-09-01 オリンパス株式会社 視差量測定装置
JP2004104425A (ja) 2002-09-09 2004-04-02 Nippon Hoso Kyokai <Nhk> 視差分布測定方法、視差分布測定装置および視差分布測定プログラム
US7660472B2 (en) * 2004-02-10 2010-02-09 Headplay (Barbados) Inc. System and method for managing stereoscopic viewing
JP4440067B2 (ja) * 2004-10-15 2010-03-24 キヤノン株式会社 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
JP4207072B2 (ja) * 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4763571B2 (ja) * 2006-10-24 2011-08-31 シャープ株式会社 立体画像生成装置及び立体画像復号装置
JP2008269460A (ja) * 2007-04-24 2008-11-06 Matsushita Electric Ind Co Ltd 動画シーン種別判定装置及び方法
JP4786614B2 (ja) * 2007-08-29 2011-10-05 Ｋｄｄｉ株式会社 動画編集装置
EP2357842A1 (en) 2008-12-09 2011-08-17 Sony Corporation Image processing device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
US20090244268A1 (en) * 2008-03-26 2009-10-01 Tomonori Masuda Method, apparatus, and program for processing stereoscopic videos

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970885A (zh) * 2014-05-20 2014-08-06 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN103970885B (zh) * 2014-05-20 2017-01-25 电子科技大学 基于视频内容分析的3d视频搜索引擎的实现方法
CN109246411A (zh) * 2017-05-17 2019-01-18 财团法人交大思源基金会 立体图像产生方法及其装置
CN109246411B (zh) * 2017-05-17 2020-06-09 财团法人交大思源基金会 立体图像产生方法及其装置

Also Published As

Publication number Publication date
US8842972B2 (en) 2014-09-23
WO2012029615A1 (ja) 2012-03-08
US20130148944A1 (en) 2013-06-13
US20140334537A1 (en) 2014-11-13
JP2012054862A (ja) 2012-03-15

Similar Documents

Publication Publication Date Title
CN103081482A (zh) 图像处理装置和图像处理方法
US10440398B2 (en) Probabilistic model to compress images for three-dimensional video
RU2538335C2 (ru) Объединение данных 3d изображения и графических данных
EP2724542B1 (en) Method and apparatus for generating a signal for a display
US8780173B2 (en) Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
CN102106153B (zh) 字幕的3d显示处理
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
CN104025585B (zh) 基于突出性的视差映射
CN102223550B (zh) 图像处理设备、图像处理方法
US20130076873A1 (en) Stereoscopic image converting apparatus, stereoscopic image output apparatus, and stereoscopic image converting method
CN102474638A (zh) 组合3d视频与辅助数据
RU2632426C2 (ru) Вспомогательные данные глубины
US20100329640A1 (en) Recording/Reproducing Apparatus
EP2464129A1 (en) Video reproducing device
US10453492B2 (en) Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
CN102986229A (zh) 解码2d-兼容立体视频流的方法
CN102223551B (zh) 图像处理设备和图像处理方法
MX2012011235A (es) Indicaciones de valor de disparidad.
CN103348685A (zh) 图像处理装置和图像处理方法
KR101834934B1 (ko) ３ｄ 이미지 데이터의 전송
CN102238404A (zh) 数据结构、图像处理装置和方法以及程序
CN104012087A (zh) 视差调整装置、图像处理装置和帧格式
CN103026714A (zh) 图像处理设备和方法以及程序
JP2013093638A (ja) 立体映像再生装置
CN102186090A (zh) 数据结构、记录设备和方法、回放设备和方法以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130501