CN103329549A

CN103329549A - 立体视频处理器、立体视频处理程序及其记录介质、立体成像装置和立体视频处理方法

Info

Publication number: CN103329549A
Application number: CN201180066035XA
Authority: CN
Inventors: 中村敏
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2011-01-25
Filing date: 2011-12-12
Publication date: 2013-09-25
Anticipated expiration: 2031-12-12
Also published as: US9380290B2; CN103329549B; JP5750457B2; US20130308917A1; JPWO2012101916A1; WO2012101916A1

Abstract

一种立体视频再现装置可以创建和记录立体视频文件，该立体视频文件包括在调整立体视频中的视差量以便实现双眼视像融合而与立体显示器的屏幕大小无关所需的信息来作为立体视频的附属信息。从右和左视点图像提取特征点（步骤S12），并且，计算在每一个特征点处的视差量（步骤S13）。从所计算的在每一个特征点处的视差量，至少获取在远景侧上的最大视差量（步骤S14）。从一个GOP中的最大视差量中获取最大的GOP最大视差量，并且，基于获取的该GOP最大视差量，获取当在立体显示器上显示通过右和左视点图像产生的立体图像时，能够双眼视像融合的GOP最大显示大小（步骤S16）。与立体视频一起，获取的GOP最大显示大小和GOP最大视差量被记录为3D视频文件中的附属信息（步骤S17）。

Description

立体视频处理器、立体视频处理程序及其记录介质、立体成像装置和立体视频处理方法

技术领域

本发明涉及立体视频处理器、立体视频处理程序及其记录介质、立体成像装置和立体视频处理方法。具体地说，本发明涉及记录立体视频的技术，其中，在一个立体视频文件中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像。

背景技术

立体成像装置使用布置有视差的两个右和左成像单元来拍摄在右和左视点上的物体的图像，分别获取左眼的视点图像和右眼的视点图像，并且在记录介质中记录它们。当从记录介质读取这些获取的右和左视点图像，将其输入到可以执行三维（3D）显示的3D显示器，并且进行显示，使得可以分别通过右眼和左眼来可视地查看左眼的视点图像和右眼的视点图像，可以将结果识别为立体视频。

顺便提及，在所记录的右和左视点图像之间的视差量根据成像场景的改变、物体的移动、变焦放大率的改变等而变化，并且同时，3D显示器具有各种屏幕大小。因此，在要执行立体视频的再现显示的情况下，存在下述情况：立体视频的视差量不适合于3D显示器的大小。在该情况下，产生了下述问题：从屏幕的上弹量和下弹量过大，并且不可能将立体视频识别为自然的立体视频。

PTL1公开了下述技术：除了获取可以被立体观看的图像信息之外，还获取与适合于立体图像的再现的屏幕大小相关的适当屏幕大小信息、3D显示器的显示屏幕大小信息、用于观察者在再现时观看显示屏幕的与距显示屏幕的适当距离相关的适当可视距离信息和与从观察者至3D显示器的显示屏幕的距离相关的可视距离信息；基于这些信息项来设置在左眼图像和右眼图像之间的移位量（偏移）；并且，调整所显示的图像的立体感觉。

{引用列表}

{专利文献}

{PTL1}日本专利申请特开No.2004-180069

发明内容

{技术问题}

不清楚在PTL1中公开的立体图像是静止图像还是视频。在立体视频的情况下，右和左视点图像的视差量根据成像场景的改变、物体的移动和变焦放大率的改变等而变化。即使为了讨论的方便通过在PTL1中公开的技术来调整立体视频的视差量使得立体视频具有自然的上弹量，也考虑以立体视频的帧为单位来调整视差量。然而，在该情况下，存在下述问题：丢失了立体感觉发生变化的作为立体视频的特征，并且提供了不自然的立体视频。

顺便提及，在3D显示器的显示屏幕上，在右眼图像相对于左眼图像在右方向上具有视差的情况下，将立体图像作为具有比显示屏幕大的深度的图像来可视地查看，但是，当3D显示器的屏幕大小增大时，该视差也增大。当视差超过人的双眼间隔时，双眼视像融合是不可能的（即，双眼视觉是不可能的）。

虽然PTL1公开了获取一种立体图像，其中将最佳立体程度（即，深度量）与3D显示器的显示屏幕大小成比例地进行调整，但是它未公开调整在左眼图像和右眼图像之间的移位量使得上述的双眼视像融合不是不可能的。而且，因为它也不包含与立体图像的远景侧（或深度侧）的最大视差量相关的说明，所以在PTL1中公开的立体图像显示装置不能调整在左眼图像和右眼图像之间的移位量，使得该视差不超过人的双眼间隔，而与3D显示器的屏幕大小无关。

鉴于上面的情况而作出本发明，并且目的是提供立体视频处理器、立体视频处理程序、立体成像装置和立体视频处理方法，其中：立体视频再现装置可以创建和记录立体视频文件，该立体视频文件具有预先的作为立体视频的附属信息的、在调整立体视频的视差量时使得双眼视像融合是可能的而与立体显示器的屏幕大小无关所需的信息；并且，特别地，可以创建和记录具有附属信息的立体视频文件，该附属信息使得即使执行了立体视频的视差调整，也实现自然的立体视频。

{对于问题的解决方案}

为了获得上述目的，根据本发明第一方面的立体视频处理器包括：立体视频获取单元，所述立体视频获取单元获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；视差量计算单元，所述视差量计算单元从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；最大视差量获取单元，所述最大视差量获取单元从每一个帧的每个特征点的所计算的视差量获取在远景侧上的最大视差量；区间内最大视差量获取单元，所述区间内最大视差量获取单元在所获取的在远景侧上的最大视差量中，获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；区间内最大显示大小获取单元，所述区间内最大显示大小获取单元基于所述立体视频的每一个预定区间的获取的所述区间内最大视差量来获取区间内最大显示大小，在所述区间内最大显示大小中，当以每一个预定区间在立体显示器上显示所述立体视频时，双眼视像融合是可能的；以及，记录单元，所述记录单元产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息。

根据第一方面，可以执行：从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；从每一个特征点的所计算的视差量获取在远景侧上的最大视差量；在每一个帧的最大视差量中获取区间内最大视差量，该区间内最大视差量在所述立体视频的每个预定区间中为最大；基于这个区间内最大视差量来获取区间内最大显示大小，在该区间内最大显示大小中，当以所述区间在所述立体显示器上显示所述立体视频时，双眼视像融合是可能；并且，因为这个区间内最大显示大小在所述立体视频文件中被记录为附属信息，所以通过在所述立体视频再现装置中读取所述立体视频文件时，将要被显示的所述立体显示器的所述显示大小与在所述附属信息中记录的所述立体视频文件的每个预定区间的区间内最大显示大小进行比较，容易对于每一个预定区间判定双眼视像融合是否是可能的。而且，在判定所述双眼视像融合是不可能的情况下，可以使用所述区间内最大显示大小来校正在所述对应的区间中的所述立体视频的所述视差，并且可以减小在所述立体视频再现装置中的视差校正处理。而且，因为对于所述立体视频的每一个预定区间记录所述区间内最大显示大小，所以在视差校正的情况下，执行每一个区间的所述视差校正是可能的，并且即使校正了所述立体视频的视差，也可以提供自然的立体视频。

根据本发明的第二方面，在所述第一方面的所述立体视频处理器中，所述记录单元进一步记录由所述区间内最大视差量获取单元在所述立体视频的每一个预定区间中获取的所述区间内最大视差量来作为所述立体视频文件的所述附属信息。

根据本发明的第三方面的所述立体视频处理器包括：立体视频获取单元，所述立体视频获取单元获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；视差量计算单元，所述视差量计算单元从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；最大视差量获取单元，所述最大视差量获取单元从每一个帧的每个特征点的所计算的视差量获取在远景侧上的最大视差量；区间内最大视差量获取单元，所述区间内最大视差量获取单元在所获取的在远景侧上的最大视差量中，获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；以及，记录单元，所述记录单元产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大视差量记录为附属信息。

所述区间内最大视差量可以被用作判定是否可以通过所述立体视频再现装置来立体地观看在所述对应的区间中的所述立体视频以及所述区间内最大显示大小的信息，并且可以被用作校正在所述对应的区间中的所述立体视频的所述视差的信息。

根据本发明的第四方面，在所述第三方面的所述立体视频处理器中，进一步包括区间内最大显示大小获取单元，所述区间内最大显示大小获取单元基于从所述立体视频的每个预定区间获取的所述区间内最大视差量来获取每一个预定区间的区间内最大显示大小，在该区间内最大显示大小中，当在立体显示器上显示所述立体视频时，双眼视像融合是可能的，其中，所述记录单元在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为所述附属信息。

根据本发明的第五方面，在所述第一至第四方面之一的所述立体视频处理器中，所述记录单元将适合于观看所述立体视频的、与在观众和立体显示器之间的距离对应的假定可视距离记录为所述立体视频文件的所述附属信息。

根据本发明的第六方面，在所述第一至第五方面之一的所述立体视频处理器中，所述最大视差量获取单元获取每一个特征点的所计算的视差量中的在近景侧上的最大视差量；并且所述区间内最大视差量获取单元在所述获取的在所述近景侧上的最大视差量中，获取每一个预定区间的区间内最大视差量，该区间内最大视差量在所述预定区间中为最大。

通过这种手段，确定最大显示大小，在该最大显示大小中，甚至在所述近景侧上，双眼视觉也适当地是可能的。

根据本发明的第七方面，在所述第一、第二或第四方面的立体视频处理器中，进一步包括代表性图像设置单元，所述代表性图像设置单元将由所述立体视频获取单元获取的在N（N是等于或大于3的整数）个视点处的视点图像之一设置为代表性图像，其中：所述最大视差量获取单元获取与不同组合的两个视点图像相关联的N-1项的在所述远景侧上的最大视差量，所述不同组合的两个视点图像是使用所述代表性图像和在所述N个视点处的所述视点图像中的所述代表性图像之外的在N-1个视点处的视点图像的每一个形成的；所述区间内最大显示大小获取单元基于所获取的N-1项的在所述远景侧上的最大视差量，对于每一个预定区间获取N-1项的区间内最大显示大小，该的N-1项中的每一项在所述预定区间中为最大；并且，所述记录单元将所获取的N-1项的区间内最大显示大小在所述立体视频文件中记录为所述附属信息。

通过这种手段，在所述立体视频再现装置中，在预定区间中再现所述立体视频时，可以参考N-1项的区间内最大显示大小，并且通过与要显示的显示大小作比较，可以容易地选择适合于双眼视觉的立体视频。

根据本发明的第八方面，在所述第一至第七方面之一的所述立体视频处理器中，进一步包括虚拟视点图像产生单元，所述虚拟视点图像产生单元基于由所述立体视频获取单元获取的多个视点图像的至少一个视点图像和由所述视差量计算单元计算的所述视差量来产生与任意虚拟视点对应的一个或多个虚拟视点图像。

通过这种手段，在已经读取了所述立体视频文件的所述立体视频再现装置中，在记录虚拟视点图像的情况下，可以使用所述虚拟视点图像来执行显示，而不执行视差调整。

根据本发明的第九方面，在所述第一、第二或第四方面的所述立体视频处理器中，包括代表性图像设置单元，所述代表性图像设置单元将包括所述多个视点图像和虚拟视点图像的在N（N是等于或大于3的整数）个视点处的视点图像之一设置为代表性图像，其中：所述区间内最大视差量获取单元获取与不同组合的两个视点图像相关联的N-1项的在所述远景侧上的最大视差量，所述不同组合的两个视点图像是使用所述代表性图像和在所述N个视点处的所述视点图像中的所述代表性图像之外的在N-1个视点处的视点图像的每一个形成的；所述区间内最大显示大小获取单元基于所获取的N-1项的在所述远景侧上的最大视差量，对于每一个预定区间获取N-1项的区间内最大显示大小，N-1项的区间内最大显示大小中的每一个项所述预定区间中为最大；并且，所述记录单元将所获取的N-1项的区间内最大显示大小在所述立体视频文件中记录为所述附属信息。

通过这种手段，在所述立体视频再现装置中，在预定区间中再现所述立体视频时，可以参考N-1项的区间内最大视差量，并且容易选择适合于双眼视觉的立体视频。

根据本发明的第十方面，在所述第一至第九方面之一的所述立体视频处理器中，所述立体视频文件是MPEG文件，在所述MPEG文件中，以使用多个帧形成的每一个GOP依序记录多个视点图像；并且，所述立体视频的所述预定区间是与等于1或2或大于2的预定数量的GOP对应的区间。

根据本发明的第十一方面，在所述第一至第十方面之一的所述立体视频处理器中，包括场景改变检测单元，所述场景改变检测单元检测所获取的立体视频的场景改变，其中，所述立体视频的预定区间是通过由所述场景改变检测单元检测的所述场景改变区别的每一个场景的区间。

根据本发明的第十二方面，在所述第一至第十一方面之一的所述立体视频处理器中，所述记录单元在每一个区间前预定数量的区间的区间的头部或所述立体视频文件的头部中记录每一个区间获取的所述区间内最大显示大小和所述区间内最大视差量中的至少一个。

通过这种手段，在已经读取了所述立体视频文件的所述立体视频再现装置中，可以预先检测是否应当调整在所述预定区间中的所述立体视频的视差，并且预先计算要调整的视差量。

根据本发明的第十三方面，在所述第七或第九方面的所述立体视频处理器中，所述记录单元以视点布置的顺序或以从较接近中心视点的所述视点图像起的顺序来记录在所述N个视点处的所述视点图像。

根据本发明的第十四方面，在所述第八和第九方面的所述立体视频处理器中，在所述立体视频文件中记录所述多个视点图像和虚拟视点图像时，所述记录单元将指示每一个图像是在实际视点处的图像还是在虚拟视点处的图像的视点信息记录为所述立体视频文件的附属信息。

通过这种手段，在已经读取了所述立体视频文件的所述立体视频再现装置中，可以在实际视点处的视频和在虚拟视点处的视频之间进行区别。

根据本发明的第十五方面，在所述第一、第二、第四、第七或第九方面的所述立体视频处理器中，所述区间内最大显示大小获取单元获取其中与由所述区间内最大视差量获取单元获取的在所述远景侧上的所述区间内最大视差量对应的、在立体显示器上的图像移位量不超过人的双眼间隔的显示大小中的最大显示大小，来作为其中双眼视像融合是可能的区间内最大显示大小。通过这种手段，可以适当地获取区间内最大显示大小。

根据本发明的第十六方面，在所述第十五方面的所述立体视频处理器中，基于由所述区间内最大视差量获取单元获取的在所述远景侧上的所述区间内最大视差量，所述区间内最大显示大小获取单元从其中预先记录与最大视差量对应的最大显示大小的存储单元中读取对应的最大显示大小，或者使用包括指示所述人的双眼间隔的预定值的等式来计算所述区间内最大显示大小。

根据本发明的第十七方面的一种立体视频处理程序使计算机实现根据第一至第十六方面之一的所述立体视频处理器。

根据本发明的第十八方面，一种可编程记录介质以物理方式存储机器可读指令的立体视频处理程序，以使计算机实现根据第一至第十六方面之一的所述立体视频处理器。

根据本发明的第十九方面的一种立体成像装置包括：成像单元，所述成像单元用作所述立体视频获取单元；以及，根据所述第一至第十六方面之一的立体视频处理器。

根据本发明的第二十方面的一种立体视频处理方法包括步骤：获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；在所获取的在远景侧上的最大视差量中，获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；基于所述立体视频的每一个预定区间的获取的所述区间内最大视差量来获取区间内最大显示大小，在该区间内最大显示大小中，当以每个预定区间在立体显示器上显示所述立体视频时，双眼视像融合是可能的；并且，产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息。

根据本发明的第二十一方面的一种立体视频处理方法包括步骤：获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；在所获取的在远景侧上的最大视差量中，获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间为最大；产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大视差量记录为附属信息。

{本发明的有益效果}

根据本发明，因为对于所述立体视频的每一个预定区间获取在对应的区间中最大的区间内最大显示大小或区间内最大视差量并且在所述立体视频文件中记录为附属信息，所以已经读取所述立体视频文件的立体视频再现装置可以基于在附属信息中记录的所述立体视频文件的每个预定区间的区间内最大显示大小或区间内最大视差量来容易地判定是否可以每一个预定区间立体地观看在所述立体显示器上显示的所述立体视频。而且，在判定双眼视觉是不可能的情况下，可以使用区间内最大显示大小或区间内最大视差量来校正在所述对应的区间中的所述立体视频的视差，并且可以减少在所述立体视频再现装置中的视差校正处理。而且，因为对于所述立体视频的每一个预定区间记录所述区间内最大显示大小，所以在视差校正的情况下，可以对于每一个区间执行视差校正，并且即使校正了立体视频的视差，也可以提供自然的立体视频。

附图说明

图1是图示其中将至少两个视点处的视点图像成像的状态的图。

图2是图示通常示出3D视频文件的数据结构的第一示例的图。

图3是图示成像/记录处理的流程图。

图4是图示在两个视点处的视点图像的示例的图。

图5是图示通常示出3D视频文件的数据结构的第二示例的图。

图6是图示通常示出3D视频文件的数据结构的第三示例的图。

图7是图示通常示出3D视频文件的数据结构的第四示例的图。

图8是图示其中将在四个视点处的视点图像成像的状态的图。

图9是通常示出其中记录了在四个视点处的视点图像的3D视频文件的数据结构的图。

图10是用于解释虚拟视点的图。

图11A是图示立体成像装置的外观的图。

图11B是图示立体成像装置的外观的图。

图12是图示立体成像装置的内部结构的框图。

图13是图示3D视频再现的第一实施例的流程图。

图14是用于解释视差移位的原理的图。

图15是图示右和左视点图像的视差移位的图。

图16是图示3D视频再现的第二实施例的流程图。

图17是图示3D视频再现的第三实施例的流程图。

图18是图示视差校正表格的示例的图。

图19是图示3D视频再现的第四实施例的流程图。

图20是图示3D视频再现的第五实施例的流程图。

图21是图示3D视频再现的第六实施例的流程图。

图22是图示3D视频再现的第七实施例的流程图。

图23是图示立体视频再现装置和3D显示器的整体结构的图。

图24是图示立体视频再现装置的内部结构的框图。

具体实施方式

下面，将根据附图详细解释本发明的优选实施例。

{3D视频文件的第一实施例}

解释根据第一实施例的立体视频文件（3D视频文件）。

图1是图示下述状态的图：在该状态中，通过两个成像装置101-2和101-3从相对于物体100的不同视点成像在两个视点（即，左视点和右视点）处的视点图像（或视频），并且，图2是通常示出记录利用在图1中所示的成像装置101-2和101-3中成像的左视点和右视点视频所形成的3D视频的3D视频文件的数据结构的图。

在图2中所示的3D视频文件是符合MPEG（活动图片专家组）格式的MPEG文件，并且，在左视点处的视点图像和在右视点处的视点图像以一个GOP（图片组：在MPEG压缩中，在压缩时和在再现/编辑时作为一个单元的、视频信号的几个帧的组合）为单位来交替地耦合并且形成为一个文件。

在记录每一个GOP的视点图像的区域的头部中设置头部区域，并且该头部区域记录附属信息，诸如图像大小、宽高比和帧速率。而且，在本实施例中，作为附属信息，进一步记录下面的附属信息的全部或一部分。

·GOP最大显示大小（宽度、高度，单位：mm）

·假定的可视距离（在观察立体视频时的观众和3D显示器之间的距离）（单位：mm）

·GOP最大视差量（近景）：相对于图像宽度的视差量（%）

·GOP最大视差量（远景）：相对于图像宽度的视差量（%）

·拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（视点编号）。

使用在图3中的流程图来解释记录这样的3D视频文件的成像/记录处理。

首先，获取与左视点和右视点对应的、在一个GOP中的多个帧中的一个帧的右和左视点图像（步骤S11）。在此，通过如图1中所示的两个成像装置101-2和101-3，获取经过相对于物体100进行3D视频成像的3D视频的一个帧的右和左视点图像。在此，假定成像装置101-2具有视点编号2，并且成像装置101-3具有视点编号3。

接下来，从右和左视点图像提取多个特征点（步骤S12），并且计算在每一个特征点中的视差量（步骤S13）。在此，视差量表示在视点图像之间、在对应的特征点中的相应的视点图像的左端的距离之间的差，并且单位是像素。根据以这种方式计算的在每一个特征点中的视差量，获取关于在近景侧上的最大视差量和在远景侧上的最大视差量（步骤S14）。

图4是图示右和左视点图像的示例的图，图4的（a）部分图示了左视点图像201-2，并且图4的（b）部分图示了右视点图像201-3。

在图4的示例中，在近景侧上的最大视差量是213N，并且具有该视差量的特征点（即，最大视差量位置（近景））分别是211N和212N。而且，在远景侧上的最大视差量是213F，并且具有该视差量的特征点（即，最大视差量位置（远景））分别是211F和212F。即，在立体地观看基于这些右和左视点图像的立体图像的情况下，立体图像被观看，使得最大视差量位置（近景）最近，并且最大视差量位置（远景）最远。

在近景侧上的最大视差量213N和在远景侧上的最大视差量213F与图像宽度的比率（%）是最大视差量（近景）（%）和最大视差量（远景）（%）。

随后，判定是否在一个GOP的所有帧中完成获取最大视差量（步骤S15），并且，在未完成它的情况下（即，“在否的情况下”），返回到步骤S11以执行在步骤S11至S14中的处理，并且在完成它的情况下（即，“在是的情况下”），进行到步骤S16。

在步骤S16中，在一个GOP的所有帧中的最大视差量中的最大的最大视差量被获取为GOP最大视差量。而且，基于该GOP最大视差量，获取GOP最大显示大小。

当在远景侧上的视差量超过人的双眼间隔时，双眼视像融合在图像的位置中是不可能的，并且不能立体地观看它。因此，根据GOP最大视差量（远景）与图像宽度的比率（％），在其中视差不超过人的双眼间隔的显示大小内获取最大显示大小（即，GOP最大显示大小）。

例如，假定人的双眼间隔是50mm，并且如果GOP最大视差量（远景）与图像宽度的比率是10%，则对于双眼视觉允许的最大显示宽度是500mm。即，在具有500mm或更小的宽度的显示器的情况下，显示与GOP最大视差量（远景）对应的右和左图像，而不超过50mm的双眼间隔，并且结果，观众可以执行双眼视觉。

在此，在采用具有16:9的宽高比的显示器的情况下，最大显示高度是281.25mm。

在此，可以根据目标观众来任意地确定人的双眼间隔。例如，当仅以成人为目标时，可以设置诸如65mm的宽度值。

例如，假定人的双眼间隔是65mm，并且如果GOP最大视差量（远景）与图像宽度的比率是15%，则对于双眼视觉允许的GOP最大显示大小是大约433mm。而且，在采用具有16:9的宽高比的3D显示器的情况下，GOP最大显示大小的高度是大约244mm。

而且，取代从人的双眼间隔执行计算，预先准备记录与最大视差量对应的最大显示大小的表格，并且通过参考该表格，可以获取GOP最大显示大小。

接下来，一个GOP的左视点图像和右视点图像分别进行MPEG压缩，如图2中所示交替地耦合并且被记录为3D视频文件，并且在其中记录在每一个GOP中的视点图像的区域的第一头部区域中，例如，将在步骤S16中获取的GOP最大显示大小、GOP最大视差量（远景）（%）和GOP最大视差量（近景）（%）记录为附属信息（步骤S17）。随后，通过对于3D视频的所有GOP执行上面的处理，可以记录在图2中所示的3D视频文件。

当在3D显示器上显示如上记录的3D视频文件时，由立体视频再现装置读取该记录的3D视频文件。在该情况下，在立体视频再现装置中，通过将在3D视频文件的附属信息中记录的GOP最大显示大小和要在其上显示该3D视频文件的3D显示器的显示大小作比较，可以容易地判定双眼视觉是否是可能的。在判定双眼视觉可能的情况下，可以原样显示所记录的3D视频，并且在判定双眼视觉不可能的情况下，可能使用GOP最大显示大小和GOP最大视差量来校正在对应的GOP中的右和左视点图像的视差，并且，可以减少在立体视频再现装置中的视差校正处理。

在此，在本实施例中，虽然仅基于在远景侧上的GOP最大视差量来确定GOP最大显示大小，但是可以考虑在近景侧上的GOP最大视差量而确定它。通过考虑在近景侧上的GOP最大视差量，可以确定GOP最大显示大小，该GOP最大显示大小实现不仅在远景侧上而且在近景侧上的适当的双眼视觉。

例如，其中近景视差量等于或小于50mm的显示大小可以被设置为GOP最大显示大小。这是因为当在近景侧上的视差量增大时，观众对于双眼视觉感到疲劳，并且因此，它优选地等于或小于预定量。

而且，在本实施例中，虽然GOP最大视差量和GOP最大显示大小在其中他们被获取的GOP的第一头部区域中被记录为附属信息，但是不限于此。如图5中所示，它们可以被记录于在两个GOP之前（即，在一个GOP分钟之前的时间）的GOP的第一头部区域中，而且，如图6中所示，在3D视频文件的第一头部区域中一起记录从所有的GOP获取的GOP最大视差量和GOP最大显示大小。根据这一点，读取3D视频文件的立体视频再现装置可以预先检测是否调整在一个GOP中的立体视频的视差，并且可以预先计算要调整的视差量。

而且，在本实施例中，虽然获取在一个GOP中最大的GOP最大视差量和GOP最大显示大小，但是不限于此，并且在预先设置的预定数量的GOP（区间）的每一个中的区间内最大视差量和区间内最大显示大小可以被获取以及在该区间中相对于3D视频被记录为附属信息。

{3D视频文件的第二实施例}

在第二实施例中，在3D视频场景如图7中所示改变的情况下，下面的附属信息的全部或一部分被记录为场景的头部的附属信息。

·指示场景头部的标记

·场景最大显示大小（宽度、高度，单位：mm）

·场景最大视差量（近景）：相对于图像宽度的视差量（%）

·场景最大视差量（远景）：相对于图像宽度的视差量（%）

·拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（视点编号）

而且，指示放大/缩小的标记和指示模糊校正的开/关/复位的标记可以被记录为附属信息

场景可以由从获取的3D视频检测场景改变的场景改变检测单元来改变。例如，该检测在下述情况下是可能的：指示记录时间的时间戳的时间在先前和随后的3D视频帧中彼此分离；检查先前和随后的3D视频帧的相关性，并且不存在相关性；GOP最大视差量在相邻的GOP中的改变高于预定阈值；以及，模糊校正状态改变（开→关，关→开，复位）。在此，场景改变检测方法不限于上面的示例，并且各种方法是可能的。

场景头部标记表示指示如图7中所示的在耦合3D视频的每一个场景的3D视频文件中的每一个场景的头部的标记，场景最大视差量是在场景中的3D视频中最大的视差量，并且，场景最大显示大小是在其中在立体显示器上显示场景时双眼视像融合是可能的的显示大小内的并且基于在场景中的场景最大视差量而获取的最大显示大小。

而且，如图7中所示，在其中耦合3D视频的每一个场景的3D视频文件中，对于每一个场景，在场景的头部处记录附属信息，诸如场景头部标记、在场景中的场景最大视差量和场景最大显示大小。在此，除了上面的信息之外，在场景头部处的附属信息中记录场景的场景长度信息。可以通过形成场景的GOP的数量来表达场景长度信息。

{3D视频文件的第三实施例}

在第一实施例中，已经使用从两个视点获取的右和左视点图像来解释示例，根据本发明的3D视频的视点的数量不限于两个视点，并且在等于或大于三个视点的多个视点处的视点图像是可能的。

图8是图示下述状态的图：四个成像装置101-1至101-4在相对于物体100的不同视点处拍摄四个视点图像。在此，假定成像装置101-1至101-4的视点编号依序是1至4。

图9是典型地示出记录通过这四个成像装置101-1至101-4拍摄的在四个视点处的视点图像的3D视频文件的数据结构的图。类似于在图2中所示的文件，该3D视频文件是MPEG文件，并且关于以一个GOP为单位的在四个视点处的视点图像，与视点编号1至4对应的视点图像（1）至（4）被依序和重复地耦合并形成为一个文件。

而且，在其中记录每一个GOP的每一个视点图像的记录区域的第一头部区域中，类似于第一实施例，记录附属信息，诸如GOP最大显示大小、GOP最大视差量、假定的可视距离与拍摄每一个视点图像的装置的会聚角、基线长度和成像单元布置（即，视点编号）。

而且，关于在视点图像（1）至（4）的每一个的头部中记录的GOP最大显示大小和GOP最大视差量等，记录在视点图像和其他视点图像之间计算的值。更具体地，关于相对于视点图像（1）的GOP最大显示大小和GOP最大视差量，基于例如如图8中所示的在左端参考视点处拍摄的视点图像（1），记录从具有最大视差量的视点图像（在该情况下为视点图像（4））计算的GOP最大视差量和从这个最大视差量获取的GOP最大显示大小与假定的可视距离。甚至关于会聚角和基线长度，记录拍摄相同的视点图像（在该情况下为视点图像（4））的装置的会聚角和基线长度。

作为例如视点图像（2）的附属信息，记录从这个视点图像（2）和在参考视点处拍摄的视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

作为例如视点图像（3）的附属信息，记录从这个视点图像（3）和在参考视点处拍摄的视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

作为例如视点图像（4）的附属信息，记录从这个视点图像（4）在参考视点处拍摄的和视点图像（1）计算的GOP最大显示大小、GOP最大视差量、假定的可视距离、会聚角、基线长度和视点编号。

因此，当在3D显示器上显示记录在等于或大于三个视点的多个视点处的视点图像的3D视频文件，由立体视频再现装置读取该3D视频文件。在该情况下，在立体视频再现装置中，通过将在3D视频文件的附属信息中记录的每一个视点图像的GOP最大显示大小与要在其上显示该3D视频文件的3D显示器的显示大小作比较，可能容易地判定双眼视觉是否是可能的。

多个视点图像的记录顺序不限于在图9中所示的顺序，并且，当在3D显示器上显示时的推荐图像（例如，两个视点图像）可以被较早地记录。例如，在推荐通过在中心的两个视点处的视点图像（2）和（3）的立体显示的情况下，可以较早地记录视点图像（2）和（3），并且随后记录视点图像（1）和（4），并且同时，在推荐通过在两端的两个视点处的视点图像（1）和（4）的立体显示的情况下，可以较早地记录视点图像（1）和（4），并且可以随后记录视点图像（2）和（3）。

{3D视频文件的第四实施例}

在第三实施例中的多个视点图像的全部不需要是实际拍摄的图像，并且可以包括与虚拟视点对应的虚拟视点图像。

例如，如图10中所示，通过两个成像装置101-1和101-4来拍摄在相对于物体100的不同视点（即，视点编号1和视点编号4）处的两个视点图像。

而且，可以在与视点编号1和4不同的视点并且不是实际上存在的虚拟视点处产生视点编号2和3的视点图像2和3。为了产生虚拟视点图像，存在内部划分多个拍摄的图像的每一个像素的方法和使用从多个拍摄的图像产生的视差图和一个拍摄的图像来产生它的方法，但是不特定限制。

在记录包括在虚拟视点处的视点图像的、在多个视点处的视点图像的3D视频文件中，作为在多个视点处的视点图像中的第一视点图像（1）的附属信息，一起记录指示在每一个视点处的视点图像是在实际视点处的视点图像还是在虚拟视点处的视点图像的信息（参见图9）。在此，不限于其中不将实际视点和虚拟视点的信息一起记录为第一视点图像（1）的附属信息的情况，并且作为视点图像（1）至（4）的每个的附属信息，可以独立地记录指示其是在实际视点处的视点图像还是在虚拟视点处的视点图像的信息。在将3D视频显示为2D视频的情况下，可以使用指示是在实际视点处的视点图像还是在虚拟视点处的视点图像的该信息。

{立体成像装置的外观}

图11A和图11B是图示根据本发明的立体成像装置的外观的图，图11A是从立体成像装置的前表面侧看到的透视图，并且图11B是后视图。

该立体成像装置（即，复眼相机）10是数字相机，它可以记录和再现2D/3D静止图像和2D/3D视频，并且如图11A和图11B中所示，在具有长方形平行六面体形状的薄相机主体的上表面上设置了快门按钮11和变焦按钮12。

具有与在相机主体的水平方向上的宽度大体相同的宽度的镜头挡板13被设置在相机主体的前表面中，以便在相机主体的垂直方向上自由地移动，并且通过在由交替的长和两点线指示的位置和由实线指示的位置之间在垂直方向上移动该镜头挡板13，可以同时打开和关闭一对右和左成像光学***14-1和14-2的前表面。在此，作为成像光学***14-1和14-2，使用折叠光学器件的变焦镜头。而且，与通过镜头挡板13进行的镜头的前表面的打开和关闭操作合作地，可以接通或断开相机电源。

如图11(b)中所示，在相机主体的背面的中心部分中设置用于3D的液晶监视器16。液晶监视器16可以通过视差光栅分别将多个视差图像（即，右视点图像和左视点图像）显示为具有预定方向的定向图像。而且，作为用于3D的液晶监视器16，可以应用：使用柱状镜头的一个；或者，下述的一个，其中，通过佩戴诸如偏振眼镜和液晶快门眼镜的专用眼镜而独立地观看右视点图像和左视点图像是可能的。

在上面的液晶监视器16的右面和左面设置了各种操作开关。操作开关18A是切换开关，用于在静止图像成像和视频成像之间切换，操作开关18B是视差调整开关，用于调整在右视点图像和左视点图像之间的视差量，并且，操作开关18C是切换开关，用于在2D成像和3D成像之间切换。而且，操作开关18D是组合菜单/OK按钮和再现按钮的跷跷板键，操作开关18E是多功能箭头键，并且操作开关18F是显示/返回（DISP/BACK）键。

菜单/OK（MENU/OK）按钮是组合如下功能的操作开关：作为菜单按钮给出在液晶监视器16的屏幕上显示菜单的指令的功能；以及，作为OK按钮给出确认和执行选择内容的指令的功能。再现按钮是从成像模式切换到再现模式的按钮。箭头键是操作开关，用于输入用于上、下、右和左四个方向的指令，宏按钮、闪光灯按钮和自动定时器按钮等被分配到该四个方向。在此，在选择菜单的情况下，它作为用于从菜单屏幕选择项目或给出从每一个菜单选择各种设置项目的指令的开关（即，光标移动操作单元）。而且，箭头键的左/右键作为用于在再现模式中的帧供给（前向/反向供给）的按钮。在切换液晶监视器16的显示格式、取消在菜单屏幕上的指令内容或返回到前一个操作状态时使用显示/返回键。

而且，在图11A中，附图标号“15”是立体声麦克风。

{立体成像装置的内部结构}

图12是指示上面的立体成像装置10的内部结构的框图。

如图12中所示，该立体成像装置10主要由下述部分形成：多个成像单元20-1和20-2；中央处理单元（CPU）32；操作单元34，其包括上面的快门按钮11、变焦按钮12和各种操作开关；显示控制单元36；液晶监视器16；记录控制单元38；压缩/解压缩处理单元42；数字信号处理单元44；AE（自动曝光）检测单元46；AF（自动聚焦）检测单元48；AWB（自动白平衡）检测单元50；VRAM52；RAM54；ROM56；以及，EEPROM58。在此，虽然成像单元20-1和20-2拍摄在其间具有视差的左眼图像和右眼图像的两个视差图像，但是可以有三个或更多的成像单元20。

拍摄左眼图像的成像单元20-1包括：棱镜（未示出）；使用聚焦镜头和变焦镜头21形成的成像光学***14-1（图14）；使用光圈22和机械快门23形成的光学单元；固态成像元件（CCD）24；模拟信号处理单元25；模数转换器26；图像输入控制器27；镜头驱动单元28，其驱动上面的光学单元；光圈驱动单元29；快门控制单元30；以及，用于控制CCD24的CCD控制单元31。而且，拍摄右眼图像的成像单元20-2具有与拍摄上面的左眼图像的成像单元20-1相同的结构。省略具体结构的说明。

CPU32基于来自操作单元34的输入根据预定控制程序来执行整体相机操作的整合控制。而且，CPU32通过特征点提取来计算视差量，获取最大视差量，计算GOP最大显示大小，计算场景最大显示大小，计算GOP最大视差量，计算场景最大视差量，检测场景改变和执行视差移位并且产生虚拟视点图像，等等。

而且，ROM56存储由CPU32执行的控制程序、控制所需的各种数据、3D视频处理程序和3D视频再现程序等。EEPROM58存储用于指示在运输产品之前在调整时的调整结果的各种信息，诸如CCD24的像素缺陷信息、用于图像处理等的校正参数和在最大视差量和最大显示大小之间的对应表格。

而且，VRAM52是暂时存储在液晶监视器16上显示的显示图像数据的存储器，并且RAM54包含CPU32的计算工作区域和图像数据的暂时存储区域。

在成像光学***中包括的聚焦镜头和变焦镜头21被镜头驱动单元28驱动，并且沿着光轴前后移动。通过控制镜头驱动单元28的驱动器，CPU32控制聚焦镜头的位置，并且执行聚焦调整使得聚焦在物体上，并且通过根据来自在操作单元34中的变焦按钮12的变焦指令而控制变焦镜头的变焦位置来改变变焦放大率。

例如，光圈22是利用可变光圈形成的，并且通过光圈驱动单元29来驱动和操作。CPU32通过光圈驱动单元29来控制光圈22的光圈量（即，光圈值），并且控制向CCD24的入射光量。

机械快门23通过打开和关闭光学路径来决定在CCD24中的曝光时间，并且防止引起漏光使得在从CCD24读取视频信号时不必要的光不入射在CCD24上。CPU32向快门控制单元30输出与对应于快门速度的曝光结束定时同步的快门关闭信号，并且控制机械快门23。

使用二维彩色CCD固态成像元件来形成CCD24。在CCD24的光接收侧上，以二维方式排列了许多光电二极管，并且在每一个光电二极管中，在预定阵列中布置滤色器。

通过具有上面的结构的光学单元在CCD光接收侧上形成的物体光学图像被这个光电二极管转换为对应于入射光量的信号电荷。基于根据CPU32的指令从CCD控制单元31给出的驱动脉冲，在每一个光电二极管中累积的信号电荷被从CCD24依序读取为与该信号电荷对应的电压信号（或图像信号）。CCD24包括电子快门功能，并且通过控制光电二极管的电荷累积时间来控制曝光时间（或快门速度）。在此，通过电子快门来控制与快门速度对应的电荷累积开始定时，并且，通过关闭机械快门23来控制曝光结束定时（即，电荷累积结束定时）。在这个实施例中，虽然CCD24被用作成像元件，但是使用诸如CMOS传感器的另一结构的成像元件是可能的。

在从CCD24读取的R、G和B的模拟信号在模拟信号处理单元25中进行相关的双采样（CDS）和放大后，它们在模数转换器26中被转换为R、G和B的数字信号。

图像输入控制器27包含预定容量的线缓冲器，并且在暂时累积在模数转换器26中进行模数切换的R、G和B的图像信号（即，CCD原始数据）后，通过总线60将它们存储在RAM54中。

CPU32在3D成像模式中控制拍摄右视点图像的成像单元20-2以及拍摄左视点图像的成像单元20-1。

AE检测单元46基于在快门按钮11的半按时输入的视频信号来计算AE控制所需的物体亮度，并且向CPU32输出指示物体亮度（即，成像EV值）的信号。CPU32基于输入的成像EV值根据预定程序图来设置在多个成像单元20-1和20-2中的快门速度（即，曝光时间）、光圈值和成像灵敏度。

AF检测单元48积分在快门按钮11的半按时输入的AF区域的图像信号的高频分量的绝对值，并且向CPU32输出这个积分值（即，AF评估值）。CPU32将聚焦镜头从近侧向无限远侧移动，搜索其中由AF检测单元48检测的AF评估值最大的聚焦位置，并且通过向该聚焦位置移动聚焦镜头来执行对于物体（即，主物体）的聚焦调整。而且，在拍摄视频时，执行所谓的登山控制，以移动聚焦镜头使得上面的AF评估值总是具有最大值。

AWB检测单元50基于在成像时获取的R、G和B的图像信号来自动找到光源类型（现场的色温），并且从存储对于各自的光源类型预先设置的R、G和B的白平衡增益（即，白平衡校正值）的表格中读取对应的白平衡增益。

数字信号处理单元44包括：白平衡校正电路；灰度转换处理电路（例如，伽马校正电路）；同步电路，其根据信号板CCD的滤色器阵列来补偿诸如R、G和B的彩色信号的空间间隙，并且对齐每一个彩色信号的位置；轮廓校正电路；以及，亮度和色差信号产生电路等，并且，数字信号处理单元44对于在RAM54中存储的R、G和B的图像信号（即，CCD原始数据）执行图像处理。即，在数字信号处理单元44中，R、G和B的CCD原始数据乘以在AWB检测单元50中检测的白平衡增益，进行白平衡校正，并且在随后执行诸如灰度转换处理（例如，伽马校正）的预定处理后，被转换为使用亮度信号（Y信号）和色差信号（Cr和Cb信号）形成的YC信号。在RAM54中存储由数字信号处理单元44处理的YC信号。

而且，数字信号处理单元44包括：失真校正电路，其校正在多个成像单元20-1和20-2的成像光学***中的镜头失真校正；以及，图像提取处理电路，其通过分别从右和左视点图像提取预定提取区域的图像来校正多个成像单元20-1和20-2的成像光学***的光轴移位。

压缩/解压缩处理单元42在存储卡40中记录时根据来自CPU32的指令来对于在RAM54中存储的YC信号执行压缩处理，并且对于在存储卡40中记录的压缩的压缩数据执行解压缩处理并且产生YC信号。

记录控制单元38将由压缩/解压缩处理单元42压缩的压缩数据记录为预定格式的图像文件（例如，将3D静止图像记录为MP文件，并且将3D视频记录为MPEG4、MPEG4-MVC、运动JPEG或H.264的视频文件），或者从存储卡40读取视频文件。

而且，当记录根据本发明的3D视频文件时，如在第一实施例至第四实施例中所解释的，除了诸如图像大小、宽高比和帧速率的附属信息之外，记录控制单元38将在存储卡40中记录以下内容作为附属信息：GOP最大显示大小；场景最大显示大小；假定的可视距离；GOP最大视差量（近景）（%）；GOP最大视差量（远景）（%）；场景最大视差量（近景）（%）；以及，场景最大视差量（远景）（%）。

在该情况下，在拍摄3D视频时，除了如在第一实施例至第四实施例中所解释的创建和记录3D视频文件的情况之外，下述情况是可能的：它在存储卡40中被暂时记录为正常的3D视频文件，并且其后，从存储卡40读取3D视频文件，以创建在第一实施例至第四实施例中所解释的3D视频文件，并且再一次在存储卡40中记录它。

液晶监视器16被用作图像显示单元以显示拍摄的图像，并且在各种设置时被用作GUI（图形用户界面）。而且，液晶监视器16被用作电子取景器，该电子取景器显示即时取景图像（以下称为“直通图像”）以在成像模式中确认视角。在将3D视频显示在液晶监视器16上的情况下，显示控制单元36逐个像素地交替显示在VRAM52中保存的左视点图像和右视点图像。通过在液晶监视器16中设置的视差光栅，从预定距离观察监视器的用户的右和左眼与逐个像素交替排列的右和左图像独立地具有视觉接触。通过该手段，双眼视觉是可能的。

通过如上配置的立体成像装置10，实现上面的实施例是可能的。在此，虽然在此所述的立体成像装置10包括在两个右和左视点拍摄图像的两个成像单元，但是可以配置成包括三个或更多个成像单元，并且在三个或更多个视点处拍摄视点图像。例如，如图8中所示，可以配置使得通过包括诸如四个成像装置101-1至101-4的四个成像单元，拍摄在四个视点处的视点图像。

{3D视频再现的第一实施例}

接下来，使用在图13中的流程图，对于读取如上记录的3D视频文件并且执行3D视频再现的处理给出解释。

首先，获取用于显示3D视频的输出目的地的3D显示器的输出显示大小（步骤S21）。可以从3D显示器的HDMI端子获取该输出显示大小。随后，从3D视频文件读取左视点的GOP_L和右视点的GOP_R，这些被保存在高速缓存中（步骤S22），并且向高速缓存添加左视点的GOP_L和右视点的GOP_R，直到高速缓存量达到预定的最大高速缓存量（步骤S23）。

当高速缓存量达到预定最大高速缓存量时，判定是否完成了在3D视频文件中的所有左视点的GOP_L和所有右视点的GOP_R的读取（步骤S24），并且，在其中未完成读取的情况下（在“否”的情况下），GOP最大显示大小被从在被高速缓存的左视点的GOP_L和右视点的GOP_R中的、要被输出到3D显示器的左视点的GOP_L和右视点的GOP_R的附属信息中读取，并且被暂时存储（步骤S25）。随后，将在步骤S21中获取的输出显示大小的宽度和在步骤S25中存储的GOP最大显示大小的宽度作比较（步骤S26）。

当GOP最大显示大小的宽度等于或大于输出显示大小的宽度时，即使原样显示左视点的GOP_L和右视点的GOP_R，对于双眼视觉也没有问题，并且因此，将左视点的GOP_L和右视点的GOP_R原样输出到3D显示器（步骤S27）。

相反，在输出显示大小的宽度大于GOP最大显示大小的宽度的情况下，如果显示具有GOP最大显示大小作为附属信息的左视点的GOP_L和右视点的GOP_R，则在远景侧上的最大视差位置处的视差量超过人的双眼间隔，并且不能立体地观看该部分。因此，需要校正右和左视点图像的视差量。

通过视差移位来执行视差量校正（步骤S28）。

图14是用于解释视差移位的原理的图。而且，图15的（a）部分是图示左视点图像的图，并且图11的（b）部分是图示右视点图像的图。在此，假定观众的左眼在坐标（0，D）上，并且观众的右眼在坐标（X_B，D）上。在Z＝0上显示的右和左视点图像中，在左视点图像的坐标（X_L，0）和在右视点图像的坐标（X_R，0）上显示的物体被可视地查看为在坐标（X_P，Y_P）中。

在该状态中，如图15的（b）部分中所示，如果在左方向上将右视点图像仅移位X_R-X_R'，则物体的右视点图像的坐标变为在图10中所示的（X_R'，0），并且作为结果，该物体被可视地查看为在坐标（X_P'，Y_P'）中。

因此，通过执行视差移位，调整视差量是可能的。因此，在远景侧上的视差量超过人的双眼间隔的情况下，可以通过执行视差移位来设置在人的双眼间隔内的视差量并且适当地执行双眼视觉。

更具体地，当输出显示大小的宽度是W1，GOP最大显示大小的宽度是W2，并且GOP最大视差量是P时，在视差校正后的GOP最大视差量P'被设置为下面的等式。

{等式1}

P'={W2/W1}*P

因此，通过仅通过在下面的等式中所示的视差量（%）来对于在接近方向上的右和左视点图像之一或两者执行像素移位，可以将在一个GOP中的在用于3D视频的3D显示器上的视差设置在人的双眼间隔内。

{等式2}

视差量(%)=P-P'

而且，视差校正不限于上面的视差移位，而是可以通过视差压缩被执行。如使用图10所解释的，可以通过下述方式来执行视差压缩：在虚拟视点处产生具有比右和左视点图像小的视差量的图像，并且在所述虚拟视点处显示产生的图像。采用哪种方式来校正视差量可以被预先决定，或者被配置为使得用户可以选择它。可以通过任何视差量调整来减小至少在远景侧上的视差。

在上面的步骤S28中进行视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S27）。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为附属信息记录的GOP最大显示大小；将其与输出显示大小作比较；在GOP最大显示大小较大的情况下，在对于双眼视觉没有问题的假设下，将左视点的GOP_L和右视点的GOP_R原样输出到3D显示器；并且，在输出显示大小较大的情况下，在确定存在其中双眼视觉是不可能的区域的情况下，输出相对于左视点的GOP_L和右视点的GOP_R的所有帧进行视差校正的左视点的GOP_L和右视点的GOP_R。

与向3D显示器的输出上面的左视点的GOP_L和右视点的GOP_R并行地，通过读取和向高速缓存内添加新的左视点的GOP_L和新的右视点的GOP_R，可以通过执行上面的处理来再现3D视频。

在步骤S24中，当完成在3D视频中的全部左视点的GOP_L和全部右视点的GOP_R的读取时（“在是的情况下”），在高速缓存中的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S29），并且，结束3D视频的再现。在此，即使当在高速缓存中的左视点的GOP_L和右视点的GOP_R被输出到3D显示器时，执行在步骤S25至S28中的处理。

在这个实施例中，虽然在3D视频文件的附属信息中记录的GOP最大显示大小用于判定是否可以立体地观看在输出目的地的3D显示器上显示的每一个GOP的立体视频，但是不限于此，并且即使通过使用GOP最大视差量也可以类似地执行它。

即，基于输出目的地的3D显示器的显示大小和指示人的双眼间隔的预定值（例如，50mm）来计算能够允许的视差量。通过（人的双眼间隔）/（显示大小（%））来表达该能够允许的视差量，并且在人的双眼间隔是50mm并且显示大小（即，宽度）是1300mm的情况下，能够允许的视差量是3.85（％）。

而且，根据GOP最大显示大小（%）是否等于或小于上面的能够允许的视差量，可以判定双眼视像融合是否是可能的。

而且，作为另一种方法，可以基于GOP最大视差量和输出目的地的3D显示器的显示大小两者来计算与在3D显示器上的GOP最大视差量对应的图像移位量，并且根据该计算的图像移位量是否超过指示人的双眼间隔的预定值，确定双眼视像融合是否是可能的。

而且，在第一实施例中，虽然可以对每个GOP执行视差校正，但是不限于此，并且可以基于预先设置的每预定数量的GOP的、在预定数量的GOP中的最大显示大小和最大视差量等来执行视差校正。

{3D视频再现的第二实施例}

图16是指示3D视频再现处理的第二实施例的流程图。在此，向与在图13中图示的第一实施例共同的部分指配相同的步骤编号，并且省略它们的详细解释。

虽然第一实施例针对其中对于每一个GOP将GOP最大显示大小和GOP最大视差量记录为附属信息的3D视频文件，但是第二实施例与其不同在于：第二实施例针对其中对于每一个场景将场景最大显示大小和场景最大视差量记录为附属信息的3D视频文件，如图7中所示。

在图16中，步骤S30判定是否存在场景头部标记。当检测到场景头部标记时（“在是的情况下”），场景最大显示大小被从场景的第一头部中读取，并且被暂时存储（步骤S31）。随后，比较在步骤S21中获取的输出显示大小的宽度和在步骤S31中存储的场景最大显示大小的宽度（步骤S32）。

在场景最大显示大小的宽度等于或大于输出显示大小的宽度的情况下，因为即使显示在场景中的3D视频也对于双眼视觉没有问题，所以它被原样输出到3D显示器（步骤S27）。

相反，在输出显示大小的宽度大于场景最大显示大小的宽度的情况下（在步骤S32中的“在否的情况下”），校正在场景中的3D视频的视差，使得将在3D显示器上的在场景中的3D视频的视差设置在人的双眼间隔内。

在此，使用场景最大视差量而不是场景最大显示大小，可以判定立体地观看场景的3D视频是否是可能的。

{3D视频再现的第三实施例}

图17是图示3D视频再现处理的第三实施例的流程图。在此，向与在图13中图示的第一实施例共同的部分指配相同的步骤编号，并且省略它们的详细解释。

虽然第一实施例针对其中每一个GOP将GOP最大显示大小和GOP最大视差量记录为附属信息的3D视频文件，但是第三实施例与其不同在于：第三实施例针对其中对于每一个场景将场景最大显示大小和场景最大视差量记录为附属信息、以及对于每一个场景将场景最大显示大小和场景最大视差量记录为附属信息的3D视频文件，如图7中所示。

在图17中，在步骤S40中，GOP最大视差量被从被高速缓存的左视点的GOP_L和右视点的GOP_R的附属信息中读取，并且被暂时存储。在步骤S41中，判定是否有场景头部标记。当检测到场景头部标记时（“在是的情况下”），场景最大显示大小和场景最大视差量被从场景的第一头部中读取，并且被暂时存储（步骤S42、S43和S45）。

随后，判定在步骤S42中存储的场景长度是否比一个GOP足够长（步骤S45）。当判定它短时（“在否的情况下”），以与在第一实施例中相同的方式，每一个GOP执行视差校正（步骤S46），并且，进行视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S47）。在此，在其中在GOP中的最大显示大小等于或大于输出显示大小的情况下，它们被原样输出到3D显示器，而不执行视差校正。

同时，在步骤45中，当判定场景长度更长时（“在是的情况下”），返回到步骤S22，并且其后，通过在步骤S41和步骤S48中的处理，高速缓存左视点的GOP_L和右视点的GOP_R，直到它从场景头部起达到预定最大高速缓存量。

随后，当高速缓存量达到预定最大高速缓存量时（即，当在步骤S48中被判定为“在是的情况下”），使用下面的视差校正表格来执行相对于在场景中的3D视频的视差校正（步骤S49）。

图18是图示视差校正表格的示例的图形。在图18中图示的图形中，水平轴指示GOP最大视差量/场景最大视差量，并且垂直轴指示视差校正系数（0至1）。

在此，当假定在步骤S43中存储的场景最大显示大小与在步骤S21中获取的输出显示大小的比率（即，场景最大显示大小/输出显示大小）是X时，视差校正系数被设置为当GOP最大视差量/场景最大视差量从0接近1时从1向X改变的值。

在此，将视差校正系数乘以在场景中的每一个GOP最大视差量。执行视差校正使得在场景中的每一个GOP最大视差量被设置为上面的相乘值（即，校正的GOP最大视差量）。

例如，对具有与“GOP最大视差量/场景最大视差量＝1”对应的GOP最大视差量作为附属信息的左视点的GOP_L和右视点的GOP_R进行视差移位，以便在上面的{等式1}中所示的视差校正后提供GOP最大视差量P'（即，通过在{等式2}中图示的视差量的视差移位），并且通过该手段，可以将在3D显示器上的在GOP中的3D视频的视差设置在人的双眼间隔内。

同时，即使关于具有小于“GOP最大视差量/场景最大视差量＝1”的GOP最大视差量的左视点的GOP_L和右视点的GOP_R，确定视差校正系数，使得基于GOP最大视差量的程度来执行视差校正。

在步骤S49中，通过使用上面的视差校正表格来执行视差校正，执行视差校正，使得当在每一个GOP中的最大视差量变得更接近在场景中的最大视差量（即，场景最大视差量）时，视差量逐渐减小，而当它变得更远离在场景中的最大视差量时，视差递减量减小（或使得更接近原始）。

在上面的步骤S49中进行了视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器（步骤S47）。在场景最大显示大小等于或大于输出显示大小的情况下（即，在其中在3D显示器中没有问题的情况下），不执行上面的视差校正，并且，没有视差校正的左视点的GOP_L和右视点的GOP_R被输出到3D显示器。

通过上面的视差校正，即使在场景中在部分GOP中存在作为在3D显示器中的问题的视差，也可以防止对其他GOP视差一致地进行视差校正，抑制过度的视差，并且保证在整个场景中的立体感觉。

而且，在如上所述的3D视频再现的第一实施例至第三实施例中，可以考虑最大视差量（近景）来执行视差移位处理。

即，在远景侧上视差量变得过度并且双眼视像融合不可能的情况下，当通过计算的所需移位量来执行视差移位时，在近景侧上的视差量因此增大。因此，将输出目的地的3D显示器的显示大小（即，宽度）和最大视差量（近景）的乘积加上必要的移位量，并且判定该结果值是否等于或小于双眼间隔（例如，50mm）。在此，判定在近景中的视差量是50mm或更小的情况下双眼视觉是充分可能的，但是，可以充分地确定50mm的这个值。

随后，在视差量是50mm或更小的情况下，实现视差移位，并且，在3D显示器上立体地显示进行视差移位的两个视点处的视点图像。相反，在它大于50mm的情况下，存在其中除非执行视差移位否则在远景侧上双眼视觉是不可能的部分，并且因为如果执行视差移位使得在远景侧上的最大视差量变得适当则在近景侧上的适当的双眼视觉是不可能的，所以在3D显示器上执行2D显示而不是3D显示。通过向3D显示器输出在3D视频文件中记录的视点图像之一来执行该2D显示。而且，与2D显示一起，可以执行警告显示以示出未立体地显示3D视频，因为显示大小太大。

因此，通过不仅考虑最大视差量（远景）而且考虑最大视差量（近景）来调整视差量，可以显示适当的3D视频。

{3D视频再现的第四实施例}

接下来，使用在图19中的流程图，对下述处理给出解释：读取其中如图9中所示记录在三个或更多个视点处的视点图像的3D视频文件；并且，再现和显示它。

在图19中，首先，获取其上显示3D视频的3D显示器的显示大小（即，水平宽度）（步骤S51）。在此，假定所获取的显示器的水平宽度是600mm。而且，读取在图9中所示的用于四个视点的GOP（步骤S52）。

接下来，以视点编号的顺序从读取的GOP的头部区域的每个获取GOP最大显示大小（步骤S53）。

在此，假定用于四个视点的GOP的GOP最大显示大小、假定的可视距离和GOP最大视差量（远景）如在下面列出的表1中所示。

{表1}

在上面的表1中所示的示例中，首先，获取具有视点编号1的视点图像（1）的GOP最大显示大小500mm。

接下来，判定该获取的GOP最大显示大小是否等于或大于在步骤S51中获取的显示大小（步骤S54）。在此，因为GOP最大显示大小是500mm而显示大小是600mm，所以进行到步骤S56。

在步骤S56中，判定是否已经相对于所有的视点图像获取了GOP最大显示大小。

在此，因为还没有相对于所有的视点图像完成，所以返回到步骤S53。

在步骤S53中，将视点编号递增1，并且接着获取具有视点编号2的视点图像（2）的GOP最大显示大小1200mm。

接下来，进行到步骤S54，并且判定获取的GOP最大显示大小是否等于或大于显示大小。此时，因为GOP最大显示大小是1200mm并且大于600mm的显示大小，所以转移到步骤S55。在步骤S55中，获取当前的视点编号。在此，获取视点编号2。

因此，相对于所有的视点图像重复在步骤S53至步骤S55中的处理。通过该处理，仅获取其GOP最大显示大小等于或大于显示大小的视点图像的视点编号。在此，获取视点编号2和视点编号3。

接下来，从在步骤S55中获取的视点编号的视点图像中，选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。在此，选择作为在参考视点处的图像的视点图像（1），以及具有视点编号2的图像（即，视点图像（2））或具有视点编号3的图像（即，视点图像（3））。

作为选择标准，可以考虑具有最大视差量的视点图像、具有最小视差量的视点图像或最接近中心视点的视点图像等。而且，比在虚拟视点处的图像更优先地选择实际拍摄的任何视点图像。可以预先确定该标准，或者可以使用使得观众可以自由地设置它的配置。在此，假定选择了具有最大视差量的图像，并且作为结果，选择了视点图像（1）和视点图像（3）。

在3D显示器上立体地显示在步骤S57中选择的两个视点处的视点图像（步骤S58）。即，在此，基于视点图像（1）和视点图像（3）来执行3D显示。

接下来，判定是否完成了来自3D视频文件的所有GOP的读取（步骤S59）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在完成它的情况下（“在是的情况下”），结束3D视频的再现。

在此，在没有在步骤S55中获取的视点编号的情况下，即，在所有视点图像的GOP最大显示大小小于显示大小的情况下，执行2D显示。虽然也可以充分地确定选择进行2D显示的视点图像的标准，但是在实际视点和参考视点处的视点图像是优选的。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为每一个视点图像的附属信息被记录的GOP最大显示大小，将其与输出目的地的3D显示器的显示大小作比较，并且选择和显示其中GOP最大显示大小较大的一对视点图像。

在此，可以基于在3D视频文件的每个视点图像的附属信息中记录的GOP最大视差量来执行这样的处理。

{3D视频再现的第五实施例}

图20是在基于GOP最大视差量来选择要进行3D再现显示的一对视点图像的情况下的流程图。在此，向与在图19中图示的流程图共同的部分指配相同的附图标号，并且省略它们的详细解释。而且，假定未在读取的3D视频文件的每一个视点图像的附属信息中记录GOP最大显示大小，并且其他附属信息与在表1中所示的文件中的相同。而且，假定输出目的地的3D显示器的水平宽度是600mm。

类似于图19的情况，获取显示大小（步骤S51），并且从在图9中所示的3D视频文件读取四个视点的GOP（步骤S52）。接下来，从读取的GOP的每一个头部区域中选择在两个视点处的（一对）视点图像（步骤S61）。因为最后选择所有视点图像的组合，所以可以充分地确定选择顺序。在此，首先，假定选择了视点图像（1）和视点图像（2）。

获取在两个视点处的这些选择的图像的GOP最大视差量（远景）（步骤S62）。在每一个视点图像的附属信息中记录的GOP最大视差量（远景）是相对于参考视点图像的视差量。因此，在选择的在两个视点处的视点图像中不包括参考视点图像的情况下，需要再一次计算GOP最大视差量。

在此，因为选择的在两个视点处的视点图像之一是参考视点图像的视点图像（1），所以在视点图像（2）的附属信息中记录的GOP最大视差量（远景）是这两个视点的GOP最大视差量（远景）。

接下来，判定在步骤S51中获取的显示宽度和在步骤S62中获取的两个视点处的视点图像的GOP最大视差量（远景）的乘积是否等于或小于50mm的人的双眼间隔（步骤S63）。而且，人的双眼间隔不限于50mm，并且例如，可以使用65mm的数值。

在该乘积大于50mm的情况下，因为不可能以适当方式立体地观看在远景侧上的GOP最大视差位置，所以判定在两个视点处的视点图像的组合不是用于双眼视觉的适当组合，并且进行到步骤S65。

在此，GOP最大视差量（远景）是4%，并且它和600mm的显示宽度的乘积是24mm。因此，满足50mm或更小的条件，并且进行到步骤S64。在步骤S64中，获取在两个视点处的这些视点图像的视点编号。即，在该情况下，获取视点编号1和2的组合。

在步骤S65中，判定是否已经相对于所有组合获取了GOP最大视差量。在此，因为还没有对于所有的组合完成，所以返回到步骤S61。

在下一个步骤S61中，选择在两个视点处的（一对）不同的视点图像。在此，假定将视点图像（2）和视点图像（3）选择为在两个视点处的视点图像。

在步骤S62中，获取这两个视点的GOP最大视差量（远景）。如上所述，因为在视点图像（2）和视点图像（3）的每一个附属信息中记录的最大视差量（远景）是相对于参考视点图像的视点图像（1）的最大视差量，所以需要再一次计算在视点图像（2）和视点图像（3）的两个视点中的GOP最大视差量。

通过在各自的附属信息中记录的GOP最大视差量（远景）之间的差来计算在两个视点中的GOP最大视差量。因此，在该情况下，7%-4%=3%是在视点图像（2）和视点图像（3）的两个视点中的GOP最大视差量（远景）。

在步骤S63中，判定这个计算的两个视点处的视点图像的GOP最大视差量（远景）和显示宽度的乘积是否等于或小于50mm。

在此，GOP最大视差量（远景）是3%，并且它和600mm的显示宽度的乘积是18mm。因此，满足50mm或更小的条件，并且进行到步骤S64。在步骤S64中，获取在两个视点处的这些视点图像的视点编号，即，视点编号2和3的组合。

因此，相对于视点图像的所有组合重复在步骤S62至步骤S64中的处理。通过该处理，仅获取其中GOP最大视差量（远景）和显示大小的乘积是50mm或更小的视点图像的组合中的视点编号。在此，获取视点编号1和2、视点编号2和3、视点编号2和4与视点编号3和4的组合。

接下来，从在步骤S64中获取的视点编号的组合中来选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。

作为选择标准，如上所述，可以给出优先级至：其中GOP视差量最大的组合；其中GOP视差量最小的组合；包括接近中心视点的视点图像的组合；以及，实际视点图像。可以预先确定该标准，或者可以使用使得观众可以自由地设置它的配置。在此，假定选择作为其中视差量最小的组合的视点编号2和视点编号3的组合，即，视点图像（2）和视点图像（3）。

在3D显示器上立体地显示在步骤S57中选择的两个视点处的视点图像（步骤S58）。即，在该情况下，基于视点图像（2）和视点图像（3）来执行3D显示。

接下来，判定是否完成了从3D视频文件的所有GOP的读取（步骤S59）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在完成它的情况下（即，“在是的情况下”），结束3D视频的再现。

而且，在没有在步骤S64中获取的视点图像的情况下，即，在所有组合中未满足在步骤S63中的条件的情况下，执行2D显示。而且，可以充分地确定用于选择进行2D显示的图像的标准。

因此，可以通过下述方式来总是显示适当的3D视频：读取作为每一个视点图像的附属信息被记录的GOP最大视差量（远景），计算它和输出目的地的3D显示器的显示大小的乘积，并且，选择和显示其中该乘积小于人的双眼间隔的视点图像的组合。

{3D视频再现的第六实施例}

如在第四实施例中所解释，在其中基于在每一个视点图像的附属信息中记录的GOP最大显示大小而选择显示图像的情况下，可以仅通过与参考视点图像的组合来选择图像。与此相反，如在第五实施例中所述，在基于在每一个视点图像的附属信息中记录的GOP最大视差量（远景）而选择视点图像的情况下，可以对于所有的视点图像的组合进行判定，但是处理变得复杂。

因此，在第六实施例中，在附属信息中记录GOP最大显示大小和GOP最大视差量（远景）两者的情况下，使用该两个信息来选择视点图像。

图21是图示基于GOP最大显示大小和GOP最大视差量（远景）来选择视点图像的情况的流程图。在此，向与在图19和图20中图示的流程图共同的部分指配相同的附图标号，并且省略它们的详细解释。

如图21中所示，首先，类似于图19的情况，基于GOP最大显示大小来选择可以被立体显示的视点图像（步骤S53至S56）。

其后，类似于图20的情况，基于GOP最大视差量（远景）来选择可以立体显示的视点图像（步骤S61至S65）。在此，此时，不必对于与参考视点图像的组合执行处理。

其后，从在步骤S55中获取的与参考视点图像的组合和在步骤S64中获取的两个视点处的视点图像的组合选择要输出到3D显示器的两个视点处的视点图像（步骤S57）。可以以与上面相同的方式来充分地确定选择标准。

如上所述，通过选择基于GOP最大显示大小和GOP最大视差量（远景）而显示的两个视点处的视点图像，在使用从所有组合选择的适当视点图像来执行3D显示的同时缩短处理时间是可能的。

在此，仅基于在远景侧上的GOP最大视差量来选择要显示的两个视点处的视点图像，可以考虑在近景侧上的GOP最大视差量来确定它。通过考虑到在近景侧上的GOP最大视差量，可以确定不仅在远景侧而且还在近景侧上能够以适当方式立体观看的图像的组合。

例如，从在步骤S64中获取的两个视点处的视点图像的组合，可以选择其中在近景中的视差量等于或小于预定值的组合。这是因为，当在近景侧上的视差量增大时，观众对于双眼视觉感到疲劳，并且因此，它优选地等于或小于诸如50mm的值。

在3D视频文件中记录在近景侧上的GOP最大视差量的情况下，可以使用该值。而且，如使用图10所述，可以从每一个视点图像提取特征点，并且根据在近景侧上的最大视差量位置计算它。

{3D视频再现的第七实施例}

图22是图示根据第七实施例的图像再现处理的流程图。

在此，假定所读取的3D视频文件类似于在表1中的图示的文件。而且，假定显示器的水平宽度是1300mm。

类似于图19的情况，获取输出目的地的3D显示器的显示大小（步骤S51）。例如，可以从通过HDMI电缆连接的3D显示器获取显示大小。

接下来，从在图9中所示的3D视频文件读取四个视点的GOP（步骤S52），并且，从读取的GOP的每一个头部区域读取参考视点编号标记的值（步骤S71）。在本实施例中，读取参考视点编号1。

接下来，从参考视点编号1的视点图像，即，视点图像（1）的附属信息中获取GOP最大显示大小（步骤S72）。如上所述，在此记录的值是在与其中视差量最大的视点图像（1）的视点组合中的GOP最大显示大小，具体地说，它是在与视点图像（4）的组合中的GOP最大显示大小。

比较该GOP最大显示大小和在步骤S71中获取的显示大小（步骤S73）。在其中GOP最大显示大小大于该显示大小的情况下（“在是的情况下”），因为如果原样立体地显示视点图像（1）和视点图像（4）没有问题，所以在3D显示器上立体地显示在两个视点处的这些视点图像（步骤S74）。

相反，在步骤S73中的比较结果是“否”的情况下，进行到步骤S75。

在步骤S75中，获取所有读取的视点图像的视点编号。而且，从每一个视点图像的附属信息中，获取每一个视点图像的GOP最大视差量的值（步骤S76）。如在表1中所示，从视点图像（2）获取4%的GOP最大视差量，从视点图像（3）获取7%的GOP最大视差量，并且从视点图像（4）获取10%的GOP最大视差量。

接下来，计算其上执行3D显示的3D显示器中的能够允许的视差量（步骤S77）。通过下面的{等式3}来计算能够允许的视差量。在此，显示大小指示显示器的水平宽度。而且，虽然在该情况下人的双眼间隔是50mm，但是可以使用其他数值。

{等式3}

能够允许的视差量[%]=50mm÷显示大小[mm]×100

在本实施例中，因为显示大小是1300mm，所以能够允许的视差量是3.85%。

接下来，确认参考视点的布置（步骤S78）。在参考视点未在所有视点的中心周围的情况下，在该中心周围的视点位置被设置为新的参考视点（步骤S79），并且，计算相对于新的参考视点的每一个视点图像的最大视差量（步骤S80）。

在本实施例中，因为视点编号如图8中所示，所以参考视点的视点编号1不在中心周围。因此，在该情况下，将视点编号2设置为作为在该中心周围的视点的新的参考视点。

计算每一个视点图像相对于与这个新的参考视点对应的视点编号2的GOP最大视差量。在表1中的3D视频文件示例中，在每一个视点图像的附属信息中描述的GOP最大视差量和在视点图像（2）的附属信息中描述的GOP最大视差量之间的差的绝对值是在新的参考视点中的GOP最大视差量。因此，每一个视点图像的GOP最大视差量如下。

视点图像(1)的GOP最大视差量=|0%-4%|=4%

视点图像(2)的GOP最大视差量=|4%-4%|=0%

视点图像(3)的GOP最大视差量=|7%-4%|=3%

视点图像(4)的GOP最大视差量=|10%-4%|=6%

在此，执行这样的处理，因为被布置得更接近中心的视点图像适合于3D显示。

在完成在步骤S80中的处理并且在步骤S78中判定参考视点在所有视点的中心周围的情况下，从这些GOP最大视差量选择具有等于或小于能够允许的视差量的最大值的视点（步骤S81）。在本实施例中，因为能够允许的视差量是3.85%或更小，所以满足这个条件的视点是视点编号3。

因此，在可以选择满足该条件的视点的情况下（步骤S82），使用参考视点图像和选择的视点图像来执行3D显示（步骤S83）。在不能选择它的情况下（在步骤S82中的“在否的情况下”），执行2D显示（步骤S84）。

例如，如果获取的显示大小是1700mm，则能够允许的视差量是2.94%，并且选择具有等于或小于能够允许的视差量的最大的最大视差量值的视点是不可能的。在该情况下，执行2D显示。

因此，因为基于能够允许的视差量而选择一对视点图像，所以以适当的方式来选择适合于双眼视觉的视点图像是可能的。

接下来，判定是否完成了从3D视频文件的所有GOP的读取（步骤S85）。在未完成它的情况下（“在否的情况下”），进行到步骤S52，并且重复上面的处理，并且在完成它的情况下（即，“在是的情况下”），结束3D视频的再现。

而且，在步骤S82中判定选择是不可能的情况下，取代执行2D显示，可以在执行用于调整到适当的视差量的视差移位或视差压缩后执行3D显示。而且，在3D视频再现的第四至第七实施例中，虽然每一个GOP执行视差校正，但是不限于此，并且可以使用场景最大显示大小和场景最大视差量来对每一个场景执行视差校正。

{立体视频再现装置}

可以通过在图11和图12中图示的立体成像装置10的3D视频再现功能来实现3D视频再现的上面的第一至第七实施例，或者可以通过没有成像单元的立体视频再现装置来实现它们。

图23是图示立体视频再现装置300和3D显示器320的整体结构的图。如图中所示，立体视频再现装置300和3D显示器320是独立地设置的装置，并且通过通信电缆310连接，使得通信是可能的。

3D显示器320是视差光栅***或柱状透镜***，并且每一行交替地显示从立体视频再现装置300向3D显示器320输入的左视点图像和右视点图像。

而且，3D显示器320可以以时间的方式来交替地切换左视点图像和右视点图像，并且显示它们。在该情况下，观众使用特殊的眼镜来可视地查看3D显示器320。

图24是图示立体视频再现装置300的内部结构的框图。如该图中所示，立体视频再现装置300包括CPU301、记录控制单元305、存储卡306、显示控制单元307和通信接口308。

CPU301基于诸如在ROM302中记录的立体视频再现程序的控制程序来对立体视频再现装置300的全部操作执行综合控制。RAM303被用作CPU301的计算工作区域。

记录控制单元305和显示控制单元307通过总线304连接到CPU301。记录控制单元305控制相对于存储卡306的3D视频文件数据的读取和写入。例如，存储卡306与在图12中所示的立体成像装置10的存储卡40相同，并且记录包括在立体成像装置10中拍摄的每一个视点图像的附属信息的3D视频文件。

通信接口308是连接器单元，通信电缆310连接到它，并且显示控制单元307通过这些在3D显示器320上显示3D视频。作为通信接口308和通信电缆310，可以采用HDMI标准的那些。根据HDMI标准，立体视频再现装置300可以获取通过通信电缆310连接的3D显示器320的显示大小。

在此，立体视频再现装置300可以被配置为：包括用于拍摄每一个视点图像的复眼成像单元；并且，在存储卡306中记录所拍摄的视点图像。而且，立体视频再现装置300和3D显示器320可以形成为整体装置。而且，立体视频再现程序可以被安装在个人计算机中，以便使得该个人计算机用作立体视频再现装置300。

而且，不需要说的是，本发明不限于上面的实施例，并且在不偏离本发明的精神的情况下，各种改变是可能的。

{附图标记列表}

10立体成像装置

14-1、14-2成像光学***

16液晶监视器

20-1,20-2成像单元

21聚焦镜头和变焦镜头

24CCD

25模拟信号处理单元

32中央处理单元（CPU）

34操作单元

40存储卡

44数字信号处理单元

100物体

101-1至101-4成像装置

211N、212N最大视差量位置（近景）

211F、212F最大视差量位置（远景）

213N在近景侧上的最大视差量

213F在远景侧上的最大视差量

300立体视频再现装置

3203D显示器

Claims

1.一种立体视频处理器，包括：

立体视频获取单元，所述立体视频获取单元获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；

视差量计算单元，所述视差量计算单元从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；

最大视差量获取单元，所述最大视差量获取单元从每一个帧的每个特征点的所计算的视差量获取在远景侧上的最大视差量；

区间内最大视差量获取单元，所述区间内最大视差量获取单元在所获取的远景侧上的最大视差量中获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；

区间内最大显示大小获取单元，所述区间内最大显示大小获取单元基于所述立体视频的每一个预定区间的所获取的所述区间内最大视差量来获取区间内最大显示大小，在该区间内最大显示大小中，当以每一个预定区间在立体显示器上显示所述立体视频时，双眼视像融合是可能的；以及，

记录单元，所述记录单元产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息。

2.根据权利要求1所述的立体视频处理器，其中，所述记录单元进一步记录由所述区间内最大视差量获取单元在所述立体视频的每一个预定区间获取的所述区间内最大视差量来作为所述立体视频文件的附属信息。

3.一种立体视频处理器，包括：

立体视频获取单元，所述立体视频获取单元获取立体视频，在所述立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；

区间内最大视差量获取单元，所述区间内最大视差量获取单元在所获取的远景侧上的最大视差量中获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；以及，

记录单元，所述记录单元产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大视差量记录为附属信息。

4.根据权利要求3所述的立体视频处理器，进一步包括区间内最大显示大小获取单元，所述区间内最大显示大小获取单元基于所述立体视频的每个预定区间的所获取的所述区间内最大视差量来获取区间内最大显示大小，在该区间内最大显示大小中，当以每一个预定区间在立体显示器上显示所述立体视频时，双眼视像融合是可能的，

其中，所述记录单元在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为所述附属信息。

5.根据权利要求1至4中的任何一项所述的立体视频处理器，其中，所述记录单元进一步将适合于观看所述立体视频的、与在观众和立体显示器之间的距离对应的假定可视距离记录为所述立体视频文件的所述附属信息。

6.根据权利要求1至5中的任何一项所述的立体视频处理器，其中，

所述最大视差量获取单元在每一个特征点的所计算的视差量中获取在近景侧上的最大视差量；并且

所述区间内最大视差量获取单元在所获取的在近景侧上的最大视差量中获取每一个预定区间的区间内最大视差量，该区间内最大视差量在所述预定区间中为最大。

7.根据权利要求1、2和4中的一项所述的立体视频处理器，进一步包括代表性图像设置单元，所述代表性图像设置单元将由所述立体视频获取单元获取的在N（N是等于或大于3的整数）个视点处的视点图像之一设置为代表性图像，其中：

所述最大视差量获取单元获取与不同组合的两个视点图像相关联的N-1项的在所述远景侧上的最大视差量，所述不同组合的两个视点图像是使用所述代表性图像和在所述N个视点处的视点图像中的所述代表性图像之外的在N-1个视点处的视点图像的每一个形成的；

所述区间内最大显示大小获取单元基于所获取的N-1项的在所述远景侧上的最大视差量，对于每一个预定区间获取N-1项的区间内最大显示大小，该N-1项的区间内最大显示大小中的每一项在所述预定区间中为最大；并且，

所述记录单元在所述立体视频文件中将所获取的N-1项的区间内最大显示大小记录为所述附属信息。

8.根据权利要求1至7中的任何一项所述的立体视频处理器，进一步包括虚拟视点图像产生单元，所述虚拟视点图像产生单元基于由所述立体视频获取单元获取的多个视点图像的至少一个视点图像和由所述视差量计算单元计算的所述视差量来产生与任意虚拟视点对应的一个或多个虚拟视点图像。

9.根据权利要求1、2和4中的一项所述的立体视频处理器，包括代表性图像设置单元，所述代表性图像设置单元将包括所述多个视点图像和虚拟视点图像的在N（N是等于或大于3的整数）个视点处的视点图像之一设置为代表性图像，其中：

所述最大视差量获取单元获取与不同组合的两个视点图像相关联的N-1项的在所述远景侧上的最大视差量，所述不同组合的两个视点图像是使用所述代表性图像和在所述N个视点处的所述视点图像中的所述代表性图像之外的在N-1个视点处的视点图像的每一个形成的；

所述区间内最大显示大小获取单元基于所获取的N-1项的在所述远景侧上的最大视差量，对于每一个预定区间获取N-1项的区间内最大显示大小，所述N-1项的区间内最大显示大小中的每一项在所述预定区间中是最大的；并且，

所述记录单元将所获取的N-1项的区间内最大显示大小在所述立体视频文件中记录为所述附属信息。

10.根据权利要求1至9中的任何一项所述的立体视频处理器，其中：

所述立体视频文件是MPEG文件，在所述MPEG文件中，以使用多个帧形成的每一个GOP依序记录多个视点图像；并且，

所述立体视频的所述预定区间是与等于1或2或大于2的预定数量的GOP对应的区间。

11.根据权利要求1至10中的任何一项所述的立体视频处理器，包括场景改变检测单元，所述场景改变检测单元检测所获取的立体视频的场景改变，

其中，所述立体视频的所述预定区间是通过由所述场景改变检测单元检测的所述场景改变区别的每一个场景的区间。

12.根据权利要求1至11中的任何一项所述的立体视频处理器，其中，所述记录单元在每一个区间前预定数量的区间的区间的头部或所述立体视频文件的头部中记录每一个区间的获取的所述区间内最大显示大小和所述区间内最大视差量中的至少一个。

13.根据权利要求7和9中的一项所述的立体视频处理器，其中，所述记录单元以视点布置的顺序或以从较接近中心视点的视点图像起的顺序来记录在所述N个视点处的所述视点图像。

14.根据权利要求8和9中的一项所述的立体视频处理器，其中，在所述立体视频文件中记录所述多个视点图像和虚拟视点图像时，所述记录单元将指示每一个图像是在实际视点处的图像还是在虚拟视点处的图像的视点信息记录为所述立体视频文件的所述附属信息。

15.根据权利要求1、2、4、7和9中的一项所述的立体视频处理器，其中，所述区间内最大显示大小获取单元获取其中与由所述区间内最大视差量获取单元获取的在所述远景侧上的所述区间内最大视差量对应的、在立体显示器上的图像移位量不超过人的双眼间隔的显示大小中的最大显示大小，来作为其中双眼视像融合是可能的区间内最大显示大小。

16.根据权利要求15所述的立体视频处理器，其中，基于由所述区间内最大视差量获取单元获取的在所述远景侧上的所述区间内最大视差量，所述区间内最大显示大小获取单元从其中预先记录了与最大视差量对应的最大显示大小的存储单元中读取对应的最大显示大小，或者使用包括指示所述人的双眼间隔的预定值的等式来计算所述区间内最大显示大小。

17.一种立体视频处理程序，其使计算机实现根据权利要求1至16中的任何一项所述的立体视频处理器。

18.一种可编程记录介质，其以物理方式存储机器可读指令的立体视频处理程序，以使计算机实现根据权利要求1至16中的任何一项所述的立体视频处理器。

19.一种立体成像装置，包括：

成像单元，所述成像单元用作所述立体视频获取单元；以及，

根据权利要求1至16中的任何一项所述的立体视频处理器。

20.一种立体视频处理方法，包括步骤：

获取立体视频，在该立体视频中，在时间轴方向上连续地提供使用多个视点图像形成的立体图像；

从所获取的立体视频的每一个帧的多个视点图像计算指示在具有共同特征的特征点之间的移位量的视差量；

从每一个帧的每一个特征点的所计算的视差量获取在远景侧上的最大视差量；

在所获取的在远景侧上的最大视差量中，获取区间内最大视差量，该区间内最大视差量在所述立体视频的每一个预定区间中为最大；

基于所述立体视频的每一个预定区间的获取的所述区间内最大视差量来获取区间内最大显示大小，在该区间内最大显示大小中，当以每个预定区间在立体显示器上显示所述立体视频时，双眼视像融合是可能的；并且，

产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大显示大小记录为附属信息。

21.一种立体视频处理方法，包括步骤：

产生其中记录了所述立体视频的立体视频文件，在记录介质中记录所述立体视频文件，在所述立体视频文件中记录所述立体视频，并且在所述立体视频文件中将每一个预定区间的所述区间内最大视差量记录为附属信息。