CN103155576A - 立体图像显示装置和立体图像显示方法 - Google Patents

Abstract

一种立体图像显示装置包括：显示单元，其能够立体显示具有在预定显示视差方向上的视差的图像组；存储单元，其能够存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；选择单元，其从存储在存储单元中的图像组中选择所期望的图像组；确定单元，其确定显示视差方向与用作所选的图像组的单一视差方向的图像视差方向是否彼此匹配，所选的图像组用作由选择单元选择的图像组；以及显示控制单元，其响应于确定单元确定显示视差方向与图像视差方向彼此不匹配来执行控制以将所选图像组中的每个图像旋转显示视差方向与图像视差方向彼此匹配的角度并在显示单元上立体显示该图像。

Description

立体图像显示装置和立体图像显示方法

技术领域

本发明涉及立体图像显示装置和立体图像显示方法，且更具体地，涉及用于基于分别通过在图像传感器上形成对象图像得到的四个视差图像来在图像传感器上立体显示在成像透镜的四个方向上穿过不同的区域的对象图像的技术。

背景技术

PTL1讨论了一种成像装置，在该成像装置中，将一微透镜布置在多个捕获的图像中，以产生左右视差图像以及上下视差图像的方法。

PTL2讨论了能够同时产生左右视差图像以及上下视差图像的显示装置。

PTL3讨论了一种立体图像显示装置，其在三个维度上呈现由通过分为奇数编号的列像素和偶数编号的列像素的对所布置和形成的像素来构成的图像，并包括用于只在奇数编号的列像素和偶数编号的列像素前面的分别其水平和垂直分量中的任一个的一侧方向上传递光束的偏振装置。

引用列表

专利文献

PTL1:日本专利申请特许公开No.2009-165115

PTL2:日本专利申请特许公开No.2006-285247

PTL1:日本专利申请特许公开No.6-258733

发明内容

技术问题

如在PTL1中的那样，可使用针对四个光电二极管具有一个微透镜的配置的拜耳阵列型的图像传感器来获取在上下以及左右方向上的视差图像。

如果获取了在上下以及左右方向上的视差图像，则旋转并显示视差图像，以使得进行合适的立体观看以将观看者的视差方向与显示设备的方向相匹配。如果具有在左右方向上的显示视差（双目视差出现在显示表面的方向）的立体显示设备在上下方向上立体显示视差图像，则瞳孔分割方向匹配显示视差方向，如果视差图像旋转了+90°或-90°，以使得可以进行立体观看。立体显示***包括视差屏障***、透镜***和液晶快门***。

然而，如果仅获取在上下方向上的视差图像或在左右方向上的视差图像，则当图像和显示器被旋转时无法进行立体显示。如果在显示设备中的显示器被放置在水平方向上（以水平放置），以使得例如出现双眼视差，则以水平放置来立体显示在左右方向上的视差图像。然而，如果显示器被旋转了90°的角度（以垂直放置），则在左右方向上的视差图像不能被识别为立体显示。因为未获取在上下方向上的视差图像，因此在上下方向上的视差图像可被立体地显示在以垂直放置的显示器上。

假定将只包括在左右方向上的视差图像的图像组和包括在上下方向上的视差图像的图像组获取在同一记录介质中并混合。如果显示设备按逐帧播放来顺序立体地显示图像组，则当视差图像的视差方向与如从观看者来看的显示设备的双目视差方向不匹配时，图像组不被识别为立体显示。另一方面，当视差图像的视差方向与如从观看者来看的显示设备的双目视差方向匹配时，图像组被识别为立体显示。当观看者不能在逐帧播放期间通过帧识别出立体感觉时，观看者将感到不舒服，从而造成观看者的眼睛疲劳。

考虑到这样的情况，进行本发明，且其目的是使视差图像能够合适地显示以对应于显示设备的视差方向。

问题的解决方案

本发明提供了一种立体图像显示装置，其包括：显示单元，其能够立体显示具有在预定显示视差方向上的视差的图像组；存储单元，其能够存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；选择单元，其从存储在存储单元中的图像组中选择所期望的图像组；确定单元，其确定显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作由选择单元选择的图像组；以及显示控制单元，其响应于确定单元确定显示视差方向与图像视差方向彼此不匹配来进行控制，以将所选图像组中的每个图像旋转显示视差方向与图像视差方向彼此匹配时的角度并在显示单元上立体显示图像。

显示控制单元在显示视差方向是水平方向而图像视差方向是垂直方向时进行控制，以将所选图像组中的每个图像旋转90°的角度并在显示单元上立体显示图像。

立体图像显示装置还包括设定所选图像组是否旋转的设定单元，其中显示控制单元在设定单元执行旋转图像的设定时进行控制，以将所选图像组中的每个图像旋转显示视差方向与图像视差方向彼此匹配时的角度并在显示单元上立体显示图像。

显示控制单元在设定单元执行不旋转图像的设定时进行控制，以在显示单元上显示表示图像的旋转角度或显示单元的旋转方向的信息，以使得显示视差方向与图像视差方向彼此匹配。

本发明提供了一种立体图像显示装置，其包括：显示单元，其能够立体显示具有在预定显示视差方向上的视差的图像组；存储单元，其能够存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；选择单元，其从存储在存储单元中的图像组中选择所期望的图像组；确定单元，其确定显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作由选择单元选择的图像组；以及显示控制单元，其响应于确定单元确定显示视差方向与图像视差方向彼此不匹配来进行控制，以在显示单元上显示表示图像的旋转角度或显示单元的旋转方向的信息，使得显示视差方向与图像视差方向彼此匹配。

该信息是表示图像的旋转角度或显示单元的旋转方向的图形和/或符号。

显示视差方向是水平方向，具有在单一方向上的视差的图像组具有在水平方向或垂直方向上的视差，且具有在多个方向上的视差的图像组具有在水平方向和垂直方向上的视差。

显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在显示单元上立体显示具有在水平方向上的视差的图像组，同时在显示单元上显示信息，该信息指示可立体显示具有在垂直方向上的视差的图像组。

显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在显示单元上立体显示具有在水平方向上的视差的图像组，同时在显示单元上显示表示一状态的代表性图像，在该状态中，具有在垂直方向上的视差的图像组被旋转使得该视差与显示视差方向相匹配。

显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在显示单元上顺序或同时地立体显示通过将具有在垂直方向上的视差的所述图像组旋转所述视差与所述显示视差方向相匹配时的角度而得到的图像组和具有在水平方向上的视差的所述图像组。

立体图像显示装置还包括成像单元，其通过在垂直方向和水平方向上的瞳孔分割将来自对象的光通量分成四个光通量，并在分别对应于预定阵列中的滤色器的一组四个光电转换元件上形成四个光通量，以进行光电转换、输出具有分别对应于滤色器的颜色分量的一组四个视点图像信号；以及合成单元，其在由成像单元输出的具有分别对应于滤色器的颜色分量的该组四个视点图像信号中合成从在垂直方向上相邻的光电转换元件得到的两个视点图像信号和从在水平方向上相邻的光电转换元件得到的两个视点图像信号，以产生具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，其中存储单元存储已由合成单元产生的具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，作为具有在单一方向上的视差的图像组。

合成单元在由成像单元输出的具有分别对应于滤色器的颜色分量的该组四个视点图像信号中合成从在垂直方向上相邻的光电转换元件得到的两个视点图像信号和从在水平方向上相邻的光电转换元件得到的两个视点图像信号，以产生具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，且存储单元存储已由合成单元产生的具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，作为具有在多个方向上的视差的图像组。

显示控制单元在所选图像组具有在水平和垂直方向上的视差时，在成像单元的输出期间选择具有与显示视差方向相匹配的视差的图像组以立体显示所选图像组。

立体图像显示装置还包括姿态信息检测单元，其在来自成像单元的该组四个视点图像信号的输出期间检测姿态信息，其中，合成单元基于由姿态信息检测单元检测的姿态信息确定从在垂直方向上相邻的光电转换元件所得到的一组左视点图像信号和一组右视点图像信号，并合成所确定的这组左视点图像信号同时合成所确定的这组右视点图像信号，以产生具有在水平方向上的视差的图像组。

立体图像显示方法用于使能够立体显示具有在预定显示视差方向上的视差的图像组的立体图像显示装置执行下列步骤：存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；从图像组中选择所期望的图像组；确定显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作选择的图像组；以及响应于显示视差方向与图像视差方向彼此不匹配的确定来进行控制，以将所选图像组中的每个图像旋转显示视差方向与图像视差方向彼此匹配时的角度并立体显示图像。

立体图像显示方法用于使能够立体显示具有在预定显示视差方向上的视差的图像组的立体图像显示装置执行下列步骤：存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；从图像组中选择所期望的图像组；确定显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作选择的图像组；以及响应于显示视差方向与图像视差方向彼此不匹配的确定来进行控制，以显示表示图像的旋转角度或显示单元的旋转方向的信息，使得显示视差方向与图像视差方向彼此匹配。

本发明的有利效果

在本发明中，如果选择实际上不能被立体显示的视差图像，则所选图像在合适的方向上被旋转并被立体显示，从而不会给用户带来不舒适的感觉。在本发明中，由诸如图形的信息来表示可立体观看所选视差图像的方向。用户可以理解在通过识别出该信息而旋转图像时，图像将被立体显示。

附图说明

图1是单目立体成像装置的框图。

图2A示出在以0°的角度的垂直放置的情况下CCD的光接收表面的配置示例。

图2B示出在以+90°的角度的垂直放置的情况下CCD的光接收表面的配置示例。

图2C示出在以-90°的角度的垂直放置的情况下CCD的光接收表面的配置示例。

图3是合成处理的流程图。

图4A示出单目立体成像装置1如何处于“正常水平放置”。

图4B示出通过合成来得到的对应于单目立体成像装置的布置方向的视差图像。

图5A示出根据成像日期所记录的帧的示例。

图5B示出每一帧对应于具有在水平和垂直方向上的视差的一组四个图像的帧的示例。

图5C示出每一帧对应于具有在水平方向上的视差的一组两个图像的帧的示例。

图5D示出每一帧对应于具有在垂直方向上的视差的一组两个图像的帧的示例。

图6是旋转处理的流程图。

图7示出合成图像的旋转的示例。

图8是通知处理的流程图。

图9A示出包括合成图像R和L的视差图像的显示的示例。

图9B示出描述能够实现立体显示的旋转方向的信息的显示的示例。

图10是能够选择开/关的旋转处理的流程图。

图11是根据第四实施例的通知处理的流程图。

图12示出表示能够实现立体观看的显示设备的方向的信息的显示的示例。

图13示出表示能够实现立体显示的方向的信息的显示的示例。

图14示出指示能够实现平面显示的信息的显示的示例。

图15是根据第五实施例的通知处理的流程图。

图16示出指示在上下方向上的立体图像可被显示的图标的显示的示例。

图17示出具有在上下方向上的视差的图像的缩略图的显示的示例。

图18示出了顺序地显示具有在左右方向上的视差的图像组Image1-1和通过将具有在垂直方向上的双目视差的图像组Image1-2旋转90°的角度来得到的立体图像的示例。

图19示出了在一个屏幕上顺序地显示具有在水平方向上的双目视差的图像组Image1-1和通过将具有在垂直方向上的双目视差的图像组旋转90°的角来获得的立体图像Image1-2的示例。

图20是立体显示设备的框图。

实施例的描述

<第一实施例>

图1是示出单目立体成像装置1的第一实施例的框图。

单目立体成像装置1将捕获的图像记录在记录介质57上，且整个装置的操作由中央处理单元（CPU）40整体控制。在装置中的每个块的操作功率由电源单元60供应。

单目立体成像装置1包括操作单元38，例如快门按钮、模式盘、再现按钮、菜单/OK键、十字键和返回键。将来自操作单元38的信号输入到CPU40。CPU40基于输入信号来控制单目立体成像装置1中的每个电路，并执行例如透镜驱动控制、光圈驱动控制、成像操作控制、图像处理控制、图像数据记录/再现控制、用于立体显示的显示设备30的显示控制、以及电源开/关。

快门按钮是用于输入开始成像的指令的操作按钮，并包括两级按击型开关，其包括当按下一半时接通的S1开关和当完全按下时接通的S2开关。模式盘是用于选择用于捕获静止图像、人的场景位置、场景、夜景等自动成像模式和手动成像模式以及用于捕获移动图像的移动图像模式中的任一个的选择装置。

再现按钮是用于切换到再现模式的按钮，该再现模式用于在显示设备30上显示已被捕获并记录的静止图像或移动图像，诸如立体图像（3D（三维）图像、2D（二维）图像）。菜单/OK键是具有用作菜单按钮的功能和用作OK按钮的功能的操作键，该菜单按钮用于发出在显示设备30的屏幕上显示菜单的命令，而OK按钮用于发出确认并执行选择内容的命令。十字键是操作单元，其在四个方向（即上下以及左右方向）上输入指令，并且所起功能为用于从菜单屏幕选择项目并发出从每个菜单选择各种类型的设定项目的指令的按钮（光标移动操作装置）。十字键的上/下键所起的功能为在成像期间的变焦开关或在再现模式期间的再现变焦开关，且向左/向右键所起的功能为在再现模式期间的逐帧播放（向前/向后前进）按钮。当删除期望的目标（例如选择项目）且取消指令内容，或将当前操作状态返回到前一操作状态时，使用返回键。

在成像模式期间，表示对象的图像光经由成像透镜12、微透镜L和光圈（未示出）聚焦在固态图像传感器（在下文中被称为“CCD”）16的光接收表面上，该图像传感器16用作能够获取通过在垂直和水平方向上的瞳孔分割得到的视差图像的相位差图像传感器。成像透镜12由CPU40所控制的电机驱动器36来驱动，以使得执行焦点控制、变焦（焦距）控制等。光圈包括例如通过由CPU40所控制的光圈驱动单元（未示出）驱动的五个光圈叶片，并由1AV在五个阶段中控制到例如光圈值（f数）F2.8到F11。

CPU40经由定时发生器37执行CCD16中的电荷存储时间（快门速度）和来自CCD16的图像信号的读取控制。

基于从定时发生器37添加的读取信号，将存储在CCD16中的信号电荷读出为响应于信号电荷的电压信号。根据从构成CCD16的像素16a到16d读出的电压信号对每个像素的R、G和B信号进行采样和保持，并进行放大，且接着分别添加到A/D（模数）转换器20a到20d。A/D转换器20将顺序输入的R、G和B信号转换成数字R、G和B信号，并将R、G和B信号输出到图像输入控制器22。

图像信号处理单元24使经由图像输入控制器22输入的数字图像信号受到预定的信号处理，例如偏移处理、包括白平衡校正和敏感度校正的增益控制处理、γ校正处理和YC（亮度/色度）处理。

由图像信号处理单元24处理的上、下、左和右视点图像数据（3D图像数据）被输入到RAM（随机存取存储器）50。RAM50包括A区域和B区域，每个区域存储表示对应于一帧的3D图像的3D图像数据。在RAM50中，表示对应于一帧的3D图像的3D图像数据交替地重写在A区域和B区域中。从除了重写3D图像数据的区域以外的区域读出出自RAM50中的A区域和B区域的写入3D图像数据。将从RAM50中读出的3D图像数据转换成用于在3D图像信号处理单元34中立体显示的图像信号，并接着在视频编码器28中被编码，并接着输出到设置在相机的背面用于立体显示的显示设备30。因此，将3D对象图像显示在显示设备30的显示屏上。

显示设备30是能够通过视差屏障将立体图像（左视点图像和右视点图像）显示为具有在预定方向（在这里是水平方向）上的方向性的方向图像。然而，在显示设备30中使用的立体图像显示***不限于此。例如，立体图像显示***可通过佩戴专用眼镜（例如使用双凸透镜的眼镜、偏振眼镜或液晶快门式眼镜）来单独观看视点图像。

当用作操作单元38的快门按钮被按在第一级（按下一半）中时，CPU40开始AF（自动调焦）操作和AE（自动曝光）操作，以执行控制使得成像透镜12中的聚焦透镜经由电机驱动器36到达焦点对准位置。当快门按钮被按下一半时，在AE/AWB（自动白平衡）检测电路44中接收从A/D转换器20输出的图像数据。

在AE/AWB检测电路44中，在整个屏幕上的G信号被累积，或不同的权重被分别添加到屏幕的中心和周边处的G信号被累积。将它们的累积值输出到CPU40。CPU40根据从AE/AWB检测电路44输入的累积值计算对象的亮度（成像Ev（曝光值）），根据预定的程序图基于成像Ev确定光圈的可获得适当曝光的光圈值和CCD16的电子快门（快门速度），并基于所确定的光圈值经由光圈驱动单元控制光圈，同时基于所确定的快门速度经由定时发生器37控制CCD16中的电荷存储时间。可基于外部的光计量传感器来计算对象的亮度。

AF处理单元42是执行对比度AF处理或相位差AF处理的单元。当进行对比度AF处理时，左视点图像数据和右视点图像数据中的至少一个的在预定的聚焦区域内的图像数据部分的高频分量合并高频分量以计算表示焦点对准状态的AF估计值。通过控制成像透镜12中的聚焦透镜来执行AF控制，使得AF估计值变得最大。当进行相位差AF处理时，在左视点图像数据和右视点图像数据的分别对应于预定聚焦区域内的主像素和子像素的图像数据部分之间的相位差、以及散焦量基于表示该相位差的信息来找到。通过控制成像透镜12内的调焦透镜来执行AF控制，使得散焦量变为零。

当AE操作和AF操作结束且快门按钮被按在第二级（完全按下）中时，表示对应于从A/D转换器20输出的像素的上下以及左右视点图像的图像数据响应于该按下而从图像输入控制器22输入到RAM50，并被临时存储。

临时存储在RAM50中的图像数据按需要由图像信号处理单元24读出。在这里，执行预定的信号处理，其包括用于图像数据的亮度数据和色差数据的生成处理（YC处理）。受到YC处理的图像数据（YC数据）再次存储在RAM50中。接着，YC数据分别被输出到图像信号处理单元24，受到诸如JPEG（联合图像专家组）的预定压缩处理，并再次存储在存储器48中。

多图片文件（MP文件：以多个图像彼此连接的格式的文件）从存储在RAM50中的上和下以及左和右视点图像的YC数据（压缩数据）产生。MP文件由介质记录控制单元52读出，并被记录在记录介质57上。

扬声器53根据语音输入/输出处理单元54所执行的控制来产生语音。语音内容存储在ROM（只读存储器）55中。麦克风56与图像的记录同步地获取语音，并将所获取的语音转换成模拟语音信号。模拟语音信号经由语音输入/输出处理单元54转换成压缩数字语音数据，并被记录在RAM50和记录介质57上。

视差校正单元63使用对应于小区域的恢复滤波器使覆盖每个视点图像的小区域接受去卷积，以恢复在相对应的视点图像中的小区域。具体地，视差校正单元63基于对每个小区域计算的相位差找到对应于每个小区域的散焦量。分别对应于在有效像素区域上找到的小区域的一组散焦量被称为散焦图。视差校正单元63将找到的散焦图临时存储在RAM50等中。视差校正单元63可检测视点图像之间的特征点和对应点，并基于特征点与对应点之间的位置信息中的差来产生散焦图。

ROM55存储对应于在每个视点图像中的每个小区域中的高度（距图像中心的距离，通常是距成像透镜12的光轴中心L的距离）及其散焦量（或对象距离）的恢复滤波器。视差校正单元63使用针对每个视点图像中的每个小区域所选择的恢复滤波器来使小区域接受去卷积，以恢复在相对应的视点图像中的小区域。因此，可对图像给出对应于散焦量（模糊量）的视差。

当从操作单元38选择立体图像显示模式时，3D图像信号处理单元34使用立体图像数据合成存储在RAM50中的右眼图像和左眼图像，用于通过显示设备30执行立体显示。例如，当显示设备30使用视差屏障***时，3D图像信号处理单元34以条形状分割右眼图像和左眼图像，以产生具有以交替布置在其中的条形状的图像的立体图像数据，并将立体图像数据输出到视频编码器28。图像选择单元71从四个视点图像中选择将与右眼图像和左眼图像合成在一起的视点图像。图像旋转处理单元72将由图像选择单元71选择的图像旋转能够立体显示该图像的角度。视线显示控制单元73在显示设备30上显示信息，该信息表示显示设备30的可立体显示由图像选择单元71选择的图像的方向。

图2A示出CCD16的光接收表面的配置的示例。如图2A所示，将红色、蓝色或绿色滤色器、在对应于滤色器的四个视点处的一组像素A、B、C和D、和对应于这组四个像素的微透镜ML布置在CCD16的光接收表面上。包括滤色器、一组四个像素和微透镜的光接收单元以拜耳（Bayer）形式排列。

当在CCD16的半导体衬底表面部分中将三原色（即，红色（R,r）、绿色（G,g）和蓝色（B,b））的相应滤色器排列在以方点阵形状形成的上述这组四个像素上时，拜耳阵列为以下配置：每一行具有交替排列在其中的红色和绿色滤光器的行和每一行具有交替布置在其中的绿色和蓝色滤光器的行交替地设置在列方向上。

在图2A到2C中，XY平面是CCD16的光接收表面，X方向是行方向，而Y方向是列方向。如从摄影师来看，像素A和C以及像素B和D分别位于其左侧和右侧上。Z是透镜12的光轴方向，且指向对象的方向（从图中的纸的前表面到后表面的方向）是正方向。如果X方向和Y方向分别匹配于水平方向和垂直方向，则单目立体成像装置1处于“水平放置”。如果X方向和Y方向分别匹配于垂直方向和水平方向，则单目立体成像装置1处于“垂直放置”。

如图2A所示，如果单目立体成像装置1处于水平放置且Y方向的正方向（从列C到列A的方向）垂直地指向上，则单目立体成像装置1处于“正常水平放置”或“成0°的角度的水平放置”。

如果Y方向的正方向垂直地指向下，虽然单目立体成像装置1处于水平放置，则单目立体成像装置1处于“成+180°的角度的水平放置”。

如果X方向的正方向（从像素A到像素B的方向）垂直地指向上，则单目立体成像装置1处于垂直放置，即，如图2B所示，如果单目立体成像装置1在从摄影师来看的逆时针方向上旋转90°的角度，则单目立体成像装置1处于“成+90°的角度的垂直方向”。

如果X方向的正方向垂直地指向下，则单目立体成像装置1处于垂直放置，即，如图2C所示，如果单目立体成像装置1在从摄影师来看的顺时针方向上旋转90°的角度，单目立体成像装置1处于“成-90°的角度的垂直放置”。

诸如陀螺仪的姿态传感器70检测包括绕着Z轴为中心的CCD16的旋转方向和旋转角度的姿态信息。CPU40执行对姿态传感器70的控制以在成像开始时刻（例如，当快门按钮被按下一半/完全按下时）检测姿态信息。作为这个控制的结果，从姿态传感器70获得的姿态信息与上和下以及左和右视差图像相匹配，并被记录在记录介质57上。例如，姿态信息被记录为关于存储上和下以及左和右视差图像的图像文件的标签信息（例如，Exif旋转标签）。通过参考姿态信息，可确定在四个视点图像的捕获期间单目立体成像装置1处于“正常水平放置”、“成+180°的角度的水平放置”、“成-90°的角度的垂直放置”和“成+90°的角度的垂直放置”中的哪一个。

入射在这组像素上的对象光在水平方向（左右方向）和垂直方向（上下方向）上由诸如遮光构件或反射镜（未示出）的瞳孔分割装置进行瞳孔分割。因此，具有在垂直方向（上下方向）和水平方向（左右方向）上的视差的对象图像在构成这组四个像素的每一像素上形成。

图3是示出由单目立体成像装置1执行的合成处理的流程图。将用于使单目立体成像装置1执行下面的处理的程序记录在诸如ROM55的计算机可读记录介质中。根据来自操作单元38的立体显示模式的选择开始该处理。也可由除了单目立体成像装置1以外的信息处理装置（例如，下述的立体显示设备10或个人计算机）来执行该处理。

在S1中，图像选择单元71在视差图像的获取期间从RAM50和记录介质57读出一组四个视差图像和姿态信息。在记录介质57中，这组四个视差图像被记录为MP（多处理器）文件。图像选择单元71根据读取的姿态信息确定是否以“成+0°的角度的水平放置”捕获了视差图像。如果回答是肯定的，则该处理继续进行到S2。如果回答是否定的，则该处理行进到S3。

在S2中，图像选择单元71选择来自像素A的图像信号和来自像素C的图像信号作为在合成图像L的合成源处的图像，并选择来自像素B的图像信号和来自像素D的图像信号作为在合成图像R的合成源处的图像。3D图像信号处理单元34根据图像选择单元71的选择产生通过合成来自像素A的图像信号和来自像素C的图像信号得到的合成图像L以及来自像素B的图像信号和来自像素D的图像信号的合成图像R。

在S3中，3D图像信号处理单元34根据读取的姿态信息确定是以“成+90°的角度的垂直放置”还是以“成-90°的角度的垂直放置”来捕获视差图像。如果回答是肯定的（以“成+90°的角度的垂直放置”捕获视差图像），则该处理行进到S3。如果回答是否定的（以“成-90°的角度的垂直放置”来捕获视差图像），则该处理行进到S5。

在S4中，图像选择单元71选择来自像素A的图像信号和来自像素B的图像信号作为在合成图像L的合成源处的图像，并选择来自像素C的图像信号和来自像素D的图像信号作为在合成图像R的合成源处的图像。3D图像信号处理单元34根据图像选择单元71的选择产生像素A和B的合成图像L以及像素C和D的合成图像R。

在S5中，图像选择单元71选择来自像素C的图像信号和来自像素D的图像信号作为在合成图像L的合成源处的图像，并选择来自像素A的图像信号和来自像素B的图像信号作为在合成图像R的合成源处的图像。3D图像信号处理单元34根据图像选择单元71的选择产生像素C和D的合成图像L以及像素C和D的合成图像L。

在S6中，3D图像信号处理单元34控制视频编码器28以在显示设备30上将合成图像L显示为用于左眼显示的图像和将合成图像R显示为用于右眼显示的图像。

图4B示出被合成为对应于单目立体成像装置1的布置方向的视差图像。如果如图4A所示单目立体成像装置1处于如从观看者来看的“正常水平放置”，则成像表面的指向如图2A所示。在这种情况下，在左右方向上的视差存在于像素A和C的合成图像L与像素B和D的合成图像R之间，该合成图像L和合成图像R已在S2中产生。因此，合成图像L变成用于左眼显示的图像，而合成图像R变成用于右眼显示的图像。

如果单目立体成像装置1处于在逆时针方向上从“正常水平放置”旋转+90°角的“成+90°角度的垂直放置”（图2B），则在左右方向上的视差存在于像素A和B的合成图像L与像素C和D的合成图像R之间，该合成图像L和合成图像R已在S4中产生。因此，合成图像L变成用于左眼显示的图像，而合成图像R变成用于右眼显示的图像。

如果单目立体成像装置1处于在逆时针方向上从“正常水平放置”旋转-90°角的“成-90°角度的垂直放置”（图2C），在左右方向上的视差存在于像素C和D的合成图像L与像素A和B的合成图像R之间，该合成图像L和合成图像R已在S5中产生。因此，合成图像L变成用于左眼显示的图像，而合成图像R变成用于右眼显示的图像。

如果图2所示的XY平面绕着Z轴为中心旋转+180°的角度，且单目立体成像装置1处于从水平放置旋转+180°角的“成+180°角度的垂直放置”（其图示被省略），在左右方向上的视差存在于像素B和D的合成图像L与像素A和C的合成图像R之间。因此，合成图像L变成用于左眼显示的图像，而合成图像R变成用于右眼显示的图像。然而，并不通常假定以“成+180°角度的水平放置”来捕获图像，且因此并不省略其描述。

因此，可根据在单目立体成像装置1的成像期间的方向来产生合成图像L和R，以使得合成图像L和R可被显示为立体图像。

在上述合成处理中，产生并显示用于右眼显示和左眼显示的合成图像L和R。单目立体成像装置1也可在记录介质57上记录一组合成图像L和R而不是显示合成图像L和R。因此，在能够获取在上下以及左右方向上的视差图像的单目立体成像装置1中，如果只有在上下方向上的视差图像或在左右方向上的视差图像被合成和记录，则数据量可减小到当在上下以及左右方向上的所有视差图像均被记录时的一半。

然而，在这种情况下，可以将包括合成图像L和R的帧（二视点图像）和包括在上下以及左右方向上的没有被合成的视差图像的帧（四视点图像）在记录介质57中混合。在单目立体成像装置1的成像期间的方向并不必与在显示装置30的立体显示期间的方向相匹配。因此，包括合成图像L和R的帧可以不被立体显示，即使实际上被显示。

例如，如图5A所示，帧Image1到Image6根据成像日期被记录在记录介质57上。如图5B所示，帧Image1到Image3中的每一个是具有在水平和垂直方向上的视差的一组四个图像。如图5C所示，帧Image4到Image5中的每一个是具有在水平方向上的视差的一组两个图像。如图5D所示，帧Image6是具有在垂直方向上的视差的一个图像组。帧Image4和Image5中的每一个在上述合成处理中的S4中产生，而帧Image6在上述合成处理中的S5中产生。

如果具有在水平方向上的视差的图像组实际上被布置在以成0°角度的水平放置的显示设备30中，则帧Image1到Image5中的每一个被识别为立体图像。这如在上述合成处理中的S2中的那样。

然而，对于帧Image6，在单目立体成像装置1的成像期间的方向在成像期间是成-90°角度的垂直放置，其并不与在浏览图像期间的成0°角度的水平放置相匹配。当以成0°角度的水平放置的单目立体成像装置1显示帧Image6时，因此实际上显示了通过旋转-90°角度而得到的图像。此外，帧Image6的视差方向是垂直方向，且因此帧Image6未被立体显示。

如果用户继续前进并浏览帧Image1到Image6，则帧Image1到Image5被立体地显示。然而，帧Image6未被立体显示。因此，给了用户不舒服的感觉，也造成用户眼睛疲劳。

针对对应于实际上无法作为立体图像被浏览的二视点图像的帧，执行下面的旋转处理。

图6是旋转处理的流程图。根据从操作单元38选择的立体显示模式来开始该处理。当该处理被执行时，单目立体成像装置1处于成0°角度的水平放置。给与已经描述的处理步骤相同的处理步骤分配相同的附图标记。

在S11中，3D图像信号处理单元34根据对操作单元38的帧选择操作来读出对应于从记录介质57选择的视差图像的帧。3D图像信号处理单元34确定所读取的帧是具有在上下以及左右方向上的视差的四视点图像，还是具有在上下方向或左右方向上的视差的二视点图像。如果回答是肯定的（四视点图像），则该处理行进到合成处理。如果回答是否定的（二视点图像），则该处理行进到S13。

在S13中，3D图像信号处理单元34确定所读取的帧是具有在左右方向上的视差的二视点图像，还是具有在上下方向上的视差的二视点图像。如果回答是肯定的（在左右方向上的视差），则该处理行进到S14。如果回答是否定的（在上下方向上的视差），则该处理行进到S15。

在S14中，3D图像信号处理单元34从对应于所读取的帧的视差图像合成用于执行立体显示的立体图像数据。显示设备30基于立体图像数据执行立体显示。

在S15中，图像旋转处理单元72计算从在视差图像的获取期间的姿态信息到当前姿态信息的角度差，并在消除角度差的方向上旋转对应于所读取的帧的视差图像。3D图像信号处理单元34从旋转之后的视差图像合成用于执行立体显示的立体图像数据。显示设备30基于立体图像数据执行立体显示。

通过前述处理，实际上不能被立体显示的二视点图像可在合适的方向上被旋转并被立体显示，从而不会给用户不舒服的感觉。

例如，如果在单目立体成像装置1处于“成-90°角度的垂直放置”时所捕获的帧Image6在“正常水平放置”中被显示，则视差图像的视差方向与显示视差方向彼此不匹配。因此，对应于帧Image6的合成图像L和R旋转+90°的角度，使得对应于帧Image6的合成图像L和R的视差方向和在浏览期间单目立体成像装置1的显示视差方向彼此匹配，从而如图7所示，帧Image6也可作为立体图像被浏览。

<第二实施例>

尽管在第一示例性实施例的旋转处理中，在能够实现立体显示的方向上自动旋转二视点图像，然而替代旋转处理，可执行用于向用户呈现表示能够实现立体显示的方向的信息的处理。

图8是根据第二示例性实施例的通知处理的流程图。根据从操作单元38选择的立体显示模式开始该处理。给与已经描述的处理步骤相同的处理步骤分配相同的附图标记。

S11到S13类似于在旋转处理中的步骤。如果在S13中回答是否定的，则该处理行进到S21。

在S21中，3D图像信号处理单元34通知视差图像的视差方向不同于显示视差方向。例如，如图9A所示，包括合成图像R和L的视差图像Image6被显示。在合成处理中的S4中产生合成图像R和L。在这种情况下，在成像期间的姿态信息（在图像捕获期间的垂直方向）由图形表示，且描述能够实现立体显示的旋转方向的语句被一起显示。用户能够明白如果通过认可该通知来旋转图像，则图像将被立体显示。在通知处理之后，可响应于来自用户的指令执行旋转处理。

<第三实施例>

在第一和第二示例性实施例中，可响应于打开或关闭旋转视点图像的功能来执行旋转处理或通知处理。图10是其流程图。

在S31中，确定打开或关闭自动旋转视点图像的功能的指令是否从操作单元38发出。如果打开该功能的指令被发出，则处理行进到在第一示例性实施例中的旋转处理。如果关闭该功能的指令被发出，则该处理行进到在第二示例性实施例中的通知处理。

通过上述处理，响应于来自用户的指令来执行图像的自动旋转或视差图像的视差方向不同于显示视差方向的通知。

<第四实施例>

如果显示设备30能够立体显示不仅在水平方向上而且在垂直方向上的视差（例如，PTL3），则可以代替在第二和第三实施例中呈现在通知处理中图像的旋转方向，而通知表示能够实现立体观看的显示设备30的旋转方向的信息。

图11是根据第四实施例的通知处理的流程图。

S11到S13类似于上述的步骤。然而，如果在S13中回答是否定的，则该处理行进到S61。

在S61中，视线显示控制单元73显示表示能够实现立体观看的显示设备30的旋转方向的信息。

例如，如图5A所示，帧Image1到Image6被推进、选择和显示。帧Image6在合成处理中的S4中被产生，并具有在垂直方向上的视差。

在这种情况下，帧Image6具有在垂直方向上的视差。如果显示设备30处于从正常水平放置旋转90°角度的成90°的角度的垂直放置，帧Image6的视差方向与左右双目视差方向相匹配，且帧Image6被识别为立体图像。如图12所示，显示信息I，例如表示能够实现立体观看的显示设备30的方向的图形和符号。代替通知处理中的S22，而执行该处理。

如果用户根据该信息I将显示设备30旋转+90°的角度，则他/她可观看作为立体图像的帧Image6，因为帧Image6的视差方向与显示设备30的显示视差方向彼此匹配。该图像可被自动旋转，如在上述旋转处理中的一样。然而，当如果用户本人在适当的方向上旋转显示设备30，而实现立体显示时，则通过向用户呈现适当的旋转方向而将实际旋转委托给用户。

当具有在上下以及左右方向上的视差的图像组被选择时，3D图像信号处理单元34可在能够实现立体显示的方向上显示诸如图形和符号的信息（图13）。对于无法被立体显示的一组平面图像，可以显示指示能够实现平面显示的信息，例如图形和符号（图14）。

<第五实施例>

在第一到第四实施例中，当选择具有在上下方向以及左右方向上的视差的图像组时，可呈现指示在上下方向上的立体图像可被显示的信息。

图15是根据第五实施例的通知处理的流程图。

S11到S15类似于上述的步骤。然而如果在S11中回答是肯定的，该处理行进到合成处理。该处理接着继续行进到S41。

在S41中，视线显示控制单元73显示图标M，其指示在上下方向上的立体图像可被显示在选择的帧上。图16示出其示例。

如果获取在上下以及左右方向上的视差图像，则可立体显示只包括在左右方向上的视差图像的图像组以及包括在上下方向上的视差图像的图像组。然而，当图像组之一被立体显示时，观看者可能没有发现其它图像组的存在。然而，用户可以通过观看图标M知道如果旋转则存在能够显示立体图像的视差图像。

在上述处理中，可被立体地显示的具有在上下方向上的视差的图像的代表性图像（平面图像、缩略图图像等）可被显示，而代替如图16所示的图标M。

例如，如图17所示，对应于帧Image1的具有在上下方向上的视差的图像的缩略图J1连同帧Image1一起被显示。通过减小在图5B中所示的具有在上下方向上的视差的Image1-U或Image1-D来产生缩略图。

<第六实施例>

尽管在第五实施例中显示了对应于选择帧的具有在上下方向上的视差的图像的代表性图像，但可替代地显示在能够立体显示的方向上的所有视差图像。

从如图5A所示的帧Image1到Image6中，选择包括在上下以及左右方向上的视差图像的帧图像1。如图5B所示，帧Image1包括Image1-1和Image1-2。Image1-1和Image1-2分别是具有在左右方向上的视差以及在上下方向上的视差的两个视差图像的组。在这种情况下，如图18所示，具有在左右方向上的视差的图像组Image1-1和通过将具有在垂直方向上的双目视差的图像组Image1-2旋转90°的角度来得到的立体图像被顺序地显示。

因此，用户可顺序地观看在不同的视差方向上的立体图像，并可比较并检查他/她自己选择的立体图像。

可替换地，在能够立体显示的方向上的所有图像可显示在一个屏幕上。

例如，如图19所示，将具有在水平方向上的双目视差的图像组Image1-1和通过将具有在垂直方向上的双目视差的图像组旋转90°的角度得到的立体图像Image1-2中的每一个显示在一个屏幕上。

在第一帧显示的情况下，显示不同视差方向上的两个立体图像。在第二帧显示的情况下，可仅显示这两个立体图像中的由操作单元38选择的一个立体图像。

因此，用户可同时看到在不同视差方向上的立体图像，并可比较和检查他/她自己选择的立体图像。

即使选择具有在上下以及左右方向上的视差的帧Image2或Image3，也执行类似的立体显示，如在帧Image1中的那样。如果选择包括在水平方向上的视差的帧Image4或Image5，则实际上显示了具有在水平方向上的双目视差的图像组。对于帧Image6，执行在上述实施例中的旋转处理和通知处理。

<第七实施例>

也可通过包括与在单目立体成像装置1中的显示相类似的显示相关的块的显示设备来执行在第一到第六实施例中描述的各种类型的处理（合成处理、旋转处理和通知处理）。

图20是立体显示装置10的框图。与立体图像的显示相关的块（其类似于在单目立体成像装置1中的块）被分配与在单目立体成像装置1中的附图标记相同的附图标记。记录介质57记录由单目立体成像装置1捕获的视差图像。操作单元38主要接受与图像的显示相关的操作，且不需要接受与成像相关的操作。

每当从记录介质57选择能够显示合成图像的一组视差图像（帧）时，则可以重复前述处理。

附图标记列表

30—显示设备，34—3D图像信号处理单元，71—图像选择单元，72—图像旋转处理单元，73—视线显示控制单元。

Claims (16)

1.一种立体图像显示装置，包括：

显示单元，其能够立体显示具有在预定显示视差方向上的视差的图像组；

存储单元，其能够存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；

选择单元，其从存储在所述存储单元中的所述图像组中选择所期望的图像组；

确定单元，其确定所述显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作由所述选择单元选择的图像组；以及

显示控制单元，其响应于所述确定单元确定所述显示视差方向与所述图像视差方向彼此不匹配来进行控制，以将所选图像组中的每个图像旋转所述显示视差方向与所述图像视差方向彼此匹配时的角度并在所述显示单元上立体显示所述图像。

2.根据权利要求1所述的立体图像显示装置，其中

所述显示控制单元在所述显示视差方向是水平方向而所述图像视差方向是垂直方向时进行控制，以将所选图像组中的每个图像旋转90°的角度并在所述显示单元上立体显示所述图像。

3.根据权利要求1或2所述的立体图像显示装置，还包括：

设定单元，其设定所选图像组是否旋转，

其中，所述显示控制单元在所述设定单元执行旋转图像的设定时进行控制，以将所选图像组中的每个图像旋转所述显示视差方向与所述图像视差方向彼此匹配时的角度并在所述显示单元上立体显示所述图像。

4.根据权利要求3所述的立体图像显示装置，其中

所述显示控制单元在所述设定单元执行不旋转图像的设定时进行控制，以在所述显示单元上显示表示所述图像的旋转角度或所述显示单元的旋转方向的信息，使得所述显示视差方向与所述图像视差方向彼此匹配。

5.一种立体图像显示装置，包括：

显示单元，其能够立体显示具有在预定显示视差方向上的视差的图像组；

存储单元，其能够存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；

选择单元，其从存储在所述存储单元中的所述图像组中选择所期望的图像组；

确定单元，其确定所述显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作由所述选择单元选择的图像组；以及

显示控制单元，其响应于所述确定单元确定所述显示视差方向与所述图像视差方向彼此不匹配来进行控制，以在所述显示单元上显示表示所述图像的旋转角度或所述显示单元的旋转方向的信息，以使得所述显示视差方向与所述图像视差方向彼此匹配。

6.根据权利要求5所述的立体图像显示装置，其中

所述信息是表示所述图像的旋转角度或所述显示单元的旋转方向的图形和/或符号。

7.根据权利要求1到6中的任一项所述的立体图像显示装置，其中

所述显示视差方向是水平方向，

具有在单一方向上的视差的所述图像组具有在水平方向或垂直方向上的视差，以及

具有在多个方向上的视差的所述图像组具有在水平方向和垂直方向上的视差。

8.根据权利要求7所述的立体图像显示装置，其中

所述显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在所述显示单元上立体显示具有在水平方向上的视差的图像组，同时在所述显示单元上显示信息，所述信息指示具有在垂直方向上的视差的所述图像组可以被立体显示。

9.根据权利要求7所述的立体图像显示装置，其中

所述显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在所述显示单元上立体显示具有在水平方向上的视差的图像组，同时在所述显示单元上显示表示一状态的代表性图像，在所述状态中，具有在垂直方向上的视差的所述图像组被旋转以使得所述视差与所述显示视差方向相匹配。

10.根据权利要求8所述的立体图像显示装置，其中

所述显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时进行控制，以在所述显示单元上顺序或同时地立体显示通过将具有在垂直方向上的视差的所述图像组旋转所述视差与所述显示视差方向相匹配时的角度而得到的所述图像组和具有在水平方向上的视差的所述图像组。

11.根据权利要求7到10中的任一项所述的立体图像显示装置，还包括：

成像单元，其通过在垂直方向和水平方向上的瞳孔分割将来自对象的光通量分成四个光通量，并在分别对应于预定阵列中的滤色器的一组四个光电转换元件上形成四个光通量以进行光电转换、输出具有分别对应于所述滤色器的颜色分量的一组四个视点图像信号；以及

合成单元，其在由所述成像单元输出的具有分别对应于所述滤色器的颜色分量的该组四个视点图像信号中合成从在垂直方向上相邻的所述光电转换元件得到的两个视点图像信号和从在水平方向上相邻的所述光电转换元件得到的两个视点图像信号，以产生具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，

其中，所述存储单元存储已由所述合成单元产生的具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，作为具有在单一方向上的视差的图像组。

12.根据权利要求11所述的立体图像显示装置，其中

所述合成单元在由所述成像单元输出的具有分别对应于所述滤色器的颜色分量的该组四个视点图像信号中合成从在垂直方向上相邻的所述光电转换元件得到的两个视点图像信号和从在水平方向上相邻的所述光电转换元件得到的两个视点图像信号，以产生具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，以及

所述存储单元存储由所述合成单元产生的具有在水平方向上的视差的图像组和具有在垂直方向上的视差的图像组，作为具有在多个方向上的视差的图像组。

13.根据权利要求12所述的立体图像显示装置，其中

所述显示控制单元在所选图像组具有在水平方向和垂直方向上的视差时，在所述成像单元的输出期间选择具有与所述显示视差方向相匹配的视差的图像组以立体显示所选图像组。

14.根据权利要求11到13中的任一项所述的立体图像显示装置，还包括：

姿态信息检测单元，其在来自所述成像单元的该组四个视点图像信号的输出期间检测姿态信息，

其中，所述合成单元基于由所述姿态信息检测单元检测的姿态信息确定从在垂直方向上相邻的光电转换元件得到的一组左视点图像信号和一组右视点图像信号，并合成所确定的该组左视点图像信号，同时合成所确定的该组右视点图像信号，以产生具有在水平方向上的视差的图像组。

15.一种立体图像显示方法，其用于使能够立体显示具有在预定显示视差方向上的视差的图像组的立体图像显示装置执行下列步骤：

存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；

从所述图像组中选择所期望的图像组；

确定所述显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作选择的图像组；以及

响应于所述显示视差方向与所述图像视差方向彼此不匹配的确定来进行控制，以将所选图像组中的每个图像旋转所述显示视差方向与所述图像视差方向彼此匹配时的角度并立体显示所述图像。

16.一种立体图像显示方法，其用于使能够立体显示具有在预定显示视差方向上的视差的图像组的立体图像显示装置执行下列步骤：

存储具有在单一方向上的视差的图像组和具有在多个方向上的视差的图像组；

从所述图像组中选择所期望的图像组；

确定所述显示视差方向与用作所选图像组的单一视差方向的图像视差方向是否彼此匹配，所选图像组用作选择的图像组；以及

响应于所述显示视差方向与所述图像视差方向彼此不匹配的确定来进行控制，以显示表示所述图像的旋转角度或所述显示单元的旋转方向的信息，使得所述显示视差方向与所述图像视差方向彼此匹配。

Images