CN103733618A - 图像处理装置 - Google Patents

Abstract

显示图像生成部（134）根据模式设定部（112）设定的显示输出模式，生成显示图像。通知图像生成部（116）生成用于表示能够切换显示输出模式的通知图像。判定部（114）判定通知图像的生成条件是否成立。在判定部（114）判定通知图像的生成条件成立的情况下，通知图像生成部（116）生成通知图像。通知图像表示用于切换显示输出模式的操作。

Description

图像处理装置

技术领域

本发明涉及图像处理技术。

背景技术

作为3D（3维）电视的代表的3D显示器日益普及。3D显示器使用户看到左眼用和右眼用的图像，从而提供具有立体感的视频。3维显示器的种类有多种方式，但用户戴着左右的观察方式不同的眼睛的类型的显示器普遍地流通。近年来，根据图像处理技术，在2D（2维）图像上加上运算处理，从而变得也能够制作出左眼用图像和右眼用图像。

伴随数字摄相机的功能以及性能的提升，规定了将相互具有关联的多个图像数据汇总并记录的格式。由摄像机视频设备工业会（Camera&ImagingProducts Association）制定的规格（standard）定义用于记录多个图像数据的数据结构，并规定利用了该数据结构的被称作“多图片格式（Multi-Picture Format）”的格式。多图片格式中定义“多视图”作为图像的类别，作为细分多视图具有“立体视”的类别。该图像类别在数字摄像机的摄影时，通过用户设定摄影模式而被决定，被摄影的2个图像数据通过数字摄像机的内部电路，作为包含图像类别代码的1个图像文件而被汇总。

现有技术文献

非专利文献

非专利文献1:“Standard of the Camera&Imaging Products Association,CIPA DC-007-Translation-2009,Multi-Picture Format”、Camera&Imaging Products Association，2009年2月4日，因特网＜URL:http://www.cipa.jp/english/hyoujunka/kikaku/pdf/DC-007_E.pdf＞

发明内容

发明要解决的课题

3D图像利用左右图像的偏移（视差量），产生出立体感。本发明人作为知识明白了若在连续显示多个3D图像的情况下各自的3D图像的视差量不同，则存在给予用户不谐调感的可能性。此外本发明人作为知识明白了将3D图像在画面中移动的情况下，也同样地存在给予用户不谐调感的可能性。因此本发明人完成开发用于提供3D显示器中用户能够舒适地观看的图像的技术。此外，用户经常考虑想将用数字摄相机摄影的3D相片3D显示，但是另一方面，也存在即使在3D显示器中还是想2D显示的用户。这是因为依照用户的喜好而异，所以优选为能够对用户提供适当的选项。

因此本发明目的在于提供用于适当地再现图像数据的技术。

用于解决课题的手段

为了解决上述课题，本发明的一个方式的图像处理装置具备：模式设定部，选择性地设定2D显示输出模式和3D显示输出模式；显示图像生成部，根据模式设定部设定了的显示输出模式而生成显示图像；通知图像生成部，生成表示能够切换显示输出模式的通知图像；以及判定部，判定通知图像的生成条件是否成立。在判定部判定通知图像的生成条件成立的情况下，通知图像生成部生成通知图像。

另外，即使以上的结构要素的任意的组合、或将本发明的表现在方法、装置、***、记录介质、计算机程序等之间变换，依然作为本发明的方式有效。

发明的效果

根据本发明的信息处理技术，使得能够提供适当地再现图像数据的技术。

附图说明

图1是表示本发明的实施例的图像处理***的使用环境的图。

图2是表示输入装置的外观结构的图。

图3是图像处理装置的功能模块图。

图4是主要表示控制部的功能模块的图。

图5是表示显示装置中显示的菜单画面的一例的图。

图6是表示在显示画面上重叠显示的通知图像的图。

图7是表示确认画面的图。

图8（a）以及（b）是交叉淡化演示的说明图。

图9（a）以及（b）是正常演示的说明图。

图10是表示将多个相片图像网格显示的例的图。

图11是在图像上显示菜单显示区域的例的图。

具体实施方式

图1表示本发明的实施例的图像处理***1的使用环境。图像处理***1具备：输入装置20，用户进行操作；图像处理装置10，执行图像处理软件；以及显示装置12，输出图像处理装置10的处理结果。显示装置12是3D显示器，可以是具有输出图像的显示器以及输出声音的扬声器的电视，也可以是计算机显示器。显示装置12可以通过有线电缆连接到图像处理装置10，也可以通过无线LAN（Local Area Network，局域网）而无线连接。另外图像处理装置10、输入装置20以及显示装置12也可以形成一个整体，作为搭载了图像处理功能的移动终端装置而构成。

在图像处理***1中，图像处理装置10经由电缆14与个人计算机等的外部设备连接，能够从外部设备获得图像数据。此外图像处理装置10具有USB（Universal Serial Bus，通用串行总线）端子，通过USB电缆与数字摄相机连接，能够从数字摄相机获取图像数据。此外图像处理装置10具有介质驱动器，可以从ROM介质获取图像数据，也可以通过经由网络而从外部服务器等获取图像数据。

图像处理装置10例如是游戏装置，通过装载图像处理用的应用程序，从而实现图像处理功能。另外图像处理装置10可以是个人电脑，也可以通过装载图像处理用的应用程序，从而实现图像处理功能。

本实施例的图像处理装置10具有利用以多图片格式作为立体视图像而摄影的图像数据，在显示装置12上显示3D图像的功能。此外图像处理装置10也可以具有将2D图像数据变换为3D图像数据，并显示3D图像的功能。

此外图像处理装置10还具有执行3维计算机图形（3DCG）的功能。图像处理装置10具有几何引擎以及渲染引擎，几何引擎在设定了光源和虚拟摄像机的设定的基础上进行透视变换，渲染引擎以透视变换后的数据为基础，在帧缓冲器中渲染目标。几何引擎以各自的视线方向交叉的方式设定2台虚拟摄像机，渲染引擎通过渲染来自各自的虚拟摄像机的数据，能够在显示装置12上显示3D图像。

图2表示输入装置20的外观结构。输入装置20在其机壳表面作为用户能够操作的操作部件，具备十字键21、模拟摇杆27a、27b、以及4种操作按钮26。4种操作按钮26由○按钮22、×按钮23、□按钮24以及△按钮25构成。此外在输入装置20的机壳背面，在左侧设置了L1按钮29a、在右侧设置了R1按钮29b。用户用左手抓握左把手28a，用右手抓握右把手28b，对各操作部件进行操作。

输入装置20具有将由用户输入的操作信号传输到图像处理装置10的功能，在本实施例中能够与图像处理装置10之间无线通信。输入装置20和图像处理装置10也可以利用蓝牙（Bluetooth）（注册商标）协议或IEEE802.11协议等来确立无线连接。另外输入装置20也可以经由电缆与图像处理装置10连接，将由用户输入的操作信号传输到图像处理装置10。

图3是表示图像处理装置10的功能模块图。图像处理装置10具有无线接口40、开关42、显示处理部44、硬盘驱动器50、记录介质安装部52、磁盘驱动器54、主存储器60、缓冲存储器70以及控制部100。显示处理部44具有缓冲在显示装置12的显示器上显示的数据的帧存储器。

开关42是以太网开关（以太网是注册商标），即通过有线或者无线与外部的设备连接，进行数据的发送接收的器件。开关42与无线接口40连接，无线接口40通过规定的无线通信协议与输入装置20连接。在输入装置20中由用户输入的操作信号经由无线接口40、开关42，而被供给到控制部100。

此外，开关42经由电缆14连接到外部设备，从外部设备获取多个图像文件。图像文件可以是以多图片格式（以下，称作“MP格式”）规定的图像文件（以下，也称作“MP文件”），此外也可以是以JPEG或GIF等的通常的格式规定的图像文件。

硬盘驱动器50作为存储数据的辅助存储装置而发挥作用。经由开关42接收的图像文件被存储在硬盘驱动器50中。在显示处理时，存储在硬盘驱动器50中的图像文件被解码处理，而存储在缓冲存储器70中。

若存储卡等的可移动记录介质被安装，则记录介质安装部52从可移动记录介质读取数据。若读取专用的ROM磁盘被安装，则磁盘驱动器54驱动并识别ROM磁盘，读取数据。ROM磁盘也可以是光盘或光磁盘等。图像文件被存储在可移动记录介质或者ROM磁盘中，也可以从记录介质安装部52或者磁盘驱动器54安装到硬盘驱动器50中，此外也可以在显示处理的执行时，进行解码处理而存储在缓冲存储器70中。

控制部100具备多核CPU，一个CPU之中具有一个通用的处理器核、多个简单的处理器核。通用处理器核称作PPU（Power Processing Unit，Power处理单元），剩余的处理器核称作SPU（Synergistic-Processing Unit，协同处理单元）。

控制部100具备连接到主存储器60以及缓冲存储器70的存储器控制器。PPU具有寄存器，作为运算执行主体而具备主处理器，将作为所执行的应用中的基本处理单位的任务高效地分配给各SPU。另外，PPU自身也可以执行任务。SPU具有寄存器，具备作为运算执行主体的子处理器和作为本地的存储区域的本地存储器。本地存储器也可以作为缓冲存储器70而被使用。主存储器60以及缓冲存储器70被构成为RAM（随机存取存储器）。SPU具有专用的DMA（Direct Memory Access，直接存储器存取）控制器作为控制单元，能够高速地进行与主存储器60和缓冲存储器70之间的数据传送，此外能够在显示处理部44中的帧存储器和缓冲存储器70之间实现高速的数据传送。本实施例的控制部100通过并联动作多个SPU，从而实现高速的图像处理功能。显示处理部44连接到显示装置12，输出控制部100的图像处理结果。

图4主要表示控制部100的功能模块。控制部100具备输入接受部102、输出模式处理部110以及再现处理部130。输出模式处理部110具有管理显示处理部44的显示输出模式的功能，具备模式设定部112、判定部114、通知图像生成部116以及确认图像生成部118。再现处理部130具有再现图像数据的功能，具备再现控制部132、显示图像生成部134、显示对象决定部136以及图像数据读取部138。这些功能的至少一部分，通过在图像处理装置10中安装的图像再现应用（以下，称作“图像阅览器”）而实现。

在图4中，作为进行各种的处理的功能模块而被记载的各要素，在硬件上能够由CPU（Central Processing Unit，中央处理单元）、存储器、其他的LSI构成，在软件上能够通过装载在存储器中的程序等而实现。如已经叙述那样，控制部100中设置了1个PPU和多个SPU，PPU以及SPU能够各自单独或者协同，而构成各功能模块。因此，本领域技术人员明白这些功能模块能够通过仅硬件、仅软件、或者它们的组合，以各种形式而实现，并不限定于任意一种。

显示器信息存储部150被构成在硬盘驱动器50的存储区域中，存储显示装置12的显示器尺寸、分辨率、输出形式等的显示器信息。显示器信息在将图像处理装置10连接到显示装置12时，由用户注册。另外图像处理装置10和显示装置12通过HDMI（High Definition Multimedia Interface，高清晰度多媒体接口）电缆连接的情况下，也可以图像处理装置10的***软件询问显示装置12，从而显示装置12将显示器信息通知到图像处理装置10。在本实施例中，显示装置12的输出形式是用于表示能够3维显示还是只能够2维显示的信息。以下，将能够3维显示的输出形式称作“3D对应”，将只能够2维显示的输出形式称作“2D对应”。

图像数据存储部152存储多个图像数据。本实施例的图像阅览器不仅能够再现在硬盘驱动器50中存储的相片图像，还能够再现在外部的记录介质中记录的相片图像。因此，在本实施例中，图像数据存储部152不限定于硬盘驱动器50，也可以被构成在记录成为再现对象的图像数据的记录介质的存储区域中。在图4中，表示了图像数据存储部152被构成在硬盘驱动器50的存储区域中的状况。

在图像处理装置10中，***软件在将图像文件安装在硬盘驱动器50中时，参照包含于图像文件的附属信息，进行文件核对。若图像文件正常，则***软件提取附属信息的至少一部分，作为属性信息而存储在属性信息存储部154中。在本实施例中所提取的附属信息中，包含缩略图图像等显示在菜单画面上得数据。在图像文件是MP文件的情况下，***软件也可以根据MP文件的类别代码确定MP文件的显示形式，作为属性信息存储在属性信息存储部154中。另外在图像文件的安装时，***软件也可以缩小图像数据，生成缩略图图像。

图5表示在显示装置12上显示的菜单画面的一例。在本实施例的图像处理装置10中，***软件生成菜单图像。在横方向上排列的多个文件夹图像之中，文件夹图像200表示相片内容的文件夹。在纵方向上，排列图标图像202、204、206。用户对输入装置20进行操作，将希望的图标图像滚动移动到焦点区域的位置，按下输入装置20的规定的按钮，从而能够执行与该图标图像相关联的处理。在图5的例中，相片内容的图标图像202被配置在焦点区域，若用户按下输入装置20的○按钮22，则生成再现指示，启动图像阅览器。另外，图5所示的菜单画面中，未显示记录了图像数据的记录介质的图标图像，但是在照片图标图像的正下方，显示记录介质的图标图像，也可以在介质图标图像的正下方或者右方，排列图标图像202、204、206。

***软件在图像文件中包含缩略图图像的情况下，利用该缩略图图像，生成图标图像，在图像文件中不包含缩略图图像的情况下，缩小图像数据，生成图标图像。另外在图像文件是MP文件的情况下，***软件从硬盘驱动器50读取属性信息，确定代表图像标记被设定为1的个别图像的缩略图图像，生成图标图像。若***软件生成菜单图像数据，则显示处理部44将菜单图像数据输出到显示装置12，在显示装置12上显示菜单画面。

在图5所示的菜单画面中，若用户按下输入装置20的规定的按钮，则形成图像文件的再现指示并启动图像阅览器。由此，开始在焦点区域上配置的图标图像202所确定的图像文件的再现处理。若启动图像阅览器，则首先输出模式处理部110决定显示输出模式。在此显示输出模式是确定从显示装置12显示2D图像还是显示3D图像的模式。若输出模式处理部110决定显示输出模式，则再现处理部130根据所决定的显示输出模式，生成显示图像。

若输入接受部102接受再现指示，则启动图像阅览器，输出模式处理部110以及再现处理部130的功能变得能够执行。在输出模式处理部110中，模式设定部112具有选择地设定2D显示输出模式和3D显示输出模式的功能。在图像阅览器的启动时，模式设定部112设定2D显示输出模式。

在再现处理部130中，显示对象决定部136决定成为显示对象的图像文件。在图像阅览器的启动时，显示对象决定部136将图标图像202所确定的图像文件决定作为显示对象，图像数据读取部138从图像数据存储部152读取成为显示对象的图像文件以及其属性信息，供给到显示图像生成部134。再现控制部132对于显示图像生成部134，指示以在模式设定部112中设定的显示输出模式来生成显示图像。由此，显示图像生成部134根据模式设定部112所设定的显示输出模式，对图像数据进行解码，生成显示图像数据。在图像阅览器的启动时，由于模式设定部112设定了2D显示输出模式，因此显示图像生成部134生成2D图像数据，显示处理部44将2D图像输出到显示装置12。

通知图像生成部116生成用于表示能够切换显示输出模式的通知图像。该通知图像优选为在表示能够切换显示输出模式的同时，向用户提示用于切换显示输出模式的操作的图像。例如，在对特定的按钮分配了用于切换显示输出模式的操作的情况下，优选为包含该按钮而形成通知图像。例如通知图像采用“□2D/3D”的显示方式，在此“2D/3D”表示能够切换显示输出模式，“□”表示用于切换的操作按钮是□按钮24。

判定部114判定通知图像的生成条件是否成立。毕竟若显示装置12不具有3D对应显示器，则不能将显示输出模式从2D显示输出模式切换到3D显示输出模式。因此通知图像的生成条件中至少包含模式设定部112设定2D显示输出模式，且显示装置12能够3D显示。在判定部114判定通知图像的生成条件成立的情况下，通知图像生成部116生成通知图像数据，显示处理部44在2D显示的画面之上重叠显示通知图像。

图6表示在2D显示画面上重叠显示的通知图像。显示处理部44将由通知图像生成部116生成的通知图像210配置在显示画面中的规定的位置。用户看到该通知，能够识别通过按下□按钮24，将2D显示的显示图像切换到3D显示图像的情况。若用户在想切换到3D显示输出模式的情况下按下□按钮24，则输入接受部102接受显示输出模式的切换指示。

图7表示确认画面。若输入接受部102接受显示输出模式的切换指示，则确认图像生成部118生成显示输出模式切换的确认图像数据，显示处理部44将确认画面显示到显示装置12。在看3D显示图像时，根据3D显示器的类型有时需要左右的观察方式不同的专用的眼镜，因此在切换到3D显示输出模式的情况下，向用户提示一次确认画面，来确认用户的意志。

若用户选择“是”而按下○按钮22，则输入接受部102接受确认指示，模式设定部112将显示输出模式设定为3D显示输出模式。由此，进行显示输出模式的切换。再现控制部132接受3D显示输出模式被设定的情况，对显示图像生成部134以及显示处理部44指示目前显示中的图像文件的输出形式的变更。由此，显示图像生成部134生成由左眼用图像数据以及右眼用图像数据组成的3D图像数据，显示处理部44从显示装置12输出3D图像。

另外，通知图像210也可以包含菜单的选择项目。图像的显示中，若用户例如对规定的按钮进行操作，则在显示画面之上重叠显示包含多个选择项目的菜单。此时，用户从菜单项目选择通知图像210，从而输入接受部102接受显示输出模式的切换指示。另外，在提供用于从菜单项目选择通知图像210的用户界面的情况下，由于用户通过选择通知图像210并按下决定按钮，能够输入显示输出模式的切换指示，因此在菜单中包含从图6所示的通知图像210去除“□”的“2D/3D”的显示。

另外，用户也能够将3D显示输出模式切换到2D显示输出模式。由于从3D显示输出模式向2D显示输出模式的切换原则上而言随时都能够进行，因此也可以在3D显示输出模式中，始终在显示画面中放出通知图像210。由此，用户通过按下□按钮24，随时都能够返回到2D显示输出模式。另外，如后述那样，3D显示输出模式中，也可以设为若满足规定的条件时，则对显示通知图像210进行显示。

在从2D显示输出模式切换到3D显示输出模式的情况下，设为提供图7所示的确认画面，但是另一方面，在从3D显示输出模式切换到2D显示输出模式的情况下，确认图像生成部118不生成确认图像。由于对于看2D显示图像不需要专用的眼镜，因此在切换到2D显示输出模式的情况下，缺少重新确认的必要性的理由。不放出确认画面，从而能够顺利地执行从3D显示输出模式到2D显示输出模式的转移。

另外，在2D显示输出模式中，显示图像生成部134有时将3D内容的图像数据决定为显示对象。例如，在MP格式中，附加了立体视的类别代码的图像文件是本来预定了3D显示的内容。因此，这样的情况下，优选为能够将能够3D显示的情况通知至用户。

因此，在通知图像的生成条件中，也可以包含以下条件：模式设定部112设定了2D显示输出模式，以及除了显示装置12能够3D显示之外，显示图像生成部134根据3D图像数据生成显示图像。例如在显示对象决定部136确定了作为显示对象的图像文件时，判定部114从属性信息存储部154读取与该图像文件对应的显示形式（类别代码），判定是否是立体视图像。在成为显示对象的图像文件从2D内容切换为3D内容时，判定部114判定通知图像的生成条件成立，通知图像生成部116生成图6所示的通知图像210，显示处理部44重叠在2D显示图像上而显示通知图像210。由此，输出模式处理部110对用户能够有效地提供将3D内容3D显示的机会。另外，在变更显示输出模式时，显示处理部44也可以显示通知图像210，以使得用户能够将显示输出模式复原。

另外，在3D内容的显示时，显示处理部44显示通知图像210，在用户根据所显示的通知图像210而从2D显示输出模式切换到3D显示输出模式后，显示图像生成部134有时将2D内容的图像数据决定为显示对象。由于2D内容的图像文件是预定了2D显示的文件，因此优选为能够将能够2D显示的情况通知至用户。

因此，以在3D内容的显示时用户根据通知图像210选择3D显示输出模式、显示图像生成部134根据2D图像数据生成显示图像作为通知条件，在判定部114判定通知图像的生成条件成立的情况下，通知图像生成部116生成通知图像数据，显示处理部44在3D显示的画面之上重叠显示通知图像210。此外，也可以以相片图像的再现处理结束作为通知条件，显示处理部44在3D显示的画面之上重叠显示通知图像210。

如上所述，在显示装置12具有能够3D输出的显示器的情况下，用户能够选择以2D显示输出模式来显示图像，还是以3D显示输出模式来显示图像。另外，在看3D显示图像时，考虑到有时需要专用的眼镜，在图像阅览器的启动时，设为模式设定部112默认设定2D显示输出模式，若显示装置12不是2D对应，而是3D对应，则也可以默认设定3D显示输出模式。

如上所述，通过输出模式处理部110决定显示输出模式。下面，说明在再现处理部130中的图像再现处理。

在本实施例中，在图像数据存储部152中存储的多个图像文件中，预先设定了图像阅览器的显示顺序。该显示顺序可以是在图像数据存储部152中存储各图像文件的顺序，此外也可以是根据各图像文件的生成日期和时间（摄影日期和时间）的顺序。若启动图像阅览器，在显示装置12中显示图像，则用户通过在按下输入装置20的机壳背面所设置的L1按钮29a或者R1按钮29b，能够切换成为显示对象的图像文件。在解码某图像文件而显示于显示装置12的情况下，若用户按下L1按钮29a，则解码前一个的图像文件而显示于显示装置12，另一方面，若一方按下R1按钮29b，则解码后一个的图像文件而显示于显示装置12。这样在图像处理装置10中，用户的L1按钮29a按钮的操作对于设定了规定的顺序的图像文件列形成反方向显示指示，另一方面，用户的R1按钮29b的操作对于图像文件列形成正方向显示指示。下面，将切换显示图像的指示称作“切换显示指示”。

图像阅览器对用户提供图像切换时的演示的选项。作为选项，至少准备下面2个。

（1）交叉淡化演示

交叉淡化演示是指在2个显示图像的一者正在淡出时，淡入另一者，而切换显示图像的演示。若将解码图像数据而生成的显示图像的不透明度设为100%，将显示图像完全淡出而从画面消失时的不透明度设为0%，则将第1显示图像从不透明度100%开始淡出，在不透明度成为0%之前，将第2显示图像从不透明度0%开始淡入，从而实现交叉淡化演示。

（2）正常演示

正常演示是指立即切换2个显示图像的演示。若利用上述的不透明度来说明立即切换，则不淡化第1显示图像，将其不透明度从100%设为0%，其后，将第2显示图像的不透明度从0%设为100%，从而实现正常演示。在正常演示中，显示图像的不透明度不取0～100%的中间值。

（3）淡出、淡入演示

淡出、淡入演示是指在淡出1个显示图像之后，淡入其他的显示图像，而切换显示图像的演示。与交叉淡化演示不同，将第1显示图像从不透明度100%开始淡出，在不透明度成为0%之后，将第2显示图像从不透明度0%开始淡入。

若启动图像阅览器，则用户选择图像切换时的演示。例如，作为图像切换时的演示，默认地设定交叉淡化演示，在用户希望正常演示的情况下，也可以构成用户界面，使得能够从菜单项目选择正常演示。下面，说明交叉淡化演示和正常演示。

再现控制部132根据由模式设定部112所设定的显示输出模式，控制显示图像的切换。具体而言，再现控制部132在显示输出模式为2D显示输出模式的情况下，和显示输出模式为3D显示输出模式的情况下，使显示图像的切换控制不相同。

图8（a）～图8（b）是交叉淡化演示的说明图。图8（a）表示2D显示输出模式中的交叉淡化演示，图8（b）表示3D显示输出模式中交叉淡化演示。在交叉淡化演示中，将先显示的图像（下面，称作“第1显示图像”）的不透明度按照时间的经过逐渐从100%降低到0%，将随后显示的图像（下面，称作“第2显示图像”）的不透明度按照时间的经过从0%渐渐上升到100%。此时，不是第1显示图像的淡出结束之后淡入第2显示图像，而是在第1显示图像正在淡出时，淡入第2显示图像，从而实现交叉淡化演示。

若设为解码图像数据所生成的显示图像的像素值是P0，则像素值P0的不透明度是100%。当减小像素值，像素值成为P1时，像素值P1的不透明度成为（P1/P0）×100%。因此，在显示图像完全淡出，像素值成为0时，不透明度成为0%。再现控制部132控制显示图像生成部134，使第1显示图像和第2显示图像的不透明度按照时间的经过而变化，从而对2个显示图像进行交叉淡化。

在图8（a）以及图8（b）中，纵轴表现不透明度，横轴表现时间，图中的细线表示第1显示图像的不透明度的变化，粗线表示第2显示图像的不透明度的变化。此外将交叉淡化演示的开始时刻设为t1、结束时刻设为t5而表示。另外，交叉淡化演示的开始时刻是第1显示图像的不透明度从100%开始出现下降的定时，此外结束时刻是第2显示图像的不透明度达到100%的定时。下面，将从交叉淡化演示的开始时刻到结束时刻为止的期间（从t1至t5）称作“交叉淡化处理期间”。若在时间t1输入接受部102接受切换显示指示，则再现控制部132开始交叉淡化演示的控制。

在图8（a）中，第1变化线230a表示第1显示图像的不透明度的变化，第2变化线230b表示第2显示图像的不透明度的变化。第1变化线230a和第2变化线230b在交叉淡化处理期间的中央（t3）交叉，此时的不透明度两者都成为50%。在2D显示输出模式中，在交叉淡化处理期间中，在将第1显示图像的不透明度设为α%的情况下，第2显示图像的不透明度表现为（100－α）%，因此第1显示图像的不透明度和第2显示图像的不透明度之和成为α%+（100－α）%=100%。

在图8（b）中，第1变化线232a表示第1显示图像的不透明度的变化，第2变化线232b表示第2显示图像的不透明度的变化。第1变化线232a和第2变化线232b在交叉淡化处理期间的中央（t3）交叉，此时的不透明度两者都成为OP%（＜50%）。在3D显示输出模式中，在交叉淡化处理期间中，将第1显示图像的不透明度设为β%，将第2显示图像的不透明度设为γ%的情况下，设定第1变化线232a以及第2变化线232b，使得（β+γ）%成为100%以下。

另外，成为（β+γ）=100的情况是交叉淡化处理的开始时刻（t1）和结束时刻（t5），在除此之外的交叉淡化处理期间中，成为（β+γ）＜100。就是说，在交叉淡化处理期间中，3D显示输出模式中的第1显示图像的不透明度和第2显示图像的不透明度之和（（β+γ）%）被设定为2D显示输出模式中的第1显示图像的不透明度和第2显示图像的不透明度之和（100%）以下。这意味着在3D显示输出模式中，与2D显示输出模式比较，减少交叉淡化演示中的2个显示图像的交叠量（不透明度之和）。

以3D显示输出模式对第1显示图像和第2显示图像进行交叉淡化的情况下，有时第1显示图像和第2显示图像的视差量不同。在那样的情况下，如图8（a）所示，若将第1显示图像和第2显示图像α混合，则2个显示图像的视差量不相同，从而用户容易感到不谐调感。此外，即使是在假设2个显示图像的视差量没有不同的情况下，2个3D图像在画面上重叠显示，从而用户仍然容易感到不谐调感。因此，在3D显示输出模式中，与2D显示输出模式比较，减少交叉淡化演示中的2个显示图像的交叠量，从而提供对用户的眼睛柔和的演示。

此外，在交叉淡化处理期间中，3D显示输出模式中的第1显示图像的不透明度与第2显示图像的不透明度相等时的不透明度（OP%）被设定为小于2D显示输出模式中的第1显示图像的不透明度与第2显示图像的不透明度相等时的不透明度（50%）。2个显示图像的不透明度相等时（t3），若两图像的视差量不同，则用户感到的不谐调感变成最大。因此，在时间t3中，减小3D显示输出模式中的不透明度OP%，从而能够降低用户感到的不谐调感。OP优选被设定为成为30以下。

此外，在图8（a）中，第2显示图像的淡入开始时刻是时间t1，第1显示图像的淡出结束时刻是时间t5。因此，在交叉淡化处理期间中，显示第1显示图像和第2显示图像的双方的期间（交叠期间）成为从时间t1到t5为止的期间。另一方面，在图8（b）中，第2显示图像的淡入开始时刻是时间t2，第1显示图像的淡出结束时刻是时间t4。因此，交叠期间成为从时间t2到t4为止的期间。这样，在3D显示输出模式中，与2D显示输出模式相比，缩短交叠期间，从而能够执行交叉淡化演示，且降低用户感到的不谐调感。

如上所述，再现控制部132根据显示输出模式，控制显示图像生成部134中的图像生成处理。由此显示图像生成部134根据图8（a）或者图8（b）所示的变化线，调整所生成的图像数据的像素值。由此，在3D显示输出模式中，使得能够执行对用户的眼睛柔和的交叉淡化演示。

此外，再现控制部132也可以根据显示输出模式，控制在显示处理部44中的显示处理。显示处理部44根据如图8（a）或图8（b）所示的变化线，调整显示图像生成部134生成的不透明度100%的图像数据的像素值。通过将像素值的调整委托给显示处理部44，显示图像生成部134不需要按照每个帧而生成图像数据，因此能够大幅度地减少***全体的处理负荷。

图9（a）～图9（b）是正常演示的说明图。图9（a）表示2D显示输出模式中的正常演示，图9（b）表示3D显示输出模式中的正常演示。在正常演示中，将先显示的图像（以下称作“第1显示图像”）的不透明度从100%下降到0%，立即将随后显示的图像（以下，称作“第2显示图像”）的不透明度从0%提升到100%。就是说，在正常演示中，不利用从0%到100%之间的不透明度，在结束第1显示图像的显示之后，开始第2显示图像的显示。再现控制部132控制显示处理部44或者显示图像生成部134，立即切换第1显示图像和第2显示图像，从而执行正常演示。另外，立即切换不只包括与第1显示图像的显示结束同时地开始第2显示图像的显示的情况，还包括第1显示图像的显示结束起经过短时间后开始第2显示图像的显示的情况。

在图9（a）以及图9（b）中，纵轴表现不透明度，横轴表现时间，图中的细线表示第1显示图像的显示状态，粗线显示第2显示图像的显示状态。此外将第1显示图像的显示结束时刻作为t6表示。若在时间t6输入接受部102接受切换显示指示，则再现控制部132开始正常演示的控制。

在图9（a）中，第1线240a表示第1显示图像的显示状态，第2线240b表示第2显示图像的显示状态。第2显示图像从结束第1显示图像的显示后的下一帧开始被显示。就是说，在2D显示输出模式中，第1显示图像的最后的帧和第2显示图像的最初的帧连续。

在图9（b）中，第1线242a表示第1显示图像的显示状态，第2线242b表示第2显示图像的显示状态。第2显示图像在从结束第1显示图像的显示起数帧之后被显示。在这个例子中，第1显示图像的显示结束时刻是t6，数帧后，例如从3帧后的t7起，开始第2显示图像的显示。就是说，在3D显示输出模式中，第1显示图像的最后的帧和第2显示图像的最初的帧不连续。

如上所述，从结束第1显示图像的显示直至开始第2显示图像的显示为止的切换期间被设定为3D显示输出模式比2D显示输出模式更长。在3D显示输出模式中立即切换第1显示图像和第2显示图像的情况下，存在第1显示图像和第2显示图像的视差量不相同的情况。在那样的情况下，如图9（a）所示，若连续地切换第1显示图像和第2显示图像，则2个显示图像的视差量不相同，从而用户容易感到不谐调感。因此，在3D显示输出模式中，与2D显示输出模式比较，通过使图像的切换期间变长，从而提供对用户的眼睛柔和的切换演示。

另外，本发明者明白了以下知识：通过在3D显示输出模式中，在切换期间，显示规定颜色的图像，能够减轻不谐调感。该规定颜色是例如黑色。在3D显示输出模式中，在切换3D图像时，在切换期间夹入黑色图像，从而重置2个显示图像的视差量的差别，使得能够进一步降低用户感到的不谐调感。另外，在切换2D图像时，也可以在切换期间夹入黑色图像，但是如上所述，切换期间被设定为3D显示输出模式比2D显示输出模式更长，因此，黑色图像的显示时间优选为延长3D显示输出模式。

如上所述，再现控制部132根据显示输出模式，控制显示处理部44的显示处理，显示处理部44根据图9（a）或者图9（b）所示的切换处理，切换显示图像。因此，在3D显示输出模式中，使得能够执行对用户的眼睛柔和的正常演示。

另外，在淡出、淡入演示中，从结束第1显示图像的显示直至开始第2显示图像的显示为止的切换期间也设定为3D显示输出模式比2D显示输出模式更长。和正常演示一样，在切换期间，也可以显示规定颜色的图像，黑色图像的显示时间设定为3D显示输出模式更长。由此，在3D显示输出模式中，使得能够执行对用户的眼睛柔和的淡出、淡入演示。

上面，说明了在各显示输出模式中切换显示图像时的演示。下面，说明在画面的显示状况不适合于3D显示的情况下，中止3D显示，进行2D显示的例。

图10表示将多个3D相片图像网格显示的例。显示图像生成部134生成排列了多个相片的3D图像数据，显示处理部44将排列了多个3D的相片图像250的显示图像在显示装置12上显示。

显示图像生成部134从以多图片格式作为立体视图像而摄影的图像文件，生成左眼用图像数据和右眼用图像数据，显示处理部44将左眼用图像以及右眼用图像显示到画面，从而显示3D图像。另外显示图像生成部134不仅能够从立体视用的图像文件，也能够从由JPEG或GIF等的格式作成的1张图像数据，生成左眼用图像数据和右眼用图像数据。显示处理部44通过将在背景图像上排列了多个相片的左眼用图像数据的左眼用图像数据，和在背景图像上排列了多个相片的右眼用图像数据的右眼用图像数据输出到显示装置12，从而生成如图10所示的网格显示画面。

此外，作为其他的例，显示图像生成部134也可以具有几何引擎以及渲染引擎，生成左眼用图像数据和右眼用图像数据。此时，几何引擎将多个相片目标排列在虚拟空间内，以各自的视线方向交叉的方式设定2台虚拟摄像机，渲染引擎对来自各自的虚拟摄像机的数据进行渲染，从而生成左眼用图像数据和右眼用图像数据。显示处理部44将所生成的左眼用图像数据和右眼用图像数据输出到显示装置12，从而生成如图10所示的网格显示画面。

这样显示处理部44对显示图像生成部134所生成的3D图像进行显示。3D图像的显示中，再现控制部132基于画面的显示状况，控制显示处理部44的显示。具体而言，在显示处理部44显示3D图像时，画面的显示状况成为规定的状况的情况下，再现控制部132进行控制，使显示处理部44中止3D图像的显示，而显示2D图像。

如图10所示的网格显示画面被用于例如将相片图像按照每个摄影日期汇总而显示时。因此，若滚动显示画面，显示画面的全体向上方向或者下方向移动，显示在所显示的日期以外的日期摄影的相片图像。用户操作输入装置20的模拟摇杆27b，而能够滚动显示画面，例如若将模拟摇杆27b向上（里）方向推，则网格显示画面向上方向滚动，若向下（跟前）方向推，则网格显示画面向下方向滚动。

若网格显示画面在3D显示的状态下移动，则用户由于用眼睛追随各相片图像，再加上视差量，因此容易感到不谐调感。因此，再现控制部132在显示图像移动的情况下，使显示处理部44中止3D图像的显示，而显示2D图像。

例如，在显示图像生成部134从图像文件生成双眼用的图像数据的情况下，显示处理部44也可以只利用一边的图像数据，而显示2D的网格显示画面。此外，再现控制部132对显示图像生成部134指示2D图像的生成，显示处理部44也可以利用显示图像生成部134所生成的2D图像数据，而将2D的网格显示画面在显示装置12上显示。

此外，在显示图像生成部134通过渲染而生成双眼用的图像数据的情况下，显示图像生成部134使2台虚拟摄像机的位置以及视线方向一致，对来自各自的虚拟摄像机的数据进行渲染，从而显示处理部44将2D的网格显示画面在显示装置12上显示。

另外，低速滚动显示画面的期间，用户感到的不谐调感没那么大。因此，也可以再现控制部132监视显示图像的移动速度，在移动速度超过规定值的情况下，使显示处理部44中止3D图像的显示，而显示2D图像。例如，也可以若显示图像的移动速度超过规定值，则以视差量平滑地成为0的方式生成左眼用图像数据和右眼用图像数据，从而显示2D图像。此外，也可以根据移动速度，减小视差量，从而在移动速度超过规定值的情况下，显示2D图像。因此，使得能够减轻高速滚动处理的情况下的用户感到的不谐调感，而且还能在低速滚动处理时继续3D显示。

图11表示在3D图像上显示菜单显示区域的例。在此，在3D显示的网格显示画面上重叠，而形成显示多个菜单项目的菜单显示区域260。另外，多个菜单项目被2D显示。在该菜单表示区域260中，将用户想要选择的菜单项目配置于中央的焦点区域，按下决定按钮，从而启动与选择的项目对应的处理。配置于焦点区域的菜单项目也可以3D显示。

在焦点区域以外，以2D来显示菜单显示区域260中的菜单项目。因此，若成为背景的网格显示画面被3D显示，则有可能产生背景的网格显示画面比菜单项目看起来凸出的视差矛盾。因此，再现控制部132在显示图像之上重叠而显示其他的图像的情况下，使显示处理部44对背景图像进行2D显示。这样，回避在3D图像之上显示2D图像的状况，从而能够对用户提供对眼睛柔和的显示画面。

在以上的例中，说明了再现控制部132控制显示处理部44的显示的例，但是也可以再现控制部132使显示图像生成部134中止3D图像数据的生成，而生成2D图像数据，显示处理部44利用显示图像生成部134所生成的2D图像数据，将2D图像在显示装置12上显示。

上面，以实施例为基础而说明了本发明。本领域技术人员明白该实施例是示例，对于这些各结构要素和各处理过程的组合，各种的变形例是可能的，此外那样的变形例也处于本发明的范围。

标号说明

1···图像处理***、10···图像处理装置、12···显示装置、

20···输入装置、44···显示处理部、100···控制部、

102···输入接受部、110···输出模式处理部、

112···模式设定部、114···判定部、116···通知图像生成部、

118···确认图像生成部、130···再现处理部、

132···再现控制部、134···显示图像生成部、

136···显示对象决定部、138···图像数据读取部、

150···显示器信息存储部、152···图像数据存储部、

154···属性信息存储部。

产业上的利用可能性

本发明能够利用于图像处理技术的领域。

Claims (9)

1.一种图像处理装置，其特征在于，包括：

模式设定部，选择性地设定2D显示输出模式和3D显示输出模式；

显示图像生成部，根据所述模式设定部所设定的显示输出模式，生成显示图像；

通知图像生成部，生成用于表示能够切换显示输出模式的通知图像；以及

判定部，判定通知图像的生成条件是否成立，

在所述判定部判定通知图像的生成条件成立的情况下，所述通知图像生成部生成通知图像。

2.如权利要求1所述的图像处理装置，其特征在于，

通知图像表示用于切换显示输出模式的操作。

3.如权利要求1或2所述的图像处理装置，其特征在于，包括：

输入接受部，接受显示输出模式的切换指示；以及

确认图像生成部，若所述输入接受部接受切换指示，则生成显示输出模式切换的确认图像。

4.如权利要求3所述的图像处理装置，其特征在于，

所述确认图像生成部在所述输入接受部接受从2D显示输出模式到3D显示输出模式的切换指示时，生成确认图像。

5.如权利要求4所述的图像处理装置，其特征在于，

所述确认图像生成部在所述输入接受部接受从3D显示输出模式到2D显示输出模式的切换指示时，不生成确认图像。

6.如权利要求1至5的任一项所述的图像处理装置，其特征在于，

通知图像的生成条件中包含，所述模式设定部设定为2D显示输出模式，并且显示器能够3D显示。

7.如权利要求6所述的图像处理装置，其特征在于，

通知图像的生成条件中包含，显示图像生成部从3D图像数据生成显示图像。

8.一种程序，其特征在于，

用于使计算机实现以下功能：

选择性地设定2D显示输出模式和3D显示输出模式的功能；

根据所设定的显示输出模式，生成显示图像的功能；

生成用于表示能够切换显示输出模式的通知图像的功能；以及

判定通知图像的生成条件是否成立的功能，

在判定功能判定通知图像的生成条件成立的情况下，通知图像生成功能生成通知图像。

9.一种记录了如权利要求8所述的程序的计算机能够读取的记录介质。

Images