CN103582903A - 图像处理设备、图像处理方法以及程序 - Google Patents

Abstract

本公开提供了一种最新改进的图像处理设备，其可以容易地生成具有三维图像的内容。图像处理设备生成多个平面图像，并分别设置到所生成的多个平面图像的深度方向的虚拟距离。图像处理设备基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，并获取三维图像的数据，在该三维图像中设置多个平面图像中的对象的空间位置。此外，图像处理设备显示其中生成多个平面图像的编辑屏幕。编辑屏幕单独或重叠地显示多个平面图像，并通过向平面图像提供标签来分别显示平面图像。

Description

图像处理设备、图像处理方法以及程序

技术领域

本公开涉及图像处理设备、图像处理方法以及程序，且具体地涉及用于生成三维图像的技术。

背景技术

近年来，显示可作为三维图像被用户感知的图像（三维图像：所谓的3D图像）的图像显示设备被发行并开始扩散（例如，专利文献1）。可以显示三维图像的设备不限于电视或其他图像显示设备。在个人计算机中，有些类型可以显示三维图像。

在个人计算机中运行的应用程序中，存在应用程序可以生成具有三维图像的内容。如果所述内容由应用程序生成，并且用户以预定的方式来观看内容，则用户可以将内容中包含的图像感知为三维图像。

【引用列表】

【专利文献】

PLT1：JP2010-210712A

发明内容

【技术问题】

但是，根据现有技术，在生成具有三维图像的内容时，需要使用专用的软件来设置位置关系。相应地，端用户难以生成这样的内容。

有鉴于此，需要提供一种新颖且改进的图像处理设备、图像处理方法和计算机程序，其能够容易地生成具有三维图像的内容。

本公开的图像处理设备包括图像生成单元，其生成多个平面图像、并分别设置在深度方向上到所生成的多个平面图像的虚拟距离。

本公开的图像处理设备包括三维图像转换单元，其基于所设置的到由图像生成单元生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在三维图像中设置了多个平面图像中的每个中的对象空间位置；

本公开的图像处理设备包括三维图像生成单元，其输出由三维图像转换单元所转换的三维图像的数据；

本公开的图像处理设备包括编辑屏幕生成单元，其单独或以重叠的方式来显示由图像生成单元所生成的多个平面图像，并通过向各个平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

本公开的图像处理设备包括输入单元，其接收操作来生成或编辑在由编辑屏幕生成单元生成的编辑屏幕中的图像。

本公开的图像处理方法包括生成多个平面图像、并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在三维图像中设置了对象在多个平面图像中的每个中的空间位置；输出所转换的三维图像的数据；单独或以重叠的方式来显示所生成的多个平面图像，并通过向各个平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及接受操作来生成或编辑所生成的编辑屏幕中的图像。

本公开的程序使计算机执行图像处理，该程序使得计算机执行：生成多个平面图像并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在三维图像中设置了多个平面图像中的对象的空间位置；输出转换的三维图像的数据；单独或以重叠的方式来显示所生成的多个平面图像，并通过向各个平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及接受操作来生成或编辑所生成的编辑屏幕中的图像。

【问题的解决方案】

根据本公开，多个平面图像被适当地显示，从而用户可以通过简单的操作来生成和显示想要的三维图像。

根据本公开，提供了一种新颖且改进的图像处理设备、图像处理方法和计算机程序，其使得能够容易地生成具有三维图像的内容。

附图说明

图1是示出根据本公开实施例的图像处理设备的配置的例子的框图。

图2是示出根据本公开实施例的编辑屏幕的例子（在该例子中显示了所有层）的图。

图3是示出根据本公开实施例的每层图像的例子的示例性图。

图4是示出根据本公开实施例的深度显示屏幕的例子的示例性图。

图5是示出将多层图像转换为三维图像的构思的示例性图。

图6是示出将多层图像转换为三维图像的状态的示例性图。

图7是示出将多层图像转化为三维左侧和右侧信道图像的例子的示例性图。

图8是示出根据多层图像生成的三维图像的例子的示例性图。

图9是示出存在某一层、其中虚拟显示表面的前侧被设置为虚拟位置的情形下的转换状态的示例性图。

图10是示出存在某一层、其中虚拟显示表面的前侧被设置为虚拟位置的情形下的三维图像的例子的示例性图。

图11是示出根据本公开实施例的编辑屏幕显示处理的流程的例子的流程图。

图12是示出根据本公开实施例的编辑屏幕的例子（在该例子中显示了第三层）的示例性图。

图13是示出根据本公开实施例的编辑屏幕的例子（在该例子中显示了第二层）的示例性图。

图14是示出根据本公开实施例的编辑屏幕的例子（在该例子中显示了第一层）的示例性图。

图15是示出根据本公开实施例的深度屏幕显示处理的流程的例子的流程图。

图16是示出根据本公开实施例的用于显示深度屏幕的例子（第一例子）的示例性图。

图17是示出根据本公开实施例的用于显示深度屏幕的例子（第二例子）的示例性图。

图18是示出根据本公开实施例的用于显示深度屏幕的例子（第三例子）的示例性图。

图19是示出根据本公开实施例的用于显示深度屏幕的例子（第四例子）的示例性图。

图20是示出根据本公开实施例的水平线设置处理的流程的例子的流程图。

图21是示出根据本公开实施例的水平线设置屏幕的例子的示例性图。

图22是示出根据本公开实施例的在设置水平线时的特定层的显示屏幕的例子（第一例子）的示例性图。

图23是示出根据本公开实施例的在设置水平线时的特定层的显示屏幕的例子（第二例子）的示例性图。

图24是示出根据本公开实施例的在设置水平线时的特定层的显示屏幕的例子（第三例子）的示例性图。

图25是示出根据本公开实施例的在设置水平线时的特定层的显示屏幕的例子（第四例子）的示例性图。

图26是示出根据本公开实施例的在捕获相机图像时的显示屏幕的例子的示例性图。

图27是示出根据本公开实施例的其中相机图像被合成的三维图像的显示例子的示例性图。

图28是示出根据本公开实施例的在导入图像文件时的显示屏幕的例子的示例性图。

图29是示出根据本公开实施例的在导入图像文件时的导入范围设置的例子的示例性图。

图30是示出根据本公开实施例的三维图像的显示示例的示例性图，在该三维图像中合成了从图像文件导入的图像。

图31是示出根据本公开实施例的作品的列表显示屏幕的例子的示例性图。

图32是示出根据本公开实施例的图像处理设备的详细硬件配置的例子的框图。

具体实施方式

以下，将参考附图来详细描述本公开的优选实施例。注意到在该说明书和附图中，用相同的参考标号来表示具有基本相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。

以下，将以下列顺序参考附图来详细描述本公开的优选实施例：

1.本公开的实施例

1-1.图像处理设备的配置（图1）

1-2.三维图像的概述（图3到10）

1-3编辑屏幕的显示例子（图2和图11到14）

1-4深度调整图像的显示例子（图15到19）

1-5地表面设置屏幕的显示例子（图20到25）

1-6捕获相机图像的例子（图26和27）

1-7.导入图像的例子（图28到30）

1-8.生成的图像列表的显示示例（图31）

1-9硬件配置的特定例子（图32）

1.本公开的实施例

1-1图像处理设备的功能配置

首先，将描述根据本公开的实施例（以下称为“该例子”）的图像处理设备的配置。图1是示出根据该例子的图像处理设备100的配置的图。

根据图1所示的该例子的图像处理设备100被配置为通过用户操作来生成图像、并显示和存储生成的图像。如图1所示，图像处理设备100包括图像生成/处理单元110、图像存储单元120、输入单元130和图像显示单元140。

图像生成/处理单元110通过图像显示单元140向用户提供图像生成屏幕，或者根据由用户生成的图像来生成三维图像。如图1所示，在根据该例子的图像处理设备100中包含的图像生成/处理单元110包括图像生成单元112、三维图像转换单元114、三维图像生成单元116和编辑屏幕生成单元118。编辑屏幕生成单元118还用作图像控制单元，其控制每个单元中的图像生成。或者，图像生成/处理单元110可以包括与编辑屏幕生成单元118分开的图像控制单元，其控制每个单元中的图像生成。

在图像显示单元140上显示用于图像生成的编辑屏幕的状态下，图像生成/处理单元110基于用户操作来生成多个平面图像（例如三个平面图像），并从所生成的多个平面图像（二维图像）生成三维图像。用于图像生成的编辑屏幕是图2所示的屏幕，并在生成处理中在中心处显示中间图像，并在图像周围显示操作按钮或标签。下面将详细描述图2中图示的编辑屏幕。设置从参考位置（例如虚拟显示屏幕）到所生成的多个平面图像中的每个的深度的信息，并基于该深度来生成三维图像。

此外，图像生成/处理单元110将由图像生成/处理单元110生成的三维图像的图像数据提供给图像显示单元140，并且图像显示单元140显示该三维图像。用户使用预定的方法来观看三维图像（例如，在用户佩戴时间共享驱动类型的快门眼镜的状态下），并将显示图像显示单元140上的三维图像感知为三维图像。

图像生成单元112在图像显示单元140上显示用于图像生成的编辑屏幕，并且通过用户操作来生成图像。如果图像生成单元112使用由图像生成单元112提供的图像生成屏幕来生成包含多层的图像，则通过三维图像转换单元114和三维图像生成单元116将包含多层的图像转换为三维图像。根据用户操作，通过图像生成单元112生成的包含多层的图像被存储在图像存储单元120中。

三维图像转换单元114执行转换处理，用于将从图像生成单元112发送过来的包含多层的图像作为三维图像显示在图像显示单元140上。根据该例子的图像处理设备100预先假定用户眼睛之间的距离以及用户与显示表面之间的距离，并基于层之间的虚拟距离（每层图像的深度信息）来执行用于将图像作为三维图像显示在图像显示单元140上的转换处理。特别地，为了通过对包含多层的图像进行坐标变换来生成三维图像，三维图像转换单元114执行与包含多层的图像相关的坐标变换处理。

在三维图像转换单元114的转换处理中，如果用户在图像显示单元140上显示三维图像时调整每层图像的深度并且更改深度状态，则三维图像转换单元114根据该更改实时地执行转换处理。由此，用户可以调整每层图像的深度，并且在通过编辑屏幕上的显示来实时调整之后确认三维图像。下面将详细描述调整每层图像的深度的处理的例子。

在图像处理设备100根据用户所生成的包含多层的平面图像来生成三维图像时，图像处理设备100执行三维图像的预览显示。通过三维图像的预览显示，用户可以在将生成的图像作为三维图像来存储之前预先了解以三维方式看到的图像将是怎样的。

三维图像生成单元116基于由三维图像转换单元114执行的转换处理来从包含多层的图像生成三维图像。根据来自用户的输入单元130的操作，由三维图像生成单元116生成的三维图像被显示在图像显示单元140上、并被存储在图像存储单元120中。

编辑屏幕生成单元118基于输入单元130的输入操作的接收状态来生成编辑屏幕的显示数据。编辑屏幕生成单元118将编辑屏幕生成单元118所生成的显示数据提供给图像显示单元140，并显示该编辑屏幕。

图像存储单元120存储由图像生成/处理单元110生成的包含多层的图像、或者通过转换包含多层的图像而生成的三维图像。根据用户对输入单元130的操作，从图像存储单元120中读出在图像存储单元120中存储的图像，通过图像生成/处理单元110来处理，并通过图像显示单元140来显示。

输入单元130包括用户针对图像处理设备100来执行输入操作的各种输入设备，例如，键盘、鼠标、图形输入板以及触摸屏。在图像被转换为三维图像时，用户可以通过操作输入单元130并调整每层图像的深度来生成包含多层的图像。

图像显示单元140是显示图像的显示器。例如，图像显示单元140显示由图像生成/处理单元110生成的包含多层的图像、或者显示通过转换包含多层的图像而生成的三维图像。图像显示单元140显示一屏幕以允许图像处理设备100的用户生成图像。下面将描述显示屏幕的例子。触摸屏可被置于图像显示单元140的图像显示表面上，且用户可以直接操作所显示的图像中的按钮。图像显示单元140中包含的触摸屏用作输入单元130的一部分。图像显示单元140可以是从图像处理设备100分离的装置。

可以使用能显示三维图像的显示装置来配置图像显示单元140。显示三维图像的方法不限于特定的显示方法。例如，作为显示三维图像的方法，已知的一种方法是高速切换右眼的图像和左眼的图像并显示该图像。作为一种将三维图像发送到图像显示单元140的方法，已知有帧序列方法、并列方法和上下方法等。

图像生成/处理单元110生成的图像可被输出到电视接收器以及连接到图像处理设备100并且可以显示三维图像的其他显示装置。

1-2.三维图像生成概述

接下来，将参考图3到10来描述根据本公开实施例的由图像处理设备100来生成三维图像的概述。

首先，如图3所示，根据本例子的图像处理设备100具有由用户生成的包含长距视图、中距视图和短距视图的三层的平面图像251、252和253。图像处理设备100将包含长距视图、中距视图和短距视图这三层的平面图像251、252、253进行合成，并通过三维图像转换单元114将平面图像转换为三维图像。这样，通过将包含三层的图像转换为三维图像，用户可以生成三维图像而不用执行复杂的成像处理。

在图3的例子中，在长距视图的平面图像252中绘制与山脉、太阳、路和水平线对应的对象a、b、c和g，在中距视图的平面图像252中绘制树的对象d，并在短距视图的平面图像253中绘制与狗和昆虫对应的对象e和f。

层的数目为3是示例性的，并且层的数目可以为多个。

用离参考位置的距离来图示的深度被设置到每层图像。图4是示出深度的设置情形的图。图4所示的设置状态是下面描述的编辑屏幕的3D状态缩略图标签，并且图中所示的状态被缩小和显示。当3D状态缩略图标签202被选中时，图4所示的设置状态被放大并显示在编辑屏幕上。

将描述图4所示的深度的设置状态。将深度轴301设为与显示屏幕正交的方向，并在深度轴301上设置层图像311、312和313的深度位置。在图4的例子中，深度轴301被图示为具有预定角度的倾斜轴。图4中用虚线表示的图像框图示了在显示器的图像显示表面位置上的虚拟显示表面304。虚拟显示表面304出现在深度轴301上的深度位置301a。深度轴301的最前侧的位置被表示为前边缘位置302。

在图4的例子中，长距视图的第一层图像311出现在深度轴301上的最内侧深度位置301b，并且中距视图的第二层图像312出现在深度轴301的最靠近中间的深度位置301c。短距视图的第三层图像313出现在深度轴301上的虚拟显示表面304的前侧的深度位置301d。在该例子中，短距视图的层图像313出现在虚拟显示表面304的前侧的深度位置。但是，短距视图的层图像313可以比虚拟显示表面304更为内侧（离长距视图更近）。

这样，在三层图像被准备好时，在初始状态下的层图像可被自动设置到适合于作为第一层图像311的长距视图的预定深度位置。类似地，层图像可被自动设置到适合于作为第二层图像312的中距视图的预定深度位置，并且层图像可被自动设置到适合于作为第三层图像313的短距视图的预定深度位置。

如图4所示，生成三维图像，从而层图像311、312和313中的对象a到g被放置在虚拟三维空间中的层图像的深度位置。

但是，当水平线c的位置被设置到与长距视图的层图像311相关的水平线位置321时，长距视图的层图像311中的水平线位置321下侧的图像部分被布置为在三维空间中倾斜并向前侧凸起。即，水平线c下侧的图像部分变成倾斜的表面303，在该图像部分进入到下侧时，该倾斜的表面303从层图像311的深度位置301b向前边缘位置302朝着前侧逐渐凸起。在图4的例子中，在层图像311的水平线位置321的下侧绘制的路的对象g被放置在倾斜表面303上。

在图4的例子中，倾斜表面303朝着第三层图像313的前侧的前边缘部分302凸起。但是，倾斜表面303可以朝着虚拟显示表面304凸起。在该情形下，最前侧的层（第三层图像313）朝着倾斜表面303的前侧的终止点的前侧凸起。

这样，在针对长距视图的第一层图像311来执行水平线的设置、以及在针对其他层图像312和313的对象来执行与水平线匹配的设置时，每个对象被自动且合适地放置在倾斜表面303上。或者，进行处理来移除对象的不合适部分。下面将描述水平线设置以及与水平线相关的处理的特定例子。

接下来，将描述在三维图像转换单元114中将图像转换为三维图像的处理的例子。

图5是示出将包含多层的普通二维图像转换为三维图像的构思的图。在图5所示的方面中，包含多层（平面图像251、252和253）的二维图像被转换为用户用右眼观看的右眼图像250R和用户用左眼观看的左眼图像250L。但是，在图5中，未示出上述水平线的处理。三维图像转换单元114计算右眼图像和左眼图像的绘制位置，以根据二维图像生成右眼图像250R和左眼图像250L。

接下来，将描述一种计算右眼图像和左眼图像的绘制位置的特定方法。

图6至图8是示出将包含多层的普通二维图像转换为三维图像的例子的示例图。图6示出了在图7所示的从包含三层的二维图像生成右眼图像和左眼图像时的坐标变换，并示出了当三层比显示表面在更里面时的坐标变换，如图8所示。图6示意性地示出了从顶部观看每一层和显示表面时的状态。

如图6所示，预先假定左眼和右眼之间的距离E以及虚拟观看距离L。三维图像转换单元114使用虚拟显示表面259和层之间的层深度D1、D2和D3来执行用于右眼图像的投射坐标变换和用于左眼图像的投射坐标变换。使用投射坐标变换，计算在虚拟显示表面259中的每层图像的对象的像素位置。

这样，三维图像转换单元114执行关于虚拟显示表面259的投射坐标变换，并且图像处理设备100可以将包含多层的普通二维图像转换为三维图像。

图6到图8的例子是将每一层的深度设置为比虚拟显示表面259的深度更深的例子。但是，可以将每一层设置为在虚拟显示表面259的前侧的深度。

图9和图10示出了在短距视图的层的图像被放置在虚拟显示表面259’的前侧时将二维图像转换为三维图像的例子。图9示意性地示出了在向上观看的状态下在如图10所示从包含三层的二维图像生成右眼图像和左眼图像时的坐标变换。

如图9所示，在虚拟显示表面259’的前侧的层的图像的对象被投射到虚拟显示表面259’时，右眼图像和左眼图像的像素位置被反转为在左侧和右侧比虚拟显示表面259’更深的层中的像素位置。

在该例子的情形下，如图10所示，获得三维图像，其中，看到在短距视图的层上放置的对象e和f凸出到显示表面的前侧。

1-3编辑屏幕的显示例子

接下来，将描述生成三维图像所需的使用编辑屏幕的图像生成处理。

编辑屏幕是基于编辑屏幕生成单元118中的处理在图像显示单元140上显示的如图2所示的屏幕，图11的流程图示出了在编辑屏幕生成单元118中处理的过程。现在将参考图11来进行描述。首先，确定输入单元130是否接收用户操作来显示编辑屏幕（步骤S11）。在该情形下，在未收到用户操作时，保持等待状态，并且在接收到显示编辑屏幕的用户操作时，执行图2所示的显示3D编辑屏幕的处理（步骤S12）。在该状态下，在3D编辑屏幕中，所有层都被重叠并被显示为在生成处理中的所显示中间图像。此外，显示与层数对应的多层缩略图。

此外，确定是否接收到通过输入单元130来选择任一个显示的多层缩略图的操作（步骤S13）。在未接收到该操作时，保持等待状态，并且编辑屏幕的图像不会被更改。

此外，在接收到选择任一层缩略图的操作时，与选中的层缩略图对应的层的图像被显示在编辑屏幕上（步骤S14）。但是，在该情形下，在每层的图像显示中，降低其他层的图像的显示亮度且同时显示每层的图像，并且整个三维图像被显示以进行识别。

在步骤S14中显示特定层的图像的状态下，确定是否存在通过选择层缩略图来将该层更改为另一层的操作（步骤S15）。在该情形下，在确定存在将该层更改为另一层的操作时，执行在编辑屏幕上显示的层的更改处理（步骤S16），处理回到步骤S14，并显示更改后的层的图像。

当在步骤S15确定不存在将该层更改为另一层的操作时，确定是否存在将显示更改为所有层的重叠显示的操作（S17）。在该情形下，当确定存在将该显示更改为所有层的重叠显示的操作时，该显示被更改为所有层的重叠显示，且处理回到步骤S12中的3D编辑屏幕显示。

在步骤S17中，当确定不存在将该显示更改为所有层的重叠显示的操作时，继续执行步骤S14中的选中层的屏幕显示。

接下来，将参考图2和图12到图14来描述编辑屏幕的特定显示例子。图2示出了生成处理中的所有层的中间图像被重叠和显示的状态下的编辑屏幕的例子。在编辑屏幕中，在中心部分针对相对较大的图像来执行编辑处理中的中间图像显示203。在图2的例子中，作为编辑图像显示203，显示图3所示的三层图像251到253被重叠和显示时的图像。为了说明包含三层图像251、252和253的图像，针对编辑图像显示203的上边缘部分来重叠并说明三层边缘部分即第一层边缘部分203a、第二层边缘部分203b和第三层边缘部分203c。在三个图像的边缘部分203a到203c中，与选中标签对应的图像的边缘部分（例如边缘部分203a）被显示在前侧，且其他图像的边缘部分被显示在内侧。

此外，选择显示图像的多个标签201、202和211到213被放置在编辑屏幕中的编辑处理中的中间图像显示203的上侧。当存在通过触摸屏操作等来选择相应的标签显示位置的用户操作时，标签201、202和211到213显示被分配给选中标签的图像。

将描述被分配给每个标签的图像。多层缩略图标签211、212和213是单独显示各层的标签。特别地，第一层缩略图标签211是显示第一层图像的标签，第二层缩略图标签212是显示第二层图像的标签，并且第三层缩略图标签213是显示第三层图像的标签。在缩略图标签211到213中，各层的图像被缩小和显示为缩略图像。因此，在调整每层图像时，也以同样的方式来调整缩略图像。

靠近层缩略图标签211、212和213显示的标签201是添加层图像的标签。即，在标签201被选中时，新添加层图像并显示新添加的层图像的编辑屏幕。

此外，被放置为更接近编辑处理中的中间图像显示203的上侧的右侧的3D状态缩略图标签202是显示每层图像的深度状态的标签。在3D状态缩略图标签202被选中时，图4所示的深度状态的显示屏幕被放大并被显示在编辑图像显示203的位置。在3D状态缩略图标签202中，图4所示的深度状态的显示屏幕被缩小和显示。针对3D状态缩略图标签202中的缩小显示，调整深度状态，并显示内容根据该调整来更改。

现在将描述图2所示的编辑屏幕的编辑处理中的中间图像显示203的***部分。在编辑图像显示203的左端，放置多个按钮221到225。在该例子中，准备了文件导入按钮221、相机捕获按钮222、图章按钮223、字符输入按钮224和深度操作按钮225。

如果存在用于选择文件导入按钮221的用户操作，则开始用于导入在图像存储单元120或外部存储器中准备的文件图像的处理。

如果存在用于选择相机捕获按钮222的用户操作，则开始从连接到设备的相机装置捕获图像数据的处理。

在图章按钮223和字符输入按钮224中，通过用户对每个按钮的操作来开始用于输入准备好的图或字符的过程。

如果存在选择深度操作按钮225的用户操作，则深度调整屏幕被显示在编辑图像显示203上。下面将描述深度调整屏幕的显示处理。

如图2所示，生成开始按钮241、保存按钮242和三维显示按钮243被显示在编辑图像显示203的右端。生成开始按钮241是指示生成新的三维图像的按钮。保存按钮242是指示在图像存储单元120中存储生成处理中的中间图像的按钮。三维显示按钮243是用以切换在编辑图像显示203上显示的图像的三维显示和普通显示（2D显示）的按钮。

在编辑图像显示203的右端的下侧，显示画笔工具290。该例子中的画笔工具290显示第一画笔291、第二画笔292、第三画笔293和橡皮擦294。如果存在选择画笔291、292和293的显示位置的用户操作，则可以用分配给每个画笔的颜色和线条类型来绘制线条。如果存在选择橡皮擦294的显示位置的用户操作，则绘制的线条被擦除。画笔工具290可以具有支持其他绘制或擦除的功能。

如图2所示，在编辑图像显示203的下端提供目标显示单元231到237。在多个对象显示单元231到237中，例如，显示用户使用的七个最新的对象。在图2的例子中，示出了生成处理中的中间图像的每个对象。图2示出了在编辑图像显示203中重叠并显示各个层的图像的例子。即使是在编辑图像显示203中显示其他图像时，也在编辑图像显示203附近执行同一显示。在图2的编辑屏幕中，没有特别提供标签来选择将图2所示的每层图像进行重叠的重叠显示。但是，可以与用于每层图像的标签分开来准备用于选择重叠显示的标签。在提供标签来选择将每层图像进行重叠的重叠显示时，在该标签上显示其中每层图像的重叠图像被缩小并显示的缩略图像。因此，在调整每层图像时，根据该更改来调整其中重叠图像被缩小和显示的缩略图像。

图12示出了在编辑图像显示203上显示第三层图像（图3中的短距视图的图像253）的例子。通过用户操作选择第三层缩略图标签213，来执行第三层的图像显示。

在显示第三层的图像253时，用设置的颜色和亮度来显示第三层的图像中的对象e和f。在降低显示亮度后，其他层的图像的对象被重叠和显示。即，只有第三层的图像被加亮和显示，而其他层的图像被变灰和显示。

通过执行操作来在编辑处理中的中间图像显示203中的图像中添加对象或在图12所示的状态下由用户来绘制，可以生成或编辑第三层的图像。

图13示出了在编辑图像显示203中显示第二层的图像（图3中的中距视图的图像252）的例子。通过用户操作选择第二层缩略图标签212，来执行第二层的图像显示。

在显示第二层的图像252时，用设置的颜色和亮度来显示第二层的图像中的对象d。在降低显示亮度后，其他层的图像的对象被重叠和显示。

通过执行操作来在编辑处理中的中间图像显示203中的图像中添加对象或在图13所示的状态下由用户来绘制，可以生成或编辑第二层的图像。

图14示出了在编辑图像显示203中显示第一层的图像（图3中的长距视图的图像251）的例子。通过用户操作选择第一层缩略图标签212，来执行第一层的图像显示。

在显示第一层的图像251时，用设置的颜色和亮度来显示第一层的图像中的对象a、c和g。在显示时，在降低显示亮度之后，其他层的图像的对象被重叠并显示。

通过执行操作来在编辑处理中的中间图像显示203中的图像中添加对象或在图14所示的状态下由用户来绘制，可以生成或编辑第一层的图像。

在图12到14的显示示例中，选中的层的图像被加亮并显示，且其它层被变灰并显示。同时，作为编辑图像，只有选中的层中的图像的对象可以被显示，且其他层的图像的对象不会被显示。

1-4深度调整屏幕的显示例子

接下来，将参考图15的流程图来描述每层图像的深度调整处理的流程。

例如，通过用户操作而选择图2所示的编辑屏幕中的深度操作按钮225来开始深度调整处理。即，如图15所示，编辑屏幕生成单元118确定在显示编辑屏幕的状态下是否存在选择深度操作按钮225的操作（步骤S21）。当不存在选择深度操作按钮225的操作时，保持等待状态直到操作存在。

在步骤S21中，当确定存在选择深度操作按钮225的操作，作为编辑处理中的中间图像显示203来执行所有层的图像的重叠显示，并在编辑处理中的中间图像显示203的上侧显示深度条（步骤S22）。深度条是示出每层深度的刻度。如该例子所示，在使用三层图像来配置深度条时，通过深度条来显示三层的深度位置。在编辑图像显示203的下侧，显示深度调整按钮。下面将描述特定的显示示例。但是，在该例子中，对于每一层，准备并显示将图像深度移动到内侧的调整按钮、以及将图像深度移动到前侧的调整按钮。

编辑屏幕生成单元118确定是否存在任意调整按钮的用户操作（步骤S23）。在该情形下，当确定不存在调整按钮的操作，继续执行步骤S22的显示。当确定存在调整按钮的操作，与操作的操作按钮对应的层的图像被作为编辑处理中的中间图像显示203来显示（步骤S24）。根据调整按钮的操作情形来更改为相应层的图像所设置的深度位置，并根据相应的位置来更改深度条显示的深度位置（步骤S25）。在步骤S25中更改了所述设置或所述显示之后，所述显示返回到步骤S22的显示。但是，编辑处理中的中间图像显示203可以仅是所操作的层的显示，直到下一次操作存在。

图16是示出深度条的显示例子的图。当存在编辑屏幕的深度操作按钮225的操作，如图16所示，作为编辑处理中的中间图像显示203来执行所有层的图像的重叠显示，并且深度条401被显示在编辑图像显示203的上侧。

在该例子中，在一个深度条401中显示三层的图像的深度位置。即，在深度条401中，通过改变显示颜色来示出第一层的图像的深度位置401a、第二层的图像的深度位置401b以及第三层的图像的深度位置401c。

在给予深度条401的刻度中，“0”表示虚拟显示表面的深度位置，内侧用负值来指示，且前侧用正值来指示（未给出正号的显示）。

在编辑图像显示203的下侧，针对每层图像来显示调整深度位置的按钮。特别地，显示将深度移动到前侧的深度调整按钮411和将深度移动到内侧的深度调整按钮412，作为第一层图像的调整按钮。显示将深度移动到前侧的深度调整按钮421和将深度移动到内侧的深度调整按钮422，作为第二层图像的调整按钮。显示将深度移动到前侧的深度调整按钮431和将深度移动到内侧的深度调整按钮432，作为第三层图像的调整按钮。

如果存在选择深度调整按钮411到432的显示位置的用户操作，则更改每层图像的深度的设置。例如，通过深度调整按钮411和412的操作来更改第一层图像的深度位置，并且如箭头La所示来移动深度条401中的第一层图像的深度位置401a的显示。

此外，通过深度调整按钮421和422的操作来更改第二层图像的深度位置，并且如箭头Lb所示来移动深度条401中的第二层图像的深度位置401b的显示。

此外，通过深度调整按钮431和432的操作来更改第三层图像的深度位置，并且如箭头Lc所示来移动深度条401中的第三层图像的深度位置401c的显示。

深度调整按钮411到432被限制在与相邻层的图像的深度位置靠近的位置。例如，第一层图像的移动La的范围从最深的位置到与相邻的第二层的图像的深度位置靠近的位置。

图17示出了深度条的另一显示例子。

在该例子中，在编辑图像显示203中，选中的层的图像（在该例子中是第三层的图像）被加亮和显示。在深度条501中，只有强调显示的层的深度位置502被显示为深度条501。在图17的例子的情形下，在深度条501中，示出了由图像处理设备100设置的整个深度范围，并示出了虚拟显示表面的位置显示503。

在图17的例子的情形下，针对深度调整按钮，仅显示作为选中层的第三层的图像的深度调整按钮511和512。通过深度调整按钮511和512的操作来调整强调显示的层的图像的深度位置，并如箭头Ld所示来更改深度条501的深度位置502的显示位置。

图18示出了深度条的另一显示例子。

在图18的例子中，与图17的例子类似，选中的层的图像（在该例子中是第二层的图像）被加亮并显示在编辑图像显示203中。在深度条601中，仅用刻度来显示该层图像的深度可被调整的范围。深度位置602被显示在深度条601中。即，在第二层图像的深度中，内侧被限制在第一层图像的深度位置，且前侧被限制在第三层图像的深度位置。深度被限制和调整的范围成为深度条601的刻度显示范围。

因此，在通过深度调整按钮611和612的操作来调整深度位置时，如箭头Le所示，深度位置602在显示的深度条601的范围内移动。

图19示出了深度条的另一显示例子。

在图19的例子中，在编辑处理中的中间图像显示203中执行所有层的图像的重叠显示，并在深度条701中示出深度被调整的层图像的深度位置702。此外，指示虚拟显示表面的位置703。与图16的例子类似，为每层提供深度调整按钮711、712、721、722、731和732，并且如箭头Lf所示通过按钮操作调整深度来更改深度位置702。

在通过深度调整按钮711、712、721、722、731和732的操作来调整特定层的深度时，在编辑图像显示203中用四个角落的图像框704来指示与深度调整兼容的层的图像的位置。

在图像的几乎中心，执行用于指示深度的设置位置的数值（在该例子中是“-25”）的显示705。

通过这种方式，可以执行能从显示图像识别深度设置的显示。

1-5.地表面设置屏幕的显示例子

接下来，将参考图20的流程图来描述图像的地表面设置处理的流程。

地表面设置处理在用户操作图2所示的编辑屏幕中的按钮（在图中未示出）以指示设置地表面时开始。即，如图20所示，在显示编辑屏幕的状态下，编辑屏幕生成单元118确定是否存在用以指示设置地表面的操作（步骤S31）。当设置地表面的操作不存在时，保持等待状态直到相应的操作存在。

在步骤S31中，当确定存在设置地表面的操作时，作为编辑处理中的中间图像显示203来执行所有层的图像的重叠显示，并且在编辑处理中的中间图像显示203的一端垂直地显示用于水平线调整的滑动条（步骤S32）。在用于水平线调整的滑动条上显示用于指示水平线位置的滑动手柄，并确定是否存在滑动手柄的拖拽操作（步骤S33）。

当确定存在滑动手柄的操作时，根据该操作来执行水平线的位置的更改处理（步骤S34）。根据水平线的位置的更改，最内侧层（第一层）的图像的水平线的下侧被设置到三维空间的倾斜表面上。倾斜表面的设置是图4中已经描述过的处理，并且倾斜表面对应于地表面。

接下来，确定是否设置了用于移除在除了第一层以外的层的图像中的地表面的下侧的模式（步骤S35）。在该情形下，当设置了所述用以移除地表面的下侧的模式时，移除在变成除了第一层以外的层的图像的倾斜表面（地表面）的下侧的位置上的对象（步骤S36）。

当在步骤S35中确定未设置所述用以移除地表面的下侧的模式，确定在各个层的图像的对象中是否存在被设置为放置在地表面上的对象（步骤S37）。在该情形下，当确定存在被设置为放置在地表面上的对象时，将相应对象的下端位置调整到与其中存在该对象的层的图像中的倾斜表面交叉的位置（步骤S38）。

当在步骤S33中确定不存在拖拽操作，在执行步骤S36和S38的处理之后并且在步骤S37中确定不存在被设置为布置在地表面上的对象时，处理回到步骤S32的水平线滑动条处理。

接下来，将描述在调整水平线的时候的特定显示例子。

图21示出了作为水平线滑动条的水平线调整条261被显示在编辑屏幕的编辑处理中的中间图像显示203中的例子。在水平线调整条261中，指示地表面设置位置显示262。在该例子中，地表面设置位置显示262与第一层的图像中绘制的地线c匹配。通过用户操作来执行该匹配处理。

这样，通过设置水平线来设置第一层图像的水平线的下侧的地表面作为图4所示的倾斜表面。地表面的位置可被显示在除了第一层以外的层的图像（第二层和第三层的图像）中。

例如，如图22所示，用虚线来表示第二层的图像252与地表面（倾斜表面）交叉时的地表面位置显示271，作为编辑屏幕的编辑处理中的中间图像显示203。通过该显示，根据地表面位置的显示，确定该层的图像252中的对象（在该例子中是树的对象d）的布置位置是否合适。即，树的对象d的下端几乎与虚线所示的地表面位置显示271匹配，并获得合适的三维图像。同时，树的对象d的下端在虚线所示的地表面位置显示271的上侧，该树被浮置。当对象d的下端在地表面位置显示271的下侧，树沉入到地表面中。结果，在两种情形下都得到不自然的三维图像。如图22所示，执行地表面位置显示271来有效地避免图像变成不自然的三维图像。

图23示出了地表面的位置的另一显示例子。在图23的例子中，只有与地表面交叉的位置的上侧被显示为第二层的图像，且地表面的下侧被显示为非显示部分272（黑色显示部分）。在图23中，例如在降低亮度之后显示第二层的前侧的第三层的图像。但是，第三层的图像中的对象e和f可能不被显示。

图24示出了如下的例子，其中在除了作为长距视图的第一层以外的层中作为倾斜表面的地表面的下侧的对象被移除、并作为编辑屏幕的编辑处理中的中间图像显示203来执行显示。图24的处理对应于图20的流程图的步骤S36中的处理。

在图24的例子中，作为短距视图的第三层中的狗的对象e的下部变成地表面的下侧。这时，在地表面的下侧的对象e的下部被移除的状态下显示该对象e。

通过这种方式，变成地表面的下侧的对象不会被显示，从而可以避免在三维地观看生成的图像时的对象出现在地表面的下侧的不自然显示。图24所示的对象的部分移除处理可以在三维图像显示器中执行，并且在每层的图像被单独显示时相应的对象可被完全显示。

图25示出了在每层图像中的对象的下端与倾斜表面的地表面匹配并且作为编辑屏幕的编辑处理中的中间图像显示203来执行显示的情形下的操作屏幕的例子。图25的处理对应于图20的流程图的步骤S38中的处理。

在图25的例子中，示出了与作为短距视图的第三层中的狗的对象e相关的操作屏幕。在该例子中，如图25所示，在对象e附近显示位置移动按钮281和282、返回按钮283、移除按钮284和地表面调整按钮285。

用户执行操作来选择每个按钮，并且对象e的位置被调整。在该情形下，当选择地表面调整按钮285的操作存在时，编辑屏幕生成单元118执行自动地将对象e的下端位置与同地表面交叉的表面进行匹配的处理。

因此，通过选择地表面调整按钮285将相应的对象e自动放置在地表面上，并且可以生成合适的三维图像。

1-6.捕获相机图像的例子

图26和图27示出了在生成处理的中间图像中采用相机图像的例子。

例如，如果存在用以选择图2所示的编辑屏幕中的相机捕获按钮222的操作，如图26所示，相机捕获操作屏幕810被显示在编辑屏幕上。通过使用相机捕获操作屏幕810的操作来执行从连接到图像处理设备100的外部相机设备（或者存储相机图像的存储设备）读取相机图像的处理。此外，如图26所示，通过该读取来执行相机捕获图像811的显示。通过相机捕获操作屏幕810中的操作来获取从相机捕获图像811移除背景时的提取图像812。

通过将提取图像812放置在任意层的图像上，如图27所示，提取图像812可被放置为中间处理的中间图像中的一个对象。用户使用相机捕获操作屏幕810来选择其中放置提取图像的层的深度位置。或者，相机捕获图像可被自动放置在最前侧（短距视图）的层上。

1-7.导入图像文件的例子

图28到30示出了在生成处理的中间图像中导入文件图像的例子。

例如，如果存在用于选择图2所示的编辑屏幕中的文件导入按钮221的操作，如图28所示，则在编辑屏幕中显示图像文件导入操作屏幕820。通过使用图像文件导入操作屏幕820的操作来执行从指定位置中存储的图像文件读取选中的图像数据的处理。此外，如图28所示，通过该读取来显示导入的图像821。如图29所示，通过图像文件导入操作屏幕820中的操作来获取从导入的图像821中部分提取的提取图像822。

通过将提取图像822放置在任一层的图像上，如图30所示，提取图像822可被放置作为生成的图像中的一个对象。在该情形下，用户使用图像文件导入操作屏幕820来选择放置提取图像的层的深度位置。

1-8.生成图像的列表的显示例子

在上述处理中使用编辑屏幕生成的三维图像被存储在图像处理设备100的图像存储单元120中。可以在一个屏幕上显示所存储的三维图像的数据的列表。

图31示出了显示所生成的图像的列表的例子。在该例子中，生成的图像11、12、13…被缩小并显示。在该情形下，在每个图像的显示中，可以显示二维图像或三维图像。

在生成的图像显示的列中，执行用图来指示的层数的层数显示11a、12a、13a…。在该情形下，作为用图来显示层数，当层数为三时，显示三个图像被重叠的图。

通过显示生成的图像的列表，生成的图像可被容易地选择。选择的图像可被显示在图2所示的编辑屏幕中，并且可以执行编辑工作。

1-9.硬件配置的特定例子

接下来，将参考图32来描述根据该例子的图像处理设备100的硬件配置的特定例子。图32示出了图像处理设备100被配置为信息处理装置（例如计算机装置）的例子。

图像处理设备100主要包括CPU901、ROM903、RAM905、主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、图像捕获装置918、存储装置919、驱动器921、连接端口923和通信装置925。

CPU901用作操作处理装置和控制装置，并根据在ROM903、RAM905、存储装置919和可移除记录介质927中存储的各个程序来控制图像处理设备100中的所有或部分操作。ROM903存储可被CPU901使用的程序或操作参数。RAM905主要存储在CPU901的执行中使用的程序或者在执行中适当改变的参数。这些装置通过由如CPU总线的内部总线配置的主机总线907来互相连接。

主机总线907通过桥909连接到外部总线911，例如***组件互连/接口（PCI）总线。

输入装置915是例如用户操作的鼠标、键盘、触摸屏、按钮、开关或杠杆的操作单元。输入装置915可以是使用红外线和其他无线电波的远程控制单元（所谓的远程控制器）、或者是与图像处理设备100的操作兼容的外部连接设备929例如移动电话或PDA。使用输入控制电路来配置输入装置915，该输入控制电路基于用户使用操作单元输入的信息来生成输入信号，并将输入信号输出到CPU901。图像处理设备100的用户操作输入装置915并且可以将各种数据输入到图像处理设备100或指示图像处理设备100执行处理操作。

用例如液晶显示装置、等离子体显示装置、EL显示装置和灯的显示装置、例如扬声器和耳机的声音输出装置、或者诸如打印装置的装置、移动电话机以及能在视觉上或用声音通知用户所获取信息的传真机来配置输出装置917。输出装置917输出通过图像处理设备100执行的各个处理获取的结果。特别地，显示装置用文本或图像来显示通过图像处理设备100执行各个处理而获取的结果。同时，声音输出装置将用再现的声音数据或听觉数据来配置的音频信号转换为模拟信号，并输出该模拟信号。

例如，在显示装置上提供图像捕获装置818，且图像处理设备100可以使用图像捕获装置918来捕获用户的静态图像或运动图像。图像捕获装置918包括电荷耦合器件（CCD）图像传感器或互补金属氧化物半导体（CMOS）图像传感器，并将镜头聚集的光线转换为电信号，并且可以捕获静态图像或运动图像。

存储装置919是数据存储装置，其可被配置为图像处理设备100的存储单元的例子。例如，用例如硬盘驱动（HDD）的磁存储装置、半导体存储装置、光存储装置或磁光存储装置来配置存储装置919。存储装置919存储CPU901执行的程序、各种数据、以及从外部获取的听觉信号数据或图像信号数据。

驱动器921是存储介质的读写器，并且被合并在图像处理设备100中或者连接到图像处理设备100的外部。驱动器921读取在安装的可移除记录介质927例如磁盘、光盘、磁光盘或半导体存储器中记录的信息，并将该信息输出到RAM905。驱动器921可以在安装的可移除记录介质927（例如磁盘、光盘、磁光盘或半导体存储器）中记录信息。可移除记录介质927是DVD介质、蓝光介质、压缩闪存（注册商标）（CompactFlash：CF）、记忆棒、安全数字（SD）存储卡等。可移除记录介质927可以是集成电路（IC）卡或安装非接触类型的IC芯片的电子设备。

连接端口923是将设备直接连接到图像处理设备100的端口，例如通用串行总线（USB）端口、例如i.Link的IEEE1394端口、小型计算机***接口（SCSI）端口、RS-232C端口、光声终端或高分辨率多媒体接口（HDMI）端口。通过将外部连接设备929连接到连接端口923，图像处理设备100从外部连接设备929直接获取听觉图像数据或图像信号数据，或者将听觉图像数据或图像信号数据提供给外部连接设备929。

通信装置925是用通信装置来配置的通信接口，用于与通信网络931的连接。通信装置925是例如有线或无线局域网（LAN）的通信卡、蓝牙、用于无线USB（WUSB）的通信卡、用于光通信的路由器、用于非对称数字用户线路（ADSL）的路由器或用于各种通信的调制解调器。通信装置925可以基于互联网或其他通信设备与通信装置之间的预定的协议例如TCP/IP来发送和接收信号。用有线或无线连接的网络来配置连接到通信装置925的通信网络931。例如，通信网络931可以是互联网、家庭LAN、红外通信、无线电波通信或卫星通信。

描述了可以实现根据该例子的图像处理设备100的功能的硬件配置的例子。各个组件可以用通用目的部件来配置，或者可以用专用于单独组件功能的硬件来配置。因此，可以根据实现该实施例的各种技术级别来适当地更改配置中使用的硬件。

可以生成执行根据该例子的图像处理设备100所执行的每个处理步骤的程序（软件），该程序可被部署在通用目的计算机装置中，并可以执行相同的处理。程序可被存储在不同的介质中，并且可以通过互联网从服务器端下载到计算机装置。

本领域技术人员应理解，可以依赖于设计需求和其他因素来实现各种调整、组合、子组合或改变，只要它们在所附权利要求书及其等同物的范围内。

注意到下列配置落在本公开的范围内。

（1）一种图像处理设备，包括：

图像生成单元，其生成多个平面图像、并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

三维图像转换单元，基于所设置的到图像生成单元所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的每个中的对象的空间位置；

三维图像生成单元，其输出由所述三维图像转换单元转换的三维图像的数据；

编辑屏幕生成单元，其单独或以重叠的方式来显示由图像生成单元生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

输入单元，其接收操作来生成或编辑在由编辑屏幕生成单元生成的编辑屏幕中的图像。

（2）如权利要求（1）所述的图像处理设备，

其中，由编辑屏幕生成单元生成的编辑屏幕包括用于各个平面图像的显示缩略图像的标签，在缩略图像中与各个标签对应的平面图像被缩小，并且通过输入单元中的任意标签的选择操作在编辑屏幕上显示与任意标签对应的平面图像。

（3）如权利要求（1）或（2）所述的图像处理设备，

其中，由编辑屏幕生成单元生成的编辑屏幕包括用于显示缩略图像的标签，在缩略图像中示出多个平面图像的虚拟距离的图像被缩小。

（4）如权利要求（1）-（3）中任一个所述的图像处理设备，

其中，示出平面图像的虚拟距离设置的距离刻度以及通过输入单元操作平面图像的虚拟距离的操作位置被显示在由编辑屏幕生成单元生成的编辑屏幕上。

（5）如权利要求（1）到（4）中任一个所述的图像处理设备，

其中，在距离刻度下，多个平面图像的距离设置被区分并显示，并且针对每个平面图像来准备所述操作位置。

（6）如权利要求（1）到（5）中任一个所述的图像处理设备，

其中，在距离刻度下执行用以指示虚拟显示表面的位置的显示。

（7）如权利要求（1）到（6）中任一个所述的图像处理设备，

其中，所述三维图像转换单元将多个平面图像转换为三维图像，在该三维图像中被设置到多个平面图像中的一个特定平面图像的水平线位置的下侧的图像部分变成根据虚拟距离逐渐更改的倾斜表面。

（8）如权利要求（1）到（7）中任一个所述的图像处理设备，

其中，示出水平线位置的设置的水平线位置刻度被显示在由编辑屏幕生成单元生成的编辑屏幕上，并通过在输入单元中接收操作来更改通过水平线位置刻度示出的水平线位置。

（9）如权利要求（1）到（8）中任一个所述的图像处理设备，

其中，除了所述特定平面图像之外的平面图像在由编辑屏幕生成单元生成的编辑屏幕上显示与三维图像中的倾斜表面交叉的位置。

（10）如权利要求（1）到（9）中任一个所述的图像处理设备，

其中，针对除了所述特定平面图像之外的平面图像，所述三维图像转换单元移除变成与三维图像中的倾斜表面交叉的位置的下侧的对象。

（11）如权利要求（1）到（10）中任一个所述的图像处理设备，

其中，所述图像生成单元将除了特定平面图像之外的平面图像中的指定对象的下端设置到与同三维图像中的倾斜表面交叉的位置匹配的位置。

（12）一种图像处理设备，包括：

图像控制单元，其控制在显示单元上显示的图像；

三维图像生成单元，其生成三维图像，在该三维图像中，根据在深度方向上具有虚拟距离的多个平面图像来分别设置多个平面图像的对象的空间位置；以及

输入单元，其从用户接收操作；

其中，所述图像控制单元显示多个平面图像和重叠图像被缩小的缩略图像，在该重叠图像中在深度方向上以在预定角度上重叠的方式来显示平面图像，并且，当输入单元接收选择缩略图像的命令时，所述图像控制单元以能够编辑状态来显示与选中缩略图像相对应的平面图像或重叠图像、连同多个平面图像和重叠图像的缩略图像。

（13）如权利要求（12）所述的图像处理设备，

其中，所述图像控制单元以重叠的方式来显示平面图像和重叠图像，并且分别显示作为多个平面图像和重叠图像的标签的缩略图像。

（14）如权利要求（12）或（13）所述的图像处理设备，

其中，所述图像控制单元还显示标签来接收平面图像的添加。

（15）如权利要求（12）到（14）中的任一个所述的图像处理设备，

其中，当与重叠图像对应的缩略图像被选中时，所述图像控制单元在前表面上显示重叠图像并且仅显示未选中平面图像的标签，并且

输入单元接收输入来改变在重叠图像中显示的平面图像中选中的平面图像在深度方向上的虚拟距离。

（16）如权利要求（12）到（15）中的任一个所述的图像处理设备，

其中，当对应于平面图像的缩略图像被选中时，所述图像控制单元显示一屏幕，其中在前表面上仅加亮在该屏幕中的平面图像的图像。

（17）如权利要求（12）到（16）中的任一个所述的图像处理设备，

其中，当对应于平面图像的缩略图像被选中时，所述图像控制单元显示一屏幕，其中在前表面上使该屏幕中的未选中的平面图像的图像变灰。

（18）如权利要求（12）到（17）中的任一个所述的图像处理设备，

其中，所述图像控制单元显示用于示出平面图像在深度方向上的虚拟距离的距离刻度，并显示深度更改操作输入单元，以通过输入单元来操作在能够编辑状态下显示的平面图像在深度方向上的虚拟距离，并且

当在能够编辑状态下显示平面图像时，所述输入单元接受操作来生成或编辑平面图像中的图像，并接受与深度更改操作输入单元相关的操作。

（19）如权利要求（12）到（18）中的任一个所述图像处理设备，

其中，所述深度更改操作输入单元具有将在能够编辑状态下显示的平面图像在深度方向上的虚拟距离移动至前侧的按钮、以及将该虚拟距离移动到内侧的按钮。

（20）如权利要求（12）到（19）中的任一个所述的图像处理设备，

其中，所述深度更改操作输入单元是与以能够编辑状态显示在距离刻度上的平面图像对应的对象。

（21）如权利要求（12）到（20）中的任一个所述的图像处理设备，

其中，所述图像控制单元显示水平线更改操作输入单元，以通过输入单元来操作在以能够编辑状态显示的平面图像中设置的水平线位置，并且

当在能够编辑状态下显示平面图像时，所述输入单元接受与水平线更改操作输入单元相关的操作。

（22）如权利要求（12）到（21）中的任一个所述的图像处理设备，

其中，所述图像控制单元不显示在能够编辑状态下显示的平面图像中设置的水平线位置的下侧的图像。

（23）如权利要求（12）到（22）中的任一个所述的图像处理设备，

其中，所述三维图像生成单元不向所生成的三维图像反映在每个平面图像中设置的水平线位置的下侧的图像。

（24）如权利要求（12）到（23）中的任一个所述的图像处理设备，

其中，当与选中的缩略图像对应的平面图像被编辑时，所述图像控制单元执行控制操作以将编辑结果反映在重叠图像的缩略图像上。

（25）如权利要求（12）到（24）中任一个所述的图像处理设备，还包括：

显示单元。

（26）一种图像处理方法，包括：

生成多个平面图像，并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的每个中的对象的空间位置；

输出转换的三维图像的数据；

单独或重叠地来显示所生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

接受操作以生成或编辑在所生成的编辑屏幕中的图像。

（27）一种使计算机执行图像处理的程序，该程序使得计算机执行：

生成多个平面图像，并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的对象的空间位置；

输出转换的三维图像的数据；

单独或重叠地来显示所生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

接受操作以生成或编辑在所生成的编辑屏幕中的图像。

参考符号列表

a到f 显示对象

11、12、13 生成的图像

11a、12a、13a 层数显示

100 图像处理设备

110 图像生成/处理单元

112 图像生成单元

114 三维图像转换单元

116 三维图像生成单元

118 编辑屏幕生成单元

120 图像存储单元

130 输入单元

140 图像显示单元

201 标签

202 3D状态缩略图标签

203 编辑处理中的图像显示

203a 第一层边缘位置

203b 第二层边缘位置

203c 第三层边缘位置

211到213 层缩略图标签

221 文件导入按钮

222 相机捕获按钮

223 图章按钮

224 字符输入按钮

225 深度操作按钮

231到237 对象显示单元

241 生成开始按钮

242 保存按钮

243 三维显示按钮

250L 左眼图像

250R 右眼图像

251、251’ 第一层图像

252、252’ 第二层图像

253、253’ 第三层图像

259、259’ 显示表面

261 水平线调整条

262 地表面设置位置显示

271 层中的地表面位置显示

272 非显示部分

281、282 位置移动按钮

283 返回按钮

284 移除按钮

285 地表面调整按钮

290 画笔工具

291 第一画笔

292 第二画笔

293 第三画笔

294 橡皮擦

301 深度轴

301a到301d 深度位置

302 前边缘位置

303 地表面设置位置

304 虚拟显示表面

311 第一层图像

312 第二层图像

313 第三层图像

321 水平线位置

401 深度条显示

401a、401b、401c 层位置

411、412、421、422、431、432 深度调整按钮

501 深度条显示

502 虚拟显示表面位置

503 层位置

511、512 深度调整按钮

601 深度条显示

603 层位置

611、612 深度调整按钮

701 深度条显示

702 虚拟显示表面位置

703 层位置

704 深度框

705 深度值显示

711、712、721、722、731、732 深度调整按钮

810 相机捕获操作屏幕

811 相机捕获图像

812 提取图像

820 图像文件导入操作屏幕

821 导入的图像

822 提取图像

Claims (27)

1.一种图像处理设备，包括：

图像生成单元，其生成多个平面图像、并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

三维图像转换单元，基于所设置的到图像生成单元所生成的多个平面图像的虚拟距离将所述多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的每个中的对象的空间位置；

三维图像生成单元，其输出由所述三维图像转换单元转换的三维图像的数据；

编辑屏幕生成单元，其单独或以重叠的方式来显示由图像生成单元生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

输入单元，其接收操作以生成或编辑在由编辑屏幕生成单元生成的编辑屏幕中的图像。

2.如权利要求1所述的图像处理设备，

其中，由编辑屏幕生成单元生成的编辑屏幕包括用于各个平面图像的显示缩略图像的标签，在缩略图像中与各个标签对应的平面图像被缩小，并且

通过输入单元中的任意标签的选择操作在编辑屏幕上显示与任意标签对应的平面图像。

3.如权利要求2所述的图像处理设备，

其中，由编辑屏幕生成单元生成的编辑屏幕包括用于显示缩略图像的标签，在缩略图像中示出多个平面图像的虚拟距离的图像被缩小。

4.如权利要求1所述的图像处理设备，

其中，示出平面图像的虚拟距离设置的距离刻度以及通过输入单元操作平面图像的虚拟距离的操作位置被显示在由编辑屏幕生成单元生成的编辑屏幕上。

5.如权利要求4所述的图像处理设备，

其中，在距离刻度下，多个平面图像的距离设置被区分并显示，并且针对每个平面图像来准备所述操作位置。

6.如权利要求4所述的图像处理设备，

其中，在距离刻度下执行用以指示虚拟显示表面的位置的显示。

7.如权利要求1所述的图像处理设备，

其中，所述三维图像转换单元将多个平面图像转换为三维图像，在该三维图像中被设置到多个平面图像中的一个特定平面图像的水平线位置的下侧的图像部分变成根据虚拟距离逐渐更改的倾斜表面。

8.如权利要求7所述的图像处理设备，

其中，示出水平线位置的设置的水平线位置刻度被显示在由编辑屏幕生成单元生成的编辑屏幕上，并通过在输入单元中接收操作来更改通过水平线位置刻度示出的水平线位置。

9.如权利要求8所述的图像处理设备，

其中，除了所述特定平面图像之外的平面图像在由编辑屏幕生成单元生成的编辑屏幕上显示与三维图像中的倾斜表面交叉的位置。

10.如权利要求8所述的图像处理设备，

其中，对于除了所述特定平面图像之外的平面图像，所述三维图像转换单元移除变成与三维图像中的倾斜表面交叉的位置的下侧的对象。

11.如权利要求8所述的图像处理设备，

其中，所述图像生成单元将除了特定平面图像之外的平面图像中的指定对象的下端设置到与同三维图像中的倾斜表面交叉的位置匹配的位置。

12.一种图像处理设备，包括：

图像控制单元，其控制在显示单元上显示的图像；

三维图像生成单元，其生成三维图像，在该三维图像中根据在深度方向上具有虚拟距离的多个平面图像来分别设置多个平面图像的对象的空间位置；以及

输入单元，其从用户接收操作；

其中，所述图像控制单元显示其中多个平面图像和重叠图像被缩小的缩略图像，在该重叠图像中在深度方向上以在预定角度上重叠的方式来显示平面图像，并且，

当输入单元接收选择一缩略图像的命令时，所述图像控制单元以能够编辑状态来显示与选中缩略图像相对应的平面图像或重叠图像、连同多个平面图像和重叠图像的缩略图像。

13.如权利要求12所述的图像处理设备，

其中，所述图像控制单元以重叠的方式来显示平面图像和重叠图像，并且分别显示作为多个平面图像和重叠图像的标签的缩略图像。

14.如权利要求13所述的图像处理设备，

其中，所述图像控制单元还显示标签来接收平面图像的添加。

15.如权利要求12所述的图像处理设备，

其中，当与重叠图像对应的缩略图像被选中时，所述图像控制单元在前表面上显示重叠图像并且仅显示未选中平面图像的标签，并且

输入单元接收输入来更改在重叠图像中显示的平面图像之中选中的平面图像在深度方向上的虚拟距离。

16.如权利要求12所述的图像处理设备，

其中，当对应于平面图像的缩略图像被选中时，所述图像控制单元显示一屏幕，其中在前表面上仅加亮在该屏幕中的平面图像的图像。

17.如权利要求12所述的图像处理设备，

其中，当对应于平面图像的缩略图像被选中时，所述图像控制单元显示一屏幕，其中在前表面上使该屏幕中的未选中的平面图像的图像变灰。

18.如权利要求12所述的图像处理设备，

其中，所述图像控制单元显示用于示出平面图像在深度方向上的虚拟距离的距离刻度，并显示深度更改操作输入单元，以通过输入单元来操作在能够编辑状态下显示的平面图像在深度方向上的虚拟距离，并且

当在能够编辑状态下显示平面图像时，所述输入单元接受操作来生成或编辑平面图像中的图像，并接受与深度更改操作输入单元相关的操作。

19.如权利要求18所述图像处理设备，

其中，所述深度更改操作输入单元具有将在能够编辑状态下显示的平面图像在深度方向上的虚拟距离移动至前侧的按钮、以及将该虚拟距离移动到内侧的按钮。

20.如权利要求18所述的图像处理设备，

其中，所述深度更改操作输入单元是与以能够编辑状态显示在距离刻度上的平面图像对应的对象。

21.如权利要求12所述的图像处理设备，

其中，所述图像控制单元显示水平线更改操作输入单元，以通过输入单元来操作在以能够编辑状态显示的平面图像中设置的水平线位置，并且

当在能够编辑状态下显示平面图像时，所述输入单元接受与水平线更改操作输入单元相关的操作。

22.如权利要求21所述的图像处理设备，

其中，所述图像控制单元不显示在能够编辑状态下显示的平面图像中设置的水平线位置的下侧的图像。

23.如权利要求21所述的图像处理设备，

其中，所述三维图像生成单元不向所生成的三维图像反映在每个平面图像中设置的水平线位置的下侧的图像。

24.如权利要求13所述的图像处理设备，

其中，当与选中的缩略图像对应的平面图像被编辑时，所述图像控制单元执行控制操作以将编辑结果反映在重叠图像的缩略图像上。

25.如权利要求12所述的图像处理设备，还包括：

显示单元。

26.一种图像处理方法，包括：

生成多个平面图像，并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的每个中的对象的空间位置；

输出转换的三维图像的数据；

单独或重叠地来显示所生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

接受操作以生成或编辑在所生成的编辑屏幕中的图像。

27.一种使计算机执行图像处理的程序，该程序使得计算机执行：

生成多个平面图像，并分别设置在深度方向上到所生成的多个平面图像的虚拟距离；

基于所设置的到所生成的多个平面图像的虚拟距离将多个平面图像转换为三维图像，在该三维图像中设置了多个平面图像中的对象的空间位置；

输出转换的三维图像的数据；

单独或重叠地来显示所生成的多个平面图像，并通过向平面图像提供标签来分别生成所显示的编辑屏幕的显示数据；以及

接受操作以生成或编辑在所生成的编辑屏幕中的图像。

Images