CN101896877A - 空间输入动作显示装置 - Google Patents

Abstract

公开了无需手或手指静止在空中而能够进行在空间上的输入操作，无需物理性的形状或空间而提供与用户的接口的空间输入动作显示装置。在该空间输入动作显示装置中，包括：形状识别单元(102)，比较摄像机(101)所取得的图像和形状数据存储单元(103)所存储的数据而识别对象的形状；动作识别单元(105)，比较形状识别单元(102)识别出的数据的差分矢量数据与动作数据存储单元(106)所存储的差分矢量数据，进行动作类型的识别和预测；控制单元(107)，基于动作识别单元(105)的动作类型信息和识别数据存储单元(104)的位置信息，输出图像信息；图像生成单元(108)，以选择出的图像数据为基础，进行包含旋转、放大的加工，生成图像；以及显示单元(109)，在空间显示所生成的图像。

Description

空间输入动作显示装置

技术领域

本发明涉及空间输入动作显示装置，特别涉及通过摄影的图像的解析进行动作识别，并基于识别结果进行动作显示的空间输入动作显示装置。

背景技术

在移动电话或计算机等的电子设备中，设置输入单元作为与用户的接口，用户通过输入单元将指令或命令等提供给电子设备。作为这些输入单元，采用例如键盘、鼠标、触摸屏等各种各样的元件。作为这些输入单元，根据电子设备的特性，选择最适合的元件。特别是有关文字输入，虽然需要熟练，但在速度和正确性方面，基于键盘的操作当前仍是主流的接口。但是，这些接口需要一定的空间，对电子设备的小型化、轻量化造成障碍。

对这样的问题，例如在专利文献1中，公开了利用全息图(hologram)，将操作屏的虚拟图像放映在车厢内的空间，并使用该放映出的虚拟的操作屏，判别用户的输入操作的设备的操作***选择装置。

另外，也开发出不带有物理性的形状的光键盘等，其具有：照射光的光源、检测来自通过光源的光进行照射的物体的反射波的传感器、以及将键盘放映在桌上的投影机(projector)，并通过传感器识别对放映在桌上的键盘进行操作的用户的手指的动作，并基于该动作判别键盘输入。

专利文献1：特开平9-190278号公报

发明内容

发明需要解决的问题

然而，在这样以往的空间输入***中，存在如下的问题。

在专利文献1所记载的空间输入***中，在通过以全息图放映出的影像进行空间操作时，与按下物理性的按钮时不同，需要手或手指静止在空中，难以指示正确的位置。

另外，在使用光键盘的空间输入***中，具有携带时不带有物理性的形状的特征，但在使用时需要桌子等用于放映键盘的空间。

本发明鉴于上述各点而完成，其目的在于提供空间输入动作显示装置，所述空间输入动作显示装置提供无需手或手指静止在空中而能够进行在空间上的输入操作，并无需物理性的形状或空间，可进行电子设备的操作的与用户的接口。

解决问题的方案

本发明的空间输入动作显示装置所采用的结构包括：摄像机；形状数据存储单元，预先存储形状数据；动作数据存储单元，预先存储动作数据；图像数据存储单元，预先存储图像数据；形状识别单元，将所述摄像机的图像和所述形状数据存储单元所存储的形状数据进行比较而识别对象的形状；识别数据存储单元，基于所述形状识别单元的识别结果，选择与所述对象的形状最接近的形状数据，存储其差分数据和在图像的规定位置上是否存在形状数据的位置信息；动作识别单元，将所述识别数据存储单元所存储的所述差分数据和所述动作数据存储单元所存储的动作数据进行比较，进行动作类型的识别或预测；控制单元，基于所述动作识别单元的所述动作类型信息和所述识别数据存储单元的所述位置信息，进行输出追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的图像信息的显示控制；图像生成单元，根据所述图像信息选择所述图像数据存储单元所存储的所述图像数据，并以选择出的图像数据为基础进行包含旋转、放大的加工，由此生成图像；以及显示单元，将所述图像生成单元所生成的图像显示在空间。

发明的效果

根据本发明，无需手或手指静止在空中而能够进行在空间上的输入操作，无需物理性的形状或空间，能够通过显示装置确认空间输入操作并进行电子设备等的操作。

附图说明

图1是表示本发明实施方式1的空间输入动作显示装置的结构的图。

图2是表示上述实施方式1的空间输入动作显示装置的手的情况的矢量数据的例子的图。

图3是表示本发明实施方式3的空间输入动作显示装置的屏蔽形状对象物时的显示例的图。

图4是表示本发明实施方式5的空间输入动作显示装置的虚拟性的立体影像的显示例的图。

具体实施方式

以下，参照附图详细地说明本发明的实施方式。

(实施方式1)

图1是表示本发明实施方式1的空间输入动作显示装置的结构的图。本实施方式是将本发明适用于适合计算机或音频装置等的电子设备的与用户的接口的用途的空间输入***的例子。

在图1中，空间输入动作显示装置100所采用的结构包括：摄像机101、形状识别单元102、形状数据存储单元103、识别数据存储单元104、动作识别单元105、动作数据存储单元106、控制单元107、图像生成单元108、显示单元109、以及图像数据存储单元110。

摄像机101是输入图像的单元，且每个帧地依次输送图像。

形状识别单元102将摄像机101的图像和形状数据存储单元103所存储的形状数据进行比较，识别对象的形状。另外，形状识别单元102将由摄像机101输出的图像和形状数据存储单元103中存在的形状数据进行比较，并选择最接近的形状后，输出该差分数据和在图像的哪个位置存在形状数据的位置信息。另外，形状识别单元102将由摄像机101输出的图像与形状数据存储单元103中存在的形状数据和辅助数据进行比较，并选择最接近的形状后，输出该差分数据和在图像的哪个位置存在形状数据的位置信息。

形状数据存储单元103预先存储形状数据和颜色等的辅助信息。

识别数据存储单元104存储来自形状识别单元102的差分数据和位置信息。具体而言，识别数据存储单元104存储形状数据的矢量数据的差作为差分矢量数据，而且同时存储用于指示形状位于画面的何处的位置信息。

动作识别单元105将识别数据存储单元104所存储的差分数据和动作数据存储单元106所存储的动作数据进行比较，进行动作类型(pattern)的识别和/或预测。例如，动作识别单元105将差分数据和动作数据进行比较而从最接近的数据开始依序选择N(N为任意的自然数)个动作数据，基于选择出的动作数据生成插值数据，并通过比较动作数据与插值数据，识别动作类型。另外，动作识别单元105将差分数据和动作数据进行比较而选择最接近的动作数据，将其写入识别数据存储单元104，并且从识别数据存储单元104中读出先前的识别数据，基于当前与先前的数据的差分，进一步生成动作矢量。另外，动作识别单元105将判定结果存储在数据存储单元106中，根据该判定结果的频度，进行一致的动作数据的排序，并且按照该顺序搜索动作数据。

动作数据存储单元106预先存储注册了的动作数据。

控制单元107基于动作识别单元105的动作类型信息和识别数据存储单元104的位置信息，将图像信息输出到图像生成单元108，所述图像信息是追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的信息。

图像生成单元108根据图像信息选择图像数据存储单元110所存储的图像数据，并以选择出的图像数据为基础进行包含旋转/放大的加工，由此生成图像。

显示单元109在空间显示图像生成单元108所生成的图像。另外，显示单元109将摄像机101的输出图像和图像生成单元108输出的图像合成。

图像数据存储单元110预先存储图像数据。

这里，空间输入动作显示装置100也可以采用以下的形态，即：形状数据存储单元103不仅预先存储形状数据，还预先存储包含颜色的辅助信息；形状识别单元102将摄像机101的图像与形状数据存储单元103的形状数据和辅助数据进行比较；识别数据存储单元104基于形状识别单元102的识别结果，选择最接近的形状，并存储该差分数据和在图像的哪个位置存在形状数据的位置信息。

以下，说明如上构成的空间输入动作显示装置100的动作。

形状识别单元102输入由摄像机101输出的图像并使用所准备的形状数据存储单元103内的形状数据，以帧为单位判定是否为注册了的形状。判定方法在基本上取与注册了的形状之间的相关。作为取相关的方法，存在各种各样的方法。例如，以像素为单位取输入图像与注册了的形状之间的差分，若该绝对值的和超过阈值，则能够识别为注册了的形状。作为其他的识别方法，有时提取轮廓而仅使用轮廓信息进行判定，也有时进行细化(thinning)处理而使用拓扑(topology，图形的结构)进行判定。另外，有时考虑判定出的形状所占有的颜色的比例，也有时使用以先前的帧进行了判定的结果和经过了时间的判定结果。通过组合这些，提高判定精度。

与形状数据之间的判定的结果完全一致的情况几乎没有。为了表示该差，基于判定结果，生成以矢量集合体表示了形状的矢量信息。只要预先生成形状数据的矢量数据作为附属数据，两者的矢量数据之差就表示自形状数据的变形。将该矢量数据之差新存储在识别数据存储单元104作为差分矢量数据。另外，也同时存储用于指示形状位于画面的何处的位置信息。因此，依次存储对每个帧识别出的数据。

图2是表示手200的情况的矢量数据的例子的图。在图2中，连接以记号“●”表示的节点(这里为手指的关节)201间的线段202为矢量数据。

另外，通过判断形状的大小，能够使纵深信息包含在上述的位置信息中。也就是说，能够从位置信息获得三维的位置，并能够从差分矢量数据获得形状的角度或状态。因此，与3D应用，例如游戏那样地对物体进行建模(modeling)同等。

动作识别单元105使用识别数据存储单元104的差分矢量数据进行动作判定。具体而言，动作识别单元105通过进行与预先注册了的动作数据存储单元106内的动作数据的比较，进行动作判定。如图1(a)所示，根据动作的图案，对动作数据进行表格化。动作识别单元105通过进行与识别数据存储单元104的差分矢量数据的比较，提取一致性最高的表，从而识别一致的动作类型。

控制单元107输入由形状识别单元102输出的表示识别出期望的形状的一致性和相对坐标、以及由动作识别单元105输出的动作类型，并进行显示控制。在形状的识别性较低时、以及在稳定状态即在动作类型中差分矢量数据最小时，指示图像生成单元108生成作为基本的影像数据。这里，能够考虑在形状的识别性较低时不进行任何显示，或者生成半透明的影像数据等的几个显示方法。另外，发出根据由形状识别单元102给出的相对坐标、以及由动作识别单元105输出的动作类型的影像输出指示。

图像生成单元108使用被提供的指示和图像数据存储单元110中存在的影像数据，生成图像。通过显示单元109每个帧地显示所生成的图像。

根据以上的说明，对每个动作类型影像发生变化，并被输出到显示单元109。例如，预先生成对应于手指的动作的动作数据。也将对应于该动作的键盘图像一并进行数据化。由此，能够看见与手指的动作连动的键盘图像。通常在键盘中发生变化的按键是一部分的按键，所以根据相对坐标和动作类型，从稳定时的键盘影像中仅使相应的按键的影像变化。例如，根据相对坐标，掌握了在图1(a)所示的[F]的按键位置上有左手的食指，并根据动作类型，可知[F]被按下。

如以上详细的说明那样，根据本实施方式，空间输入动作显示装置100包括：形状识别单元102，通过比较摄像机101所获得的图像和形状数据存储单元103所存储的数据，识别对象的形状；动作识别单元105，比较通过形状识别单元102识别出的数据的差分矢量数据与动作数据存储单元106所存储的差分矢量数据，进行动作类型的识别和预测；控制单元107，基于动作识别单元105的动作类型信息和识别数据存储单元104的位置信息，输出追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的图像信息；图像生成单元108，根据图像信息选择图像数据存储单元110所存储的图像数据，并以选择出的图像数据为基础，进行包含旋转、放大的加工，从而生成图像；以及显示单元109，将图像生成单元108所生成的图像显示在空间。由此，能够通过图像识别空间中的手的动作，无需手或手指静止在空中而能够进行空间上的输入操作。例如，通过识别按下了键盘的按钮的位置，能够进行虚拟的按键输入。另外，无需物理性的装置或空间，而能够利用显示装置确认空间输入操作，同时进行电子设备等的操作。

另外，在本实施方式中，动作识别单元105比较差分数据和动作数据而从最接近的数据开始依序选择N个动作数据，基于选择出的动作数据生成插值数据，并通过比较动作数据与插值数据而识别动作类型，所以即使在与预先存储的动作数据不完全一致时，也能够通过与插值数据的比较，检测适当的操作的动作。

另外，在本实施方式中，动作识别单元105比较差分数据和动作数据而选择最接近的动作数据，将其写入识别数据存储单元104，并且从识别数据存储单元104读出先前的识别数据，基于当前和先前的数据的差分，进一步生成动作矢量，所以即使在与预先存储的动作数据不完全一致时，在下次以后也生成为新的动作矢量，通过与所存储的动作数据的比较，能够显示与上次相同的识别结果。

另外，在本实施方式中，显示单元109将摄像机101的图像和图像生成单元108的图像合成，所以例如通过将摄像机的安装位置固定在头上或眼镜的一部分上等，能够将图像生成装置所生成的键盘等的图像与实际的视点中的影像合成并显示。

另外，在本实施方式中，通过采用以下的结构，即使在难以仅通过预先存储的形状数据进行判定时，也能够通过与辅助数据的比较，提高判定精度，所述结构为：形状数据存储单元103不仅预先存储形状数据，还预先存储包含颜色的辅助信息；形状识别单元102将摄像机101的图像与形状数据存储单元103的形状数据和辅助数据进行比较；识别数据存储单元104基于形状识别单元102的识别结果，选择最接近的形状，并存储该差分数据和在图像的哪个位置存在形状数据的位置信息。

另外，在本实施方式中，通过采用以下的结构，在处理的前级进行与频繁进行的操作的动作的比较，所以能够提高判定速度和判定精度，所述结构为：动作识别单元105将判定结果存储在动作数据存储单元106中，根据该判定结果的频度，进行一致的动作数据的排序，并且按照顺序搜索动作数据。

(实施方式2)

实施方式2说明实现判定精度的提高的例子。

在实施方式2中，形状识别单元102采用具有用于形状识别的判定基准的结构。通过预先将判定基准提供给形状识别单元102，能够提高判定精度。例如，在对手进行判定时，注册操作者的手的特征等。手指的长度和粗细、戒指的信息等相当于特征。

另外，若基于输入图像不仅能够识别平面信息，而且能够识别立体信息，则能够进一步提高判定精度。为了识别立体信息，根据形状的大小是基于何种程度的尺度比等，可知相对的纵深位置。另外，能够根据手的形状预先判断立体信息的情况较多。例如，若弯曲指尖，则该图像的手指被放映为较短，所以能够判断为弯曲着指尖，在弯曲着指尖时，在人机工程学上，能够某些程度地类推弯曲角度等，所以也容易将每个手指的关节的立体信息进行数据库化。另外，能够获得以摄像机101为原点的直至手指为止的相对坐标。

在产生了与动作数据存储单元106内的动作数据不完全一致的差分矢量时，动作识别单元105从动作数据中提取一致判定较高的两个，并基于一致性判断动作数据的迁移。例如，若动作数据中的表1和表4的一致性较高且各自相等，则动作识别单元105能够判定进行从表1到表4，或从表4到表1的动作。这里，表示提取两个进行判定的例子，但即使提取三个或四个，也仅是将表示迁移的中间信息进行了细分，能够与上述提取两个的情况同样地进行判定。

(实施方式3)

实施方式3是将需要的部分显示在前侧的屏蔽处理的例子。

在实施方式3中，图像数据存储单元110同时具有图像数据和屏蔽数据，形状识别单元102输出形状数据，图像生成单元108对属于形状数据的部分和图像数据存储单元110的屏蔽数据的逻辑和并将其输出作为屏蔽信息，显示单元109显示对根据图像生成单元108的屏蔽信息成为屏蔽状态的像素分配摄像机101的图像输出像素而对除此以外的部分分配图像生成单元108输出的像素所得的图像。

假设显示单元109是透过型且背景透明而进行放映的单元。这里，能够考虑图像生成单元108调整图像输出位置，以使与作为形状识别对象的物体重合。另外，不仅是位置，还通过进行影像的放大、缩小、变形，能够进行与形状识别对象物一致的显示。通过通用的图形引擎等进行这些处理，假设将其组装在图像生成单元108中。

此时，需要预先提供显示单元109与形状识别对象物的相对的关系作为信息。需要使摄像机101与显示单元109的距离为0，即需要它们在物理上一体化，或者相对距离或相对角度固定。但是，后者也需要掌握显示单元109的视线信息。

另外，若将影像数据直接放映在显示单元109上，则放映出的影像覆盖形状识别对象物。这里，通过由形状识别单元102生成屏蔽形状对象物的屏蔽数据，从而若在被屏蔽的像素上不映出影像，则形状识别对象物不被覆盖。

图3是表示本发明实施方式3的屏蔽了形状对象物时的显示例的图。对与图1相同的结构部分附加相同的标号。

在图3中，在头部210上设置头上显示器的显示单元109和摄像机101。在显示单元109显示键盘300时，若将其显示在手200之上，则无法分辨手200的动作，但如图3a.所示，若屏蔽手200的部分而显示键盘300，则能够使手位于键盘300之上。

这样，根据本实施方式，在图像合成中，通过屏蔽手等的需要比图像生成装置的输出在前侧看见的部分，能够在前侧显示需要显示的部分，能够进一步提高操作性。

(实施方式4)

实施方式4说明通过学习功能实现判定精度的提高的例子。

在实施方式4中，动作识别单元105采用预先具有学习功能的结构。通过预先将学习功能赋予动作识别单元105，能够提高判定精度。动作识别单元105存储先前基于动作数据存储单元106内的动作数据进行了一致判定的动作类型并自动地将其进行数据库化，并将其追加到动作数据存储单元106，从而能够基于该数据库预测下一个动作。

例如，如实施方式2所述，在产生了与动作数据不完全一致的差分矢量时，在基于两个以上的表判定了动作的情况下，通过学习并存储该一连串的动作，在下次识别了相同动作时能够获得相同的判定结果，能够提高判定精度。

另外，通过扩展该功能，使其预先学习某个动作类型，能够进行基于该动作的新的输入操作。

另外，也考虑通过由人判断并判定所显示的结果，能够可靠地反馈结果。

(实施方式5)

实施方式5是适用了3D图形显示的例子。

在实施方式5中，形状数据存储单元103不仅预先存储形状数据，还预先存储包含形状的3D建模坐标和纹理图像的3D图形显示用信息，图像生成单元108根据控制单元107输出的形状数据，获得3D图形显示用信息而生成并合成3D图像。

通过在形状数据存储单元103内的形状数据中存储3D数据作为附属数据，能够使用图像生成单元108生成3D图像。在显示单元109是透过型且能够进行左右不同的图像显示时，能够将3D图像立体地显示在空间中。另外，也能够使显示单元109中显示与从实际的摄像机位置所见的视点不同的虚拟的3D图像。通过通用的3D图形引擎进行这些处理，假设将其组装在图像生成单元108中。

图4是表示本发明实施方式5的虚拟的立体影像的显示例的图。

如图4所示，能够使显示单元109虚拟地显示立体的键盘300D和手200D。根据该结构，也能够在与实际的视点不同的位置立体地显示键盘或手，即使在实际上无法看见的位置上也能够识别，所以容易操作。

这样，根据本实施方式，即使在从实际的视点无法看见的位置上也能够识别，所以能够进一步提高操作性。

(实施方式6)

实施方式6是还具有语音输出的例子。

在实施方式6中，还包括由语音合成LSI等构成的语音发生装置(省略图示)，控制单元107基于动作识别单元105的动作数据的选择信息和识别数据存储单元104的位置信息，将应生成的语音的选择信息输出到语音发生装置，语音发生装置再现选择了的语音。

图像生成单元108组装了2D和3D图像引擎，生成与该2D和3D图形引擎提供的指示对应的图像，并将与输入操作对应的结果输出到显示单元109。另外，控制单元107将与输入操作对应的结果变为语音等输出。此时，假设控制单元107组装有扬声器等。由此，通过将输入状态反馈给用户，能够提高输入操作的稳定性。

例如，如图3和图4所示，在显示单元109上显示键盘图像的情况下，例如发出了[F]的按键被按下的指示时，图像生成单元108生成点亮[F]的按键的显示的图像数据。由此，能够视觉地确认输入操作，并且能够通过控制单元107听觉确认。通过这些，实际上没有按下按键，但用户能够在感觉上识别已按下的事实。

这样，根据本实施方式，能够以听觉识别已按下按键的事实，能够进一步提高按键输入操作的稳定性。

以上的说明为本发明的优选的实施方式的例证，但本发明的范围并不限定于此。例如，上述各个实施方式是适用于各种电子设备的例子，但只要是将输入对象显示在空间中，也能够同样地适用于任何设备。

另外，在上述各个实施方式中，使用了空间输入动作显示装置的名称，但这是为了便于说明，当然也可以称为空间输入***、空间输入装置等。

而且，构成上述空间输入动作显示装置的各个装置，例如数据存储单元等的种类、数目以及连接方法等也并不限于上述实施方式。

2007年12月18日提交的特愿第2007-325649号的日本专利申请所包含的说明书、附图以及说明书摘要的公开内容全部引用于本申请。

工业实用性

本发明的空间输入动作显示装置无需物理性的形状或空间，能够利用显示装置确认空间输入操作，同时进行电子设备等的操作，所以不仅适用于各种电子设备中的空间输入***，也能够广泛地适用于电子设备以外的各个设备(例如，车厢内的各个电子部品)中的空间输入***。

Claims (9)

1.空间输入动作显示装置，包括：

摄像机；

形状数据存储单元，预先存储形状数据；

动作数据存储单元，预先存储动作数据；

图像数据存储单元，预先存储图像数据；

形状识别单元，将所述摄像机的图像和所述形状数据存储单元所存储的形状数据进行比较而识别对象的形状，并且选择与所述对象的形状最接近的形状数据，输出其差分数据和在图像的规定位置上是否存在形状数据的位置信息；

识别数据存储单元，存储所述形状识别单元的差分数据和所述位置信息；

动作识别单元，将所述识别数据存储单元所存储的所述差分数据和所述动作数据存储单元所存储的动作数据进行比较，进行动作类型的识别或预测；

控制单元，基于所述动作识别单元的所述动作类型信息和所述识别数据存储单元的所述位置信息，进行输出追加了应生成的图像的选择信息和包含旋转、放大、缩小的加工信息的图像信息的显示控制；

图像生成单元，根据所述图像信息选择所述图像数据存储单元所存储的所述图像数据，并以选择出的图像数据为基础进行包含旋转、放大的加工，由此生成图像；以及

显示单元，将所述图像生成单元所生成的图像显示在空间。

2.如权利要求1所述的空间输入动作显示装置，

所述动作识别单元将所述差分数据和所述动作数据进行比较而从最接近的数据开始依序选择N个动作数据，基于选择出的动作数据生成插值数据，并通过所述动作数据与所述插值数据之间的比较，识别动作类型，其中，N为任意的自然数。

3.如权利要求1所述的空间输入动作显示装置，

所述动作识别单元将所述差分数据和所述动作数据进行比较而选择最接近的动作数据，将其写入所述识别数据存储单元，并且从所述识别数据存储单元读出先前的识别数据，并基于当前与先前的数据的差分，进一步生成动作矢量。

4.如权利要求1所述的空间输入动作显示装置，

所述显示单元将所述摄像机的图像和所述图像生成单元的图像合成。

5.如权利要求1所述的空间输入动作显示装置，

所述图像数据存储单元同时具有所述图像数据和屏蔽数据，

所述形状识别单元输出形状数据，

所述图像生成单元对属于所述形状数据的部分和所述图像数据存储单元的所述屏蔽数据进行逻辑和，并将其作为屏蔽信息输出，

所述显示单元显示对根据所述图像生成单元的所述屏蔽信息成为屏蔽状态的像素分配所述摄像机的图像输出像素而对除此以外的部分分配所述图像生成单元输出的像素所得的图像。

6.如权利要求1所述的空间输入动作显示装置，

所述形状数据存储单元不仅预先存储所述形状数据，还预先存储包含颜色的辅助信息，

所述形状识别单元将所述摄像机的图像与所述形状数据存储单元的所述形状数据和辅助数据进行比较，

所述识别数据存储单元基于所述形状识别单元的识别结果，选择最接近的形状，并存储该差分数据和在图像的哪个位置存在形状数据的位置信息。

7.如权利要求1所述的空间输入动作显示装置，

所述动作识别单元将判定结果存储在所述动作数据存储单元中，根据该判定结果的频度，进行一致的动作数据的排序，并且按照所述顺序搜索动作数据。

8.如权利要求1所述的空间输入动作显示装置，

所述形状数据存储单元不仅预先存储所述形状数据，还预先存储包含形状的3D建模坐标和纹理图像的3D图形显示用信息，

所述图像生成单元根据由所述控制单元输出的形状数据取得所述3D图形显示用信息，生成并合成3D图像。

9.如权利要求1所述的空间输入动作显示装置，还包括：

语音发生单元，再现语音，

所述控制单元基于所述动作识别单元的所述动作数据的选择信息和所述识别数据存储单元的所述位置信息，将应生成的语音的选择信息输出到所述语音发生单元，

所述语音发生单元再现选择了的语音。

Images