CN101236454A - 操作装置 - Google Patents

Abstract

本发明涉及一种操作装置，其包括：其中设置有操作开关的操作部(20)；允许裸眼看到的立体显示的显示部(40)；影像拾取机构(50)，其从多个方向获取对操作部进行操作的使用者的手部的照片；以及显示影像生成装置(70)，其根据由影像拾取机构(50)获得的视差影像来生成手部的立体影像。对描绘操作开关在操作部(20)中的位置以及操作开关的功能的操作菜单影像以及由立体影像生成装置生成的手的立体影像进行合成，并在显示器中显示合成后的影像。

Description

操作装置

技术领域

本发明涉及操作装置，其将使用者操作操作部分的手的影像叠加在操作菜单影像上。

背景技术

公知一种车载设备开关安全操作***，其特征在于包括：多功能开关操作板，其中集中布置用于致动或操作各种车载设备的多种开关；显示器，其被布置在视野区域内车辆中的合适位置处，使得操作者能够通过向前看而能看到显示器，且其在其屏幕中显示开关布置的影像；以及如下的控制器等。即，当操作者用手指操作开关中的目标开关时，控制器根据在感测到目标开关时产生的检测信号使操作者识别出目标开关显示在显示器屏幕中的影像的位置及功能。该安全操作***允许操作者在向前看的同时视觉识别显示在显示器中的目标开关的影像，还允许操作者实时对多功能开关操作板中的目标开关进行操作(例如，参见日本专利申请公开号2000-6687(JP-A-2000-6687))。

还公知一种操作装置，其包括：触摸面板式显示器，其中操作者通过触摸进行操作的开关被设置在显示屏幕中；以及反射光学***，其具有反射面朝向使用者的第一镜装置；将显示在触摸面板式显示器中的影像作为被反射影像反射至第一镜装置的反射面的第二镜装置(例如，日本专利申请公开号2005-335510(JP-A-2005-335510))。在该操作装置中，显示在由使用者触摸操作的触摸面板式显示器中的图像屏幕通过由第一及第二镜装置构成的反射光学***被显示至使用者。

在日本专利申请公开号2000-6687(JP-A-2000-6687)中揭示的提示***(prompter system)的结构中，使用者操作操作部分的手的图像被摄像机获取，且手的影像被叠加在显示部分显示的操作菜单影像上。因此，该结构有利于对车载设备的所谓盲触操作。

但是，在日本专利申请公开号2000-6687(JP-A-2000-6687)中揭示的提示***结构中，根据来自一个摄像机的影像数据而生成由显示部分显示的手的影像，由此仅能实现二维显示。因此，使用者在看到手的影像(显示为与操作菜单影像相同的平面)的同时操作操作部分中的操作开关，由此难以把握操作开关与手之间的距离感。由此导致可操作性不佳。

另一方面，在日本专利申请公开号2005-335510(JP-A-2005-335510)中揭示的反射***的结构中(使用者操作操作部分的手通过镜子被显示至使用者的结构)，手被立体地反射在使用者眼中，由此能够容易地把握操作开关与手之间的距离感，可操作性较佳。

发明内容

本发明的目的在于提供一种操作装置，其采用提示***的结构，并能够确保与反射***的结构大致相同的可操作性。

根据本发明的第一方面的操作装置包括：其中设置有操作开关的操作部；允许裸眼立体显示的显示器；影像拾取机构，其从多个方向获取对所述操作部进行操作的使用者的手部的照片；以及显示影像生成装置，其根据由所述影像拾取机构获得的视差影像来生成所述手部的立体影像，其中，该显示影像生成装置在所述显示器中对通过合成操作菜单影像以及所通过该显示影像生成装置生成的所述手部的立体影像所获得的合成影像进行显示，所述操作菜单影像显示出所述操作开关在所述操作部中的位置以及所述操作开关的功能。

在根据第一方面的操作装置中，所述操作部以及所述显示器可被设置在车室内，在车辆宽度方向上位于驾驶员座椅与副驾驶员座椅之间。所述影像拾取机构可包括至少两个影像拾取装置，所述至少两个影像拾取装置在所述车辆宽度方向上从所述驾驶员座椅一侧向下倾斜观测所述操作部。所述显示影像生成装置可根据所述两个影像拾取装置获得的所述视差影像、生成在从所述驾驶员座椅一侧的视线方向上的所述手部的立体影像。

在根据第一方面的操作装置中，操作部与显示器在车室内于车辆宽度方向上可被布置在驾驶员座椅与副驾驶员座椅之间。操作装置还可包括操作者判定部，其对所述操作部是从驾驶员座椅一侧或从副驾驶员座椅正在***作进行判定。如果所述操作者判定部判定所述操作部从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置可生成在从所述驾驶员座椅一侧的视线方向上的所述手部的立体影像。如果所述操作者判定部判定所述操作部从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置可生成在从所述副驾驶员座椅一侧的视线方向上的所述手部的立体影像。

在刚刚所述的操作装置中，所述影像拾取机构可包括在所述车辆宽度方向上彼此分隔开的三个或更多影像拾取装置。如果所述操作者判定部判定所述操作部从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置可根据设置在所述驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。如果所述操作者判定部判定所述操作部从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置可根据设置在所述副驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。

在上述操作装置中，所述影像拾取机构可包括在所述车辆宽度方向上可运动的至少两个影像拾取装置。所述显示影像生成装置可根据所述操作者判定部判定的结果来在所述车辆宽度方向上移动所述两个影像拾取装置。如果所述操作者判定部判定所述操作部从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置可根据移动至所述驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。如果所述操作者判定部判定所述操作部从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置可根据移动至所述副驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。

在根据第一方面的操作装置中，在所述显示器中可立体地显示在所述操作菜单影像中表示所述操作开关的影像部，并在使用从所述显示器的显示面偏离预定高度的平面作为具有零高度的第一基准面时，可显示所述手部的立体影像。

在上述操作装置中，在所述显示器的所述显示面被用作具有零高度的第二基准面时，可对所述操作菜单影像中表示所述操作开关的所述影像部进行立体显示，并且所述具有零高度的基准面从所述显示器的显示面偏离的所述预定高度可与表示所述操作开关的所述影像部的立体高度大致相同。

在上述操作装置中，当所述手部的手指触摸所述操作部时，在所述手部的所述立体影像中显示的所述手指距离所述显示器的所述显示面的高度可与在所述操作菜单影像中表示所述操作开关的所述影像部的立体高度大致相同。

根据本发明，能够获得采用提示***的结构并能够确保与反射***的结构大致相同的可操作性的操作装置。

附图说明

参考附图，通过以下对优选实施例的说明，本发明的上述及其他目的、特征及优点将变的清楚，其中使用类似的标号来表示类似的元件，其中：

图1是根据本发明的操作装置10的第一实施例处于车载状态的立体图；

图2是图1所示的操作装置10的示意性侧视剖面图；

图3A及图3B是使用视差分割***的显示部分40的原理图；

图4是示出操作菜单影像的示例的视图；

图5A、图5B、图5C及图5D是示出立体影像的示例的视图；

图6A及图6B是分别示出现有技术的提示***及现有技术的反射***的大概结构的视图；

图7是示出根据本发明的操作装置100的第二实施例处于车载状态的立体图；

图8是示出图6所示操作装置100的主要功能的功能框图；

图9是示出在操作部分20正在从驾驶员座椅***作的情况下输出的立体影像的视图；

图10是示出设置有在车辆宽度方向上可运动的立体摄像机600的结构的视图；

图11A及图11B是示意性地示出其他改变示例的视图；

图12是第三实施例的操作装置200的示意性侧视剖视图；

图13是示出在显示部分40中显示的操作菜单影像中图形影像F1至F8的示例的视图；

图14A及图14B是示意性地示出沿图13中箭头“视角A”所示方向所取的视图；以及

图15A及图15B是示意性地示出立体开关影像与立体手影像之间相对高度关系的视图。

具体实施方式

以下将参考附图描述实施本发明的最佳示例。

图1是根据本发明的操作装置10的第一实施例处于车载状态的立体图。图2是图1所示的操作装置10的示意性侧视剖视图以及功能框。如图1所示，操作装置10包括操作部分20、显示部分40、以及摄像机50。操作部分20及显示部分40于物理上彼此分离的位置处独立地设置在车舱内。

操作部分20由触摸面板制成。操作部分20被布置在驾驶员能够使用手方便地够到并操作操作部分20的位置。例如，如图1所示操作部分20被布置在控制台中。或者，还可将操作部分20布置在布置于命令面板中的显示部分40的操作者或使用者一侧。布置操作部分20使得其大致平坦操作表面变为大致水平。

操作部分20可以是常规触摸面板结构，或者也可以是能够发光的透明触摸面板。透明触摸面板例如具有这样的层叠结构，其中设置有薄膜透明电极的玻璃衬底被布置在下侧而设置有薄膜透明电极的薄膜衬底被布置在上侧，使得薄膜透明电极横跨微小隔离物(dot spacer)彼此面对的。透明触摸面板上的操作信号(操作位置信号)通过附着至透明触摸面板的侧部的FPC(柔性印刷电路)被供应至显示控制部分80(见图2)。显示控制部分80根据从透明触摸面板供应的操作信号(操作位置信号)来实现各种不同功能(例如如下所述切换操作菜单影像和控制各种不同车载设备30)。例如可通过使蓝光从透明触摸面板射出的LED来实现透明触摸面板的发光。此外，无需在操作部分20的透明触摸面板后方设置诸如触摸面板式显示器的显示器(即，设置在操作部分20中的操作开关无需显示在操作部分20中)。

显示部分40由允许裸眼看到立体影像的显示器构成。例如可通过使用诸如视差栅栏***、多透镜***等的视线视差分割***(双眼收敛***)，或者可通过使用DFD(立体显示***“深度融合三维”)***来实现允许由裸眼看到立体影像的显示部分40。

在视差栅栏***的情况下，根据图3A所示的原理图来构造显示部分40，即，在各个像素阵列(例如，由TFT液晶单元形成的像素阵列)中沿水平方向交替地设置左眼像素区41L及右眼像素区41R。视差栅栏42(一组竖直切口)被布置使得来自左眼像素区41L的光仅到达左眼而来自右眼像素区41R的光仅到达右眼。可由可电控切换液晶单元来构造视差栅栏42。此外，还可将视差栅栏42设置在像素阵列后方并位于光源的操作者一侧的位置处。

在多透镜***的情况下，通过图3B中的原理图来构造显示部分40，即，在屏幕中于水平方向上交替设置左眼像素区41L及右眼像素区41R，并设置多圆柱状多透镜44，使得来自左眼像素区41L的光仅到达左眼，而来自右眼像素区41R的光仅到达右眼。因此，在视差分割***中，生成对于人体的左右眼不同的影像，由此产生深度感。

在DFD***的情况下，通过在两个透明TFT液晶单元之间隔开适当空间的情况下将这两个透明TFT液晶单元彼此叠加来构造显示部分40。亮度不同的相同影像被显示在前后透明TFT液晶单元上。因此，在DFD***中，叠加在前后两侧的相同影像之间的亮度比的变化引起两个平面之间深度连续的感觉。

可将显示部分40布置在使用者能够容易看到的位置处，即，驾驶员在驾驶时无需极大地改变驾驶员的视野便能够看到的位置。例如，如图1所示，将显示部分40布置在命令面板的上表面中的中部中。或者，还可将显示部分40布置在仪表盘内。此外，还可使显示部分40朝向驾驶员成一定角度以便于形成立体感觉。

摄像机50(影像拾取装置)是由在车辆宽度方向上彼此间隔布置的两个摄像机51，52构成的立体摄像机(双镜头摄像机)。在以下描述中，如果需要，则将把在车辆宽度方向上副驾驶员座椅一侧(右舵车辆的左侧)的摄像机51称为“左眼摄像机51”，而将把在车辆宽度方向上驾驶员座椅一侧(右舵车辆的右侧)的摄像机52称为“右眼摄像机52”。摄像机51，52每个例如均是采用CCD或CMOS作为影像拾取元件的小型彩色摄像机，并被布置使得从不同方向俯瞰操作部分20(以及使用者操作操作部分20的手)。在图中所示的示例中，左眼摄像机51被布置在车辆宽度方向上操作部分20中央的副驾驶员座椅一侧，以从副驾驶员座椅一侧在倾斜向下方向上获取整个操作部分20的影像。右眼摄像机52被布置在车辆宽度方向上操作部分20中央的驾驶员座椅一侧，以从驾驶员座椅一侧在倾斜向下方向上获取整个操作部分20的影像。因此，摄像机51，52被布置成利用与当使用者看到显示部分40时产生的视差及收敛角对应的视差及收敛角来获取操作部分20的影像。因此，能够获取使用者操作操作部分20的手的立体信息。

当使用者操作操作部分20时，为了操作操作部分20，使用者的手进入摄像机51，52的影像获取区域，由此摄像机51，52获取操作操作部分20的手的影像。包含手的影像的摄像机影像被供应至显示影像生成电路70(见图2)。

显示影像生成电路70生成适于在显示部分40中显示的影像，显示部分40允许在显示控制部分80的控制下裸眼看到立体影像。

如图2所示，显示影像生成电路70包括背景影像生成电路71、左眼影像合成电路72、右眼影像合成电路74、以及立体影像生成电路76。

背景影像生成电路71生成在显示部分40中显示的背景影像。背景影像是图4所示的操作菜单影像。此外，背景影像可包括导航***的地图影像等。操作菜单影像描绘操作部分20的操作开关(触摸开关)的位置及功能。操作菜单影像用于告知使用者通过操作操作开关实现的各种不同功能，并告知使用者***作以实现相应功能的各个操作开关的位置。

在图4所示的示例中，操作菜单影像包含表示设置在操作部分20中的八个操作开关的图形影像F1至F8。使用者通过观看操作菜单影像就可了解操作开关被布置为两排，即，前排及后排，还可通过观看或读取图形影像F1至F8中所示的符号来了解通过操作各个操作开关来实现何种功能。例如，使用者将了解如果使用者需要发送电子邮件，可以按压出现在与包含符号“邮件”的图形影像F3对应的位置处的操作开关，即，前排从左侧开始第三个操作开关。

此外，可以准备各种类型的操作菜单影像，并适于根据使用者相对于操作部分20的操作开关的操作状况来切换改变操作菜单影像。在此情况下，根据操作菜单影像之间的改变或切换，操作部分20中操作开关的位置及功能发生改变。这种设置允许在操作部分20中实现很多车载设备30的操作开关，并允许有效地集合操作开关。例如，操作部分20可结合各种不同的操作开关，不仅用于信息及通信关联的车载设备(例如，发送邮件、打电话、临近设施引导等)的操作，还用于空调装置、音频装置等(尽管在图4中未示出)各种不同的操作。

左眼影像合成电路72根据来自背景影像生成电路71的操作菜单影像以及来自摄像机51的摄像机影像来生成左眼影像。具体而言，左眼影像合成电路72首先从由摄像机51供应的摄像机影像中仅提取手的影像(以下称为“手影像”)。可通过使用手与包含在摄像机影像中非手的其他部分(操作部分20)之间的色度(颜色饱和度)差或对比度来实现对手影像的提取。通常情况下，对手影像的提取使用公知的色度键合成技术(chroma key compounding technique)。在该技术中，通过以特定颜色(键颜色)为背景获取影像，并将另一影像叠加在键颜色背景上来进行合成。通常使用的键颜色为蓝色。原因是因为蓝色与人的皮肤颜色反差最强，其适用于提取人手部的影像的处理。因此，操作部分20以键颜色(例如，蓝色)着色，或能够发出键颜色的光，且通过色度键技术从摄像机影像获取蓝色部分，由此仅留下手的影像。此外，还存在提取手影像的其他方法，例如，发光度合成技术(在包含影像亮度及对比度相关信息的发光度信号中规定特定亮度信号，并仅提取规定信号之下或之上的亮度信号的方法)等。但是，在以下描述中，将描述主要使用色度键合成技术的情况。

在提取手影像之后，左眼影像合成电路72将提取出的手影像与来自背景影像生成电路71的操作菜单影像进行合成以生成左眼影像。由此生成的左眼影像被供应至立体影像生成电路76。

类似的，右眼影像合成电路74根据来自背景影像生成电路71的操作菜单影像以及来自右眼摄像机52的摄像机影像来生成右眼影像。在右眼影像合成电路74中，生成与左眼影像合成电路72中相同的操作菜单影像。由此生成的右眼影像被供应至立体影像生成电路76。

立体影像生成电路76根据来自左眼影像合成电路72的左眼影像以及来自右眼影像合成电路74的右眼影像，生成适合在显示部分40中允许裸眼看到立体影像的立体影像。在该操作中，立体影像生成电路76生成立体影像，使得在使用者眼中以两维平面来反映操作菜单影像，并在使用者眼中以三维立体来反映手影像。即，立体影像生成电路76以显示部分40的显示面为零高度的基准面生成立体影像，其提供手影像的各个手指相对于操作菜单影像的高度及方向与实际的手的各部位或手指相对于操作部分20的高度及方向相对应的立体视觉。在显示部分40中显示由立体影像生成电路76生成的立体影像。

在显示部分40是视差分割***的情况下，立体影像生成电路76以预定间隔分割来自左眼影像合成电路72左眼影像，并向显示部分40的左眼像素区41L分配分割了的影像片，并以预定间隔分割来自右眼影像合成电路74的右眼影像，并向显示部分40的右眼像素区41R分配分割了的影像片。以此方式，立体影像生成电路76生成立体影像，使得仅在使用者左眼中反映左眼影像(来自显示部分40中左眼影像像素区中的光将仅到达使用者左眼)，并使得仅在使用者右眼中反映右眼影像(来自显示部分40中右眼影像像素区中的光将仅到达使用者右眼)。因此，仅在使用者左眼中反映通过左眼摄像机51获得的手影像，并仅在使用者右眼中反映通过右眼摄像机52获得的手影像。因为根据视差对两个手影像进行视线分割，能够使得使用者看到显示部分40所显示的影像(立体影像显示手的部分)仿佛是三维的影像。

在显示部分40是DFD***的情况下，立体影像生成电路76根据来自左眼影像合成电路72的左眼影像以及来自右眼影像合成电路74的右眼影像来生成待显示在前后两侧两个显示器中的待显示影像，并获取与待显示影像中手的各个不同部位相对于操作部分20的高度相关的信息。然后，立体影像生成电路76根据高度信息确定待显示影像的各个像素的亮度。以此方式，立体影像生成电路76生成具有与手的各个不同部位相对于操作部分20的高度对应的亮度差的前后侧待显示影像(立体图像)。这可使得使用者的眼睛感觉到在显示部分40中显示的影像(立体影像中显示手的部分)仿佛是三维影像。

图5A至图5D示出了立体影像的示例。在以下描述中，立体影像中手的影像将被称为“立体手影像”。要理解到，尽管在图中立体手影像不能被三维地表示而因此被示为平面影像，但显示在显示部分40中的立体手影像如上所述实际上显示为三维。

此外，根据在操作部分20中实际的手的位置与操作开关的位置之间的相对位置关系以及显示部分40(合成影像)中手影像的位置与图形影像F1至F8之间的相对位置关系来确定立体手影像的合成位置(即，在操作菜单影像中何处合成立体手影像)以实现精确再现在。此外，可以根据摄像机影像的坐标系与操作菜单影像的坐标系之间的相对关系(坐标转换公式)来计算合成位置。

在图5A至图5D所示的示例中，立体手影像的食指指尖被示出在操作图形影像F3的位置处。在此情况下，使用者能够知道，如果使用者在保持当前手的位置的同时用食指进行了切换操作，则实现了与图形影像F3对应的切换功能(即，发送邮件功能)。因此，使用者能够在观看显示部分40而非直接观看操作部分20的同时来操作操作部分20中所希望的操作开关。因此，在使用者是驾驶员的情况下，使用者能够在观看设置在使用者视野前方的显示部分40的同时执行操作部分20上靠近使用者手部设置的切换操作(所谓盲触操作)，而无需极大地改变驾驶姿态或视线。因此，可以实现不妨碍驾驶的安全切换操作。

具体而言，在本实施例中，如上所述，叠加在操作菜单影像上的手的影像显示为三维，由此相较于手的影像显示为平面的情况极大地改进了可操作性。在图6A中以简单形式所示采用摄像机的现有技术的提示***中，叠加在操作菜单影像上的手的影像并未提供关于手的三维信息(关于手及指尖附近的三维信息)，因此是平面合成影像。因此，例如与图6B中所示的反射式结构(使用者的操作触摸面板式显示器的手被第一及第二镜反射以向使用者显示)相比，从手影像可获得的信息较少，且可操作性相应地较低。但是，在本实施例中，因为生成了与在上述反射***中示出的手的反射影像大致相同的立体手影像，故能够采用提示***，同时恢复在现有技术的提示***中失去的关于手的三维信息。因此，在采用提示***的同时，本发明能够实现与反射***同等的高的可操作性。此外，根据本实施例，因为生成了与上述反射***中示出的手的反射影像大致相同的立体手影像，故相较于叠加平面手影像的现有技术的提示***，操作菜单影像中被手影像掩盖的区域变少。因此，相应地变的易于把握手与操作菜单影像之间的位置关系，由此改进了可操作性。

此外，在本实施例中，如图2所示，操作部分20相对于摄像机50的视线方向的角度β被设定为等于或大致等于显示部分40相对于使用者视线方向的角度α。因此，摄像机50相对于手的视线方向大致与使用者相对于侧视图中显示部分40的视线方向(因而与显示部分40的立体手影像的立体方向)对应，由此显著地提高了可操作性。此外，在生成立体手影像时，根据上述角度关系，能够生成与上述反射***中所示的手的反射影像大致相同的立体手影像而无需特殊处理(例如视线转换处理等)。

这里要注意的是，可以通过直接使用图5A所示的手的未加工影像来生成立体手影像，或者立体手影像还可以是如图5B所示去除了手的生动性的轮廓式立体手影像。此外，立体手影像还可以是半透明轮廓式立体手影像，由此能够看到背后的操作菜单影像。此外，如图5D所示，立体手影像还可以是通过使手的未加工影像半透明而获得的立体手影像。根据图5B及图5C所示的立体手影像，能够防止使用者会从显示器接收到手的详细的真实影像的本能的不适感。此外，根据图5C及图5D所示的立体手影像，进一步减少了操作菜单影像被手影像掩盖的区域，由此变的更易于把握操作菜单影像与手之间的位置关系。在图5A及图5B中，由摄像机50提供的立体视差也减少了菜单影像被掩盖区域，由此相较于显示二维影像的现有技术的提示***，能够改进可视性。

结合上述第一实施例，可构思出以下改变示例。

在上述第一实施例中，因为如图5A所示在从竖直上方所取的视图中生成立体手影像，故操作菜单影像与手在高度方向上(垂直于屏幕平面的方向)的位置关系能够***作者容易地把握而不考虑操作者是否是驾驶员座椅的乘坐者或是副驾驶员座椅的乘坐者。但是，在考虑驾驶员可操作性的重要性的情况下，可将两个摄像机51，52均布置在驾驶员座椅一侧，由此生成从驾驶员座椅一侧看到的立体手影像(例如，见下述图9)。

[第二实施例]

图7是示出根据本发明操作装置100的第二实施例处于车载状态的立体图。图8是示出图7所示操作装置100的主要功能的功能框图。在第二实施例中，与第一实施例中相同的结构可被赋予相同的参考标号，并省去对其的描述。

第二实施例的主要特征在于，根据是否正在从驾驶员座椅一侧或从副驾驶员座椅一侧操作操作部分20，来切换摄像机影像以用于生成立体手影像。以下，将主要描述第二实施例的结构特征。

如图7所示，摄像机500是由在车辆宽度方向上彼此间隔大致直线布置的三个摄像机501、502、503构成的三镜头摄像机。摄像机501、502、503每一个均为小型彩色摄像机，其影像拾取元件例如是CCD或CMOS，并被布置以从不同方向俯瞰操作部分20(以及使用者操作操作部分20的手)。在图7所示的示例中，摄像机501被布置在车辆宽度方向上操作部分20中央的副驾驶员座椅一侧，而摄像机502被布置在车辆宽度方向上操作部分20的中央处或附近，而摄像机503被布置在车辆宽度方向上操作部分20的中央的驾驶员座椅一侧。每个摄像机501、502、503均被布置使得从车辆前方以倾斜向下的视线拍摄整个操作部分20的影像。因此，成对的两个摄像机501、502被布置成以与副驾驶员座椅乘坐者看到显示部分40的视差及收敛角相对应的视差及收敛角来拍摄操作部分20的影像。另一方面，成对的两个摄像机502、503被布置成以与驾驶员看到显示部分40的视差及收敛角相对应的视差及收敛角来拍摄操作部分20的影像。

操作装置100包括操作者判定部分90及摄像机切换部分92作为在上述第一实施例的结构中增加的构成元件。

操作者判定部分90判定是否正在从驾驶员座椅一侧或从副驾驶员座椅一侧操作操作部分20。存在各种不同的进行上述判定的方法，可以采用任何合适的方法。例如，作为一种简单方法，如果由摄像机500拍摄的摄像机影像中的手是左手，则操作者判定部分90可判定正在从驾驶员座椅一侧操作操作部分20(即，操作者是驾驶员)。另一方面，如果由摄像机500拍摄的摄像机影像中的手是右手，则操作者判定部分90可判定正在从副驾驶员座椅一侧操作操作部分20(即，操作者是副驾驶员座椅的乘坐者)。还可以于车辆宽度方向上在操作部分20两侧(其副驾驶员座椅一侧及驾驶员座椅一侧)设置红外传感器，并判定两侧中哪一侧的红外传感器检测到了到达操作部分20的手的存在。或者，还可以在车舱内设置开关，其例如在从副驾驶员一侧操作操作部分20时接通，并根据开关的接通/关断状态来判定操作者，即，判定操作者是否驾驶员或是副驾驶员座椅的乘坐者。此外，还可以根据通过车载摄像机的影像识别的结果或者操作部分20与副驾驶员座椅及驾驶员座椅中每一者之间的静电电容的改变等来判定操作者。

摄像机切换部分92根据来自操作者判定部分90的判定结果来将摄像机501、502、503的连接状态切换至左眼影像合成电路72及右眼影像合成电路74。具体而言，在正在从驾驶员座椅一侧操作操作部分20的情况下，如图8中的实线所示，摄像机切换部分92执行切换，使得来自摄像机502的摄像机影像被输入至左眼影像合成电路72，而来自摄像机503的摄像机影像被输入至右眼影像合成电路74。另一方面，在正在从副驾驶员座椅一侧操作操作部分20的情况下，如图8中的虚线所示，摄像机切换部分92执行切换，使得来自摄像机501的摄像机影像被输入至左眼影像合成电路72，而来自摄像机502的摄像机影像被输入至右眼影像合成电路74。

图9是示出作为示例的在正在从驾驶员座椅一侧操作操作部分20的情况下输出立体影像的视图。

在正在从驾驶员座椅一侧操作操作部分20的情况下，如上所述，根据来自从驾驶员座椅一侧倾斜向下俯瞰操作部分20的两个摄像机502，503的摄像机影像来形成立体手影像。因此，如图9所示，该立体手影像提供从驾驶员座椅一侧看到的手的立体视角。类似的，尽管未在图中示出，因为根据来自从副驾驶员座椅一侧倾斜向下俯瞰操作部分20的两个摄像机501，501的摄像机影像来生成影像，故在正在从副驾驶员座椅一侧操作操作部分20的情况下而生成并输出的立体手影像提供了从副驾驶员座椅一侧看到的手的立体视角。因此，根据第二实施例，因为生成立体手影像以提供从操作者一侧拍摄的立体视角，故相较于第一实施例中生成从竖直上方拍摄的立体手影像(见图5A等)，更易于把握手指相对于操作部分20的上下(前后)的情况(因而把握手指相对于操作菜单影像的上下的情况)。因此，进一步改进了可操作性。即，根据第二实施例，因为以与从操作者的视线方向对应的立体方式来显示立体手影像，故能够给予操作者眼睛以操作者的手虚拟伸至显示部分40的感觉。因此，进一步改进了可操作性。

此外，在第二实施例中，也可以第一实施例的图5B至图5D所示的其他形式来生成立体手影像。

对于上述第二实施例，可以构思出下述改变示例及改进示例。

例如，尽管在上述第二实施例中使用了三个摄像机501，502，503，但可以为副驾驶员座椅一侧及驾驶员座椅一侧每一者均设置两个摄像机。在此结构中，可在正在从驾驶员座椅一侧操作操作部分20的情况下利用两个设置在驾驶员座椅一侧的摄像机(两个摄像机在车辆宽度方向上彼此间隔开)来生成立体影像。在正从副驾驶员座椅一侧操作操作部分20的情况下，可通过利用设置在副驾驶员座椅一侧的两个摄像机(两个摄像机在车辆宽度方向上间隔开)来生成立体影像。

此外，尽管在上述第二实施例中使用了三个摄像机501，502，503，但可如图10A及图10B所示设定在车辆宽度方向上可移动的立体摄像机600(包括摄像机602，603)。在该设置中，立体摄像机600例如以可运动的方式设置在在车辆宽度方向上延伸的滑轨608上，并可由作为诸如电动机等适合的致动器610的驱动源来驱动。在该结构中，在正在从驾驶员座椅一侧操作操作部分20的情况下，如图10A所示，可通过在向驾驶员座椅一侧移动立体摄像机600之后使用立体摄像机600来生成立体影像。在正在从副驾驶员座椅一侧操作操作部分20的情况下，如图10B所示，可通过在向副驾驶员座椅一侧移动立体摄像机600之后使用立体摄像机600来生成立体影像。

此外，在由液晶视差栅栏***三维显示器构造显示部分40的情况下，可如图11所示在通常情况下形成中央分隔双视角状态，由此可在左右屏幕部分中显示不同影像(驾驶员座椅一侧影像及副驾驶员座椅一侧影像)。如果在操作部分20上执行了任何操作，则可以生成并输出如图11所示从操作者(在此情况下为驾驶员)一侧的立体视角的立体影像(左眼影像加右眼影像)。

[第三实施例]

第三实施例在以下方面不同于上述第一及第二实施例，即操作菜单影像中表示操作开关的图形影像F1至F8也被立体地显示。与第一实施例相同的构成元件可被赋予相同的参考标号，并将省去对其的描述。

图12是根据第三实施例的操作装置200的示意性侧视剖视图。

背景影像生成电路710生成待在显示部分40中显示的背景影像(在此情况下为操作菜单影像)，并将生成的背景影像供应至左眼影像合成电路72及右眼影像合成电路74。在本实施例中，如图13所示，背景影像生成电路710以立体视差显示影像的方式生成在操作菜单影像中表示操作开关的图形影像F1至F8。

立体影像生成电路760根据来自左眼影像合成电路72的左眼影像以及来自右眼影像合成电路74的右眼影像来生成适于允许裸眼看到立体影像的显示部分40的立体影像。在此情况下，立体影像生成电路760生成立体影像，使得操作菜单影像中除了图形影像F1至F8之外的部分在使用者眼中被反映为二维平面，且使得手影像以及操作菜单影像的图形影像F1至F8在使用者眼中被反映为三维实体。在本实施例中，立体影像生成电路760生成提供立体视角的立体影像，其中从显示部分40的显示平面偏移预定高度A[mm]的平面被设定为零高度第一基准平面，且手影像的手的各个手指相对于第一基准平面的高度与实际的手的手指或各部位相对于操作部分20的高度对应。此外，立体影像生成电路760在立体影像中生成图形影像F1至F8，由此在相对于零高度基准平面(其是显示部分40的显示平面)预定高度B[mm]的情况下立体地看到图形影像F1至F8的上表面140(见图14A及图14B)。由显示部分40显示被立体影像生成电路760生成的立体影像。

图13是示出显示在显示部分40中的操作菜单影像中的图形影像F1至F8的示例的视图。如图13所示，操作菜单影像中的图形影像F1至F8被立体地显示(以突出的形式显示)，由此从显示部分40的显示平面向操作者一侧显示为仿佛其上表面140存在预定高度B[mm]处。以下，将把在操作菜单影像中以此方式立体显示的图形影像F1至F8称为“立体开关影像”。此外，如图13所示，可以二维显示表示在车辆行进期间因驱动规则等原因而不能***作的操作开关的图形影像(在本实施例中图形影像F3)。由此允许使用者方便地识别当前不能操作的操作开关。

图14A及图14B是示意性地示出在图13的箭头“视角A”所示的方向上所取的视图。图14A示出了在操作部分20中与立体开关影像F1，F5对应的操作开关未***作的状态。图14B示出了在操作部分20中与立体开关影像F1对应的操作开关已经***作(即，已经被接通)的状态。在操作部分20中操作开关***作的情况下，立体影像生成电路760根据在透明触摸面板上生成的操作信号(操作位置信号)，将与所操作的操作开关(在本示例中为立体开关影像F1)对应的立体开关影像的上表面140的高度改变为相对于基准平面(显示部分40的显示平面)的B′(＜B)[mm]。这允许使用者视觉地感知到操作装置200已经检测到使用者在操作开关上的操作。

图15A及图15B是示意性地示出立体开关影像与立体手影像之间相对高度关系的视图。图15A示出了操作部分20上使用者的手与操作表面(触摸面板表面)之间的高度关系。图15B示出了与图15A的状态对应的显示部分40中立体开关影像与立体手影像之间的高度关系。

如图15A所示，在使用者的指尖到达接触操作表面的位置时(即，到达图中y座标的零位置)，图15B所示，立体手影像中的指尖G出现在处于相对于显示部分40的显示平面的预定高度A(沿Y轴的高度)的位置处。此时，如果预定高度A被设定为等于立体开关影像的上表面140的高度B(即，存在A＝B的关系)，图15B所示，则显示部分40产生在立体手影像中的指尖G正触摸立体开关影像的上表面140的立体显示。即，产生立体手影像中的指尖G被放置在立体开关影像的上表面140上的立体显示。因此，与操作部分20的触摸面板接触的实际状态与显示部分40中的立体显示彼此符合，由此改进了操作者可操作性。

此外，如果从图15A所示的状态使用者下压操作表面(执行切换操作)，则操作部分20中的操作开关接通，且立体开关影像被立体显示成仿佛机械开关被下压(见单点划线)。因此，使用者可获得虚拟真实的操作感觉，即，能够感受到仿佛使用者已经操作了实际的硬件开关。

如果从图15A所示的状态使用者的手移动离开操作表面(例如，移动离开到y座标的高度h)，则立体手影像中的指尖G到达相对于显示部分40的显示平面的高度H(在图中沿Y轴的高度处)的位置处。取决于立体影像等的缩尺比，该高度H可与h+A相同，或也可与h’+A相同，其中h’＝k·h(k是常数)。

根据第三实施例，如上所述，可通过显示立体开关影像并与立体开关影像的高度对应的高度相偏移来显示立体手影像，以立体开关影像和立体手影像两者间适当的高度关系来显示立体开关影像及立体手影像。因此，使用者能够方便地把握手到操作部分20的操作开关的距离感，并能够有虚拟真实操作感觉，由此改进了可操作性。

对于上述第三实施例，可构思出下述改变示例及改进示例。

例如，尽管在上述实施例中预定高度A被设定等于立体开关影像的上表面140的高度B，但是使预定高度A大致等于立体开关影像的上表面140的高度B即可。例如，预定高度A可以是小于或等于高度B的高度范围中选择的适当的值，也可以大于或等于操作状态中任一立体开关影像的上表面140的高度B′。例如，预定高度A可以是A＝(B-B’)/2+B’。或者，预定高度A可以是略大于立体开关影像的上表面140的高度B的值。

在显示部分40由能够显示凹入影像的三维显示器构造的情况下，与由使用者操作的操作开关对应的立体开关影像可以被立体地显示为凹入影像(即，高度B′可以为负值)。

虽然已经描述了本发明的优选实施例，但本发明并不限于上述实施例。相反，还可在不脱离本发明的范围的情况下对上述实施例进行各种不同的改变及替换。

例如，图2及图8所示的显示影像生成电路70的电路结构仅为示例，可通过其他电路来实现该电路部分的功能。此外，对于图2及图8中仅为示例示出的显示影像生成电路70的电路结构，可以通过软件来实现电路一部分的功能。例如，显示影像生成电路70的一部分或整体可被构造为微计算机，并通过固件来实现其功能。此外，例如可在导航***的ECU中结合图2及图8所示的显示影像生成电路70的一部分或整体以及显示控制部分80的功能。

在上述实施例中，可以在操作部分20上进行操作，因此显示部分40中的显示器无需是触摸面板式。但是，显示部分40中的显示器可以是触摸面板式。

此外，在上述实施例中，操作菜单影像可以是通过在另一影像上叠加与操作部分20的操作开关对应的图形影像而获得的影像，例如，通过在诸如TV影像、复制的DVD影像等各种不同影像或在导航***的地图影像等影像上叠加操作开关的图形影像而获得的影像。

此外，尽管在上述优选实施例中，操作装置10，100以车用操作装置的形式示出，但本发明并不限于此。本发明还可应用于其他应用领域的操作装置。

虽然已经参考了被视为本发明的优选实施例描述了本发明，但应当理解的是，本发明并不限于所揭示的实施例或结构。相反，本发明意在包含各种不同的改变及等同设置。此外，虽然以各种不同组合及结构示出了所揭示的发明的各个不同元件，但这仅是示意性质，包括更多、更少或仅单个元件的其他组合及结构也落入本发明的范围内。

Claims (8)

1.一种操作装置，其特征在于包括：

其中设置有操作开关的操作部(20)；

显示立体影像的显示器(40)；

影像拾取机构(50；500；600)，其从多个方向获取对所述操作部进行操作的使用者的手部的照片；以及

显示影像生成装置(70)，其根据由所述影像拾取机构(50；500；600)获得的视差影像来生成所述手部的立体影像，并在所述显示器(40)中对通过合成操作菜单影像以及所生成的所述手部的立体影像所获得的合成影像进行显示，所述操作菜单影像显示出所述操作开关在所述操作部(20)中的位置以及所述操作开关的功能。

2.根据权利要求1所述的操作装置，其中

所述操作部(20)以及所述显示器(40)被设置在车室内，在车辆宽度方向上位于驾驶员座椅与副驾驶员座椅之间；

所述影像拾取机构(50)包括至少两个影像拾取装置，所述至少两个影像拾取装置从所述驾驶员座椅一侧向下倾斜观测所述操作部，并被布置在所述车辆宽度方向上；并且

所述显示影像生成装置(70)根据所述至少两个影像拾取装置获得的所述视差影像、生成在从所述驾驶员座椅一侧的视线方向上的所述手部的立体影像。

3.根据权利要求1所述的操作装置，还包括

操作者判定部(90)，其对所述操作部(20)是从驾驶员座椅一侧或从副驾驶员座椅正在***作进行判定，

其中，所述操作部(20)以及所述显示器(40)在车室内于车辆宽度方向上被设置在驾驶员座椅与副驾驶员座椅之间，并且

其中，如果所述操作者判定部(90)判定所述操作部(20)从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置(70)生成在从所述驾驶员座椅一侧的视线方向上的所述手部的立体影像，并且，如果所述操作者判定部(90)判定所述操作部(20)从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置生成在从所述副驾驶员座椅一侧的视线方向上的所述手部的立体影像。

4.根据权利要求3所述的操作装置，其中

所述影像拾取机构(500)包括在所述车辆宽度方向上彼此分隔开的三个或更多影像拾取装置；

如果所述操作者判定部(90)判定所述操作部从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置(70)根据设置在所述驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像；并且

如果所述操作者判定部判定所述操作部从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置根据设置在所述副驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。

5.根据权利要求3所述的操作装置，其中

所述影像拾取机构(600)包括在所述车辆宽度方向上可运动的两个影像拾取装置；

所述显示影像生成装置(70)根据所述操作者判定部(90)判定的结果来在所述车辆宽度方向上移动所述两个影像拾取装置，并且

如果所述操作者判定部(90)判定所述操作部(20)从所述驾驶员座椅一侧正在***作，则所述显示影像生成装置(70)根据移动至所述驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像；并且

如果所述操作者判定部(90)判定所述操作部(20)从所述副驾驶员座椅一侧正在***作，则所述显示影像生成装置(70)根据移动至所述副驾驶员座椅一侧的两个影像拾取装置获得的所述视差影像来生成所述手部的立体影像。

6.根据权利要求1-5中任一项所述的操作装置，其中

所述显示影像生成装置(70)在所述显示器(40)中立体地显示在所述操作菜单影像中表示所述操作开关的影像部，并在使用从所述显示器的显示面偏离预定高度的平面作为具有零高度的第一基准面时，显示所述手部的立体影像。

7.根据权利要求6所述的操作装置，其中

在所述显示器(40)的所述显示面被用作具有零高度的第二基准面时，对所述操作菜单影像中表示所述操作开关的所述影像部进行立体显示，并且所述具有零高度的基准面从所述显示器的显示面偏离的所述预定高度与表示所述操作开关的所述影像部的立体高度大致相同。

8.根据权利要求6所述的操作装置，其中

当所述手部的手指触摸所述操作部时，在所述手部的所述立体影像中显示的所述手指距离所述显示器(40)的所述显示面的高度与在所述操作菜单影像中表示所述操作开关的所述影像部的立体高度大致相同。

Images