CN107406048A - 操作*** - Google Patents

Abstract

本发明提供一种操作***，具备：操作设备(20)，其由用户手动操作，对多个器件(51、52、53、54)中的被选择的指令对象器件指令动作内容；显示部(41a、42a、43a、44a)，其设置于各个所述器件，显示与所述动作内容对应的信息；以及选择装置(91a)，其基于由视线检测传感器(30)检测出的用户的视线方向，将与所述视线方向上的所述显示部对应的所述器件选择为所述指令对象器件。

Description

操作***

相关申请的相互参照

本申请基于2015年3月25日申请的日本专利申请号2015-63291，并将其记载内容引用至此。

技术领域

本公开涉及一种使操作设备与视线检测协作的操作***。

背景技术

根据现有技术，已知一种利用共用的操作设备指令多个器件的动作内容的操作***。尤其是在搭载于车辆的操作***中，使针对各个器件设置的显示部显示与相应的器件的动作内容对应的信息并能够边观察该显示边对操作设备进行操作来指令所希望的动作内容的操作***广为人知。在这种操作***中，按如下顺序对操作设备进行操作。首先，进行用于选择将多个器件中的哪一个作为指令对象的操作(选择操作)。接着，进行用于对选择出的器件指令动作内容的操作(指令操作)。

此外，近几年，检测用户的视线方向的视线检测传感器的开发进展顺利(参照专利文献1)。据此，能够仅移动视线就能够实现指令动作内容，不需要操作设备的操作。

然而，在需要复杂的动作内容的指令的器件的情况下，需要将与动作内容对应的信息显示在显示部。该情况下，若欲利用视线移动进行指令，则例如需要将显示于显示部的菜单画面的图标依次注视下去的作业，反而使用户感到麻烦。另一方面，若欲利用操作设备进行指令，则除上述的指令操作以外，还需要选择操作，因而会感到操作麻烦。

专利文献1：日本专利第5588764号公报

发明内容

本公开的目的在于提供一种实现对器件的指令的容易性的提高的操作***。

在本公开的方式中，操作***具备：操作设备，其由用户手动操作，对多个器件中的被选择的指令对象器件指令动作内容；显示部，其设置于各个所述器件，显示与所述动作内容对应的信息；以及选择装置，其基于由视线检测传感器检测出的用户的视线方向，将与所述视线方向上的所述显示部对应的所述器件选择为所述指令对象器件。

根据该操作***，能够通过边观察显示于显示部的与动作内容对应的信息边对操作设备进行手动操作来指令该动作内容的变更等。由此，即使在包括需要复杂的动作内容的指令的器件的情况下，也能够容易地进行指令。尽管如此，对于将多个器件中的哪一个作为操作设备的指令对象的选择，仅通过注视与所希望的器件对应的显示部就能够进行选择。总之，指令对象器件的选择这样的简单的指令使用视线检测传感器来实现，动作内容的设定这样的复杂的指令使用操作设备来实现。综上，根据上述发明，既能够实现利用共用的操作设备来指令多个器件的动作内容，又能够实现对器件的指令的容易性的提高。

附图说明

通过参照附图进行下述详细的描述，有关本公开的上述目的以及其他目的、特征、优点会变得更加清楚。在上述附图中，

图1是表示本公开的一个实施方式中操作设备以及视线检测传感器的车辆搭载位置的立体图。

图2是表示图1所示的显示装置的显示内容与用户的视线方向的关系的图。

图3是表示图1所示的操作设备、接近传感器、视线检测传感器以及显示装置等的控制框图。

图4是表示基于图3的微机的控制的顺序的流程图。

具体实施方式

以下，参照附图对本公开所涉及的操作***的一个实施方式进行说明。

图1是从车辆10的厢内观察车辆前方侧的立体图。如图所示，在车厢内的前挡风玻璃11的下方设置有树脂制的仪表板(instrument panel)12。仪表板12具备在水平方向上扩展的水平部12a、从水平部12a向上方突出的突出部12b、以及从水平部12a向车辆后方侧延伸的延伸突出部12c。突出部12b呈具有朝向车辆后方侧开口的开口部的形状，在该开口部配置有多个(在图1的例子中为四个)显示装置41、42、43、44。这些显示装置41、42、43、44被配置成沿车辆10的左右方向(图1的左右方向)排成一列。

显示装置41、42、43、44被构成为具备液晶面板以及背光源，多个显示装置41、42、43、44具有相同的形状及大小。多个显示装置41、42、43、44被邻接配置成各个液晶面板的显示面在车辆左右方向上被连续视觉确认，即被视觉确认为沿左右方向延伸的一个显示面。将从正面观察仪表板12时配置在中央右侧的显示装置称作第一显示装置41，配置在中央左侧的显示装置称作第二显示装置42，配置在右端的显示装置称作第三显示装置43，配置在左端的显示装置称作第四显示装置44。

如图2所示，在显示装置41、42、43、44的液晶面板设定有显示与后述的各种器件(参照图3)的动作内容对应的信息的区域。将该区域称作特定区域41a、42a、43a、44a。上述区域相当于“显示部”。

如图3所示，车辆10搭载有导航装置51、空调装置52、右侧电子镜53、左侧电子镜54以及未图示的音频装置等器件。导航装置51是对车辆10的行驶进行导航的装置。空调装置52是控制车厢内的空气调节的装置。右侧电子镜53具备拍摄位于车辆10的右侧的其他车辆、行人等车外的物体的照相机和控制照相机的拍摄方向的促动器。左侧电子镜54具备拍摄位于车辆10的左侧的车外的物体的照相机和控制该照相机的拍摄方向的促动器。

在第一显示装置41的特定区域41a显示与导航装置51的动作内容对应的信息。例如显示地图信息、车辆10的当前位置信息、目的地的位置信息以及行驶路径信息等。而且，在第一显示装置41中的除特定区域41a以外的区域亦即框区域41b显示强调显示框。框区域41b被设定为包围特定区域41a的环状。该框区域41b相当于“选择报告显示部”。

在第二显示装置42的特定区域42a显示与空调装置52的动作内容对应的信息。例如显示空调风的温度、风量、吹出口等信息。而且，在第二显示装置42中的除特定区域42a以外的区域亦即仪表区域42b、42c显示车速计以及电池剩余电量计。这些仪表区域42b、42c及特定区域42a被配置成沿车辆左右方向排成一列，特定区域42a配置在两个仪表区域42b、42c之间。

在第三显示装置43的特定区域43a显示与右侧电子镜53的动作内容对应的信息、即由方向被促动器控制的照相机拍摄的影像。而且，使第三显示装置43中的除特定区域43a以外的区域亦即其他区域43b、43c显示与由照相机拍摄的影像不同的图像(例如涂黑图像)。第一显示装置41的特定区域41a、第三显示装置43的特定区域43a以及其他区域43b被配置成沿车辆左右方向排成一列，其他区域43b配置在两个特定区域41a、43a之间。由此，两个特定区域41a、43a被配置成彼此在车辆左右方向上分开规定间隔以上。

在第四显示装置44的特定区域44a显示与左侧电子镜54的动作内容对应的信息、即由方向被促动器控制的照相机拍摄的影像。而且，使第四显示装置44中的除特定区域44a以外的区域亦即其他区域44b、44c显示与由照相机拍摄的影像不同的图像(例如涂黑图像)。第二显示装置42的特定区域42a、第四显示装置44的其他区域44b以及特定区域44a被配置成沿车辆左右方向排成一列，其他区域44b配置在两个特定区域41a、44a之间。由此，两个特定区域41a、44a被配置成彼此在车辆左右方向上分开规定间隔以上。

车辆10除搭载有显示装置41、42、43、44以及各种器件以外，还搭载有以下说明的电子控制装置(ECU90)、操作设备20以及视线检测传感器30。本实施方式所涉及的操作***具备操作设备20、多个显示装置41～44以及ECU90。操作设备20由用户手动操作，对多个器件中的被选择的指令对象器件指令动作内容。该选择通过视线检测传感器30以及ECU90来进行。

操作设备20配置于延伸突出部12c，且配置于车辆10的驾驶员(用户)保持坐在驾驶座的状态下手够得着的位置。在图1的例子中，操作车辆10的行驶方向的手柄13配置在车辆左右方向的左侧，操作设备20配置在与手柄13相反的一侧(右侧)。详细而言，操作设备20配置在车厢内的车辆左右方向的中央。操作设备20被用户在x轴方向、y轴方向以及z轴方向这三个方向上操作。x轴方向为车辆左右方向，y轴方向为车辆前后方向，z轴方向为上下方向。即，能够进行向x轴方向以及y轴方向的倾倒操作、向z轴方向的按动操作。

例如，在图2所示的显示方式中，处于导航装置51被选择为指令对象器件的状态。若在该状态下对操作设备20在x轴方向或y轴方向上进行倾倒操作，则显示于第一显示装置41的特定区域41a的地图沿左右方向或上下方向滚动显示(参照图2中的箭头)。或者，切换显示于特定区域41a的多个图标中的被选择的图标。然后，若对操作设备20向z轴方向进行按动操作，则确定为被选择的图标，并将与该图标相关联的指定向导航装置51输出。导航装置51根据该指令而动作，该动作内容显示于特定区域41a。

在仪表板12的延伸突出部12c安装有接近传感器21。接近传感器21随着检测对象的接近而使输出信号变化。ECU90的微机91基于从接近传感器21输出的信号的变化，检测出用户将手放置于操作设备20的状态。执行该检测时的微机91相当于“接触检测装置91c”。需要说明的是，接近传感器21也可以在检测对象接近至规定范围内的情况下输出导通信号。该情况下的接触检测装置91c在获得了导通信号的情况下，检测出用户将手放置于操作设备20的状态。

视线检测传感器30具有安装于仪表板12中的位于驾驶员的正面的部分的红外线照相机以及影像分析用微机。红外线照相机拍摄驾驶员的左右眼球，微机对该拍摄图像进行图像分析来运算驾驶员的视线方向。该图像分析也可以由ECU90所具有的微型计算机(微机91)执行。

ECU90的微机91基于由视线检测传感器30检测出的用户的视线方向，将与视线方向上的特定区域对应的器件选择为指令对象器件。这样选择指令对象器件的微机91相当于“选择装置91a”。例如，如图2所示，在视线方向上的显示部为第一显示装置41的特定区域41a的情况下，与该特定区域41a对应的导航装置51被选择装置91a选择为指令对象器件。

其中，在利用接触检测装置91c检测到用户将手放置于操作设备20的状态的期间，使基于视线检测传感器30的视线检测有效，选择装置91a执行上述选择。另外，在任一器件被选择为指令对象器件的状态下，即使在视线方向变化成从多个特定区域41a、42a、43a、44a中的任意均偏离的位置的情况下，微机91也维持当前的选择。这样发挥功能而维持选择的微机91相当于“选择维持装置91b”。

图3所示的振动设备81(报告装置)安装于方向盘、驾驶座等来使用户感觉到振动。扬声器82(报告装置)输出警报声、语音等。例如，将确定上述选择的情况、变更选择的情况等的各种状态通过振动、警报声、语音等报告给用户。

图4是表示通过微机91按规定的运算周期反复执行的处理的顺序的流程图。首先在步骤S10中，判定有无基于接近传感器21的接触检测。在判定为有接触检测的情况下，推定为用户将手放置于操作设备20，视为用户有利用操作设备20来器件进行指令的意思并进入下一步骤S11。在步骤S11中，对用户是否正观察多个显示部中的任一个、即在由视线检测传感器30检测出的视线方向上是否存在显示部进行判定。具体而言，对多个特定区域41a、42a、43a、44a中的任一个是否位于视线方向进行判定。

在判定为存在向显示部的视线的情况下，判定是否存在视线的变更。具体而言，在当前存在视线的显示部与和当前选择的器件对应的显示部不同的情况下，判定为存在视线变更。需要说明的是，在当前未选择任何器件的情况下，判定为无视线变更。

在判定为存在视线变更的情况下，在接下来的步骤S13中，对视线变更的时间是否经过了规定时间以上进行判定。在步骤S13中判定为经过了规定时间以上的情况下或者在通过步骤S12判定为无视线变更的情况下，进入下一步骤S14。在步骤S14中，将与视线方向上的显示部对应的器件选择为指令对象器件。

若在步骤S13中判定为未经过规定时间以上，则结束处理并返回至步骤S10，而不执行步骤S14的选择。另外，在步骤S11中判定为用户并未观察多个显示部中的任一个的情况下，在步骤S15中，维持当前所选择的器件的选择。例如，在目光从与指令对象器件对应的显示部移开，并隔着前挡风玻璃11将视线移至车辆10的前方的情况下，维持器件的选择。

综上，根据本实施方式，具备：操作设备20，其由用户手动操作，对多个器件中的被选择的指令对象器件指令动作内容；显示部，其设置于各个器件，显示与动作内容对应的信息；以及选择装置91a。选择装置91a基于由视线检测传感器30检测出的用户的视线方向，将与视线方向上的显示部对应的器件选择为指令对象器件。

据此，能够通过边观察显示于显示部的与动作内容对应的信息边对操作设备20进行手动操作来指令该动作内容的变更等。例如，在图2的例子中导航装置51被选择为指令对象器件，能够边观察显示于特定区域41a的地图信息，边对操作设备20进行手动操作来使地图信息滚动。由此，即使是需要复杂的动作内容的指令的器件，也能够容易地进行指令。

尽管如此，对于将多个器件中的哪一个作为指令对象器件的选择，仅通过注视与所希望的器件对应的显示部就能够进行选择。例如，在导航装置51被选择为指令对象器件的图2的状态下，若将视线移向第二显示装置42的特定区域42a，则与第二显示装置42对应的器件(空调装置52)被选择为指令对象器件。总之，指令对象器件的选择这样的简单的指令使用视线检测传感器30来实现，动作内容的设定这样的复杂的指令使用操作设备20来实现。综上，根据本实施方式，既能够实现利用共用的操作设备20来指令多个器件的动作内容，又能够实现对器件的指令的容易性的提高。

而且，在本实施方式中，具备选择维持装置91b，其在指令对象器件被选择的状态下，即使在视线方向变化成从多个显示部中的任意均偏离的位置的情况下，也维持选择。据此，能够避免每次将视线从被选择的显示部移开时选择被解除，从而避免每次将视线从显示部移开时观察所希望的显示部并再次进行选择这样的麻烦。另外，还能够在将视线从显示部移开的状态下对操作设备20进行操作来进行指令。

而且，在本实施方式中，具备对用户触碰操作设备20进行检测的接触检测装置91c，选择装置91a在利用接触检测装置91c进行接触检测的期间，使利用视线检测传感器30的视线检测有效并执行选择。据此，能够避免在用户未触碰到操作设备20时即用户没有对器件进行指令的意思时，在视线方向上的显示部的器件被选择这样的麻烦。

而且，在本实施方式中，在由视线检测传感器30检测到向多个显示部中的和与指令对象器件对应的显示部不同的显示部的视线移动的情况下，若该视线移动小于规定时间，则维持指令对象器件的选择。据此，若只是短时间观察其他显示部则选择不会被变更，因而能够不变更指令对象器件的选择地观察其他显示部。

而且，在本实施方式中，具备选择报告显示部(框区域41b)，其报告与指令对象器件对应的显示部被选择装置91a选择的意思。据此，用户容易识别出当前选择的指令对象器件为哪一个，因而能够进一步提高对器件的指令的容易性。

而且，在本实施方式中，多个显示部配置于仪表板12，且沿车辆10的左右方向排列配置，所述仪表板12配置在车辆10的厢内的前方。此外，驾驶车辆10的用户为了隔着前挡风玻璃11视觉确认车辆10的前方的情况(前景)，使视线方向朝仪表板12的上方移动的频率变高。因此，在显示部配置于仪表板12的情况下，将视线方向沿上下方向移动的频率变高。另一方面，在与本实施方式相反而使多个显示部沿上下方向排列配置的情况下，向前景的视线移动与向显示部的视线移动的判别变困难。因此，产生在使用视线检测传感器30通过选择装置91a进行选择时误选择的可能性。对此，根据多个显示部沿左右方向排列配置的本实施方式，能够抑制上述可能性。

而且，在本实施方式中，多个显示部被配置成彼此在车辆10的左右方向上分开规定间隔以上。例如在图2所示的情况下，其他区域43b配置在两个特定区域41a、43a之间。并且，仪表区域42c配置在两个特定区域41a、42a之间。

然而，在与本实施方式相反地使多个显示部沿左右方向邻接配置的情况下，在观察两个显示部的边界部分时，难以判别视线方向在哪一个显示部。因此，产生在使用视线检测传感器30通过选择装置91a进行选择时误选择的可能性。对此，根据配置成分开规定间隔以上的本实施方式，能够抑制上述可能性。

(其他实施方式)

以上，对发明的优选实施方式进行了说明，但发明完全不受上述实施方式限制，能够像以下例示那样进行各种变形来实施。不仅能够进行各实施方式中具体明示了能够组合的部分彼此的组合，只要组合不特别产生阻碍，即使没有明示也能够将实施方式彼此局部组合。

图1及图2所示的接近传感器21可以是非接触式以及接触式中的任一种。另外，也可以是检测磁场的变化的方式的传感器，还可以是检测电容量的变化的方式的传感器。接近传感器21的安装位置不局限于延伸突出部12c，例如也可以在操作设备20安装接近传感器21。

也可以构成为废除接近传感器21，在输出通过对操作设备20进行操作而生成的输入信号的情况下，接触检测装置91c检测为接触。例如，基于操作设备20的倾倒操作或按动操作的进行，接触检测装置91c可以检测为处于用户将手放置于操作设备20的状态。

在图1所示的实施方式中，显示装置41、42、43、44配置于仪表板12的开口部。对此，本公开并不限定于这种配置，例如也可以构成为显示装置配置在仪表盘(dash board)上。

在图1所示的实施方式中，多个显示装置41、42、43、44被配置成沿车辆左右方向排成一列。对此，本公开并不限定于这种配置，例如也可以构成为多个显示装置沿上下方向错开的位置。

在图1所示的实施方式中，操作设备20配置于仪表板12。对此，本公开并不限定于这种配置，例如也可以构成为操作设备20配置于手柄13。

ECU90(控制装置)所提供的装置及/或功能能够由记录于实体的存储介质的软件以及执行该软件的电脑、仅软件、仅硬件、或它们的组合来提供。例如，在控制装置由作为硬件的电路提供的情况下，其能够由包括大量逻辑电路的数字电路或模拟电路提供。

这里，本申请所记载的流程图或流程图的处理由多个部分(或提及为步骤)构成，各部分例如被表述为S10。而且，各部分能够被分割为多个子部分。另一方面，多个部分也能够组合成一个部分。而且，这样构成的各部分能够被提及为设备、模块、方法。

本公开依据实施例进行了记述，但应理解本公开并不限定于该实施例、构造。本公开也包括各种变形例、等同范围内的变形。此外，各种组合、方式、以及它们中包括仅一个、一个以上或一个以下要素的其他组合或方式也落入本公开的范围、思想范围内。

Claims (7)

1.一种操作***，其中，具备：

操作设备(20)，其由用户手动操作，对多个器件(51、52、53、54)中的被选择的指令对象器件指令动作内容；

显示部(41a、42a、43a、44a)，其设置于各个所述器件，并显示与所述动作内容对应的信息；以及

选择装置(91a)，其基于由视线检测传感器(30)检测出的用户的视线方向，将与处于所述视线方向上的所述显示部对应的所述器件选择为所述指令对象器件。

2.根据权利要求1所述的操作***，其中，

还具备选择维持装置(91b)，该选择维持装置在所述指令对象器件被选择的状态下，即使在所述视线方向变化成从多个所述显示部中的任意均偏离的位置的情况下，也维持所述指令对象器件的选择状态。

3.根据权利要求1或2所述的操作***，其中，

还具备对用户触碰所述操作设备进行检测的接触检测装置(91c)，

在利用所述接触检测装置进行接触检测的期间，所述选择装置通过使利用所述视线检测传感器的视线检测有效而选择所述指令对象器件。

4.根据权利要求1至3中的任一项所述的操作***，其中，

在由所述视线检测传感器检测出向多个所述显示部中的和与所述指令对象器件对应的显示部不同的显示部的视线移动的情况下，若该视线移动小于规定时间，则维持所述指令对象器件的选择。

5.根据权利要求1至4中的任一项所述的操作***，其中，

还具备选择报告显示部(41b)，该选择报告显示部报告与所述指令对象器件对应的所述显示部被所述选择装置选择的意思。

6.根据权利要求1至5中的任一项所述的操作***，其中，

多个所述显示部配置于仪表板(12)且沿所述车辆的左右方向排列配置，所述仪表板(12)配置在车辆(10)的厢内的前方。

7.根据权利要求6所述的操作***，其中，

多个所述显示部配置成彼此在所述车辆的左右方向上分开规定间隔以上。