CN107107841B - 信息处理装置 - Google Patents

信息处理装置 Download PDF

Info

Publication number
CN107107841B
CN107107841B CN201680004230.2A CN201680004230A CN107107841B CN 107107841 B CN107107841 B CN 107107841B CN 201680004230 A CN201680004230 A CN 201680004230A CN 107107841 B CN107107841 B CN 107107841B
Authority
CN
China
Prior art keywords
user
unit
hand
control unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680004230.2A
Other languages
English (en)
Other versions
CN107107841A (zh
Inventor
松原孝志
高田晋太郎
森直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN107107841A publication Critical patent/CN107107841A/zh
Application granted granted Critical
Publication of CN107107841B publication Critical patent/CN107107841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/111—Instrument graphical user interfaces or menu aspects for controlling multiple devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B60K2360/115—Selection of menu items
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B60K2360/1464—3D-gesture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)

Abstract

车载装置具备：姿势检测部，识别位于规定的范围内的用户的手的位置；输出信息控制部，控制向显示部输出的输出信息；以及车载装置控制部，接收来自车辆所具备的操作部的输入，并控制车载装置，在姿势检测部检测到用户的手以一定时间遮挡了规定的位置的情况下，输出信息控制部将车载装置控制部所执行的动作的候选与用户的手的动作建立对应地显示于显示部，在姿势检测部检测到在用户的手以一定时间遮挡了规定的位置之后、用户的手从规定的位置移动的情况下，输出信息控制部将显示于显示部的车载装置控制部所执行的动作的选择方法或者操作指导变更为与操作部相应的内容。

Description

信息处理装置
技术领域
本发明涉及信息处理装置。
背景技术
在专利文献1中，记载了一种车载设备的操作装置，其在平视显示器(HUD)上重叠地显示车载设备的操作菜单和放在操作部上的驾驶员的手的影像，由于能够一边观看该影像一边进行操作，使得车载设备的选择操作简单且迅速，能够不妨碍驾驶地进行操作。
现有技术文献
专利文献
专利文献1：日本特开2010－215194
发明内容
发明将要解决的课题
然而，在驾驶中的车载设备的操作中，专利文献1所记载的技术将与操作相关的菜单始终显示于HUD，因此存在妨碍驾驶操作的隐患。另外，为了进行操作，需要将用于操作的专用设备设置于车内的某个位置，成本增加，并且产生设置中的限制。并且，即使在使用仅基于语音的界面的情况下，也需要语音识别所需的处理的处理时间、用于听取所朗读的语音的时间，操作性及便利性受损。
用于解决课题的手段
根据本发明的第1方式，具备：姿势检测部，识别位于规定的范围内的用户的手的位置；输出信息控制部，控制向显示部输出的输出信息；以及车载装置控制部，接受来自车辆所具备的操作部的输入，并控制车载装置，在姿势检测部检测到用户的手以一定时间遮挡了规定的位置的情况下，输出信息控制部将车载装置控制部所执行的动作的候选与用户的手的动作建立对应地显示于显示部，在姿势检测部检测到在用户的手以一定时间遮挡了规定的位置之后、用户的手从规定的位置移动的情况下，输出信息控制部将显示于显示部的车载装置控制部所执行的动作的选择方法或者操作指导变更为与操作部相应的内容。
发明效果
根据本发明，能够提高驾驶中的驾驶员对车载设备的操作的安全性及操作性。
附图说明
图1是本发明的第一实施例中的车载装置的构成图。
图2(a)是传感部的设置位置的例子。
图2(b)是姿势检测区域的例子。
图2(c)是姿势检测区域的例子。
图3(a)是第一实施例中的动作流程的例子。
图3(b)是第一实施例中的动作流程的例子。
图4(a)是显示部与外部显示部的显示例。
图4(b)是显示部与外部显示部的显示例。
图4(c)是显示部与外部显示部的显示例。
图4(d)是显示部与外部显示部的显示例。
图5(a)是外部显示部的显示例。
图5(b)是外部显示部的显示例。
图5(c)是外部显示部的显示例。
图5(d)是外部显示部的显示例。
图6是显示部与外部显示部的显示例。
图7(a)是外部显示部的显示例。
图7(b)是外部显示部的显示例。
图8(a)是传感部的设置例。
图8(b)是与传感部的位置对应的动作的应对例。
图9是传感部以及用户手型的例子。
图10(a)是用户的用手遮挡的方法的例子。
图10(b)是外部显示部的显示例。
图11(a)是显示部的显示例。
图11(b)是与显示内容对应的显示场所的例子。
图11(c)是与显示内容对应的显示场所的例子。
图12(a)是动作流程的例子。
图12(b)是外部显示部的显示例。
图12(c)是外部显示部的显示例。
图12(d)是外部显示部的显示例。
图12(e)是外部显示部的显示例。
图12(f)是外部显示部的显示例。
图12(g)是外部显示部的显示例。
图13是第二实施例中的车载装置的构成图。
图14(a)是与驾驶负荷等级对应的控制模式的例子。
图14(b)是与驾驶负荷等级对应的控制模式的例子。
图14(c)是与驾驶负荷等级对应的控制模式的例子。
图14(d)是与驾驶负荷等级对应的控制模式的例子。
图15(a)是外部显示部的显示例。
图15(b)是外部显示部的显示例。
图16(a)是显示部的显示例。
图16(b)是外部显示部的显示例。
图17是本发明的第三实施例中的车载装置的构成图。
图18是驾驶舱的外观例。
图19是显示部与外部显示部的显示例。
图20是姿势与转向控制器的操作方法的例子。
图21是外部显示部的显示例。
图22是外部显示部的显示例。
图23是外部显示部的显示例。
图24是动作流程的例子。
图25是转向控制器与触摸面板的操作方法的例子。
图26(a)是表示与手向特定设备的靠近对应的操作设备的选择方法的表。
图26(b)是表示与手的位置·移动方向对应的操作设备的选择方法的表。
图26(c)是表示与行驶/停止状态对应的操作设备与显示设备的选择方法的表。
图27是动作流程的例子。
图28是转向控制器与指令控制器的操作方法的例子。
图29是姿势与转向控制器的操作方法的例子。
具体实施方式
以下，参照附图详细地说明本发明的实施方式。
实施例1
《构成的说明》
图1是本实施例中的车载装置101的构成图。
车载装置控制部102是控制本车载装置101的整体动作的部分，按照储存于未图示的存储部的与信使应用113以及输出信息控制部114相关的程序进行运算，从而实现作为信使应用113以及输出信息控制部114的功能。此外，能够在车载装置101搭载信使应用113以及输出信息控制部114以外的应用，这些程序能够在出厂时存储在存储部中，另外，也能够经由通信部107或经由USB端子等未图示的外部连接IF，通过用户的选择存储在存储部中。另外，控制作为车载导航***的基本动作，并且基于各种输入信息控制输出的内容。
传感部103是检测用户的手与传感器间的距离以及用户的手势的部分，例如由红外线距离传感器、激光距离传感器、超声波距离传感器、距离图像传感器、电解传感器、图像传感器等传感器、和进行数据处理的微型计算机以及在微型计算机上运行的软件构成。使用于传感部103的传感器不被特别限定，只要是具有能够得到用于检测到用户的手的距离与手势的信号的功能即可。
姿势检测部104基于从传感部103获得的传感器数据，检测用户是否进行了用手遮挡和预先规定的规定姿势(例如向上下左右方向的手势动作)。例如，分析规定的传感器值否持续了一定时间来检测用手遮挡，分析多个传感器间的手的检测结果的反应时间差来检测姿势动作。
开关操作部105是用于进行车载装置的操作的硬件开关，搭载按钮按下型或飞梭旋钮(Jog Dial)型的开关。
触摸操作部106将被触摸的坐标发送给车载装置控制部102，进行车载装置的操作。
麦克风115取得车辆内部的声音。
语音识别部116根据所输入的声音数据，将语音转换为字符码串。
通信部107与外部的网络连接，进行各种信息的输入输出。例如与导航相关的信息的输入或消息的收发等。
外部开关操作部117是设置于与车载装置101不同的场所的开关操作部，可列举设置于方向盘附近的转向开关、设置于车的中央控制台的主令开关等。
显示部108是向用户提示影像信息的装置，例如是具有LCD(Liquid CrystalDisplay，液晶显示器)等显示器装置、影像内容、GUI(Graphical User Interface，图形用户界面)等显示处理所需的运算处理装置、存储器的装置。
外部显示部109是设置于与车载装置101不同的车内的场所的显示器，对影像进行显示。例如可列举设置于驾驶席的前方的平视显示器(HUD)等。HUD能够透过驾驶员(用户)前方的景色并且显示各种信息。
声音输出部110是输出声音或语音的部分。
扬声器111输出来自声音输出部110的声音。
触觉IF输出部112是对用户传递某些触感信息的部分，例如由通过多个超声波元件构成的超声波阵列构成，向装置的任意距离的空间上传递压力。或者，也可以具备送风机来提供同样的效果。此外，也可以是设置于方向盘部等处，由方向盘自身进行振动的振子构成，构成要素不被特别限定。
信使应用113与通信部107进行消息数据的收发，进行储存、输出所输入的消息的控制。另外，在发送消息的情况下，将发送消息发送给通信部107。
输出信息控制部114控制向显示部108或外部显示部109输出的内容。
图2(a)是传感部103的设置例。相对于显示部108，配置于右舵车辆中的驾驶员侧，能够检测出离开传感器元件的地点处的物体的距离信息以及物体的移动。由此，如该图中的下图所示那样，将车载装置101与用户之间的空间划分为多个区域，详细地检测用户的手存在于哪个区域。如图所示，划分为靠近传感器位置的区域201和更靠近传感器位置的区域202。另外，传感器的元件数量、设置位置、要检测的区域并不限于此。
《主动作流程》
使用图3(a)的动作流程，详细地说明车载装置101的动作。此外，信使应用113在向显示部108、外部显示部109、扬声器111等输出部输出影像、声音的情况下，向输出信息控制部114发送影像或者声音信息，输出信息控制部114判断是否将接收到的信息输出到上述输出部，但在以后的说明中，为了使说明简化，使用信使应用113向显示部108输出影像、信使应用113输出声音等表达。
首先，启动车辆的发动机等，开始车载装置101的动作。在动作开始时的显示部108(这里，设为中央显示器)中，通过输出信息控制部114如图4(a)所示那样显示与导航相关的显示、以及信使应用113的图标401。信使应用113与车载装置101的启动一起由车载装置控制部102在后台执行，在触摸操作部106检测出向图标401的触摸操作或姿势检测部104检测出用户的规定的姿势动作(例如，在传感器前向左的手势)的情况下，被输出信息控制部114激活。
另外，在动作开始时的外部显示部109(这里，设为HUD)中，通过输出信息控制部114进行与导航相关的显示、以及与信使应用113相关的显示。在经由通信部107从外部接收到消息的情况下(S301)，信使应用113输出收到消息时的效果音，使外部显示部109如图4(b)的图标402那样显示所接收到的消息的总数，向用户传递未读件数增加的意思。
之后，在姿势检测部104、语音识别部116、开关操作部105、外部开关操作部117、或者触摸操作部106检测出用户进行了启动信使应用113的操作的情况下(S303)，输出信息控制部114如图4(c)所示激活信使应用113来切换为使用应用时的显示(S304)。之后，信使应用113输出按从旧到新的顺序通过声音朗读接收到的消息的声音信息(S305)。图4(c)是在显示部108的一半画面进行了作为信使应用113的显示时的显示例。
若触摸操作部106检测出向图4(c)中的图标403的区域的触摸，则信使应用113使显示部108从图标403的区域的左边起分别显示用于进行贴图回复/固定句回复、自由发言回复、消息后退/前进的各操作的显示。另外，信使应用113在S305的声音信息的输出中使外部显示部109如图4(c)的下图中的404那样显示当前的未读消息件数、以及正在朗读的消息的发送人的姓名。在消息朗读过程中，在姿势检测部104检测出用户的规定的姿势动作(例如，向上或向下方的手势动作)的情况下(S306：是)，信使应用113对扬声器111输出声音信息以便朗读未读消息中最新的消息(S308)。
在未检测到的情况下，信使应用113接着输出声音信息，以便按照未读消息的从旧到新的顺序朗读(S307)，在结束最新消息的朗读控制的情况下，使显示部108以及外部显示部109如图4(d)所示地维持显示最后的发送人，成为等待回复操作的状态(S309)。在等待回复操作的状态下，信使应用113使外部显示部109如图5(a)所示地显示表示可基于姿势进行回复操作的图标501。
在图2(a)的区域202中用手遮挡的状态下经过了一定时间(例如，0.5秒)的情况下(S310：是)，判断为满足操作的开始条件，对外部显示部109切换显示，使其从画面的右侧开始对回复操作的操作指导即菜单进行滑动，并且输出菜单出现的效果音(S311)。此外，在区域202中检测到用户的手的情况下，信使应用113也可以输出传递该情况的效果音并以可通过听觉识别的方式传递，并且如图5(b)所示，图标501向右侧移动或改变图标的颜色，由此以通过视觉也可以识别的方式进行通知。另外，不是在区域202而是在区域201中检测到用户的手且经过了一定时间(例如，0.3秒)的情况下，信使应用113输出传递用手遮挡的位置不同的效果音。由此，在用户用手遮挡时，即使不将视线移动到手，也能够一边看着前方一边进行用手遮挡的操作。
图2(b)与图2(c)表示用户的手的检测状态与效果音输出的关系的更详细的说明。图2(b)、图2(c)分别表示了时间轴与传感部103的传感器值，是表示传感器值判断为区域201与202的边界的图。
图2(b)是用户将手伸向区域202，用手遮挡一定时间时的例子。在姿势检测部104检测到手进入了区域201的情况下输出效果音1。接着，在检测到进入了区域202的情况下输出效果音2。在持续检测到用户的手位于区域202时间T1以上(例如0.5秒以上)的情况下，输出效果音3，按照对S311进行说明的切换外部显示部109的显示。
图2(c)的例子是在区域201持续用手遮挡时的例子。若检测到手进入了区域201则输出效果音1，若持续检测到手位于区域201时间T2以上(例如0.3秒以上)，则输出效果音4。之后，若在区域202中检测到手，则与图2(b)的例子相同。以下，有时将在区域202中用手遮挡时间T1以上的操作简称为“用手遮挡”。
图5(c)是显示了能够进行贴图回复的操作菜单时的例子。图标502是表示在用手遮挡的状态下若进行上·左·下方向的姿势则能够选择与之对应的贴图的操作指导。另外，左上方的1/2的显示表示所显示的贴图候选的总页数和当前页。在该状态下检测到上·左·下方向的某个姿势的情况下(S312：是)，信使应用113选择与该方向对应的贴图并进行回复操作(S313)，再次向等待接受回复操作的状态S309迁移。
未检测到任何姿势而用户的手离开了区域202的情况下(S312：否，S314：是)，如图5(d)所示地切换外部显示部109的显示内容(S315)。图标503表示当前可选择的贴图的候选。图标504表示若进行与所显示的方向对应的姿势操作(向上的手势或向下的手势)，则进行对应的操作。另外，“固定句”这样的显示意味着将回复方法切换为固定句回复，“下一页”这样的显示意味着能够从通过图标503正显示的贴图的选择候选切换为下个候选组。若一次显示大量选项，则尽管用户在驾驶中仍对该选择花费时间，有可能不集中于驾驶，因此在本实施例中，仅限于提供位于上、左及下的三个选项，另一方面，通过设置用于增加想要发送的贴图的选项的姿势，能够向用户提供超过3个的选项。在检测到所对应的姿势操作的情况下(S316：是)，执行与之对应的操作(S317)。在未检测到姿势(S316：否)而在区域202检测到用户的用手遮挡的情况下(S318：是)，信使应用113向S311的状态迁移，再次成为进行贴图选择的状态。
在未检测到用户的手而在该状态下经过了一定时间(例如10秒)的情况下(S318：否，S319：是)，信使应用113从外部显示部109的显示中消除操作指导，向S309的等待接受回复操作的状态迁移(S320)。在执行了回复操作的情况下，如图6所示，信使应用113在显示部108中显示回复操作结果的内容(这里为所选择的贴图)，在外部显示部109中显示进行了回复操作的用户的姓名，朗读回复内容。
此外，本动作流程只是以本发明的车载装置101的动作为代表例子而说明的流程，动作、显示、效果音等并不限定于该例子。例如，在本说明中假定使用信使应用113时的回复操作而进行了说明，但本发明并不限定于此，可以应用于车载装置控制部102进行的选择多个选项的全体操作。图3(b)表示简化的动作流程。基本的动作如上述的说明所示，各步骤中的动作的说明与图3(a)的赋予了相同步骤编号的步骤相同，但对于本图的S316，并不限于上下手势，例如也可以接受转向开关的操作等各种操作。
另外，从外部接收到消息的情况下，既可以构成为在接收的同时朗读，也可以在外部显示部109中也显示所接收到的消息的内容。由此，用户更容易掌握消息。此外，等待接受回复操作也可以不待读完最新消息，而是任何时候都能够接受。由此，用户在任何时候都能够进行回复操作。此外，对于应用手遮挡的区域202，也可以在该区域内通过触觉IF部112向空中提示触感。
例如，使得在区域的边界上出现超声波元件阵列的压力点，或者通过送风机对区域的垂直线上施加触感。由此，用户可以一边看着前方，一边用手进行遮挡，即使是驾驶中的操作也能够安全地进行回复操作。此外，在本例中，在检测到用手遮挡后，迁移到贴图回复操作的状态，但也可以在此之前迁移到回复方法的选择状态(贴图·固定句·自由发言等)。由此，用户在回复操作开始时可以选择自己想要进行的回复方法。
另外，在本例中，检测用手遮挡并在外部显示部109中显示操作指导后接受姿势，但也可以从显示操作指导的一定时间前(例如，0.2秒前)开始接受姿势。由此，在用户习惯于操作，已记住了哪个姿势与哪个操作对应的情况下，能够使外部显示部109不进行多余的显示地进行操作，此外，能够缩短操作时间。
另外，在S319中测量了一定时间的经过，但在满足该条件前检测到规定的操作(例如，向左方向的手势操作·开关操作等)的情况下，也可以向S320迁移。由此，可以在用户喜欢的定时将外部显示部109的显示切换为导航。
另外，关于向外部显示部109显示的操作指导以及姿势方向，并不限于3个方向，也可以使用任意方向和数量。此时，设定为坐在驾驶席上容易进行姿势操作的方向即可。例如，朝方向盘方向进行的姿势，在动作途中手有可能碰到方向盘，因此不设为对象。通过设定画面可以预先设定乘坐的车的方向盘为右舵还是左舵，为左舵的情况下，如图7(a)(b)所示，针对显示于外部显示部109的操作指导，将上·下·右这3个方向设为识别对象。另外，图7(a)(b)分别与图5(c)(d)对应。
另外，根据方向盘的设置场所不同，在姿势中所使用的手也变化，因此图标的显示或方向也改变。并且，根据方向盘的位置，各种图标的外观也发生改变，因此也可以由用户个别地设定。由此，可以根据每个车型的方向盘设置位置通过容易使用的姿势操作来进行操作，用户能够坐在驾驶席上容易地通过姿势来进行各种操作。
另外，如本例这样用手遮挡的位置并不限定于一个位置，也可以设为能够在多个位置用手遮挡。例如，如图8(a)所示，在三个位置设有三个传感器。此时，也可以根据对哪个传感器用手遮挡，来决定回复方法。如图8(b)所示，将传感器103A设为贴图回复、将传感器103B设为固定句回复、将传感器103C设为自由发言回复。由此，用户能够迅速地选择回复方法来进行回复操作。也可以设为用户能够预先指定哪个传感器与哪个方法对应。
另外，如图9所示，也可以在传感部103中使用摄像机来检测手的靠近和姿势。预先学习既定的手型图像，根据输入影像的图像和学习数据的模式识别，与距离和位置无关地检测用户的用手遮挡。此时，也可以检测多个用手遮挡时的手型(901A～903C)，并设为能够选择回复方法。由此，即使用户不将手伸到传感部103的前方来进行姿势动作，也能够开始回复操作。
并且，也可以根据检测到用手遮挡时的用户的手的位置和姿势，变更接受的姿势的方向、数量。例如，如图10(a)所示，在用户将肘放在扶手的状态下举手并检测到用手遮挡的情况下，如图10(b)所示，将左·下·右方向设为识别对象。这是因为在该状况下的用户的姿势中，认为上方向的姿势较难做出，因此将这3个方向设为识别对象。并且，也可以设为用户能够预先设定将哪个姿势设为识别对象。由此，用户能够以自由的姿势进行姿势操作。
另外，在本例中，将回复操作的操作菜单等显示于外部显示部109，但也可以根据各种设备的连接状态或设置位置等，变更要进行显示的位置以及显示内容。例如，在未连接HUD的情况下，如图11(a)所示，将姿势操作的指导显示于中央显示器。此时，如图11(b)所示，进行管理多个显示器的设置位置·连接状态并决定优先度的处理。基本上，在优先级高的显示器上显示操作指导，但在HUD发生故障等无法使用的情况下，在优先级次之的显示器上进行显示。此时，也可以根据优先级缩短显示指导的时间，或减少显示的信息量等。可以通过在工厂出货时刻或销售时刻设定、用户通过未图示的设定画面设定、在本车载终端上编程为根据与本车载终端连接的显示器的性质等判别优先级等方法来设定优先级。
并且，如图11(c)那样将手持外部设备(智能手机等)与车载装置101连接的情况下，也可以根据设置位置使优先级变高。由此，在无法使用HUD等以显示操作指导为前提的设备的情况下，能够在代替的显示器上显示操作指导，进行操作。
另外，在图3(a)或者图3(b)中的S311以后的回复操作中，也可以并不仅局限于姿势操作，而设为能够使用能够操作车载装置101的其他操作手段(语音识别操作或开关操作等)。图12(a)是此时的动作流程。S316的步骤之后检测到用户想要操作某操作手段的准备动作的情况下(S1201：是)，将与该动作对应的操作指导显示于外部显示部109(S1202)。之后，在执行了选择操作的情况下(S1203：是)，基于所选择的选项进行回复(S1204)。具体而言，在向S315的状态迁移时，将图12(b)所示的操作指导显示于外部显示部109。在图标1201中，上方的图标表示能够通过姿势进行选项的选择，正中间的图标表示能够通过语音识别进行选项的选择，下方的图标表示能够通过开关进行选项的选择。
在检测到用户进行状态控制器操作的情况下(例如，将转向开关中的任意按键按下一次、或在开关表面设置接触传感器并得到了其反应的情况下)，向图12(c)所示的画面迁移。1201的图标通过图标颜色的变化通知激活了状态控制器操作。在1202的显示中，显示与状态控制器的各按键对应的贴图的候选。根据被按下的状态控制器的按键，通过对应的贴图进行回复操作。另外，经过一定时间或状态控制器的接触传感器没有反应的情况下，返回到图12(b)的画面。
另一方面，在检测到进行语音识别的情况下(按下语音识别开始开关等)，向图12(d)所示的画面迁移。1201的图标表示语音识别为等待状态，1203的显示表示通过进行与各字符对应的发言，可选择与之对应的贴图。进行语音识别的结果为与某一选项一致的情况下，进行对应的贴图的回复操作。在图12(d)的例子中仅显示了“快乐”等与图标对应的字符，但是也可以通过与字符一起显示要发送的图标，从而一目了然要发送的图标。若利用语音识别，则用户能够不将手从方向盘拿开地选择想要发送的贴图，因此能够进一步有助于安全驾驶。
此外，三种操作手段无论在哪个操作过程中的状态下，若检测到各操作的开始触发条件，则切换操作手段。此外，若为基于开关操作和语音识别的操作状态，则在该状态下还接受基于上下手势的姿势操作。由此，在用户进行回复操作时，并不限定于一个操作手段，能够根据驾驶状况或用户的喜好自由地选择回复的操作手段。此外，在切换了各个操作手段时，提示当前可以用哪个操作手段进行操作、以及如何进行操作为佳，由此用户能够不迷茫于操作，迅速直观地进行操作。
另外，也可以根据车载装置101控制的应用的动作状况，改变用户在用手遮挡时可操作的操作内容。图12(e)是在后台运行的应用只有导航的情况下，将向自家的路线设定、当前所在地的地点登记、基于语音的目的地设定等与导航相关的操作作为选择候选而提示的例子。图12(f)是在音乐正在播放等时用手遮挡的情况下，将音乐停止、跳转到下一个曲子或上一曲子的操作等作为选择候选而提示的例子。图12(g)是在接收到拥堵信息等时用手遮挡的情况下，将听取拥堵信息的细节的操作、变更路径、变更目的地等作为选择候选而提示的例子。由此，可以根据用户驾驶中的车载装置101控制的应用的状况，迅速地选择各种操作。
通过以上所述的本发明的第一实施例的车载装置101，用户在驾驶中可以一边看着前方，一边直观地迅速进行操作。具体地，能够一边看着前方，一边迅速进行信使应用的显示切换、消息的跳过操作等。此外，在进行选择多个选项的操作的情况下，可以一边看着前方确认选择候选的内容，一边选择所希望的选项。并且，在习惯于操作的情况下，即使不看显示也能够进行选项的操作，因此能够更安全且快速地进行操作。
实施例2
《构成的说明》
图13是本实施例中的车载装置101的构成图。与图1的构成图相比，追加了车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120、地图DB(数据库)121。关于车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120，也按照储存于未图示的存储部的程序由车载装置控制部102进行运算，由此实现作为车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120的功能。
车辆信息输入部118是取得与行驶中的车辆相关的信息的部分，例如，经由CAN(Control Area Network，控制局域网络)与车辆连接，取得车速、油门开度、制动深度、方向指示灯信号、转向角度等。
操作手段控制部119控制将来自姿势检测部104、语音识别部116、各种开关操作部的操作输入反映到哪个操作。
驾驶负荷推断部120推断驾驶操作中的用户的驾驶负荷有多大。例如，在来自上述车辆信息输入部118的各种输入信号以外，综合从通信部107输入的信息(地图信息、行驶中的道路的种类、与前方车辆的距离等)，将驾驶负荷等级定义为四级(无·低·中·高)。“无”是等待交通灯等停车中或ACC(Adaptive Cruise Control，自适应巡航控制)等驾驶员不进行特别的操作也行驶的自动驾驶中的状况等，“低”是周围无障碍物的直线道路中的行驶等，“中”是以一定速度以上且经常要求方向盘操作的行驶状况，或交叉点的左右转时等，“高”是即将发生事故而要求重要的驾驶操作的状况等。
地图DB121是储存了地图信息的数据库。
《动作说明》
详细地说明本实施例的车载装置101的动作。基本的动作与在实施例1中叙述的动作相同，本实施例的特征在于，根据驾驶负荷推断部120的输出来控制动作。车载装置控制部102预先定义通过驾驶负荷推断部120输出的驾驶负荷等级、以及此时可操作的操作手段和可提示的显示内容。图14(a)～(d)表示该定义。
图14(a)表示各驾驶负荷等级下能够使用各操作手段。在驾驶负荷等级为“无”或“低”的情况下，能够利用在实施例1中叙述的全部操作手段进行回复操作。另一方面，在驾驶负荷等级为“高”的情况下，禁止全部操作。在驾驶负荷为“中”的情况下，禁止利用用手遮挡进行操作指导的显示、和此后的利用姿势操作对选项的选择。这是因为利用用手遮挡进行操作是不得不单手驾驶的操作方式，因此在应集中于驾驶操作的状况下禁止该操作。
在本实施例的外部显示部109中，如图15(a)的图标1503那样显示当前的驾驶负荷等级。在本图中表示驾驶负荷等级为“中”的状态，针对无法利用手的靠近进行操作的意思，如图标1501所示，显示出用手遮挡的操作被禁止。另外，在该状态下检测到用户用手遮挡的情况下，改变图标1501的显示或颜色等来强调，并且输出警告音或警告语音等，催促立即停止用手遮挡。通过进行这样的控制，用户能够掌握当前的驾驶负荷状况，并且能够极力防止在需要方向盘操作时仍想要显示操作指导而将单手从方向盘长时间离开的情况。另一方面，在驾驶负荷等级为“中”的状况下，也能够使用基于不使用手的语音识别进行自由发言回复、或通过一瞬间的操作就完成的手势姿势。
并且，在驾驶负荷等级为“无”或“低”的状况下，在进行用手遮挡后的回复操作过程中的情况下，驾驶负荷等级切换为“中”时，仅对该操作过程中的回复操作许可利用开关操作和利用语音识别对选项的选择操作。此时，如图15(b)所示，在三种操作手段的图标中，示出禁止基于用手遮挡和姿势的选项操作。
图14(b)是关于驾驶负荷等级与中央显示器的输出内容的定义。首先，在驾驶负荷等级为“无”的情况下，信使应用113显示全部消息的文本。另外，在来自触摸画面上的操作图标等基本操作的回复操作时，还显示贴图候选等的全部选项。在驾驶负荷为“低”或“中”的情况下，不显示消息的文本，仅显示消息发信者的姓名。另外，也不进行使用触摸操作的操作***的显示。
并且，在驾驶负荷为“高”的情况下，还消除信使应用113的画面，其显示与该状况对应的警告消息(例如，“注意车距！”等)。此外，在驾驶负荷为“低”或“中”的情况下，在进行用手遮挡的回复操作的过程中，驾驶负荷等级迁移到“无”时，考虑显示于HUD的操作指导的状态，设为通过中央显示器上的触摸操作也能够进行该操作。例如，如图16(a)所示，设为在HUD上为进行贴图回复的状态，保持贴图候选的内容与配置的信息，如图16(b)的所示，也显示于中央显示器。
具体而言，在保持HUD上的贴图候选1601的内容与画面上的配置关系的状态下，如1602所示地显示于中央显示器上。并且，1602的内容为了使驾驶员容易操作而靠近驾驶员侧进行配置，使得能够通过触摸操作来进行贴图的选择。另外，如1603那样，将剩余的贴图候选配置于画面上的远离驾驶员侧的位置。相反，在停止中进行中央显示器上的操作的过程中，随着车的启动，驾驶负荷切换为“低”或“中”的情况下，中止中央显示器中的选项的显示以及选择操作，在保持操作过程中的回复方法的基础上，向图3(a)的S315的步骤迁移，原样继承操作。
图14(c)是关于驾驶负荷等级与HUD的输出内容的定义。首先，在驾驶负荷等级为“无”或“低”的情况下，显示朗读消息时的发送者姓名，另外，显示回复操作时的操作指导。在驾驶负荷等级为“中”的情况下，显示出禁止基于用手遮挡的操作的意思，或仅在驾驶负荷等级从“低”变更为“中”的情况下，对显示操作指导的显示进行继承。在驾驶负荷等级为“高”的情况下，显示与该状况对应的警告消息(例如，“注意车距！”等)。
图14(d)是关于驾驶负荷等级与来自扬声器的声音输出的定义。在驾驶负荷等级为“无”至“中”的情况下，输出该时刻的操作音或朗读语音等。在驾驶负荷等级为“高”的情况下，仅输出警告音。此外，即使在朗读了消息的情况下也停止该输出。停止的朗读消息在驾驶负荷等级下降后重新开始，从该消息的开头开始重新朗读。
此外，也可以根据驾驶负荷等级，变更用户的用手遮挡检测算法以及反馈方法。例如，若在驾驶负荷等级低时，在用手遮挡了0.5秒以上的情况下，设为检测出用手遮挡，则在驾驶负荷等级为“无”的情况下，变更为在用手遮挡了2秒以上时检测出。并且，在驾驶负荷等级为“无”的情况下，停止利用声音输出对用手遮挡的反馈。由此，认为在行驶中可以迅速且使得视线不离开前方地进行操作的用手遮挡检测算法，考虑在停止时允许触摸操作或看别处，能够防止由触摸操作等用手遮挡动作以外的动作引起的误检测。
通过上述的本发明的第二实施例的车载装置101，用户在驾驶中也能够一边看着前方，一边直观且迅速地进行操作，除此以外，在停止中等余暇较多时，能够接受更多手段的操作或更多的信息量，并且在应集中于驾驶操作的状况下，提前防止因其他操作而使注意力转向驾驶操作以外，能够进行安全驾驶。
此外，在全部的实施例中以车载装置为例进行了说明，但本发明并不限定于此，也可以应用于个人计算机、数字标牌、建设机械、飞机、监视操作员装置等具有显示部与操作手段的装置中。
实施例3
《构成的说明》
图17是本实施例中的车载装置101的构成图。与图1的构成图相比，追加了操作菜单应用1701、显示输出部1702、转向控制器1703、转向接触检测部1704、主令控制器1705、主令接触检测部1706。
操作菜单应用1701是按照储存于未图示的存储部的程序向显示部108以及外部显示部109进行操作用菜单的显示的软件。
显示输出部1702具有在显示部108使用了未内置于车载装置101的显示器装置的情况下、向显示部108输出影像信号的功能。
转向控制器1703是转向所备置的开关部件，为了供用户输入操作而使用。另外，转向接触检测部1704对用户的手是否与上述转向控制器1703的开关部件接触进行检测。
主令控制器1705是车内的仪表·面板、中央控制台所备置的开关部件，为了供用户输入操作而使用。另外，主令接触检测部1706对用户的手是否与上述主令控制器1705的开关部件接触进行检测。
图18示出了本实施例中的驾驶舱的外观。显示部108设置于仪表·面板的中央，能够利用触摸操作部106进行触摸操作。另外，在显示部108的右上方具备用于检测姿势的传感部103。外部显示部109使用HUD，能够透过驾驶员(用户)前方的景色地显示各种信息。在方向盘内具备转向控制器1703。此外，在中央控制台上具备主令控制器1705。
《动作说明》
对本实施例的车载装置101的动作进行说明。基本的动作与在实施例1中叙述的动作相同，本实施例的特征在于，通过相对于传感部103向上方以及下方的手势来变更显示部108以及外部显示部109的显示内容、以及根据由传感部103检测出的手的移动来变更显示于外部显示部109的操作菜单以及操作指导的形状。
图19示出了通过相对于传感部103向上方以及下方的手势来变更显示部108以及外部显示部109的显示内容的情形。图19的(A)(B)(C)的各显示示出了由上述操作菜单应用1701控制的画面模式下的显示，(A)是音频操作模式，(B)是导航操作模式，(C)是空调操作模式。每当用户进行一次上述向上方的手势时，显示部108以及外部显示部109的显示就从图19的(A)向(B)、从(B)向(C)、从(C)向(A)地切换。
图20示出了在上述(B)导航操作模式中通过姿势以及转向控制器1703进行操作的情形。如图20的(i)所示，若用户用手遮挡传感部103，则姿势操作菜单2001显示于外部显示部109，对用户从用手遮挡位置向上、下、左的某一个方向移动手，从而选择与该方向对应的项目进行指导。另一方面，若用户从图20的(i)中用手遮挡的状态起使手返回方向盘的方向，则如图20的(ii)所示，显示出转向控制器操作菜单2002。在图20的(ii)的状态下，对通过按下转向控制器1703的上、中、下的某一方的开关，从而选择与该开关对应的项目进行指导。此外，若用户在图20的(ii)的状态下不按下任何开关地再次传用手遮挡感部103，则成为图20的(i)的状态。
图21、图22、图23示出了在图19以及图20中说明的一系列动作中的外部显示部109的画面迁移。图21示出上述(B)导航操作模式的画面迁移，图22示出上述(A)音频操作模式的画面迁移，图23示出(C)空调操作模式的画面迁移。
图24示出了上述(B)导航操作模式中的外部显示部109的画面内的动作的详细情况。如之前所述，在上述(B)导航操作模式下，若用户用手遮挡传感部103，则在外部显示部109显示姿势操作菜单2001。这里，若用户从用手遮挡的位置向上方移动手，则如图24的2401所示，以规定的时间仅显示与上方对应的项目，用户通过该显示能够确认到选择了希望的项目。另外，若2401的显示经过规定的时间，则外部显示部109的显示返回到用户用手遮挡之前的状态。此外，对于上述转向控制器操作菜单2002也成为相同的动作。
图26(a)是表示本实施例的车载装置101中的姿势的检测状态和操作设备的对应的表。另外，图26(c)是表示行驶以及停止状态所对应的操作设备与显示设备的对应的表。本实施例的输出信息控制部114按照图26(a)以及图26(c)，决定在规定的菜单的操作中使用的操作设备与显示设备。
如图26(a)所示，输出信息控制部114在手位于传感部103附近的情况下，判断为用户即将通过姿势进行操作。另外，在手离开传感部103的情况下，判断为用户即将通过转向控制器1703进行操作。此外，在不具备转向控制器1703的车辆的情况下，也可以判断为用户即将操作主令控制器1705等车辆所具备的其他操作设备。输出信息控制部114根据这些判断对操作菜单应用1701指示输出规定的画面。由此，能够显示适于用户即将操作的操作设备的操作菜单以及操作指导，能够获得用户可顺畅地使用了希望的操作设备进行操作这一效果。
另外，如图26(c)所示，在车为行驶中的情况，当输出信息控制部114判断为用户即将使用姿势、转向控制器1703以及主令控制器1705进行操作时，在作为外部显示部109的HUD上显示操作菜单。由此，用户能够从目视确认车辆前方的状态以较少的视线移动目视确认到操作菜单，因此能够获得抑制由于操作操作菜单对驾驶操作带来的影响这一效果。
此外，也可以设为，在车停止中能够通过可用指尖进行细致操作且操作性高的触摸面板等进行操作。例如，可以如图25所示，在转向控制器操作菜单2002显示于外部显示部109的状态下，当车停止时，若用户用手接近传感部103，则在显示部108上显示图25的2501所示的那种更详细的菜单，以使得能够进行触摸操作。并且，在车再次开始行驶时，消除显示部108的显示，并再次在外部显示部109上显示转向控制器操作菜单2002。由此，可获得如下效果：在车停止中等不妨碍驾驶操作的状况下，用户切换为对触摸面板操作，能够在触摸操作下进行高效的操作。
虽然在本实施例中，在用户将手返回到方向盘时，在外部显示部109上显示转向控制器操作菜单2002，但也考虑在用户将要用返回方向盘的手进行驾驶操作时厌烦转向控制器操作菜单2002的显示的情况。因此，也可以如图27所示，在用户将手返回到方向盘时，显示图27的2701所示的那种将外部显示部109之中显示菜单的部分缩小了的简易菜单，在利用上述转向接触检测部1704检测出用户已接触转向控制器1703的开关时，显示转向控制器操作菜单2002。由此，直到用户即将利用转向控制器1703进行操作为止，不显示转向控制器操作菜单2002，因此可获得能够减少菜单显示的繁琐、且能够将外部显示部109的显示有效地利用于显示驾驶所需的其他信息这一效果。
实施例4
《构成的说明》
图28示出了本实施例中的车载装置101的操作的外观。与图20的外观图相比，追加了在用户用手接近主令控制器1705时在外部显示部109上显示主令操作菜单2801的情形。另外，在本实施例中，如图9所示那样在传感部103中使用了摄像机。本实施例的传感部103检测出在传感部103的周围用户的手向哪个方向移动。此外，如果能够检测出用户的手移动的方向，则传感部103也可以是摄像机以外的传感设备。
《动作说明》
对本实施例的车载装置101的动作进行说明。基本的动作与在实施例3中所述的动作相同，本实施例的特征在于，通过检测出在传感部103的周围用户的手向哪个方向移动，从而变更显示于外部显示部109的操作菜单以及操作指导的形状。
图28示出了在上述(B)导航操作模式中通过姿势、转向控制器1703及主令控制器1705进行操作的情形。如图28的(i)所示，若用户从用手遮挡传感部103的状态起将手向方向盘的方向移动，则如图28的(i)所示，显示转向控制器操作菜单2002。另一方面，如图28的(ii)所示，若用户从用手遮挡传感部103的状态起将手向主令控制器1705的方向移动，则如图28的(ii)所示，对主令控制器1705显示操作菜单2801。在图28的(ii)的状态下，对通过与搭载于主令控制器1705的旋转控制器对应地使该旋转控制器旋转，从而选择一个项目进行指导。
图26(b)是表示本实施例的车载装置101中的手的位置及移动方向所对应的操作设备的选择的表。本实施例的输出信息控制部114按照图26(b)来决定规定菜单的操作所使用的操作设备。
如图26(b)所示，输出信息控制部114在手位于传感部103附近的情况下，判断为用户即将通过姿势进行操作。另外，在用户的手从传感部103向转向控制器1703的方向或位置移动了的情况下，判断为用户即将通过转向控制器1703进行操作。并且，在用户的手从传感部103向主令控制器1705的方向或位置移动了的情况下，判断为用户即将通过主令控制器1705进行操作。此外，转向控制器1703以及主令控制器1705也可以是车辆所具备的其他操作设备。输出信息控制部114根据这些判断向操作菜单应用1701指示输出规定的画面。由此，能够显示适于用户即将操作的操作设备的操作菜单以及操作指导，可获得用户能够顺畅地使用希望的操作设备进行操作这一效果。
此外，在显示操作菜单时，也可以不基于用户的手从传感部103起移动的方向或位置，而是基于传感部103所检测出的用户的手所指的方向。例如，可以如图29所示，在图29的(i)的状态下，传感部103检测出用户的手指着空调操作盘2901，并基于此在外部显示部109上显示空调操作用的转向控制器操作菜单2302。由此，可获得用户一次都不必用手遮挡传感部103、就能够更顺畅地显示希望的操作菜单这一效果。
将以下的优先权基础申请的公开内容作为引用文并入本申请。
日本专利申请2015年第31324号(2015年2月20日申请)
附图标记说明
101 车载装置
102 车载装置控制部
103 传感部
104 姿势检测部
105 开关操作部
106 触摸操作部
107 通信部
108 显示部
109 外部显示部
110 声音输出部
111 扬声器
112 触觉IF输出部
113 信使应用
114 输出信息控制部
115 麦克风
116 语音识别部
117 外部开关操作部
118 车辆信息输入部
119 操作手段控制部
120 驾驶负荷推断部
121 地图DB
1701 操作菜单应用
1702 显示输出部
1703 转向控制器
1704 转向接触检测部
1705 主令控制器
1706 主令接触检测部
2001 姿势操作菜单
2002 转向操作菜单
2201 姿势操作菜单
2202 转向操作菜单
2301 姿势操作菜单
2302 转向操作菜单
2401 项目选择状态
2402 项目选择状态
2501 详细菜单
2701 简易菜单
2801 主令控制器操作菜单

Claims (3)

1.一种车载装置，具备：
姿势检测部，识别位于传感器的规定的范围内的用户的手的位置；
输出信息控制部，控制向显示部输出的输出信息；以及
车载装置控制部，接受来自车辆所具备的操作部的输入，并控制车载装置，
在所述姿势检测部检测到所述用户的手以一定时间遮挡了规定的位置的情况下，所述输出信息控制部将所述车载装置控制部所执行的动作的候选与所述用户的手的动作建立对应地显示于所述显示部，
在所述姿势检测部检测到在所述用户的手以一定时间遮挡了所述规定的位置之后、所述用户的手从所述规定的位置移动的情况下，所述输出信息控制部将显示于所述显示部的所述车载装置控制部所执行的动作的选择方法或者操作指导变更为与所述操作部相应的内容，
所述车辆具备多个操作部，
所述车载装置控制部根据由所述姿势检测部检测到的所述用户的手移动的方向，从所述多个操作部中推测由所述用户接下来进行操作的操作部，或者，所述车载装置控制部根据由所述姿势检测部检测到的、所述用户的手以一定时间遮挡了所述规定的位置之后所述用户的手所移动到的位置，从所述多个操作部中推测由所述用户接下来进行操作的操作部，
所述输出信息控制部与所述车载装置控制部所推测的接下来进行操作的操作部相应地，对所述选择方法或者操作指导进行变更。
2.根据权利要求1所述的车载装置，
所述输出信息控制部控制向包含所述显示部的多个显示器输出的输出信息，
所述输出信息控制部使所述选择方法或者操作指导显示于所述用户从车辆前方的视线移动最小的显示器。
3.根据权利要求1所述的车载装置，
所述车载装置还具备检测所述用户的手已接触的触摸检测部，
当所述姿势检测部检测到所述用户的手以一定时间遮挡了所述规定的位置之后，在所述触摸检测部检测到所述用户的手已接触的情况下，所述输出信息控制部与所述触摸检测部相应地对所述选择方法或者操作指导进行变更。
CN201680004230.2A 2015-02-20 2016-02-01 信息处理装置 Active CN107107841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-031324 2015-02-20
JP2015031324A JP6426025B2 (ja) 2015-02-20 2015-02-20 情報処理装置
PCT/JP2016/052916 WO2016132876A1 (ja) 2015-02-20 2016-02-01 情報処理装置

Publications (2)

Publication Number Publication Date
CN107107841A CN107107841A (zh) 2017-08-29
CN107107841B true CN107107841B (zh) 2020-03-31

Family

ID=56688843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680004230.2A Active CN107107841B (zh) 2015-02-20 2016-02-01 信息处理装置

Country Status (5)

Country Link
US (1) US10466800B2 (zh)
EP (1) EP3260331A4 (zh)
JP (1) JP6426025B2 (zh)
CN (1) CN107107841B (zh)
WO (1) WO2016132876A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
DE102015006613A1 (de) * 2015-05-21 2016-11-24 Audi Ag Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
JP6224029B2 (ja) * 2015-05-21 2017-11-01 富士通テン株式会社 画像処理装置および画像処理方法
JP2018182616A (ja) * 2017-04-18 2018-11-15 京セラ株式会社 電子機器、制御方法、およびプログラム
WO2018193579A1 (ja) * 2017-04-20 2018-10-25 矢崎総業株式会社 画像認識装置
JP6508846B2 (ja) * 2017-06-02 2019-05-08 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP6266833B1 (ja) 2017-07-28 2018-01-24 京セラ株式会社 電子機器、プログラムおよび制御方法
KR101951426B1 (ko) * 2017-08-08 2019-02-22 엘지전자 주식회사 차량에 구비된 차량 제어 장치 및 차량의 제어방법
CN109491496A (zh) * 2017-09-12 2019-03-19 精工爱普生株式会社 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2019028973A (ja) * 2017-12-20 2019-02-21 京セラ株式会社 電子機器、プログラムおよび制御方法
DE102018203426A1 (de) * 2018-03-07 2019-09-12 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs mit einem Autopilotsystem und Kraftfahrzeug
JP7136199B2 (ja) * 2018-04-17 2022-09-13 株式会社ソシオネクスト ジェスチャ認識方法及びジェスチャ認識装置
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
DE102019210912A1 (de) * 2019-07-23 2021-01-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verstellvorrichtung und Verfahren für die fremdkraftbetätigte Verstellung eines Verstellteils an einem Fahrzeug auf Basis wenigstens eines Bedienereignisses
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Ｉｍｕおよびレーダーを介した認証管理
CN112753005B (zh) 2019-08-30 2024-03-01 谷歌有限责任公司 移动设备的输入方法
KR102479012B1 (ko) 2019-08-30 2022-12-20 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
WO2021050492A1 (en) * 2019-09-12 2021-03-18 Continental Automotive Systems, Inc. Knob with display preview feature
JP2021102357A (ja) * 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置
JPWO2021131959A1 (zh) * 2019-12-27 2021-07-01
JP2023055163A (ja) * 2021-10-05 2023-04-17 株式会社デンソー 表示装置、画像の表示方法および画像の表示プログラム
CN114205759B (zh) * 2021-11-30 2023-03-07 上海赫千电子科技有限公司 一种车载以太网显示屏的显示控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助***的多形态的用户接口
CN103906646A (zh) * 2011-09-03 2014-07-02 大众汽车有限公司 用于尤其在机动车内提供图形用户界面的方法和装置
JP2014215644A (ja) * 2013-04-22 2014-11-17 株式会社ユピテル 装置及びプログラム

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9239673B2 (en) * 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
JP2005174356A (ja) * 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
EP1764674B1 (de) * 2005-09-14 2012-06-13 Volkswagen AG Eingabevorrichtung
JP2009042796A (ja) * 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
JP2007302223A (ja) * 2006-04-12 2007-11-22 Hitachi Ltd 車載装置の非接触入力操作装置
US8094189B2 (en) * 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
US20100217875A1 (en) 2007-07-23 2010-08-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for use in a communications network
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
JP4692937B2 (ja) * 2008-09-29 2011-06-01 株式会社デンソー 車載用電子機器操作装置
JP2010184600A (ja) 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
JP2011118725A (ja) 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
JP5348425B2 (ja) * 2010-03-23 2013-11-20 アイシン・エィ・ダブリュ株式会社 表示装置、表示方法、及び表示プログラム
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US8810509B2 (en) * 2010-04-27 2014-08-19 Microsoft Corporation Interfacing with a computing application using a multi-digit sensor
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US9015639B2 (en) * 2011-02-11 2015-04-21 Linkedin Corporation Methods and systems for navigating a list with gestures
US20120260290A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US20120312956A1 (en) * 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
US8891868B1 (en) * 2011-08-04 2014-11-18 Amazon Technologies, Inc. Recognizing gestures captured by video
EP2555536A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
WO2013074897A1 (en) * 2011-11-16 2013-05-23 Flextronics Ap, Llc Configurable vehicle console
JPWO2013136776A1 (ja) * 2012-03-15 2015-08-03 パナソニックＩｐマネジメント株式会社 ジェスチャ入力操作処理装置
US9448635B2 (en) * 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
TW201419036A (zh) * 2012-11-06 2014-05-16 Pixart Imaging Inc 感測元件陣列、控制感測裝置的方法以及相關電子裝置
JP6030430B2 (ja) * 2012-12-14 2016-11-24 クラリオン株式会社 制御装置、車両及び携帯端末
US20140181759A1 (en) * 2012-12-20 2014-06-26 Hyundai Motor Company Control system and method using hand gesture for vehicle
JP5372273B2 (ja) 2013-03-07 2013-12-18 富士通テン株式会社 ディスプレイ装置
JP2014174818A (ja) 2013-03-11 2014-09-22 Panasonic Corp 電子装置
JP2014215649A (ja) * 2013-04-23 2014-11-17 アルプス電気株式会社 入力装置
JP5472842B2 (ja) * 2013-04-26 2014-04-16 株式会社デンソー 車両用操作装置
US20140368423A1 (en) * 2013-06-17 2014-12-18 Nvidia Corporation Method and system for low power gesture recognition for waking up mobile devices
JP5486721B2 (ja) 2013-06-18 2014-05-07 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法、プログラム、記憶媒体
WO2015001875A1 (ja) * 2013-07-05 2015-01-08 クラリオン株式会社 情報処理装置
US20160023604A1 (en) * 2013-07-08 2016-01-28 LightSpeed Automotive Technology Head-Up Display Controller
KR101558354B1 (ko) * 2013-11-13 2015-10-20 현대자동차 주식회사 차량용 블라인드 콘트롤 시스템
KR101534745B1 (ko) * 2013-12-31 2015-07-07 현대자동차 주식회사 제스처 인식 장치
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
DE102014116292A1 (de) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System zur Informationsübertragung in einem Kraftfahrzeug
CN107206896B (zh) * 2014-12-22 2021-03-05 大众汽车有限公司 手指板条和手指板条的应用
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
US10589676B2 (en) * 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助***的多形态的用户接口
JP2010129069A (ja) * 2008-12-01 2010-06-10 Fujitsu Ten Ltd ディスプレイ装置
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
CN103906646A (zh) * 2011-09-03 2014-07-02 大众汽车有限公司 用于尤其在机动车内提供图形用户界面的方法和装置
JP2014215644A (ja) * 2013-04-22 2014-11-17 株式会社ユピテル 装置及びプログラム

Also Published As

Publication number Publication date
CN107107841A (zh) 2017-08-29
EP3260331A1 (en) 2017-12-27
WO2016132876A1 (ja) 2016-08-25
JP2016153250A (ja) 2016-08-25
US10466800B2 (en) 2019-11-05
US20180059798A1 (en) 2018-03-01
JP6426025B2 (ja) 2018-11-21
EP3260331A4 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN107107841B (zh) 信息处理装置
CN108430819B (zh) 车载装置
JP6282188B2 (ja) 情報処理装置
US20180232057A1 (en) Information Processing Device
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
US9703472B2 (en) Method and system for operating console with touch screen
US20150367859A1 (en) Input device for a motor vehicle
US20160132126A1 (en) System for information transmission in a motor vehicle
KR20160076294A (ko) 차량 제어 장치 및 그 제어 방법
KR20180091732A (ko) 사용자 인터페이스, 운송 수단 및 사용자 구별을 위한 방법
KR20150000076A (ko) 차량용 블라인드 콘트롤 시스템
JP2006264615A (ja) 車両用表示装置
CN111231860A (zh) 用于车辆的操作模块、操作方法、操作***及存储介质
JP5626259B2 (ja) 画像表示装置
US20210141385A1 (en) Method and system for operating an automatic driving function in a vehicle
US20230249552A1 (en) Control apparatus
CN112241237A (zh) 图像显示装置、图像显示***以及图像显示方法
JP2007094612A (ja) 入力装置、情報処理装置、及び情報処理方法
JP2020067836A (ja) 表示制御装置、表示システム、及びｇｕｉプログラム
JP2018163555A (ja) 情報入力システムおよび情報入力プログラム
JP2017084220A (ja) 操作装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant