CN105829994B - 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 - Google Patents

用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 Download PDF

Info

Publication number
CN105829994B
CN105829994B CN201480069946.1A CN201480069946A CN105829994B CN 105829994 B CN105829994 B CN 105829994B CN 201480069946 A CN201480069946 A CN 201480069946A CN 105829994 B CN105829994 B CN 105829994B
Authority
CN
China
Prior art keywords
driver
menu item
vehicle
menu
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480069946.1A
Other languages
English (en)
Other versions
CN105829994A (zh
Inventor
A·西格尔
M·赖歇尔
P·巴格弗雷德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN105829994A publication Critical patent/CN105829994A/zh
Application granted granted Critical
Publication of CN105829994B publication Critical patent/CN105829994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于执行用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述菜单选择菜单项(10)的方法的设备，包括：摄像机(6)，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员(1)的头部上，其中，所述摄像机数据相应于驾驶员(1)的视野；计算单元(9)，所述计算单元被布置用于生成菜单项(10)的汇编，所述汇编根据驾驶员(1)的至少一个预确定的与驾驶员(1)的视野的方向相应的视向和/或头部姿态来进行；显示器(11)，用于输出所述菜单项(10)。

Description

用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单 项的设备和方法
技术领域
本发明涉及一种用于在包括至少一个菜单项的菜单内进行导航并且用于从所述菜单选择菜单项的方法以及一种用于执行这种方法的设备。
背景技术
现代车辆现在具有多种功能，这些功能仍仅可借助于大量分支的菜单来控制。收音机、电视机、导航、E-Mail和各种互联网服务在中央借助于方向盘、操纵杆、键盘或触摸板来控制。但从大量分支的菜单进行选择要求驾驶员在驾驶期间高度专注，其中，驾驶员的注意力从交通业务强烈分散。为了预防事故，使用语音控制或手势控制，其中，为了显示菜单，使用位置固定的显示器操控台或平视显示器，所述显示器操控台或平视显示器对于驾驶员应简化在操作车辆期间功能选项的选择。
由文献US 2012/0235902 A1公知了一种装配在头部上的信息***，所述信息***具有显示单元，所述显示单元装配在数据眼镜的框架上，其中，框架包括至少一个运动传感器，所述运动传感器与计算单元耦合，所述计算单元被布置用于将使用者的头部姿势转化成信号，所述信号由计算单元解译为用于在选择菜单中进行导航的控制信号。在此，控制应借助于头部姿势使使用者在操作不同功能时减轻负担并且在此不限制使用者的注意力和视域。
由另一个文献US 2002/0021407 A1公知了一种姿势控制的视频游戏，在所述视频游戏中使用数据眼镜，所述数据眼镜装备有运动传感器，所述运动传感器控制一个控制单元。计算单元将由运动传感器检测的头部姿势转化成用于控制视频游戏的指令。
发明内容
本发明的目的在于，给出一种方法以及一种设备，通过所述方法/设备可直观地且可靠地控制车辆的选择菜单。
所述目的借助于一种用于借助于驾驶员的至少一个头部运动对包括至少一个菜单项的用于控制车辆的菜单进行导航和/或从菜单选择菜单项的方法来实现，其中，菜单的菜单项的汇编根据驾驶员的至少一个视向和/或头部姿态来进行。该方法的特别优点在于，这样汇编菜单的各个菜单项，使得通过在一个方向上例如在车辆的周围环境的一个方向上的视向或头部运动对在该方向上重要的或在视向的方位上重要的菜单项作出选择。除此之外，接着借助于头部姿势从所汇编的菜单有目的地选择菜单项。对于头部姿势可理解为连续的头部运动和/或离散的以及重复的头部运动。头部运动的组合也可作为头部姿势来解译，其被解译用于在用于控制车辆的菜单中进行导航或选择。由此，驾驶员的注意力不受驾驶业务影响并且同时向驾驶员提供重要菜单项、尤其是驾驶动作的有目的的选择以便进行选择。
根据本发明的一个有利实施形式，为了输出重要的驾驶动作，用于驾驶员的菜单项在驾驶员的NTED(Near-the-Eyes-Display，近眼显示器)或车辆的HUD(Head-up-Display，平视显示器)或屏幕显示器上输出。为了不使驾驶员的视域从驾驶业务分散，特别有利的是，菜单项的汇编借助于NTED投射。特别的优点是由于NTED例如可集成在数据眼镜中引起的，所述数据眼镜与驾驶员的头部的运动一起运动并且总是可将重要的菜单项渐显到驾驶员的视野中。由此，驾驶员的判断过程明显简化，因为驾驶业务以及与驾驶业务或者说驾驶员的视向相关的菜单项对于驾驶员的视线可同时被获得。
在本发明的一个特别优选的实施形式中，根据驾驶员的视野的方向和/或头部姿态仅输出一个菜单项。这种选择向驾驶员仅仅提供采用或拒绝渐显的建议的备选方案。作为菜单选项的这种菜单项例如涉及安全超车动作或停入动作或者说涉及驾驶员不必作出其它权衡的驾驶动作。另外，唯一的菜单项首先在紧急的危险状况时或在向驾驶员提示高重要性时适用。
在本发明的另一个符合目的的实施形式中，菜单项的汇编根据在驾驶员的视野中出现图像对象的频率来进行。如果在驾驶员的视野中频繁地瞄准停车场指示牌、教堂、车间等，则菜单项的汇编例如显示最近的停车场、加油站、车间或教堂用于在菜单中进行选择。由此可预料驾驶员的目标并且将到所述目标所需的导航引入。
本发明的另一个方面涉及一种用于执行用于借助于驾驶员的至少一个头部运动对包括至少一个菜单项的用于控制车辆的菜单进行导航和/或从菜单选择菜单项的方法的设备，包括：
-摄像机，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员的头部上，其中，摄像机数据相应于驾驶员的视野；
-计算单元，所述计算单元被布置用于生成菜单项的汇编，所述汇编根据驾驶员的至少一个预确定的视向和/或头部姿态来进行；
-显示器，用于输出菜单项。
关于所述方法所描述的优点同样适于用所述方法运行的设备。除此之外，可由通过摄像机检测的摄像机数据在计算单元中例如借助于分析处理摄像机图像的光流来求得驾驶员的视野的方向和/或头部姿态和/或头部运动。另外，可借助于在计算单元中执行的模式识别来识别图像对象。
在本发明的一个符合目的的实施形式中，所述设备附加地具有惯性传感器，所述惯性传感器被构造用于为了检测驾驶员的头部姿态和/或头部运动而佩戴在驾驶员的头部上。由此可采取冗余的手段用于选择在视向或头部姿态中重要的或在视向的方位上重要的菜单项。除此之外，可由所汇编的菜单借助于头部运动有目的地选择菜单项。
根据本发明的一个有利实施形式，显示器为了输出菜单项而具有驾驶员的NTED或车辆的HUD或屏幕显示器。通过渐显重要的菜单项，驾驶员的判断过程明显简化。
根据另一个优选实施形式，驾驶员的NTED集成在数据眼镜中。由此，菜单的显示与驾驶员的视向或头部姿态无关地总是在其视野中渐显。
在根据本发明的一个符合目的的实施形式中，计算单元被构造用于根据在驾驶员的视野中出现预确定的图像对象的频率来生成菜单项的汇编。借助于由计算单元辨识的预确定的图像对象的频率可作出关于驾驶员的可能意图的预报并且例如在所汇编的菜单中提供确定的导航目标用于进行选择，而驾驶员不必逐个地输入所述导航目标。预确定的图像对象例如可以是停车指示牌、加油站提示、对酒店、博物馆或医院的提示。
优选所述设备为了交换数据而具有双向的通信单元，所述通信单元被布置用于将惯性传感器和/或摄像机和/或计算单元的数据与车辆的控制单元进行交换。通信装置允许节省位置地且无关地在车辆中布置控制单元以及从所述设备或者说车辆的控制单元方面相互地使用有效的数据。
根据本发明的一个实施形式的特别紧凑的设备提出，计算单元、惯性传感器、摄像机和显示器集成在可佩戴在驾驶员的头部上的单元中。由此，所述设备可特别柔性地使用，例如在数据眼镜中，其中，软件可专门地与具有预确定车辆的设备的使用相协调。
为了可特别有效地使用菜单，菜单项包括用于自主驾驶车辆的驾驶动作和/或对驾驶员的指示。驾驶动作尤其是应关于车辆的自主驾驶来理解。对于驾驶动作的选择，驾驶员省去一系列操作步骤并且由此驾驶员变得轻松。
本发明的另一个方面涉及一种车辆，具有自动驾驶仪和如前所述的设备。在此，所述车辆被布置用于借助于自动驾驶仪自动地执行由驾驶员选择的驾驶动作。设置有所述设备的车辆不仅提高行驶时的舒适性，而且提高行驶安全性。除此之外，车辆的自动驾驶仪可比驾驶员本身经济且有效地控制车辆。
附图说明
下面借助于附图详细描述本发明以及示例性实施形式。
在此，唯一的附图借助于概略视图解释根据本发明的一个有利实施形式的借助于根据本发明的方法运行的用于在菜单内导航和/或从菜单选择菜单项的设备。
具体实施方式
图中示出了一个行驶状况，如其在通过眼睛象征性表示的驾驶员1的视野中所发生的那样。在驾驶员1的视野中示出了在道路2的一个车道上行驶的车辆3，所述车辆恰好行驶经过停车场指示牌4。驾驶员1通过数据眼镜5看到在其视野中检测到的行驶状况。根据本实施形式，数据眼镜5包括摄像机6，所述摄像机检测行驶状况的图像，所述图像相应于驾驶员1的眼睛的视野的图像。此外，数据眼镜5包括惯性传感器7，所述惯性传感器记录数据眼镜5的运动并且将相应于所述运动的信号通过通信单元8传输给计算单元9。除此之外，由通信单元8也传输由摄像机6检测的图像数据。在本发明的一个优选实施形式中，计算单元9也集成在数据眼镜5中——未示出。由此可制造特别紧凑的设备。计算单元9被布置用于生成菜单项10的汇编。在此，菜单项10根据驾驶员1的视向和/或由数据眼镜5的摄像机6所检测并且传输给计算单元的图像数据来生成。驾驶员1的视向可通过惯性传感器7来求得。在本发明的另一个优选实施形式中，作为替换方案或附加地可借助于由摄像机6提供的摄像机数据来求得驾驶员1的视向和/或头部姿态和/或头部运动。在此，例如借助于模式识别、例如A柱、外后视镜、内后视镜等的模式识别通过计算单元9确定驾驶员的视向，所述视向相应于驾驶员1所佩戴的数据眼镜5的取向。在另一个实施形式中，视向和/或头部姿态和/或头部运动可通过分析处理摄像机图像或者说摄像机数据的光流来求得。除此以外，在本发明的另一个实施形式中，计算单元9也可通过与预确定的图像数据相比较来辨识由数据眼镜5的摄像机6检测的图像对象、例如车辆3、停车指示牌4或行驶路面2的车道。
根据驾驶员1的视向或者说头部姿态这样汇编菜单的菜单项10，使得菜单项10仅相应于驾驶员1的重要的选项，所述选项对于驾驶员1在朝预确定方向看时或在当前头部位置下最可能。例如当驾驶员1向左看或摆动头部时，会生成这样的菜单项10，所述菜单项相应于驾驶动作：向左转弯、超车、打开车门以便下车等。在本发明的一个优选实施形式中，除了驾驶员1的视向或者说头部位置之外，也分析处理另外的描述行驶状况的图像数据，例如在前场中检测到的图像数据。因此例如可根据对表明停车场、酒店、医院或城市中心等的交通提示进行考察的频率来生成导航目标，所述导航目标接着提供给驾驶员1用于选择。
在图中所示的数据眼镜5中，向驾驶员1将菜单项10在作为数据眼镜5的显示器11的NTED中投射到视野中。由此得到的优点是同时渐显已与驾驶员1的视向或头部姿态匹配地由计算单元9生成的菜单项10。由此，行驶安全性自动提高，因为驾驶员在搜索菜单项10时不从驾驶业务分心。根据数据眼镜5的在图中说明的实施形式，菜单项的选择可借助于头部姿势来进行，其中，惯性传感器7将代表头部运动的信号通过通信单元8传送给计算单元9，计算单元9将所述信号通过在驾驶员1的视野中在数据眼镜5上渐显的具有其菜单项10的菜单解译/转化成导航步骤。据此，连续或离散形式的确定的头部运动以及其各种变型，被理解为关于确定的菜单项10的导航步骤或者说被理解为用于激活所涉及的所选择的菜单项10的选择。所述“头部姿势”简化例如代表驾驶动作的菜单项的选择并且同时提高驾驶员1在操作其车辆时的安全性和注意力。据此，驾驶员1不需要再强制性地将其视线从驾驶业务移开，以便用一只或两只手执行确定的驾驶动作或引入所述驾驶动作。除了控制车辆，也可借助于头部姿势控制车辆本身的部件，例如多媒体装置或车载电脑。
在本发明的另一个有利实施形式中，计算单元9根据驾驶员1的视向和/或摄像机6检测到的图像仅生成一个向驾驶员1在显示器11、即NTED上渐显的菜单项。这种菜单项可通过非常简单的“头部姿势”或者说头部运动来选择或拒绝。这种菜单项10首先可在紧急的危险状况时或在向驾驶员提示高重要性时使用。
视根据本发明的设备的实施形式而定，计算单元9也可与所述设备的另外的元件无关地设置在车辆中。所述计算单元例如可构造成车载电脑的或车辆的控制装置12的一部分。
根据本发明的一个优选实施形式，摄像机6、惯性传感器7和通信单元8以及显示器11集成在一个唯一的设备、例如数据眼镜5中，其中，数据眼镜5可在装备有计算单元9的任意一个车辆中使用。在此仅需要合适的软件，所述软件可以是标准化的，但或者可以与专门的车辆类型相协调。
通过根据本发明的设备，行驶安全性可明显改善，同时车辆中的舒适性可提高。

Claims (12)

1.一种用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述用于控制车辆的菜单选择菜单项(10)的方法，其中，所述菜单的菜单项(10)的汇编根据驾驶员(1)的至少一个视向和/或头部姿态来进行，其特征在于：所述菜单项(10)的汇编根据瞄准在驾驶员(1)的视野中出现的预确定的图像对象(2，3，4)的频率来进行，其中，检测与驾驶员(1)的眼睛的视野的图像相应的图像对象并通过与预确定的图像数据相比较来辨识所检测的图像对象。
2.根据权利要求1的方法，其特征在于：所述菜单项(10)在驾驶员(1)的近眼显示器或所述车辆的平视显示器或屏幕显示器上输出。
3.根据权利要求1或2的方法，其特征在于：根据驾驶员(1)的所述视野的方向和/或所述头部姿态仅输出一个菜单项(10)。
4.一种用于执行用于借助于驾驶员(1)的至少一个头部运动对包括至少一个菜单项(10)的用于控制车辆的菜单进行导航和/或从所述用于控制车辆的菜单选择菜单项(10)的方法的设备，包括：
-摄像机(6)，所述摄像机被构造用于为了检测摄像机数据而佩戴在驾驶员(1)的头部上，其中，所述摄像机数据相应于驾驶员(1)的视野；
-计算单元(9)，所述计算单元被布置用于借助于所述摄像机(6)的摄像机数据求得至少一个预确定的与驾驶员(1)的视野的方向相应的视向和/或求得头部姿态，以及生成所述菜单项(10)的汇编，所述汇编根据驾驶员(1)的所述至少一个预确定的视向和/或所述头部姿态来进行；
-显示器(11)，用于输出所述菜单项(10)；
-其特征在于：所述计算单元(9)被布置用于：根据瞄准在驾驶员(1)的视野中出现的预确定的图像对象(2，3，4)的频率来生成所述菜单项(10)的汇编，检测与驾驶员(1)的眼睛的视野的图像相应的图像对象并通过与预确定的图像数据相比较来辨识所检测的图像对象。
5.根据权利要求4的设备，其特征在于：所述显示器(11)为了输出所述菜单项(10)而具有驾驶员(1)的近眼显示器或车辆的平视显示器或屏幕显示器。
6.根据权利要求5的设备，其特征在于：驾驶员(1)的近眼显示器集成在数据眼镜(5)中。
7.根据权利要求4至6任意之一的设备，其特征在于：所述设备具有双向的通信单元(8)，所述通信单元被布置用于将所述摄像机(6)和/或计算单元(9)的数据与所述车辆的控制单元(12)进行交换。
8.根据权利要求4至6任意之一的设备，其特征在于：所述设备具有惯性传感器(7)，所述惯性传感器被构造用于为了检测驾驶员(1)的头部姿态和/或头部运动而佩戴在驾驶员(1)的头部上。
9.根据权利要求8的设备，其特征在于：所述设备具有双向的通信单元(8)，所述通信单元被布置用于将所述惯性传感器(7)的数据与所述车辆的控制单元(12)进行交换。
10.根据权利要求8的设备，其特征在于：所述计算单元(9)、所述惯性传感器(7)、所述摄像机(6)和所述显示器集成在可佩戴在驾驶员(1)的头部上的单元中。
11.根据权利要求4至6任意之一的设备，其特征在于：所述菜单项(10)包括用于自主驾驶所述车辆的驾驶动作和/或对驾驶员(1)的指示。
12.一种车辆，具有自动驾驶仪和根据权利要求4至11任意之一的设备，其中，所述车辆被布置用于借助于所述自动驾驶仪自动地执行由驾驶员(1)借助于菜单项(10)选择的驾驶动作。
CN201480069946.1A 2013-12-21 2014-12-16 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法 Active CN105829994B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013021834.9A DE102013021834B4 (de) 2013-12-21 2013-12-21 Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
DE102013021834.9 2013-12-21
PCT/EP2014/003380 WO2015090569A1 (de) 2013-12-21 2014-12-16 Vorrichtung und verfahren zum navigieren innerhalb eines menüs zur fahrzeugsteuerung sowie auswählen eines menüeintrags aus dem menü

Publications (2)

Publication Number Publication Date
CN105829994A CN105829994A (zh) 2016-08-03
CN105829994B true CN105829994B (zh) 2018-06-19

Family

ID=52282668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069946.1A Active CN105829994B (zh) 2013-12-21 2014-12-16 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法

Country Status (5)

Country Link
US (1) US9645640B2 (zh)
EP (1) EP3084564B1 (zh)
CN (1) CN105829994B (zh)
DE (1) DE102013021834B4 (zh)
WO (1) WO2015090569A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013021834B4 (de) 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü
US9821920B2 (en) * 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
DE102016206304A1 (de) * 2016-04-14 2017-10-19 Continental Teves Ag & Co. Ohg Fahrzeug-zu-X-Kommunikationsmodul
US10372132B2 (en) * 2016-12-12 2019-08-06 Apple Inc. Guidance of autonomous vehicles in destination vicinities using intent signals
CN107009961A (zh) * 2017-03-03 2017-08-04 北京汽车股份有限公司 汽车和汽车透明座舱***
DE102017208881A1 (de) * 2017-05-05 2018-11-08 Audi Ag Mobile Sensorvorrichtung für ein in einem Fahrzeug einsetzbares am Kopf tragbares visuelles Ausgabegerät und Verfahren zum Betreiben eines Anzeigesystems
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
JP7043845B2 (ja) * 2018-01-17 2022-03-30 トヨタ自動車株式会社 車両用表示連携制御装置
DE102018209191A1 (de) * 2018-06-08 2019-12-12 Volkswagen Aktiengesellschaft Verfahren und System zum Betreiben einer automatischen Fahrfunktion in einem Fahrzeug
DE102018211261A1 (de) 2018-07-09 2020-01-09 Audi Ag Verfahren zum Betreiben einer von einem Fahrzeuginsassen eines Kraftfahrzeugs am Kopf getragenen Anzeigeeinrichtung und Anzeigesystem für ein Kraftfahrzeug
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US10785621B1 (en) 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
CN113391734A (zh) * 2020-03-12 2021-09-14 华为技术有限公司 图像处理方法和图像显示设备、存储介质和电子设备
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
DE102020122977A1 (de) 2020-09-02 2022-03-03 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005342A1 (de) * 2013-03-26 2013-09-19 Daimler Ag Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US20020021407A1 (en) 2000-08-01 2002-02-21 Scott Elliott Eye-wear video game
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
DE10256589B4 (de) * 2002-12-04 2008-02-28 Daimler Ag Bremsscheibe für ein Kraftfahrzeug
WO2007135855A1 (ja) * 2006-05-18 2007-11-29 Pioneer Corporation 情報案内装置、情報案内方法、情報案内プログラムおよびコンピュータに読み取り可能な記録媒体
US20110063425A1 (en) * 2009-09-15 2011-03-17 Delphi Technologies, Inc. Vehicle Operator Control Input Assistance
US9292084B2 (en) 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
CN102596627B (zh) * 2009-11-04 2015-02-11 本田技研工业株式会社 车辆用显示装置
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
DE102010041344B4 (de) 2010-09-24 2020-10-29 tooz technologies GmbH Anzeigevorrichtung mit augengesteuerter Eingabeschnittstelle
US8670183B2 (en) * 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
US9021395B2 (en) * 2011-10-19 2015-04-28 Panasonic Intellectual Property Corporation Of America Display control device, integrated circuit, and display control method
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US20130346085A1 (en) * 2012-06-23 2013-12-26 Zoltan Stekkelpak Mouth click sound based computer-human interaction method, system and apparatus
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
JP6548203B2 (ja) * 2013-03-18 2019-07-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、パノラマ動画表示方法
DE102013021834B4 (de) 2013-12-21 2021-05-27 Audi Ag Vorrichtung und Verfahren zum Navigieren innerhalb eines Menüs zur Fahrzeugsteuerung sowie Auswählen eines Menüeintrags aus dem Menü

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013005342A1 (de) * 2013-03-26 2013-09-19 Daimler Ag Kraftfahrzeug, -bedienvorrichtung, und Bedienverfahren hierfür

Also Published As

Publication number Publication date
US20160313792A1 (en) 2016-10-27
EP3084564A1 (de) 2016-10-26
US9645640B2 (en) 2017-05-09
WO2015090569A1 (de) 2015-06-25
DE102013021834B4 (de) 2021-05-27
EP3084564B1 (de) 2018-07-18
DE102013021834A1 (de) 2015-06-25
CN105829994A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN105829994B (zh) 用于在用于控制车辆的菜单内进行导航以及从菜单选择菜单项的设备和方法
CN105593104B (zh) 用于当自动驾驶仪被激活时使用机动车辆中的通信终端的方法和机动车辆
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
CN103732480B (zh) 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
KR102487922B1 (ko) 차량에서 탑승자 인식의 유지
CN103019524B (zh) 车辆操作输入装置和用于车辆操作输入装置的控制方法
EP3095635A2 (en) Display apparatus and method for controlling the same
CN108099790B (zh) 基于增强现实平视显示与多屏语音交互的驾驶辅助***
CN109426255A (zh) 基于无人机的无人驾驶车辆控制方法、装置及存储介质
US20150352953A1 (en) Vehicle control system with mobile device interface
US20180232195A1 (en) Electronic device and method for sharing images
CN110304052A (zh) 计算附加信息的***的方法、执行方法的设备及机动车
EP3353763A1 (en) Augmented reality display system
CN107278187A (zh) 显示控制设备和方法
US20170269771A1 (en) Vehicle and method for controlling the vehicle
KR20140070861A (ko) 멀티 모달 ｈｍｉ 제어 장치 및 방법
CN103144586A (zh) 驾驶车辆时使用的眼睛离开防止***
JP2007302116A (ja) 車両搭載機器の操作装置
CN107817002A (zh) 汽车中控娱乐***与仪表间进行导航互动显示装置及方法
KR102322933B1 (ko) 정보 디스플레이 장치를 제어하기 위한 방법 및 정보 디스플레이 장치를 포함하는 장치
CN111937044A (zh) 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
EP3457254A1 (en) Method and system for displaying virtual reality information in a vehicle
CN109739428A (zh) 触控交互方法及装置、显示设备及存储介质
CN111391769B (zh) 基于方向盘的车辆交互方法、装置、车辆及机器可读介质
JP2013032986A (ja) 車載端末およびユーザインタフェース制限方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant