CN107407966B - 用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及用于模拟虚拟环境的方法 - Google Patents

用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及用于模拟虚拟环境的方法 Download PDF

Info

Publication number
CN107407966B
CN107407966B CN201680016294.4A CN201680016294A CN107407966B CN 107407966 B CN107407966 B CN 107407966B CN 201680016294 A CN201680016294 A CN 201680016294A CN 107407966 B CN107407966 B CN 107407966B
Authority
CN
China
Prior art keywords
motor vehicle
virtual
operation element
true
vehicle simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680016294.4A
Other languages
English (en)
Other versions
CN107407966A (zh
Inventor
M·屈内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN107407966A publication Critical patent/CN107407966A/zh
Application granted granted Critical
Publication of CN107407966B publication Critical patent/CN107407966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Optics & Photonics (AREA)

Abstract

本发明涉及一种机动车模拟装置(10)，用于模拟具有虚拟机动车(12a)的虚拟环境，所述机动车模拟装置具有：模拟单元(14)，用于产生虚拟环境(12)的图像；能佩戴在头上的显示装置(16a)，用于显示图像；真实操作元件(18a)，用于由使用者来操作机动车模拟装置(10)。此外，机动车模拟装置(10)被设计用于：确定以虚拟站位(16b)为出发点的透视图，由所述透视图形成虚拟环境(12)；在虚拟环境(12)的图像中显示虚拟操作元件(18b)；求得在显示装置(16a)与真实操作元件(18a)之间的相对定位(RR)；在产生图像时这样考虑所求得的相对定位(RR)，使得在虚拟环境(12)中的这样的位置上显示虚拟操作元件(18b)，该位置相对于虚拟站位(16b)具有与真实操作元件(18a)到显示装置(16a)相同的相对定位(Rv)。

Description

用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及 用于模拟虚拟环境的方法
技术领域
本发明涉及一种用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置，其中，机动车模拟装置具有模拟单元，所述模拟单元被设计用于，产生具有虚拟机动车的虚拟环境的图像。此外，机动车模拟装置包括能佩戴在头上的显示装置，所述显示装置被设计用于，显示由模拟单元产生的图像。此外，机动车模拟装置具有真实操作元件，借助于所述真实操作元件能由使用者来操作机动车模拟装置以配置虚拟机动车，其中，模拟单元还被设计用于，在产生虚拟环境的图像时确定以虚拟站位为出发点的透视图，由所述透视图形成所述虚拟环境。此外，本发明涉及一种用于借助于这种机动车模拟装置来模拟具有虚拟机动车的虚拟环境的方法。
背景技术
由现有技术已知，为了模拟虚拟环境使用能佩戴在头上的显示装置、例如VR眼镜、AR眼镜、头盔式显示器等。由此可以二维地或三维地并且由此特别逼真地显示虚拟环境。因此建立不同的虚拟世界不受限制。例如，使用者例如在商行内可以借助于这种装置以虚拟方式模拟不同的机动车样品并且还能显示机动车样品的不同配置。由此允许使用者可以评定机动车样品或确定的配置，即使机动车商行刚好没有库存所希望的样品或所希望的配置。
在此值得期望的是，使用者可以借助于真实操作元件尽可能简单地操作机动车模拟装置的操作装置，例如用于配置虚拟机动车。然而在操作与能佩戴在头上的显示装置组合的操作元件时问题在于：使用者佩戴能佩戴在头上的显示装置并且刚好向该使用者显示虚拟环境，使用者不能看到其真实环境。因此，已知的操作元件、例如鼠标、键盘、操纵杆、按键、按钮、触摸屏或触摸板对于使用者而言在近似失明的状态下难以被发现并且也难以直至完全不能操作。即为了能利用这种操作元件提供操作可能性，或者使用者因此为了进行操作必须取下能佩戴在头上的显示装置，或者显示装置应被设计用于，由显示虚拟环境转换为显示真实环境。这在两种情况下中断了虚拟环境的模拟并且此外对于使用者而言是非常麻烦且浪费时间的。虽然在此还可以另选下述操作可能性，通过该操作可能性可以规避不能看到真实环境的问题，例如通过集成在VR眼镜中的视线追踪***。但是对于通过传统的、要手动操作的操作元件来操作机动车模拟装置仍然存在上述问题。
发明内容
因此，本发明的目的是，提供一种用于模拟虚拟环境的机动车模拟装置和方法，所述机动车模拟装置和方法即使在借助于能佩戴在头上的显示装置显示虚拟环境期间也允许使用者尽可能简单地操作机动车模拟装置，特别是借助于要手动操作的操作元件。
所述目的通过根据独立权利要求所述的、用于模拟虚拟环境的机动车模拟装置和方法来实现。本发明的有利的设计方案在从属权利要求中给出。
根据本发明的机动车模拟装置的特征在于，所述机动车模拟装置被设计用于，在虚拟环境的图像中显示虚拟操作元件，其中，机动车模拟装置还具有检测装置，所述检测装置被设计用于，求得在能佩戴在头上的显示装置与真实操作元件之间的至少一个相对定位。此外，模拟单元被设计用于，在产生图像时这样考虑所求得的相对定位，使得在虚拟环境中的这样的位置上显示虚拟操作元件，该位置相对于虚拟站位具有相对定位，其中，在虚拟操作元件与虚拟站位之间的相对定位相应于在能佩戴在头上的显示装置与真实操作元件之间的相对定位。
通过这种设计方案能实现，使用者在其没有在头上佩戴显示装置看到真实操作元件时所处的相同位置上看到在虚拟环境中显示的虚拟操作元件。因此在虚拟环境中在某种程度上可以说位置如实地再现或者说显示真实操作元件。如果使用者伸手去够在虚拟环境中显示的虚拟操作元件，则该使用者自动地触碰到真实操作元件。因此通过本发明，能特别简单地发现和操作真实操作元件，而为此不必取下能佩戴在头上的显示装置或者不必另外中断虚拟环境的模拟。
优选重复地、例如周期性地求得在能佩戴在头上的显示装置与真实操作元件之间的相对定位，并且也在考虑分别求得的相对定位的情况下更新虚拟环境的图像数据。因此，所显示的透视图与佩戴能佩戴在头上的显示装置的使用者的头部运动相应地进行变化，其中，在任意时刻，所显示的虚拟操作元件相对于虚拟站位都具有与真实操作元件相对于显示装置所具有的相对定位相同的相对定位。
在本发明的一种有利的设计方案中，机动车模拟装置被设计用于，如果使用者的手的至少一部分处于机动车模拟装置的预先确定的检测区域中，则求得使用者的手的所述至少一部分关于真实操作元件的定位，并且在产生图像时这样考虑所求得的定位，使得代表手的所述至少一部分的虚拟显示元件在虚拟环境中关于虚拟操作元件在相同定位中显示。
因此通过虚拟显示元件在虚拟环境中也向使用者显示其手的当前定位，特别是关于虚拟操作元件且进而也关于真实操作元件。这也附加地有助于使得操作真实操作元件变得容易。附加地，显示虚拟显示元件具有显著优点：由此也可以降低使用者的碰撞危险和随之出现的受伤危险，这是由于使用者在伸手去够真实操作元件时撞到所述真实操作元件的风险降低，因为在显示虚拟环境时向使用者不仅显示真实操作元件的位置而且还显示其手的位置。此外通过显示虚拟显示元件又省略了手-眼-协调可能性，这又使得操作变得容易。
此外，显示与使用者的手相应的显示元件的特别显著的优点在于与本发明的这样的设计方案组合，在该设计方案中，真实操作元件具有触敏的操作界面，由此，真实操作元件被设计用于，检测使用者对操作界面的触摸，其中，真实操作元件尤其设计成触摸板或触摸屏。恰恰由于将操作元件设计成触摸屏或触摸板，特别重要的是，向使用者显示其手或手的一部分、例如手指的位置，因为在操作触摸板或触摸屏时首先重要的是触摸位置。在没有显示与手或手指相应的显示元件的情况下，不能有针对性地操作触摸屏或触摸板。因此可通过显示虚拟显示元件恰恰与设计成触摸板或触摸屏的操作元件相组合地有效避免错误操作。
在本发明的另一种有利的设计方案中，机动车模拟装置这样设置，使得在虚拟环境中显示虚拟操作元件时，虚拟操作元件具有与真实操作元件的几何设计方案相应或者说与所述几何设计方案相同的几何设计方案。至少优选在将真实操作元件设计成具有触敏的操作界面的触摸板或触摸屏时，至少所述触敏的操作界面在其几何设计方案或其尺寸方面与在虚拟环境中显示的虚拟操作界面协调一致。这也避免错误操作并且在操作时防止触及不到真实操作元件以及与所述真实操作元件无意地相撞。
在本发明的另一种有利的设计方案中，机动车模拟装置这样设置，使得通过在操作界面的预先确定的区域中操纵真实操作元件而触发至少直至操纵的时刻配置给所述预先确定的区域的功能。另外，机动车模拟装置被设计用于，在虚拟环境中在虚拟操作元件的虚拟区域中显示虚拟操作元件上的配置给功能的菜单项，所述虚拟区域在其关于虚拟操作元件的布置方面相应于真实操作元件的预先确定的区域关于真实操作元件的布置。以这种方式可以向使用者显示虚拟菜单项，确切地说也位置如实地，从而例如在虚拟环境中选出菜单项使得使用者自动地伸到真实操作元件的操作界面的正确区域中并且触发配置给该区域的功能。因此，虚拟显示的操作元件就好像是虚拟触摸屏。在此，真实操作元件不一定也必须设计成触摸屏，而是也可以作为简单的触摸板来提供，这允许显著有利地设计真实操作元件。
然而优选真实操作元件设计成触摸屏，因为这样不仅在头上佩戴显示装置而且在头上不佩戴显示装置的情况下都可操作机动车模拟装置。因此，刚好在头上佩戴显示装置的使用者的操作处理对于不牵涉模拟的局外人员来说也是能理解的。因此，使用者可以更简单地通过局外人员、例如通过车辆销售员来辅助操作，例如在通过菜单结构进行引导时。
如已经所述的那样，在虚拟环境中显示代表使用者的手的至少一部分的虚拟显示元件是特别有利的。上述情况现在能以不同的方式尤其在将真实操作元件设计成触摸板或触摸屏时实现。在本发明的一种设计方案中，真实操作元件被设计用于，在触摸操作界面时作为使用者的手的所述至少一部分的定位检测触摸位置，其中，机动车模拟装置被设计用于，作为虚拟触摸屏显示虚拟操作元件，并且通过虚拟显示元件在虚拟触摸屏的相应的部位上显示所求得的定位。在此例如可以提出，仅当使用者触摸真实操作元件时才在虚拟环境中显示虚拟显示元件。这是特别简单且成本低廉的设计方案，因为为了检测在操作界面上的触摸位置可以使用在触摸板或触摸屏中以传统的方式使用的传感装置。如果仅当触摸屏或触摸板的触摸已经发生了时才在虚拟环境中向使用者显示触摸位置，则有利的是，这样设计真实操作元件、特别是触摸板或触摸屏，使得在单纯地触摸操作界面时并未触发功能，而是只有从使用者利用其手的至少一部分施加到操作界面上的预先确定的操作压力或者说预先确定的操作力起才触发功能。因此能以有利的方式实现，通过在虚拟环境中显示虚拟显示元件向使用者显示在真实操作元件上的触摸位置。于是，使用者可以使其手指朝所希望的菜单项运动，而在此不触发功能，并且只有在到达所希望的菜单项时，使用者才能通过施加确定的操作力而激活所配置的功能。
此外，本发明的一种有利的设计方案也在于，机动车模拟装置的检测区域是关于真实操作元件具有预先确定的尺寸的检测区域，其中，真实操作元件具有第二检测装置，所述第二检测装置被设计用于，特别是三维地检测使用者的手的所述至少一部分关于真实操作元件的定位。相应地，第二检测装置优选被设计用于，在使用者实际触摸真实操作元件之前，检测使用者的手关于真实操作元件的位置。因此能以有利的方式实现，已经在接近真实操作元件时向使用者位置如实地显示代表其手或者说其手指的定位的虚拟显示元件。这实现有针对性的操作处理并且此外又降低了与真实操作元件无意相撞的危险。
然而使用者的手的所述至少一部分的定位的这种三维检测不仅能通过安装在真实操作元件中的相应的检测装置实现，而且也能例如通过下述检测装置实现，该检测装置不是真实操作元件的一部分，而且与其分开。例如本发明的一种有利的设计方案也在于，机动车模拟装置的检测区域是关于能佩戴在头上的显示装置具有预先确定的尺寸的检测区域，其中，能佩戴在头上的显示装置具有第二检测装置，所述第二检测装置被设计用于，特别是三维地求得使用者的手的所述至少一部分关于真实操作元件和/或关于能佩戴在头上的显示装置的定位。以这种方式，也能向使用者通过虚拟显示元件关于虚拟操作元件显示其手的位置，而且为此不需要触摸真实操作元件。为此不需要布置在能佩戴在头上的显示装置上的第二检测装置必然地被设计用于，也检测真实操作元件的位置或者直接检测使用者的手关于真实操作元件的相对定位。因为机动车模拟装置已经具有第一检测装置，借助于所述第一检测装置求得在能佩戴在头上的显示装置与真实操作元件之间的相对定位，所以足够的是，能佩戴在头上的显示装置的第二检测装置也仅检测使用者的手关于能佩戴在头上的显示装置的定位。在虚拟环境中一对一转化真实操作元件相对于能佩戴在头上的显示装置的定位以及使用者的所检测的手关于能佩戴在头上的显示装置的定位时，也自动地在虚拟环境中正确地一对一转化使用者的手与真实操作元件之间的相对定位。该设计方案的另一个优点在于，为了检测使用者的手的所述至少一部分的定位，不需要使用者位于真实操作元件附近。此外，这种集成在能佩戴在头上的显示装置中的第二检测装置例如也可以用于进行手势检测和手势控制。因此在没有附加投入的情况下还能在操作机动车模拟装置时提供更多功能。
另一方面，与此相应，与能佩戴在头上的显示装置分开的、例如布置在真实操作元件上的第二检测装置具有下述优点，由此可降低能佩戴在头上的显示装置的重量，这对于佩戴舒适性来说是有利的。
在本发明的另一有利的设计方案中，第二检测装置被设计用于，检测使用者的手的几何手结构，其中，机动车模拟装置被设计用于，作为显示元件在虚拟环境中显示具有与通过第二检测装置求得的几何手结构相应的几何手结构的虚拟手。由此能以有利的方式实现，在虚拟环境中向使用者也显示其手和手指的取向，这能实现手在真正操作处理之前正确取向并且因此附加地使操作变得容易。
在本发明的另一有利的设计方案中，真实操作元件布置在真实保持装置上，所述真实保持装置尤其设计成台柱和/或支架和/或基座，其中，保持装置具有预先确定的几何构型，其中，机动车模拟装置被设计用于，在虚拟环境中显示虚拟操作元件被相应地布置在虚拟保持装置上，所述虚拟保持装置具有与真实保持装置的预先确定的几何构型相应的虚拟几何构型。如果真实操作元件布置到保持装置上，则又存在下述危险，使用者在操作真实操作元件时无意地与真实保持装置相撞和受伤。本发明的这种设计方案又降低了受伤风险和碰撞危险，这是因为现在也将真实保持装置作为虚拟保持装置显示给使用者，其中，尤其是虚拟显示的保持装置将真实保持装置关于真实操作元件和其相对于使用者的布置以及其几何尺寸本身以一对一映像的形式予以显示。
此外，本发明涉及一种用于借助于机动车模拟装置来模拟具有虚拟机动车的虚拟环境的方法。在此，机动车模拟装置具有：模拟单元，所述模拟单元产生虚拟环境的图像；能佩戴在头上的显示装置，所述显示装置显示由模拟单元产生的图像；以及真实操作元件，借助于所述真实操作元件能由使用者来操作机动车模拟装置以配置虚拟机动车。此外，模拟单元在产生虚拟环境的图像时确定以虚拟站位为出发点的透视图，由所述透视图形成虚拟环境。此外，通过机动车模拟装置在虚拟环境的图像中显示虚拟操作元件，其中，机动车模拟装置还具有检测装置，所述检测装置求得在能佩戴在头上的显示装置与真实操作元件之间的至少一个相对定位，其中，模拟单元在产生图像时这样考虑所求得的相对定位，使得在虚拟环境中的这样的位置上显示虚拟操作元件，该位置相对于虚拟站位具有相对定位，所述相对定位相应于在能佩戴在头上的显示装置与真实操作元件之间的相对定位。
结合根据本发明的机动车模拟装置和其设计方案阐述的优点同样适用于根据本发明的方法。此外，结合根据本发明的机动车模拟装置和其设计方案阐述的特征和特征组合能通过其它方法步骤来进一步构造根据本发明的方法。
附图说明
本发明的其它优点、特征和细节由下面对优选实施例的说明以及借助于附图得出。在此示出：
图1a根据本发明的实施例的用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置的示意图；
图1b根据本发明的实施例的通过根据图1a的机动车模拟装置产生的虚拟环境的示意图；
图2a根据本发明的实施例的机动车模拟装置的真实操作元件的示意图；和
图2b根据本发明的实施例的在虚拟环境中与根据图2a的真实操作元件相应地显示的虚拟操作元件的示意图。
具体实施方式
图1a示出了用于模拟具有虚拟机动车12a的虚拟环境12(参见图1b)的机动车模拟装置10的示意图。为此，机动车模拟装置10具有：模拟单元14，所述模拟单元被设计用于，产生虚拟环境12的图像；以及能佩戴在头上的显示装置16a，所述显示装置被设计用于，显示由模拟单元14产生的图像。能佩戴在头上的显示装置16a在此示例性地设计成VR眼镜16a，但也可以是AR眼镜、VR头盔等。
此外，机动车模拟装置10具有设计成触摸屏18a的真实操作元件，该真实操作元件替选地可以设计成触摸板。借助于真实触摸屏18a要为使用者20提供可能性：操作机动车模拟装置10且特别是在此根据其希望配置虚拟机动车12a。为了允许使用者20利用佩戴在头上的显示装置16a来操作真实触摸屏18a，真实触摸屏18a在虚拟环境12中关于使用者20位置如实地(ortstreu)作为虚拟触摸屏18b显示，如图1b示出的那样。为了能实现上述情况，模拟单元14在产生虚拟环境12的图像时首先确定以虚拟站位16b为出发点的透视图，由该透视图形成虚拟环境12。此外，机动车模拟装置10具有检测装置24，所述检测装置被设计用于，求得在VR眼镜16a与触摸屏18a之间的相对定位RR。在产生图像时这样考虑所求得的相对定位RR，使得在虚拟环境12中的这样的位置上显示虚拟触摸屏18b，该位置相对于虚拟站位16b具有相同的相对定位Rv。以这种方式，使用者20与其在没有戴上VR眼镜16a看到真实触摸屏18a时相比在虚拟环境12中在相同的距离上且在相同的视向上或者说在相同的视角下看到虚拟触摸屏18b。因此，如果使用者20戴上VR眼镜16a伸手去够在虚拟环境12中显示的虚拟触摸屏18b，则该使用者自动地触碰到真实触摸屏18a。用于检测在VR眼镜16a与触摸屏18a之间的相对定位RR的检测装置24例如可以设计成摄像机或具有多个摄像机的摄像机***并且尤其能够用于追踪VR眼镜16a，即持续重复地求得和跟踪VR眼镜16a的当前定位。因为真实触摸屏18a是固定安装的或者说不能运动的部件，其定位由此是静态且固定的，所以可以在***中例如关于预先确定的坐标系预先给定该定位，检测装置24求得VR眼镜16在该坐标系中的定位，并且附加地由真实触摸屏18a的预先给定的定位求得在VR眼镜16a与真实触摸屏18a之间的相对定位。
此外，现在为了允许使用者尽可能精确地且面向目标地进行操作，并且尤其也为了避免与真实触摸屏无意地碰撞以及可能随之出现受伤，附加地还通过机动车模拟装置10检测手20a的定位或其至少一部分并且以相应的方式在虚拟环境12中作为虚拟手20b显示。在此特别有利的是，不仅手20a本身的定位、而且手结构和取向、即各个手指关于手掌的定位被检测出，并且以相应的方式在虚拟环境12中显示。因为上述情况具有下述优点，在使用者20触摸真实触摸屏18a之前，使用者为了操作真实触摸屏18a已经可以使其手20a在虚拟环境12中正确取向。为了能实现上述情况，可以设置另一个检测装置(未示出)，例如也是一个或多个摄像机，特别是与一个或多个红外光源、TOF摄像机等组合的红外摄像机。因此该检测装置优选被设计用于，三维地检测使用者20的手20a的定位，即所有三个空间分量。该检测装置例如可以布置在真实触摸屏18a上或者至少布置在附近，由此，能以特别简单的方式关于真实触摸屏18a检测使用者20的手。
替选地或附加地，该检测装置也可以布置在VR眼镜16a本身上，由此能简单地检测使用者20的手20a相对于VR眼镜16a的定位。二者能实现在虚拟环境12中位置如实地显示虚拟手20b，从而虚拟手20b关于虚拟站位16b以及关于虚拟触摸屏18b的定位与真实手20a关于VR眼镜16a以及关于真实触摸屏18a的定位相同。
此外优选，真实触摸屏18a布置在台柱19a上。现在为了也避免与该台柱19a相撞、走反等，优选也在虚拟环境中显示具有选优相同的定位和尺寸的虚拟台柱19b。因此，总的来说可以提供对使用者特别友好的且尤其是也特别可靠的机动车模拟装置10。
图2a示出了真实触摸屏18a的示意图，且图2b示出了在虚拟环境12中的相应的虚拟触摸屏18b的示意图。真实触摸屏18a具有操作面22，所述操作面构造成触敏的并且在所述操作面上可以显示操作菜单。该操作菜单例如可以具有不同的预先确定的区域24a，所述区域配置有各自的功能。换句话说，如果使用者20选出所显示的区域24a之一，则配置给这个区域24a的功能被触发。功能在此例如可以是更换虚拟显示的机动车12a或其配置，例如选择确定的颜色、轮辋等。
现在为了也能利用戴上的VR眼镜16来操作所述真实触摸屏18a，在虚拟环境12中向使用者将所述触摸屏相同地作为虚拟触摸屏18b予以显示。随之出现的是，在虚拟触摸屏18b上也显示虚拟菜单项24，所述虚拟菜单项在其布置方面相应于真实触摸屏18a的真实菜单项24a。以这种方式，使用者20简单地且有针对性地也可利用戴上的VR眼镜16a选出所希望的虚拟菜单项24b以及由此选出相应的真实菜单项24a。
此外，如所述那样，也可在虚拟环境12中向使用者位置如实地显示虚拟手20b，以便使操作简化并且降低受伤风险。在特别简单的实施形式中也可以提出，在虚拟环境12中仅显示一显示元件21b，该显示元件相应于使用者20的手20a或手20a的仅一部分、例如手指21a。真实触摸屏18a例如可以如此构造，使得在触摸操作界面22时检测触摸位置，然而不直接地、而是只有在超过预先确定的操作力时才触发功能。因此，一旦通过真实触摸屏18a检测出触摸位置，就可以在虚拟环境12中在虚拟触摸屏18b上通过虚拟显示元件21b、例如点或圆或符号在相同部位上向使用者显示触摸位置。因此使用者20可以以小的操作力触摸真实触摸屏18a，并且借助于就此显示的虚拟显示元件21b使其手指21a运动到所希望的菜单项上，并且通过提高操作力来触发所配置的功能。
因此总的来说提供了一种机动车模拟装置，该机动车模拟装置允许使用者也利用戴上的VR眼镜简单地且有针对性地操作触摸屏，而在此不必摘下VR眼镜或中断模拟，并且还同时降低与真实部件的碰撞危险以及由此引起的受伤风险。

Claims (13)

1.一种机动车模拟装置(10)，用于模拟具有虚拟机动车(12a)的虚拟环境，所述机动车模拟装置(10)具有：
-模拟单元(14)，所述模拟单元被设计用于，产生具有虚拟机动车(12a)的虚拟环境(12)的图像，
-能佩戴在头上的显示装置(16a)，所述显示装置被设计用于，显示由所述模拟单元(14)产生的图像，
-真实操作元件(18a)，
-其中，所述模拟单元(14)还被设计用于，在产生所述虚拟环境(12)的图像时确定以虚拟站位(16b)为出发点的透视图，由所述透视图形成所述虚拟环境(12)，
-其中，所述机动车模拟装置(10)被设计用于，在所述虚拟环境(12)的图像中显示虚拟操作元件(18b)，
-其中，所述机动车模拟装置(10)具有检测装置(24)，和
-其中，在所述虚拟环境(12)中的这样的位置上显示所述虚拟操作元件(18b)，该位置相对于所述虚拟站位(16b)具有相对定位(Rv)，其中，在所述虚拟操作元件(18b)与所述虚拟站位(16b)之间的相对定位(Rv)相应于在所述能佩戴在头上的显示装置(16a)与所述真实操作元件(18a)之间的相对定位(RR)，
其特征在于，
-所述检测装置被设计用于，求得在所述能佩戴在头上的显示装置(16a)与所述真实操作元件(18a)之间的至少一个相对定位(RR)，所述模拟单元(14)被设计用于，在产生图像时这样考虑所求得的相对定位(RR)，使得在所述虚拟环境(12)中的所述位置上显示所述虚拟操作元件(18b)；
-其中，所述真实操作元件(18a)被设计用于，借助于所述真实操作元件(18a)能由使用者(20)来操作所述机动车模拟装置(10)以配置所述虚拟机动车(12a)，
-其中，所述真实操作元件(18a)具有触敏的操作界面(22)，由此，所述真实操作元件(18a)被设计用于，检测使用者(20)对所述操作界面(22)的触摸，
-其中，所述真实操作元件(18a)被设计用于，在触摸所述操作界面(22)时作为使用者(20)的手(20a)的至少一部分(21a)的定位检测触摸位置，和
-其中，所述机动车模拟装置(10)被设计用于，作为虚拟触摸屏(18b)显示所述虚拟操作元件(18b)，并且通过虚拟显示元件(20b；21b)在所述虚拟触摸屏(18b)的相应的部位上显示所求得的定位。
2.根据权利要求1所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)被设计用于，如果使用者(20)的手的至少一部分(21a)处于所述机动车模拟装置(10)的预先确定的检测区域中，则求得使用者(20)的手的所述至少一部分(21a)关于所述真实操作元件(18a)的定位，并且在产生图像时这样考虑所求得的定位，使得代表手的所述至少一部分(21a)的虚拟显示元件(20b；21b)在所述虚拟环境(12)中关于所述虚拟操作元件(18b)在相同定位中显示。
3.根据权利要求1或2所述的机动车模拟装置(10)，其特征在于，所述真实操作元件(18a)设计成触摸板或触摸屏。
4.根据权利要求1或2所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)这样设置，使得在所述虚拟环境(12)中显示所述虚拟操作元件(18b)时，所述虚拟操作元件(18b)具有与所述真实操作元件(18a)的几何设计方案相应的几何设计方案。
5.根据权利要求3所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)这样设置，使得通过在所述操作界面(22)的预先确定的区域(24a)中操纵所述真实操作元件(18a)而触发至少直至操纵的时刻配置给所述预先确定的区域(24a)的功能，其中，所述机动车模拟装置(10)还被设计用于，在所述虚拟环境(12)中在所述虚拟操作元件(18b)的虚拟区域(24b)中显示所述虚拟操作元件(18b)上的配置给所述功能的菜单项，所述虚拟区域在其关于所述虚拟操作元件(18b)的布置方面相应于所述真实操作元件(18a)的预先确定的区域(24a)关于所述真实操作元件(18a)的布置。
6.根据权利要求2所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)的检测区域是关于所述真实操作元件(18a)具有预先确定的尺寸的检测区域，其中，所述真实操作元件(18a)具有第二检测装置，所述第二检测装置被设计用于，求得使用者(20)的手(20a)的所述至少一部分(21a)关于所述真实操作元件(18a)的定位。
7.根据权利要求2所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)的检测区域是关于所述真实操作元件(18a)具有预先确定的尺寸的检测区域，其中，所述真实操作元件(18a)具有第二检测装置，所述第二检测装置被设计用于，三维地求得使用者(20)的手(20a)的所述至少一部分(21a)关于所述真实操作元件(18a)的定位。
8.根据权利要求2所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)的检测区域是关于所述能佩戴在头上的显示装置(16a)具有预先确定的尺寸的检测区域，其中，所述能佩戴在头上的显示装置(16a)具有第二检测装置，所述第二检测装置被设计用于，求得使用者(20)的手(20a)的所述至少一部分(21a)关于所述真实操作元件(18a)和/或关于所述能佩戴在头上的显示装置(16a)的定位。
9.根据权利要求2所述的机动车模拟装置(10)，其特征在于，所述机动车模拟装置(10)的检测区域是关于所述能佩戴在头上的显示装置(16a)具有预先确定的尺寸的检测区域，其中，所述能佩戴在头上的显示装置(16a)具有第二检测装置，所述第二检测装置被设计用于，三维地求得使用者(20)的手(20a)的所述至少一部分(21a)关于所述真实操作元件(18a)和/或关于所述能佩戴在头上的显示装置(16a)的定位。
10.根据权利要求6所述的机动车模拟装置(10)，其特征在于，所述第二检测装置被设计用于，检测使用者(20)的手(20a)的几何手结构，其中，所述机动车模拟装置(10)被设计用于，作为显示元件(20b；21b)在所述虚拟环境(12)中显示具有与通过所述第二检测装置求得的几何手结构相应的几何手结构的虚拟手(20b)。
11.根据权利要求1或2所述的机动车模拟装置(10)，其特征在于，所述真实操作元件(18a)布置在真实保持装置(19a)上，所述保持装置(19a)具有预先确定的几何构型，其中，所述机动车模拟装置(10)被设计用于，在所述虚拟环境(12)中显示所述虚拟操作元件(18b)被相应地布置在虚拟保持装置(19b)上，所述虚拟保持装置具有与所述真实保持装置(19a)的预先确定的几何构型相应的虚拟几何构型。
12.根据权利要求11所述的机动车模拟装置(10)，其特征在于，所述真实保持装置设计成台柱或支架或基座。
13.一种用于借助于机动车模拟装置(10)来模拟具有虚拟机动车的虚拟环境(12)的方法，所述机动车模拟装置包括：
-模拟单元(14)，所述模拟单元产生虚拟环境(12)的图像；
-能佩戴在头上的显示装置(16a)，所述显示装置显示由所述模拟单元(14)产生的图像；和
-真实操作元件(18a)，借助于所述真实操作元件能由使用者(20)来操作所述机动车模拟装置(10)以配置所述虚拟机动车(12a)；
-其中，所述模拟单元(14)在产生所述虚拟环境(12)的图像时确定以虚拟站位(16b)为出发点的透视图，由所述透视图形成所述虚拟环境(12)；
-其中，所述机动车模拟装置(10)在所述虚拟环境(12)的图像中显示虚拟操作元件(18b)，
-其中，所述机动车模拟装置(10)具有检测装置(24)，
-其中，在所述虚拟环境(12)中的这样的位置上显示所述虚拟操作元件(18b)，该位置相对于所述虚拟站位(16b)具有相对定位(Rv)，所述相对定位相应于在所述能佩戴在头上的显示装置(16a)与所述真实操作元件(18a)之间的相对定位(RR)；
其特征在于，
-所述检测装置(24)求得在所述能佩戴在头上的显示装置(16a)与所述真实操作元件(18a)之间的至少一个相对定位(RR)，并且其中，所述模拟单元(14)在产生图像时这样考虑所求得的相对定位(RR)，使得在所述虚拟环境(12)中的所述位置上显示所述虚拟操作元件(18b)，
-其中，所述真实操作元件(18a)被布置成，借助于所述真实操作元件(18a)能由使用者(20)来操作所述机动车模拟装置(10)以配置所述虚拟机动车(12a)，
-其中，所述真实操作元件(18a)具有触敏的操作界面(22)，由此，所述真实操作元件(18a)检测使用者(20)对所述操作界面(22)的触摸，
-其中，所述真实操作元件(18a)在触摸所述操作界面(22)时作为使用者(20)的手(20a)的至少一部分(21a)的定位检测触摸位置，和
-其中，所述机动车模拟装置(10)作为虚拟触摸屏(18b)显示所述虚拟操作元件(18b)，并且通过虚拟显示元件(20b；21b)在所述虚拟触摸屏(18b)的相应的部位上显示所求得的定位。
CN201680016294.4A 2015-03-26 2016-02-19 用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及用于模拟虚拟环境的方法 Active CN107407966B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015003883.4A DE102015003883B4 (de) 2015-03-26 2015-03-26 Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung
DE102015003883.4 2015-03-26
PCT/EP2016/000299 WO2016150542A1 (de) 2015-03-26 2016-02-19 Kraftfahrzeugssimulationsanordnung zur simulation einer virtuellen umgebung mit einem virtuellen kraftfahrzeug und verfahren zur simulation einer virtuellen umgebung

Publications (2)

Publication Number Publication Date
CN107407966A CN107407966A (zh) 2017-11-28
CN107407966B true CN107407966B (zh) 2019-05-03

Family

ID=55443219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680016294.4A Active CN107407966B (zh) 2015-03-26 2016-02-19 用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及用于模拟虚拟环境的方法

Country Status (5)

Country Link
US (1) US10537811B2 (zh)
EP (1) EP3274789B1 (zh)
CN (1) CN107407966B (zh)
DE (1) DE102015003883B4 (zh)
WO (1) WO2016150542A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018213556A1 (de) 2018-08-10 2020-02-13 Audi Ag Verfahren und System zum Betreiben von zumindest zwei von jeweiligen Fahrzeuginsassen am Kopf getragenen Anzeigeeinrichtungen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
WO2014113408A1 (en) * 2013-01-21 2014-07-24 Microsoft Corporation Virtual interaction with image projection
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实***及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10343967A1 (de) 2003-09-19 2005-04-28 Icido Ges Fuer Innovative Info Räumliche Benutzungsschnittstelle zur Steuerung eines Graphiksystems der virtuellen Realität mittels einer Funktionsauswahl
US20070156540A1 (en) 2006-01-05 2007-07-05 Yoram Koren Method and apparatus for re-configurable vehicle interior design and business transaction
US8386718B2 (en) * 2009-11-18 2013-02-26 Research In Motion Limited Method and apparatus for managing application data in a shared cache of a mobile electronic device
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US9130289B2 (en) * 2012-08-02 2015-09-08 Google Inc. Power connector
WO2014200779A2 (en) * 2013-06-09 2014-12-18 Sony Computer Entertainment Inc. Head mounted display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator
CN103460256A (zh) * 2011-03-29 2013-12-18 高通股份有限公司 在扩增现实***中将虚拟图像锚定到真实世界表面
CN104024984A (zh) * 2011-10-05 2014-09-03 弗兰霍菲尔运输应用研究公司 便携式设备、虚拟现实***及方法
WO2014113408A1 (en) * 2013-01-21 2014-07-24 Microsoft Corporation Virtual interaction with image projection

Also Published As

Publication number Publication date
DE102015003883A1 (de) 2016-09-29
EP3274789A1 (de) 2018-01-31
WO2016150542A1 (de) 2016-09-29
US10537811B2 (en) 2020-01-21
DE102015003883B4 (de) 2024-07-11
EP3274789B1 (de) 2019-01-09
CN107407966A (zh) 2017-11-28
US20180250599A1 (en) 2018-09-06

Similar Documents

Publication Publication Date Title
US11221730B2 (en) Input device for VR/AR applications
EP3438790B1 (en) Input device and image display system
KR101652535B1 (ko) 차량 인터페이스를 위한 제스처 기반 제어 시스템
US20150220158A1 (en) Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
JP2022535316A (ja) スライドメニューを有する人工現実システム
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
US10042438B2 (en) Systems and methods for text entry
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN108027657A (zh) 增强和/或虚拟现实环境中的场境敏感用户界面激活
JP2006072854A (ja) 入力装置
WO2012122007A2 (en) Keyboards and methods thereof
CN103246351A (zh) 一种用户交互***和方法
JP2006506737A (ja) 身体中心的な仮想対話型装置および方法
US9013396B2 (en) System and method for controlling a virtual reality environment by an actor in the virtual reality environment
JP2015507803A (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
CN104379307A (zh) 用于操作工业机器人的方法
US20150323988A1 (en) Operating apparatus for an electronic device
US20070277112A1 (en) Three-Dimensional User Interface For Controlling A Virtual Reality Graphics System By Function Selection
CN107407966B (zh) 用于模拟具有虚拟机动车的虚拟环境的机动车模拟装置以及用于模拟虚拟环境的方法
KR101708455B1 (ko) 핸드 플로트 입체 메뉴 시스템
TW201439813A (zh) 顯示設備及其控制系統和方法
JPWO2014054317A1 (ja) ユーザインタフェース装置及びユーザインタフェース方法
JP6289655B2 (ja) 画面操作装置及び画面操作方法
Arslan et al. E-Pad: Large display pointing in a continuous interaction space around a mobile device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant