CN109804429A - 机动车中的多模式对话 - Google Patents

机动车中的多模式对话 Download PDF

Info

Publication number
CN109804429A
CN109804429A CN201780062525.XA CN201780062525A CN109804429A CN 109804429 A CN109804429 A CN 109804429A CN 201780062525 A CN201780062525 A CN 201780062525A CN 109804429 A CN109804429 A CN 109804429A
Authority
CN
China
Prior art keywords
gesture
input
vehicle
dialogue
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780062525.XA
Other languages
English (en)
Other versions
CN109804429B (zh
Inventor
F·施瓦茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN109804429A publication Critical patent/CN109804429A/zh
Application granted granted Critical
Publication of CN109804429B publication Critical patent/CN109804429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所提出的是一种用于执行车辆中的、尤其是机动车中的多模式对话的方法，其中，借助所述方法在提供尽可能自然的对话方面改善在车辆和车辆用户之间的交互。为此执行下述步骤：－获取车辆用户的用于激活语音对话的输入，和－激活手势识别。

Description

机动车中的多模式对话
技术领域
本发明涉及一种用于执行车辆中的、尤其是机动车中的多模式对话的方法，一种用于车辆的、尤其是用于机动车的多模式对话机，以及一种机动车。
背景技术
在本发明的意义上，车辆尤其能够是轿车或载重汽车。然而，本发明也可应用于其它陆地交通工具、水上交通工具、轨道交通工具和空中交通工具。
现代机动车提供各种不同的和部分互补的可能性来操作车辆的功能。除了传统的操作元件之外，现代车辆通常具有语音输入，所述语音输入允许车辆用户、尤其是车辆的驾驶员通过语音进行特定的输入。例如，能够以这种方式进行电话呼叫、设定导航目的地或选择无线电台。
一些车辆不仅能够用于接收简单的语音指令，而且能够用于接收多方语音对话。因此，能够由车辆以对第一语音输入进行响应的方式输出应答或反问，然后用户又再能够用语音输入对所述反问进行应答。替选地，用户还能够利用车辆的传统的操作元件继续进行对话，即例如按下确认键以确认由车辆通过语音输出提出的结果(例如，电话簿条目或地址)。
此外已知在机动车中的手势控制，其中特定的功能能够借助于特定的手势来操作。为了避免错误识别，在机动车中的手势识别通常不是持久地全方面可用的。而是，特定的手势，尤其是简单的手势，仅在特定的事件发生后才会允许。例如，能够仅在接收到电话呼叫之后的特定时间段内允许用于接受电话呼叫的手势。
自然人的交互是多模式的，即包括多种不同的和可能互补的通信通道，其中尤其包括语言、手势、面部表情和其它。虽然现代的机动车如上文所示提供了用于与车辆通信的多个自然的通信通道，然而多模式对话仅以非常受限的形式已知。
关于此，DE 10 2012 013 503 A1描述了一种用于运行机动车的方法。在此设有组合式手势和语音控制。例如，车辆乘员能够指向其想要与之交互的对象、例如兴趣点(POI)，并且基本上同时发出语音指令：其打算基于什么、以何种形式与该对象交互。
发明内容
存在对以下目的的需求：在提供尽可能自然的对话方面改善在车辆和车辆用户之间的交互。
所述目的通过具有独立权利要求所述的特征的方法、对话机和机动车来实现。本发明的有利的改进方案是从属权利要求的主题。
在根据本发明的用于在车辆、尤其是机动车中执行多模式对话的方法中设有以下步骤：
-获取车辆用户的用于激活语音对话的输入，以及
-激活手势识别。
本发明基于以下认知：在已知的车辆中，尤其当用户开始尽可能自然的对话(即语音对话)时，尽管借助语言和姿态的方式多模式地继续进行对话对应于人类的自然交互行为，但手势识别仍是不可行的。
因此根据本发明提出，响应于对话的开始来激活车辆的手势识别。
以这种方式，用户能够与车辆进行多模式对话，所述多模式对话能够包括语音输入和手势。但是，同时避免了持久激活手势识别的已知缺点。
根据本发明提供的交互可能性还能够省去借助于传统的操作元件继续进行与车辆的对话(即例如借助于按下车辆的按钮来确认所提出的结果)的必要性。由此也在自然性方面改善了在车辆和用户之间的交互。
车辆用户的用于激活语音对话的输入例如能够是操纵在现有技术中已知的所谓的“一键通(Push-to-talk)”键(PTT键)，其例如能够设置在机动车的方向盘上。
此外，还能够提出，特定的手势、尤其是特定的复杂的手势被持久激活，因此能够持久地识别。这能够是有意义的，因为在复杂的手势的情况下错误识别的风险很低。在这种情况下，根据本发明激活的手势识别是这种(优选简单的)手势的识别，其识别不是持久激活的。在这样的实施形式中，车辆用户的用于激活语音对话的输入能够是(复杂的)手势。
此外能够提出，车辆用户的用于激活语音对话的输入是车辆用户的第一语音输入或包括车辆用户的第一语音输入。换言之，语音对话因此能够由车辆用户通过语音输入发起。在该实施形式中，设有处理第一语音输入的附加的方法步骤。
在本发明的一个改进方案中提出，检查对话是否已经结束。激活手势识别的步骤在对话未结束的条件下进行。以这种方式，能够直接处理且不触发另一对话的语音输入不会触发对手势识别的激活。
在另一设计方案中，获取和处理另一输入。换言之，车辆因此能够接收用户的另外的输入，从而继续进行对话。另外的输入能够再次是语音输入。但是，其尤其能够是车辆用户的手势。因此，车辆用户借助第一表述开始对话，所述第一表述是语音输入。然后用户自其第二表述起能够使用语音或姿态或另一通信形式，从而进行多模式对话。
另外的优点是，在每次输入之后检查：对话是否结束。如果适用这种情况，则禁用手势识别。对话例如能够如下结束：用户关于此进行输入，即通过操纵特定的操作元件(在现有技术中有时称为“一键通”键)、通过相应的语音指令或通过相应的手势中断对话。此外，能够由于内容方面的原因而结束对话，尤其当结束执行或回答用户的指令或请求时如此，所述用户的指令或请求形成其第一语音输入的内容。
该方法能够提出，分别响应于车辆用户的第一语音输入和/或响应于车辆用户的另外的输入而输出输入要求。换言之，车辆对用户的输入进行响应并且尤其提出反问或要求用户进行另外的输入。输入要求能够尤其是通过语音输出和/或通过显示在车辆的屏幕上(尤其是显示在平视显示器上、显示在仪表组上和/或显示在车辆的中央控制台中设置的中央屏幕上)输出。
特别有利地能够提出，根据输入要求获取和/或处理车辆用户的另外的输入、尤其是手势。通过在获取和/或处理另外的输入时考虑输入要求的特定的特性(例如其类型和/或内容)，能够尤其是提升手势识别的精度。对此尤其能够提出，作为另外的输入仅识别这样的手势，该手势可以作为对先前输出的特定的输入要求的应答。这降低了错误识别手势的概率。
本发明的一个有利的实施形式提出，另外的输入是手势或包括手势，其中，输入要求是关于选择所提出的选项的要求，并且手势是指向手势，优选是用手指执行的指向手势。特别优选的是，指向手势是朝向屏幕的方向执行的指向手势，所提出的选项显示在屏幕上。
换言之，在该实施形式中，通过指向手势(也称为“点手势”)应能够实现对所提出的选项(例如，电话簿条目、用于导航***的地址、音乐标题等)的确认。因此这尤其指如下手势，在该手势中由车辆用户伸出至少一个手指、尤其是食指。如果所提出的选项显示在屏幕(例如平视显示器)上，那么能够提出，车辆用户必须借助伸出的手指朝向屏幕的(至少近似的)方向指向。换言之能够附加地或替选地要求，用户将手指朝向指示方向前运动和/或前后运动。换言之，于是用户在空气中作出模仿操纵传统按键的手势。
本发明的另一有利的实施形式提出，另外的输入是手势或包括手势，其中，输入要求是关于从多个所提出的选项中选择选项的要求，所述输入要求尤其是封闭式问题或关于选择结果列表的条目的要求，并且所述手势是包括基本上竖直地执行的运动的指向手势，优选是用手指执行的指向手势，特别优选是朝向屏幕方向执行的指向手势，其中，至少一个所提出的选项显示在屏幕上。
换言之，在该实施形式中，应通过结果列表借助于手势能够实现“翻页”或“滚动”，在所述手势中用户尤其向上或向下运动单个手指、尤其是其食指。能够提出的是，借助每个向上或向下运动来显示之前的或后续的列表条目(或者反之亦然)。但是也能够提出，在向上或向下运动时，根据手势的速度和幅度，结果列表的显示朝向相应的方向运动，使得以有利的方式通过具有大量条目的结果列表能够实现快速的导航。
本发明的另一有利的实施形式提出，另外的输入是手势或包括手势，其中，手势是包括基本上水平地用手或手指执行的运动的手势。如果识别到该可称为“扫动手势”或“滑动手势”的手势，那么禁用手势识别。换言之，因此提出，通过这种扫动手势形成的另外的输入构成用于中断对话的指令。因此，“一键通”键的中断功能能够特别有利地通过相应的手势替代。
然而要明确指出的是，本发明决不排除这种键的功能。甚至有利的是，为用户提供尽可能多的并行的交互可能性。因此完全能够提出，用户能够执行扫动手势以及进行语音输入(“结束对话”)以及操纵传统的操作元件(“一键通”键)，以结束对话。
本发明还通过用于车辆、尤其是用于机动车的多模式对话机形成，所述多模式对话机设立用于执行上述方法步骤。本发明还包括具有这种多模式对话机的机动车。
根据本发明的多模式对话机尤其能够通过车辆的控制设备形成，所述控制设备设立用于获取和处理传感器信号以及用于操控输出装置。传感器能够是多模式对话机的组成部分或者能够与所述多模式对话机连接，其中，这种连接例如能够借助于车辆的数据总线***来创建。传感器能够包括用于获取语音输入的麦克风和用于获取车辆用户的手势的摄像机。输出装置能够包括用于输出输入要求的扬声器和/或屏幕。
附图说明
下面借助示例性视图阐述本发明的其它实施形式。为此示出：
图1示出根据本发明的方法的实施形式的流程图。
具体实施方式
要指出的是，附图和所属的描述仅是本发明的实施例。尤其是，附图和/或附图说明中的特征组合的显示不应被解释为：本发明强制性地需要实现所有提到的特征。本发明的其它实施形式能够包含更少的、更多的和/或不同的特征。从所附的权利要求和完整的说明中可获得本发明的保护范围和公开内容。
在方法开始时，在步骤10中获取车辆用户的第一语音输入。在该时间点，手势识别尚未激活。例如，语音输入能够是“给罗伯特·迈耶(Robert Meyer)打电话”。
随后，在步骤20中处理该第一语音输入，为此例如搜索存储在车辆中或与车辆连接的移动电话中的电话簿。
在步骤30中检查：对话是否结束。如果是这种情况，那么结束所述方法。这例如可以是下述情况：第一语音输入是清楚的以致可以立即执行所述第一语音输入。然而，在本示例中应假设：“Robert Meyer”的电话簿条目存储有多个电话号码。
因此，在步骤35中输出输入要求。为此，Robert Meyer的所有电话号码的列表在平视显示器(Head-up-Display)上输出，并且将存储为主号码的电话号码以图形方式突出显示。同时，该输入要求包括如下内容的语音输出：“您想打电话给Robert Meyer的主号码吗？”。
在步骤40中，现在激活手势识别。自该时间点起，车辆用户能够以多模式的方式进行对话。这也意味着：车辆用户能够使用手势，但是不必强制性地使用手势。车辆用户还能够借助另外的输入继续进行对话或者操作传统的操作元件，所述另外的输入是语音输入。
在步骤50中，获取车辆用户的另外的输入，所述另外的输入是手势。现在，车辆用户能够借助扫动手势来中断对话，或者借助“翻页手势”(向上或向下方向的指向手势)通过在平视显示器上显示的电话号码列表来翻页。然而应假设：用户想要选择所提出的选项(Robert Meyer的主号码)。因此，车辆用户的另外的输入在于如下指向手势(“点手势”)，其中车辆用户朝向平视显示器的方向(因此朝向车辆的前挡风玻璃的方向)保持其伸出的食指，并且将食指轻微地朝向该方向(即朝向指示方向)向前且随后再次向回运动。
在步骤60中执行的对另外的输入的处理中，解释并执行所述手势。执行电话呼叫。
在步骤70中检查：对话是否结束。当前是这种情况，从而在步骤80中禁用手势识别，并且结束该方法。而如果需要，则继续进行对话(例如，因为另外的输入是误导性的或含糊不清的)，那么能够在步骤75中输出输入要求(“我不能理解您，请重复您的输入。”)。然后以步骤50继续执行所述方法，在该步骤50中获取另外的输入。

Claims (12)

1.一种用于执行车辆中的、尤其是机动车中的多模式对话的方法，该方法具有下述步骤：
-获取(10)车辆用户的用于激活语音对话的输入，以及
-激活(40)手势识别。
2.根据权利要求1所述的方法，其中，所述车辆用户的用于激活语音对话的输入是车辆用户的第一语音输入或者包括车辆用户的第一语音输入，该方法具有下述步骤：
-处理(20)所述第一语音输入。
3.根据权利要求2所述的方法，该方法具有下述步骤：
-检查(30)所述对话是否结束，以及
-如果所述对话没有结束，那么激活(40)所述手势识别。
4.根据上述权利要求之一所述的方法，该方法具有下述步骤：
-获取(50)所述车辆用户的另外的输入、尤其是手势，
-处理(60)所述另外的输入。
5.根据权利要求4所述的方法，该方法具有下述步骤：
-检查(70)所述对话是否结束，以及
-如果所述对话结束，那么禁用(80)所述手势识别。
6.根据权利要求4或5所述的方法，该方法具有下述步骤：
-以对所述车辆用户的第一输入进行响应的方式，输出(35)输入要求、尤其是所提及的输入要求，和/或
-以对所述车辆用户的另外的输入进行响应的方式，输出(75)输入要求、尤其是所提及的输入要求。
7.根据权利要求6所述的方法，该方法具有下述步骤：
-根据所述输入要求，获取(50)和/或处理(60)所述车辆用户的另外的输入、尤其是所述手势。
8.根据权利要求7所述的方法，
-其中，所述另外的输入是手势或包括手势，
-其中，所述输入要求是关于选择所提出的选项的要求，并且
-其中，所述手势是指向手势，优选是用手指执行的指向手势，特别优选是朝向屏幕方向执行的指向手势，所述所提出的选项显示在屏幕上。
9.根据权利要求7或8所述的方法，
-其中，所述另外的输入是手势或包括手势，
-其中，所述输入要求是关于从多个所提出的选项中选择选项的要求，所述输入要求尤其是封闭式问题或关于选择结果列表的条目的要求，并且
-其中，所述手势是包括基本上竖直地执行的运动的指向手势，优选是用手指执行的指向手势，特别优选是朝向屏幕方向执行的指向手势，至少一个所述所提出的选项显示在屏幕上。
10.根据权利要求5至9之一所述的方法，
-其中，所述另外的输入是手势或包括手势，
-其中，所述手势是包括基本上水平地用手或手指执行的运动的手势，
该方法具有下述步骤：
-禁用(80)所述手势识别。
11.一种用于车辆的、尤其是用于机动车的多模式对话机，该多模式对话机用于执行根据权利要求1至10之一所述的方法。
12.一种机动车，具有根据权利要求11所述的多模式对话机。
CN201780062525.XA 2016-10-13 2017-09-25 机动车中的多模式对话 Active CN109804429B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102016220004.6 2016-10-13
DE102016220004 2016-10-13
DE102016221564.7A DE102016221564A1 (de) 2016-10-13 2016-11-03 Multimodaler Dialog in einem Kraftfahrzeug
DE102016221564.7 2016-11-03
PCT/EP2017/074174 WO2018069027A1 (de) 2016-10-13 2017-09-25 Multimodaler dialog in einem kraftfahrzeug

Publications (2)

Publication Number Publication Date
CN109804429A true CN109804429A (zh) 2019-05-24
CN109804429B CN109804429B (zh) 2023-07-18

Family

ID=61765400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780062525.XA Active CN109804429B (zh) 2016-10-13 2017-09-25 机动车中的多模式对话

Country Status (5)

Country Link
US (1) US11551679B2 (zh)
EP (1) EP3526790B1 (zh)
CN (1) CN109804429B (zh)
DE (1) DE102016221564A1 (zh)
WO (1) WO2018069027A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
WO2023151360A1 (zh) * 2022-02-09 2023-08-17 华为技术有限公司 一种电子设备控制方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019204541A1 (de) * 2019-04-01 2020-10-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bedienung von elektronisch ansteuerbaren Komponenten eines Fahrzeugs
DE102019210144A1 (de) * 2019-07-10 2021-01-14 Zf Friedrichshafen Ag Kombination von Sensorsystemen im Fahrzeug zum Verbessern des Erkennens von Nutzerbefehlen
DE102020121668A1 (de) 2020-08-18 2022-02-24 Bayerische Motoren Werke Aktiengesellschaft Konzept zur einbindung einer sehbehinderten person in ein autonomes fahrzeug
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
US20020181773A1 (en) * 2001-03-28 2002-12-05 Nobuo Higaki Gesture recognition system
US20060242607A1 (en) * 2003-06-13 2006-10-26 University Of Lancaster User interface
EP1830244A2 (de) * 2006-03-01 2007-09-05 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
US7437488B2 (en) * 2003-12-17 2008-10-14 Denso Corporation Interface for car-mounted devices
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助***的多形态的用户接口
US20130144629A1 (en) * 2011-12-01 2013-06-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
CN103294190A (zh) * 2012-02-06 2013-09-11 福特全球技术公司 通过手势识别与车辆控制交互的识别***
WO2014070872A2 (en) * 2012-10-30 2014-05-08 Robert Bosch Gmbh System and method for multimodal interaction with reduced distraction in operating vehicles
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
DE102014012158A1 (de) * 2013-09-12 2015-03-12 Mechaless Systems Gmbh Gestenerkennungsverfahren und Gestenerkennungsvorrichtung
CN104603720A (zh) * 2012-09-12 2015-05-06 大陆汽车有限责任公司 用于借助手势操作机动车组件的方法和装置
CN104679425A (zh) * 2013-11-26 2015-06-03 辛纳普蒂克斯公司 复杂唤醒手势架构
CN105282331A (zh) * 2015-09-24 2016-01-27 努比亚技术有限公司 语音菜单输入装置和语音菜单输入方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007044792B4 (de) * 2007-09-19 2012-12-13 Siemens Ag Verfahren, Steuergerät und System zur Steuerung oder Bedienung
EP3413575A1 (en) * 2011-08-05 2018-12-12 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and electronic apparatus applying the same
DE102012013503B4 (de) 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
KR102160767B1 (ko) * 2013-06-20 2020-09-29 삼성전자주식회사 제스처를 감지하여 기능을 제어하는 휴대 단말 및 방법
US9430186B2 (en) * 2014-03-17 2016-08-30 Google Inc Visual indication of a recognized voice-initiated action
US10166995B2 (en) * 2016-01-08 2019-01-01 Ford Global Technologies, Llc System and method for feature activation via gesture recognition and voice command

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
US20020181773A1 (en) * 2001-03-28 2002-12-05 Nobuo Higaki Gesture recognition system
US6804396B2 (en) * 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US20060242607A1 (en) * 2003-06-13 2006-10-26 University Of Lancaster User interface
US7437488B2 (en) * 2003-12-17 2008-10-14 Denso Corporation Interface for car-mounted devices
EP1830244A2 (de) * 2006-03-01 2007-09-05 Audi Ag Verfahren und Vorrichtung zum Betreiben von zumindest zwei Funktionskomponenten eines Systems, insbesondere eines Fahrzeugs
CN101855521A (zh) * 2007-11-12 2010-10-06 大众汽车有限公司 用于信息的输入和展示的驾驶员辅助***的多形态的用户接口
US20130144629A1 (en) * 2011-12-01 2013-06-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN103294190A (zh) * 2012-02-06 2013-09-11 福特全球技术公司 通过手势识别与车辆控制交互的识别***
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
CN104115099A (zh) * 2012-02-13 2014-10-22 高通股份有限公司 取决于参与的手势辨识
CN104603720A (zh) * 2012-09-12 2015-05-06 大陆汽车有限责任公司 用于借助手势操作机动车组件的方法和装置
WO2014070872A2 (en) * 2012-10-30 2014-05-08 Robert Bosch Gmbh System and method for multimodal interaction with reduced distraction in operating vehicles
US8744645B1 (en) * 2013-02-26 2014-06-03 Honda Motor Co., Ltd. System and method for incorporating gesture and voice recognition into a single system
DE102014012158A1 (de) * 2013-09-12 2015-03-12 Mechaless Systems Gmbh Gestenerkennungsverfahren und Gestenerkennungsvorrichtung
CN104679425A (zh) * 2013-11-26 2015-06-03 辛纳普蒂克斯公司 复杂唤醒手势架构
CN105282331A (zh) * 2015-09-24 2016-01-27 努比亚技术有限公司 语音菜单输入装置和语音菜单输入方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211585A (zh) * 2019-06-05 2019-09-06 广州小鹏汽车科技有限公司 车内娱乐互动方法、装置、车辆和机器可读介质
WO2023151360A1 (zh) * 2022-02-09 2023-08-17 华为技术有限公司 一种电子设备控制方法、装置及电子设备

Also Published As

Publication number Publication date
EP3526790B1 (de) 2023-06-28
EP3526790A1 (de) 2019-08-21
US11551679B2 (en) 2023-01-10
DE102016221564A1 (de) 2018-04-19
WO2018069027A1 (de) 2018-04-19
CN109804429B (zh) 2023-07-18
US20190237079A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
CN109804429A (zh) 机动车中的多模式对话
CN101217584B (zh) 可用于汽车的语音命令控制***
US9286030B2 (en) Methods and apparatus for processing multiple audio streams at a vehicle onboard computer system
KR100754497B1 (ko) 수기 및 음성으로 자동차 부속 장치를 제어하는 장치 및방법
DE102014203540A1 (de) Systeme und verfahren für das steuern eines dialog-kontextes in sprachsystemen
CA2914712C (en) Gesture input apparatus for car navigation system
CN105103087B (zh) 一种用于显示和/或输出帮助的方法和配置给车辆的装置
CN107436680B (zh) 用于切换车载设备的应用模式的方法和设备
CN106020479A (zh) 一种利用方位手势隔空操作智能汽车中控台的方法及装置
CN108882202A (zh) 一种基于智能手机的车载交互方法及装置
CN106104422A (zh) 手势评估***、用于手势评估的方法以及车辆
CN108263315B (zh) 方向盘和车辆以及基于方向盘的车载设备的控制方法
US9193315B2 (en) Method and apparatus for operating a device in a vehicle with a voice controller
CN113782020A (zh) 车内语音交互方法和***
KR20140067687A (ko) 대화형 음성인식이 가능한 차량 시스템
DE102012210986A1 (de) Fahrzeuginterne Nachrichtenübermittlung
CN113539265A (zh) 一种控制方法、装置、设备及存储介质
CN202309768U (zh) 车载通信***及包括其的汽车
CN106020705A (zh) 一种利用方位手势触摸操作智能汽车中控台的方法及装置
CN107306253A (zh) 交通工具控制方法、控制装置与控制***
KR20070022965A (ko) 자동차용 ｈｍｉ 통합형 스위치
CN115593496A (zh) 一种面向高级别智能驾驶汽车的方向盘及其操作***
KR20150053276A (ko) 이동통신단말기와 차량 헤드유닛이 연계된 음성 처리 방법과 그 시스템
CN103593134A (zh) 车载设备和语音功能的控制方法
CN115086475B (zh) 一种语音通话模式的控制方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant