CN109920410B - 用于基于车辆的环境确定推荐的可靠性的装置和方法 - Google Patents

用于基于车辆的环境确定推荐的可靠性的装置和方法 Download PDF

Info

Publication number
CN109920410B
CN109920410B CN201811423559.XA CN201811423559A CN109920410B CN 109920410 B CN109920410 B CN 109920410B CN 201811423559 A CN201811423559 A CN 201811423559A CN 109920410 B CN109920410 B CN 109920410B
Authority
CN
China
Prior art keywords
information
vehicle
controller
recommendation
actions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811423559.XA
Other languages
English (en)
Other versions
CN109920410A (zh
Inventor
李京澈
朴晟秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN109920410A publication Critical patent/CN109920410A/zh
Application granted granted Critical
Publication of CN109920410B publication Critical patent/CN109920410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1004—Alarm systems characterised by the type of sensor, e.g. current sensing means
    • B60R25/1009—Sonic sensors; Signal treatment therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

一种用于基于车辆的环境确定推荐的可靠性的装置和方法，该装置可以包括：输入设备，配置为检测车辆中的声音；存储器，配置为存储与声音相关联的信息；输出设备，配置为输出与推荐动作相关联的信息；以及控制器，与输入设备、存储器以及输出设备电连接。控制器可以配置为：利用输入设备获得音频信息；基于音频信息和车辆的状态获得车辆的声学状态信息，声学状态信息与车辆的状态和包含在音频信息中的噪声相关联；当获得音频信息时确定车辆的情境信息；对音频信息执行语音识别以获得文本信息；针对与文本信息和情境信息对应的一个或多个动作计算推荐指数；以及基于声学状态信息和计算出的推荐指数生成对一个或多个动作中的至少一个动作的推荐。

Description

用于基于车辆的环境确定推荐的可靠性的装置和方法
技术领域
本公开总体上涉及一种用于基于车辆的环境确定推荐(recommendation)的可靠性的装置和方法，并且更具体地，涉及一种用于确定针对与基于对话的语音命令对应的动作的推荐的可靠性的装置和方法。
背景技术
随着汽车工业的发展，已开发出一种用于自动地执行与车辆中的用户的意图相匹配的动作的基于语音识别的***，以提高驾驶员的便利性。例如，智能情境感知分析***可以用于基于用户的使用历史来预测并推荐与车辆的用户的意图相匹配的动作。然而，在执行语音识别的同时，在车辆中可能存在噪声，例如由于行驶、空气调节、窗户打开、同时说话等产生的声音。
在常规智能情境感知分析***中，分析准确度可能受语音识别的结果影响。例如，当语音识别的准确度低时，***可能预测或推荐与用户的意图不符的动作，因为该***不顾语音识别的准确度地预测或推测动作。因此，***的可靠性可能基于车辆的环境条件而劣化。此外，常规智能情境感知***无法考虑用户的使用模式来提高可靠性。
发明内容
已做出本公开来解决现有技术中出现的上述问题，同时原封不动地保留由现有技术实现的优点。
本公开的一方面提供了一种用于基于车辆的环境确定推荐的可靠性的装置和方法。结果，即使在语音识别的可靠性低的环境中，仍然可以准确地预测或推荐与用户的意图相匹配的动作。
待由本发明构思解决的技术问题不限于上述问题，从以下描述本公开所属领域的技术人员将清楚地理解本文中未提及的任何其他技术问题。
根据本公开的实施例，一种用于基于车辆的环境确定推荐的可靠性的装置可以包括：输入设备，该输入设备配置为检测车辆中的声音；存储器，该存储器配置为存储与声音相关联的信息；输出设备，该输出设备配置为输出与推荐动作相关联的信息；以及控制器，该控制器与输入设备、存储器以及输出设备电连接。控制器可以配置为：利用输入设备获得音频信息；基于音频信息和车辆的状态获得车辆的声学状态信息，该声学状态信息与车辆的状态和包含在音频信息中的噪声相关联；当获得音频信息时确定车辆的情境信息；对音频信息执行语音识别以获得文本信息；针对与文本信息和情境信息对应的一个或多个动作计算推荐指数；以及基于声学状态信息和计算出的推荐指数生成对一个或多个动作中的至少一个动作的推荐。
声学状态信息可以包括与车辆的状态、噪声的主要成分或者噪声的强度中的至少一个相关联的信息。
控制器可以配置为基于车辆的状态对音频信息分类，并且创建包括已分类的音频信息的数据库(DB)，该DB存储在存储器中。
控制器可以配置为基于DB从已分类的音频信息中提取特征点，并且基于提取出的特征点获得声学状态信息。
控制器可以配置为执行主要成分分析以提取该特征点。
控制器可以配置为利用神经网络生成用于对特征点分类的概率模型。
情境信息可以包括与获得音频信息的时间、获得音频信息的地点以及一个或多个动作中的至少一个相关联的信息。
控制器可以配置为根据车辆的用户随时间的使用模式、用户根据地点的使用模式以及针对一个或多个动作的使用模式来计算推荐指数。
控制器可以配置为向用户随时间的使用模式、用户根据地点的使用模式以及针对一个或多个动作的使用模式中的每一个分配权重。
控制器可以配置为进一步基于声学状态信息、计算出的推荐指数以及存储在存储器中的车辆的用户根据前一推荐的使用历史来生成对一个或多个动作中的至少一个动作的推荐。
控制器可以配置为基于声学状态信息和推荐指数选择一个或多个动作中的至少一个动作；以及执行一个或多个动作中的所选择的至少一个动作。
控制器可以配置为通过输出设备输出用于推荐一个或多个动作中的至少一个动作的消息。
控制器可以配置为当声学状态信息和计算出的推荐指数中的每一个满足指定条件时生成对一个或多个动作中的待执行的动作的推荐。
控制器可以配置为当声学状态信息和推荐指数中的每一个不满足指定条件时通过输出设备提供一个或多个动作的列表。
此外，根据本公开的实施例，一种用于基于车辆的环境确定推荐的可靠性的方法可以包括：通过输入设备获得音频信息；通过控制器基于音频信息和车辆的状态获得车辆的声学状态信息，该声学状态信息与车辆的状态和包含在音频信息中的噪声相关联；当获得音频信息时通过控制器确定车辆的情境信息；通过控制器对音频信息执行语音识别以获得文本信息；通过控制器针对与文本信息和情境信息对应的一个或多个动作计算推荐指数；以及通过控制器基于声学状态信息和计算出的推荐指数生成对一个或多个动作中的至少一个动作的推荐。
声学状态信息可以包括与车辆的状态、噪声的主要成分或者噪声的强度中的至少一个相关联的信息。
情境信息可以包括与获得音频信息的时间、获得音频信息的地点以及一个或多个动作中的至少一个相关联的信息。
推荐的生成可以包括通过控制器进一步基于声学状态信息、计算出的推荐指数以及存储在存储器中的车辆的用户根据前一推荐的使用历史来生成对一个或多个动作中的至少一个动作的推荐。
推荐的生成可以包括当声学状态信息和推荐指数中的每一个满足指定条件时通过控制器生成对一个或多个动作中的待执行的动作的推荐。
根据一实施例，推荐的生成可以包括当声学状态信息和推荐指数中的每一个不满足指定条件时通过控制器提供一个或多个动作的列表。
附图说明
从以下结合附图做出的详细描述中，本公开的以上及其他目的、特征和优点将更显而易见：
图1是示出根据本公开的实施例的其中操作用于基于车辆的环境确定推荐的可靠性的装置的环境的图；
图2是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的配置的框图；
图3是示出根据本公开的实施例的包含在车辆中的车辆终端***以及包括语音识别***的智能代理的框图；
图4是示出根据本公开的实施例的包含在用于基于车辆的环境确定推荐的可靠性的装置中的软件模块的配置的框图；
图5是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图；
图6是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图；
图7是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图；
图8是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图；
图9是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图；
图10是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的方法的流程图；以及
图11是示出根据本公开的实施例的计算***的配置的框图。
应当理解，以上参考附图未必是成比例的，而是提供对说明本公开的基本原理的各种优选特征的某种程度的简化表示。本公开的具体设计特征，例如具体尺寸、定向、位置以及形状，将部分地由特定的预期应用和使用环境来确定。
具体实施方式
以下，将参考附图对本公开的实施例进行详细描述。在为每个图的元件添加附图标记时，尽管相同的元件显示在不同的图上，应当注意的是，相同的元件具有相同的标记。此外，在描述本公开的实施例时，如果确定对相关的公知配置或功能的描述会弄得本公开的实施例的主旨模糊不清，则将其省略。
在描述本公开的实施例的元件时，在本文中可以使用术语第一、第二、第一、第二、A、B、(a)、(b)等。这些术语仅用于将一个元件与另一个元件区分开，而非限制对应元件，无论对应元件的性质、顺序或次序如何。除非另有定义，否则本文中使用的所有术语，包括技术术语和科学术语，具有和本公开所属领域的技术人员通常理解的含义相同的含义。如在常用词典中定义的那些的此类术语应被解释为具有与相关技术领域中的语境含义相等的含义，而不应被解释为具有理想的或过度形式化的含义，除非在本申请中明确定义为具有此类含义。
应当理解的是，如本文中使用的术语“车辆”或“车辆的”或者其他相似术语通常包括机动车辆，例如运动型多功能车辆(SUV)、公共汽车、卡车、各种商业车辆的乘用车，包括各种船和舰的船只，飞行器等，并且包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆以及其他替代燃料车辆(例如从不同于石油的资源获得的燃料)。如本文所指的，混合动力车辆是一种具有两种以上动力源的车辆，例如，同时由汽油提供动力和电力提供动力的车辆。
另外，应当理解，以下方法中的一个或多个或者其方面可以由至少一个控制器执行。术语“控制器”可以指包括存储器和处理器的硬件设备。存储器配置为存储程序指令，并且处理器专门编程为执行程序指令以执行以下进一步进行描述的一个或多个过程。控制器可以控制单元、模块、部件、设备等的操作，如本文中所述的。而且，应当理解，以下方法可以由包括控制器的装置结合一个或多个其他部件来执行，如由本领域普通技术人员将意识到的。
此外，本公开的控制器可以体现为包含由处理器、控制器等执行的可执行程序指令的非瞬时性计算机可读介质。计算机可读介质的示例包括但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪盘、智能卡以及光学数据存储设备。计算机可读记录介质还可以分布在整个计算机网络中，使得程序指令以分布式方式存储和执行，例如，通过远程信息处理服务器或控制器局域网(CAN)。
现在参考当前公开的实施例，图1是示出根据本公开的实施例的其中操作用于基于车辆的环境确定推荐的可靠性的装置的环境的图。
如图1中所示，根据本公开的实施例的车辆可以搭载两个用户。在行驶期间两个用户可能在车辆中彼此交谈。在两个用户彼此交谈时，驾驶员可以说出“现在请将我引导到安静的公园”以用于语音命令。在驾驶员说出该语音命令的同时，乘客可能不顾该命令而说出另一句子。在驾驶员说出该语音命令的同时，车辆可以获得包括语音命令、行驶噪声以及车辆周围说出的噪声的音频信息。车辆可以基于各种信息，例如包含在音频信息中的语音信息、车辆的当前位置、用户的品味以及天气信息，预测与用户的意图相匹配的一个安静公园(例如，公园A)。在考虑获得车辆的声学状态信息和音频信息时的情境信息的情况下，车辆可以执行到达预测出的公园A的路线引导并且可以输出执行到达公园A的路线引导的消息。
根据本公开的实施例，至少一个用户可以进入并使用车辆。例如，用户可以在行驶期间打开窗户。在窗户打开的情况下行驶的同时，驾驶员可能说出“请找到附近提供美味食物的意大利餐厅”以用于语音命令。当驾驶员说出该语音命令时，车辆可以获得包括语音命令、行驶噪声以及由进入窗户的风所引起的噪声的音频信息。车辆可以基于各种信息，例如包含在音频信息中的语音命令、车辆的当前位置以及访问历史，预测与用户的意图相匹配的一个餐厅(例如，餐厅A或餐厅B)。当确定在考虑获得车辆的声学状态信息和音频信息时的情境信息的情况下预测的可靠性低时，车辆可以输出包括多个建议地点中的全部的列表，而不推荐一个预测出的建议地点。
图2是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的配置的框图。
如图2中所示，根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置200(以下为了便于描述被称为“装置200”)可以包括输入设备210、存储器220、输出设备230以及控制器240。在图2中，为了便于说明，输入设备210、存储器220、输出设备230以及控制器240利用一个框配置。然而，本公开的实施例并不限于此。例如，输入设备210、存储器220、输出设备230以及控制器240中的至少一些可以以彼此相互集成或者划分成两个或更多个部件的形式来实现，这取决于实施方法。
输入设备210可以是用于从外部(例如，车辆的用户)接收输入的设备。输入设备210可以包括例如麦克风等。根据本公开的实施例，输入设备210可以检测车辆中的声音。输入设备210可以例如检测用户的语音并且可以检测由行驶、空气调节、窗户打开和/或同时说话所引起的噪声。
存储器220可以包括易失性存储器和/或非易失性存储器。存储器220可以存储由装置200的元件使用的数据。根据本公开的实施例，存储器220可以存储与通过输入设备210获得的声音相关联的信息。存储器220可以存储用于执行由控制器240执行的操作的指令和/或数据库(DB)。
输出设备230可以是用于向外部输出各种知觉上可辨识的信息的设备。输出设备230可以包括例如扬声器和/或显示器。根据本公开的实施例，输出设备230可以输出与待推荐的动作相关联的信息。
控制器240可以与输入设备210、存储器220以及输出设备230电连接。控制器240可以控制输入设备210、存储器220以及输出设备230，并且可以执行各种数据处理和各种算术运算。
根据本公开的实施例，控制器240可以利用输入设备210获得音频信息。例如，控制器240可以获得包括由用户的语音命令和驾驶、空气调节、窗户打开、同时说话和/或等等引起的噪声的音频信息。
控制器240可以基于音频信息和车辆的状态获得与车辆的状态和包含在音频信息中的噪声相关联的车辆的声学状态信息。声学状态信息可以包括例如，与车辆的状态(例如，行驶、空气调节、窗户打开等)相关联的信息、噪声的主要成分(例如，行驶、空气调节、窗户打开、同时说话等)、噪声的强度(例如，0到100)。例如，控制器240可以基于车辆的状态，例如波形的模式、行驶速度、是否进行空气调节、以及是否打开窗户，获得包含在音频信息中的声学状态信息，其包括与车辆的状态、噪声的主要成分、噪声的强度等相关联的信息。
此外，控制器240可以基于车辆的状态对音频信息分类并且在存储器220中存储包括已分类的音频信息的DB。控制器240可以通过分析DB从已分类的音频信息中提取特征点，并且可以基于该特征点获得声学状态信息中的至少一个。例如，控制器240可以通过主要成分分析提取特征点。控制器240可以利用神经网络生成用于对特征点分类的概率模型。以下将参考图5至图7详细给出对音频信息分类、存储DB、提取特征点以及生成概率模型的描述。
此外，控制器240可以基于通过语音识别从音频信息获得的文本信息以及获得该音频信息时的情境信息针对与文本信息对应的一个或多个动作中的每一个动作确定推荐指数。例如，控制器240可以通过执行语音识别获得与包含在音频信息中的语音命令对应的文本信息(例如，“请找到附近提供美味食物的意大利餐厅”)。控制器240可以获得情境信息，其包括与获得音频信息的时间(例如，下午1点)、获得音频信息的地点(例如，宣陵站)、与文本信息(例如，“请找到附近提供美味食物的意大利餐厅”)对应的一个或多个动作(例如，将用户引导到餐厅A和餐厅B)相关联的信息。控制器240可以基于用户随时间的使用模式、根据地点的使用模式以及针对一个或多个动作的使用模式确定推荐指数。例如，控制器240可以基于用户在午餐时间访问哪里的历史、在宣陵站周围引导用户的历史、用户访问餐厅A和B的频率等来确定推荐指数。控制器240可以向用户随时间的使用模式、根据地点的使用模式以及针对一个或多个动作的使用模式中的每一个分配权重。以下将参考图8给出对确定推荐指数的详细操作的描述。
根据本公开的实施例，控制器240可以基于声学状态信息和推荐指数来推荐与文本信息对应的一个或多个动作中的至少一个动作。控制器240可以进一步利用根据存储在存储器220中的前一推荐的使用历史来推荐一个或多个动作中的至少一个动作。控制器240可以执行基于声学状态信息和推荐指数所选择的一个或多个动作中的至少一个动作或者可以利用输出设备230输出推荐一个或多个动作中的至少一个动作的消息。当声学状态信息和推荐指数中的每一个满足指定条件时，控制器240可以推荐一个或多个动作中的待执行的一个动作。例如，当确定推荐的可靠性大于或等于预定水平时，控制器240可以推荐与文本信息对应的一个动作。当声学状态信息和推荐指数中的每一个不满足指定条件时，控制器240可以通过输出设备230提供一个或多个动作的列表。例如，当确定推荐的可靠性小于预定水平时，控制器240可以提供包括与文本信息对应的全部动作的列表。以下将参考图9详细给出推荐动作的详细操作的描述。
图3是示出根据本公开的实施例的包含在车辆中的车辆终端***以及包括语音识别***的智能代理的框图。
如图3中所示，车辆可以包括车辆终端***和智能代理。
车辆终端***可以分类成应用程序事件管理器、ccOS应用编程接口(API)、情境感知引擎以及语音识别引擎。
应用程序事件管理器可以监测车辆状态和通过应用程序出现的事件，并且可以管理和控制应用程序状态。ccOS API可以包括用于将终端的语音识别引擎链接到服务器的语音识别引擎的API和用于将情境感知引擎连接到智能代理的API。情境感知引擎可以基于情境数据推荐或建议服务，并且可以通过对结果数据应用情境分析结果来处理操作阶段。此外，情境感知引擎可以通过对搜索信息应用情境分析结果来进行重新排列。由于语音识别引擎与智能引擎重复，其可以参考以下对智能代理的描述。
智能代理可以根据各个功能分类成输入管理、输出管理、场景管理、对话管理、情境感知分析引擎以及车辆环境大数据。
输入管理可以包括语音识别引擎和意图分析引擎。根据本公开的实施例的语音识别***可以包括由意图分析引擎执行的功能。
语音识别引擎可以将语音转化成文本并且可以在车辆终端***中识别针对孤立语言的语音，由此在智能代理中识别大词汇语音。意图分析引擎可以利用自然语言处理从作为处理语音识别的结果的文本中提取意图框架。此外，意图分析引擎可以对文本的意图分类并且可以提取作为与意图相关联的重要信息的实体。
输出管理器可以表示为动作管理并且可以包括自然语言生成引擎和语音合成引擎。根据本公开的实施例的语音识别***可以包括由输出管理执行的功能。
自然语言生成引擎可以通过分析将来预测出的动作生成对于输出所必须的文本。此外，自然语言生成引擎可以通过分析所生成的文本来生成和合成有关的参数。语音合成引擎可以将由自然语言生成引擎生成的文本转化成语音。语音合成引擎可以在车辆终端***中合成和输出固定语音，并且可以基于智能代理中的参数生成和输出情感化且个性化的语音。
场景管理可以管理用于车辆服务的场景(例如，目的地搜索、音乐推荐、调度等)，并且可以包括内容提供商(CP)适配器以与车辆外部的外部内容(例如，地图、音乐、计划表等)交互。
对话管理可以包括会话管理、附加对话管理、对话状态管理、对话历史管理以及服务管理。根据本公开的实施例的语音识别***可以包括通过对话历史管理执行的功能。
会话管理可以管理针对每个对话主题(例如，每个意图框架)的连续性。附加对话管理可以添加或删除并管理对话主题(例如，意图框架)。对话状态管理可以管理对话主题之间的状态(例如，意图框架)。此外，对话历史管理可以确定并重新配置对话主题(例如，意图框架)之间的相关性。服务管理可以管理与对话主题(例如，意图框架)有联系的服务或者可以管理场景DB、场景的状态、CP交互等。
情境感知分析引擎可以包括高容量统计分析、短/长期记忆分析、综合/复杂推理、文本/语音分析、问答(Q&A)分析的功能。根据本公开的实施例的语音识别***可以包括通过综合/复杂推理执行的功能。
高容量统计分析可以包括基于使用历史分析使用模式。短/长期记忆分析可以包括用于基于用户历史恢复关联信息的分析。综合/复杂推理可以包括以复杂方式映射不同的信息并推断该映射的信息。文本/语音分析可以包括分析语音信息和文本信息以推断情境。Q&A分析可以包括分析用户的问题内容以推断答案。
车辆环境大数据可以包括车辆客户关系管理(VCRM)、客户数据、历史数据、关系数据以及知识库。
VCRM可以包括使用信息数据。客户数据可以包括订阅客户信息数据。历史数据可以包括指示使用服务的历史的信息数据。关系数据可以包括数据和交互信息之间的关系。知识库可以包括对于问答所必须的知识信息。
在一个示例中，可以利用图3中所示的功能的至少一些基于车辆的环境确定推荐的可靠性。
图4是示出根据本公开的实施例的包含在用于基于车辆的环境确定推荐的可靠性的装置中的软件模块的配置的框图。
如图4中所示，用于基于车辆环境确定推荐的可靠性的装置(例如，图2的存储器220)可以存储预处理模块410、语音识别模块420、车辆状态语音输入管理模块440、情境感知数据分析模块450、数据分析结果模块460以及智能服务应用程序470。
当通过麦克风获得音频信息时，预处理模块410可以从音频信息去除一部分噪声。
语音识别模块420可以利用预处理的音频信息执行语音识别。语音识别模块420可以包括语音识别引擎和自然语言处理模块。语音识别模块420可以提取包含在音频信息中的语音的特征并且可以分析所讲的内容。语音识别模块420可以对说话者的意图和关键词位置分类。语音识别模块420可以使用声学模型431、词汇字典432、语言模型433等。
车辆状态语音输入管理模块440可以包括速度DB构建模块441、多个语音模型设置442、语音模式提取模块443、车辆情境学习模块444以及声学预测模块445。速度DB构建模块441可以接收经预处理的音频数据。速度DB构建模块441可以针对车辆的各个状态(例如，行驶速度、行驶道路、是否进行空气调节、车辆的类型(例如，小轿车、运动型多功能车辆(SUV)、电动汽车等)、窗户打开和关闭、周围说话等)对模型分类。速度DB构建模块441可以构建分别包含已分类的模型的多个语音模型设置442。语音模式提取模块443可以利用多个语音模型设置442中的至少一些提取语音模式。语音模式提取模块443可以通过标准化并分析每个变量(例如，行驶速度噪声或空气调节噪声)的主要成分得分来确定独立变量(例如，特征点)。车辆状态学习模块444可以学习已标准化的主要成分和特征点，并且可以生成能够针对每个状态对主要成分和特征点分类的基于能量的概率模型。声学预测模块445可以利用生成的概率模型和车辆状态DB预测车辆的状态。
情境感知数据分析模块450可以通过利用由语音速度模块420分析的意图、关键词位置、记忆的驾驶员的驾驶习惯等来分析、预测并推测用户所意图的动作。情境感知数据分析模块450可以操作为提供各种动作，例如推荐/预定服务、位置和行驶环境识别技术、以及行驶情形确定技术。情境感知数据分析模块450可以确定待推荐的动作以及推荐的可靠性。
数据分析结果模块460可以利用从车辆状态语音输入管理模块440传送的信息、从情境感知数据分析模块450传送的信息、以及使用历史DB来确定推荐动作。例如，数据分析结果模块460可以基于待推荐的动作、推荐指数、主要成分得分、特征点得分、用户的使用模式等来构建推荐动作DB。数据分析结果模块460可以利用神经网络计算过去的推荐动作和用户的真实动作之前相关性的可靠性并且可以验证使用日志的可靠性，由此计算推荐动作激活值。数据分析结果模块460可以基于推荐动作激活值确定是否存在向用户推荐动作的情境。
当由数据分析结果模块460推荐动作时，智能服务应用程序470可以执行所推荐的动作或者可以输出推荐消息。智能服务应用程序470可以在使用历史DB中存储与所推荐的动作和实际执行的动作相关联的信息。
图5是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图。
如图5中所示，根据本公开的实施例的装置可以基于车辆的状态信息对音频信息分类并且可以在存储器中存储包含已分类的音频信息的DB。例如，装置可以通过针对车辆的每个情境对模型分类来构建音频DB。装置可以获得与行驶速度、行驶道路、空气调节、车辆的类型、窗户打开和关闭程度等相关联的信息。装置可以量化行驶速度、行驶道路、空调的空气调节、车辆的类型以及窗户打开和关闭的变量，并且可以组合和向量化该量化的变量。
图6是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图。
如图6中所示，根据本公开的实施例的装置可以从通过分析其DB进行分类的音频信息中提取特征点，并且可以基于特征点确定车辆中噪声的起因。例如，装置可以利用主要成分分析从获得的向量中提取特征点。C可以表示量化组合向量x的协方差矩阵，ei可以表示特征向量，并且可以表示ei的特征值。e1可以表示针对具有最高方差的方向的向量，e2可以垂直于e1并表示具有第二高方差的向量，而en可以垂直于e1至en-1且可以表示具有第n高方差的向量。装置可以使用特征向量作为特征点。装置可以基于主要成分分析的结果选择预定的主要成分或更多(例如，85％的主要成分)，并且可以计算主要成分得分。装置可以确定独立变量(即，特征点)，并且可以通过标准化计算出的每个变量的主要成分得分并且比较和分析该标准化的得分来确定主要成分。
图7是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图。
如图7中所示，根据本公开的实施例的装置可以利用神经网络生成用于对特征点分类的概率模型。装置可以学习已标准化的主要成分和特征点，并且可以生成能够针对每个情境对主要成分和特征点分类的基于能量的概率模型。以下提供的等式1可以用于生成概率模型。
[等式1]
同时，以下提供的等式2可以用于在每次学习时更新权重参数。
[等式2]数据模型
ΔW＝ε(＜Vjhj＞)data-ε(＜Vjhj＞)mod θl
装置可以通过利用等式1和2针对每一层学习图7中所示的神经网络来生成能够针对每个情境对主要成分和特征点分类的基于能量的概率模型。
图8是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图。
如图8中所示，根据本公开的实施例的装置可以基于通过速度识别从音频信息获得的文本信息以及获得该音频信息时的情境信息针对与文本信息对应的一个或多个动作中的每一个动作确定推荐指数。装置可以基于使用历史和情境感知DB生成用户模式的频率模型，并且可以分析和预测随后的智能***服务。例如，装置可以从与当前情境相关联的信息(例如，时间和地点)以及情境感知DB中提取情境感知数据。例如，当获得命令“呼叫Jain”时，装置可以提取与获得该命令的地点(例如，在大田站附近)、时间(例如，下班时间)、以及动作(例如，移动或家庭电话)相关联的信息。装置可以针对地点、时间以及动作中的每一个生成使用模式频率模型。例如，当不存在于大田站附近在移动或家庭电话上进行呼叫的历史时，装置可以获得指示不存在对应模式的信息。装置可以获得指示在早晨在家庭电话上进行呼叫的频率为50％而在下午在移动电话上进行呼叫的频率为100％的信息。装置可以获得指示利用移动电话在家庭电话和移动电话之间建立连接的频率是80％的信息。装置可以针对地点、时间以及动作中的每一个生成权重。当不存在与地点相关的模式时，装置可以针对地点确定权重为“0”，并且针对时间和动作中每一个确定权重为50％。装置可以通过应用所获得的信息和权重来获得指示用户利用移动电话进行呼叫连接的频率为90％并且他或她利用家庭电话进行呼叫连接的频率为10％的信息。装置可以通过确定待推荐为移动电话的动作且确定推荐指数为90来生成推荐动作。
图9是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置的示例性操作的图。
如图9中所示，根据本公开的实施例的装置可以基于声学状态信息、推荐指数以及根据前一推荐的使用历史来推荐与文本信息对应的一个或多个动作中的至少一个动作。装置可以基于通过声学预测模块的声学状态数据、通过情境感知数据分析模块的分析/预测数据以及指示对于使用历史的推荐历史的DB来验证推荐的可靠性并向用户推荐动作。例如，装置可以获得指示噪声的类型为空气调节、噪声强度为89、推荐动作为移动电话并且推荐指数为90的信息。当空气调节噪声的强度为92时、当推荐指数为89时且在推荐动作为移动电话的情况下，装置可以基于用户的真实动作为移动电话的使用历史来确定推荐的可靠性。当确定可靠性高时，装置可以输出“1”。当确定可靠性低时，装置可以输出“0”。在这种情况下，由于推荐动作和真实动作相同，当噪声的类型彼此相同时、当噪声的强度较高时、以及在推荐指数较低的情况下，装置可以确定推荐的可靠性高。由此，装置可以输出“1”并且可以提供在移动电话上对Jain进行呼叫的推荐指数。当输出“0”时，装置可以提供用户在不执行推荐的情况下能够采取的所有动作的列表(例如，移动和家庭电话)。
图10是示出根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的方法的流程图。
可以假定图2的装置200执行图10的过程。此外，在对图10的描述中，被描述为由装置执行的操作可以理解为由装置200的控制器240控制。
参考图10，在操作1010中，装置可以获得音频信息。例如，装置可以利用麦克风等获得包括用户的语音命令和噪声的音频信息。
在操作1020中，装置可以基于音频信息和车辆的状态获得与车辆的状态和包含在音频信息中的噪声相关联的车辆中的声学状态信息。例如，装置可以获得音频信息和指示车辆状态的信息，并且可以分析该音频信息和车辆的状态信息以获得指示车辆中声学状态的信息。
在操作1030中，装置可以基于通过语音识别从音频信息获得的文本信息以及获得该音频信息时的情境信息针对与文本信息对应的一个或多个动作中的每一个动作确定推荐指数。例如，装置可以通过语音识别确定用户的命令，并且可以在考虑情境信息的情况下针对与该命令对应的动作中的待推荐的动作确定推荐指数。
在操作1040中，装置可以基于声学状态信息和推荐指数推荐一个或多个动作中的至少一个动作。例如，装置可以基于声学状态信息和推荐指数针对对应动作确定推荐的可靠性。当推荐的可靠性大于或等于预定水平时，装置可以推荐待推荐的动作。对于另一示例，当推荐的可靠性小于预定水平时，装置可以提供与命令对应的动作的列表。
图11是示出根据本公开的实施例的计算***的配置的框图。
如图11中所示，以上所提到的根据本公开的实施例的用户输入处理方法可以通过计算***实现。计算***1000可以包括至少一个处理器1100、存储器1300、用户接口输入设备1400、用户接口输出设备1500、存储器1600以及网络接口1700，它们彼此通过总线1200连接。
处理器1100可以是用于执行存储在存储器1300和/或存储器1600中的处理指令的中央处理单元(CPU)或者半导体设备。存储器1300和存储器1600中的每一个可以包括各种类型的易失性和非易失性存储介质。例如，存储器1300可以包括只读存储器(ROM)和随机存取存储器(RAM)。
因此，结合说明书中所公开的实施例进行描述的方法或算法的操作可以直接利用硬件模块、软件模块或其组合实现，由处理器1100执行。软件模块可以存在于存储介质(即，存储器1300和/或存储器1600)上，例如RAM、闪存、ROM、可擦可编程ROM(EPROM)、电EPROM(EEPROM)、寄存器、硬盘、可移动磁盘或者光盘-ROM(CD-ROM)。示例性存储介质可以耦合至处理器1100。处理器1100可以从存储介质读取信息并且可以在存储介质中写入信息。替代地，存储器介质可以与处理器1100集成。处理器和存储介质可以存在于专用集成电路(ASIC)中。ASIC可以存在于用户终端中。替代地，处理器和存储介质可以作为用户终端的单独部件存在。
根据本公开的实施例的用于基于车辆的环境确定推荐的可靠性的装置和方法可以通过基于在执行语音识别时车辆的情境以及用户的先前使用模式推荐动作来提高推荐与用户的意图相匹配的动作的概率。
此外，可以提供通过本公开直接或间接确定的各种效果。
本申请基于并要求于2017年12月11日向韩国知识产权局提交的韩国专利申请第10-2017-0169006号的优先权的权益，将其公开内容整体通过引用结合到本文中。
尽管已参考本公开的示例性实施例描述了本公开，但是对本领域技术人员显而易见的是，在不脱离本公开的精神和范围的前提下，可以作出各种改变和修改。
因此，本文中所述的本公开的实施例并非限制性的而是说明性的，并且本公开的精神和范围并不限于此。本公开的精神和范围应当由以下权利要求书解释，其应当被解释为，等同于本公开的所有技术构思应当包含在本公开的精神和范围内。

Claims (20)

1.一种用于基于车辆的环境确定推荐的可靠性的装置，所述装置包括：
输入设备，所述输入设备配置为检测所述车辆中的声音；
存储器，所述存储器配置为存储与所述声音相关联的信息；
输出设备，所述输出设备配置为输出与推荐动作相关联的信息；
以及
控制器，所述控制器与所述输入设备、所述存储器以及所述输出设备电连接，
其中，所述控制器配置为：
利用所述输入设备获得音频信息；
基于所述音频信息和所述车辆的状态获得所述车辆的声学状态信息，所述声学状态信息与所述车辆的所述状态和包含在所述音频信息中的噪声相关联；
当获得所述音频信息时确定所述车辆的情境信息；
对所述音频信息执行语音识别以获得文本信息；
针对与所述文本信息和所述情境信息对应的一个或多个动作计算推荐指数；以及
基于所述声学状态信息和计算出的推荐指数生成对所述一个或多个动作中的至少一个动作的推荐。
2.根据权利要求1所述的装置，其中，所述声学状态信息包括与所述车辆的所述状态、所述噪声的主要成分以及所述噪声的强度中的至少一个相关联的信息。
3.根据权利要求1所述的装置，其中，所述控制器进一步配置为：
基于所述车辆的所述状态对所述音频信息分类；并且
创建包括已分类的音频信息的数据库，所述数据库存储在所述存储器中。
4.根据权利要求3所述的装置，其中，所述控制器进一步配置为：
基于所述数据库从已分类的音频信息中提取特征点；并且
基于提取出的特征点获得所述声学状态信息。
5.根据权利要求4所述的装置，其中，所述控制器进一步配置为：
执行主要成分分析以提取所述特征点。
6.根据权利要求4所述的装置，其中，所述控制器进一步配置为：
利用神经网络生成用于对所述特征点分类的概率模型。
7.根据权利要求1所述的装置，其中，所述情境信息包括与获得所述音频信息的时间、获得所述音频信息的地点以及所述一个或多个动作中的至少一个相关联的信息。
8.根据权利要求7所述的装置，其中，所述控制器进一步配置为：
根据所述车辆的用户随时间的使用模式、所述用户根据地点的使用模式以及针对所述一个或多个动作的使用模式计算所述推荐指数。
9.根据权利要求8所述的装置，其中，所述控制器进一步配置为：
向所述用户随时间的所述使用模式、所述用户根据地点的所述使用模式以及针对所述一个或多个动作的所述使用模式中的每一个分配权重。
10.根据权利要求1所述的装置，其中，所述控制器进一步配置为：
进一步基于所述声学状态信息、计算出的推荐指数以及存储在所述存储器中的所述车辆的用户根据前一推荐的使用历史来生成对所述一个或多个动作中的至少一个动作的推荐。
11.根据权利要求1所述的装置，其中，所述控制器进一步配置为：
基于所述声学状态信息和所述推荐指数选择所述一个或多个动作中的至少一个动作；并且
执行所述一个或多个动作中的所选择的至少一个动作。
12.根据权利要求1所述的装置，其中，所述控制器进一步配置为：
通过所述输出设备输出用于推荐所述一个或多个动作中的所述至少一个动作的消息。
13.根据权利要求1所述的装置，其中，所述控制器进一步配置为：
当所述声学状态信息和所述计算的推荐指数中的每一个满足指定条件时生成对所述一个或多个动作中的待执行的动作的推荐。
14.根据权利要求13所述的装置，其中，所述控制器进一步配置为：
当所述声学状态信息和所述推荐指数中的每一个不满足所述指定条件时通过所述输出设备提供所述一个或多个动作的列表。
15.一种用于基于车辆的环境确定推荐的可靠性的方法，其中，所述方法包括：
通过输入设备获得音频信息；
通过控制器基于所述音频信息和所述车辆的状态获得所述车辆的声学状态信息，所述声学状态信息与所述车辆的所述状态和包含在所述音频信息中的噪声相关联；
当获得所述音频信息时通过所述控制器确定所述车辆的情境信息；
通过所述控制器对所述音频信息执行语音识别以获得文本信息；
通过所述控制器针对与所述文本信息和所述情境信息对应的一个或多个动作计算推荐指数；以及
通过所述控制器基于所述声学状态信息和计算出的推荐指数生成对所述一个或多个动作中的至少一个动作的推荐。
16.根据权利要求15所述的方法，其中，所述声学状态信息包括与所述车辆的所述状态、所述噪声的主要成分以及所述噪声的强度中的至少一个相关联的信息。
17.根据权利要求15所述的方法，其中，所述情境信息包括和获得所述音频信息的时间、获得所述音频信息的地点以及所述一个或多个动作中的至少一个有关的信息。
18.根据权利要求15所述的方法，其中，推荐的生成包括：
通过所述控制器进一步基于所述声学状态信息、计算出的推荐指数以及存储在存储器中的所述车辆的用户根据前一推荐的使用历史来生成对所述一个或多个动作中的所述至少一个动作的推荐。
19.根据权利要求15所述的方法，其中，推荐的生成包括：
当所述声学状态信息和所述推荐指数中的每一个满足指定条件时通过所述控制器生成对所述一个或多个动作中的待执行的动作的推荐。
20.根据权利要求19所述的方法，其中，推荐的生成包括：
当所述声学状态信息和所述推荐指数中的每一个不满足所述指定条件时通过所述控制器提供所述一个或多个动作的列表。
CN201811423559.XA 2017-12-11 2018-11-26 用于基于车辆的环境确定推荐的可靠性的装置和方法 Active CN109920410B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0169006 2017-12-11
KR1020170169006A KR102485342B1 (ko) 2017-12-11 2017-12-11 차량의 환경에 기반한 추천 신뢰도 판단 장치 및 방법

Publications (2)

Publication Number Publication Date
CN109920410A CN109920410A (zh) 2019-06-21
CN109920410B true CN109920410B (zh) 2023-09-26

Family

ID=66696296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811423559.XA Active CN109920410B (zh) 2017-12-11 2018-11-26 用于基于车辆的环境确定推荐的可靠性的装置和方法

Country Status (3)

Country Link
US (1) US10861459B2 (zh)
KR (1) KR102485342B1 (zh)
CN (1) CN109920410B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354406B2 (en) * 2018-06-28 2022-06-07 Intel Corporation Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles
CN110675874A (zh) * 2019-09-29 2020-01-10 深圳欧博思智能科技有限公司 一种基于智能音箱的虚拟角色与ui交互的实现方法
JP7248564B2 (ja) * 2019-12-05 2023-03-29 Ｔｖｓ Ｒｅｇｚａ株式会社 情報処理装置及びプログラム
US11676586B2 (en) * 2019-12-10 2023-06-13 Rovi Guides, Inc. Systems and methods for providing voice command recommendations
US11842731B2 (en) * 2020-01-06 2023-12-12 Salesforce, Inc. Method and system for executing an action for a user based on audio input
CN111949875B (zh) * 2020-08-13 2024-03-08 北京汽车股份有限公司 车辆推荐方法、装置、电子设备及存储介质
CN113887235A (zh) * 2021-09-24 2022-01-04 北京三快在线科技有限公司 一种信息推荐的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046960A (zh) * 2006-03-27 2007-10-03 株式会社东芝 处理语音中的话音的装置和方法
JP2009069707A (ja) * 2007-09-17 2009-04-02 Nippon Seiki Co Ltd 車両用音声認識装置
CN104346431A (zh) * 2013-08-09 2015-02-11 索尼公司 信息处理装置、信息处理方法和程序
CN106463114A (zh) * 2015-03-31 2017-02-22 索尼公司 信息处理设备、控制方法及程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9263040B2 (en) * 2012-01-17 2016-02-16 GM Global Technology Operations LLC Method and system for using sound related vehicle information to enhance speech recognition
US20140142948A1 (en) * 2012-11-21 2014-05-22 Somya Rathi Systems and methods for in-vehicle context formation
WO2014209157A1 (en) * 2013-06-27 2014-12-31 Obschestvo S Ogranichennoy Otvetstvennostiyu "Speaktoit" Generating dialog recommendations for chat information systems
KR20150130854A (ko) * 2014-05-14 2015-11-24 삼성전자주식회사 오디오 신호 인식 방법 및 이를 제공하는 전자 장치
KR101598948B1 (ko) * 2014-07-28 2016-03-02 현대자동차주식회사 음성 인식 장치, 이를 포함하는 차량 및 음성 인식 방법
JP6348831B2 (ja) * 2014-12-12 2018-06-27 クラリオン株式会社 音声入力補助装置、音声入力補助システムおよび音声入力方法
KR102505347B1 (ko) * 2015-07-16 2023-03-03 삼성전자주식회사 사용자 관심 음성 알림 장치 및 방법
KR20180060328A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 멀티 모달 입력을 처리하는 전자 장치, 멀티 모달 입력을 처리하는 방법 및 멀티 모달 입력을 처리하는 서버

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046960A (zh) * 2006-03-27 2007-10-03 株式会社东芝 处理语音中的话音的装置和方法
JP2009069707A (ja) * 2007-09-17 2009-04-02 Nippon Seiki Co Ltd 車両用音声認識装置
CN104346431A (zh) * 2013-08-09 2015-02-11 索尼公司 信息处理装置、信息处理方法和程序
CN106463114A (zh) * 2015-03-31 2017-02-22 索尼公司 信息处理设备、控制方法及程序

Also Published As

Publication number Publication date
US10861459B2 (en) 2020-12-08
KR102485342B1 (ko) 2023-01-05
KR20190068830A (ko) 2019-06-19
US20190180744A1 (en) 2019-06-13
CN109920410A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109920410B (zh) 用于基于车辆的环境确定推荐的可靠性的装置和方法
CN109841212B (zh) 分析具有多个意图的命令的语音识别***和语音识别方法
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US9564125B2 (en) Methods and systems for adapting a speech system based on user characteristics
US9601111B2 (en) Methods and systems for adapting speech systems
CN110648661A (zh) 对话***、车辆和用于控制车辆的方法
US9502030B2 (en) Methods and systems for adapting a speech system
CN110503948B (zh) 对话***和对话处理方法
CN110415679A (zh) 语音纠错方法、装置、设备和存储介质
CN110097870A (zh) 语音处理方法、装置、设备和存储介质
KR20200006739A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
CN110503947B (zh) 对话***、包括其的车辆和对话处理方法
CN111862945A (zh) 一种语音识别方法、装置、电子设备及存储介质
CN111897935A (zh) 基于知识图谱的话术路径选择方法、装置和计算机设备
CN111301312B (zh) 语音识别***的会话引导方法
US11996099B2 (en) Dialogue system, vehicle, and method of controlling dialogue system
CN111312236A (zh) 语音识别***的域管理方法
US20180350358A1 (en) Voice recognition device, voice emphasis device, voice recognition method, voice emphasis method, and navigation system
Loh et al. Speech recognition interactive system for vehicle
US20230317072A1 (en) Method of processing dialogue, user terminal, and dialogue system
CN110562260A (zh) 对话***和对话处理方法
CN115132195A (zh) 语音唤醒方法、装置、设备、存储介质及程序产品
US11542744B2 (en) Agent device, agent device control method, and storage medium
CN111798842B (zh) 对话***和对话处理方法
US20230267923A1 (en) Natural language processing apparatus and natural language processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant