CN112203902B - 设备控制装置以及控制设备的控制方法 - Google Patents

设备控制装置以及控制设备的控制方法 Download PDF

Info

Publication number
CN112203902B
CN112203902B CN201880092576.1A CN201880092576A CN112203902B CN 112203902 B CN112203902 B CN 112203902B CN 201880092576 A CN201880092576 A CN 201880092576A CN 112203902 B CN112203902 B CN 112203902B
Authority
CN
China
Prior art keywords
controller
user
sound
operation target
operation content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880092576.1A
Other languages
English (en)
Other versions
CN112203902A (zh
Inventor
大久保翔太
井上裕史
西山乘
寺口刚仁
志小田雄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Publication of CN112203902A publication Critical patent/CN112203902A/zh
Application granted granted Critical
Publication of CN112203902B publication Critical patent/CN112203902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/215—Selection or confirmation of options

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Computational Linguistics (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在具备检测声音的检测器和控制设备的控制器的设备控制装置中，控制器使用由检测器检测出的声音数据来识别出用户的声音，基于所识别出的所述声音，来分别确定多个设备中的作为操作对象的操作对象设备的类型和针对操作对象设备的操作内容，根据所确定的操作对象设备的类型，来控制使操作对象设备以操作内容进行动作时的时刻。

Description

设备控制装置以及控制设备的控制方法
技术领域
本发明涉及一种设备控制装置以及控制设备的控制方法。
背景技术
关于以往已知的车载用电子设备的声音识别结果通知方法，利用声音识别部件来识别由用户发出的声音，根据识别结果从扬声器输出合成声音作为消息，在从用户接收到再次通知指示的情况下，再次从扬声器输出合成声音来再次进行通知。然后，在经过了能够接收到再次通知指示的规定时间的情况下，基于识别结果来执行规定的处理(例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2003-271193号公报
发明内容
发明要解决的问题
然而，在上述通知方法中存在以下问题：从用户发出声音起直到设备执行规定的处理为止需要大量的时间。
本发明要解决的问题在于，提供一种能够缩短从用户发出声音起直到设备进行动作为止的时间的设备控制装置以及控制设备的控制方法。
用于解决问题的方案
本发明通过以下方式来解决上述问题：识别出用户的声音，基于识别出的声音，来分别确定多个设备中的作为操作对象的操作对象设备的类型和针对操作对象设备的操作内容，根据所确定的操作对象的类型，来控制使操作对象设备以所确定的操作内容进行动作时的时刻。
发明的效果
本发明能够缩短从用户发出声音起直到使设备进行动作为止的时间。
附图说明
图1是设备控制装置的框图。
图2是图1所示的控制器的框图。
图3是示出图1所示的控制器的控制流程的流程图。
具体实施方式
以下，基于附图来说明本发明的实施方式。
《第一实施方式》
图1是本发明所涉及的设备控制装置1的框图。设备控制装置1具备麦克风11、扬声器12、雨刷21、灯22、音响23、空调24、数据库30以及控制器100。本实施方式的设备控制装置1是搭载于车辆的控制装置，用于识别用户的声音，并基于声音来控制多个车载设备。
麦克风11将用户发出的声音转换为电信号后输出到控制器100。麦克风11相当于检测包括用户的声音在内的车厢内的声音的检测器。扬声器12是将从控制器100输出的声音信号转换为声音后朝向车厢内的用户发出声音的装置。声音识别***包括麦克风11、扬声器12、数据库30以及控制器100。声音识别***利用公知的声音识别技术，根据由麦克风11检测到的声音来确定表示用户的意思的信息。然后，声音识别***根据所确定的信息，从扬声器12发出声音。由此，声音识别***实现了用户与控制器100之间的对话。
雨刷21是用于去除前挡风玻璃表面的污垢等的设备。灯22是照亮车外的照明设备。音响是包括收音机和播放装置的设备，是用于在车厢内播放音乐等的设备。空调24是在车厢内调整空气(温度等)的设备。雨刷21和灯22是与驾驶有关系的设备(以下，称为驾驶关联设备)。驾驶关联设备是在通过用户操作或自动驾驶使车辆行驶的情况下给车辆的行为和/或用户的驾驶操作带来影响的设备。此外，驾驶关联设备不限于雨刷21和灯22，例如还包括方向盘、指示灯等。
音响23和空调24是与驾驶无关的设备(以下，也称为非驾驶关联设备)。非驾驶关联设备不限于音响23和空调24，例如也可以是阅读灯等。
数据库30是记录介质，记录有进行声音识别所需要的数据、对车载设备进行操作所需要的数据等。对于声音识别所需要的数据，如果是日语，则能够列举例如为了区分“あ”、“い”等语言所需要的声学模型的数据。另外，在声音识别所需要的数据中保存有用于扩展所识别出的声音信号与特定序列的相似性的算法。另外，在数据库中记录有用于识别作为操作对象的设备的数据(以下，也称为设备识别数据)、用于识别对某个设备的操作的数据(也称为操作识别数据)。例如，在用于识别空调24的识别数据中包括空调这个名称的数据、空气调节器这个名称的数据。另外，在日语的情况下，在夏天使空调驱动时，作为空调的俗称，使用“冷气”这样的语言。因此，在空调24的识别数据中也可以包括“冷气”。操作识别数据至少在被区分出符合驾驶关联设备和非驾驶关联设备这两个种类中的哪一种的基础上，将该操作识别数据存储到数据库中。例如，在操作识别数据是空调的情况下，符合非驾驶关联设备的类型。
操作识别数据是表示设备的各种操作的数据，被按设备进行分类后存储到数据库30中。例如，在设备是空调24的情况下，操作识别数据示出操作空调24所需要的表示操作的名称、数字、温度调整的用语等。例如，在假定了用户发话来使空调进行动作的场景的情况下，预计用户会说出“开”、“关”、“增强”、“减弱”、“干燥模式”、“25℃”等用语。在操作识别数据中包括这种与操作有关的语言数据。而且，将关于空调24的多个操作识别数据与空调24的设备识别数据相关联地记录在数据库30中。
另外，在数据库30中存储有由声音识别***得到的识别结果的数据。例如，在用户与控制器100之间进行了对话的情况下，将根据用户的声音识别出的数据记录到数据库30中。构成为对被记录到数据库30中的用户的声音数据进行分析并更新在上述声音识别处理中用到的关键词等，由此提高声音识别的精度。
控制器100控制雨刷21、灯22、音响23、空调24等设备以及声音识别***。控制器100具有ROM、CPU等。ROM记录用于执行控制的程序。CPU是用于执行被记录在ROM中的程序的单元。控制器100成为用于执行本实施方式的设备的控制方法的控制主体。
接着，使用图2来说明控制器100的功能。图2是控制器100的框图。控制器100具备声音输入输出部101、声音识别部102、设备确定部103以及操作指令部104作为用于使用声音识别***来控制设备的功能块。
声音输入输出部101使用麦克风11获取由用户发出的声音的声音数据，以规定的周期将声音数据发送到声音识别部102。声音输入输出部101使用扬声器12向用户输出由声音识别部102生成的声音的数据。在空调24等设备进行动作时，声音输入输出部101以能够获取来自用户的声音的状态进行待机。另外，在对话时，声音输入输出部101也以能够获取来自用户的声音的状态进行待机。对话是指用户与控制器100之间利用声音识别***进行的对话。
声音识别部102对由声音输入输出部101获取到的用户的声音数据进行分析，将用户发出的声音转换为字符串的信息。例如，在用户说出“エアコン(空调)”的情况下，声音识别部102使用自然语言处理技术，按“エ”、“ア”、“コ”、“ン”这个字符串来识别声音。此外，从声音数据向字符串的转换处理受到来自外部的噪声等的影响，因此例如即使在用户说出空调的情况下，声音识别部102也有时搞错一部分字符而识别为“エ”、“ワ”、“コ”、“ン”。这样的声音识别的错误会影响后述的准确度的值。声音识别部102使用存储在数据库中的声学模型和算法来识别用户的声音。然后，声音识别部102将识别结果输出到设备确定部103。另外，声音识别部102将识别出的声音的数据记录到数据库30中。
在用户与控制器100之间进行对话的情况下，声音识别部102也可以根据通过声音识别而识别出的字符串来确定与字符串相对应的指令，将与指令相应的反应以声音数据的形式输出。例如，在用户说出“今日の天気は？(今天的天气怎样？)”的情况下，声音识别部102对用户的声音数据进行分析，并按照“きょ”、“う”、“の”、“て”、“ん”、“き”、“は”的顺序生成字符串。通过将字符串连接，声音识别部102能够掌握用户的意图。然后，声音识别部102生成与所掌握的用户的意图相匹配的声音的数据，并将声音的数据输出到声音输入输出部101。在上述例子中，由于能够识别为用户正在询问今天的天气，因此声音识别部102输出“晴”等声音的数据。由此，实现用户与控制器100之间的对话。
声音识别部102确定来自用户的发声符合操作请求的发声、等待用户回答以及对话中止请求中的哪一个分类。操作请求表示用户正在请求对设备的操作。等待用户回答表示声音识别部正在等待来自用户的回答的状态。对话中止请求表示用户正在请求中止与***的对话。
在来自用户的发声符合操作请求的发声的情况下，声音识别部102将通过声音识别而确定的字符串的数据输出到设备确定部103。
在来自用户的发声符合等待用户回答的情况下，声音识别部102将等待用户回答的待机状态保持规定期间。在本实施方式中，在基于用户的声音确定了雨刷操作的情况下，由于雨刷是给用户的驾驶带来影响的设备，因此在动作前让用户确认是否可以使雨刷进行动作。在这种情况下，声音识别部102成为等待用户回答的状态。另外，声音识别部102在成为等待用户的回答的待机状态的情况下，也可以向用户通知声音的识别结果。例如，在基于用户的声音确定了雨刷操作的情况下，声音识别部102也可以从扬声器12向用户输出“是否可以操作雨刷”这样的声音。通过发出这样的声音，能够向用户传达识别结果的正确与错误。
在来自用户的发声符合对话中止请求的情况下，中止用户与控制器100之间的对话。例如，在用户说出“声音识别***停止”并且声音识别部102能够通过声音识别来识别出用户的意图的情况下，对话被中止。
设备确定部103基于由声音识别部102识别出的声音的识别结果，来分别确定由用户设为目标的操作对象设备和操作内容。设备确定部103参照通过识别结果示出的字符串(相当于用户的声音)的数据和记录在数据库30中的设备识别数据，来从存储在数据库中的设备的名称中确定与由字符串表示的名称一致或相似的名称。
设备确定部103参照通过识别结果示出的字符串(相当于用户的声音)的数据和记录在数据库30中的操作识别数据，来从存储在数据库中的操作内容的名称中确定与由字符串表示的名称一致或相似的名称。
另外，设备确定部103在确定操作对象设备和操作内容时，计算各自的准确度。操作对象设备的准确度表示根据声音数据识别出的声音数据与设备识别数据的相似性。操作内容的准确度表示根据声音数据识别出的声音数据与操作识别数据的相似性(字符串的相似性)。准确度越高，则用户想要操作的设备与通过声音识别确定的设备之间一致的概率越高。另外，准确度越高，则用户想要操作的操作内容与通过声音识别确定的操作内容之间一致的概率越高。即，操作对象设备的准确度和操作内容的准确度表示声音识别***的识别结果的准确度，准确度表示数据的一致度。
准确度例如用从0到1的值表示。设备确定部103在能够根据声音数据确定多个设备的情况下，针对所确定的每个设备计算准确度。设备确定部103在能够根据声音数据确定多个操作内容的情况下，针对所确定的每个操作内容计算准确度。
设备确定部103将计算出的准确度与准确度阈值进行比较，在计算出的准确度比准确度阈值高的情况下，将与计算出的准确度对应的设备确定为操作对象设备。准确度阈值是预先设定的阈值。由此，设备确定部103基于识别出的声音来确定操作对象设备。在数据库30中，设备识别数据被根据驾驶关联设备和非驾驶关联设备进行分类。因此，当通过设备确定部103确定操作对象设备时，操作对象设备的分类也被确定。
设备确定部103对于操作内容也同样地将计算出的准确度与准确度阈值进行比较，在计算出的准确度比准确度阈值高的情况下，将与计算出的准确度相对应的操作内容确定为针对操作对象设备的操作内容。由此，设备确定部103基于所识别出的声音来确定针对操作对象设备的操作内容。
设备确定部103将包含所确定的操作对象设备的信息、所确定的操作内容的信息以及准确度的信息的信号发送到操作指令部104，另外，将各信息记录到数据库30中。在通过用户与控制器100之间的对话来对设备进行操作的情况下，操作对象设备、操作内容以及准确度的信息在对话中被保持在数据库30中。在对话已结束的情况下或者在对操作对象设备的操作已结束的情况下，设备确定部103重新设置数据库中保持的信息。
设备确定部103将计算出的准确度与准确度阈值进行比较，在计算出的准确度为准确度阈值以下的情况下，向声音识别部102输出用于请求用户再次发声的信号。在设备确定部103无法确定操作对象设备的情况下，向设备确定部103输出请求再次发声的信号，以请用户说出设备的名称。另外，在设备确定部103无法确定操作内容的情况下，向设备确定部103输出请求再次发声的信号，以请用户说出表示操作内容的语言。另外，在设备确定部103无法根据通过声音识别而识别出的声音数据来计算准确度的情况下，向声音识别部102输出用于请求用户再次发声的信号。
操作指令部104基于从设备确定部103接收到的操作对象设备的信息和操作内容的信息，来控制操作对象设备的动作。此时，操作指令部104根据操作对象设备的类型，来控制使操作对象设备以操作内容进行动作的动作时刻。
另外，有时由于用户的音质、车厢内的声音等导致声音识别***的声音识别精度降低。因此，在根据用户的声音使设备动作的情况下，还考虑在动作开始前使用用户与***的对话来针对所有设备的操作确认用户的意思。然而，在针对所有设备的操作进行用户的意思确认的情况下，基于声音识别的对话会耗费时间，因此从用户发出声音起直到设备进行动作为止的时间变长。
在本实施方式中，在将多个设备的类型分类为需要来自用户的回答的设备和不需要来自用户的回答的设备的基础上，根据操作对象设备的类型来控制动作时刻。即，在操作对象设备是需要来自用户的回答的设备的情况下，控制器100进行用于使用户确认是否应该使设备进行动作的通知，在从用户处确认了使设备进行动作的意思的回答的情况下，使设备进行动作。通过用户与控制器100之间的对话来对用户进行通知。另外，在操作对象设备是不需要来自用户的回答的设备的情况下，控制器100不进行用于使用户确认是否应该使设备进行动作的通知而使设备进行动作。此外，在操作对象设备是不需要来自用户的回答的设备的情况下，控制器100也可以进行使设备开始动作的意思的通知，不等待来自用户的回答而使设备进行动作。
如上所述，多个设备的类型被分为驾驶关联设备和非驾驶关联设备。在操作对象设备是驾驶关联设备的情况下，操作指令部104在使操作对象设备以所确定的操作内容进行动作之前，与用户进行对话。另一方面，在操作对象设备是非驾驶关联设备的情况下，操作指令部104根据声音识别结果的准确度来控制动作时刻。即，在准确度为判定阈值以上的情况下，操作指令部104不使用户进行动作确认而使操作对象设备以所确定的操作内容进行动作。另一方面，在准确度小于判定阈值的情况下，操作指令部104在使操作对象设备以所确定的操作内容进行动作之前，使用户进行动作确认。然后，操作指令部104向操作对象设备发送表示所确定的操作内容的指令值。
接着，使用图3说明控制器100的控制流程。图3是示出控制器100的控制流程的流程图。此外，图3所示的控制流程以规定的周期重复执行。
在步骤S1中，控制器100使用麦克风11获取用户的声音。在步骤S2中，控制器100执行声音识别处理。声音识别处理是由声音识别***执行的控制处理，并且是用于使用从麦克风11输出的声音数据来识别用户的声音的处理。另外，控制器100将在声音识别处理中识别出的声音数据存储到数据库30中。即，控制器100将存储控制和声音识别控制以并行方式执行，其中，所述存储控制用于将表示声音的识别结果的数据存储到数据库30中。由此，在进行声音识别处理时，能够利用过去的识别结果，因此能够提高声音识别的精度。
在步骤S3中，控制器100根据声音识别处理的结果来判定是否识别出新声音。新声音是用于在用户与控制器100之间开始对话的声音。控制器100在判定为识别出新声音的情况下，设为能够与用户之间进行对话的状态。例如，在声音识别***具有噪声消除功能以提高声音识别精度的情况下，控制器100成为使该噪声消除功能发挥功能的状态。控制器100在判定为没有识别出新声音的情况下，执行步骤S1的控制流程。通过重复执行步骤S1～步骤S3的控制循环，来维持等待来自用户的发声的状态。
在步骤S4中，控制器100开始进行用于基于在声音识别处理中识别出的声音来确定操作对象设备和操作内容的设备确定处理。在步骤S5中，控制器100判定是否以设备操作为目标。例如，在通过声音识别而识别出的字符串不符合由设备识别数据表示的名称的情况下，控制器100判定为不是以设备操作为目标，从而执行步骤S1的控制流程。另外，控制器100针对识别出的声音计算准确度。
在判定为以设备操作为目标的情况下，在步骤S6中，控制器100将计算出的准确度与准确度阈值进行比较，基于其比较结果来判定是否能够确定操作对象设备。在无法确定操作对象设备的情况下，控制器100执行步骤S1的控制流程。此时，控制器100也可以使扬声器12输出用于表示无法确定操作对象设备、以及要求用户再次发声的声音。
在判定为能够确定操作对象设备的情况下，在步骤S7中，控制器100将计算出的准确度与准确度阈值进行比较，来判定是否能够确定与操作对象设备相对应的操作内容。在无法确定操作内容的情况下，控制器100执行步骤S1的控制流程。此时，控制器100也可以使扬声器12输出用于表示无法确定操作内容、以及要求用户再次发声的声音。
如上所述，控制器100通过执行步骤S6的控制处理和步骤S7的控制处理，在基于进行声音识别所得到的声音无法确定操作对象设备和操作内容中的至少任一方的情况下，请求用户再次发声。由此，用户能够迅速地理解为了操作设备应该如何做。
在步骤S8中，控制器100判定操作对象设备与操作内容是否对应。在操作对象设备与操作内容不对应的情况下，控制器100执行步骤S17的控制流程。
在操作对象设备与操作内容相对应的情况下，在步骤S9中，控制器100判定所确定的操作对象设备的类型是否符合驾驶关联设备。在操作对象设备符合驾驶关联设备的情况下，在步骤S10中，控制器100进行用于使用户确认是否通过声音使操作对象设备进行动作的通知(以后称为动作确认)。例如在将雨刷确定为操作对象设备的情况下，控制器100使扬声器12输出“是否操作雨刷？”这样的声音。
在步骤S11中，控制器100保持等待由用户再次发声的待机状态。控制器100在等待再次发声的过程中从用户处确认了使设备进行动作的意思的回答的情况下，在后述的步骤S16的控制流程中使设备进行动作。
在步骤S9的控制流程中判定为所确定的操作对象设备的类型不符合驾驶关联设备的情况下(即，判定为所确定的操作对象设备的类型符合非驾驶关联设备的情况下)，控制器100判定声音识别结果的准确度是否为判定阈值以上。
在声音识别结果的准确度小于判定阈值的情况下，控制器100在步骤S13中使用户通过声音进行动作确认。在步骤S14中，控制器100保持等待由用户再次发声的待机状态。控制器100在等待再次发声的过程中从用户处确认了使设备动进行作的意思的回答的情况下，在后述的步骤S16的控制流程中使设备进行动作。
在步骤S15中，控制器100判定在从通过步骤S11或步骤S14的控制处理而开始待机状态的时间点起的规定期间内是否识别到指出错误的声音。在规定期间内通过声音识别处理识别到指出错误的声音的情况下，控制器100执行步骤S18的控制处理。在规定时间内没有识别到指出错误的声音的情况下，控制器100执行步骤S16的控制流程。
在步骤S12的控制流程中判定为声音识别结果的准确度为判定阈值以上的情况下，控制器100不进行如步骤S10或步骤S13的控制流程那样通过声音进行动作确认，而执行步骤S16的控制流程。此外，在此也可以在步骤S12与步骤S16之间进行使所确定的操作对象设备(在该情况下为非驾驶关联设备)开始动作的意思的通知。例如，如果操作对象设备是“空调”、操作内容是“21℃”，则该情况下的通知内容为“将空调设定为21℃”这样的通知。也就是说，在所确定的操作对象设备是非驾驶关联设备、且声音识别结果的准确度为阈值以上的情况下，也可以是，不进行用于使用户确认是否动作的通知，但进行使操作对象设备开始动作等的单方面的通知。
在步骤S16中，控制器100使所确定的操作对象设备以所确定的操作内容进行动作。在所确定的操作对象设备是驾驶关联设备的情况下，控制器100在步骤S10的控制流程中进行动作确认，在步骤S11和步骤S15的控制流程中从用户处确认了使设备动作的意思的回答的情况下，使操作对象设备进行动作。另外，在所确定的操作对象设备是非驾驶关联设备、且声音识别结果的确信度小于阈值的情况下，在步骤S13的控制流程中进行动作确认，在步骤S14和步骤S15的控制流程中从用户处确认了使设备进行动作的意思的回答的情况下，使操作对象设备进行动作。此外，控制器100在步骤S10或步骤S13的控制流程中进行了动作确认之后在规定期间内无法确认来自用户的回答的情况下，控制器100也可以再次进行动作确认。另外，控制器100在步骤S10或步骤S13的控制流程中进行了动作确认之后在规定期间内无法确认来自用户的回答的情况下，控制器100也可以不对操作对象设备进行操作，而进行中止声音识别的处理的意思的通知。
在步骤S8的控制流程中判定为操作对象设备与操作内容不对应的情况下，在步骤S17中，控制器100从扬声器12输出错误消息。错误消息是无法确定操作内容的意思的消息或者是无法确定操作对象设备的意思的消息。在步骤S18中，控制器100使扬声器12输出用于表示要求用户再次发声的声音，之后执行步骤S1的控制处理。
此外，在上述实施方式中，例示了图1中记载的各硬件作为搭载于车辆的车辆设备，但也可以通过用网络连接的服务器的一部分来实现图1中记载的硬件的一部分或图2中记载的控制器100的功能的一部分。例如，也可以构成为：将声音识别部102设置于用网络连接的服务器，接收来自车辆所具备的声音输入输出部101的声音数据，并向车辆发送通过声音识别出的结果。
另外，也可以通过用网络连接的移动终端来实现图1中记载的硬件的一部分或图2中记载的控制器100的功能的一部分。例如，也可以构成为：利用具备声音输入部101和声音识别部102的移动设备来进行针对用户的发声的声音识别以及与用户的对话，并向车辆发送通过声音识别出的结果。
如上所述，在本实施方式中，使用由检测器检测出的声音数据来识别出用户的声音，基于所识别出的所述声音，来分别确定多个设备中的作为操作对象的操作对象设备的类型和针对操作对象设备的操作内容，根据所确定的操作对象设备的类型来控制使操作对象设备以操作内容进行动作时的时刻。由此，能够根据设备的类型使动作时刻提前。其结果，能够缩短从用户发出声音起直到使设备进行动作为止的时间。
另外，在本实施方式中，在所确定的操作对象是第一设备的情况下，使第一设备以所确定的操作内容进行动作，在所确定的操作对象是第二设备(与第一设备不同类型的第二电子部件)的情况下，在使第二设备以所确定的操作内容进行动作之前，进行用于要求用户做出回答的通知。由此，在通过声音识别使要求用户进行动作确认的设备进行动作的情况下，进行用于要求用户做出回答的通知，因此能够执行最佳的对象设备传递处理以及操作执行处理。
另外，在本实施方式中，将多个设备的类型区分为非驾驶关联设备(相当于第一设备)和驾驶关联设备(相当于第二设备)。由此，操作对象设备能够根据是否给车辆的行为或驾驶操作带来影响，来使对象设备传递处理和操作执行处理分支。
另外，在本实施方式中，在所确定的操作对象是非驾驶关联设备的情况下，不对用户进行通知而使非驾驶关联设备以所确定的操作内容进行动作。由此，由于不使用户进行动作确认而直接转移到操作，因此能够不使用户等待而迅速地执行操作。
另外，在本实施方式中，在所确定的操作对象是非驾驶关联设备的情况下，不进行用于要求所述用户做出回答的通知，而使非驾驶关联设备以所确定的操作内容进行动作。由此，不使用户进行动作确认而直接转移到操作，因此能够不使用户等待而迅速地执行操作。
另外，在本实施方式中，使声音的数据、表示操作对象设备的类型的数据以及表示操作内容的数据分别存储到数据库中，参照存储在数据库中的数据，来分别确定与由麦克风11(相当于检测器)检测出的声音相对应的操作对象设备和操作内容。由此，能够提高声音识别的精度。
另外，在本实施方式中，将声音识别控制和设备确定控制以并行方式执行，其中，所述声音识别控制用于识别声音，所述设备确定控制用于确定操作对象设备的类型和操作内容。由此，在用户结束发声之后，能够迅速地执行设备确定控制。
另外，在本实施方式中，计算表示操作对象设备和操作内容的识别结果的准确度。由此，能够使用准确度以最佳的处理使控制流程分支。
另外，在本实施方式中，将用户的声音的识别结果通知给用户。由此，知晓用户对识别结果的回答，因此能够迅速地转移到执行操作或请求再次发声的处理。
另外，在本实施方式中，根据识别出的声音，使用扬声器输出声音，由此与用户进行对话，根据声音的识别结果来中止与用户的对话。由此，知晓用户的对话中止的意图，因此能够迅速地进行对话的中止。
此外，如图3所示，在无法确定操作对象设备和操作对象中的至少任一方的情况下，执行步骤S1～步骤S7的控制流程以及步骤S1～步骤S8的控制流程中的任一个控制循环。
在本实施方式的变形例中，在重复执行控制循环的期间以无法确定操作对象设备和操作对象中的至少一方的状态经过了规定时间的情况下，控制器100请求用户再次发声。由此，能够向用户传达设备操作所需要的信息不足，因此能够提示用户进行补充。
另外，在本实施方式的其它变形例中，在重复执行控制循环的期间以计算出的准确度为规定值以下的状态经过了规定时间的情况下，请求用户再次发声。由此，在准确度小于阈值的情况下请求再次发声，因此能够防止因不充分的准确度而导致的***的不稳定的动作。
另外，在本实施方式的其它变形例中，在经过上述规定期间之前从与用户的对话中确定了声音的识别结果的错误的情况下，请求用户再次发声。由此，能够不等待再次发声的请求而迅速地转移到再次发声。
另外，在本实施方式的其它变形例中，在所确定的操作对象是驾驶关联设备的情况下，在使驾驶关联设备以所确定的操作内容进行动作之前，使与驾驶关联设备不同的设备进行动作。控制器100也可以将灯作为与驾驶关联设备不同的设备使其发光。灯通过闪烁等来表示特定的驾驶关联设备的动作的开始。由此，用户能够在驾驶关联设备实际动作之前识别出操作对象是驾驶关联设备。
另外，在本实施方式的其它变形例中，在所确定的操作对象是非驾驶关联设备的情况下，在使非驾驶关联设备以所确定的操作内容进行动作之前，使非驾驶关联设备以规定的操作内容进行动作。作为例子，在用户的请求为“减弱空调的风量”的情况下，控制器100重复进行数次使空调的风量减弱0.2秒左右的短暂时间的动作。即，用户所期望的“减弱风量”并不是几秒左右，而是期望长时间地减弱风量，但作为与所确定的操作内容不同的操作，控制器使风量短时间地减弱。由此，用户能够识别出空调是操作对象。此外，如果取代调整风量的时间而改变风量，则用户能够根据所产生的声音识别出空调是操作对象。另外，作为另一例，在用户的目标是“将收音机设定为无线电台AA”的情况下，通过从音响将固有的声音播放0.2秒左右的短暂时间，来向用户传达音响是操作对象。由此，能够安全且迅速地向用户传达操作对象设备。
另外，在本实施方式的其它变形例中，在基于识别出的所述声音无法确定操作对象设备和操作内容中的至少任一方的情况下，使输出装置输出声音或光。设置表示驾驶关联设备的动作的照明，通过使该照明发光，能够向用户传达操作对象。由此，通过警报音或光在短时间内进行传达，因此能够迅速地转移到再次发声及对其的识别。此外，输出装置也可以是扬声器12。
此外，在步骤S10的控制流程中，向用户输出了声音，但也可以取代输出声音，而通过使用了非驾驶关联设备152的功能的固有的动作，来向用户传达操作对象设备。例如，在非驾驶关联设备152为音响的情况下，固有的动作例如相当于固有的声音。
附图标记说明
1：设备控制装置；11：麦克风；12：扬声器；21：雨刷；22：灯；23：音响；24：空调；30：数据库；100：控制器；101：声音输入输出部；102：声音识别部；103：设备确定部；104：操作指令部。

Claims (13)

1.一种设备控制装置，具备：
检测器，其检测声音；以及
控制器，其控制多个设备，
其中，所述多个设备包括与车辆的驾驶不相关的第一设备和与所述车辆的驾驶相关联的第二设备，
所述控制器使用由所述检测器检测出的声音数据来识别出用户的声音，
所述控制器基于识别出的所述声音，来分别确定多个所述设备中的作为操作对象的操作对象设备的类型和针对所述操作对象设备的操作内容，
在所确定的所述操作对象是所述第一设备的情况下，所述控制器进行使所述第一设备的动作以所确定的所述操作内容开始的意思的通知，并且使所述第一设备以所确定的所述操作内容进行动作，
在所确定的所述操作对象是所述第二设备的情况下，所述控制器在使所述第二设备以所确定的所述操作内容进行动作之前，对所述用户进行用于要求做出回答的通知，使与所述第二设备不同的设备进行动作。
2.根据权利要求1所述的设备控制装置，其中，
在所确定的所述操作对象是所述第一设备的情况下，所述控制器不对所述用户进行用于要求做出回答的通知，而使所述第一设备以所确定的所述操作内容进行动作。
3.根据权利要求1所述的设备控制装置，其中，
还具备数据库，所述数据库分别存储所述声音的数据、表示所述操作对象设备的类型的数据以及表示所述操作内容的数据，
所述控制器参照存储在所述数据库中的数据，来分别确定与由所述检测器检测出的声音相对应的所述操作对象设备和所述操作内容。
4.根据权利要求1所述的设备控制装置，其中，
所述控制器将声音识别控制与设备确定控制以并行方式执行，其中，所述声音识别控制用于识别所述声音，所述设备确定控制用于确定所述操作对象设备的类型和所述操作内容。
5.根据权利要求1所述的设备控制装置，其中，
所述控制器基于由所述检测器检测出的声音，来计算表示所述操作对象设备和所述操作内容的识别结果的准确度。
6.根据权利要求1所述的设备控制装置，其中，
所述控制器在基于识别出的所述声音无法确定所述操作对象设备和所述操作内容中的至少任一方的情况下，请求所述用户再次发声。
7.根据权利要求1所述的设备控制装置，其中，
还具备输出声音或光的输出装置，
所述控制器在基于识别出的所述声音无法确定所述操作对象设备和所述操作内容中的至少任一方的情况下，使所述输出装置输出所述声音或所述光。
8.根据权利要求1所述的设备控制装置，其中，
还具备扬声器，
所述控制器根据所识别出的所述声音，使用所述扬声器输出声音，由此与所述用户进行对话，
在以基于识别出的所述声音无法确定所述操作对象设备和所述操作内容中的至少任一方的状态经过了规定时间的情况下，所述控制器请求所述用户再次发声。
9.根据权利要求5所述的设备控制装置，其中，
还具备扬声器，
所述控制器根据所识别出的所述声音，使用所述扬声器输出声音，由此与所述用户进行对话，
在以计算出的所述准确度为规定值以下的状态经过了规定时间的情况下，所述控制器请求所述用户再次发声。
10.根据权利要求8或9所述的设备控制装置，其中，
所述控制器在经过所述规定时间之前根据所述对话确定出所述声音的识别结果错误的情况下，请求所述用户再次发声。
11.一种设备控制装置，具备：
检测器，其检测声音；以及
控制器，其控制多个设备，
其中，所述多个设备包括与车辆的驾驶不相关的第一设备和与所述车辆的驾驶相关联的第二设备，
所述控制器使用由所述检测器检测出的声音数据来识别出用户的声音，
所述控制器基于识别出的所述声音，来分别确定多个所述设备中的作为操作对象的操作对象设备的类型和针对所述操作对象设备的操作内容，
在所确定的所述操作对象是所述第一设备的情况下，所述控制器进行使所述第一设备的动作以所确定的所述操作内容开始的意思的通知，在使所述第一设备以所确定的所述操作内容进行动作之前，使所述第一设备以规定的操作内容进行动作，
在所确定的所述操作对象是所述第二设备的情况下，所述控制器在使所述第二设备以所确定的所述操作内容进行动作之前，对所述用户进行用于要求做出回答的通知。
12.一种设备控制装置，具备：
检测器，其检测声音；以及
控制器，其控制多个设备，
其中，所述多个设备包括与车辆的驾驶不相关的第一设备和与所述车辆的驾驶相关联的第二设备，
所述控制器使用由所述检测器检测出的声音数据来识别出用户的声音，
所述控制器基于识别出的所述声音，来分别确定多个所述设备中的作为操作对象的操作对象设备的类型和针对所述操作对象设备的操作内容，
在所确定的所述操作对象是所述第一设备的情况下，所述控制器进行使所述第一设备的动作以所确定的所述操作内容开始的意思的通知，在使所述第一设备以所确定的所述操作内容进行动作之前，使所述第一设备以规定的操作内容进行动作，
在所确定的所述操作对象是所述第二设备的情况下，所述控制器在使所述第二设备以所确定的所述操作内容进行动作之前，对所述用户进行用于要求做出回答的通知，使与所述第二设备不同的设备进行动作，
在所述规定的操作内容中，进行与所确定的所述操作内容相关联的操作。
13.一种控制方法，用于由控制设备的控制器对与车辆的驾驶不相关的第一设备和与所述车辆的驾驶相关联的第二设备进行控制，
在所述控制方法中：
使用由检测器检测出的声音数据来识别出用户的声音，
基于识别出的所述声音，来分别确定多个所述设备中的作为操作对象的操作对象设备的类型和针对所述操作对象设备的操作内容，
在所确定的所述操作对象是所述第一设备的情况下，进行使所述第一设备的动作以所确定的所述操作内容开始的意思的通知，并且使所述第一设备以所确定的所述操作内容进行动作，
在所确定的所述操作对象是所述第二设备的情况下，在使所述第二设备以所确定的所述操作内容进行动作之前，对所述用户进行用于要求做出回答的通知，使与所述第二设备不同的设备进行动作。
CN201880092576.1A 2018-04-20 2018-04-20 设备控制装置以及控制设备的控制方法 Active CN112203902B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2018/000566 WO2019202351A1 (ja) 2018-04-20 2018-04-20 機器制御装置及び機器を制御する制御方法

Publications (2)

Publication Number Publication Date
CN112203902A CN112203902A (zh) 2021-01-08
CN112203902B true CN112203902B (zh) 2024-02-06

Family

ID=68239391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880092576.1A Active CN112203902B (zh) 2018-04-20 2018-04-20 设备控制装置以及控制设备的控制方法

Country Status (5)

Country Link
US (1) US11820394B2 (zh)
EP (1) EP3782856B1 (zh)
JP (1) JP7192858B2 (zh)
CN (1) CN112203902B (zh)
WO (1) WO2019202351A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428452B (zh) * 2018-03-14 2019-12-13 百度在线网络技术（北京）有限公司 终端支架和远场语音交互***
CN113715843B (zh) * 2021-09-03 2022-06-21 北京易航远智科技有限公司 一种无人驾驶设备现场求助脱困的方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6293706A (ja) * 1985-10-21 1987-04-30 Amada Co Ltd ロボツトの制御方法
JP2009251019A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 音声認識装置
CN107901915A (zh) * 2017-11-24 2018-04-13 重庆长安汽车股份有限公司 基于语音控制的车辆驾驶自动化***及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59117610A (ja) * 1982-12-24 1984-07-07 Nippon Denso Co Ltd 車載機器制御装置
US6249720B1 (en) 1997-07-22 2001-06-19 Kabushikikaisha Equos Research Device mounted in vehicle
JP3894005B2 (ja) 2002-03-14 2007-03-14 株式会社デンソー 車載用電子機器、車載用電子機器の音声認識結果報知方法、音声認識確認通知用プログラム及びナビゲーションシステム
US20040192404A1 (en) * 2002-06-26 2004-09-30 Marios Zenios Activation system and method for establishing a cellular voice communication through a radio system
JP2004050975A (ja) * 2002-07-19 2004-02-19 Equos Research Co Ltd 車載装置、データ作成装置、及びデータ作成プログラム
JP2004198832A (ja) * 2002-12-19 2004-07-15 Nissan Motor Co Ltd 音声認識装置
US20040143440A1 (en) * 2003-01-03 2004-07-22 Venkatesh Prasad Vehicle speech recognition system
EP1555652B1 (en) * 2004-01-19 2007-11-14 Harman Becker Automotive Systems GmbH Activation of a speech dialogue system
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
US10546441B2 (en) * 2013-06-04 2020-01-28 Raymond Anthony Joao Control, monitoring, and/or security, apparatus and method for premises, vehicles, and/or articles
JP2016218361A (ja) * 2015-05-25 2016-12-22 クラリオン株式会社 音声認識システム、車載器およびサーバ装置
US10095473B2 (en) * 2015-11-03 2018-10-09 Honeywell International Inc. Intent managing system
US10852720B2 (en) * 2016-02-10 2020-12-01 Harman International Industries, Incorporated Systems and methods for vehicle assistance
US20180174581A1 (en) * 2016-12-19 2018-06-21 Pilot, Inc. Voice-activated vehicle lighting control hub

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6293706A (ja) * 1985-10-21 1987-04-30 Amada Co Ltd ロボツトの制御方法
JP2009251019A (ja) * 2008-04-01 2009-10-29 Toyota Motor Corp 音声認識装置
CN107901915A (zh) * 2017-11-24 2018-04-13 重庆长安汽车股份有限公司 基于语音控制的车辆驾驶自动化***及方法

Also Published As

Publication number Publication date
WO2019202351A1 (ja) 2019-10-24
US20210163032A1 (en) 2021-06-03
JP7192858B2 (ja) 2022-12-20
EP3782856B1 (en) 2024-01-03
EP3782856A1 (en) 2021-02-24
US11820394B2 (en) 2023-11-21
CN112203902A (zh) 2021-01-08
EP3782856A4 (en) 2021-05-05
JPWO2019202351A1 (ja) 2021-05-20

Similar Documents

Publication Publication Date Title
US20200312329A1 (en) Performing speech recognition using a local language context including a set of words with descriptions in terms of components smaller than the words
US9053704B2 (en) System and method for standardized speech recognition infrastructure
CN108682419A (zh) 语音控制方法及设备、计算机可读存储介质及设备
US7689424B2 (en) Distributed speech recognition method
CN111261151A (zh) 一种语音处理方法、装置、电子设备及存储介质
US8706171B2 (en) Hands-free terminals and hands-free system for cars
CN112203902B (zh) 设备控制装置以及控制设备的控制方法
KR20070060581A (ko) 화자적응 방법 및 장치
JPWO2019171732A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
US10468017B2 (en) System and method for understanding standard language and dialects
CN117238288A (zh) 车辆控制方法和车辆
CN112309396A (zh) 一种ai虚拟机器人状态动态设置***
CN115691478A (zh) 语音唤醒方法、装置、人机交互设备和存储介质
JP2020091435A (ja) 音声認識システム、音声認識システムの通知方法、プログラム、及び移動体搭載機器
US20210005203A1 (en) Voice processing apparatus and voice processing method
US11527247B2 (en) Computing device and method of operating the same
WO2022024188A1 (ja) 音声登録装置、制御方法、プログラム及び記憶媒体
JP2021089310A (ja) 音声操作装置、音声操作システムおよび音声操作方法
JP2001175279A (ja) 音声認識方法
CN115675515A (zh) 信息处理装置、方法以及车辆
KR20220129366A (ko) 음성 인식 시스템 및 그 제어 방법
CN111696551A (zh) 设备的控制方法、装置、存储介质及电子装置
CN116895275A (zh) 对话***及其控制方法
CN111986658A (zh) 离线终端进行语音识别训练的方法及装置
JP2006184669A (ja) 音声認識装置、方法、およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant