CN110696756A - 一种车辆的音量控制方法及装置、汽车、存储介质 - Google Patents

一种车辆的音量控制方法及装置、汽车、存储介质 Download PDF

Info

Publication number
CN110696756A
CN110696756A CN201910954142.4A CN201910954142A CN110696756A CN 110696756 A CN110696756 A CN 110696756A CN 201910954142 A CN201910954142 A CN 201910954142A CN 110696756 A CN110696756 A CN 110696756A
Authority
CN
China
Prior art keywords
vehicle
loudspeaker
volume
voice signal
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910954142.4A
Other languages
English (en)
Inventor
朱晚贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910954142.4A priority Critical patent/CN110696756A/zh
Publication of CN110696756A publication Critical patent/CN110696756A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本申请实施例提供了一种车辆的音量控制方法及装置、汽车、存储介质,包括:在所述车辆扬声器工作时,持续采集声音数据;当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理,实现了在检测到用户交流时,自动对音量进行调整,并结合当前环境判断音量调整方式,提高了音量自动调节的准确性。

Description

一种车辆的音量控制方法及装置、汽车、存储介质
技术领域
本申请涉及语音识别技术领域,特别是涉及一种车辆的音量控制方法及装置、汽车、存储介质。
背景技术
随着科技的发展,智能汽车逐渐成为人们生活中一种常用的交通工具,智能汽车也搭载了越来越多的功能,影音娱乐则是其中的一种。
现有技术中,智能汽车在播放音频或视频时,车载***可以对周围环境的噪音进行检测,并根据噪音的大小相应调整扬声器的音量,例如,当环境噪音较大时,将扬声器的音量调高。
然而,当用户与第三方交流时,用户间交谈的声音也会被车载***认定为环境噪声,并相应增大扬声器的音量,但实际上,用户为了进行正常交流,并不希望增大音量,反而希望将音量调小、甚至暂停播放。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题车辆的音量控制方法及装置、汽车、存储介质,包括:
一种车辆的音量控制方法,所述方法包括:
当车辆扬声器工作时,持续采集声音数据;
当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理。
可选地,所述扬声器的播放时长大于播放时长阈值,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的人声信号时,调低扬声器的音量输出,和/或,暂停扬声器的音量输出。
可选地,所述暂停扬声器的音量输出,包括:
记录扬声器音量输出的断点;
所述方法还包括:
当所述声音数据中存在的包含语义的人声信号消失,以所述断点为起点,恢复被调低的扬声器的音量输出。
可选地,所述车辆具有多个扬声器,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的人声信号时,获取所述人声信号的声源位置;
确定与所述声源位置对应的扬声器为第一扬声器;
调低所述第一扬声器的音量输出,以及,关闭车内除所述第一扬声器以外的扬声器。
可选地,所述当所述声音数据中存在包含语义的人声信号时,确定所述人声信号的声源位置的步骤后,还包括:
采集车辆用户的动作图像;
当所述动作图像中包括对话动作时,获取所述车辆用户的位置信息;
确定与所述位置信息对应的扬声器为第一扬声器。
可选地,所述方法还包括:
当所述动作图像中的对话动作消失时,恢复与所述位置信息对应的扬声器的音量输出。
可选地,所述车辆具有多个扬声器,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的成人人声信号时,获取所述车辆中儿童用户的座椅位置以及所述成人人声信号的声源位置;
调低与所述声源位置对应的第二扬声器的音量输出,以及,保持与所述儿童用户的座椅位置对应的第三扬声器的音量输出。
一种车辆的音量控制装置,所述装置包括:
采集模块,用于当车辆扬声器工作时,持续采集声音数据;
检测模块,用于当所述声音数据中存在满足预设条件的人声信号时,则调用第一音量控制模块。
一种车辆,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的音量控制的方法的步骤。
一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的音量控制的方法的步骤。
本申请实施例具有以下优点:
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,当声音数据中存在满足预设条件的人声信号时,对扬声器进行第一音量控制处理,实现了在检测到用户交流时,自动对音量进行调整,并结合当前环境判断音量调整方式,提高了音量自动调节的准确性。
附图说明
为了更清楚地说明本申请的技术方案,下面将对本申请的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种车辆的音量控制方法的步骤流程图;
图2是本申请一实施例提供的音量控制流程图;
图3是本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图;
图4是本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图;
图5是本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图;
图6是本申请一实施例提供的一种车辆的音量控制装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参照图1,示出了本申请一实施例提供的一种车辆的音量控制方法的步骤流程图,可以应用于车载***,具体的,可以包括如下步骤:
步骤101,当车辆扬声器工作时,持续采集声音数据;
作为一示例,声音数据可以是车内或车外声源所产生的声音。
在实际应用中,车辆中可以安装有一个或多个扬声器,当扬声器工作时,可以为用户播放音频,或者向车内用户反馈语音信息或提供语音提醒。
例如,当用户点击车载***的操作按键,如点击车载***大屏上的音乐播放按键、影音播放按键、广播收听按键,车载***可以从本地文件或云端服务器获取音频文件或多媒体文件,扬声器开始工作并播放相关音频;又如,当用户输入语音“小P,请帮我获取到中山纪念堂的导航路线”,则车载***可以通过扬声器回复“已为您获取导航路线,请查看屏幕”,或者,当车辆在限速路段超速时,车载***可以通过扬声器播报提示音“请不要超速”。
在扬声器工作时,车内的麦克风可以持续采集车内和车外的声音数据,如车内用户交谈、下达语音指令的声音,车辆运作时产生的声音,街道上的声音等等。
具体的,在采集声音数据时,麦克风可以仅采集人耳听到的声音数据。由于人耳可以听到的声音集中于20Hz到20000Hz之间,并且对1000Hz至3000Hz这一区段的声音更敏感,在采集声音数据时,可以采用物理方式对声音数据进行过滤,如设置频率范围为20Hz-20000Hz或1000Hz-3000Hz的带通滤波器对采集的声音数据进行频段提取,或者通过***软件对采集的声音数据进行处理,滤除人耳无法听到的声音数据。
同时,麦克风在采集声音数据时,由于扬声器正在播放音频,音频产生的声音数据也会被麦克风采集,此时,车载***可以识别由车载播放器播放的音频,并将音频的声音数据从采集的声音数据中滤除。
在本申请一实施例中,可以预先设置一播放时长阈值,在扬声器的播放时长大于该阈值时,车载***可以对声音数据进行采集。
在具体实现中,存在播放音频时,用户同时与他人交谈的情况,对于声音的受众而言,相比于播放音频的声音,其更需要收听的是交谈用户的声音。
基于此,车载***可以赋予人声信号更高的优先级,当扬声器播放音频时,如播放音频文件或多媒体文件时,可以设置播放时长阈值为三十秒,当播放时长大于阈值,可以确定需要播放大段音频,为了避免在长时间播放音频过程中,由于音频声音影响用户交谈,车载***可以进一步地采集周围环境的声音,判断是否存在人声信号,并确定是否需要对音量进行调整;当播放时长小于播放时长阈值,如播放只有十几秒的短视频时,则可以不采集声音数据,减少车载***的工作量。
或者,当用户通过唤醒词开启车载***的语音交互功能时,和语音助手或AI助手进行对话时,车载***可以判断语音助手通过扬声器反馈的语音是否大于播放时长阈值,当大于阈值时,可以确定需要向用户反馈大段语音,由于人声信号与语音反馈的声音相比,具有更高的优先级,车载***在进行语音反馈时,可以对声音数据进行采集,判断四周是否存在人声信号,当播放时长小于阈值,则可以不进行采集。例如,当用户向语音助手提问“你好,小P,你有女朋友吗?”,语音助手需要回复“我没有,不过最近总有个无人机问我要不要看看外面的世界”,则车载***确定该语音的播放时长大于阈值,在进行语音反馈时,可以进一步采集人声数据。
步骤102,当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理。
作为一示例,人声信号可以是人在发出声音时所产生的信号,如用户在进行对话、唱歌、发出语音指令时产生的声音。
在获取声音数据后,可以进一步对声音数据进行分析,例如,可以获取声压、频率、振幅、音调、相位等可以表征声音特征的声音特征数据,并综合分析声音特征数据,判断声音数据中是否存在满足预设条件的人声信号,当存在满足条件的人声信号时,车载***可以自动对扬声器进行第一音量控制处理。
在本申请一实施例中,步骤102可以包括如下子步骤:当所述声音数据中存在包含语义的人声信号时,调低扬声器的音量输出,和/或,暂停扬声器的音量输出。
作为一示例,包含语义的人声信号可以是用户在对话时产生的声音信号。
在实际应用中,可以结合ASR(自动语音识别,Automatic Speech Recognition)技术与NLP(自然语言处理技术,Natural Language Processing)技术,在获取声音数据的同时对其进行分析,判断声音数据中是否存在包含有语义的人声信号。
具体的,在判断是否存在有语义的人声信号时,可以先采用ASR技术对声音数据进行语音识别,以将人的语音数据转换为文本数据,通过ASR技术,可以将人类的语音中的词汇内容转换为计算机可读的输入,如按键、二进制编码,或者字符序列等。
在采集声音数据后,可以将声音数据以纯波形文件,如wav格式文件进行存储,并对声音进行分帧处理,提取特征参数并生成特征参数序列,随后,可以采用隐马尔可夫模型对特征参数序列进行模型训练,根据模型训练结果获取匹配的语音语言模型,识别声音数据中包含的文字。
在确定声音数据包含的文字后,则可以采用NLP技术对语音识别结果进行分词、词性标注、句法分析等处理,判断声音数据中的内容是否存在语音交互,如判断是否存在一问一答的对话方式,不同的声音是否相间出现,人声信号的声源是否来自不同位置,等等。
当确定声音数据中的内容存在语音交互时,则可以确定声音数据中存在包含语义的人声信号时,车辆中有用户正在进行对话,此时,可以调低扬声器的音量输出,或者,也可以暂停扬声器的音量输出,防止用户的交谈被音频播报的声音打扰。
在实际应用中,可以预先设置指定音量,在指定音量下,播放音频数据不会对用户谈话造成干扰,当车载***调低播放音量时,可以记录音频数据的当前播放音量,并在预设时间内将音量调整至指定音量。
在设置指定音量时,可以对所有音频设置相同的指定音量如0dB,也可以针对不同的音频类型,分别设置不同的指定音量,例如,用户正常交谈的音量在50dB至60dB,则针对舒缓放松的背景音乐或古典音乐,可以调整至30dB,为用户提供一个放松的交谈环境;针对一些令人兴奋的音乐或多媒体视频,如电子音乐或动作电影,则可以设置为0dB,减少对用户谈话的干扰。
在本申请一实施例中,可以采用如下子步骤暂停扬声器的音量输出:记录扬声器输出的断点。
在暂停扬声器的音量输出后,车载***可以记录扬声器音量输出的断点,如在音频文件播放至3分55秒时,暂停扬声器的音量输出,则可以将播放进度为3分55秒的位置确定为音量输出的断点。
在本申请一实施例中,所述方法还可以包括:当所述声音数据中存在的包含语义的人声信号消失时,以所述断点为起点,恢复被调低的扬声器音量输出。
在调低并暂停扬声器的音量输出后,车载***可以持续监听车内的声音数据,判断声音数据中包含语义的人声信号是否仍然存在,当在预设时间内未检测到包含语义的人声信号时,如没有接收到用户交谈的语音,或者仅检测到包含语音指令的声音数据,则可以确定包含语义的人声信号已消失,用户没有与第三方进行交流,此时,可以音量输出的断点为起点,增大播放音量,恢复扬声器的音量输出。
在采集声音数据并分析后,如果没有从中检测到人声信号,则可以确定在播放音频数据时,四周没有用户在说话,麦克风采集的声音数据是来自于四周环境所产生的环境音。
在实际应用中,环境音虽然可以被用户听到,但是并不一定会对用户收听车内播放的音频产生干扰,例如,当环境音并未大于扬声器的当前音量时,用户仍然可以听到扬声器的声音。
基于此,在未检测到人声信号时,可以进一步从声音数据中读取声音的分贝值,并将其与音量阈值对比,其中,音量阈值可以是扬声器的当前音量值,或者是预设的分贝值,如45dB。
当声音数据的分贝值大于音量阈值时,可以确定用户无法清晰地听到扬声器的声音,此时,可以增大扬声器的音量输出。
在具体实现中,车载***在增大扬声器的音量输出时,可以预先存储一表格,设置声音数据在不同分贝值下,用于调整扬声器的目标音量,例如,当分贝值落入40dB-50dB这一范围时,目标音量可以设置为55dB,当分贝值落入50dB-60dB这一范围时,目标音量可以设置为60dB,则在确定声音数据的分贝值后,车载***可以查询预置表格,获取目标音量。
或者,也可以在声音数据当前分贝值的基础上,增加一预设分贝值,确定目标音量,例如,可以设置预设分贝值为5dB,当分贝值为44dB时,目标音量可以为49dB。由于分贝值过高时,会对身体造成不良影响,在采用这一方法生成目标音量时,还可以设置一最大分贝值,如65dB,当计算得到的目标音量大于最大分贝值时,可以采用最大分贝值作为目标音量。
在确定用于调整扬声器音量输出的目标音量后,车载***可以在预设时间内均匀增加扬声器的音量,或者,可以在每一单位时间内增加单位音量,如每隔1秒增加一个单位的音量,直到调整至目标音量、增大扬声器的音量输出。
为了使本领域技术人员能够更好地理解上述步骤,以下通过一个例子对本发明实施例加以示例性说明,但应当理解的是,本发明实施例并不限于此。参照图2,示出了本申请一实施例提供的音量控制流程图。
当进入车辆后,用户可以点击车载***大屏上的按键,以生成播放指令,进行音频的收听或多媒体视频的观看,或者,用户可以预先开启自动播放功能,当车载***通过摄像头获取用到户面部数据、通过压力传感器检测到用户在座位上,或者通过麦克风采集到预设的语音指令或人声信息,可以确定用户进入,并自动生成播放指令;又如,用户可以通过语音输入生成播放指令,如输入语音“你好,小P,我想听歌”,响应于该语音输入,车载***可以接收到播放指令,并进行音频播放。
响应于播放指令,车载***可以在车载***大屏显示多媒体画面,播放音频,同时开启麦克风。在音频播放过程中,麦克风持续收音,采集四周的声音数据后,发送至车载***,并采用ASR技术对声音数据进行识别。
当用户开始对话,如主驾驶用户询问后排乘客“你觉得今天天气怎样?”,后排乘客回复“挺好的。”,则车载***可以获取到“你觉得今天天气怎样?”和“挺好的。”对应的声音数据,此时,车载***对该数据进行语音识别。
在语音识别后,车载***可以采用NLP技术分析声音的具体含义,车载***在结合“你觉得今天天气怎样?”以及“挺好的。”后,可以确定这两个句子是有上下关联的一问一答,并且,可以识别出这两句话是来自两个不同的声源(即来自两个人),则可以确定用户正在进行对话,相应调低扬声器的音量输出,实现音量淡出处理。
或者,当车内用户接听电话并与电话另一端的用户交谈时,提及“我今天去参加车展了”,虽然车载***仅采集到一名用户的声音数据,但在进行语音识别和语义分析后,可以确定声音数据中存在人声信号,车载***也可以调低扬声器的音量输出。
在用户谈话期间,车载***可以对声音数据进行持续识别,当没有从声音数据中识别出人声信号时,则确定用户与第三方的交流结束,将音量淡入,继续播放音频。以上展示的音量调整方式,可以贴合用户与第三方的沟通情况,自动增大或减小音量,增加了语音信息被用户获取的机会,提升了用户体验。
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,当声音数据中存在满足预设条件的人声信号时,对扬声器进行第一音量控制处理,实现了在检测到用户交流时,自动对音量进行调整,结合当前环境判断音量调整方式,提高了音量自动调节的准确性。
参照图3,示出了本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图,可以应用于车载***,具体的,可以包括如下步骤:
步骤301,当车辆扬声器工作时,持续采集声音数据;
其中,声音数据声音数据可以是车内或车外声源所产生的声音,如车内用户的声音,车辆运作时产生的声音,街道上的声音等等。
当用户点击车载***的操作按键后,如点击车载***大屏上的音乐播放按键、影音播放按键、广播收听按键后,车载***响应于用户操作,可以从本地或云端服务器获取音频文件或多媒体文件,扬声器开始工作,播放相关文件,在播放过程中,车内的麦克风可以持续对车内和车外的声音数据进行采集。
在本申请一实施例中,车辆的车厢内内设置有多个扬声器,车载***在播放音频时,可以通过多个扬声器同时播放,例如,对于双人座的汽车,可以在车辆主驾驶位和副驾驶位分别设置扬声器;对于四人座汽车,可以在车辆前排和车辆后排分别设置扬声器,或者,在主驾驶位、副驾驶位和后排的两个乘客位分别单独设置扬声器。
步骤302,当所述声音数据中存在包含语义的人声信号时,获取所述人声信号的声源位置;
在通过多个扬声器播放音频时,车载***可以识别声音数据中是否存在包含语义的人声信号,当确定存在包含语义的人声信号时,则可以确定车内有用户交谈,并进一步确定人声信号的声源位置,确定参与交谈的用户在车辆中的座位。
在具体实现中,可以在车厢内设置麦克风或麦克风阵列,接收车内不同音区的人声信号,例如,对于双人座汽车,可以设置主驾驶音区和副驾驶位音区,对于四人座汽车,可以设置主驾驶音区、副驾驶位音区、后排左音区和后排右音区。
当车内用户交谈时,由于位置不同,各个麦克风接收到的人声信号存在时间差别以及信号强度差别,基于此,可以确定人声信号的来源以及用户座位,例如,当声源信号分别来自主驾驶音区和副驾驶音区时,则可以确定车辆中的用户为主驾驶用户和副驾驶用户。
步骤303,确定与所述声源位置对应的扬声器为第一扬声器;
在确定声源位置后,车载***可以进一步确定与声源位置对应的第一扬声器。在实际应用中,可以在车载***中预先设置一列表如下表所示,保存车内不同位置与扬声器的关系,则在确定声源位置后,可以在表中查找对应的扬声器标识,进而将其确定为第一扬声器,例如,确定用户在主驾驶座位和后排左方座位后,可以确定1号扬声器和4号扬声器为第一扬声器。
车辆座位 扬声器标识
主驾驶座位 1
副驾驶座位 2
后排右方座位 3
后排左方座位 4
表1车辆座位与扬声器标识的关系列表
步骤304,调低所述第一扬声器的音量输出,以及,关闭车内除所述第一扬声器以外的扬声器。
在确定第一扬声器后,则可以采用不同的方式对多个扬声器分别进行调整。
在实际应用中,由于声源位置可以为用户当前所在的位置,而用户的交谈可以是暂时性的,车载***可以调低第一扬声器的音量输出,而不将其关闭,则当用户停止交谈,车载***能够及时恢复播放扬声器的音量输出,无需在短时间内重新开启扬声器,减少扬声器的器件磨损。
而对于车内除第一扬声器以外的扬声器,由于在该扬声器所在的位置,车载***没有采集到人声信号,可以确定该位置上没有用户,在调整扬声器时,可以直接关闭,减少能源的消耗。
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,其中,车辆具有多个扬声器,当声音数据中存在包含语义的人声信号时,确定所述人声信号的声源位置,调低与声源位置对应的第一扬声器的音量输出,并关闭车内除第一扬声器以外的扬声器,实现了对扬声器的多样调整,在检测到用户交谈时,针对性地调整不同座位的扬声器,提高了音量自动调节的准确性。
参照图4,示出了本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图,可以应用于车载***,具体的,可以包括如下步骤:
步骤401,当车辆扬声器工作时,持续采集声音数据;
作为一示例,车辆内可以安装有多个扬声器,声音数据声音数据可以是车内或车外声源所产生的声音,如车内用户的声音,车辆运作时产生的声音,街道上的声音等等。
当用户点击车载***的操作按键后,如点击车载***大屏上的音乐播放按键、影音播放按键、广播收听按键后,车载***响应于用户操作,可以从本地或云端服务器获取音频文件或多媒体文件,车内多个扬声器开始工作,播放相关文件,在播放过程中,车内的麦克风可以持续对车内和车外的声音数据进行采集。
步骤402,当所述声音数据中存在包含语义的人声信号时,获取所述人声信号的声源位置;
在通过多个扬声器播放音频时,车载***可以识别声音数据中是否存在包含语义的人声信号,当存在包含语义的人声信号时,则可以确定车内有用户交谈,此时,车载***可以对声音数据进行处理,确定人声信号的声源位置,获取发言用户在车辆中的座位信息。
步骤403,确定与所述声源位置对应的扬声器为第一扬声器;
在确定声源位置后,车载***可以进一步确定与声源位置对应的第一扬声器。在实际应用中,可以在车载***中预先设置一列表,保存车内不同位置与扬声器的关系,则在确定声源位置后,可以在表中查找对应的扬声器标识,进而将其确定为第一扬声器。
步骤404,采集车辆用户的动作图像;
具体的,可以通过在车辆中安装一个或多个摄像头采集用户图像,例如,可以在车厢顶部安装摄像头,或者,也可以在每个座位区域内分别安装摄像头。在将声源位置的扬声器确定为第一扬声器后,车载***可以在预设时间内,如从获取人声信号起的五分钟内,采集用户的动作图像,进一步确定车辆中参与对话的用户。
步骤405,当所述动作图像中包括对话动作时,获取所述车辆用户的位置信息;
作为一示例,对话动作可以包括唇部发声动作、前倾交谈动作、前倾倾听动作、眼部关注动作等。
在实际应用中,当多名用户交谈时,有的用户可以不发言,例如,当车辆中的用户A与用户B对话时,用户C虽然没有讲话,但一直在聆听用户A和用户B的发言,而谈话时用户B并不经常发表意见,只是偶尔说“嗯”,作为回应,在仅通过人声信号确定用户是否参与对话是,用户C由于没有讲话,车载***可以确定其没有参与对话,而不讲用户C位置上的扬声器确定为第一扬声器;用户B偶尔回答“嗯”而产生的人声信号,在麦克风并不灵敏的情况下,并不必然会被采集到。
基于此,车载***可以在确定声源位置的基础上,进一步对动作图像进行图像识别,判断图像中是否包含对话动作,当动作图像总包括对话动作时,可以确定该名用户有参与对话,并获取用户的位置信息。
例如,用户C虽然没有讲话,但身体前倾,车载***在对用户C的动作图像进行识别后,确定存在前倾交谈动作,则可以获取用户C在车辆中的位置信息,确定座椅位置。
步骤406,确定与所述位置信息对应的扬声器为第一扬声器;
在获取位置信息后,车载***在预置列表中查找该位置信息对应的扬声器,并将该扬声器确定为第一扬声器。
步骤407,调低所述第一扬声器的音量输出,以及,关闭车内除所述第一扬声器以外的扬声器;
在确定第一扬声器后,车载***可以采用不同的方式对多个扬声器分别进行调整。
在具体实现中,由于用户的交谈可以是暂时性的,车载***可以调低第一扬声器的音量输出,而不将其关闭,则当用户停止交谈,车载***能够及时恢复播放扬声器的音量输出,无需在短时间内重新开启扬声器,减少扬声器的器件磨损;而对于车内除第一扬声器以外的扬声器,在调整时,可以直接关闭,减少能源的消耗。
步骤408,当所述动作图像中的对话动作消失时,恢复与所述位置信息对应的扬声器的音量输出。
当动作图像中,用户的对话动作消失时,如用户在预设时间内没有发言、没有唇部发声动作,或者没有身体前倾动作,而是恢复了正常坐姿或倚靠在座位上,或者双眼的焦点不再聚焦于声源位置上的用户,并用双手托腮,车载***可以确定该用户不再参与谈话,则可以恢复该用户位置上的扬声器音量输出。
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,当声音数据中存在包含语义的人声信号时,获取人声信号的声源位置,确定与声源位置对应的扬声器为第一扬声器,并采集车辆用户的动作图像,当动作图像中包括对话动作时,获取车辆用户的位置信息,确定与位置信息对应的扬声器为第一扬声器;调低第一扬声器的音量输出,以及,关闭车内除第一扬声器以外的扬声器,当动作图像中的对话动作消失时,恢复与位置信息对应的扬声器的音量输出,实现了对扬声器的多样调整,并且可以结合声源位置以及动作图像,确定车辆中参与对话的用户,提高了扬声器音量输出调整的准确性。
参照图5,示出了本申请一实施例提供的另一种车辆的音量控制方法的步骤流程图,可以应用于车载***,具体的,可以包括如下步骤:
步骤501,当车辆扬声器工作时,持续采集声音数据;
作为一示例,车辆中可以安装有多个扬声器,声音数据可以是车内或车外声源所产生的声音,如车内用户的声音,车辆运作时产生的声音,街道上的声音等等。
当用户点击车载***的操作按键后,如点击车载***大屏上的音乐播放按键、影音播放按键、广播收听按键后,车载***响应于用户操作,可以从本地或云端服务器获取音频文件或多媒体文件,扬声器开始工作,播放相关音频数据,在播放过程中,车内的麦克风可以持续对车内和车外的声音数据进行采集。
在实际应用中,扬声器播放的音频可以是儿童主题的音频文件或多媒体文件,例如少儿类歌曲、儿童电影、动画片等。车载***在播放音频前,车载***可以预先从云端服务器获取文件的主题类型,或者从文件标识中读取文件的主题类型。
步骤502,当所述声音数据中存在包含语义的成人人声信号时,获取所述车辆中儿童用户的座椅位置以及所述成人人声信号的声源位置;
作为一示例,成人人声信号可以是成人间对话产生的声音信号。
当音频的主题类型为儿童主题时,车载***可以确定车辆中存在儿童用户,则在采集到包含语义的人声信号时,可以进一步判断人声信号中是否仅包含成人语音交互的声音。
当声音数据中存在包含语义的成人人声信号时,可以确定车内成人用户正在对话,而儿童用户并未参与,此时,可以获取车辆中儿童用户的座椅位置和人声信号的声源位置,确定儿童和成人在车内的具体座位。
在具体实现中,可以通过在车辆的座椅设置压力传感器,判断用户是否为儿童,例如,儿童的体重主要在10Kg至65Kg,当压力传感器获取的重量在这一区间范围内,则可确定该座位上的用户为儿童;或者,可以通过车内的摄像头,获取座椅上用户的脸部特征、判断用户年龄范围,进而确定儿童用户的座椅位置。
在获取人声信号的声源位置时,可以在车厢内设置麦克风或麦克风阵列,分析接收声音数据的时间差别以及信号强度差别,确定人声信号的声源位置。
步骤503,调低与所述声源位置对应的第二扬声器的音量输出,以及,保持与所述儿童用户的座椅位置对应的第三扬声器的音量输出。
在确定儿童用户的位置和参与交谈的成人用户位置后,为了避免音频数据打扰成人用户之间的交谈,同时又不阻碍儿童用户继续收听音频数据,此时,可以调低声源位置的第二扬声器的音量输出,并保持儿童用户坐在座椅位置的第三扬声器的播放音量。
为了使本领域技术人员能够更好地理解上述步骤,以下通过一个例子对本发明实施例加以示例性说明,但应当理解的是,本发明实施例并不限于此。
用户A(父亲)、用户B(母亲)和用户C(儿童)一起乘坐一四人座车辆,用户A为主驾驶员,用户B为副驾驶员,用户C为后排乘客,坐于后排靠左的位置,车辆内在主驾驶区域、副驾驶区域、后排靠左区域和后排靠右区域分别安装有麦克风和扬声器。
当用户A点击车载大屏,播放少儿歌曲时,车载***确定车辆中存在儿童用户,并持续采集声音数据。当用户A与用户B交谈,而用户C并未参与时,车载***可以识别出包含语义的成人人声信号,并进一步确定成人人声信号中的声源位置以及儿童用户的座位。
在确定成人人声信号分别来自于主驾驶区域和副驾驶区域,用户C坐于后排靠左的位置后,车载***调低主驾驶区域和副驾驶区域的扬声器音量输出,并保持后排靠左区域的音量。
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,,车辆中具有多个扬声器,则当声音数据中存在包含语义的成人人声信号时,可以获取车辆中儿童用户的座椅位置以及成人人声信号的声源位置,并调低与声源位置对应的第二扬声器的音量输出,以及保持与儿童用户的座椅位置对应的第三扬声器的音量输出,实现了播放音量的针对性调整,在检测到用户交谈时,根据用户类型调整播放音量,提高了用户体验。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请实施例并不受所描述的动作顺序的限制,因为依据本申请实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本申请实施例所必须的。
参照图6,示出了本申请一实施例提供的一种车辆的音量控制装置的结构示意图,可以应用于车载***,具体的,可以包括如下模块:
采集模块601,用于当车辆扬声器工作时,持续采集声音数据;
检测模块602,用于当所述声音数据中存在满足预设条件的人声信号时,则调用第一音量控制模块。
在本申请一实施例中,所述扬声器的播放时长大于播放时长阈值,所述检测模块602包括:
第一音量输出调节子模块,用于当所述声音数据中存在包含语义的人声信号时,调低扬声器的音量输出,和/或,调用暂停单元。
在本申请一实施例中,所述暂停单元包括:
断点记录子单元,用于记录扬声器音量输出的断点;
所述装置还包括:
第一音量输出恢复模块,用于当所述声音数据中存在的包含语义的人声信号消失,以所述断点为起点,恢复被调低的扬声器的音量输出。
在本申请一实施例中,所述车辆具有多个扬声器,所述检测模块602包括:
第一定位子模块,用于当所述声音数据中存在包含语义的人声信号时,获取所述人声信号的声源位置;
第一确定子模块,用于确定与所述声源位置对应的扬声器为第一扬声器;
第二音量输出调节子模块,用于调低所述第一扬声器的音量输出,以及,关闭车内除所述第一扬声器以外的扬声器。
在本申请一实施例中,所述检测模块602还包括:
采集子模块,用于采集车辆用户的动作图像;
第一位置获取子模块,用于当所述动作图像中包括对话动作时,获取所述车辆用户的位置信息;
第二确定子模块,用于确定与所述位置信息对应的扬声器为第一扬声器。
在本申请一实施例中,所述装置还包括:
第二音量输出恢复模块,用于当所述动作图像中的对话动作消失时,恢复与所述位置信息对应的扬声器的音量输出。
在本申请一实施例中,所述车辆具有多个扬声器,所述检测模块602包括:
第二定位子模块,用于当所述声音数据中存在包含语义的成人人声信号时,获取所述车辆中儿童用户的座椅位置以及所述成人人声信号的声源位置;
音量调整子模块,用于调低与所述声源位置对应的第二扬声器的音量输出,以及,保持与所述儿童用户的座椅位置对应的第三扬声器的音量输出。
在本申请实施例中,通过在车辆扬声器工作时,持续采集声音数据,当声音数据中存在满足预设条件的人声信号时,对扬声器进行第一音量控制处理,实现了在检测到用户交流时,自动对音量进行调整,结合当前环境判断音量调整方式,提高了音量自动调节的准确性。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本申请一实施例还提供了一种车辆,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上车辆的音量控制方法的步骤。
本申请一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上车辆的音量控制方法的步骤。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本申请实施例可提供为方法、装置、或计算机程序产品。因此,本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供车辆的音量控制方法及装置、车辆、存储介质,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车辆的音量控制方法,其特征在于,所述方法包括:
当车辆扬声器工作时,持续采集声音数据;
当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理。
2.根据权利要求1所述的方法,其特征在于,所述扬声器的播放时长大于播放时长阈值,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的人声信号时,调低扬声器的音量输出,和/或,暂停扬声器的音量输出。
3.根据权利要求2所述的方法,其特征在于,所述暂停扬声器的音量输出,包括:
记录扬声器音量输出的断点;
所述方法还包括:
当所述声音数据中存在的包含语义的人声信号消失,以所述断点为起点,恢复被调低的扬声器的音量输出。
4.根据权利要求1所述的方法,其特征在于,所述车辆具有多个扬声器,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的人声信号时,获取所述人声信号的声源位置;
确定与所述声源位置对应的扬声器为第一扬声器;
调低所述第一扬声器的音量输出,以及,关闭车内除所述第一扬声器以外的扬声器。
5.根据权利要求4所述的方法,其特征在于,所述当所述声音数据中存在包含语义的人声信号时,确定所述人声信号的声源位置的步骤后,还包括:
采集车辆用户的动作图像;
当所述动作图像中包括对话动作时,获取所述车辆用户的位置信息;
确定与所述位置信息对应的扬声器为第一扬声器。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
当所述动作图像中的对话动作消失时,恢复与所述位置信息对应的扬声器的音量输出。
7.根据权利要求1所述的方法,其特征在于,所述车辆具有多个扬声器,所述当所述声音数据中存在满足预设条件的人声信号时,则对扬声器进行第一音量控制处理的步骤,包括:
当所述声音数据中存在包含语义的成人人声信号时,获取所述车辆中儿童用户的座椅位置以及所述成人人声信号的声源位置;
调低与所述声源位置对应的第二扬声器的音量输出,以及,保持与所述儿童用户的座椅位置对应的第三扬声器的音量输出。
8.一种车辆的音量控制装置,其特征在于,所述装置包括:
采集模块,用于当车辆扬声器工作时,持续采集声音数据;
检测模块,用于当所述声音数据中存在满足预设条件的人声信号时,则调用第一音量控制模块。
9.一种车辆,其特征在于,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的车辆的音量控制方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车辆的音量控制方法的步骤。
CN201910954142.4A 2019-10-09 2019-10-09 一种车辆的音量控制方法及装置、汽车、存储介质 Pending CN110696756A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910954142.4A CN110696756A (zh) 2019-10-09 2019-10-09 一种车辆的音量控制方法及装置、汽车、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954142.4A CN110696756A (zh) 2019-10-09 2019-10-09 一种车辆的音量控制方法及装置、汽车、存储介质

Publications (1)

Publication Number Publication Date
CN110696756A true CN110696756A (zh) 2020-01-17

Family

ID=69198930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954142.4A Pending CN110696756A (zh) 2019-10-09 2019-10-09 一种车辆的音量控制方法及装置、汽车、存储介质

Country Status (1)

Country Link
CN (1) CN110696756A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112397084A (zh) * 2020-11-04 2021-02-23 佛吉亚歌乐电子(丰城)有限公司 自适应调整多媒体音量方法、车载终端及计算机存储介质
CN112925927A (zh) * 2021-01-25 2021-06-08 广汽蔚来新能源汽车科技有限公司 车辆多媒体信息播放控制方法、装置、播放设备和介质
CN113380244A (zh) * 2021-05-28 2021-09-10 幻境虚拟现实(广州)智能科技研究院有限公司 一种设备播放音量的智能调节方法和***
CN113689850A (zh) * 2020-05-18 2021-11-23 丰田自动车株式会社 智能体协作装置、其动作方法以及存储介质
CN113938800A (zh) * 2021-10-14 2022-01-14 上海仙塔智能科技有限公司 车载立体声喇叭的控制方法、装置、设备与介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035488A (zh) * 2009-10-02 2011-04-27 罗伯特·博世有限公司 用于调节汽车中的音频设备音量的方法和装置
JP2014109176A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両制御システム
US20140233759A1 (en) * 2013-02-20 2014-08-21 Bell Helicopter Textron Inc. Situation Responsive Audio System
CN106648527A (zh) * 2016-11-08 2017-05-10 乐视控股(北京)有限公司 一种音量控制方法、装置以及播放设备
CN109040449A (zh) * 2018-08-06 2018-12-18 维沃移动通信有限公司 一种音量调节方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035488A (zh) * 2009-10-02 2011-04-27 罗伯特·博世有限公司 用于调节汽车中的音频设备音量的方法和装置
JP2014109176A (ja) * 2012-12-04 2014-06-12 Denso Corp 車両制御システム
US20140233759A1 (en) * 2013-02-20 2014-08-21 Bell Helicopter Textron Inc. Situation Responsive Audio System
CN106648527A (zh) * 2016-11-08 2017-05-10 乐视控股(北京)有限公司 一种音量控制方法、装置以及播放设备
CN109040449A (zh) * 2018-08-06 2018-12-18 维沃移动通信有限公司 一种音量调节方法及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689850A (zh) * 2020-05-18 2021-11-23 丰田自动车株式会社 智能体协作装置、其动作方法以及存储介质
CN112397084A (zh) * 2020-11-04 2021-02-23 佛吉亚歌乐电子(丰城)有限公司 自适应调整多媒体音量方法、车载终端及计算机存储介质
CN112925927A (zh) * 2021-01-25 2021-06-08 广汽蔚来新能源汽车科技有限公司 车辆多媒体信息播放控制方法、装置、播放设备和介质
CN113380244A (zh) * 2021-05-28 2021-09-10 幻境虚拟现实(广州)智能科技研究院有限公司 一种设备播放音量的智能调节方法和***
CN113938800A (zh) * 2021-10-14 2022-01-14 上海仙塔智能科技有限公司 车载立体声喇叭的控制方法、装置、设备与介质

Similar Documents

Publication Publication Date Title
CN110696756A (zh) 一种车辆的音量控制方法及装置、汽车、存储介质
CN110070868B (zh) 车载***的语音交互方法、装置、汽车和机器可读介质
WO2017057170A1 (ja) 対話装置及び対話方法
EP3090429B1 (en) Modifying operations based on acoustic ambience classification
US7928307B2 (en) Karaoke system
CN108146360A (zh) 车辆控制的方法、装置、车载设备和可读存储介质
US20210280172A1 (en) Voice Response Method and Device, and Smart Device
CN110475170A (zh) 耳机播放状态的控制方法、装置、移动终端及存储介质
CN112078498B (zh) 一种车辆智能座舱的声音输出控制方法和智能座舱
US11122367B2 (en) Method, device, mobile user apparatus and computer program for controlling an audio system of a vehicle
CN112397065A (zh) 语音交互方法、装置、计算机可读存储介质及电子设备
JP2023548157A (ja) 通話およびオーディオメッセージからのその他の話者の音声フィルタリング
US6757656B1 (en) System and method for concurrent presentation of multiple audio information sources
Jones et al. Performance analysis of acoustic emotion recognition for in-car conversational interfaces
JP6741387B2 (ja) 音声出力装置
CN111429882B (zh) 播放语音的方法、装置及电子设备
WO2021157192A1 (ja) 制御装置及び制御方法、コンピュータプログラム、並びにコンテンツ再生システム
CN114734942A (zh) 调节车载音响音效的方法及装置
KR20200022932A (ko) 차량 탑승자 대화기반 컨텐츠 추천 방법 및 장치
CN114005447A (zh) 一种语音对话交互方法、装置、车辆及介质
CN115050375A (zh) 一种设备的语音操作方法、装置和电子设备
US10965391B1 (en) Content streaming with bi-directional communication
JP2021114081A (ja) ドライブレコーダ、記録方法およびプログラム
CN113035181A (zh) 语音数据处理方法、设备和***
JP2010047093A (ja) 音声認識処理装置および音声認識処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117

RJ01 Rejection of invention patent application after publication