CN111916069A - 基于语音识别提供信息的***和方法以及车辆 - Google Patents

基于语音识别提供信息的***和方法以及车辆 Download PDF

Info

Publication number
CN111916069A
CN111916069A CN201910743238.6A CN201910743238A CN111916069A CN 111916069 A CN111916069 A CN 111916069A CN 201910743238 A CN201910743238 A CN 201910743238A CN 111916069 A CN111916069 A CN 111916069A
Authority
CN
China
Prior art keywords
information
vehicle
voice
context
wake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910743238.6A
Other languages
English (en)
Other versions
CN111916069B (zh
Inventor
崔璋元
成太铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN111916069A publication Critical patent/CN111916069A/zh
Application granted granted Critical
Publication of CN111916069B publication Critical patent/CN111916069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373Voice control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques
    • G10L17/22Interactive procedures; Man-machine interfaces
    • G10L17/24Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种基于语音识别提供信息的***和方法以及车辆。基于语音识别提供信息的***包括车辆和服务器,服务器基于车辆的驾驶环境信息和车辆信息提供语音识别功能的自动唤醒上下文,从车辆接收与自动唤醒上下文相关联的语音信息,并通过处理接收到的语音信息生成服务信息,以将服务信息提供给另一车辆,其中,当发出自动唤醒上下文时,车辆通过使用语音识别自动获取语音信息,并将语音信息传输到服务器。

Description

基于语音识别提供信息的***和方法以及车辆
相关申请的交叉引用
本申请要求于2019年5月10日提交的韩国专利申请第10-2019-0055047号的优先权和权益,其全部内容通过引用结合于此。
技术领域
本公开涉及一种基于语音识别提供信息的***和方法。
背景技术
本节中的陈述仅提供与本公开相关的背景信息,并且可能不构成现有技术。
随着语音识别技术应用于车辆,已经研究了一种通过过滤从语音信息中提取有意义的信息的方案,当车辆中的乘员发出与交通或位置有关的信息时,通过使用语音识别技术来收集该语音信息,并且与其他车辆驾驶员共享有意义的信息。
在传统的信息共享技术中,驾驶员必须执行具体的操作(例如,按下语音识别按钮或预置的命令话语)以激活语音识别功能,以收集车辆中的乘员已经发出的信息。然而,这种激活语音识别功能的方案可能通过在驾驶期间分散驾驶员的注意力而引起事故。
同时,当通过自动激活语音识别功能来收集语音信息时,为了防止在驾驶期间驾驶员的注意力分散,可能收集不希望收集的信息(诸如个人信息)。结果,存在越来越多的关于隐私保护的问题。
发明内容
本公开的一方面提供了一种基于语音识别来提供信息的***和方法,其可以通过基于车辆驾驶环境信息或车辆信息改变自动地允许语音识别功能唤醒的上下文,而在没有用户的任何具体操作的情况下收集基于语音识别的信息,并且处理所收集的语音信息以将信息提供给另一车辆。
本发明构思要解决的技术问题不限于上述问题,并且本公开所属领域的技术人员从以下描述中,将清楚地理解本文未提及的任何其他技术问题。
在本公开的一种形式中,一种基于语音识别提供信息的***,包括车辆和服务器,该服务器基于车辆的驾驶环境信息和车辆信息提供语音识别功能的自动唤醒上下文(automatic wake-up context),从车辆接收与自动唤醒上下文相关联的语音信息,并通过处理接收到的语音信息生成服务信息,以将服务信息提供给另一车辆,其中,当发出自动唤醒上下文时,车辆通过使用语音识别自动获取语音信息,并将该语音信息传输到服务器。
服务器可以从语音信息中过滤个人信息。
服务器可以考虑语音信息的发出的频率数目和对应于自动唤醒上下文的权重中的至少一个来生成服务信息。
在本公开的一种形式中,车辆包括提供车辆的驾驶环境信息的导航装置、提供车辆信息的车辆信息检测器、识别车辆中的语音信息的语音识别器、以及获取与对应于驾驶环境信息和车辆信息而改变的自动唤醒上下文相关联的语音信息的处理器。
处理器可以基于驾驶环境信息和车辆信息中的至少一个来判定是否激活语音识别器。
当驾驶环境信息与车辆信息不匹配时,处理器可以激活语音识别器。
车辆还可以包括与服务器通信的通信装置,其中,处理器从服务器请求自动唤醒上下文并接收自动唤醒上下文。
处理器可以在语音识别器被激活之后判定是否通过语音识别器发出自动唤醒上下文。
处理器可以在发出自动唤醒上下文的时间点之后获取语音信息,并将语音信息传输到服务器。
车辆还可以包括存储基于驾驶环境信息和车辆信息的自动唤醒上下文的存储器。
在本公开的另一种形式中,基于语音识别提供信息的方法包括由车辆获取驾驶环境信息和车辆信息,由车辆基于驾驶环境信息和车辆信息获取与语音识别功能的自动唤醒上下文相关联的语音信息,由车辆将语音信息传输到服务器,并且由服务器通过处理语音信息来生成服务信息以将服务信息提供至另一车辆。
获取驾驶环境信息和车辆信息可以包括,由车辆通过导航装置获取包括当前位置信息、实时道路信息以及天气信息中的至少一个的驾驶环境信息,以及由车辆通过安装在车辆上的传感器获取包括车辆速度信息和状态信息中的至少一个的车辆信息。
获取语音信息可以包括,由车辆基于驾驶环境信息和车辆信息判定语音识别功能的激活、在语音识别功能被激活之后由车辆感测自动唤醒上下文的发出,以及在发出自动唤醒上下文的时间点之后由车辆获取和存储语音信息。
判定语音识别功能的激活可以包括基于驾驶环境信息当车辆驾驶的道路被识别为拥堵状态时,判定语音识别功能的激活。
判定语音识别功能的激活可以包括基于车辆信息当车辆被识别为处于低速状态或静止状态时,判定语音识别功能的激活。
判定语音识别功能的激活可以包括当驾驶环境信息与车辆信息不匹配时,判定语音识别功能的激活。
该方法还可以包括,在判定语音识别功能的激活之后,由车辆从服务器请求自动唤醒上下文,并且由服务器基于驾驶环境信息和车辆信息向车辆提供自动唤醒上下文。
感测自动唤醒上下文的发出可以包括,由车辆获取车辆上的用户发出的语音信息,以将语音信息与自动唤醒上下文进行比较,并且基于比较结果判定是否发出了自动唤醒上下文。
生成服务信息以向另一车辆提供服务信息可以包括,由服务器从语音信息中过滤个人信息并收集信息,以及由服务器通过使用所收集的信息生成服务信息。
信息的收集可以包括考虑语音信息的发出的频率数目和对应于自动唤醒上下文的权重中的至少一个来收集信息。
从本文提供的描述中,其他适用领域将变得显而易见。应理解,描述和具体示例仅旨在说明的目的,并不旨在限制本公开的范围。
附图说明
为了很好地理解本公开,现在将参考附图描述作为示例给出的其各种形式,其中:
图1是示出在本公开的一种形式中基于语音识别提供信息的***的示图;
图2是图1所示的车辆的框图;
图3是图1所示的服务器的框图;以及
图4是示出在本公开的一种形式中基于语音识别提供信息的方法的流程图。
本文描述的附图仅用于说明目的,并不旨在以任何方式限制本公开的范围。
具体实施方式
下面的描述本质上仅是示例性的,并不旨在限制本公开、应用或用途。应理解,在整个附图中,相应的参考标记表示相同或相应的部件和特征。
在描述本公开的一些形式时,可以使用诸如第一、第二、“A”、“B”、(a)、(b)等术语。这些术语仅旨在区分一个组件与另一个组件,并且这些术语不限制组成组件的性质、顺序或次序。除非另有定义,否则本文使用的所有术语,包括技术或科学术语,具有与本公开所属领域的技术人员通常理解的含义相同的含义。在通常使用的词典中定义的那些术语应被解释为具有与相关领域中的上下文含义相同的含义,并且除非在本申请中被明确定义为具有理想的或过于正式的含义,否则不应被解释为具有理想的或过于正式的含义。
根据本公开,语音识别功能的自动唤醒上下文是基于车辆的驾驶环境(例如,特定情况、地理位置、特定区域条件等)和/或车辆信息的。当用户发出特定的自动唤醒上下文时,可以自动激活语音识别功能以收集语音信息(即,数据),使得可以获取基于自动唤醒上下文选择的数据和指向用户的数据。
此外,根据本公开,可以仅向希望共享信息的用户提供语音记录权。可以从通过记录而获取的数据(语音信息)中去除个人信息(与隐私相关的信息)和/或与语音识别自动唤醒上下文无关的内容,并且对其分类,以仅提供增加相同内容的量的信息,从而防止个人信息被暴露。
此外,根据本公开,当语音消息数据的相关性高时,可以考虑权重、频率等在车辆显示器上以文本形式可视化数据,使得可以更简单和容易地获取信息。
图1是示出在本公开的一些形式中基于语音识别提供信息的***的示图。图2是图1所示的车辆的框图。图3是图1所示的服务器的框图。
参考图1,信息提供***包括通过网络连接的车辆100和服务器200。网络可以用无线互联网技术、短程通信技术、移动通信技术等来实现。在这种情况下,可以使用无线LAN(WLAN:Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)等作为无线互联网技术。可以使用蓝牙、近场通信(NFC)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee等作为短程通信技术。作为移动通信技术,可以使用码分多址(CDMA)、全球移动通信***(GSM)、长期演进(LTE)、LTE-高级、国际移动通信(IMT)-2020等。
车辆100包括导航装置110、车辆信息检测器120、语音识别器130、通信装置140、存储器150、输出装置160以及处理器170。
导航装置110可以提供导航信息,即,车辆的驾驶环境信息,诸如车辆100的当前位置、实时道路信息、地标信息、关注点(POI)、天气信息、交通信息、充电状态信息等。导航装置110可以使用定位技术中的至少一种或多种,诸如全球定位***(GPS)、航位推算(DR)、差分GPS(DGPS)以及载波相位差分GPS(CDGPS),以获取车辆100的当前位置信息。此外,导航装置110可以通过网络从交通中心获取实时交通信息、实时道路信息、天气信息等。
车辆信息检测器120检测诸如车辆速度信息(例如,低速或高速)和状态信息(例如,停止状态或驾驶状态)的车辆信息。车辆信息检测器120可以通过使用安装在车辆100上的传感器(诸如速度传感器和/或换档杆(shift lever)位置传感器)来检测车辆信息。
语音识别器130通过安装在车辆100中的至少一个麦克风(未示出)获取语音信息(话语信息)。当输入由车辆乘员(例如,驾驶员和/或乘客)产生的语音信号时,语音识别器130处理语音信号以将语音信号转换为文本。在这种情况下,麦克风(未示出)是接收外部声信号并将其转换为电信号的声音传感器。可以在麦克风中实现各种噪声去除算法,以去除与声信号一起输入的噪声。换句话说,麦克风可以将驾驶期间产生的噪声或来自外部的噪声从外部输入的声信号中去除,并输出处理后的声信号。
在本公开的一些形式中,因为语音识别器130可以通过使用各种已知语音识别技术中的至少一种来识别用户发出的语音数据(语音信息),所以将省略细节。
通信装置140使得车辆100能够接入网络。通信装置140可以允许车辆100与服务器200交换数据。通信装置140可以用无线互联网技术、短程通信技术、移动通信技术、车联网(V2X)技术等来实现。作为V2X技术,可以应用车辆至车辆(V2V)、车辆至基础设施(V2I)、车辆至漫游装置(V2N)、车载网络(IVN)等。
存储器150可以存储被编程的以允许处理器170执行预定操作的软件。存储器150可以用诸如闪存、硬盘、安全数字(SD)卡、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)、寄存器、可移动盘、网络存储器等的记录介质中的至少一种来实现。
存储器150可以存储由导航装置110和车辆信息检测器120获取的车辆的驾驶环境信息和车辆信息。存储器150可以存储通过通信装置140接收的信息。此外,存储器150可以存储诸如“事故”、“119”、“伤害”、“故障”等意外情况的自动唤醒上下文。
输出装置160以时间信息、听觉信息、触觉信息等的形式输出处理器170的操作的进度状态和结果。输出装置160可以包括显示器、音频输出模块、触觉信息输出模块等。显示器可以用液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT LCD)、有机发光二极管(OLED)显示器、柔性显示器、3D显示器、透明显示器、平视显示器(HUD)、触摸屏、仪表盘等中的至少一个来实现。音频输出模块可以输出存储在存储器150中的音频数据。音频输出模块可以包括接收器、扬声器、蜂鸣器等。触觉信息输出模块以用户可以用触觉感知的形式输出信号。例如,触觉信息输出模块可以实现为振动器,以控制振动强度和模式。
控制车辆100的整体操作的处理器170可以用专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器、微处理器等中的至少一个来实现。
当车辆100行驶时,处理器170通过导航装置110和车辆信息检测器120获取(收集)车辆的驾驶环境信息和/或车辆信息。处理器170基于驾驶环境信息和/或车辆信息判定是否激活语音识别功能。例如,当通过从导航设备110提供的实时道路信息识别车辆100行驶的道路的拥堵状态时,处理器170判定语音识别功能的激活。同时,当车辆信息检测器120识别出车辆100处于低速状态或静止状态时,处理器170判定语音识别功能的激活。当从导航装置110提供的信息和从车辆信息检测器120提供的信息彼此不对应时,例如,基于从导航装置110提供的实时道路信息,识别车辆100的行驶道路处于拥堵状态,但是车辆100的行驶速度实际上高时,处理器170判定语音识别功能的激活。
当判定激活语音识别功能时,处理器170激活语音识别功能。即,处理器170执行语音识别器130。
此外,当判定激活语音识别功能时,处理器170通过通信装置140从服务器200请求用于使用语音识别来确定信息收集的开始时间的自动唤醒上下文。处理器170传输用于自动唤醒上下文的请求消息,该请求消息包括车辆的驾驶环境信息和车辆信息。
处理器170基于车辆的驾驶环境信息和车辆信息接收自动唤醒上下文,该自动唤醒上下文通过从服务器200通信装置140传输。处理器170将接收到的自动唤醒上下文存储在存储器150中。
处理器170将通过语音识别器130获取的语音信息与存储在存储器150中的自动唤醒上下文进行比较,以判定是否开始收集语音信息。
处理器170通过语音识别器130获取语音信息,并且当获取的语音信息与存储的自动唤醒上下文匹配时,将获取的语音信息存储在存储器150中。即,在用户发出自动唤醒上下文(即,自动唤醒上下文关键词)的时间点之后,处理器170收集通过语音识别器130获取的语音信息。处理器170将收集的语音信息传输到服务器200。处理器170仅收集包括自动唤醒上下文的语音信息并将其传输到服务器200。
处理器170通过通信装置140将车辆100的当前位置信息传输到服务器200。此后,处理器170从服务器200接收与当前位置信息相关联的服务信息。处理器170将由服务器200提供的服务信息输出到输出装置160。例如,处理器170接收从服务器200传输的服务信息,并在车辆100中的显示器上显示接收的服务信息。
服务器200响应于车辆100的请求提供自动唤醒上下文,并收集从一个或多个车辆100传输的语音信息以提供服务信息(处理后的信息)。服务器200包括通信装置210、内存220、数据库(DB)230以及处理器240。
通信装置210使得服务器200能够与车辆100交换数据。通信装置210通过使用无线互联网技术、短程通信技术、移动通信技术等来执行数据通信。
内存220存储被编程以允许处理器240执行指定操作的软件。内存220可以存储输入到处理器240的数据和从处理器240输出的数据。此外,内存220可以存储通过通信装置210接收的信息。
内存220可以用诸如闪存、硬盘、安全数字(SD)卡、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、电可擦除和可编程ROM(EEPROM)、可擦除和可编程ROM(EPROM)、寄存器、可移动盘等的记录介质中的至少一种来实现。
DB 230存储和管理基于车辆的驾驶环境信息和/或车辆信息的自动唤醒上下文。自动唤醒上下文可以包括用于每个关注点(POI)的自动唤醒上下文关键词、基于驾驶环境信息和/或车辆信息预先定义的自动唤醒上下文关键词、用于意外情况的自动唤醒上下文关键词等。DB 230可以存储和管理由处理器240收集的有效信息。
处理器240接收通过通信装置210从车辆100传输的请求自动唤醒上下文的消息。处理器240基于包括在请求消息中的驾驶环境信息和车辆信息,在DB 230中搜索自动唤醒上下文,即,自动唤醒上下文关键词。处理器240将检测到的自动唤醒上下文传输到车辆100。
处理器240通过通信装置210接收从车辆100传输的语音信息,并将语音信息存储在内存220中。当存储通过车辆100收集的语音信息时,处理器240存储地理信息,即,提供语音信息的车辆100的位置信息。
处理器240判定所接收的语音信息是否是可用信息。换句话说,处理器240判定所接收的语音信息是否与自动唤醒上下文相关联并且包括个人信息(例如,姓名、年龄、居民登记号码、移动号码、电子邮件地址等)。当接收的语音信息与自动唤醒上下文相关联并且不包括个人信息时,处理器240判定语音信息是有效的。同时,当接收的语音信息不与自动唤醒上下文相关联或包括个人信息时,处理器240判定相应的语音信息无效。
处理器240从收集的语音信息中过滤个人信息和/或与自动唤醒上下文不相关联的语音信息。此外,处理器240基于车辆100的当前位置信息和预先存储在DB 230中的信息提取相关数据,即,语音信息。处理器240基于存储在DB 230中的发出频率提取频繁出现的数据排名。处理器240对相关数据施以更大的权重,并将其反映在排名中。处理器240不断地更新并实体化更高排名的数据信息。
例如,当对应于发出频率的数据排名如下表1时,处理器240可以在车辆100位于停车场时通过加权“停车场”来重新组织数据排名。在这种情况下,当将“150”的权重赋予“停车场”时,由于权重,“停车场+满座”的频率变为230,并且数据排名变为“1”。
【表1】
排名 语音信息 频率
1 驾驶道路+拥堵 200
2 人+多 150
3 停车场+满座 80
处理器240通过使用可用的语音信息,即,有效信息,来生成服务信息。服务信息是车辆100在道路上行驶所必需的信息,并且可以包括道路信息、事故信息、故障信息等。如上所述,根据本公开,可以通过改变自动唤醒上下文(不需要驾驶员按下单独的语音识别按钮的任何操作)来改变自动唤醒上下文,以自然地记录在特定情况下(地理位置、事故/故障发生)的用户语音,可以过滤个人信息以用于隐私保护,并且可以通过应用权重来可视地提供关于在分配权重的相同区域中行驶的车辆的最新信息。
图4是示出了在本公开的一些形式中基于语音识别提供信息的方法的流程图。
参考图4,在S110中,车辆100获取车辆100的驾驶环境信息和/或车辆信息。车辆100的处理器170通过导航装置110获取车辆100的驾驶环境信息,并通过车辆信息检测器120获取车辆信息。
在S120中,车辆100基于驾驶环境信息和/或车辆信息判定是否激活语音识别功能。车辆100通过由导航装置110提供的实时道路信息识别驾驶道路的拥堵状态,来判定语音识别功能的激活。可选地,当从车辆信息检测器120提供的车速信息小于低速判定基准时,车辆100判定语音识别功能的激活。可选地,当从导航装置110提供的信息和从车辆信息检测器120提供的信息彼此不匹配时,车辆100判定语音识别功能的激活。当判定语音识别功能的激活时,车辆100操作语音识别器130以激活语音识别功能。
在S130中,当判定语音识别功能的激活时,车辆100向服务器200请求自动唤醒上下文。当传输请求自动唤醒上下文的消息时,车辆100可以传输车辆100的驾驶环境信息和车辆信息。
在S140中,服务器200响应于车辆100的请求在DB 230中搜索自动唤醒上下文,并将信息传输到车辆100。服务器200可以将用于每个关注点(POI)的自动唤醒上下文关键词、基于驾驶环境信息和/或车辆信息预先定义的自动唤醒上下文关键词、用于意外情况的自动唤醒上下文关键词等提供给车辆100。
在S150中,车辆100通过语音识别器130识别语音信息。车辆100的处理器170通过安装在车辆100中的至少一个麦克风,识别由用户(例如,驾驶员或乘客)发出的语音信息。
在S160中,车辆100将识别的语音信息与从服务器200提供的自动唤醒上下文进行比较。车辆100判定识别的语音信息与自动唤醒上下文(即,自动唤醒上下文关键词)是否匹配。
在S170中,当识别的语音信息与自动唤醒上下文匹配时,车辆100通过语音识别器130收集语音信息。车辆100根据识别的语音信息是否与自动唤醒上下文匹配,判定是否开始收集语音信息。当识别的语音信息与自动唤醒上下文匹配时,车辆100开始收集语音信息。换句话说,在用户发出自动唤醒上下文的时间点之后车辆100通过语音识别器130获取语音信息,并且将该语音信息存储在存储器150中。
在S180中,车辆100将收集的语音信息传输到服务器200。服务器200接收从至少一个车辆100传输的语音信息。
在S190中,服务器200过滤并收集从车辆100接收的语音信息。服务器200将收集的信息存储在DB 230中并管理DB 230中的收集的信息。
在S200中,服务器200基于收集的信息生成服务信息。服务器200从收集的信息中提取与车辆100的当前位置信息相关联的信息,以生成服务信息。
在S210中,服务器200将生成的服务信息传输到车辆100。
在S220中,车辆100以用户可识别的形式输出由服务器200提供的服务信息。车辆100可以在显示器上显示服务信息,或者通过扬声器作为语音消息输出服务信息。
如上所述,当用户发出包含自动唤醒上下文关键词的句子时,车辆记录发出的语音信息并将其与车辆100的当前位置信息一起传输到服务器200。当服务器200从车辆100接收当前位置信息时,服务器200可以从DB 230提取与接收到的当前位置信息相关联的关联信息,并且可以处理提取的信息以将处理后的信息提供给另一车辆。例如,当服务器200从特定车辆接收位置信息时,服务器200可以生成包括与所接收的位置信息相关联的特定车辆行驶的道路上的事故的发生、事故位置等的服务信息,并且将该服务信息提供给特定车辆。
在下文中,将描述在本公开的一些形式中基于语音识别提供信息的示例。
首先,当识别出车辆100已经进入特定POI时,例如,在
Figure BDA0002164690550000151
Figure BDA0002164690550000152
的5km半径内,车辆100将请求自动唤醒上下文的消息连同车辆100的当前位置信息一起传输到服务器200。服务器200基于车辆100的当前位置信息在DB 230中搜索与特定POI相关联的关键词,诸如
Figure BDA0002164690550000153
“游乐园”、“停车”、“停车场”等。服务器200将检测到的关键词作为自动唤醒上下文提供给车辆100。
当用户发出由服务器200提供的自动唤醒上下文时,车辆100在发声之后通过语音识别器130获取语音信息,并将语音信息传输到服务器200。例如,车辆100获取“今天乐天世界太拥挤”、“通往乐天世界的道路非常堵塞”、“游乐园周末总是有很多人”、“去游乐园花费太多时间”、“没有停车的地方”、“停车场已满”等,并将其传输到服务器200。
当车辆100在5km的特定POI半径之外时,车辆100停用语音识别功能。即,车辆100停止(结束)语音识别器130的操作。
第二,当从导航装置110提供的驾驶环境信息和从车辆信息检测器120提供的车辆信息彼此不匹配时,不管自动唤醒上下文如何,车辆100可以激活语音识别功能,从而可以获取语音信息。例如,根据从导航装置110提供的交通信息,当行驶道路处于拥堵状态并且通过车辆信息检测器120获取的车辆速度不是50km或更低的低速度行驶时,或者根据从导航装置110提供的天气信息,驾驶区域被识别为雨天区域,但是根据由车辆信息检测器120获取的信息,当雨刷未操作超过一分钟时,通过语音识别器130获取语音信息并存储。
同时,车辆100可以通过从服务器200请求自动唤醒上下文来接收诸如“差异”、“故障”、“天气”、“晴天”、“下雨”、“交通”、“拥堵”、“交通顺畅”等的自动唤醒上下文。
当用户发出自动唤醒上下文时,车辆100通过语音识别器130获取诸如“交通顺畅且不堵塞”、“这里将下雨,但没有下雨”等发出的信息。车辆100将获取的语音信息传输到服务器200。
当驾驶环境信息和车辆信息彼此匹配时或者当经过指定的时间时,车辆100停用语音识别功能。
第三,当用户发出与预先存储在存储器150中的意外情况相关的自动唤醒上下文时,车辆100将通过语音识别器130输入的语音信息存储(收集)到存储器150中。车辆100将通过语音识别器130获取的语音信息传输到服务器200。同时,当车辆100进入事故危险的指定半径时,车辆100请求服务器200提供关于意外情况的自动唤醒上下文。当用户发出自动唤醒上下文时,车辆100将通过语音识别获取的诸如“发生事故(故障)”、“有救护车,所以发生了事故”等语音信息传输到服务器200。
当车辆100使用存储在存储器150中的自动唤醒上下文时,可以将语音识别功能保持在激活状态,直到车辆操作终止。同时,当车辆100使用从服务器200提供的自动唤醒上下文时,可以在车辆100离开事故危险的指定半径时停用语音识别功能。
根据本公开,在没有用户的任何动作下,通过基于车辆的驾驶环境信息和/或车辆信息改变用于自动唤醒语音识别功能的上下文,而在没有用户的任何特定操作情况下基于语音识别来收集信息,从而可以防止由于用户在驾驶期间的动作而分散注意力。
此外,根据本公开,从所收集的发出信息中过滤与隐私相关的信息并将其提供给其他车辆,从而可以防止与隐私相关的信息被泄露。
本公开的描述本质上仅是示例性的,并且因此,不脱离本公开的实质的变化旨在落入本公开的范围内。这种变化不应被视为脱离本公开的精神和范围。

Claims (20)

1.一种基于语音识别提供信息的***,所述***包括:
车辆;以及
服务器,被配置为:
基于驾驶环境信息和车辆信息向所述车辆提供语音识别功能的自动唤醒上下文;
从所述车辆接收与所述自动唤醒上下文相关联的语音信息;
通过处理接收的语音信息生成服务信息;以及
将所述服务信息提供给另一车辆,
其中,所述车辆被配置为:
当发出所述自动唤醒上下文时,通过使用所述语音识别自动获取所述语音信息;以及
将所述语音信息传输到所述服务器。
2.根据权利要求1所述的***,其中,所述服务器被配置为从所述语音信息中过滤个人信息。
3.根据权利要求1所述的***,其中,所述服务器被配置为基于所述语音信息的发出频率和对应于所述自动唤醒上下文的权重中的至少一个来生成所述服务信息。
4.一种车辆,包括:
导航装置,被配置为提供所述车辆的驾驶环境信息;
车辆信息检测器,被配置为提供车辆信息;
语音识别器,被配置为识别所述车辆中的语音信息;以及
处理器,被配置为获取与自动唤醒上下文相关联的语音信息,所述自动唤醒上下文对应于所述驾驶环境信息和所述车辆信息而改变。
5.根据权利要求4所述的车辆,其中,所述处理器被配置为基于所述驾驶环境信息和所述车辆信息中的至少一个来判定是否激活所述语音识别器。
6.根据权利要求5所述的车辆,其中,所述处理器被配置为当所述驾驶环境信息与所述车辆信息不一致时激活所述语音识别器。
7.根据权利要求5所述的车辆,其中,所述车辆还包括:
通信装置,被配置为与服务器通信,
其中,所述处理器被配置为从所述服务器接收所述自动唤醒上下文。
8.根据权利要求7所述的车辆,其中,所述处理器被配置为在所述语音识别器被激活之后判定所述自动唤醒上下文是否通过所述语音识别器发出。
9.根据权利要求8所述的车辆,其中,所述处理器被配置为:
在所述自动唤醒上下文发出后获取所述语音信息;以及
将所述语音信息传输到所述服务器。
10.根据权利要求4所述的车辆,其中,所述车辆还包括:
存储器,被配置为基于所述驾驶环境信息和所述车辆信息存储所述自动唤醒上下文。
11.一种基于语音识别提供信息的方法,所述方法包括:
由车辆获取驾驶环境信息和车辆信息;
由所述车辆基于所述驾驶环境信息和所述车辆信息,获取与语音识别功能的自动唤醒上下文相关联的语音信息;
由所述车辆将所述语音信息传输到服务器;
由所述服务器通过处理所述语音信息生成服务信息;以及
由所述服务器将所述服务信息提供给另一车辆。
12.根据权利要求11所述的方法,其中,获取所述驾驶环境信息和所述车辆信息包括:
通过所述车辆的导航装置获取所述驾驶环境信息,所述驾驶环境信息包括当前位置信息、实时道路信息和天气信息中的至少一个;以及
通过所述车辆的多个传感器获取所述车辆信息,所述车辆信息包括车辆速度信息和状态信息中的至少一个。
13.根据权利要求11所述的方法,其中,获取所述语音信息包括:
由所述车辆基于所述驾驶环境信息和所述车辆信息判定所述语音识别功能的激活;
在所述语音识别功能激活之后,由所述车辆感测所述自动唤醒上下文的发出;以及
在所述自动唤醒上下文发出之后,由所述车辆获取并存储语音信息。
14.根据权利要求13所述的方法,其中,判定所述语音识别功能的激活包括:
基于所述驾驶环境信息当所述车辆行驶的道路被识别为拥堵状态时,判定所述语音识别功能的激活。
15.根据权利要求13所述的方法,其中,判定所述语音识别功能的激活包括:
基于所述车辆信息当所述车辆被识别为低速状态或静止状态时,判定所述语音识别功能的激活。
16.根据权利要求13所述的方法,其中,判定所述语音识别功能的激活包括:
当所述驾驶环境信息与所述车辆信息不一致时,判定所述语音识别功能的激活。
17.根据权利要求13所述的方法,其中,所述方法还包括:
由所述车辆从所述服务器请求所述自动唤醒上下文;以及
由所述服务器基于所述驾驶环境信息和所述车辆信息向所述车辆提供所述自动唤醒上下文。
18.根据权利要求13所述的方法,其中,感测所述自动唤醒上下文的发出包括:
由所述车辆获取在所述车辆中由用户发出的语音信息;
将所述语音信息与所述自动唤醒上下文进行比较;以及
基于比较结果判定是否发出所述自动唤醒上下文。
19.根据权利要求11所述的方法,其中,生成所述服务信息包括:
由所述服务器通过从所述语音信息中过滤个人信息来收集信息;以及
由所述服务器基于收集的信息生成所述服务信息。
20.根据权利要求19所述的方法,其中,收集信息包括:
基于所述语音信息的发出频率和对应于所述自动唤醒上下文的权重中的至少一个来收集信息。
CN201910743238.6A 2019-05-10 2019-08-13 基于语音识别提供信息的***和方法以及车辆 Active CN111916069B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0055047 2019-05-10
KR1020190055047A KR20200129922A (ko) 2019-05-10 2019-05-10 음성인식 기반 정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
CN111916069A true CN111916069A (zh) 2020-11-10
CN111916069B CN111916069B (zh) 2024-03-22

Family

ID=72943475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910743238.6A Active CN111916069B (zh) 2019-05-10 2019-08-13 基于语音识别提供信息的***和方法以及车辆

Country Status (4)

Country Link
US (1) US11133007B2 (zh)
KR (1) KR20200129922A (zh)
CN (1) CN111916069B (zh)
DE (1) DE102019212050A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968428A (zh) * 2021-02-20 2022-08-30 上海博泰悦臻网络技术服务有限公司 虚拟角色的静默模式设定方法、***、介质及装置
CN111916069B (zh) * 2019-05-10 2024-03-22 现代自动车株式会社 基于语音识别提供信息的***和方法以及车辆

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114356275B (zh) * 2021-12-06 2023-12-29 上海小度技术有限公司 交互控制方法、装置、智能语音设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000029936A1 (en) * 1998-11-12 2000-05-25 Microsoft Corporation Speech recognition system with changing grammars and grammar help command
CN1811341A (zh) * 2005-01-27 2006-08-02 乐金电子(惠州)有限公司 车载导航装置及其工作方法
US20110010171A1 (en) * 2009-07-07 2011-01-13 General Motors Corporation Singular Value Decomposition for Improved Voice Recognition in Presence of Multi-Talker Background Noise
CN103090871A (zh) * 2011-11-04 2013-05-08 上海博泰悦臻网络技术服务有限公司 车载导航装置及其导航方法、车载导航***
CN104802798A (zh) * 2015-04-30 2015-07-29 佛山市天地行科技有限公司 行车安全提醒方法
WO2016028228A1 (en) * 2014-08-21 2016-02-25 Avennetz Technologies Pte Ltd System, method and apparatus for determining driving risk
WO2017002471A1 (ja) * 2015-07-02 2017-01-05 ソニー株式会社 車両制御装置と車両制御方法およびプログラム
CN106504556A (zh) * 2015-09-07 2017-03-15 深圳市京华信息技术有限公司 一种语音查询和播报实时路况的方法及***
CN107004410A (zh) * 2014-10-01 2017-08-01 西布雷恩公司 语音和连接平台
KR20170135196A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN108766423A (zh) * 2018-05-25 2018-11-06 三星电子(中国)研发中心 一种基于场景的主动唤醒方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8766817B2 (en) * 2011-03-07 2014-07-01 International Business Machines Corporation Road hazard detection and warning system and method
KR102338990B1 (ko) * 2017-01-23 2021-12-14 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10144346B1 (en) * 2018-03-31 2018-12-04 Jewel L. Dohan Voice-recognition/voice-activated vehicle signal system
KR102562227B1 (ko) * 2018-06-12 2023-08-02 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
KR20200000155A (ko) * 2018-06-22 2020-01-02 현대자동차주식회사 대화 시스템 및 이를 이용한 차량
KR20200129922A (ko) * 2019-05-10 2020-11-18 현대자동차주식회사 음성인식 기반 정보 제공 시스템 및 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000029936A1 (en) * 1998-11-12 2000-05-25 Microsoft Corporation Speech recognition system with changing grammars and grammar help command
CN1811341A (zh) * 2005-01-27 2006-08-02 乐金电子(惠州)有限公司 车载导航装置及其工作方法
US20110010171A1 (en) * 2009-07-07 2011-01-13 General Motors Corporation Singular Value Decomposition for Improved Voice Recognition in Presence of Multi-Talker Background Noise
CN103090871A (zh) * 2011-11-04 2013-05-08 上海博泰悦臻网络技术服务有限公司 车载导航装置及其导航方法、车载导航***
WO2016028228A1 (en) * 2014-08-21 2016-02-25 Avennetz Technologies Pte Ltd System, method and apparatus for determining driving risk
CN107004410A (zh) * 2014-10-01 2017-08-01 西布雷恩公司 语音和连接平台
CN104802798A (zh) * 2015-04-30 2015-07-29 佛山市天地行科技有限公司 行车安全提醒方法
WO2017002471A1 (ja) * 2015-07-02 2017-01-05 ソニー株式会社 車両制御装置と車両制御方法およびプログラム
CN106504556A (zh) * 2015-09-07 2017-03-15 深圳市京华信息技术有限公司 一种语音查询和播报实时路况的方法及***
KR20170135196A (ko) * 2016-05-30 2017-12-08 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
CN108766423A (zh) * 2018-05-25 2018-11-06 三星电子(中国)研发中心 一种基于场景的主动唤醒方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111916069B (zh) * 2019-05-10 2024-03-22 现代自动车株式会社 基于语音识别提供信息的***和方法以及车辆
CN114968428A (zh) * 2021-02-20 2022-08-30 上海博泰悦臻网络技术服务有限公司 虚拟角色的静默模式设定方法、***、介质及装置

Also Published As

Publication number Publication date
US11133007B2 (en) 2021-09-28
US20200357394A1 (en) 2020-11-12
DE102019212050A1 (de) 2020-11-12
CN111916069B (zh) 2024-03-22
KR20200129922A (ko) 2020-11-18

Similar Documents

Publication Publication Date Title
CN111916069B (zh) 基于语音识别提供信息的***和方法以及车辆
US7627406B2 (en) System and method for data storage and diagnostics in a portable communications device interfaced with a telematics unit
US9449514B2 (en) Methods and apparatus for adaptive vehicle response to air quality states
US20140303839A1 (en) Usage prediction for contextual interface
JP4554653B2 (ja) 経路探索方法、経路探索システムおよびナビゲーション装置
US20140300494A1 (en) Location based feature usage prediction for contextual hmi
RU2685998C2 (ru) Ситуативный интерфейс транспортного средства
EP3635674A1 (en) Vehicle telematics based driving assessment
US20100136944A1 (en) Method and system for performing a task upon detection of a vehicle trigger
US20130131918A1 (en) System and method for an information and entertainment system of a motor vehicle
US20210166275A1 (en) System and method for providing content to a user based on a predicted route identified from audio or images
US20110060523A1 (en) Method of utilizing a personal navigation device to suggest alternate routes being identified by recognizable street names
US9644985B2 (en) Navigation device that evaluates points of interest based on user utterance
US7944343B2 (en) System and method for providing information in a vehicle
KR20000076553A (ko) 위치 기반 서비스 제공 방법 및 컴퓨팅 시스템, 컴퓨터프로그램 제품
US11308737B1 (en) Systems and methods for analyzing wireless telematics data of a vehicle engaged in an extended period of travel
US20180143033A1 (en) Method and system for lane-based vehicle navigation
CN111259051A (zh) 车辆编队订阅和管理***
CN110431381B (zh) 预测性车辆获得
KR101657655B1 (ko) 차량 및 그 제어 방법
CN112767727A (zh) 使用v2v通信估计车辆目的地处的等待时间的方法和***
CN113739816A (zh) 车辆导航控制方法、装置及车辆
JP2019153081A (ja) 測定依頼装置、情報処理装置、測定依頼方法、測定依頼プログラム、情報処理方法及び情報処理プログラム
JP2020134193A (ja) サーバ、立寄地提案方法、プログラム、端末装置
US10922968B2 (en) Method and system for indicating traffic information in a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant