CN108257602A - 车牌号字符串矫正方法、装置、服务器和终端 - Google Patents

车牌号字符串矫正方法、装置、服务器和终端 Download PDF

Info

Publication number
CN108257602A
CN108257602A CN201810087925.2A CN201810087925A CN108257602A CN 108257602 A CN108257602 A CN 108257602A CN 201810087925 A CN201810087925 A CN 201810087925A CN 108257602 A CN108257602 A CN 108257602A
Authority
CN
China
Prior art keywords
character string
license plate
plate number
voice data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810087925.2A
Other languages
English (en)
Other versions
CN108257602B (zh
Inventor
任晓楠
匡涛
李霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201810087925.2A priority Critical patent/CN108257602B/zh
Publication of CN108257602A publication Critical patent/CN108257602A/zh
Application granted granted Critical
Publication of CN108257602B publication Critical patent/CN108257602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/232Orthographic correction, e.g. spell checking or vowelisation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/14Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G10L15/142Hidden Markov Models [HMMs]
    • G10L15/144Training of HMMs
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种车牌号字符串矫正方法、装置、服务器和终端,涉及语音识别领域。该车牌号字符串矫正方法包括:接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终端。本申请达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。

Description

车牌号字符串矫正方法、装置、服务器和终端
技术领域
本发明涉及语音识别领域,特别涉及一种车牌号字符串矫正方法、装置、服务器和终端。
背景技术
语音识别技术是非常重要的人机交互技术,随着语音识别技术突飞猛进的发展,现已有大量的语音识别技术投入到智能交通领域。
语音识别技术在智能交通领域的应用主要是汽车导航、路况信息查询、车辆调度等,这些应用均涉及到车牌号的识别。
但在实际的使用过程中,受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息,导致终端无法根据语音数据正确录入车牌号信息。
发明内容
为了解决在实际应用中,受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,本发明实施例提供了一种车牌号字符串矫正方法、装置、服务器和终端,可以对识别错误的车牌号信息进行矫正,使得终端能够正确录入车牌号信息。所述技术方案如下:
根据本申请实施例的第一方面,提供了一种车牌号字符串矫正方法,应用于服务器,所述方法包括:
接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串;
基于预先训练的车牌号的孤立词语音识别模型,对所述语音数据中与所述错误车牌号字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
将所述识别文本中的所述错误车牌号字符串替换为所述正确车牌号字符串,得到调整后的识别文本,将所述调整后的识别文本发送至所述终端。
根据本申请实施例的第二方面,提供了一种车牌号字符串矫正方法,应用于服务器,所述方法包括:
接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
将所述识别文本发送至所述终端;
当接收到所述终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对所述语音数据中与所述待识别字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
将所述正确车牌号字符串发送至所述终端。
根据本申请实施例的第三方面,提供了一种车牌号字符串矫正方法,应用于终端,所述方法包括:
采集用户输入的语音数据,将所述语音数据发送至服务器;
接收并显示所述服务器发送的所述语音数据对应的识别文本;
当接收到对应待识别字符串的语音重识别指令时,向所述服务器发送携带有所述待识别字符串的语音重识别请求;
当接收到所述服务器发送的正确车牌号字符串,将所述识别文本中的所述待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
根据本申请实施例的第四方面,提供了一种车牌号字符串矫正装置,应用于服务器,所述装置包括:
接收模块,用于接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
提取模块,用于基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串;
识别模块,用于基于预先训练的车牌号的孤立词语音识别模型,对所述语音数据中与所述错误车牌号字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
发送模块,用于将所述识别文本中的所述错误车牌号字符串替换为所述正确车牌号字符串,得到调整后的识别文本,将所述调整后的识别文本发送至所述终端。
根据本申请实施例的第五方面,提供一种车牌号字符串矫正装置,应用于服务器,所述装置包括:
接收模块,用于接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
第一发送模块,用于将所述识别文本发送至所述终端;
识别模块,用于当接收到所述终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对所述语音数据中与所述待识别字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
第二发送模块,用于将所述正确车牌号字符串发送至所述终端。
根据本申请实施例的第六方面,提供一种车牌号字符串矫正装置,应用于终端,所述装置包括:
第一发送模块,用于采集用户输入的语音数据,将所述语音数据发送至服务器;
接收模块,用于接收并显示所述服务器发送的所述语音数据对应的识别文本;
第二发送模块,用于当接收到对应待识别字符串的语音重识别指令时,向所述服务器发送携带有所述待识别字符串的语音重识别请求;
替换模块,用于当接收到所述服务器发送的正确车牌号字符串,将所述识别文本中的所述待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
根据本申请实施例的第七方面,提供一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本申请实施例的第一方面和第二方面所述的车牌号字符串矫正方法。
根据本申请实施例的第八方面,提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本申请实施例的第一方面和第二方面所述的车牌号字符串矫正方法。
根据本申请实施例的第九方面,提供一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如本申请实施例的第三方面所述的车牌号字符串矫正方法。
根据本申请实施例的第十方面,提供一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如本申请实施例的第三方面所述的车牌号字符串矫正方法。
根据本申请实施例的第十一方面,提供一种车牌号字符串矫正***,所述***包括终端和服务器,其中:
所述服务器,如本申请实施例的第二方面所述的服务器;
所述终端,如本申请实施例的第三方面所述的终端。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的车牌号字符串矫正方法的流程图;
图2是本发明另一个实施例提供的车牌号字符串矫正方法的流程图;
图3A是本发明再一个实施例提供的车牌号字符串矫正方法的流程图;
图3B是本发明一个实施例提供的终端显示识别文本的示意图;
图3C是本发明另一个实施例提供的终端显示识别文本的示意图;
图4是本发明又一个实施例提供的车牌号字符串矫正方法的流程图;
图5是本发明一个实施例中提供的车牌号字符串矫正装置的结构方框图;
图6是本发明另一个实施例中提供的车牌号字符串矫正装置的结构方框图;
图7是本发明再一个实施例中提供的车牌号字符串矫正装置的结构方框图;
图8是根据一示例性实施例示出的一种终端的框图;
图9是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
以语音识别技术为基础的车牌号识别方法在智能交通领域中应用广泛。用户通过终端录入包含车牌号信息的语音数据后,通过预加重、加窗分帧、特征提取等预处理操作后得到语音数据对应的识别文本,并对识别得到的识别文本进行录入,从而实现停车场收费管理、交通流量控制指标测量、车辆定位、汽车防盗、高速公路超速自动化监管、闯红灯电子警察、公路收费站等功能。
但在实际应用中,受到用户所处环境的噪音、用户的方言口语等因素的影响,用户录入终端的语音数据对应的文本和终端识别得到的识别文本存在一定出入,现有技术中,终端利用通用的语音识别技术对语音数据进行语音识别之后,虽然会通过语义分析对识别得到的识别文本进行文本矫正,并也无法识别出识别文本中的车牌号信息,无法识别出车牌号信息意味着无法对识别错误的车牌号信息进行矫正,最终导致终端无法正确识别用户录入终端的语音数据中的车牌号信息。
由于车牌号信息的正确识别对于维护交通安全和城市治安,防止交通堵塞,实现交通自动化管理有着重要意义,因此急需一种车牌号字符串矫正方法对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率,下面采用示意性的实施例进行说明。
实施例一
在实际的使用过程中,受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息。
请参考图1,其示出了本发明一个实施例提供的车牌号字符串矫正方法的流程图。该车牌号字符串矫正方法可以包括如下步骤:
步骤101,接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本。
服务器接收终端发送的语音数据,进行通用的连续语音识别,得到语音数据对应的识别文本。
可选的,服务器利用大量的语音数据和语音数据对应的语音文本来训练声学模型(比如GMM-HMM模型、DNN-HMM模型和RNN+CTC模型),当声学模型训练成熟后,接收终端发送的语音数据,利用训练好的声学模型对语音数据进行识别,得到语音数据对应的识别文本。
步骤102,基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串。
错误车牌号字符串中字符识别错误的原因有下述几种:1、字母被识别为汉字或者数字;2、数字被识别为汉字或者字母;3、字母被识别为汉字或者数字。
由于车牌号的格式有一定的规律,因此可通过预设的车牌号正则信息对车牌号的识别和纠错。
实际应用中,车牌号编排主要分为:
1)常规车牌号:仅允许以汉字开头,后面紧接六个由大写英文字母和***数字组成的字符。第一个汉字代表的是车辆所在省份的简称,如:京代表北京市、鲁代表山东省;第二个英文字母代表的是车辆所在地的地市一级代码,通常A代表的是该省的省会城市,B代表的是该省的第二大城市,C代表的是该省的第三大城市,其它英文字母以此类推,如:鲁A代表山东济南、鲁B代表山东青岛。
2)最后一个为汉字的车牌:允许以汉字开头,后面紧接六个字符,前五位字符由大写英文字母和***数字组成,最后一个字符为汉字,汉字包括“挂”、“学”、“警”、“港”、“澳”。如:粤Z1234港。
由此得到,预设的车牌号正则信息为:
[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领]{1}[A-Z]{1}[A-Z0-9]{4}[A-Z0-9挂学警港澳]{1}。
其中,[京津沪渝冀豫云辽黑湘皖鲁新苏浙赣鄂桂甘晋蒙陕吉闽贵粤青藏川宁琼使领]{1}代表车牌号第一位字符的取值范围为在字符“京、津、沪、渝、冀、豫、云、辽、黑、湘、皖、鲁、新、苏、浙、赣、鄂、桂、甘、晋、蒙、陕、吉、闽、贵、粤、青、藏、川、宁、琼、使、领”之间;[A-Z]{1}代表车牌号第二位字符的取值范围在字符“A至Z”之间;[A-Z0-9]{4}代表第三至六位字符的取值范围在字符“A至Z”以及字符“0至9”之间;[A-Z0-9挂学警港澳]{1}代表第七位字符的取值范围在字符“A至Z”、字符“0至9”以及字符“挂、学、警、港、澳”之间。
需要说明的是,由于字母“T”、“O”容易与数字“1”、“0”混淆,因此车牌号中没有英文字母“I”和“O”,即字符“A至Z”之间的取值范围不包括字母“I”和“O”。
步骤103,基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串。
服务器对错误车牌号字符串对应的语音数据段进行预加重、加窗和分帧等预处理操作后,从处理后的语音数据段进行端点检测和特征提取,将语音数据段转变为特征参数序列(比如:梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)),服务器计算特征参数序列对应每个字符串的概率,最后输出最大似然概率对应的字符串。
以HMM模型为例,对HMM模型进行孤立词训练,每个训练样本包括样本语音和样本字符,将样本语音作为训练输入,样本字符作为输出参考值,对初始HMM模型进行训练,得到训练后的车牌号的孤立词语音识别模型。其中,样本字符为车牌号字符串包括的字符。
对于至少一个训练样本中的样本语音和样本字符,从样本语音中提取样本语音特征,将样本语音特征输入初始HMM模型,得到训练结果。
其中,语音特征提取的方法包括但不限于声学特征有线性预测编码(LinearPredictive Coding,LPC)、MFCC、梅尔标度滤波器组(Mel-scale Filter Bank,FBank)。
可选的,每个提供样本语音的用户的年龄、性别和口音各不相同。
示意性的,对于每个训练样本,服务器创建该训练样本对应的输入输出对,输入输出对的输入参数为该训练样本中样本语音对应的样本语音特征,输出参数为该训练样本中的样本字符,服务器将输入输出对输入初始HMM模型,得到训练结果。
比如,样本语音特征为“样本语音特征1”,样本字符为“样本字符1”,终端创建的输入输出对为:(样本语音特征1)→(样本字符1);其中,(样本语音特征1)为输入参数,(样本字符1)为输出参数。
可选的,输入输出对通过特征向量表示。
步骤104,将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终端。
比如,识别文本为“鲁B1而345不系安全带记三分罚一百元”,服务器先根据预设的车牌号正则信息提取出错误车牌号字符“鲁B1而345”,再基于预先训练的车牌号的孤立词语音识别模型对“鲁B1而345”对应的语音数据段重新识别,得到正确车牌号字符串“鲁B12345”,最后,将识别文本中的错误车牌号字符串“鲁B1而345”替换为正确车牌号字符串“鲁B12345”,得到调整后的识别文本“鲁B12345不系安全带记三分罚一百元”,并将“鲁B12345不系安全带记三分罚一百元”发送至终端。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
实施例二
由于预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,因此服务器可根据车牌号正则信息从识别文本中提取出车牌号字符串,并判断提取出的车牌号字符串是否为错误车牌号字符串,如果提取出的车牌号字符串为错误车牌号字符串,则对提取出的车牌号字符串进行矫正。
请参考图2,其示出了本发明另一个实施例提供的车牌号字符串矫正方法的流程图。该车牌号字符串矫正方法可以包括如下步骤:
步骤201,接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本。
步骤202,从识别文本中提取出字符串,该字符串中的字符在识别文本中的位置彼此相邻,且该字符串的字符数量与基准车牌号字符串的字符数量相同。
服务器按照基准车牌号字符串的字符数量,从识别文本中提取出相同字符数量的相邻字符,得到至少一个字符串。
比如,语音数据对应的识别文本为“鲁B12345超车”,基准车牌号字符串的字符数量为7位,服务器从识别文本中提取出的字符串有“鲁B12345”、“B12345超”和“12345超车”。
步骤203,基于基准车牌号字符串中每个字符对应取值范围,计算提取出的字符串与基准车牌号字符串之间的匹配度。
继续以步骤202中的举例进行说明,服务器基于基准车牌号字符串中每个字符对应取值范围,分别计算字符串“鲁B12345”、“B12345超”和“12345超车”与基准车牌号字符串之间的匹配度。其中,基准车牌号字符串中每个字符对应取值范围如表一所示:
表一
服务器基于基准车牌号字符串中每个字符对应取值范围,计算基准车牌号字符串与字符串“鲁B12345”之间的匹配度,由于字符串“鲁B12345”中所有字符均在基准车牌号字符串对应位置的字符的取值范围内,因此字符串“鲁B12345”与基准车牌号字符串之间的匹配度为7/7,即基准车牌号字符串与字符串“鲁B12345”之间存在7个字符匹配。
服务器基于基准车牌号字符串中每个字符对应取值范围,计算基准车牌号字符串与字符串“B12345超”之间的匹配度,由于字符串“B12345超”中仅字符“B”、“1”和“超”分别不在第一个字符、第二个字符以及第七个字符的取值范围内,因此字符串“B12345超”与基准车牌号字符串之间的匹配度为4/7,即基准车牌号字符串与字符串“B12345超”之间存在4个字符匹配。
服务器基于基准车牌号字符串中每个字符对应取值范围,计算基准车牌号字符串与字符串“12345超车”之间的匹配度,由于字符串“12345超车”中仅字符“1”、“2”、“超”和“车”不在第一位字符、第二个字符、第六个字符以及第七个字符的取值范围内,因此字符串“12345超车”与基准车牌号字符串之间的匹配度为3/7,即基准车牌号字符串与字符串“12345超车”之间存在3个字符匹配。
步骤204,从提取出的字符串中确定出匹配度在预定数值区间的错误车牌号字符串。
由于服务器只需对提取出的字符串中的错误车牌号字符串对应的语音数据段进行重新识别,因此将匹配度对应的预定数值区间中的最大值设置为小于1的数值,即服务器确定出的错误车牌号字符串均为与基准车牌号字符串不匹配的字符串。
由于服务器在步骤202中是基于基准车牌号字符串的字符数量提取字符串,并未考虑到字符串的语义情况,也就是说,服务器所提取出的字符串可能不是错误车牌号字符串,因此将匹配度对应的预定数值区间中的最小值设置为大于0的数值,当识别文本中的某个字符串与基准车牌号字符串之间的匹配度未达到预定数值区间中的最小值时,即可判定该字符串不为车牌号字符串。
需要说明的是,预定数值区间中的最小值和最大值可以由人为设定或者***预设,预定数值区间中的最小值可以为4/7或者5/7,预定数值区间中的最大值可以为6/7,本实施例并不限定预设阈值的具体大小和设定方式,但预定数值区间中的最小值必须小于该预定数值区间中的最大值。
继续以步骤203中的举例进行说明,假设预定数值区间为[4/7,6/7],由于字符串“鲁B12345”与基准车牌号字符串之间的匹配度为7/7,即字符串“鲁B12345”为正确车牌号字符串;字符串“B12345超”与基准车牌号字符串之间的匹配度为4/7,即字符串“B12345超”与基准车牌号字符串之间的匹配度在预定数值区间,字符串“12345超车”与基准车牌号字符串之间的匹配度为3/7,即字符串“12345超车”与基准车牌号字符串之间的匹配度不在预定数值区间。因此,服务器从字符串“鲁B12345”、“B12345超”和“12345超车”中确定出错误的车牌号字符串为“B12345超”。
继续以步骤203中的举例进行说明,假设预定数值区间为[5/7,6/7],由于字符串“鲁B12345”为正确车牌号字符串,字符串“B12345超”和“12345超车”分别与基准车牌号字符串之间的匹配度均不在预定数值区间,因此,服务器判定字符串“鲁B12345”、“B12345超”和“12345超车”中不存在错误的车牌号字符串。
步骤205,从语音数据中提取出与错误车牌号字符串对应的语音数据段。
在确定出错误车牌号字符串之后,服务器从语音数据中提取出错误车牌号字符串对应的语音数据段,并对该语音数据段进行语音重识别。
步骤206,从语音数据段中获取与错误车牌号字符串中的每个字符分别对应的语音子数据段。
由于车牌号字符串的字符串数量为7,因此服务器可从错误车牌号字符串中获取到7个语音子数据段。
步骤207,基于预先训练的车牌号的孤立词语音识别模型,识别每个语音子数据段分别对应的车牌号字符,得到语音数据段对应的正确车牌号字符串。
将获取到的7个语音子数据段依次输入预先训练的车牌号的孤立词语音识别模型,得到7个语音子数据段分别对应的7个车牌号字符,按照对应的语音子数据段的输入顺序对每个车牌号字符进行排序后,即可得到语音数据段对应的正确车牌号字符串。
步骤208,将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终端。
需要说明的是,本实施例中步骤201与步骤101类似、步骤208与步骤104类似,因此本实施例不再对步骤201和步骤208赘述说明。
本实施例中,由于预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,因此服务器可根据车牌号正则信息从识别文本中提取出车牌号字符串,并判断提取出的车牌号字符串是否为错误车牌号字符串,如果提取出的车牌号字符串为错误车牌号字符串,则对提取出的车牌号字符串进行矫正。
实施例三
除了基于预设的车牌号正则信息,对识别文本中错误车牌号字符串进行重识别,服务器还可以通过接收终端发送的携带有待识别字符串的语音重识别请求,对待识别字符串进行重识别。
请参考图3A,其示出了本发明再一个实施例提供的车牌号字符串矫正方法的流程图。该车牌号字符串矫正方法可以包括如下步骤:
步骤301,终端采集用户输入的语音数据,将语音数据发送至服务器。
终端通过麦克风采集用户的语音数据,将采集到的语音数据发送至服务器。
步骤302,服务器接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本。
步骤303,服务器将识别文本发送至终端。
步骤304,终端接收并显示服务器发送的语音数据对应的识别文本。
请参考图3B,其示出了本发明一个实施例提供的终端显示识别文本的示意图。如图3B(1)所示,终端接收到服务器发送的识别文本“鲁B1而345不系安全带记三分罚一百元”后,在界面31中显示识别文本32“鲁B1而345不系安全带记三分罚一百元”。
步骤305,当接收到对应待识别字符串的语音重识别指令时,终端向服务器发送携带有待识别字符串的语音重识别请求。
可选的,终端检测到对应于待识别字符串的触发操作时,生成语音重识别指令,向服务器发送携带有该待识别字符串的语音重识别请求。
该触发操作是用于触发启动待识别字符串对应的语音重识别指令的用户操作。示意性的,触发操作包括点击操作、滑动操作、按压操作、长按操作中的任意一种或多种的组合。
请参考图3C,其示出了本发明另一个实施例提供的终端显示识别文本的示意图。如图3C(1)所示,当用户对终端显示界面31中的识别文本“鲁B1而345不系安全带记三分罚一百元”中的字符串“鲁B1而345”进行滑动操作时(比如用户利用手指从字符“鲁”滑动到字符“5”),终端会接收到对应待识别字符串“鲁B1而345”的语音重识别指令。如图3C(2)所示,当用户对终端显示界面31中的识别文本“鲁B1而345不系安全带记三分罚一百元”中的字符串“而”进行长按操作时,终端会接收到对应待识别字符串“而”的语音重识别指令。
需要说明的是,待识别字符串可以为身份证、驾驶证、护照等证件号码,本实施例中以待识别字符串为车牌号码进行举例,但并不对待识别字符串的类型做任何限制。
步骤306,当接收到终端发送的携带有待识别字符串的语音重识别请求时,服务器基于预先训练的车牌号的孤立词语言识别模型,对语音数据中与待识别字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串。
步骤307,服务器将正确车牌号字符串发送至终端。
步骤308,当接收到服务器发送的正确车牌号字符串,终端将识别文本中的待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
仍参考图3B(1),终端当接收到服务器发送的正确车牌号字符串“鲁B12345”后,将识别文本中的待识别字符串33“鲁B1而345”替换为正确车牌号字符串34“鲁B12345”,得到并显示调整后的识别文本35“鲁B1而345不系安全带记三分罚一百元”(图3B(2)所示)。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
本实施例中,除了基于预设的车牌号正则信息,对识别文本中错误车牌号字符串进行重识别,服务器还可以通过接收终端发送的携带有待识别字符串的语音重识别请求(如身份证、驾驶证、护照等证件号码),对待识别字符串进行重识别。
实施例四
终端在接收到服务器发送的语音数据对应的识别文本和错误车牌号字符串后,可将错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态后进行显示,避免用户错误触发选取识别文本中除错误车牌号字符串以外的其他字符串对应的触发指令,导致服务器对重识别失败。
请参考图4,其示出了本发明又一个实施例提供的车牌号字符串矫正方法的流程图。该车牌号字符串矫正方法可以包括如下步骤:
步骤401,终端采集用户输入的语音数据,将语音数据发送至服务器。
步骤402,服务器接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本。
步骤403,服务器基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串。
步骤404,服务器将识别文本与错误车牌号字符串发送至终端。
服务器从识别文本中提取出错误车牌号字符串后,将识别文本与错误车牌号字符串添加到同一数据包发送至终端,从而减少不必要的数据消耗。
对应的,终端接收服务器发送的语音数据对应的识别文本和错误车牌号字符串。
步骤405,终端显示语音数据对应的识别文本,错误车牌号字符串与识别文本中除错误车牌号字符串以外的其他字符串的显示方式不同,并且错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态。
由于训练车牌号的孤立词语音识别模型的样本字符是车牌号字符串包括的字符,也就是说,训练车牌号的孤立词语音识别模型适用于对错误车牌号字符串进行重识别,而对于除错误车牌号字符串以外的其他字符串的识别则不适用,因此终端在接收到服务器发送的语音数据对应的识别文本和错误车牌号字符串后,可将错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态后进行显示,避免用户错误触发选取识别文本中除错误车牌号字符串以外的其他字符串对应的触发指令,导致终端向服务器发送携带有除错误车牌号字符串以外的其他字符串的语音重识别请求,造成服务器重识别失败。
可选的,错误车牌号字符串可以为高亮显示、用下划线显示、字符串的字体呈斜体显示、字符串周围用方框标识后显示等显示方式,本实施例并不对错误车牌号字符串的显示方式限定。相应的,识别文本中除错误车牌号字符串以外的其他字符串的显示方式同理,但与错误车牌号字符串的显示方式不同。
步骤406,当接收到对应待识别字符串的语音重识别指令时,终端向服务器发送携带有待识别字符串的语音重识别请求。
步骤407,当接收到终端发送的携带有待识别字符串的语音重识别请求时,服务器基于预先训练的车牌号孤立词语言识别模型,对语音数据中与待识别字符串对应的语音数据段,进行语音识别,得到语音数据段对应的车牌号字符串。
步骤408,服务器将正确车牌号字符串发送至终端。
步骤409,当接收到服务器发送的正确车牌号字符串,终端将识别文本中的待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
需要说明的是,本实施例中步骤401至步骤402与步骤301至步骤302类似,
步骤403与步骤102类似,步骤406至步骤409与步骤305至步骤308类似,
因此本实施例不再对步骤401至步骤402以及步骤408至步骤410赘述说明。
本实施例中,终端在接收到服务器发送的语音数据对应的识别文本和错误车牌号字符串后,可将错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态后进行显示,避免用户错误触发选取识别文本中除错误车牌号字符串以外的其他字符串对应的触发指令,导致服务器对重识别失败。
下述为本发明装置实施例,对于装置实施例中未详尽描述的细节,可以参考上述一一对应的方法实施例。
请参考图5,图5是本发明一个实施例中提供的车牌号字符串矫正装置的结构方框图。该车牌号字符串矫正装置应用于服务器,包括:接收模块501、提取模块502、识别模块503和发送模块504。
接收模块501,用于接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
提取模块502,用于基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;
识别模块503,用于基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
发送模块504,用于将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终端。
在一种可能的实现方式中,该预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,该提取模块502,包括:第一提取单元、计算单元和第二提取单元。
第一提取单元,用于从识别文本中提取出字符串,字符串中的字符在识别文本中的位置彼此相邻,且字符串的字符数量与基准车牌号字符串的字符数量相同;
计算单元,用于基于基准车牌号字符串中每个字符对应取值范围,计算提取出的字符串与基准车牌号字符串之间的匹配度;
第二提取单元,用于从提取出的字符串中确定出匹配度在预定数值区间的错误车牌号字符串。
在一种可能的实现方式中,该识别模块503,包括:第三提取单元、第一获取单元和第二获取单元。
第三提取单元,用于从语音数据中提取出与错误车牌号字符串对应的语音数据段;
第一获取单元,用于从语音数据段中获取与错误车牌号字符串中的每个字符分别对应的语音子数据段;
第二获取单元,用于基于预先训练的车牌号的孤立词语音识别模型,识别每个语音子数据段分别对应的车牌号字符,得到语音数据段对应的正确车牌号字符串。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
本实施例中,由于预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,因此服务器可根据车牌号正则信息从识别文本中提取出车牌号字符串,并判断提取出的车牌号字符串是否为错误车牌号字符串,如果提取出的车牌号字符串为错误车牌号字符串,则对提取出的车牌号字符串进行矫正。
下述为本发明装置实施例,对于装置实施例中未详尽描述的细节,可以参考上述一一对应的方法实施例。
请参考图6,图6是本发明另一个实施例中提供的车牌号字符串矫正装置的结构方框图。该车牌号字符串矫正装置应用于服务器,包括:接收模块601、第一发送模块602、识别模块603和第二发送模块604。
接收模块601,用于接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
第一发送模块602,用于将识别文本发送至终端;
识别模块603,用于当接收到终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对语音数据中与待识别字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
第二发送模块604,用于将正确车牌号字符串发送至终端。
在一种可能的实现方式中,该第一发送模块602,包括:提取单元和发送单元。
提取单元,用于基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;
发送单元,用于将识别文本与错误车牌号字符串发送至终端。
本实施例中,除了基于预设的车牌号正则信息,对识别文本中错误车牌号字符串进行重识别,服务器还可以通过接收终端发送的携带有待识别字符串的语音重识别请求(如身份证、驾驶证、护照等证件号码),对待识别字符串进行重识别。
下述为本发明装置实施例,对于装置实施例中未详尽描述的细节,可以参考上述一一对应的方法实施例。
请参考图7,图7是本发明再一个实施例中提供的车牌号字符串矫正装置的结构方框图。该车牌号字符串矫正装置应用于终端,包括:第一发送模块701、接收模块702、第二发送模块703和替换模块704。
第一发送模块701,用于采集用户输入的语音数据,将语音数据发送至服务器;
接收模块702,用于接收并显示服务器发送的语音数据对应的识别文本;
第二发送模块703,用于当接收到对应待识别字符串的语音重识别指令时,向服务器发送携带有待识别字符串的语音重识别请求;
替换模块704,用于当接收到服务器发送的正确车牌号字符串,将识别文本中的待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
在一种可能的实现方式中,该接收模块702,包括:接收单元和显示单元。
接收单元,用于接收服务器发送的语音数据对应的识别文本和错误车牌号字符串;
显示单元,用于显示语音数据对应的识别文本,错误车牌号字符串与识别文本中除错误车牌号字符串以外的其他字符串的显示方式不同,并且错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
本实施例中,终端在接收到服务器发送的语音数据对应的识别文本和错误车牌号字符串后,可将错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态后进行显示,避免用户错误触发选取识别文本中除错误车牌号字符串以外的其他字符串对应的触发指令,导致服务器对重识别失败。
需要说明的是:上述实施例中提供的车牌号字符串矫正装置在矫正车牌号字符串时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的车牌号字符串矫正装置与车牌号字符串矫正方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请一示例性实施例提供了一种服务器,能够实现本申请提供的用于语音输入中确定车牌号方法,该终端包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;
基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终。
本申请一示例性实施例提供了一种服务器,能够实现本申请提供的车牌号字符串矫正方法,该终端包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
将识别文本发送至终端;
当接收到终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对语音数据中与待识别字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
将正确车牌号字符串发送至终端。
本申请一示例性实施例提供了一种终端,能够实现本申请提供的车牌号字符串矫正方法,该终端包括:处理器、用于存储处理器可执行指令的存储器;
其中,处理器被配置为:
采集用户输入的语音数据,将所述语音数据发送至服务器;
接收并显示所述服务器发送的所述语音数据对应的识别文本;
当接收到对应待识别字符串的语音重识别指令时,向所述服务器发送携带有所述待识别字符串的语音重识别请求;
当接收到所述服务器发送的正确车牌号字符串,将所述识别文本中的所述待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
本申请再一示例性实施例示出了一种车牌号字符串矫正***,该***包括终端和服务器,其中:该服务器,如图6所示的服务器;该终端,如图7所示的终端。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
图8是根据一示例性实施例示出的一种终端的框图。例如,终端800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,终端800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)接口812,传感器组件814,以及通信组件816。
处理组件802通常控制终端800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器818来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端800的操作。这些数据的示例包括用于在终端800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为终端800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为终端800生成、管理和分配电力相关联的组件。
多媒体组件808包括在终端800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当终端800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为终端800提供各个方面的状态评估。例如,传感器组件814可以检测到终端800的打开/关闭状态,组件的相对定位,例如组件为终端800的显示器和小键盘,传感器组件814还可以检测终端800或终端800一个组件的位置改变,用户与终端800接触的存在或不存在,终端800方位或加速/减速和终端800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于终端800和其他设备之间有线或无线方式的通信。终端800可以接入基于通信标准的无线网络,如Wi-Fi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述各个方法实施例提供的车牌号字符串矫正方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由终端800的处理器818执行以完成上述车牌号字符串矫正方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行车牌号字符串矫正方法,该方法包括:
采集用户输入的语音数据,将语音数据发送至服务器;
接收并显示服务器发送的语音数据对应的识别文本;
当接收到对应待识别字符串的语音重识别指令时,向服务器发送携带有待识别字符串的语音重识别请求;
当接收到服务器发送的正确车牌号字符串,将识别文本中的待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
可选的,接收并显示服务器发送的语音数据对应的识别文本,包括:
接收服务器发送的语音数据对应的识别文本和错误车牌号字符串;
显示语音数据对应的识别文本,错误车牌号字符串与识别文本中除错误车牌号字符串以外的其他字符串的显示方式不同,并且错误车牌号字符串被设置可选取的状态,识别文本中除错误车牌号字符串以外的其他字符串被设置不可选取的状态。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
图9是根据一示例性实施例示出的一种服务器的框图。参照图9,服务器900包括处理组件902,其进一步包括一个或多个处理器,以及由存储器904所代表的存储器资源,用于存储可由处理组件902的执行的指令,例如应用程序。存储器904中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件902被配置为执行指令,以执行上述车牌号字符串矫正方法。
服务器900还可以包括一个电源组件906被配置为执行服务器900的电源管理,一个有线或无线网络接口908被配置为将服务器900连接到网络,和一个输入输出(I/O)接口910。服务器900可以操作基于存储在存储器904的操作***,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由服务器900的处理器执行以完成上述车牌号字符串矫正方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当存储介质中的指令由服务器的处理器执行时,使得服务器能够车牌号字符串矫正方法,该方法包括:
接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;
基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
将识别文本中的错误车牌号字符串替换为正确车牌号字符串,得到调整后的识别文本,将调整后的识别文本发送至终端。
可选的,预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串,包括:
从识别文本中提取出字符串,字符串中的字符在识别文本中的位置彼此相邻,且字符串的字符数量与基准车牌号字符串的字符数量相同;
基于基准车牌号字符串中每个字符对应取值范围,计算提取出的字符串与基准车牌号字符串之间的匹配度;
从提取出的字符串中确定出匹配度在预定数值区间的错误车牌号字符串。
可选的,基于预先训练的车牌号的孤立词语音识别模型,对语音数据中与错误车牌号字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串,包括:
从语音数据中提取出与错误车牌号字符串对应的语音数据段;
从语音数据段中获取与错误车牌号字符串中的每个字符分别对应的语音子数据段;
基于预先训练的车牌号的孤立词语音识别模型,识别每个语音子数据段分别对应的车牌号字符,得到语音数据段对应的正确车牌号字符串。
本发明实施例中,服务器对终端发送的语音数据进行识别,对识别文本中错误车牌号字符串进行重新识别,将得到的正确车牌号字符串替换识别文本中的错误车牌号字符串后,将调整后的识别文本发送至终端;由于服务器对语音数据进行识别后,会基于预设的车牌号正则信息自动识别出识别文本中的错误车牌号字符串,并基于预先训练的车牌号的孤立词语音识别模型对错误车牌号字符串进行矫正,其中车牌号正则信息和车牌号的孤立词语音识别模型均是根据基准车牌号字符串的字符串数量和每个字符对应取值范围进行训练得到的,因此相比现有技术中的语音识别方式,本发明实施例提供的方法能更为准确的识别车牌号字符串,解决了受到用户所处环境的噪音、用户的方言口语等因素的影响,终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,提高车牌号字符串识别的正确率的效果。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由服务器900的处理器执行以完成上述车牌号字符串矫正方法。例如,非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够车牌号字符串矫正方法,该方法包括:
接收终端发送的语音数据,进行语音识别,得到语音数据对应的识别文本;
将识别文本发送至终端;
当接收到终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对语音数据中与待识别字符串对应的语音数据段,进行语音识别,得到语音数据段对应的正确车牌号字符串;
将正确车牌号字符串发送至终端。
可选的,将识别文本发送至终端,包括:
基于预设的车牌号正则信息,在识别文本中提取出错误车牌号字符串;
将识别文本与错误车牌号字符串发送至终端。
本申请实施例中,服务器对终端发送的语音数据进行识别得到识别文本中错误车牌号字符串重新识别,将得到的正确车牌号字符串替换错误车牌号字符串,从而得到调整后的识别文本,并将调整后的识别文本发送至终端;由于服务器自动纠正识别文本中错误车牌号字符串,因此解决了终端无法正确识别用户录入终端的语音数据中的车牌号信息的问题,达到了对识别错误的车牌号信息进行矫正,使得终端能够正确录入车牌号信息的效果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种车牌号字符串矫正方法,其特征在于,应用于服务器,所述方法包括:
接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串;
基于预先训练的车牌号的孤立词语音识别模型,对所述语音数据中与所述错误车牌号字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
将所述识别文本中的所述错误车牌号字符串替换为所述正确车牌号字符串,得到调整后的识别文本,将所述调整后的识别文本发送至所述终端。
2.根据权利要求1所述的方法,其特征在于,所述预设的车牌号正则信息包括基准车牌号字符串中每个字符对应取值范围,所述基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串,包括:
从所述识别文本中提取出字符串,所述字符串中的字符在所述识别文本中的位置彼此相邻,且所述字符串的字符数量与所述基准车牌号字符串的字符数量相同;
基于所述基准车牌号字符串中每个字符对应取值范围,计算所述提取出的字符串与所述基准车牌号字符串之间的匹配度;
从所述提取出的字符串中确定出匹配度在预定数值区间的错误车牌号字符串。
3.根据权利要求1所述的方法,其特征在于,所述基于预先训练的车牌号的孤立词语音识别模型,对所述语音数据中与所述错误车牌号字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串,包括:
从所述语音数据中提取出与所述错误车牌号字符串对应的语音数据段;
从所述语音数据段中获取与所述错误车牌号字符串中的每个字符分别对应的语音子数据段;
基于所述预先训练的车牌号的孤立词语音识别模型,识别每个语音子数据段分别对应的车牌号字符,得到所述语音数据段对应的正确车牌号字符串。
4.一种车牌号字符串矫正方法,其特征在于,应用于服务器,所述方法包括:
接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
将所述识别文本发送至所述终端;
当接收到所述终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对所述语音数据中与所述待识别字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
将所述正确车牌号字符串发送至所述终端。
5.根据权利要求4所述的方法,其特征在于,所述将所述识别文本发送至所述终端,包括:
基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串;
将所述识别文本与所述错误车牌号字符串发送至所述终端。
6.一种车牌号字符串矫正方法,其特征在于,应用于终端,所述方法包括:
采集用户输入的语音数据,将所述语音数据发送至服务器;
接收并显示所述服务器发送的所述语音数据对应的识别文本;
当接收到对应待识别字符串的语音重识别指令时,向所述服务器发送携带有所述待识别字符串的语音重识别请求;
当接收到所述服务器发送的正确车牌号字符串,将所述识别文本中的所述待识别字符串替换为正确车牌号字符串,得到调整后的识别文本。
7.根据权利要求6所述的方法,其特征在于,所述接收并显示所述服务器发送的所述语音数据对应的识别文本,包括:
接收所述服务器发送的所述语音数据对应的识别文本和错误车牌号字符串;
显示所述语音数据对应的识别文本,所述错误车牌号字符串与所述识别文本中除所述错误车牌号字符串以外的其他字符串的显示方式不同,并且所述错误车牌号字符串被设置可选取的状态,所述识别文本中除所述错误车牌号字符串以外的其他字符串被设置不可选取的状态。
8.一种车牌号字符串矫正装置,其特征在于,应用于服务器,所述装置包括:
接收模块,用于接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
提取模块,用于基于预设的车牌号正则信息,在所述识别文本中提取出错误车牌号字符串;
识别模块,用于基于预先训练的车牌号的孤立词语音识别模型,对所述语音数据中与所述错误车牌号字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
发送模块,用于将所述识别文本中的所述错误车牌号字符串替换为所述正确车牌号字符串,得到调整后的识别文本,将所述调整后的识别文本发送至所述终端。
9.一种车牌号字符串矫正装置,其特征在于,应用于服务器,所述装置包括:
接收模块,用于接收终端发送的语音数据,进行语音识别,得到所述语音数据对应的识别文本;
第一发送模块,用于将所述识别文本发送至所述终端;
识别模块,用于当接收到所述终端发送的携带有待识别字符串的语音重识别请求时,基于预先训练的车牌号的孤立词语言识别模型,对所述语音数据中与所述待识别字符串对应的语音数据段,进行语音识别,得到所述语音数据段对应的正确车牌号字符串;
第二发送模块,用于将所述正确车牌号字符串发送至所述终端。
10.一种车牌号字符串矫正装置,其特征在于,应用于终端,所述装置包括:
第一发送模块,用于采集用户输入的语音数据,将所述语音数据发送至服务器;
接收模块,用于接收并显示所述服务器发送的所述语音数据对应的识别文本;
第二发送模块,用于当接收到对应待识别字符串的语音重识别指令时,向所述服务器发送携带有所述待识别字符串的语音重识别请求;
替换模块,用于当接收到所述服务器发送的正确车牌号字符串,将所述识别文本中的所述待识别字符串替换为所述正确车牌号字符串,得到调整后的识别文本。
11.一种服务器,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-5任一所述的车牌号字符串矫正方法。
12.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求6-7任一所述的车牌号字符串矫正方法。
CN201810087925.2A 2018-01-30 2018-01-30 车牌号字符串矫正方法、装置、服务器和终端 Active CN108257602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810087925.2A CN108257602B (zh) 2018-01-30 2018-01-30 车牌号字符串矫正方法、装置、服务器和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810087925.2A CN108257602B (zh) 2018-01-30 2018-01-30 车牌号字符串矫正方法、装置、服务器和终端

Publications (2)

Publication Number Publication Date
CN108257602A true CN108257602A (zh) 2018-07-06
CN108257602B CN108257602B (zh) 2021-06-01

Family

ID=62743283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810087925.2A Active CN108257602B (zh) 2018-01-30 2018-01-30 车牌号字符串矫正方法、装置、服务器和终端

Country Status (1)

Country Link
CN (1) CN108257602B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110299132A (zh) * 2019-06-26 2019-10-01 京东数字科技控股有限公司 一种语音数字识别方法和装置
CN110956169A (zh) * 2018-09-27 2020-04-03 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN111143525A (zh) * 2019-12-17 2020-05-12 广东广信通信服务有限公司 车辆信息获取方法、装置和智能移车***
CN111370030A (zh) * 2020-04-03 2020-07-03 龙马智芯(珠海横琴)科技有限公司 语音情感检测方法与装置、存储介质、电子设备
CN112037775A (zh) * 2020-09-08 2020-12-04 北京嘀嘀无限科技发展有限公司 语音识别方法、装置、设备及存储介质
CN114842871A (zh) * 2022-03-25 2022-08-02 青岛海尔科技有限公司 语音数据的处理方法和装置、存储介质及电子装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN101876887A (zh) * 2010-07-26 2010-11-03 刘彤 语音输入方法及装置
WO2011103412A1 (en) * 2010-02-18 2011-08-25 DriveMeCrazy, Inc. System and method for recognition of alphanumeric patterns including license plate numbers
CN103985160A (zh) * 2014-05-12 2014-08-13 深圳市威富多媒体有限公司 一种基于计算机及语音控制的车牌管理方法及装置
CN104427294A (zh) * 2013-08-29 2015-03-18 中兴通讯股份有限公司 支持电视会议同声传译的方法及云端服务器
CN104504797A (zh) * 2015-01-15 2015-04-08 河北联合大学 基于无源rfid和车牌识别技术的车库门禁***
CN105164669A (zh) * 2013-05-08 2015-12-16 索尼公司 信息处理设备、信息处理方法以及程序
CN105448098A (zh) * 2016-01-04 2016-03-30 许厚程 一种智能停车场
CN105869642A (zh) * 2016-03-25 2016-08-17 海信集团有限公司 一种语音文本的纠错方法及装置
CN106847288A (zh) * 2017-02-17 2017-06-13 上海创米科技有限公司 语音识别文本的纠错方法与装置
CN107180629A (zh) * 2017-06-28 2017-09-19 长春煌道吉科技发展有限公司 一种语音采集识别方法与***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
WO2011103412A1 (en) * 2010-02-18 2011-08-25 DriveMeCrazy, Inc. System and method for recognition of alphanumeric patterns including license plate numbers
CN101876887A (zh) * 2010-07-26 2010-11-03 刘彤 语音输入方法及装置
CN105164669A (zh) * 2013-05-08 2015-12-16 索尼公司 信息处理设备、信息处理方法以及程序
CN104427294A (zh) * 2013-08-29 2015-03-18 中兴通讯股份有限公司 支持电视会议同声传译的方法及云端服务器
CN103985160A (zh) * 2014-05-12 2014-08-13 深圳市威富多媒体有限公司 一种基于计算机及语音控制的车牌管理方法及装置
CN104504797A (zh) * 2015-01-15 2015-04-08 河北联合大学 基于无源rfid和车牌识别技术的车库门禁***
CN105448098A (zh) * 2016-01-04 2016-03-30 许厚程 一种智能停车场
CN105869642A (zh) * 2016-03-25 2016-08-17 海信集团有限公司 一种语音文本的纠错方法及装置
CN106847288A (zh) * 2017-02-17 2017-06-13 上海创米科技有限公司 语音识别文本的纠错方法与装置
CN107180629A (zh) * 2017-06-28 2017-09-19 长春煌道吉科技发展有限公司 一种语音采集识别方法与***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘洪盛: "深度学习算法在车牌识别***中的应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956169A (zh) * 2018-09-27 2020-04-03 杭州海康威视数字技术股份有限公司 一种车牌识别方法、装置及电子设备
CN110299132A (zh) * 2019-06-26 2019-10-01 京东数字科技控股有限公司 一种语音数字识别方法和装置
CN110299132B (zh) * 2019-06-26 2021-11-02 京东数字科技控股有限公司 一种语音数字识别方法和装置
CN111143525A (zh) * 2019-12-17 2020-05-12 广东广信通信服务有限公司 车辆信息获取方法、装置和智能移车***
CN111370030A (zh) * 2020-04-03 2020-07-03 龙马智芯(珠海横琴)科技有限公司 语音情感检测方法与装置、存储介质、电子设备
CN112037775A (zh) * 2020-09-08 2020-12-04 北京嘀嘀无限科技发展有限公司 语音识别方法、装置、设备及存储介质
CN114842871A (zh) * 2022-03-25 2022-08-02 青岛海尔科技有限公司 语音数据的处理方法和装置、存储介质及电子装置

Also Published As

Publication number Publication date
CN108257602B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN108257602A (zh) 车牌号字符串矫正方法、装置、服务器和终端
CN111261144B (zh) 一种语音识别的方法、装置、终端以及存储介质
AU2013270485C1 (en) Input processing method and apparatus
CN107291690A (zh) 标点添加方法和装置、用于标点添加的装置
CN110797016A (zh) 一种语音识别方法、装置、电子设备及存储介质
CN106774970A (zh) 对输入法的候选项进行排序的方法和装置
CN108399914A (zh) 一种语音识别的方法和装置
CN108008832A (zh) 一种输入方法和装置、一种用于输入的装置
CN108345581A (zh) 一种信息识别方法、装置和终端设备
CN110972112B (zh) 地铁运行方向的确定方法、装置、终端及存储介质
CN109002184A (zh) 一种输入法候选词的联想方法和装置
CN112562675B (zh) 语音信息处理方法、装置及存储介质
CN107564526A (zh) 处理方法、装置和机器可读介质
CN109471919A (zh) 零代词消解方法及装置
CN109558599A (zh) 一种转换方法、装置和电子设备
CN110503952A (zh) 一种语音处理方法、装置和电子设备
CN109767758A (zh) 车载语音分析方法、***、存储介质以及设备
CN107274903A (zh) 文本处理方法和装置、用于文本处理的装置
CN110069143A (zh) 一种信息防误纠方法、装置和电子设备
CN108509406A (zh) 一种语料抽取方法、装置和电子设备
CN112242143B (zh) 一种语音交互方法、装置、终端设备及存储介质
CN108628461A (zh) 一种输入方法和装置、一种更新词库的方法和装置
CN110858099B (zh) 候选词生成方法及装置
CN104133631B (zh) 一种从锁屏界面快速开启应用的方法和装置
CN104699668B (zh) 确定词语相似度的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant