CN106710603A - 利用线性麦克风阵列的语音识别方法及*** - Google Patents

利用线性麦克风阵列的语音识别方法及*** Download PDF

Info

Publication number
CN106710603A
CN106710603A CN201611202169.0A CN201611202169A CN106710603A CN 106710603 A CN106710603 A CN 106710603A CN 201611202169 A CN201611202169 A CN 201611202169A CN 106710603 A CN106710603 A CN 106710603A
Authority
CN
China
Prior art keywords
former
noise
identified
wave
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611202169.0A
Other languages
English (en)
Other versions
CN106710603B (zh
Inventor
贺来朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Yunzhixin Intelligent Technology Co Ltd
Unisound Shanghai Intelligent Technology Co Ltd
Original Assignee
SHANGHAI YUZHIYI INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI YUZHIYI INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI YUZHIYI INFORMATION TECHNOLOGY Co Ltd
Priority to CN201611202169.0A priority Critical patent/CN106710603B/zh
Publication of CN106710603A publication Critical patent/CN106710603A/zh
Application granted granted Critical
Publication of CN106710603B publication Critical patent/CN106710603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种利用线性麦克风阵列的语音识别方法,包括如下步骤:利用线性麦克风阵列录制环境的声音以形成音频数据;针对线性麦克风阵列前方的声音获取区域设置波束形成器,利用波束形成器于声音获取区域形成位于中部的主波束区域和位于两侧部的第一噪声波束区域和第二噪声波束区域;将音频数据输入到波束形成器中以获得对应主波束区域的主波束、对应第一噪声波束区域的第一噪声波束、以及对应第二噪声波束区域的第二噪声波束;从主波束中滤除第一噪声波束和第二噪声波束以得到待识别的语音数据;对待识别的语音数据进行语音识别以得到对应的文本数据并输出。本发明计算量小,获取的语音数据质量高,能够提高语音识别的准确率。

Description

利用线性麦克风阵列的语音识别方法及***
技术领域
本发明涉及人机语音识别领域,尤指一种利用线性麦克风阵列的语音识别方法及***。
背景技术
在语音识别***中,通常要对麦克风获取到的音频信号进行降噪处理,从而抑制音频信号中的环境噪声成分,从而提高语音识别***的识别准确率。根据***中使用的麦克风个数的不同,采用的降噪算法大致可以分为单麦克风降噪、双麦克风降噪以及麦克风阵列降噪算法等。
随着硬件***的快速发展,麦克风阵列正得到越来越广泛的应用。根据阵元的拓扑结构不同,麦克风阵列通常可以分为线性阵列和环形阵列。无论是线性阵列还是环形阵列,在进行降噪处理时,一般都需要通过声源定位算法获取期望信号的空间方位,再通过固定波束成形算法形成一个具有特定形状的接收波束,并将波束主瓣中心指向期望信号所在的方向。
然而,同时进行声源定位和自适应波束成形的计算量很大,而且当声源定位出现偏差时,很容易对期望信号造成抑制或引入失真,进而影响到语音识别***性能。
发明内容
本发明的目的在于克服现有技术的缺陷,提出一种利用线性麦克风阵列的语音识别方法及***,解决现有的麦克风阵列的设置方式存在计算量大,计算复杂和实现成本较高的问题,目的在于利用麦克风阵列达到很好的降噪效果,以获得高质量的音频数据并提高语音识别的准确率。
为了实现上述目的,本发明提供了一种利用线性麦克风阵列的语音识别方法,所述方法包括:
利用线性麦克风阵列录制环境的声音以形成音频数据;针对所述线性麦克风阵列前方的声音获取区域设置波束形成器,利用所述波束形成器于所述声音获取区域形成位于中部的主波束区域和位于两侧部的第一噪声波束区域和第二噪声波束区域;将所述音频数据输入到所述波束形成器中以获得对应所述主波束区域的主波束、对应所述第一噪声波束区域的第一噪声波束、以及对应所述第二噪声波束区域的第二噪声波束;从所述主波束中滤除所述第一噪声波束和所述第二噪声波束以得到待识别的语音数据;对所述待识别的语音数据进行语音识别以得到对应的文本数据并输出。
本发明的有益效果为:本发明通过将声音获取区域内设计形成三个波束区域,其中的两个波束用于获取噪声,另一个波束用于获取期望信号,并通过波束形成器输出对应的噪声波束和主波束,而后通过自适应滤波器模块从主波束中进一步滤除噪声波束。该方法不需要实时跟踪声源方位,避免了传统算法可能因为声源位置估计偏差带来的对期望信号的抑制或失真;同时算法计算量小,实现过程简单方便,成本较低,获取的语音数据质量高,能够提高语音识别的准确率。另外结合了语音数据对语音识别器的自适应,能够进一步提高语音识别的准确率。
本发明的进一步改进为:针对所述线性麦克风阵列前方的声音获取区域设置波束形成器,包括:所述声音获取区域包括角度0°至180°的平面区域;设置用于形成所述第一噪声波区域的第一波束形成器,将所述第一波束形成器所形成的波束的中心指向所述声音获取区域的20°方向;设置用于形成所述主波束区域的第二波束形成器,将所述第二波束形成器所形成的波束的中心指向所述声音获取区域的90°方向;设置用于形成所述第二噪声波束区域的第三波束形成器,将所述第三波束形成器所形成的波束的中心指向所述声音获取区域的160°方向。
本发明的进一步改进为:设置波束形成器时,每一波束形成器中设置有与所述线性麦克风阵列中的每一麦克风对应连接的滤波器,采用固定波束成形算法为每一波束形成器中的滤波器计算滤波器系数;
所述固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声;式二中,是波束形成器的输出,将波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示;
基于最小化均方误差得到式六和式七,通过最小化以令加性噪声最小,结合约束ex,m(k)=0以得出最佳滤波器系数hm,o,其中的hm为波束形成器中所有滤波器对应的滤波器系数矩阵,hm,o为波束形成器中所有滤波器对应的最佳的滤波器系数值。
本发明的进一步改进为:对所述待识别的语音数据进行语音识别,包括:先利用所述待识别的语音数据对声学模型进行自适应操作;而后利用经自适应操作的声学模型对所述待识别的语音数据进行语音识别。
本发明的进一步改进为:利用所述待识别的语音数据对声学模型进行自适应操作,包括:提取设定数量的待识别的语音数据,并对所提取的待识别的语音数据进行文本标注;
提取所述设定数量的待识别的语音数据对应的声学特征,并将对应的文本标注与所述声学特征组合形成自适应训练数据;
利用所述自适应训练数据对所述声学模型进行自适应训练。
本发明还提供了一种线性麦克风阵列语音识别***,所述***包括:与所述线性麦克风阵列通信连接的波束形成器,所述波束形成器于所述线性麦克风阵列前方的声音获取区域形成位于中部的主波束区域和位于两侧部的第一噪声波束区域和第二噪声波束区域,用于对所接收到的所述音频数据进行处理并获得对应所述主波束区域的主波束、对应所述第一噪声波束区域的第一噪声波束、以及对应所述第二噪声波束区域的第二噪声波束;
自适应滤波器模块,与所述波束形成器通信连接,接收所述主波束、所述第一噪声波束以及第二噪声波束,并用于从所述主波束中滤除所述第一噪声波束和所述第二噪声波束以得到待识别的语音数据;
语音识别器,与所述自适应滤波器模块通信连接,接收所述待识别的语音数据,并用于对所述待识别的语音数据进行语音识别以得到对应的文本数据并输出。
本发明的进一步改进为:所述声音获取区域包括角度从0°至180°的平面区域;所述波束形成器包括:用于形成所述第一噪声波区域的第一波束形成器,所述第一波束形成器所形成的波束的中心指向所述声音获取区域的20°方向;
用于形成所述主波束区域的第二波束形成器,所述第二波束形成器所形成的波束的中心指向所述声音获取区域的90°方向;
用于形成所述第二噪声波束区域的第三波束形成器,所述第三波束形成器所形成的波束的中心指向所述声音获取区域的160°方向。
本发明的进一步改进为:每一波束形成器中设有与所述线性麦克风阵列中的每一麦克风对应连接的滤波器,每一波束形成器中的滤波器设置有对应的滤波器系数;所述滤波器系数通过固定波束成形算法计算得到;
所述固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声;式二中,是波束形成器的输出,将波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示;
基于最小化均方误差得到式六和式七,通过最小化以令加性噪声最小,结合约束ex,m(k)=0以得出最佳滤波器系数hm,o,其中的hm为波束形成器中所有滤波器对应的滤波器系数矩阵,hm,o为波束形成器中所有滤波器对应的最佳的滤波器系数值。
本发明的进一步改进为:所述语音识别器包括一声学模型,所述声学模型经所述待识别的语音数据进行自适应训练后再用于识别待识别的语音数据。
本发明的进一步改进为:所述语音识别器还包括有特征提取模块、文本输入模块、训练数据存储模块以及训练模块;
所述特征提取模块与所述自适应滤波器模块通信连接,接收所述待识别的语音数据,用于从所接收的待识别的语音数据中提取声学特征;
所述文本输入模块用于输入与所述待识别的语音数据对应的文本标注;
所述训练数据存储模块与所述特征提取模块和所述文本输入模块通信连接,用于存储所述声学特征和对应的文本标注,所述声学特征和对应的文本标注组合形成自适应训练数据;
所述训练模块与所述训练数据存储模块通信连接,读取所述训练数据存储模块内存储自适应训练数据并利用所读取的自适应训练数据对所述声学模型进行自适应训练。
附图说明
图1为声音获取区域的示意图;
图2为线性麦克风阵列语音识别的方法流程图;
图3为多通道自适应滤波器的示意图。
具体实施方式
下面结合附图,对本发明作进一步详细说明。随着硬件***的快速发展,麦克风阵列正得到越来越广泛的应用。特别是在人机语音交互场景,传统技术对同时进行声源定位和自适应波束成形的计算量很大,而且当声源定位出现偏差时,很容易对期望信号造成抑制或引入失真,进而影响到语音识别***性能。本发明适用于该线性麦克风阵列前方的180°的平面区域,其适用的场景为人机语音交互。说话人在通过语音控制机器时,该说话人会站在机器的面前,所以线性麦克风阵列在获取说话人的语音时,只需要考虑机器前方的语音即可,无需考虑机器后方的语音。本发明将麦克风前方的平面区域进行了划分,利用中部的较宽的波束尽可能多地获取说话人的语音,同时尽可能地抑制环境噪声;利用两侧较窄的波束尽可能多地获取环境噪音,同时抑制期望的人声信号。再通过自适应滤波算法,从主波束的输出中进一步地消除环境噪声成分。下面,结合附图对本发明线性麦克风阵列语音识别的方法及***进行说明。
如图2所示,本发明公开了一种线性麦克风阵列语音识别***,该***包括线性麦克风阵列1、波束形成器、自适应滤波器模块3以及语音识别器4。
其中,线性麦克风阵列用来录制外部环境的声音并通过数字化将声音信号转化成音频数据。在线性麦克风阵列的前方形成录制的声音获取区域,波束形成器于声音获取区域形成有位于中部的主波束区域,以及在主波束区域两侧的第一噪声波束区域和第二噪声波束区域,波束形成器与线性麦克风阵列通信连接,接收主波束区域、第一噪声波束区域和第二噪声波束区域内的音频数据并进行处理后获得对应所述主波束区域的主波束、对应所述第一噪声波束区域的第一噪声波束、以及对应所述第二噪声波束区域的第二噪声波束。
如图3所示,自适应滤波器模块3为一多通道滤波器,与波束形成器通信连接,接收波束形成器中发出的主波束、第一噪声波束以及第二噪声波束,将第一噪声波束通过第一自适应滤波器31进行自适应,将第二噪声波束通过第二自适应滤波器32进行自适应,然后将进行自适应后的第一噪声波束和第二噪声波束主波束中滤除并输出,输出后的结果通过反馈机制传递到自适应滤波器31和32,并根据归一化最小均方(Normalized LeastMeanSquare,NLMS)算法不断更新自适应滤波器系数,最后的结果从自适应滤波器模块3中输出,得到待识别的语音数据。
语音识别器4,与自适应滤波器模块通信连接,语音识别器4接收自适应滤波器模块输出的待识别的语音数据,并对待识别的语音数据进行语音识别得到对应的文本数据并输出。
在线性麦克风阵列1的前面包括了一个角度从0°到180°的声音获取区域,波束形成器的个数为3个,分别为第一波束形成器21、第二波束形成器22以及第三波束形成器23,第一波束形成器21用于形成第一噪声波束区域,第一波束形成器21所形成的波束的中心指向声音获取区域的20°的方向;第二波束形成器22用于形成主波束区域,第二波束形成器22所形成的波束的中心指向声音获取区域的90°的方向;第三波束形成器23用于形成第二噪声波束区域,第三波束形成器23形成的波束的中心指向声音获取区域的160°的方向。其中,第二波束形成器22所形成的波束的主瓣的宽度要大于第一波束形成器和第三波束形成器所形成的波束的主瓣的宽度,较佳地,第二波束形成器22形成的波束的主瓣的宽度小于等于90°,第一波束形成器和第三波束形成器所形成的波束的主瓣的宽度小于等于40°。
作为本发明的较佳实施例,在第一波束形成器21、第二波束形成器22以及第三波束形成器23中都设有与线性麦克风阵列中的每一个麦克风都对应连接的滤波器,并且每一个滤波器都通过与自身对应的滤波器系数进行滤波,而滤波器系数是通过固定波束成形算法计算得出,该固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声,式二中,是波束形成器的估计输出,将音频数据进行滤波使得波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号后再输出,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示,期望信号的误差等于波束形成器的输出与波束形成器的输入之差,加性噪声的误差等于所有加性噪声的和。
基于最小化均方误差得到式六和式七,通过最小化以令加性噪声最小,结合约束ex,m(k)=0以得出最佳滤波器系数hm,o,其中的hm为波束形成器中所有滤波器对应的滤波器系数矩阵,hm,o为波束形成器中所有滤波器对应的最佳的滤波器系数值。
因为最后波束形成器期望输出的加性噪声尽可能的小,所以利用基于误差准则得出如式六所示的最小化均方误差最小时,输出滤波器的最佳滤波器系数hm,o,如式七所示,而为了保证期望信号的失真最小,所以加上约束条件,ex,m(k)=0估计出最佳滤波器系数hm,o
其中的语音识别器4内设有声学模型,利用声学模型对输入的待识别的语音数据进行语音识别,以识别出对应的语音文本。由于麦克风阵列的滤波处理不可避免地会对主波束造成失真,在声学模型对语音数据进行语音识别时会影响识别的准确率,为降低该失真对语音识别准确率的影响,在声学模型进行语音识别前,利用经过该麦克风阵列处理过的语音数据对该声学模型做自适应训练,而后的语音识别器4在进行语音识别时均是通过该经自适应训练的声学模型进行的识别,从而提高了语音识别器对语音数据的识别准确率,减小了失真对语音识别准确率的影响。
作为本发明的较佳实施例,在语音识别器中还设有特征提取模块、文本输入模块、训练数据存储模块以及训练模块。其中,特征提取模块与所述自适应滤波器模块通信连接,用于接收波束形成器输出的待识别的语音数据,然后从所接收的待识别的语音数据中提取声学特征;文本输入模块用于接收人工输入的与待识别的语音数据对应的文本标注;训练数据存储模块与特征提取模块和文本输入模块都通信连接,它存储特征提取模块提取的声学特征和文本输入模块中输出的对应的文本标注,并将声学特征和对应的文本标注组合形成自适应训练数据;训练模块与训练数据存储模块通信连接,它读取训练数据存储模块内存储的自适应训练数据并利用所读取的自适应训练数据对声学模型进行自适应训练。
以语音操控柜员机为例,在柜员机上横向设置多个麦克风,该麦克风至少设置三个,且以一定的间距进行设置,该麦克风用于获取柜员机前方的声音以形成声音信号。横向设置的麦克风在柜员机的前方形成了180°的声音获取区域,该180°的声音获取区域内的声音包括有说话人的控制指令声音和环境噪声。在该声音获取区域内由三个波束形成器形成了三个波束,主波束、第一噪声波束和第二噪声波束。多个麦克风获取的声音信号经数字化形成声音数据后输入到波束形成器内,通过第一波束形成器输出第一噪声波束,通过第二波束形成器输出主波束,通过第三波束形成器输出第二噪声波束。将主波束、第一噪声波束和第二噪声波束一起输入到自适应滤波模块进行滤波,从主波束中滤除第一噪声波束和第二噪声波束,从而输出待识别的语音数据,该待识别的语音数据为麦克风阵列输出。将待识别的语音数据输入到语音识别器中进行自适应操作,以提高语音识别器对该待识别的语音数据的识别准确率,而后再对该待识别的语音数据进行识别并形成对应的文本数据输出。该文本数据会被发送给柜员机以令柜员机执行相应的动作。
本发明还提供了一种线性麦克风阵列语音识别方法,该方法首先将麦克风按照线性阵列进行设置,麦克风并将人说出的音频信号转化为音频数据;然后将音频数据送入波束形成器经过滤形成主波束和噪声波束并输出给自适应滤波器模块,接着由自适应滤波器模块采集噪声波束和主波束的信息并将噪声波束从主波束中剔除,形成待识别的语音数据,最后将形成的待识别的语音数据输入到语音识别器中进行识别并形成文本数据输出。具体地,
第一步骤,选择三个及以上的麦克风,将其横向间隔设置成一线性麦克风阵列1,在线性麦克风阵列的前面形成有一个0°至180°的声音获取区域,如图1所示。该声音获取区域获取的声音既包括人说话的声音以及来自周围环境的噪声。麦克风接收该声音获取区域获取的声音,并将获取的音频信号进行数字化处理形成一音频数据,并输出。
第二步骤,结合图2,针对线性麦克风阵列1前方的声音获取区域设置波束形成器,波束形成器于声音获取区域形成有位于中部的主波束区域,以及在主波束区域两侧的第一噪声波束区域和第二噪声波束区域,;然后将音频数据输入到波束形成器中,并输出与主波束区域对应的主波束,与第一噪音波束区域对应的第一噪声波束,以及与第二噪声波束区域对应的第二噪声波束。
第三步骤,将波束形成器输出的第一噪声波束、主波束以及第二噪声波束进行滤波处理,根据输入的第一噪声波束以及第二噪声波束噪声信息将第一噪声波束以及第二噪声波束从主波束中剔除,形成一个待识别的语音数据。具体地,接收波束形成器中发出的主波束、第一噪声波束以及第二噪声波束,将第一噪声波束通过第一自适应滤波器31进行自适应,将第二噪声波束通过第二自适应滤波器32进行自适应,然后将进行自适应后的第一噪声波束和第二噪声波束从主波束中滤除并输出,输出后的结果通过一判断模块与人为设定的标准进行比较,若自适应滤波后的波束质量达不到标准,则将输出的结果返回到第一自适应滤波器31和第二自适应滤波器32中重新自适应,循环往复,直至输出的结果达到认为设定的标准,最后的结果从自适应滤波器模块3中输出,得到待识别的语音数据。
第四步骤,识别待识别的语音数据,并形成一文本数据输出在机器上。
作为本发明的较佳实施例,在线性麦克风阵列的前面包括了一个角度为0°至180°的声音获取区域,麦克风将形成的音频数据输入到波束形成器中,波束形成器的个数为3个,分为第一波束形成器21、第二波束形成器22以及第三波束形成器23,将第一波束形成器用于形成第一噪声波束区域,将该第一波束形成器的波束的中心指向180°声音获取区域的20°的方向,第一波束形成器21获取位于线性麦克风阵列第一噪声波束区域的音频数据,并输出第一噪声波束;第二波束形成器22用于形成主波束区域,将该第二波束形成器的波束的中心指向180°声音获取区域的90°的方向,第二波束形成器22获取位于线性麦克风阵列的主波束区域的音频数据,输出主波束;第三波束形成器23用于形成第二噪声波束区域,将该第三波束形成器的波束的中心指向180°声音获取区域的160°的方向,第三波束形成器23获取位于线性麦克风阵列的第二噪声波束区域的噪声,输出第二噪声波束。其中,第二波束形成器22所形成的波束的主瓣的宽度要大于第一波束形成器和第三波束形成器所形成的波束的主瓣的宽度,较佳地,第二波束形成器22形成的波束的主瓣的宽度小于等于90°,第一波束形成器和第三波束形成器所形成的波束的主瓣的宽度小于等于40°。
作为本发明的较佳实施例,在第一波束形成器21、第二波束形成器22以及第三波束形成器23中都设有与线性麦克风阵列中的每一个麦克风都对应连接的滤波器,并且每一个滤波器都通过与自身对应的滤波器系数进行滤波,而滤波器系数是通过固定波束成形算法计算得出,该固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声,式二中,是波束形成器的估计输出,将音频数据进行滤波使得波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号后再输出,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示,期望信号的误差等于波束形成器的输出与波束形成器的输入之差,加性噪声的误差等于所有加性噪声的和。
因为最后波束形成器期望输出的加性噪声尽可能的小,所以利用基于误差准则得出如式六所示的最小化均方误差最小时,输出滤波器的最佳滤波器系数hm,o,如式七所示,而为了保证期望信号的失真最小,所以加上约束条件,ex,m(k)=0估计出最佳滤波器系数hm,o
其中的语音识别器4内设有声学模型,利用声学模型对输入的待识别的语音数据进行语音识别,以识别出对应的语音文本。由于麦克风阵列的滤波处理不可避免地会对主波束造成失真,在声学模型对语音数据进行语音识别时会影响识别的准确率,为降低该失真对语音识别准确率的影响,在声学模型进行语音识别前,利用经过该麦克风阵列处理过的语音数据对该声学模型做自适应训练,而后的语音识别器4在进行语音识别时均是通过该经自适应训练的声学模型进行的识别,从而提高了语音识别器对语音数据的识别准确率,减小了失真对语音识别准确率的影响。
作为本发明的较佳实施例,利用所述待识别的语音数据对声学模型进行自适应操作,还包括以下步骤:语音识别器首先提取设定数量的待识别的语音数据,并对提取的待识别的语音数据进行文本标注;然后再提取设定数量的待识别的语音数据对应的声学特征,并将对应的文本标注与声学特征组合形成自适应训练数据;最后利用自适应训练数据对声学模型进行自适应训练。自适应训练结束后经自适应操作的声学模型对待识别的语音数据进行语音识别。
以语音操控柜员机为例,在柜员机上横向设置多个麦克风,该麦克风至少设置三个,且以一定的间距进行设置,该麦克风用于获取柜员机前方的声音以形成声音信号。横向设置的麦克风在柜员机的前方形成了180°的声音获取区域,该180°的声音获取区域内的声音包括有说话人的控制指令声音和环境噪声。在该声音获取区域内由三个波束形成器形成了三个波束,主波束、第一噪声波束和第二噪声波束。多个麦克风获取的声音信号经数字化形成声音数据后输入到波束形成器内,通过第一波束形成器输出第一噪声波束,通过第二波束形成器输出主波束,通过第三波束形成器输出第二噪声波束。将主波束、第一噪声波束和第二噪声波束一起输入到自适应滤波模块进行滤波,从主波束中滤除第一噪声波束和第二噪声波束,从而输出待识别的语音数据,该待识别的语音数据为麦克风阵列输出。将待识别的语音数据输入到语音识别器中进行自适应操作,以提高语音识别器对该待识别的语音数据的识别准确率,而后再对该待识别的语音数据进行识别并形成对应的文本数据输出。该文本数据会被发送给柜员机以令柜员机执行相应的动作。
本发明针对特定人机语音交互,不需要实时跟踪声源方位,避免了传统算法可能因为声源位置估计偏差带来的对期望信号的抑制或失真;同时算法计算量小,实现过程简单方便,成本较低,获取的语音数据质量高,能够提高语音识别的准确率。
以上结合附图及实施例对本发明进行了详细说明,本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而,实施例中的某些细节不应构成对本发明的限定,本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (10)

1.一种利用线性麦克风阵列的语音识别方法,其特征在于,所述方法包括如下步骤:
利用线性麦克风阵列录制环境的声音以形成音频数据;
针对所述线性麦克风阵列前方的声音获取区域设置波束形成器,利用所述波束形成器于所述声音获取区域形成位于中部的主波束区域和位于两侧部的第一噪声波束区域和第二噪声波束区域;
将所述音频数据输入到所述波束形成器中以获得对应所述主波束区域的主波束、对应所述第一噪声波束区域的第一噪声波束、以及对应所述第二噪声波束区域的第二噪声波束;
从所述主波束中滤除所述第一噪声波束和所述第二噪声波束以得到待识别的语音数据;
对所述待识别的语音数据进行语音识别以得到对应的文本数据并输出。
2.如权利要求1所述的方法,其特征在于,所述声音获取区域包括角度从0°至180°的平面区域,针对所述线性麦克风阵列前方的声音获取区域设置波束形成器,包括:设置用于形成所述第一噪声波束区域的第一波束形成器,将所述第一波束形成器所形成的波束的中心指向所述声音获取区域的20°方向;
设置用于形成所述主波束区域的第二波束形成器,将所述第二波束形成器所形成的波束的中心指向所述声音获取区域的90°方向;
设置用于形成所述第二噪声波束区域的第三波束形成器,将所述第三波束形成器所形成的波束的中心指向所述声音获取区域的160°方向。
3.如权利要求2所述的方法,其特征在于,设置波束形成器时,每一波束形成器中设置有与所述线性麦克风阵列中的每一麦克风对应连接的滤波器,采用固定波束成形算法为每一波束形成器中的滤波器计算滤波器系数;
所述固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声;式二中,是波束形成器的输出,将波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示:
基于最小化均方误差得到式六和式七,通过最小化以今力口性噪声最小,结合约束ex,m(k)=0以得出最佳滤波器系数hm,o,其中的hm为波束形成器中所有滤波器对应的滤波器系数矩阵,nm,o为波束形成器中所有滤波器对应的最佳的滤波器系数值。
4.如权利要求1所述的方法,其特征在于,对所述待识别的语音数据进行语音识别,包括:先利用所述待识别的语音数据对声学模型进行自适应操作;而后利用经自适应操作的声学模型对所述待识别的语音数据进行语音识别。
5.如权利要求4所述的方法,其特征在于,利用所述待识别的语音数据对声学模型进行自适应操作,包括:
提取设定数量的待识别的语音数据,并对所提取的待识别的语音数据进行文本标注:
提取所述设定数量的待识别的语音数据对应的声学特征,并将对应的文本标注与所述声学特征组合形成自适应训练数据;
利用所述自适应训练数据对所述声学模型进行自适应训练。
6.一种线性麦克风阵列语音识别***,其特征在于,所述***包括:
线性麦克风阵列,用于录制环境的声音以形成音频数据;
与所述线性麦克风阵列通信连接的波束形成器,所述波束形成器于所述线性麦克风阵列前方的声音获取区域形成位于中部的主波束区域和位于两侧部的第一噪声波束区域和第二噪声波束区域,用于对所接收到的所述音频数据进行处理并获得对应所述主波束区域的主波束、对应所述第一噪声波束区域的第一噪声波束、以及对应所述第二噪声波束区域的第二噪声波束;
自适应滤波器模块,与所述波束形成器通信连接,接收所述主波束、所述第一噪声波束以及所述第二噪声波束的输出,并用于从所述主波束中滤除所述第一噪声波束和所述第二噪声波束以得到待识别的语音数据;
语音识别器,与所述自适应滤波器模块通信连接,接收所述待识别的语音数据,并用于对所述待识别的语音数据进行语音识别以得到对应的文本数据并输出。
7.如权利要求6所述的***,其特征在于,所述声音获取区域包括角度从0°至180°的平面区域;
所述波束形成器包括:用于形成所述第一噪声波束区域的第一波束形成器,所述第一波束形成器所形成的波束的中心指向所述声音获取区域的20°方向;
用于形成所述主波束区域的第二波束形成器,所述第二波束形成器所形成的波束的中心指向所述声音获取区域的90°方向;
用于形成所述第二噪声波束区域的第三波束形成器,所述第三波束形成器所形成的波束的中心指向所述声音获取区域的160°方向。
8.如权利要求6所述的***,其特征在于,每一波束形成器中设有与所述线性麦克风阵列中的每一麦克风对应连接的滤波器,每一波束形成器中的滤波器设置有对应的滤波器系数;所述滤波器系数通过固定波束成形算法计算得到;
所述固定波束成形算法包括:
yn(k)=xn(k)+vn(k),n=1,2,...,N (式一)
在式一中,yn(k)是第n个麦克风采集到的音频数据,xn(k)和vn(k)分别是采集到的期望信号和加性噪声;式二中,是波束形成器的输出,将波束形成器的输出逼近线性麦克风阵列中某个麦克风接收到的期望信号,是第n个麦克风对应的滤波器系数;
在式三中,em(k)表示波束形成器的输出信号与采集到的期望信号的误差,它等于期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)的和;而期望信号的误差ex,m(k)与加性噪声的误差ev,m(k)可以用式四和式五来表示;
基于最小化均方误差得到式六和式七,通过最小化以令加性噪声最小,结合约束ex,m(k)=0以得出最佳滤波器系数hm,o,其中的hm为波束形成器中所有滤波器对应的滤波器系数矩阵,hm,o为波束形成器中所有滤波器对应的最佳的滤波器系数值。
9.如权利要求6所述的***,其特征在于,所述语音识别器包括一声学模型,所述声学模型经所述待识别的语音数据进行自适应训练后再用于识别待识别的语音数据。
10.如权利要求9所述的***,其特征在于,所述语音识别器还包括有特征提取模块、文本输入模块、训练数据存储模块以及训练模块;
所述特征提取模块与所述自适应滤波器模块通信连接,接收所述待识别的语音数据,用于从所接收的待识别的语音数据中提取声学特征;
所述文本输入模块用于输入与所述待识别的语音数据对应的文本标注;
所述训练数据存储模块与所述特征提取模块和所述文本输入模块通信连接,用于存储所述声学特征和对应的文本标注,所述声学特征和对应的文本标注组合形成自适应训练数据;
所述训练模块与所述训练数据存储模块通信连接,读取所述训练数据存储模块内存储自适应训练数据并利用所读取的自适应训练数据对所述声学模型进行自适应训练。
CN201611202169.0A 2016-12-23 2016-12-23 利用线性麦克风阵列的语音识别方法及*** Active CN106710603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611202169.0A CN106710603B (zh) 2016-12-23 2016-12-23 利用线性麦克风阵列的语音识别方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611202169.0A CN106710603B (zh) 2016-12-23 2016-12-23 利用线性麦克风阵列的语音识别方法及***

Publications (2)

Publication Number Publication Date
CN106710603A true CN106710603A (zh) 2017-05-24
CN106710603B CN106710603B (zh) 2019-08-06

Family

ID=58903066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611202169.0A Active CN106710603B (zh) 2016-12-23 2016-12-23 利用线性麦克风阵列的语音识别方法及***

Country Status (1)

Country Link
CN (1) CN106710603B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507623A (zh) * 2017-10-09 2017-12-22 维拓智能科技(深圳)有限公司 基于麦克风阵列语音交互的自助服务终端
CN107785029A (zh) * 2017-10-23 2018-03-09 科大讯飞股份有限公司 目标语音检测方法及装置
CN108364664A (zh) * 2018-02-01 2018-08-03 北京云知声信息技术有限公司 自动数据采集及标注的方法
CN108696781A (zh) * 2018-05-17 2018-10-23 四川湖山电器股份有限公司 一种直线型排列的麦克风在空间形成指向性的方法
CN108922518A (zh) * 2018-07-18 2018-11-30 苏州思必驰信息科技有限公司 语音数据扩增方法和***
CN110322892A (zh) * 2019-06-18 2019-10-11 中国船舶工业***工程研究院 一种基于麦克风阵列的语音拾取***和方法
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术(北京)有限公司 语音信号处理方法及装置
CN110519676A (zh) * 2019-08-22 2019-11-29 云知声智能科技股份有限公司 一种去中心化的分布式麦克风拾音的方法
CN110797042A (zh) * 2018-08-03 2020-02-14 杭州海康威视数字技术股份有限公司 音频处理方法、装置及存储介质
CN111429916A (zh) * 2020-02-20 2020-07-17 西安声联科技有限公司 一种声音信号记录***
WO2020192721A1 (zh) * 2019-03-28 2020-10-01 华为技术有限公司 一种语音唤醒方法、装置、设备及介质
CN111986678A (zh) * 2020-09-03 2020-11-24 北京蓦然认知科技有限公司 一种多路语音识别的语音采集方法、装置
CN112216298A (zh) * 2019-07-12 2021-01-12 大众问问(北京)信息科技有限公司 双麦克风阵列声源定向方法、装置及设备
CN113053408A (zh) * 2021-03-12 2021-06-29 云知声智能科技股份有限公司 一种声源分离方法及装置
CN113301476A (zh) * 2021-03-31 2021-08-24 阿里巴巴新加坡控股有限公司 拾音设备及麦克风阵列结构
CN113393856A (zh) * 2020-03-11 2021-09-14 华为技术有限公司 拾音方法、装置和电子设备
CN113539288A (zh) * 2021-07-22 2021-10-22 南京华捷艾米软件科技有限公司 一种语音信号去噪方法及装置
CN113782024A (zh) * 2021-09-27 2021-12-10 上海互问信息科技有限公司 一种针对语音唤醒后提升自动语音识别准确率的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995034983A1 (en) * 1994-06-14 1995-12-21 Ab Volvo Adaptive microphone arrangement and method for adapting to an incoming target-noise signal
CN1851806A (zh) * 2006-05-30 2006-10-25 北京中星微电子有限公司 一种自适应麦克阵列***及其语音信号处理方法
CN102831898A (zh) * 2012-08-31 2012-12-19 厦门大学 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法
CN102969002A (zh) * 2012-11-28 2013-03-13 厦门大学 一种可抑制移动噪声的麦克风阵列语音增强装置
CN105532017A (zh) * 2013-03-12 2016-04-27 谷歌技术控股有限责任公司 用于波束形成以获得语音和噪声信号的装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995034983A1 (en) * 1994-06-14 1995-12-21 Ab Volvo Adaptive microphone arrangement and method for adapting to an incoming target-noise signal
CN1851806A (zh) * 2006-05-30 2006-10-25 北京中星微电子有限公司 一种自适应麦克阵列***及其语音信号处理方法
CN102831898A (zh) * 2012-08-31 2012-12-19 厦门大学 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法
CN102969002A (zh) * 2012-11-28 2013-03-13 厦门大学 一种可抑制移动噪声的麦克风阵列语音增强装置
CN105532017A (zh) * 2013-03-12 2016-04-27 谷歌技术控股有限责任公司 用于波束形成以获得语音和噪声信号的装置和方法

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507623A (zh) * 2017-10-09 2017-12-22 维拓智能科技(深圳)有限公司 基于麦克风阵列语音交互的自助服务终端
CN107785029A (zh) * 2017-10-23 2018-03-09 科大讯飞股份有限公司 目标语音检测方法及装置
CN107785029B (zh) * 2017-10-23 2021-01-29 科大讯飞股份有限公司 目标语音检测方法及装置
US11308974B2 (en) 2017-10-23 2022-04-19 Iflytek Co., Ltd. Target voice detection method and apparatus
CN108364664A (zh) * 2018-02-01 2018-08-03 北京云知声信息技术有限公司 自动数据采集及标注的方法
CN108364664B (zh) * 2018-02-01 2020-04-24 云知声智能科技股份有限公司 自动数据采集及标注的方法
CN108696781A (zh) * 2018-05-17 2018-10-23 四川湖山电器股份有限公司 一种直线型排列的麦克风在空间形成指向性的方法
CN108922518A (zh) * 2018-07-18 2018-11-30 苏州思必驰信息科技有限公司 语音数据扩增方法和***
CN110797042A (zh) * 2018-08-03 2020-02-14 杭州海康威视数字技术股份有限公司 音频处理方法、装置及存储介质
CN110797042B (zh) * 2018-08-03 2022-04-15 杭州海康威视数字技术股份有限公司 音频处理方法、装置及存储介质
WO2020192721A1 (zh) * 2019-03-28 2020-10-01 华为技术有限公司 一种语音唤醒方法、装置、设备及介质
CN110322892A (zh) * 2019-06-18 2019-10-11 中国船舶工业***工程研究院 一种基于麦克风阵列的语音拾取***和方法
CN110322892B (zh) * 2019-06-18 2021-11-16 中国船舶工业***工程研究院 一种基于麦克风阵列的语音拾取***和方法
CN112216298B (zh) * 2019-07-12 2024-04-26 大众问问(北京)信息科技有限公司 双麦克风阵列声源定向方法、装置及设备
CN112216298A (zh) * 2019-07-12 2021-01-12 大众问问(北京)信息科技有限公司 双麦克风阵列声源定向方法、装置及设备
CN110364176A (zh) * 2019-08-21 2019-10-22 百度在线网络技术(北京)有限公司 语音信号处理方法及装置
CN110519676A (zh) * 2019-08-22 2019-11-29 云知声智能科技股份有限公司 一种去中心化的分布式麦克风拾音的方法
CN111429916A (zh) * 2020-02-20 2020-07-17 西安声联科技有限公司 一种声音信号记录***
CN111429916B (zh) * 2020-02-20 2023-06-09 西安声联科技有限公司 一种声音信号记录***
WO2021180085A1 (zh) * 2020-03-11 2021-09-16 华为技术有限公司 拾音方法、装置和电子设备
CN113393856A (zh) * 2020-03-11 2021-09-14 华为技术有限公司 拾音方法、装置和电子设备
CN113393856B (zh) * 2020-03-11 2024-01-16 华为技术有限公司 拾音方法、装置和电子设备
CN111986678B (zh) * 2020-09-03 2023-12-29 杭州蓦然认知科技有限公司 一种多路语音识别的语音采集方法、装置
CN111986678A (zh) * 2020-09-03 2020-11-24 北京蓦然认知科技有限公司 一种多路语音识别的语音采集方法、装置
CN113053408A (zh) * 2021-03-12 2021-06-29 云知声智能科技股份有限公司 一种声源分离方法及装置
CN113053408B (zh) * 2021-03-12 2022-06-14 云知声智能科技股份有限公司 一种声源分离方法及装置
CN113301476A (zh) * 2021-03-31 2021-08-24 阿里巴巴新加坡控股有限公司 拾音设备及麦克风阵列结构
CN113301476B (zh) * 2021-03-31 2023-11-14 阿里巴巴(中国)有限公司 拾音设备及麦克风阵列结构
CN113539288A (zh) * 2021-07-22 2021-10-22 南京华捷艾米软件科技有限公司 一种语音信号去噪方法及装置
CN113782024A (zh) * 2021-09-27 2021-12-10 上海互问信息科技有限公司 一种针对语音唤醒后提升自动语音识别准确率的方法
CN113782024B (zh) * 2021-09-27 2024-03-12 上海互问信息科技有限公司 一种针对语音唤醒后提升自动语音识别准确率的方法

Also Published As

Publication number Publication date
CN106710603B (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
CN106710603B (zh) 利用线性麦克风阵列的语音识别方法及***
JP7011075B2 (ja) マイク・アレイに基づく対象音声取得方法及び装置
CN106448722B (zh) 录音方法、装置和***
CN106653041B (zh) 音频信号处理设备、方法和电子设备
JP6954680B2 (ja) 話者の確認方法及び話者の確認装置
CN110517705B (zh) 一种基于深度神经网络和卷积神经网络的双耳声源定位方法和***
CN102421050B (zh) 使用麦克风的非均匀布局来增强音频质量的设备和方法
CN102164328B (zh) 一种用于家庭环境的基于传声器阵列的音频输入***
CN102831898B (zh) 带声源方向跟踪功能的麦克风阵列语音增强装置及其方法
CN102388416B (zh) 信号处理装置及信号处理方法
CN107346661B (zh) 一种基于麦克风阵列的远距离虹膜跟踪与采集方法
US20170365255A1 (en) Far field automatic speech recognition pre-processing
CN206349145U (zh) 音频信号处理设备
CN108109617A (zh) 一种远距离拾音方法
CN107221336A (zh) 一种增强目标语音的装置及其方法
CN106782584A (zh) 音频信号处理设备、方法和电子设备
CN108877827A (zh) 一种语音增强交互方法及***、存储介质及电子设备
CN103426440A (zh) 利用能量谱熵空间信息的语音端点检测装置及其检测方法
CN107017003A (zh) 一种麦克风阵列远场语音增强装置
CN110379439A (zh) 一种音频处理的方法以及相关装置
CN103208291A (zh) 一种可用于强噪声环境的语音增强方法及装置
CN105575403A (zh) 一种融合听觉掩蔽与双耳信号帧的互相关声源定位方法
CN112363112B (zh) 一种基于线性麦克风阵列的声源定位方法及装置
CN106992010A (zh) 无直达声条件下的麦克风阵列语音增强装置
WO2020087716A1 (zh) 人工耳蜗听觉场景识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171010

Address after: 200233 Shanghai City, Xuhui District Guangxi 65 No. 1 Jinglu room 702 unit 03

Applicant after: Cloud known sound (Shanghai) Technology Co. Ltd.

Address before: 200233 Shanghai, Qinzhou, North Road, No. 82, building 2, layer 1198,

Applicant before: SHANGHAI YUZHIYI INFORMATION TECHNOLOGY CO., LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200415

Address after: 200233 Shanghai City, Xuhui District Guangxi 65 No. 1 Jinglu room 702 unit 03

Co-patentee after: Xiamen yunzhixin Intelligent Technology Co., Ltd

Patentee after: YUNZHISHENG (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd.

Address before: 200233 Shanghai City, Xuhui District Guangxi 65 No. 1 Jinglu room 702 unit 03

Patentee before: YUNZHISHENG (SHANGHAI) INTELLIGENT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right