CN113205729A - 一种面向外国留学生的演讲评测方法、装置及*** - Google Patents

一种面向外国留学生的演讲评测方法、装置及*** Download PDF

Info

Publication number
CN113205729A
CN113205729A CN202110389484.3A CN202110389484A CN113205729A CN 113205729 A CN113205729 A CN 113205729A CN 202110389484 A CN202110389484 A CN 202110389484A CN 113205729 A CN113205729 A CN 113205729A
Authority
CN
China
Prior art keywords
speech
characteristic
evaluation
data
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110389484.3A
Other languages
English (en)
Inventor
李会法
沈莺英
谈遥新
张恒彰
王华珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202110389484.3A priority Critical patent/CN113205729A/zh
Publication of CN113205729A publication Critical patent/CN113205729A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/06Foreign languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Acoustics & Sound (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了一种面向外国留学生的演讲评测方法、装置及***,包括:获取演讲者的演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。本发明提供客观、专业、通用、体系化的针对汉语学习者的口语能力评判标准,对汉语学习者自身能力提升以及汉语教育行业的发展有促进作用。

Description

一种面向外国留学生的演讲评测方法、装置及***
技术领域
本发明涉及汉语教育行业领域及语言信号处理技术领域,具体涉及一种面向外国留学生的演讲评测方法、装置及***。
背景技术
在汉语发展传播时期,汉语学***台和资源都偏少,这是因为口语是一门很有针对性的课程,它没有一个统一的参考标准。每个人都会有不一样的表达,因此评价反馈也会因此而不同。
发明内容
本发明的主要目的在于提出一种面向外国留学生的演讲评测方法、装置及***,提供客观、专业、通用、体系化的针对汉语学习者的口语能力评判标准,对汉语学习者自身能力提升以及汉语教育行业的发展有促进作用。
本发明采用如下技术方案:
第一方面,一种面向外国留学生的演讲评测方法,包括:
获取演讲者的演讲语音数据;
对所述演讲语音数据进行语音识别,得到识别文本数据;
分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
优选的,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数TD;停顿指的是对所述演讲语音数据采用VAD算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿;
基于停顿出现的次数TD设计输出语音流畅度S;其中,语音流畅度S的取值与所述停顿次数呈反比,即停顿次数越少,语音流畅度S的取值越大;
优选的,提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量I,基于规则的方法统计文本中的无效重复语音文本的出现次数J;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
优选的,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度L及所述演讲语音数据的音频长度T,计算出语速L/T;
将语速L/T作为语速特征。
优选的,提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度T,获取所述音频长度T与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度T与预设阈值hvt的比值作为语音基础分特征。
优选的,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的N句文本中,符合语法结构信息标准的句子数量G,得到文本句子结构标准率G/N;
将文本句子结构标准率G/N作为主谓宾句法分析特征。
优选的,提取混合句型特征的方法,包括:
统计所述识别文本数据的N句文本中,符合标准句型的句子数量M,得到文本句型标准率M/N;
将文本句型标准率M/N作为主谓宾句法分析特征。
优选的,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的N句文本中,文本出错数量W;
将文本出错数量W作为词汇使用是否得当特征。
优选的,提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量F;
将符合语言框架句子数量F作为语言框架得分特征。
优选的,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
Figure BDA0003015953280000031
其中D为词向量维数,word1k为文本词向量,word2k为违规词典库中词语词向量;
将所述余弦距离作为情感是否健康特征。
优选的,提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量P与所有主题词数量Pall,统计出所述识别文本数据与题目的主题相符率P/Pall
将所述主题相符率P/Pall作为主题是否相符特征。
优选的,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量Wr;
将书面语的句子数量Wr作为口语表达思考力特征。
优选的,提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分Q,对于所述识别文本数据,若标准文本长度为Lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为L,计算出用户语篇基础分
Figure BDA0003015953280000032
将用户语篇基础分Q作为语篇基础分特征。
优选的,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
另一方面,一种面向外国留学生的演讲评测装置,包括:
语音数据获取模块,用于获取演讲者的演讲语音数据;
语音数据识别模块,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
再一方面,一种面向外国留学生的演讲评测***,包括:
客户端,用于获取演讲者的演讲语音数据;
服务器,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
与现有技术相比,本发明的有益效果如下:
(1)本发明的针对汉语学习者的口语能力方法标准客观、专业、通用及具有体系化,并且采用基于语料库的方法设计了各个评测特征的计算方法;本发明可以对汉语学习者自身能力提升以及汉语教育行业的发展有促进作用;
(2)在了解了目前汉语学***;本发明旨在让留学生有机会张口说中文,避免出现“哑巴中文”的现象,锻炼学生的口语表达能力,最终达到让汉语学习者听说读写四项言语技能全面发展的效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚地了解本发明的技术手段,从而可依照说明书的内容予以实施,并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂,以下列举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述及其他目的、优点和特征。
附图说明
图1为本发明实施例的面向外国留学生的演讲评测方法的界面示意图;
图2为本发明实施例的面向外国留学生的演讲评测方法的流程图;
图3为本发明实施例的面向外国留学生的演讲评测装置的结构框图;
图4为本发明实施例的面向外国留学生的演讲评测***的结构框图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
参见图1和图2所示,本发明的一种面向外国留学生的演讲评测方法,包括以下步骤:(1)获取用户语音的文本数据;(2)计算演讲能力评测指标。
步骤一:获取用户语音的文本数据。
具体的包括:
S201,获取演讲者的演讲语音数据;
S202,对所述演讲语音数据进行语音识别,得到识别文本数据。
本发明中,基于面向外国留学生的演讲评测方法,设计不同层次主题,主题的相关提示,主题的范文和书面表达语料设计3个评测维度对应的场景语料。
1.不同层次的主题设计。设计出46条语料(需要说明的是,语料库是可以根据需要进行扩充的,如下仅为示例),如“我的周末”、“我的假期安排”等类型,一种程度是简单,另一种是困难。不同层次的主题设计如下表1所示,其中difficultly列表示不同层次,theme列表示主题。
表1
Figure BDA0003015953280000061
Figure BDA0003015953280000071
2.主题的相关提示的语料设计。设计5组不同的主题的相关提示语料(需要说明的是,主题的相关提示语料是可以根据需要进行扩充的,如下仅为示例)。其中tips1-tips5列分别表示对应主题下给出相关的提示语料,如下表2。
表2
Figure BDA0003015953280000072
Figure BDA0003015953280000081
Figure BDA0003015953280000091
Figure BDA0003015953280000101
3.主题的范文和书面表达语料设计。设计46组语料,设计的语料示意如下表所示(需要说明的是,语料示意是可以根据需要进行扩充的,如下仅为示例)。其中,Model是范文,expression是书面化表达,用于对用户的语音和文本做相似度比较,如下表3。
表3
Figure BDA0003015953280000102
Figure BDA0003015953280000111
Figure BDA0003015953280000121
根据设计的小讲话内容分别展示给用户,可以获得相应的讲话音频、文本的评测、讲话得分等3个不同的对话数据集。以用户对话数据集的部分信息作为示例,内容主题为“我的周末”,如下表4所示:
表4
Figure BDA0003015953280000131
由上表所示,包含了3位用户在演讲评测***中实际表现的结果,不同的用户可以选择不同的主题,不同的用户语言表达的能力和层次也不相同,从而表现出讲话的总字数和语速也不同,内容也具有显著差别,导致最后的各项得分和总得分也不同。
第二步:计算演讲能力评测指标。
具体的包括:
S203,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
S204,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
本实施例中,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数;具体为对所述演讲语音数据采用VAD算法进行端点检测,设置阈值ht,端点之间时间超过ht则说明出现停顿;
基于停顿出现的次数,输出语音流畅度S作为流畅度特征;其中,语音流畅度S的取值范围为[0,1],与所述停顿次数呈反比,即停顿次数越少,语音流畅度S的取值越大。
具体的,流畅度特征(指标)衡量汉语学习者的思考力和语言组织能力,是对用户说的口语文本以及用户的输入语音进行流畅度评分,评分的维度主要根据用于语音的停顿、语速、语调进行打分。对语音信息采用VAD算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿。通过循环神经网络对已有数据集进行大数据的训练与计算,得到流畅度判别模型,给定用户输入语音,输出语音流畅度S,语音流畅度的取值范围为[0,1],其值越大越好。
本实施例中,提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量I,基于规则的方法统计文本中的无效重复语音文本的出现次数J;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
具体的,有效性特征(指标)判断汉语学习者在说话过程中停顿词以及无效重复语音文本的出现次数。对于中文语音,当汉语学习者表达不顺畅时会发出“额”,“啧”,“啊”这样的词语,称之为停顿词,连续多次出现的语音文本称为无效重复语音文本。对于用户语音转化为的文本,通过基于停顿词表统计文本中停顿词数量I,基于规则的方法统计文本中的无效重复语音文本出现次数J。停顿词数量和无效重复语音文本出现次数的取值范围为[0,∞],其值越小越好。
本实施例中,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度L及所述演讲语音数据的音频长度T,计算出语速L/T;
将语速L/T作为语速特征。
具体的,语速特征(指标)评判汉语学习者的汉语口语熟练度。获取用户的评测文本获取到用户输入的文本长度L,与用户输入的音频长度T,计算出语速L/T,语速的取值范围为[0,∞],其值在[vlow,vhigh]之间较好,其中vlow是要求的最低语速阈值,vhigh是要求的最高语速阈值。
本实施例中,提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度T,获取所述音频长度T与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度T与预设阈值hvt的比值作为语音基础分特征。
具体的,语音基础分特征(指标)衡量汉语学习者的口语语音基础能力。对用户输入的音频长度设置阈值hvt,当用户音频长度超过阈值hvt,赋予用户语音基础分满分,语音长度的取值范围为[0,∞],其值越大越好。
本实施例中,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的N句文本中,符合语法结构信息标准的句子数量G,得到文本句子结构标准率G/N;
将文本句子结构标准率G/N作为主谓宾句法分析特征。
具体的,主谓宾句法分析特征(指标)衡量用户的汉语语法能力,将用户输入的评测文本以句子为单位进行拆分为一个数组,同时以词为单位进行分词。然后将句子通过依存句法树分析,确定句子的句法结构或者句子中词汇之间的依存关系。进一步根据依存关系提取出句子的主谓宾定状补关系。并且我们通过专家法结合技术统计的方式统计出一个正确的句法结构字典,以句子为单位进行分析出来的主谓宾定状补结构信息送进去字典里面进行包含关系的匹配,若句子分析的主谓宾定状补的结构信息在字典中存在匹配信息,则视为句子的语法结构信息标准,若不存在则***判定为语法结构信息有问题。对于用户输入的N句文本,计算符合语法结构信息标准的句子数量G,得到文本句子结构标准率G/N,文本句子结构标准率取值范围为[0,1],其值越大越好。
本实施例中,提取混合句型特征的方法,包括:
统计所述识别文本数据的N句文本中,符合标准句型的句子数量M,得到文本句型标准率M/N;
将文本句型标准率M/N作为主谓宾句法分析特征。
具体的,混合句型特征(指标)判断用户的汉语语法运用能力。根据《国际汉语教学通用课程大纲》给的标准句型统计出一份标准句型的字典,将用户输入的文本以句子的单位进行分析,将句子分词后,从主谓宾定状补、词语词性、关键词这三个角度进行分析,将这三个维度的信息送入到标准句型的字典总进行精准匹配,若匹配到了标准句型,则将该句子视为标准句型,否则不是标准句型。对于用户输入的N句文本,计算符合标准句型的句子数量M,得到文本句型标准率M/N,文本文本句型标准率取值范围为[0,1],其值越大越好。
本实施例中,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的N句文本中,文本出错数量W;
将文本出错数量W作为词汇使用是否得当特征。
具体的,词汇使用是否得当特征(指标)衡量用户的词组关联能力,通过专家字典法的方式以及开源框架pycorrector进行对用户输入的文本进行纠错,专家字典法的方法由华文教育领域的专家进行统计出易错的词语搭配,比如“戴衣服”“穿帽子”等错误搭配,进而在程序处理时,遍历文本中是否存在错误搭配,若匹配则视为文本错误。开源框架pycorrector依据语言模型检测错别字位置,通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。技术上使用了统计语言模型kenlm工具,同时使用了rnn_attention、rnn_crf、seq2seq_attention、transformer、conv_seq2seq、electra预训练模型进行联合训练,训练出文本纠错的深度学习模型用于检测用户输入的文本错误信息。对于用户输入的N句文本,计算文本出错数量W,文本出错数量取值范围为[0,∞],其值越小越好。
本实施例中,提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量F;
将符合语言框架句子数量F作为语言框架得分特征。
具体的,语言框架得分特征(指标)衡量用户的语言逻辑能力,通过专家法整理出了语言框架词典,例如“虽然......而且......”。将用户输入的评测文本以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量F。语言框架句子数量取值范围为[0,N],其值越大越好。
本实施例中,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
Figure BDA0003015953280000161
其中D为词向量维数,word1k为文本词向量,word2k为违规词典库中词语词向量;
将所述余弦距离作为情感是否健康特征。
具体的,情感是否健康特征(指标)判断用户的所表达的语句是否符合***核心价值观,针对用户输入的文本进行文本健康审核,覆盖涉政、涉黄、涉恐、恶意推广、低质灌水、官方违禁内容库等丰富的审核维度,通过专家法整理出违规词典库;首先使用大规模语料库通过word2vec训练出词向量,然后将输入文本进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量输入文本中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
Figure BDA0003015953280000171
其中D为词向量维数,word1k为文本词向量,word2k为违规词典库中词语词向量。规定夹角余弦取值范围为[0,1],余弦值越大表示两个向量的夹角越小,即两个向量越相似,当相似度大于阈值hd则表明该词违***主义核心价值观,其值越小越好。
本实施例中,提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量P与所有主题词数量Pall,统计出所述识别文本数据与题目的主题相符率P/Pall
将所述主题相符率P/Pall作为主题是否相符特征。
具体的,主题是否相符特征(指标)评测用户所陈述的语句与***所给题目是否主题思想一样,通过专家法根据对应的题目进行统计出该题目的主题词,将主题词以字典的信息存储起来,若用户输入的评测文本进行精准匹配专家所列出来的主题词信息,根据用户评测文本匹配的主题词数量P与所有主题词数量Pall,进而统计出文本与题目的主题相符率P/Pall,主题相符率值域为[0,1],其值越大越好。
本实施例中,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量Wr;
将书面语的句子数量Wr作为口语表达思考力特征。
具体的,口语表达思考力特征(指标)判断用户的思考力强弱,根据用户审题时间以及用户的口语比例、书面语的使用比例维度进行分析用户的口语表达思考力,首先根据小程序前端捕捉用户的读题时间,其次使用专家法的方式进行汇总该问题的加分项书面语整理为书面语词典。对于用户输入文本以句子的单位进行分析匹配书面语词典,统计书面语的句子计算得到书面语使用比例Wr,其中Wr为书面语的句子数量。书面语使用比例取值范围为[0,∞],其值越大越好。
本实施例中,提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分Q,对于所述识别文本数据,若标准文本长度为Lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为L,计算出用户语篇基础分
Figure BDA0003015953280000181
将用户语篇基础分Q作为语篇基础分特征。
具体的,语篇基础分特征(指标)衡量汉语学习者口语语篇基础能力,根据用户的输入评测文本长度作为用户语篇基础分的基础得分Q,对于用户输入的评测文本,若标准文本长度为Lstandard,语音的标准基础分为scoretext_basic,输入文本长度为L,计算出用户语篇基础分
Figure BDA0003015953280000182
文本长度取值范围为[0,∞],其值越大越好。语篇基础分保证用户有一定的基础分值。
针对用户162514089,基于上述特征提取方法,相关的任务完成能力指标计算值分别如下:
(1)流畅度:该指标值域为[0,1],其值越大越好。针对用户162514089输入的口语语音音频,流畅度的值为0.83,说明用户在表达时较为流畅,口语表达能力较好。
(2)有效性:该指标通过汉语学习者在说话过程中停用词以及无效重复语音文本的出现次数计算,停用词以及无效重复语音文本的出现次数值域为[0,∞],其值越小越好。针对用户162514089输入的口语语音音频,停用词以及无效重复语音文本的出现次数均为0,说明用户在表达时思维连贯,表达顺畅,口语表达能力较好。
(3)语速:该指标值域为[0,∞],其值在[vlow,vhigh]之间较好,其中vlow是要求的最低语速阈值,vhigh是要求的最高语速阈值。针对用户162514089输入的口语语音音频,语速的值为4.30字/秒,接近汉语母语使用者,说明用户口语表达能力较好。
(4)语音基础分:通过语音长度衡量语音基础分,该指标值域为[0,∞],其值越大越好。针对用户162514089输入的口语语音音频,用户语音长度为19.77秒,说明用户表达内容不够充实,未能达到建议语音长度。
(5)主谓宾句法分析:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,主谓宾句法分析的值为1.00,说明用户没有出现语法错误,用户的语法知识比较丰富,表达符合汉语表达习惯。
(6)混合句型:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,混合句型的值为0.75,说明用户在表达过程有使用一些标准句型,表达方式合理。
(7)词汇使用是否得当:该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,词汇使用是否得当的值为1.00,说明用户没有词语搭配错误,表达方式得当。
(8)语言框架:该指标值域为[0,N],其中N为文本中句子数量,针对用户162514089输入的语音音频转换的文本,语言框架的值为0,说明用户在表达过程中没有使用如“虽然......而且......”的句式,句子逻辑表达不够丰富。
(9)情感是否健康:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,情感是否健康的值为0.99,说明用户表达思想健康,没有涉政、涉黄、涉恐、恶意推广、等内容。
(10)主题是否相符:该指标值域为[0,1],针对用户162514089输入的语音音频转换的文本,主题是否相符的值为1.00,说明用户在表达时紧扣主题,能在理解题意得基础上进行阐述。
(11)口语表达思考力:该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,口语表达思考力的值为2,说明用户在表达时进行思考,将有些常见词语替换为更高级的词语,体现了用户掌握词语的丰富度。
(12)语篇基础分:通过语音音频转换的文本长度衡量语篇基础分,该指标值域为[0,∞],针对用户162514089输入的语音音频转换的文本,文本长度的值为85,说明用户表达内容不够充实,未能达到建议文本长度。
本实施例中,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
具体的,如下表5为本发明设计的总分评价方法。
表5
Figure BDA0003015953280000191
Figure BDA0003015953280000201
Figure BDA0003015953280000211
参见图3所示,一种面向外国留学生的演讲评测装置,包括:
语音数据获取模块301,用于获取演讲者的演讲语音数据;
语音数据识别模块302,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块303,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块304,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
参见图4所示,一种面向外国留学生的演讲评测***,包括:
客户端401,用于获取演讲者的演讲语音数据;
服务器402,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (10)

1.一种面向外国留学生的演讲评测方法,其特征在于,包括:
获取演讲者的演讲语音数据;
对所述演讲语音数据进行语音识别,得到识别文本数据;
分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
2.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取流畅度特征的方法,包括:
统计所述演讲语音数据中停顿出现的次数TD;停顿指的是对所述演讲语音数据采用VAD算法进行端点检测,获取到语音的端点位置,求相连两个端点之间的时长,超过设置的阈值ht说明出现停顿;
基于停顿出现的次数TD设计输出语音流畅度S;其中,语音流畅度S的取值与所述停顿次数呈反比,即停顿次数越少,语音流畅度S的取值越大;
提取有效性特征的方法,包括:
统计所述识别文本数据中停顿词的数量以及无效重复语音文本的出现次数;具体的,通过基于停顿词表统计文本中停顿的词数量I,基于规则的方法统计文本中的无效重复语音文本的出现次数J;
将停顿词的数量和无效重复语音文本的出现次数作为有效性特征。
3.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取语速特征的方法,包括:
获取所述识别文本数据的文本长度L及所述演讲语音数据的音频长度T,计算出语速L/T;
将语速L/T作为语速特征;
提取语音基础分特征的方法,包括:
获取所述演讲语音数据的音频长度T,获取所述音频长度T与预设阈值hvt的比值;所述预设阈值hvt为能使演讲者获得语音基础分满分的演讲音频长度;
将所述音频长度T与预设阈值hvt的比值作为语音基础分特征。
4.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取主谓宾句法分析特征的方法,包括:
统计所述识别文本数据的N句文本中,符合语法结构信息标准的句子数量G,得到文本句子结构标准率G/N;
将文本句子结构标准率G/N作为主谓宾句法分析特征;
提取混合句型特征的方法,包括:
统计所述识别文本数据的N句文本中,符合标准句型的句子数量M,得到文本句型标准率M/N;
将文本句型标准率M/N作为主谓宾句法分析特征。
5.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取词汇使用是否得当特征的方法,包括:
统计所述识别文本数据的N句文本中,文本出错数量W;
将文本出错数量W作为词汇使用是否得当特征;
提取语言框架得分特征的方法,包括:
将所述识别文本数据以句子为单位进行拆分为一个数组,同时以词为单位进行分词,将分词后的数组与语言框架词典进行匹配,计算符合语言框架句子数量F;
将符合语言框架句子数量F作为语言框架得分特征。
6.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取情感是否健康特征的方法,包括:
首先使用大规模语料库通过word2vec训练出词向量,然后将所述识别文本数据进行分词操作,并找出每个词对应的词向量wordi,通过余弦距离来衡量所述识别文本数据中词向量与违规词典中词向量两个向量方向的差异,其计算方法为
Figure FDA0003015953270000021
其中D为词向量维数,word1k为文本词向量,word2k为违规词典库中词语词向量;
将所述余弦距离作为情感是否健康特征;
提取主题是否相符特征的方法,包括:
根据所述识别文本数据匹配的主题词数量P与所有主题词数量Pall,统计出所述识别文本数据与题目的主题相符率P/Pall
将所述主题相符率P/Pall作为主题是否相符特征。
7.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,提取口语表达思考力特征的方法,包括:
对所述识别文本数据以句子的单位进行分析匹配书面语词典,统计书面语的句子数量Wr;
将书面语的句子数量Wr作为口语表达思考力特征;
提取语篇基础分特征的方法,包括:
将所述识别文本数据的长度作为用户语篇基础分的基础得分Q,对于所述识别文本数据,若标准文本长度为Lstandard,语音的标准基础分为scoretext_basic,所述识别文本数据的长度为L,计算出用户语篇基础分
Figure FDA0003015953270000031
将用户语篇基础分Q作为语篇基础分特征。
8.根据权利要求1所述的面向外国留学生的演讲评测方法,其特征在于,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果,包括:
基于提取的流畅度特征、有效性特征、语速特征、语音基础分特征、主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征,分别获取对应的得分,并通过求和计算出总得分,以实现对所述演讲语音数据进行评价,得到演讲的评测结果。
9.一种面向外国留学生的演讲评测装置,其特征在于,包括:
语音数据获取模块,用于获取演讲者的演讲语音数据;
语音数据识别模块,用于对所述演讲语音数据进行语音识别,得到识别文本数据;
特征提取模块,分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;
评测模块,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果。
10.一种面向外国留学生的演讲评测***,其特征在于,包括:
客户端,用于获取演讲者的演讲语音数据;
服务器,用于所述客户端发送的所述演讲语音数据;对所述演讲语音数据进行语音识别,得到识别文本数据;分别对所述演讲语音数据和所述识别文本数据进行特征提取,得到可量化的评测特征,所述可量化的评测特征包括语音评分特征和语篇评分特征;所述语音评分特征包括流畅度特征、有效性特征、语速特征和语音基础分特征;所述语篇评分特征包括主谓宾句法分析特征、混合句型特征、词汇使用是否得当特征、语言框架得分特征、情感是否健康特征、主题是否相符特征、口语表达思考力特征和语篇基础分特征;以及,根据所述可量化的评测特征,对所述演讲语音数据进行评价,得到演讲的评测结果;并将所述评测结果发送至客户端显示。
CN202110389484.3A 2021-04-12 2021-04-12 一种面向外国留学生的演讲评测方法、装置及*** Pending CN113205729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110389484.3A CN113205729A (zh) 2021-04-12 2021-04-12 一种面向外国留学生的演讲评测方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110389484.3A CN113205729A (zh) 2021-04-12 2021-04-12 一种面向外国留学生的演讲评测方法、装置及***

Publications (1)

Publication Number Publication Date
CN113205729A true CN113205729A (zh) 2021-08-03

Family

ID=77026561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110389484.3A Pending CN113205729A (zh) 2021-04-12 2021-04-12 一种面向外国留学生的演讲评测方法、装置及***

Country Status (1)

Country Link
CN (1) CN113205729A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187544A (zh) * 2021-11-30 2022-03-15 厦门大学 大学英语演讲多模态自动评分方法
CN117787921A (zh) * 2024-02-27 2024-03-29 北京烽火万家科技有限公司 智能教育培训管理方法及智能教育培训的身份防伪方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090258333A1 (en) * 2008-03-17 2009-10-15 Kai Yu Spoken language learning systems
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN101739868A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 一种用于口语测试的文本朗读水平自动评估诊断方法
CN101826263A (zh) * 2009-03-04 2010-09-08 中国科学院自动化研究所 基于客观标准的自动化口语评估***
CN106847263A (zh) * 2017-01-13 2017-06-13 科大讯飞股份有限公司 演讲水平评价方法和装置及***
JP2018045062A (ja) * 2016-09-14 2018-03-22 Kddi株式会社 学習者の口述音声から自動的に採点するプログラム、装置及び方法
CN108122561A (zh) * 2017-12-19 2018-06-05 广东小天才科技有限公司 一种基于电子设备的口语语音测评方法及电子设备
CN109147765A (zh) * 2018-11-16 2019-01-04 安徽听见科技有限公司 音频质量综合评测方法及***
CN109785698A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于口语水平评测的方法、装置、电子设备以及介质
CN110069784A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种语音质检评分方法、装置、终端及可存储介质
CN110136721A (zh) * 2019-04-09 2019-08-16 北京大米科技有限公司 一种评分生成方法、装置、存储介质及电子设备
CN110675292A (zh) * 2019-09-23 2020-01-10 浙江优学智能科技有限公司 一种基于人工智能的儿童语言能力评测方法
WO2020149621A1 (ko) * 2019-01-14 2020-07-23 김주혁 영어 말하기 평가 시스템 및 방법
CN111833853A (zh) * 2020-07-01 2020-10-27 腾讯科技(深圳)有限公司 语音处理方法及装置、电子设备、计算机可读存储介质
US20210050001A1 (en) * 2019-08-16 2021-02-18 Ponddy Education Inc. Systems and Methods for Comprehensive Chinese Speech Scoring and Diagnosis

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090258333A1 (en) * 2008-03-17 2009-10-15 Kai Yu Spoken language learning systems
CN101740024A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 基于广义流利的口语流利度自动评估方法
CN101739868A (zh) * 2008-11-19 2010-06-16 中国科学院自动化研究所 一种用于口语测试的文本朗读水平自动评估诊断方法
CN101826263A (zh) * 2009-03-04 2010-09-08 中国科学院自动化研究所 基于客观标准的自动化口语评估***
JP2018045062A (ja) * 2016-09-14 2018-03-22 Kddi株式会社 学習者の口述音声から自動的に採点するプログラム、装置及び方法
CN106847263A (zh) * 2017-01-13 2017-06-13 科大讯飞股份有限公司 演讲水平评价方法和装置及***
CN109785698A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于口语水平评测的方法、装置、电子设备以及介质
CN108122561A (zh) * 2017-12-19 2018-06-05 广东小天才科技有限公司 一种基于电子设备的口语语音测评方法及电子设备
CN109147765A (zh) * 2018-11-16 2019-01-04 安徽听见科技有限公司 音频质量综合评测方法及***
WO2020149621A1 (ko) * 2019-01-14 2020-07-23 김주혁 영어 말하기 평가 시스템 및 방법
CN110136721A (zh) * 2019-04-09 2019-08-16 北京大米科技有限公司 一种评分生成方法、装置、存储介质及电子设备
CN110069784A (zh) * 2019-05-05 2019-07-30 广东电网有限责任公司 一种语音质检评分方法、装置、终端及可存储介质
US20210050001A1 (en) * 2019-08-16 2021-02-18 Ponddy Education Inc. Systems and Methods for Comprehensive Chinese Speech Scoring and Diagnosis
CN110675292A (zh) * 2019-09-23 2020-01-10 浙江优学智能科技有限公司 一种基于人工智能的儿童语言能力评测方法
CN111833853A (zh) * 2020-07-01 2020-10-27 腾讯科技(深圳)有限公司 语音处理方法及装置、电子设备、计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187544A (zh) * 2021-11-30 2022-03-15 厦门大学 大学英语演讲多模态自动评分方法
CN117787921A (zh) * 2024-02-27 2024-03-29 北京烽火万家科技有限公司 智能教育培训管理方法及智能教育培训的身份防伪方法

Similar Documents

Publication Publication Date Title
CN105845134B (zh) 自由朗读题型的口语评测方法及***
CN103594087B (zh) 提高口语评测性能的方法及***
CN110797010A (zh) 基于人工智能的问答评分方法、装置、设备及存储介质
CN106558252B (zh) 由计算机实现的口语练习方法及装置
CN103151042A (zh) 全自动口语评测管理与评分***及其评分方法
CN101551947A (zh) 辅助口语语言学习的计算机***
US20140141392A1 (en) Systems and Methods for Evaluating Difficulty of Spoken Text
Shen et al. CECOS: A Chinese-English code-switching speech database
KR20160008949A (ko) 음성 대화 기반의 외국어 학습 방법 및 이를 위한 장치
CN108280065B (zh) 一种外文文本评价方法及装置
Inoue et al. A Study of Objective Measurement of Comprehensibility through Native Speakers' Shadowing of Learners' Utterances.
CN113205729A (zh) 一种面向外国留学生的演讲评测方法、装置及***
KR100995847B1 (ko) 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템
CN110148413B (zh) 语音评测方法及相关装置
Loukina et al. Automated scoring across different modalities
Liao et al. A prototype of an adaptive Chinese pronunciation training system
CN110675292A (zh) 一种基于人工智能的儿童语言能力评测方法
Yoon et al. Word-embedding based content features for automated oral proficiency scoring
CN112668883A (zh) 一种用于汉语的语音和语篇评测一体化的小讲话练习***
Yoon et al. A comparison of grammatical proficiency measures in the automated assessment of spontaneous speech
WO2019075827A1 (zh) 一种语音评价方法及装置
CN112309429A (zh) 一种失爆检测方法、装置、设备及计算机可读存储介质
Shufang Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices
Zechner et al. Automatic scoring of children’s read-aloud text passages and word lists
CN114241835A (zh) 一种学生口语质量评测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210803