CN111415101A - 民航英汉双语无线电通信能力等级自动测评方法及*** - Google Patents

民航英汉双语无线电通信能力等级自动测评方法及*** Download PDF

Info

Publication number
CN111415101A
CN111415101A CN202010300952.0A CN202010300952A CN111415101A CN 111415101 A CN111415101 A CN 111415101A CN 202010300952 A CN202010300952 A CN 202010300952A CN 111415101 A CN111415101 A CN 111415101A
Authority
CN
China
Prior art keywords
score
question
grade
text
matching rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010300952.0A
Other languages
English (en)
Other versions
CN111415101B (zh
Inventor
张华勇
王小刚
张彦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aiwei Translation Technology Co ltd
Original Assignee
Chengdu Aiwei Translation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aiwei Translation Technology Co ltd filed Critical Chengdu Aiwei Translation Technology Co ltd
Priority to CN202010300952.0A priority Critical patent/CN111415101B/zh
Publication of CN111415101A publication Critical patent/CN111415101A/zh
Application granted granted Critical
Publication of CN111415101B publication Critical patent/CN111415101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明公开了民航英汉双语无线电通信能力等级自动测评方法及***，包括以下步骤：S1、生成每个客观题得分；S2、得到每个主观题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；S3、计算文本匹配率；S4、计算关键词匹配率；S5、计算识别单词比量；S6、计算评分要义匹配率；S7、计算识别文本语法错误比量；S8、根据得到的客观题总分值转换为客观题理解维度的单项分值与等级成绩；根据不同主观题的主观题单项分值，计算各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。本发明能确切、真实、全面、高效地测评使用英汉双语进行无线电通信的民航从业人员的汉语和英语水平。

Description

民航英汉双语无线电通信能力等级自动测评方法及***
技术领域
本发明涉及民航人员无线电通信能力培训管理技术，具体是民航英汉双语无线电通信能力等级自动测评方法及***。
背景技术
随着民航事业的迅速发展，空中交通变得越来越繁忙，航路也随之变得拥挤，安全飞行受到人们的高度重视。据国际民用航空组织(ICAO)统计，全球各种飞行事故或事故征候的主要原因约有70％与陆空通话不畅通有关。实验显示，实际飞行管制中无线电失真、干扰，人员语言能力、语言歧义等，是导致过去世界航空史上诸多令人痛心的空难不可忽视的因素。为了避免发生因英语或汉语无线电通信人为差错而导致的飞行事故、航路冲突及危险接近等问题，使用英汉双语进行无线电通信的民航从业人员(包括民航航空器驾驶员、民用航空空中交通管制员及机坪管制员)的英语和汉语能力作为当前影响飞行安全的关键问题之一，越来越受到重视。
使用英汉双语进行无线电通信的民航从业人员的英汉双语无线电通信能力等级测评和培训均需要大量的听说练习，目前听说练习的测评均采用人为测评的方式，测评人员工作量大，测评效率低，也时常出现测评人员因工作疲劳或疏忽而导致漏评、错评的问题，测评的准确性、一致性及公正性不能得到保证。如何高效、准确的监管使用英汉双语进行无线电通信的民航从业人员的培训学习效果，这是目前中国民用航空局和中国民用航空局空中交通管理局的测试中心、考点及各地培训中心普遍关注的重点和核心问题，然而，现今没有相应的解决方案。
发明内容
本发明的目的在于解决目前使用英汉双语进行无线电通信的民航从业人员的英汉双语无线电通信能力等级测评和培训采用人为测评的方式而导致测评效率低、漏评和错评的问题，测评的准确性、一致性及公正性不能得到保证，提供了一种民航英汉双语无线电通信能力等级自动测评方法，其应用时能确切、真实、全面、高效地评估使用英汉双语进行无线电通信的民航从业人员的中英文水平，为使用英汉双语进行无线电通信的民航从业人员的英汉双语无线电通信能力等级测评和培训提供了重要的理论依据。本发明还公开了上述测评方法的测评***。
本发明的目的主要通过以下技术方案实现：民航英汉双语无线电通信能力等级自动测评方法，包括以下步骤：
S1、获取一套作答试题中每个客观题作答文本，校对每个客观题作答文本与该题参***文本是否一致，根据校对结果和对应分值生成该题得分；
S2、获取一套作答试题中每个主观题作答语音，利用民航英汉双语无线电通信语音识别引擎进行处理，得到每个主观题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；
S3、计算每个主观题语音转换文本的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率；单词匹配次数总和与该题参***单词总数中数值较大的为分母，数值较小的为分子；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，每匹配一次，单词匹配次数总和+1；
S4、计算每个主观题语音转换文本的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率；其中，该题参考关键词与其主观题语音转换文本进行匹配，重复匹配时，关键词识别值总和仅+1；
S5、计算每个主观题语音转换文本的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，重复匹配时，单词识别值总和仅+1；
S6、计算每个主观题语音转换文本的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率；其中，该题参考评分要义短语与其主观题语音转换文本进行匹配，重复匹配时，短语识别值总和仅+1；
S7、利用每个主观题的识别文本语法错误个数，计算该题的识别文本语法错误比量；其中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大；
S8、利用步骤S1得到的每个客观题得分进行求和，得到该套试题的客观题总分值，并转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。其中，关键词是从试题参***中提取出的重要词汇，考生能作答到相应关键词则可判定该考生的作答与参***一致。识别单词比量是将考生作答内容拆分为单词，将该单词在参***中查找是否出现。评分要义是从该试题参***中提取出的重要信息，评分要义比关键词更加具象和详尽，通过评分要义与作答内容作对比，更能判定考生作答内容与参***相差程度。
本发明进行测评时，使用英汉双语进行无线电通信的民航从业人员可在现有的民航英汉双语无线电通信能力等级自动测评***上进行答题，每次针对一位民航人员作答的一套试题进行自动测评，该套试题包括客观题和主观题。其中，本发明的民航英汉双语无线电通信语音识别引擎采用现有的语音识别技术实现，其主要包括民航英汉双语无线电通信语料库、机器学习技术、神经网络算法、特征提取技术、模式匹配准则及模型训练技术等多个方面，该引擎通过识别和理解过程把语音信号转变为相应的文本。目前语音识别技术在信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等领域均有广泛、成熟的应用。
民航英汉双语无线电通信能力等级自动测评***，包括客观题评分单元、主观题评分单元、语音识别单元、测评管控单元及测评信息库共五个单元，所述主观题评分单元包括文本匹配率计算模块、关键词匹配率计算模块、识别单词比量计算模块、评分要义匹配率计算模块及识别文本语法错误比量计算模块共五个计算模块；其中：
测评信息库，用于存储各题的参***、参考关键词、参考评分要义、答案分值对应信息、分值与等级成绩信息、识别文本语法错误个数与识别文本语法错误比量对应关系，以及客观题评分单元、主观题评分单元、测评管控单元输出的评分结果和等级；
客观题评分单元，用于获取一套作答试题中每个客观题作答答案文本，调用测评信息库中该题参***文本进行校对，并调用测评信息库中该题的答案分值对应信息，生成该题得分，然后输出至测评管控单元和测评信息库；
语音识别单元，基于民航英汉双语无线电通信语音识别引擎实现，用于获取一套作答试题中每个主观题作答语音并处理，输出该题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；
文本匹配率计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率，并输出至测评管控单元和测评信息库；
关键词匹配率计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率，并输出至测评管控单元和测评信息库；
识别单词比量计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量，并输出至测评管控单元和测评信息库；
评分要义匹配率计算模块，计算经语音识别单元生成的每个主观题小题语音转换文本中的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率，并输出至测评管控单元和测评信息库；
识别文本语法错误比量计算模块，获取经语音识别单元生成的每个主观题识别文本语法错误个数，调用测评信息库中识别文本语法错误个数与识别文本语法错误比量对应关系进行校对，得到该题识别文本语法错误比量，并输出至测评管控单元和测评信息库；其中，识别文本语法错误比量与识别文本语法错误个数对应关系中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大；
测评管控单元，获取客观题评分单元得到的每个客观题得分，求和得到该套试题的客观题总分值，并结合测评信息库的分值与等级成绩信息转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。
综上所述，本发明与现有技术相比具有以下有益效果：(1)本发明自动测评使用英汉双语进行无线电通信的民航从业人员的中英文水平，具有确切、真实、全面、高效等特点，能降低漏评、错评的机率，测评的准确性、一致性及公正性能得到保证，替代了主观题靠人工判分的不公正，减少了不相关人工干预***的不良影响，为民航英汉双语无线电陆空通信能力等级测评及培训提供了重要的理论依据。
(2)本发明为航空公司、民航空管单位及机场管理单位对在职民航人员的资格管理、岗位定级、奖惩管理、淘汰转岗以及培训目标提供了重要的理论依据。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明一个具体实施例的测评流程图；
图2为本发明一个具体实施例的***框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例：
如图1所示，民航英汉双语无线电通信能力等级自动测评方法，包括以下步骤：S1、获取一套作答试题中每个客观题作答文本，校对每个客观题作答文本与该题参***文本是否一致，根据校对结果和对应分值生成该题得分；S2、获取一套作答试题中每个主观题作答语音，利用民航英汉双语无线电通信语音识别引擎进行处理，得到每个主观题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；S3、计算每个主观题语音转换文本的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率；单词匹配次数总和与该题参***单词总数中数值较大的为分母，数值较小的为分子；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，每匹配一次，单词匹配次数总和+1；S4、计算每个主观题语音转换文本的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率；其中，该题参考关键词与其主观题语音转换文本进行匹配，重复匹配时，关键词识别值总和仅+1；S5、计算每个主观题语音转换文本的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，重复匹配时，单词识别值总和仅+1；S6、计算每个主观题语音转换文本的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率；其中，该题参考评分要义短语与其主观题语音转换文本进行匹配，重复匹配时，短语识别值总和仅+1；S7、利用每个主观题的识别文本语法错误个数，计算该题的识别文本语法错误比量；其中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大；S8、利用步骤S1得到的每个客观题得分进行求和，得到该套试题的客观题总分值，并转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。
本实施例适用的客观题为选择题，每套题的选择题包括至少一个小题；本实施例适用的主观题题型包括简答题、故事复述题、模拟通话题及OPI面试题，每种题型至少包括一个小题。汉语语法错误包括主语与谓语搭配不当、动宾搭配不当修饰语与中心语搭配不当等。英语语法错误包括主谓不一致、动词时态语态的误用、名词可数与不可数的误用等。
本实施例的理解维度分值＝关键词匹配率(％)*X1+评分要义匹配率(％)*U1+识别单词比量(％)*V1；其中，X1为关键词匹配率在理解维度分值中所占的分数，U1为评分要义在理解维度分值中所占的分数，V1为识别单词比量在理解维度分值中所占的分数。语音维度分值＝语音语调匹配率(％)*Y1+文本匹配率(％)*Z1；其中，Y1为语音语调匹配率在语音维度分值中所占的分数，Z1为文本匹配率在语音维度分值中所占的分数。流利维度分值＝关键词匹配率(％)*X2+评分要义匹配率(％)*U2+识别单词比量(％)*V2；其中，X2为关键词匹配率在流利维度分值中所占的分数，U2为评分要义在流利维度分值中所占的分数，V2为识别单词比量在流利维度分值中所占的分数。结构维度分值＝关键词匹配率(％)*X3+评分要义匹配率(％)*U3+识别单词比量(％)*V3+识别文本语法错误比量(％)*W1；其中，X3为关键词匹配率在结构维度分值中所占的分数，U2为评分要义在结构维度分值中所占的分数，V3为识别单词比量在结构维度分值中所占的分数，W1为识别文本语法错误比量在结构维度分值中所占的分数。词汇维度分值＝关键词匹配率(％)*X4+评分要义匹配率(％)*U4+识别单词比量(％)*V4；其中，X4为关键词匹配率在词汇维度分值中所占的分数，U2为评分要义在词汇维度分值中所占的分数，V4为识别单词比量在词汇维度分值中所占的分数。互动维度分值＝关键词匹配率(％)*X5+评分要义匹配率(％)*U5+识别单词比量(％)*V5+识别文本语法错误比量(％)*W2；其中，X5为关键词匹配率在互动维度分值中所占的分数，U2为评分要义在互动维度分值中所占的分数，V5为识别单词比量在互动维度分值中所占的分数。本实施例在具体应用时，理解维度分值计算中X1、U1及V1的取值，语音维度分值计算中Y1和Z1的取值，流利维度分值计算中X2、U2及V2的取值，结构维度分值计算中X3、U3及V3的取值，词汇维度分值计算中X4、U4及V4的取值，以及互动维度分值计算中X5、U5、V5及W2的取值均根据被测试者水平来动态调整。其中，流利维度分值中关键词匹配率所占的分数小于理解维度分值中关键词匹配率所占的分数，流利维度分值中评分要义匹配率所占的分数小于理解维度分值中评分要义匹配率所占的分数，流利维度分值中识别单词比量所占的分数大于理解维度分值中识别单词比量所占的分数。结构维度分值中识别文本语法错误比量所占的分数大于互动维度分值中识别文本语法错误比量所占的分数。
本实施例步骤S3计算每个主观题的文本匹配率的具体计算步骤如下：S31、将每个主观题语音转换文本的单词逐个与该题参***的单词进行匹配；S32、若匹配到该单词，则单词匹配次数总和+1；其中，匹配单词时不考虑其顺序，仅考虑其是否出现以及出现的次数；S33、按以下步骤计算每个主观题的文本匹配率：计算每个主观题语音转换文本的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率；单词匹配次数总和与该题参***单词总数中数值较大的为分母，数值较小的为分子。
本实施例步骤S4计算每个主观题的关键词匹配率的具体计算步骤如下：S41、将每个主观题的参考关键词逐个与该题语音转换文本进行匹配；S42、若匹配到该参考关键词，则关键词识别值总和+1；如果该参考关键词重复匹配时，关键词识别值总和不增加；其中，匹配参考关键词时不考虑其顺序，仅考虑其是否出现；S43、按以下公式计算每个主观题的关键词匹配率：关键词匹配率＝关键词识别值总和/参考关键词总数*100％。
本实施例步骤S5计算每个主观题的识别单词比量的具体计算步骤如下：S51、每个主观题语音转换文本的单词逐个与该题参***的单词进行匹配；S52、若匹配到该单词，则单词识别值总和+1；如果该单词重复匹配时，单词识别值总和不增加；其中，匹配单词时不考虑其顺序，仅考虑其是否出现；S53、按以下公式计算每个主观题的识别单词比量：识别单词比量＝单词识别值总和/参***单词总数*100％。
本实施例步骤S6计算每个主观题的评分要义匹配率的具体计算步骤如下：S61、将每个主观题的参考评分要义短语逐个与该题语音转换文本进行匹配；S62、若匹配到该参考评分要义短语，则短语识别值总和+1；如果该参考评分要义短语重复匹配时，短语识别值总和不增加；其中，匹配参考评分要义短语时不考虑其顺序，仅考虑其是否出现；S63、按以下公式计算每个主观题的评分要义匹配率：评分要义匹配率＝短语识别值总和/参考评分要义短语总数*100％。
本实施例步骤S8在得到各个小题的分值后，利用表1所示的分值与等级成绩信息表分别换算成客观题单项分值与主观题单项分值，然后转化为等级分值，再转化为等级成绩；
表1分值与等级成绩信息表
客观题单项分值(n) n＜4 4≤n＜8 8≤n＜12 12≤n＜14 14≤n＜20 20≤n＜24 24≤n＜26 26≤n≤30
主观题单项分值(m) 0≤m＜10 10≤m＜20 20≤m＜30 30≤m＜50 50≤m＜70 70≤m＜80 80≤m＜90 90≤m≤100
等级分值 1 2 3 4 5 6 7 8
等级分值平均分值(C) C＜2 2≤C＜3 3≤C＜4 4≤C＜5 5≤C＜6 6≤C＜7 7≤C＜8 C＝8
等级成绩 1 2 3- 3+ 4- 4+ 5- 5+
其中：客观题单项分值转换为等级分值信息时，采用n表示每个小题的百分制分数，若n＜4，则等级分值为1；若4≤n＜8，则等级分值为2；若8≤n＜12，则等级分值为3；若12≤n＜14，则等级分值为4；若14≤n＜20，则等级分值为5；若20≤n＜24，则等级分值为6；若24≤n＜26，则等级分值为7；若26≤n≤30，则等级分值为8；主观题单项分值转换为等级分值信息时，采用m表示每个小题的百分制分数，若0≤m＜10，则等级分值为1；若10≤m＜20，则等级分值为2；若20≤m＜30，则等级分值为3；若30≤m＜50，则等级分值为4；若50≤m＜70，则等级分值为5；若70≤m＜80，则等级分值为6；若80≤m＜90，则等级分值为7；若90≤m≤100，则等级分值为8；通过表2所示的百分制转化为等级分值转换表将客观题与主观题百分制转化为等级分值。
表2百分制转换为等级分值转换表
客观题单项分值(n) n＜4 4≤n＜8 8≤n＜12 12≤n＜14 14≤n＜20 20≤n＜24 24≤n＜26 26≤n≤30
主观题单项分值(m) 0≤m＜10 10≤m＜20 20≤m＜30 30≤m＜50 50≤m＜70 70≤m＜80 80≤m＜90 90≤m≤100
等级分值 1 2 3 4 5 6 7 8
本实施例等级分值平均分值转换为等级成绩信息时，采用C表示等级分值平均分值，若C＜2，则等级成绩为1；若2≤C＜3，则等级成绩为2；若3≤C＜4，则等级成绩为3-；若4≤C＜5，则等级成绩为3+；若5≤C＜6，则等级成绩为4-；若6≤C＜7，则等级成绩为4+；若7≤C＜8，则等级分值为5-，若C＝8，则等级成绩为5+。具体转换信息如表3所示：
表3等级分值平均分值转换为等级成绩转换表
等级分值平均分值(C) C＜2 2≤C＜3 3≤C＜4 4≤C＜5 5≤C＜6 6≤C＜7 7≤C＜8 C＝8
等级成绩 1 2 3- 3+ 4- 4+ 5- 5+
本实施例等级成绩转换为等级分值信息时，若等级成绩为1，则等级分值为1；若等级成绩为2，则等级分值为2；若等级成绩为3-，则等级分值为3；若等级成绩为3+，则等级分值为4；若等级成绩为4-，则等级分值为5；若等级成绩为4+，则等级分值为6；若等级成绩为5-，则等级分值为7；若等级成绩为5+，则等级分值为8。具体转换信息如表4所示：
表4等级成绩转换为等级分值转换表
等级分值 1 2 3 4 5 6 7 8
等级成绩 1 2 3- 3+ 4- 4+ 5- 5+
本实施例步骤S7中每个主观题的识别文本语法错误个数与其识别文本语法错误比量之间的关系如表5所示：当识别文本语法错误个数大于10个时，识别文本语法错误比量为10％；当识别文本语法错误个数为10个时，识别文本语法错误比量为20％；当识别文本语法错误个数为9个时，识别文本语法错误比量为30％；当识别文本语法错误个数为8个时，识别文本语法错误比量为45％；当识别文本语法错误个数为7个时，识别文本语法错误比量为60％；当识别文本语法错误个数为5～6个时，识别文本语法错误比量为75％；当识别文本语法错误个数为2～4个时，识别文本语法错误比量为85％；当识别文本语法错误个数小于2个时，识别文本语法错误比量为95％。
表5识别文本语法错误比量计算表
识别文本语法错误个数 大于10 10 9 8 7 5～6 2～4 小于2
识别文本语法错误比量(％) 10 20 30 45 60 75 85 95
本实施例的客观题从理解一个维度计算等级分值；问答题从理解、结构及词汇共三个维度计算等级分值；故事复述题和模拟通话题从理解、语音、流利、结构、词汇共五个维度计算等级分值；OPI面试题从理解、语音、流利、结构、词汇、互动共六个维度计算等级分值。
如图2所示，本实施例还公开了实现上述民航英汉双语无线电通信能力等级自动测评***，包括客观题评分单元、主观题评分单元、语音识别单元、测评管控单元及测评信息库共五个单元，其中，主观题评分单元包括文本匹配率计算模块、关键词匹配率计算模块、识别单词比量计算模块、评分要义匹配率计算模块及识别文本语法错误比量计算模块共五个计算模块。其中：测评信息库用于存储各题的参***、参考关键词、参考评分要义、答案分值对应信息、分值与等级成绩信息、识别文本语法错误个数与识别文本语法错误比量对应关系，以及客观题评分单元、主观题评分单元、测评管控单元输出的评分结果和等级。客观题评分单元用于获取一套作答试题中每个客观题作答答案文本，调用测评信息库中该题参***文本进行校对，并调用测评信息库中该题的答案分值对应信息，生成该题得分，然后输出至测评管控单元和测评信息库。语音识别单元基于民航英汉双语无线电通信语音识别引擎实现，用于获取一套作答试题中每个主观题作答语音并处理，输出该题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数。文本匹配率计算模块计算经语音识别单元生成的每个主观题语音转换文本中的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率，并输出至测评管控单元和测评信息库。关键词匹配率计算模块计算经语音识别单元生成的每个主观题语音转换文本中的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率，并输出至测评管控单元和测评信息库。识别单词比量计算模块计算经语音识别单元生成的每个主观题语音转换文本中的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量，并输出至测评管控单元和测评信息库。评分要义匹配率计算模块计算经语音识别单元生成的每个主观题小题语音转换文本中的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率，并输出至测评管控单元和测评信息库。识别文本语法错误比量计算模块获取经语音识别单元生成的每个主观题识别文本语法错误个数，调用测评信息库中识别文本语法错误个数与识别文本语法错误比量对应关系进行校对，得到该题识别文本语法错误比量，并输出至测评管控单元和测评信息库；其中，识别文本语法错误个数与识别文本语法错误比量对应关系中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大。测评管控单元，获取客观题评分单元得到的每个客观题得分，求和得到该套试题的客观题总分值，并结合测评信息库的分值与等级成绩信息转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。如此，本实施例应用时通过文本匹配率计算模块计算文本匹配率，通过关键词匹配率计算模块计算关键词匹配率，通过识别单词比量计算模块计算识别单词比量，通过评分要义匹配率计算模块计算评分要义匹配率，通过识别文本语法错误比量计算模块计算识别文本语法错误比量。本实施例测评信息库存储的分值与等级成绩信息包括百分制转换为等级分值信息、等级分值平均分值转换为等级成绩信息及等级成绩转换为等级分值转换信息。
本实施例应用时的一个具体示例如下：对民航英汉双语无线电陆空通信能力等级自动测评***作答记录进行评分，对考生作答的5种题型进行评分，包含：选择题15道题、简答题2道大题(共含6个小题)、故事复述1道题、模拟通话1道题(30个小题)以及OPI面试5道题(共含15个小题)，除选择题外，考生将通过语音进行作答，然后将考生的作答语音通过民航英汉双语无线电通信语音识别引擎进行处理，输出语音语调匹配率、语音转换文本及识别文本语法错误个数，再从每个主观题考核维度自动计算各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩，以及民航英汉双语无线电通信能力等级成绩，形成最终的成绩报告。
问答题从理解、结构及词汇共三个维度自动计算单项分值与等级分值。该题型有2道大题(含6个小题)。先计算小题三个维度的单项分值与等级分值，然后计算6个小题的等级分值平均分值，将等级分值平均分值通过对照表转化为等级成绩。详细自动评分步骤如下：将小题的作答语音输入到民航英汉双语无线电通信语音识别引擎进行处理，民航英汉双语无线电通信语音识别引擎输出语音转换文本和识别文本语法错误个数；计算该题关键词匹配率、识别单词比量、识别文本语法错误比量。计算该题理解维度分值：理解维度分值＝关键词匹配率(％)*40+评分要义匹配率(％)*40+识别单词比量(％)*20；计算该题结构维度分值：结构维度分值＝关键词匹配率(％)*10+评分要义匹配率(％)*10+识别单词比量(％)*30+识别文本语法错误比量(％)*50；计算该题词汇维度分值：词汇维度分值＝关键词匹配率(％)*35+评分要义匹配率(％)*35+识别单词比量(％)*30。分别计算该题理解、结构、词汇三个维度单项分值与等级分值，然后计算出该题型考核维度的等级分值平均分值，通过等级分值平均分值与等级成绩信息表(如表3所示)，可获得该题型考核维度的等级成绩。
故事复述从理解、语音、流利、结构及词汇共五个维度自动计算单项分值与等级分值。该题含有1道题。详细自动评分步骤如下：将小题的作答语音输入到民航英汉双语无线电通信语音识别引擎进行处理，民航英汉双语无线电通信语音识别引擎输出语音语调匹配率、语音转换文本和识别文本语法错误个数；计算该题文本匹配率、关键词匹配率、识别单词比量及识别文本语法错误比量。计算该题理解维度分值：理解维度分值＝关键词匹配率(％)*50+评分要义匹配率(％)*50；计算该题语音维度分值：语音维度分值＝语音语调匹配率(％)*30+文本匹配率(％)*70；计算该题流利维度分值：流利维度分值＝关键词匹配率(％)*25+评分要义匹配率(％)*25+识别单词比量(％)*50；计算该题结构维度分值：结构维度分值＝关键词匹配率(％)*10+评分要义匹配率(％)*10+识别单词比量(％)*30+识别文本语法错误比量(％)*50；计算该题词汇维度分值：词汇维度分值＝关键词匹配率(％)*35+评分要义匹配率(％)*35+识别单词比量(％)*30。分别计算该题理解、语音、流利、结构及词汇共五个维度的单项分值与等级分值，然后计算出该题型考核维度的等级分值平均分值，通过等级分值平均分值与等级成绩信息表(如表3所示)，可获得该题型考核维度的等级成绩。
模拟通话从理解、语音、流利、结构及词汇共五个维度自动计算单项分值与等级分值。该题型有1道答题(含30个小题)。先计算小题五个维度的单项分值与等级分值，然后计算30个小题的等级分值平均分值，将等级分值平均分值通过对照表转化为等级成绩。详细自动评分步骤如下：将小题的作答语音输入到民航英汉双语无线电通信语音识别引擎进行处理，民航英汉双语无线电通信语音识别引擎输出语音语调匹配率、语音转换文本和识别文本语法错误个数；计算该题文本匹配率、关键词匹配率、识别单词比量及识别文本语法错误比量。计算该题理解维度分值：理解维度分值＝关键词匹配率(％)*40+评分要义匹配率(％)*40+识别单词比量(％)*20；；计算该题语音维度分值：语音维度分值＝语音语调匹配率(％)*30+文本匹配率(％)*70；计算该题流利维度分值：流利维度分值＝关键词匹配率(％)*25+评分要义匹配率(％)*25+识别单词比量(％)*50；计算该题结构维度分值：结构维度分值＝关键词匹配率(％)*10+评分要义匹配率(％)*10+识别单词比量(％)*30+识别文本语法错误比量(％)*50；计算该题词汇维度分值：词汇维度分值＝关键词匹配率(％)*35+评分要义匹配率(％)*35+识别单词比量(％)*30。分别计算该题理解、语音、流利、结构以及词汇共五个维度的单项分值与等级分值，然后计算出该题型考核维度的等级分值平均分值，通过等级分值平均分值与等级成绩信息表(如表3所示)，可获得该题型考核维度的等级成绩。
OPI面试从理解、语音、流利、结构、词汇及互动共六个维度自动计算单项分值与等级分值。该题含有5道答题(含15个小题)。先计算小题六个维度的单项分值与等级分值，然后计算15个小题的等级分值平均分值，将等级分值平均分值通过对照表转化为等级成绩。详细自动评分步骤如下：将小题的作答语音输入到民航英汉双语无线电通信语音识别引擎进行处理，民航英汉双语无线电通信语音识别引擎输出语音语调匹配率、语音转换文本和识别文本语法错误个数；计算该题文本匹配率、关键词匹配率、识别单词比量及识别文本语法错误比量。计算该题理解维度分值：理解维度分值＝关键词匹配率(％)*40+评分要义匹配率(％)*40+识别单词比量(％)*20；；计算该题语音维度分值：语音维度分值＝语音语调匹配率(％)*30+文本匹配率(％)*70；计算该题流利维度分值：流利维度分值＝关键词匹配率(％)*25+评分要义匹配率(％)*25+识别单词比量(％)*50；计算该题结构维度分值：结构维度分值＝关键词匹配率(％)*10+评分要义匹配率(％)*10+识别单词比量(％)*30+识别文本语法错误比量(％)*50；计算该题词汇维度分值：词汇维度分值＝关键词匹配率(％)*35+评分要义匹配率(％)*35+识别单词比量(％)*30；计算该题互动维度分值：互动维度分值＝关键词匹配率(％)*15+评分要义匹配率(％)*25+识别单词比量(％)*20+识别文本语法错误比量(％)*40。分别计算该题理解、语音、流利、结构、词汇以及语法共六个维度的单项分值与等级分值，然后计算出该题型考核维度的等级分值平均分值，通过等级分值平均分值与等级成绩信息表(如表3所示)，可获得该题型考核维度的等级成绩。
总成绩包含三部分：各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩、民航英汉双语无线电通信能力等级成绩。其中，各题型考核维度的等级分值与等级成绩是根据不同题型的考核维度分别计算出各题型考核维度的等级分值和等级成绩，在各个题型的自动评分的详细步骤中已计算出各题型考核维度的等级分值与等级成绩。各题型考核维度的等级分值与等级成绩将计算理解、语音、流利、结构、词汇及互动共六个维度的等级分值与等级成绩，详细计算方式如下：根据各题型考核维度的等级分值与等级成绩，计算各题型考核维度的等级分值平均分值，通过等级分值平均分值与等级成绩信息表(如表3所示)，可获得六个维度的等级成绩；通过等级成绩转换为等级分值转换表(如表4所示)，可获得六个维度的等级分值。选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.民航英汉双语无线电通信能力等级自动测评方法，其特征在于，包括以下步骤：
S1、获取一套作答试题中每个客观题作答文本，校对每个客观题作答文本与该题参***文本是否一致，根据校对结果和对应分值生成该题得分；
S2、获取一套作答试题中每个主观题作答语音，利用民航英汉双语无线电通信语音识别引擎进行处理，得到每个主观题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；
S3、计算每个主观题语音转换文本的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率；单词匹配次数总和与该题参***单词总数中数值较大的为分母，数值较小的为分子；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，每匹配一次，单词匹配次数总和+1；
S4、计算每个主观题语音转换文本的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率；其中，该题参考关键词与其主观题语音转换文本进行匹配，重复匹配时，关键词识别值总和仅+1；
S5、计算每个主观题语音转换文本的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量；其中，每个主观题语音转换文本的单词与该题参***的单词进行匹配，重复匹配时，单词识别值总和仅+1；
S6、计算每个主观题语音转换文本的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率；其中，该题参考评分要义短语与其主观题语音转换文本进行匹配，重复匹配时，短语识别值总和仅+1；
S7、利用每个主观题的识别文本语法错误个数，计算该题的识别文本语法错误比量；其中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大；
S8、利用步骤S1得到的每个客观题得分进行求和，得到该套试题的客观题总分值，并转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。
2.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述理解维度分值＝关键词匹配率(％)*X1+评分要义匹配率(％)*U1+识别单词比量(％)*V1；其中，X1为关键词匹配率在理解维度分值中所占的分数，U1为评分要义在理解维度分值中所占的分数，V1为识别单词比量在理解维度分值中所占的分数；
所述语音维度分值＝语音语调匹配率(％)*Y1+文本匹配率(％)*Z1；其中，Y1为语音语调匹配率在语音维度分值中所占的分数，Z1为文本匹配率在语音维度分值中所占的分数；
所述流利维度分值＝关键词匹配率(％)*X2+评分要义匹配率(％)*U2+识别单词比量(％)*V2；其中，X2为关键词匹配率在流利维度分值中所占的分数，U2为评分要义在流利维度分值中所占的分数，V2为识别单词比量在流利维度分值中所占的分数；
所述结构维度分值＝关键词匹配率(％)*X3+评分要义匹配率(％)*U3+识别单词比量(％)*V3+识别文本语法错误比量(％)*W1；其中，X3为关键词匹配率在结构维度分值中所占的分数，U2为评分要义在结构维度分值中所占的分数，V3为识别单词比量在结构维度分值中所占的分数，W1为识别文本语法错误比量在结构维度分值中所占的分数；
所述词汇维度分值＝关键词匹配率(％)*X4+评分要义匹配率(％)*U4+识别单词比量(％)*V4；其中，X4为关键词匹配率在词汇维度分值中所占的分数，U2为评分要义在词汇维度分值中所占的分数，V4为识别单词比量在词汇维度分值中所占的分数；
所述互动维度分值＝关键词匹配率(％)*X5+评分要义匹配率(％)*U5+识别单词比量(％)*V5+识别文本语法错误比量(％)*W2；其中，X5为关键词匹配率在互动维度分值中所占的分数，U2为评分要义在互动维度分值中所占的分数，V5为识别单词比量在互动维度分值中所占的分数。
3.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S3计算每个主观题的文本匹配率的具体计算步骤如下：
S31、将每个主观题语音转换文本的单词逐个与该题参***的单词进行匹配；
S32、若匹配到该单词，则单词匹配次数总和+1；其中，匹配单词时不考虑其顺序，仅考虑其是否出现以及出现的次数；
S33、按以下步骤计算每个主观题的文本匹配率：计算每个主观题语音转换文本的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率；单词匹配次数总和与该题参***单词总数中数值较大的为分母，数值较小的为分子。
4.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S4计算每个主观题的关键词匹配率的具体计算步骤如下：
S41、将每个主观题的参考关键词逐个与该题语音转换文本进行匹配；
S42、若匹配到该参考关键词，则关键词识别值总和+1；如果该参考关键词重复匹配时，关键词识别值总和不增加；其中，匹配参考关键词时不考虑其顺序，仅考虑其是否出现；
S43、按以下公式计算每个主观题的关键词匹配率：关键词匹配率＝关键词识别值总和/参考关键词总数*100％。
5.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S5计算每个主观题的识别单词比量的具体计算步骤如下：
S51、每个主观题语音转换文本的单词逐个与该题参***的单词进行匹配；
S52、若匹配到该单词，则单词识别值总和+1；如果该单词重复匹配时，单词识别值总和不增加；其中，匹配单词时不考虑其顺序，仅考虑其是否出现；
S53、按以下公式计算每个主观题的识别单词比量：识别单词比量＝单词识别值总和/参***单词总数*100％。
6.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S6计算每个主观题的评分要义匹配率的具体计算步骤如下：
S61、将每个主观题的参考评分要义短语逐个与该题语音转换文本进行匹配；
S62、若匹配到该参考评分要义短语，则短语识别值总和+1；如果该参考评分要义短语重复匹配时，短语识别值总和不增加；其中，匹配参考评分要义短语时不考虑其顺序，仅考虑其是否出现；
S63、按以下公式计算每个主观题的评分要义匹配率：评分要义匹配率＝短语识别值总和/参考评分要义短语总数*100％。
7.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S7中每个主观题的识别文本语法错误个数与其识别文本语法错误比量之间的关系为：
当识别文本语法错误个数大于10个时，识别文本语法错误比量为10％；
当识别文本语法错误个数为10个时，识别文本语法错误比量为20％；
当识别文本语法错误个数为9个时，识别文本语法错误比量为30％；
当识别文本语法错误个数为8个时，识别文本语法错误比量为45％；
当识别文本语法错误个数为7个时，识别文本语法错误比量为60％；
当识别文本语法错误个数为5～6个时，识别文本语法错误比量为75％；
当识别文本语法错误个数为2～4个时，识别文本语法错误比量为85％；
当识别文本语法错误个数小于2个时，识别文本语法错误比量为95％。
8.根据权利要求1所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S8在得到各题的分值后，建立分值与等级成绩信息，分别换算成客观题单项分值与主观题单项分值，然后转化为等级分值，再转化为等级成绩；其中：
所述客观题单项分值转换为等级分值信息时，采用n表示每个小题的百分制分数，若n<4，则等级分值为1；若4≤n<8，则等级分值为2；若8≤n<12，则等级分值为3；若12≤n<14，则等级分值为4；若14≤n<20，则等级分值为5；若20≤n<24，则等级分值为6；若24≤n<26，则等级分值为7；若26≤n≤30，则等级分值为8；
所述主观题单项分值转换为等级分值信息时，采用m表示每个小题的百分制分数，若0≤m<10，则等级分值为1；若10≤m<20，则等级分值为2；若20≤m<30，则等级分值为3；若30≤m<50，则等级分值为4；若50≤m<70，则等级分值为5；若70≤m<80，则等级分值为6；若80≤m<90，则等级分值为7；若90≤m≤100，则等级分值为8；
所述等级分值平均分值转换为等级成绩信息时，采用C表示等级分值平均分值，若C<2，则等级成绩为1；若2≤C<3，则等级成绩为2；若3≤C<4，则等级成绩为3-；若4≤C<5，则等级成绩为3+；若5≤C<6，则等级成绩为4-；若6≤C<7，则等级成绩为4+；若7≤C<8，则等级分值为5-，若C＝8，则等级成绩为5+；
所述等级成绩转换为等级分值信息时，若等级成绩为1，则等级分值为1；若等级成绩为2，则等级分值为2；若等级成绩为3-，则等级分值为3；若等级成绩为3+，则等级分值为4；若等级成绩为4-，则等级分值为5；若等级成绩为4+，则等级分值为6；若等级成绩为5-，则等级分值为7；若等级成绩为5+，则等级分值为8。
9.根据权利要求1～8所述的民航英汉双语无线电通信能力等级自动测评方法，其特征在于，所述步骤S1和步骤S8适用的客观题为选择题，选择题包括至少一个小题；所述步骤S2～步骤S8适用的主观题题型包括简答题、故事复述题、模拟通话题及OPI面试题，每种题型至少包括一个小题；其中：
所述客观题从理解一个维度计算等级分值；
所述问答题从理解、结构及词汇共三个维度计算等级分值；
所述故事复述题和模拟通话题均从理解、语音、流利、结构及词汇共五个维度计算等级分值；
所述OPI面试题从理解、语音、流利、结构、词汇及互动共六个维度计算等级分值。
10.实现权利要求1～9中任意一项所述的民航英汉双语无线电通信能力等级自动测评***，其特征在于，包括客观题评分单元、主观题评分单元、语音识别单元、测评管控单元及测评信息库共五个单元，所述主观题评分单元包括文本匹配率计算模块、关键词匹配率计算模块、识别单词比量计算模块、评分要义匹配率计算模块及识别文本语法错误比量计算模块共五个计算模块；其中：
测评信息库，用于存储各题的参***、参考关键词、参考评分要义、答案分值对应信息、分值与等级成绩信息、识别文本语法错误个数与识别文本语法错误比量对应关系，以及客观题评分单元、主观题评分单元、测评管控单元输出的评分结果和等级；
客观题评分单元，用于获取一套作答试题中每个客观题作答答案文本，调用测评信息库中该题参***文本进行校对，并调用测评信息库中该题的答案分值对应信息，生成该题得分，然后输出至测评管控单元和测评信息库；
语音识别单元，基于民航英汉双语无线电通信语音识别引擎实现，用于获取一套作答试题中每个主观题作答语音并处理，输出该题作答语音的语音语调匹配率、语音转换文本及识别文本语法错误个数；
文本匹配率计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的单词匹配次数总和与该题参***单词总数的比值，得到该题的文本匹配率，并输出至测评管控单元和测评信息库；
关键词匹配率计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的关键词识别值总和与该题参考关键词总数的比值，得到该题的关键词匹配率，并输出至测评管控单元和测评信息库；
识别单词比量计算模块，计算经语音识别单元生成的每个主观题语音转换文本中的单词识别值总和与该题参***单词总数的比值，得到该题的识别单词比量，并输出至测评管控单元和测评信息库；
评分要义匹配率计算模块，计算经语音识别单元生成的每个主观题小题语音转换文本中的短语识别值总和与该题参考评分要义短语总数的比值，得到该题的评分要义匹配率，并输出至测评管控单元和测评信息库；
识别文本语法错误比量计算模块，获取经语音识别单元生成的每个主观题识别文本语法错误个数，调用测评信息库中识别文本语法错误个数与识别文本语法错误比量对应关系进行校对，得到该题识别文本语法错误比量，并输出至测评管控单元和测评信息库；其中，识别文本语法错误个数与识别文本语法错误比量对应关系中，识别文本语法错误个数与识别文本语法错误比量的关系为前者多则后者小，前者少则后者大；
测评管控单元，获取客观题评分单元得到的每个客观题得分，求和得到该套试题的客观题总分值，并结合测评信息库的分值与等级成绩信息转换为客观题理解维度的等级成绩；利用语音语调匹配率、文本匹配率、关键词匹配率、识别单词比量、评分要义匹配率及识别文本语法错误比量，计算每个主观题考核维度的主观题单项分值，并将其转换为该题型考核维度的等级分值与等级成绩，其中主观题考核维度包括理解、语音、流利、结构、词汇及互动，不同主观题的考核维度不同；利用各题型考核维度的等级分值计算各题型考核维度的等级分值平均分值，并将其转换为六个维度的等级分值与等级成绩；选取六个维度的最低等级成绩为民航英汉双语无线电通信能力等级成绩；输出各题型考核维度的等级分值与等级成绩、六个维度的等级分值与等级成绩及民航英汉双语无线电通信能力等级成绩。
CN202010300952.0A 2020-04-16 2020-04-16 民航英汉双语无线电通信能力等级自动测评方法及*** Active CN111415101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300952.0A CN111415101B (zh) 2020-04-16 2020-04-16 民航英汉双语无线电通信能力等级自动测评方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300952.0A CN111415101B (zh) 2020-04-16 2020-04-16 民航英汉双语无线电通信能力等级自动测评方法及***

Publications (2)

Publication Number Publication Date
CN111415101A true CN111415101A (zh) 2020-07-14
CN111415101B CN111415101B (zh) 2021-04-23

Family

ID=71491878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300952.0A Active CN111415101B (zh) 2020-04-16 2020-04-16 民航英汉双语无线电通信能力等级自动测评方法及***

Country Status (1)

Country Link
CN (1) CN111415101B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154735A (zh) * 2016-12-06 2018-06-12 爱天教育科技（北京）有限公司 英语口语测评方法及装置
CN108428382A (zh) * 2018-02-14 2018-08-21 广东外语外贸大学 一种口语复述评分方法及***
CN109448458A (zh) * 2018-11-29 2019-03-08 郑昕匀 一种英语口语训练装置、数据处理方法及存储介质
CN109785698A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于口语水平评测的方法、装置、电子设备以及介质
CN110136497A (zh) * 2018-02-02 2019-08-16 上海流利说信息技术有限公司 用于口语学习的数据处理方法及装置
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154735A (zh) * 2016-12-06 2018-06-12 爱天教育科技（北京）有限公司 英语口语测评方法及装置
CN109785698A (zh) * 2017-11-13 2019-05-21 上海流利说信息技术有限公司 用于口语水平评测的方法、装置、电子设备以及介质
CN110136497A (zh) * 2018-02-02 2019-08-16 上海流利说信息技术有限公司 用于口语学习的数据处理方法及装置
CN108428382A (zh) * 2018-02-14 2018-08-21 广东外语外贸大学 一种口语复述评分方法及***
CN109448458A (zh) * 2018-11-29 2019-03-08 郑昕匀 一种英语口语训练装置、数据处理方法及存储介质
CN110164422A (zh) * 2019-04-03 2019-08-23 苏州驰声信息科技有限公司 一种口语考试的多维度评估方法及装置

Also Published As

Publication number Publication date
CN111415101B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
US20070033017A1 (en) Spoken language proficiency assessment by computer
Perret Researching second and foreign language development
CN111415101B (zh) 民航英汉双语无线电通信能力等级自动测评方法及***
CN112668883A (zh) 一种用于汉语的语音和语篇评测一体化的小讲话练习***
Fanselow et al. Syntactic variation in German wh-questions: Empirical investigations of weak crossover violations and long wh-movement
Van Moere et al. Implementing ICAO language proficiency requirements in the Versant Aviation English Test
Herdi et al. A STUDY ON THE STUDENTS’ABILITY IN USING PREPOSITION OF DIRECTION
CN111383495A (zh) 一种用于口语教学的课中讲解***、方法、装置及介质
Widiyanto et al. Speech functions and mood system realization in the finalists’ speeches at Miss Grand International 2020
CN114241835A (zh) 一种学生口语质量评测方法和设备
Shields The language of poor Black children and reading performance
CN113064492A (zh) 学生模拟面试答题状态监测方法与***
KR101775865B1 (ko) 언어 교습 방법 및 장치
CN117932044B (zh) 基于ai的心理辅导助手自动对话生成方法及***
Balogh et al. Automatically scored spoken language tests for air traffic controllers and pilots
Muliadi et al. THE STUDENTS’ABILITY IN USING SHORT FUNCTIONAL TEXT IN SPEAKING FOR THE EIGHT GRADES OF MTs. DARUL FURQAN NW MENGKURU
US20030105636A1 (en) System and method that randomly makes question and answer sentences for enhancing user&#39;s foreign language speaking and listening abilities
Kreer et al. Using language scenarios as effective decision support system in teaching foreign languages
Petrosko Relationships among Writing Ability, Grade Level, Writing Apprehension and Knowledge of Composing as a Process in Secondary School Students.
Zhou Comparability study of two National EFL Tests (CET-6 and TEM-4) in China
Kim et al. Mining student discussions for profiling participation and scaffolding learning
Barnes An analysis of the oral language of second grade children with emphasis upon patterns of sentence structure and verbs, and their relationship to factors of reading age, mental age, sex, and socio-economic status.
Dimaano et al. Performance and difficulties in English language macro-skills by freshman students in selected colleges in Bacgiang City, Vietnam
Valizadeh et al. A contrastive study of realization patterns of request strategies of Ilami-Kurdish and Persian speakers based on age and education
Hasanah et al. The Effect of English Grammar Application towards Students' Grammar Mastery in Present Perfect Tense

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant