CN114187893A - 空管语音智能监控方法和*** - Google Patents
空管语音智能监控方法和*** Download PDFInfo
- Publication number
- CN114187893A CN114187893A CN202111539957.XA CN202111539957A CN114187893A CN 114187893 A CN114187893 A CN 114187893A CN 202111539957 A CN202111539957 A CN 202111539957A CN 114187893 A CN114187893 A CN 114187893A
- Authority
- CN
- China
- Prior art keywords
- data
- voice
- controller
- morpheme
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011156 evaluation Methods 0.000 claims abstract description 14
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000000926 separation method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 20
- 230000008451 emotion Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000002996 emotional effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种空管语音智能监控方法,其特征在于,包括以下步骤:获取管制员的空管语音,对空管语音进行识别解析,生成工作状态数据,将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,生成评价数据。根据本发明,能够有效监控管制员的语音指令的质量,并进行相应的评价和告警。
Description
技术领域
本发明涉及一种空管语音智能监控方法及其***。
背景技术
在民航领域航空管制中,需要针对地面塔台与航空器进行多种语言沟通,在进行语言沟通的过程中,难免因为人为因素造成沟通的错误。虽然随着人工智能、语音识别技术的发展,已经逐渐在民航领域得到应用,但在将人工智能、语音识别等技术应用于航空管制领域时,***相应的及时性、准确性、稳定性是至关重要的问题,一旦一环出现问题,可能会导致更严重的问题。因此,提供一种能够同时满足及时性、准确性、稳定性民航领域空中管制***,仍是亟待解决的实际问题。特别是为了提高机场高效、安全运行,对空管质量的要求越来越高,因此需要随时了解管制员的工作状态,并对管制员的工作状态进行客观、科学、***的分析。
发明内容
有鉴于现有技术中存在的问题,本发明的一个目的在于提供一种空管语音智能监控方法,能够确保空管语音指令下发的准确性,并有效地对管制员的空管语音进行监控和评价。
本发明的空管语音智能监控方法,其特征在于,包括以下步骤:获取管制员的空管语音,对空管语音进行识别解析,生成工作状态数据,将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,生成评价数据。
优选本发明的空管语音智能监控方法,其特征在于,所述工作状态数据,包括:语素拟合数据,其是表示对空管语音进行识别解析的分离度的数据;语速数据,其是表示空管语音中语素速率的数据;停顿数据,其是表示空管语音中语素之间发生不连贯的停顿的数据;和重复数据,其是表示空管语音中语素重复的数据。
进一步,优选本发明的空管语音智能监控方法,其特征在于,将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,包括;计算空管语音进行识别的语素拟合数据的分离度是否达到标准模板中规定的分离度;计算语速数据中语素速率偏离标准模板中的标准语素速率的偏移量;计算停顿数据中非语义停顿的停顿时间和数量是否超过标准模板中的标准停顿的时间和数量;计算重复数据中存在的重复语素的数量。
优选本发明的空管语音智能监控方法,其特征在于,计算空管语音中的航班号信息与近似航班号规则库中的近似航班号信息的语素拟合数据的分离度,若管制空域内存在近似航班号的飞行器,则降低语素拟合数据的分离度。
优选本发明的空管语音智能监控方法,其特征在于,计算重复数据中存在的重复语素的数量包括:计算一次重复语素的数量是否超过规定数量。
还优选本发明的空管语音智能监控方法,其特征在于,还包括在对空管语音进行识别解析时,获得空管语音中的感叹词,并根据感叹词的发音解析该管制员的情绪信息,将情绪信息保存在语素拟合数据中。
进一步优选本发明的空管语音智能监控方法,其特征在于,根据语素拟合数据的分离度、语素速率偏离标准模板中的标准语素速率的偏移量;非语义停顿的停顿时间超过标准模板中的标准停顿的时间和数量;重复数据中存在的重复语素的数量进行加权求和,作为该管制员的偏差值。并且优选在偏差值超过规定阈值时,发出告警信息。
另外,还优选本发明的空管语音智能监控方法,其特征在于,将管制员的工作状态数据,与基于以往保存的该管制员的工作状态数据而生成的历史工作状态数据进行比对,在工作状态数据与历史工作状态数据偏差超过规定阈值时,发出告警信息。
另外,本发明提供一种空管语音智能监控***,其特征在于,包括:接口模块,其用于与现有的空管***进行接入;接入处理模块,其经由接口模块采集空管语音通话的内容数据;语音识别模块,其实时地从接入处理模块获取空管语音,并将空管语音识别为可读文本;解析模块,其对由语音识别模块生成的可读文本进行语义解析;和监控模块,其根据解析模块的结果,对空管语音的指令安全性进行监控,并在监控到异常的情况下发出告警,其中,利用所述接入处理模块获取管制员的空管语音,利用所述语音识别模块和解析模块对空管语音进行识别解析,生成工作状态数据,利用所述监控模块将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,生成评价数据。
本发明的附加方面和优点将在下面的描述部分中给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1是本发明优选实施方式的***结构框图。
图2是本发明优选实施方式中语音识别模块的结构框图。
图3是本发明优选实施方式中对管制员语音指令质量评价的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
下面,结合具体实施方式对本发明进行详细说明。
本实施方式中的空管语音智能监控***1包括接口模块100、接入处理模块200、语音识别模块300、解析模块400、监控模块500、交互模块600。
其中,接口模块100用于与现有的空管***进行接入,并与本实施方式的空管语音只能监控***的其他模块进行数据的收受。接入处理模块200经由接口模块100采集空管语音通话的内容数据,接入处理模块200采集的地空通话的内容数据发送至语音识别模块300。在语音识别模块300中,对地空通话的内容数据中包含的完整语音对话的部分进行切分,并对切分的地空通话的内容数据进行识别,生成通话文本。解析模块400对地空通话的通话文本进行解析,从通话文本中解析管制指令参数,生成电子进程单。监控模块500对管制指令进行合理性判断,在满足预警告警条件的情况下,生成告警信息。交互模块600实时显示告警信息、管制指令信息等。
·接入处理模块200
在本实施方式中,接入处理模块200是使现有的航空信息***与本实施方式的空管语音智能监控***实现互通的重要手段,接入处理模块200选择地从接口模块100接收现有***的空管信息,包含:
1)ADS-B:支持ADS-B***输出的数据格式;
2)飞行计划:支持报文***输出的报文格式;
3)空管语音:模拟语音信号;
4)气象信息:支持报文***输出的气象报文格式;
5)时钟信息:NMEA0183格式数据。
接入处理模块200针对接收到的各类型空管信息,接入处理模块200进行数据校验、数据解析、数据关联和数据处理等处理,形成定义的数据格式支持本***后续应用。
·语音识别模块300
语音识别模块从接入处理模块200接收实时地空(管制员-飞行员)通话的空管语音,将空管语音识别为可读文本,实现空管语音信号表现方式的转换,即从管制员发出语音指令的模拟语音信号到计算机可显示的人类可读文本,识别内容优选包括:航空器呼号、管制单位呼号、推出、滑行、跑道外等、进跑道、起飞、穿越跑道、数字、字母、联系频率、导航台等。
我国民航管制过程中,一般使用双语种进行地空通话,管制员使用英语与国际航班/飞行员交流、使用中文与国内航班/飞行员交流,由于中英文的发音特征具有较大差异,且国内管制员对中英文通话和理解的熟练程度也不一致,因此本实施方式分别针对中文和英文的空管语音识别进行研究,构建如图2所示的空管语音识别框架。
如图2所示,在语音识别模块300中,空管语音识别框架包括,音频输入单元301、特征提取单元302、语种分类单元303、识别单元304和文本生成单元305。
根据本实施方式的空管语音智能监控***,由于在实际使用中,语音信号的输入在时域的表征较为单一(仅包含幅值)、且其差异性较小,因此类似的语音幅值系列可能包含完全不同的通话内容。为此,在特征提取单元302中通过频域变换将一维时域语音信号映射到高维频域空间以提升信号的表征能力和区分度。由于输入的语音信号均为空管语音语音中中英文语音的发音特征、词汇表集合存在较大差异,因此在语种分类单元303中,通过先分类再识别的方式,利用中英文语音信号在频率域特征上的分布和强度差异识别其语种属性,然后在识别单元304中利用独立的中英文声学模型实现语音信号到文本的转换。这样,不但使空管语音的语音识别具有更好的执行效率,而且能够获得高精度的空管语音到通话文本的识别。
在识别单元304中,针对中文和英文分别采用先进的基于深度学习的结构的声学模型部3041,利用神经网络在非线性特征方面强大的表征能力,基于大量的训练数据优化神经网络参数以拟合空管语音数据的特征分布,建立语音特征与文本标签之间的概率映射关系。声学模型解决一个全局最优的序列分类问题,其主要目的是将任意语音信号帧分类到不同的词汇单元并预测其属于词汇表中每个词汇的条件概率大小。
在声学模型部3041之后的语言模型部3042中,针对中文和英文分别设置语言模型的解码流程,通过循环神经网络学习管制场景下空管语音的行文方式和词汇依赖关系、搭配规律以校正声学模型的识别结果,最终提高空管语音识别的性能。在语言解码过程,基于语言模型搜索声学模型预测的概率序列中的最佳路径组合即为本方案语音识别结果的最终输出结果。最后,由文本生成单元305生成空管语音的通话文本的文本信息。空管语音空管语音空管语音
·解析模块400
解析单元400基于循环神经网络(RNN)的深度学习方法,通过对大量的空管语音对话样本数据进行训练、建立模型,利用模型对空管语音语句进行语义解析。
在本实施方式中,解析单元400的解析对象为由语音识别模块300生成的通话文本。
在解析单元400中,空管语义解析模型是空管语义解析的核心要素,其功能是对说话者的意图进行识别确认以及从通话文本当中提取其对应的语义成分,进行意图检测和语义槽填充。由于意图和语义本身是相互关联的,因此本实施方式使用了联合处理的训练方法,利用一个神经网络模型来统一的进行意图检测和语义槽填充。
首先,在离线过程中,进行空管语义解析模型的训练,包括从空管语音通话中筛选出有意义的空管指令对话,然后利用空管指令标注工具制作为训练样本数据,通过空管语义解析模型训练择优得到空管语音解析模型。
然后,在在线过程中,使用训练得到的空管语义解析模型对语音识别模块300识别的通话文本实时进行解析,模型解析的结果再经由后处理优化后输出,将空管指令语义解析结果反馈给请求方。
·监控模块500
在本实施方式中,监控模块500根据空管语音的解析结果进行监控,进行指令与指挥进程符合性判断501、飞行进程与飞行程序符合性验证502、指令复诵警示503和指令与航空器动态一致性检测504、近似航班号检测505。下面逐一进行详细说明。
在指令与飞行进程符合性判断501中,判断管制员的空管指令是否符合飞行进程。航空器从停机位推出到起飞要经历一系列的飞行申请和接受管制指挥:放行申请、同意放行、请求推出、同意推出、请求滑行、同意沿规定的跑道滑行、滑行、请求使用跑道、跑道外等待、进入跑道、起飞、联系规定单位等。降落过程也同样会产生在时序上前后关联的空管指令和应答语音,***通过识别和解析这些语音,从而由监控模块500判断管制员的指挥是否符合飞行进程。当检测到空管指令不符合飞行进程时通过交互模块600发出提示信息及时向管制员告警以进行纠正。
在飞行进程与飞行程序符合性验证502中,判断管制员的空管指令与飞行程序是否符合。飞行程序是指为航空器在机场区域运行所规定的、按顺序进行的一系列机动飞行的要求,如飞行区域、航迹、高度、速度的规定和限制等。监控模块500对空管语音进行识别和理解,并从接口模块100获取气象信息以及预置的机场运行程序,验证空管指令与机场飞行程序是否符合,对表示起飞降落指令的管制指令是否符合机场运行最低标准进行判断,该最低标准至少包括从接入模块200获取的能见度(VIS)、跑道视程(RVR)、最低下降高度、决断高度、云底高等。当监控模块500检测到飞行进程与飞行程序不符合时,通过交互模块600向管制人员告警以进行纠正。
在指令复诵警示503中,将管制员和飞行员的空管语音进行匹配,判断双方意图是否一致。监控模块500通过对空管语音语义进行识别和解析,将管制员的空管语音与飞行员复诵语音的通话对进行匹配,而后判断通话双方的意图是否一致,确保飞行员对管制员指令的正确收听与理解。
在本实施方式中复诵告警包含:未复诵、复诵错误、误领指令。
未复诵告警是指管制员下达指令后,一定时间内飞行员没有应答,则触发未复诵告警。该告警可以确保指令传达的及时性,防止飞行员漏听指令。
复诵错误告警是指飞行员的复诵语义与管制员的指令中的关键内容保持一致,否则触发复诵错误告警。该告警可以保证指令传达的正确性与完整性,防止飞行员听错、漏听部分指令。
误领指令是指因意外的错误导致管制员对飞行器A的指令被飞行器B误领,该告警可以保证指令传达对象的准确性,防止飞行员误听、误领指令。
在指令与航空器动态一致性检测504中,对空管指令和航空器动态进行实时跟踪和安全性检测。监控模块500根据机场的飞行程序、净空数据、跑道等信息建立数据模型,并根据语音识别和语义解析结果,提取管制指令关键参数如跑道号、高度层、飞行程序等数据,以及***接收到的ADS-B数据和管制指令上下文信息,并将这些数据输入数据模型,从而实现对管制指令和航空器动态进行实时跟踪和安全性检测。当出现以下几种情形时,通过交互模块600向管制员发出警示。
(1)航空器的实际飞行状态与管制指令不符合时
(2)航空器在机坪的位置或动态不符合管制指令时
(3)存在跑道侵入风险时
(4)航空器飞错进离场程序时
(5)航空器进入净空障碍物危险区时
由此,能够进一步保障管制员发出的管制指令的安全性,避免人为失误隐患。
在相似航班号检测505中,监控模块500从接入模块200获取管制空域内的全部航班号的信息,根据预先存储的相似航班号规则库5051,对进入管制空域的航班号进行监视,当监视到有相似航班号的飞行器进入管制空域时,开启高安全级别,通过交互模块600向管制员发出警示,并向语音识别模块300和解析模块400发送高安全级别信息,使语音识别模块300和解析模块400在对空管语音进行解析时,以高安全级别方式执行空管语音识别和文本解析。
此时,解析模块400优选采用如下处理流程,解析模块400仍旧以较低的安全级别对全部空管语音进行语音识别和文本解析,当解析到近似航班号的通话文本时,启动高安全级别,重新对该识别和解析的空管语音进行空管语音识别和通话文本解析。在重新对该涉及到近似航班号的通话文本进行识别和解析时,可以截取空管语音中包含航班号信息的通话部分,而仅对包含航班号信息的通过部分以高安全级别进行语音识别和文本解析。
监控模块500通过设置多个安全级别,能够在管制空域内存在相似航班号的飞行器时,有效地提醒管制员予以注意,以更清晰的空管语音对相关航空器进行管制指令的发送,避免发生错发指令、飞行员误听指令的情况,另一方面,通过与解析模块400协同工作,能够保证管制指令被更准确的识别和解析,尽可能降低因***识别精度的问题造成错发指令、飞行员误听执行的情况发生。而且,解析模块400通过先以较低安全级别对全部空管语音进行语音识别和文本解析,当解析到近似航班号的通话文本时,启动高安全级别,重新对该识别和解析的空管语音进行空管语音识别和通话文本解析,能够保证众多空管语音识别的处理效率,避免因提高安全级别而影响空管语音的识别和解析的速度,造成较大延迟,影响空管指令的下达速度。进而,解析模块400通过截取空管语音中包含航班号信息的通话部分,而仅对包含航班号信息的通过部分以高安全级别进行语音识别和文本解析,能够以最小的***代价对关键信息以高安全级别进行识别和解析,能够在保证准确性的基础项,尽可能提高空管指令识别和解析的效率,避免空管指令识别和解析的延迟。
·交互模块600
在本实施方式的空管语音智能监控***中,交互模块600的主要功能是:支持实时态势显示、事后统计分析显示;以图表、地图等多种方式显示空中交通态势,以对话方式实时显示地空通话并同时进行语音播报,以声、光等多种方式提示各类告警信息;支持专业终端、移动平板以及web浏览器等形式的显示与控制。
在本实施方式中,交互模块600包括:基础地理图层显示601,以及与监控模块500相应设置的复诵告警显示602、潜在冲突告警显示603、相似航班号提示604、航迹信息显示与操作605、扇区及扇区信息显示606。
基础地理图层提供地理背景信息为航迹提供实时态势显示的场景。地理背景信息的基础上显示包含但不限于如下内容:机场位置与范围、航空器、航路航线、导航台、报告点等信息。
在复诵告警显示602中,在识别模块300和解析模块400对空管语音进行识别和解析的基础上,对飞行员复诵指令与管制员发布的空管指令进行比对,对于判断为错误的情况以复诵告警单的形式发出告警通知,并根据不同的类型的错误以不同颜色标示。
与上述对监控模块500相应地,在交互模块600中对于复诵告警分为以下三种告警类型:(1)未复诵,例如告警单颜色标注为淡黄色;(2)复诵错误,例如告警单颜色标注为黄色;(3)误领指令,例如告警单颜色标注为红色。
在本实施方式中,复诵告警显示602以及此后要说明的其他告警显示中生成的告警单,其显示信息均包括:航班号,航班号所在扇区,该告警关联航班的高度、速度、航向,而对于复诵告警显示602中生成的告警单,还包括管制员发出空管指令的时间,飞行员应答的时间,以及复诵错误信息。
在发生复诵告警时,告警单弹出,错误信息区域字体高亮显示,以突出告警信息,还可包括语音播报告警信息,同时交互模块600调取与告警关联的航迹信息,并激活该告警关联的航迹标牌。
根据本实施方式的空管语音智能监控***,除如上所述能够对地面塔台的管制员与航空器的飞行员之间相互的语音通话进行智能识别解析,生成并管理进程单外,还能够有效地对管制员下达空管指令的质量进行监控,从而最大程度提高机场运行的安全性。下面对基于本实施方式的空管语音智能监控***实现对管制员的空管指令的质量进行监控的情形进行详细说明。
在本实施方式中,如图3所示,在S301中利用所述接入处理模块100获取管制员的空管语音,接着,在S302中利用所述语音识别模块300和解析模块400对空管语音进行识别解析,从而在S303中生成工作状态数据。然后在S305中,利用所述监控模块500将该管制员的工作状态数据与标准模板进行比对,并在S306中对管制员的工作状态进行评价,生成评价数据。根据本实施方式,能够有效监控管制员的语音指令的质量,并进行相应的评价和告警。
作为所述工作状态数据,包括:语素拟合数据、语速数据、停顿数据和重复数据。语素拟合数据是表示对空管语音进行识别解析的分离度的数据;语速数据是表示空管语音中语素速率的数据;停顿数据是表示空管语音中语素之间发生不连贯的停顿的数据;重复数据是表示空管语音中语素重复的数据。在语音识别模块300和解析模块400对管制员的空管指令的语音信息进行识别和解析时,能够实时地对语音信息中包括的这些特征数据进行标记和识别,所需要的额外的***开销非常小,不会对语音识别模块300和解析模块400的处理效率造成显著的影响。作为标准模板,可以遵循行业内对管制员要求的标准。由于在本实施方式中,基于空管语音智能监控***,能够在对管制员与飞行员的通话语音进行处理的同时,不需要过多额外***开销就能够获得基于管制员发出的语音指令的工作状态数据,因此使得空管语音智能监控***的应用获得有效且有益的扩充。
在本实施方式中,在对管制员的工作状态数据与标准模板进行比对,而评价管制员的工作状态时,监控模块500对于工作状态数据中的语素拟合数据,计算其分离度是否达到标准模板中规定的分离度。在达到规定的分离度时,赋予正向的评价,在为达到规定的分离度时,赋予负向的评价。语素拟合数据中的分离度信息,直接反应管制员发音是否清晰、标准,与管制员语音指令评价具有较高的相关性。
在本实施方式中,在识别模块300和解析模块400生成语素拟合数据时,关于管制员语音指令中包含的航班号信息,还与近似航班号规则库中的近似航班号信息进行比对识别,并判断语音指令中的航班号信息与近似航班号规则库中的航班号信息的分离度,据此生成语素拟合数据的分离度。如前文所述,因近似航班号信息可能会导致语音指令的错误接收,因此当语音指令中包含近似航班号规则库中的航班号时,计算从语音指令中识别解析出的航班号信息与规则库中的近似航班号的分离度,可有效评价管制员发出语音指令是否清晰。
进一步,若管制空域内存在近似航班号的飞行器时,则降低语素拟合数据的分离度,对于分离度的计算趋向严格。若管制员能够留意到管制空域内存在近似航班号的飞行器,则管制员会主动地以更清晰的发音发出语音指令,从而降低语素拟合数据的分离度不会对管制员语音指令质量评价造成不良。另一方面,基于本实施方式如上,当管制空域内存在近似航班号的飞行器时,会通过交互模块600向管制员进行告警,因此管制员也应当更留意关于近似航班号的语音指令的发布。
监控模块500对于工作状态数据中的语速数据,与标准模板中规定的语速信息进行比对。若空管员的语音指令的语速在标准模板的语速范围内,则赋予正向的评价;若偏离标准模板的语速范围,则赋予负向的评价,并且若语速数据项规定与标准模板规定的语速范围发生偏移的偏移量越大,则负向评价越劣化。语速数据反应管制员判断速度和准确程度,并且在某种程度上反应管制员的情绪。语速数据反应的语音指令语速偏离标准模板的语速范围且过快,则表现出管制员情绪激动的心理波动;偏离标准模板的语速范围且过慢,则表现出来管制员反应速度和情绪低落的情况。语音指令过快或过慢均会影响到飞行员对语音指令的听取和理解,因此也成为本实施方式中评价管制员语音指令的质量的要素。
监控模块500对停顿数据进行评价时,计算停顿数据中非语义停顿的停顿时间和数量是否超过标准模板中的标准停顿的时间和数量。停顿数据更反应管制员的反应是否敏捷,而非语义停顿对于飞行员来说更容易引起在听取语音指令时对语音指令的正确理解。因此在本实施方式中将停顿数据,尤其是费语义停顿的停顿时间和数量作为评价管制员语音指令的质量的要素。停顿数据达到规定的阈值和/或非语义停顿的停顿时间越长,数量越多,则对于管制员的语音指令的质量评价趋向劣化。
监控模块500对在对计算重复数据进行评价时,计算重复数据中存在的重复语素的数量。在此,对于重复语素的检测应忽略掉空管指令下达规范中要求必须重复的语素内容。重复数据对于飞行员正确听取语音指令造成不良影响,因此,重复语素的数量越多,对于管制员的语音指令的质量评价趋向劣化。在本实施方式中,在计算重复语素时,计算一次重复语素的数量是否超过规定数量,当超过规定数量时,将严重影响飞行员听取语音指令的准确性,应当特别注意该管制员的语音指令的质量,甚至可能评价为不合格。
在本实施方式中,在对空管语音进行识别解析时,还获得空管语音中的感叹词。空管语音对于感叹词的使用有严格的限制,通过获得空管语音中的感叹词,可根据感叹词的发音解析该管制员的情绪信息,将情绪信息保存在语素拟合数据中。对于管制员来说,把控自己的情绪对于保证机场运行是重要的因素,当情绪出现不良的问题时,可能会将感叹词带入语音指令中,因此,可有效降低因管制员情绪问题引起的机场运行事故。
在本实施方式中,监控模块500还根据语素拟合数据的分离度、语素速率偏离标准模板中的标准语素速率的偏移量;非语义停顿的停顿时间超过标准模板中的标准停顿的时间和数量;重复数据中存在的重复语素的数量进行加权求和,作为该管制员的偏差值。通过对于不同的要素以及各要素中所包含的如上述各种情形赋予权重,使得对管制员空管指令质量的评价客观、可信,而具有实际参考和使用的价值。因此,在偏差值超过规定阈值时,发出告警信息,可避免因管制员的个人问题引发的机场运行相关事故的发生。
在本实施方式中,如图3所示,在S306中还保存每次获取的管制员的工作状态数据,基于以往保存的该管制员的工作状态数据而生成的历史工作状态数据。在S307中将管制员的工作状态数据与历史工作状态数据进行比对,在S308中,当管制员的工作状态数据与历史工作状态数据偏差超过规定阈值时,发出告警信息。通过保存管制员的历史工作状态,并将当前的工作状态与其本人的历史工作状态进行比对,可更容易的发现管制员因身体问题或心理问题而不适宜发布空管指令工作的情况,可有效避免因管制员的个人问题引发的机场运行相关事故的发生。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种空管语音智能监控方法,其特征在于,包括以下步骤:
获取管制员的空管语音,
对空管语音进行识别解析,生成工作状态数据,
将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,生成评价数据。
2.根据权利要求1所述的空管语音智能监控方法,其特征在于,
所述工作状态数据,包括:
语素拟合数据,其是表示对空管语音进行识别解析的分离度的数据;
语速数据,其是表示空管语音中语素速率的数据;
停顿数据,其是表示空管语音中语素之间发生不连贯的停顿的数据;和
重复数据,其是表示空管语音中语素重复的数据。
3.根据权利要求2所述的空管语音智能监控方法,其特征在于,
将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,包括;
计算空管语音进行识别的语素拟合数据的分离度是否达到标准模板中规定的分离度;
计算语速数据中语素速率偏离标准模板中的标准语素速率的偏移量;
计算停顿数据中非语义停顿的停顿时间和数量是否超过标准模板中的标准停顿的时间和数量;
计算重复数据中存在的重复语素的数量。
4.根据权利要求3所述的空管语音智能监控方法,其特征在于,
计算空管语音中的航班号信息与近似航班号规则库中的近似航班号信息的语素拟合数据的分离度,
若管制空域内存在近似航班号的飞行器,则降低语素拟合数据的分离度。
5.根据权利要求3所述的空管语音智能监控方法,其特征在于,
计算重复数据中存在的重复语素的数量包括:
计算一次重复语素的数量是否超过规定数量。
6.根据权利要求2所述的空管语音智能监控方法,其特征在于,所述方法还包括:
在对空管语音进行识别解析时,获得空管语音中的感叹词,
并根据感叹词的发音解析该管制员的情绪信息,
将情绪信息保存在语素拟合数据中。
7.根据权利要求3所述的空管语音智能监控方法,其特征在于,
根据语素拟合数据的分离度、语素速率偏离标准模板中的标准语素速率的偏移量;非语义停顿的停顿时间超过标准模板中的标准停顿的时间和数量;重复数据中存在的重复语素的数量进行加权求和,作为该管制员的偏差值。
8.根据权利要求7中任一项所述的空管语音智能监控方法,其特征在于,
在偏差值超过规定阈值时,发出告警信息。
9.根据权利要求1所述的空管语音智能监控方法,其特征在于,
将管制员的工作状态数据,与基于以往保存的该管制员的工作状态数据而生成的历史工作状态数据进行比对,
在工作状态数据与历史工作状态数据偏差超过规定阈值时,发出告警信息。
10.一种空管语音智能监控***,其特征在于,包括:
接口模块,其用于与现有的空管***进行接入;
接入处理模块,其经由接口模块采集空管语音通话的内容数据;
语音识别模块,其实时地从接入处理模块获取空管语音,并将空管语音识别为可读文本;
解析模块,其对由语音识别模块生成的可读文本进行语义解析;和
监控模块,其根据解析模块的结果,对空管语音的指令安全性进行监控,并在监控到异常的情况下发出告警,其中,
利用所述接入处理模块获取管制员的空管语音,
利用所述语音识别模块和解析模块对空管语音进行识别解析,生成工作状态数据,
利用所述监控模块将该管制员的工作状态数据与标准模板进行比对,对管制员的工作状态进行评价,生成评价数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111539957.XA CN114187893B (zh) | 2021-12-15 | 2021-12-15 | 空管语音智能监控方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111539957.XA CN114187893B (zh) | 2021-12-15 | 2021-12-15 | 空管语音智能监控方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114187893A true CN114187893A (zh) | 2022-03-15 |
CN114187893B CN114187893B (zh) | 2024-07-02 |
Family
ID=80605251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111539957.XA Active CN114187893B (zh) | 2021-12-15 | 2021-12-15 | 空管语音智能监控方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114187893B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115938347A (zh) * | 2023-03-13 | 2023-04-07 | 中国民用航空飞行学院 | 基于语音识别的飞行学员通话规范性评分方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106847263A (zh) * | 2017-01-13 | 2017-06-13 | 科大讯飞股份有限公司 | 演讲水平评价方法和装置及*** |
CN110490428A (zh) * | 2019-07-26 | 2019-11-22 | 合肥讯飞数码科技有限公司 | 空中交通管制工作质量评估方法及相关装置 |
US20200066294A1 (en) * | 2019-10-31 | 2020-02-27 | Ron Zass | Detecting repetitions in audio data |
CN112349300A (zh) * | 2020-11-06 | 2021-02-09 | 北京乐学帮网络技术有限公司 | 一种语音评测方法及装置 |
-
2021
- 2021-12-15 CN CN202111539957.XA patent/CN114187893B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210366505A1 (en) * | 2016-07-16 | 2021-11-25 | Ron Zass | Visually presenting auditory information |
CN106847263A (zh) * | 2017-01-13 | 2017-06-13 | 科大讯飞股份有限公司 | 演讲水平评价方法和装置及*** |
CN110490428A (zh) * | 2019-07-26 | 2019-11-22 | 合肥讯飞数码科技有限公司 | 空中交通管制工作质量评估方法及相关装置 |
US20200066294A1 (en) * | 2019-10-31 | 2020-02-27 | Ron Zass | Detecting repetitions in audio data |
CN112349300A (zh) * | 2020-11-06 | 2021-02-09 | 北京乐学帮网络技术有限公司 | 一种语音评测方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115938347A (zh) * | 2023-03-13 | 2023-04-07 | 中国民用航空飞行学院 | 基于语音识别的飞行学员通话规范性评分方法及*** |
CN115938347B (zh) * | 2023-03-13 | 2023-05-23 | 中国民用航空飞行学院 | 基于语音识别的飞行学员通话规范性评分方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN114187893B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790787B2 (en) | Digital copilot | |
CN114155861A (zh) | 空管语音智能监控*** | |
EP2874133B1 (en) | Aircraft systems and methods for reducing and detecting read-back and hear-back errors | |
US9262927B2 (en) | Method and device for automatically managing audio air control messages on an aircraft | |
Cordero et al. | Automated speech recognition in ATC environment | |
CN111667830B (zh) | 基于管制员指令语义识别的机场管制决策支持***及方法 | |
US20220343897A1 (en) | Adaptive speech recognition methods and systems | |
US20190147858A1 (en) | Methods, systems and apparatuses for improving speech recognition using touch-based predictive modeling | |
Cordero et al. | Automated speech recognition in controller communications applied to workload measurement | |
US20230392954A1 (en) | Vehicle systems and related message prioritization methods | |
US11676496B2 (en) | Methods and systems for querying for parameter retrieval | |
Ohneiser et al. | Prediction and extraction of tower controller commands for speech recognition applications | |
Chen et al. | Speech inputs to surface safety logic systems | |
US11908330B2 (en) | Systems and methods for analyzing air traffic control messages and generating associated flight performance parameters | |
CN114187893B (zh) | 空管语音智能监控方法和*** | |
CN114121017A (zh) | 多安全级空管语音智能监控*** | |
US20200372916A1 (en) | Method and device for automatically managing audio air traffic control messages on board an aircraft | |
Subramanian et al. | Custom IBM Watson speech-to-text model for anomaly detection using ATC-pilot voice communication | |
JP3758632B2 (ja) | 航空管制指示誤り訂正装置、及び航空管制指示誤り訂正方法 | |
CN115223558A (zh) | 空管语音管理方法、***及计算机存储介质 | |
US20220406194A1 (en) | Contextual transcription augmentation methods and systems | |
Zhou et al. | Data-driven traffic dynamic understanding and safety monitoring applications | |
US20240143937A1 (en) | Transcription systems and methods for challenging clearances | |
EP4372721A1 (en) | Transcription systems and methods for challenging clearances | |
Rusko et al. | Enhancing air traffic management security by means of conformance monitoring and speech analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20231013 Address after: 101318 building 28, Tianzhu Road, area a, Tianzhu Airport Industrial Zone, Shunyi District, Beijing Applicant after: Capital Airport Group Co.,Ltd. Applicant after: Capital Airport Group Technology Management Co.,Ltd. Address before: 101318 building 28, Tianzhu Road, area a, Tianzhu Airport Industrial Zone, Shunyi District, Beijing Applicant before: Capital Airport Group Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant |