KR102303699B1

KR102303699B1 - 항공기용 음성 인식 기반 처리 방법

Info

Publication number: KR102303699B1
Application number: KR1020190079895A
Authority: KR
Inventors: 이성종
Original assignee: 한화시스템 주식회사
Priority date: 2018-06-29
Filing date: 2019-07-03
Publication date: 2021-09-17
Also published as: KR20200002710A

Abstract

본 발명은 항공기의 기능을 음성으로 제어 가능한 항공기용 음성 인식 기반 처리 시스템 및 이의 동작 방법에 관한 것이다. 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템은, 사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 마이크, 상기 음성 신호에 대응하는 제어 명령을 생성하는 인터콤 및 상기 제어 명령을 해당 제어 대상 장치로 전달하는 임무 컴퓨터를 포함할 수 있다.

Description

항공기용 음성 인식 기반 처리 방법{Processing method based on voice recognition for aircraft}

본 발명은 항공기용 음성 인식 기반 처리 방법에 관한 것으로, 보다 상세하게는 항공기의 기능을 음성으로 제어 가능한 항공기용 음성 인식 기반 처리 방법에 관한 것이다.

음성 인식 기술은 마이크와 같은 소리 센서를 통해 사람의 음성을 입력받아 해당 음성을 분석하여 단어나 문장으로 변환시키는 기술을 의미한다. 음성 인식 기술은 스마트폰의 발전과 사물인터넷 서비스가 주목받으면서 적용 분야가 급속히 확산되는 실정이다.

항공기 분야에서도 음성 인식 기술의 적용 가능성이 높아지고 있는데, 현재 음성 인식 기술이 적용된 항공기의 경우 별도의 음성 인식용 LRU(Line Replace Unit)를 추가하는 방식을 이용하고 있다. 이는 조종사의 음성을 인터콤(intercom)이 수신하여 이를 음성 인식 시스템에 전달한 후 음성 인식 시스템에서 이를 처리하여 MC(Mission Computer) 또는 Radio 등 기타 연관 장비들과 연동하는 구조로 되어 있다.

그러나, 이러한 방식에 의하면 음성 인식을 위한 별도의 LRU가 추가되어야 하는 점에서 항공기 무게 및 전력 소모량이 증가될 수 밖에 없고, LRU의 연결을 위한 배선 케이블의 추가로 인한 EMI(Electro Magnetic Interference)/EMC(Electro Magnetic Compatibility) 문제가 발생할 수 있다. 또한, 항공기내 전자 시스템 구성의 복잡성과 명령 처리에 대한 시간 지연이 증가될 수 있다.

본 발명은 별도의 LRU의 추가 없이 음성 인식 기반 제어 기능을 구현할 수 있는 항공기용 음성 인식 기반 처리 방법을 제공하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템은, 사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 마이크; 상기 음성 신호에 대응하는 제어 명령을 생성하는 인터콤; 및 상기 제어 명령을 해당 제어 대상 장치로 전달하는 임무 컴퓨터를 포함할 수 있다.

실시예에 따라, 상기 인터콤은 상기 음성 신호를 인식하여 인식 음성을 생성하는 음성 인식 모듈을 포함할 수 있다.

실시예에 따라, 상기 인터콤은 상기 인식 음성에 대응하는 제어 명령을 생성하는 주제어 모듈을 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 항공기용 음성 인식 기반 처리 시스템은, 사용자의 음성이 변환된 음성 신호를 인식하여 상기 음성 신호에 대응하는 제어 명령을 생성하는 인터콤; 항공기의 비행에 필요한 제어 기능을 관리하는 제어 대상 장치; 및 상기 제어 명령을 상기 제어 대상 장치로 전달하는 임무 컴퓨터를 포함할 수 있다.

실시예에 따라, 상기 인터콤은, 상기 음성 신호를 인식하여 인식 음성을 생성하는 음성 인식 모듈; 및 상기 인식 음성에 대응하는 제어 명령을 생성하는 주제어 모듈을 포함할 수 있다.

실시예에 따라, 상기 인터콤과 상기 임무 컴퓨터는 1553B 또는 이더넷을 통해 서로 직접 연결될 수 있다.

본 발명의 또 다른 실시예에 따른 항공기용 음성 인식 기반 처리 시스템은, 사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 마이크; 상기 음성 신호를 인식하여 인식 음성을 생성하는 음성 인식 모듈 및 상기 인식 음성에 대응하는 제어 명령을 생성하는 주제어 모듈을 포함하는 인터콤; 및 상기 제어 명령을 해당 제어 대상 장치로 전달하는 임무 컴퓨터를 포함할 수 있다.

실시예에 따라, 상기 임무 컴퓨터는 상기 제어 명령에 포함된 정보에 기초하여 상기 제어 명령을 라우팅할 수 있다.

본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템의 동작 방법은, 사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 단계; 상기 음성 신호에 대응하는 제어 명령을 생성하는 단계; 및 상기 제어 명령을 해당 제어 대상 장치로 전달하는 단계를 포함할 수 있다.

실시예에 따라, 상기 음성 신호에 대응하는 제어 명령을 생성하는 단계는, 상기 음성 신호를 인식하여 인식 음성을 생성하는 단계를 포함할 수 있다.

실시예에 따라, 상기 음성 신호에 대응하는 제어 명령을 생성하는 단계는, 상기 인식 음성에 대응하는 제어 명령을 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 항공기용 음성 인식 기반 처리 시스템의 동작 방법은, 인터콤이, 사용자의 음성이 변환된 음성 신호를 인식하여 상기 음성 신호에 대응하는 제어 명령을 생성하는 단계; 임무 컴퓨터가, 상기 제어 명령을 제어 대상 장치로 전달하는 단계; 및 상기 제어 명령에 따라 항공기의 비행에 필요한 제어 기능을 관리하는 단계를 포함할 수 있다.

실시예에 따라, 상기 음성 신호에 대응하는 제어 명령을 생성하는 단계는, 상기 음성 신호를 인식하여 인식 음성을 생성하는 단계; 및 상기 인식 음성에 대응하는 제어 명령을 생성하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 항공기용 음성 인식 기반 처리 시스템의 동작 방법은, 사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 마이크; 인터콤이, 상기 음성 신호를 인식하여 인식 음성을 생성하는 단계; 상기 인터콤이, 상기 인식 음성에 대응하는 제어 명령을 생성하는 단계; 및 임무 컴퓨터가, 상기 제어 명령을 해당 제어 대상 장치로 전달하는 단계를 포함할 수 있다.

실시예에 따라, 상기 제어 명령을 해당 제어 대상 장치로 전달하는 단계는, 상기 제어 명령에 포함된 정보에 기초하여 상기 제어 명령을 라우팅하는 단계를 포함할 수 있다.

상기와 같이 구성되는 본 발명의 실시예에 따른 항공기용 음성 인식 기반 처리 시스템 및 이의 동작 방법에 의하면, 별도의 LRU가 추가될 필요가 없어 항공기 무게 및 전력 소모량이 상대적으로 감소될 수 있고, LRU의 연결을 위한 배선 케이블이 생략되어 EMI/EMC 문제가 해결될 수 있다. 또한, 항공기내 전자 시스템의 구성을 단순화하고 사용자의 제어 명령의 처리에 대한 신속 처리와 노이즈 강건성이 확보될 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템을 나타낸 도면이다.
도 2는 도 1에 도시된 인터콤을 보다 상세히 나타낸 블록도이다.
도 3은 도 2에 도시된 음성 인식 모듈을 보다 상세히 나타낸 블록도이다.
도 4는 식별 음성의 검증 과정의 일 예를 나타낸 도면이다.
도 5는 식별 음성의 검증 과정의 다른 예를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템의 동작 방법을 나타낸 흐름도이다.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면 부호를 사용하기로 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하에서 언급되는 "단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(WCode Division Multiple Access), Wibro(Wireless Broadband Internet), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, “네트워크”는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템을 나타낸 도면이다.

도 1을 참조하면, 항공기용 음성 인식 기반 처리 시스템(10)은 항공기 제어를 위해 항공기에 음성 인식 기능을 적용하되, 항공기의 중량 및 전력 소모량을 줄이고, 신호 경로의 증가로 인한 지연 현상을 최소화하기 위한 시스템이다. 항공기용 음성 인식 기반 처리 시스템(10)은 별도의 음성 인식 기능을 갖는 LRU(Line Replace Unit)를 추가 탑재하지 않고도 항공기의 개발 또는 성능 개량 시 기존 항공 전자 장비의 일부 수정을 통해 음성 인식 기능을 항공기에 장착할 수 있도록 할 수 있다.

항공기용 음성 인식 기반 처리 시스템(10)은 헤드셋(headset, 50), 인터콤(inter-communication system, 100), 임무 컴퓨터(mission computer, 400) 및 제어 대상 장치(500)를 포함할 수 있다.

헤드셋(50)은 사용자(즉, 조종사)가 발화하는 소리(즉, 음성)을 아날로그 신호인 음성 신호로 변환하여 인터콤(100)에 전달하는 마이크와, 사용자에게 전달할 음성 신호를 사용자가 청취 가능한 소리로 변환하여 사용자에게 전달하는 스피커를 포함할 수 있다. 헤드셋(500)은 사용자가 착용할 수 있는 헤드폰과 마이크의 결합 형태로 도 1에 도시되어 있으나, 본 발명의 범위는 이에 한정되지 않고 마이크와 스피커가 서로 독립적인 형태로 구현될 수 있고, 서로 이격되어 항공기 내에 장착될 수도 있다.

인터콤(100)은 항공기 내/외부의 음성 신호 및 경고/알림 신호를 입력받아 사용자에게 전달하는 기능을 수행한다. 이를 위해, 인터콤(100)은 디지털 신호를 아날로그 신호로 변환하거나, 아날로그 신호를 디지털 신호로 변환할 수 있다. 또한, 인터콤(100)은 아날로그 형태의 음성 신호를 헤드셋(50)으로부터 수신하여, 음성 신호를 음성 인식 기술을 통해 단어 또는 문장의 인식 음성으로 변환한 후, 인식 음성에 대응하는 디지털 형태의 제어 명령을 임무 컴퓨터(400)로 전송할 수 있다. 인터콤(100)의 보다 상세한 구성 및 동작은 도 2 내지 도 6을 참조하여 후술하기로 한다.

임무 컴퓨터(400)는 항공기의 전반적인 또는 일부 제어를 관리하는 구성으로서, 사용자에게 전달할 정보(예컨대, 음성/경고/알림 등)를 직접 생성하거나 제어 대상 장치(500)로부터 정보를 수신하여 인터콤(100)으로 전달할 수 있다. 또한, 임무 컴퓨터(400)는 사용자가 발화한 음성에 따른 제어 명령을 수신하고 제어 명령에 대응하는 제어 대상 장치(500)로 제어 명령을 라우팅(routing)할 수 있다. 이때, 임무 컴퓨터(400)와 인터콤(100) 간의 데이터 전송은 1553B, 이더넷(Ethernet), 또는 기타 항공기 내 제어 버스(control bus)를 통해 수행될 수 있다.

제어 대상 장치(500)는 항공기의 비행에 필요한 고도, 속도, 헤딩, 카메라 등의 제어 기능 중 어느 하나를 관리하는 제어기일 수 있다. 비록 도 1에는 하나의 제어 대상 장치 만이 도시되어 있으나, 임무 컴퓨터(400)는 복수의 제어 대상 장치들에 연결될 수 있고 복수의 제어 대상 장치들 중 제어 명령에 대응하는 제어 대상 장치에 해당 제어 명령을 전달할 수 있다. 제어 대상 장치(500)는 임무 컴퓨터(400)에 자신의 상태 정보(예를 들어, 현재의 고도)를 전송하고, 사용자의 제어 명령에 따라 자신의 상태를 변경(예를 들어, 고도 상승)시킬 수 있다.

만일, 음성 인식 기능의 구현을 위해, 인터컴(100)과 임무 컴퓨터(400) 사이에 음성 인식을 위한 별도의 LRU가 추가되어야 한다면, 항공기 무게 및 전력 소모량이 증가될 수 밖에 없고, LRU의 연결을 위한 배선 케이블의 추가로 인한 EMI(Electro Magnetic Interference)/EMC(Electro Magnetic Compatibility) 문제가 발생할 수 있다. 또한, 항공기내 전자 시스템 구성의 복잡성과 명령 처리에 대한 시간 지연이 증가될 수 있다.

그러나, 본 발명의 실시예에 따른 항공기용 음성 인식 기반 처리 시스템(10)에 의하면, 별도의 LRU가 추가될 필요가 없어 항공기 무게 및 전력 소모량이 상대적으로 감소될 수 있고, LRU의 연결을 위한 배선 케이블이 생략되어 EMI/EMC 문제가 해결될 수 있다. 또한, 항공기내 전자 시스템의 구성을 단순화하고 사용자의 제어 명령의 처리에 대한 신속 처리와 노이즈 강건성이 확보될 수 있다.

도 2는 도 1에 도시된 인터콤을 보다 상세히 나타낸 블록도이다.

도 2를 참조하면, 인터콤(100)은 음성 인식 모듈(200) 및 주제어 모듈(300)을 포함할 수 있다.

음성 인식 모듈(200)은 헤드셋(50)으로부터 전송되는 음성 신호를 식별 및 검증함에 의해 음성 신호가 의도한 단어 또는 문장으로 구성된 인식 음성을 결정할 수 있다.

주제어 모듈(300)은 인터콤(100)의 전반적인 동작을 제어하며, 음성 인식 모듈(200)이 결정한 인식 음성에 대응하는 제어 대상 장치(500)와 제어 대상 장치(500)를 제어하기 위한 구체적인 명령에 대한 정보를 포함하는 제어 명령을 생성하여 임무 컴퓨터(400)로 전달할 수 있다.

도 3은 도 2에 도시된 음성 인식 모듈을 보다 상세히 나타낸 블록도이다. 도 4는 식별 음성의 검증 과정의 일 예를 나타낸 도면이다. 도 5는 식별 음성의 검증 과정의 다른 예를 나타낸 도면이다.

도 3을 참조하면, 음성 인식 모듈(200)은 전처리부(210), 성문 검증부(220), 음성 식별부(230) 및 음성 검증부(240)를 포함할 수 있다.

전처리부(210)는 사용자가 발화한 음성에 따른 음성 신호로부터 음성 인식에 필요한 특징 벡터를 추출할 수 있다. 즉, 전처리부(210)는 음성 신호에 대해 일정 시간(예를 들어, 1/100초)마다 음성학적 특성을 표현할 수 있는 특징 벡터들을 추출한다.

전처리부(210)는 모든 주파수 대역에 동일하게 비중을 두어 분석하는 LPC(Linear Predictive Coding) 추출법, 사람의 음성 인지 양상이 선형적이지 않고 로그 스케일과 비슷한 멜 스케일을 따른다는 특성을 반영한 MFCC(Mel Frequency Cepstral Coefficients) 추출법, 음성과 잡음을 뚜렷하게 구별하기 위해 고주파 성분을 강조해 주는 고역강조 추출법, 음성을 짧은 구간으로 나누어 분석할 때 생기는 단절로 인한 왜곡현상을 최소화 하는 창 함수 추출법 등의 특징 벡터 추출법 중 적어도 하나를 이용하여 특징 벡터를 추출할 수 있다.

이때, 전처리부(210)는 특징 벡터 추출 이전에 사람의 음성에 해당하는 주파수 대역 이외의 대역을 차단하는 대역 통과 필터를 포함하여, 음성 이외의 노이즈를 제거할 수 있다.

성문 검증부(220)는 전처리부(210)가 추출한 특징 벡터를 분석하여 미리 저장되어 있는 인증된 화자의 특징 벡터와의 유사성을 검증할 수 있다. 여기서, 인증된 화자의 특징 벡터의 특성을 성문이라 할 수 있는데, 성문은 지문과 같이 특정인을 다른 사람과 구별되도록 하는 음성학적 특징을 의미한다.

인증된 화자의 특징 벡터는 음성 인식 모듈(200)의 동작 이전에 미리 별도의 인증 과정(예컨대, 비밀 번호 입력, 생체 인증 등)을 거친 후 화자의 음성을 수집하여 저장될 수 있다.

만일 미리 저장된 인증된 화자의 특징 벡터와 현재 입력된 특징 벡터와 유사도가 기준치 미만이면, 성문 검증부(220)는 해당 특징 벡터를 무시하여 이후의 동작이 수행되지 않게 할 수 있다. 이 경우, 성문 검증부(220)는 이러한 결과를 음성 검증부(240)로 알림으로써 터치 스크린(600) 상에 음성 인식이 실패하였음을 알리는 화면(예컨대, '인증된 사용자의 음성 명령이 아닙니다.')이 표시되도록 할 수 있다.

반대로 미리 저장된 인증된 화자의 특징 벡터와 현재 입력된 특징 벡터와 유사도가 기준치 이상이면, 성문 검증부(220)는 해당 특징 벡터를 음성 식별부(230)로 전달할 수 있다.

음성 식별부(230)는 추출된 특징 벡터와 미리 저장된 음향 모델과 비교할 수 있고, 비교 결과는 언어 처리 과정을 거쳐 최종 인식된 단어 또는 문장의 식별 음성을 출력할 수 있다.

음성 식별부(230)는 특징 벡터와 미리 저장된 음향 모델과 비교하는 과정에서 데이터베이스를 사용할 수 있으며, 여기서, 데이터베이스는 음성 식별부(230) 내부에 포함될 수도 있고, 외부(주제어 모듈(300) 또는 임무 컴퓨터(400))의 데이터베이스일 수도 있다.

예를 들어, 음성 식별부(230)는 통계적 패턴 인식을 기반으로 하며 단어 단위 검색과 문장 단위 검색 과정이 하나의 최적화 과정으로 통합된 방식인 HMM(Hidden Markov Model)을 이용하여, 특징 벡터와 미리 저장된 음향 모델과 비교할 수 있다. 이 방법은 음성 단위에 해당하는 패턴들의 통계적 정보를 확률 모델 형태로 저장하고 미지의 입력 패턴이 들어오면 각각의 모델에서 이 패턴이 나올 수 있는 확률을 계산함으로써 이 패턴에 가장 적합한 음성 단위를 찾아내는 방법이다.

또한, 음성 식별부(230)는 특징 벡터와 미리 저장된 음향 모델과 비교하는 과정에서 이들 간의 유사도를 수치화(예컨대, 1~9)하여 식별 음성과 함께 음성 검증부(240)에 제공할 수 있다.

음성 검증부(240)는 식별 음성과 유사도를 수신하여 식별 음성을 검증하고, 식별 음성을 기초로 제어 명령을 특정하기 위한 인식 음성을 확정할 수 있다.

음성 검증부(240)는 크게 두가지 동작을 수행할 수 있는데, 하나는 식별 음성 자체의 검증(제1 단계)이고, 다른 하나는 식별 음성의 구체화(제2 단계)일 수 있다.

제1 단계에 대해 먼저 설명하면, 식별 음성과 함께 수신된 유사도가 일정 수치(예를 들어, 7) 이하이면, 음성 검증부(240)는 해당 식별 음성에 대한 검증을 수행할 수 있다. 반대로, 식별 음성과 함께 수신된 유사도가 일정 수치(예를 들어, 7)를 초과하면, 음성 검증부(240)는 해당 식별 음성에 대한 검증을 수행하지 않고 식별 음성을 확정할 수 있다.

도 4를 참조하면, 예를 들어, '고도를 높여라'의 식별 음성과 함께 수신된 유사도가 6인 경우, 음성 검증부(240)는 터치 스크린(600)의 디스플레이 패널(610)을 통해 사용자가 발화한 음성 명령이 “고도를 높여라”의 음성 명령이 맞는지 여부를 검증할 수 있는 화면을 표시할 수 있다. 이에 따라, 사용자는 “예” 또는 “아니오”의 버튼의 터치를 통해 식별 음성을 확정하고 해당 음성 명령의 수행 여부를 선택할 수 있다. “예” 또는 “아니오”의 버튼의 터치를 감지한 터치 패널(620)은 터치 감지 결과를 음성 검증부(240)로 제공할 수 있다.

만일, 터치 감지 결과가 “예”의 버튼에 대한 터치이면, 음성 검증부(240)는 “고도를 높여라”를 식별 음성으로 확정할 수 있다. 그러나, 터치 감지 결과가 “아니오”의 버튼에 대한 터치이면, 음성 검증부(240)는 “고도를 높여라”를 식별 음성으로 확정하지 않고 터치 스크린(600) 상에 음성 인식이 실패하였음을 알리는 화면(예컨대, '음성 인식이 정상적으로 완료되지 못하였습니다.')이 표시되도록 할 수 있다. 다른 실시예에 따라, 터치 스크린(600) 상에 음성 인식이 실패하였음을 알리는 화면과 함께 최초 식별 음성과 유사한 다른 명령 예시가 표시되도록 할 수도 있다.

여기서, 터치 스크린(600)은 인터콤(100)의 외부에 장착되어 사용자에게 화면을 제공하거나 화면에 대한 터치 입력을 감지하는 입출력 장치로서, 서로 오버랩(overlap)되어 배치되는 디스플레이 패널(610)과 터치 패널(620)을 포함할 수 있다. 디스플레이 패널(610)은 매트릭스 형태로 배열된 복수의 픽셀들에 전기적인 신호를 가하여 각 픽셀이 신호의 세기에 따라 발광함으로써 화면을 사용자에게 제공하는 장치이다. 터치 패널(620)은 사용자의 압력 또는 접촉의 위치를 감지할 수 있도록 배열된 복수의 감지선들을 포함하여 사용자의 압력 또는 접촉시 그 2차원적 좌표를 특정할 수 있도록 한다. 디스플레이 패널(610)과 터치 패널(620)은 각각 화면 표시와 터치 감지를 위해 디스플레이 컨트롤러와 터치 컨트롤러에 의해 구동될 수 있다.

다시 도 3을 참조하여 제2 단계에 대해 설명하면, 음성 검증부(240)는 식별 음성을 확정한 후, 식별 음성에 의해 제어 명령이 특정될 수 있는지 판단할 수 있다. 즉, 제어 명령이 생성되기 위해서는 제어 대상 장치(500)와 제어 대상 장치(500)를 제어하기 위한 구체적인 명령이 특정되어야 하는데, 제어 대상 장치(500)와 구체적인 명령 중 적어도 하나가 누락된 경우에는 식별 음성에 의해 제어 명령이 특정될 수 없다고 판단될 수 있다. 만일, 식별 음성에 의해 제어 명령이 특정될 수 있으면, 음성 검증부(240)는 해당 식별 음성을 인식 음성으로 확정할 수 있다.

도 5를 참조하면, 예를 들어, 확정된 식별 음성이 '고도를'일 경우, 식별 음성에 의해 제어 대상 장치(500)는 특정될 수 있으나, 구체적인 명령이 특정될 수 없다. 따라서, 음성 검증부(240)는 디스플레이 패널(610)을 통해 제어 대상 장치(500)에 대한 구체적인 명령을 특정하기 위한 화면을 표시할 수 있다. 즉, 화면에서 '고도를' 어떻게 제어할 것인지에 대한 구체적인 예시 명령들을 표시하고, 사용자는 이들 중 어느 하나의 버튼의 터치를 통해 구체적인 명령을 선택할 수 있다.

만일, 터치 감지 결과가 “고도를 높여라”에 대한 터치이면, 음성 검증부(240)는 “고도를 낮춰라”를 인식 음성으로 확정할 수 있다. 그러나, 사용자가 의도한 구체적인 명령이 존재하지 않을 경우에는 '해당 없음'의 버튼의 터치를 통해 구체적인 명령을 선택하지 않을 수 있고, 음성 검증부(240)는 이러한 터치 결과를 통해 터치 스크린(600) 상에 음성 인식이 실패하였음을 알리는 화면(예컨대, '음성 인식이 정상적으로 완료되지 못하였습니다.')을 표시할 수 있다.

이상의 설명에서는 음성 검증부(240)가 음성 인식 모듈(240)에 포함되는 것으로 설명되었으나, 실시예에 따라 음성 검증부(240)의 기능을 주제어 모듈(300) 또는 임무 컴퓨터(400)가 수행할 수도 있다.

도 6은 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템의 동작 방법을 나타낸 흐름도이다.

도 6을 참조하면, 헤드셋(50)은 사용자에 의해 발화된 음성을 아날로그 신호인 음성 신호로 변환할 수 있다(S10).

전처리부(210)는 사용자가 발화한 음성에 따른 음성 신호로부터 음성 인식에 필요한 특징 벡터를 추출할 수 있다(S20).

성문 검증부(220)는 전처리부(210)가 추출한 특징 벡터를 분석하여 미리 저장되어 있는 인증된 화자의 특징 벡터와의 유사성을 검증할 수 있다(S30).

만일 미리 저장된 인증된 화자의 특징 벡터와 현재 입력된 특징 벡터와 유사도가 기준치 미만이면, 성문 검증부(220)는 해당 특징 벡터를 무시하여 이후의 동작이 수행되지 않게 할 수 있다. 반대로 미리 저장된 인증된 화자의 특징 벡터와 현재 입력된 특징 벡터와 유사도가 기준치 이상이면, 성문 검증부(220)는 해당 특징 벡터를 음성 식별부(230)로 전달할 수 있다.

음성 식별부(230)는 추출된 특징 벡터와 미리 저장된 음향 모델과 비교할 수 있고, 비교 결과는 언어 처리 과정을 거쳐 최종 인식된 단어 또는 문장의 식별 음성을 출력할 수 있다(S40).

음성 검증부(240)는 식별 음성과 유사도를 수신하여 식별 음성을 검증할 수 있다(S50).

식별 음성과 함께 수신된 유사도가 일정 수치(예를 들어, 7) 이하이면, 음성 검증부(240)는 해당 식별 음성에 대한 검증을 수행할 수 있다. 이러한 검증은 터치 스크린(600)을 통한 검증 화면 표시 및 사용자의 터치 입력에 기반하여 수행될 수 있다. 반대로, 식별 음성과 함께 수신된 유사도가 일정 수치(예를 들어, 7)를 초과하면, 음성 검증부(240)는 해당 식별 음성에 대한 검증을 수행하지 않고 식별 음성을 확정할 수 있다. 따라서, 사용자가 음성 발화에 의한 음성 인식 오류의 발생을 방지할 수 있다.

음성 검증부(240)는 확정된 식별 음성에 의해 제어 명령이 특정될 수 있는지 판단할 수 있다(S60). 제어 명령이 생성되기 위해서는 제어 대상 장치(500)와 제어 대상 장치(500)를 제어하기 위한 구체적인 명령이 특정되어야 하는데, 제어 대상 장치(500)와 구체적인 명령 중 적어도 하나가 누락된 경우에는 식별 음성에 의해 제어 명령이 특정될 수 없다고 판단될 수 있다.

만일 확정된 식별 음성에 의해 제어 명령이 특정될 수 없는 경우(S60의 NO), 음성 검증부(240)는 터치 스크린(600)을 통해 제어 대상 장치(500) 또는 제어 대상 장치(500)에 대한 구체적인 명령을 특정하기 위한 화면을 표시하고, 사용자의 선택에 대응하는 터치 입력을 수신할 수 있다(S70). 따라서, 사용자가 부정확한 음성 명령을 내리더라도 빠르게 정확한 제어 명령으로 수정할 수 있도록 할 수 있다.

만일 확정된 식별 음성에 의해 제어 명령이 특정될 수 있는 경우(S60의 YES), 음성 검증부(240)는 해당 식별 음성을 인식 음성으로 확정할 수 있다.

음성 검증부(240)는 인식 음성을 확정한 뒤, 확정된 인식 음성을 주제어 모듈(300)로 전달하고, 주제어 모듈(300)은 인식 음성에 기초하여 제어 명령을 생성하여 임무 컴퓨터(400)를 통해 제어 대상 장치(500)로 전달함으로써 사용자의 음성에 대응하는 제어 동작이 수행되도록 한다(S80).

이상에서 설명한 바와 같이, 본 발명의 일 실시예에 따른 항공기용 음성 인식 기반 처리 시스템 및 이의 동작 방법에 의하면, 비행 또는 전시의 항공기에 대한 제어시 음성 명령의 입력 오류는 치명적일 수 있기 때문에, 음성에 대한 인증을 강화하고 언제든지 오류 명령을 취소하거나 이를 보조하여 입력할 수 있도록 하여 전시 운용성을 확보할 수 있다.

상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

사용자의 음성을 아날로그 형태의 음성 신호로 변환하는 마이크;
상기 음성 신호를 인식하여 인식 음성을 생성하고, 상기 인식 음성에 대응하는 제어 명령을 생성하는 인터콤;
상기 제어 명령을 기반으로 항공기의 비행 기능을 관리하는 복수의 제어 대상 장치들 중에서 하나의 제어 대상 장치를 선택하고, 상기 제어 대상 장치로 상기 제어 명령을 전달하는 임무 컴퓨터; 및
상기 제어 명령에 따라 상기 제어 대상 장치의 상태를 변경하는 상기 제어 대상 장치를 포함하며,
상기 인터콤은, 상기 음성 신호를 인식하여 인식 음성을 결정하는 음성 인식 모듈; 및
상기 인터콤의 전반적인 동작을 제어하는 주제어 모듈을 포함하며,
상기 음성 인식 모듈은, 상기 음성 신호에서 음성 인식에 필요한 특징 벡터를 추출하는 전처리부;
인증된 사용자의 미리 저장된 특징 벡터와 상기 추출된 특징 벡터 간의 유사성을 검증하여 제1 유사도를 계산하며, 상기 제1 유사도가 미리 지정된 제1 기준치 미만이면, 화면 상에 상기 음성 인식의 실패를 표시하고, 상기 제1 유사도가 상기 제1 기준치 이상이면, 상기 추출된 특징 벡터를 음성 식별부로 전달하는 성문 검증부;
상기 특징 벡터와 미리 저장된 음향 모델을 비교하여 상기 추출된 특징 벡터와 상기 음향 모델 간에 제2 유사도를 계산하고, 상기 제2 유사도를 기반으로 상기 추출된 특징 벡터에 대응하는 식별 음성을 검색하는 상기 음성 식별부; 및
상기 제2 유사도가 미리 지정된 제2 기준치를 초과하면, 상기 식별 음성을 상기 인식 음성으로 확정하며, 상기 인식 음성에서 상기 제어 대상 장치들 중 하나의 제어 대상 장치와 상기 제어 대상 장치를 제어하기 위한 구체적인 명령이 특정되는지 여부를 판단하고, 상기 제어 대상 장치와 상기 구체적인 명령이 특정되면, 상기 제어 대상 장치와 상기 구체적인 명령을 포함하는 상기 제어 명령을 생성하며, 상기 제어 대상 장치가 특정되나 상기 구체적인 명령이 특정되지 않는 경우, 상기 화면 상에 상기 특정된 제어 대상 장치를 포함하는 복수의 구체적인 예시 명령들과 상기 구체적인 예시 명령들에 상기 사용자가 의도한 구체적인 명령이 존재하지 않음을 나타내는 제1 지시어를 포함하는 제1 메시지를 표시하고, 상기 사용자에 의해 상기 제1 지시어가 선택되면, 상기 화면 상에 상기 음성 인식의 실패를 표시하며, 상기 사용자에 의해 상기 구체적인 예시 명령들 중에서 하나의 구체적인 예시 명령이 선택되면, 상기 선택된 구체적인 예시 명령을 상기 구체적인 명령으로 결정하고, 상기 특정된 제어 대상 장치와 상기 결정된 구체적인 명령을 포함하는 상기 제어 명령을 생성하는 음성 검증부를 포함하는 항공기용 음성 인식 기반 처리 장치.
제1항에 있어서,
상기 음성 검증부는, 상기 제2 유사도가 상기 제2 기준치 이하이면, 상기 화면 상에 상기 식별 음성이 상기 사용자가 발화한 음성인지 여부를 문의하는 제2 메시지를 표시하며, 상기 사용자로부터 상기 식별 음성이 상기 발화한 음성이 아니라는 답변이 수신되면, 상기 화면 상에 상기 음성 인식의 실패를 표시하고, 상기 사용자로부터 상기 식별 음성이 상기 발화한 음성이라는 답변이 수신되면, 상기 식별 음성을 상기 인식 음성으로 확정하는 것을 특징으로 하는 항공기용 음성 인식 기반 처리 장치.
삭제