KR102486908B1 - Voice recognition-based pilot assistant control apparatus and method therefor - Google Patents

Voice recognition-based pilot assistant control apparatus and method therefor Download PDF

Info

Publication number
KR102486908B1
KR102486908B1 KR1020220116196A KR20220116196A KR102486908B1 KR 102486908 B1 KR102486908 B1 KR 102486908B1 KR 1020220116196 A KR1020220116196 A KR 1020220116196A KR 20220116196 A KR20220116196 A KR 20220116196A KR 102486908 B1 KR102486908 B1 KR 102486908B1
Authority
KR
South Korea
Prior art keywords
command
database
noise
control
voice
Prior art date
Application number
KR1020220116196A
Other languages
Korean (ko)
Inventor
조현철
김세훈
Original Assignee
한화시스템(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템(주) filed Critical 한화시스템(주)
Priority to KR1020220116196A priority Critical patent/KR102486908B1/en
Application granted granted Critical
Publication of KR102486908B1 publication Critical patent/KR102486908B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Selective Calling Equipment (AREA)

Abstract

The present invention relates to a voice recognition-based pilot assistant control device and a method therefor, configured to build a database of noises, words, and commands through voice recognition reinforcement learning, detect a pilot command by using data built in the database with respect to input voice of a pilot, and then enable control to be performed according to the detected command. The device comprises: a database storing reinforcement learning-processed voice signal learning data for assistant control of an aircraft; and a command processing unit which classifies, when a voice signal with respect to an aircraft assistant control instruction is input from a pilot, commands from input voice signals by using voice signal learning data stored in the database and then provides control signals corresponding to the classified commands. According to the present invention, it is possible to minimize a voice recognition error rate through a voice recognition reinforcement module.

Description

음성 인식 기반 조종사 보조 제어장치 및 그 방법{Voice recognition-based pilot assistant control apparatus and method therefor}Voice recognition-based pilot assistant control apparatus and method thereof {Voice recognition-based pilot assistant control apparatus and method therefor}

본 발명은 음성 인식 기반 조종사 보조 제어장치 및 그 방법에 관한 것으로서, 특히 음성 인식 강화 학습을 통해 소음, 단어 및 명령어 데이터베이스를 구축하고, 입력되는 조종사의 음성에 대하여 데이터베이스에 구축된 데이터를 이용하여 조종사 명령어를 검출한 후, 검출된 명령어에 따라 해당 제어를 수행할 수 있도록 한 음성 인식 기반 조종사 보조 제어장치 및 그 방법에 관한 것이다. The present invention relates to a voice recognition-based pilot assist control device and method thereof, and in particular, constructs a database of noise, words, and commands through voice recognition reinforcement learning, and uses data built in the database with respect to the pilot's voice to be input. After detecting a command, it relates to a voice recognition-based pilot auxiliary control device and method for performing corresponding control according to the detected command.

항공기의 운항 또는 임무장비의 운용 시에, 항공 조종사는 특정 기술 또는 모드로 진입하기 위하여 각각에 맞는 다소 까다로운 절차를 거쳐야 한다. When operating an aircraft or operating mission equipment, an airline pilot must go through a rather difficult procedure to enter a specific skill or mode.

통상적으로 항공 조종사가 비행 중 복잡한 비행기 운항 기술을 적용하는 데는 평균 한동작당 30초 이상 정도가 소요된다. 이는 항공 조종사가 각각의 절차를 인식하고, 그에 상응하는 작동 손잡이를 건드리고 버튼을 누르는데 일정 시간이 소비되기 때문이다. Typically, it takes an average of 30 seconds or more for an airline pilot to apply complex flight maneuvers during flight. This is because airline pilots spend a certain amount of time recognizing each procedure, touching the corresponding operating knobs and pressing buttons.

위와 같은 절차 소요 및 이에 따른 시간 소비는 항공 운항상 편의성을 떨어뜨리는 문제를 가지며, 무엇보다 매초 촉각을 다투게 되는 항공 교전 시에 임무장비 운용의 순발력이 현저하게 떨어지게 되는 치명적인 약점을 야기하게 된다. The above procedures and consequent time consumption have a problem of reducing the convenience of air operation, and above all, cause a fatal weakness in that the agility of mission equipment operation is significantly reduced during an air engagement in which every second is contested.

한편, 최근 IT 업계를 포함한 다양한 분야에서 최고 화두 중 하나는 인간의 자연어를 인식하는 음성인식 기능과, 이를 이용한 인공지능 서비스이다. 가장 대표적인 예로서 사용자가 스마트폰에 음성을 입력함으로써, 서비스의 개시 또는 특정 메뉴얼로의 진입 등을 제어할 수 있는 가상비서 기술이 상용되고 있다. On the other hand, one of the hottest topics in various fields including the recent IT industry is the voice recognition function that recognizes human natural language and artificial intelligence service using it. As a representative example, a virtual assistant technology that allows a user to control the start of a service or entry into a specific manual by inputting a voice into a smartphone is commercially available.

이러한 음성인식 기능을 이용한 인공지능 기술은 4차 산업의 핵심적인 기술로 떠오르고 있으며, 현재 스마트폰 분야뿐만 아니라 다양한 분야에서의 기술 접근성이 점차 높아지고 있다. Artificial intelligence technology using these voice recognition functions is emerging as a key technology in the 4th industry, and technology accessibility is gradually increasing not only in the smartphone field but also in various fields.

전술한 항공 조종사의 비행 중 복잡한 비행기 운항 기술의 적용 또는 예비단계의 진입에 대한 수동적인 절차를, 음성인식 기능을 이용한 인공지능 기술을 적용한 자동 절차로 대체하는 경우, 항공기 운용상의 불필요한 절차를 생략하고 시간 소모를 줄일 수 있게 된다.In the case of replacing the above-mentioned manual procedures for the application of complicated airplane operation techniques or entry into the preliminary stage during the flight of an airline pilot with an automatic procedure applied with artificial intelligence technology using voice recognition, unnecessary procedures in aircraft operation are omitted and You can reduce time consumption.

대한민국 선행 등록특허 10-2394046호(발명의 명칭: 음성인식 기능을 이용한 항공기 제어시스템 및 제어방법)는 음성인식을 이용하여 각종 운용절차의 자동진입 기능을 갖도록 하는 항공기 제어시스템 및 제어방법을 개시한다. Republic of Korea Prior Registration Patent No. 10-2394046 (Title of Invention: Aircraft Control System and Control Method Using Voice Recognition) discloses an aircraft control system and control method that have automatic entry of various operating procedures using voice recognition. .

그러나, 이러한 선행 등록특허는 음성인식 기반의 항공기 제어 모듈의 제어 진행 시, 외부 항공기에 대한 소음으로 인해 음성인식이 정확하게 이루어지지 않는 문제점이 발생한다. 즉, 외부 소음에 의한 음성인식 오류 발생시 별도의 화면이 제어될 경우, 비행 안전에 심각한 문제가 발생될 수 있다. However, these prior registered patents have a problem in that voice recognition is not accurately performed due to noise from an external aircraft during control of the voice recognition-based aircraft control module. That is, if a separate screen is controlled when a voice recognition error occurs due to external noise, a serious problem may occur in flight safety.

따라서, 외부 항공기에 대한 소음을 억제하고 정확한 음성 명령이 이루어질 수 있도록 한 연구개발이 필요한 실정이다. Therefore, there is a need for research and development to suppress the noise of the external aircraft and enable accurate voice commands to be made.

따라서, 본 발명은 상기한 문제점을 해결하기 위한 것으로 본 발명의 목적은, 음성 인식 강화 학습을 통해 소음, 단어 및 명령어 데이터베이스를 구축하고, 입력되는 조종사의 음성에 대하여 데이터베이스에 구축된 데이터를 이용하여 조종사 명령어를 검출한 후, 검출된 명령어에 따라 해당 제어를 수행할 수 있도록 한 음성 인식 기반 조종사 보조 제어장치 및 그 방법을 제공함에 있다.Therefore, the present invention is to solve the above problems, and an object of the present invention is to build a database of noise, words and commands through voice recognition reinforcement learning, and use the data built in the database for the input pilot's voice An object of the present invention is to provide a voice recognition-based pilot auxiliary control device and method capable of performing corresponding control according to the detected command after detecting a pilot command.

본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved in the present invention is not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 음성 인식 기반 조종사 보조 제어장치는, 항공기의 보조 제어를 위한 강화 학습 처리된 음성신호 학습 데이터를 저장하는 데이터베이스; 및 조종사로부터 항공기 보조 제어 명령에 대한 음성신호가 입력되면, 상기 데이터베이스에 저장된 음성신호 학습 데이터를 이용하여 입력된 음성신호로부터 명령어를 분류한 후, 분류된 명령어에 대응하는 제어신호를 제공하는 명령어 처리부를 포함할 수 있다. In order to achieve the above object, a voice recognition-based pilot assistance control device according to an embodiment of the present invention includes a database for storing reinforcement learning-processed speech signal learning data for assistance control of an aircraft; and a command processing unit configured to classify commands from the input voice signals using the voice signal learning data stored in the database when a voice signal for an aircraft auxiliary control command is input from the pilot, and then provide a control signal corresponding to the classified command. can include

상기 데이터베이스는, 조종사의 다양한 입력 음성신호에 대하여 학습된 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터를 저장할 수 있다. The database may store various noise (noise) signals, words, and command type data learned with respect to various input voice signals of the pilot.

상기 데이터베이스는, 지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 저장하는 소음 데이터베이스; 다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 저장하는 단어 데이터베이스; 및 다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 신호에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 저장하는 명령어 데이터베이스를 포함할 수 있다. The database may include: a noise database for learning about aircraft noise from input voice data using an aircraft noise learning model in a learning device on the ground and storing the learned noise data; a word database for learning pilot voice words from input voice data by using a voice word learning model for voice words usable by various pilots and storing the learned word data; And using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots to learn the control commands desired by the pilot from the voice signal input, and to store each command data according to the type of learned command It may contain a command database.

상기 조종사의 음성신호는 마이크를 통해 입력될 수 있다. The pilot's voice signal may be input through a microphone.

상기 명령어 처리부는, 항공기 운항 중 조종사의 음성신호가 입력되면, 상기 소음 데이터베이스에 저장된 다양한 소음 데이터를 이용하여 입력 음성 신호로부터 소음신호를 제거하고, 상기 단어 데이터베이스에 저장된 다양한 단어 데이터를 이용하여 상기 소음신호가 제거된 입력 음성신호로부터 단어 데이터를 추출한 후, 상기 추출된 단어 데이터와 명령어 데이터베이스에 저장된 다양한 종류의 명령어 데이터를 비교하여 해당 단어가 어떠한 명령어인지를 구분할 수 있다. When a pilot's voice signal is input during flight, the command processing unit removes the noise signal from the input voice signal using various noise data stored in the noise database, and uses various word data stored in the word database to remove the noise signal. After word data is extracted from the input voice signal from which the signal has been removed, it is possible to distinguish what kind of command the word corresponds to by comparing the extracted word data with various types of command data stored in the command database.

상기 명령어 처리부는, 조종사로부터 소음(잡음)이 포함된 음성신호가 입력되면, 상기 소음 데이터베이스를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거하는 소음 제거부; 상기 소음이 제거된 음성신호에 대하여 상기 단어 데이터베이스를 이용하여 단어를 추출하는 단어 추출부; 및 상기 추출된 단어가 어떠한 명령어인지를 상기 명령어 데이터베이스를 이용하여 분류한 후, 분류된 명령어를 항공기 보조 제어를 위한 제어 명령어로 제공하는 명령어 분류부를 포함할 수 있다. The command processing unit may include a noise removal unit that removes the noise signal included in the input voice signal using the noise database when a voice signal containing noise (noise) is input from the pilot; a word extraction unit extracting words from the noise-removed voice signal using the word database; and a command classification unit configured to classify the extracted word using the command database and provide the classified command as a control command for auxiliary control of the aircraft.

상기 명령어 처리부는, 상기 명령어 분류부에서 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 지상의 학습 장치로 전송하는 통신부를 더 포함할 수 있다. The command processing unit may further include a communication unit for transmitting words, noises, and commands to a terrestrial learning device for additional reinforcement learning, when a command classification result from the command classification unit is a command that does not exist in the command database. can

상기 항공기 보조 제어 명령어는, 항공기 화면 제어 명령어, 임무 보조 제어를 위한 명령어, 비행 보조 제어를 위한 명령어 중 적어도 하나 이상을 포함할 수 있다. The aircraft auxiliary control command may include at least one of an aircraft screen control command, a command for mission assistance control, and a command for flight assistance control.

상기 명령어 처리부로부터 분류된 명령어에 대응하는 제어신호에 따라 항공기의 보조 제어를 수행하는 항공기 보조 제어부를 더 포함할 수 있다. It may further include an aircraft auxiliary control unit that performs auxiliary control of the aircraft according to a control signal corresponding to the command classified from the command processing unit.

상기 명령어 분류부로부터 분류된 명령어가 화면 제어 명령어일 경우, 해당 화면 제어 명령어에 따라 해당 화면을 제어하는 화면 제어부; 상기 명령어 분류부로부터 분류된 명령어가 임무 보조 명령어일 경우, 해당 임무 보조 제어 명령어에 따라 해당 임무 보조 제어를 수행하는 임무 보조 제어부; 및 상기 명령어 분류부로부터 분류된 명령어가 비행 보조 명령어일 경우, 해당 비행 보조 제어 명령어에 따라 해당 비행 보조 제어를 수행하는 비행 보조 제어부를 포함할 수 있다. a screen control unit controlling a corresponding screen according to the corresponding screen control command when the command classified by the command classification unit is a screen control command; a mission auxiliary control unit that performs a corresponding mission auxiliary control according to a corresponding mission auxiliary control command when the command classified from the command classification unit is a mission auxiliary command; and a flight assistance control unit that performs the flight assistance control according to the flight assistance control command when the command classified from the command classification unit is a flight assistance command.

한편, 본 발명의 다른 실시예에 따른 음성 인식 기반 조종사 보조 제어방법은, 항공기의 보조 제어를 위한 강화 학습 처리된 음성신호 학습 데이터를 저장하는 데이터베이스를 구축하는 단계; 및 조종사로부터 항공기 보조 제어 명령에 대한 음성신호가 입력되면, 상기 데이터베이스에 저장된 음성신호 학습 데이터를 이용하여 입력된 음성신호로부터 명령어를 분류한 후, 분류된 명령어에 대응하는 제어신호를 제공하는 단계를 포함할 수 있다. Meanwhile, a voice recognition-based pilot assistance control method according to another embodiment of the present invention includes the steps of constructing a database for storing reinforcement learning-processed speech signal learning data for assistance control of an aircraft; and when a voice signal for an aircraft auxiliary control command is input from the pilot, classifying the command from the input voice signal using the voice signal learning data stored in the database, and then providing a control signal corresponding to the classified command. can include

상기 데이터베이스는, 조종사의 다양한 입력 음성신호에 대하여 학습된 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터를 저장할 수 있다. The database may store various noise (noise) signals, words, and command type data learned with respect to various input voice signals of the pilot.

상기 데이터베이스는, 지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 저장하는 소음 데이터베이스; 다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 저장하는 단어 데이터베이스; 및 다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 신호에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 저장하는 명령어 데이터베이스를 포함할 수 있다. The database may include: a noise database for learning about aircraft noise from input voice data using an aircraft noise learning model in a learning device on the ground and storing the learned noise data; a word database for learning pilot voice words from input voice data by using a voice word learning model for voice words usable by various pilots and storing the learned word data; And using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots to learn the control commands desired by the pilot from the voice signal input, and to store each command data according to the type of learned command It may contain a command database.

상기 조종사의 음성신호는 마이크를 통해 입력될 수 있다. The pilot's voice signal may be input through a microphone.

상기 분류된 명령어에 대응하는 제어신호를 제공하는 단계는, 조종사로부터 소음(잡음)이 포함된 음성신호가 입력되면, 상기 소음 데이터베이스를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거하는 단계; 상기 소음이 제거된 음성신호에 대하여 상기 단어 데이터베이스를 이용하여 단어를 추출하는 단계; 및 상기 추출된 단어가 어떠한 명령어인지를 상기 명령어 데이터베이스를 이용하여 분류한 후, 분류된 명령어를 항공기 보조 제어를 위한 제어 명령어로 제공하는 단계를 포함할 수 있다. Providing a control signal corresponding to the classified command may include, when a voice signal containing noise (noise) is input from a pilot, removing the noise signal included in the input voice signal using the noise database; extracting words from the noise-removed voice signal using the word database; and classifying what command the extracted word is using the command database, and then providing the classified command as a control command for auxiliary control of the aircraft.

상기 제어 명령어로 제공하는 단계에서, 상기 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 지상의 학습 장치로 전송하는 단계를 더 포함할 수 있다. In the step of providing the control command, if the command is classified as a command that does not exist in the command database, transmitting words, noises, and commands to a ground learning device for additional reinforcement learning. can

상기 항공기 보조 제어 명령어는, 항공기 화면 제어 명령어, 임무 보조 제어를 위한 명령어, 비행 보조 제어를 위한 명령어 중 적어도 하나 이상을 포함할 수 있다. The aircraft auxiliary control command may include at least one of an aircraft screen control command, a command for mission assistance control, and a command for flight assistance control.

상기 분류된 명령어가 화면 제어 명령어일 경우, 해당 화면 제어 명령어에 따라 해당 화면을 제어하고, 상기 분류된 명령어가 임무 보조 명령어일 경우, 해당 임무 보조 제어 명령어에 따라 해당 임무 보조 제어를 수행하며, 상기 분류된 명령어가 비행 보조 명령어일 경우, 해당 비행 보조 제어 명령어에 따라 해당 비행 보조 제어를 수행하는 단계를 더 포함할 수 있다. When the classified command is a screen control command, the corresponding screen is controlled according to the corresponding screen control command, and when the classified command is a mission auxiliary command, the corresponding mission auxiliary control is performed according to the corresponding mission auxiliary control command. When the classified command is a flight assistance command, the method may further include performing the corresponding flight assistance control according to the flight assistance control command.

본 발명에 따르면, 음성인식 강화 모듈을 통해 조종사의 음성인식 오류율을 최소화하여 음성 제어를 통한 비행안전에 있어 안전성 강화 효과가 있다. According to the present invention, there is a safety enhancement effect in flight safety through voice control by minimizing a pilot's voice recognition error rate through a voice recognition enhancement module.

또한, 본 발명에 따르면, 조종사가 임무 수행 시, 동시 다발적으로 여러 항공전자 장비를 제어해야 하는 상황에서 임무 부하를 줄일 수 있는 효과를 가질 수 있다. In addition, according to the present invention, when a pilot performs a mission, it is possible to have an effect of reducing mission load in a situation in which several avionics equipment must be simultaneously controlled.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

이하에 첨부되는 도면들은 본 실시 예에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 실시 예들을 제공한다. 다만, 본 실시 예의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치에 대한 개략적인 블록 구성을 나타낸 도면.
도 2는 도 1에 도시된 음성 인식 기반 조종사 보조 제어장치에 대한 상세 블록 구성을 나타낸 도면.
도 3은 본 발명에 따른 음성 인식 기반 조종사 보조 제어 방법에 대한 동작 플로우챠트를 나타낸 도면.The accompanying drawings are provided to aid understanding of the present embodiment, and provide embodiments along with detailed descriptions. However, the technical features of this embodiment are not limited to specific drawings, and features disclosed in each drawing may be combined with each other to form a new embodiment.
1 is a diagram showing a schematic block configuration of a voice recognition-based pilot assistance control device according to the present invention.
FIG. 2 is a diagram showing a detailed block configuration of the voice recognition-based pilot assistance control device shown in FIG. 1;
3 is a flowchart illustrating an operation of a voice recognition-based pilot assistance control method according to the present invention.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.For the embodiments of the present invention disclosed in the text, specific structural or functional descriptions are only exemplified for the purpose of describing the embodiments of the present invention, and the embodiments of the present invention can be implemented in various forms, and It should not be construed as limited to the described embodiments.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and various forms, specific embodiments will be illustrated in the drawings and described in detail in the text. However, it should be understood that this is not intended to limit the present invention to the specific disclosed form, and includes all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being “connected” or “connected” to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when a component is referred to as “directly connected” or “directly connected” to another component, it should be understood that no other component exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, terms such as “comprise” or “have” are intended to indicate that the disclosed feature, number, step, operation, component, part, or combination thereof exists, but that one or more other features or numbers, It should be understood that the presence or addition of steps, operations, components, parts, or combinations thereof is not precluded.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, it should not be interpreted in an ideal or excessively formal meaning. don't

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 플로우챠트(순서도)에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.On the other hand, when a certain embodiment can be implemented differently, functions or operations specified in a specific block may occur in a different order from the order specified in the flowchart (flow chart). For example, two successive blocks may actually be performed substantially concurrently, or the blocks may be performed backwards depending on the function or operation involved.

이하, 본 발명의 바람직한 실시 예에 따른 음성 인식 기반 조종사 보조 제어장치 및 그 방법에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, a voice recognition-based pilot assistance control device and method according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치에 대한 블록 구성을 나타낸 도면이다.1 is a diagram showing the block configuration of a voice recognition-based pilot assistance control device according to the present invention.

도 1에 도시된 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치는, 음성 입력부(100), 데이터베이스(200), 명령어 처리부(300) 및 보조 제어부(400)를 포함할 수 있다. The voice recognition-based pilot auxiliary control device according to the present invention shown in FIG. 1 may include a voice input unit 100, a database 200, a command processing unit 300, and an auxiliary control unit 400.

상기 음성 입력부(100)는 항공기 운항중 조종사로부터 입력되는 음성신호를 명령어 처리부(300)로 제공한다. 여기서, 상기 음성 입력부(100)는 마이크일 수 있으며, 입력되는 음성신호에는 다양한 잡음들을 포함할 수 있다. The voice input unit 100 provides a voice signal input from a pilot during flight to the command processing unit 300 . Here, the voice input unit 100 may be a microphone, and the input voice signal may include various noises.

상기 데이터베이스(200)는 조종사의 다양한 입력 음성신호에 대하여 학습된 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터에 대하여 저장할 수 있다. 여기서, 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터에 대한 학습은 지상의 별도의 학습 장치를 통해 학습된 후, 데이터베이스(200)에 각각 소음, 단어 및 명령어 종류들이 각각 데이터베이스로 구축될 수 있다. The database 200 may store various noise (noise) signals, words, and command type data learned with respect to various input voice signals of the pilot. Here, after learning about various noise (noise) signals, words, and command type data is learned through a separate learning device on the ground, each noise, word, and command type can be built as a database in the database 200. .

즉, 지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 데이터베이스(200)에 저장한다. 여기서, 이때 항공기 소음은 조종사 기준에서 항공기 엔진과 같은 소음을 의미한다.That is, in the learning device on the ground, aircraft noise is learned from input voice data using the aircraft noise learning model, and the learned noise data is stored in the database 200. Here, the aircraft noise at this time means the same noise as an aircraft engine in terms of pilots.

그리고, 다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 데이터베이스(200)에 저장할 수 있다. In addition, pilot voice words may be learned from input voice data using a voice word learning model for voice words usable by various pilots, and the learned word data may be stored in the database 200 .

한편, 다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 데이터베이스(200)에 저장할 수 있다. On the other hand, by using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots, the control commands desired by the pilots are learned from the input voice data, and each command data according to the type of learned command is stored in a database. (200).

상기 명령어 처리부(300)는 항공기 운항 중 상기 음성 입력부(100)를 통해 조종사의 음성신호가 입력되면, 데이터베이스(200)에 저장된 다양한 소음 데이터를 이용하여 입력 음성 신호로부터 소음신호를 제거한다. When a pilot's voice signal is input through the voice input unit 100 during flight, the command processing unit 300 removes the noise signal from the input voice signal using various noise data stored in the database 200.

그리고, 상기 명령어 처리부(300)는 데이터베이스(200)에 저장된 다양한 단어 데이터를 이용하여 상기 소음신호가 제거된 입력 음성신호로부터 단어 데이터를 추출한다. Also, the command processor 300 extracts word data from the input voice signal from which the noise signal has been removed by using various word data stored in the database 200 .

또한, 명령어 처리부(300)는 상기 추출된 단어 데이터와 데이터베이스(200)에 저장된 다양한 종류의 명령어 데이터를 비교하여 해당 단어가 어떠한 명령어인지를 구분한 후, 해당 명령어 데이터를 보조 제어부(400)로 제공한다. 여기서, 상기 명령어는, 화면 제어 명령어, 임무 보조 명령어, 비행 보조 명령어로 구분될 수 있다. In addition, the command processing unit 300 compares the extracted word data with various types of command data stored in the database 200 to determine what kind of command the corresponding word is, and then provides the corresponding command data to the auxiliary control unit 400. do. Here, the command may be divided into a screen control command, a mission assistance command, and a flight assistance command.

만약, 상기 명령어 구분 시, 추출된 단어가 데이터베이스(200)에 저장된 명령어에 해당되는 단어가 아닐 경우에는 화면에 입력 명령어의 분류 실패에 대한 화면 또는 음성 메시지를 조종사에게 제공하고, 해당 조종사의 입력 음성신호(소음, 단어 정보를 포함)를 네트워크를 통해 지상에 설치된 학습 장치로 전송하여 조종사의 음성 입력의 학습을 강화하도록 할 수 있다. 이와 같이 추가되는 음성신호에 대한 학습을 다시 수행하여 학습된 학습 정보들은 네트워크를 통해 항공기로 전송하여 데이터베이스(200)에 각각 업데이트될 수 있다. If, when distinguishing the command, if the extracted word is not a word corresponding to the command stored in the database 200, a screen or voice message about the classification failure of the input command is provided to the pilot on the screen, and the pilot's input voice Signals (including noise and word information) can be transmitted through a network to a learning device installed on the ground to reinforce learning of the pilot's voice input. The learning information learned by re-learning the voice signal added in this way can be transmitted to the aircraft through the network and updated in the database 200, respectively.

상기 보조 제어부(400)는 상기 명령어 처리부(300)에서 제공되는 명령어에 따라 해당 대응하는 항공기 보조 제어를 수행할 수 있다. 예를 들어, 구분된 명령어가 화면 제어 명령일 경우, 대응하는 항공기의 화면을 제어하고, 구분된 명령어가 임무 보조 명령어일 경우 대응하는 임무 보조 제어를 수행하며, 구분된 명령어가 비행 보조 명령어일 경우에는 대응하는 비행 보조 제어를 각각 수행할 수 있는 것이다. The auxiliary control unit 400 may perform a corresponding aircraft auxiliary control according to a command provided from the command processing unit 300 . For example, if the divided command is a screen control command, the screen of the corresponding aircraft is controlled, if the divided command is a mission auxiliary command, the corresponding mission auxiliary control is performed, and if the divided command is a flight auxiliary command It is possible to perform the corresponding flight assistance control, respectively.

상기한 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치의 상세 구성 및 그에 대한 상세 동작에 대하여 도 2를 참조하여 살펴보자. The detailed configuration and detailed operation of the voice recognition-based pilot assistance control device according to the present invention will be described with reference to FIG. 2 .

도 1에 도시된 데이터베이스(200)는 소음 데이터베이스(210), 단어 데이터베이스(220) 및 명령어 데이터베이스(300)를 포함할 수 있다. The database 200 shown in FIG. 1 may include a noise database 210, a word database 220, and a command database 300.

상기 소음 데이터베이스(210)는 지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 저장한다. 여기서, 이때 항공기 소음은 조종사 기준에서 항공기 엔진과 같은 소음을 의미한다.The noise database 210 learns about aircraft noise from input voice data using an aircraft noise learning model in a learning device on the ground, and stores the learned noise data. Here, the aircraft noise at this time means the same noise as an aircraft engine in terms of pilots.

상기 단어 데이터베이스(220)는 다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 저장할 수 있다. The word database 220 may learn pilot voice words from input voice data using a voice word learning model for voice words usable by various pilots and store the learned word data.

상기 명령어 데이터베이스(230)는 다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 저장할 수 있다The command database 230 learns control commands desired by pilots from input voice data using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots, and each command according to the type of learned command of command data can be stored

한편, 도 1에 도시된 명령어 처리부(300)는, 도 2에 도시된 바와 같이 소음 제거부(310), 단어 추출부(320), 명령어 분류부(330) 및 통신부(340)를 포함할 수 있다. Meanwhile, the command processing unit 300 shown in FIG. 1 may include a noise removal unit 310, a word extraction unit 320, a command classification unit 330 and a communication unit 340 as shown in FIG. there is.

상기 소음 제거부(310)는 음성 입력부(100)로부터 입력되는 조종사의 소음(잡음)이 포함된 음성신호가 입력되면, 소음 데이터베이스(210)를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거한 후, 소음신호가 제거된 음성신호를 단어 추출부(320)로 제공한다. The noise removal unit 310 removes the noise signal included in the input voice signal using the noise database 210 when the voice signal including the noise (noise) of the pilot input from the voice input unit 100 is input. Then, the voice signal from which the noise signal has been removed is provided to the word extractor 320.

상기 단어 추출부(320)는, 상기 소음 제거부(310)로부터 제공되는 소음이 제거된 음성신호에 대하여 단어 데이터베이스(220)를 이용하여 단어를 추출한 후, 추출된 단어를 명령어 분류부(330)로 제공한다. The word extractor 320 extracts words from the noise-cancelled voice signal provided by the noise remover 310 using the word database 220, and then converts the extracted words into a command classification unit 330. provided by

상기 명령어 분류부(330)는 상기 단어 추출부(320)로부터 추출된 단어가 어떠한 명령어인지를 명령어 데이터베이스(230)를 이용하여 분류한 후, 분류된 명령어를 보조 제어부(400)로 제공한다. 여기서, 명령어 분류부(330)에서 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스(230)에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 통신부(340)를 통해 지상의 학습 장치로 전송될 수 있고, 또한, 별도의 저장장치에 추출된 단어 및 일치하지 않은 명령어를 저장한 후, 비행 후, 지상에서 저장된 정보를 학습장치로 전송하여 학습을 수행할 수도 있음을 이해해야 할 것이다. The command classification unit 330 classifies the word extracted from the word extraction unit 320 using the command database 230 and provides the classified command to the auxiliary control unit 400 . Here, as a result of command classification in the command classification unit 330, if the corresponding command is a command that does not exist in the command database 230, the terrestrial learning device through the communication unit 340 for additional reinforcement learning of words, noises, and commands. It should be understood that it may be transmitted to, and after the extracted words and non-matching commands are stored in a separate storage device, learning may be performed by transmitting the stored information on the ground to the learning device after flight.

즉, 명령어 분류부(330)는 분류된 명령어가 화면 제어를 위한 명령어 인지, 임무 보조 제어를 위한 명령어인지, 비행 보조 제어를 위한 명령어인지를 분류한 후, 분류된 해당 명령어를 보조 제어부(400)로 제공하다. That is, the command classification unit 330 classifies whether the classified command is a command for screen control, a command for mission assistance control, or a command for flight assistance control, and then sends the classified command to the auxiliary control unit 400. to provide

한편, 상기 보조 제어부(400)는 도 2에 도시된 바와 같이, 화면 제어부(410), 임무 보조 제어부(420) 및 비행 보조 제어부(430)를 포함할 수 있다. Meanwhile, as shown in FIG. 2 , the auxiliary control unit 400 may include a screen control unit 410, a mission assistance control unit 420, and a flight assistance control unit 430.

상기 화면 제어부(410)는 상기 명령어 분류부(330)로부터 제공되는 명령어에 따라 해당 명령어에 대응하는 화면을 제어할 수 있다. The screen controller 410 may control a screen corresponding to a corresponding command according to a command provided from the command classification unit 330 .

상기 임무 보조 제어부(420)는 상기 명령어 분류부(330)로부터 제공되는 명령어에 따라 해당 명령어에 대응하는 임무 보조 제어를 수행할 수 있다. The mission assistance controller 420 may perform mission assistance control corresponding to a corresponding command according to a command provided from the command classification unit 330 .

한편, 비행 보조 제어부(430)는 상기 명령어 분류부(330)로부터 제공되는 명령어에 따라 해당 명령어에 대응하는 비행 보조 제어를 수행할 수 있다. Meanwhile, the flight assistance control unit 430 may perform flight assistance control corresponding to a corresponding command according to a command provided from the command classification unit 330 .

이와 같이 도 2와 같이 구성된 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치의 순차적 동작을 설명해보기로 하자. In this way, the sequential operation of the voice recognition-based pilot assistance control device according to the present invention configured as shown in FIG. 2 will be described.

먼저, 지상의 학습 장치를 이용하여 다양한 조종사의 음성신호에 대하여 소음, 단어 및 명령어 대한 학습을 수행하고, 학습된 소음, 단어 및 명령어에 대한 도 2에 도시된 소음 데이터베이스(210), 단어 데이터베이스(220) 및 명령어 데이터베이스(230)를 각각 구축한다. First, learning about noise, words, and commands is performed for various pilots' voice signals using a learning device on the ground, and the noise database 210 shown in FIG. 2 and the word database ( 220) and command database 230 are respectively built.

그리고, 항공기 운항 중 조종사로부터 음성 입력부(100)를 통해 음성 입력신호가 입력되면, 소음 제거부(310)는 소음 데이터베이스(210)를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거한 후, 소음신호가 제거된 음성신호를 단어 추출부(320)로 제공한다.And, when a voice input signal is input from a pilot through the voice input unit 100 during flight, the noise removal unit 310 removes the noise signal included in the input voice signal using the noise database 210, and then removes the noise signal. The voice signal from which the signal has been removed is provided to the word extraction unit 320 .

상기 단어 추출부(320)는, 상기 소음 제거부(310)로부터 제공되는 소음이 제거된 음성신호에 대하여 단어 데이터베이스(220)를 이용하여 단어를 추출한 후, 추출된 단어를 명령어 분류부(330)로 제공한다. The word extractor 320 extracts words from the noise-cancelled voice signal provided by the noise remover 310 using the word database 220, and then converts the extracted words into a command classification unit 330. provided by

상기 명령어 분류부(330)는 상기 단어 추출부(320)로부터 추출된 단어가 어떠한 명령어인지를 명령어 데이터베이스(230)를 이용하여 분류한 후, 분류된 명령어를 보조 제어부(400)로 제공한다. The command classification unit 330 classifies the word extracted from the word extraction unit 320 using the command database 230 and provides the classified command to the auxiliary control unit 400 .

상기 명령어 분류부(330)에서 명령어 데이터베이스(230)을 통해 명령어 분류 결과, 해당 명령어가 화면 제어를 위한 명령어일 경우에는, 해당 명령어를 화면 제어부(410)으로 제공하여 해당 명령어에 대응하는 화면을 제어하고, 해당 명령어가 임무 보조 제어를 위한 명령어일 경우에는, 해당 명령어를 임무 보조 제어부(420)로 제공하여 해당 명령어에 대응하는 임무 보조 제어를 수행하며, 해당 명령어가 비행 보조 제어를 위한 명령어일 경우에는, 해당 명령어를 비행 보조 제어부(430)로 제공하여 해당 명령어에 대응하는 비행 보조 제어를 각각 수행하게 되는 것이다. As a result of classifying commands through the command database 230 in the command classification unit 330, if the corresponding command is a command for screen control, the corresponding command is provided to the screen controller 410 to control the screen corresponding to the command. and, when the corresponding command is a command for assisted mission control, the command is provided to the assisted mission control unit 420 to perform the assisted mission control corresponding to the command, and when the command is a command for assisted flight control. , the corresponding command is provided to the flight assistance control unit 430 to perform flight assistance control corresponding to the command.

그러나, 명령어 분류부(330)에서 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스(230)에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 통신부(340)를 통해 지상의 학습 장치로 전송할 수 있으며, 또한, 별도의 저장장치에 추출된 단어 및 일치하지 않은 명령어를 저장한 후, 비행 후, 지상에서 저장된 정보를 학습장치로 전송하여 학습을 수행할 수도 있음을 이해해야 할 것이다. However, as a result of command classification by the command classification unit 330, if the corresponding command is a command that does not exist in the command database 230, the terrestrial learning device through the communication unit 340 for additional reinforcement learning of words, noises, and commands. It should be understood that it may be transmitted to, and after the extracted words and non-matching commands are stored in a separate storage device, learning may be performed by transmitting the stored information from the ground to the learning device after flight.

상기한 바와 같은 본 발명에 따른 음성 인식 기반 조종사 보조 제어장치의 동작에 대응하는 본 발명에 따른 음성 인식 기반 조종사 보조 제어방법에 대하여 첨부한 도 3을 참조하여 단계적으로 설명해보기로 하자. A voice recognition-based pilot assistance control method according to the present invention corresponding to the operation of the voice recognition-based pilot assistance control device according to the present invention as described above will be described step by step with reference to FIG. 3 attached.

도 3은 본 발명에 따른 음성 인식 기반 조종사 보조 제어방법에 대한 동작 플로우챠트를 나타낸 도면이다. 3 is a flowchart illustrating an operation of a voice recognition-based pilot assistance control method according to the present invention.

도 3을 참조하면, 먼저 지상의 학습 장치를 이용하여 다양한 조종사의 음성신호에 대하여 소음, 단어 및 명령어 대한 학습을 수행하고, 학습된 소음, 단어 및 명령어에 대한 소음 데이터베이스, 단어 데이터베이스 및 명령어 데이터베이스를 각각 구축할 수 있다(S301). Referring to FIG. 3, first, using a learning device on the ground, learning about noise, words, and commands is performed for various pilot voice signals, and a noise database, a word database, and a command database for the learned noises, words, and commands are created. Each can be built (S301).

이어, 항공기 운항 중 조종사로부터 마이크 등을 통해 음성 입력신호가 입력되는지 판단한다(S302). Subsequently, it is determined whether a voice input signal is input from the pilot through a microphone or the like during flight (S302).

판단 결과, 조종사로부터 음성신호가 입력되면, S301단계를 통해 구축된 소음 데이터베이스를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거한다(S303).As a result of the determination, when a voice signal is input from the pilot, the noise signal included in the input voice signal is removed using the noise database constructed in step S301 (S303).

이어, 상기 S303 단계를 통해 소음이 제거된 후, 상기 S301 단계를 통해 구축된 단어 데이터베이스를 이용하여 소음이 제거된 음성신호로부터 단어를 추출한다(S304).Next, after the noise is removed through the step S303, words are extracted from the noise-removed voice signal using the word database built through the step S301 (S304).

이어, 상기 S304 단계를 통해 추출된 단어가 어떠한 명령어인지를 명령어 데이터베이스를 이용하여 분류한다(S305).Subsequently, the word extracted through step S304 is classified as a command using a command database (S305).

이어, 상기 S305 단계를 통해 분류된 명령어가 화면 제어를 위한 명령어인지를 판단한다(S306).Next, it is determined whether the command classified through the step S305 is a command for screen control (S306).

판단 결과, 상기 분류된 명령어가 화면 제어 명령어일 경우에는, 해당 명령어에 대응하는 화면을 제어한다(S309).As a result of the determination, if the classified command is a screen control command, the screen corresponding to the command is controlled (S309).

그러나, 상기 S306 단계에서, 분류된 명령어가 화면 제어 명령어가 아닌 경우, 분류된 명령어가 임무 보조 제어 명령어인지를 판단한다(S307).However, in step S306, if the classified command is not a screen control command, it is determined whether the classified command is a mission auxiliary control command (S307).

판단 결과, 해당 명령어가 임무 보조 제어를 위한 명령어일 경우에는, 해당 명령어에 대응하는 임무 보조 제어를 수행한다(S310).As a result of the determination, if the corresponding command is a command for mission assistance control, the mission assistance control corresponding to the corresponding command is performed (S310).

그러나, 상기 S307단계에서의 판단 결과, 분류된 명령어가 업무보조 제어 명령어가 아닌 경우에 해당 명령어가 비행 보조 제어를 위한 명령어인지를 판단한다(S308).However, as a result of the determination in step S307, if the classified command is not a task-assisted control command, it is determined whether the corresponding command is a flight-assisted control command (S308).

판단 결과, 분류된 명령어가 비행 보조 제어를 위한 명령어일 경우에는, 해당 명령어 대응하는 비행 보조 제어를 각각 수행하게 되는 것이다(S311).As a result of the determination, if the classified command is a command for flight assistance control, flight assistance control corresponding to the command is performed respectively (S311).

한편, 상기 S306단계, S307단계 및 S308 단계에서의 판단 결과. 분류된 명령어가 화면 제어 명령어, 임무 보조 제어 명령어 및 비행 보조 명령어가 모두 아닌 경우에는, 즉, 상기 분류된 명령어가 명령어 데이터베이스에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 네트워크를 통해 지상의 학습 장치로 전송하여 강화 학습에 이용할 수도 있고, 또한, 별도의 저장장치에 추출된 단어 및 일치하지 않은 명령어를 저장한 후, 비행 후, 지상에서 저장된 정보를 학습장치로 전송하여 학습을 수행할 수도 있다(S312). On the other hand, the determination results in the steps S306, S307 and S308. For additional reinforcement learning of words, noises, and commands when the classified commands are not all screen control commands, mission assist control commands, and flight assist commands, that is, when the classified commands are commands that do not exist in the command database. It can be transmitted to a learning device on the ground through a network and used for reinforcement learning. In addition, after saving the extracted words and commands that do not match in a separate storage device, after flight, the stored information is transmitted to the learning device on the ground. Learning may be performed (S312).

이상에서 전술한 본 발명의 일 실시예에 따른 음성 인식 기반 조종사 보조 제어방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. The above-described voice recognition-based pilot assistance control method according to an embodiment of the present invention may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, Ruby, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다. The above-mentioned program is C, C++, JAVA, Ruby, C, C++, JAVA, Ruby, which the processor (CPU) of the computer can read through the device interface of the computer so that the computer reads the program and executes the methods implemented as a program. It may include a code coded in a computer language such as machine language. Such codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which additional information or media necessary for the processor of the computer to execute the functions should be referenced from which location (address address) of the computer's internal or external memory. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the communication module of the computer to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.The storage medium is not a medium that stores data for a short moment, such as a register, cache, or memory, but a medium that stores data semi-permanently and is readable by a device. Specifically, examples of the storage medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., but are not limited thereto. That is, the program may be stored in various recording media on various servers accessible by the computer or various recording media on the user's computer. In addition, the medium may be distributed to computer systems connected by a network, and computer readable codes may be stored in a distributed manner.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100 : 음성 입력부
200 : 데이터베이스
210 : 소음 데이터베이스
220 : 단어 데이터베이스
230 : 명령어 데이터베이스
300 : 명령어 처리부
310 : 소음 제거부
320 : 단어 추출부
330 : 명령어 분류부
340 : 통신부
400 : 보조 제어부
410 : 화면 제어부
420 : 임무 보조 제어부
430 : 비행 보조 제어부100: voice input unit
200: database
210: noise database
220: word database
230: command database
300: command processing unit
310: noise removal unit
320: word extraction unit
330: command classification unit
340: communication department
400: auxiliary control unit
410: screen control
420: mission auxiliary control unit
430: flight auxiliary control

Claims (18)

항공기의 보조 제어를 위한 강화 학습 처리된 음성신호 학습 데이터를 저장하는 데이터베이스; 및
조종사로부터 항공기 보조 제어 명령에 대한 음성신호가 입력되면, 상기 데이터베이스에 저장된 음성신호 학습 데이터를 이용하여 입력된 음성신호로부터 명령어를 분류한 후, 분류된 명령어에 대응하는 제어신호를 제공하는 명령어 처리부를 포함하고,
상기 데이터베이스는,
조종사의 다양한 입력 음성신호에 대하여 학습된 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터를 저장하며,
상기 데이터베이스는,
지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 저장하는 소음 데이터베이스;
다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 저장하는 단어 데이터베이스; 및
다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 신호에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 저장하는 명령어 데이터베이스를 포함하고,
상기 조종사의 음성신호는 마이크를 통해 입력되며,
상기 명령어 처리부는,
항공기 운항 중 조종사의 음성신호가 입력되면, 상기 소음 데이터베이스에 저장된 다양한 소음 데이터를 이용하여 입력 음성 신호로부터 소음신호를 제거하고, 상기 단어 데이터베이스에 저장된 다양한 단어 데이터를 이용하여 상기 소음신호가 제거된 입력 음성신호로부터 단어 데이터를 추출한 후, 상기 추출된 단어 데이터와 명령어 데이터베이스에 저장된 다양한 종류의 명령어 데이터를 비교하여 해당 단어가 어떠한 명령어인지를 구분하고,
상기 명령어 처리부는,
조종사로부터 소음(잡음)이 포함된 음성신호가 입력되면, 상기 소음 데이터베이스를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거하는 소음 제거부;
상기 소음이 제거된 음성신호에 대하여 상기 단어 데이터베이스를 이용하여 단어를 추출하는 단어 추출부; 및
상기 추출된 단어가 어떠한 명령어인지를 상기 명령어 데이터베이스를 이용하여 분류한 후, 분류된 명령어를 항공기 보조 제어를 위한 제어 명령어로 제공하는 명령어 분류부를 포함하며,
상기 명령어 처리부는,
상기 명령어 분류부에서 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 지상의 학습 장치로 전송하는 통신부를 더 포함하고,
상기 항공기 보조 제어 명령어는,
항공기 화면 제어 명령어, 임무 보조 제어를 위한 명령어, 비행 보조 제어를 위한 명령어 중 적어도 하나 이상을 포함하며,
상기 명령어 처리부로부터 분류된 명령어에 대응하는 제어신호에 따라 항공기의 보조 제어를 수행하는 항공기 보조 제어부를 더 포함하고,
상기 명령어 분류부로부터 분류된 명령어가 화면 제어 명령어일 경우, 해당 화면 제어 명령어에 따라 해당 화면을 제어하는 화면 제어부;
상기 명령어 분류부로부터 분류된 명령어가 임무 보조 명령어일 경우, 해당 임무 보조 제어 명령어에 따라 해당 임무 보조 제어를 수행하는 임무 보조 제어부; 및
상기 명령어 분류부로부터 분류된 명령어가 비행 보조 명령어일 경우, 해당 비행 보조 제어 명령어에 따라 해당 비행 보조 제어를 수행하는 비행 보조 제어부를 포함하는 것인 음성 인식 기반 조종사 보조 제어장치.
A database for storing reinforcement learning-processed voice signal learning data for auxiliary control of the aircraft; and
When a voice signal for an aircraft auxiliary control command is input from the pilot, a command processing unit classifying the command from the input voice signal using the voice signal learning data stored in the database and then providing a control signal corresponding to the classified command include,
The database,
Stores various noise (noise) signals, words, and command type data learned for various input voice signals of the pilot,
The database,
In the learning device on the ground, a noise database for learning about aircraft noise from input voice data using an aircraft noise learning model and storing the learned noise data;
a word database for learning pilot voice words from input voice data by using a voice word learning model for voice words usable by various pilots and storing the learned word data; and
A command that learns the control command desired by the pilot from the input voice signal using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots, and stores each command data according to the type of learned command. contains a database;
The pilot's voice signal is input through a microphone,
The command processing unit,
When a pilot's voice signal is input during flight, the noise signal is removed from the input voice signal using various noise data stored in the noise database, and the noise signal is removed using various word data stored in the word database. After extracting word data from the voice signal, comparing the extracted word data with various types of command data stored in the command database to distinguish what kind of command the corresponding word is,
The command processing unit,
a noise canceling unit that removes the noise signal included in the input voice signal using the noise database when a voice signal containing noise (noise) is input from the pilot;
a word extraction unit extracting words from the noise-removed voice signal using the word database; and
A command classification unit for classifying what command the extracted word is using the command database and then providing the classified command as a control command for auxiliary control of the aircraft;
The command processing unit,
Further comprising a communication unit for transmitting words, noises, and commands to a learning device on the ground for additional reinforcement learning, when the command classification result from the command classification unit is a command that does not exist in the command database,
The aircraft auxiliary control command,
Includes at least one of an aircraft screen control command, a command for mission assistance control, and a command for flight assistance control;
Further comprising an aircraft auxiliary control unit that performs auxiliary control of the aircraft according to a control signal corresponding to the command classified from the command processing unit,
a screen control unit controlling a corresponding screen according to the corresponding screen control command when the command classified by the command classification unit is a screen control command;
a mission auxiliary control unit that performs a corresponding mission auxiliary control according to a corresponding mission auxiliary control command when the command classified from the command classification unit is a mission auxiliary command; and
When the command classified from the command classification unit is a flight assistance command, a flight assistance control unit that performs the flight assistance control according to the flight assistance control command Voice recognition based pilot assistance control device.
 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 음성 인식 기반 조종사 보조 제어방법에 있어서,
항공기의 보조 제어를 위한 강화 학습 처리된 음성신호 학습 데이터를 저장하는 데이터베이스를 구축하는 단계; 및
조종사로부터 항공기 보조 제어 명령에 대한 음성신호가 입력되면, 상기 데이터베이스에 저장된 음성신호 학습 데이터를 이용하여 입력된 음성신호로부터 명령어를 분류한 후, 분류된 명령어에 대응하는 제어신호를 제공하는 단계를 포함하고,
상기 데이터베이스는,
조종사의 다양한 입력 음성신호에 대하여 학습된 다양한 소음(잡음) 신호, 단어 및 명령어 종류 데이터를 저장하며,
상기 데이터베이스는,
지상의 학습장치에서, 항공기 소음 학습 모델을 이용하여 입력으로 들어온 음성 데이터에서 항공기 소음에 대하여 학습하고, 학습된 소음 데이터를 저장하는 소음 데이터베이스;
다양한 조종사가 사용할 수 있는 음성 단어들에 대한 음성 단어 학습모델을 이용하여 입력으로 들어온 음성 데이터에서 조종사 음성 단어에 대해 학습하고 학습된 단어 데이터를 저장하는 단어 데이터베이스; 및
다양한 조종사가 사용할 수 있는 항공기 보조 제어를 위한 명령어에 대한 명령어 학습 모델을 이용하여 입력으로 들어온 음성 신호에서 조종사가 원하는 제어 명령어에 대하여 학습하고, 학습된 명령어 종류에 따른 각각의 명령어 데이터를 저장하는 명령어 데이터베이스를 포함하고,
상기 조종사의 음성신호는 마이크를 통해 입력되며,
상기 분류된 명령어에 대응하는 제어신호를 제공하는 단계는,
조종사로부터 소음(잡음)이 포함된 음성신호가 입력되면, 상기 소음 데이터베이스를 이용하여 입력되는 음성신호에 포함된 소음신호를 제거하는 단계;
상기 소음이 제거된 음성신호에 대하여 상기 단어 데이터베이스를 이용하여 단어를 추출하는 단계; 및
상기 추출된 단어가 어떠한 명령어인지를 상기 명령어 데이터베이스를 이용하여 분류한 후, 분류된 명령어를 항공기 보조 제어를 위한 제어 명령어로 제공하는 단계를 포함하고,
상기 제어 명령어로 제공하는 단계에서,
상기 명령어 분류 결과, 해당 명령어가 명령어 데이터베이스에 존재하지 않는 명령어일 경우, 단어, 소음 및 명령어의 추가적인 강화 학습을 위하여 지상의 학습 장치로 전송하는 단계를 더 포함하며,
상기 항공기 보조 제어 명령어는,
항공기 화면 제어 명령어, 임무 보조 제어를 위한 명령어, 비행 보조 제어를 위한 명령어 중 적어도 하나 이상을 포함하고,
상기 분류된 명령어가 화면 제어 명령어일 경우, 해당 화면 제어 명령어에 따라 해당 화면을 제어하고, 상기 분류된 명령어가 임무 보조 명령어일 경우, 해당 임무 보조 제어 명령어에 따라 해당 임무 보조 제어를 수행하며, 상기 분류된 명령어가 비행 보조 명령어일 경우, 해당 비행 보조 제어 명령어에 따라 해당 비행 보조 제어를 수행하는 단계를 더 포함하는 것인 음성 인식 기반 조종사 보조 제어방법. In the voice recognition-based pilot assistance control method,
Building a database for storing reinforcement learning-processed voice signal learning data for auxiliary control of the aircraft; and
When a voice signal for an aircraft auxiliary control command is input from the pilot, the command is classified from the input voice signal using the voice signal learning data stored in the database, and then a control signal corresponding to the classified command is provided. do,
The database,
Stores various noise (noise) signals, words, and command type data learned for various input voice signals of the pilot,
The database,
In the learning device on the ground, a noise database for learning about aircraft noise from input voice data using an aircraft noise learning model and storing the learned noise data;
a word database for learning pilot voice words from input voice data by using a voice word learning model for voice words usable by various pilots and storing the learned word data; and
A command that learns the control command desired by the pilot from the input voice signal using a command learning model for commands for auxiliary control of aircraft that can be used by various pilots, and stores each command data according to the type of learned command. contains a database;
The pilot's voice signal is input through a microphone,
Providing a control signal corresponding to the classified command,
When a voice signal containing noise (noise) is input from the pilot, removing the noise signal included in the input voice signal using the noise database;
extracting words from the noise-removed voice signal using the word database; and
After classifying what command the extracted word is using the command database, providing the classified command as a control command for auxiliary control of the aircraft,
In the step of providing the control command,
As a result of the classification of the command, if the corresponding command is a command that does not exist in the command database, transmitting words, noises, and commands to a terrestrial learning device for additional reinforcement learning;
The aircraft auxiliary control command,
Includes at least one of an aircraft screen control command, a command for mission assistance control, and a command for flight assistance control;
When the classified command is a screen control command, the corresponding screen is controlled according to the corresponding screen control command, and when the classified command is a mission auxiliary command, the corresponding mission auxiliary control is performed according to the corresponding mission auxiliary control command. When the classified command is a flight assistance command, the voice recognition-based pilot assistance control method further comprising the step of performing the flight assistance control according to the flight assistance control command. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020220116196A 2022-09-15 2022-09-15 Voice recognition-based pilot assistant control apparatus and method therefor KR102486908B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220116196A KR102486908B1 (en) 2022-09-15 2022-09-15 Voice recognition-based pilot assistant control apparatus and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220116196A KR102486908B1 (en) 2022-09-15 2022-09-15 Voice recognition-based pilot assistant control apparatus and method therefor

Publications (1)

Publication Number Publication Date
KR102486908B1 true KR102486908B1 (en) 2023-01-10

Family

ID=84893773

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220116196A KR102486908B1 (en) 2022-09-15 2022-09-15 Voice recognition-based pilot assistant control apparatus and method therefor

Country Status (1)

Country Link
KR (1) KR102486908B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370157B2 (en) * 2010-07-08 2013-02-05 Honeywell International Inc. Aircraft speech recognition and voice training data storage and retrieval methods and apparatus
KR20160063149A (en) * 2014-11-26 2016-06-03 현대자동차주식회사 Apparatus and method of removing noise for vehicle voice recognition system
KR20190101333A (en) * 2019-08-12 2019-08-30 엘지전자 주식회사 Voice recognition device and voice recognition method
KR20190138339A (en) * 2018-06-05 2019-12-13 한국항공우주산업 주식회사 Apparatus for integrating voice command for aircraft and method for controlling voice command for aircraft
KR102333376B1 (en) * 2018-10-24 2021-12-02 주식회사 케이티 Speech recognition processing method for noise generating working device and system thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370157B2 (en) * 2010-07-08 2013-02-05 Honeywell International Inc. Aircraft speech recognition and voice training data storage and retrieval methods and apparatus
KR20160063149A (en) * 2014-11-26 2016-06-03 현대자동차주식회사 Apparatus and method of removing noise for vehicle voice recognition system
KR20190138339A (en) * 2018-06-05 2019-12-13 한국항공우주산업 주식회사 Apparatus for integrating voice command for aircraft and method for controlling voice command for aircraft
KR102333376B1 (en) * 2018-10-24 2021-12-02 주식회사 케이티 Speech recognition processing method for noise generating working device and system thereof
KR20190101333A (en) * 2019-08-12 2019-08-30 엘지전자 주식회사 Voice recognition device and voice recognition method

Similar Documents

Publication Publication Date Title
CN108847241B (en) Method for recognizing conference voice as text, electronic device and storage medium
KR20180052347A (en) Voice recognition apparatus and method
KR101935585B1 (en) Game command recognition method and game command recognition apparatus
US11908477B2 (en) Automatic extraction of conversation highlights
US10403274B2 (en) Automatic speech recognition with detection of at least one contextual element, and application management and maintenance of aircraft
CN112818680B (en) Corpus processing method and device, electronic equipment and computer readable storage medium
CN113689111B (en) Fault recognition model training method, fault recognition device and electronic equipment
JP2018087935A (en) Voice language identification device, and method and program thereof
WO2019164144A1 (en) Electronic device and natural language generation method thereof
JP6875819B2 (en) Acoustic model input data normalization device and method, and voice recognition device
KR20220128397A (en) Alphanumeric Sequence Biasing for Automatic Speech Recognition
US11676496B2 (en) Methods and systems for querying for parameter retrieval
CN108228455B (en) Software control risk analysis method
KR102486908B1 (en) Voice recognition-based pilot assistant control apparatus and method therefor
CN114242066A (en) Speech processing method, speech processing model training method, apparatus and medium
EP4044179A1 (en) On-board information assisting system and method
WO2015156011A1 (en) Information processing device, information processing method, and program
US8051026B2 (en) Rules collector system and method with user interaction
CN112002325B (en) Multi-language voice interaction method and device
CN113778891A (en) Automatic identification and analysis method for failure mode of embedded software interface
JP2809136B2 (en) Natural language dialogue device
US20210064640A1 (en) Information processing apparatus and information processing method
CN105702256B (en) digit string speech recognition method based on airborne equipment
KR102394046B1 (en) Aircraft control system and method using voice recognition function
CN115862031B (en) Text processing method, neural network training method, device and equipment

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant