KR102613249B1 - Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor - Google Patents

Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor Download PDF

Info

Publication number
KR102613249B1
KR102613249B1 KR1020210151612A KR20210151612A KR102613249B1 KR 102613249 B1 KR102613249 B1 KR 102613249B1 KR 1020210151612 A KR1020210151612 A KR 1020210151612A KR 20210151612 A KR20210151612 A KR 20210151612A KR 102613249 B1 KR102613249 B1 KR 102613249B1
Authority
KR
South Korea
Prior art keywords
audio file
profile
speaker
top box
remote control
Prior art date
Application number
KR1020210151612A
Other languages
Korean (ko)
Other versions
KR20230065736A (en
Inventor
신종수
Original Assignee
주식회사 엘지유플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엘지유플러스 filed Critical 주식회사 엘지유플러스
Priority to KR1020210151612A priority Critical patent/KR102613249B1/en
Publication of KR20230065736A publication Critical patent/KR20230065736A/en
Application granted granted Critical
Publication of KR102613249B1 publication Critical patent/KR102613249B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4753—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for user identification, e.g. by entering a PIN or password
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/022—Demisyllables, biphones or triphones being the recognition units

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Abstract

본 발명은 인공 지능 기반의 개인 음성 판별을 통한 보안 및 개인화 서비스 제공 방법 및 그를 위한 장치에 관한 것으로서, 일 측면에 따른 리모콘과 페어링된 셋톱박스에서의 보안 및 개인화 서비스 제공 방법은 상기 리모콘으로부터 프로필 별 제1 오디오 파일을 수신하여 상기 프로필 별 보안 인증 오디오 파일을 등록하는 단계와 상기 리모콘으로부터 제2 오디오 파일을 수신하는 단계와 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계와 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계와 상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 TV로 전송하는 단계를 포함할 수 있다. 따라서, 본 발명은 인공 지능 기반의 셋톱 박스를 이용하여 보다 강화된 보안 및 개인화 서비스를 제공할 수 있는 장점이 있다.The present invention relates to a method of providing security and personalization services through artificial intelligence-based personal voice identification and a device therefor. According to one aspect, a method of providing security and personalization services in a set-top box paired with a remote control includes information on each profile from the remote control. Receiving a first audio file and registering a security authentication audio file for each profile; Receiving a second audio file from the remote control; and a speaker based on the security authentication audio file registered for each profile and the second audio file. It may include the steps of authenticating and identifying, generating a personalized user interface screen based on the speaker identification result, and transmitting the generated personalized user interface screen to a TV. Therefore, the present invention has the advantage of providing enhanced security and personalized services using an artificial intelligence-based set-top box.

Description

인공 지능 기반의 개인 음성 판별을 통한 보안 및 개인화 서비스 제공 방법 및 그를 위한 장치{Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor}{Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor}

본 발명은 인공 지능 셋톱박스에 관한 것으로서, 상세하게, 디바이스에 탑재된 인공 지능에 기반한 개인 음성 판별을 통해 보안 및 개인화 서비스를 제공하는 기술에 관한 것이다.The present invention relates to an artificial intelligence set-top box, and more specifically, to technology that provides security and personalized services through personal voice identification based on artificial intelligence mounted on a device.

셋톱박스(Set-Top Box, STB)는 말 그대로 바닥 위에 올려놓는 박스라는 의미로 일반적으로 디지털 방송을 수신하기 위한 장치를 일컫는다.Set-Top Box (STB) literally means a box placed on the floor and generally refers to a device for receiving digital broadcasts.

셋톱박스는 댁내에서 지상파 방송, 케이블 방송, 위성 방송 등을 수신해 연결된 TV를 통해 시청하기 위한 장치이다. 최근에는 셋톱박스와 전화선(또는 전용선)을 연결해 TV를 통해 방송 프로그램 시청은 물론 인터넷 접속을 통해 유튜브, 영화, 음악, 쇼핑, 교육, 게임 등의 각종 컨텐츠를 조회/선택/시청 가능하게 하는 장치로 활용되고 있다.A set-top box is a device that receives terrestrial broadcasting, cable broadcasting, and satellite broadcasting at home and watches them on a connected TV. Recently, it is a device that connects a set-top box and a phone line (or dedicated line) to watch broadcast programs on TV as well as view/select/watch various contents such as YouTube, movies, music, shopping, education, and games through Internet access. It is being utilized.

디지털 방송 서버는 영상, 음성, 데이터 신호를 다중 송신(multiplex)으로 압축한 후 이를 변조(modulation)해 송신하는 역할을 한다. 셋톱박스는 디지털 방송 서버에 의해 송신된 신호를 디지털 튜너를 통해 수신한 후 복조(demodulation) 과정을 거쳐 각각의 신호를 압축 해제하고 분리하는 작업을 수행한다.The digital broadcasting server compresses video, voice, and data signals into multiplexes and then modulates them and transmits them. The set-top box receives signals transmitted by a digital broadcasting server through a digital tuner and then decompresses and separates each signal through a demodulation process.

최근 통신 사업자들을 중심으로 스마트 스피커-즉, 인공 지능 스피커-가 탑재된 셋탑박스가 출시되고 있으며, 셋톱박스는 스피커를 통해 입력된 사용자 음성을 전용 음성 인식 서버와의 연동을 통해 인식하고, 인식 결과를 기초로 방송 채널 조회 서비스, 음원 재생 서비스, 각종 컨텐츠 조회 서비스, 인터넷 정보 검색 서비스, 조명 및 홈 어플라이언스 제어 서비스 등을 제공할 수 있었다. Recently, set-top boxes equipped with smart speakers (i.e., artificial intelligence speakers) have been released mainly by telecommunication companies. The set-top boxes recognize the user's voice input through the speaker through linkage with a dedicated voice recognition server, and the recognition results Based on this, it was possible to provide broadcast channel search services, music playback services, various content search services, Internet information search services, and lighting and home appliance control services.

하지만, 현재 상용화된 셋톱박스에 적용된 보안 기술은 도 1에 도시된 바와 같이, 리모콘을 통해 숫자 타입의 프로필 잠금 비밀 번호를 설정하고, 설정된 비밀 번호 입력을 통해 사용자 프로필에 대한 잠금 해제가 이루어지도록 구현되었다. 따라서, 비밀 번호가 다른 사람에게 쉽게 노출될 수 있으며, 보안에 취약한 문제점이 있었다. However, as shown in Figure 1, the security technology applied to currently commercialized set-top boxes sets a numeric profile lock password through a remote control, and unlocks the user profile by entering the set password. It has been done. Therefore, passwords can be easily exposed to other people, and there is a problem with security vulnerabilities.

또한, 종래 셋톱박스에 탑재된 음성 인식 기능은 별도 화자를 식별하는 기능이 탑재되어 있지 않아 개인 맞춤형 서비스를 제공할 수 없는 단점이 있었다. In addition, the voice recognition function installed in conventional set-top boxes had the disadvantage of not being able to provide personalized services because it was not equipped with a separate speaker identification function.

본 발명의 목적은 인공 지능 기반의 개인 음성 판별을 통한 보안 및 개인화 서비스 제공 방법 및 그를 위한 장치를 제공하는 것이다.The purpose of the present invention is to provide a method and device for providing security and personalized services through artificial intelligence-based personal voice identification.

본 발명의 다른 목적은 음성 인식을 위해 외부 서버와의 연동 없이 셋톱박스 내부에서 사용자 음성을 직접 인식 및 분석하여 보안 및 개인화 서비스를 제공하는 것이 가능한 온-디바이스(On-Device) 음성 인식 기반의 셋톱박스 보안 및 개인화 서비스를 제공 방법을 제공하는 것이다.Another object of the present invention is to provide an on-device voice recognition-based set-top that can provide security and personalized services by directly recognizing and analyzing the user's voice inside the set-top box without linking with an external server for voice recognition. The goal is to provide a method of providing box security and personalized services.

본 발명의 또 다른 목적은 별도 서버와의 연동 없이 셋톱박스 내부 탑재된 음성 인식 기능을 통해 화자를 식별하여 빠른 프로필 전환을 가능하게 하는 온-디바이스(On-Device) 음성 인식 기능이 탑재된 셋톱박스를 제공하는 것이다.Another object of the present invention is to provide a set-top box equipped with an on-device voice recognition function that enables quick profile switching by identifying the speaker through the voice recognition function installed inside the set-top box without linking with a separate server. is to provide.

본 발명의 또 다른 목적은 온-디바이스(On-Device) 기반의 음성 인식을 통해 프로필 잠금 설정/해제, 프로필 전환 등의 기능을 제공함으로써, 종래 비밀 번호 입력 방식에 비해 개인 프로필에 대한 보안을 강화할뿐만 아니라 프로필 전환에 따른 고객 맞춤형 개인화 서비스를 빠르게 제공하는 것이 가능한 온-디바이스(On-Device) 음성 인식 기반의 셋톱박스 보안 및 개인화 서비스를 제공 방법 및 그를 위한 장치를 제공하는 것이다. Another purpose of the present invention is to enhance the security of personal profiles compared to the conventional password input method by providing functions such as profile lock setting/unlocking and profile switching through on-device-based voice recognition. In addition, it provides a method and device for providing set-top box security and personalization services based on on-device voice recognition that can quickly provide customized personal services to customers according to profile switching.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below.

일 측면에 따른 리모콘과 페어링된 셋톱박스에서의 보안 및 개인화 서비스 제공 방법은 상기 리모콘으로부터 프로필 별 제1 오디오 파일을 수신하여 상기 프로필 별 보안 인증 오디오 파일을 등록하는 단계와 상기 리모콘으로부터 제2 오디오 파일을 수신하는 단계와 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계와 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계와 상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 TV로 전송하는 단계를 포함할 수 있다.According to one aspect, a method of providing security and personalization services in a set-top box paired with a remote control includes receiving a first audio file for each profile from the remote control and registering a security authentication audio file for each profile, and receiving a second audio file from the remote control. receiving, authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file, and generating a personalized user interface screen based on the speaker identification result. It may include transmitting the personalized user interface screen to the TV.

실시 예로, 상기 제1 오디오 파일은 사전 정의된 특정 문구 또는 잠금 키워드를 포함할 수 있다.In an embodiment, the first audio file may include a specific predefined phrase or lock keyword.

실시 예로, 상기 제1 오디오 파일 및 상기 제2 오디오 파일은 상기 TV의 홈 화면상에서 사용자 선택된 프로필에 대응하여 상기 리모콘에 의해 생성될 수 있다.In an embodiment, the first audio file and the second audio file may be created by the remote control in response to a user-selected profile on the home screen of the TV.

실시 예로, 상기 TV에 프로필 잠금 설정 화면이 표시된 상태에서 상기 리모콘에 구비된 제1 버튼이 제1 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크는 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제1 오디오 파일이 생성될 수 있다.In an embodiment, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a first time while the profile lock setting screen is displayed on the TV, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. Thus, the first audio file can be created.

실시 예로, 상기 TV에 프로필 잠금 해제 화면이 표시된 상태에서, 상기 리모콘에 구비된 제1 버튼이 제2 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크가 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제2 오디오 파일이 생성될 수 있다.In an embodiment, while the profile unlock screen is displayed on the TV, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a second time, and the voice recorded through the activated microphone is activated. Based on this, the second audio file may be created.

실시 예로, 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계는 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 음운 분석을 수행하는 단계와 상기 음운 분석 결과에 기반하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 단계를 포함할 수 있다. In an embodiment, the step of authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file includes phonological analysis for each of the security authentication audio file registered for each profile and the second audio file. It may include the step of authenticating and identifying the speaker corresponding to the second audio file based on the step of performing and the result of the phoneme analysis.

실시 예로, 상기 음운 분석은 외부 서버와의 연동 없이 상기 셋톱박스에 탑재된 음운 분석 엔진을 이용하여 수행될 수 있다.In an embodiment, the phonological analysis may be performed using a phonological analysis engine mounted on the set-top box without linking with an external server.

실시 예로, 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계는 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 전처리를 통해 음성 특징 벡터를 추출하는 단계와 상기 추출된 음성 특징 벡터에 기반한 음성 인식 기계 학습을 수행하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 단계를 포함할 수 있다.In an embodiment, the step of authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file includes preprocessing each of the security authentication audio file registered for each profile and the second audio file. It may include extracting a voice feature vector and performing voice recognition machine learning based on the extracted voice feature vector to authenticate and identify the speaker corresponding to the second audio file.

실시 예로, 상기 음성 인식 기계 학습은 외부 서버와의 연동 없이 상기 셋톱박스 내 탑재된 음성 인식 엔진을 이용하여 수행될 수 있다.In an embodiment, the voice recognition machine learning may be performed using a voice recognition engine mounted in the set-top box without linking with an external server.

실시 예로, 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계는 현재 활성화된 프로필의 화자와 상기 식별된 화자가 동일한지 여부를 판단하는 단계와 상기 판단 결과, 화자가 변경된 경우, 상기 식별된 화자에 상응하여 기 수집된 사용 이력 데이터에 기반하여 상기 식별된 화자의 프로필에 상응하는 상기 개인 맞춤형 사용자 인터페이스 화면을 구성하는 단계를 포함할 수 있다.In an embodiment, the step of generating a personalized user interface screen based on the speaker identification result may include determining whether the speaker of the currently activated profile and the identified speaker are the same, and as a result of the determination, if the speaker has changed, It may include configuring the personalized user interface screen corresponding to the profile of the identified speaker based on usage history data previously collected corresponding to the identified speaker.

실시 예로, 상기 화자가 변경된 것에 기반하여 상기 식별된 화자에 상응하는 프로필로 자동 전환될 수 있다.In an embodiment, the profile may be automatically switched to a profile corresponding to the identified speaker based on a change in the speaker.

실시 예로, 상기 방법은 상기 제2 오디오 파일에 대한 음운 분석 및/또는 음성 인식을 수행하여 잠금 키워드를 추출하는 단계를 더 포함하고, 상기 추출된 잠금 키워드에 기반하여 해당 프로필에 대한 잠금 제어가 수행될 수 있다.In an embodiment, the method further includes extracting a locking keyword by performing phonological analysis and/or voice recognition on the second audio file, and locking control for the corresponding profile is performed based on the extracted locking keyword. It can be.

다른 측면에 따른 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 리모콘과 페어링되는 셋톱박스에서 보안 및 개인화 서비스를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서, 상기 동작들은 상기 리모콘으로부터 프로필 별 제1 오디오 파일을 수신하여 상기 프로필 별 보안 인증 오디오 파일을 등록하는 단계와 상기 리모콘으로부터 제2 오디오 파일을 수신하는 단계와 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계와 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계와 상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 TV로 전송하는 단계를 포함할 수 있다.According to another aspect, storing at least one computer program including instructions that, when executed by at least one processor, cause the at least one processor to perform operations for providing security and personalization services in a set-top box paired with a remote control. In the non-volatile computer-readable storage medium, the operations include receiving a first audio file for each profile from the remote control, registering a security authentication audio file for each profile, and receiving a second audio file from the remote control. Authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file; generating a personalized user interface screen based on the speaker identification result; and generating a personalized user interface screen. It may include transmitting the screen to the TV.

또 다른 측면에 따른 셋톱박스는 페어링된 리모콘 및 TV와 신호를 송수신하는 송수신부와 상기 송수신부와 연결되는 제어부를 포함하고, 상기 제어부가 상기 리모콘으로부터 제1 오디오 파일을 수신하여 프로필 별 보안 인증 오디오 파일을 등록하고, 상기 리모콘으로부터 제2 오디오 파일을 수신된 경우, 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하고, 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하고, 상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 상기 TV로 전송할 수 있다.A set-top box according to another aspect includes a transceiver unit that transmits and receives signals to and from a paired remote control and a TV, and a control unit connected to the transceiver unit, wherein the control unit receives a first audio file from the remote control and provides security authentication audio for each profile. When a file is registered and a second audio file is received from the remote control, the speaker is authenticated and identified based on the security authentication audio file registered for each profile and the second audio file, and the individual is authenticated based on the speaker identification result. A customized user interface screen can be created, and the created personalized user interface screen can be transmitted to the TV.

실시 예로, 상기 제1 오디오 파일은 사전 정의된 특정 문구 또는 잠금 키워드를 포함할 수 있다.In an embodiment, the first audio file may include a specific predefined phrase or lock keyword.

실시 예로, 상기 제1 오디오 파일 및 상기 제2 오디오 파일은 상기 TV의 홈 화면상에서 사용자 선택된 프로필에 대응하여 생성될 수 있다.In an embodiment, the first audio file and the second audio file may be created in response to a user-selected profile on the home screen of the TV.

실시 예로, 상기 TV에 프로필 잠금 설정 화면이 표시된 상태에서 상기 리모콘에 구비된 제1 버튼이 제1 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크는 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제1 오디오 파일이 생성될 수 있다.In an embodiment, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a first time while the profile lock setting screen is displayed on the TV, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. Thus, the first audio file can be created.

실시 예로, 상기 TV에 프로필 잠금 해제 화면이 표시된 상태에서, 상기 리모콘에 구비된 제1 버튼이 제2 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크가 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제2 오디오 파일이 생성될 수 있다.In an embodiment, while the profile unlock screen is displayed on the TV, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a second time, and the voice recorded through the activated microphone is activated. Based on this, the second audio file may be created.

실시 예로, 상기 셋톱박스는 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 음운 분석을 수행하는 분석부를 더 포함하고, 상기 음운 분석 결과에 기반하여 상기 제2 오디오 파일에 상응하는 화자가 인증 및 식별될 수 있다.In an embodiment, the set-top box further includes an analysis unit that performs phonological analysis on each of the security authentication audio file registered for each profile and the second audio file, and corresponds to the second audio file based on the phonological analysis result. Speakers can be authenticated and identified.

실시 예로, 상기 분석부는 외부 서버와의 연동 없이 상기 셋톱박스에 탑재된 음운 분석 엔진을 이용하여 상기 음운 분석을 수행할 수 있다.In an embodiment, the analysis unit may perform the phoneme analysis using a phoneme analysis engine mounted on the set-top box without linking with an external server.

실시 예로, 상기 셋톱박스는 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 전처리를 통해 음성 특징 벡터를 추출하고, 상기 추출된 음성 특징 벡터에 기반한 음성 인식 기계 학습을 수행하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 학습부를 더 포함할 수 있다.In an embodiment, the set-top box extracts a voice feature vector through preprocessing each of the security authentication audio file registered for each profile and the second audio file, and performs voice recognition machine learning based on the extracted voice feature vector. It may further include a learning unit that authenticates and identifies the speaker corresponding to the second audio file.

실시 예로, 상기 학습부는 외부 서버와의 연동 없이 상기 셋톱박스 내 탑재된 음성 인식 엔진을 이용하여 상기 음성 인식 기계 학습을 수행할 수 있다.In an embodiment, the learning unit may perform the voice recognition machine learning using a voice recognition engine mounted in the set-top box without linking with an external server.

실시 예로, 상기 제어부는 현재 활성화된 프로필의 화자와 상기 식별된 화자가 동일한지 여부를 판단하고, 상기 판단 결과에 따라 화자가 변경된 경우, 상기 식별된 화자에 상응하여 기 수집된 사용 이력 데이터에 기반하여 상기 식별된 화자의 프로필에 상응하는 상기 개인 맞춤형 사용자 인터페이스 화면을 구성할 수 있다.In an embodiment, the control unit determines whether the speaker of the currently activated profile and the identified speaker are the same, and when the speaker is changed according to the determination result, based on the usage history data previously collected corresponding to the identified speaker. Thus, the personalized user interface screen corresponding to the profile of the identified speaker can be configured.

실시 예로, 상기 제어부는 상기 화자가 변경된 것에 기반하여 상기 식별된 화자에 상응하는 프로필로 자동 전환시킬 수 있다.In an embodiment, the control unit may automatically switch to a profile corresponding to the identified speaker based on a change in the speaker.

실시 예로, 상기 제어부는 상기 제2 오디오 파일에 대한 음운 분석 및/또는 음성 인식 결과에 기반하여 잠금 키워드를 추출하고, 상기 추출된 잠금 키워드에 기반하여 해당 프로필에 대한 잠금 제어를 수행할 수 있다.In an embodiment, the control unit may extract a locking keyword based on a result of phonological analysis and/or voice recognition for the second audio file, and perform locking control on the corresponding profile based on the extracted locking keyword.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved in the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the description below. You will be able to.

본 발명은 인공 지능 기반의 셋톱 박스를 이용하여 보다 강화된 보안 및 개인화 서비스를 제공할 수 있는 장점이 있다.The present invention has the advantage of providing enhanced security and personalized services using an artificial intelligence-based set-top box.

또한, 본 발명은 음성 인식을 통한 사용자 식별을 위해 별도 외부 서버와의 연동 없이 셋톱박스 내부 탑재된 음성 인식 기능을 통해 디바이스 내 화자 식별을 가능하게 함으로써, 보다 빠르고 안전한 보안 서비스 및 개인화 서비스를 제공할 수 있는 장점이 있다.In addition, the present invention enables speaker identification within the device through the voice recognition function installed inside the set-top box without linking with a separate external server for user identification through voice recognition, thereby providing faster and safer security services and personalized services. There are advantages to this.

또한, 본 발명은 온-디바이스(On-Device) 기반의 음성 인식을 통해 화자를 식별하여 프로필 잠금 해제 및/또는 프로필 전환이 자동으로 수행되므로 종래 비밀 번호 입력 방식에 비해 개인 프로필에 대한 보안이 강화될뿐만 아니라 빠른 프로필 잠금 설정/해제 및 프로필 전환을 통해 개인 맞춤형 서비스에 대한 사용자 경험을 향상시킬 수 있는 장점이 있다. In addition, the present invention identifies the speaker through on-device-based voice recognition and automatically unlocks and/or switches profiles, thereby enhancing the security of the personal profile compared to the conventional password input method. In addition, it has the advantage of improving the user experience of personalized services through quick profile lock setting/unlocking and profile switching.

또한, 본 발명은 종래 홈 화면 진입->프로필 변경 메뉴 선택의 2 뎁스(depth) 프로필 변경이 아닌 음성 인식을 통한 1 뎁스 프로필 변경이 가능하므로 유저 시나리오를 보다 개선할 수 있는 장점이 있다In addition, the present invention has the advantage of further improving the user scenario because it allows a 1-depth profile change through voice recognition, rather than a 2-depth profile change by selecting the conventional home screen entry->profile change menu.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects that can be directly or indirectly identified through this document may be provided.

본 명세서에 첨부되는 도면은 본 발명에 대한 이해를 제공하기 위한 것으로서 본 발명의 다양한 실시형태들을 나타내고 명세서의 기재와 함께 본 발명의 원리를 설명하기 위한 것이다.
도 1은 종래 비밀 번호 기반의 프로필 잠금 설정 및 해제 방법을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 음성 인식을 통한 보안 및 개인화 서비스 제공을 위한 시스템 구성도이다.
도 3은 실시 예에 따른 온-디바이스 음성 인식 기반의 보안 및 개인화 서비스 제공 방법을 설명하기 위한 흐름도이다.
도 4는 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.
도 5는 다른 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.
도 6은 또 다른 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.
도 7은 실시 예에 따른 셋톱박스와 페어링된 리모콘에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.
도 8은 실시 예에 따른 프로필 잠금 설정 및 해제 절차를 설명하기 위한 도면이다.
도 9는 실시 예에 따른 셋톱박스의 구조를 설명하기 위한 블록도이다.The drawings attached to this specification are intended to provide an understanding of the present invention, show various embodiments of the present invention, and together with the description of the specification, explain the principles of the present invention.
1 is a diagram illustrating a conventional password-based profile lock setting and unlocking method.
Figure 2 is a system configuration diagram for providing security and personalized services through voice recognition according to an embodiment.
Figure 3 is a flowchart illustrating a method of providing security and personalization services based on on-device voice recognition according to an embodiment.
Figure 4 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to an embodiment.
Figure 5 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to another embodiment.
Figure 6 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to another embodiment.
Figure 7 is a flowchart illustrating a method of providing voice recognition-based security and personalization services through a remote control paired with a set-top box according to an embodiment.
Figure 8 is a diagram for explaining a profile lock setting and unlocking procedure according to an embodiment.
Figure 9 is a block diagram for explaining the structure of a set-top box according to an embodiment.

이하, 본 발명의 일부 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through illustrative drawings. When adding reference numerals to components in each drawing, it should be noted that identical components are given the same reference numerals as much as possible even if they are shown in different drawings. Additionally, when describing embodiments of the present invention, if detailed descriptions of related known configurations or functions are judged to impede understanding of the embodiments of the present invention, the detailed descriptions will be omitted.

본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In describing the components of the embodiments of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are only used to distinguish the component from other components, and the nature, sequence, or order of the component is not limited by the term. Additionally, unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person of ordinary skill in the technical field to which the present invention pertains. Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present application. No.

본 개시의 다양한 예에서, “/” 및 “,”는 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A/B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A, B”는 “A 및/또는 B”를 의미할 수 있다. 나아가, “A/B/C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다. 나아가, “A, B, C”는 “A, B 및/또는 C 중 적어도 어느 하나”를 의미할 수 있다.In various examples of this disclosure, “/” and “,” should be interpreted as indicating “and/or.” For example, “A/B” can mean “A and/or B.” Furthermore, “A, B” may mean “A and/or B.” Furthermore, “A/B/C” may mean “at least one of A, B and/or C.” Furthermore, “A, B, C” may mean “at least one of A, B and/or C.”

본 개시의 다양한 예에서, “또는”은 “및/또는”을 나타내는 것으로 해석되어야 한다. 예를 들어, “A 또는 B”는 “오직 A”, “오직 B”, 및/또는 “A 및 B 모두”를 포함할 수 있다. 다시 말해, “또는”은 “부가적으로 또는 대안적으로”를 나타내는 것으로 해석되어야 한다.In various examples of this disclosure, “or” should be interpreted as indicating “and/or.” For example, “A or B” may include “only A,” “only B,” and/or “both A and B.” In other words, “or” should be interpreted as indicating “additionally or alternatively.”

이하, 도 1 내지 도 9를 참조하여, 본 발명의 실시 예들을 구체적으로 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 9.

도 1은 종래 비밀 번호 기반의 프로필 잠금 설정 및 해제 방법을 설명하기 위한 도면이다. 1 is a diagram illustrating a conventional password-based profile lock setting and unlocking method.

도 1을 참조하면, 사용자는 TV 화면에 표시된 프로필 이미지들 중 자신의 프로필 이미지를 선택할 수 있다(S110).Referring to FIG. 1, the user can select his/her profile image among profile images displayed on the TV screen (S110).

사용자는 프로필 잠금 비밀 번호 설정 화면에서 잠금 설정 비밀 번호를 설정할 수 있다(S120). 이때, 사용자는 리모콘에 구비된 번호 버튼을 이용하여 비밀 번호를 입력할 수 있다. The user can set the lock setting password on the profile lock password setting screen (S120). At this time, the user can enter the password using the number button provided on the remote control.

사용자는 다중 프로필이 등록된 상태에서 홈 화면에 표시된 잠금 설정된 프로필 이미지 중 잠금 해제하고자 하는 프로필 이미지를 선택할 수 있다(S130). With multiple profiles registered, the user can select the profile image he or she wants to unlock among the locked profile images displayed on the home screen (S130).

사용자는 프로필 잠금 해제 화면에서 선택된 프로필 이미지에 상응하여 기 설정된 잠금 비밀 번호를 입력하여 프로필 잠금 설정을 해제할 수 있다(S140). 이때, 사용자는 리모콘에 구비된 번호 버튼을 이용하여 비밀 번호를 입력할 수 있다. The user can unlock the profile by entering the preset lock password corresponding to the profile image selected on the profile unlock screen (S140). At this time, the user can enter the password using the number button provided on the remote control.

사용자는 비밀 번호가 기억나지 않아 자신의 프로필에 상응하는 비밀 번호를 재등록 하고자 하는 경우, 삭제 버튼(131)을 이용하여 프로필 삭제 후 재 등록 절차를 통해 프로필 잠금 비밀 번호를 다시 설정할 수 있다.If the user does not remember the password and wishes to re-register the password corresponding to his or her profile, the user can use the delete button 131 to delete the profile and then reset the profile lock password through the re-registration procedure.

이상에서 설명한 바와 같이, 종래의 셋톱박스 프로필 잠금 해제 절차는 홈 화면 진입 단계와 프로필 잠금 해제 화면에서의 잠금 비밀 번호 입력 단계의 2 뎁스 잠금 해제 절차를 제공하므로, 사용자 편의성이 떨어질뿐만 아니라 프로필 잠금 설정 변경에 따라 TV 시청이 방해되는 문제점이 있었다. As described above, the conventional set-top box profile unlocking procedure provides a two-depth unlocking procedure of entering the home screen and entering the lock password on the profile unlock screen, which not only reduces user convenience but also reduces profile lock settings. Due to the change, there was a problem that interfered with TV viewing.

도 2는 실시 예에 따른 음성 인식을 통한 보안 및 개인화 서비스 제공을 위한 시스템 구성도이다.Figure 2 is a system configuration diagram for providing security and personalized services through voice recognition according to an embodiment.

도 2를 참조하면, 시스템(1)은 TV(10), 셋톱박스(20), 리모콘(30), 디지털 방송 서버(40), 음성 인식 서버(50) 및 통신망(60)을 포함하여 구성될 수 있다.Referring to FIG. 2, the system 1 includes a TV 10, a set-top box 20, a remote control 30, a digital broadcasting server 40, a voice recognition server 50, and a communication network 60. You can.

셋톱박스(20)는 TV(10)와 전용선-예를 들면, HDMI 케이블-을 통해 연결될 수 있으며, 디지털 방송 서버(40)로부터 수신된 신호를 분리 및 복호하여 TV(10)에 제공할 수 있다.The set-top box 20 can be connected to the TV 10 through a dedicated line - for example, an HDMI cable - and can separate and decode the signal received from the digital broadcasting server 40 and provide it to the TV 10. .

일 예로, 리모콘(30)은 셋톱박스(20) 및 TV(10)와 동시에 페어링되어, 무선 제어 신호를 셋톱박스(20) 또는 TV(10)에 전송할 수 있는 통합 리모콘 기능이 탑재될 수 있다. As an example, the remote control 30 may be paired with the set-top box 20 and the TV 10 at the same time and may be equipped with an integrated remote control function that can transmit a wireless control signal to the set-top box 20 or the TV 10.

다른 일 예로, 리모콘(30)은 셋톱박스(20)에 페어링되며, TV(10)를 제어하기 위한 리모콘(미도시) 별도 구비될 수 있다.As another example, the remote control 30 is paired with the set-top box 20, and a remote control (not shown) to control the TV 10 may be provided separately.

리모콘(30)은 셋톱박스(20) 및 TV(10)의 전원을 ON/OFF 제어하기 위한 전원 버튼, 프로필 잠금 설정/해제/전환을 위한 사용자 음성을 입력 받아 셋톱박스(20)로 전송하기 위한 푸시투토크(Push-to-Talk) 버튼, 채널 선택 버튼, 음성 조절 버튼, 검색 버튼, 디스플레이 조정 버튼, 외부 입력 제어 버튼, 홈 메뉴 선택 버튼, 설정 버튼 등을 포함할 수 있으나, 이에 한정되지는 않는다. The remote control 30 has a power button for controlling the power ON/OFF of the set-top box 20 and the TV 10, and a user voice input for setting/unlocking/switching the profile lock and transmitting it to the set-top box 20. It may include, but is not limited to, a push-to-talk button, a channel selection button, a voice control button, a search button, a display adjustment button, an external input control button, a home menu selection button, and a settings button. No.

사용자는 리모콘(30)에 구비된 설정 버튼을 이용하여 홈 화면의 설정 메뉴에 진입할 수 있으며, 설정 메뉴의 특정 항목 선택을 통해 프로필 등록/삭제 절차, 사용자 별 잠금 키워드 등록 절차, 음성 인식 기반 프로필 잠금 설정/해제 절차, 화자 별 잠금 키워드 등록 절차, 음성 인식 기반 프로필 자동 전환 설정 절차 등을 수행할 수 있다.The user can use the settings button provided on the remote control 30 to enter the settings menu on the home screen, and select specific items in the settings menu to perform profile registration/deletion procedures, user-specific lock keyword registration procedures, and voice recognition-based profiles. You can perform lock setting/unlocking procedures, locking keyword registration procedures for each speaker, and voice recognition-based profile automatic switching setting procedures.

셋톱박스(20)는 마이크 및 스피커가 구비될 수 있으며, 셋톱박스(20)의 음성 인식 기능이 활성화된 경우, 마이크를 통해 입력된 사용자 음성 정보는 통신망(60)을 통해 음성 인식 서버(50)로 전송될 수 있다. 음성 인식 서버(50)는 수신된 사용자 음성 정보에 기반하여 음성 인식을 수행한 후, 인식된 사용자 명령에 상응하는 결과가 통신망(60)을 통해 셋톱박스(20)로 전송되도록 제어할 수 있다. 셋톱박스(20)는 수신된 결과를 구비된 스피커를 통해 출력할 수 있다. The set-top box 20 may be equipped with a microphone and a speaker, and when the voice recognition function of the set-top box 20 is activated, the user voice information input through the microphone is transmitted to the voice recognition server 50 through the communication network 60. can be sent to The voice recognition server 50 may perform voice recognition based on the received user voice information and then control the result corresponding to the recognized user command to be transmitted to the set-top box 20 through the communication network 60. The set-top box 20 can output the received results through a provided speaker.

실시 예로, 셋톱박스(20)의 마이크가 음성 인식을 위해 활성화된 상태에서 사용자에 의해 리모콘(30)에 구비된 특정 버튼-예를 들면, Push-to-Talk 버튼-이 눌려진 경우, 리모콘(30)은 소정 제어 신호를 출력하여, 셋톱박스(20)의 마이크를 비활성화시킬 수 있다. 리모콘(30)에 구비된 마이크를 통해 입력된 사용자 음성 명령-예를 들면, 프로필 잠금 설정, 프로필 잠금 해제, 프로필 자동 전환을 위한 음성 키워드-는 셋톱박스(20)로 전송될 수 있다. In an embodiment, when a specific button provided on the remote control 30 - for example, a Push-to-Talk button - is pressed by the user while the microphone of the set-top box 20 is activated for voice recognition, the remote control 30 ) can output a predetermined control signal to deactivate the microphone of the set-top box 20. User voice commands input through the microphone provided in the remote control 30 - for example, voice keywords for profile lock setting, profile unlock, and automatic profile switching - may be transmitted to the set-top box 20.

실시 예로, 프로필 잠금 설정, 프로필 잠금 해제, 프로필 자동 전환을 위한 음성 키워드는 모든 사용자에 대해 동일하도록 구현될 수 있으나, 이는 하나의 실시 예에 불과하며, 사용자 설정에 따라 사용자 별 서로 다른 키워드가 적용될 수도 있다. As an example, voice keywords for profile lock setting, profile unlock, and profile automatic switching may be implemented to be the same for all users, but this is only one embodiment, and different keywords will be applied for each user depending on user settings. It may be possible.

일 예로, 프로필 잠금 설정을 위한 음성 키워드는 "프로필 잠금 설정해줘", 프로필 잠금 해제를 위한 음성 키워드는 "프로필 잠금 해제해줘", 프로필 전환을 위한 음성 키워드는 "프로필 전환해줘"로 사전 정의될 수 있으나, 이는 하나의 실시 예에 불과하며, 각 사용자가 각 동작에 상응하는 음성 키워드를 각자 사전 정의하여 사용할 수도 있다.For example, the voice keyword for setting the profile lock can be predefined as “Set the profile lock,” the voice keyword for unlocking the profile can be predefined as “Unlock the profile,” and the voice keyword for switching profiles can be predefined as “Switch profile.” However, this is only one embodiment, and each user may predefine and use voice keywords corresponding to each operation.

실시 예로, 사용자는 자신의 프로필이 잠금 설정된 상태에서, 리모콘(30)의 특정 버튼을 누른 상태에서 사전 정의된 잠금 키워드를 발화하여 해당 프로필의 잠금 설정을 해제할 수 있다. 여기서, 잠금 키워드 입력을 위한 특정 버튼-예를 들면, 지우기 버튼-이 눌려지면, 리모콘(30)의 마이크는 활성화되고, 셋톱박스(20)의 마이크는 해당 특정 버튼이 눌려져 있는 동안 비활성화될 수 있다. 실시 예로, 잠금 키워드 입력을 위한 리모콘(30) 버튼은 당업자의 설계에 따라 상이한 버튼으로 사전 정의되거나 소정 설정 메뉴를 통해 변경될 수 있다. In an embodiment, while the user's profile is locked, the user can unlock the profile by uttering a predefined lock keyword while pressing a specific button on the remote control 30. Here, when a specific button for entering a lock keyword - for example, a erase button - is pressed, the microphone of the remote control 30 is activated, and the microphone of the set-top box 20 can be deactivated while the specific button is pressed. . In an embodiment, the remote control 30 button for entering the lock keyword may be predefined as a different button according to the design of a person skilled in the art, or may be changed through a predetermined setting menu.

다른 실시 예로, 사용자는 자신의 프로필이 잠금 설정된 상태에서 홈 화면의 프로필 변경 메뉴를 선택한 후 리모콘(30)의 특정 버튼-예를 들면, 지우기 버튼-을 누른 상태에서 사전 정의된 잠금 키워드를 발화하여 해당 프로필에 대한 잠금 설정을 해제할 수 있다. 여기서, 잠금 키워드 입력을 위한 특정 버튼이 눌려지면, 리모콘(30)의 마이크는 활성화되고, 셋톱박스(20)의 마이크는 해당 특정 버튼이 눌려져 있는 동안 비활성화될 수 있다. In another embodiment, while the user's profile is locked, the user selects the profile change menu on the home screen and then presses a specific button on the remote control 30 - for example, the erase button - and utters a predefined lock keyword to You can unlock the profile. Here, when a specific button for inputting a lock keyword is pressed, the microphone of the remote control 30 may be activated, and the microphone of the set-top box 20 may be deactivated while the specific button is pressed.

또 다른 실시 예로, 사용자는 자신의 프로필이 잠금 설정된 상태에서 홈 화면의 프로필 변경 메뉴를 선택한 후 리모콘(30)의 특정 버튼을 누르지 않은 상태에서 잠금 키워드를 발화하여 해당 프로필의 잠금 설정을 해제할 수도 있다. 이 경우, 사용자에 의해 발화된 음성은 셋톱박스(20)의 마이크에 직접 입력되어 바로 감지될 수 있으며, 셋톱박스(20)는 입력된 사용자 음성이 미리 설정된 또는 사전 등록된 잠금 키워드인 경우, 해당 사용자의 프로필에 대한 잠금 설정을 해제할 수 있다.In another embodiment, while the user's profile is locked, the user may select the profile change menu on the home screen and then utter the lock keyword without pressing a specific button on the remote control 30 to unlock the profile. there is. In this case, the voice uttered by the user can be directly input to the microphone of the set-top box 20 and immediately detected, and if the input user voice is a preset or pre-registered lock keyword, the set-top box 20 You can unlock the user's profile.

실시 예로, 잠금 키워드에 대한 사용자 별 음성 녹음 파일이 셋톱박스(20)의 소정 기록 영역에 사전 등록되어 유지될 수 있다. 복수의 프로필에 대한 잠금 설정이 해제된 상태에서 셋톱박스(20)는 사용자 발화된 잠금 키워드를 음성 인식할 수 있다. 셋톱박스(20)는 인식된 잠금 키워드에 상응하여 사용자 별 사전 등록된 음성 녹음 파일을 분석하여 해당 잠금 키워드를 발화한 화자를 식별할 수 있다. 셋톱박스(20)는 식별된 화자의 프로필에 상응하는 고객 맞춤형 화면을 구성할 수 있다. 실시 예로, 고객 맞춤형 화면은 사용자 별 사전 수집된 서비스 이용 데이터 및 통계에 기반하여 동적으로 구성될 수 있다. 일 예로, 고객 맞춤형 화면은 컨텐츠 이어보기 정보, 추천 컨텐츠 큐레이션 이미지, 추천 장르에 관한 정보 등을 포함할 수 있으나, 이에 한정되지는 않는다.In an embodiment, a voice recording file for each user for a lock keyword may be pre-registered and maintained in a predetermined recording area of the set-top box 20. In a state in which the lock setting for a plurality of profiles is released, the set-top box 20 can recognize the lock keyword uttered by the user by voice. The set-top box 20 can identify the speaker who uttered the lock keyword by analyzing the pre-registered voice recording file for each user corresponding to the recognized lock keyword. The set-top box 20 can configure a customer-customized screen corresponding to the profile of the identified speaker. In an embodiment, a customer-customized screen may be dynamically configured based on service usage data and statistics collected in advance for each user. For example, the customer-customized screen may include content continuation information, recommended content curation images, information on recommended genres, etc., but is not limited to this.

상술한 시스템(1)을 통해, 본원 발명은 TV 시청 중에도 프로필 변경이 필요한 경우, 홈 화면에 진입하지 않고, 사용자가 리모콘(30)의 특정 버튼을 누르거나, 또는 특정 버튼을 누른 후 잠금 키워드를 발화하여 자신의 프로필로 즉시 변경함으로써, 개인 맞춤형 서비스를 제공받을 수 있는 장점이 있다. Through the above-described system 1, the present invention allows the user to press a specific button on the remote control 30, or enter a lock keyword after pressing a specific button, without entering the home screen when a profile change is necessary even while watching TV. You have the advantage of being able to receive personalized services by uttering a message and immediately changing it to your profile.

또한, 본원 발명은 종래 홈 화면 진입->프로필 변경 메뉴 선택의 2 뎁스(depth) 프로필 변경이 아닌 음성 인식을 통한 1 뎁스 프로필 변경이 가능하므로 유저 시나리오를 보다 개선할 수 있는 장점이 있다.In addition, the present invention has the advantage of further improving the user scenario because it allows a 1-depth profile change through voice recognition, rather than a 2-depth profile change by selecting the conventional home screen entry->profile change menu.

도 3은 실시 예에 따른 온-디바이스 음성 인식 기반의 보안 및 개인화 서비스 제공 방법을 설명하기 위한 흐름도이다. Figure 3 is a flowchart illustrating a method of providing security and personalization services based on on-device voice recognition according to an embodiment.

도 3을 참조하면, 리모콘(30)은 프로필 잠금 설정 시 해당 프로필의 보안 인증을 위한 보안 인증 오디오 파일을 생성하여 셋톱박스(20)에 전송할 수 있다(S301). 일 예로, 보안 인증 오디오 파일은 PCM(Pulse Code Modulation) 타입으로 생성될 수 있다. 여기서, 보안 인증 오디오 파일은 보안 인증 정확도를 향상시키기 위해 보안 인증 키워드가 일정 회수 반복 녹음된 파일일 수 있다.Referring to FIG. 3, when setting a profile lock, the remote control 30 can create a security authentication audio file for security authentication of the profile and transmit it to the set-top box 20 (S301). As an example, a security authentication audio file may be created as a PCM (Pulse Code Modulation) type. Here, the security authentication audio file may be a file in which security authentication keywords are repeatedly recorded a certain number of times to improve security authentication accuracy.

리모콘(30)은 사용자에 의해 프로필 잠금 제어 버튼이 선택된 경우, 리모콘(30)에 구비된 마이크를 활성화하여 음성 녹음을 개시하고,프로필 잠금 제어 버튼이 선택이 해제된 경우 녹음된 오디오 파일을 생성할 수 있다(S303 내지 S309). 실시 예로, 사용자에 의해 프로필 잠금 제어 버튼이 선택된 경우, 리모콘(30)은 셋톱박스(20)에 소정 제어 신호-예를 들면, 보안 인증 요청 신호-를 전송하고, 셋톱박스(20)는 수신된 제어 신호에 따라 특정 잠금 키워드를 발화하도록 안내하는 UI 화면을 생성하여 연결된 TV(10) 화면에 출력시킬 수 있다. 일 예로, 잠금 키워드는 "하이 엘지"일 수 있으나, 이에 한정되지는 않으며, 당업자의 설계 또는 사용자 설정에 따라 잠금 키워드는 변경될 수 있다.When the profile lock control button is selected by the user, the remote control 30 activates the microphone provided on the remote control 30 to start voice recording, and when the profile lock control button is deselected, the remote control 30 creates a recorded audio file. (S303 to S309). In an embodiment, when the profile lock control button is selected by the user, the remote control 30 transmits a predetermined control signal - for example, a security authentication request signal - to the set-top box 20, and the set-top box 20 transmits the received A UI screen that guides utterance of a specific lock keyword according to a control signal can be created and output on the screen of the connected TV 10. For example, the locking keyword may be “high LG,” but it is not limited thereto, and the locking keyword may be changed according to the design or user settings of a person skilled in the art.

리모콘(30)은 녹음된 오디오 파일을 셋톱박스(20)로 전송할 수 있다(S309).The remote control 30 can transmit the recorded audio file to the set-top box 20 (S309).

셋톱박스(20)는 수신된 오디오 파일에 기반한 음성 인식을 수행하여 키워드를 추출할 수 있다(S311).The set-top box 20 can extract keywords by performing voice recognition based on the received audio file (S311).

셋톱박스(20)는 추출된 키워드가 사전 정의된 잠금 키워드인지 판단할 수 있다(S313).The set-top box 20 may determine whether the extracted keyword is a predefined locking keyword (S313).

판단 결과, 추출된 키워드가 잠금 키워드인 경우, 셋톱박스(20)는 탑재된 화자 인증 및 식별 앱을 실행하여 기 등록된 보안 인증 오디오 파일 및 수신된 오디오 파일에 기반한 화자 인증 및 식별 동작을 수행할 수 있다(S315). As a result of the determination, if the extracted keyword is a lock keyword, the set-top box 20 runs the installed speaker authentication and identification app to perform speaker authentication and identification operations based on the pre-registered security authentication audio file and the received audio file. (S315).

일 예로, 화자 인증 및 식별 동작은 기 정의된 학습 모델에 기반한 기계 학습을 통해 수행될 수 있다. 즉, 기 등록된 보안 인증 오디오 파일들에 대한 화자 별 음성 특징 학습 결과와 수신된 오디오 파일에 상응하는 화자의 음성 특징 학습 결과에 대한 비교 분석을 통해 화자 인증 및 식별이 이루어질 수 있다. 일 예로, 학습되는 음성 특징은 성별, 나이, 주파수, 진폭, 파형, 발화 속도, 음절 사이의 시간차 등을 포함할 수 있으나, 이에 한정되지는 않는다. 일 예로, 셋톱박스(20)는 수신된 오디오 파일의 음질 개선을 위해 수신 신호 증폭 및 잡음 필터링 동작을 수행할 수 있으며, 필터링된 오디오 신호에 대한 음성 특징 벡터를 추출할 수 있다. 이후, 셋톱박스(20)는 추출된 음성 특징 벡터에 대한 순환 신경망 학습을 통해 키워드를 인식하고, 추출된 음성 특징 벡터에 대한 심층 신경망 학습을 통해 화자를 인증 및 식별할 수 있다. As an example, speaker authentication and identification operations may be performed through machine learning based on a predefined learning model. That is, speaker authentication and identification can be achieved through comparative analysis of the voice feature learning results for each speaker for pre-registered security authentication audio files and the speaker's voice feature learning results corresponding to the received audio files. For example, voice features to be learned may include, but are not limited to, gender, age, frequency, amplitude, waveform, speech rate, time difference between syllables, etc. For example, the set-top box 20 may perform received signal amplification and noise filtering operations to improve the sound quality of the received audio file, and may extract a voice feature vector for the filtered audio signal. Thereafter, the set-top box 20 can recognize keywords through recurrent neural network learning on the extracted voice feature vector, and authenticate and identify the speaker through deep neural network learning on the extracted voice feature vector.

셋톱박스(20)는 화자 인증 및 식별에 성공한 경우, 식별된 화자에 상응하여 기 수집된 서비스 이용 데이터에 기반하여 식별된 화자를 위한 개인 맞춤형 UI 화면을 구성할 수 있다(S317).If speaker authentication and identification are successful, the set-top box 20 may configure a personalized UI screen for the identified speaker based on service usage data previously collected corresponding to the identified speaker (S317).

구성된 화면은 셋톱박스(20)로부터 TV(10)로 전송되어 화면에 출력될 수 있다(S319 내지 S321).The configured screen may be transmitted from the set-top box 20 to the TV 10 and output on the screen (S319 to S321).

상기 313 단계의 판단 결과, 추출된 키워드가 사전 설정된 잠금 키워드와 일치하지 않는 경우, 셋톱박스(20)는 소정 음성 인식 실패 메시지를 출력할 수 있다(S323). 일 예로, 음성 인식 실패 메시지는 셋톱박스(20)의 스피커를 통해 출력될 수 있으나, 이는 하나의 실시 예에 불과하며, 다른 실시 예는 TV(10) 화면을 통해 출력될 수 있다. As a result of the determination in step 313, if the extracted keyword does not match the preset lock keyword, the set-top box 20 may output a predetermined voice recognition failure message (S323). For example, a voice recognition failure message may be output through the speaker of the set-top box 20, but this is only one embodiment, and in another embodiment, it may be output through the screen of the TV 10.

도 4는 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다. Figure 4 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to an embodiment.

도 4를 참조하면, 셋톱박스(20)는 TV(10) 홈 화면상에서의 사용자 메뉴 선택에 따라 적어도 하나의 프로필을 내부 데이터베이스에 등록할 수 있다(S410). Referring to FIG. 4, the set-top box 20 may register at least one profile in the internal database according to the user menu selection on the home screen of the TV 10 (S410).

셋톱박스(20)는 초기 프로필 잠금 설정 시 등록된 프로필에 상응하여 생성된 보안 인증 오디오 파일이 리모콘으로부터 수신된 경우, 해당 프로필(또는 사용자 또는 화자)에 상응하는 보안 인증 오디오 파일을 내부 데이터베이스에 등록할 수 있다(S420).When the security authentication audio file created corresponding to the profile registered during the initial profile lock setting is received from the remote control, the set-top box 20 registers the security authentication audio file corresponding to the profile (or user or speaker) in the internal database. You can do it (S420).

셋톱박스(20)는 리모콘(30)의 마이크로 녹음된 오디오 파일을 리모콘(30)으로부터 수신할 수 있다(S430). 일 예로, 리모콘(30)은 특정 프로필 잠금 제어 버튼이 선택되면 구비된 마이크를 활성화하여 음성 녹음을 개시하고, 프로필 잠금 제어 버튼 선택이 해제되면, 녹음된 음성을 오디오 파일로 변환하여 셋톱박스(20)에 전송할 수 있다. The set-top box 20 can receive an audio file recorded with the microphone of the remote control 30 from the remote control 30 (S430). As an example, when a specific profile lock control button is selected, the remote control 30 activates the provided microphone to start voice recording, and when the profile lock control button is deselected, the remote control 30 converts the recorded voice into an audio file and stores it in the set-top box (20). ) can be transmitted to.

셋톱박스(20)는 수신된 오디오 파일에 대한 음운 분석 결과와 기 등록된 화자 별 보안 인증 오디오 파일에 대한 음운 분석 결과를 비교하여 화자를 인증 및 식별할 수 있다(S440).The set-top box 20 can authenticate and identify the speaker by comparing the phonological analysis result for the received audio file with the phonological analysis result for the security authentication audio file for each registered speaker (S440).

셋톱박스(20)는 식별된 화자와 현재 활성화된 프로필에 상응하는 화자가 상이한 것에 기반하여 식별된 화자에 대응하는 개인 맞춤형 UI 화면을 구성할 수 있다(S450).The set-top box 20 may configure a personalized UI screen corresponding to the identified speaker based on the difference between the identified speaker and the speaker corresponding to the currently activated profile (S450).

셋톱박스(20)는 구성된 화면을 TV로 전송할 수 있다(S460).The set-top box 20 can transmit the configured screen to the TV (S460).

상술한 바와 같이, 본원 발명은 리모콘 마이크를 통해 입력된 사용자 음성에 대해 셋톱박스(20)가 음성 인식을 통해 화자를 인증 및 식별한 후 식별된 화자에 상응하는 개인 맞춤형 UI 화면을 TV(10)에 제공하므로, 사용자는 TV(10) 홈 화면상에서 별도 메뉴 선택을 통해 화자 변경 및 프로필 잠금 제어를 수행하지 않아도 되는 장점이 있다.As described above, in the present invention, the set-top box 20 authenticates and identifies the speaker through voice recognition for the user's voice input through the remote control microphone, and then displays a personalized UI screen corresponding to the identified speaker on the TV 10. There is an advantage in that the user does not have to change the speaker or control the profile lock by selecting a separate menu on the home screen of the TV 10.

도 5는 다른 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다. Figure 5 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to another embodiment.

도 5를 참조하면, 셋톱박스(20)는 TV(10) 홈 화면상에서의 사용자 메뉴 선택에 따라 적어도 하나의 프로필을 등록 받을 수 있다(S510).Referring to FIG. 5, the set-top box 20 can register at least one profile according to a user menu selection on the home screen of the TV 10 (S510).

셋톱박스(20)는 초기 프로필 잠금 설정 시 사용자 선택된 프로필에 상응하여 생성된 잠금 키워드 오디오 파일을 리모콘(30)으로부터 수신하여 내부 데이터베이스에 등록할 수 있다(S520).When setting the initial profile lock, the set-top box 20 may receive a lock keyword audio file created corresponding to the profile selected by the user from the remote control 30 and register it in the internal database (S520).

셋톱박스(20)는 사용자의 프로필 잠금 설정 제어 버튼 선택에 따라 리모콘(30)으로부터 수신되는 오디오 파일을 음성 인식하여 잠금 키워드를 추출할 수 있다(S530).The set-top box 20 can extract the lock keyword by recognizing the audio file received from the remote controller 30 according to the user's selection of the profile lock setting control button (S530).

셋톱박스(20)는 수신된 오디오 파일에 대한 음운 분석 결과와 기 등록된 잠금 키워드 오디오 파일에 대한 음운 분석 결과를 비교하여 수신된 오디오 파일에 상응하는 화자를 인증 및 식별할 수 있다(S540).The set-top box 20 can authenticate and identify the speaker corresponding to the received audio file by comparing the phonological analysis result for the received audio file with the phonological analysis result for the pre-registered lock keyword audio file (S540).

셋톱박스(20)는 현재 활성화된 프로필의 화자와 식별된 화자의 동일 여부를 판단할 수 있다(S550).The set-top box 20 may determine whether the speaker of the currently activated profile and the identified speaker are the same (S550).

상기 550 단계의 판단 결과, 동일하지 않은 경우, 셋톱박스(20)는 식별된 화자에 상응하여 기 수집된 사용 이력 데이터에 기반하여 개인 맞춤형 UI 화면을 구성할 수 있다(S560). If the determination result in step 550 is not the same, the set-top box 20 may configure a personalized UI screen based on previously collected usage history data corresponding to the identified speaker (S560).

셋톱박스(20)는 현재 활성화된 프로필을 식별된 화자의 프로필로 전환한 후 구성된 개인 맞춤형 UI 화면을 TV(10)에 전송할 수 있다(S570).The set-top box 20 can convert the currently active profile to the profile of the identified speaker and then transmit the configured personalized UI screen to the TV 10 (S570).

상기 550 단계의 판단 결과, 현재 활성화된 프로필의 화자와 식별된 화자의 동일한 경우, 셋톱박스(20)는 추출된 잠금 키워드에 기반하여 식별된 화자에 대응하는 프로필 잠금 설정을 제어할 수 있다(S580). 일 예로, 추출된 잠금 키워드가 '프로필 잠금 설정'인 경우, 셋톱박스(20)는 현재 활성화된 프로필을 잠금 설정하여 비활성화시킬 수 있다. 다른 일 예로, 추출된 잠금 키워드가 '프로필 등록 해제'인 경우, 현재 활성화된 프로필에 대한 모든 등록 정보를 삭제할 수 있다. 또 다른 일 예로, 추출된 잠금 키워드가 '보안 인증 해제'인 경우, 셋톱박스(20)는 현재 활성화된 프로필에 대해 기 등록된 잠금 키워드 오디오 파일을 데이터베이스에서 삭제할 수 있다.As a result of the determination in step 550, if the speaker of the currently activated profile is the same as the identified speaker, the set-top box 20 may control profile lock settings corresponding to the identified speaker based on the extracted lock keyword (S580) ). For example, if the extracted lock keyword is 'profile lock setting', the set-top box 20 can lock and deactivate the currently activated profile. As another example, if the extracted lock keyword is 'unregister profile', all registration information for the currently activated profile can be deleted. As another example, if the extracted lock keyword is 'security authentication release', the set-top box 20 may delete the lock keyword audio file already registered for the currently activated profile from the database.

도 6은 또 다른 실시 예에 따른 셋톱박스에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.Figure 6 is a flow chart to explain a method of providing security and personalization services based on voice recognition in a set-top box according to another embodiment.

도 6을 참조하면, 셋톱박스(20)는 TV 홈 화면상에서의 소정 메뉴 선택을 통해 특정 프로필에 대한 잠금 설정 시, 사전 정의된 특정 문구가 포함된 보안 인증 오디오 파일을 리모콘으로부터(또는 셋톱박스에 구비된 마이크를 통해) 수신하여 내부 데이터베이스에 등록할 수 있다(S610). 일 예로, 특정 문구는 "일, 이, 삼, 사, 오, 육, 칠, 팔, 구, 십"일 수 있으나, 이에 한정되지는 않으며, 당업자의 설계 또는 사용자 설정에 따라 변경될 수 있다.Referring to FIG. 6, when the set-top box 20 sets a lock for a specific profile by selecting a predetermined menu on the TV home screen, a security authentication audio file containing a specific predefined phrase is sent from the remote control (or to the set-top box). It can be received (through the provided microphone) and registered in the internal database (S610). As an example, a specific phrase may be “one, two, three, four, five, six, seven, eight, nine, ten,” but is not limited thereto and may be changed according to the design or user settings of a person skilled in the art.

셋톱박스(20)는 TV 시청 중 리모콘(30)의 특정 버튼-예를 들면, 지우기 버튼-이 일정 시간 눌려진 것에 기반하여 사용자의 보안 인증 키워드 발화를 요청하는 소정 알림 메시지가 포함된 음성 인식 UI를 생성하여 TV(10) 화면의 일측에 표시할 수 있다(S620).The set-top box 20 provides a voice recognition UI that includes a predetermined notification message requesting the user to utter a security authentication keyword based on a specific button on the remote control 30 - for example, the erase button - being pressed for a certain period of time while watching TV. It can be generated and displayed on one side of the TV 10 screen (S620).

셋톱박스(20)는 알림 메시지에 따라 리모콘(30) 마이크를 통해 녹음된 오디오 파일이 리모콘(30)으로부터 수신된 것에 기반하여 수신된 오디오 파일과 데이터베이스에 등록된 프로필 별 보안 인증 오디오 파일에 대한 음운 분석을 수행할 수 있다(S630).Based on the audio file recorded through the microphone of the remote control 30 according to the notification message received from the remote control 30, the set-top box 20 provides phonology for the received audio file and the security authentication audio file for each profile registered in the database. Analysis can be performed (S630).

셋톱박스(20)는 음운 분석 결과에 기반하여 수신된 오디오 파일에 상응하는 화자를 인증 및 식별한 후, 화자의 변경 여부를 판단할 수 있다(S640).The set-top box 20 can authenticate and identify the speaker corresponding to the received audio file based on the phoneme analysis result and then determine whether the speaker has changed (S640).

셋톱박스(20)는 화자가 변경된 것에 기반하여 기존 화자의 프로필을 비활성화시키고, 변경된 화자의 프로필을 자동으로 활성화시킬 수 있다(S650). 여기서, 프로필의 비활성화는 해당 프로필이 잠금 해제 상태에서 잠금 상태로 자동 전환되는 것을 의미하고, 프로필의 활성화는 해당 프로필은 잠금 상태에서 잠금 해제 상태로 자동 전환되는 것을 의미할 수 있다. The set-top box 20 may deactivate the existing speaker's profile based on a change in the speaker and automatically activate the changed speaker's profile (S650). Here, deactivation of the profile may mean that the profile is automatically converted from the unlocked state to the locked state, and activation of the profile may mean that the profile is automatically converted from the locked state to the unlocked state.

셋톱박스(20)는 자동 활성화된 프로필에 상응하는 개인 맞춤형 UI 화면을 구성하여 TV(10) 화면에 표시할 수 있다(S660).The set-top box 20 can configure a personalized UI screen corresponding to the automatically activated profile and display it on the TV 10 screen (S660).

도 7은 실시 예에 따른 셋톱박스와 페어링된 리모콘에서의 음성 인식 기반 보안 및 개인화 서비스 제공 방법을 설명하기 위한 순서도이다.Figure 7 is a flowchart illustrating a method of providing voice recognition-based security and personalization services through a remote control paired with a set-top box according to an embodiment.

도 7을 참조하면, 리모콘(30)에 구비된 제1 버튼-예를 들면, 확인 버튼-이 사용자에 의해 제1 시간 동안 눌려진 경우, 리모콘(30)은 구비된 마이크가 활성화하여 사전 정의된 보안 인증 문구(또는 잠금 키워드)에 대한 사용자 발화 음성을 녹음할 수 있다(S710). 여기서, 보안 인증 문구에 대한 사용자 발화 음성은 미리 설정된 회수만큼 반복 녹음될 수 있다. 제1 버튼이 제1 시간 동안 길게 눌려진 경우, 제1 버튼은 일반적인 확인 버튼의 용도가 아닌 프로필 잠금 설정 버튼의 용도로서 사용될 수 있다.Referring to FIG. 7, when a first button provided on the remote control 30 - for example, an OK button - is pressed by the user for a first time, the remote control 30 activates a microphone provided to perform a predefined security operation. The user's voice for the authentication phrase (or lock keyword) can be recorded (S710). Here, the user's voice for the security authentication phrase may be repeatedly recorded a preset number of times. When the first button is pressed for a long time for a first time, the first button may be used as a profile lock setting button rather than as a general confirmation button.

리모콘(30)은 녹음이 완료된 경우, 녹음된 음성에 기반하여 제1 오디오 파일을 생성할 수 있다(S720). 여기서, 제1 오디오 파일은 PCM 타입으로 생성될 수 있다.When recording is completed, the remote control 30 may create a first audio file based on the recorded voice (S720). Here, the first audio file may be created as a PCM type.

리모콘(30)은 생성된 제1 오디오 파일을 셋톱박스(20)로 전송할 수 있다(S730). 셋톱박스(20)는 제1 오디오 파일을 해당 프로필에 상응하는 보안 인증 오디오 파일로 등록하여 내부 데이터베이스에 저장할 수 있다.The remote control 30 can transmit the generated first audio file to the set-top box 20 (S730). The set-top box 20 may register the first audio file as a security authentication audio file corresponding to the profile and store it in an internal database.

실시 예로, 복수의 프로필에 대한 보안 인증 오디오 파일에 리모콘(30)을 통해 셋톱박스(20)에 등록되어 유지될 수 있다.In an embodiment, security authentication audio files for multiple profiles may be registered and maintained in the set-top box 20 through the remote control 30.

리모콘(30)에 구비된 제2 버튼-예를 들면, 지우기 버튼-이 사용자에 의해 제2 시간 동안 눌려진 경우, 리모콘(30)은 구비된 마이크가 활성화하여 사용자 입력된 음성에 상응하는 제2 오디오 파일을 생성할 수 있다(S740). 여기서, 제2 오디오 파일은 PCM 타입으로 생성될 수 있다. 제2 버튼이 제2 시간 동안 길게 눌려진 경우, 제2 버튼은 일반적인 지우기 버튼의 용도가 아닌 프로필 잠금 제어 버튼의 용도로서 사용될 수 있다.When the second button provided on the remote control 30 - for example, the erase button - is pressed by the user for a second time, the remote control 30 activates the microphone provided and produces second audio corresponding to the user's input voice. A file can be created (S740). Here, the second audio file may be created in PCM type. When the second button is pressed and held for a second time, the second button may be used as a profile lock control button rather than as a general erase button.

리모콘(30)은 생성된 제2 오디오 파일을 셋톱박스(20)로 전송할 수 있다(S750). The remote control 30 can transmit the generated second audio file to the set-top box 20 (S750).

실시 예에 따른 셋톱박스(20)는 프로필 별 등록된 제1 오디오 파일과 수신된 제2 오디오 파일에 대한 음운 분석을 통해 화자 인증 및 식별 동작을 수행할 수 있다.The set-top box 20 according to the embodiment may perform speaker authentication and identification operations through phoneme analysis of the first audio file registered for each profile and the received second audio file.

다른 실시 예로, 셋톱박스(20)는 프로필 별 등록된 제1 오디오 파일과 수신된 제2 오디오 파일에 대한 전처리를 통해 음성 특징 벡터를 추출할 수 있다. 셋톱박스(20)는 추출된 음성 특징 벡터에 대한 순환 신경망 학습을 통해 키워드를 인식하고, 추출된 음성 특징 벡터에 대한 심층 신경망 학습을 통해 화자를 인증 및 식별할 수 있다. In another embodiment, the set-top box 20 may extract a voice feature vector through preprocessing of the first audio file registered for each profile and the received second audio file. The set-top box 20 can recognize keywords through recurrent neural network learning on the extracted voice feature vector, and authenticate and identify the speaker through deep neural network learning on the extracted voice feature vector.

셋톱박스(20)는 화자의 변경 여부를 판단하고, 화자가 변경된 것에 기반하여 변경된 화자에 상응하는 개인 맞춤형 UI 화면을 구성한 후 TV(10) 화면에 표시할 수 있다.The set-top box 20 can determine whether the speaker has changed, configure a personalized UI screen corresponding to the changed speaker based on the speaker change, and display it on the TV 10 screen.

도 8은 실시 예에 따른 프로필 잠금 설정 및 해제 절차를 설명하기 위한 도면이다.Figure 8 is a diagram for explaining a profile lock setting and unlocking procedure according to an embodiment.

도 8을 참조하면, 사용자는 TV 화면에 표시된 프로필 이미지들 중 자신의 프로필 이미지를 선택할 수 있다(S810). 이때, TV 화면에는 프로필 잠금 설정 화면이 표시될 수 있다.Referring to FIG. 8, the user can select his/her profile image among profile images displayed on the TV screen (S810). At this time, a profile lock setting screen may be displayed on the TV screen.

사용자는 프로필 잠금 설정 화면에서 안내 메시지에 따라 프로필 잠금 설정을 위한 키워드를 발화할 수 있다(S820). 이때, 사용자에 의해 발화된 키워드는 리모콘(30)에 구비된 마이크를 통해 녹음된 후 셋톱박스(20)에 전송되어 해당 사용자(또는 프로필)에 대한 보안 인증 오디오 파일로 등록될 수 있다.The user can utter a keyword for setting the profile lock according to the guidance message on the profile lock setting screen (S820). At this time, the keyword uttered by the user may be recorded through a microphone provided in the remote control 30 and then transmitted to the set-top box 20 and registered as a security authentication audio file for the user (or profile).

TV 시청 중 사용자는 잠금 설정된 프로필 중 어느 하나를 선택할 수 있다(S830). 이때, TV 화면에는 프로필 잠금 해제 화면이 표시될 수 있다.While watching TV, the user can select one of the locked profiles (S830). At this time, a profile unlock screen may be displayed on the TV screen.

사용자는 프로필 잠금 설정 화면에서 안내 메시지에 따라 특정 버튼-예를 들면, 확인 버튼 또는 지우기 버튼-을 누른 상태에서 잠금 해제를 위한 키워드를 발화할 수 있다(S840). 이때, 사용자에 의해 발화된 키워드는 리모콘(30)에 구비된 마이크를 통해 녹음된 후 셋톱박스(20)에 전송될 수 있다. 셋톱박스(20)는 해당 프로필에 상응하여 기 등록된 보안 인증 오디오 파일과 프로필 잠금 설정 화면상에서 녹음된 오디오 파일에 대한 음운 분석 및/또는 음성 인식 기계 학습을 수행하여 화자를 인증 및 식별할 수 있다.The user may utter a keyword for unlocking while pressing a specific button - for example, a confirmation button or a clear button - according to the guidance message on the profile lock setting screen (S840). At this time, the keyword uttered by the user may be recorded through a microphone provided in the remote control 30 and then transmitted to the set-top box 20. The set-top box 20 can authenticate and identify the speaker by performing phonological analysis and/or voice recognition machine learning on the pre-registered security authentication audio file corresponding to the profile and the audio file recorded on the profile lock setting screen. .

도 9는 실시 예에 따른 셋톱박스의 구조를 설명하기 위한 블록도이다.Figure 9 is a block diagram for explaining the structure of a set-top box according to an embodiment.

도 9를 참조하면, 셋톱박스(20)는 송수신부(910), 학습부(920), 제어부(950), 분석부(930), 저장부(940) 및 제어부(950)를 포함하여 구성될 수 있다.Referring to FIG. 9, the set-top box 20 is configured to include a transceiver 910, a learning unit 920, a control unit 950, an analysis unit 930, a storage unit 940, and a control unit 950. You can.

송수신부(910)는 리모콘(30)과의 신호 송/수신을 위한 제1 통신부(911), TV(10)와의 신호 송/수신을 위한 제2 통신부(912) 및 서버(910)와 신호 송/수신을 위한 제3 통신부(913)를 포함하여 구성될 수 있다.The transmitting and receiving unit 910 includes a first communication unit 911 for transmitting/receiving signals with the remote control 30, a second communication unit 912 for transmitting/receiving signals with the TV 10, and a signal transmission unit 910 with the server 910. /It may be configured to include a third communication unit 913 for reception.

제어부(950)는 셋톱박스(20)의 전체적인 동작 및 입출력을 제어할 수 있다.The control unit 950 can control the overall operation and input/output of the set-top box 20.

제어부(950)는 송수신부(910)로부터 리모콘(30)에 의해 전송된 오디오 파일을 수신할 수 있다.The control unit 950 may receive an audio file transmitted by the remote control 30 from the transceiver 910.

제어부(950)는 수신된 오디오 파일이 보안 인증 오디오 파일인 경우, 저장부(940)에 해당 프로필에 상응하는 보안 인증 오디오 파일로 등록할 수 있다.If the received audio file is a security authentication audio file, the control unit 950 may register it in the storage unit 940 as a security authentication audio file corresponding to the corresponding profile.

제어부(950)는 수신된 오디오 파일이 잠금 설정 해제를 위한 오디오 파일인 경우, 해당 오디오 파일을 학습부(920) 및/또는 분석부(930)에 제공할 수 있다.If the received audio file is an audio file for unlocking, the control unit 950 may provide the corresponding audio file to the learning unit 920 and/or the analysis unit 930.

학습부(920)는 제어부(950)로부터 수신된 오디오 파일과 프로필 별 기 등록된 보안 인증 오디오 파일에 기반하여 음성 인식 기계 학습을 수행하고, 학습 결과에 기초하여 화자 인증 및 화자 식별을 수행할 수 있다.The learning unit 920 can perform voice recognition machine learning based on the audio file received from the control unit 950 and the security authentication audio file previously registered for each profile, and perform speaker authentication and speaker identification based on the learning results. there is.

제어부(920)는 학습부(920)의 화자 인증 및 식별 결과에 기초하여 화자 변경 여부를 판단할 수 있으며, 판단 결과에 따라 프로필 별 사용 이력 데이터에 기반하여 개인 맞춤형 UI 화면을 구성할 수 있다. 이때, 구성된 개인 맞춤형 UI 화면은 송수신부(910)의 제2 통신 모듈(912)을 통해 TV(10)에 전송되어 표시될 수 있다.The control unit 920 can determine whether to change the speaker based on the speaker authentication and identification results of the learning unit 920, and can configure a personalized UI screen based on usage history data for each profile according to the judgment result. At this time, the configured personalized UI screen may be transmitted and displayed on the TV 10 through the second communication module 912 of the transceiver 910.

분석부(930)는 제어부(950)로부터 수신된 오디오 파일과 프로필 별 기 등록된 보안 인증 오디오 파일에 기반하여 음운 분석을 수행할 수 있다. 분석부(930)는 음운 분석 결과에 기반하여 화자 인증 및 화자 식별을 수행할 수 있다.The analysis unit 930 may perform phonological analysis based on the audio file received from the control unit 950 and the security authentication audio file previously registered for each profile. The analysis unit 930 may perform speaker authentication and speaker identification based on the phonological analysis results.

제어부(920)는 분석부(930)의 화자 인증 및 식별 결과에 기초하여 화자 변경 여부를 판단할 수 있으며, 판단 결과에 따라 프로필 별 사용 이력 데이터에 기반하여 개인 맞춤형 UI 화면을 구성할 수 있다. 이때, 구성된 개인 맞춤형 UI 화면은 송수신부(910)의 제2 통신 모듈(912)을 통해 TV(10)에 전송되어 표시될 수 있다.The control unit 920 can determine whether to change the speaker based on the speaker authentication and identification results of the analysis unit 930, and can configure a personalized UI screen based on usage history data for each profile according to the judgment result. At this time, the configured personalized UI screen may be transmitted and displayed on the TV 10 through the second communication module 912 of the transceiver 910.

제어부(920)는 TV 시청 중 수집된 프로필 별 사용 이력 데이터 및/또는 사용 이력 통계 데이터를 생성하여 저장부(940)에 저장할 수 있다.The control unit 920 may generate usage history data and/or usage history statistical data for each profile collected while watching TV and store them in the storage unit 940 .

제어부(920)는 프로필 별 사용 이력 데이터 및/또는 사용 이력 통계 데이터에 기반하여, 해당 프로필에 상응하는 이어 보기 채널 및 컨텐츠 리스트, 선호 장르 추천 VOD 리스트, 추천 방송 채널 리스트, 추천 유튜브 채널 리스트 등의 정보를 생성하여 개인 맞춤형 UI 화면을 구성할 수 있다.Based on the usage history data and/or usage history statistical data for each profile, the control unit 920 creates a list of channels and content to be continued, a recommended genre VOD list, a recommended broadcast channel list, a recommended YouTube channel list, etc. corresponding to the profile. You can create a personalized UI screen by creating information.

제어부(920)는 프로필 잠금 제어를 위한 오디오 파일이 리모콘(30)으로부터 수신된 경우, 해당 오디오 파일에 대한 음성 인식을 외부 음성 인식 서버(50)에 요청하지 않고, 내부 탑재된 음성 인식 엔진 및/또는 음운 분석 엔진을 이용하여 화자에 대한 보안 인증 및 식별 절차를 수행할 수 있다.When an audio file for profile lock control is received from the remote controller 30, the control unit 920 does not request voice recognition for the audio file from the external voice recognition server 50, but uses the internally mounted voice recognition engine and/or Alternatively, secure authentication and identification procedures for the speaker can be performed using the phonological analysis engine.

제어부(920)는 리모콘(30)을 통해 입력된 화자 음성에 기반한 화자 인증 및 식별을 통해 화자 변경 여부를 판단할 수 있으며, 화자 변경이 확인된 경우 자동으로 프로필을 전환하여 현재 화자에 상응하는 개인 맞춤형 UI 화면을 생성할 수 있다.The control unit 920 can determine whether a speaker has changed through speaker authentication and identification based on the speaker's voice input through the remote control 30, and when a speaker change is confirmed, the profile is automatically switched to create a new speaker corresponding to the current speaker. You can create custom UI screens.

저장부(940)는 음성 인식 및/또는 음운 분석을 위한 소프트웨어 엔진-즉, 앱-이 탑재될 수 있다.The storage unit 940 may be equipped with a software engine for voice recognition and/or phonological analysis - that is, an app.

저장부(940)는 프로필 별 사용 이력 데이터 및 보안 인증 오디오 파일이 데이터베이스의 형태로 유지될 수 있다.The storage unit 940 may maintain usage history data and security authentication audio files for each profile in the form of a database.

학습부(920) 및/또는 분석부(930)는 리모콘(30)으로부터 수신된 오디오 파일에 기반하여 사용자에 의해 발화된 잠금 키워드를 식별할 수 있다.The learning unit 920 and/or the analysis unit 930 may identify the locking keyword uttered by the user based on the audio file received from the remote control 30.

제어부(950)는 식별된 잠금 키워드에 기반하여 해당 프로필에 대한 잠금 설정을 제어할 수 있다. The control unit 950 may control lock settings for the profile based on the identified lock keyword.

또한, 제어부(950)는 식별된 잠금 키워드에 기반하여 해당 프로필에 대해 등록된 보안 인증 오디오 파일 및/또는 사용 이력 데이터를 삭제할 수도 있다.Additionally, the control unit 950 may delete the security authentication audio file and/or usage history data registered for the profile based on the identified lock keyword.

본 명세서에 개시된 실시 예들과 관련하여 설명된 서버는 디스플레이, 외부 유/무선 통신망을 통해 네트워크 장비 및 사용자 디바이스-예를 들면, 셋톱 박스-와 신호를 송수신하기 위한 송수신기 및 디스플레이 및 송수신기와 연결되어 전체적인 동작을 제어하는 적어도 하나의 프로세서 및 상기 프로세서의 동작을 위한 프로그램이 기록된 메모리를 포함하여 구성될 수 있다. The server described in relation to the embodiments disclosed in this specification is connected to a display, a transceiver for transmitting and receiving signals with network equipment and user devices - for example, a set-top box - through an external wired / wireless communication network, and the display and transceiver are connected to the overall It may be configured to include at least one processor that controls the operation and a memory in which a program for the operation of the processor is recorded.

본 명세서에 개시된 실시 예들과 관련하여 설명된 셋톱박스는 외부 유/무선 통신망 및(또는) 근거리 무선 통신 및(또는) 전용선/케이블을 통해 외부 장치-예를 들면, 디지털 방송 서버, 음성 인식 서버, 리모콘, TV 등-과 신호를 송수신하기 위한 송수신기 및 송수신기와 연결되어 전체적인 동작을 제어하는 적어도 하나의 프로세서 및 상기 프로세서의 동작을 위한 프로그램이 기록된 메모리를 포함하여 구성될 수 있다. The set-top box described in relation to the embodiments disclosed herein can be connected to an external device - for example, a digital broadcasting server, a voice recognition server, It may be configured to include a transceiver for transmitting and receiving signals to and from a remote control, TV, etc., at least one processor connected to the transceiver to control the overall operation, and a memory in which a program for the operation of the processor is recorded.

본 명세서에 개시된 실시 예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리 및/또는 스토리지)에 상주할 수도 있다. The steps of the method or algorithm described in connection with the embodiments disclosed herein may be implemented directly as hardware, software modules, or a combination of the two executed by a processor. Software modules may reside in a storage medium (i.e., memory and/or storage) such as RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM.

예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 디바이스 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 디바이스 내에 개별 컴포넌트로서 상주할 수도 있다.An exemplary storage medium is coupled to a processor, the processor capable of reading information from and writing information to the storage medium. Alternatively, the storage medium may be integral with the processor. The processor and storage medium may reside within an application specific integrated circuit (ASIC). The ASIC may reside within the user device. Alternatively, the processor and storage medium may reside as separate components within the user device.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations will be possible to those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but rather to explain it, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.

Claims (25)

리모콘과 페어링된 셋톱박스에서의 보안 및 개인화 서비스 제공 방법에 있어서,
상기 리모콘으로부터 프로필 별 제1 오디오 파일을 수신하여 상기 프로필 별 보안 인증 오디오 파일을 등록하는 단계;
상기 리모콘으로부터 제2 오디오 파일을 수신하는 단계;
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계;
상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계; 및
상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 TV로 전송하는 단계;
를 포함하고,
상기 제1 오디오 파일은 사전 정의된 잠금 키워드가 상기 화자에 의해 미리 설정된 횟수만큼 반복 녹음됨을 통해 생성되며,
상기 잠금 키워드는 상기 셋톱박스 내의 모든 프로필들에 대해 동일하게 정의되는,
방법. In a method of providing security and personalization services in a set-top box paired with a remote control,
Receiving a first audio file for each profile from the remote control and registering a security authentication audio file for each profile;
Receiving a second audio file from the remote control;
authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file;
generating a personalized user interface screen based on the speaker identification result; and
Transmitting the generated personalized user interface screen to a TV;
Including,
The first audio file is created by repeatedly recording a predefined locking keyword a preset number of times by the speaker,
The lock keyword is defined identically for all profiles in the set-top box,
method. 삭제delete 제1항에 있어서,
상기 제1 오디오 파일 및 상기 제2 오디오 파일은 상기 TV의 홈 화면상에서 사용자 선택된 프로필에 대응하여 생성되는, 방법.According to paragraph 1,
The method wherein the first audio file and the second audio file are created corresponding to a user-selected profile on the home screen of the TV. 제1항에 있어서,
상기 TV에 프로필 잠금 설정 화면이 표시된 상태에서 상기 리모콘에 구비된 제1 버튼이 제1 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크는 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제1 오디오 파일이 생성되는, 방법.According to paragraph 1,
The microphone of the remote control is activated based on the first button provided on the remote control being pressed for a first time while the profile lock setting screen is displayed on the TV, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. 1 How audio files are created. 제1항에 있어서,
상기 TV에 프로필 잠금 해제 화면이 표시된 상태에서, 상기 리모콘에 구비된 제1 버튼이 제2 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크가 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제2 오디오 파일이 생성되는, 방법.According to paragraph 1,
With the profile unlock screen displayed on the TV, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a second time, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. A method by which a second audio file is created. 제1항에 있어서,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계는,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 음운 분석을 수행하는 단계; 및
상기 음운 분석 결과에 기반하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 단계
를 포함하는, 방법. According to paragraph 1,
The step of authenticating and identifying the speaker based on the security authentication audio file registered for each profile and the second audio file,
performing phonological analysis on each of the security authentication audio file registered for each profile and the second audio file; and
Authenticating and identifying the speaker corresponding to the second audio file based on the phonological analysis results
Method, including. 제6항에 있어서,
상기 음운 분석은 외부 서버와의 연동 없이 상기 셋톱박스에 탑재된 음운 분석 엔진을 이용하여 수행되는 것을 특징으로 하는, 방법.According to clause 6,
The method is characterized in that the phonological analysis is performed using a phonological analysis engine mounted on the set-top box without linking with an external server. 제1항에 있어서,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계는,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 전처리를 통해 음성 특징 벡터를 추출하는 단계; 및
상기 추출된 음성 특징 벡터에 기반한 음성 인식 기계 학습을 수행하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 단계
를 포함하는, 방법.According to paragraph 1,
The step of authenticating and identifying the speaker based on the security authentication audio file registered for each profile and the second audio file,
Extracting a voice feature vector through preprocessing each of the security authentication audio file registered for each profile and the second audio file; and
Authenticating and identifying the speaker corresponding to the second audio file by performing voice recognition machine learning based on the extracted voice feature vector.
Method, including. 제8항에 있어서,
상기 음성 인식 기계 학습은 외부 서버와의 연동 없이 상기 셋톱박스 내 탑재된 음성 인식 엔진을 이용하여 수행되는 것을 특징으로 하는, 방법.According to clause 8,
A method characterized in that the voice recognition machine learning is performed using a voice recognition engine mounted in the set-top box without linking with an external server. 제1항에 있어서,
상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계는,
현재 활성화된 프로필의 화자와 상기 식별된 화자가 동일한지 여부를 판단하는 단계; 및
상기 판단 결과, 화자가 변경된 경우, 상기 식별된 화자에 상응하여 기 수집된 사용 이력 데이터에 기반하여 상기 식별된 화자의 프로필에 상응하는 상기 개인 맞춤형 사용자 인터페이스 화면을 구성하는 단계
를 포함하는, 방법. According to paragraph 1,
The step of generating a personalized user interface screen based on the speaker identification result includes:
determining whether the speaker of the currently activated profile and the identified speaker are the same; and
As a result of the determination, if the speaker has changed, configuring the personalized user interface screen corresponding to the profile of the identified speaker based on usage history data previously collected corresponding to the identified speaker.
Method, including. 제10항에 있어서,
상기 화자가 변경된 것에 기반하여 상기 식별된 화자에 상응하는 프로필로 자동 전환되는 것을 특징으로 하는, 방법.According to clause 10,
A method, characterized in that automatically switching to a profile corresponding to the identified speaker based on a change in the speaker. 제1항에 있어서,
상기 제2 오디오 파일에 대한 음운 분석 및/또는 음성 인식을 수행하여 제2 잠금 키워드를 추출하는 단계를 더 포함하고, 상기 제2 잠금 키워드에 기반하여 해당 프로필에 대한 잠금 제어가 수행되는 것을 특징으로 하는, 방법. According to paragraph 1,
Further comprising extracting a second locking keyword by performing phonological analysis and/or voice recognition on the second audio file, wherein locking control for the corresponding profile is performed based on the second locking keyword. How to. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 리모콘과 페어링되는 셋톱박스에서 보안 및 개인화 서비스를 제공하기 위한 동작들을 수행하게 하는 명령을 포함하는 적어도 하나의 컴퓨터 프로그램을 저장하는 비휘발성 컴퓨터 판독 가능 저장 매체에 있어서,
상기 동작들은,
상기 리모콘으로부터 프로필 별 제1 오디오 파일을 수신하여 상기 프로필 별 보안 인증 오디오 파일을 등록하는 단계;
상기 리모콘으로부터 제2 오디오 파일을 수신하는 단계;
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하는 단계;
상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하는 단계; 및
상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 TV로 전송하는 단계;
를 포함하고,
상기 제1 오디오 파일은 사전 정의된 잠금 키워드가 상기 화자에 의해 미리 설정된 횟수만큼 반복 녹음됨을 통해 생성되며,
상기 잠금 키워드는 상기 셋톱박스 내의 모든 프로필들에 대해 동일하게 정의되는,
저장 매체.A non-volatile computer storing at least one computer program containing instructions that, when executed by at least one processor, cause the at least one processor to perform operations for providing security and personalization services in a set-top box paired with a remote control. In a readable storage medium,
The above operations are:
Receiving a first audio file for each profile from the remote control and registering a security authentication audio file for each profile;
Receiving a second audio file from the remote control;
authenticating and identifying a speaker based on the security authentication audio file registered for each profile and the second audio file;
generating a personalized user interface screen based on the speaker identification result; and
Transmitting the generated personalized user interface screen to a TV;
Including,
The first audio file is created by repeatedly recording a predefined locking keyword a preset number of times by the speaker,
The lock keyword is defined identically for all profiles in the set-top box,
storage media. 보안 및 개인화 서비스를 제공하기 위한 셋톱박스에 있어서,
페어링된 리모콘 및 TV와 신호를 송수신하는 송수신부; 및
상기 송수신부와 연결되는 제어부를 포함하고,
상기 제어부는 상기 리모콘으로부터 제1 오디오 파일을 수신하여 프로필 별 보안 인증 오디오 파일을 등록하고, 상기 리모콘으로부터 제2 오디오 파일을 수신된 경우, 상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일에 기반하여 화자를 인증 및 식별하고, 상기 화자 식별 결과에 기반하여 개인 맞춤형 사용자 인터페이스 화면을 생성하고, 상기 생성된 개인 맞춤형 사용자 인터페이스 화면을 상기 TV로 전송하고,
상기 제1 오디오 파일은 사전 정의된 잠금 키워드가 상기 화자에 의해 미리 설정된 횟수만큼 반복 녹음됨을 통해 생성되며,
상기 잠금 키워드는 상기 셋톱박스 내의 모든 프로필들에 대해 동일하게 정의되는,
셋톱박스. In a set-top box to provide security and personalized services,
A transceiver unit that transmits and receives signals with the paired remote control and TV; and
It includes a control unit connected to the transceiver unit,
The control unit receives a first audio file from the remote control and registers a security authentication audio file for each profile, and when a second audio file is received from the remote control, the security authentication audio file and the second audio file registered for each profile. Authenticate and identify the speaker based on, generate a personalized user interface screen based on the speaker identification result, and transmit the generated personalized user interface screen to the TV,
The first audio file is created by repeatedly recording a predefined locking keyword a preset number of times by the speaker,
The lock keyword is defined identically for all profiles in the set-top box,
Set top box. 삭제delete 제14항에 있어서,
상기 제1 오디오 파일 및 상기 제2 오디오 파일은 상기 TV의 홈 화면상에서 사용자 선택된 프로필에 대응하여 생성되는 것을 특징으로 하는, 셋톱박스.According to clause 14,
A set-top box, characterized in that the first audio file and the second audio file are created in response to a user-selected profile on the home screen of the TV. 제14항에 있어서,
상기 TV에 프로필 잠금 설정 화면이 표시된 상태에서 상기 리모콘에 구비된 제1 버튼이 제1 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크는 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제1 오디오 파일이 생성되는 것을 특징으로 하는, 셋톱박스.According to clause 14,
The microphone of the remote control is activated based on the first button provided on the remote control being pressed for a first time while the profile lock setting screen is displayed on the TV, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. 1 A set-top box, characterized in that audio files are created. 제14항에 있어서,
상기 TV에 프로필 잠금 해제 화면이 표시된 상태에서, 상기 리모콘에 구비된 제1 버튼이 제2 시간 동안 눌려진 것에 기반하여 상기 리모콘의 마이크가 활성화되고, 상기 활성화된 마이크를 통해 녹음된 음성에 기반하여 상기 제2 오디오 파일이 생성되는 것을 특징으로 하는, 셋톱박스.According to clause 14,
With the profile unlock screen displayed on the TV, the microphone of the remote control is activated based on the first button provided on the remote control being pressed for a second time, and the microphone of the remote control is activated based on the voice recorded through the activated microphone. A set-top box, characterized in that a second audio file is created. 제14항에 있어서,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 음운 분석을 수행하는 분석부를 더 포함하고, 상기 음운 분석 결과에 기반하여 상기 제2 오디오 파일에 상응하는 화자가 인증 및 식별되는 것을 특징으로 하는, 셋톱박스. According to clause 14,
Further comprising an analysis unit that performs phonological analysis on each of the security authentication audio file registered for each profile and the second audio file, wherein the speaker corresponding to the second audio file is authenticated and identified based on the phonological analysis result. A set-top box characterized by: 제19항에 있어서,
상기 분석부는 외부 서버와의 연동 없이 상기 셋톱박스에 탑재된 음운 분석 엔진을 이용하여 상기 음운 분석을 수행하는 것을 특징으로 하는, 셋톱박스.According to clause 19,
A set-top box, characterized in that the analysis unit performs the phoneme analysis using a phoneme analysis engine mounted on the set-top box without linking with an external server. 제14항에 있어서,
상기 프로필 별 등록된 보안 인증 오디오 파일 및 상기 제2 오디오 파일 각각에 대한 전처리를 통해 음성 특징 벡터를 추출하고, 상기 추출된 음성 특징 벡터에 기반한 음성 인식 기계 학습을 수행하여 상기 제2 오디오 파일에 상응하는 화자를 인증 및 식별하는 학습부를 더 포함하는, 셋톱박스.According to clause 14,
A voice feature vector is extracted through preprocessing for each of the security authentication audio file registered for each profile and the second audio file, and voice recognition machine learning is performed based on the extracted voice feature vector to correspond to the second audio file. A set-top box further comprising a learning unit that authenticates and identifies the speaker. 제21항에 있어서,
상기 학습부는 외부 서버와의 연동 없이 상기 셋톱박스 내 탑재된 음성 인식 엔진을 이용하여 상기 음성 인식 기계 학습을 수행하는 것을 특징으로 하는, 셋톱박스.According to clause 21,
A set-top box, characterized in that the learning unit performs the voice recognition machine learning using a voice recognition engine mounted in the set-top box without linking with an external server. 제14항에 있어서,
상기 제어부는 현재 활성화된 프로필의 화자와 상기 식별된 화자가 동일한지 여부를 판단하고, 상기 판단 결과에 따라 화자가 변경된 경우, 상기 식별된 화자에 상응하여 기 수집된 사용 이력 데이터에 기반하여 상기 식별된 화자의 프로필에 상응하는 상기 개인 맞춤형 사용자 인터페이스 화면을 구성하는 것을 특징으로 하는, 셋톱박스.According to clause 14,
The control unit determines whether the speaker of the currently activated profile and the identified speaker are the same, and when the speaker changes according to the determination result, the control unit identifies the speaker based on usage history data previously collected corresponding to the identified speaker. A set-top box, characterized in that configuring the personalized user interface screen corresponding to the profile of the speaker. 제23항에 있어서,
상기 제어부는 상기 화자가 변경된 것에 기반하여 상기 식별된 화자에 상응하는 프로필로 자동 전환시키는 것을 특징으로 하는, 셋톱박스.According to clause 23,
The set-top box is characterized in that the control unit automatically switches to a profile corresponding to the identified speaker based on a change in the speaker. 제14항에 있어서,
상기 제어부는 상기 제2 오디오 파일에 대한 음운 분석 및/또는 음성 인식 결과에 기반하여 제2 잠금 키워드를 추출하고, 상기 제2 잠금 키워드에 기반하여 해당 프로필에 대한 잠금 제어를 수행하는 것을 특징으로 하는, 셋톱박스. According to clause 14,
The control unit extracts a second lock keyword based on a result of phoneme analysis and/or voice recognition for the second audio file, and performs lock control for the corresponding profile based on the second lock keyword. , set-top box.
KR1020210151612A 2021-11-05 2021-11-05 Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor KR102613249B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210151612A KR102613249B1 (en) 2021-11-05 2021-11-05 Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210151612A KR102613249B1 (en) 2021-11-05 2021-11-05 Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor

Publications (2)

Publication Number Publication Date
KR20230065736A KR20230065736A (en) 2023-05-12
KR102613249B1 true KR102613249B1 (en) 2023-12-13

Family

ID=86385730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210151612A KR102613249B1 (en) 2021-11-05 2021-11-05 Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor

Country Status (1)

Country Link
KR (1) KR102613249B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526491B1 (en) * 2012-08-17 2015-06-05 한국전자통신연구원 Apparatus and method for providing personalized home screen
KR102309505B1 (en) * 2021-02-10 2021-10-06 김재성 User-customized augmentative and alternative communication apparatus using speech recognition and intelligence and method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150012464A (en) * 2013-07-25 2015-02-04 삼성전자주식회사 Display apparatus and method for providing personalized service thereof
KR102654415B1 (en) * 2019-02-22 2024-04-05 엘지전자 주식회사 Display device and operating method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526491B1 (en) * 2012-08-17 2015-06-05 한국전자통신연구원 Apparatus and method for providing personalized home screen
KR102309505B1 (en) * 2021-02-10 2021-10-06 김재성 User-customized augmentative and alternative communication apparatus using speech recognition and intelligence and method thereof

Also Published As

Publication number Publication date
KR20230065736A (en) 2023-05-12

Similar Documents

Publication Publication Date Title
US11854549B2 (en) Systems and methods for distinguishing valid voice commands from false voice commands in an interactive media guidance application
KR102056461B1 (en) Display apparatus and method for controlling the display apparatus
KR102304052B1 (en) Display device and operating method thereof
JP5442703B2 (en) Method and apparatus for voice control of devices associated with consumer electronics
KR101681321B1 (en) Method for user authentication, video communication apparatus and display apparatus thereof
JP5784245B2 (en) Video display device, setting change method thereof, and setting change program
EP2675153A1 (en) Display apparatus, interactive server, and method for providing response information
US20140195230A1 (en) Display apparatus and method for controlling the same
KR101884291B1 (en) Display apparatus and control method thereof
CN105791935A (en) Television control method and apparatus thereof
CN103517094A (en) Server and method of controlling the same
EP3481072A2 (en) Electronic apparatus and method for controlling thereof
KR102613249B1 (en) Method for providing security and personalization service through personal voice identification based on artificial intelligence and apparatus therefor
KR20150009757A (en) Image processing apparatus and control method thereof
JP2023098875A (en) Picture display device
KR102160756B1 (en) Display apparatus and method for controlling the display apparatus
WO2017102763A1 (en) Content blocking
KR20240003145A (en) Method for providing security and personalization service through personal facial recognition based on artificial intelligence and apparatus therefor
KR102431747B1 (en) Apparatus and method for setting preference settings
JP6100328B2 (en) Video display device
CN113228166B (en) Command control device, control method, and nonvolatile storage medium
KR20050122417A (en) Television for authenticating user and method for controlling same
JP6423470B2 (en) Video display device
CN117812311A (en) Display device, display control method, device and storage medium
JP2020190836A (en) Video signal processing apparatus and video signal processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right