KR102668438B1 - 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 - Google Patents

음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 Download PDF

Info

Publication number
KR102668438B1
KR102668438B1 KR1020160178871A KR20160178871A KR102668438B1 KR 102668438 B1 KR102668438 B1 KR 102668438B1 KR 1020160178871 A KR1020160178871 A KR 1020160178871A KR 20160178871 A KR20160178871 A KR 20160178871A KR 102668438 B1 KR102668438 B1 KR 102668438B1
Authority
KR
South Korea
Prior art keywords
user
voice
information
database
relationship
Prior art date
Application number
KR1020160178871A
Other languages
English (en)
Other versions
KR20180075009A (ko
Inventor
이진호
조재민
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160178871A priority Critical patent/KR102668438B1/ko
Priority to US15/649,359 priority patent/US11004447B2/en
Priority to CN201710672463.6A priority patent/CN108242237A/zh
Publication of KR20180075009A publication Critical patent/KR20180075009A/ko
Application granted granted Critical
Publication of KR102668438B1 publication Critical patent/KR102668438B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/03—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for
    • B60R16/0315—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for supply of electrical power to vehicle subsystems or for using multiplexing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271—Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/26—Devices for calling a subscriber
    • H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/27453—Directories allowing storage of additional subscriber data, e.g. metadata
    • H04M1/27457—Management thereof, e.g. manual editing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G10L2015/0635—Training updating or merging of old and new templates; Mean values; Weighting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Navigation (AREA)

Abstract

사용자의 발화 언어에 기초하여 복수 사용자 간의 관계를 판단하고, 판단된 사용자들 간의 관계에 기초하여 좀 더 지능적인 음성 인식을 수행하거나, 사용자에게 필요한 정보를 선제적으로 제공할 수 있는 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법을 제공한다.
일 실시예에 따른 음성 처리 장치는, 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하는 음성 처리부; 제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 포함된 제1사용자 데이터베이스 및 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 포함된 제2사용자 데이터베이스를 저장하는 저장부; 및 상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 업데이트하는 DB 관리기;를 포함한다.

Description

음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법{SPEECH PROCESSING APPARATUS, VEHICLE HAVING THE SAME AND SPEECH PROCESSING METHOD}
개시된 발명은 사용자의 음성을 인식하고, 인식된 음성으로부터 필요한 정보를 획득하는 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법에 관한 것이다.
차량에 대한 기술이 발전함에 따라, 차량이 수행하는 기본적인 기능인 주행 이외에도 사용자의 편의를 위한 다양한 기능이 제공되고 있다. 예를 들어, 차량이 사용자의 모바일 단말과 연결되어 전화 걸기나 메시지 보내기 등의 기능을 제공할 수 있다.
이처럼 차량이 수행할 수 있는 기능이 다양해지면서 사용자의 조작 부하가 증가되고, 조작 부하의 증가는 운전에 대한 집중도를 저하시켜 안전 운전을 방해하는 요인이 된다. 또한, 기기의 조작이 미숙한 사용자는 차량이 수행할 수 있는 기능을 제대로 활용하지 못하게 된다.
따라서, 사용자의 조작 부하를 감소시키기 위한 사용자 인터페이스에 대한 연구 및 개발이 요구되는바, 특히, 사용자의 음성을 인식하여 해당 음성에 대응되는 기능을 수행하는 음성 인식 기술이 차량에 적용되면, 사용자의 조작 부하를 효과적으로 감소시킬 수 있을 것으로 기대된다.
사용자의 발화 언어에 기초하여 복수 사용자 간의 관계를 판단하고, 판단된 사용자들 간의 관계에 기초하여 좀 더 지능적인 음성 인식을 수행하거나, 사용자에게 필요한 정보를 선제적으로 제공할 수 있는 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법을 제공한다.
일 실시예에 따른 음성 처리 장치는, 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하는 음성 처리부; 제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 포함된 제1사용자 데이터베이스 및 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 포함된 제2사용자 데이터베이스를 저장하는 저장부; 및 상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 업데이트하는 DB 관리기;를 포함한다.
상기 개인 정보는, 전화 번호를 포함할 수 있다.
상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고, 상기 제2식별 태그는, 상기 제2사용자의 이름을 포함할 수 있다.
상기 DB 관리기는, 상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가할 수 있다.
상기 DB 관리기는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가할 수 있다.
상기 제2사용자 데이터베이스에 저장된 제1사용자의 개인 정보는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계에 의해 검색될 수 있다.
상기 음성 처리부는, 상기 제2사용자의 발화 언어에 기초하여 상기 제2사용자와 다른 구성원의 관계 정보를 획득하고, 상기 다른 구성원은, 상기 제1사용자와 상기 제2사용자가 포함된 그룹의 구성원일 수 있다.
상기 DB 관리기는, 상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트할 수 있다.
상기 DB 관리기는, 상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제1사용자와 상기 다른 구성원의 관계 정보를 판단하고, 상기 판단된 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트할 수 있다.
일 실시예에 따른 차량은, 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하는 음성 처리부; 제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 저장된 제1사용자 데이터베이스 및 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 저장된 제2사용자 데이터베이스를 저장하는 저장부; 상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 업데이트하는 DB 관리기; 및
음성을 출력하는 스피커;를 포함할 수 있다.
상기 개인 정보는, 전화 번호를 포함할 수 있다.
상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고, 상기 제2식별 태그는, 상기 제2사용자의 이름을 포함할 수 있다.
상기 DB 관리기는, 상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가할 수 있다.
상기 DB 관리기는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가할 수 있다.
상기 제2사용자 데이터베이스에 저장된 제1사용자의 개인 정보는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계에 의해 검색될 수 있다.
상기 제1사용자 데이터베이스는, 상기 제1사용자의 생일 및 주소 중 적어도 하나를 포함하는 부가 정보를 더 포함할 수 있다.
상기 DB 관리기는, 상기 제1사용자 데이터베이스에 포함된 상기 부가 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트할 수 있다.
상기 스피커는, 상기 부가 정보에 기초하여 상기 제2사용자에게 서비스를 제공하기 위한 음성을 출력할 수 있다.
상기 제1사용자 및 상기 제2사용자의 모바일 기기와 통신하여 상기 모바일 기기로부터 폰북 데이터를 다운로드 받는 통신부;를 더 포함하고, 상기 DB 관리기는, 상기 다운로드된 폰북 데이터를 이용하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 생성할 수 있다.ㄴ
일 실시예에 따른 음성 처리 방법은, 제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 포함된 제1사용자 데이터베이스를 저장하고; 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 상기 제2사용자의 관계 정보를 획득하고; 상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트하고; 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 포함된 제2사용자 데이터베이스를 저장하고; 상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 것;을 포함한다.
상기 개인 정보는, 전화 번호를 포함할 수 있다.
상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고, 상기 제2식별 태그는, 상기 제2사용자의 이름을 포함할 수 있다.
상기 제1사용자 데이터베이스를 업데이트하는 것은, 상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가하는 것을 포함할 수 있다.
상기 제2사용자 데이터베이스를 업데이트하는 것은, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가하는 것을 포함할 수 있다.
상기 제2사용자의 발화 언어에 기초하여 상기 제2사용자와 다른 구성원의 관계 정보를 획득하는 것;을 더 포함하고, 상기 다른 구성원은, 상기 제1사용자와 상기 제2사용자가 포함된 그룹의 구성원일 수 있다.
상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 것;을 더 포함할 수 있다.
상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제1사용자와 상기 다른 구성원의 관계 정보를 판단하고; 상기 판단된 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트하는 것;을 더 포함할 수 있다.
일 측면에 따른 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법에 의하면, 사용자의 발화 언어에 기초하여 복수 사용자 간의 관계를 판단하고, 판단된 사용자들 간의 관계에 기초하여 좀 더 지능적인 음성 인식을 수행하거나, 사용자에게 필요한 정보를 선제적으로 제공할 수 있다.
도 1은 일 실시예에 따른 음성 처리 장치의 제어 블록도이다.
도 2는 차량의 외관도이다.
도 3은 차량 내부의 구성을 나타낸 도면이다.
도 4는 모바일 기기, 차량 및 서버와의 관계를 나타낸 제어 블록도이다.
도 5는 사용자가 발화한 음성에 대한 피드백을 제공하는 차량의 제어 블록도이다.
도 6은 음성 처리 장치가 차량에 포함되는 경우에 차량과 모바일 기기의 관계를 나타낸 제어 블록도이다.
도 7은 사용자와 차량이 주고 받는 대화의 예시를 나타낸 도면이다.
도 8은 사용자와 차량이 주고 받은 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
도 9는 사용자와 차량이 주고 받는 대화의 다른 예시를 나타낸 도면이다.
도 10은 도 9의 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
도 11은 제1사용자 데이터베이스에 저장된 정보에 기초하여 제2사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
도 12는 사용자와 차량이 주고 받는 대화의 또 다른 예시를 나타낸 도면이다.
도 13은 도 12의 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
도 14는 제2사용자 데이터베이스에 저장된 정보에 기초하여 제1사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
도 15는 제1사용자 데이터베이스에 저장된 정보에 기초하여 제3사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
도 16은 사용자 데이터베이스에 전화번호 외에 기타 부가 정보가 저장되는 예시를 나타낸 도면이다.
도 17 및 도 18은 사용자 데이터베이스에 저장된 부가 정보를 이용하여 사용자에게 필요한 정보를 제공하는 예시를 나타낸 도면이다.
도 19 및 도 20은 일 실시예에 따른 음성 처리 방법을 설명하기 위한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소들 간의 순서와 같은 상호 관계가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법의 실시예를 상세하게 설명한다.
도 1은 일 실시예에 따른 음성 처리 장치의 제어 블록도이다.
도 1을 참조하면, 일 실시예에 따른 음성 처리 장치(100)는 음성 입력부(10)를 통해 입력된 사용자의 음성을 인식하는 음성 인식부(110), 사용자와 관련된 정보를 저장하는 저장부(130), 인식된 음성에 기초하여 필요한 정보를 획득하는 음성 처리부(120) 및 획득된 정보에 기초하여 저장부(130)에 저장된 정보를 관리하는 DB 관리기(140)를 포함한다.
음성 인식부(110)는 입력된 사용자의 음성을 인식하고, 그 인식 결과를 출력한다. 인식 결과는 사용자가 발화한 언어를 포함할 수 있고 후술하는 실시예에서는 사용자가 발화한 언어를 발화 언어라 하기로 한다. 발화 언어는 미리 정해진 명령어일 수도 있고, 사용자가 평소에 사용하는 언어인 자연어일 수도 있다.
음성 인식부(110)는 음성 인식 엔진(speech recognition engine)을 포함하고, 음성 인식 엔진은 입력된 음성에 음성 인식 알고리즘을 적용하여 사용자가 발화한 음성을 인식하고, 인식 결과를 생성할 수 있다.
이 때, 입력된 음성은 음성 인식을 위한 더 유용한 형태로 변환될 수 있는바, 음성 신호로부터 시작 지점과 끝 지점을 검출하여 입력된 음성에 포함된 실제 음성 구간을 검출한다. 이를 EPD(End Point Detection)이라 한다.
그리고, 검출된 구간 내에서 켑스트럼(Cepstrum), 선형 예측 코딩(Linear Predictive Coefficient: LPC), 멜프리퀀시켑스트럼(Mel Frequency Cepstral Coefficient: MFCC) 또는 필터 뱅크 에너지(Filter Bank Energy) 등의 특징 벡터 추출 기술을 적용하여 입력된 음성의 특징 벡터를 추출할 수 있다.
그리고, 추출된 특징 벡터와 훈련된 기준 패턴과의 비교를 통하여 인식 결과를 얻을 수 있다. 이를 위해, 음성의 신호적인 특성을 모델링하여 비교하는 음향 모델(Acoustic Model) 과 인식 어휘에 해당하는 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델(Language Model)이 사용될 수 있다.
음향 모델은 다시 인식 대상을 특징 벡터 모델로 설정하고 이를 음성 데이터의 특징 벡터와 비교하는 직접 비교 방법과 인식 대상의 특징 벡터를 통계적으로 처리하여 이용하는 통계 방법을 나뉠 수 있다.
직접 비교 방법은 인식 대상이 되는 단어, 음소 등의 단위를 특징 벡터 모델로 설정하고 입력 음성이 이와 얼마나 유사한지를 비교하는 방법으로서, 대표적으로 벡터 양자화(Vector Quantization) 방법이 있다. 벡터 양자화 방법에 의하면 입력된 음성 데이터의 특징 벡터를 기준 모델인 코드북(codebook)과 매핑시켜 대표 값으로 부호화함으로써 이 부호 값들을 서로 비교하는 방법이다.
통계적 모델 방법은 인식 대상에 대한 단위를 상태 열(State Sequence)로 구성하고 상태 열 간의 관계를 이용하는 방법이다. 상태 열은 복수의 노드(node)로 구성될 수 있다. 상태 열 간의 관계를 이용하는 방법은 다시 동적 시간 와핑(Dynamic Time Warping: DTW), 히든 마르코프 모델(Hidden Markov Model: HMM), 신경 회로망을 이용한 방식 등이 있다.
동적 시간 와핑은 같은 사람이 같은 발음을 해도 신호의 길이가 시간에 따라 달라지는 음성의 동적 특성을 고려하여 기준 모델과 비교할 때 시간 축에서의 차이를 보상하는 방법이고, 히든 마르코프 모델은 음성을 상태 천이 확률 및 각 상태에서의 노드(출력 심볼)의 관찰 확률을 갖는 마르코프 프로세스로 가정한 후에 학습 데이터를 통해 상태 천이 확률 및 노드의 관찰 확률을 추정하고, 추정된 모델에서 입력된 음성이 발생할 확률을 계산하는 인식 기술이다.
한편, 단어나 음절 등의 언어적인 순서 관계를 모델링하는 언어 모델은 언어를 구성하는 단위들 간의 순서 관계를 음성 인식에서 얻어진 단위들에 적용함으로써 음향적인 모호성을 줄이고 인식의 오류를 줄일 수 있다. 언어 모델에는 통계적 언어 모델과 유한 상태 네트워크(Finite State Automata: FSA)에 기반한 모델이 있고, 통계적 언어 모델에는 Unigram, Bigram, Trigram 등 단어의 연쇄 확률이 이용된다.
음성 인식부(110)는 음성을 인식함에 있어 상술한 방식 중 어느 방식을 사용해도 무방하다. 예를 들어, 히든 마르코프 모델이 적용된 음향 모델을 사용할 수도 있고, 음향 모델과 음성 모델을 통합한 N-best 탐색법을 사용할 수 있다. N-best 탐색법은 음향 모델과 언어 모델을 이용하여 N개까지의 인식 결과 후보를 선택한 후, 이들 후보의 순위를 재평가함으로써 인식 성능을 향상시킬 수 있다.
음성 인식부(110)는 인식 결과의 신뢰성을 확보하기 위해 신뢰값(confidence value)을 계산할 수 있다. 신뢰값은 음성 인식 결과에 대해서 그 결과를 얼마나 믿을 만한 것인가를 나타내는 척도이다. 일 예로, 인식된 결과인 음소나 단어에 대해서, 그 외의 다른 음소나 단어로부터 그 말이 발화되었을 확률에 대한 상대값으로 정의할 수 있다. 따라서, 신뢰값은 0 에서 1 사이의 값으로 표현할 수도 있고, 0 에서 100 사이의 값으로 표현할 수도 있다.
신뢰값이 미리 설정된 임계값(threshold)을 초과하는 경우에는 인식 결과를 출력하여 인식 결과에 대응되는 동작이 수행되도록 할 수 있고, 신뢰값이 임계값 이하인 경우에는 인식 결과를 거절(rejection)할 수 있다.
음성 인식부(110)는 소프트웨어, 하드웨어 또는 이들의 조합을 이용하여 컴퓨터로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(processor), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(micro-processor) 등의 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
소프트웨어적인 구현에 의하면, 적어도 하나의 기능 또는 동작을 수행하는 별개의 소프트웨어 모듈과 함께 구현될 수 있고, 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션에 의해 구현될 수 있다.
음성 처리부(120)는 발화 언어로부터 사용자의 발화 의도를 파악할 수 있다. 예를 들어, 발화 언어가 자연어인 경우에는 음성 처리부(120)가 자연어 처리 기술을 적용하여 대화 관리자의 기능도 수행할 수 있다.
또한, 음성 처리부(120)는 발화 언어로부터 복수의 사용자 사이의 관계 정보를 획득할 수 있다. 예를 들어, 복수의 사용자가 가족 관계에 있는 경우, 음성 처리부(120)는 발화 언어로부터 복수의 사용자가 부녀 관계인지, 부자 관계인지, 부부 관계인지, 모녀 관계인지, 또는 모자 관계인지 여부 등을 판단할 수 있다.
음성 처리부(120)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행시키는 적어도 하나의 프로세서를 포함할 수 있다.
음성 처리부(120)는 음성 인식부(110)와 메모리 및 프로세서를 공유할 수도 있고, 저장부(130)와 메모리를 공유할 수도 있다. 즉, 음성 처리부(120)와 음성 인식부(110)는 당해 실시예에서 설명하는 동작을 수행할 수만 있으면 되고, 이를 구현하기 위한 물리적인 구성에 대해서는 제한을 두지 않는다.
저장부(130)는 사용자와 관련된 정보를 데이터베이스 형태로 저장할 수 있다. 예를 들어, 제1사용자의 정보를 제1사용자 데이터베이스에 저장할 수 있고, 제2사용자의 정보를 제2사용자 사용자 데이터베이스에 저장할 수 있으며, 제3사용자의 정보를 제3사용자 데이터베이스에 저장할 수 있다.
여기서, 사용자의 정보는 각 사용자가 저장한 타인의 개인정보를 포함할 수 있고, 타인의 개인정보는 전화 번호, 주소 등의 정보를 포함할 수 있다. 또한, 타인이라 함은 사용자 본인 이외에 지인이나 가족을 포함할 수 있다.
제1사용자 데이터베이스, 제2사용자 데이터베이스 및 제3사용자 데이터베이스는 모두 저장부(130)에 저장되고, 사용자의 수 및 이에 따른 데이터베이스의 수에는 제한이 없다.
각각의 사용자 데이터베이스에 저장된 사용자 정보는 음성 처리부(120)에서 획득한 관계 정보에 기초하여 업데이트될 수 있다. 예를 들어, 음성 처리부(120)가 제1사용자와 제2사용자 사이의 관계를 획득한 경우, 제1사용자 데이터베이스 및 제2사용자 데이터베이스에 제1사용자와 제2사용자 사이의 관계 정보가 추가로 저장될 수 있다.
일 예로, 음성 처리 장치(100)는 차량에 탑승한 사용자의 모바일 기기로부터 폰북 데이터를 이용하여 사용자 데이터베이스를 생성 및 저장할 수 있다. 또한, 사용자의 음성을 인식하고, 인식된 음성으로부터 획득된 정보를 이용하여, 사용자 데이터베이스에 저장된 정보를 업데이트할 수 있다. 이러한 예시에 따라 음성 처리 장치(100)의 실시예를 구체적으로 설명한다.
도 2는 차량의 외관도이고, 도 3은 차량 내부의 구성을 나타낸 도면이다.
도 2 및 도 3을 함께 참조하면, 차량(1)은 차량(1)을 이동시키는 차륜(51, 52), 차량(1) 내부를 외부로부터 차폐시키는 도어(71L, 71R, 72L, 72R), 차량(1) 내부의 운전자에게 차량(1) 전방의 시야를 제공하는 전면 유리(63), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(81L, 81R)를 포함한다.
전면 유리(30)는 차량(1)의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 하는 것으로서, 윈드쉴드 글래스(windshield glass)라고도 한다.
또한, 사이드 미러(81L, 81R)는 차량(1)의 좌측에 마련되는 좌측 사이드 미러(81L) 및 우측에 마련되는 우측 사이드 미러(81R)를 포함하며, 차량(1) 내부의 운전자가 차량(1)의 측면 및 후방에 대한 시각 정보를 획득할 수 있도록 한다.
차륜(51, 52)은 차량의 전방에 마련되는 전륜(51), 차량의 후방에 마련되는 후륜(52)을 포함하며, 차량(1) 내부에 마련되는 구동 장치(60)는 차량(1)이 이동하도록 전륜(51) 또는 후륜(52)에 회전력을 제공한다.
차량(1)이 전륜 구동 방식인 경우에는 전륜(51)에 회전력을 제공하고, 후륜 구동 방식인 경우에는 후륜(52)에 회전력을 제공한다. 또한, 차량(1)이 사륜 구동 방식인 경우에는 전륜(51)과 후륜(52)에 모두 회전력을 제공할 수 있다.
이와 같은 구동 장치(60)는 화석 연료를 연소시켜 회전력을 생성하는 엔진 또는 축전기로부터 전원을 공급받아 회전력을 생성하는 모터를 채용할 수 있고, 엔진과 모터를 모두 구비하여 선택적으로 사용하는 하이브리드 방식을 채용하는 것도 가능하다.
도어(71L, 71R, 72L)는 차량(1)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자 또는 동승자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킨다.
이외에도 차량(1)은 후면 또는 측면의 장애물 내지 다른 차량을 감지하는 근접 센서, 강수 여부 및 강수량을 감지하는 레인 센서 등의 감지 장치를 포함할 수 있다.
차량(1) 내부의 대시보드(10)의 중앙 영역인 센터페시아(62)에는 오디오 기능, 비디오 기능, 내비게이션 기능, 전화 걸기 기능을 포함하는 차량의 제어를 수행하기 위해 필요한 화면을 표시하는 디스플레이(41)와 사용자의 제어 명령을 입력 받기 위한 입력부(43)가 마련될 수 있다.
디스플레이(41)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등의 다양한 디스플레이 장치 중 하나로 구현될 수 있다.
사용자는 입력부(43)를 조작하여 차량(1)을 제어하기 위한 명령을 입력할 수 있다. 입력부(43)는 도 3에 도시된 바와 같이 디스플레이(41)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, 디스플레이(41)가 터치 스크린 타입으로 구현되는 경우에는 디스플레이(41)가 입력부(43)의 기능도 함께 수행할 수 있다.
차량(1)은 사용자의 제어 명령을 음성 입력부(110)를 통해 음성으로 입력 받을 수도 있다. 음성 입력부(110)는 음향을 입력 받아 전기적인 신호로 출력하는 마이크로폰으로 구현될 수 있다.
효과적인 음성의 입력을 위하여 음성 입력부(110)는 도 3에 도시된 바와 같이 헤드라이닝(64)에 장착될 수 있으나, 차량(1)의 실시예가 이에 한정되는 것은 아니며, 대시보드(61) 위에 장착되거나 스티어링 휠(65)에 장착되는 것도 가능하다. 이 외에도 사용자의 음성을 입력 받기에 적합한 위치이면 어디든 제한이 없다.
또한, 차량(1) 내부에는 차량의 제어를 수행하기 위해 필요한 음향을 출력하는 스피커(42)가 마련될 수 있다. 일 예로, 스피커(42)는 운전석 도어(71L) 및 조수석 도어(71R) 내측에 마련될 수 있다.
한편, 차량(1)은 사용자의 모바일 기기(2)와 연결되어 모바일 기기(2)에 저장된 데이터를 다운로드 받을 수도 있고, 차량(1)을 통해 모바일 기기(2)를 제어할 수도 있다.
예를 들어, 모바일 기기(2)는 PDA(Personal Digital Assistant), 랩톱(laptop), 태블릿 PC, 스마트폰 및 스마트 글래스나 스마트 워치와 같은 웨어러블 디바이스 등의 전자 기기를 포함할 수 있다. 다만, 모바일 기기(2)의 예시가 이에 한정되는 것은 아니며, 이동성이 보장되면서 데이터를 저장할 수 있고, 차량(1)과 무선 또는 유선으로 연결되어 데이터를 전달할 수 있는 전자 기기이면 모바일 기기(2)가 될 수 있다. 후술하는 실시예에서는 구체적인 설명을 위해, 모바일 기기(2)가 스마트폰인 경우를 예로 들어 설명한다.
도 4는 모바일 기기, 차량 및 서버와의 관계를 나타낸 제어 블록도이다.
앞서 도 1에서 설명한 음성 처리 장치(100)는 차량(1)에 포함될 수도 있고, 외부의 서버(3)에 포함될 수도 있으며, 모바일 기기(2)에 포함되는 것도 가능하다.
또는, 음성 처리 장치(100)의 일부 구성 요소는 차량(1)에 포함되고 다른 일부 구성 요소는 외부의 서버(3)에 포함되는 것도 가능하다.
예를 들어, 음성 처리 장치(100)의 음성 인식부(110)는 서버(3)에 포함되고, 음성 처리부(120)와 저장부(130)는 차량(1)에 포함될 수 있다. 또는, 음성 인식부(110)와 음성 처리부(120)는 서버(3)에 포함되고 저장부(130)는 차량(1)에 포함되는 것도 가능하다.
당해 예시에서는 음성 처리 장치(100)가 외부의 서버(3)에 포함되는 경우를 가정하여 설명한다. 음성 처리 장치(100)가 외부의 서버(3)에 포함되면, 음성 처리 장치(100)의 데이터 저장 용량이나 데이터 처리 성능이 차량(1) 또는 모바일 기기(2)의 데이터 저장 용량이나 데이터 처리 성능에 구애 받지 않게 된다.
도 4를 참조하면, 차량(1)은 사용자의 음성을 입력 받는 음성 입력부(10), 모바일 기기(2) 및 서버(3)와 통신하여 데이터를 주고 받는 통신부(20) 및 차량을 제어하는 제어부(30)를 포함한다.
통신부(20)는 외부 장치와 통신을 가능하게 하는 하나 이상의 통신 모듈을 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
또한, 무선 통신 모듈은 신호를 송수신하는 안테나, 송신기(Transmitter) 및 수신기(Receiver)를 포함할 수 있다.
또한, 무선 통신 모듈은 디지털 제어 신호를 아날로그 형태의 무선 신호로 변조하고, 수신한 아날로그 형태의 무선 신호를 디지털 제어 신호로 복조하기 위한 신호 변환 모듈을 더 포함할 수 있다.
또한, 통신부(20)는 차량(1) 내부의 전자 장치들 사이의 통신을 위한 내부 통신 모듈을 더 포함할 수도 있다. 차량(1)의 내부 통신 프로토콜로는 CAN(Controller Area Network), LIN(Local Interconnection Network), 플렉스레이(FlexRay), 이더넷(Ethernet) 등을 사용할 수 있다.
통신부(20)는 무선 통신 모듈을 이용하여 서버(3)와 데이터를 주고 받을 수 있고, 근거리 통신 모듈 또는 유선 통신 모듈을 이용하여 모바일 기기(2)와 데이터를 주고 받을 수 있다.
예를 들어, 차량(1)에 탑승한 사용자가 블루투스 통신 방식을 이용하여 모바일 기기(2)를 차량(1)과 연결시킬 수 있다. 사용자는 차량(1)의 운전자뿐 아니라 동승자도 포함할 수 있으며, 차량(1)의 탑승자는 모두 사용자가 될 수 있는 것으로 한다.
모바일 기기(2)와 차량(1)은 통신부(20)의 근거리 통신 모듈을 통해 연결될 수 있고, 모바일 기기(2)에 저장된 사용자 정보가 차량(1)에 전달될 수 있다. 일 예로, 차량(1)에 전달되는 사용자 정보는 전화번호가 저장된 폰북(Phone book) 데이터일 수 있다. 폰북 데이터에는 사용자가 자신의 모바일 기기(2)에 저장한 전화번호가 각 전화번호의 사용자를 식별할 수 있는 식별 태그와 함께 저장되어 있다.
차량(1)에 전달된 폰북 데이터는 차량(1)에 마련된 메모리에 일시적 또는 비일시적으로 저장될 수 있고, 통신부(20)의 무선 통신 모듈을 통해 서버(3)로 전달될 수 있다.
서버(3)의 음성 처리 장치(100)에 포함된 DB 관리기(140)는 전달된 폰북 데이터를 이용하여 사용자 데이터베이스를 생성하고, 생성된 사용자 데이터베이스를 저장부(130)에 저장할 수 있다. 특히, 차량(1)의 사용자가 복수인 경우, 사용자 별로 데이터베이스를 생성하여 저장할 수 있다.
전술한 바와 같이, 차량(1)은 사용자의 음성을 입력 받을 수 있다. 예를 들어, 사용자가 음성 입력부(10)에 음성을 입력하면, 음성 입력부(110)는 입력된 음성을 전기적 신호로 변환한다.
입력된 음성은 차량(1)에 마련된 메모리에 일시적 또는 비일시적으로 저장될 수 있고, 통신부(20)의 무선 통신 모듈을 통해 서버(3)로 전달된다.
서버(3)의 음성 인식부(110)는 전달된 음성을 인식하여 발화 언어를 출력하고, 음성 처리부(120)는 발화 언어로부터 복수의 사용자 사이의 관계 정보를 획득할 수 있다.
발화 언어가 자연어인 경우, 음성 처리부(120)는 자연어 처리(Natural Language Processing) 기술을 적용하여 발화 언어에 포함된 사용자의 발화 의도를 파악할 수 있다. 따라서, 사용자는 자연스러운 대화(Dialogue)를 통해 제어 명령을 입력할 수 있고, 차량(1) 역시 대화를 통해 제어 명령의 입력을 유도하거나 사용자가 필요로 하는 서비스를 제공하기 위해, 스피커(42)를 통해 대화를 출력할 수 있다.
한편, 가족 구성원들끼리 하나의 차량을 공유하는 경우가 많다. 따라서, 음성 처리부(120)가 발화 언어로부터 획득하는 사용자들 사이의 관계 정보는 가족 관계 정보일 수 있다.
예를 들어, 제1사용자의 발화 내용으로부터 획득된 제2사용자와의 관계 정보가 부녀 관계인 경우, 제1사용자 데이터베이스에 저장된 제2사용자의 전화번호에 제1사용자와 제2사용자가 부녀 관계임을 나타내는 정보가 추가된다. 제1사용자가 아빠이고, 제2사용자가 딸인 경우에는 제1사용자 데이터베이스에 저장된 제2사용자의 전화번호에는 제2사용자의 이름뿐만 아니라 "딸"이라는 정보도 함께 태그될 수 있다.
또한, 이후에 제2사용자가 차량(1)에 탑승하여 자신의 모바일 기기(2)를 차량(1)과 연결시키면, 제2사용자의 폰북 데이터가 서버(3)로 전달되고, DB 관리기(140)가 제2사용자의 폰북 데이터를 이용하여 제2사용자 데이터베이스를 생성할 수 있다.
DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제1사용자와 제2사용자 사이의 관계 정보를 반영하여 제2사용자 데이터베이스를 업데이트할 수 있다. 즉, 제2사용자 데이터베이스에 저장된 제1사용자의 전화 번호에 제1사용자의 이름뿐만 아니라 "아빠"라는 정보도 함께 태그될 수 있다.
도 5는 사용자가 발화한 음성에 대한 피드백을 제공하는 차량의 제어 블록도이다.
앞서 도 3에서 설명한 바와 같이, 차량(1)의 내부에는 사용자에게 시각적인 정보를 제공하는 디스플레이(41)와 청각적인 정보를 제공하는 스피커(42)가 마련될 수 있다.
음성 처리 장치(100)가 사용자가 발화한 음성을 인식하여 사용자의 발화 의도를 파악하면, 제어부(30)는 디스플레이(41) 또는 스피커(42)를 통해 이에 대한 피드백을 제공할 수 있다.
예를 들어, 사용자가 필요로 하는 정보를 시각적 또는 청각적으로 제공하거나, 사용자의 발화 의도를 확인하기 위한 질의를 출력하거나, 사용자의 발화 의도에 따른 제어를 수행하기 위해 추가적으로 필요한 정보가 있을 때에는 이에 관한 질의를 출력하는 등의 피드백을 제공할 수 있다.
특히, 사용자의 발화에 대한 피드백이 청각적으로 제공되는 경우에는, 운전 중인 사용자가 디스플레이(41)를 응시함으로 인해 운전에 대한 집중도가 떨어지는 것을 방지할 수 있다.
도 6은 음성 처리 장치가 차량에 포함되는 경우에 차량과 모바일 기기의 관계를 나타낸 제어 블록도이다.
전술한 예시에서는 음성 처리 장치(100)가 서버(3)에 포함되는 경우를 예로 들었다. 도 6의 예시에 따르면, 음성 처리 장치(100)가 차량(1)에 포함되는바, 이 경우 음성 인식, 음성 처리 또는 정보의 업데이트를 할 때마다 서버(3)와 통신할 필요가 없게 된다.
음성 입력부(10)를 통해 입력된 음성이 차량(1) 내부의 음성 처리 장치(100)로 전달되는 점을 제외한 나머지 구성 요소들의 동작들은 앞서 도 4를 참조한 설명과 동일하다.
도 7은 사용자와 차량이 주고 받는 대화의 예시를 나타낸 도면이고, 도 8은 사용자와 차량이 주고 받은 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
제1사용자가 차량(1)에 탑승하고, 제1사용자의 모바일 기기(2)가 차량(1)에 연결되어 폰북 데이터가 차량(1)에 다운로드된 후 서버(3)로 전달되어 제1사용자 데이터베이스가 생성된 것으로 가정한다.
도 7을 참조하면, 제1사용자가 딸에게 전화를 걸기 위한 음성 (U1: 딸에게 전화해줘)을 발화하여 음성 입력부(10)를 통해 입력하면, 음성 입력부(10)가 이를 음성 처리 장치(100)로 전달하고, 음성 인식부(110)가 제1사용자의 음성을 인식하여 발화 언어를 출력한다.
음성 처리부(120)는 발화 언어에 기초하여 사용자의 발화 의도가 딸에게 전화 걸기라는 것을 파악하고, 제1사용자 데이터베이스에서 딸의 전화 번호를 검색한다. 검색 결과, "딸"로 태그된 전화번호가 없는 경우, 이에 대한 피드백으로 스피커(42)를 통해 딸이 누구인지 확인하기 위한 음성(C1: 딸이 누구인가요)을 출력할 수 있다.
제1사용자는 딸의 이름을 제공하기 위한 음성(U2: Jane)을 발화하여 음성 입력부(10)를 통해 입력할 수 있고, 음성 처리 장치(100)는 이를 인식하여 제1사용자의 딸이 Jane이라는 정보를 획득할 수 있다. 즉, 제1사용자와 Jane이 부녀관계라는 것을 파악할 수 있다.
음성 처리 장치(100)는 제1사용자와 Jane 이 부녀관계라는 정보를 반영하여 제1사용자 데이터베이스를 업데이트할 수 있다.
먼저, 도 8을 참조하면, 제1사용자 데이터베이스는 제1사용자가 저장한 전화번호와 각 전화번호를 식별할 수 있는 식별 태그가 함께 저장될 수 있다. 여기서, 식별 태그는 이름 또는 명칭일 수 있고, 이름 또는 명칭은 제1사용자가 직접 설정한 것으로서, 해당 전화번호 사용자의 실제 이름일 수도 있고, 회사명, 호칭, 직함, 별칭 등 그 종류에는 제한이 없다.
제1사용자 데이터베이스에는 Jane의 전화번호가 저장되어 있으나, 그 식별 태그는 Jane으로만 되어 있기 때문에, 딸을 검색했을 때에는 그에 대응되는 결과를 찾을 수 없다. 음성 처리부(120)가 사용자와 차량(1) 사이의 대화를 통해 Jane이 제1사용자의 딸이라는 정보를 획득하였으므로, DB 관리기(140)는 제1사용자 데이터베이스에 제1사용자와 Jane의 관계를 "딸"로 저장할 수 있다. 사용자 데이터베이스에 저장되는 관계는 해당 사용자를 기준으로 한 관계이다.
다시 도 7을 참조하면, 스피커(42)는 제1사용자와 Jane의 관계를 이용하여 제1사용자 데이터베이스가 업데이트됨을 공지하기 위한 음성(C2: Jane을 딸로 저장하겠습니다)을 출력할 수 있다.
그리고, 제어부(30)는 차량(1)과 연결된 모바일 기기(2)에 제어 신호를 전송하여 Jane에게 전화 걸기를 시도할 수 있다.
제1사용자와 각 전화번호 사용자 사이의 관계 역시 각 전화번호의 식별 태그로서 기능할 수 있다. 즉, 제2사용자의 전화번호를 식별하는 제2식별 태그는 제2사용자이 이름뿐만 아니라, 제1사용자와 제2사용자의 관계 정보도 포함할 수 있다. 따라서, 이후에 제1사용자가 다시 딸에게 전화 걸기를 요청하면, 제1사용자 데이터베이스에서 딸을 검색하여 Jane의 전화번호를 찾을 수 있다.
도 9는 사용자와 차량이 주고 받는 대화의 다른 예시를 나타낸 도면이고, 도 10은 도 9의 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
제1사용자가 와이프에게 전화를 걸기 위한 음성(U3: 와이프에게 전화해줘)을 발화하여 음성 입력부(10)를 통해 입력하면, 음성 입력부(10)가 이를 음성 처리 장치(100)로 전달하고, 음성 인식부(110)가 전달된 음성을 인식하여 제1사용자의 발화 언어를 출력한다.
음성 처리부(120)는 제1사용자의 발화 언어에 기초하여 제1사용자의 의 발화 의도가 와이프에게 전화 걸기라는 것을 파악하고, 제1사용자 데이터베이스에서 와이프의 전화 번호를 검색한다. 검색 결과, "와이프"로 태그된 전화번호가 없는 경우, 이에 대한 피드백으로 스피커(42)를 통해 와이프가 누구인지 확인하기 위한 음성(C3: 와이프가 누구인가요?)을 출력할 수 있다.
제1사용자는 와이프의 이름을 제공하기 위한 음성(U4: Julia)을 발화하여 음성 입력부(10)를 통해 입력할 수 있고, 음성 처리 장치(100)는 이를 인식하여 제1사용자의 와이프가 Julia라는 정보를 획득할 수 있다. 즉, 제1사용자와 Julia가 부부 관계라는 것을 파악할 수 있다.
음성 처리 장치(100)는 제1사용자와 Julia가 부부관계라는 정보를 반영하여 제1사용자 데이터베이스를 업데이트할 수 있다.
도 10을 참조하면, 제1사용자 데이터베이스에는 Julia의 전화번호가 저장되어 있으나, 그 식별 태그는 Julia로만 되어 있기 때문에, 와이프를 검색했을 때에는 그에 대응되는 결과를 찾을 수 없다. 음성 처리부(120)가 제1사용자와 차량(1) 사이의 대화를 통해 Julia가 제1사용자의 와이프라는 정보를 획득하였으므로, 제1사용자 데이터베이스에 제1사용자와 Julia의 관계를 "와이프"로 저장할 수 있다.
그리고, 제어부(30)는 차량(1)과 연결된 모바일 기기(2)에 제어 신호를 전송하여 Julia에게 전화 걸기를 시도할 수 있다.
다시 도 9를 참조하면, 스피커(42)는 제1사용자와 Julia의 관계를 이용하여 제1사용자 데이터베이스가 업데이트됨을 공지하기 위한 음성(C4: Julia를 와이프로 저장하겠습니다)을 출력할 수 있다.
이후에 제1사용자가 다시 와이프에게 전화 걸기를 요청하면, 제1사용자 데이터베이스에서 와이프를 검색하여 Julia의 전화번호를 찾을 수 있다.
도 11은 제1사용자 데이터베이스에 저장된 정보에 기초하여 제2사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
제2사용자인 Jane이 차량(1) 에 탑승하고, 제2사용자의 모바일 기기(2)가 차량(1)에 연결되면, 제2사용자의 모바일 기기(2)에 저장된 폰북 데이터가 차량(1)에 다운로드된 후 서버(3)로 전달되어 제2사용자 데이터베이스가 생성된다.
앞서 설명한 제1사용자 데이터베이스와 마찬가지로, 제2사용자 데이터베이스에도 제2사용자가 저장한 전화번호와, 각 전화번호를 식별할 수 있는 식별 태그(이름, 관계)가 함께 저장될 수 있다.
DB 관리기(140)는 제1사용자 데이터베이스에 Jane(이름)과 딸(관계)을 식별 태그로 하여 저장된 전화 번호가 제2사용자의 전화 전호와 일치함을 판단할 수 있다. 이로부터, 제2사용자가 Jane임을 판단할 수 있다.
제2사용자가 자신의 모바일 기기(2)에 자신의 이름을 이미 저장한 경우에는 제2사용자 데이터베이스에도 제2사용자의 이름이 Jane으로 저장되어 있을 수 있다. 그렇지 않은 경우에는, DB 관리기(140)의 판단에 따라 제2사용자의 이름이 Jane으로 업데이트될 수 있다.
마찬가지로, 제1사용자 데이터베이스에 제1사용자의 이름이 저장되지 않은 경우, DB 관리기(140)는 제2사용자 데이터베이스에 제1사용자의 전화번호에 대응되는 이름이 James라는 정보를 반영하여, 제1사용자 데이터베이스에 제1사용자의 이름을 James로 저장할 수 있다.
DB 관리기(140)는 제1사용자 데이터베이스에 저장된 정보에 기초하여 제2사용자 데이터베이스를 업데이트할 수 있다.
예를 들어, DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제2사용자가 제1사용자의 "딸"이라는 정보에 기초하여, 제2사용자 데이터베이스에 제1사용자와 제2사용자의 관계를 "아빠"로 저장할 수 있다.
또한, DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제1사용자의 와이프가 Julia라는 정보에 기초하여, 제2사용자의 엄마가 Julia라는 것을 판단할 수 있고, 제2사용자 데이터베이스에 Julia와의 관계를 "엄마"로 저장할 수 있다.
제2사용자와 각 전화번호 사용자 사이의 관계 역시 각 전화번호의 식별 태그로서 기능할 수 있다. 예를 들어, 제1사용자의 전화번호를 식별하는 제1식별 태그는 제1사용자의 이름뿐만 아니라, 제1사용자와 제2사용자의 관계 정보도 포함할 수 있다. 따라서, 이후에 제2사용자가 아빠에게 전화 걸기를 요청하면, 제2사용자 데이터베이스에서 아빠를 검색하여 James의 전화번호를 찾을 수 있다.
도 12는 사용자와 차량이 주고 받는 대화의 또 다른 예시를 나타낸 도면이고, 도 13은 도 12의 대화에 기초하여 업데이트되는 정보의 예시를 나타낸 도면이다.
도 12에 도시된 바와 같이, 제2사용자가 할머니에게 전화를 걸기 위한 음성(U5: 할머니에게 전화해줘)을 발화하여 음성 입력부(10)를 통해 입력하면, 음성 입력부(10)가 이를 음성 처리 장치(100)로 전달하고, 음성 인식부(110)가 음성을 인식하여 제2사용자의 발화 언어를 출력한다.
음성 처리부(120)는 제2사용자의 발화 언어에 기초하여 제2사용자의 발화 의도가 할머니에게 전화 걸기라는 것을 파악하고, 제2사용자 데이터베이스에서 할머니의 전화 번호를 검색한다. 검색 결과, "할머니"로 태그된 전화번호가 없는 경우, 이에 대한 피드백으로 스피커(42)를 통해 할머니가 누구인지 확인하기 위한 음성(C5: 할머니가 누구인가요?)을 출력할 수 있다.
제2사용자는 할머니의 이름을 제공하기 위한 음성(U6: Katie)을 발화하여 음성 입력부(10)를 통해 입력할 수 있고, 음성 처리부(120)는 이를 인식하여 제2사용자의 할머니가 Katie라는 정보를 획득할 수 있다. DB 관리기(140)는 제2사용자의 할머니가 Katie라는 정보를 반영하여 제2사용자 데이터베이스를 업데이트할 수 있다.
도 13을 참조하면, 제1사용자 데이터베이스에는 Katie의 전화번호가 저장되어 있으나, 그 식별 태그는 Katie로만 되어 있기 때문에, 할머니를 검색했을 때에는 그에 대응되는 결과를 찾을 수 없다. 음성 처리부(120)가 제2사용자와 차량(1) 사이의 대화를 통해 Katie가 제2사용자의 할머니라는 정보를 획득하였으므로, DB 관리기(140)는 제2사용자 데이터베이스에 제2사용자와 Katie의 관계를 "할머니"로 저장할 수 있다.
그리고, 제어부(30)는 차량(1)과 연결된 모바일 기기(2)에 제어 신호를 전송하여 Katie에게 전화 걸기를 시도할 수 있다.
다시 도 12를 참조하면, 스피커(42)는 제2사용자와 Katie의 관계를 이용하여 제2사용자 데이터베이스가 업데이트됨을 공지하기 위한 음성(C6: Katie를 할머니로 저장하겠습니다)을 출력할 수 있다.
이후에 제2사용자가 다시 할머니에게 전화 걸기를 요청하면, 제2사용자 데이터베이스에서 할머니를 검색하여 Katie의 전화번호를 찾을 수 있다.
도 14는 제2사용자 데이터베이스에 저장된 정보에 기초하여 제1사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
DB 관리기(140)는 제2사용자(Jane)의 할머니가 Katie라는 정보로부터 제2사용자의 아빠인 제1사용자(James)의 엄마가 Katie라는 정보를 획득할 수 있다. 따라서, 도 14에 도시된 바와 같이, 제1사용자 데이터베이스에 Katie와의 관계를 "엄마"로 저장할 수 있다.
도 15는 제1사용자 데이터베이스에 저장된 정보에 기초하여 제3사용자 데이터베이스가 업데이트되는 동작을 나타낸 도면이다.
제3사용자인 Julia가 차량(1) 에 탑승하고, 제3사용자의 모바일 기기(2)가 차량(1)에 연결되면, 제3사용자의 모바일 기기(2)에 저장된 폰북 데이터가 차량(1)에 다운로드된 후 서버(3)로 전달되어 제3사용자 데이터베이스가 생성된다.
제3사용자 데이터베이스에도 제3사용자가 저장한 전화번호와, 각 전화번호를 식별할 수 있는 식별 태그(이름, 관계)가 함께 저장될 수 있다.
DB 관리기(140)는 제1사용자 데이터베이스에 Julia(이름)와 와이프(관계)에 대응하여 저장된 전화 번호가 제3사용자의 전화 전호와 일치함을 판단할 수 있다. 이로부터, 제3사용자가 Julia임을 판단할 수 있다.
제3사용자가 자신의 모바일 기기(2)에 자신의 이름을 이미 저장한 경우에는 제3사용자 데이터베이스에도 제3사용자의 이름이 Julia로 저장되어 있을 수 있다. 그렇지 않은 경우에는, DB 관리기(140)의 판단에 따라 제3사용자의 이름이 Julia로 저장될 수 있다.
DB 관리기(140)는 제1사용자 데이터베이스에 저장된 정보에 기초하여 제3사용자 데이터베이스를 업데이트할 수 있다.
예를 들어, DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제1사용자(James)의 와이프가 Julia라는 정보에 기초하여, 제3사용자의 남편이 James라는 것을 판단할 수 있고, 제3사용자 데이터베이스에 James와의 관계를 "남편"으로 저장할 수 있다.
또한, DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제2사용자(Jane)가 제1사용자의 "딸"이라는 정보에 기초하여, 제3사용자 데이터베이스에 Jane과의 관계를 "딸"로 저장할 수 있다.
또한, DB 관리기(140)는 제1사용자 데이터베이스에 저장된 Katie가 제1사용자의 "엄마"라는 정보에 기초하여, 제3사용자 데이터베이스에 Katie와의 관계를 "시어머니"로 저장할 수 있다.
한편, 제3사용자 데이터베이스를 업데이트함에 있어, 제1사용자 데이터베이스가 아닌 제2사용자 데이터베이스에 저장된 정보를 이용할 수도 있고, 제1사용자 데이터베이스와 제2사용자 데이터베이스에 저장된 정보를 모두 이용할 수도 있다.
지금까지 전술한 실시예에서는 음성 처리 장치(100)가 사용자와의 대화를 통해 복수 사용자 사이의 관계 또는 사용자와 다른 가족 구성원 사이의 관계에 관한 정보를 획득하고, 이를 반영하여 사용자 데이터베이스를 업데이트하는 경우를 설명하였다.
다만, 음성 처리 장치(100)의 실시예가 이에 한정되는 것은 아닌바, 전술한 실시예와 반대로 사용자와의 대화를 통해 다른 사용자 또는 다른 가족 구성원의 이름에 관한 정보를 획득하고, 이를 반영하여 사용자 데이터베이스를 업데이트하는 것도 가능하다.
또한, 전술한 실시예에서는 차량(1)을 공유하는 복수의 사용자가 가족 관계에 있는 경우에 관하여 설명하였으나, 음성 처리 장치(100) 및 차량(1)의 실시예는 복수의 사용자가 동일한 직장에 다니면서 차량(1)을 공유하는 경우에도 동일하게 적용될 수 있다. 즉, 복수의 사용자가 같은 그룹에 속하면서 차량(1)을 공유하는 경우라면 반드시 이들이 가족 관계에 있지 않더라도 본 발명의 실시예가 적용될 수 있다.
구체적으로, 사용자의 발화 언어에 기초하여 적어도 두 사용자 간의 관계 정보를 획득하고, 두 사용자 중 한 명과 두 사용자가 속한 그룹에 포함된 다른 구성원 사이의 관계 정보를 획득하면, 이 관계 정보를 이용하여 두 사용자 중 다른 한 명과 다른 구성원 사이의 관계 정보를 판단하여 이를 사용자 데이터베이스를 추가할 수 있다.
또한, 전술한 실시예에서는 사용자 데이터베이스에 저장되는 정보가 전화번호인 경우에 관하여 설명하였으나, 전화번호 외에 집주소와 같은 다른 정보가 저장되어 관리되는 것도 가능하다.
도 16은 사용자 데이터베이스에 전화번호 외에 기타 부가 정보가 저장되는 예시를 나타낸 도면이다.
도 16에 도시된 바와 같이, 사용자 데이터베이스에는 부가 정보로서 해당 전화번호 사용자의 생일이나 집주소가 더 저장될 수 있다. 이러한 부가 정보는 모바일 기기(2)로부터 제공받을 수도 있고, 사용자가 별도로 입력할 수도 있으며, 사용자의 개인정보를 관리하는 다른 외부 서버로부터 제공받을 수도 있다. 부가 정보를 제공받는 방식에 대해서는 제한을 두지 않는다.
예를 들어, 제1사용자 데이터베이스에 제1사용자의 집주소가 저장되어 있는 경우, DB 관리기(140)는 제1사용자의 딸(Jane)과 제1사용자의 와이프(Julia)의 집주소도 동일한 주소로 저장할 수 있다.
또는, 제2사용자 데이터베이스와 제3사용자 데이터베이스에 해당 사용자들의 집주소가 저장되어 있는 경우에는 제2사용자 데이터베이스와 제3사용자 데이터베이스로부터 제2사용자와 제3사용자의 집주소 정보를 가져와 제1사용자 데이터베이스를 업데이트할 수도 있다.
또한, 제2사용자 데이터베이스에 제2사용자의 생일이 저장되어 있고, 제3사용자 데이터베이스에 제3사용자의 생일이 저장되어 있는 경우에는, 제2사용자 데이터베이스와 제3사용자 데이터베이스로부터 각 사용자의 생일 정보를 가져와 제1사용자 데이터베이스를 업데이트할 수 있다.
같은 방식으로 제2사용자 데이터베이스와 제3사용자 데이터베이스에도 부가 정보가 업데이트될 수 있음은 물론이다.
음성 처리 장치(100)는 사용자 데이터베이스에 저장된 부가 정보에 기초하여 사용자에게 필요한 정보를 선제적으로 제공할 수도 있다. 이하 도 17 및 도 18을 참조하여 설명한다.
도 17 및 도 18은 사용자 데이터베이스에 저장된 부가 정보를 이용하여 사용자에게 필요한 정보를 제공하는 예시를 나타낸 도면이다.
도 17에 도시된 바와 같이, 제2사용자가 아빠에게 전화를 걸기 위한 음성(U7: 아빠에게 전화해줘)을 발화하여 음성 입력부(10)를 통해 입력하면, 음성 입력부(10)가 이를 음성 처리 장치(100)로 전달하고, 음성 인식부(110)가 전달된 음성을 인식하여 제2사용자의 발화 언어를 출력한다.
음성 처리부(120)는 제2사용자의 발화 언어에 기초하여 사용자의 발화 의도가 아빠에게 전화 걸기라는 것을 파악하고, 이와 동시에 제2사용자 데이터베이스로부터 제2사용자의 아빠가 James이고, 오늘이 James의 생일이라는 정보를 획득할 수 있다.
음성 처리부(120)는 획득된 정보에 기초하여 제어부(30)에 제어 신호를 전송하여 스피커(42)를 통해 James가 제2사용자의 아빠인지 여부를 확인하기 위한 음성(C7: James님이 아빠죠?)을 출력하고, 제2사용자가 이를 확인시켜주는 음성(U8: 어)을 발화하면, 스피커(42)는 오늘이 James의 생일이라는 정보를 제공함과 동시에 축하 메시지를 보낼 것인지 묻는 음성(C8: 오늘 아빠 생일이네요. 축하 메시지 보낼까요?)을 출력할 수 있다.
즉, 제2사용자가 아빠의 생일을 모르고 있거나, 축하 메시지를 보낼 의향이 없었더라도, 음성 처리 장치(100)가 먼저 이에 관한 정보를 제공함으로써 능동적인 서비스의 제공을 가능하게 한다.
또는, 도 18에 도시된 바와 같이, 사용자가 발화하지 않더라도 음성 처리 장치(100)가 스피커(42)를 통해 선발화하여 오늘이 아빠의 생일이라는 정보를 제공함과 동시에 식당을 예약할 것인지 묻는 음성(C9: 오늘 James님의 생일이네요. 저녁에 식당 예약하시겠어요?)을 출력할 수 있다.
제2사용자가 식당 예약을 위한 음성(U9: 어, 집근처 한식당 찾아줘)을 발화하면, 음성 처리부(120)는 제2사용자 데이터베이스에 저장된 집주소 정보에 기초하여 어느 지역의 식당을 검색해야 하는지 판단할 수 있다. 또한, 검색 예정인 정보를 사용자에게 알려주는 음성(C10: 양재동 근처 한식당을 검색하겠습니다)을 스피커(42)를 통해 출력할 수 있다.
제어부(30)는 차량(1)에 마련된 내비게이션 모듈 또는 서버(3)나 차량(1)에 저장된 지도 데이터베이스를 이용하여 집 근처의 한식당을 검색하고, 검색 결과를 제2사용자에게 제공할 수 있다.
전술한 실시예는 사용자에게 제공할 수 있는 서비스의 예시에 불과하고, 이 외에도 차량(1)과 음성 처리 장치(100)가 결합하여 사용자와 다른 사용자 또는 다른 가족 구성원과의 관계 및 이들에 관련된 부가 정보를 이용한 다양한 서비스를 제공할 수 있다.
이하, 음성 처리 방법의 실시예를 설명한다. 일 실시예에 따른 음성 처리 방법을 수행함에 있어 전술한 실시예에 따른 음성 처리 장치(100) 및 차량(1)이 사용될 수 있다. 따라서, 음성 처리 장치(100) 및 차량(1)에 관한 설명은 일 실시예에 따른 음성 처리 방법에도 동일하게 적용될 수 있다.
도 19 및 도 20은 일 실시예에 따른 음성 처리 방법을 설명하기 위한 순서도이다. 도 19 및 도 20에 도시된 모든 단계가 반드시 음성 처리 방법에 포함되어야 하는 것은 아닌바, 도시된 단계들 중 일부는 음성 처리 방법을 설명하기 위해 필요한 것일 뿐, 음성 처리 방법을 구성하는 단계에서는 제외될 수 있다.
도 19를 참조하면, 차량과 제1모바일 기기가 연결된다(310). 제1모바일 기기는 제1사용자의 모바일 기기를 의미하고, 차량과 제1모바일 기기의 연결은 무선 통신 또는 유선 통신을 통해 이루어질 수 있다.
차량이 제1모바일 기기로부터 제1폰북 데이터를 다운로드 받는다(311). 제1폰북 데이터에는 제1사용자가 자신의 모바일 기기에 저장한 전화번호가 각 전화번호의 사용자를 식별할 수 있는 식별 태그와 함께 저장되어 있다.
음성 처리 장치는 제1폰북 데이터를 이용하여 제1사용자 데이터베이스를 생성한다(312). 제1사용자 데이터베이스를 생성함에 있어서, 제1폰북 데이터에 저장된 정보를 그대로 이용할 수도 있고, 음성 인식에 용이한 형태로 변형할 수도 있다. 제1사용자 데이터베이스의 일 예시는 전술한 도 8에 도시된 바와 같다. 생성된 제1사용자 데이터베이스는 저장부(130)에 저장된다.
제1사용자가 차량(1)에 마련된 음성 입력부(10)에 음성을 입력하면, 음성 처리 장치는 제1사용자의 음성을 인식하여 발화 언어를 출력한다(313). 음성 입력부(10)는 입력된 음성을 음성 신호로 변환하여 음성 처리 장치(100)로 전달하고, 음성 처리 장치(100)의 음성 인식부(110)는 음성 신호를 인식하여 그 인식 결과를 출력한다. 인식 결과는 사용자가 발화하여 입력한 언어, 즉 발화 언어를 포함한다. 발화 언어가 제1사용자와 제2사용자의 관계 정보를 포함하는 경우를 가정한다.
음성 처리부는 발화 언어로부터 제1사용자와 제2사용자의 관계 정보를 획득한다(314). 예를 들어, 전술한 도 7의 예시와 같이 제1사용자가 딸에게 전화를 걸기 위한 음성을 발화하고, 음성 처리 장치(100)와의 대화를 통해 제2사용자가 딸이라는 정보를 제공할 수 있다. 음성 처리부(120)는 발화 언어에 기초하여 제2사용자가 제1사용자의 딸이라는 정보를 획득할 수 있다.
획득된 관계 정보에 기초하여 제1사용자 데이터베이스를 업데이트할 수 있다(315). DB 관리기(140)는 제1사용자 데이터베이스에 제2사용자와 제1사용자 사이의 관계를 추가로 저장할 수 있다. 예를 들어, 제2사용자의 이름이 Jane이고, 제1사용자 데이터베이스에 Jane의 전화 번호가 Jane을 식별 태그로 하여 저장되어 있는 경우, DB 관리기(140)는 제1사용자 데이터베이스에 제1사용자와 Jane의 관계를 "딸"로 저장할 수 있다. 이 때, 제1사용자와 각 전화번호 사용자의 관계도 식별 태그로 기능할 수 있다. 따라서, 이후에 제1사용자가 제2사용자에게 전화를 걸기 위해 Jane이 아닌 딸을 발화하더라도 음성 처리부(120)는 추가적인 질의없이 바로 딸에 대응되는 전화 번호, 즉 Jane에 대응되는 전화 번호를 검색하여 전화를 걸 수 있다.
도 20을 참조하면, 차량과 제2모바일 기기가 연결된다(320). 제2모바일 기기는 제2사용자의 모바일 기기를 의미하고, 차량과 제2모바일 기기의 연결은 무선 통신 또는 유선 통신을 통해 이루어질 수 있다.
차량이 제2모바일 기기로부터 제2폰북 데이터를 다운로드 받는다(321). 제2폰북 데이터에는 제2사용자가 자신의 모바일 기기에 저장한 전화번호가 각 전화번호의 사용자를 식별할 수 있는 식별 태그와 함께 저장되어 있다.
음성 처리 장치는 제2폰북 데이터를 이용하여 제2사용자 데이터베이스를 생성한다(322). 제2사용자 데이터베이스를 생성함에 있어서, 제2폰북 데이터에 저장된 정보를 그대로 이용할 수도 있고, 음성 인식에 용이한 형태로 변형할 수도 있다. 제2사용자 데이터베이스의 일 예시는 전술한 도 11에 도시된 바와 같다. 생성된 제2사용자 데이터베이스는 저장부(130)에 저장된다.
DB 관리기(140)는 제1사용자 데이터베이스에 업데이트된 제1사용자와의 관계 정보에 기초하여 제2사용자 데이터베이스를 업데이트한다(323). 구체적으로, DB 관리기(140)는 제1사용자 데이터베이스에 Jane(이름)과 딸(관계)을 식별 태그로 하여 저장된 전화 번호가 제2사용자의 전화 전호와 일치함을 판단할 수 있다. 이로부터, 제2사용자가 Jane임을 판단할 수 있다. DB 관리기(140)는 제1사용자 데이터베이스에 저장된 제2사용자와 제1사용자의 관계가 "딸"이라는 정보에 기초하여, 제2사용자 데이터베이스에 제1사용자와 제2사용자의 관계를 "아빠"로 저장할 수 있다. 또한, 제1사용자와 제2사용자 사이의 관계 외에도, 다른 가족 구성원과 제1사용자 사이의 관계에 관한 정보가 제1사용자 데이터베이스에 저장되어 있다면, 저장된 정보에 기초하여 제2사용자와 해당 가족 구성원 사이의 관계 정보도 판단할 수 있다. 그리고, 판단된 관계 정보에 기초하여 제2사용자 데이터베이스를 업데이트할 수 있다.
제2사용자가 차량(1)에 마련된 음성 입력부(10)에 음성을 입력하면, 음성 처리 장치는 제2사용자의 음성을 인식하여 입력언어를 출력한다(324). 음성 입력부(10)는 입력된 음성을 음성 신호로 변환하여 음성 처리 장치(100)로 전달하고, 음성 처리 장치(100)의 음성 인식부(110)는 음성 신호를 인식하여 그 인식 결과를 출력한다. 인식 결과는 사용자가 발화하여 입력한 언어, 즉 발화 언어를 포함한다. 발화 언어가 제2사용자와 다른 구성원과의 관계 정보를 포함하는 경우를 가정한다.
음성 처리부는 발화 언어로부터 제2사용자와 다른 구성원과의 관계 정보를 획득한다(314). 예를 들어, 전술한 도 12의 예시와 같이 제2사용자가 할머니에게 전화를 걸기 위한 음성을 발화하고, 음성 처리 장치(100)와의 대화를 통해 할머니가 Katie라는 정보를 제공할 수 있다. 음성 처리부(120)는 발화 언어에 기초하여 Katie라는 정보를 획득할 수 있다.
획득된 관계 정보에 기초하여 제1사용자 데이터베이스 및 제2사용자 데이터베이스를 업데이트할 수 있다(326). DB 관리기(140)는 제2사용자 데이터베이스에 제2사용자와 Katie의 관계를 "할머니"로 저장할 수 있고, 제2사용자(Jane)의 할머니가 Katie라는 정보로부터 제2사용자의 아빠인 제1사용자(James)의 엄마가 Katie라는 정보를 획득할 수 있다. 따라서, 전술한 도 14에 도시된 바와 같이, 제1사용자 데이터베이스에 Katie와의 관계를 "엄마"로 저장할 수 있다.
전술한 도 19 및 도 20의 도면에서는 설명의 편의를 위해, 제1사용자 데이터베이스와 제2사용자 데이터베이스에 대해서만 언급하였으나, 차량을 공유하는 가족 구성원의 수에 따라 사용자 데이터베이스의 수도 달라질 수 있음은 물론이다. 또한, 전술한 실시예와 반대로 사용자와의 대화를 통해 다른 사용자 또는 다른 가족 구성원의 이름에 관한 정보를 획득하고, 이를 반영하여 사용자 데이터베이스를 업데이트하는 것도 가능하다.
또한, 전술한 실시예에서는 사용자 데이터베이스에 저장되는 정보가 전화번호인 경우에 관하여 설명하였으나, 전화번호 외에 집주소와 같은 다른 정보가 저장되어 관리되는 것도 가능하다.
또는, 전화번호에 더하여 집주소나 생일과 같은 정보가 부가 정보로서 사용자 데이터베이스에 더 저장되는 것도 가능하다. 음성 처리 장치는 이러한 부가 정보를 이용하여 사용자가 필요로 하거나, 사용자에게 필요할 것으로 예상되는 정보 또는 서비스를 적절하게 제공할 수 있다.
지금까지 설명한 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법의 실시예에 의하면, 사용자의 발화 내용에 기초하여 복수 사용자 간의 관계를 판단하고, 판단된 사용자들 간의 관계에 기초하여 좀 더 지능적인 음성 인식을 수행하거나, 사용자에게 필요한 정보를 선제적으로 제공할 수 있다.
상기의 설명은 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 기술 분야에서 통상의 지식을 가진 자라면 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 상기에 개시된 실시예 및 첨부된 도면들은 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 기술적 사상의 범위가 한정되는 것은 아니다. 그 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 음성 처리 장치
110: 음성 인식부
120: 음성 처리부
130: 저장부
140: DB 관리기
1: 차량
2: 모바일 기기
3: 서버

Claims (27)

  1. 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하는 음성 처리부;
    제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 포함된 제1사용자 데이터베이스 및 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 포함된 제2사용자 데이터베이스를 저장하는 저장부;
    상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 업데이트하는 DB 관리기; 및
    상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자의 발화 의도를 파악하면, 상기 제1사용자의 발화 의도를 확인하기 위한 질의를 음성 형태의 피드백으로 스피커를 통해 출력하는 제어부;를 포함하되,
    상기 음성 처리부는 상기 피드백에 대해 상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하며, 획득한 상기 관계 정보를 반영하여 상기 제 1 사용자 데이터베이스를 업데이트하는 음성 처리 장치.
  2. 제 1 항에 있어서
    상기 개인 정보는,
    전화 번호 및 주소 중 적어도 하나를 포함하는 음성 처리 장치.
  3. 제 1 항에 있어서,
    상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고,
    상기 제2식별 태그는, 상기 제2사용자의 이름을 포함하는 음성 처리 장치.
  4. 제 3 항에 있어서,
    상기 DB 관리기는,
    상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가하는 음성 처리 장치.
  5. 제 3 항에 있어서,
    상기 DB 관리기는,
    상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가하는 음성 처리 장치.
  6. 제 5 항에 있어서,
    상기 제2사용자 데이터베이스에 저장된 제1사용자의 개인 정보는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계에 의해 검색될 수 있는 음성 처리 장치.
  7. 제 1 항에 있어서,
    상기 음성 처리부는,
    상기 제2사용자의 발화 언어에 기초하여 상기 제2사용자와 다른 구성원의 관계 정보를 획득하고,
    상기 다른 구성원은,
    상기 제1사용자와 상기 제2사용자가 포함된 그룹의 구성원인 음성 처리 장치.
  8. 제 7 항에 있어서,
    상기 DB 관리기는,
    상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 음성 처리 장치.
  9. 제 8 항에 있어서
    상기 DB 관리기는,
    상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제1사용자와 상기 다른 구성원의 관계 정보를 판단하고, 상기 판단된 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트하는 음성 처리 장치.
  10. 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하는 음성 처리부;
    제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 저장된 제1사용자 데이터베이스 및 제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 저장된 제2사용자 데이터베이스를 저장하는 저장부;
    상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 업데이트하는 DB 관리기; 및
    음성을 출력하는 스피커;
    상기 제1사용자 및 상기 제2사용자의 모바일 기기와 통신하여 상기 모바일 기기로부터 폰북 데이터를 다운로드 받는 통신부; 및
    상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자의 발화 의도를 파악하면, 상기 제1사용자의 발화 의도를 확인하기 위한 질의를 음성 형태의 피드백으로 상기 스피커를 통해 출력하는 제어부;를 포함하되,
    상기 DB 관리기는 상기 다운로드된 폰북 데이터를 이용하여 상기 제1사용자 데이터베이스 및 상기 제2사용자 데이터베이스를 생성하고,
    상기 음성 처리부는 상기 피드백에 대해 상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하며, 획득한 상기 관계 정보를 반영하여 상기 제 1 사용자 데이터베이스를 업데이트하는 차량.
  11. 제 10 항에 있어서
    상기 개인 정보는,
    전화 번호를 포함하는 차량.
  12. 제 11 항에 있어서,
    상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고,
    상기 제2식별 태그는, 상기 제2사용자의 이름을 포함하는 차량.
  13. 제 12 항에 있어서,
    상기 DB 관리기는,
    상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가하는 차량.
  14. 제 12 항에 있어서,
    상기 DB 관리기는,
    상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가하는 차량.
  15. 제 14 항에 있어서,
    상기 제2사용자 데이터베이스에 저장된 제1사용자의 개인 정보는, 상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계에 의해 검색될 수 있는 차량.
  16. 제 11 항에 있어서,
    상기 제1사용자 데이터베이스는,
    상기 제1사용자의 생일 및 주소 중 적어도 하나를 포함하는 부가 정보를 더 포함하는 차량.
  17. 제 16 항에 있어서,
    상기 DB 관리기는,
    상기 제1사용자 데이터베이스에 포함된 상기 부가 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 차량.
  18. 삭제
  19. 삭제
  20. 제2식별 태그에 의해 식별되는 제2사용자의 개인 정보가 포함된 제1사용자 데이터베이스를 저장하고;
    제1사용자의 발화 언어에 기초하여 상기 제1사용자와 상기 제2사용자의 관계 정보를 획득하고;
    상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트하고;
    제1식별 태그에 의해 식별되는 제1사용자의 개인 정보가 포함된 제2사용자 데이터베이스를 저장하고;
    상기 획득된 제1사용자와 제2사용자의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 것;을 포함하되,
    상기 제1사용자의 발화 언어에 기초하여 상기 제1사용자와 상기 제2사용자의 관계 정보를 획득하는 것은,
    상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자의 발화 의도를 파악하면, 상기 제1사용자의 발화 의도를 확인하기 위한 질의를 음성 형태의 피드백으로 스피커를 통해 출력하고,
    상기 피드백에 대해 상기 제1사용자가 발화한 음성을 인식하여 상기 제1사용자와 제2사용자의 관계 정보를 획득하며,
    획득한 상기 관계 정보를 반영하여 상기 제 1 사용자 데이터베이스를 업데이트하는 과정을 포함하는 음성 처리 방법.
  21. 제 20 항에 있어서
    상기 개인 정보는,
    전화 번호 및 주소 중 적어도 하나를 포함하는 음성 처리 방법.
  22. 제 20 항에 있어서,
    상기 제1식별 태그는, 상기 제1사용자의 이름을 포함하고,
    상기 제2식별 태그는, 상기 제2사용자의 이름을 포함하는 음성 처리 방법.
  23. 제 22 항에 있어서,
    상기 제1사용자 데이터베이스를 업데이트하는 것은,
    상기 제1사용자를 기준으로 한 상기 제2사용자와의 관계를 상기 제2식별 태그에 추가하는 것을 포함하는 음성 처리 방법.
  24. 제 22 항에 있어서,
    상기 제2사용자 데이터베이스를 업데이트하는 것은,
    상기 제2사용자를 기준으로 한 상기 제1사용자와의 관계를 상기 제1식별 태그에 추가하는 것을 포함하는 음성 처리 방법.
  25. 제 20 항에 있어서,
    상기 제2사용자의 발화 언어에 기초하여 상기 제2사용자와 다른 구성원의 관계 정보를 획득하는 것;을 더 포함하고,
    상기 다른 구성원은,
    상기 제1사용자와 상기 제2사용자가 포함된 그룹의 구성원인 음성 처리 방법.
  26. 제 25 항에 있어서,
    상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제2사용자 데이터베이스를 업데이트하는 것;을 더 포함하는 음성 처리 방법.
  27. 제 26 항에 있어서
    상기 획득된 제2사용자와 다른 구성원의 관계 정보에 기초하여 상기 제1사용자와 상기 다른 구성원의 관계 정보를 판단하고;
    상기 판단된 관계 정보에 기초하여 상기 제1사용자 데이터베이스를 업데이트하는 것;을 더 포함하는 음성 처리 방법.
KR1020160178871A 2016-12-26 2016-12-26 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법 KR102668438B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160178871A KR102668438B1 (ko) 2016-12-26 2016-12-26 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법
US15/649,359 US11004447B2 (en) 2016-12-26 2017-07-13 Speech processing apparatus, vehicle having the speech processing apparatus, and speech processing method
CN201710672463.6A CN108242237A (zh) 2016-12-26 2017-08-08 语音处理设备、具有该设备的车辆以及语音处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160178871A KR102668438B1 (ko) 2016-12-26 2016-12-26 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법

Publications (2)

Publication Number Publication Date
KR20180075009A KR20180075009A (ko) 2018-07-04
KR102668438B1 true KR102668438B1 (ko) 2024-05-24

Family

ID=62630454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160178871A KR102668438B1 (ko) 2016-12-26 2016-12-26 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법

Country Status (3)

Country Link
US (1) US11004447B2 (ko)
KR (1) KR102668438B1 (ko)
CN (1) CN108242237A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436417B2 (en) * 2017-05-15 2022-09-06 Google Llc Providing access to user-controlled resources by automated assistants
EP3937030A1 (en) 2018-08-07 2022-01-12 Google LLC Assembling and evaluating automated assistant responses for privacy concerns
JP7027280B2 (ja) * 2018-08-10 2022-03-01 本田技研工業株式会社 個人識別装置および個人識別方法
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation
WO2020196960A1 (ko) * 2019-03-28 2020-10-01 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
KR20190099167A (ko) * 2019-08-06 2019-08-26 엘지전자 주식회사 음성 인식을 수행하는 인공 지능 기기
CN110708226B (zh) * 2019-08-20 2022-05-27 北京泰豪装备科技有限公司 一种基于FlexRay车载总线通信***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011236A1 (en) 2004-09-13 2007-01-11 Relgo Networks, Inc. Relationship definition and processing system and method
US20140297284A1 (en) * 2009-06-05 2014-10-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20140324429A1 (en) 2013-04-25 2014-10-30 Elektrobit Automotive Gmbh Computer-implemented method for automatic training of a dialogue system, and dialogue system for generating semantic annotations
US20180096072A1 (en) * 2016-10-03 2018-04-05 Google Inc. Personalization of a virtual assistant

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1301026C (zh) * 2002-12-19 2007-02-14 北京天朗语音科技有限公司 移动终端语音电话本***
KR100637760B1 (ko) * 2004-07-28 2006-10-25 (주)유비티즌 네트워크를 기반으로 한 가족 사이트에서의 가족관계자동설정과 가계도 자동생성 시스템 및 방법
KR101513616B1 (ko) * 2007-07-31 2015-04-20 엘지전자 주식회사 이동 단말기 및 그 영상정보 관리방법
WO2009073637A2 (en) * 2007-11-29 2009-06-11 Iqzone Systems and methods for personal information management and contact picture synchronization and distribution
US8140335B2 (en) * 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
CN102377869B (zh) * 2010-08-23 2016-07-06 联想(北京)有限公司 一种移动终端及通信方法
US8532994B2 (en) * 2010-08-27 2013-09-10 Cisco Technology, Inc. Speech recognition using a personal vocabulary and language model
CN101976304A (zh) * 2010-10-16 2011-02-16 陈长江 智能生活管家***及方法
CN102074231A (zh) * 2010-12-30 2011-05-25 万音达有限公司 语音识别方法和语音识别***
US8768707B2 (en) * 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
JP5772448B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析システムおよび音声解析装置
CA3023918C (en) * 2011-09-30 2022-11-29 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
KR101363609B1 (ko) * 2011-10-25 2014-03-03 주식회사 이노스파크 사회적 관계정보 관리 시스템 및 관리 방법
US9257115B2 (en) * 2012-03-08 2016-02-09 Facebook, Inc. Device for extracting information from a dialog
US8919640B2 (en) * 2012-06-22 2014-12-30 Paychief Llc Methods and systems for registering relationships between users via a symbology
US10354650B2 (en) * 2012-06-26 2019-07-16 Google Llc Recognizing speech with mixed speech recognition models to generate transcriptions
US8577671B1 (en) * 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN103730118B (zh) * 2012-10-11 2017-03-15 百度在线网络技术（北京）有限公司 语音信号采集方法和移动终端
CN103780771A (zh) * 2012-10-23 2014-05-07 华为技术有限公司 语音业务的处理方法和装置
CN103167174A (zh) * 2013-02-25 2013-06-19 广东欧珀移动通信有限公司 一种移动终端问候语的输出方法、装置及移动终端
US9058522B2 (en) * 2013-03-15 2015-06-16 Arris Technology, Inc. Logo presence detection based on blending characteristics
CN105453026A (zh) * 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US20150186406A1 (en) * 2013-12-31 2015-07-02 Studio Nadimi, LLC System and method for facilitating interpersonal connections
CN105024984B (zh) * 2014-04-30 2017-12-01 腾讯科技（深圳）有限公司 权限设置方法、装置及***
US10275485B2 (en) * 2014-06-10 2019-04-30 Google Llc Retrieving context from previous sessions
CN105335380A (zh) * 2014-06-26 2016-02-17 联想(北京)有限公司 一种用户信息获取方法及电子设备
KR101572932B1 (ko) * 2014-07-11 2015-11-30 현대자동차주식회사 음성 인식 기능이 탑재된 차량에서의 발신 통화 제어 방법 및 장치
US9536228B2 (en) * 2014-07-31 2017-01-03 Gretel, LLC Contact management systems
KR101641572B1 (ko) * 2015-01-19 2016-07-21 주식회사 엔씨소프트 상황 및 선호도 기반 대화 스티커 순위 결정 방법 및 컴퓨터 프로그램
JP6524674B2 (ja) * 2015-01-22 2019-06-05 富士通株式会社 音声処理装置、音声処理方法および音声処理プログラム
US20170024375A1 (en) * 2015-07-26 2017-01-26 Microsoft Technology Licensing, Llc Personal knowledge graph population from declarative user utterances
US20170061005A1 (en) * 2015-08-25 2017-03-02 Google Inc. Automatic Background Information Retrieval and Profile Updating
KR20170030296A (ko) * 2015-09-09 2017-03-17 삼성전자주식회사 전자 장치 및 그 정보 처리 방법
US10154103B2 (en) * 2015-09-23 2018-12-11 At&T Intellectual Property I, L.P. System and method for exchanging a history of user activity information
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
CN105468767B (zh) * 2015-12-04 2019-03-26 小米科技有限责任公司 名片信息获取方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070011236A1 (en) 2004-09-13 2007-01-11 Relgo Networks, Inc. Relationship definition and processing system and method
US20140297284A1 (en) * 2009-06-05 2014-10-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20140324429A1 (en) 2013-04-25 2014-10-30 Elektrobit Automotive Gmbh Computer-implemented method for automatic training of a dialogue system, and dialogue system for generating semantic annotations
US20180096072A1 (en) * 2016-10-03 2018-04-05 Google Inc. Personalization of a virtual assistant

Also Published As

Publication number Publication date
KR20180075009A (ko) 2018-07-04
CN108242237A (zh) 2018-07-03
US20180182391A1 (en) 2018-06-28
US11004447B2 (en) 2021-05-11

Similar Documents

Publication Publication Date Title
KR102668438B1 (ko) 음성 처리 장치, 이를 포함하는 차량 및 음성 처리 방법
KR102643501B1 (ko) 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
US10380992B2 (en) Natural language generation based on user speech style
US10839797B2 (en) Dialogue system, vehicle having the same and dialogue processing method
KR102414456B1 (ko) 대화 시스템, 이를 포함하는 차량 및 유고 정보 처리 방법
US8438028B2 (en) Nametag confusability determination
US10950233B2 (en) Dialogue system, vehicle having the same and dialogue processing method
KR20190041569A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US11508367B2 (en) Dialogue system and dialogue processing method
US9997155B2 (en) Adapting a speech system to user pronunciation
US11189276B2 (en) Vehicle and control method thereof
US10008205B2 (en) In-vehicle nametag choice using speech recognition
CN105222797A (zh) 利用口授和部分匹配搜索的导航***的***和方法
US10866948B2 (en) Address book management apparatus using speech recognition, vehicle, system and method thereof
US20200320998A1 (en) Agent device, method of controlling agent device, and storage medium
KR20220094400A (ko) 대화 시스템, 그를 가지는 차량 및 대화 시스템의 제어 방법
KR20190037470A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
JP7239359B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US10770070B2 (en) Voice recognition apparatus, vehicle including the same, and control method thereof
CN111798842B (zh) 对话***和对话处理方法
KR102594310B1 (ko) 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법
JP7274901B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP7280074B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
CN110580901B (zh) 语音识别设备、包括该设备的车辆及该车辆控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant