KR102445365B1 - 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 - Google Patents

대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 Download PDF

Info

Publication number
KR102445365B1
KR102445365B1 KR1020180031463A KR20180031463A KR102445365B1 KR 102445365 B1 KR102445365 B1 KR 102445365B1 KR 1020180031463 A KR1020180031463 A KR 1020180031463A KR 20180031463 A KR20180031463 A KR 20180031463A KR 102445365 B1 KR102445365 B1 KR 102445365B1
Authority
KR
South Korea
Prior art keywords
rule
information
decision
utterance
rules
Prior art date
Application number
KR1020180031463A
Other languages
English (en)
Other versions
KR20190109864A (ko
Inventor
이정엄
신동수
김선아
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180031463A priority Critical patent/KR102445365B1/ko
Priority to US16/131,330 priority patent/US11189274B2/en
Priority to CN201811158302.6A priority patent/CN110286745A/zh
Publication of KR20190109864A publication Critical patent/KR20190109864A/ko
Application granted granted Critical
Publication of KR102445365B1 publication Critical patent/KR102445365B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Mechanical Engineering (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operations Research (AREA)
  • Navigation (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Harvester Elements (AREA)
  • Electrotherapy Devices (AREA)

Abstract

개시된 일 측면에 따르면, 수집되는 상황 정보가 미리 설정된 규칙 및 발화 조건을 판단함으로써, 사용자에게 먼저 대화를 발화하는 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법을 제공한다.
개시된 일 측면에 따른 대화 시스템은, 외부에서 전달하는 정보 및 상황 정보를 수신하는 통신부; 규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하는 저장부; 상기 규칙의 조건과 상기 정보를 비교하여 결정 규칙을 생성하는 규칙 판단기; 상기 생성된 결정 규칙과 외부에서 수집되는 상황 정보에 기초하여 상기 결정 규칙의 발화를 결정하는 상황 판단기; 및 상기 결정 규칙 및 상기 대화 템플릿에 기초하여 발화할 텍스트를 생성하고, 상기 상황 판단기가 전달하는 신호에 기초하여 상기 생성된 텍스트를 출력하는 결과 처리기;를 포함한다.

Description

대화 시스템, 이를 포함하는 차량 및 대화 처리 방법{DIALOGUE PROCESSING APPARATUS, VEHICLE HAVING THE SAME AND DIALOGUE PROCESSING METHOD}
개시된 발명은 차량에서 수집되는 정보를 기초로 사용자에게 먼저 대화를 발화하고, 사용자의 대답을 유도하여 사용자에게 필요한 정보나 서비스를 제공하는 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법에 관한 것이다.
일반적으로 차량은 사용자의 요청에 의해서 시각적인 정보 및 차량이 제공할 수 있는 다양한 서비스를 제공한다. 즉, 서비스의 시작은 사용자가 차량에 설치된 입력 장치, 구체적으로 버튼 등의 물리적인 입력이나 음성 발화와 같은 청각적인 입력을 통해서 이뤄진다.
이러한 서비스는 사용자가 먼저 입력을 수행한 후, 차량이 피드백을 제공하는 일방적인 관계를 가지므로, 다양한 서비스 지원에 근본적인 한계를 가지는 문제점이 있다.
만약 차량이 먼저 서비스의 요청을 유도하거나 정보를 스스로 제공하는 대화를 발화한다면, 사용자에게 제공하는 서비스의 종류와 질은 크게 향상될 수 있다.
다만, 인간의 대화와 달리, 시스템이 먼저 대화의 시작 시점 및 대화의 주제를 결정하는 것은 매우 넓은 범위 속에서 다양한 변수를 포함한다. 그러나 개시된 발명은 차량이라는 특수한 환경에서 제공될 수 있는 서비스에 따라 그 범위를 좁힐 수 있으므로, 시스템이 먼저 서비스 제공에 필요한 대화를 발화할 경우, 사용자에게 필요한 서비스의 질과 종류는 크게 향상될 수 있을 것으로 기대된다.
개시된 일 측면에 따르면, 수집되는 상황 정보가 미리 설정된 규칙 및 발화 조건을 판단함으로써, 사용자에게 먼저 대화를 발화하는 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법을 제공한다.
개시된 일 측면에 따른 대화 시스템은, 외부에서 전달하는 정보 및 상황 정보를 수신하는 통신부; 규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하는 저장부; 상기 규칙의 조건과 상기 정보를 비교하여 결정 규칙을 생성하는 규칙 판단기; 상기 생성된 결정 규칙과 외부에서 수집되는 상황 정보에 기초하여 상기 결정 규칙의 발화를 결정하는 상황 판단기; 및 상기 결정 규칙 및 상기 대화 템플릿에 기초하여 발화할 텍스트를 생성하고, 상기 상황 판단기가 전달하는 신호에 기초하여 상기 생성된 텍스트를 출력하는 결과 처리기;를 포함한다.
상기 규칙 판단기는, 상기 결정 규칙에 상기 정보를 삽입하여 상기 저장부에 저장할 수 있다.
상기 상황 판단기는, 상기 상황 정보에 기초하여 사용자의 인지 부하값 및 유지 기간을 산출할 수 있다.
상기 상황 판단기는, 상기 산출된 인지 부하값과 상기 결정 규칙에 포함된 기준 인지 부하값을 비교하여 저장된 복수의 결정 규칙의 우선 순위를 선정할 수 있다.
상기 상황 판단기는, 상기 결정 규칙에 포함된 발화 시간 및 상기 유지 기간을 비교하여 저장된 복수의 결정 규칙의 우선 순위를 선정할 수 있다.
상기 규칙 판단기는, 상기 규칙에 포함된 조건이 상기 정보와 대응되면, 상기 규칙을 상기 결정 규칙으로 결정할 수 있다.
상기 규칙 판단기는, 상기 정보에 기초하여 상기 저장부에 저장된 이벤트 중 하나를 선택할 수 있다.
상기 규칙 판단기는, 상기 이벤트와 연관된 복수 개의 규칙이 존재하는지 판단할 수 있다.
상기 규칙 판단기는, 상기 이벤트와 연관된 복수 개의 규칙에서 규칙의 조건과 상기 정보가 대응되는 규칙을 상기 결정 규칙으로 결정할 수 있다.
상기 결과 처리기는, 상기 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 인자로 결정할 수 있다.
상기 결과 처리기는,사용자의 응답에 기초하여 상기 규칙을 생성하고, 상기 저장부에 미리 저장된 상기 규칙과 비교할 수 있다.
상기 상황 판단기는, 상기 저장부에 저장된 복수의 결정 규칙의 우선 순위에 기초하여 상기 신호를 상기 결과 처리기로 전달할 수 있다.
개시된 다른 실시예에 따른 대화 처리 방법은, 외부에서 전달하는 정보 및 상황 정보를 수신하고; 규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하고; 상기 규칙의 조건과 상기 정보를 비교하여 결정 규칙을 생성하고; 상기 생성된 결정 규칙과 외부에서 수집되는 상황 정보에 기초하여 상기 결정 규칙의 발화를 결정하고; 및 상기 결정 규칙 및 상기 대화 템플릿에 기초하여 발화할 텍스트를 생성하고, 상기 신호에 기초하여 상기 생성된 텍스트를 출력하는 것;을 포함한다.
상기 생성하는 것은, 상기 결정 규칙에 상기 정보를 삽입하여 저장부에 저장하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 상황 정보에 기초하여 사용자의 인지 부하값 및 유지 기간을 산출하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 산출된 인지 부하값과 상기 결정 규칙에 포함된 기준 인지 부하값을 비교하여 저장된 복수의 결정 규칙의 우선 순위를 선정하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 결정 규칙에 포함된 발화 시간 및 상기 유지 기간을 비교하여 저장된 복수의 결정 규칙의 우선 순위를 선정하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 규칙에 포함된 조건이 상기 정보와 대응되면, 상기 규칙을 상기 결정 규칙으로 결정하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 정보에 기초하여 상기 저장부에 저장된 이벤트 중 하나를 선택하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 이벤트와 연관된 복수 개의 규칙이 존재하는지 판단하는 것;을 포함할 수 있다.
상기 결정하는 것은, 상기 이벤트와 연관된 복수 개의 규칙에서 규칙의 조건과 상기 정보가 대응되는 규칙을 상기 결정 규칙으로 결정하는 것;을 포함할 수 있다.
상기 출력하는 것은, 상기 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 것;을 포함할 수 있다.
상기 출력하는 것은, 사용자의 응답에 기초하여 상기 규칙을 생성하고, 상기 저장부에 미리 저장된 상기 규칙과 비교하는 것;을 포함할 수 있다.
개시된 또 다른 실시예에 따른 차량은 외부에서 전달하는 정보 및 차량에서 전달하는 상황 정보를 수신하는 통신부; 규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하는 저장부; 상기 규칙의 조건과 상기 정보를 비교하여 결정 규칙을 생성하는 규칙 판단기; 상기 생성된 결정 규칙과 상기 차량에서 수집되는 상황 정보에 기초하여 상기 결정 규칙의 발화를 결정하는 상황 판단기; 및 상기 결정 규칙 및 상기 대화 템플릿에 기초하여 발화할 텍스트를 생성하고, 상기 상황 판단기가 전달하는 신호에 기초하여 상기 생성된 텍스트를 상기 차량의 제어기를 통해 출력하는 결과 처리기;를 포함한다.
상기 상황 판단기는, 상기 차량이 전달하는 상기 상황 정보에 기초하여 사용자의 인지 부하값 및 유지 기간을 산출할 수 있다.
상기 상황 판단기는, 상기 산출된 인지 부하값과 상기 결정 규칙에 포함된 기준 인지 부하값을 비교하고, 상기 결정 규칙에 포함된 발화 시간 및 상기 유지 기간을 비교하여 저장된 복수의 결정 규칙의 우선 순위를 선정할 수 있다.
상기 상황 판단기는, 상기 비교 결과에 기초하여 중복되는 규칙이 선정되면, 상기 기준 인지 부하값에 기초하여 상기 우선 순위를 선정할 수 있다.
상기 결과 처리기는, 상기 차량에 포함된 차량 제어기를 제어하여 상기 생성된 텍스트를 출력하고, 상기 차량 제어기를 제어하여 상기 결과 규칙과 관련된 서비스를 제공할 수 있다.
상기 규칙 판단기는, 상기 차량 제어기로부터 사용자의 운전 상황 정보를 수집하고, 상기 규칙의 조건과 상기 운전 상황 정보를 비교하는 상기 결정 규칙을 생성할 수 있다.
상기 결과 처리기는, 상기 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 인자로 결정할 수 있다.
개시된 일 측면에 따른 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법은 상황에 맞는 적절한 대화를 유도함으로써, 사용자에게 만족감을 제공할 수 있다.
다른 측면에 따른 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법은 적절한 시점에 정보를 제공함으로써, 사용자에게 편리한 서비스를 제공할 수 있다.
또 다른 측면에 따른 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법은 사용자의 피드백에 따른 다양한 규칙을 생성함으로써, 실제 의도에 부합되는 서비스 또는 사용자에게 가장 필요한 서비스를 제공할 수 있다.
도 1은 일 실시예에 따른 대화 시스템의 제어 블록도이다.
도 2는 차량 내부의 구성을 나타낸 도면이다.
도 3 및 도 4는 대화 시스템과 운전자가 주고 받을 수 있는 대화의 예시를 나타낸 도면이다.
도 5는 대화 시스템과 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 6은 대화 시스템이 원격 서버에 마련되고 차량이 사용자와 대화 시스템을 연결하는 게이트웨이의 역할만 하는 차량 게이트웨이 방식에 대한 제어 블록도이다.
도 7은 차량에 연결된 모바일 기기가 사용자와 원격 대화 시스템 서버를 연결하는 모바일 게이트웨이 방식에 대한 제어 블록도이다.
도 8은 대화 시스템의 구성 중, 규칙 관리기의 구성이 세분화된 제어 블록도이다.
도 9는 대화 시스템의 구성 중, 상황 판단기의 구성이 세분화된 제어 블록도이다.
도 10은 시스템의 구성 중, 결과 처리기의 구성이 세분화된 제어 블록도이다.
도 11 내지 도 15는 개시된 대화 시스템이 도 3의 실시예를 발화하는 과정을 설명하기 위한 도면이다.
도 16 내지 도 20은 개시된 대화 시스템이 도 4의 실시예를 발화하는 과정을 설명하기 위한 도면이다.
도 21은 일 실시예에 따라 대화 시스템이 규칙을 생성하는 방법에 관한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 붙여지는 부호는 각 단계들을 식별하기 위해 사용되는 것으로 이들 부호는 각 단계들 상호 간의 순서를 나타내는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법의 실시예를 상세하게 설명한다.
일 실시예에 따른 대화 시스템은 수집되는 상황 정보를 이용하여 먼저 대화를 발화하는 서비스를 제공하는 장치이다. 당해 실시예에서 사용자에게 제공되는 서비스는 정보의 제공, 차량의 제어, 오디오/비디오/내비게이션 기능의 실행, 외부 서버로부터 가져온 컨텐츠의 제공 등 사용자의 필요나 사용자의 의도에 부응하기 위해 수행되는 모든 동작을 포함할 수 있다.
또한, 일 실시예에 따른 대화 시스템은 차량 환경에 특화된 대화 처리 기술을 제공함으로써, 차량이라는 특수한 환경에서 사용자의 의도를 정확히 파악할 수 있다.
이러한 대화 시스템과 사용자를 연결하는 게이트 웨이는 차량 또는 차량에 연결된 모바일 기기가 될 수 있다. 후술하는 바와 같이, 대화 시스템은 차량에 마련될 수도 있고, 차량 외부의 원격 서버에 마련되어 차량 또는 차량에 연결된 모바일 기기와의 통신을 통해 데이터를 주고 받을 수도 있다.
또한, 대화 시스템의 구성 요소 중 일부는 차량에 마련되고 일부는 원격 서버에 마련되어 대화 시스템의 동작을 차량과 원격 서버에서 부분적으로 수행하는 것도 가능하다.
도 1은 일 실시예에 따른 대화 시스템의 제어 블록도이다.
도 1을 참조하면, 일 실시예에 따른 대화 시스템(100)은 수집되는 상황 정보에 기초하여 이벤트 및 규칙을 판단하고, 대화 주제를 생성하는 규칙 판단기(110), 상황 정보에 기초하여 상기 결정된 규칙의 발화를 결정하는 상황 판단기(120), 발화가 결정된 규칙에서 텍스트를 생성하여 대화를 출력하는 결과 처리기(130)를 포함한다.
또한, 대화 시스템(100)은 상황 정보를 수집하는 통신부(150)와 전술한 규칙 및 대화 텍스트가 저장되는 저장부(140)를 포함한다.
구체적으로 규칙 판단기(110)는 통신부(150)가 수집하는 다양한 정보를 모니터링하고, 컨탠츠에 맞는 이벤트 및 규칙을 결정한다. 여기서 규칙은 조건과 결과를 구성되며, 미리 생성되어 저장부(140)에 저장된다.
규칙 판단기(110)가 이벤트에 포함되는 규칙을 결정하면, 결정된 규칙은 대화 시스템(100)이 사용자에게 발화하는 대화의 주제가 된다. 규칙 판단기(110)는 대화 주제, 즉 결정된 규칙(이하 결정 규칙)을 상황 판단기(120)로 전달한다.
상황 판단기(120)는 저장부(140)에 저장된 여러 대화 주제, 즉 이전에 결정 규칙 중에서 어느 결정 규칙을 선택할지 여부를 판단한다. 또한, 상황 판단기(120)는 발화할 대화 주제(결정 규칙)를 선택하는 것 이외에 어느 시점에 발화를 시작할지 여부를 판단한다.
따라서 상황 판단기(120)는 결정된 규칙을 발화하기 위해 통신부(150)를 통해 상황 정보를 수집하고, 이를 기초로 발화 시점을 선택한다.
발화할 결정 규칙 및 발화 시점을 판단하면, 상황 판단기(120)는 선택된 결정 규칙을 결과 처리기(130)로 전달한다. 결과 처리기(130)는 결정 규칙에 포함된 인자가 삽입되는 대화 정책을 결정하고, 발화할 텍스트를 생성한다. 또한, 결과 처리기(130)는 생성된 텍스트를 출력하면서, 이와 관련된 서비스를 제공하기 위해 대화 시스템(100)과 연결된 다양한 구성을 제어할 수도 있다.
저장부(140)는 개시된 대화 시스템(100)이 대화를 발화하기 위해 필요한 각종 데이터를 저장한다.
예를 들어, 저장부(140)는 통신부(150)가 수집하는 다양한 상황 정보를 저장하고, 미리 생성된 규칙 및 결정된 규칙을 저장한다. 또한, 텍스트 생성에 필요한 대화 정책 및 구성의 제어에 필요한 다양한 제어 알고리즘을 저장한다.
또한, 저장부(140)는 차량에 마련된 센서가 감지한 데이터 및 사용자와 관련된 프로파일 정보 등 다양한 정보를 저장할 수도 있다. 저장부(140)에 저장되는 정보들에 관한 더 자세한 설명은 이하에서 설명하는 실시예를 통해 후술한다.
통신부(150)는 대화 시스템(100)이 상황 정보 및 기타 다양한 데이터를 수집하는 통로로써, 부 장치와 통신을 가능하게 하는 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 캔(Controller Area Network; CAN) 통신 모듈 , 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
한편, 통신부(150)는 전술한 구성 이외에도 외부에서 정보를 수집할 수 있는 다양한 구성 및 모듈을 포함할 수 있다.
도 2는 차량 내부의 구성을 나타낸 도면이다.
도 2를 참조하면, 차량(200) 내부의 대시보드(201)의 중앙 영역인 센터페시아(203)에는 오디오 기능, 비디오 기능, 내비게이션 기능 또는 전화 걸기 기능을 포함하는 차량의 제어를 수행하기 위해 필요한 화면을 표시하는 디스플레이(231)와 사용자의 제어 명령을 입력 받기 위한 입력 버튼(221)이 마련될 수 있다.
또한, 운전자의 조작 편의성을 위해 스티어링 휠(207)에도 입력 버튼(223)이 마련될 수 있고, 운전석(254a)과 조수석(254b) 사이의 센터 콘솔 영역(202)에 입력 버튼의 역할을 수행하는 조그 셔틀(225)이 마련될 수도 있다.
디스플레이(231), 입력 버튼(221) 및 각종 기능을 전반적으로 제어하는 프로세서를 포함하는 모듈을 AVN(Audio Video Navigation) 단말이라 할 수도 있고, 헤드유닛(Head Unit)이라 할 수도 있다.
디스플레이(231)는 LCD(Liquid Crystal Display), LED(Light Emitting Diode), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diode), CRT(Cathode Ray Tube) 등의 다양한 디스플레이 장치 중 하나로 구현될 수 있다.
입력 버튼(221)은 도 2에 도시된 바와 같이 디스플레이(231)와 인접한 영역에 하드 키 타입으로 마련될 수도 있고, 디스플레이(231)가 터치 스크린 타입으로 구현되는 경우에는 디스플레이(231)가 입력 버튼(221)의 기능도 함께 수행할 수 있다.
차량(200)은 사용자의 명령을 음성 입력 장치(210)를 통해 음성으로 입력 받을 수 있다. 음성 입력 장치(210)는 음향을 입력 받아 전기적인 신호로 변환하여 출력하는 마이크로폰을 포함할 수 있다.
효과적인 음성의 입력을 위하여 음성 입력 장치(210)는 도 2에 도시된 바와 같이 헤드라이닝(205)에 마련될 수 있으나, 차량(200)의 실시예가 이에 한정되는 것은 아니며, 대시보드(201) 위에 마련되거나 스티어링 휠(207)에 마련되는 것도 가능하다. 이 외에도 사용자의 음성을 입력 받기에 적합한 위치이면 어디든 제한이 없다.
차량(200) 내부에는 사용자와 대화를 수행하거나, 사용자가 원하는 서비스를 제공하기 위해 필요한 음향을 출력하는 스피커(232)가 마련될 수 있다. 일 예로, 스피커(232)는 운전석 도어(253a) 및 조수석 도어(253b) 내측에 마련될 수 있다.
스피커(232)는 내비게이션 경로 안내를 위한 음성, 오디오/비디오 컨텐츠에 포함되는 음향 또는 음성을 출력하는 장치이다. 특히, 차량(200)에 대화 시스템(100)이 포함되는 경우, 대화 시스템(100)은 스피커(232)를 통해 결정된 대화를 사용자에게 발화하고, 사용자의 피드백에 따른 응답으로서 생성된 발화를 출력할 수 있다.
일 실시예에 따른 대화 시스템(100)은 차량 환경에 특화된 대화 처리 기술을 이용하여 사용자의 라이프스타일에 최적화된 서비스를 제공하고, 커넥티드카(Connected Car), 사물인터넷(IoT), 인공지능(AI) 등의 기술을 이용한 새로운 서비스를 구성할 수 있다.
일 실시예에 따른 대화 시스템(100)이 차량 환경에 특화된 대화 처리 기술을 적용할 경우, 운전자의 직접 주행 상황에서, 주요 상황(Context)에 대한 인지 및 대응이 용이하다. 즉, 대화 시스템(100)은 차량(200)에 마련된 다양한 센서를 통해서 사용자의 현재 상태를 판단하고, 그에 따른 발화 시점을 결정할 수 있다.
도 3 및 도 4는 대화 시스템과 운전자가 주고 받을 수 있는 대화의 예시를 나타낸 도면이다.
도 3을 먼저 참조하면, 대화 시스템(100)은 수집되는 상황 정보에 기초하여 대화를 시작하는 발화(S1: 좋아하는 가수 A의 신곡이 발표되었습니다. 들려드릴까요?)를 출력할 수 있다.
사용자는 대화 시스템(100)이 시작한 주제에 응답하는 발화(U1: 오 그래? 들려줘.)를 입력할 수 있고, 대화 시스템(100)은 사용자의 응답을 인지한 결과를 출력하는 발화(S2: 네 노래를 재생합니다.)를 출력할 수 있다.
한편, 대화 시스템(100)이 출력하는 발화는 상황 정보에 따라 다양할 수 있으며, 사용자의 요청에 따라 대화 주제를 선택하는 것도 가능하다.
도 4를 참조하면, 대화 시스템(100)은 사고 정보를 수집하여 이에 대한 정보를 제공하는 발화(S1: 전방 10Km 앞에 버스 추돌 사고가 발생하였습니다. 다른 경로로 안내할까요?)를 출력할 수 있다.
사용자는 이에 응답한 발화(U1: 도로가 막히겠네. 다른 경로를 탐색해줘.)를 입력할 수 있다. 이에 대화 시스템(100)은 사용자의 입력에 따른 발화(S2: 네 경로를 탐색합니다.)를 출력할 수 있다.
한편, 사용자는 대화 시스템(100)과의 대화 중, '버스'라는 대화 내용에 따라 대화 시스템(100)에게 규칙의 변경을 요청하는 발화(U2: 그리고, 만약 내 차 앞에 버스가 주행하고 있으면, '내기'로 바꿔줘)를 입력할 수 있다.
이에 대화 시스템(100)은 사용자의 입력을 분석하고, 다음 대화에 필요한 규칙을 생성할 수 있으며, 사용자의 요청에 응답하는 발화(S3: 네 규칙을 변경합니다.)를 출력할 수 있다.
이와 같이, 대화 시스템(100)은 상황 정보를 이용하여 사용자에게 먼저 대화를 시작하고, 사용자의 실제 의도에 대응한 다양한 서비스를 선제적으로 제공할 수 있다. 또한, 대화 시스템(100)은 사용자의 요청에 따라 이후에 이루어진 대화 주제의 범위를 다양하게 가져갈 수 있으며, 서비스의 양과 질을 향상시킬 수 있다.
도 5는 대화 시스템과 차량의 구성 요소들 사이의 연결 관계를 간략하게 나타낸 제어 블록도이다.
도 5를 참조하면, 대화 시스템(100)에 입력되는 사용자의 음성은 차량(200)에 마련된 음성 입력 장치(210)를 통해 입력될 수 있다. 도 2 등에서 전술한 바와 같이, 음성 입력 장치(210)는 차량(200) 내부에 마련된 마이크로폰을 포함할 수 있다.
사용자 입력 중 음성을 제외한 입력은 음성 외 입력 장치(220)를 통해 입력될 수 있다. 음성 외 입력 장치(220)는 사용자의 조작을 통해 명령을 입력 받는 입력 버튼(221, 223)과 조그 셔틀(225)을 포함할 수 있다.
또한, 음성 외 입력 장치(220)는 사용자를 촬영하는 카메라를 포함하는 것도 가능하다. 카메라로 촬영한 영상을 통해, 명령 입력의 일 수단으로 사용되는 사용자의 제스처, 표정 또는 시선 방향을 인식할 수 있다. 또는, 카메라로 촬영한 영상을 통해 사용자의 상태(졸음 상태 등)를 파악하는 것도 가능하다.
차량에 관한 정보는 차량 제어기(240)를 통해 대화 시스템(100)에 입력될 수 있다. 차량에 관한 정보는 차량(200)에 마련된 각종 센서를 통해 획득된 차량 상태 정보 또는 주변 상황 정보를 포함할 수 있고, 차량의 유종과 같이 차량(200)에 기본적으로 저장된 정보도 포함할 수 있다.
대화 시스템(100)은 음성 입력 장치(210)를 통해 입력된 사용자 음성, 음성 외 입력 장치(220)를 통해 입력된 사용자의 음성 외 입력, 차량 제어기(240)를 통해 입력된 각종 정보를 이용하여 대화에 필요한 규칙을 결정하고, 발화 시점을 선택한다.
대화자 출력 장치(230)는 대화자에게 시각적, 청각적 또는 촉각적인 출력을 제공하는 장치로서, 차량(200)에 마련된 디스플레이(231) 및 스피커(232)를 포함할 수 있다. 디스플레이(231) 및 스피커(232)는 사용자의 발화에 대한 응답, 사용자에 대한 질의, 또는 사용자가 요청한 정보를 시각적 또는 청각적으로 출력할 수 있다. 또는, 스티어링 휠(207)에 진동기를 장착하여 진동을 출력하는 것도 가능하다.
또한, 차량 제어기(240)는 대화 시스템(100)가 선택한 발화 내용 및 사용자가 응답한 결과를 수행하기 위해 차량(200)을 제어할 수 있다.
한편, 차량(200)은 차량(200)에 마련된 센서를 통해 획득된 데이터뿐만 아니라, 통신 장치(280)를 통해 외부 컨텐츠 서버(300) 또는 외부 기기로부터 획득된 상황 정보, 예를 들어 교통 상황, 날씨, 온도, 동승자 정보, 운전자 개인 정보 등의 다양한 상황 정보를 수집하여 대화 시스템(100)에 전달할 수 있다.
V2X(Vehicle to Everything)를 통해 외부에서 획득된 상황 정보는 통신 장치(280) 및 차량 제어기(240)를 통해 대화 시스템(100)에 입력될 수 있다. 여기서 V2X는 차량이 주행하면서 도로 인프라 및 다른 차량과 상호 통신하면서 교통 상황 등 각종 유용한 정보를 교환 및 공유하는 것을 의미한다.
V2X 통신은 차량과 인프라 간(V2I: Vehicle-to-Infrastructure, 이하 V2I) 통신, 차량 간(V2V: Vehicle-to-Vehicle), 차량과 모바일 기기 간(V2N: Vehicle-to-Nomadic devices) 통신을 포함할 수 있다. 따라서, V2X 통신을 이용하면, 차량끼리 직접 통신하거나, 또는 거리에 설치되어 있는 인프라와 통신하여 전방의 교통 정보, 다른 차량의 접근 또는 추돌 가능성 등의 정보를 주고 받고 운전자에게 알려줄 수 있다.
따라서, 외부 신호 제어기(242)를 통해 대화 시스템(100)에 입력되는 주행 환경 정보는 전방의 교통 정보, 주변 차량의 접근 정보, 다른 차량과의 추돌 경고, 실시간 교통 상황, 돌방 상황, 교통흐름 제어 상태 등을 포함할 수 있다.
도면에 도시되어 있지는 않으나, V2X 를 통해 획득하는 신호 역시 통신 장치(280)를 통해 차량(200)에 입력될 수 있다.
차량 제어기(240)는 전술한 동작과 후술하는 동작을 수행하기 위한 프로그램이 저장되는 메모리 및 저장된 프로그램을 실행시키는 프로세서를 포함할 수 있다. 메모리와 프로세서는 각각 적어도 하나 마련될 수 있고, 복수 개 마련되는 경우에는 이들이 하나의 칩 상에 집적될 수도 있고 물리적으로 분리될 수도 있다.
도 6은 대화 시스템이 원격 서버에 마련되고 차량이 사용자와 대화 시스템을 연결하는 게이트웨이의 역할만 하는 차량 게이트웨이 방식에 대한 제어 블록도이다.
차량 게이트웨이 방식에서는 도 6에 도시된 바와 같이, 차량(200) 외부에 원격 대화 시스템 서버(1)가 마련되고, 차량(200)에는 원격 대화 시스템 서버(1)와 통신 장치(280)를 통해 연결되는 대화 시스템 클라이언트(270)가 마련된다. 통신 장치(280)가 차량(200)과 원격 대화 시스템 서버(1)를 연결하는 게이트웨이의 역할을 수행한다.
대화 시스템 클라이언트(270)는 입출력 장치와 연결된 인터페이스로써 기능하며, 데이터 수집과 송수신을 수행할 수 있다.
차량(200)에 마련된 음성 입력 장치(210)와 음성 외 입력 장치(220)가 사용자 입력을 수신하고 대화 시스템 클라이언트(270)에 전달하면, 대화 시스템 클라이언트(270)가 통신 장치(280)를 통해 원격 대화 시스템 서버(1)로 입력 데이터를 전송할 수 있다.
차량 제어기(240) 역시 차량(100)에 마련된 센서 등에서 수집한 데이터를 대화 시스템 클라이언트(270)에 전달할 수 있고, 대화 시스템 클라이언트(270)가 통신 장치(280)를 통해 원격 대화 시스템 서버(1)로 수집한 데이터를 전송할 수 있다.
원격 대화 시스템 서버(1)에는 전술한 대화 시스템(100)이 마련되어 입력 데이터의 처리, 입력 데이터의 처리 결과를 바탕으로 한 대화 처리 및 대화 처리 결과에 기초한 결과 처리를 모두 수행할 수 있다.
또한, 원격 대화 시스템 서버(1)는 입력 데이터의 처리, 대화 관리 또는 결과 처리에 있어 필요한 정보나 컨텐츠를 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
차량(200) 역시 원격 대화 시스템 서버(1)로부터 전송되는 응답에 따라 사용자에게 필요한 서비스를 제공하기 위해 필요한 컨텐츠를 외부 컨텐츠 서버(300)로부터 가져올 수 있다.
도 7은 차량에 연결된 모바일 기기가 사용자와 원격 대화 시스템 서버를 연결하는 모바일 게이트웨이 방식에 대한 제어 블록도이다.
모바일 게이트웨이 방식에서는 도 7에 도시된 바와 같이, 모바일 기기(400)가 차량(200)으로부터 차량 상황 정보, 운전자 상황 정보를 수신하고, 수신된 상황 정보를 원격 대화 시스템 서버(1)로 전송한다. 즉, 모바일 기기(400)가 사용자와 원격 대화 시스템 서버(1) 또는 차량(200)와 원격 대화 시스템 서버(1)를 연결하는 게이트웨이의 역할을 수행한다.
모바일 기기(400)는 스마트 폰, 스마트 워치, 스마트 글래스, PDA, 태플릿 PC 등과 같이 휴대가 가능하며 외부 서버 및 차량과 통신하여 데이터를 주고 받을 수 있는 전자 기기일 수 있다.
모바일 기기(400)는 사용자 음성을 입력 받는 음성 입력 장치(410), 사용자의 음성 외 입력을 수신하는 음성 외 입력 장치(420), 시각적, 청각적 또는 촉각적으로 응답을 출력하는 출력 장치(430), 원격 대화 시스템 서버(1) 및 차량(200)과 통신하여 데이터를 송수신하는 통신 장치(480) 및 차량(200)과 사용자로부터 입력 데이터를 수집하여 통신 장치(480)를 통해 원격 대화 시스템 서버(1)로 전송하는 대화 시스템 클라이언트(470)를 포함한다.
음성 입력 장치(410)는 음향을 입력 받아 전기적인 신호로 변환하여 출력하는 마이크로폰을 포함할 수 있다.
음성 외 입력 장치(420)는 모바일 기기(400)에 마련된 입력 버튼, 터치 스크린 또는 카메라를 포함할 수 있다.
출력 장치(430)는 모바일 기기(400)에 마련된 디스플레이, 스피커 또는 진동기를 포함할 수 있다.
사용자에 대한 입출력 인터페이스로 모바일 기기(400)에 마련된 음성 입력 장치(410), 음성 외 입력 장치(420) 및 출력 장치(430)를 이용하는 것뿐만 아니라, 차량(200)에 마련된 음성 입력 장치(210), 음성 외 입력 장치(220) 및 대화자 출력 장치(230)를 이용하는 것도 가능하다.
차량(200)은 센서가 감지한 데이터와 사용자 입력을 모바일 기기(400)에 전달하면, 모바일 기기(400)의 대화 시스템 클라이언트(470)가 이를 원격 대화 시스템 서버(1)로 전송한다.
또한, 대화 시스템 클라이언트(470)는 원격 대화 시스템 서버(1)로부터 전송되는 응답이나 명령어를 차량(200)에 전달할 수 있다.
예를 들어, 대화 시스템 클라이언트(470)는 대화를 발화하기 위해서 차량(200)에 마련된 스피커(232)를 사용하거나 모바일 기기(400)에 마련된 출력 장치(430)를 이용하여 대화를 출력할 수 있다.
발화되는 대화와 함께 수행될 수 있는 차량 제어 명령은 모바일 기기(400)를 통해 차량(200)에 전달되고, 차량 제어기(240)는 전달된 명령어에 대응되는 제어를 수행하여 사용자에게 필요한 서비스를 제공할 수 있다.
한편, 대화 시스템 클라이언트(470)는 입력 데이터를 수집하여 원격 대화 시스템 서버(1)로 전달하는 것뿐만 아니라, 대화 시스템(100)의 규칙 관리기(110) 및 결과 처리기(130)의 기능을 일부 또는 전부 수행하는 것도 가능하다.
도 5 내지 도 7은 대화 시스템(100)이 차량, 차량 이외의 다양한 환경에 적용되어 서비스를 제공하는 일 예를 설명하였다. 이하에서는 도 3 및 도 4에서 전술한 실시예를 기초로 대화 시스템(100)이 발화를 먼저 수행하는 방법에 관해서 구체적으로 후술한다.
도 8은 대화 시스템의 구성 중, 규칙 관리기의 구성이 세분화된 제어 블록도이다.
도 8을 참조하면, 규칙 관리기(110)는 외부로부터 수신되는 다양한 정보를 관찰하고, 수집된 정보에서 대화에 필요한 이벤트 및 그에 따른 규칙이 있는지 여부를 판단하는 모니터링부(112), 현재 수집된 정보가 이벤트에 포함된 규칙의 조건을 만족하는지 여부를 판단하는 규칙 결정부(113), 조건이 일치하는 규칙에 수집된 정보를 포함시켜, 대화의 주제(결정 규칙)을 생성하는 규칙 생성부(114) 및 전술한 구성을 총괄하여 제어하는 규칙 판단 관리부(111)를 포함한다.
구체적으로 모니터링부(112)는 통신부(150)가 전달하는 컨탠츠 또는 상황 정보, 대화 시스템(100)의 결과 처리부(130)가 전달하는 사용자의 대화 결과 및 차량(200)에 마련된 센서를 포함한 음성 입력부(210)가 전달하는 사용자의 음성 등 다양한 경로를 통해서 대화를 발화하는데 필요한 정보를 관찰한다.
먼저, 컨탠츠는 대화 시스템(100)의 통신망을 통해 제공되는 각종의 디지털 정보로써, 교양 또는 오락을 제공하는 저작물 이외에도 가치 있는 정보나 경험 등 매우 넓은 범위를 정보를 포함한다.
상황 정보는 대화 시스템(100)이 포함된 차량(200)과 같은 특수한 환경에서 차량(200)이 전달하는 정보를 의미하며, 운전자의 상태에 관한 운전자 상황 정보, 차량(200)에 포함된 기계에 대한 정보 및 기타 다양한 정보를 모두 포함한다.
결과 처리부(130)가 전달하는 내용은, 대화 시스템(100)과 사용자가 이전 대화에서 도출된 피드백을 의미하며, 사용자와의 대화에서 도출되는 사용자 정보를 포함한다.
모니터링부(112)는 전술한 다양한 정보를 관찰하기 위해서 이벤트 결정부(112a) 및 규칙 존재 판단부(112b)로 구체화할 수 있다.
이벤트 결정부(112a)는 관찰되는 다양한 정보를 카테고리로 분류한다. 여기서 카테고리가 이벤트에 해당한다. 예를 들어, 좋아하는 가수의 신곡이 발표되었다는 컨탠츠는 '음악 추천'이라는 이벤트로 분류될 수 있다. 또한, 전방 10Km 앞에 버스 추돌 사고가 수집되면, 이벤트 결정부(112a)는 '사고 정보 제공' 이벤트로 분류할 수 있다. 만약 버스가 차량(200)의 앞에서 주행하고 있으면, 공조 장치를 내기로 변경하라는 사용자 음성이 입력되면, 이벤트 결정부(112a)는 '규칙 생성'으로 이벤트를 분류할 수 있다.
관찰하는 다양한 정보가 이벤트로 분류되면, 규칙 존재 판단부(112b)는 분류된 이벤트에 포함되는 규칙이 존재하는지 여부를 검색한다. 규칙은 미리 설정되어 규칙 저장 DB(Datebase, 141)에 저장된다. 규칙 존재 판단부(112b)는 규칙 저장 DB(141)에서 이벤트에 속하는 규칙이 존재하는지 여부를 확인한다.
모니터링부(112)가 관찰하는 다양한 정보에서 이벤트 및 그에 포함되는 규칙이 존재하는 것을 확인하면, 규칙 결정부(113)는 모니터링부(112)가 전달하는 이벤트 및 이벤트에 포함된 여러 규칙에서 관찰된 정보가 규칙의 조건을 만족하는지 여부를 판단한다.
전술한 바와 같이, 규칙은 조건과 결과를 포함하는데, 규칙 결정부(113)는 정보를 조건에 대입시켜, 조건을 만족하는지 여부를 확인한다.
예를 들어, 규칙 결정부(113)는 음악 추천이라는 이벤트에 포함된 규칙 중, 좋아하는 가수 A가 신곡을 발표하면, 음악을 추천하고 재생하라는 규칙과 수집된 정보를 비교한다. 만약 수집된 정보가 가수 A의 신곡이면, 수집된 정보는 규칙의 조건을 만족하는 것이고, 규칙의 결과(음악 추천 및 재생)가 대화 주제가 된다.
규칙 결정부(113)는 수집된 정보와 조건이 만족하는 규칙을 저장부(140)에 저장한다.
저장부(140)는 단기 메모리(142) 및 장기 메모리(143)로 구분될 수 있다. 장기 메모리(143)에는 사용자의 전화번호부, 일정, 선호도, 학력, 성격, 직업, 가족 관련 정보 등과 같이 영속성이 보장되어 장기적으로 사용 가능한 정보가 저장될 수 있다. 단기 메모리(142)에는 현재/이전 위치, 오늘 일정, 이전 대화 내용, 대화 참여자, 주변 상황, 도메인, 운전자 상태 등과 같이 영속성이 보장되지 않거나 불확실하여 단기적으로 사용되는 정보가 저장될 수 있다. 데이터의 종류에 따라 규칙 저장 DB(141), 단기 메모리(142) 및 장기 메모리(143) 중 두 개 이상의 저장소에 중복되어 저장되는 데이터도 있을 수 있다.
다시 도 8을 참조하면, 규칙 결정부(113)는 일 규칙에 조건을 만족한 정보를 이벤트 등에 의해서 단기 메모리(142) 또는 장기 메모리(143)에 저장하고, 결정된 규칙을 규칙 생성부(114)로 전달한다.
규칙 생성부(114)는 조건을 만족하는 규칙을 결정 규칙으로 생성하여 후술하는 규칙 결과 저장 DB(144)에 저장한다.
여기서 결정 규칙이란, 조건을 만족하는 규칙의 결과 및 관찰된 정보를 결합한 데이터를 의미하고, 대화 시스템(100)이 사용자에게 먼저 발화할 대화의 주제이다. 즉, 대화 시스템(100)은 수집되는 다양한 정보에서 사용자와 대화를 시작할 데이터를 생성하고, 이를 이용하여 사용자와 대화를 시작한다.
한편, 규칙 생성부(114)는 관찰되는 주제에 따라 결정 규칙을 생성하는 것 이외에도, 규칙 저장 DB(141)에 저장할 다양한 규칙을 생성할 수도 있다. 일 예로, 규칙 생성부(114)는 사용자의 대화결과 또는 사용자의 음성에 의해서 입력된 정보에서 조건과 결과를 추출할 수 있으며, 개인 맞춤형 다양한 규칙을 생성할 수 있다.
이상에서는 규칙 판단기(110)가 먼저 발화할 대화의 주제를 생성하는 방법을 설명하였다. 이하에서는 대화 시스템(100)이 생성한 여러 대화의 주제를 언제 발화할 것인지에 관해서 설명한다.
도 9는 대화 시스템의 구성 중, 상황 판단기의 구성이 세분화된 제어 블록도이다.
도 9를 참조하면, 상황 판단기(120)는 규칙 판단기(110)가 생성한 결정 규칙을 저장한 규칙 결과 저장 DB(144)를 관리하고, 수집되는 상황 정보에 기초하여 발화할 시점을 결정하는 트리거(Trigger, 122) 및 상황 판단기(120)의 전반을 제어하는 상황 판단 관리부(121)를 포함할 수 있다.
전술한 바와 같이, 규칙 판단기(110)에서 생성된 결정 규칙은 규칙 결정 저장 DB(144)에 생성된 순서에 따라 축적(Stack)된다. 즉, 규칙 결정 저장 DB(144)는 이전 수집된 정보 및 규칙에 기초하여 생성된 결정 규칙이 시간적 순서대로 쌓여있다.
상황 판단 관리기(121)는 트리거가 생성한 발화 시점에 기초하여 쌓여있는 결정 규칙에 우선순위를 결정하여 최종 발화 여부를 판단한다.
발화 시점을 판단하는 트리거(122)는 사용자가 대화 시스템(100)의 대화 시작을 인지할 수 있는 인지 부하값을 결정하는 부하 예측부(122a) 및 결정된 인지 부하값에 기초하여 최종적인 발화 시점을 결정하는 발화 시점 판단부(122b)로 세분화될 수 있다.
여기서 인지 부하(Cognitive load)값은 사용자가 대화 시스템(100)이 발화하는 대화를 인지할 수 있는 정도를 의미하는 것으로, 외부에서 수집되는 다양한 상황 정보로부터 결정된다.
구체적으로 인지 부하값은 운전자 상황 정보, 차량 상황 정보 및 외부 상황 정보 중 적어도 하나를 기초로 예측 모델로부터 산출될 수 있다.
운전자 상황 정보는, 운전자의 기본 정보, 예를 들어 운전자의 성별, 연령 및 운전 경력을 포함하며, 운전자의 심리 및 성향으로 구분될 수 있다. 여기서 운전자의 심리 및 성향은 운전자의 대화 여부, 현재 주행 중인 도로 환경의 적응상태, 운전의 위험 성향 및 동승자와의 관계로 구분된다.
차량 상황 정보는, 차량의 기본 정보, 예를 들어 상업용 또는 개인용 차량, 승용 또는 승합 차량 및 기어의 수동 또는 자동여부를 포함하고, 현재 주행중인 차량의 속도, 조향각, 진행 방향, 전/측방 장애물 및 방향 지시등의 온/오프 여부를 포함하는 차량 주행 정보로 구분될 수 있다.
외부 상황 정보는, 대화 시스템(100)이 외부로 요청하여 수집하는 다양한 정보로서, 통신부(150)를 통해 차량(200)에 마련된 각종 센서 및 차량 제어기(240), 사용자의 사용자 단말 및 외부 네트워크 중 적어도 하나에서 수집되는 정보를 포함한다. 일 예로, 외부 상황 정보는 온도 센서가 감지하는 현재 온도, 차량(200)의 내비게이션이 전달하는 지도 및 위치 정보, 사용자 단말이 제공하는 통화에 관한 정보 등 다양한 정보를 포함한다.
인지 부하값은 전술한 여러 상황 정보에 대응하여 다양한 수치로 환산될 수 있다. 일 예로, 현재 운전자가 차량(200)의 시동을 온 시키고, 주행을 막 시작한 시점에서는 큰 집중력이 요구되므로 인지 부하값이 작을 수 있다. 그러나 현재 차량(200)의 위치가 고속도로이고 주행 경로 상 직선 도로가 계속 이어지는 상황 정보에서는 운전자가 대화 시스템(100)의 발화를 인지하고 대화를 이어갈 수 있는 가능성이 있으므로, 인지 부하값이 클 수 있다.즉, 인지 부하값은 운전자의 성향, 행동, 심리상태, 차량(200)의 도로 주행 상황을 종합적으로 판단한 결과이며, 인지부하 DB(145)에 저장된 예측 모델을 통해 산출될 수 있다. 한편, 예측 모델은 이미 공지된 다양한 방법이 적용될 수 있으며, 기계 학습을 통해서 업데이트될 수도 있다.
규칙 결과 저장 DB(144)에 쌓여있는 결정 규칙은 발화의 기준이 되는 기준 인지 부하값을 포함한다. 부하 예측부(122a)는 현재의 인지 부하값을 기준으로 쌓여진 결정 규칙의 기준 인지 부하값을 비교한 후 발화에 필요한 결정 규칙을 선택한다. 즉, 부하 예측부(122a)는 결정 규칙의 우선 순위를 설정한다.
발화 시점 판단부(122b)는 우선 순위가 설정된 결정 규칙 중 현재의 인지 부하값이 유지되는 유지 시간(Duration time)을 비교하여 결정 규칙을 발화될 시점을 결정한다.
트리거(122)는 발화 시점 판단부(122b)가 판단한 발화 시점 및 결정된 결정 규칙을 결과 처리기(130)로 전달한다.
한편, 트리거(122)는 발화될 대화 주제가 사용자의 인지 부하에 미치는 영향을 고려하여 대화를 시작할 시점뿐만 아니라 대화가 시작된 후 진행되는 동안에 사용자의 인지 부하가 어떻게 변화하는지에 대해서도 검토할 수 있다.
전술한 인지 부하를 고려하는 방법은 아래의 수학식 1로 구체화될 수 있다.
Figure 112018027173351-pat00001
여기서, X는 예측 모델에 기초하여 산출된 인지 부하값을 의미하고, Th[i]는 쌓여진 결정 규칙에 포함되는 기준 인지 부하값을 의미하고, i는 규칙 결과 저장 DB(144)에 쌓여진 순서를 의미한다. 또한, D_x는 산출된 인지 부하값이 유지되는 유지 시간을 의미하고, D_y[i]는 결정 규칙이 텍스트로 발화될 때 필요한 시간을 의미한다. Triggering = True는 if이하의 조건을 만족하면 트리거링 신호가 발생하는 것을 의미한다.
도 10은 시스템의 구성 중, 결과 처리기의 구성이 세분화된 제어 블록도이다.
도10 을 참조하면, 상황 판단기(120)에서 결정된 결정 규칙은 결과 처리기(130)로 전달되어, 텍스트 또는 다양한 형태의 소리로 변환되고, 사용자에게 출력된다.
결과 처리기(130)는 상황 판단기(120)로부터 전달되는 결정 규칙에 기초하여 발화할 텍스트를 생성하는 대화 생성부(132), 이벤트와 관련된 다양한 서비스를 함께 생성하는 서비스 생성부(133), 대화를 발화하고 사용자의 응답을 피드백하여 처리하는 피드백 관리부(134) 및 전술한 구성을 제어하는 결과 처리 관리부(131)를 포함한다.
또한, 결과 처리기(130)는 발화에 필요한 스피커 및 음성 외 출력을 수행하는 하드웨어적 구성과 연결되어 제어 명령을 전달하는 출력부(135)를 포함하며, 출력부(135)는 결과 처리 관리부(131)의 제어에 따라 동작한다.
구체적으로 대화 생성부(132)는 결정 규칙에 기초하여 텍스트 신호를 생성한다. 텍스트 신호(Text to Speech, TTS)는 대화 템플릿(146)에 저장된 대화 정책을 기초로 생성된다.
대화 생성부(132)는 결정 규칙이 정의하는 이벤트 및 결정 규칙의 결과를 종합적으로 검토하여 이에 대응되는 대화 정책을 선택한다. 대화 정책에는 대화의 기본적인 근간을 이루는 주어, 동사 등이 포함된 텍스트가 포함된다.
대화 생성부(132)는 결정 규칙 내 포함된 인자를 텍스트 내에 삽입하여 하나의 완성된 문장을 생성한다.
여기서, 결정 규칙 내 포함된 인자는 규칙 관리기(110)가 규칙을 생성할 때 삽입된 정보로서, 외부에서 수집된 정보, 상황 정보 및 조건을 만족한 결과 중 적어도 하나로부터 도출되는 다양한 데이터를 의미한다.
예를 들어, 대화 생성부(132)가 대화 템플릿으로 "좋아하는 가수 _의 신곡이 발표되었습니다"를 선택하는 경우, 가수 'A'는 상황 판단기(120)가 전달하는 결정 규칙 내 포함되며, 가수 A라는 명칭은 데이터화 되어 인자로 사용된다.
한편, 전술한 대화 생성부(132)는 발화를 중점적으로 설명하고 있으므로 텍스트 신호만을 실시예로 설명하고 있으나, 반드시 텍스트 신호에 한정되는 것은 아니고 오디오 신호 등 발화에 필요한 다양한 신호를 생성하는 것을 포함할 수 있다.
서비스 생성부(133)는 대화 생성부(132)가 생성한 다양한 신호를 기초로 대화 시스템(100)이 수행할 수 있는 서비스 신호를 생성한다.
일 예로, 대화 생성부(132)는 가수 A의 신곡 추천에 관한 대화를 생성하면, 서비스 생성부(133)는 가수 A의 사진이나 신곡 표지 등을 포함하는 이미지를 생성할 수 있다.
서비스 생성부(133)는 신호 생성에 필요한 데이터를 단기 메모리(142) 또는 장기 메모리(143)에서 추출하여 서비스 신호를 생성하는데 사용할 수 있다.
피드백 관리부(134)는 출력부(135)가 출력하는 대화로부터 사용자가 응답하는 음성 출력 또는 기타 장치를 통해 입력하는 신호를 수신한다. 피드백 관리부(134)는 수신하는 사용자의 응답을 분석하여 다음 대화 정책에 반영할 수 있으며, 사용자가 지적하는 부분을 수정 또는 변경할 수도 있다.
또한, 피드백 관리부(134)는 대화 시스템(100)이 발화하는 대화 내용에 따른 사용자의 응답 및 대화 시스템의 재 응답이 이루어진 일련의 과정을 수집하여 대화 정책에 반영할 수 있다.
한편, 피드백 관리부(134)는 개시된 대화 시스템(100)이 대화 주제를 선정하는 근거인 규칙을 생성하도록 요청받을 수 있으며, 피드백 관리부(134)는 사용자의 요청에 따라 새로운 조건 및 그 결과를 포함하는 신규 규칙을 생성할 수도 있다. 이와 관련된 구체적인 설명은 도 21을 통해서 후술한다.
개시된 대화 시스템(100)의 각 제어 블록도는 반드시 도 8 내지 도 10에서 도시된 위치에 한정되는 것은 아니며, 대화 시스템(100)의 성능에 대응하여 적어도 하나의 구성요소가 삭제 또는 추가될 수 있다.
도 11 내지 도 15는 개시된 대화 시스템이 도 3의 실시예를 발화하는 과정을 설명하기 위한 도면이다.
도 11을 먼저 참조하면, 모니터링부(112)는 외부에서 수집되는 다양한 정보를 주기적 또는 비주기적으로 관찰한다. 개시된 실시예에 따라 모니터링부(112)는 통신부(150)가 전달하는 컨탠츠, 즉 가수 A의 신곡 발표에 관한 정보를 수신할 수 있다.
모니터링부(112), 구체적으로 이벤트 결정부(112a)는 수신된 정보를 분석하고, 컨탠츠 내에 A의 신곡 발표 및 음원이 포함된 것을 확인한다. 이벤트 결정부(112a)는 장기 메모리(143)에 저장된 사용자의 프로파일을 전달받고, 수신된 정보와 비교한다.
실시예에 따라 이벤트 결정부(112a)는 컨탠츠 내에 포함된 정보에 가수 A가 포함되고, 사용자의 프로파일에서 사용자가 가수 A를 선호하는 사실을 확인한다. 또한, 이벤트 결정부(112a)는 사용자가 운전 중 음악 청취를 선호하는 것을 확인하고, 컨탠츠 내에 음원이 포함되어 음악 청취가 가능하다고 판단할 수 있다. 이에 따라 이벤트 결정부(112a)는 현재 수신된 정보를 통해 음악 추천이라는 이벤트를 결정한다.
이벤트가 결정되면, 규칙 존재 판단부(112b)는 음악 추천 이벤트과 연관된 규칙이 존재하는지 여부를 판단한다. 만약 결정된 이벤트 내에 규칙이 존재하지 않으면, 규칙 존재 판단부(112b)는 수집된 컨탠츠를 무시하고, 이와 관련된 정보를 저장하지 않는다.
실시예에 따라 규칙 존재 판단부(112b)는 음악 추천이라는 이벤트에 규칙 1 및 규칙 2가 존재하는 것을 확인할 수 있다. 일 예에 따라 규칙 1은 저장된 음악 재생을 추천하는 규칙과 신곡 음악을 추천하는 규칙을 포함할 수 있다.
규칙의 존재를 확인하면, 규칙 판단 관리부(111)는 규칙 결정부(113)를 제어하여, 수집된 정보가 규칙의 조건을 만족하는지 여부를 판단한다.
도 12를 참조하면, 규칙 결정부(113)는 존재가 확인된 규칙에 필요한 상황 정보를 수집한다(113a). 수집된 정보는 제한적이므로, 이벤트에 포함된 여러 규칙 중 하나의 규칙을 결정하는데 부족할 수 있다.
따라서 개시된 규칙 결정부(113)는 결정된 이벤트에 존재하는 규칙의 조건을 판단하는데 필요한 상황 정보를 단기 메모리(142) 및 장기 메모리(143)로부터 수집한다.
일 실시예에 따라 규칙 결정부(113)는 규칙 1과 관련하여 현재 사용자가 음악을 청취하는지 여부에 관한 상황 정보, 주행을 시작한 시점에 관한 정보 및 저장된 음악이 존재하는지 여부에 관한 상황 정보를 수집한다.
또한, 규칙 결정부(113)는 규칙 2와 관련하여 운전자가 차량(200)에 탑승하였는지 여부에 관한 상황 정보를 수집한다. A 가수의 신곡 여부는 수신된 컨탠츠에 포함되어 있으므로, 생략할 수 있다.
한편, 차량의 탑승 여부와 관련하여 개시된 대화 시스템(100)은 사용자가 차량(200)에 탑승하지 않은 경우, 통신부(150)를 통해 A의 신곡 발표 여부를 사용자 단말 등으로 전송하고, 신곡 듣기에 관한 대화를 발화하는 다양한 규칙을 포함할 수도 있다. 즉, 도 12는 단순한 일 예에 불과하며, 반드시 도 12에 기재된 규칙에 한정되는 것은 아니다.
다시 도 12를 참조하면, 규칙 결정부(113)는 수집된 정보를 기초로 각 규칙의 조건이 만족하는지 여부를 판단한다.
일 예로, 규칙 1의 조건은 주행 시작 후 5분이 경과하고, 현재 사용자가 음악을 미 청취하는 상황이고, 저장된 음악이 존재하는 것을 포함한다. 규칙 1은 조건이 만족하면, 규칙의 결과로 저장된 음악의 재생을 추천할 수 있다.
규칙 2의 조건은 A 가수의 신곡이 발표되고, 청취가 가능한 상황(음원이 존재)을 포함한다. 규칙 2는 조건이 만족하면, 차량 이용 기준 1일 이내 사용자에게 음악 청취를 추천할 수 있다.
규칙 결정부(113)는 수집되는 상황 정보 및 컨탠츠에 포함된 정보에 기초하여 규칙 2의 조건이 만족하는 것을 확인하고, 규칙 2를 현재 컨탠츠에 대응되는 규칙으로 결정한다.
도 13을 참조하면, 결정된 규칙 2 및 수집된 데이터에 기초하여 발화되는 대화에 필요한 인자를 삽입하여 결정 규칙을 생성한다.
일 예로, 규칙 2는 20180101Rule_13의 이름을 가진 결정 규칙으로 생성될 있으며, 결정 규칙에는 이벤트의 종류(이벤트 추천), 규칙 결과(차량 이용 기준 1일 이내 사용자에게 A의 신곡을 추천) 및 발화에 필요한 인자를 포함할 수 있다.
한편, 반드시 결정 규칙 내에 포함되는 내용이 도 13에 제한되는 것은 아니며, 발화 필요 시간 및 기준 인지 부하값 등 후술하는 트리걸링에 필요한 다양한 요소가 포함된다.
규칙 생성부(114)는 생성된 결정 규칙을 규칙 결과 DB(144)에 저장한다(114a).
규칙 결과 저장DB(144)에는 규칙 생성기(114)가 생성한 결정 규칙이 순서대로 쌓여있다. 일 예로, 규칙 결과 저장 DB(144)는 이전에 생성된 결정 규칙이 저장되어 있으며. 최신 뉴스 정보 제공, 공조 장치 조절 등이 포함될 수 있다.
각 결정 규칙들은 생성 당시 포함되는 이벤트, 결정된 규칙 결과, 발화에 필요한 인자를 포함한다. 또한, 결정 규칙은 규칙 결과에 따라 대화가 생성될 때 예상되는 소요 시간(발화 필요 시간) 및 트리걸링에 필요한 최소한의 인지 부하값을 인자로 포함하면, 이는 규칙이 생성될 당시 미리 마련될 수 있다.
일 실시예에 따라 생성된 음악 추천에 관한 결정 규칙은 규칙 결과 저장 DB(144)에 13번째로 삽입될 수 있으며, 규칙 생성기(114)는 예상되는 발화 필요 시간 및 기준 인지 부하값을 도 13과 같이 함께 삽입할 수 있다.
한편, 규칙 판단기(110)가 결정 규칙을 생성하고, 규칙 결정 저장 DB(144)에 생성된 결정 규칙을 저장하는 것은 상황 판단기(120)의 동작과 개별적으로 구현될 수 있다. 즉, 수집되는 컨탠츠로부터 결정 규칙을 생성하는 동작과 상황 판단기(120)가 적절한 시점에 대화를 발화하는 것은 반드시 일련의 과정으로 처리되는 것이 아닐 수 있다.
도 14를 참조하면, 부하 예측부(122a)는 수집되는 컨탠츠와 무관하게 다시 운전자의 상황 정보, 차량 상황 정보 및 외부 상황 정보를 수집하여 인지 부하값을 산출한다.
일 실시예에 따른 부하 예측부(122a)는 상황 정보로부터 현재 사용자의 인지 부하값이 3이고, 산출되는 인지 부하값이 유지되는 유지 시간이 20초라고 판단할 수 있다.
발화 시점 판단부(122b)는 산출된 인지 부하에 기초하여 규칙 결과 저장 DB(144)에 포함된 우선 순위를 결정한다.
구체적으로 발화 시점 판단부(122b)는 결정 규칙에 포함된 기준 인지 부하값을 사용자의 인지 부하값과 비교하여, 기준을 넘는 결정 규칙만을 대상으로 우선 순위를 결정한다.
일 예로, 현재 인지 부하값이 3이고, 규칙 결과 저장DB(144)에 저장된 결정 규칙 1 및 2는 기준 인지 부하값이 3을 미만이 아니므로, 우선 순위 선정에서 제외된다.
발화 시점 판단부(122b)는 음악 추천에 관한 결정 규칙의 발화 시간 10초가 예상되는 유지 시간인 20초 이내이므로, 음악 추천의 결정 규칙을 1순위로 선정한다.
한편, 도 14의 예시와 달리, 규칙 결과 저장DB(144)에 저장된 복수의 결정 규칙이 현재 인지 부하값을 만족할 수 있다. 이 경우, 트리거(122)는 결정 규칙을 미리 정해진 기준에 기초하여 우선 순위를 선정할 수 있다. 예를 들어 대화 시스템(100)이 차량(200)에 마련되는 경우, 사고 정보 또는 안내 경로 변경과 같이 안전 주행에 필요한 결정 규칙은 다른 결정 규칙에 비해 우선 순위를 높게 설정할 수 있다. 이와 관련된 설명은 도 19에서 후술한다.
한편, 트리거(122)가 우선 순위에 따라 발화시킬 결정 규칙을 결정하면, 발화를 개시하는 트리거 신호를 결과 처리기(130)로 전달한다.
도 15를 참조하면, 결과 처리기(130)는 트리거 신호를 수신하고, 규칙 결정 저장DB(144)에서 가장 높은 우선순위로 선정된 결정 규칙을 이용하여 발화할 텍스트를 생성할 수 있다.
일 실시예에 따라, 대화 생성부(132)는 우선 순위 1로 선정된 음악 추천에 관한 결정 규칙 및 이벤트와 관련된 텍스트를 대화 템플릿(146)에서 선택한다. "좋아하는 가수 _의 신곡이 발표되었습니다. 들려드릴까요?"를 선택한 경우, 대화 생성부(132)는 결정 규칙 내 포함된 가수 A의 인자를 추출하여 대화에 삽입하여 문장을 완성할 수 있다.
대화 생성부(132)는 완성된 문장을 결과 처리 관리부(131)로 전달하고, 결과 처리 관리부(131)는 출력부(135)를 제어하여 스피커(232)를 통해 문장을 발화하고, 디스플레이(231)를 통해 문장을 표시할 수 있다.
일 실시예에 따라 결과 처리 관리부(131)는 결과 규칙 내 음원이 포함된 것을 확인하고, 서비스 생성부(133)를 제어하여 음원을 재생하도록 준비할 수 있다. 만약 피드백 관리부(134)가 사용자의 대답, 예를 들어 "오 그래? 들려줘."를 수신하면, 결과 처리 관리부(131)는 서비스 생성부(133)를 통해 가수 A의 신곡을 재생할 수 있다.
도 16 내지 도 20은 개시된 대화 시스템이 도 4의 실시예를 발화하는 과정을 설명하기 위한 도면이다. 도 11 내지 도 15에서 설명한 사항과 중복되는 것은 생략한다.
도 16을 참조하면, 모니터링부(112)는 전방 10Km 사고가 발생한 컨탠츠 또는 상황 정보를 수집할 수 있다. 수집된 정보에는 사고 범위, 사고 위치, 사고 규모를 포함하는 사고 정보와 함께 사고에 따라 우회할 수 있는 다른 경로에 관한 정보를 포함할 수 있다.
이벤트 결정부(112a)는 수집된 정보에 기초하여 사고 정보 제공을 이벤트로 결정할 수 있다.
규칙 존재 판단부(112b)는 규칙 저장DB(141)를 검색하여 결정된 사고 정보 제공과 관련된 이벤트에서 관련 규칙 1, 규칙 2 및 규칙 3이 존재하는지를 판단할 수 있다.
규칙 판단 관리부(111)는 규칙이 존재하는 것으로 판단되는 이벤트를 규칙 결정부(113)로 전달한다.
도 17을 참조하면, 규칙 결정부(113)는 규칙 1 내지 규칙 3의 조건을 판단하기 위해서 필요한 상황 정보를 수집할 수 있다. 개시된 실시예에서 규칙 결정부(113)는 단기 메모리(142) 및 장기 메모리(143)로부터 현재 사용자가 운전자이며, 차량(200)의 현재 GPS위치 및 새로운 경로에 관한 다양한 상황 정보를 수집한다.
규칙 결정부(113)는 수집된 상황 정보 및 컨탠츠에 필요한 정보를 기초로 규칙 1 내지 규칙 3의 조건이 만족하는지 여부를 판단할 수 있다.
일 예로, 규칙 1은 단순 사고 내용만을 전달하는 규칙 결과를 가지고 있고, 조건으로는 사고 내용이 단순하고, 새로운 경로가 없는 경우를 조건으로 가질 수 있다. 규칙 2는 사고 지점에 대한 정보를 포함하고, 새로운 경로가 있는 경우를 조건으로 가질 수 있으며, 이 경우 사고 내용 및 새로운 경로 유도하는 규칙 결과를 포함할 수 있다. 규칙 3은 사고 내용의 구체적인 전달을 결과로 가지고, 정보에 사고 지점, 사고 규모 및 사고 시각 여러 카테고리를 포함하는 구체적인 내용을 포함하고 새로운 경로가 없는 경우를 조건으로 포함할 수 있다.
규칙 결정부(113)는 수집된 컨탠츠에 새로운 경로가 포함되어 있으므로, 규칙 2의 조건을 만족하는 것으로 판단하고, 규칙 2를 결정 규칙으로 결정할 수 있다.
규칙 생성부(114)는 20180101Rule_14라는 이름으로 결정 규칙을 생성한다. 결정 규칙 내에는 수집된 정보로부터 추출되는 인자, 예를 들어 사고 지점, GPS 정보 등을 포함할 수 있다. 또한, 규칙 생성부(114)는 결정된 이벤트 및 규칙 2가 가지는 발화 필요 시간 및 기준 인지 부하값을 포함시켜 결정 규칙을 생성한다.
규칙 생성부(114)는 규칙 결정 저장DB(144)에 생성된 사고 정보 제공의 결정 규칙을 저장한다. 이하에서는 도 13에서 삽입된 음악 추천에 관한 결정 규칙 다음에 저장되는 것을 예로 설명한다.
도 19를 참조하면, 부하 예측부(122a)는 수집되는 상황 정보에 기초하여 현재 사용자의 인지 부하값이 3이고, 유지 시간이 20초를 산출할 수 있다.
발화 시점 판단부(122b)는 결정 규칙에서 음악 추천에 관한 결정 규칙 및 사고 정보 제공에 관한 결정 규칙이 사용자의 인지 부하값 및 유지 시간내에 포함되는 것으로 판단할 수 있다.
일 예로, 발화 시점 판단부(122b)는 기준 인지 부하값이 작은 사고정보 제공에 관한 결정 규칙을 1순위로 선정할 수 있다. 전술한 바와 같이 인지 부하는 사용자가 대화 시스템(100)이 발화하는 내용을 집중할 수 있는 정도를 의미한다. 따라서 인지 부하는 사용자에게 전달될 필요가 있는 순위로 달리 해석될 수 있고, 사고정보 제공은 운전자의 안전과 관련이 있는 것으로 기준 인지 부하값이 음악 추천의 보다 낮은 사고정보 제공과 관련된 결정 규칙을 높은 순위로 선정할 수 있다.
한편, 우선 순위는 부하 예측부(122a)가 산출하는 사용자의 인지 부하에 따라 변동될 수 있으며, 1순위로 선정된 결정 규칙이 발화된 후 2순위로 선정된 결정 규칙이 다음 번에 반드시 발화되지 않을 수 있다.
트리거(122)는 1 순위로 선정된 사고정보 제공에 관한 결정 규칙을 발화하는 트리걸링 신호를 생성하여 결과 처리기(130)에 전달한다.
도 20을 참조하면, 대화 생성부(132)는 이벤트 및 결정 규칙에 기초하여 대화 템플릿(146)에서 "전방 _ 앞에 _ 사고가 발생하였습니다. 다른 경로로 안내할까요?"라는 텍스트를 추출한다.
대화 생성부(132)는 결정 규칙에 포함된 인자, 예를 들어 사고 지점과 현재 GPS 정보를 기초로 사고 지점까지의 거리를 산출한다. 또한, 대화 생성부(132)는 인자로부터 사고 내용(버스 추돌 사고)를 추출하고, 전술한 텍스트에 인자를 삽입하여 발화할 텍스트를 완성한다.
결과 처리 관리부(131)는 출력부(135)를 제어하여 완성된 텍스트를 스피커(232) 또는 디스플레이(231)를 통해 출력한다.
한편, 도 4의 실시예에서 피드백 관리부(134)는 "만약 내 차 앞에 버스가 주행하고 있으면, '내기'로 바꿔줘"라는 사용자의 응답을 수신할 수 있다.
피드백 관리부(134)는 사용자의 발화문을 자연어 이해(Natural Language Understanding) 기술을 적용하여 사용자의 의도를 파악한다. 일 예로, 피드백 관리부(134)는 사용자의 응답을 규칙 생성으로 파악하고, 도 21에서 후술하는 규칙 생성 과정을 추가적으로 수행할 수 있다.
도 21은 일 실시예에 따라 대화 시스템이 규칙을 생성하는 방법에 관한 순서도이다.
도 21을 참조하면, 대화 시스템(100)은 피드백된 사용자의 발화에서 규칙 조건 및 규칙 결과를 추출한다(500).
일 예로, 사용자의 발화에서 "만약 내 차 앞에 버스가 주행하고 있으면"을 추출하면, 전방에 버스가 주행하고 있는 경우가 조건에 해당할 수 있다.
또한, 대화 시스템(100)은 "내기로 바꿔줘"의 발화에서 '내기'의 의미를 해석하여 차량(200)에 포함된 공조 장치의 제어를 의미하는 것으로 판단할 수 있다. 이 경우, 대화 시스템(100)은 공조 장치의 조절을 규칙 결과로 추출할 수 있다.
대화 시스템(100)은 규칙 조건이 추출되면, 추출된 조건을 규칙 저장DB(141)에 저장된 기존 규칙의 조건과 비교한다(510).
만약 추출된 규칙의 조건이 기존 규칙의 조건과 일치하지 않은 신규한 규칙이면, 대화 시스템(100)은 추출된 규칙의 결과가 대화 시스템(100)이 추구하는 정책에 위배되는지 여부를 판단한다(530).
여기서 대화 시스템(100)이 추구하는 정책은 대화 시스템(100)이 적용되는 환경 등에 의해서 미리 설정된 것으로 오직 조건 및 결과만을 포함하는 사항을 배제하는 기준을 의미한다.
정책에 위배되지 않는 경우, 대화 시스템(100)은 추출된 규칙을 신규 규칙으로 규칙 저장 DB(141)에 저장한다(540).
한편, 추출된 규칙의 조건이 기존 규칙의 조건과 일치하는 경우, 대화 시스템(100)은 추출된 규칙이 개인 맞춤형 규칙인지 여부를 판단한다(550).
여기서 개인 맞춤형 규칙이란, 대화 시스템(100)의 주된 사용자가 자신의 취향에 따라 수행하기 원하는 규칙으로, 통용적으로 대화를 발화하는 규칙을 의미한다.
일 예로, 규칙이 "에이컨을 온 시킬 때, 희망 온도를 24도로 설정하라"를 추출되면, 규칙은 개인의 취향 또는 상태를 반영한 개인 맞춤형 규칙에 해당한다.
대화 시스템(100)은 추출된 규칙이 기존 규칙보다 개인 맞춤형 규칙에 해당하면, 이를 우선으로 선정한다(560). 즉 기존 규칙은 추출된 규칙으로 변경된다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
100: 대화 시스템 110: 규칙 판단기
120: 상황 판단기 130: 결과 처리기
200: 차량 210: 음성 입력 장치
220: 음성 외 입력 장치 230: 대화자 출력 장치

Claims (30)

  1. 외부에서 전달하는 정보 및 상황 정보를 수신하는 통신부;
    규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하는 저장부;
    상기 규칙의 조건과 상기 정보를 비교하여 복수의 결정 규칙을 생성하는 규칙 판단기;
    상기 생성된 복수의 결정 규칙과 상기 상황 정보에 기초하여 발화를 결정하는 상황 판단기; 및
    상기 복수의 결정 규칙 중 하나 및 상기 대화 템플릿에 기초하여 상기 발화의 대상인 텍스트를 생성하고, 상기 생성된 텍스트에 기초하여 상기 발화를 출력하는 결과 처리기;를 포함하고,
    상기 상황 판단기는,
    상기 상황 정보에 기초하여 사용자가 발화를 인지할 수 있는 정도를 나타내는 현재 인지 부하값 및 상기 현재 인지 부하값이 유지되는 유지 기간을 산출하고,
    상기 산출된 현재 인지 부하값과 상기 복수의 결정 규칙에 각각 포함된 기준 인지 부하값의 비교 결과에 기초하여, 상기 복수의 결정 규칙 중 하나를 선택하고,
    상기 복수의 결정 규칙 중 선택된 결정 규칙에 포함된 발화 필요 시간과 상기 산출된 유지 기간의 비교 결과에 기초하여, 상기 선택된 결정 규칙에 대응되는 상기 발화의 출력 시점을 결정하는 대화 시스템.
  2. 제 1항에 있어서,
    상기 규칙 판단기는,
    상기 복수의 결정 규칙에 상기 정보를 삽입하여 상기 저장부에 저장하는 대화 시스템.
  3. 삭제
  4. 제 1항에 있어서,
    상기 상황 판단기는,
    상기 산출된 현재 인지 부하값과 상기 복수의 결정 규칙에 각각 포함된 기준 인지 부하값을 비교하여 상기 복수의 결정 규칙의 우선 순위를 선정하는 대화 시스템.
  5. 제 1항에 있어서,
    상기 상황 판단기는,
    상기 복수의 결정 규칙에 각각 포함된 발화 필요 시간 및 상기 유지 기간을 비교하여 상기 복수의 결정 규칙의 우선 순위를 선정하는 대화 시스템.
  6. 제 1항에 있어서,
    상기 규칙 판단기는,
    상기 규칙에 포함된 조건이 상기 정보와 대응되면, 상기 규칙을 상기 결정 규칙으로 결정하는 대화 시스템.
  7. 제 1항에 있어서,
    상기 규칙 판단기는,
    상기 정보에 기초하여 상기 저장부에 저장된 이벤트 중 하나를 선택하는 대화 시스템.
  8. 제 7항에 있어서,
    상기 규칙 판단기는,
    상기 이벤트와 연관된 복수 개의 규칙이 존재하는지 판단하는 대화 시스템.
  9. 제 8항에 있어서,
    상기 규칙 판단기는,
    상기 이벤트와 연관된 복수 개의 규칙에서 규칙의 조건과 상기 정보가 대응되는 규칙을 상기 결정 규칙으로 결정하는 대화 시스템.
  10. 제 1항에 있어서,
    상기 결과 처리기는,
    상기 선택된 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 인자로 결정하는 대화 시스템.
  11. 제 10항에 있어서,
    상기 결과 처리기는,
    사용자의 응답에 기초하여 상기 규칙을 생성하고, 상기 저장부에 미리 저장된 상기 규칙과 비교하는 대화 시스템.
  12. 제 1항에 있어서,
    상기 상황 판단기는,
    상기 선택된 결정 규칙 및 상기 발화의 출력 시점을 상기 결과 처리기로 전달하는 대화 시스템.
  13. 외부에서 전달하는 정보 및 상황 정보를 수신하고;
    규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하고;
    상기 규칙의 조건과 상기 정보를 비교하여 복수의 결정 규칙을 생성하고;
    상기 생성된 복수의 결정 규칙과 상기 상황 정보에 기초하여 발화를 결정하고; 및
    상기 복수의 결정 규칙 중 하나 및 상기 대화 템플릿에 기초하여 상기 발화의 대상인 텍스트를 생성하고, 상기 생성된 텍스트에 기초하여 상기 발화를 출력하는 것;을 포함하고,
    상기 결정하는 것은,
    상기 상황 정보에 기초하여 사용자가 발화를 인지할 수 있는 정도를 나타내는 현재 인지 부하값 및 상기 현재 인지 부하값이 유지되는 유지 기간을 산출하고,
    상기 산출된 현재 인지 부하값과 상기 복수의 결정 규칙에 각각 포함된 기준 인지 부하값의 비교 결과에 기초하여, 상기 복수의 결정 규칙 중 하나를 선택하고,
    상기 복수의 결정 규칙 중 선택된 결정 규칙에 포함된 발화 필요 시간과 상기 산출된 유지 기간의 비교 결과에 기초하여, 상기 선택된 결정 규칙에 대응되는 상기 발화의 출력 시점을 결정하는 것을 포함하는 대화 처리 방법.
  14. 제 13항에 있어서,
    상기 생성하는 것은,
    상기 복수의 결정 규칙에 상기 정보를 삽입하여 저장하는 것;을 포함하는 대화 처리 방법.
  15. 삭제
  16. 제 13항에 있어서,
    상기 결정하는 것은,
    상기 산출된 현재 인지 부하값과 상기 복수의 결정 규칙에 각각 포함된 기준 인지 부하값을 비교하여 상기 복수의 결정 규칙의 우선 순위를 선정하는 것;을 포함하는 대화 처리 방법.
  17. 제 13항에 있어서,
    상기 결정하는 것은,
    상기 복수의 결정 규칙에 각각 포함된 발화 필요 시간 및 상기 유지 기간을 비교하여 상기 복수의 결정 규칙의 우선 순위를 선정하는 것;을 포함하는 대화 처리 방법.
  18. 제 13항에 있어서,
    상기 결정하는 것은,
    상기 규칙에 포함된 조건이 상기 정보와 대응되면, 상기 규칙을 상기 결정 규칙으로 결정하는 것;을 포함하는 대화 처리 방법.
  19. 제 13항에 있어서,
    상기 결정하는 것은,
    상기 정보에 기초하여 저장된 이벤트 중 하나를 선택하는 것;을 포함하는 대화 처리 방법.
  20. 제 19항에 있어서,
    상기 결정하는 것은,
    상기 이벤트와 연관된 복수 개의 규칙이 존재하는지 판단하는 것;을 포함하는 대화 처리 방법.
  21. 제 20항에 있어서,
    상기 결정하는 것은,
    상기 이벤트와 연관된 복수 개의 규칙에서 규칙의 조건과 상기 정보가 대응되는 규칙을 상기 결정 규칙으로 결정하는 것;을 포함하는 대화 처리 방법.
  22. 제 13항에 있어서,
    상기 출력하는 것은,
    상기 선택된 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 것;을 포함하는 대화 처리 방법.
  23. 제 22항에 있어서,
    상기 출력하는 것은,
    사용자의 응답에 기초하여 상기 규칙을 생성하고, 상기 생성된 규칙을 상기 저장된 규칙과 비교하는 것;을 포함하는 대화 처리 방법.
  24. 외부에서 전달하는 정보 및 차량에서 전달하는 상황 정보를 수신하는 통신부;
    규칙 및 상기 규칙과 관련된 대화 템플릿을 저장하는 저장부;
    상기 규칙의 조건과 상기 정보를 비교하여 복수의 결정 규칙을 생성하는 규칙 판단기;
    상기 생성된 복수의 결정 규칙과 상기 상황 정보에 기초하여 발화를 결정하는 상황 판단기; 및
    상기 복수의 결정 규칙 중 하나 및 상기 대화 템플릿에 기초하여 상기 발화의 대상인 텍스트를 생성하고, 상기 생성된 텍스트에 기초하여 상기 발화를 상기 차량의 제어기를 통해 출력하는 결과 처리기;를 포함하고,
    상기 상황 판단기는,
    상기 상황 정보에 기초하여 사용자가 발화를 인지할 수 있는 정도를 나타내는 현재 인지 부하값 및 상기 현재 인지 부하값이 유지되는 유지 기간을 산출하고,
    상기 산출된 현재 인지 부하값과 상기 복수의 결정 규칙에 각각 포함된 기준 인지 부하값의 비교 결과에 기초하여, 상기 복수의 결정 규칙 중 하나를 선택하고,
    상기 복수의 결정 규칙 중 선택된 결정 규칙에 포함된 발화 필요 시간과 상기 산출된 유지 기간의 비교 결과에 기초하여, 상기 선택된 결정 규칙에 대응되는 상기 발화의 출력 시점을 결정하는 차량.

  25. 삭제
  26. 삭제
  27. 삭제
  28. 제 24항에 있어서,
    상기 결과 처리기는,
    상기 차량 제어기를 제어하여 상기 선택된 결정 규칙과 관련된 서비스를 제공하는 차량.
  29. 제 24항에 있어서,
    상기 규칙 판단기는,
    상기 차량 제어기로부터 사용자의 운전 상황 정보를 수집하고, 상기 규칙의 조건과 상기 운전 상황 정보를 비교하여 상기 복수의 결정 규칙을 생성하는 차량.
  30. 제 24항에 있어서,
    상기 결과 처리기는,
    상기 선택된 결정 규칙에 포함되는 정보를 상기 텍스트에 삽입하는 인자로 결정하는 차량.
KR1020180031463A 2018-03-19 2018-03-19 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법 KR102445365B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180031463A KR102445365B1 (ko) 2018-03-19 2018-03-19 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US16/131,330 US11189274B2 (en) 2018-03-19 2018-09-14 Dialog processing system, vehicle having the same, dialog processing method
CN201811158302.6A CN110286745A (zh) 2018-03-19 2018-09-30 对话处理***、具有对话处理***的车辆及对话处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180031463A KR102445365B1 (ko) 2018-03-19 2018-03-19 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Publications (2)

Publication Number Publication Date
KR20190109864A KR20190109864A (ko) 2019-09-27
KR102445365B1 true KR102445365B1 (ko) 2022-09-20

Family

ID=67905988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180031463A KR102445365B1 (ko) 2018-03-19 2018-03-19 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Country Status (3)

Country Link
US (1) US11189274B2 (ko)
KR (1) KR102445365B1 (ko)
CN (1) CN110286745A (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227117B2 (en) * 2018-08-03 2022-01-18 International Business Machines Corporation Conversation boundary determination
US10861183B2 (en) * 2019-01-31 2020-12-08 StradVision, Inc. Method and device for short-term path planning of autonomous driving through information fusion by using V2X communication and image processing
KR20210034276A (ko) 2019-09-20 2021-03-30 현대자동차주식회사 대화 시스템, 대화 처리 방법 및 전자 장치
KR20210130465A (ko) 2020-04-22 2021-11-01 현대자동차주식회사 대화 시스템 및 그 제어 방법
CN113626349A (zh) * 2020-05-09 2021-11-09 阿里巴巴集团控股有限公司 设备控制方法、装置和***以及设备控制器
EP4033487A1 (en) * 2021-01-21 2022-07-27 Société BIC Method and system for measuring the cognitive load of a user
CN116866991A (zh) * 2023-09-01 2023-10-10 北京钱安德胜科技有限公司 一种车路协同智能驾驶的数据帧处理***及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116982A1 (en) * 2015-10-21 2017-04-27 Google Inc. Parameter collection and automatic dialog generation in dialog systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
AU2012316484A1 (en) 2011-09-30 2014-04-17 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US9607330B2 (en) 2012-06-21 2017-03-28 Cinsay, Inc. Peer-assisted shopping
US8577671B1 (en) 2012-07-20 2013-11-05 Veveo, Inc. Method of and system for using conversation state information in a conversational interaction system
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
EP2973002B1 (en) 2013-03-15 2019-06-26 Apple Inc. User training by intelligent digital assistant
US9792015B2 (en) * 2013-09-19 2017-10-17 Microsoft Technology Licensing, Llc Providing visualizations for conversations
EP2949536B1 (en) 2014-05-30 2016-10-05 Honda Research Institute Europe GmbH Method for controlling a driver assistance system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170116982A1 (en) * 2015-10-21 2017-04-27 Google Inc. Parameter collection and automatic dialog generation in dialog systems

Also Published As

Publication number Publication date
US20190287520A1 (en) 2019-09-19
US11189274B2 (en) 2021-11-30
KR20190109864A (ko) 2019-09-27
CN110286745A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
KR102445365B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
KR102562227B1 (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
KR102426171B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
KR102338990B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US9809185B2 (en) Method and apparatus for subjective command control of vehicle systems
EP3955247A1 (en) Modifying operations based on acoustic ambience classification
CN108682419A (zh) 语音控制方法及设备、计算机可读存储介质及设备
US10198696B2 (en) Apparatus and methods for converting user input accurately to a particular system function
US20160049149A1 (en) Method and device for proactive dialogue guidance
JP6846617B2 (ja) 情報提供方法、サーバ、情報端末装置、システム及び音声対話システム
JP2017067851A (ja) 対話装置及び対話方法
KR20200000155A (ko) 대화 시스템 및 이를 이용한 차량
KR102403355B1 (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
KR20200042127A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US10573308B2 (en) Apparatus and method for determining operation based on context, vehicle for determining operation based on context, and method of controlling the vehicle
KR20220094400A (ko) 대화 시스템, 그를 가지는 차량 및 대화 시스템의 제어 방법
KR20220073513A (ko) 대화 시스템, 차량 및 대화 시스템의 제어 방법
US20230317072A1 (en) Method of processing dialogue, user terminal, and dialogue system
KR20190037470A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법
US20230206916A1 (en) Service management system and service management method for a vehicle
KR102371513B1 (ko) 대화 시스템 및 대화 처리 방법
KR102448719B1 (ko) 대화 시스템과 이를 포함하는 차량 및 모바일 기기와 대화 처리 방법
KR20220059629A (ko) 차량 및 그의 제어방법
US20230318727A1 (en) Vehicle and method of controlling the same
KR20230135396A (ko) 대화 관리 방법, 사용자 단말 및 컴퓨터로 판독 가능한 기록 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant