KR20220042103A - Method and Apparatus for Providing Hybrid Intelligent Customer Consultation - Google Patents
Method and Apparatus for Providing Hybrid Intelligent Customer Consultation Download PDFInfo
- Publication number
- KR20220042103A KR20220042103A KR1020220037796A KR20220037796A KR20220042103A KR 20220042103 A KR20220042103 A KR 20220042103A KR 1020220037796 A KR1020220037796 A KR 1020220037796A KR 20220037796 A KR20220037796 A KR 20220037796A KR 20220042103 A KR20220042103 A KR 20220042103A
- Authority
- KR
- South Korea
- Prior art keywords
- response
- customer
- model
- hybrid
- counseling
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Operations Research (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
본 발명은 효율적인 주문서 작성 및 응답 예측을 위한 하이브리드 지능형 고객 상담장치 및 방법에 관한 것이다.The present invention relates to a hybrid intelligent customer consultation apparatus and method for efficient order creation and response prediction.
이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다. The content described below merely provides background information related to the present invention and does not constitute the prior art.
일반적인 고객 상담 시스템에서는 고객이 전화나 메신저로 상담 서비스에 접속하면, 상담사와의 직접 대화 또는 상담사에 의한 정보 검색 등에 기반하여 상담의 전체 과정이 진행될 수 있다. 도 10은 기존의 일반적인 상담 시스템에 대한 구성도이다. 여기서 IVR(Interactive Voice Response) 시스템은 음성 대화에 의존하는 상담 시스템이고, 메시징 시스템(messaging system)은 메신저 서비스(messenger service)에 의존하는 상담 시스템이다. 고객 서비스 시스템은 상담 과정에서 정보 검색을 위해 상담사가 이용 가능한 정보를 포함할 수 있다. In a general customer counseling system, when a customer accesses a counseling service by phone or messenger, the entire counseling process may be performed based on direct conversation with a counselor or information retrieval by the counselor. 10 is a block diagram of an existing general counseling system. Here, the Interactive Voice Response (IVR) system is a counseling system that depends on voice conversation, and the messaging system is a counseling system that depends on a messenger service. The customer service system may include information available to the counselor for information retrieval in the counseling process.
일반적인 상담 시스템은 상담사의 높은 숙련도를 요구하므로 방대한 양의 서비스를 고품질로 처리하기에 어려움이 존재한다. 즉 상담사 별로 숙련도가 상이하므로 일관되지 못한 서비스가 제공되거나, 잘못된 상담이 진행되는 문제도 발생할 수 있다. A general counseling system requires a high skill level of a counselor, so there is a difficulty in processing a vast amount of services with high quality. That is, since each counselor has different skill levels, inconsistent services may be provided or problems with incorrect counseling may occur.
한편, 최근 AI(Artificial Intelligence) 기술이 발전에 따라 대화 이해(dialogue understanding) 기술을 도입한 상담 시스템이 개발되어 사용되고 있다. 도 11은 대화시스템에 기반하는 기존의 지능형 상담 시스템의 구성도이다. 지능형 상담 시스템은 일반적인 상담 시스템과 연계되는 AI 기술에 기반하는 대화 이해 시스템을 포함한다. On the other hand, as AI (Artificial Intelligence) technology develops recently, a consultation system incorporating dialogue understanding technology has been developed and used. 11 is a block diagram of an existing intelligent counseling system based on a dialog system. The intelligent counseling system includes a conversation understanding system based on AI technology that is linked with a general counseling system.
통상적인 대화 이해 시스템은 언어이해 모듈, 태스크예측 및 실행 모듈, 응답생성 모듈 및 고객 서비스 지원 모델(assistance model) 등을 포함한다. 언어 이해 모듈은 고객의 의도를 추론하고, 태스크 예측 및 실행 모듈은 의도에 부합하는 정보를 검색하여 서비스 항목을 추천하며, 응답 생성 모듈은 의도에 대한 응답을 생성한다. 고객 서비스지원 모델은 각 모듈의 동작을 지원하는 것이 가능한 딥러닝 기반 모델(deep learning based models)을 포함할 수 있다. A typical dialogue understanding system includes a language understanding module, a task prediction and execution module, a response generation module, and a customer service assistance model. The language understanding module infers the intention of the customer, the task prediction and execution module retrieves information that matches the intention and recommends a service item, and the response generation module generates a response to the intention. The customer service support model may include deep learning based models capable of supporting the operation of each module.
AI 대화 시스템에서 종종 발생하는 언어 이해 오류 또는 응답 생성 오류에 따라, 지능형 상담 시스템은 상담 업무에 실패하는 경우가 빈번하다. 또한 지능형 상담 시스템은 오류 상황 정정 또는 복구하지 못하는 경우도 빈번하므로, 고객에게 큰 불편함을 유발할 수 있다.Due to language understanding errors or response generation errors that often occur in AI conversation systems, intelligent counseling systems often fail in their consulting work. In addition, since the intelligent counseling system often fails to correct or recover an error situation, it may cause great inconvenience to customers.
따라서, 상담사에 대한 높은 숙련도 요구를 완화하면서도, AI 대화 시스템이 보이는 빈번한 오류 상황의 극복이 가능한 하이브리드 지능형 상담 시스템을 필요로 한다. Therefore, there is a need for a hybrid intelligent counseling system that can overcome the frequent error situations shown by the AI conversation system while alleviating the high proficiency requirements for counselors.
본 개시는, 상담사가 상담을 진행할 때, 대화 진행 과정을 분석하여 고객의 의도(intent)에 대한 예측을 기반으로 상담 업무의 일부를 자동화한다. 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드(hybrid) 고객 상담장치 및 방법을 제공하는 데 주된 목적이 있다.According to the present disclosure, when a counselor conducts a consultation, a part of the consultation task is automated based on the prediction of the customer's intent by analyzing the conversation progress. Its main purpose is to provide a hybrid customer consultation device and method that enables automatic creation and modification of order form and response sentences based on the analysis of the conversation progress.
본 발명의 실시예에 따르면, 고객과의 대화(dialogues)로부터 키워드(keywords)를 추출하는 언어이해부; 상기 키워드를 기반으로 상기 대화의 문맥(context)을 분석하여, 상기 고객과의 상담 진행에 필요한 태스크(tasks)를 예측 및 실행하는 태스크예측 및 실행부; 상기 태스크에 대한 실행 결과를 기반으로, 응답예측 모델(response prediction model)을 이용하여 상기 대화에 대한 적어도 하나의 후보 응답(candidate responses)을 생성하는 응답생성부; 및 상기 태스크에 대한 실행 결과를 기반으로, 주문서작성 모델(order generation model)을 이용하여 상기 고객의 의도(intent)에 부합하는 주문서를 생성하는 서비스검토 생성부를 포함하는 것을 특징으로 하는 하이브리드(hybrid) 상담장치를 제공한다. According to an embodiment of the present invention, a language understanding unit for extracting keywords from dialogues with customers; a task prediction and execution unit that analyzes the context of the conversation based on the keyword and predicts and executes tasks necessary for the consultation with the customer; a response generator configured to generate at least one candidate response to the conversation by using a response prediction model based on the execution result of the task; and a service review generation unit that generates an order form that meets the customer's intent by using an order generation model based on the execution result of the task. Counseling equipment is provided.
본 발명의 다른 실시예에 따르면, 하이브리드(hybrid) 상담장치의 하이브리드 상담방법에 있어서, 고객과의 대화로부터 키워드(keywords)를 추출하는 과정; 상기 키워드를 기반으로 상기 대화의 문맥을 분석하여, 상기 고객과의 상담 진행에 필요한 태스크(task)를 예측하고 실행하는 과정; 상기 태스크에 대한 실행 결과를 기반으로, 사전에 트레이닝된 딥러닝(deep-learning) 기반 응답예측 모델(response prediction model)을 이용하여 상기 대화에 대한 적어도 하나의 후보 응답(candidate responses)을 생성하는 과정; 및 상기 태스크에 대한 실행 결과를 기반으로, 사전에 트레이닝된 딥러닝 기반 주문서작성 모델(order generation model)을 이용하여 상기 고객의 의도(intent)에 부합하는 주문서를 생성하는 과정을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 하이브리드 상담방법을 제공한다. According to another embodiment of the present invention, in a hybrid counseling method of a hybrid counseling device, the process of extracting keywords from a conversation with a customer; analyzing the context of the conversation based on the keyword, predicting and executing a task required to proceed with the consultation with the customer; A process of generating at least one candidate response to the conversation by using a pre-trained deep-learning-based response prediction model based on the execution result of the task ; And based on the execution result of the task, using a deep learning-based order generation model trained in advance to include the process of generating an order book that meets the customer's intent (intent) characterized in that it comprises to provide a hybrid counseling method implemented on a computer.
본 발명의 다른 실시예에 따르면, 하이브리드 상담방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는, 기록매체에 저장된 컴퓨터프로그램을 제공한다. According to another embodiment of the present invention, there is provided a computer program stored in a computer readable recording medium in order to execute each step included in the hybrid counseling method.
이상에서 설명한 바와 같이 본 실시예에 따르면, 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드 지능형 고객 상담장치 및 방법을 제공함으로써, 상담 업무의 효율성 증대가 가능해지는 효과가 있다.As described above, according to the present embodiment, it is possible to increase the efficiency of consulting work by providing a hybrid intelligent customer counseling device and method capable of automatically creating and modifying order form and response sentences based on the analysis of the conversation progress. It has a destructive effect.
또한 본 실시예에 따르면, 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드 지능형 고객 상담장치 및 방법을 제공함으로써, 방대한 상담 업무의 신속 정확한 처리에 따른 고객 만족도 증대가 가능해지는 효과가 있다. In addition, according to this embodiment, by providing a hybrid intelligent customer counseling device and method capable of automatically generating and modifying order form and response sentences based on analysis of the conversation progress, customer satisfaction according to prompt and accurate processing of extensive counseling tasks It has the effect of making it possible to increase.
도 1은 본 발명의 일 실시예에 따른 하이브리드 지능형 고객 상담 시스템에 대한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 주문서 검토 화면에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 주문서작성 모델에 대한 구성도이다.
도 4는 본 발명의 일 실시예에 따른 응답 수정 과정에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 AR 언어 모델링 방법에 대한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 응답예측 모델에 대한 구성도이다.
도 7은 본 발명의 다른 실시예에 따른 DB 검색 기반 응답 수정에 대한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 상담 지원방법 중 응답 생성에 대한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 상담 지원방법 중 주문서 생성에 대한 순서도이다.
도 10은 기존의 일반적인 상담 시스템에 대한 구성도이다.
도 11은 대화시스템에 기반하는 기존의 지능형 상담 시스템의 구성도이다. 1 is a configuration diagram of a hybrid intelligent customer consultation system according to an embodiment of the present invention.
2 is an exemplary diagram of an order form review screen according to an embodiment of the present invention.
3 is a block diagram of an order book creation model according to an embodiment of the present invention.
4 is an exemplary diagram of a response modification process according to an embodiment of the present invention.
5 is an exemplary diagram of an AR language modeling method according to an embodiment of the present invention.
6 is a block diagram of a response prediction model according to an embodiment of the present invention.
7 is an exemplary diagram of DB search-based response modification according to another embodiment of the present invention.
8 is a flowchart for generating a response in a counseling support method according to an embodiment of the present invention.
9 is a flowchart for generating an order form in a counseling support method according to an embodiment of the present invention.
10 is a block diagram of an existing general counseling system.
11 is a block diagram of an existing intelligent counseling system based on a dialog system.
이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in the description of the present embodiments, if it is determined that a detailed description of a related well-known configuration or function may obscure the gist of the present embodiments, the detailed description thereof will be omitted.
또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Also, in describing the components of the present embodiments, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. Throughout the specification, when a part 'includes' or 'includes' a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. . In addition, the '... Terms such as 'unit' and 'module' mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software.
첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.DETAILED DESCRIPTION The detailed description set forth below in conjunction with the appended drawings is intended to describe exemplary embodiments of the present invention and is not intended to represent the only embodiments in which the present invention may be practiced.
본 실시예는 효율적인 주문서 작성 및 응답 예측을 위한 하이브리드(hybrid) 고객 상담장치 및 방법에 대한 내용을 개시한다. 보다 자세하게는, 상담사가 상담을 진행할 때, 대화 진행 과정을 분석하여 고객의 의도(intent)에 대한 예측을 기반으로 상담 업무의 일부를 자동화한다. 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드 고객 상담장치 및 방법을 제공한다.The present embodiment discloses the contents of a hybrid customer consultation apparatus and method for efficient order form creation and response prediction. More specifically, when a counselor conducts a consultation, a part of the consultation task is automated based on the prediction of the customer's intent by analyzing the conversation progress. Based on the analysis of the conversation progress, we provide a hybrid customer consultation device and method that enables automatic creation and modification of order form and response sentences.
도 1은 본 발명의 일 실시예에 따른 하이브리드 고객 상담 시스템에 대한 구성도이다. 1 is a configuration diagram of a hybrid customer consultation system according to an embodiment of the present invention.
본 발명의 실시예에 있어서, 하이브리드 고객 상담 시스템(100)은 상담사와 고객 간의 대화 진행 과정을 분석하여 고객의 의도를 예측하여 주문서 작성 및 응답 예측을 수행한다. 하이브리드 고객 상담 시스템(100, 이하 하이브리드 상담 시스템)은 접속 시스템(110), 고객 서비스 시스템(120), 상담 지원장치(130)의 전부 또는 일부를 포함한다.In an embodiment of the present invention, the hybrid
접속 시스템(110)은 고객과 고객 서비스 시스템(120) 간을 연계한다. 접속 시스템으로는 IVR(Interactive Voice Response) 시스템 또는 메시징 시스템(messaging system)을 이용할 수 있다. IVR 시스템은 전화를 이용하는 음성 대화에 기반하고, 메시징 시스템은 메신저 서비스(messenger service)를 이용하는 문자 대화에 기반한다. The
고객과의 커뮤니케이션 측면에서 두 접속 시스템은 큰 차이가 없다. 다만 인력 운용 측면에서 메시징 시스템의 특징은 IVR 시스템과 달리 한 명의 상담사가 동시에 다수의 고객을 상대하는 것이 가능하다는 점이다. There is no significant difference between the two access systems in terms of communication with customers. However, in terms of manpower management, the characteristic of the messaging system is that, unlike the IVR system, it is possible for one counselor to deal with multiple customers at the same time.
한편, IVR 시스템이 이용되는 경우, 하이브리드 상담 시스템(100) 내에 음성 대화를 인식하여 텍스트로 또는 그 역으로 변환하는 모듈이 추가되면, 텍스트 변환 이후의 과정을 메시징 시스템과 동일하게 운용하는 것이 가능해질 수 있다. On the other hand, when the IVR system is used, if a module for recognizing voice conversations and converting them into text or vice versa is added in the
따라서, 이하 본 실시예에 대한 설명에서 대화는 문자 대화를 의미하는 것으로 가정한다. Therefore, in the description of the present embodiment, it is assumed that the conversation means a text conversation.
고객 서비스 시스템(120)은 고객에 대한 정보 및 고객이 원하는 제품 또는 서비스에 대한 정보를 보유하고, 고객 서비스의 대상이 되는 데이터 검색을 위해 내부에 DB(Database)를 포함하거나 외부의 DB와 연계될 수 있다. The
상담 지원장치(130)의 지원을 받는 채로, 고객 서비스 시스템(120)을 이용하여 상담사는 응답 및 주문서 작성 등과 같은 고객에 대한 서비스를 실행할 수 있다. 상담사는 고객 서비스 시스템(120)이 탑재되는 디바이스 상의 화면을 이용하여 접속 시스템(110), 상담 지원장치(130)와 연결되고, 고객 서비스 시스템(120) 내부의 정보를 사용할 수 있다. While receiving support from the
본 실시예에 따른 상담 지원장치(130)는 문자 대화 과정에 대한 분석을 기반으로 고객의 의도(intent)를 예측하여 주문서 작성 및 응답 예측을 수행한다. 상담 지원장치(130)는 언어이해부(131), 태스크예측(task prediction) 및 실행부(132), 응답생성부(133), 서비스검토 생성부(134) 및 서비스지원 모델풀(135, service assistance model pool)의 전부 또는 일부를 포함할 수 있다. 여기서, 본 실시예에 따른 상담 지원장치(130)에 포함되는 구성요소가 반드시 이에 한정되는 것은 아니다. 예컨대, 상담 지원장치(130) 상에 추론 모델의 트레이닝을 위한 트레이닝부(미도시)를 추가로 구비하거나, 외부의 트레이닝부와 연동되는(서버의 의미) 형태로 구현될 수 있다.The
언어이해부(131)는 고객과의 대화로부터 키워드(keywords)를 추출한다. 여기서 키워드는 고객 상담에 필요한 고유 명사(예컨대 고객명 또는 제품명), 고객의 의도를 내포하는 단어 등을 포함할 수 있다. The
언어이해부(131)는 대화를 언어이해 모델(language understanding model)에 입력하여 키워드를 추출할 수 있다. 언어이해 모델은 딥러닝(deep-learning) 기반의 신경망(neural network)으로 구현되되, 자연어 처리(natural language processing)에 적합하도록 사전에 트레이닝될 수 있다.The
태스크예측 및 실행부(132)는 키워드를 기반으로 대화의 문맥을 분석하여, 고객과의 상담 진행에 필요한 태스크를 예측 및 실행한다. 태스크는 상담 시스템의 검색, 제품 또는 서비스 항목 추천 등을 포함하며, 태스크에 대한 실행 결과는 응답 예측 또는 주문서 작성을 위한 기초 정보로 이용될 수 있다. The task prediction and
태스크예측 및 실행부(132)는 상담사와 고객 간의 대화 및 상담 시스템의 태스크 실행 히스토리(history)에 대한 정보를 저장하고, 저장된 정보를 태스크예측 모델(task prediction model)에 입력하여 상담에 필요한 태스크를 예측할 수 있다. 태스크예측 모델은 딥러닝 기반의 신경망으로 구현되되, 태스크 예측에 적합하도록 사전에 트레이닝될 수 있다. The task prediction and
응답생성부(133)는 태스크에 대한 실행 결과를 기반으로 고객에게 전달될 대응 정보를 생성한다. 대응 정보는 상담 진행 중인 대화에 대한 응답, 정리된 형태의 표 또는 그림 등을 포함할 수 있다. 여기서 정리된 표 또는 그림은 응답의 일부로 포함될 수 있으므로, 대응 정보의 생성은 대화에 대한 응답을 생성하는 것으로 가정할 수 있다. 이하 응답생성부(133)는 응답을 생성하는 것으로 가정한다.The
응답생성부(133)는 태스크에 대한 실행 결과를 기반으로 딥러닝 기반의 응답예측 모델(response prediction model)을 이용하여 복수의 후보 응답(candidate responses)을 생성할 수 있다. 생성된 복수의 후보 응답은 상담사에 의하여 검토(review)될 수 있다. 응답예측 모델, 후보 응답 생성 과정 및 상담사에 의한 검토 단계에 대한 사항은 추후에 설명하기로 한다.The
상담사의 사전 설정에 따라, 상담 지원장치(130)는 응답생성부(133)가 예측한 응답을 이용하여, 고객과 직접 대화를 교환할 수 있다. 그러나, 상담 지원장치(130)와 고객 간의 직접 대화의 경우, 상담사는 대화 내역을 검토하여 문제가 없는지 확인해야 한다. 확인 과정은 시간을 많이 소모하고, 세부 내역을 자세히 확인해야 하는 번거로움을 발생시킨다. 따라서, 직접 대화보다는, 전술한 바와 같이 응답예측 모델이 예측한 후보 응답을 상담사가 검토 및 수정한 후, 고객에게 제공하는 방식이 더 효율적일 수 있다.According to the counselor's preset setting, the
서비스검토 생성부(134)는 태스크에 대한 실행 결과를 기반으로 고객의 의도에 부합하는 주문서를 생성한다. 서비스검토 생성부(134)는 태스크에 대한 실행 결과를 기반으로 딥러닝 기반의 주문서작성 모델(order generation model)을 이용하여 주문서를 생성할 수 있다. The service
자동화된 상담 지원장치(130)가 주문과 같은 중요한 작업을 직접 실행하는 경우 오동작으로 인한 위험 부담이 존재한다(특히 고가의 제품 또는 서비스인 경우). 따라서 상담 지원장치(130)가 예측한 주문서는 상담사에 의하여 수동적으로 검토될 수 있다. 주문서작성 모델 및 주문서 생성 과정에 대한 사항은 추후에 설명하기로 한다.When the automated
서비스지원 모델풀(135)은 상담 지원장치(130)가 담당하는 태스크 영역(task domain)에 대한 상담을 수행하기 위해 필요한 추론 모델 및 추론 모델에 대한 정보를 저장한다. 추론 모델은 언어이해 모델, 태스크예측 모델, 주문서작성 모델 및/또는 응답예측 모델이다. The service
도 1의 도시된 상담 지원장치(130)의 구성은 본 실시예에 따른 예시적인 구성이며, 언어이해 모델, 태스크예측 모델, 주문서작성 모델 및 응답예측 모델의 구조, 및 상담사와 상담 지원장치(130) 간의 역할 분담 등에 따라 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 구현이 가능하다.The configuration of the
이하 상담 진행 중인 대화로부터 도출 가능한 주문 내역 및 주문서를 작성하는 주문서 작성 모델에 대하여 설명한다. Hereinafter, an order creation model for creating order details and an order form that can be derived from a conversation in progress will be described.
도 2는 본 발명의 일 실시예에 따른 주문서 검토 화면에 대한 예시도이다. 도 2의 (a)의 예시는 진행 중인 대화를 표시하는 채팅창(chatting window)이고, 도 2의 (b)의 예시는 고객 서비스 시스템(120)의 화면 상에 표시되는 주문서이다. 2 is an exemplary diagram of an order form review screen according to an embodiment of the present invention. An example of FIG. 2A is a chatting window displaying an ongoing conversation, and an example of FIG. 2B is an order book displayed on the screen of the
상담 지원장치(130)는 대화로부터 추론(inference)한 키워드(도 2의 (a)의 경우, 이탤릭체 단어)를 기반으로, 주문서 내역 중에 검토가 필요한 부분에 대하여 하이라이트(highlight)를 표시한다(도 2의 (b)의 경우, 굵은 실선 박스). 화면 상에는 "GG phone"에 분석 결과에 따른 모델명, 대화 문장 해석에 따른 "기기 변경" 및 "24 개월 분할 상환"이 하이라이트되어, 상담사의 확인이 필요함을 나타내고 있다. 상담사는 주문서를 확인한 후, 관련 부서로 전달하거나 고객과 추가 상담을 진행할 수 있다.The
상담 지원장치(130)는 언어이해부(131)에서 추출한 키워드에 대응하는 주문서 내역 항목(detail items)의 신뢰도(confidence score)를 산정함으로써, 상담사의 확인이 필요한 주문서 내역 정보를 선택한 후, 하이라이트할 수 있다. 키워드 열(keyword sequence) 에 대하여, 신뢰도는 예측 타겟(prediction target) 에 대한 사후 확률(posterior probability)이며 수학식 1로 표현할 수 있다. The
여기서 예측 타겟은 주문서의 개별 주문 항목을 나타낸다. 예측 타겟은 유한한 클래스 혹은 출력 시퀀스(sequence) 형태를 가질 수 있다. 도 2의 (b)의 도시와 같이 주문서는 다수의 내역 항목으로 구성되고, 각 주문 내역 간의 독립(independence)을 가정할 수 있다. 수학식 2에 나타낸 것과 같이, 전체 주문 내역에 대한 신뢰도 는 결합확률(joint probability)을 이용하여 산정할 수 있다. Here, the prediction target represents an individual order item in the order book. The prediction target may have a form of a finite class or an output sequence. As illustrated in (b) of FIG. 2 , the order book is composed of a plurality of detail items, and it is possible to assume independence between the order details. As shown in
상담 지원장치(130)는 키워드 열을 기반으로 주문서작성 모델을 이용하여, 예측 타겟에 대한 신뢰도를 산정할 수 있다.The
도 3은 본 발명의 일 실시예에 따른 주문서작성 모델에 대한 구성도이다.3 is a block diagram of an order book creation model according to an embodiment of the present invention.
주문서 작성 모델은 딥러닝 기반의 신경망으로 구현될 수 있다. 본 실시예에서는 트랜스포머 디코더(Transformer decoder)에 기반하는 주문서 작성 모델을 이용하되, 인코더 관련된 부분이 삭제된 트랜스포머 디코더를 이용한다(비특허문헌 1 참조). 도 3에 도시된 바와 같이, 주문서 작성 모델은 N(N은 자연수이고, 보통 12 이상) 개의 디코더 모듈 및 검출 모듈을 포함한다. 이하 디코더 모듈이 적층된 전체를 표현층(representation layer)으로 표기한다. The order creation model can be implemented as a deep learning-based neural network. In this embodiment, an order creation model based on a transformer decoder is used, but a transformer decoder in which an encoder-related part is deleted is used (refer to Non-Patent Document 1). As shown in Fig. 3, the order creation model includes N (N is a natural number, usually 12 or more) decoder modules and detection modules. Hereinafter, the entire stacked decoder module is referred to as a representation layer.
도 3의 도시에서 는 입력을 워드 임베딩(word embedding) 형태로 변환시키는 임베딩 행렬이며, 는 단어의 위치 정보에 대한 포지션 임베딩(position embedding)이다. 은 표현층의 출력으로서 예측 타겟에 대한 신뢰도를 추정 검출 모듈로 전달된다. 검출 모듈은 피드포워드(feedforward) 망 및 소프트맥스 층(softmax layer)을 포함할 수 있다.3 in the city is an embedding matrix that transforms the input into word embeddings , is a position embedding for position information of a word. is transmitted to the estimation detection module of the prediction target confidence as an output of the presentation layer. The detection module may include a feedforward network and a softmax layer.
정답 라벨이 없는(unlabeled) 대용량의 말뭉치(dialogue corpus)에 비지도 학습방법(unsupervised learning)을 적용하여 표현층은 사전 트레이닝(pre-training)될 수 있다. 대용량의 말뭉치로는 위키피디아(Wikipedia) 및 북스코퍼스(Bookscorpus)를 이용할 수 있으며, 대용량의 말뭉치로부터 추출된 수억 내지 수십억 개의 단어가 사전 트레이닝에 사용된다.The expression layer can be pre-trained by applying unsupervised learning to a large-capacity dialogue corpus that has no correct answer label. Wikipedia and Bookscorpus can be used as the large-capacity corpus, and hundreds of millions to billions of words extracted from the large-capacity corpus are used for dictionary training.
사전 트레이닝된 표현층 및 검출 모듈을 포함하는 주문서 작성 모델은, 학습용 데이터 및 정답 라벨을 이용하여 지도학습(supervised learning) 기반으로 파라미터가 정밀 조정(fine tuning)될 수 있다. In the order book creation model including the pre-trained expression layer and the detection module, parameters can be fine-tuned based on supervised learning using training data and correct answer labels.
사전 트레이닝된 표현층과 검출 모듈을 포함하는 주문서 작성 모델은 다수의 주문 내역을 효율적으로 검출할 수 있다. 검출 범위가 확장 또는 축소되는 경우, 주문서 작성 모델에서 필요한 부분만 정밀 조정할 수 있다. 또한 신뢰도 산정을 위한 별도의 모듈이 없이도 소프트맥스 층을 이용하여 사후 확률의 추정이 가능하므로, 불필요한 연산 및 모델링 오차의 감소가 가능해지는 효과가 있다. An order book creation model including a pre-trained expression layer and a detection module can efficiently detect a large number of order details. When the detection range is expanded or reduced, only the necessary parts of the order creation model can be precisely adjusted. In addition, since it is possible to estimate the posterior probability using the softmax layer without a separate module for reliability calculation, there is an effect that unnecessary calculation and modeling errors can be reduced.
이하 상담 진행 중인 대화에 대한 응답을 생성하는 응답예측 모델 및 상담사가 예측된 응답을 수정하는 과정에 대하여 설명한다. Hereinafter, a response prediction model that generates a response to a conversation in progress and a process in which the counselor corrects the predicted response will be described.
상담 지원장치(130)가 예측한 응답을 상담사가 수동으로 수정해야 하는 경우가 존재한다. 이 경우 상담사가 응답을 수정하는 작업을 편리하게 실행하도록, 상담 지원장치(130)는 복수의 후보 응답을 실시간으로 예측하여, 후보 응답을 고객 서비스 시스템(120)의 화면 상에 표시할 수 있다. There are cases in which the counselor needs to manually correct the response predicted by the
도 4는 본 발명의 일 실시예에 따른 응답 수정 과정에 대한 예시도이다. 최초의 "택배, 오늘 도착, 바로 픽업, 찾아가는 개통 ..."으로 표현된 문장을 조금씩 수정함에 따라서 단계적으로 다수의 후보 문장이 제안된다. 문장 수정이 진행됨에 따라 후보 응답의 종류, 순위 또는 개수가 변동될 수 있다. 상담사는 추천 문구 중에서 선택을 하거나, 추천 문구에 적당한 응답이 없는 경우에 수동으로 직접 수정을 수행할 수 있다. 4 is an exemplary diagram of a response modification process according to an embodiment of the present invention. A number of candidate sentences are proposed step by step as the sentences expressed in the first "courier delivery, today's arrival, immediate pickup, visiting opening ..." are slightly modified. As the sentence correction progresses, the type, rank, or number of candidate responses may change. The counselor can select from among the recommended phrases, or manually correct the recommendation when there is no suitable response to the recommended phrase.
본 실시예에서는 실시간 응답 추천을 위해 AR(Auto Regressive) 언어모델 기반 실시간 응답 확률 계산 방법을 이용한다. 수학식 3에 표현된 바와 같이, AR 언어 모델은 순차적인 단어 열을 기반으로 확률적으로 높은 문장열을 생성하는 방법이다. In this embodiment, an AR (Auto Regressive) language model-based real-time response probability calculation method is used for real-time response recommendation. As expressed in Equation 3, the AR language model is a method of generating a sentence sequence with high probability based on a sequential word sequence.
DNN(Deep Neural Network) 또는 RNN(Recurrent Neural Network)과 같은 심층(deep layered) 신경망은 AR 방식으로 시계열(time series) 및 문자열(character sequence) 등을 생성하기에 적합한 구조로 알려져 있다. A deep layered neural network, such as a deep neural network (DNN) or a recurrent neural network (RNN), is known as a structure suitable for generating time series and character sequences in an AR method.
도 5는 본 발명의 일 실시예에 따른 AR 언어 모델링 방법에 대한 예시도이다. 도 5의 예시와 같은 AR 언어 모델링 방식이 실시간 응답 문장 생성에 적용될 수 있다. 문장 시작 토큰(token) <START>에 대해서 단어 출력 이 출력되며 이 출력은 다시 신경망의 입력으로 사용되어 다음 단어 출력 가 얻어지는 재귀적(recurrent) 과정을 기반으로 응답이 생성된다. 여기서 토큰은 단어, 단어 취급되는 문구, 문장 구분을 위한 구분자(예컨대, <START>, <SEP> 등) 등을 의미한다.5 is an exemplary diagram of an AR language modeling method according to an embodiment of the present invention. The AR language modeling method as in the example of FIG. 5 may be applied to real-time response sentence generation. Print word for sentence start token <START> is output, and this output is again used as an input for the neural network to output the next word A response is generated based on a recurrent process in which . Here, the token means a word, a phrase treated as a word, a separator (eg, <START>, <SEP>, etc.) for separating sentences.
도 5의 예시도와 같은 단순한 형태의 재귀 신경망을 이용하는 AR 언어 모델은 저성능 때문에 실제 적용이 어려울 수 있다. 따라서, 본 실시예에서는 응답예측 모델로서 트랜스포머 디코더 기반의 심층 신경망을 이용한다. The AR language model using a simple recursive neural network as shown in the exemplary diagram of FIG. 5 may be difficult to apply in practice due to its low performance. Therefore, in this embodiment, a deep neural network based on a transformer decoder is used as a response prediction model.
도 6은 본 발명의 일 실시예에 따른 응답예측 모델에 대한 구성도이다.6 is a block diagram of a response prediction model according to an embodiment of the present invention.
응답예측 모델은 딥러닝 기반의 신경망으로 구현될 수 있다. 본 실시예에서는 트랜스포머 디코더에 기반하는 응답예측 모델을 이용한다(비특허문헌 1 참조). 도 6에 도시된 바와 같이, 응답예측 모델은 N(N은 자연수이고, 보통 12 이상) 개의 디코더 모듈을 포함한다.The response prediction model can be implemented as a deep learning-based neural network. In this embodiment, a response prediction model based on a transformer decoder is used (refer to Non-Patent Document 1). As shown in FIG. 6 , the response prediction model includes N (N is a natural number, usually 12 or more) decoder modules.
도 6의 도시에서 는 입력을 워드 임베딩 형태로 변환시키는 임베딩 행렬이며, 는 단어의 위치 정보에 대한 포지션 임베딩이다. 또한 은 최종 디코더 모듈의 출력으로서 워드 임베딩으로 변환된 후, 응답에 대한 확률을 추정할 수 있는 소프트맥스 층(softmax layer)으로 전달된다. 또한 이 디코더 모듈의 입력 쪽으로 전달됨으로써 응답예측 모델의 재귀 구조가 형성될 수 있다.In the city of Figure 6 is an embedding matrix that transforms the input into a word embedding form, is a position embedding for position information of a word. also is converted into word embedding as the output of the final decoder module, and then transferred to a softmax layer that can estimate a probability for a response. also A recursive structure of the response prediction model can be formed by being transmitted to the input side of the decoder module.
응답예측 모델은 정답 라벨이 없는 대용량의 말뭉치에 비지도 학습방법을 적용하여 사전 트레이닝(pre-training)될 수 있다. 사전 트레이닝된 응답예측 모델은, 학습용 데이터 및 정답 라벨을 이용하여 지도학습 기반으로 파라미터가 정밀 조정(fine tuning)될 수 있다. The response prediction model can be pre-trained by applying an unsupervised learning method to a large-capacity corpus without an answer label. In the pre-trained response prediction model, parameters can be fine-tuned based on supervised learning using training data and correct answer labels.
입력 토큰열(token sequence) 에 대한 로그 라이클리후드(log likelihood)를 최대화시키는 손실 함수(loss function)를 기반으로 응답예측 모델에 대한 사전 트레이닝이 진행될 수 있다. 수학식 4는 사전 트레이닝 과정에서 이용되는 손실 함수를 나타낸다. 사전 트레이닝 과정에서의 입력 토큰열은 말뭉치로부터 추출한 임의의 문장일 수 있다.input token sequence Pre-training of the response prediction model may be performed based on a loss function that maximizes the log likelihood of . Equation 4 represents a loss function used in the pre-training process. The input token sequence in the pre-training process may be an arbitrary sentence extracted from a corpus.
또한 입력 토큰열(token sequence) 에 대하여, 정답 라벨 y를 기반으로 응답예측 모델의 출력에 대한 로그 라이클리후드(log likelihood)를 최대화시키는 손실 함수(loss function)를 기반으로 응답예측 모델에 대한 정밀 조정이 진행될 수 있다. 수학식 5는 정밀 조정 과정에서 이용되는 손실 함수를 나타낸다. 정밀 조정 과정에서의 입력 토큰열은 라벨이 부착된 학습용 문장일 수 있다.Also the input token sequence , fine adjustment of the response prediction model may be performed based on a loss function that maximizes the log likelihood of the output of the response prediction model based on the correct answer label y. Equation 5 represents a loss function used in the fine tuning process. The input token string in the fine-tuning process may be a labeled learning sentence.
태스크에 대한 실행 결과인 토큰열을 획득하여, 응답예측 모델은 후보 응답을 추론한다. 여기서 토큰열은 응답을 구성할 수 있는 다수의 단어를 포함할 수 있다. 응답예측 모델의 출력단에는 소프트맥스 함수가 이용되므로, 하나의 토큰 입력에 대해서 m(m은 자연수) 개의 토큰 출력이 획득될 수 있다. 수학식 6은 m 개의 출력 토큰을 포함하는 집합 를 나타내고 있다. 여기서 k는 시간에 대한 인덱스(index)이다.By obtaining a token string that is the execution result of the task, the response prediction model infers a candidate response. Here, the token string may include a number of words that may constitute a response. Since the softmax function is used at the output stage of the response prediction model, m (m is a natural number) token outputs can be obtained for one token input. Equation 6 is a set containing m output tokens. represents where k is an index with respect to time.
응답예측 모델은 상담사의 선택폭을 넓히기 위해 매 시간 k에서 복수의 후보 응답을 생성할 수 있다. 수학식 7은 시간 k에서의 후보 응답 집합 를 나타낸다. The response prediction model can generate a plurality of candidate responses at every time k to broaden the choice of counselors. Equation 7 is a set of candidate responses at time k indicates
상담사가 응답을 수정하는 경우, 응답예측 모델은 수정된 응답을 시작 토큰으로 이용하여 복수의 후보 응답을 실시간으로 다시 생성할 수 있다. When the counselor modifies the response, the response prediction model may regenerate a plurality of candidate responses in real time by using the modified response as a start token.
본 발명의 다른 실시예에 있어서, 후보 응답을 생성하는 대신 응답예측 모델은 기 정의된 응답풀에서 후보 응답을 선택하는 DB 검색(Database retrieval) 방식을 이용할 수 있다. 기 정의된 응답 중에서 하나를 선택하기 때문에 DB 검색 방식은 안정적인 응답을 생성할 수 있다. 검색 기반의 응답은 후보 응답이 고정되어 있다는 특징이 있다. In another embodiment of the present invention, instead of generating a candidate response, the response prediction model may use a database retrieval method for selecting a candidate response from a predefined response pool. Since one of the predefined responses is selected, the DB search method can generate a stable response. The search-based response has a characteristic that the candidate response is fixed.
상담사가 응답의 일부를 수정하는 경우, 응답풀에서 검색된 응답 중에서 상담사가 수정한 문구와 일치하는 부분을 가지는 응답만을 우선 선택한다. 다음, 선택된 응답을 응답예측 모델에 적용하여 응답별 확률을 구한 후, 선택된 후보 응답 간의 순위 재조정(re-rank)을 실행한다.When the counselor modifies a part of the response, only the response having the same part as the phrase modified by the counselor from among the responses retrieved from the response pool is first selected. Next, the selected response is applied to the response prediction model to obtain a probability for each response, and then re-rank between the selected candidate responses is performed.
도 7은 본 발명의 다른 실시예에 따른 DB 검색 기반 응답 수정에 대한 예시도이다. 도 7의 (a)의 예시는 응답풀에서 검색된 응답의 리스트이고, 도 7의 (b)예시는 순위가 재조정된 후보 응답의 리스트이다. 전술한 바와 같이, 도 7의 (a)에 예시된 응답에 대하여 상담사가 "택배는 지금"을 선택하였으므로, 도 7의 (b)의 예시에는 응답예측 모델이 추론한 확률에 근거하여 "택배는 지금"으로 시작하는 후보 응답이 순위가 재조정된 채로 나열된다.7 is an exemplary diagram of DB search-based response modification according to another embodiment of the present invention. The example of FIG. 7 (a) is a list of responses retrieved from the response pool, and the example of FIG. 7 (b) is a list of candidate responses whose ranking has been re-arranged. As described above, since the counselor selected "Courier is now" for the response illustrated in (a) of FIG. 7, in the example of FIG. 7 (b), based on the probability inferred by the response prediction model, Candidate responses beginning with "now" are listed with reranking.
본 실시예에 따른 상담 지원장치(130)가 탑재되는 디바이스(미도시)는 프로그램 가능 컴퓨터일 수 있으며, 서버(미도시)와 연결이 가능한 적어도 한 개의 통신 인터페이스를 포함한다. The device (not shown) on which the
본 실시예에 따른 상담 지원장치(130) 내에 포함되는 딥러닝 기반 신경회로망에 대한 트레이닝은 서버에서 진행될 수 있다. 디바이스 상에 탑재된 상담 지원장치(130)의 언어이해 모델, 태스크예측 모델, 주문서작성 모델 및 응답예측 모델과 동일한 구조의 딥러닝 모델에 대하여 서버의 트레이닝부(미도시)는 트레이닝을 수행할 수 있다. 디바이스와 연결되는 통신 인터페이스를 이용하여 서버는 트레이닝된 파라미터를 디바이스로 전달하고, 전달받은 파라미터를 이용하여 상담 지원장치(130)는 언어이해 모델, 태스크예측 모델, 주문서작성 모델 및 응답예측 모델의 파라미터를 업데이트할 수 있다. 또한 디바이스 출하 시점 또는 상담 지원장치(130)가 디바이스에 탑재되는 시점에, 언어이해 모델, 태스크예측 모델, 주문서작성 모델 및 응답예측 모델의 파라미터가 설정될 수 있다. Training for the deep learning-based neural network included in the
본 발명의 다른 실시예에 있어서, 상담 지원장치(130)는 서버 또는 서버에 준하는 연산 능력을 보유하는 프로그램 가능 시스템에 탑재될 수 있다. 서버는 고객과의 대화를 제공할 수 있는 복수의 디바이스(예컨대 IVR 시스템 또는 메신저 시스템 등)로부터 유선 또는 무선 전송방식을 이용하여 대화를 획득하는 것으로 가정한다.In another embodiment of the present invention, the
도 8은 본 발명의 일 실시예에 따른 상담 지원방법 중 응답 생성에 대한 순서도이다. 8 is a flowchart for generating a response in a counseling support method according to an embodiment of the present invention.
본 실시예에 따른 상담 지원장치(130)는 고객과의 대화로부터 키워드(keywords)를 추출한다(S801). 여기서 키워드는 고객 상담에 필요한 고유 명사(예컨대 고객명 또는 제품명), 고객의 의도(intent)를 내포하는 단어 등을 포함할 수 있다. The
상담 지원장치(130)는 키워드를 기반으로 상기 대화의 문맥을 분석하여, 상기 고객과의 상담 진행에 필요한 태스크(task)를 예측 및 실행한다(S802). 태스크는 상담 시스템의 검색, 제품 또는 서비스 항목 추천 등을 포함하며, 태스크에 대한 실행 결과는 응답 예측 또는 주문서 작성을 위한 기반 정보로 이용될 수 있다.The
상담 지원장치(130)는 태스크에 대한 실행 결과를 기반으로, 응답예측 모델(response prediction model)을 이용하여 대화에 대한 적어도 하나의 후보 응답(candidate responses)을 생성한다(S803).The
응답예측 모델은 딥러닝 기반의 신경망으로 구현될 수 있다. 본 실시예에서는 트랜스포머 디코더(Transformer decoder)에 기반하는 응답예측 모델을 이용한다.The response prediction model can be implemented as a deep learning-based neural network. In this embodiment, a response prediction model based on a transformer decoder is used.
정답 라벨이 없는(unlabeled) 대용량의 말뭉치(dialogue corpus)에 비지도 학습방법(unsupervised learning)을 적용하여 응답예측 모델은 사전 트레이닝(pre-training)될 수 있다. 사전 트레이닝된 응답예측 모델은, 학습용 데이터 및 정답 라벨을 이용하여 지도학습(supervised learning) 기반으로 파라미터가 정밀 조정(fine tuning)될 수 있다.The response prediction model can be pre-trained by applying unsupervised learning to a large-capacity dialogue corpus that has no correct answer label. In the pre-trained response prediction model, parameters may be fine-tuned based on supervised learning using training data and correct answer labels.
상담 지원장치(130)는 후보 응답을 상담사에게 제공한다(S804).The
상담사는 후보 응답을 이용하여 대화에 대한 응답 완성 여부를 확인한다(S805). 상담사가 응답을 완성할 때까지 상담 지원장치(130)는 상담사의 선택을 기반으로 응답예측 모델을 이용하여 대화에 대한 적어도 하나의 후보 응답을 생성하여(S806) 상담사에게 제공하는 과정(S804)을 반복할 수 있다.The counselor checks whether the response to the conversation is completed using the candidate response (S805). Until the counselor completes the response, the
IVR 시스템 또는 메신저 시스템을 이용하여 상담사는 완성된 응답을 고객에게 제공한다(S807)Using the IVR system or the messenger system, the counselor provides a completed response to the customer (S807)
도 9는 본 발명의 일 실시예에 따른 상담 지원방법 중 주문서 생성에 대한 순서도이다. 9 is a flowchart for generating an order form in a counseling support method according to an embodiment of the present invention.
주문서 생성에 있어서, 본 실시예에 따른 상담 지원장치(130)가 키워드를 추출하고(S901), 태스크(task)를 예측 및 실행하는(S902) 단계는 응답을 생성하는 단계의 일부(S801 및 S802 단계)와 동일하다.In generating the order form, the steps of extracting keywords (S901), predicting and executing tasks (S902) by the
상담 지원장치(130)는 태스크에 대한 실행 결과를 기반으로, 주문서작성 모델(order generation model)을 이용하여 고객의 의도(intent)에 부합하는 주문서를 생성한다(S903). 검토를 위하여 생성된 주문서는 상담사에게 제공된다.The
주문서 작성 모델은 딥러닝 기반의 신경망으로 구현될 수 있다. 본 실시예에서는 트랜스포머 디코더에 기반하는 주문서 작성 모델을 이용한다.The order creation model can be implemented as a deep learning-based neural network. In this embodiment, an order book creation model based on a transformer decoder is used.
정답 라벨이 없는 대용량의 말뭉치에 비지도 학습방법을 적용하여 주문서 작성 모델은 사전 트레이닝(pre-training)될 수 있다. 사전 트레이닝된 주문서 작성 모델은, 학습용 데이터 및 정답 라벨을 이용하여 지도학습 기반으로 파라미터가 정밀 조정(fine-tuning)될 수 있다. By applying the unsupervised learning method to a large-capacity corpus without an answer label, the order-writing model can be pre-trained. In the pre-trained order book creation model, parameters can be fine-tuned based on supervised learning using training data and correct answer labels.
상담사는 주문서를 확인한 후, 관련 부서로 전달하거나 고객과 추가 상담을 진행한다(S904).After confirming the order, the counselor delivers it to the relevant department or proceeds with additional consultation with the customer (S904).
이상에서 설명한 바와 같이 본 실시예에 따르면, 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드 지능형 고객 상담장치 및 방법을 제공함으로써, 상담 업무의 효율성 증대가 가능해지는 효과가 있다.As described above, according to the present embodiment, it is possible to increase the efficiency of consulting work by providing a hybrid intelligent customer counseling device and method capable of automatically creating and modifying order form and response sentences based on the analysis of the conversation progress. It has a destructive effect.
또한 본 실시예에 따르면, 대화 진행 과정에 대한 분석을 바탕으로 주문서 작성 및 응답 문장의 자동 생성 및 수정이 가능한 하이브리드 지능형 고객 상담장치 및 방법을 제공함으로써, 방대한 상담 업무의 신속 정확한 처리에 따른 고객 만족도 증대가 가능해지는 효과가 있다. In addition, according to this embodiment, by providing a hybrid intelligent customer counseling device and method capable of automatically generating and modifying order form and response sentences based on analysis of the conversation progress, customer satisfaction according to prompt and accurate processing of extensive counseling tasks It has the effect of making it possible to increase.
본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that each process is sequentially executed in each flowchart according to the present embodiment, the present invention is not limited thereto. In other words, since it may be applicable to change and execute the processes described in the flowchart or to execute one or more processes in parallel, the flowchart is not limited to a time-series order.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는 기록매체"에 저장된다. Various implementations of the systems and techniques described herein may be implemented in digital electronic circuitry, integrated circuitry, field programmable gate array (FPGA), application specific integrated circuit (ASIC), computer hardware, firmware, software, and/or combination can be realized. These various implementations may include being implemented in one or more computer programs executable on a programmable system. The programmable system includes at least one programmable processor (which may be a special purpose processor) coupled to receive data and instructions from, and transmit data and instructions to, a storage system, at least one input device, and at least one output device. or may be a general-purpose processor). Computer programs (also known as programs, software, software applications or code) contain instructions for a programmable processor and are stored on a "computer-readable recording medium".
컴퓨터가 읽을 수 있는 기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. These computer-readable recording media are non-volatile or non-transitory, such as ROM, CD-ROM, magnetic tape, floppy disk, memory card, hard disk, magneto-optical disk, and storage device. media, and may further include transitory media such as carrier waves (eg, transmission over the Internet) and data transmission media. In addition, the computer-readable recording medium is distributed in network-connected computer systems, and computer-readable codes may be stored and executed in a distributed manner.
본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.Various implementations of the systems and techniques described herein may be implemented by a programmable computer. Here, the computer includes a programmable processor, a data storage system (including volatile memory, non-volatile memory, or other types of storage systems or combinations thereof), and at least one communication interface. For example, a programmable computer may be one of a server, a network appliance, a set-top box, an embedded device, a computer expansion module, a personal computer, a laptop, a Personal Data Assistant (PDA), a cloud computing system, or a mobile device.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.
100: 하이브리드 고객 상담 시스템
110: 접속 시스템
120: 고객 서비스 시스템
130: 상담 지원장치
131: 언어이해부
132: 태스크예측 및 실행부
133: 응답생성부
134: 서비스검토 생성부
135: 서비스지원 모델풀
100: Hybrid customer service system
110: access system 120: customer service system
130: counseling support device 131: language understanding unit
132: task prediction and execution unit 133: response generation unit
134: service review generation unit 135: service support model pool
Claims (12)
상기 키워드를 기반으로 상기 대화의 문맥(context)을 분석하여, 상기 고객과의 상담 진행에 필요한 태스크(tasks)를 예측 및 실행하는 태스크예측 및 실행부;
상기 태스크에 대한 실행 결과를 기반으로, 응답예측 모델(response prediction model)을 이용하여 상기 대화에 대한 적어도 하나의 후보 응답(candidate responses)을 생성하는 응답생성부; 및
상기 태스크에 대한 실행 결과를 기반으로, 주문서작성 모델(order generation model)을 이용하여 상기 고객의 의도(intent)에 부합하는 주문서를 생성하는 서비스검토 생성부
를 포함하고,
상기 서비스검토 생성부는,
상기 키워드의 열(sequence)을 기반으로 주문서생성 모델을 이용하여 상기 주문서의 내역 항목(detail items)에 대한 신뢰도(confidence score)를 산정하고, 상기 신뢰도에 기반하여 상기 주문서 상에서 내역 정보를 강조(highlight)하는 것을 특징으로 하는 하이브리드(hybrid) 상담장치.a language understanding unit that extracts keywords from dialogues with customers;
a task prediction and execution unit that analyzes the context of the conversation based on the keyword and predicts and executes tasks necessary for the consultation with the customer;
a response generator configured to generate at least one candidate response to the conversation by using a response prediction model based on the execution result of the task; and
Based on the execution result of the task, a service review generation unit that generates an order form that meets the customer's intent by using an order generation model
including,
The service review generation unit,
Calculate a confidence score for detail items of the order book using an order book creation model based on the sequence of the keyword, and highlight detail information on the order book based on the reliability ) A hybrid (hybrid) counseling device, characterized in that.
서비스지원 모델풀(service assistance model pool)을 더 포함하되, 상기 서비스지원 모델풀은 상기 고객과의 상담 진행에 필요한 추론 모델(inference model) 및 상기 추론 모델에 대한 정보를 저장하며, 상기 추론 모델은 상기 키워드를 추출하는 언어이해 모델(language understanding model), 상기 태스크를 예측하는 태스크예측 모델(task prediction model), 상기 주문서작성 모델 및/또는 상기 응답예측 모델인 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
Further comprising a service assistance model pool (service assistance model pool), wherein the service assistance model pool stores an inference model necessary for consulting with the customer and information on the inference model, the inference model is A hybrid counseling apparatus, characterized in that it is a language understanding model for extracting the keyword, a task prediction model for predicting the task, the order form writing model, and/or the response prediction model.
상기 키워드는,
상기 고객과의 상담 진행에 필요한 고유 명사 및/또는 상기 고객의 의도를 내포하는 단어를 포함하는 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
The keyword is
Hybrid counseling apparatus, characterized in that it includes a proper noun and/or a word implying the intention of the customer required to proceed with the consultation with the customer.
상기 태스크는,
상기 고객에 대한 정보 검색, 상기 고객의 의도에 부합하는 제품 또는 서비스에 대한 검색, 및/또는 상기 제품 또는 서비스의 추천을 포함하는 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
The task is
A hybrid counseling apparatus comprising searching for information on the customer, searching for a product or service meeting the intention of the customer, and/or recommending the product or service.
상기 응답예측 모델 및 상기 주문서작성 모델은 딥러닝 기반 신경망으로 구현되되, 정답 라벨이 없는(unlabeled) 대용량의 말뭉치(dialogue corpus)를 이용하여 비지도 학습방법(unsupervised learning)을 기반으로 사전 트레이닝(pre-training)된 후, 학습용 데이터 및 정답 라벨을 이용하여 지도학습(supervised learning) 기반으로 파라미터가 정밀 조정(fine tuning)되는 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
The response prediction model and the order writing model are implemented as a deep learning-based neural network, and pre-training based on an unsupervised learning method using a large-capacity dialogue corpus without an answer label. After training), the hybrid counseling device, characterized in that the parameters are fine-tuned based on supervised learning using the training data and the correct answer label.
상기 응답생성부는,
상기 태스크에 대한 실행 결과인 토큰열(token sequence)을 기반으로 상기 응답예측 모델이 재귀적인(recurrent) 동작을 실행하여 소프트맥스(softmax) 출력을 생성함으로써, 상기 토큰열에 대응하는 적어도 하나의 후보 응답을 생성하는 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
The response generating unit,
At least one candidate response corresponding to the token sequence by generating a softmax output by executing a recurrent operation of the response prediction model based on a token sequence that is the execution result of the task Hybrid counseling device, characterized in that for generating.
상기 응답생성부는 상기 적어도 하나의 후보 응답을 상담사에게 제공하고, 상기 서비스검토 생성부는 상기 주문서를 상기 상담사에게 제공하는 것을 특징으로 하는 하이브리드 상담장치.According to claim 1,
The response generator provides the at least one candidate response to the counselor, and the service review generator provides the order book to the counselor.
상기 응답생성부는,
상기 적어도 하나의 후보 응답에 대한 상담사의 선택 또는 수정을 기반으로, 상기 고객과의 대화에 대한 응답이 완성될 때까지 상기 응답예측 모델을 이용하여 상기 적어도 하나의 후보 응답의 생성을 반복하는 것을 특징으로 하는 하이브리드 상담장치.8. The method of claim 7,
The response generating unit,
Based on the counselor's selection or modification of the at least one candidate response, iteratively generates the at least one candidate response using the response prediction model until a response to the conversation with the customer is completed A hybrid counseling device with
고객과의 대화로부터 키워드(keywords)를 추출하는 과정;
상기 키워드를 기반으로 상기 대화의 문맥을 분석하여, 상기 고객과의 상담 진행에 필요한 태스크(task)를 예측하고 실행하는 과정;
상기 태스크에 대한 실행 결과를 기반으로, 사전에 트레이닝된 딥러닝(deep-learning) 기반 응답예측 모델(response prediction model)을 이용하여 상기 대화에 대한 적어도 하나의 후보 응답(candidate responses)을 생성하는 과정; 및
상기 태스크에 대한 실행 결과를 기반으로, 사전에 트레이닝된 딥러닝 기반 주문서작성 모델(order generation model)을 이용하여 상기 고객의 의도(intent)에 부합하는 주문서를 생성하는 과정
을 포함하고,
상기 주문서를 생성하는 과정은,
상기 키워드의 열(sequence)을 기반으로 주문서생성 모델을 이용하여 상기 주문서의 내역 항목(detail items)에 대한 신뢰도(confidence score)를 산정하고, 상기 신뢰도에 기반하여 상기 주문서 상에서 내역 정보를 강조(highlight)하는 것을 특징으로 하는, 하이브리드 상담방법.In the hybrid counseling method of a hybrid counseling device,
the process of extracting keywords from conversations with customers;
analyzing the context of the conversation based on the keyword, predicting and executing a task required to proceed with the consultation with the customer;
A process of generating at least one candidate response to the conversation using a pre-trained deep-learning-based response prediction model based on the execution result of the task ; and
A process of generating an order book that meets the customer's intent using a pre-trained deep learning-based order generation model based on the execution result of the task
including,
The process of creating the order form is:
Calculate a confidence score for detail items of the order book using an order book creation model based on the sequence of the keyword, and highlight detail information on the order book based on the reliability ), characterized in that, hybrid counseling method.
상기 적어도 하나의 후보 응답 및 상기 주문서를 상담사에게 제공하는 과정을 더 포함하는 것을 특징으로 하는, 하이브리드 상담방법.10. The method of claim 9,
Hybrid counseling method, characterized in that it further comprises the step of providing the at least one candidate response and the order book to the counselor.
상기 후보 응답을 생성하는 과정은,
상기 적어도 하나의 후보 응답에 대한 상담사의 선택 또는 수정을 기반으로, 상기 고객과의 대화에 대한 응답이 완성될 때까지 상기 응답예측 모델을 이용하여 상기 적어도 하나의 후보 응답의 생성을 반복하는 것을 특징으로 하는, 하이브리드 상담방법.11. The method of claim 10,
The process of generating the candidate response includes:
Based on the counselor's selection or modification of the at least one candidate response, iteratively generates the at least one candidate response using the response prediction model until a response to the conversation with the customer is completed , a hybrid counseling method.
12. A computer program stored in a recording medium, which is readable by a computer to execute each step included in the hybrid counseling method according to any one of claims 9 to 11.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020220037796A KR102488886B1 (en) | 2019-10-30 | 2022-03-28 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190136035A KR102391447B1 (en) | 2019-10-30 | 2019-10-30 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
KR1020220037796A KR102488886B1 (en) | 2019-10-30 | 2022-03-28 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190136035A Division KR102391447B1 (en) | 2019-10-30 | 2019-10-30 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220042103A true KR20220042103A (en) | 2022-04-04 |
KR102488886B1 KR102488886B1 (en) | 2023-01-13 |
Family
ID=75918162
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190136035A KR102391447B1 (en) | 2019-10-30 | 2019-10-30 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
KR1020220037796A KR102488886B1 (en) | 2019-10-30 | 2022-03-28 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190136035A KR102391447B1 (en) | 2019-10-30 | 2019-10-30 | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR102391447B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102375021B1 (en) * | 2021-08-23 | 2022-03-17 | 국방과학연구소 | A method for monitoring management activity and anomalies for proper audit disposition |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180022762A (en) * | 2018-02-26 | 2018-03-06 | 오영재 | Method, system and computer-readable recording medium for providing customer counseling service using real-time response message generation |
KR20190074356A (en) * | 2017-12-20 | 2019-06-28 | 이기라 | One-stop service method for insurance product design and subscription using online messenger chatter robot, and system for the same |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101719196B1 (en) * | 2014-06-09 | 2017-03-23 | 삼성생명보험주식회사 | Apparatus for forecasting purpose of customer counsel and computer-readable medium thereof |
KR20180003417A (en) * | 2017-04-21 | 2018-01-09 | 주식회사 엔터플 | Method and apparatus for providing content using chatbot |
-
2019
- 2019-10-30 KR KR1020190136035A patent/KR102391447B1/en active IP Right Grant
-
2022
- 2022-03-28 KR KR1020220037796A patent/KR102488886B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190074356A (en) * | 2017-12-20 | 2019-06-28 | 이기라 | One-stop service method for insurance product design and subscription using online messenger chatter robot, and system for the same |
KR20180022762A (en) * | 2018-02-26 | 2018-03-06 | 오영재 | Method, system and computer-readable recording medium for providing customer counseling service using real-time response message generation |
Non-Patent Citations (1)
Title |
---|
비특허문헌 1: Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. 2018. Improving language understanding with unsupervised learning. Technical report, OpenAI. |
Also Published As
Publication number | Publication date |
---|---|
KR102488886B1 (en) | 2023-01-13 |
KR102391447B1 (en) | 2022-04-26 |
KR20210051143A (en) | 2021-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11537793B2 (en) | System for providing intelligent part of speech processing of complex natural language | |
US11568855B2 (en) | System and method for defining dialog intents and building zero-shot intent recognition models | |
US11093813B2 (en) | Answer to question neural networks | |
US11734375B2 (en) | Automatic navigation of interactive web documents | |
WO2019200923A1 (en) | Pinyin-based semantic recognition method and device and human-machine conversation system | |
US20200090651A1 (en) | Generating dialogue responses in end-to-end dialogue systems utilizing a context-dependent additive recurrent neural network | |
US20180137854A1 (en) | Machine reading method for dialog state tracking | |
US10984785B2 (en) | Voice conversation method and system with enhanced word features | |
US20220138770A1 (en) | Method and apparatus for analyzing sales conversation based on voice recognition | |
CN109766418B (en) | Method and apparatus for outputting information | |
US20230121711A1 (en) | Content augmentation with machine generated content to meet content gaps during interaction with target entities | |
CN111930914A (en) | Question generation method and device, electronic equipment and computer-readable storage medium | |
US20230205994A1 (en) | Performing machine learning tasks using instruction-tuned neural networks | |
US20210248473A1 (en) | Attention neural networks with linear units | |
KR102488886B1 (en) | Method and Apparatus for Providing Hybrid Intelligent Customer Consultation | |
US20240020538A1 (en) | Systems and methods for real-time search based generative artificial intelligence | |
US20240005131A1 (en) | Attention neural networks with tree attention mechanisms | |
KR20210009266A (en) | Method and appratus for analysing sales conversation based on voice recognition | |
CN112434953A (en) | Customer service personnel assessment method and device based on computer data processing | |
WO2023175089A1 (en) | Generating output sequences with inline evidence using language model neural networks | |
US11675978B2 (en) | Entity recognition based on multi-task learning and self-consistent verification | |
JP2019204415A (en) | Wording generation method, wording device and program | |
Huang et al. | DuIVRS: A Telephonic Interactive Voice Response System for Large-Scale POI Attribute Acquisition at Baidu Maps | |
US12050509B2 (en) | Root cause pattern recognition based model training | |
US20220237063A1 (en) | Root cause pattern recognition based model training |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |