KR102581414B1

KR102581414B1 - Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document

Info

Publication number: KR102581414B1
Application number: KR1020200025119A
Authority: KR
Inventors: 박미경
Original assignee: 주식회사 포시에스
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2023-09-21
Also published as: KR20210109914A

Abstract

대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계 및 상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계를 포함할 수 있다.An apparatus and method for inputting a form-based electronic document through conversation recognition are disclosed. The method for inputting a form-based electronic document through conversation recognition according to an embodiment of the present application includes the steps of receiving a conversation input associated with the creation of a predetermined electronic document. , generating a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document, and creating the electronic document from the dialogue input based on the field list. You can.

Description

대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법{APPARATUS AND METHOD FOR FILLING ELECTRONIC DOCUMENT USING DIALOGUE COMPREHENSION BASED ON FORMAT OF ELECTRONIC DOCUMENT}Format-based electronic document input device and method through dialogue recognition {APPARATUS AND METHOD FOR FILLING ELECTRONIC DOCUMENT USING DIALOGUE COMPREHENSION BASED ON FORMAT OF ELECTRONIC DOCUMENT}

본원은 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법에 관한 것이다. 특히, 본원은 지문 형태의 자연스러운 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력하는 전자문서 시스템에 관한 것이다.This application relates to a form-based electronic document input device and method through conversation recognition. In particular, this application relates to an electronic document system that receives a natural conversation in the form of a fingerprint as input and automatically inputs an electronic document in the corresponding format through fields (questions) automatically extracted based on the form format of the electronic document.

일반적으로 업무 영역에서 다양한 양식의 문서가 발생하게 되고, 이러한 문서들은 종래에는 종이에 인쇄된 형태로 작성되었다면, 최근 다양한 문서들을 전자적인 형태로 생성하는 전자문서 및 전자서명 서비스가 도입되어 활용되고 있으며, 정부의 페이퍼리스(Paperless) 정책과 맞물려 급속한 성장 추세를 보이고 있다.In general, documents in various forms are generated in the business area, and while these documents were previously written in printed form on paper, electronic document and electronic signature services that generate various documents in electronic form have recently been introduced and utilized. , is showing a rapid growth trend in line with the government's paperless policy.

또한, 스마트 디바이스의 대중화에 따라 음성 기반 서비스를 이용하는 사용자 경험은 지속적으로 축적되어 왔다. 현재 음성 기반 서비스의 대부분은 개인의 일상 생활에 연계된 기능을 제공하고 있으며, 앞으로는 기업의 업무 영역에까지 확장될 것으로 예상된다.Additionally, with the popularization of smart devices, user experience using voice-based services has continued to accumulate. Currently, most voice-based services provide functions related to individuals' daily lives, and are expected to expand to corporate business areas in the future.

따라서, 음성 입력 등을 기초로 전자문서를 생성하는 기술 및 시스템이나 음성 입력 등을 기초로 전자 문서를 제어 및 관리할 수 있는 기술 및 시스템 개발의 필요성이 증대되고 있다.Accordingly, the need to develop technologies and systems for generating electronic documents based on voice input, etc., or for controlling and managing electronic documents based on voice input, etc., is increasing.

그러나, 현재까지의 음성을 통한 전자문서 작성 기술은 음성이 포함된 컨텐츠(영화, 온라인에 업로드된 동영상 등)에 대한 자막을 생성하거나 인터뷰 내용을 단순 받아쓰기 하는 등 음성 전체의 텍스트화(전사, Transcription)에만 편중되어 있었다.However, the technology to create electronic documents through voice to date is to convert the entire voice into text (transcription), such as generating subtitles for content containing voice (movies, videos uploaded online, etc.) or simply transcribing interview content. ) was concentrated only on

또한, 최근 들어 관공서, 은행, 증권사, 통신사 등의 주체들이 제공하는 민원, 금융거래, 통신 서비스 등의 서비스를 신청 또는 가입하거나 신규 회원으로 등록하는 등의 제반 상황에서 태블릿 등의 별도로 마련된 디바이스로 신청 또는 가입 시 작성이 필요한 문서를 전자적으로 표시하거나 태블릿과 연계된 터치펜 등의 입력 수단을 통해 전자문서의 내용을 기입하는 것은 흔히 찾아볼 수 있으나, 관공서, 은행, 증권사, 통신사 등의 주체 측 직원과 특정 서비스를 신청 또는 가입하려는 고객의 음성 기반의 대화의 내용을 인식하여 이를 기초로 작성하고자 하는 전자문서 내의 각각의 항목을 적절하게 자동으로 기입해주는 방식은 아직 도입된바 없다.In addition, recently, in various situations such as applying for or signing up for services such as civil affairs, financial transactions, and communication services provided by entities such as government offices, banks, securities companies, and telecommunication companies, or registering as a new member, applications are made using separately prepared devices such as tablets. Alternatively, it is common to electronically display documents that need to be filled out when signing up or to fill in the contents of electronic documents using an input method such as a touch pen linked to a tablet. However, it is common to find employees of the subject such as government offices, banks, securities companies, and telecommunication companies. A method of recognizing the content of a customer's voice-based conversation and automatically filling in each item in an electronic document to be created based on this has not yet been introduced.

아울러, 앞서 예시한 특정 서비스의 제공 주체와 해당 서비스에 가입하려는 고객의 대화 상황에 국한되지 않고, 업무 영역에서 이루어지는 대화 상황(회의 상황, 발표 상황 등)에서의 발화 또는 음성을 인식하여 필요한 양식(서식)의 문서를 자동으로 기입할 수 있다면 업무 처리와 연계된 전자문서의 작성 및 작성된 전자문서에 대한 관리가 더욱 용이해질 수 있을 것이다.In addition, it is not limited to the conversation situation between the provider of a specific service and the customer who wants to subscribe to the service as exemplified above, but recognizes utterances or voices in conversation situations (meeting situations, presentation situations, etc.) that occur in the work area and forms the necessary form ( If documents (formats) can be filled out automatically, the creation of electronic documents linked to business processing and the management of the created electronic documents will become easier.

본원의 배경이 되는 기술은 한국등록특허공보 제10-1705228호에 개시되어 있다.The technology behind this application is disclosed in Korean Patent Publication No. 10-1705228.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 자연스럽게 이루어지는 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력할 수 있는 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법을 제공하려는 것을 목적으로 한다.This application is intended to solve the problems of the prior art described above, and is capable of receiving naturally occurring conversations as input and automatically inputting electronic documents in that format through fields (questions) automatically extracted based on the form format of the electronic document. The purpose is to provide a format-based electronic document input device and method through conversation recognition.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges sought to be achieved by the embodiments of the present application are not limited to the technical challenges described above, and other technical challenges may exist.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계 및 상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계를 포함할 수 있다.As a technical means for achieving the above-described technical problem, a form-based electronic document input method through dialogue recognition according to an embodiment of the present application includes the steps of receiving a dialogue input associated with the creation of a predetermined electronic document, the electronic document It may include generating a field list including a plurality of entry items for completing the electronic document based on the format of and creating the electronic document from the conversation input based on the field list.

또한, 상기 전자문서를 작성하는 단계는, 상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 단계 및 상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 단계를 포함할 수 있다.Additionally, the step of creating the electronic document may include extracting field values corresponding to each of the entry items from the dialogue input and entering the extracted field values for each of the entry items.

또한, 상기 필드값을 추출하는 단계는, 상기 대화 입력에서 상기 기입 항목에 대응하여 기입될 내용을 포함하는 발화 부분을 상기 필드값으로 추출하는 것일 수 있다.Additionally, the step of extracting the field value may be extracting an utterance part containing content to be written corresponding to the entry item from the dialogue input as the field value.

또한, 상기 대화 입력을 수신하는 단계는, 질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력 또는 응답자에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신할 수 있다.In addition, the step of receiving the conversation input may include receiving a first type conversation input performed by a plurality of subjects including the questioner and a respondent, or a second type conversation input performed by one subject corresponding to the respondent. there is.

또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하는 단계를 포함할 수 있다.In addition, the format-based electronic document input method through dialogue recognition according to an embodiment of the present application includes the step of classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent. It can be included.

또한, 상기 필드값을 추출하는 단계는, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출할 수 있다.In addition, the step of extracting the field value includes searching for a part corresponding to the entry item from the questioner's utterance, and searching for the corresponding entry item in the respondent's utterance adjacent within a predetermined level to the questioner's utterance containing the searched entry item. The field value to be written correspondingly can be extracted.

또한, 상기 필드값을 추출하는 단계는, 상기 필드값이 추출된 상기 응답자 발화에 대하여 후속하는 상기 질문자 발화에서 기 추출된 상기 필드값에 상응하는 발화 부분이 재차 탐색되면, 상기 탐색된 발화 부분으로 상기 필드값을 갱신할 수 있다.In addition, in the step of extracting the field value, if an utterance part corresponding to the previously extracted field value is searched again in the interrogator utterance following the respondent utterance from which the field value was extracted, the searched utterance part The field value can be updated.

또한, 상기 필드값을 기입하는 단계는, 상기 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화하는 단계를 포함할 수 있다.Additionally, the step of writing the field value may include normalizing the extracted field value according to the properties of the corresponding entry item.

또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 입력되는 중인 상기 전자문서를 형상화한 전자문서 인터페이스를 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시하는 단계를 포함할 수 있다.In addition, the form-based electronic document input method through conversation recognition according to an embodiment of the present application includes an electronic document interface that symbolizes the electronic document being input by using a first user terminal held by the questioner and a second user owned by the respondent. It may include displaying on at least one of the terminals.

또한, 상기 표시하는 단계는, 상기 전자문서 인터페이스에서 상기 필드값이 입력되는 중인 영역이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시할 수 있다.Additionally, in the displaying step, the area where the field value is being entered in the electronic document interface may be displayed to be highlighted for a predetermined period of time.

또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 입력이 완료된 상기 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하는 단계를 포함할 수 있다.In addition, the form-based electronic document input method through conversation recognition according to an embodiment of the present application forms the electronic document that has been input into at least one of the first user terminal held by the questioner and the second user terminal owned by the respondent. A step of displaying an electronic document confirmation interface may be included.

또한, 상기 전자문서 확인 인터페이스를 표시하는 단계는, 상기 전자문서 확인 인터페이스에서 상기 필드값이 미입력된 영역 또는 상기 필드값이 오입력된 영역이 구분되어 표시되도록 할 수 있다.In addition, the step of displaying the electronic document confirmation interface may cause an area in which the field value is not entered or an area in which the field value is entered incorrectly to be displayed separately in the electronic document confirmation interface.

한편, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치는, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 대화 수신부, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 리스트 생성부, 상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 필드값 추출부 및 상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 기입부를 포함할 수 있다.Meanwhile, a format-based electronic document input device through dialogue recognition according to an embodiment of the present application includes a dialogue receiver that receives dialogue input associated with the creation of a predetermined electronic document, and a format of the electronic document based on the format of the electronic document. A list generator for generating a field list including a plurality of entry items for completion, a field value extractor for extracting field values corresponding to each of the entry items from the dialog input, and the fields extracted for each of the entry items. It may include an entry section for entering values.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described means of solving the problem are merely illustrative and should not be construed as intended to limit the present application. In addition to the exemplary embodiments described above, additional embodiments may be present in the drawings and detailed description of the invention.

전술한 본원의 과제 해결 수단에 의하면, 자연스럽게 이루어지는 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력할 수 있는 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법을 제공할 수 있다.According to the above-described means of solving the problem of the present application, conversation recognition is performed by receiving naturally occurring conversations as input and automatically entering electronic documents of the corresponding format through fields (questions) automatically extracted based on the form format of the electronic document. A form-based electronic document input device and method can be provided.

전술한 본원의 과제 해결 수단에 의하면, 대화를 진행하는 사용자들이 직접 대면하지 않는 상태에서 문서를 작성해야 하는 경우, 손을 사용하기 어렵거나 다른 작업과 병행하여 문서를 작성해야 하는 경우 등 필기 기반, 텍스트 입력 기반의 방식으로는 문서의 작성이 어려운 상황에서도 자연스러운 대화를 통해 편리하게 전자문서를 작성할 수 있다.According to the above-described means of solving the problem of this institute, in cases where users conducting a conversation must write a document without face-to-face contact, when it is difficult to use their hands, or when a document must be written in parallel with other work, etc., handwriting-based Even in situations where it is difficult to create documents using text input-based methods, you can conveniently create electronic documents through natural conversation.

전술한 본원의 과제 해결 수단에 의하면, 시각 장애인, 손, 팔 등의 거동이 불편한 사람 등 종래의 방식으로 문서를 작성하기 어려운 사람도 쉽게 전자문서를 작성할 수 있다.According to the above-described means of solving the problem of this institute, even people who have difficulty writing documents in a conventional manner, such as visually impaired people and people with impaired movement of hands or arms, can easily create electronic documents.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects that can be obtained herein are not limited to the effects described above, and other effects may exist.

도 1은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치를 포함하는 전자문서 시스템의 개략적인 구성도이다.
도 2는 소정의 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.
도 3a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 대화 입력이 텍스트 타입의 지문으로 변환된 것을 나타낸 도면이다.
도 3b는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 지문화된 대화 입력이 질문자 발화 및 응답자 발화로 분류되는 것을 나타낸 도면이다.
도 3c는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다.
도 3d는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 미포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 필드 리스트 내의 기입 항목에 각각에 대응하여 추출된 필드값 및 추출된 필드값의 정규화 결과를 나타낸 도표이다.
도 5a는 질문자가 작성하고자 하는 전자문서에 대한 필드 리스트를 확인하면서 응답자와 대화를 수행하는 본원의 일 실시예를 설명하기 위한 개념도이다.
도 5b는 대화 입력에 포함된 발화 각각을 스크립트 방식으로 형상화한 전자문서 인터페이스를 예시적으로 나타낸 도면이다.
도 5c는 하나의 전자문서가 시간의 흐름에 따라 분할된 복수의 대화 입력을 기초로 입력되는 본원의 일 실시예를 설명하기 위한 개념도이다.
도 6a 및 도 6b는 전자문서 인터페이스에서 필드값이 입력되는 중인 영역이 하이라이트 되도록 표시되는 것을 설명하기 위한 도면이다.
도 7은 체크박스 타입에 해당하는 복수의 기입 항목에 대한 동시 기입 처리 또는 일괄 기입 처리를 설명하기 위한 도면이다.
도 8은 응답자에 해당하는 하나의 주체에 의해 수행되는 대화 입력을 기초로 소정의 전자문서를 입력하는 본원의 일 실시예에 따른 전자문서 시스템의 개략적인 구성도이다.
도 9a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 하나의 주체에 의해 수행되는 대화 입력에 기초한 텍스트 타입의 지문 변환 및 해당 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.
도 9b는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.
도 9c는 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.
도 10a 내지 도 10c는 복수의 질문자를 포함하거나 복수의 응답자를 포함하는 등 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서가 생성되는 본원의 일 실시예를 설명하기 위한 도면이다.
도 11은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치의 개략적인 구성도이다.
도 12는 본원의 일 실시예에 따른 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 동작 흐름도이다.1 is a schematic configuration diagram of an electronic document system including a form-based electronic document input device through dialogue recognition according to an embodiment of the present application.
Figure 2 is a conceptual diagram for explaining the creation of a field list including a plurality of entry items based on the format of a predetermined electronic document.
FIG. 3A is a diagram showing a conversation input received by a form-based electronic document input device through conversation recognition according to an embodiment of the present application converted into a text-type fingerprint.
Figure 3b is a diagram showing that fingerprinted conversation input is classified into questioner's utterance and respondent's utterance by a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
FIG. 3C illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input including speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose.
FIG. 3D illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input without speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose.
Figure 4 is a table showing the extracted field values corresponding to each entry item in the field list and the normalization results of the extracted field values.
FIG. 5A is a conceptual diagram illustrating an embodiment of the present application in which a questioner conducts a conversation with a respondent while checking a field list for an electronic document that the questioner wants to write.
Figure 5b is a diagram illustrating an electronic document interface in which each utterance included in a conversation input is symbolized in a script manner.
FIG. 5C is a conceptual diagram illustrating an embodiment of the present application in which one electronic document is input based on a plurality of conversation inputs divided over time.
FIGS. 6A and 6B are diagrams for explaining that an area where field values are being input is displayed in an electronic document interface to be highlighted.
Figure 7 is a diagram for explaining simultaneous writing processing or batch writing processing for a plurality of writing items corresponding to the check box type.
Figure 8 is a schematic configuration diagram of an electronic document system according to an embodiment of the present application that inputs a predetermined electronic document based on a conversation input performed by a subject corresponding to the respondent.
FIG. 9A shows the conversion of a text-type fingerprint based on a conversation input performed by one subject received by a format-based electronic document input device through conversation recognition according to an embodiment of the present application, and a plurality of fingerprints based on the format of the corresponding electronic document. This is a conceptual diagram to explain creating a field list containing entry items.
FIG. 9B is a diagram illustrating how an electronic document interface symbolizing an electronic document being input is displayed on a user terminal.
FIG. 9C is a diagram illustrating how an electronic document confirmation interface symbolizing an inputted electronic document is displayed on a user terminal.
10A to 10C are diagrams for explaining an embodiment of the present application in which a single electronic document or multiple electronic documents are created in a conversation situation including multiple speakers, such as multiple questioners or multiple respondents.
Figure 11 is a schematic configuration diagram of a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
Figure 12 is an operation flowchart of a form-based electronic document input method through dialogue recognition according to an embodiment of the present application.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present application will be described in detail so that those skilled in the art can easily implement them. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly explain the present application in the drawings, parts that are not related to the description are omitted, and similar reference numerals are assigned to similar parts throughout the specification.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is said to be “connected” to another part, this means not only “directly connected” but also “electrically connected” or “indirectly connected” with another element in between. "Includes cases where it is.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is said to be located “on”, “above”, “at the top”, “below”, “at the bottom”, or “at the bottom” of another member, this means that a member is located on another member. This includes not only cases where they are in contact, but also cases where another member exists between two members.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification of the present application, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components unless specifically stated to the contrary.

도 1은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치를 포함하는 전자문서 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of an electronic document system including a form-based electronic document input device through dialogue recognition according to an embodiment of the present application.

도 1을 참조하면, 본원의 일 실시예에 따른 전자문서 시스템(10)은 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)(이하, '전자문서 입력 장치(100)'라 한다.)를 포함할 수 있다. 또한, 후술하는 도 10a를 참조하면, 전자문서 시스템(10)은 제1사용자 단말(200) 및 제2사용자 단말(300)을 포함할 수 있다. 본원의 일 실시예에 따른 전자문서 시스템(10)은 전자문서 입력 장치(100)를 통하여(또는, 본원의 구현예에 따라 전자문서 입력 장치(100)와 사용자 단말(200, 300)의 상호 작용을 통하여) 전자문서를 작성하고, 작성된 전자문서를 제공(표시)할 수 있는 시스템을 의미할 수 있다. 본원의 구현예에 따라, 전자문서 입력 장치(100)는 사용자 단말(200, 300)과 동일한 서버 또는 장치일 수 있다.Referring to FIG. 1, the electronic document system 10 according to an embodiment of the present application includes a form-based electronic document input device 100 through conversation recognition (hereinafter referred to as the 'electronic document input device 100'). It can be included. Additionally, referring to FIG. 10A described later, the electronic document system 10 may include a first user terminal 200 and a second user terminal 300. The electronic document system 10 according to an embodiment of the present application uses the electronic document input device 100 (or interaction between the electronic document input device 100 and the user terminals 200 and 300 according to the implementation example of the present application). It can refer to a system that can create electronic documents and provide (display) the written electronic documents. According to the implementation example of the present application, the electronic document input device 100 may be the same server or device as the user terminals 200 and 300.

전자문서 입력 장치(100), 제1사용자 단말(200) 및 제2사용자 단말(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The electronic document input device 100, the first user terminal 200, and the second user terminal 300 may communicate with each other through the network 20. The network 20 refers to a connection structure that allows information exchange between nodes such as terminals and servers. Examples of such networks 20 include the 3rd Generation Partnership Project (3GPP) network, Long Term Evolution) network, 5G network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area) Network), wifi network, Bluetooth network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc., but are not limited thereto.

제1사용자 단말(200) 및 제2사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 특히, 제1사용자 단말(200) 및 제2사용자 단말(300)은, 스마트 스피커(Smart Speaker), 스마트 카(Smart Car), 스마트 가전(Smart Appliances), 웨어러블 장치(Wearable Device) 증강현실기기 (VR/MR) 등 새롭게 생겨나는 각종 통신기술을 이용한 다양한 음향기기, 구동기기 등을 포함할 수 있다.The first user terminal 200 and the second user terminal 300 are, for example, smart phones, smart pads, tablet PCs, etc., and PCS (Personal Communication System) and GSM (Global System for Mobile communication) , PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple) Access), Wibro (Wireless Broadband Internet) terminal, etc. can be any type of wireless communication device. In particular, the first user terminal 200 and the second user terminal 300 are smart speakers, smart cars, smart appliances, wearable devices, and augmented reality devices ( It can include various audio devices and driving devices using various newly emerging communication technologies such as VR/MR).

본원의 실시예에 관한 설명에서 제1사용자 단말(200)은 질문자(A)가 보유한 사용자 단말을 지칭하는 것일 수 있다. 또한, 본원의 실시예에 관한 설명에서 제2사용자 단말(300)은 응답자(B)가 보유한 사용자 단말을 지칭하는 것일 수 있다. 본원의 일 실시예에 따른 전자문서 시스템(10)은 제1사용자 단말(200) 및 제2사용자 단말(300) 모두를 포함하거나 제1사용자 단말(200) 및 제2사용자 단말(300) 중 어느 하나만을 포함하도록 구현될 수 있다.In the description of the embodiment of the present application, the first user terminal 200 may refer to the user terminal owned by the questioner (A). Additionally, in the description of the embodiment of the present application, the second user terminal 300 may refer to a user terminal owned by the respondent (B). The electronic document system 10 according to an embodiment of the present application includes both the first user terminal 200 and the second user terminal 300, or any of the first user terminal 200 and the second user terminal 300. It can be implemented to include only one.

예를 들어, 질문자(A)가 관공서, 은행, 증권사, 통신사 등에 근무하는 공무원 또는 직원이고 응답자(B)가 해당 관공서, 은행, 증권사, 통신사 등에 방문한 민원인 또는 고객인 경우, 질문자(A)가 보유한 제1사용자 단말(200)을 통해 획득된 질문자(A)와 응답자(B)의 대화 입력이 전자문서 입력 장치(100)로 전달되어 전자문서 입력 장치(100)가 수신한 대화 입력에 기초하여 소정의 전자문서를 작성하는 것일 수 있다.For example, if the questioner (A) is a public official or employee working at a government office, bank, securities company, telecommunication company, etc., and the respondent (B) is a civil servant or customer who visited the relevant government office, bank, securities company, telecommunication company, etc., the information held by the questioner (A) The conversation input between the questioner (A) and the respondent (B) obtained through the first user terminal 200 is transmitted to the electronic document input device 100, and the electronic document input device 100 makes a predetermined decision based on the conversation input received. It may be writing an electronic document.

다른 예로, 질문자(A)와 응답자(B)가 원격에서 대화(예를 들면, 전화 상황 등)하는 경우, 원격의 대화를 위하여 질문자(A) 측 제1사용자 단말(200) 및 응답자(B) 측 제2사용자 단말(300)이 모두 구비되어 제1사용자 단말(200) 및 제2사용자 단말(300)을 통해 획득된 질문자(A)와 응답자(B)의 대화 입력이 전자문서 입력 장치(100)로 전달되어 전자문서 입력 장치(100)가 수신한 대화 입력에 기초하여 소정의 전자문서를 작성하는 것일 수 있다.As another example, when the questioner (A) and the respondent (B) are having a conversation remotely (e.g., in a phone situation, etc.), the first user terminal 200 on the questioner (A) side and the respondent (B) are used for the remote conversation. Both second user terminals 300 are provided on the side, and the conversation input between the questioner (A) and the respondent (B) obtained through the first user terminal 200 and the second user terminal 300 is transmitted through the electronic document input device 100. ) and may create a predetermined electronic document based on the dialogue input received by the electronic document input device 100.

또 다른 예로, 별도의 질문자(A)가 존재하지 않고, 응답자(B)가 제2사용자 단말(300)을 통해 응답자(B) 혼자 발화하는 형태의 대화 입력을 전자문서 입력 장치(100)에 전달(인가)하고, 전자문서 입력 장치(100)가 제2사용자 단말(300)을 통해 획득된 대화 입력을 기초로 하여 소정의 전자문서를 작성하는 것일 수 있다.As another example, there is no separate questioner (A), and the respondent (B) transmits a conversation input in the form of speech by the respondent (B) alone to the electronic document input device 100 through the second user terminal 300. (authorization), the electronic document input device 100 may create a predetermined electronic document based on the conversation input obtained through the second user terminal 300.

또한, 실시예에 따라, 제1사용자 단말(200) 또는 제2사용자 단말(300)은 전자문서 입력 장치(100)가 작성 중인 전자문서 또는 작성이 완료된 전자문서를 표시하기 위한 디스플레이를 포함할 수 있다.Additionally, depending on the embodiment, the first user terminal 200 or the second user terminal 300 may include a display for displaying an electronic document being written by the electronic document input device 100 or an electronic document that has been completed. there is.

이와 관련하여, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 제1사용자 단말(200) 또는 제2사용자 단말(300)이 디스플레이를 포함하는 경우, 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시함으로써 질문자(A)와 응답자(B) 또는 단일 응답자(B)가 실시간으로 대화 입력에 의한 전자문서 작성(기입) 상황을 확인하도록 구현될 수 있다. 여기서, 실시간으로 대화 입력에 의한 전자문서 작성 상황을 확인한다는 것은 전자문서 입력 장치(100)가 사용자 단말(200, 300)에 마련된 디스플레이 화면을 통해 작성 중인 전자문서에 대한 시각적인 피드백을 제공하는 것으로 이해될 수 있다.In this regard, when the first user terminal 200 or the second user terminal 300 includes a display, the electronic document input device 100 according to an embodiment of the present application displays an electronic document in the shape of the electronic document being input. By displaying the document interface on at least one of the first user terminal and the second user terminal owned by the respondent, the questioner (A) and the respondent (B) or a single respondent (B) create (write) an electronic document through real-time conversation input. It can be implemented to check the situation. Here, checking the status of electronic document creation through dialogue input in real time means that the electronic document input device 100 provides visual feedback on the electronic document being written through the display screen provided in the user terminal 200, 300. It can be understood.

본원의 일 실시예에 따르면, 질문자(A)는 제1사용자 단말(200)의 화면을 통해서, 응답자(B)는 제2사용자 단말(300)의 화면을 통해서 개별적으로 작성중인 전자문서를 형상화한 전자문서 인터페이스를 확인할 수 있는 멀티 스크린 환경에서 대화 및 전자문서 작성이 수행되는 것일 수 있다.According to an embodiment of the present application, the questioner (A) images the electronic document being individually written through the screen of the first user terminal 200, and the respondent (B) uses the screen of the second user terminal 300. Conversations and electronic document creation may be performed in a multi-screen environment where the electronic document interface can be viewed.

또한, 본원의 구현예에 따라, 제1사용자 단말(200) 또는 제2사용자 단말(300)이 전자문서 인터페이스를 표시할 수 있는 디스플레이를 포함하는 경우라도 질문자(A) 또는 응답자(B)가 사용자 단말의 디스플레이를 확인할 수 없는 상황에 놓인 경우(예를 들어, 스마트폰 등의 사용자 단말의 메인 화면에 다른 어플리케이션이 실행되어야 하는 경우, 다른 작업을 병행하는 경우 등)에는 입력되는 중인 전자문서에 대한 인터페이스 표시는 생략하되, 소정의 전자문서에 대한 작성이 완료된 후 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하고, 전자문서 확인 인터페이스를 통해 오입력된 기입 항목이나 미입력된 기입 항목을 질문자(A) 또는 응답자(B)가 확인하고, 이러한 오입력 내지 미입력 항목을 사용자 단말(200, 300)을 통해 추후 보완하도록 구현될 수도 있다.In addition, according to the implementation example of the present application, even when the first user terminal 200 or the second user terminal 300 includes a display capable of displaying an electronic document interface, the questioner (A) or the respondent (B) If you are in a situation where you cannot check the display of the terminal (for example, when another application needs to be run on the main screen of the user terminal such as a smartphone, when performing other tasks in parallel, etc.), The display of the interface is omitted, but after the preparation of a certain electronic document is completed, an electronic document confirmation interface that symbolizes the electronic document that has been entered is displayed, and the interrogator can check incorrectly entered or unentered entries through the electronic document confirmation interface. It may be implemented so that (A) or the respondent (B) confirms, and these incorrectly entered or not entered items are later supplemented through the user terminals (200, 300).

도 2는 소정의 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.Figure 2 is a conceptual diagram for explaining the creation of a field list including a plurality of entry items based on the format of a predetermined electronic document.

도 2를 참조하면, 전자문서 입력 장치(100)는 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다. 달리 말해, 전자문서 입력 장치(100)는 기 생성된 전자문서 템플릿 내의 각각의 기입 항목에 해당하는 복수의 입력 컴포넌트를 추출하여 목록화할 수 있다.Referring to FIG. 2, the electronic document input device 100 may generate a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document. In other words, the electronic document input device 100 can extract and list a plurality of input components corresponding to each entry item in a previously created electronic document template.

또한, 전자문서 입력 장치(100)는 필드 리스트 내의 추출된 기입 항목 각각에 대한 순서를 결정할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 필드 리스트 내의 복수의 기입 항목들의 순서에 기초하여 후술하는 전자문서 인터페이스(입력되는 중인 전자문서가 형상화된 인터페이스)에서 소정의 기입 항목에 대한 필드값이 입력되면 결정된 기입 항목들 간의 순서에 기초하여 해당 기입 항목의 다음 순서에 해당하는 기입 항목이 하이라이트 되도록 표시(활성화 표시)되도록 동작할 수 있다.Additionally, the electronic document input device 100 can determine the order of each extracted entry item in the field list. In this regard, the electronic document input device 100 determines the field value for a predetermined entry item in the electronic document interface (an interface in which the electronic document being input is shaped) to be described later based on the order of the plurality of entry items in the field list. When input, the entry item corresponding to the next order of the entry item may be displayed (activated) to be highlighted based on the determined order of entry items.

또한, 도 2를 참조하면, 전자문서 입력 장치(100)는 사용자(질문자 및 응답자 또는 단일 응답자)가 작성하려는 전자문서의 서식(1)의 유형에 기초하여, 사용자의 발화로부터 전자문서의 완성을 위한 데이터를 수집하기 위하여 필요한 기입 항목 각각에 연계되는 질문 형태의 필드 리스트를 생성할 수 있다.In addition, referring to FIG. 2, the electronic document input device 100 completes the electronic document from the user's utterance based on the type of electronic document format (1) that the user (questioner and respondent or single respondent) wants to write. In order to collect data, you can create a field list in the form of a question linked to each required entry item.

예시적으로, 도 2를 참조하면, 전자문서의 서식(1)이 통신사에서 제공하는 소정의 서비스를 가입하기 위한 신청서 양식에 해당하는 경우, 전자문서 입력 장치(100)는 신청서 양식으로부터 기입 항목인 신청 서비스명, 신청자 전화번호, 신청자 생년월일, 신청자 성명, 신청자 사용 모바일 기기 기종, 신청 일시, 서비스 개통 시간 등을 확인하기 위한 질문 형태의 필드 리스트(List)를 생성할 수 있다. 예를 들어, 필드 리스트(List) 내의 질문은 '신청자 전화번호는?'과 같이 해당 전자문서의 서식(1)의 기입 항목(필드명, 필드, Field)을 질문 내에 포함하는 직접적인 형식을 가질 수 있으나, 이에만 한정되는 것은 아니다.Illustratively, referring to FIG. 2, when the electronic document format 1 corresponds to an application form for subscribing to a predetermined service provided by a telecommunication company, the electronic document input device 100 enters the entry items from the application form. You can create a list of fields in the form of questions to check the application service name, applicant phone number, applicant date of birth, applicant name, mobile device model used by the applicant, application date and time, service opening time, etc. For example, a question in a field list can have a direct format that includes the entry items (field name, field, field) of the form (1) of the corresponding electronic document within the question, such as 'What is the applicant's phone number?' However, it is not limited to this.

전자문서 입력 장치(100)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다. 예를 들어, 전자문서 입력 장치(100)는 제1사용자 단말(200) 또는 제2사용자 단말(300)에 마련된 음성 입력 수신 모듈(예를 들어, 마이크 모듈 등)에 의해 획득된 대화 입력을 제1사용자 단말(200) 또는 제2사용자 단말(300)로부터 획득하는 것일 수 있다.The electronic document input device 100 can receive conversation input associated with the creation of a predetermined electronic document. For example, the electronic document input device 100 provides conversation input obtained by a voice input reception module (e.g., microphone module, etc.) provided in the first user terminal 200 or the second user terminal 300. It may be obtained from the first user terminal 200 or the second user terminal 300.

또한, 전자문서 입력 장치(100)는 생성된 필드 리스트에 기초하여 전자문서 입력 장치(100)에 수신된 대화 입력으로부터 전자문서를 작성할 수 있다.Additionally, the electronic document input device 100 can create an electronic document from dialogue input received by the electronic document input device 100 based on the generated field list.

구체적으로, 전자문서 입력 장치(100)는 수신된 대화 입력으로부터 생성된 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다. 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 수신된 대화 입력 및 미리 생성된 필드 리스트에 기초하여 필드 리스트 내의 기입 항목 각각에 대응되는 발화를 대화 입력으로부터 추출하기 위한 인공지능 알고리즘을 탑재할 수 있다. 예를 들어, 전자문서 입력 장치(100)에 탑재되는 인공지능 알고리즘은 스스로 문서를 분석하고 질문에 대한 최적의 답을 찾도록 미리 학습된 기계 독해(Machine Reading Comprehension, MRC) 알고리즘과 연계된 것일 수 있다.Specifically, the electronic document input device 100 can extract field values corresponding to each entry item in the field list generated from the received conversation input. According to an embodiment of the present application, the electronic document input device 100 uses an artificial intelligence algorithm to extract from the dialogue input an utterance corresponding to each entry item in the field list based on the received dialogue input and a pre-generated field list. It can be mounted. For example, the artificial intelligence algorithm mounted on the electronic document input device 100 may be linked to a machine reading comprehension (MRC) algorithm that has been previously learned to analyze documents on its own and find optimal answers to questions. there is.

이와 관련하여, 전자문서 입력 장치(100)는 수신된 대화 입력을 문서 형태로 지문화하여 기계 독해 알고리즘에 제공하고, 작성하려는 전자문서의 서식(1)에 대하여 미리 생성된 질문 형태의 복수의 기입 항목을 포함하는 필드 리스트를 기계 독해 알고리즘에 입력함으로써 지문화된 대화 입력으로부터 기입 항목에 대응하는 발화 부분(달리 말해, 필드 리스트의 질문에 대한 답변에 해당하는 발화 부분)을 필드값으로 추출하여 전자문서의 서식(1)을 완성해나갈 수 있다.In this regard, the electronic document input device 100 fingerprints the received conversation input in the form of a document and provides it to the machine reading algorithm, and enters a plurality of entries in the form of pre-generated questions regarding the format 1 of the electronic document to be created. By inputting the field list containing the items into the machine reading algorithm, the utterance part corresponding to the entered item (in other words, the utterance part corresponding to the answer to the question in the field list) from the fingerprinted conversation input is extracted as a field value and electronically You can complete the document format (1).

달리 말해, 전자문서 입력 장치(100)가 대화 입력으로부터 필드값을 추출하는 것은, 전자문서 입력 장치(100)가 수신된 대화 입력에서 기입 항목 각각에 대응하여 기입될 내용을 포함하는 발화 부분을 추출하는 것으로 이해될 수 있다.In other words, the electronic document input device 100 extracting a field value from a conversation input means that the electronic document input device 100 extracts a speech portion containing the content to be written corresponding to each entry item from the received conversation input. It can be understood as doing so.

또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 동등한 의미를 내포하는 발화로부터 하나의 기입 항목을 인식하기 위한 동의어 인식 알고리즘을 구비할 수 있다.Additionally, according to an embodiment of the present application, the electronic document input device 100 may be equipped with a synonym recognition algorithm for recognizing one entry item from an utterance containing equivalent meaning.

또한, 전자문서 입력 장치(100)는 전자문서의 서식의 기입 항목에 해당하는 부분(영역)에 추출된 필드값을 필드 리스트 내의 기입 항목 각각에 대하여 기입할 수 있다.Additionally, the electronic document input device 100 can enter the extracted field value into the portion (area) corresponding to the entry item in the form of the electronic document for each entry item in the field list.

구체적으로, 전자문서 입력 장치(100)는 질문자(A) 및 응답자(B)를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력 또는 응답자(B)에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신할 수 있다.Specifically, the electronic document input device 100 is capable of inputting a type 1 conversation performed by a plurality of subjects including the questioner (A) and the respondent (B) or by a single subject corresponding to the respondent (B). A second type conversation input can be received.

이하에서는, 먼저 전자문서 입력 장치(100)가 복수의 주체에 의해 수행된 제1타입 대화 입력으로부터 전자문서를 작성하는 실시예에 관하여 설명한 다음, 전자문서 입력 장치(100)가 하나의 주체에 의해 수행된 제2타입 대화 입력으로부터 전자문서를 작성하는 실시예에 관하여 서술하고, 도 10a 내지 도 10c를 참조하여 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서를 작성하는 실시예에 관하여 후술하도록 한다.Hereinafter, an embodiment in which the electronic document input device 100 creates an electronic document from a first type conversation input performed by a plurality of subjects will first be described, and then the electronic document input device 100 creates an electronic document from a first type conversation input performed by a plurality of subjects. An embodiment of creating an electronic document from a performed second type conversation input will be described, and with reference to FIGS. 10A to 10C, an embodiment of creating a single electronic document or multiple electronic documents in a conversation situation including multiple speakers will be described. This will be described later.

전자문서 입력 장치(100)는 질문자(A) 및 응답자(B)를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신할 수 있다. 본원의 일 실시예에 따르면, 제1타입 대화 입력을 통한 전자문서 입력 실시예는, 병원에서의 치료 컨설팅, 보험 가입 후 확인 전화, 전화 주문 혹은 예약 상황 등 전자문서의 완성을 위하여 획득해야 하는 정보의 유형이 정해져 있고, 해당 정보를 획득하기 위하여 주로 질문 혹은 가이드를 제공하는 질문자(A)와 주로 답변을 하는 응답자(B)가 구분되는 전자문서 서식(폼, 템플릿)에 적합할 수 있으나, 이에만 한정되는 것은 아니다.The electronic document input device 100 may receive a first type conversation input performed by a plurality of subjects including a questioner (A) and a respondent (B). According to one embodiment of the present application, the embodiment of electronic document input through type 1 conversation input includes information that must be obtained to complete the electronic document, such as treatment consulting at the hospital, confirmation call after signing up for insurance, phone order, or reservation status. It may be suitable for an electronic document format (form, template) in which the type is determined and the questioner (A), who mainly provides questions or guidance to obtain the relevant information, and the respondent (B), who mainly provides answers, are distinguished. It is not limited to this.

도 3a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 대화 입력이 텍스트 타입의 지문으로 변환된 것을 나타낸 도면이다.FIG. 3A is a diagram showing a conversation input received by a form-based electronic document input device through conversation recognition according to an embodiment of the present application converted into a text-type fingerprint.

도 3a를 참조하면, 전자문서 입력 장치(100)는 수신된 제1타입 대화 입력을 텍스트 타입의 지문으로 변환할 수 있다. 즉, 전자문서 입력 장치(100)는 수신된 대화 입력을 지문화할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 당해 기술 분야에서 널리 알려진 적어도 하나의 음성 인식 알고리즘 또는 텍스트 형식으로의 변환을 위한 STT(Speech-To-Text) 기법을 활용하는 것일 수 있다. 참고로, 전자문서 입력 장치(100)가 수신된 대화 입력을 텍스트 타입의 지문으로 변환하는 프로세스는 후술하는 단일 응답자(B)에 의한 제2타입 대화 입력이 수신되는 경우에도 동일하게 수행될 수 있다.Referring to FIG. 3A, the electronic document input device 100 can convert the received first type conversation input into a text type fingerprint. That is, the electronic document input device 100 can fingerprint the received conversation input. In this regard, the electronic document input device 100 may utilize at least one voice recognition algorithm widely known in the art or a Speech-To-Text (STT) technique for conversion into text format. For reference, the process of converting the conversation input received by the electronic document input device 100 into a text-type fingerprint can be performed in the same way even when a second type conversation input is received by a single respondent (B), which will be described later. .

도 3b는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 지문화된 대화 입력이 질문자 발화 및 응답자 발화로 분류되는 것을 나타낸 도면이다.Figure 3b is a diagram showing that fingerprinted conversation input is classified into questioner's utterance and respondent's utterance by a form-based electronic document input device through conversation recognition according to an embodiment of the present application.

도 3b를 참조하면, 전자문서 입력 장치(100)는 제1타입 대화 입력을 질문자(A)에 의해 수행된 질문자 발화(도 3b를 참조하면, "A:" 으로 표시된 발화 부분) 및 응답자(B)에 의해 수행된 응답자 발화(도 3b를 참조하면, "B:" 으로 표시된 발화 부분)로 분류할 수 있다. 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 질문자 발화 및 응답자 발화의 구분을 위한 화자 식별(Speaker Identification) 알고리즘을 구비할 수 있다.Referring to FIG. 3B, the electronic document input device 100 inputs the first type of conversation into an interrogator utterance performed by the interrogator (A) (referring to FIG. 3b, the utterance portion indicated by “A:”) and the respondent (B). ) can be classified into respondent utterances performed by (referring to Figure 3b, the utterance portion marked "B:"). According to an embodiment of the present application, the electronic document input device 100 may be equipped with a speaker identification algorithm to distinguish between the questioner's utterance and the respondent's utterance.

도 3c는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다. 참고로, 도 3c은, 지문화된 대화 입력에서 추출된 기입 항목을 볼드체로 표시하고, 기입 항목에 대응하여 추출된 필드값에 밑줄 표시하여 나타낸 것일 수 있다.FIG. 3C illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input including speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose. For reference, FIG. 3C may be shown by displaying entry items extracted from fingerprinted conversation input in bold and underlining field values extracted corresponding to the entry items.

도 3c를 참조하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 기입 항목에 해당하는 부분을 질문자 발화로부터 탐색할 수 있다. 또한, 전자문서 입력 장치(100)는 탐색된 기입 항목이 포함된 질문자 발화에 대하여 소정 수준 이내로 인접한 응답자 발화에서 해당 기입 항목에 대응하여 기입될 필드값을 추출할 수 있다.Referring to FIG. 3C, the electronic document input device 100 according to an embodiment of the present application can search for a part corresponding to an entry item from the interrogator's utterance. Additionally, the electronic document input device 100 can extract a field value to be entered corresponding to the entry item from the respondent utterance adjacent to the questioner's utterance containing the searched entry item within a predetermined level.

또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 필드값이 추출된 응답자 발화에 대하여 후속하는 질문자 발화 또는 응답자 발화에서 기 추출된 필드값에 상응하는 발화 부분이 재차 탐색되면, 탐색된 발화 부분으로 필드값을 갱신할 수 있다. 달리 말해, 이미 선행된 질문자 발화 또는 응답자 발화를 통해 필드값이 추출된 기입 항목에 대하여도 질문자(A)가 해당 필드값의 내용을 응답자(B)로부터 재차 정확하게 확인하는 재질문 과정에서 올바르게 갱신되도록 함으로써 오입력된 필드값이 정정될 수 있다. 즉, 응답자(B)가 필드값을 명확하게 발화하지 않은 경우, 질문자(A)가 재발화 또는 재질문을 진행하면 올바른 필드값이 입력될 수 있다.In addition, according to an embodiment of the present application, when the electronic document input device 100 searches again for an utterance portion corresponding to a previously extracted field value in a questioner's utterance or respondent utterance that follows the respondent's utterance from which a field value was extracted, Field values can be updated with the searched utterance part. In other words, even for entry items whose field values have already been extracted through previous questioner's utterance or respondent's utterance, the questioner (A) ensures that the content of the field value is correctly updated during the re-questioning process where the respondent (B) accurately confirms the contents of the field value again. By doing so, incorrectly entered field values can be corrected. In other words, if the respondent (B) does not clearly utter the field value, the correct field value can be entered if the questioner (A) re-utters or repeats the question.

도 3d는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 미포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다. 참고로, 도 3d은, 지문화된 대화 입력에서 추출된 기입 항목을 볼드체로 표시하고, 기입 항목에 대응하여 추출된 필드값에 밑줄 표시하여 나타낸 것일 수 있다FIG. 3D illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input without speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose. For reference, Figure 3d may show entry items extracted from fingerprinted conversation input in bold and field values extracted corresponding to the entry items underlined.

도 3d를 참조하면, 전자문서 입력 장치(100)는 지문화된 대화 입력이 응답자 발화 및 질문자 발화로 구분되지 않더라도 전체 발화로부터 기입 항목에 해당하는 부분을 탐색하고, 탐색된 기입 항목에 해당하는 부분과 인접하여 발화된 필드값을 추출할 수 있다.Referring to FIG. 3D, the electronic document input device 100 searches for the part corresponding to the entry item from the entire utterance even if the fingerprinted conversation input is not divided into the respondent utterance and the questioner utterance, and selects the part corresponding to the searched entry item. The field value uttered adjacent to can be extracted.

예를 들어, 전자문서 입력 장치(100)는 응답자(B)가 '신청자 이름은 홍길동입니다'와 같이 기입 항목을 스스로 언급한 발화 또는 질문자(A)가 '신청자 성함이 홍길동이라고 말씀해주신 것이 맞나요'와 같이 응답자(B)의 발화를 확인하는 과정에서 기입 항목이 포함된 발화 등에서 기입 항목에 해당하는 부분(전술한 예시에서 '신청자 이름', '신청자 성함' 등)을 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 발화 및 해당 발화와 소정 수준 이내로 인접한 발화 중 적어도 하나의 발화에서 해당 기입 항목에 대응하여 기입될 필드값(전술한 예시에서 '홍길동')을 추출할 수 있다.For example, the electronic document input device 100 may be used in an utterance in which the respondent (B) mentions the entry item himself, such as 'The applicant's name is Hong Gil-dong,' or in an utterance in which the questioner (A) says, 'Is it correct that you said that the applicant's name is Hong Gil-dong?' In the process of checking the respondent (B)'s utterance, the part corresponding to the entry item ('applicant name', 'applicant name', etc. in the above example) is searched from the utterance in the utterance containing the entry item, etc. A field value to be written in response to the entry item ('Hong Gil-dong' in the above example) can be extracted from at least one utterance among the utterance containing the entry item and the utterance adjacent to the corresponding utterance within a predetermined level.

종합하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 도 3b 및 도 3c에 도시된 바와 같이 대화 입력을 응답자 발화 및 질문자 발화를 분류하는 기능을 구비함으로써 응답자 발화와 질문자 발화로 구분되는 분류 결과를 고려하여 기입 항목을 탐색하고 대응하는 필드값을 추출하거나 도 3d에 도시된 바와 같이 대화 입력에 포함된 발화 각각을 수행한 주체를 구분(분류)하는 기능을 구비하지 않더라도 발화 전체로부터 기입 항목을 탐색하고 대응하는 필드값을 추출함으로써 전자문서를 작성하도록 동작할 수 있다.In summary, the electronic document input device 100 according to an embodiment of the present application has a function for classifying conversation input into respondent speech and questioner speech, as shown in FIGS. 3B and 3C, thereby dividing it into respondent speech and questioner speech. Even if it does not have a function to search entry items and extract corresponding field values by considering the classification results, or to distinguish (classify) the subject who performed each utterance included in the conversation input as shown in Figure 3d, It can be operated to create an electronic document by searching entry items and extracting corresponding field values.

도 4는 필드 리스트 내의 기입 항목에 각각에 대응하여 추출된 필드값 및 추출된 필드값의 정규화 결과를 나타낸 도표이다.Figure 4 is a table showing the extracted field values corresponding to each entry item in the field list and the normalization results of the extracted field values.

도 4를 참조하면, 전자문서 입력 장치(100)는 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)가 추출하는 필드값은 전자문서 기입 항목에 대하여 입력될 내용과 함께 정제되지 않은 발화 일부가 포함될 수 있으며, 이는 최종적으로 전자문서 입력 장치(100)에 의해 정규화되어 전자문서 기입 항목에 기입될 수 있다.Referring to FIG. 4, the electronic document input device 100 can normalize the extracted field values according to the properties of the corresponding entry item. In this regard, the field value extracted by the electronic document input device 100 may include some unrefined speech along with the content to be entered for the electronic document entry item, which is ultimately processed by the electronic document input device 100. It can be normalized and entered into electronic document entries.

예를 들어, 전자문서 입력 장치(100)는, 추출된 필드값에서 조사에 해당하는 분절을 제거하는 프로세스를 수행할 수 있다.For example, the electronic document input device 100 may perform a process of removing a segment corresponding to a postposition from the extracted field value.

또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는, 필드값에 대한 형태소 분석 결과에 기초하여 필드값에서 탐지된 실질 형태소를 변환하는 정규화 프로세스(예를 들어, 탐지된 실질 형태소가 '텍스트 타입'의 기입 항목에 대한 것인 경우, 탐지된 실질 형태소에 '-ㅁ' 또는 '-음' 등을 결합하여 명사 형태로 변환하거나, 탐지된 실질 형태소가 '날짜 타입'의 기입 항목에 대한 것인 경우, 탐지된 실질 형태소를 날짜 형식(예를 들면, 년-월-일 꼴)으로 변환하거나, 해당 기입 항목의 형식이 콤보박스, 체크박스, 라디오 버튼 등 탐지된 실질 형태소 자체를 기입하기에 적절치 못한 경우 레벤슈타인 편집 거리 알고리즘에 기초하여, 탐지된 실질 형태소에 포함된 내용과 가장 근접한 콤보박스, 체크박스, 라디오 버튼을 선택하는 프로세스) 등을 수행할 수 있다.In addition, according to an embodiment of the present application, the electronic document input device 100 performs a normalization process (e.g., the detected actual morpheme If it is for a 'text type' entry, convert it to a noun form by combining '-ㅁ' or '-um' with the detected substantive morpheme, or the detected substantive morpheme is a 'date type' entry. If it is about, convert the detected actual morpheme into a date format (for example, year-month-day format), or the format of the entry item is the detected actual morpheme itself, such as a combo box, check box, or radio button. If it is not appropriate to write, a process of selecting the combo box, check box, or radio button that is closest to the content contained in the detected actual morpheme (based on the Levenstein edit distance algorithm) can be performed.

예를 들어, 도 4를 참조하면, 전자문서 입력 장치(100)는 '날짜 타입'의 기입 항목인 신청날짜에 대하여 추출된 필드값이 '2019년 12월 06일'인 경우, 추출된 필드값을 날짜 형식에 부합하는 '2019-12-06'으로 정규화할 수 있다.For example, referring to FIG. 4, when the extracted field value for the application date, which is an entry item of 'date type', is 'December 06, 2019', the electronic document input device 100 extracts the extracted field value can be normalized to '2019-12-06', which matches the date format.

또한, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.In addition, the electronic document input device 100 has an electronic document interface symbolizing the electronic document being input among the first user terminal 200 owned by the questioner (A) and the second user terminal 300 owned by the respondent (B). You can mark at least one.

도 5a는 질문자가 작성하고자 하는 전자문서에 대한 필드 리스트를 확인하면서 응답자와 대화를 수행하는 본원의 일 실시예를 설명하기 위한 개념도이다.FIG. 5A is a conceptual diagram illustrating an embodiment of the present application in which a questioner conducts a conversation with a respondent while checking a field list for an electronic document that the questioner wants to write.

도 5b를 참조하면, 본원의 일 실시예에 따르면, 질문자(A)가 전자문서 입력 장치(100)(다른 예로, 질문자(A)가 보유한 제1사용자 단말(200) 등)에 표시되는 전자문서 인터페이스에 나타나는 필드 리스트를 확인하면서 응답자(B)에게 적절한 응답을 유도하기 위한 질문을 제공할 수 있도록 전자문서 입력 장치(100) 또는 제1사용자 단말(200)은 작성중인 전자문서의 서식에 기초하여 기 생성된 필드 리스트를 표시(출력)할 수 있다. 이에 따라, 질문자(A)는 전자문서의 완성을 위하여 필요한 정보를 응답자(B)가 제공하도록 필드 리스트를 참조하여 질문을 함으로써 적절하게 대화를 이끌어 나갈 수 있다.Referring to FIG. 5B, according to an embodiment of the present application, the questioner (A) displays an electronic document displayed on the electronic document input device 100 (as another example, the first user terminal 200 owned by the questioner (A), etc.) The electronic document input device 100 or the first user terminal 200 checks the field list appearing on the interface and provides questions to induce an appropriate response to the respondent (B) based on the format of the electronic document being written. You can display (print) a list of previously created fields. Accordingly, the questioner (A) can appropriately lead the conversation by asking questions by referring to the field list so that the respondent (B) provides the information necessary to complete the electronic document.

도 5b는 대화 입력에 포함된 발화 각각을 스크립트 방식으로 형상화한 전자문서 인터페이스를 예시적으로 나타낸 도면이다.Figure 5b is a diagram illustrating an electronic document interface in which each utterance included in a conversation input is symbolized in a script manner.

도 5b를 참조하면, 스크립트 방식(예시적으로, Dialog flow 방식으로 달리 지칭될 수 있다.)으로 표시된 전자문서 인터페이스는 질문자 발화와 응답자 발화를 구분하여 표시할 수 있다. 예를 들어, 스크립트 방식으로 표시된 전자문서 인터페이스는 질문자 발화는 상대적으로 상측(하측)에 배치되도록 형상화하고 응답자 발화는 상대적으로 하측(상측)에 배치되도록 형상화할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 실시간 표시되는 스크립트 방식의 전자문서 인터페이스는 시간의 흐름에 따라 현재 입력되는 중인 발화와 해당 발화 이전에 수신된 발화를 구분하여 표시하도록 형상화될 수 있다.Referring to FIG. 5B, the electronic document interface displayed in a script manner (example, may be alternatively referred to as a dialogue flow manner) can display the questioner's utterance and the respondent's utterance separately. For example, an electronic document interface displayed in a script format may be configured so that the questioner's utterances are placed relatively at the top (lower side) and the respondent's utterances are placed relatively at the bottom (upper side), but is not limited to this. As another example, a script-based electronic document interface that is displayed in real time may be configured to display the currently input utterance separately from the utterance received before the utterance according to the passage of time.

도 5c는 하나의 전자문서가 시간의 흐름에 따라 분할된 복수의 대화 입력을 기초로 입력되는 본원의 일 실시예를 설명하기 위한 개념도이다.FIG. 5C is a conceptual diagram illustrating an embodiment of the present application in which one electronic document is input based on a plurality of conversation inputs divided over time.

도 5c를 참조하면, 전자문서 입력 장치(100)는 수신된 대화 입력 또는 수신된 대화 입력에 기초하여 지문화된 대화 입력을 시간에 흐름에 따라 분할된 복수의 대화 입력으로 분할하고, 분할된 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작할 수 있다.Referring to FIG. 5C, the electronic document input device 100 divides the received dialogue input or the fingerprinted dialogue input based on the received dialogue input into a plurality of dialogue inputs divided over time, and the divided plurality It can be operated to fill in different areas within one electronic document format based on each conversation input.

예를 들어, 질문자(A)와 응답자(B) 사이의 대화 입력을 실시간으로 수신하여 수신된 대화 입력에 기초하여 전자문서가 작성되는 경우, 전자문서 입력 장치(100)는 대화 중지(정지)를 위한 사용자 입력을 수신할 수 있고, 대화 중지(정지)를 위한 사용자 입력이 수신되면, 이후 시점에 인가되는 대화 입력은 전자문서 작성에 활용되지 않도록 비활성화(Pause)할 수 있다. 그 상태에서 전자문서 입력 장치(100)는 대화 재개를 위한 사용자 입력을 수신할 수 있고, 대화 재개를 위한 사용자 입력이 수신되면, 이후 시점에 인가되는 대화 입력은 재차 전자문서 작성에 활용되도록 활성화(Play)될 수 있다. 구체적으로, 도 5c를 참조하면, 예를 들어 한 쌍의 대화 중지(정지)를 위한 사용자 입력 및 대화 재개를 위한 사용자 입력이 인가됨으로써(도 5c의 ) 전제 대화 입력이 Dialog 1 내지 Dialog 3으로 분할될 수 있다.For example, when the conversation input between the questioner (A) and the respondent (B) is received in real time and an electronic document is created based on the received conversation input, the electronic document input device 100 stops (stops) the conversation. When a user input for stopping a conversation is received, the conversation input applied at a later time can be disabled (Pause) so that it is not used for creating an electronic document. In that state, the electronic document input device 100 can receive a user input for resuming a conversation, and when a user input for resuming a conversation is received, the conversation input applied at a later time can be activated (activated) to be used again for creating an electronic document. Play) can be done. Specifically, referring to FIG. 5C, for example, a user input for stopping (pausing) a pair of conversations and a user input for resuming a conversation are applied (in FIG. 5C ) The premise dialogue input can be divided into Dialog 1 to Dialog 3.

달리 말해, 전자문서 입력 장치(100)는 하나의 전자문서에 대하여 대화(지문)을 여러 번 끊어서 반복적으로 입력할 수 있다. 즉, 전자문서 입력 장치(100)는 분할된 복수의 대화 입력에 기반한 전자문서 작성 기능을 구비할 수 있다.In other words, the electronic document input device 100 can repeatedly input one electronic document by interrupting the conversation (fingerprint) several times. That is, the electronic document input device 100 may be equipped with an electronic document creation function based on a plurality of segmented conversation inputs.

도 6a 및 도 6b는 전자문서 인터페이스에서 필드값이 입력되는 중인 영역이 하이라이트 되도록 표시되는 것을 설명하기 위한 도면이다.FIGS. 6A and 6B are diagrams for explaining that an area where field values are being input is displayed in an electronic document interface to be highlighted.

도 6a 및 도 6b를 참조하면, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스에서 필드값이 입력되는 중인 영역(필드값이 추출된 기입 항목 영역)이 하이라이트 되도록 표시할 수 있다. 도 5a 및 도 5b를 참조하면, 하이라이트 되도록 표시하는 것은 필드값이 입력되는 중인 영역에 해당하는 기입 칸이 굵은 테두리로 구분되게 강조되거나 다른 기입 칸과 구분되는 색상으로 표시되는 등 다양하게 구현될 수 있다.Referring to FIGS. 6A and 6B, the electronic document input device 100 displays the area where the field value is being input (the entry item area from which the field value is extracted) in the electronic document interface symbolizing the electronic document being input so that it is highlighted. can do. Referring to FIGS. 5A and 5B, displaying the highlight can be implemented in various ways, such as highlighting the entry field corresponding to the area where the field value is being entered by distinguishing it with a bold border or displaying it in a color that distinguishes it from other entry fields. there is.

예를 들어, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스에서 필드값이 입력되는 중인 영역(필드값이 추출된 기입 항목 영역)이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시할 수 있다.For example, the electronic document input device 100 allows the area where the field value is being input (the entry item area from which the field value is extracted) in the electronic document interface symbolizing the electronic document being input to be highlighted for a predetermined time. It can be displayed.

도 7은 체크박스 타입에 해당하는 복수의 기입 항목에 대한 동시 기입 처리 또는 일괄 기입 처리를 설명하기 위한 도면이다.Figure 7 is a diagram for explaining simultaneous writing processing or batch writing processing for a plurality of writing items corresponding to the check box type.

도 7을 참조하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 서식에서 요구하는 특성 사항에 대한 동의 여부 체크 등의 상황에서 활용되는 콤보박스, 체크박스, 라디오 버튼 등의 선택형 기입 항목에 대하여, 복수의 기입 항목에 대한 일괄 처리(그룹화 처리)를 수행할 수 있다.Referring to FIG. 7, the electronic document input device 100 according to an embodiment of the present application allows selective entry of combo boxes, check boxes, radio buttons, etc., which are used in situations such as checking whether to agree to the characteristics required in the form. For items, batch processing (grouping processing) can be performed on multiple entry items.

예를 들어, 가입 서비스와 연계된 이벤트 정보 수신과 관련하여 SMS, E-MAIL, 우편물 또는 전화 방식이 가능하고 각각에 대한 개별적인 동의 여부를 획득해야 하는 경우, 질문자(A)가 '이벤트 정보는 어떤 방법으로 받아보시겠어요? SMS, E-Mail, 우편, 전화 방법이 가능합니다'라는 질문자 발화를 하고 응답자(B)가 'SMS랑 이메일 할게요'라는 응답자 발화를 제공한 경우, 전자문서 입력 장치(100)는 미리 그룹화된 4가지 기입 항목에 대하여 일괄적으로 SMS 및 E-MAIL에 대하여는 '동의'를 기입하고, 우편물 및 전화에 대하여는 '미동의'를 기입하도록 동작할 수 있다. 이렇듯, 전자문서 입력 장치(100)는 필드 리스트 내의 각각의 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 보유하여 이를 기초로 복수의 기입 항목에 대한 일괄 기입 처리를 수행할 수 있다.For example, in relation to receiving event information linked to a subscription service, SMS, E-MAIL, postal mail, or phone methods are possible, and individual consent for each must be obtained. If the questioner (A) asks, 'What is the event information? Would you like to receive it this way? When the questioner utters ‘SMS, E-Mail, mail, and phone methods are possible’ and the respondent (B) provides the respondent utterance ‘I will use SMS and email’, the electronic document input device 100 is pre-grouped 4 It can be operated to collectively enter 'agree' for SMS and E-MAIL, and 'disagree' for mail and phone calls. In this way, the electronic document input device 100 holds preset hierarchical structure information or grouping information for each entry item in the field list and can perform batch entry processing for a plurality of entry items based on this.

도 8은 응답자에 해당하는 하나의 주체에 의해 수행되는 대화 입력을 기초로 소정의 전자문서를 입력하는 본원의 일 실시예에 따른 전자문서 시스템의 개략적인 구성도이다.Figure 8 is a schematic configuration diagram of an electronic document system according to an embodiment of the present application that inputs a predetermined electronic document based on a conversation input performed by a subject corresponding to the respondent.

도 8을 참조하면, 응답자(B)에 해당하는 하나의 주체에 의해 수행되는 제2타입 대화 입력을 기초로 전자문서를 작성하는 실시예는, 체크 리스트, 일지 등 비교적 정형화된 형식 내에서 반복적인 정보를 제공함으로써 입력되고, 응답자(B)가 전자문서의 완성을 위하여 어떠한 정보를 입력(제공)해야 하는지 비교적 정확하게 인지하고 상황 또는 전자문서 작성과 함께 다른 작업을 병행해야 하는 상황 등 문서를 텍스트 입력 등을 통해 작성하는 것 보다 음성 발화로 작성하는 것이 편리한 상황 등에 유리할 수 있다.Referring to FIG. 8, the embodiment of creating an electronic document based on a second type conversation input performed by a subject corresponding to the respondent (B) is a repetitive document within a relatively standardized format such as a checklist or diary. It is entered by providing information, and the respondent (B) recognizes relatively accurately what information needs to be entered (provided) to complete the electronic document and enters the document as text, such as in situations where other tasks must be performed simultaneously with the creation of the electronic document. It may be advantageous in situations where it is convenient to write by voice rather than by writing, etc.

도 9a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 하나의 주체에 의해 수행되는 대화 입력에 기초한 텍스트 타입의 지문 변환 및 해당 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.FIG. 9A shows the conversion of a text-type fingerprint based on a conversation input performed by one subject received by a format-based electronic document input device through conversation recognition according to an embodiment of the present application, and a plurality of fingerprints based on the format of the corresponding electronic document. This is a conceptual diagram to explain creating a field list containing entry items.

도 9a를 참조하면, 전자문서 입력 장치(100)는 제2타입 대화 입력에 기초하여 전자문서를 작성할 수 있도록 하는 소정 유형의 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다. 본원의 일 실시예에 따르면, 제2타입 대화 입력(a)에 기초하여 전자문서를 작성하고자 하는 사용자(응답자)는 생성된 필드 리스트(질문 리스트, (b))를 고려하여 기입 항목에 대한 발화 부분 및 기입 항목에 대한 발화 부분에 후속하며 해당 기입 항목에 대응되는 필드값을 포함하는 발화 부분을 반복하여 발화함으로써 전자문서를 작성할 수 있다. 본원의 일 실시예에 따르면, 사용자(응답자)가 혼자 발화하는 상황에서의 전자문서 작성(달리 말해, 제2타입 대화 입력에 기초한 전자문서 작성) 프로세스가 원활히 수행되도록 전자문서 입력 장치(100)는 생성된 필드 리스트(질문 리스트)가 전자문서 입력 장치(100) 또는 제2사용자 단말(300)에 표시되도록 할 수 있다.Referring to FIG. 9A, the electronic document input device 100 includes a plurality of entry items for completing an electronic document based on the format of a predetermined type of electronic document that allows the electronic document to be created based on a second type conversation input. You can create a list of fields that include. According to an embodiment of the present application, a user (respondent) who wants to write an electronic document based on the second type conversation input (a) utters the entry item in consideration of the generated field list (question list, (b)). An electronic document can be created by repeatedly uttering the utterance part that follows the utterance part for the part and entry item and includes the field value corresponding to the entry item. According to an embodiment of the present application, the electronic document input device 100 is used to smoothly perform the process of creating an electronic document (in other words, creating an electronic document based on type 2 conversation input) in a situation where the user (respondent) speaks alone. The generated field list (question list) can be displayed on the electronic document input device 100 or the second user terminal 300.

도 9b는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.FIG. 9B is a diagram illustrating how an electronic document interface symbolizing an electronic document being input is displayed on a user terminal.

도 9b를 참조하면, 응답자(B)의 제2사용자 단말(300)의 화면에는 전자문서 인터페이스가 도 9b의 (a)에 도시된 필드 목록 방식으로 표시되거나, 도 9b의 (b)에 도시된 문서 템플릿 방식으로 표시되거나, 도 9b의 (c)에 도시된 스크립트 방식(예시적으로, Dialog flow 방식으로 달리 지칭될 수 있다.)으로 표시될 수 있다. 예를 들어, 필드 목록 방식은 미리 정의된 기입 항목(참고로, 본원의 실시예에 관한 설명에서 기입 항목은 입력 컴포넌트, 필드명, 필드 등으로 달리 지칭될 수 있다.) 및 해당 기입 항목에 대하여 전자문서에 입력된 정규화된 필드값이 요약된 형태로 표시되는 것을 의미할 수 있다. 또한, 문서 템플릿 방식은 미리 정의된 전자문서 서식(폼, 템플릿) 상에 정규화된 필드값이 해당 위치에 기입된 형태로 표시되는 것을 의미할 수 있다. 또한, 스크립트 방식은 응답자 발화(a1, a2 등)에 대한 식별 결과에 기초하여 대화 입력이 지문화되어 표시되는 것을 의미할 수 있다. 본원의 일 실시예에 따르면, 응답자(B)가 제2사용자 단말(300)의 화면을 확인하면서 실시간으로 전자문서를 작성하는 경우, 전자문서 입력 장치(100)는 제2사용자 단말(300)에 인가된 사용자 입력에 기초하여 전자문서 인터페이스의 표시 방식을 전술한 필드 목록 방식, 문서 템플릿 방식 및 스크립트 방식 중 어느 하나로 전환하도록 동작할 수 있다. 또한, 전자문서 입력 장치(100)는 제2사용자 단말(300)에 인가된 사용자 입력에 기초하여 기본으로 표시되는 표시 방식을 결정하거나 일부 표시 방식은 표출되지 않도록 하는 설정을 세팅할 수 있다.Referring to FIG. 9B, on the screen of the second user terminal 300 of the respondent (B), the electronic document interface is displayed in the field list format shown in (a) of FIG. 9B or as shown in (b) of FIG. 9B. It may be displayed in a document template format, or in a script format (example, which may be referred to as a dialog flow format) as shown in (c) of FIG. 9B. For example, the field list method is a predefined entry item (for reference, in the description of the embodiments of the present application, the entry item may be referred to differently as an input component, field name, field, etc.) and the entry item This may mean that normalized field values entered into an electronic document are displayed in summarized form. Additionally, the document template method may mean that normalized field values are displayed in a predefined electronic document format (form, template) written at the corresponding location. Additionally, the script method may mean that the dialogue input is fingerprinted and displayed based on the identification result of the respondent's utterance (a1, a2, etc.). According to an embodiment of the present application, when the respondent (B) writes an electronic document in real time while checking the screen of the second user terminal 300, the electronic document input device 100 is connected to the second user terminal 300. Based on the authorized user input, the display method of the electronic document interface may be switched to one of the above-described field list method, document template method, and script method. Additionally, the electronic document input device 100 may determine a default display method based on the user input applied to the second user terminal 300 or set a setting to prevent some display methods from being displayed.

도 9c는 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.FIG. 9C is a diagram illustrating how an electronic document confirmation interface symbolizing an inputted electronic document is displayed on a user terminal.

도 9c를 참조하면, 전자문서 확인 인터페이스에는 오류가 발생한 필드가 강조(예를 들면, 빨간색 폰트로 표시되거나 느낌표 아이콘 등의 식별 표지가 표출)될 수 있다. 또한, 전자문서 입력 장치(100)는 해당 전자문서 작성에 활용된 대화 입력을 기입 항목 각각에 대응하도록 분할된 부분 발화 데이터를 생성할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 전자문서 확인 인터페이스에서 소정의 기입 항목을 선택하는 사용자 입력을 사용자 단말(200, 300)을 통해 수신하고, 선택된 기입 항목에 대하여 매칭되어 생성된 부분 발화 데이터를 사용자(응답자 또는 질문자)가 확인하여 사후적으로 수정할 수 있도록 부분 발화 데이터를 음성 형태 또는 스크립트 형태로 제공할 수 있다. 또한, 도 9c를 참조하면, 예를 들어, 음성 형태의 부분 발화 데이터가 재생되는 경우, 사용자 단말(200, 300)의 화면에는 재생 시간 정보, 재생 바 등을 포함하는 음성 재생 인터페이스(REC)가 표출될 수 있다. 또한, 도 9c를 참조하면, 스크립트 형태의 부분 발화 데이터가 표시되는 경우, 해당 기입 항목에서 요구하는 조건을 미충족하여 오입력으로 판단된 발화 부분이 강조 표시(예를 들어, 도 9를 참조하면, 빨간색 폰트로 표시)될 수 있다.Referring to FIG. 9C, in the electronic document confirmation interface, fields in which errors occur may be highlighted (for example, displayed in red font or with an identification mark such as an exclamation mark icon). Additionally, the electronic document input device 100 may generate partial speech data divided so that the dialogue input used to create the corresponding electronic document corresponds to each entry item. In this regard, the electronic document input device 100 receives a user input for selecting a predetermined entry item in the electronic document confirmation interface through the user terminals 200 and 300, and generates a partial utterance by matching the selected entry item. Partial speech data can be provided in audio or script form so that the user (respondent or questioner) can check the data and modify it later. In addition, referring to FIG. 9C, for example, when partial speech data in the form of voice is played, a voice playback interface (REC) including playback time information, a playback bar, etc. is displayed on the screen of the user terminals 200 and 300. can be expressed. In addition, referring to FIG. 9C, when partial speech data in the form of a script is displayed, the part of the speech that is judged to be an incorrect input because it does not meet the conditions required by the corresponding entry item is highlighted (for example, referring to FIG. 9, displayed in red font).

도 10a 내지 도 10c는 복수의 질문자를 포함하거나 복수의 응답자를 포함하는 등 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서가 생성되는 본원의 일 실시예를 설명하기 위한 도면이다.10A to 10C are diagrams for explaining an embodiment of the present application in which a single electronic document or multiple electronic documents are created in a conversation situation including multiple speakers, such as multiple questioners or multiple respondents.

구체적으로, 도 10a는 단일 질문자(A)와 복수의 응답자(B)를 포함하는 대화 상황을 나타낸 것이고, 도 10b는 복수의 질문자(A)와 단일 응답자(B)를 포함하는 대화 상황을 나타낸 것이고, 도 10c는 복수의 질문자(A) 및 복수의 응답자(B)를 포함하는 대화 상황을 나타낸 것이다.Specifically, Figure 10a shows a conversation situation including a single questioner (A) and multiple respondents (B), and Figure 10b shows a conversation situation including multiple questioners (A) and a single respondent (B). , Figure 10c shows a conversation situation including a plurality of questioners (A) and a plurality of respondents (B).

또한, 본원의 일 실시예에 따르면, 도 10a 내지 도 10c를 통해 설명하는 다수 발화자를 포함하는 대화 상황 각각은 발화 참여자의 수에 따라 복수의 서로 다른 전자문서가 생성(복수 문서 생성 유형)되거나 발화 참여자 전체의 대화를 종합하여 하나의 단일한 전자문서가 생성(단일 문서 생성 유형)되는 것일 수 있다.In addition, according to an embodiment of the present application, in each conversation situation including multiple speakers illustrated through FIGS. 10A to 10C, a plurality of different electronic documents are generated (multiple document creation type) or utterances are generated depending on the number of conversation participants. A single electronic document may be created by combining the conversations of all participants (single document creation type).

도 10a를 참조하면, 전자문서 입력 장치(100)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300)과 연계된 것일 수 있다. 예를 들어, 제1사용자 단말(200) 및 제2사용자 단말(300)은 발화자(응답자 및 질문자)의 음성 입력(대화 입력)을 수신하기 위한 음성 수신 모듈을 포함할 수 있으며, 실시예에 따라 입력되는 중인 전자문서 인터페이스를 표시하거나 입력이 완료된 전자문서 확인 인터페이스를 표시하는 디스플레이 모듈을 포함할 수 있다. 또한, 본원의 구현예에 따라 제1사용자 단말(200) 또는 제2사용자 단말(300)은 발화자의 상황, 대화 환경 등에 따라 일부 구비되지 않을 수 있다. 또한, 도 10a와 같이 복수의 응답자(B)를 포함하는 경우에도 응답자(B) 각각이 모두 제2사용자 단말(300)을 구비할 필요는 없다. 설명의 편의를 위하여 도 10b 및 도 10c에서는 제1사용자 단말(200) 및 제2사용자 단말(300)의 도시를 생략하였다.Referring to FIG. 10A, the electronic document input device 100 may be linked to the first user terminal 200 owned by the questioner (A) and the second user terminal 300 owned by the respondent (B). For example, the first user terminal 200 and the second user terminal 300 may include a voice reception module for receiving voice input (dialogue input) from a speaker (respondent and questioner), depending on the embodiment. It may include a display module that displays an interface for an electronic document being input or a confirmation interface for an electronic document whose input has been completed. In addition, according to the implementation example of the present application, the first user terminal 200 or the second user terminal 300 may not be partially equipped depending on the speaker's situation, conversation environment, etc. In addition, even when a plurality of responders (B) are included as shown in FIG. 10A, it is not necessary for each of the responders (B) to be equipped with the second user terminal 300. For convenience of explanation, the first user terminal 200 and the second user terminal 300 are omitted in FIGS. 10B and 10C.

참고로, 이하에서 설명하는 다수 발화자를 포함하는 대화 상황과 연계된 전자문서 작성 실시예는 질문자의 수를 Q로, 응답자의 수를 A로, 생성되는 전자문서의 수를 D로 간략하게 표현될 수 있다. 예들 들어, 앞서 상세히 서술한 한 명의 질문자(A)와 한 명의 응답자(B)의 대화 입력을 기초로 하나의 전자문서를 생성하는 실시예는 1Q/1A/1D 와 같이 표현될 수 있다.For reference, the embodiment of creating an electronic document associated with a conversation situation including multiple speakers described below will be briefly expressed as Q for the number of questioners, A for the number of respondents, and D for the number of generated electronic documents. You can. For example, the embodiment of generating one electronic document based on the conversation input of one questioner (A) and one respondent (B) described in detail above can be expressed as 1Q/1A/1D.

도 10a를 참조하면, 예시적으로 전자문서 입력 장치(100)는 한 명의 질문자(A)가 복수의 응답자(B)에게 동일한 질문을 동시에 질의하고 복수의 응답자(B) 중 적어도 일부 인원 또는 전체 인원이 해당 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, Focus Group Interview 의견 수렴 폼 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(1Q/nA/1D).Referring to FIG. 10A, the electronic document input device 100 illustratively allows one questioner (A) to simultaneously ask the same question to a plurality of respondents (B) and at least some or all of the plurality of respondents (B). One electronic document can be created (generated) based on the conversation input received in a conversation situation that provides an answer to this inquiry (for example, Focus Group Interview opinion collection form, etc.) (1Q/ n A/1D).

다른 예로, 전자문서 입력 장치(100)는 한 명의 질문자(A)가 동일한 질문을 복수의 응답자(B)에게 질의하고, 응답자(B)들이 연속적으로 각자 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, Focus Group Interview 등)에서 수신된 대화 입력에 기초하여 응답자(B)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(1Q/nA/nD).As another example, the electronic document input device 100 is used in a conversation situation in which one questioner (A) asks the same question to a plurality of respondents (B), and the respondents (B) continuously provide answers to each question. Based on the dialogue input received from (e.g., Focus Group Interview, etc.), the number of electronic documents corresponding to the number of respondents (B) can be created (1Q/ n A/ n D).

또한, 도 10b를 참조하면, 예를 들어, 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 한 명의 응답자(B)에게 질의하고, 응답자(B)가 각각의 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 면접 상황 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(mQ/1A/1D).In addition, referring to FIG. 10b, for example, the electronic document input device 100 allows a plurality of questioners (A) to ask different questions to one respondent (B), and the respondent (B) answers each question. An electronic document can be created (created) based on conversation input received in a conversation situation (e.g., interview situation, etc.) that provides an answer ( m Q/1A/1D).

다른 예로, 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 한 명의 응답자(B)에게 질의하고, 응답자(B)가 각각의 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 면접 내용 정리 폼 등)에서 수신된 대화 입력에 기초하여 복수의 질문자(A) 각각에 대하여 서로 다른 폼을 사용한 질문자(A)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(mQ/1A/mD).As another example, the electronic document input device 100 is used in a conversation situation in which a plurality of questioners (A) ask different questions to one respondent (B), and the respondent (B) provides answers to each question. Based on the conversation input received from the interview content summary form, etc., a number of electronic documents corresponding to the number of questioners (A) using different forms are created for each of the plurality of questioners (A). ) can be done ( m Q/1A/ m D).

또한, 도 10c를 참조하면, 예시적으로 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 질의하고, 복수의 응답자(B) 중 일부 인원 또는 전제 인원이 각각의 질문에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 토론 상황을 정리하기 위한 목적으로 여러 명의 답변을 취합하여 작성되는 폼 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(mQ/nA/1D).In addition, referring to FIG. 10C, the electronic document input device 100 illustratively allows a plurality of questioners (A) to ask different questions, and some or all of the plurality of respondents (B) answer each question. Creating (creating) an electronic document based on the conversation input received in a conversation situation that provides an answer (for example, a form created by collecting the answers of several people for the purpose of organizing the discussion situation) It can be done ( m Q/ n A/1D).

다른 예로, 전자문서 입력 장치(100)는 복수의 질문자(A)가 응답자 그룹에게 서로 다른 질문을 질의하고, 응답자 그룹 내의 복수의 응답자(B) 중 적어도 일부 인원 또는 전체 인원이 답변을 제공하는 형태의 대화 상황에서 질문자 별로 서로 다른 폼을 사용하여 질문자 각각의 질문에 대한 대답을 기반으로 하여 전자문서를 작성(생성)할 수 있다(mQ/nA/mD). 이와 관련하여, 전자문서 입력 장치(100)는 앞서 설명한 mQ/1A/mD 형태의 대화가 병렬적으로 여러 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다. 또한, 전자문서 입력 장치(100)는 앞서 설명한 1Q/nA/1D 형태의 대화가 병렬적으로 여러 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다.As another example, the electronic document input device 100 is configured in such a way that a plurality of questioners (A) ask different questions to a group of respondents, and at least some or all of the plurality of respondents (B) in the respondent group provide answers. In a conversation situation, a different form can be used for each questioner to create (create) an electronic document based on the answers to each questioner ( m Q/ n A/ m D). In this regard, the electronic document input device 100 can create (generate) an electronic document in a conversation situation in which the m Q/1A/ m D type conversation described above is conducted in parallel for multiple respondents. . Additionally, the electronic document input device 100 can create (generate) an electronic document in a conversation situation in which the 1Q/ n A/1D type conversation described above is conducted in parallel for multiple respondents.

또한, 도 10c를 참조하면, 전자문서 입력 장치(100)는 복수의 질문자(A)가 응답자 그룹에게 서로 다른 질문을 질의하고, 응답자 그룹 내의 복수의 응답자(B) 각각이 연속적으로 답변을 제공하는 형태의 대화 상황에서 응답자(B)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(mQ/nA/nD). 이와 관련하여, 전자문서 입력 장치(100)는 앞서 설명한 mQ/1A/1D 형태의 대화가 병렬적으로 n 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다. 또한, 전자문서 입력 장치(100)는 앞서 설명한 1Q/nA/nD 형태의 대화가 독립적으로 m 명의 질문자에 의하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다.In addition, referring to FIG. 10c, the electronic document input device 100 is configured such that a plurality of questioners (A) ask different questions to a group of respondents, and each of a plurality of respondents (B) within the respondent group continuously provides answers. In a conversational situation, the number of electronic documents corresponding to the number of respondents (B) can be created ( m Q/ n A/ n D). In this regard, the electronic document input device 100 can create (generate) an electronic document in a conversation situation in which the m Q/1A/1D type conversation described above is conducted in parallel for n respondents. In addition, the electronic document input device 100 can write (generate) an electronic document in a conversation situation in which the 1Q/ n A/ n D type conversation described above is independently conducted by m questioners.

다만, 도 10a 내지 도 10c를 통해 설명한 것과 같이 다수 발화자를 포함하는 대화 상황에서 인가되는 대화 입력을 통해 전자문서를 작성하는 전자문서 입력 장치(100)는 별도로 질문자(A)와 응답자(B)의 구분없이 전체 대화 입력을 종합하여 전자문서를 작성하도록 동작할 수도 있다(Multiple Role).However, as explained with FIGS. 10A to 10C, the electronic document input device 100, which creates an electronic document through conversation input authorized in a conversation situation including multiple speakers, is separately used by the questioner (A) and the respondent (B). It can also be operated to create an electronic document by combining all conversation input without distinction (Multiple Role).

도 11은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치의 개략적인 구성도이다.Figure 11 is a schematic configuration diagram of a form-based electronic document input device through conversation recognition according to an embodiment of the present application.

도 11을 참조하면, 전자문서 입력 장치(100)는, 대화 수신부(110), 리스트 생성부(120), 필드값 추출부(130), 기입부(140) 및 표시부(150)를 포함할 수 있다.Referring to FIG. 11, the electronic document input device 100 may include a conversation reception unit 110, a list creation unit 120, a field value extraction unit 130, an entry unit 140, and a display unit 150. there is.

대화 수신부(110)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다. 또한, 대화 수신부(110)는 수신된 대화 입력을 지문화할 수 있다The conversation receiver 110 can receive conversation input associated with the creation of a certain electronic document. Additionally, the conversation receiver 110 can fingerprint the received conversation input.

리스트 생성부(120)는 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다.The list generator 120 may generate a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document.

필드값 추출부(130)는 수신된 대화 입력(또는 지문화된 대화 입력)으로부터 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다.The field value extractor 130 may extract field values corresponding to each entry item in the field list from the received conversation input (or fingerprinted conversation input).

기입부(140)는 필드 리스트 내의 기입 항목 각각에 대하여 추출된 필드값을 전자문서에 기입할 수 있다.The entry unit 140 may write the extracted field value for each entry item in the field list into the electronic document.

표시부(150)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.The display unit 150 displays an electronic document interface symbolizing the electronic document being input on at least one of the first user terminal 200 held by the questioner (A) and the second user terminal 300 held by the respondent (B). You can.

또한, 표시부(150)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시할 수 있다.In addition, the display unit 150 is an electronic document confirmation interface that represents an electronic document that has been entered into at least one of the first user terminal 200 held by the questioner (A) and the second user terminal 300 held by the respondent (B). can be displayed.

본원의 일 실시예에 따르면, 표시부(150)는 전자문서 확인 인터페이스에서 필드값이 미입력된 영역 또는 필드값이 오입력된 영역이 구분되어 표시되도록 할 수 있다.According to an embodiment of the present application, the display unit 150 may display areas in which field values are not entered or areas where incorrect field values are entered separately in the electronic document confirmation interface.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Below, we will briefly look at the operation flow of the present application based on the details described above.

도 12는 본원의 일 실시예에 따른 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 동작 흐름도이다.Figure 12 is an operation flowchart of a form-based electronic document input method through dialogue recognition according to an embodiment of the present application.

도 12에 도시된 대화 인식을 통한 서식 기반 전자문서 입력 방법은 앞서 설명된 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)에 대하여 설명된 내용은 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 설명에도 동일하게 적용될 수 있다.The format-based electronic document input method through conversation recognition shown in FIG. 12 can be performed by the form-based electronic document input device 100 through conversation recognition described above. Therefore, even if the content is omitted below, the content described with respect to the form-based electronic document input device 100 through conversation recognition can be equally applied to the description of the form-based electronic document input method through conversation recognition.

도 12를 참조하면, 단계 S11에서 대화 수신부(110)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다.Referring to FIG. 12, in step S11, the conversation receiver 110 may receive a conversation input associated with the creation of a predetermined electronic document.

다음으로, 단계 S12에서 대화 수신부(110)는 단계 S1110에서 수신된 대화 입력을 지문화할 수 있다.Next, in step S12, the conversation receiving unit 110 may fingerprint the conversation input received in step S1110.

다음으로, 단계 S113에서 리스트 생성부(120)는 전자문서의 서식(1)에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다.Next, in step S113, the list generator 120 may generate a field list including a plurality of entry items for completing the electronic document based on the electronic document format (1).

다음으로, 단계 S14에서 필드값 추출부(130)는 수신된 대화 입력(또는 지문화된 대화 입력)으로부터 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다.Next, in step S14, the field value extractor 130 may extract field values corresponding to each entry item in the field list from the received dialogue input (or fingerprinted dialogue input).

다음으로, 단계 S15에서 기입부(140)는 필드 리스트 내의 기입 항목 각각에 대하여 추출된 필드값을 정규화하여 전자문서에 기입할 수 있다.Next, in step S15, the entry unit 140 normalizes the extracted field values for each entry item in the field list and writes them into the electronic document.

다음으로, 단계 S16에서 표시부(150)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.Next, in step S16, the display unit 150 displays an electronic document interface symbolizing the electronic document being input by displaying the first user terminal 200 held by the questioner (A) and the second user terminal 300 held by the respondent (B). You can mark at least one of them.

또한, 단계 S16에서 표시부(150)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시할 수 있다.In addition, in step S16, the display unit 150 displays an electronic document that has been entered into at least one of the first user terminal 200 held by the questioner (A) and the second user terminal 300 held by the respondent (B). The document confirmation interface can be displayed.

상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S11 to S16 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present disclosure. Additionally, some steps may be omitted or the order between steps may be changed as needed.

본원의 일 실시 예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The format-based electronic document input method through conversation recognition according to an embodiment of the present application may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

또한, 전술한 대화 인식을 통한 서식 기반 전자문서 입력 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.Additionally, the format-based electronic document input method using dialogue recognition described above can also be implemented in the form of a computer program or application executed by a computer stored in a recording medium.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present application described above is for illustrative purposes, and those skilled in the art will understand that the present application can be easily modified into other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present application.

10: 전자문서 시스템
100: 대화 인식을 통한 서식 기반 전자문서 입력 장치
110: 대화 수신부
120: 리스트 생성부
130: 필드값 추출부
140: 기입부
150: 표시부
20: 네트워크
200: 제1사용자 단말
300: 제2사용자 단말10: Electronic document system
100: Form-based electronic document input device through conversation recognition
110: conversation receiver
120: List creation unit
130: Field value extraction unit
140: Entry section
150: display unit
20: Network
200: First user terminal
300: Second user terminal

Claims

전자문서 입력 장치에 의해 수행되는 대화 인식을 통한 서식 기반 전자문서 입력 방법에 있어서,
소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계;
상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계; 및
상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계,
를 포함하되,
상기 대화 입력을 수신하는 단계는,
질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신하는 것을 특징으로 하고,
상기 전자문서 입력 방법은,
상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하는 단계를 더 포함하고,
상기 필드 리스트를 생성하는 단계는,
상기 필드 리스트 내의 추출된 상기 복수의 기입 항목 각각에 대한 순서를 결정하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 단계;
상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 단계; 및
상기 필드값이 입력되면 결정된 상기 복수의 기입 항목 각각에 대한 순서에 기초하여 상기 필드값이 입력된 상기 소정의 기입 항목의 다음 순서에 해당하는 기입 항목이 활성화 표시하는 단계,
를 포함하되,
상기 필드값을 추출하는 단계는,
상기 질문자 발화 및 상기 응답자 발화로 분류된 상기 제1타입 대화 입력을 스크립트 방식으로 형상화하고, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 상기 스크립트 상에서 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출하고,
상기 대화 입력을 수신하는 단계는,
대화 중지를 위한 사용자 입력이 수신되면, 상기 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 상기 전자문서의 작성에 활용되지 않도록 비활성화되고, 상기 비활성화 상태에서 대화 재개를 위한 사용자 입력이 수신되면, 상기 대화 재개를 위한 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 재차 상기 전자문서의 작성에 활용되도록 활성화됨으로써 수신된 상기 대화 입력을 복수의 대화 입력으로 분할하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
분할된 상기 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
상기 필드 리스트 내의 각각의 선택형 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 기초로 복수의 선택형 기입 항목에 대한 일괄 기입 처리를 수행하는 것을 특징으로 하는 것인,
전자문서 입력 방법.In a form-based electronic document input method through conversation recognition performed by an electronic document input device,
Receiving a conversation input associated with the creation of a predetermined electronic document;
generating a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document; and
creating the electronic document from the dialogue input based on the field list;
Including,
The step of receiving the conversation input is,
Characterized by receiving a first type conversational input performed by a plurality of subjects including a questioner and a respondent,
The electronic document input method is,
further comprising classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent;
The step of creating the field list is,
Characterized in determining the order of each of the plurality of extracted entry items in the field list,
The step of creating the electronic document is,
extracting field values corresponding to each entry item from the dialogue input;
Entering the extracted field value for each entry item; and
When the field value is input, based on the determined order of each of the plurality of entry items, displaying the entry item corresponding to the next order of the predetermined entry item in which the field value is entered as active;
Including,
The step of extracting the field value is,
The first type dialogue input classified into the questioner utterance and the respondent utterance is shaped in a script manner, the part corresponding to the entry item is searched from the questioner utterance, and the questioner utterance including the searched entry item is searched for. Extracting the field value to be entered corresponding to the entry item from the respondent utterance adjacent to a predetermined level on the script,
The step of receiving the conversation input is,
When a user input to stop a conversation is received, the conversation input applied at a time after receiving the user input is deactivated so that it is not used to create the electronic document, and when a user input to resume the conversation is received in the deactivated state, the conversation Characterized by dividing the received dialogue input into a plurality of dialogue inputs by activating the dialogue input applied at a time after receiving the user input for resumption to be used again for creating the electronic document,
The step of creating the electronic document is,
Characterized in that it operates to fill in different areas within one electronic document format based on each of the plurality of divided conversation inputs,
The step of creating the electronic document is,
Characterized in that batch writing processing is performed on a plurality of selective entry items based on hierarchical structure information or grouping information preset for each optional entry item in the field list,
How to input electronic documents.

삭제delete

제1항에 있어서,
상기 필드값을 추출하는 단계는,
상기 대화 입력에서 상기 기입 항목에 대응하여 기입될 내용을 포함하는 발화 부분을 상기 필드값으로 추출하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of extracting the field value is,
An electronic document input method, wherein an utterance part containing content to be written corresponding to the entry item is extracted from the dialogue input as the field value.

제1항에 있어서,
상기 대화 입력을 수신하는 단계는,
응답자에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of receiving the conversation input is,
An electronic document input method that receives a second type conversation input performed by a subject corresponding to the respondent.

삭제delete

제1항에 있어서,
상기 필드값을 추출하는 단계는,
상기 필드값이 추출된 상기 응답자 발화에 대하여 후속하는 상기 질문자 발화에서 기 추출된 상기 필드값에 상응하는 발화 부분이 재차 탐색되면, 상기 탐색된 발화 부분으로 상기 필드값을 갱신하는 단계,
를 포함하는 것을 특징으로 하는, 전자문서 입력 방법.According to paragraph 1,
The step of extracting the field value is,
If an utterance part corresponding to the previously extracted field value is searched again in the interrogator utterance following the respondent utterance from which the field value was extracted, updating the field value with the searched utterance part;
An electronic document input method comprising:

제1항에 있어서,
상기 필드값을 기입하는 단계는,
상기 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화하는 단계,
를 포함하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of entering the field value is,
Normalizing the extracted field values according to the properties of the corresponding entry items,
An electronic document input method comprising:

제4항에 있어서,
입력되는 중인 상기 전자문서를 형상화한 전자문서 인터페이스를 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시하는 단계,
를 더 포함하는 것인, 전자문서 입력 방법.According to paragraph 4,
Displaying an electronic document interface symbolizing the electronic document being input on at least one of a first user terminal owned by the questioner and a second user terminal owned by the respondent;
An electronic document input method further comprising:

제9항에 있어서,
상기 표시하는 단계는,
상기 전자문서 인터페이스에서 상기 필드값이 입력되는 중인 영역이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시하는 것인, 전자문서 입력 방법.According to clause 9,
The steps indicated above are:
An electronic document input method, wherein the area where the field value is being input is displayed in the electronic document interface to be highlighted for a predetermined period of time.

제4항에 있어서,
상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 입력이 완료된 상기 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하는 단계를 더 포함하고,
상기 전자문서 확인 인터페이스를 표시하는 단계는,
상기 전자문서 확인 인터페이스에서 상기 필드값이 미입력된 영역 또는 상기 필드값이 오입력된 영역이 구분되어 표시되도록 하는 것인, 전자문서 입력 방법.According to paragraph 4,
It further includes the step of displaying an electronic document confirmation interface symbolizing the electronic document whose input has been completed on at least one of a first user terminal owned by the questioner and a second user terminal owned by the respondent,
The step of displaying the electronic document confirmation interface is,
An electronic document input method, wherein an area in which the field value is not entered or an area in which the field value is entered incorrectly is displayed separately in the electronic document confirmation interface.

대화 인식을 통한 서식 기반 전자문서 입력 장치에 있어서,
소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 대화 수신부;
상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 리스트 생성부;
상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 필드값 추출부; 및
상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 기입부,
를 포함하되,
상기 대화 수신부는,
질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신하고,
상기 전자문서 입력 장치는,
상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하고,
상기 리스트 생성부는,
상기 필드 리스트 내의 추출된 상기 복수의 기입 항목 각각에 대한 순서를 결정하고,
상기 전자문서 입력 장치는,
소정의 상기 기입 항목에 상기 필드값이 입력되면 결정된 상기 복수의 기입 항목 각각에 대한 순서에 기초하여 상기 필드값이 입력된 상기 소정의 기입 항목의 다음 순서에 해당하는 기입 항목이 활성화 표시하되,
상기 필드값 추출부는,
상기 질문자 발화 및 상기 응답자 발화로 분류된 상기 제1타입 대화 입력을 스크립트 방식으로 형상화하고, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 상기 스크립트 상에서 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출하고,
상기 대화 수신부는,
대화 중지를 위한 사용자 입력이 수신되면, 상기 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 상기 전자문서의 작성에 활용되지 않도록 비활성화되고, 상기 비활성화 상태에서 대화 재개를 위한 사용자 입력이 수신되면, 상기 대화 재개를 위한 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 재차 상기 전자문서의 작성에 활용되도록 활성화됨으로써 수신된 상기 대화 입력을 복수의 대화 입력으로 분할하고,
상기 전자문서 입력 장치는,
분할된 상기 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작하고,
상기 전자문서 입력 장치는,
상기 필드 리스트 내의 각각의 선택형 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 기초로 복수의 선택형 기입 항목에 대한 일괄 기입 처리를 수행하는 것인,
전자문서 입력 장치.In a form-based electronic document input device through conversation recognition,
a conversation receiver that receives conversation input associated with the creation of a predetermined electronic document;
a list generator that generates a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document;
a field value extractor that extracts field values corresponding to each entry item from the dialogue input; and
an entry unit for entering the field values extracted for each of the entry items;
Including,
The conversation receiver,
Receiving type 1 conversational input performed by a plurality of subjects including a questioner and a respondent;
The electronic document input device,
Classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent,
The list creation unit,
Determine an order for each of the plurality of extracted entry items in the field list,
The electronic document input device,
When the field value is entered into the predetermined entry item, based on the determined order of each of the plurality of entry items, the entry item corresponding to the next order of the predetermined entry item in which the field value was entered is activated and displayed,
The field value extractor,
The first type dialogue input classified into the questioner utterance and the respondent utterance is shaped in a script manner, the part corresponding to the entry item is searched from the questioner utterance, and the questioner utterance including the searched entry item is searched for. Extracting the field value to be entered corresponding to the entry item from the respondent utterance adjacent to a predetermined level on the script,
The conversation receiver,
When a user input to stop a conversation is received, the conversation input applied at a time after receiving the user input is deactivated so that it is not used to create the electronic document, and when a user input to resume the conversation is received in the deactivated state, the conversation The dialogue input applied at a time after receiving the user input for resumption is activated again to be used for creating the electronic document, thereby dividing the received dialogue input into a plurality of dialogue inputs,
The electronic document input device,
Operate to fill in different areas within one electronic document format based on each of the plurality of divided conversation inputs,
The electronic document input device,
Performing batch writing processing on a plurality of selective entry items based on hierarchical structure information or grouping information preset for each optional entry item in the field list,
Electronic document input device.