KR102581414B1 - Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document - Google Patents
Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document Download PDFInfo
- Publication number
- KR102581414B1 KR102581414B1 KR1020200025119A KR20200025119A KR102581414B1 KR 102581414 B1 KR102581414 B1 KR 102581414B1 KR 1020200025119 A KR1020200025119 A KR 1020200025119A KR 20200025119 A KR20200025119 A KR 20200025119A KR 102581414 B1 KR102581414 B1 KR 102581414B1
- Authority
- KR
- South Korea
- Prior art keywords
- electronic document
- input
- conversation
- utterance
- respondent
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012790 confirmation Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 30
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계 및 상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계를 포함할 수 있다.An apparatus and method for inputting a form-based electronic document through conversation recognition are disclosed. The method for inputting a form-based electronic document through conversation recognition according to an embodiment of the present application includes the steps of receiving a conversation input associated with the creation of a predetermined electronic document. , generating a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document, and creating the electronic document from the dialogue input based on the field list. You can.
Description
본원은 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법에 관한 것이다. 특히, 본원은 지문 형태의 자연스러운 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력하는 전자문서 시스템에 관한 것이다.This application relates to a form-based electronic document input device and method through conversation recognition. In particular, this application relates to an electronic document system that receives a natural conversation in the form of a fingerprint as input and automatically inputs an electronic document in the corresponding format through fields (questions) automatically extracted based on the form format of the electronic document.
일반적으로 업무 영역에서 다양한 양식의 문서가 발생하게 되고, 이러한 문서들은 종래에는 종이에 인쇄된 형태로 작성되었다면, 최근 다양한 문서들을 전자적인 형태로 생성하는 전자문서 및 전자서명 서비스가 도입되어 활용되고 있으며, 정부의 페이퍼리스(Paperless) 정책과 맞물려 급속한 성장 추세를 보이고 있다.In general, documents in various forms are generated in the business area, and while these documents were previously written in printed form on paper, electronic document and electronic signature services that generate various documents in electronic form have recently been introduced and utilized. , is showing a rapid growth trend in line with the government's paperless policy.
또한, 스마트 디바이스의 대중화에 따라 음성 기반 서비스를 이용하는 사용자 경험은 지속적으로 축적되어 왔다. 현재 음성 기반 서비스의 대부분은 개인의 일상 생활에 연계된 기능을 제공하고 있으며, 앞으로는 기업의 업무 영역에까지 확장될 것으로 예상된다.Additionally, with the popularization of smart devices, user experience using voice-based services has continued to accumulate. Currently, most voice-based services provide functions related to individuals' daily lives, and are expected to expand to corporate business areas in the future.
따라서, 음성 입력 등을 기초로 전자문서를 생성하는 기술 및 시스템이나 음성 입력 등을 기초로 전자 문서를 제어 및 관리할 수 있는 기술 및 시스템 개발의 필요성이 증대되고 있다.Accordingly, the need to develop technologies and systems for generating electronic documents based on voice input, etc., or for controlling and managing electronic documents based on voice input, etc., is increasing.
그러나, 현재까지의 음성을 통한 전자문서 작성 기술은 음성이 포함된 컨텐츠(영화, 온라인에 업로드된 동영상 등)에 대한 자막을 생성하거나 인터뷰 내용을 단순 받아쓰기 하는 등 음성 전체의 텍스트화(전사, Transcription)에만 편중되어 있었다.However, the technology to create electronic documents through voice to date is to convert the entire voice into text (transcription), such as generating subtitles for content containing voice (movies, videos uploaded online, etc.) or simply transcribing interview content. ) was concentrated only on
또한, 최근 들어 관공서, 은행, 증권사, 통신사 등의 주체들이 제공하는 민원, 금융거래, 통신 서비스 등의 서비스를 신청 또는 가입하거나 신규 회원으로 등록하는 등의 제반 상황에서 태블릿 등의 별도로 마련된 디바이스로 신청 또는 가입 시 작성이 필요한 문서를 전자적으로 표시하거나 태블릿과 연계된 터치펜 등의 입력 수단을 통해 전자문서의 내용을 기입하는 것은 흔히 찾아볼 수 있으나, 관공서, 은행, 증권사, 통신사 등의 주체 측 직원과 특정 서비스를 신청 또는 가입하려는 고객의 음성 기반의 대화의 내용을 인식하여 이를 기초로 작성하고자 하는 전자문서 내의 각각의 항목을 적절하게 자동으로 기입해주는 방식은 아직 도입된바 없다.In addition, recently, in various situations such as applying for or signing up for services such as civil affairs, financial transactions, and communication services provided by entities such as government offices, banks, securities companies, and telecommunication companies, or registering as a new member, applications are made using separately prepared devices such as tablets. Alternatively, it is common to electronically display documents that need to be filled out when signing up or to fill in the contents of electronic documents using an input method such as a touch pen linked to a tablet. However, it is common to find employees of the subject such as government offices, banks, securities companies, and telecommunication companies. A method of recognizing the content of a customer's voice-based conversation and automatically filling in each item in an electronic document to be created based on this has not yet been introduced.
아울러, 앞서 예시한 특정 서비스의 제공 주체와 해당 서비스에 가입하려는 고객의 대화 상황에 국한되지 않고, 업무 영역에서 이루어지는 대화 상황(회의 상황, 발표 상황 등)에서의 발화 또는 음성을 인식하여 필요한 양식(서식)의 문서를 자동으로 기입할 수 있다면 업무 처리와 연계된 전자문서의 작성 및 작성된 전자문서에 대한 관리가 더욱 용이해질 수 있을 것이다.In addition, it is not limited to the conversation situation between the provider of a specific service and the customer who wants to subscribe to the service as exemplified above, but recognizes utterances or voices in conversation situations (meeting situations, presentation situations, etc.) that occur in the work area and forms the necessary form ( If documents (formats) can be filled out automatically, the creation of electronic documents linked to business processing and the management of the created electronic documents will become easier.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1705228호에 개시되어 있다.The technology behind this application is disclosed in Korean Patent Publication No. 10-1705228.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 자연스럽게 이루어지는 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력할 수 있는 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법을 제공하려는 것을 목적으로 한다.This application is intended to solve the problems of the prior art described above, and is capable of receiving naturally occurring conversations as input and automatically inputting electronic documents in that format through fields (questions) automatically extracted based on the form format of the electronic document. The purpose is to provide a format-based electronic document input device and method through conversation recognition.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges sought to be achieved by the embodiments of the present application are not limited to the technical challenges described above, and other technical challenges may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계 및 상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계를 포함할 수 있다.As a technical means for achieving the above-described technical problem, a form-based electronic document input method through dialogue recognition according to an embodiment of the present application includes the steps of receiving a dialogue input associated with the creation of a predetermined electronic document, the electronic document It may include generating a field list including a plurality of entry items for completing the electronic document based on the format of and creating the electronic document from the conversation input based on the field list.
또한, 상기 전자문서를 작성하는 단계는, 상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 단계 및 상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 단계를 포함할 수 있다.Additionally, the step of creating the electronic document may include extracting field values corresponding to each of the entry items from the dialogue input and entering the extracted field values for each of the entry items.
또한, 상기 필드값을 추출하는 단계는, 상기 대화 입력에서 상기 기입 항목에 대응하여 기입될 내용을 포함하는 발화 부분을 상기 필드값으로 추출하는 것일 수 있다.Additionally, the step of extracting the field value may be extracting an utterance part containing content to be written corresponding to the entry item from the dialogue input as the field value.
또한, 상기 대화 입력을 수신하는 단계는, 질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력 또는 응답자에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신할 수 있다.In addition, the step of receiving the conversation input may include receiving a first type conversation input performed by a plurality of subjects including the questioner and a respondent, or a second type conversation input performed by one subject corresponding to the respondent. there is.
또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하는 단계를 포함할 수 있다.In addition, the format-based electronic document input method through dialogue recognition according to an embodiment of the present application includes the step of classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent. It can be included.
또한, 상기 필드값을 추출하는 단계는, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출할 수 있다.In addition, the step of extracting the field value includes searching for a part corresponding to the entry item from the questioner's utterance, and searching for the corresponding entry item in the respondent's utterance adjacent within a predetermined level to the questioner's utterance containing the searched entry item. The field value to be written correspondingly can be extracted.
또한, 상기 필드값을 추출하는 단계는, 상기 필드값이 추출된 상기 응답자 발화에 대하여 후속하는 상기 질문자 발화에서 기 추출된 상기 필드값에 상응하는 발화 부분이 재차 탐색되면, 상기 탐색된 발화 부분으로 상기 필드값을 갱신할 수 있다.In addition, in the step of extracting the field value, if an utterance part corresponding to the previously extracted field value is searched again in the interrogator utterance following the respondent utterance from which the field value was extracted, the searched utterance part The field value can be updated.
또한, 상기 필드값을 기입하는 단계는, 상기 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화하는 단계를 포함할 수 있다.Additionally, the step of writing the field value may include normalizing the extracted field value according to the properties of the corresponding entry item.
또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 입력되는 중인 상기 전자문서를 형상화한 전자문서 인터페이스를 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시하는 단계를 포함할 수 있다.In addition, the form-based electronic document input method through conversation recognition according to an embodiment of the present application includes an electronic document interface that symbolizes the electronic document being input by using a first user terminal held by the questioner and a second user owned by the respondent. It may include displaying on at least one of the terminals.
또한, 상기 표시하는 단계는, 상기 전자문서 인터페이스에서 상기 필드값이 입력되는 중인 영역이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시할 수 있다.Additionally, in the displaying step, the area where the field value is being entered in the electronic document interface may be displayed to be highlighted for a predetermined period of time.
또한, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은, 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 입력이 완료된 상기 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하는 단계를 포함할 수 있다.In addition, the form-based electronic document input method through conversation recognition according to an embodiment of the present application forms the electronic document that has been input into at least one of the first user terminal held by the questioner and the second user terminal owned by the respondent. A step of displaying an electronic document confirmation interface may be included.
또한, 상기 전자문서 확인 인터페이스를 표시하는 단계는, 상기 전자문서 확인 인터페이스에서 상기 필드값이 미입력된 영역 또는 상기 필드값이 오입력된 영역이 구분되어 표시되도록 할 수 있다.In addition, the step of displaying the electronic document confirmation interface may cause an area in which the field value is not entered or an area in which the field value is entered incorrectly to be displayed separately in the electronic document confirmation interface.
한편, 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치는, 소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 대화 수신부, 상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 리스트 생성부, 상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 필드값 추출부 및 상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 기입부를 포함할 수 있다.Meanwhile, a format-based electronic document input device through dialogue recognition according to an embodiment of the present application includes a dialogue receiver that receives dialogue input associated with the creation of a predetermined electronic document, and a format of the electronic document based on the format of the electronic document. A list generator for generating a field list including a plurality of entry items for completion, a field value extractor for extracting field values corresponding to each of the entry items from the dialog input, and the fields extracted for each of the entry items. It may include an entry section for entering values.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described means of solving the problem are merely illustrative and should not be construed as intended to limit the present application. In addition to the exemplary embodiments described above, additional embodiments may be present in the drawings and detailed description of the invention.
전술한 본원의 과제 해결 수단에 의하면, 자연스럽게 이루어지는 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력할 수 있는 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법을 제공할 수 있다.According to the above-described means of solving the problem of the present application, conversation recognition is performed by receiving naturally occurring conversations as input and automatically entering electronic documents of the corresponding format through fields (questions) automatically extracted based on the form format of the electronic document. A form-based electronic document input device and method can be provided.
전술한 본원의 과제 해결 수단에 의하면, 대화를 진행하는 사용자들이 직접 대면하지 않는 상태에서 문서를 작성해야 하는 경우, 손을 사용하기 어렵거나 다른 작업과 병행하여 문서를 작성해야 하는 경우 등 필기 기반, 텍스트 입력 기반의 방식으로는 문서의 작성이 어려운 상황에서도 자연스러운 대화를 통해 편리하게 전자문서를 작성할 수 있다.According to the above-described means of solving the problem of this institute, in cases where users conducting a conversation must write a document without face-to-face contact, when it is difficult to use their hands, or when a document must be written in parallel with other work, etc., handwriting-based Even in situations where it is difficult to create documents using text input-based methods, you can conveniently create electronic documents through natural conversation.
전술한 본원의 과제 해결 수단에 의하면, 시각 장애인, 손, 팔 등의 거동이 불편한 사람 등 종래의 방식으로 문서를 작성하기 어려운 사람도 쉽게 전자문서를 작성할 수 있다.According to the above-described means of solving the problem of this institute, even people who have difficulty writing documents in a conventional manner, such as visually impaired people and people with impaired movement of hands or arms, can easily create electronic documents.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.However, the effects that can be obtained herein are not limited to the effects described above, and other effects may exist.
도 1은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치를 포함하는 전자문서 시스템의 개략적인 구성도이다.
도 2는 소정의 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.
도 3a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 대화 입력이 텍스트 타입의 지문으로 변환된 것을 나타낸 도면이다.
도 3b는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 지문화된 대화 입력이 질문자 발화 및 응답자 발화로 분류되는 것을 나타낸 도면이다.
도 3c는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다.
도 3d는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 미포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다.
도 4는 필드 리스트 내의 기입 항목에 각각에 대응하여 추출된 필드값 및 추출된 필드값의 정규화 결과를 나타낸 도표이다.
도 5a는 질문자가 작성하고자 하는 전자문서에 대한 필드 리스트를 확인하면서 응답자와 대화를 수행하는 본원의 일 실시예를 설명하기 위한 개념도이다.
도 5b는 대화 입력에 포함된 발화 각각을 스크립트 방식으로 형상화한 전자문서 인터페이스를 예시적으로 나타낸 도면이다.
도 5c는 하나의 전자문서가 시간의 흐름에 따라 분할된 복수의 대화 입력을 기초로 입력되는 본원의 일 실시예를 설명하기 위한 개념도이다.
도 6a 및 도 6b는 전자문서 인터페이스에서 필드값이 입력되는 중인 영역이 하이라이트 되도록 표시되는 것을 설명하기 위한 도면이다.
도 7은 체크박스 타입에 해당하는 복수의 기입 항목에 대한 동시 기입 처리 또는 일괄 기입 처리를 설명하기 위한 도면이다.
도 8은 응답자에 해당하는 하나의 주체에 의해 수행되는 대화 입력을 기초로 소정의 전자문서를 입력하는 본원의 일 실시예에 따른 전자문서 시스템의 개략적인 구성도이다.
도 9a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 하나의 주체에 의해 수행되는 대화 입력에 기초한 텍스트 타입의 지문 변환 및 해당 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.
도 9b는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.
도 9c는 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.
도 10a 내지 도 10c는 복수의 질문자를 포함하거나 복수의 응답자를 포함하는 등 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서가 생성되는 본원의 일 실시예를 설명하기 위한 도면이다.
도 11은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치의 개략적인 구성도이다.
도 12는 본원의 일 실시예에 따른 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 동작 흐름도이다.1 is a schematic configuration diagram of an electronic document system including a form-based electronic document input device through dialogue recognition according to an embodiment of the present application.
Figure 2 is a conceptual diagram for explaining the creation of a field list including a plurality of entry items based on the format of a predetermined electronic document.
FIG. 3A is a diagram showing a conversation input received by a form-based electronic document input device through conversation recognition according to an embodiment of the present application converted into a text-type fingerprint.
Figure 3b is a diagram showing that fingerprinted conversation input is classified into questioner's utterance and respondent's utterance by a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
FIG. 3C illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input including speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose.
FIG. 3D illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input without speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose.
Figure 4 is a table showing the extracted field values corresponding to each entry item in the field list and the normalization results of the extracted field values.
FIG. 5A is a conceptual diagram illustrating an embodiment of the present application in which a questioner conducts a conversation with a respondent while checking a field list for an electronic document that the questioner wants to write.
Figure 5b is a diagram illustrating an electronic document interface in which each utterance included in a conversation input is symbolized in a script manner.
FIG. 5C is a conceptual diagram illustrating an embodiment of the present application in which one electronic document is input based on a plurality of conversation inputs divided over time.
FIGS. 6A and 6B are diagrams for explaining that an area where field values are being input is displayed in an electronic document interface to be highlighted.
Figure 7 is a diagram for explaining simultaneous writing processing or batch writing processing for a plurality of writing items corresponding to the check box type.
Figure 8 is a schematic configuration diagram of an electronic document system according to an embodiment of the present application that inputs a predetermined electronic document based on a conversation input performed by a subject corresponding to the respondent.
FIG. 9A shows the conversion of a text-type fingerprint based on a conversation input performed by one subject received by a format-based electronic document input device through conversation recognition according to an embodiment of the present application, and a plurality of fingerprints based on the format of the corresponding electronic document. This is a conceptual diagram to explain creating a field list containing entry items.
FIG. 9B is a diagram illustrating how an electronic document interface symbolizing an electronic document being input is displayed on a user terminal.
FIG. 9C is a diagram illustrating how an electronic document confirmation interface symbolizing an inputted electronic document is displayed on a user terminal.
10A to 10C are diagrams for explaining an embodiment of the present application in which a single electronic document or multiple electronic documents are created in a conversation situation including multiple speakers, such as multiple questioners or multiple respondents.
Figure 11 is a schematic configuration diagram of a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
Figure 12 is an operation flowchart of a form-based electronic document input method through dialogue recognition according to an embodiment of the present application.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Below, with reference to the attached drawings, embodiments of the present application will be described in detail so that those skilled in the art can easily implement them. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In order to clearly explain the present application in the drawings, parts that are not related to the description are omitted, and similar reference numerals are assigned to similar parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is said to be “connected” to another part, this means not only “directly connected” but also “electrically connected” or “indirectly connected” with another element in between. "Includes cases where it is.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when a member is said to be located “on”, “above”, “at the top”, “below”, “at the bottom”, or “at the bottom” of another member, this means that a member is located on another member. This includes not only cases where they are in contact, but also cases where another member exists between two members.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification of the present application, when a part "includes" a certain component, this means that it may further include other components rather than excluding other components unless specifically stated to the contrary.
본원은 대화 인식을 통한 서식 기반 전자문서 입력 장치 및 방법에 관한 것이다. 특히, 본원은 지문 형태의 자연스러운 대화를 입력으로 수신하여 전자문서의 폼 서식을 기초로 자동으로 추출된 필드(질문)를 통해 해당 서식의 전자문서를 자동 입력하는 전자문서 시스템에 관한 것이다.This application relates to a form-based electronic document input device and method through conversation recognition. In particular, this application relates to an electronic document system that receives a natural conversation in the form of a fingerprint as input and automatically inputs an electronic document in the corresponding format through fields (questions) automatically extracted based on the form format of the electronic document.
도 1은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치를 포함하는 전자문서 시스템의 개략적인 구성도이다.1 is a schematic configuration diagram of an electronic document system including a form-based electronic document input device through dialogue recognition according to an embodiment of the present application.
도 1을 참조하면, 본원의 일 실시예에 따른 전자문서 시스템(10)은 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)(이하, '전자문서 입력 장치(100)'라 한다.)를 포함할 수 있다. 또한, 후술하는 도 10a를 참조하면, 전자문서 시스템(10)은 제1사용자 단말(200) 및 제2사용자 단말(300)을 포함할 수 있다. 본원의 일 실시예에 따른 전자문서 시스템(10)은 전자문서 입력 장치(100)를 통하여(또는, 본원의 구현예에 따라 전자문서 입력 장치(100)와 사용자 단말(200, 300)의 상호 작용을 통하여) 전자문서를 작성하고, 작성된 전자문서를 제공(표시)할 수 있는 시스템을 의미할 수 있다. 본원의 구현예에 따라, 전자문서 입력 장치(100)는 사용자 단말(200, 300)과 동일한 서버 또는 장치일 수 있다.Referring to FIG. 1, the
전자문서 입력 장치(100), 제1사용자 단말(200) 및 제2사용자 단말(300) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.The electronic
제1사용자 단말(200) 및 제2사용자 단말(300)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 특히, 제1사용자 단말(200) 및 제2사용자 단말(300)은, 스마트 스피커(Smart Speaker), 스마트 카(Smart Car), 스마트 가전(Smart Appliances), 웨어러블 장치(Wearable Device) 증강현실기기 (VR/MR) 등 새롭게 생겨나는 각종 통신기술을 이용한 다양한 음향기기, 구동기기 등을 포함할 수 있다.The first user terminal 200 and the second user terminal 300 are, for example, smart phones, smart pads, tablet PCs, etc., and PCS (Personal Communication System) and GSM (Global System for Mobile communication) , PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), IMT (International Mobile Telecommunication)-2000, CDMA (Code Division Multiple Access)-2000, W-CDMA (W-Code Division Multiple) Access), Wibro (Wireless Broadband Internet) terminal, etc. can be any type of wireless communication device. In particular, the first user terminal 200 and the second user terminal 300 are smart speakers, smart cars, smart appliances, wearable devices, and augmented reality devices ( It can include various audio devices and driving devices using various newly emerging communication technologies such as VR/MR).
본원의 실시예에 관한 설명에서 제1사용자 단말(200)은 질문자(A)가 보유한 사용자 단말을 지칭하는 것일 수 있다. 또한, 본원의 실시예에 관한 설명에서 제2사용자 단말(300)은 응답자(B)가 보유한 사용자 단말을 지칭하는 것일 수 있다. 본원의 일 실시예에 따른 전자문서 시스템(10)은 제1사용자 단말(200) 및 제2사용자 단말(300) 모두를 포함하거나 제1사용자 단말(200) 및 제2사용자 단말(300) 중 어느 하나만을 포함하도록 구현될 수 있다.In the description of the embodiment of the present application, the first user terminal 200 may refer to the user terminal owned by the questioner (A). Additionally, in the description of the embodiment of the present application, the second user terminal 300 may refer to a user terminal owned by the respondent (B). The
예를 들어, 질문자(A)가 관공서, 은행, 증권사, 통신사 등에 근무하는 공무원 또는 직원이고 응답자(B)가 해당 관공서, 은행, 증권사, 통신사 등에 방문한 민원인 또는 고객인 경우, 질문자(A)가 보유한 제1사용자 단말(200)을 통해 획득된 질문자(A)와 응답자(B)의 대화 입력이 전자문서 입력 장치(100)로 전달되어 전자문서 입력 장치(100)가 수신한 대화 입력에 기초하여 소정의 전자문서를 작성하는 것일 수 있다.For example, if the questioner (A) is a public official or employee working at a government office, bank, securities company, telecommunication company, etc., and the respondent (B) is a civil servant or customer who visited the relevant government office, bank, securities company, telecommunication company, etc., the information held by the questioner (A) The conversation input between the questioner (A) and the respondent (B) obtained through the first user terminal 200 is transmitted to the electronic
다른 예로, 질문자(A)와 응답자(B)가 원격에서 대화(예를 들면, 전화 상황 등)하는 경우, 원격의 대화를 위하여 질문자(A) 측 제1사용자 단말(200) 및 응답자(B) 측 제2사용자 단말(300)이 모두 구비되어 제1사용자 단말(200) 및 제2사용자 단말(300)을 통해 획득된 질문자(A)와 응답자(B)의 대화 입력이 전자문서 입력 장치(100)로 전달되어 전자문서 입력 장치(100)가 수신한 대화 입력에 기초하여 소정의 전자문서를 작성하는 것일 수 있다.As another example, when the questioner (A) and the respondent (B) are having a conversation remotely (e.g., in a phone situation, etc.), the first user terminal 200 on the questioner (A) side and the respondent (B) are used for the remote conversation. Both second user terminals 300 are provided on the side, and the conversation input between the questioner (A) and the respondent (B) obtained through the first user terminal 200 and the second user terminal 300 is transmitted through the electronic document input device 100. ) and may create a predetermined electronic document based on the dialogue input received by the electronic
또 다른 예로, 별도의 질문자(A)가 존재하지 않고, 응답자(B)가 제2사용자 단말(300)을 통해 응답자(B) 혼자 발화하는 형태의 대화 입력을 전자문서 입력 장치(100)에 전달(인가)하고, 전자문서 입력 장치(100)가 제2사용자 단말(300)을 통해 획득된 대화 입력을 기초로 하여 소정의 전자문서를 작성하는 것일 수 있다.As another example, there is no separate questioner (A), and the respondent (B) transmits a conversation input in the form of speech by the respondent (B) alone to the electronic
또한, 실시예에 따라, 제1사용자 단말(200) 또는 제2사용자 단말(300)은 전자문서 입력 장치(100)가 작성 중인 전자문서 또는 작성이 완료된 전자문서를 표시하기 위한 디스플레이를 포함할 수 있다.Additionally, depending on the embodiment, the first user terminal 200 or the second user terminal 300 may include a display for displaying an electronic document being written by the electronic
이와 관련하여, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 제1사용자 단말(200) 또는 제2사용자 단말(300)이 디스플레이를 포함하는 경우, 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시함으로써 질문자(A)와 응답자(B) 또는 단일 응답자(B)가 실시간으로 대화 입력에 의한 전자문서 작성(기입) 상황을 확인하도록 구현될 수 있다. 여기서, 실시간으로 대화 입력에 의한 전자문서 작성 상황을 확인한다는 것은 전자문서 입력 장치(100)가 사용자 단말(200, 300)에 마련된 디스플레이 화면을 통해 작성 중인 전자문서에 대한 시각적인 피드백을 제공하는 것으로 이해될 수 있다.In this regard, when the first user terminal 200 or the second user terminal 300 includes a display, the electronic
본원의 일 실시예에 따르면, 질문자(A)는 제1사용자 단말(200)의 화면을 통해서, 응답자(B)는 제2사용자 단말(300)의 화면을 통해서 개별적으로 작성중인 전자문서를 형상화한 전자문서 인터페이스를 확인할 수 있는 멀티 스크린 환경에서 대화 및 전자문서 작성이 수행되는 것일 수 있다.According to an embodiment of the present application, the questioner (A) images the electronic document being individually written through the screen of the first user terminal 200, and the respondent (B) uses the screen of the second user terminal 300. Conversations and electronic document creation may be performed in a multi-screen environment where the electronic document interface can be viewed.
또한, 본원의 구현예에 따라, 제1사용자 단말(200) 또는 제2사용자 단말(300)이 전자문서 인터페이스를 표시할 수 있는 디스플레이를 포함하는 경우라도 질문자(A) 또는 응답자(B)가 사용자 단말의 디스플레이를 확인할 수 없는 상황에 놓인 경우(예를 들어, 스마트폰 등의 사용자 단말의 메인 화면에 다른 어플리케이션이 실행되어야 하는 경우, 다른 작업을 병행하는 경우 등)에는 입력되는 중인 전자문서에 대한 인터페이스 표시는 생략하되, 소정의 전자문서에 대한 작성이 완료된 후 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하고, 전자문서 확인 인터페이스를 통해 오입력된 기입 항목이나 미입력된 기입 항목을 질문자(A) 또는 응답자(B)가 확인하고, 이러한 오입력 내지 미입력 항목을 사용자 단말(200, 300)을 통해 추후 보완하도록 구현될 수도 있다.In addition, according to the implementation example of the present application, even when the first user terminal 200 or the second user terminal 300 includes a display capable of displaying an electronic document interface, the questioner (A) or the respondent (B) If you are in a situation where you cannot check the display of the terminal (for example, when another application needs to be run on the main screen of the user terminal such as a smartphone, when performing other tasks in parallel, etc.), The display of the interface is omitted, but after the preparation of a certain electronic document is completed, an electronic document confirmation interface that symbolizes the electronic document that has been entered is displayed, and the interrogator can check incorrectly entered or unentered entries through the electronic document confirmation interface. It may be implemented so that (A) or the respondent (B) confirms, and these incorrectly entered or not entered items are later supplemented through the user terminals (200, 300).
도 2는 소정의 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.Figure 2 is a conceptual diagram for explaining the creation of a field list including a plurality of entry items based on the format of a predetermined electronic document.
도 2를 참조하면, 전자문서 입력 장치(100)는 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다. 달리 말해, 전자문서 입력 장치(100)는 기 생성된 전자문서 템플릿 내의 각각의 기입 항목에 해당하는 복수의 입력 컴포넌트를 추출하여 목록화할 수 있다.Referring to FIG. 2, the electronic
또한, 전자문서 입력 장치(100)는 필드 리스트 내의 추출된 기입 항목 각각에 대한 순서를 결정할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 필드 리스트 내의 복수의 기입 항목들의 순서에 기초하여 후술하는 전자문서 인터페이스(입력되는 중인 전자문서가 형상화된 인터페이스)에서 소정의 기입 항목에 대한 필드값이 입력되면 결정된 기입 항목들 간의 순서에 기초하여 해당 기입 항목의 다음 순서에 해당하는 기입 항목이 하이라이트 되도록 표시(활성화 표시)되도록 동작할 수 있다.Additionally, the electronic
또한, 도 2를 참조하면, 전자문서 입력 장치(100)는 사용자(질문자 및 응답자 또는 단일 응답자)가 작성하려는 전자문서의 서식(1)의 유형에 기초하여, 사용자의 발화로부터 전자문서의 완성을 위한 데이터를 수집하기 위하여 필요한 기입 항목 각각에 연계되는 질문 형태의 필드 리스트를 생성할 수 있다.In addition, referring to FIG. 2, the electronic
예시적으로, 도 2를 참조하면, 전자문서의 서식(1)이 통신사에서 제공하는 소정의 서비스를 가입하기 위한 신청서 양식에 해당하는 경우, 전자문서 입력 장치(100)는 신청서 양식으로부터 기입 항목인 신청 서비스명, 신청자 전화번호, 신청자 생년월일, 신청자 성명, 신청자 사용 모바일 기기 기종, 신청 일시, 서비스 개통 시간 등을 확인하기 위한 질문 형태의 필드 리스트(List)를 생성할 수 있다. 예를 들어, 필드 리스트(List) 내의 질문은 '신청자 전화번호는?'과 같이 해당 전자문서의 서식(1)의 기입 항목(필드명, 필드, Field)을 질문 내에 포함하는 직접적인 형식을 가질 수 있으나, 이에만 한정되는 것은 아니다.Illustratively, referring to FIG. 2, when the
전자문서 입력 장치(100)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다. 예를 들어, 전자문서 입력 장치(100)는 제1사용자 단말(200) 또는 제2사용자 단말(300)에 마련된 음성 입력 수신 모듈(예를 들어, 마이크 모듈 등)에 의해 획득된 대화 입력을 제1사용자 단말(200) 또는 제2사용자 단말(300)로부터 획득하는 것일 수 있다.The electronic
또한, 전자문서 입력 장치(100)는 생성된 필드 리스트에 기초하여 전자문서 입력 장치(100)에 수신된 대화 입력으로부터 전자문서를 작성할 수 있다.Additionally, the electronic
구체적으로, 전자문서 입력 장치(100)는 수신된 대화 입력으로부터 생성된 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다. 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 수신된 대화 입력 및 미리 생성된 필드 리스트에 기초하여 필드 리스트 내의 기입 항목 각각에 대응되는 발화를 대화 입력으로부터 추출하기 위한 인공지능 알고리즘을 탑재할 수 있다. 예를 들어, 전자문서 입력 장치(100)에 탑재되는 인공지능 알고리즘은 스스로 문서를 분석하고 질문에 대한 최적의 답을 찾도록 미리 학습된 기계 독해(Machine Reading Comprehension, MRC) 알고리즘과 연계된 것일 수 있다.Specifically, the electronic
이와 관련하여, 전자문서 입력 장치(100)는 수신된 대화 입력을 문서 형태로 지문화하여 기계 독해 알고리즘에 제공하고, 작성하려는 전자문서의 서식(1)에 대하여 미리 생성된 질문 형태의 복수의 기입 항목을 포함하는 필드 리스트를 기계 독해 알고리즘에 입력함으로써 지문화된 대화 입력으로부터 기입 항목에 대응하는 발화 부분(달리 말해, 필드 리스트의 질문에 대한 답변에 해당하는 발화 부분)을 필드값으로 추출하여 전자문서의 서식(1)을 완성해나갈 수 있다.In this regard, the electronic
달리 말해, 전자문서 입력 장치(100)가 대화 입력으로부터 필드값을 추출하는 것은, 전자문서 입력 장치(100)가 수신된 대화 입력에서 기입 항목 각각에 대응하여 기입될 내용을 포함하는 발화 부분을 추출하는 것으로 이해될 수 있다.In other words, the electronic
또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 동등한 의미를 내포하는 발화로부터 하나의 기입 항목을 인식하기 위한 동의어 인식 알고리즘을 구비할 수 있다.Additionally, according to an embodiment of the present application, the electronic
또한, 전자문서 입력 장치(100)는 전자문서의 서식의 기입 항목에 해당하는 부분(영역)에 추출된 필드값을 필드 리스트 내의 기입 항목 각각에 대하여 기입할 수 있다.Additionally, the electronic
구체적으로, 전자문서 입력 장치(100)는 질문자(A) 및 응답자(B)를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력 또는 응답자(B)에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신할 수 있다.Specifically, the electronic
이하에서는, 먼저 전자문서 입력 장치(100)가 복수의 주체에 의해 수행된 제1타입 대화 입력으로부터 전자문서를 작성하는 실시예에 관하여 설명한 다음, 전자문서 입력 장치(100)가 하나의 주체에 의해 수행된 제2타입 대화 입력으로부터 전자문서를 작성하는 실시예에 관하여 서술하고, 도 10a 내지 도 10c를 참조하여 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서를 작성하는 실시예에 관하여 후술하도록 한다.Hereinafter, an embodiment in which the electronic
전자문서 입력 장치(100)는 질문자(A) 및 응답자(B)를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신할 수 있다. 본원의 일 실시예에 따르면, 제1타입 대화 입력을 통한 전자문서 입력 실시예는, 병원에서의 치료 컨설팅, 보험 가입 후 확인 전화, 전화 주문 혹은 예약 상황 등 전자문서의 완성을 위하여 획득해야 하는 정보의 유형이 정해져 있고, 해당 정보를 획득하기 위하여 주로 질문 혹은 가이드를 제공하는 질문자(A)와 주로 답변을 하는 응답자(B)가 구분되는 전자문서 서식(폼, 템플릿)에 적합할 수 있으나, 이에만 한정되는 것은 아니다.The electronic
도 3a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 대화 입력이 텍스트 타입의 지문으로 변환된 것을 나타낸 도면이다.FIG. 3A is a diagram showing a conversation input received by a form-based electronic document input device through conversation recognition according to an embodiment of the present application converted into a text-type fingerprint.
도 3a를 참조하면, 전자문서 입력 장치(100)는 수신된 제1타입 대화 입력을 텍스트 타입의 지문으로 변환할 수 있다. 즉, 전자문서 입력 장치(100)는 수신된 대화 입력을 지문화할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 당해 기술 분야에서 널리 알려진 적어도 하나의 음성 인식 알고리즘 또는 텍스트 형식으로의 변환을 위한 STT(Speech-To-Text) 기법을 활용하는 것일 수 있다. 참고로, 전자문서 입력 장치(100)가 수신된 대화 입력을 텍스트 타입의 지문으로 변환하는 프로세스는 후술하는 단일 응답자(B)에 의한 제2타입 대화 입력이 수신되는 경우에도 동일하게 수행될 수 있다.Referring to FIG. 3A, the electronic
도 3b는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 지문화된 대화 입력이 질문자 발화 및 응답자 발화로 분류되는 것을 나타낸 도면이다.Figure 3b is a diagram showing that fingerprinted conversation input is classified into questioner's utterance and respondent's utterance by a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
도 3b를 참조하면, 전자문서 입력 장치(100)는 제1타입 대화 입력을 질문자(A)에 의해 수행된 질문자 발화(도 3b를 참조하면, "A:" 으로 표시된 발화 부분) 및 응답자(B)에 의해 수행된 응답자 발화(도 3b를 참조하면, "B:" 으로 표시된 발화 부분)로 분류할 수 있다. 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 질문자 발화 및 응답자 발화의 구분을 위한 화자 식별(Speaker Identification) 알고리즘을 구비할 수 있다.Referring to FIG. 3B, the electronic
도 3c는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다. 참고로, 도 3c은, 지문화된 대화 입력에서 추출된 기입 항목을 볼드체로 표시하고, 기입 항목에 대응하여 추출된 필드값에 밑줄 표시하여 나타낸 것일 수 있다.FIG. 3C illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input including speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose. For reference, FIG. 3C may be shown by displaying entry items extracted from fingerprinted conversation input in bold and underlining field values extracted corresponding to the entry items.
도 3c를 참조하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 기입 항목에 해당하는 부분을 질문자 발화로부터 탐색할 수 있다. 또한, 전자문서 입력 장치(100)는 탐색된 기입 항목이 포함된 질문자 발화에 대하여 소정 수준 이내로 인접한 응답자 발화에서 해당 기입 항목에 대응하여 기입될 필드값을 추출할 수 있다.Referring to FIG. 3C, the electronic
또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는 필드값이 추출된 응답자 발화에 대하여 후속하는 질문자 발화 또는 응답자 발화에서 기 추출된 필드값에 상응하는 발화 부분이 재차 탐색되면, 탐색된 발화 부분으로 필드값을 갱신할 수 있다. 달리 말해, 이미 선행된 질문자 발화 또는 응답자 발화를 통해 필드값이 추출된 기입 항목에 대하여도 질문자(A)가 해당 필드값의 내용을 응답자(B)로부터 재차 정확하게 확인하는 재질문 과정에서 올바르게 갱신되도록 함으로써 오입력된 필드값이 정정될 수 있다. 즉, 응답자(B)가 필드값을 명확하게 발화하지 않은 경우, 질문자(A)가 재발화 또는 재질문을 진행하면 올바른 필드값이 입력될 수 있다.In addition, according to an embodiment of the present application, when the electronic
도 3d는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 발화 분류를 미포함하는 지문화된 대화 입력으로부터 필드 리스트 내의 기입 항목 각각에 대응하는 필드값을 추출하는 과정을 설명하기 위한 도면이다. 참고로, 도 3d은, 지문화된 대화 입력에서 추출된 기입 항목을 볼드체로 표시하고, 기입 항목에 대응하여 추출된 필드값에 밑줄 표시하여 나타낸 것일 수 있다FIG. 3D illustrates the process of extracting field values corresponding to each entry item in the field list from fingerprinted conversation input without speech classification by a form-based electronic document input device through conversation recognition according to an embodiment of the present application. This is a drawing for this purpose. For reference, Figure 3d may show entry items extracted from fingerprinted conversation input in bold and field values extracted corresponding to the entry items underlined.
도 3d를 참조하면, 전자문서 입력 장치(100)는 지문화된 대화 입력이 응답자 발화 및 질문자 발화로 구분되지 않더라도 전체 발화로부터 기입 항목에 해당하는 부분을 탐색하고, 탐색된 기입 항목에 해당하는 부분과 인접하여 발화된 필드값을 추출할 수 있다.Referring to FIG. 3D, the electronic
예를 들어, 전자문서 입력 장치(100)는 응답자(B)가 '신청자 이름은 홍길동입니다'와 같이 기입 항목을 스스로 언급한 발화 또는 질문자(A)가 '신청자 성함이 홍길동이라고 말씀해주신 것이 맞나요'와 같이 응답자(B)의 발화를 확인하는 과정에서 기입 항목이 포함된 발화 등에서 기입 항목에 해당하는 부분(전술한 예시에서 '신청자 이름', '신청자 성함' 등)을 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 발화 및 해당 발화와 소정 수준 이내로 인접한 발화 중 적어도 하나의 발화에서 해당 기입 항목에 대응하여 기입될 필드값(전술한 예시에서 '홍길동')을 추출할 수 있다.For example, the electronic
종합하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 도 3b 및 도 3c에 도시된 바와 같이 대화 입력을 응답자 발화 및 질문자 발화를 분류하는 기능을 구비함으로써 응답자 발화와 질문자 발화로 구분되는 분류 결과를 고려하여 기입 항목을 탐색하고 대응하는 필드값을 추출하거나 도 3d에 도시된 바와 같이 대화 입력에 포함된 발화 각각을 수행한 주체를 구분(분류)하는 기능을 구비하지 않더라도 발화 전체로부터 기입 항목을 탐색하고 대응하는 필드값을 추출함으로써 전자문서를 작성하도록 동작할 수 있다.In summary, the electronic
도 4는 필드 리스트 내의 기입 항목에 각각에 대응하여 추출된 필드값 및 추출된 필드값의 정규화 결과를 나타낸 도표이다.Figure 4 is a table showing the extracted field values corresponding to each entry item in the field list and the normalization results of the extracted field values.
도 4를 참조하면, 전자문서 입력 장치(100)는 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)가 추출하는 필드값은 전자문서 기입 항목에 대하여 입력될 내용과 함께 정제되지 않은 발화 일부가 포함될 수 있으며, 이는 최종적으로 전자문서 입력 장치(100)에 의해 정규화되어 전자문서 기입 항목에 기입될 수 있다.Referring to FIG. 4, the electronic
예를 들어, 전자문서 입력 장치(100)는, 추출된 필드값에서 조사에 해당하는 분절을 제거하는 프로세스를 수행할 수 있다.For example, the electronic
또한, 본원의 일 실시예에 따르면, 전자문서 입력 장치(100)는, 필드값에 대한 형태소 분석 결과에 기초하여 필드값에서 탐지된 실질 형태소를 변환하는 정규화 프로세스(예를 들어, 탐지된 실질 형태소가 '텍스트 타입'의 기입 항목에 대한 것인 경우, 탐지된 실질 형태소에 '-ㅁ' 또는 '-음' 등을 결합하여 명사 형태로 변환하거나, 탐지된 실질 형태소가 '날짜 타입'의 기입 항목에 대한 것인 경우, 탐지된 실질 형태소를 날짜 형식(예를 들면, 년-월-일 꼴)으로 변환하거나, 해당 기입 항목의 형식이 콤보박스, 체크박스, 라디오 버튼 등 탐지된 실질 형태소 자체를 기입하기에 적절치 못한 경우 레벤슈타인 편집 거리 알고리즘에 기초하여, 탐지된 실질 형태소에 포함된 내용과 가장 근접한 콤보박스, 체크박스, 라디오 버튼을 선택하는 프로세스) 등을 수행할 수 있다.In addition, according to an embodiment of the present application, the electronic
예를 들어, 도 4를 참조하면, 전자문서 입력 장치(100)는 '날짜 타입'의 기입 항목인 신청날짜에 대하여 추출된 필드값이 '2019년 12월 06일'인 경우, 추출된 필드값을 날짜 형식에 부합하는 '2019-12-06'으로 정규화할 수 있다.For example, referring to FIG. 4, when the extracted field value for the application date, which is an entry item of 'date type', is 'December 06, 2019', the electronic
또한, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.In addition, the electronic
도 5a는 질문자가 작성하고자 하는 전자문서에 대한 필드 리스트를 확인하면서 응답자와 대화를 수행하는 본원의 일 실시예를 설명하기 위한 개념도이다.FIG. 5A is a conceptual diagram illustrating an embodiment of the present application in which a questioner conducts a conversation with a respondent while checking a field list for an electronic document that the questioner wants to write.
도 5b를 참조하면, 본원의 일 실시예에 따르면, 질문자(A)가 전자문서 입력 장치(100)(다른 예로, 질문자(A)가 보유한 제1사용자 단말(200) 등)에 표시되는 전자문서 인터페이스에 나타나는 필드 리스트를 확인하면서 응답자(B)에게 적절한 응답을 유도하기 위한 질문을 제공할 수 있도록 전자문서 입력 장치(100) 또는 제1사용자 단말(200)은 작성중인 전자문서의 서식에 기초하여 기 생성된 필드 리스트를 표시(출력)할 수 있다. 이에 따라, 질문자(A)는 전자문서의 완성을 위하여 필요한 정보를 응답자(B)가 제공하도록 필드 리스트를 참조하여 질문을 함으로써 적절하게 대화를 이끌어 나갈 수 있다.Referring to FIG. 5B, according to an embodiment of the present application, the questioner (A) displays an electronic document displayed on the electronic document input device 100 (as another example, the first user terminal 200 owned by the questioner (A), etc.) The electronic
도 5b는 대화 입력에 포함된 발화 각각을 스크립트 방식으로 형상화한 전자문서 인터페이스를 예시적으로 나타낸 도면이다.Figure 5b is a diagram illustrating an electronic document interface in which each utterance included in a conversation input is symbolized in a script manner.
도 5b를 참조하면, 스크립트 방식(예시적으로, Dialog flow 방식으로 달리 지칭될 수 있다.)으로 표시된 전자문서 인터페이스는 질문자 발화와 응답자 발화를 구분하여 표시할 수 있다. 예를 들어, 스크립트 방식으로 표시된 전자문서 인터페이스는 질문자 발화는 상대적으로 상측(하측)에 배치되도록 형상화하고 응답자 발화는 상대적으로 하측(상측)에 배치되도록 형상화할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 실시간 표시되는 스크립트 방식의 전자문서 인터페이스는 시간의 흐름에 따라 현재 입력되는 중인 발화와 해당 발화 이전에 수신된 발화를 구분하여 표시하도록 형상화될 수 있다.Referring to FIG. 5B, the electronic document interface displayed in a script manner (example, may be alternatively referred to as a dialogue flow manner) can display the questioner's utterance and the respondent's utterance separately. For example, an electronic document interface displayed in a script format may be configured so that the questioner's utterances are placed relatively at the top (lower side) and the respondent's utterances are placed relatively at the bottom (upper side), but is not limited to this. As another example, a script-based electronic document interface that is displayed in real time may be configured to display the currently input utterance separately from the utterance received before the utterance according to the passage of time.
도 5c는 하나의 전자문서가 시간의 흐름에 따라 분할된 복수의 대화 입력을 기초로 입력되는 본원의 일 실시예를 설명하기 위한 개념도이다.FIG. 5C is a conceptual diagram illustrating an embodiment of the present application in which one electronic document is input based on a plurality of conversation inputs divided over time.
도 5c를 참조하면, 전자문서 입력 장치(100)는 수신된 대화 입력 또는 수신된 대화 입력에 기초하여 지문화된 대화 입력을 시간에 흐름에 따라 분할된 복수의 대화 입력으로 분할하고, 분할된 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작할 수 있다.Referring to FIG. 5C, the electronic
예를 들어, 질문자(A)와 응답자(B) 사이의 대화 입력을 실시간으로 수신하여 수신된 대화 입력에 기초하여 전자문서가 작성되는 경우, 전자문서 입력 장치(100)는 대화 중지(정지)를 위한 사용자 입력을 수신할 수 있고, 대화 중지(정지)를 위한 사용자 입력이 수신되면, 이후 시점에 인가되는 대화 입력은 전자문서 작성에 활용되지 않도록 비활성화(Pause)할 수 있다. 그 상태에서 전자문서 입력 장치(100)는 대화 재개를 위한 사용자 입력을 수신할 수 있고, 대화 재개를 위한 사용자 입력이 수신되면, 이후 시점에 인가되는 대화 입력은 재차 전자문서 작성에 활용되도록 활성화(Play)될 수 있다. 구체적으로, 도 5c를 참조하면, 예를 들어 한 쌍의 대화 중지(정지)를 위한 사용자 입력 및 대화 재개를 위한 사용자 입력이 인가됨으로써(도 5c의 ) 전제 대화 입력이 Dialog 1 내지 Dialog 3으로 분할될 수 있다.For example, when the conversation input between the questioner (A) and the respondent (B) is received in real time and an electronic document is created based on the received conversation input, the electronic
달리 말해, 전자문서 입력 장치(100)는 하나의 전자문서에 대하여 대화(지문)을 여러 번 끊어서 반복적으로 입력할 수 있다. 즉, 전자문서 입력 장치(100)는 분할된 복수의 대화 입력에 기반한 전자문서 작성 기능을 구비할 수 있다.In other words, the electronic
도 6a 및 도 6b는 전자문서 인터페이스에서 필드값이 입력되는 중인 영역이 하이라이트 되도록 표시되는 것을 설명하기 위한 도면이다.FIGS. 6A and 6B are diagrams for explaining that an area where field values are being input is displayed in an electronic document interface to be highlighted.
도 6a 및 도 6b를 참조하면, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스에서 필드값이 입력되는 중인 영역(필드값이 추출된 기입 항목 영역)이 하이라이트 되도록 표시할 수 있다. 도 5a 및 도 5b를 참조하면, 하이라이트 되도록 표시하는 것은 필드값이 입력되는 중인 영역에 해당하는 기입 칸이 굵은 테두리로 구분되게 강조되거나 다른 기입 칸과 구분되는 색상으로 표시되는 등 다양하게 구현될 수 있다.Referring to FIGS. 6A and 6B, the electronic
예를 들어, 전자문서 입력 장치(100)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스에서 필드값이 입력되는 중인 영역(필드값이 추출된 기입 항목 영역)이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시할 수 있다.For example, the electronic
도 7은 체크박스 타입에 해당하는 복수의 기입 항목에 대한 동시 기입 처리 또는 일괄 기입 처리를 설명하기 위한 도면이다.Figure 7 is a diagram for explaining simultaneous writing processing or batch writing processing for a plurality of writing items corresponding to the check box type.
도 7을 참조하면, 본원의 일 실시예에 따른 전자문서 입력 장치(100)는 서식에서 요구하는 특성 사항에 대한 동의 여부 체크 등의 상황에서 활용되는 콤보박스, 체크박스, 라디오 버튼 등의 선택형 기입 항목에 대하여, 복수의 기입 항목에 대한 일괄 처리(그룹화 처리)를 수행할 수 있다.Referring to FIG. 7, the electronic
예를 들어, 가입 서비스와 연계된 이벤트 정보 수신과 관련하여 SMS, E-MAIL, 우편물 또는 전화 방식이 가능하고 각각에 대한 개별적인 동의 여부를 획득해야 하는 경우, 질문자(A)가 '이벤트 정보는 어떤 방법으로 받아보시겠어요? SMS, E-Mail, 우편, 전화 방법이 가능합니다'라는 질문자 발화를 하고 응답자(B)가 'SMS랑 이메일 할게요'라는 응답자 발화를 제공한 경우, 전자문서 입력 장치(100)는 미리 그룹화된 4가지 기입 항목에 대하여 일괄적으로 SMS 및 E-MAIL에 대하여는 '동의'를 기입하고, 우편물 및 전화에 대하여는 '미동의'를 기입하도록 동작할 수 있다. 이렇듯, 전자문서 입력 장치(100)는 필드 리스트 내의 각각의 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 보유하여 이를 기초로 복수의 기입 항목에 대한 일괄 기입 처리를 수행할 수 있다.For example, in relation to receiving event information linked to a subscription service, SMS, E-MAIL, postal mail, or phone methods are possible, and individual consent for each must be obtained. If the questioner (A) asks, 'What is the event information? Would you like to receive it this way? When the questioner utters ‘SMS, E-Mail, mail, and phone methods are possible’ and the respondent (B) provides the respondent utterance ‘I will use SMS and email’, the electronic
도 8은 응답자에 해당하는 하나의 주체에 의해 수행되는 대화 입력을 기초로 소정의 전자문서를 입력하는 본원의 일 실시예에 따른 전자문서 시스템의 개략적인 구성도이다.Figure 8 is a schematic configuration diagram of an electronic document system according to an embodiment of the present application that inputs a predetermined electronic document based on a conversation input performed by a subject corresponding to the respondent.
도 8을 참조하면, 응답자(B)에 해당하는 하나의 주체에 의해 수행되는 제2타입 대화 입력을 기초로 전자문서를 작성하는 실시예는, 체크 리스트, 일지 등 비교적 정형화된 형식 내에서 반복적인 정보를 제공함으로써 입력되고, 응답자(B)가 전자문서의 완성을 위하여 어떠한 정보를 입력(제공)해야 하는지 비교적 정확하게 인지하고 상황 또는 전자문서 작성과 함께 다른 작업을 병행해야 하는 상황 등 문서를 텍스트 입력 등을 통해 작성하는 것 보다 음성 발화로 작성하는 것이 편리한 상황 등에 유리할 수 있다.Referring to FIG. 8, the embodiment of creating an electronic document based on a second type conversation input performed by a subject corresponding to the respondent (B) is a repetitive document within a relatively standardized format such as a checklist or diary. It is entered by providing information, and the respondent (B) recognizes relatively accurately what information needs to be entered (provided) to complete the electronic document and enters the document as text, such as in situations where other tasks must be performed simultaneously with the creation of the electronic document. It may be advantageous in situations where it is convenient to write by voice rather than by writing, etc.
도 9a는 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치에 의해 수신된 하나의 주체에 의해 수행되는 대화 입력에 기초한 텍스트 타입의 지문 변환 및 해당 전자문서의 서식에 기초하여 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 것을 설명하기 위한 개념도이다.FIG. 9A shows the conversion of a text-type fingerprint based on a conversation input performed by one subject received by a format-based electronic document input device through conversation recognition according to an embodiment of the present application, and a plurality of fingerprints based on the format of the corresponding electronic document. This is a conceptual diagram to explain creating a field list containing entry items.
도 9a를 참조하면, 전자문서 입력 장치(100)는 제2타입 대화 입력에 기초하여 전자문서를 작성할 수 있도록 하는 소정 유형의 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다. 본원의 일 실시예에 따르면, 제2타입 대화 입력(a)에 기초하여 전자문서를 작성하고자 하는 사용자(응답자)는 생성된 필드 리스트(질문 리스트, (b))를 고려하여 기입 항목에 대한 발화 부분 및 기입 항목에 대한 발화 부분에 후속하며 해당 기입 항목에 대응되는 필드값을 포함하는 발화 부분을 반복하여 발화함으로써 전자문서를 작성할 수 있다. 본원의 일 실시예에 따르면, 사용자(응답자)가 혼자 발화하는 상황에서의 전자문서 작성(달리 말해, 제2타입 대화 입력에 기초한 전자문서 작성) 프로세스가 원활히 수행되도록 전자문서 입력 장치(100)는 생성된 필드 리스트(질문 리스트)가 전자문서 입력 장치(100) 또는 제2사용자 단말(300)에 표시되도록 할 수 있다.Referring to FIG. 9A, the electronic
도 9b는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.FIG. 9B is a diagram illustrating how an electronic document interface symbolizing an electronic document being input is displayed on a user terminal.
도 9b를 참조하면, 응답자(B)의 제2사용자 단말(300)의 화면에는 전자문서 인터페이스가 도 9b의 (a)에 도시된 필드 목록 방식으로 표시되거나, 도 9b의 (b)에 도시된 문서 템플릿 방식으로 표시되거나, 도 9b의 (c)에 도시된 스크립트 방식(예시적으로, Dialog flow 방식으로 달리 지칭될 수 있다.)으로 표시될 수 있다. 예를 들어, 필드 목록 방식은 미리 정의된 기입 항목(참고로, 본원의 실시예에 관한 설명에서 기입 항목은 입력 컴포넌트, 필드명, 필드 등으로 달리 지칭될 수 있다.) 및 해당 기입 항목에 대하여 전자문서에 입력된 정규화된 필드값이 요약된 형태로 표시되는 것을 의미할 수 있다. 또한, 문서 템플릿 방식은 미리 정의된 전자문서 서식(폼, 템플릿) 상에 정규화된 필드값이 해당 위치에 기입된 형태로 표시되는 것을 의미할 수 있다. 또한, 스크립트 방식은 응답자 발화(a1, a2 등)에 대한 식별 결과에 기초하여 대화 입력이 지문화되어 표시되는 것을 의미할 수 있다. 본원의 일 실시예에 따르면, 응답자(B)가 제2사용자 단말(300)의 화면을 확인하면서 실시간으로 전자문서를 작성하는 경우, 전자문서 입력 장치(100)는 제2사용자 단말(300)에 인가된 사용자 입력에 기초하여 전자문서 인터페이스의 표시 방식을 전술한 필드 목록 방식, 문서 템플릿 방식 및 스크립트 방식 중 어느 하나로 전환하도록 동작할 수 있다. 또한, 전자문서 입력 장치(100)는 제2사용자 단말(300)에 인가된 사용자 입력에 기초하여 기본으로 표시되는 표시 방식을 결정하거나 일부 표시 방식은 표출되지 않도록 하는 설정을 세팅할 수 있다.Referring to FIG. 9B, on the screen of the second user terminal 300 of the respondent (B), the electronic document interface is displayed in the field list format shown in (a) of FIG. 9B or as shown in (b) of FIG. 9B. It may be displayed in a document template format, or in a script format (example, which may be referred to as a dialog flow format) as shown in (c) of FIG. 9B. For example, the field list method is a predefined entry item (for reference, in the description of the embodiments of the present application, the entry item may be referred to differently as an input component, field name, field, etc.) and the entry item This may mean that normalized field values entered into an electronic document are displayed in summarized form. Additionally, the document template method may mean that normalized field values are displayed in a predefined electronic document format (form, template) written at the corresponding location. Additionally, the script method may mean that the dialogue input is fingerprinted and displayed based on the identification result of the respondent's utterance (a1, a2, etc.). According to an embodiment of the present application, when the respondent (B) writes an electronic document in real time while checking the screen of the second user terminal 300, the electronic
도 9c는 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스가 사용자 단말에 표시되는 방식을 설명하기 위한 도면이다.FIG. 9C is a diagram illustrating how an electronic document confirmation interface symbolizing an inputted electronic document is displayed on a user terminal.
도 9c를 참조하면, 전자문서 확인 인터페이스에는 오류가 발생한 필드가 강조(예를 들면, 빨간색 폰트로 표시되거나 느낌표 아이콘 등의 식별 표지가 표출)될 수 있다. 또한, 전자문서 입력 장치(100)는 해당 전자문서 작성에 활용된 대화 입력을 기입 항목 각각에 대응하도록 분할된 부분 발화 데이터를 생성할 수 있다. 이와 관련하여, 전자문서 입력 장치(100)는 전자문서 확인 인터페이스에서 소정의 기입 항목을 선택하는 사용자 입력을 사용자 단말(200, 300)을 통해 수신하고, 선택된 기입 항목에 대하여 매칭되어 생성된 부분 발화 데이터를 사용자(응답자 또는 질문자)가 확인하여 사후적으로 수정할 수 있도록 부분 발화 데이터를 음성 형태 또는 스크립트 형태로 제공할 수 있다. 또한, 도 9c를 참조하면, 예를 들어, 음성 형태의 부분 발화 데이터가 재생되는 경우, 사용자 단말(200, 300)의 화면에는 재생 시간 정보, 재생 바 등을 포함하는 음성 재생 인터페이스(REC)가 표출될 수 있다. 또한, 도 9c를 참조하면, 스크립트 형태의 부분 발화 데이터가 표시되는 경우, 해당 기입 항목에서 요구하는 조건을 미충족하여 오입력으로 판단된 발화 부분이 강조 표시(예를 들어, 도 9를 참조하면, 빨간색 폰트로 표시)될 수 있다.Referring to FIG. 9C, in the electronic document confirmation interface, fields in which errors occur may be highlighted (for example, displayed in red font or with an identification mark such as an exclamation mark icon). Additionally, the electronic
도 10a 내지 도 10c는 복수의 질문자를 포함하거나 복수의 응답자를 포함하는 등 다수 발화자를 포함하는 대화 상황에서 단일 전자문서 또는 복수의 전자문서가 생성되는 본원의 일 실시예를 설명하기 위한 도면이다.10A to 10C are diagrams for explaining an embodiment of the present application in which a single electronic document or multiple electronic documents are created in a conversation situation including multiple speakers, such as multiple questioners or multiple respondents.
구체적으로, 도 10a는 단일 질문자(A)와 복수의 응답자(B)를 포함하는 대화 상황을 나타낸 것이고, 도 10b는 복수의 질문자(A)와 단일 응답자(B)를 포함하는 대화 상황을 나타낸 것이고, 도 10c는 복수의 질문자(A) 및 복수의 응답자(B)를 포함하는 대화 상황을 나타낸 것이다.Specifically, Figure 10a shows a conversation situation including a single questioner (A) and multiple respondents (B), and Figure 10b shows a conversation situation including multiple questioners (A) and a single respondent (B). , Figure 10c shows a conversation situation including a plurality of questioners (A) and a plurality of respondents (B).
또한, 본원의 일 실시예에 따르면, 도 10a 내지 도 10c를 통해 설명하는 다수 발화자를 포함하는 대화 상황 각각은 발화 참여자의 수에 따라 복수의 서로 다른 전자문서가 생성(복수 문서 생성 유형)되거나 발화 참여자 전체의 대화를 종합하여 하나의 단일한 전자문서가 생성(단일 문서 생성 유형)되는 것일 수 있다.In addition, according to an embodiment of the present application, in each conversation situation including multiple speakers illustrated through FIGS. 10A to 10C, a plurality of different electronic documents are generated (multiple document creation type) or utterances are generated depending on the number of conversation participants. A single electronic document may be created by combining the conversations of all participants (single document creation type).
도 10a를 참조하면, 전자문서 입력 장치(100)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300)과 연계된 것일 수 있다. 예를 들어, 제1사용자 단말(200) 및 제2사용자 단말(300)은 발화자(응답자 및 질문자)의 음성 입력(대화 입력)을 수신하기 위한 음성 수신 모듈을 포함할 수 있으며, 실시예에 따라 입력되는 중인 전자문서 인터페이스를 표시하거나 입력이 완료된 전자문서 확인 인터페이스를 표시하는 디스플레이 모듈을 포함할 수 있다. 또한, 본원의 구현예에 따라 제1사용자 단말(200) 또는 제2사용자 단말(300)은 발화자의 상황, 대화 환경 등에 따라 일부 구비되지 않을 수 있다. 또한, 도 10a와 같이 복수의 응답자(B)를 포함하는 경우에도 응답자(B) 각각이 모두 제2사용자 단말(300)을 구비할 필요는 없다. 설명의 편의를 위하여 도 10b 및 도 10c에서는 제1사용자 단말(200) 및 제2사용자 단말(300)의 도시를 생략하였다.Referring to FIG. 10A, the electronic
참고로, 이하에서 설명하는 다수 발화자를 포함하는 대화 상황과 연계된 전자문서 작성 실시예는 질문자의 수를 Q로, 응답자의 수를 A로, 생성되는 전자문서의 수를 D로 간략하게 표현될 수 있다. 예들 들어, 앞서 상세히 서술한 한 명의 질문자(A)와 한 명의 응답자(B)의 대화 입력을 기초로 하나의 전자문서를 생성하는 실시예는 1Q/1A/1D 와 같이 표현될 수 있다.For reference, the embodiment of creating an electronic document associated with a conversation situation including multiple speakers described below will be briefly expressed as Q for the number of questioners, A for the number of respondents, and D for the number of generated electronic documents. You can. For example, the embodiment of generating one electronic document based on the conversation input of one questioner (A) and one respondent (B) described in detail above can be expressed as 1Q/1A/1D.
도 10a를 참조하면, 예시적으로 전자문서 입력 장치(100)는 한 명의 질문자(A)가 복수의 응답자(B)에게 동일한 질문을 동시에 질의하고 복수의 응답자(B) 중 적어도 일부 인원 또는 전체 인원이 해당 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, Focus Group Interview 의견 수렴 폼 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(1Q/nA/1D).Referring to FIG. 10A, the electronic
다른 예로, 전자문서 입력 장치(100)는 한 명의 질문자(A)가 동일한 질문을 복수의 응답자(B)에게 질의하고, 응답자(B)들이 연속적으로 각자 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, Focus Group Interview 등)에서 수신된 대화 입력에 기초하여 응답자(B)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(1Q/nA/nD).As another example, the electronic
또한, 도 10b를 참조하면, 예를 들어, 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 한 명의 응답자(B)에게 질의하고, 응답자(B)가 각각의 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 면접 상황 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(mQ/1A/1D).In addition, referring to FIG. 10b, for example, the electronic
다른 예로, 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 한 명의 응답자(B)에게 질의하고, 응답자(B)가 각각의 질의에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 면접 내용 정리 폼 등)에서 수신된 대화 입력에 기초하여 복수의 질문자(A) 각각에 대하여 서로 다른 폼을 사용한 질문자(A)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(mQ/1A/mD).As another example, the electronic
또한, 도 10c를 참조하면, 예시적으로 전자문서 입력 장치(100)는 복수의 질문자(A)가 서로 다른 질문을 질의하고, 복수의 응답자(B) 중 일부 인원 또는 전제 인원이 각각의 질문에 대한 답변을 제공하는 형태의 대화 상황(예를 들면, 토론 상황을 정리하기 위한 목적으로 여러 명의 답변을 취합하여 작성되는 폼 등)에서 수신된 대화 입력에 기초하여 하나의 전자문서를 작성(생성)할 수 있다(mQ/nA/1D).In addition, referring to FIG. 10C, the electronic
다른 예로, 전자문서 입력 장치(100)는 복수의 질문자(A)가 응답자 그룹에게 서로 다른 질문을 질의하고, 응답자 그룹 내의 복수의 응답자(B) 중 적어도 일부 인원 또는 전체 인원이 답변을 제공하는 형태의 대화 상황에서 질문자 별로 서로 다른 폼을 사용하여 질문자 각각의 질문에 대한 대답을 기반으로 하여 전자문서를 작성(생성)할 수 있다(mQ/nA/mD). 이와 관련하여, 전자문서 입력 장치(100)는 앞서 설명한 mQ/1A/mD 형태의 대화가 병렬적으로 여러 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다. 또한, 전자문서 입력 장치(100)는 앞서 설명한 1Q/nA/1D 형태의 대화가 병렬적으로 여러 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다.As another example, the electronic
또한, 도 10c를 참조하면, 전자문서 입력 장치(100)는 복수의 질문자(A)가 응답자 그룹에게 서로 다른 질문을 질의하고, 응답자 그룹 내의 복수의 응답자(B) 각각이 연속적으로 답변을 제공하는 형태의 대화 상황에서 응답자(B)의 수에 상응하는 수의 전자문서를 작성(생성)할 수 있다(mQ/nA/nD). 이와 관련하여, 전자문서 입력 장치(100)는 앞서 설명한 mQ/1A/1D 형태의 대화가 병렬적으로 n 명의 답변자에 대하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다. 또한, 전자문서 입력 장치(100)는 앞서 설명한 1Q/nA/nD 형태의 대화가 독립적으로 m 명의 질문자에 의하여 진행되는 형태의 대화 상황에서 전자문서를 작성(생성)할 수 있다.In addition, referring to FIG. 10c, the electronic
다만, 도 10a 내지 도 10c를 통해 설명한 것과 같이 다수 발화자를 포함하는 대화 상황에서 인가되는 대화 입력을 통해 전자문서를 작성하는 전자문서 입력 장치(100)는 별도로 질문자(A)와 응답자(B)의 구분없이 전체 대화 입력을 종합하여 전자문서를 작성하도록 동작할 수도 있다(Multiple Role).However, as explained with FIGS. 10A to 10C, the electronic
도 11은 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 장치의 개략적인 구성도이다.Figure 11 is a schematic configuration diagram of a form-based electronic document input device through conversation recognition according to an embodiment of the present application.
도 11을 참조하면, 전자문서 입력 장치(100)는, 대화 수신부(110), 리스트 생성부(120), 필드값 추출부(130), 기입부(140) 및 표시부(150)를 포함할 수 있다.Referring to FIG. 11, the electronic
대화 수신부(110)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다. 또한, 대화 수신부(110)는 수신된 대화 입력을 지문화할 수 있다The
리스트 생성부(120)는 전자문서의 서식에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다.The
필드값 추출부(130)는 수신된 대화 입력(또는 지문화된 대화 입력)으로부터 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다.The
기입부(140)는 필드 리스트 내의 기입 항목 각각에 대하여 추출된 필드값을 전자문서에 기입할 수 있다.The
표시부(150)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.The
또한, 표시부(150)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시할 수 있다.In addition, the
본원의 일 실시예에 따르면, 표시부(150)는 전자문서 확인 인터페이스에서 필드값이 미입력된 영역 또는 필드값이 오입력된 영역이 구분되어 표시되도록 할 수 있다.According to an embodiment of the present application, the
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.Below, we will briefly look at the operation flow of the present application based on the details described above.
도 12는 본원의 일 실시예에 따른 본원의 일 실시예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 동작 흐름도이다.Figure 12 is an operation flowchart of a form-based electronic document input method through dialogue recognition according to an embodiment of the present application.
도 12에 도시된 대화 인식을 통한 서식 기반 전자문서 입력 방법은 앞서 설명된 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 대화 인식을 통한 서식 기반 전자문서 입력 장치(100)에 대하여 설명된 내용은 대화 인식을 통한 서식 기반 전자문서 입력 방법에 대한 설명에도 동일하게 적용될 수 있다.The format-based electronic document input method through conversation recognition shown in FIG. 12 can be performed by the form-based electronic
도 12를 참조하면, 단계 S11에서 대화 수신부(110)는 소정의 전자문서의 작성과 연계된 대화 입력을 수신할 수 있다.Referring to FIG. 12, in step S11, the
다음으로, 단계 S12에서 대화 수신부(110)는 단계 S1110에서 수신된 대화 입력을 지문화할 수 있다.Next, in step S12, the
다음으로, 단계 S113에서 리스트 생성부(120)는 전자문서의 서식(1)에 기초하여 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성할 수 있다.Next, in step S113, the
다음으로, 단계 S14에서 필드값 추출부(130)는 수신된 대화 입력(또는 지문화된 대화 입력)으로부터 필드 리스트 내의 기입 항목 각각에 대응되는 필드값을 추출할 수 있다.Next, in step S14, the
다음으로, 단계 S15에서 기입부(140)는 필드 리스트 내의 기입 항목 각각에 대하여 추출된 필드값을 정규화하여 전자문서에 기입할 수 있다.Next, in step S15, the
다음으로, 단계 S16에서 표시부(150)는 입력되는 중인 전자문서를 형상화한 전자문서 인터페이스를 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 표시할 수 있다.Next, in step S16, the
또한, 단계 S16에서 표시부(150)는 질문자(A)가 보유한 제1사용자 단말(200) 및 응답자(B)가 보유한 제2사용자 단말(300) 중 적어도 하나에 입력이 완료된 전자문서를 형상화한 전자문서 확인 인터페이스를 표시할 수 있다.In addition, in step S16, the
상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S11 to S16 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present disclosure. Additionally, some steps may be omitted or the order between steps may be changed as needed.
본원의 일 실시 예에 따른 대화 인식을 통한 서식 기반 전자문서 입력 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The format-based electronic document input method through conversation recognition according to an embodiment of the present application may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 전술한 대화 인식을 통한 서식 기반 전자문서 입력 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.Additionally, the format-based electronic document input method using dialogue recognition described above can also be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present application described above is for illustrative purposes, and those skilled in the art will understand that the present application can be easily modified into other specific forms without changing its technical idea or essential features. Therefore, the embodiments described above should be understood in all respects as illustrative and not restrictive. For example, each component described as unitary may be implemented in a distributed manner, and similarly, components described as distributed may also be implemented in a combined form.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims described below rather than the detailed description above, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present application.
10: 전자문서 시스템
100: 대화 인식을 통한 서식 기반 전자문서 입력 장치
110: 대화 수신부
120: 리스트 생성부
130: 필드값 추출부
140: 기입부
150: 표시부
20: 네트워크
200: 제1사용자 단말
300: 제2사용자 단말10: Electronic document system
100: Form-based electronic document input device through conversation recognition
110: conversation receiver
120: List creation unit
130: Field value extraction unit
140: Entry section
150: display unit
20: Network
200: First user terminal
300: Second user terminal
Claims (12)
소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 단계;
상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 단계; 및
상기 필드 리스트에 기초하여 상기 대화 입력으로부터 상기 전자문서를 작성하는 단계,
를 포함하되,
상기 대화 입력을 수신하는 단계는,
질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신하는 것을 특징으로 하고,
상기 전자문서 입력 방법은,
상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하는 단계를 더 포함하고,
상기 필드 리스트를 생성하는 단계는,
상기 필드 리스트 내의 추출된 상기 복수의 기입 항목 각각에 대한 순서를 결정하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 단계;
상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 단계; 및
상기 필드값이 입력되면 결정된 상기 복수의 기입 항목 각각에 대한 순서에 기초하여 상기 필드값이 입력된 상기 소정의 기입 항목의 다음 순서에 해당하는 기입 항목이 활성화 표시하는 단계,
를 포함하되,
상기 필드값을 추출하는 단계는,
상기 질문자 발화 및 상기 응답자 발화로 분류된 상기 제1타입 대화 입력을 스크립트 방식으로 형상화하고, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 상기 스크립트 상에서 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출하고,
상기 대화 입력을 수신하는 단계는,
대화 중지를 위한 사용자 입력이 수신되면, 상기 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 상기 전자문서의 작성에 활용되지 않도록 비활성화되고, 상기 비활성화 상태에서 대화 재개를 위한 사용자 입력이 수신되면, 상기 대화 재개를 위한 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 재차 상기 전자문서의 작성에 활용되도록 활성화됨으로써 수신된 상기 대화 입력을 복수의 대화 입력으로 분할하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
분할된 상기 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작하는 것을 특징으로 하고,
상기 전자문서를 작성하는 단계는,
상기 필드 리스트 내의 각각의 선택형 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 기초로 복수의 선택형 기입 항목에 대한 일괄 기입 처리를 수행하는 것을 특징으로 하는 것인,
전자문서 입력 방법.In a form-based electronic document input method through conversation recognition performed by an electronic document input device,
Receiving a conversation input associated with the creation of a predetermined electronic document;
generating a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document; and
creating the electronic document from the dialogue input based on the field list;
Including,
The step of receiving the conversation input is,
Characterized by receiving a first type conversational input performed by a plurality of subjects including a questioner and a respondent,
The electronic document input method is,
further comprising classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent;
The step of creating the field list is,
Characterized in determining the order of each of the plurality of extracted entry items in the field list,
The step of creating the electronic document is,
extracting field values corresponding to each entry item from the dialogue input;
Entering the extracted field value for each entry item; and
When the field value is input, based on the determined order of each of the plurality of entry items, displaying the entry item corresponding to the next order of the predetermined entry item in which the field value is entered as active;
Including,
The step of extracting the field value is,
The first type dialogue input classified into the questioner utterance and the respondent utterance is shaped in a script manner, the part corresponding to the entry item is searched from the questioner utterance, and the questioner utterance including the searched entry item is searched for. Extracting the field value to be entered corresponding to the entry item from the respondent utterance adjacent to a predetermined level on the script,
The step of receiving the conversation input is,
When a user input to stop a conversation is received, the conversation input applied at a time after receiving the user input is deactivated so that it is not used to create the electronic document, and when a user input to resume the conversation is received in the deactivated state, the conversation Characterized by dividing the received dialogue input into a plurality of dialogue inputs by activating the dialogue input applied at a time after receiving the user input for resumption to be used again for creating the electronic document,
The step of creating the electronic document is,
Characterized in that it operates to fill in different areas within one electronic document format based on each of the plurality of divided conversation inputs,
The step of creating the electronic document is,
Characterized in that batch writing processing is performed on a plurality of selective entry items based on hierarchical structure information or grouping information preset for each optional entry item in the field list,
How to input electronic documents.
상기 필드값을 추출하는 단계는,
상기 대화 입력에서 상기 기입 항목에 대응하여 기입될 내용을 포함하는 발화 부분을 상기 필드값으로 추출하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of extracting the field value is,
An electronic document input method, wherein an utterance part containing content to be written corresponding to the entry item is extracted from the dialogue input as the field value.
상기 대화 입력을 수신하는 단계는,
응답자에 해당하는 하나의 주체에 의해 수행된 제2타입 대화 입력을 수신하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of receiving the conversation input is,
An electronic document input method that receives a second type conversation input performed by a subject corresponding to the respondent.
상기 필드값을 추출하는 단계는,
상기 필드값이 추출된 상기 응답자 발화에 대하여 후속하는 상기 질문자 발화에서 기 추출된 상기 필드값에 상응하는 발화 부분이 재차 탐색되면, 상기 탐색된 발화 부분으로 상기 필드값을 갱신하는 단계,
를 포함하는 것을 특징으로 하는, 전자문서 입력 방법.According to paragraph 1,
The step of extracting the field value is,
If an utterance part corresponding to the previously extracted field value is searched again in the interrogator utterance following the respondent utterance from which the field value was extracted, updating the field value with the searched utterance part;
An electronic document input method comprising:
상기 필드값을 기입하는 단계는,
상기 추출된 필드값을 대응되는 기입 항목의 속성에 따라 정규화하는 단계,
를 포함하는 것인, 전자문서 입력 방법.According to paragraph 1,
The step of entering the field value is,
Normalizing the extracted field values according to the properties of the corresponding entry items,
An electronic document input method comprising:
입력되는 중인 상기 전자문서를 형상화한 전자문서 인터페이스를 상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 표시하는 단계,
를 더 포함하는 것인, 전자문서 입력 방법.According to paragraph 4,
Displaying an electronic document interface symbolizing the electronic document being input on at least one of a first user terminal owned by the questioner and a second user terminal owned by the respondent;
An electronic document input method further comprising:
상기 표시하는 단계는,
상기 전자문서 인터페이스에서 상기 필드값이 입력되는 중인 영역이 미리 설정된 소정의 시간 동안 하이라이트 되도록 표시하는 것인, 전자문서 입력 방법.According to clause 9,
The steps indicated above are:
An electronic document input method, wherein the area where the field value is being input is displayed in the electronic document interface to be highlighted for a predetermined period of time.
상기 질문자가 보유한 제1사용자 단말 및 상기 응답자가 보유한 제2사용자 단말 중 적어도 하나에 입력이 완료된 상기 전자문서를 형상화한 전자문서 확인 인터페이스를 표시하는 단계를 더 포함하고,
상기 전자문서 확인 인터페이스를 표시하는 단계는,
상기 전자문서 확인 인터페이스에서 상기 필드값이 미입력된 영역 또는 상기 필드값이 오입력된 영역이 구분되어 표시되도록 하는 것인, 전자문서 입력 방법.According to paragraph 4,
It further includes the step of displaying an electronic document confirmation interface symbolizing the electronic document whose input has been completed on at least one of a first user terminal owned by the questioner and a second user terminal owned by the respondent,
The step of displaying the electronic document confirmation interface is,
An electronic document input method, wherein an area in which the field value is not entered or an area in which the field value is entered incorrectly is displayed separately in the electronic document confirmation interface.
소정의 전자문서의 작성과 연계된 대화 입력을 수신하는 대화 수신부;
상기 전자문서의 서식에 기초하여 상기 전자문서의 완성을 위한 복수의 기입 항목을 포함하는 필드 리스트를 생성하는 리스트 생성부;
상기 대화 입력으로부터 상기 기입 항목 각각에 대응되는 필드값을 추출하는 필드값 추출부; 및
상기 기입 항목 각각에 대하여 추출된 상기 필드값을 기입하는 기입부,
를 포함하되,
상기 대화 수신부는,
질문자 및 응답자를 포함하는 복수의 주체에 의해 수행된 제1타입 대화 입력을 수신하고,
상기 전자문서 입력 장치는,
상기 제1타입 대화 입력을 상기 질문자에 의해 수행된 질문자 발화 및 상기 응답자에 의해 수행된 응답자 발화로 분류하고,
상기 리스트 생성부는,
상기 필드 리스트 내의 추출된 상기 복수의 기입 항목 각각에 대한 순서를 결정하고,
상기 전자문서 입력 장치는,
소정의 상기 기입 항목에 상기 필드값이 입력되면 결정된 상기 복수의 기입 항목 각각에 대한 순서에 기초하여 상기 필드값이 입력된 상기 소정의 기입 항목의 다음 순서에 해당하는 기입 항목이 활성화 표시하되,
상기 필드값 추출부는,
상기 질문자 발화 및 상기 응답자 발화로 분류된 상기 제1타입 대화 입력을 스크립트 방식으로 형상화하고, 상기 기입 항목에 해당하는 부분을 상기 질문자 발화로부터 탐색하고, 탐색된 기입 항목이 포함된 상기 질문자 발화에 대하여 상기 스크립트 상에서 소정 수준 이내로 인접한 상기 응답자 발화에서 해당 기입 항목에 대응하여 기입될 상기 필드값을 추출하고,
상기 대화 수신부는,
대화 중지를 위한 사용자 입력이 수신되면, 상기 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 상기 전자문서의 작성에 활용되지 않도록 비활성화되고, 상기 비활성화 상태에서 대화 재개를 위한 사용자 입력이 수신되면, 상기 대화 재개를 위한 사용자 입력 수신 이후 시점에 인가되는 대화 입력이 재차 상기 전자문서의 작성에 활용되도록 활성화됨으로써 수신된 상기 대화 입력을 복수의 대화 입력으로 분할하고,
상기 전자문서 입력 장치는,
분할된 상기 복수의 대화 입력 각각에 기초하여 하나의 전자문서 서식 내 서로 다른 영역을 기입하도록 동작하고,
상기 전자문서 입력 장치는,
상기 필드 리스트 내의 각각의 선택형 기입 항목에 대하여 미리 설정된 계층 구조 정보 또는 그룹핑 정보를 기초로 복수의 선택형 기입 항목에 대한 일괄 기입 처리를 수행하는 것인,
전자문서 입력 장치.In a form-based electronic document input device through conversation recognition,
a conversation receiver that receives conversation input associated with the creation of a predetermined electronic document;
a list generator that generates a field list including a plurality of entry items for completing the electronic document based on the format of the electronic document;
a field value extractor that extracts field values corresponding to each entry item from the dialogue input; and
an entry unit for entering the field values extracted for each of the entry items;
Including,
The conversation receiver,
Receiving type 1 conversational input performed by a plurality of subjects including a questioner and a respondent;
The electronic document input device,
Classifying the first type dialogue input into an interrogator utterance performed by the questioner and a respondent utterance performed by the respondent,
The list creation unit,
Determine an order for each of the plurality of extracted entry items in the field list,
The electronic document input device,
When the field value is entered into the predetermined entry item, based on the determined order of each of the plurality of entry items, the entry item corresponding to the next order of the predetermined entry item in which the field value was entered is activated and displayed,
The field value extractor,
The first type dialogue input classified into the questioner utterance and the respondent utterance is shaped in a script manner, the part corresponding to the entry item is searched from the questioner utterance, and the questioner utterance including the searched entry item is searched for. Extracting the field value to be entered corresponding to the entry item from the respondent utterance adjacent to a predetermined level on the script,
The conversation receiver,
When a user input to stop a conversation is received, the conversation input applied at a time after receiving the user input is deactivated so that it is not used to create the electronic document, and when a user input to resume the conversation is received in the deactivated state, the conversation The dialogue input applied at a time after receiving the user input for resumption is activated again to be used for creating the electronic document, thereby dividing the received dialogue input into a plurality of dialogue inputs,
The electronic document input device,
Operate to fill in different areas within one electronic document format based on each of the plurality of divided conversation inputs,
The electronic document input device,
Performing batch writing processing on a plurality of selective entry items based on hierarchical structure information or grouping information preset for each optional entry item in the field list,
Electronic document input device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200025119A KR102581414B1 (en) | 2020-02-28 | 2020-02-28 | Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200025119A KR102581414B1 (en) | 2020-02-28 | 2020-02-28 | Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210109914A KR20210109914A (en) | 2021-09-07 |
KR102581414B1 true KR102581414B1 (en) | 2023-09-21 |
Family
ID=77797406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200025119A KR102581414B1 (en) | 2020-02-28 | 2020-02-28 | Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102581414B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024029939A1 (en) * | 2022-08-05 | 2024-02-08 | 주식회사 아이이에스지 | Method for building esg database containing structured esg data using esg auxiliary tool, and esg service provision system for carrying out same |
KR102532216B1 (en) * | 2022-08-05 | 2023-05-12 | 김종웅 | Method for establishing ESG database with structured ESG data using ESG auxiliary tool and ESG service providing system performing the same |
KR102661537B1 (en) * | 2023-11-07 | 2024-04-25 | 전훈철 | Device, system, and method for providing language learning in virtual space |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101705228B1 (en) | 2016-08-22 | 2017-02-09 | 백승빈 | Electronic document producing apparatus, and control method thereof |
KR102076793B1 (en) * | 2019-07-04 | 2020-02-12 | 주식회사 포시에스 | Method for providing electric document using voice, apparatus and method for writing electric document using voice |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3453417B2 (en) * | 1993-12-21 | 2003-10-06 | キヤノン株式会社 | Document processing apparatus and document processing method |
KR20150046939A (en) * | 2013-10-23 | 2015-05-04 | 농협은행(주) | Electronic document system and processing method thereof |
KR101687828B1 (en) * | 2015-04-09 | 2016-12-20 | 박지연 | System and method for generating electronic document |
KR20190097947A (en) * | 2018-02-13 | 2019-08-21 | 주식회사 케이티 | Device, method and computer program for processing user inquiry |
-
2020
- 2020-02-28 KR KR1020200025119A patent/KR102581414B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101705228B1 (en) | 2016-08-22 | 2017-02-09 | 백승빈 | Electronic document producing apparatus, and control method thereof |
KR102076793B1 (en) * | 2019-07-04 | 2020-02-12 | 주식회사 포시에스 | Method for providing electric document using voice, apparatus and method for writing electric document using voice |
Also Published As
Publication number | Publication date |
---|---|
KR20210109914A (en) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11018885B2 (en) | Summarization system | |
KR102581414B1 (en) | Apparatus and method for filling electronic document using dialogue comprehension based on format of electronic document | |
US8407049B2 (en) | Systems and methods for conversation enhancement | |
US9479931B2 (en) | Systems and methods for providing a virtual assistant | |
US9571645B2 (en) | Systems and methods for providing a virtual assistant | |
US10534623B2 (en) | Systems and methods for providing a virtual assistant | |
US9804820B2 (en) | Systems and methods for providing a virtual assistant | |
US8725514B2 (en) | Verifying a user using speaker verification and a multimodal web-based interface | |
US9053096B2 (en) | Language translation based on speaker-related information | |
JP2019061594A (en) | Conference support system and conference support program | |
KR102076793B1 (en) | Method for providing electric document using voice, apparatus and method for writing electric document using voice | |
EP3063646A1 (en) | Systems and methods for providing a virtual assistant | |
EP2840767A1 (en) | Speaker recognition and voice tagging for improved service | |
Neustein | Advances in speech recognition: mobile environments, call centers and clinics | |
CN109240586A (en) | The terminal and its method and processor readable medium of operation user interface | |
CN117424960A (en) | Intelligent voice service method, device, terminal equipment and storage medium | |
US20220253596A1 (en) | Method for providing electric document using chatbot, apparatus and method for writing electric document using chatbot | |
US11947872B1 (en) | Natural language processing platform for automated event analysis, translation, and transcription verification | |
KR102291113B1 (en) | Apparatus and method for producing conference record | |
KR102189558B1 (en) | Apparatus, method and system for providing intelligent electric document using voice | |
KR20220136846A (en) | Method of feedback salesman by analyzing the sounds or face image of both themselves and client and the apparatus thereof | |
Tanwar et al. | An approach to ensure security using voice authentication system | |
KR20220136844A (en) | Method of obtaining client's approval for recording the sounds and video and the apparatus thereof | |
KR102189567B1 (en) | System for writing electronic document by detecting key and corresponding value from sentence with multiple key | |
US20240163372A1 (en) | Systems for transitioning telephony-based and in-person servicing interactions to and from an artificial intelligence (ai) chat session |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |