KR102417257B1 - 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법 - Google Patents

시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법 Download PDF

Info

Publication number
KR102417257B1
KR102417257B1 KR1020200040752A KR20200040752A KR102417257B1 KR 102417257 B1 KR102417257 B1 KR 102417257B1 KR 1020200040752 A KR1020200040752 A KR 1020200040752A KR 20200040752 A KR20200040752 A KR 20200040752A KR 102417257 B1 KR102417257 B1 KR 102417257B1
Authority
KR
South Korea
Prior art keywords
entry
electronic document
user
item
entry item
Prior art date
Application number
KR1020200040752A
Other languages
English (en)
Other versions
KR20210123530A (ko
Inventor
박미경
Original Assignee
주식회사 포시에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포시에스 filed Critical 주식회사 포시에스
Priority to KR1020200040752A priority Critical patent/KR102417257B1/ko
Publication of KR20210123530A publication Critical patent/KR20210123530A/ko
Application granted granted Critical
Publication of KR102417257B1 publication Critical patent/KR102417257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은, 복수의 기입 항목을 포함하는 전자문서를 표시하는 단계, 상기 표시된 전자문서에 대한 사용자의 시선 정보를 획득하는 단계, 상기 시선 정보에 기초하여 상기 사용자가 응시하는 기입 항목을 식별하는 단계, 상기 식별된 기입 항목에 대한 상기 사용자의 음성 입력을 수신하는 단계 및 상기 수신된 음성 입력을 기초로 상기 식별된 기입 항목에 대응하는 필드값을 기입하는 단계를 포함할 수 있다.

Description

시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법{APPARATUS AND METHOD FOR FILLING ELECTRONIC DOCUMENT BASED ON EYE TRACKING AND SPEECH RECOGNITION}
본원은 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법에 관한 것이다.
일반적으로 업무 영역에서 다양한 양식의 문서가 발생하게 되고, 이러한 문서들은 종래에는 종이에 인쇄된 형태로 작성되었다면, 최근 다양한 문서들을 전자적인 형태로 생성하는 전자문서 및 전자서명 서비스가 도입되어 활용되고 있으며, 정부의 페이퍼리스(Paperless) 정책과 맞물려 급속한 성장 추세를 보이고 있다.
또한, 스마트 디바이스의 대중화에 따라 음성 기반 서비스를 이용하는 사용자 경험은 지속적으로 축적되어 왔다. 현재 음성 기반 서비스의 대부분은 개인의 일상 생활에 연계된 기능을 제공하고 있으며, 앞으로는 기업의 업무 영역에까지 확장될 것으로 예상된다.
따라서, 음성 입력 등을 기초로 전자문서를 생성하는 기술 및 시스템이나 음성 입력 등을 기초로 전자 문서를 제어 및 관리할 수 있는 기술 및 시스템 개발의 필요성이 증대되고 있다.
그러나, 현재까지의 음성을 통한 전자문서 작성 기술은 음성이 포함된 컨텐츠(영화, 온라인에 업로드된 동영상 등)에 대한 자막을 생성하거나 인터뷰 내용을 단순 받아쓰기 하는 등 음성 전체의 텍스트화(전사, Transcription)에만 편중되어 있었다.
한편, 신체의 오감 중 가장 민감하며 반응이 빠른 시각은 인간의 가장 중요한 정보 취득 루트라 할 수 있다. 이와 관련하여 시선 추적(Eye Tracking, Gaze Tracking) 기술은 사용자의 시선이 어느 곳을 향하고 있는지를 파악하는 것으로써 이러한 시선 추적 기술은 구글, 페이스북, 애플 등 글로벌 기업들이 주목하는 차세대 핵심 기술로 평가 받고 있을 뿐만 아니라, VR, AR 및 다양한 IT 기기와의 접목이 활발히 진행되고 있으며, 차세대 게임, 운전자의 시선정보 분석, 홍채정보 인식을 기반으로 한 금융 결제 및 시청 연령 제한 기능 등 다양한 분야에서의 활용 가능성이 높을 것으로 평가되는 추세이나 이러한 사용자의 시선을 추적하는 기술을 접목하여 표출된 전자문서에 대한 작성 프로세스를 보조하는 기법에 대하여는 개발 및 도입이 아직 미비한 실정이다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1922589호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자가 응시하는 기입 항목에 대한 음성 입력을 기초로 전자문서를 작성하도록 하는 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은, 복수의 기입 항목을 포함하는 전자문서를 표시하는 단계, 상기 표시된 전자문서에 대한 사용자의 시선 정보를 획득하는 단계, 상기 시선 정보에 기초하여 상기 사용자가 응시하는 기입 항목을 식별하는 단계, 상기 식별된 기입 항목에 대한 상기 사용자의 음성 입력을 수신하는 단계 및 상기 수신된 음성 입력을 기초로 상기 식별된 기입 항목에 대응하는 필드값을 기입하는 단계를 포함할 수 있다.
또한, 상기 기입 항목을 식별하는 단계는, 상기 사용자가 상기 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 임계 시간 이상 응시한 것으로 판단되면, 해당 기입 항목과 연계된 상기 음성 입력을 수신 가능한 상태인 입력 모드로 전환할 수 있다.
또한, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은, 상기 필드값을 기입하는 단계 이후에, 상기 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 상기 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시하는 단계를 포함할 수 있다.
또한, 상기 기입 순서 정보는, 상기 표시된 전자문서에 포함된 복수의 기입 항목 중 소정의 필수 기입 항목에 대한 기입 순서를 미리 정의한 것일 수 있다.
또한, 상기 전자문서를 표시하는 단계는, 상기 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은, 상기 기입 항목을 식별하는 단계 이후에, 상기 입력 모드로 전환된 후 미리 설정된 대기 시간 내에 상기 음성 입력이 수신되지 않으면, 해당 기입 항목에 대한 가이드 정보를 표시하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치는, 복수의 기입 항목을 포함하는 전자문서를 표시하는 표시부, 상기 표시된 전자문서에 대한 사용자의 시선 정보를 획득하고, 상기 시선 정보에 기초하여 상기 사용자가 응시하는 기입 항목을 식별하는 시선 분석부 및 상기 식별된 기입 항목에 대한 상기 사용자의 음성 입력을 수신하고, 상기 수신된 음성 입력을 기초로 상기 식별된 기입 항목에 대응하는 필드값을 기입하는 음성 처리부를 포함할 수 있다.
또한, 상기 시선 분석부는, 상기 사용자가 상기 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 임계 시간 이상 응시한 것으로 판단되면, 해당 기입 항목과 연계된 상기 음성 입력을 수신 가능한 상태인 입력 모드로 전환할 수 있다.
또한, 상기 표시부는, 상기 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 상기 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시할 수 있다.
또한, 상기 표시부는, 상기 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시할 수 있다.
또한, 상기 표시부는, 상기 입력 모드로 전환된 후 미리 설정된 대기 시간 내에 상기 음성 입력이 수신되지 않으면, 해당 기입 항목에 대한 가이드 정보를 표시할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 사용자가 응시하는 기입 항목에 대한 음성 입력을 기초로 전자문서를 작성하도록 하는 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 사용자가 표출된 전자문서에 포함된 기입 항목을 응시하고, 응시한 기입 항목에 대응하는 내용을 발화하는 과정의 반복을 통해 전자문서가 자동으로 완성되므로, 사용자가 별도의 입력 수단이나 복잡한 조작 없이도 편리하게 전자문서를 작성할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 사용자가 전자문서의 완성을 위하여 기입해야 하는 기입 항목을 강조되게 표시하고 강조된 기입 항목을 사용자가 응시하면서 전자문서를 작성하도록 하여 전자문서에 반영된 내용을 사용자가 잘 숙지하도록 할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치의 전체적인 동작 및 기능을 설명하기 위한 개념도이다.
도 2는 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치의 개략적인 구성도이다.
도 3a 내지 도 3c는 소정의 전자문서에 대하여 사용자의 시선 정보에 기초하여 사용자가 응시하는 기입 항목을 식별하고, 식별된 기입 항목에 대한 필드값을 사용자의 음성 입력을 기초로 기입하는 과정을 설명하기 위한 도면이다.
도 4는 기입 항목에 대한 가이드 정보를 설명하기 위한 도면이다.
도 5는 기입 항목과 연계된 내용 정보의 분량에 기초하여 미리 설정된 임계 시간이 기입 항목 각각에 대하여 개별적으로 설정되는 것을 설명하기 위한 도면이다.
도 6은 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치의 전체적인 동작 및 기능을 설명하기 위한 개념도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치(100)(이하, '전자문서 작성 장치(100)'라 한다.)는, 사용자(1)가 작성하려는 작성 대상 전자문서(10)를 표시하고, 표시된 전자문서(10)에 대한 사용자(1)의 시선 정보에 기초하여 기입 항목을 식별하고, 식별된 기입 항목에 대한 사용자(1)의 음성 입력에 기초하여 기입 항목에 대응하는 필드값을 기입하는 방식으로 전자문서를 완성할 수 있다.
도 2는 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 장치의 개략적인 구성도이다.
도 2를 참조하면, 전자문서 작성 장치(100)는, 표시부(110), 시선 분석부(120) 및 음성 처리부(130)를 포함할 수 있다.
표시부(110)는, 복수의 기입 항목을 포함하는 전자문서를 표시할 수 있다. 본원의 일 실시예에 따르면, 표시부(110)는 소정의 전자문서(10)에 대한 작성 프로세스가 개시되면, 해당 전자문서(10)의 서식에 포함되는 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시할 수 있다.
본원의 일 실시예에 따르면, 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보란, 표시부(110)에 의해 표시되는 전자문서(10)의 서식에 포함되는 복수의 기입 항목 중 소정의 필수 기입 항목에 대한 기입 순서를 미리 정의한 것을 의미하는 것일 수 있으나, 이에만 한정되는 것은 아니다.
도 3a 내지 도 3c는 소정의 전자문서에 대하여 사용자의 시선 정보에 기초하여 사용자가 응시하는 기입 항목을 식별하고, 식별된 기입 항목에 대한 필드값을 사용자의 음성 입력을 기초로 기입하는 과정을 설명하기 위한 도면이다.
도 3a를 참조하면, 사용자가 작성하려는 전자문서(10)의 서식이 '휴가신청서'이면, 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에서 최초 작성 항목에 해당하는 기입 항목은 예시적으로 '1. 일시' 라벨의 하위 항목인 '휴가 시작 일시'일 수 있다. 이와 관련하여, 표시부(110)는 '휴가신청서' 서식에 해당하는 전자문서를 표시하되, 최초 작성 항목인 '휴가 시작 일시'에 대한 기입 항목을 강조되도록 표시할 수 있다.
여기서, 기입 항목이 강조되도록 표시되는 것은 사용자가 응시하는 기입 항목을 나타내거나 기입 항목 간의 순서를 나타내기 위한 것일 수 있다. 이하에서는, 사용자가 응시하는 기입 항목을 강조하거나 기입 항목 간의 순서를 나타내기 위하여 소정의 기입 항목에 대응되는 영역을 강조 표시하는 것을 후술하는 입력 모드 전환을 나타내기 위한 표시와 구분하기 위하여 '제1강조 표시'라 지칭하도록 한다. 또한, 이러한 제1강조 표시의 용어와 대비하여 입력 모드 전환을 나타내기 위한 표시는 '제2강조 표시'라 지칭하도록 한다.
시선 분석부(120)는, 표시된 전자문서에 대한 사용자의 시선 정보를 획득할 수 있다.
또한, 시선 분석부(120)는, 획득된 사용자의 시선 정보에 기초하여 사용자가 응시하는 기입 항목을 식별할 수 있다.
본원의 일 실시예에 따르면, 사용자가 응시하는 기입 항목을 나타내는 제1강조 표시는 사용자가 소정의 기입 항목에 대응되는 영역을 미리 설정된 제1임계 시간 이상 응시하면 출력되는 것일 수 있다. 또한, 기입 항목 간의 순서를 나타내는 제1강조 표시는 사용자가 소정의 기입 항목에 대한 필드값의 입력을 완료하면 다음 순서의 기입 항목에 대하여 자동으로 출력되는 것일 수 있다.
본원의 일 실시예에 따르면, 시선 분석부(120)는 전자문서 작성 장치(100)에 구비된 카메라 모듈(미도시)에 의해 촬영된 사용자의 얼굴 영역을 포함하는 영상에 기초하여 표시부(110)에 의해 전자문서가 표시되는 디스플레이 영역에서 사용자가 응시하는 위치를 식별하고, 식별된 위치에 해당하는 기입 항목을 파악하는 것일 수 있다. 달리 말해, 시선 분석부(120)는 사용자의 시선 정보를 추출하기 위하여 사용자의 얼굴 영역을 포함하는 영상을 촬영하는 카메라 모듈을 포함할 수 있다.
다른 예로, 시선 분석부(120)는 전자문서 작성 장치(100)와 별도로 마련되어 사용자가 착용하는 아이 트래커 디바이스(미도시)로부터 사용자의 시선 정보를 획득하는 것일 수 있다. 예를 들면, 아이 트래커 디바이스(미도시)는 사용자가 착용할 수 있도록 안경 형태로 구비되는 것일 수 있으나, 이에만 한정되는 것은 아니다.
아이 트래커 디바이스(미도시)와 연계하여 사용자의 시선 정보를 획득하는 경우, 전자문서 작성 장치(100) 및 아이 트래커 디바이스(미도시) 상호간은 네트워크를 통해 통신할 수 있다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
또한, 본원의 일 실시예에 따르면, 시선 분석부(120)는, 획득된 사용자의 시선 정보에 기초하여 사용자가 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 임계 시간 이상 응시한 것으로 판단되면, 해당 기입 항목과 연계된 음성 입력을 수신 가능한 상태인 입력 모드로 전환할 수 있다.
본원의 일 실시예에 따르면, 소정의 기입 항목에 대한 입력 모드로의 전환을 위한 미리 설정된 임계 시간은 전술한 제1임계 시간과 구분되는 제2임계 시간으로 지칭될 수 있다. 여기서, 제2임계 시간은 입력 모드 전환을 판단하기 위하여 해당 기입 항목에 대하여 제1강조 표시가 출력된 후 사용자가 해당 기입 항목을 응시하는 시점으로부터 카운트된 사용자의 응시 시간과 비교되는 것일 수 있다. 또한, 시선 분석부(120)에 의해 사용자가 소정의 기입 항목을 제2임계 시간 이상 응시한 것으로 판단되면, 표시부(110)는 해당 기입 항목에 대한 입력 모드가 개시된 것을 표시하는 제2강조 표시를 출력할 수 있다.
종합하면, 사용자가 소정의 필드값이 미입력된 기입 항목을 제1임계 시간 이상 응시하면, 해당 기입 항목이 제1강조 표시되고, 해당 기입 항목에 대한 제1강조 표시가 출력된 후 사용자가 해당 기입 항목을 제2임계 시간 이상 더 응시하면, 해당 기입 항목에 대한 입력 모드로 전환되어 제2강조 표시가 출력될 수 있다. 다른 예로, 사용자가 소정의 기입 항목에 대한 필드값의 기입을 완료하면, 미리 설정된 기입 순서 상 다음 순서의 기입 항목이 제1강조 표시되고, 해당 기입 항목에 대한 제1강조 표시가 출력된 후 사용자가 해당 기입 항목을 제2임계 시간 이상 응시하면 해당 기입 항목에 대한 입력 모드로 전환되어 제2강조 표시가 출력될 수 있다.
또한, 본원의 일 실시예에 따른 전자문서 작성 장치(100)는 미리 설정된 기입 순서 정보에 기초하여 소정의 필수 기입 항목에 대한 필드값이 미입력된 상태에서 미입력된 필수 기입 항목에 대한 후순위(후순서)에 해당하는 기입 항목을 사용자가 제1임계 시간 이상 응시하는 경우에는, 응시하는 기입 항목에 대한 제1강조 표시를 출력하는 것이 아니라 사용자가 필드값을 미입력하고 건너뛴 필수 기입 항목에 대한 제1강조 표시가 출력되도록 동작할 수 있다. 또한, 본원의 구현예에 따라 표시부(110)는 건너뛴 필수 기입 항목에 대한 제1강조 표시가 출력되는 경우, 해당 기입 항목에 대한 필드값의 기입이 누락되었음을 사용자가 인식하도록 하는 안내 표시를 함께 출력할 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 필수 기입 항목에 대한 필드값 누락을 사용자가 인식하도록 출력되는 안내 표시에도 불구하고 사용자가 후순위(후순서)에 해당하는 기입 항목에 대한 시선을 유지하는 경우에는, 후순위(후순서)에 해당하는 기입 항목에 대한 입력 프로세스가 개시되며, 이 때 표시부(110)는 후순위(후순서) 기입 항목에 대한 제1강조 표시를 출력할 수 있다.
또한, 본원의 일 실시예에 따르면, 사용자의 시선 정보에 기초하여 식별된 기입 항목(달리 말해, 입력 모드로 전환된 기입 항목)에 대한 입력이 이루어지는 도중(입력 모드 도중)에 사용자가 다른 기입 항목을 제1임계 시간 이상 응시하면, 입력 모드에 있었던 기입 항목에 대한 필드값은 해당 시점(다른 기입 항목을 제1임계 시간 이상 응시한 것으로 판단된 시점)까지 사용자가 인가한 음성 입력에 기초하여 기입되고, 사용자가 제1임계 시간 이상 응시한 다른 기입 항목에 대한 제1강조 표시가 출력되어 사용자가 응시한 다른 기입 항목에 대한 입력 프로세스가 개시될 수 있다.
이와 관련하여, 본원의 전자문서 작성 장치(100)는 사용자가 작성 중인 기입 항목 외의 기입 항목에 해당하는 영역을 제1임계 시간 미만으로 짧게 응시하는 경우에는 그러한 시선 이동에도 불구하고 입력 모드에 해당하는 기입 항목이 변경되지 않도록 구현됨으로써, 입력 진행 중 발생하는 사용자의 짧은 시선 이동은 무시될 수 있도록 함으로써 사용자의 시선 이동에 따라 과도하게 기입 항목의 입력 모드가 변경되는 것을 방지하여 사용자의 시선 정보에 기초한 자연스러운 전자문서 작성이 이루어지도록 할 수 있다.
또한, 본원의 일 실시예에 따르면, 제2임계 시간은 제1임계 시간보다 크게 설정될 수 있다. 예시적으로 제1임계 시간은 1초이고 제2임계 시간이 5초로 설정되면, 사용자가 소정의 기입 항목을 1초 이상 응시하면 제1강조 표시(예를 들면, 음영 표시 생성)되고, 해당 기입 항목을 5초 이상 더 응시하면 제2강조 표시(예를 들면, 생성된 음영 표시가 점멸)되며 입력 모드로 전환될 수 있다. 이와 관련하여 사용자는 제2강조 표시를 시각을 통해 확인하여 해당 기입 항목에 대한 필드값을 입력하기 위한 음성 입력을 발화할 수 있다.
또한, 본원의 구현예에 따라 제1임계 시간 및/또는 제2임계 시간은 동일한 전자문서에 대한 것이라도 각각의 기입 항목에 따라 상이하게 설정될 수 있는데, 이러한 기입 항목 별 임계 시간 설정은 도 5를 참조하여 상세히 후술하도록 한다.
또한, 본원의 일 실시예에 따르면, 제1강조 표시는 소정의 기입 항목에 대응하는 영역에 표출된 전자문서의 나머지 영역과 구분되는 색상, 음영, 패턴 등이 삽입되는 것이고, 제2강조 표시는 해당 기입 항목에 대하여 제1강조 표시에서 삽입된 색상, 음영, 패턴 등에 대한 점멸이 반복되도록 표시되는 것일 수 있다.
다만, 제1강조 표시 및 제2강조 표시의 표시 유형은 이에만 한정되는 것은 아니고, 기입 항목 간 순서를 반영하여 사용자의 시선을 유도하거나 사용자가 응시하는 기입 항목을 사용자에게 인식시키기 위한 제1강조 표시와 구체적인 필드값을 기입하기 위하여 선택되어 음성 입력을 인가할 수 있는 입력 모드로 전환된 기입 항목을 사용자에게 인식시키기 위한 제2강조 표시가 사용자에 의해 구분되어 인식되기만 하면 세부적인 표시 방식은 특정한 방식으로 한정되지 않는다.
음성 처리부(130)는, 식별된 기입 항목에 대한 사용자의 음성 입력을 수신할 수 있다. 또한, 음성 처리부(130)는, 수신된 음성 입력을 기초로 식별된 기입 항목에 대응하는 필드값을 기입할 수 있다. 즉, 음성 처리부(130)는 음성에 대한 문자화(Speech-to-text, STT) 기능을 탑재하여 수신된 음성 입력으로부터 필드값을 추출하고 추출된 필드값을 기입할 수 있다.
구체적으로 본원의 일 실시예에 따르면, 사용자로부터 수신된 음성 입력에는 기입 항목에 대하여 실제 입력될 필드값과 함께 정제되지 않은 발화 일부가 포함되거나 음성 입력의 형식과 기입 항목에서 요구하는 필드값의 형식이 불일치할 수 있다. 본원의 음성 처리부(130)는 이러한 상황을 고려하여 수신된 음성 입력을 전자문서(10)의 서식에 부합하도록 정제된 필드값으로 가공(정규화)하여 기입 항목에 대한 기입을 처리할 수 있다.
이하에서는, 음성 처리부(130)에 의해 수신된 음성 입력이 기입 항목에 실제로 기입되는 필드값으로 가공(정규화)되는 과정을 상세히 서술하기로 한다.
본원의 일 실시예에 따르면, 음성 처리부(130)는, 수신된 음성 입력의 첫 분절이 조사인지 여부를 판단하여 처리할 수 있다. 이 때, 음성 처리부(130)는 수신된 음성 입력의 첫 분절이 조사인 경우, 해당 분절을 삭제할 수 있다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는, 상기 첫 분절을 제외한 나머지 분절들을 결합하고, 결합된 분절에 대해 형태소 분석을 수행할 수 있다. 또한, 음성 처리부(130)는 형태소 분석 결과를 역방향으로 탐색하여 실질 형태소를 탐지할 수 있다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는, 탐지된 실질 형태소를 해당 기입 항목에서 요구하는 형식(품사 등)에 부합하도록 변환할 수 있다.
예를 들어, 음성 처리부(130)는 해당 기입 항목에 명사 형태의 필드값이 기입될 것이 요구되나, 음성 입력으로부터 탐지된 실질 형태소가 명사 형태가 아닌 경우, 탐지된 실질 형태소를 명사 형태로 변환할 수 있다. 예를 들어, 음성 처리부(130)는 용언(동사, 형용사) 형태의 실질 형태소 뒤에 '-ㅁ' 또는 '-음'을 결합하여 상기 명사 형태로의 변환을 수행할 수 있다.
다른 예로, 음성 처리부(130)는 해당 기입 항목에 대한 필드값이 날짜 형식(예를 들면, 년-월-일 꼴)으로 입력될 것이 요구되는 경우, 탐지된 실질 형태소를 날짜 형식으로 변환할 수 있다. 구체적으로, 탐지된 실질 형태소가 '오늘'인 경우, 해당일의 날짜를 날짜 형식에 부합하도록 변환하여 기입할 수 있다.
또 다른 예로, 탐지된 실질 형태소가 '숫자 타입'이며 해당 기입 항목에 대한 필드값 역시 동일한 숫자 타입으로 입력될 것이 요구되면, 추가적인 변환 없이 숫자 정보 자체를 기입할 수도 있다.
또한, 본원의 일 실시예에 따르면, 해당 전자문서 기입 항목의 형식이 콤보 박스, 체크박스, 라디오 버튼 등의 목록형 기입 항목(도 3c의 '2. 구분' 라벨 참조)에 해당하나, 수신된 음성 입력으로부터 탐지된 실질 형태소가 미리 설정된 선택 항목 중 어느 하나에 정확하게 부합하지 않으면, 음성 처리부(130)는 레벤슈타인 편집 거리 알고리즘 등을 기초하여, 탐지된 실질 형태소에 포함된 내용과 가장 근접한 선택 항목(콤보박스, 체크박스, 라디오 버튼 등)을 선택하여 필드값으로 할당할 수 있다.
또한, 표시부(110)는 음성 처리부(130)에 의해 가공(정규화)되어 기입된 필드값을 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 과정을 통해 소정의 기입 항목에 대한 필드값이 사용자의 음성 입력에 기초하여 기입되고 나면, 표시부(110)는 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시할 수 있다.
예시적으로, 도 3b를 참조하면, '1. 일시' 라벨의 하위 항목에 해당하는 기입 항목인 '휴가 시작 일시'에 대한 필드값(도 3b를 참조하면, '2020-03-23 09:00 부터')의 기입이 완료되면, 표시부(110)는 미리 설정된 기입 순서 정보에 기초하여 '휴가 시작 일시'의 다음 순서에 해당하는 기입 항목인 '휴가 종료 일시'가 강조되도록 표시(제1강조 표시)할 수 있다.
또한, 도 3c를 참조하면, 콤보박스, 체크박스, 라디오 버튼 등 복수의 선택 항목을 포함하도록 미리 생성된 목록에서 사용자가 소정의 선택 항목을 선택하는 방식의 목록형 기입 항목의 경우, 표시부(110)는 해당 목록형 기입 항목을 나타내는 라벨(도 3c를 참조하면, '2. 구분') 및 전체 선택 항목을 함께 강조 표시하여 사용자가 선택 가능한 전체 선택 항목의 유형을 인식하도록 할 수 있다.
이러한 목록형 기입 항목에 대하여 사용자는 표시된 전체 선택 항목 중 적어도 하나 이상의 선택 항목에 해당하는 음성 입력을 발화함으로써 소정의 선택 항목을 선택할 수 있다.
도 4는 기입 항목에 대한 가이드 정보를 설명하기 위한 도면이다.
도 4를 참조하면, 본원의 일 실시예에 따른 표시부(110)는 소정의 기입 항목이 식별된 후(달리 말해, 소정의 기입 항목과 연계된 입력 모드로 전환된 후) 미리 설정된 대기 시간 내에 식별된 기입 항목에 대한 필드값의 기입을 위한 음성 입력이 수신되지 않으면, 해당 기입 항목에 대한 가이드 정보를 표시할 수 있다.
즉, 본원의 일 실시예에 따른 전자문서 작성 장치(100)는 소정의 기입 항목에 대하여 입력 모드로의 전환이 이루어진 후에도 해당 기입 항목에 대한 음성 입력을 사용자가 발화하지 않아 해당 기입 항목에 대하여 미리 설정된 대기 시간 이상 입력이 되지 않고 있으면, 사용자가 해당 기입 항목에 대하여 입력(작성)에 어려움을 겪고 있는 것으로 판단하고, 해당 기입 항목의 입력에 도움을 줄 수 있는 안내 정보(도 4를 참조하면 '휴가사유를 간략하게 입력해주세요.')를 포함하는 가이드 정보를 사용자에게 제공할 수 있다.
이와 관련하여, 본원의 일 실시예에 따르면, 가이드 정보의 내용 및 가이드 정보가 표시되기 위한 대기 시간은 전자문서(10)의 서식마다 상이하게 결정될 수 있다. 또한, 가이드 정보의 내용 및 가이드 정보가 표시되기 위한 대기 시간은 동일한 전자문서(10)에 대한 것이라도 기입 항목 각각에 대하여 상이하게 결정될 수 있다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는 사용자가 인가한 음성 입력이 해당 기입 항목에 따라 적합하게 입력되었는지 여부를 판단할 수 있다. 또한, 음성 처리부(130)의 판단 결과, 사용자가 인가한 음성 입력이 해당 기입 항목에 대하여 부적합한 경우(예를 들면, 기입 항목과 무관한 내용만을 포함하는 경우, 기입 항목에 기입이 불가능한 수치를 포함하는 경우 등을 포함하는 오입력 상황), 표시부(110)는 해당 기입 항목에 대한 올바른 음성 입력을 재발화할 것을 요청하는 가이드 정보를 표시할 수 있다.
또한, 상기의 오입력 상황 시의 재발화를 요청하는 가이드 정보와 관련하여 본원의 일 실시예에 따르면, 음성 처리부(130)가 입력 모드로 전환된 소정의 기입 항목(설명의 편의를 위하여 '기존 기입 항목'으로 지칭하도록 한다.)에 대한 음성 입력을 수신하는 도중에 사용자가 기존 기입 항목이 아닌 다른 기입 항목을 제1임계 시간 이상 응시하였으나, 해당 시점(다른 기입 항목을 제1임계 시간 이상 응시한 것으로 판단된 시점)까지 사용자가 기존 기입 항목에 대하여 인가한 음성 입력이 기존 기입 항목에 대하여 부적합한 경우(예를 들면, 오입력 상황 등)에는, 사용자가 응시한 다른 기입 항목에 대한 입력 프로세스가 개시되는 항목 이동이 발생하지 않고, 기존 기입 항목과 연계된 오입력 상황 안내 및 재발화(재입력)를 요청하는 가이드 정보가 표시될 수 있다. 또한, 재발화를 요청하는 가이드 정보가 표시되고 나면, 시선 이동 전의 기존 기입 항목에 대한 입력 모드로 재차 전환될 수 있다.
본원의 일 실시예에 따르면, 표시부(110)는 툴팁(tooltip), 풍선 도움말 등의 형태로 가이드 정보를 표시(출력)할 수 있으나, 이에만 한정되는 것은 아니다.
도 5는 기입 항목과 연계된 내용 정보의 분량에 기초하여 미리 설정된 임계 시간이 기입 항목 각각에 대하여 개별적으로 설정되는 것을 설명하기 위한 도면이다.
도 5를 참조하면, 본원의 일 실시예에 따른 전자문서 작성 장치(100)는 기입 항목과 연계된 내용 정보의 분량에 기초하여 복수의 기입 항목 각각에 대한 미리 설정된 임계 시간(제1임계 시간 및/또는 제2임계 시간)을 개별적으로 설정할 수 있다. 여기서, 기입 항목과 연계된 내용 정보란 소정의 기입 항목에 대한 필드값을 기입하기에 앞서 사용자가 숙지해야 하는 정보를 포함할 수 있다.
예시적으로, 도 5를 참조하면, 전자문서 작성 장치(100)는 사용자로부터 약관에 대한 동의 여부를 입력 받기 위한 기입 항목에 대하여는 사용자가 해당 약관의 내용을 읽고 해당 기입 항목에 대한 필드값('동의' 또는 '미동의')을 입력(발화)할 수 있도록 해당 기입 항목에 대한 제2임계 시간을 약관 내용의 길이 정보에 대응하도록 설정할 수 있다. 즉, 동의 여부를 획득하기 위한 약관의 분량이 많을수록(약관에 포함된 텍스트의 길이가 길수록) 제2임계 시간이 크게 설정되는 것일 수 있다.
예를 들어, 제2임계 시간은 해당 기입 항목과 연계된 내용 정보의 분량에 기초하여 해당 내용 정보를 읽는데 소요되는 통상적인 시간(예를 들면, 복수의 사용자에 대하여 수집된 소요 시간의 평균치)을 산출하고, 산출된 시간에서 소정의 여유 시간을 포함하도록 결정될 수 있으나, 이에만 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 전자문서 작성 장치(100)는 기입 항목의 내용 정보에 대한 사용자의 숙지 여부를 보다 정확하게 판단하기 위하여, 사용자의 시선 정보에 기초하여 상기 내용 정보가 표출된 영역에서의 사용자 시선의 수평 방향 이동 정도 및 수직 방향 이동 정도를 획득하고, 이를 고려하여 사용자가 실질적으로 해당 내용 정보를 읽은 것으로 판단되면 해당 기입 항목에 대한 입력 모드로의 전환을 수행할 수 있다. 예를 들어, 시선 분석부(120)는 획득된 시선 정보에 기초하여 사용자가 해당 기입 항목에 대한 내용 정보를 제2임계 시간 이상 응시한 것으로 판단되는 경우에도, 해당 기입 항목에 대한 내용 정보가 표출된 영역의 넓이(면적)에 비해 사용자의 시선이 해당 영역에서 이동한 정도에 비추어 내용 정보를 모두 읽은 것으로 보기 어려운 경우(내용 정보가 표출된 영역의 전체 면적에 비해 과도하게 협소한 특정 영역만을 응시한 경우 등)에는 해당 기입 항목에 대한 입력 모드로의 전환을 수행하지 않도록 동작할 수 있다.
본원의 일 실시예에 따르면, 약관에 대한 동의 여부를 획득하기 위한 기입 항목에 대한 입력 모드가 전환되면, 표시부(110)는 동의 또는 미동의를 선택하기 위한 체크 박스 등이 강조(예를 들면, 점멸 등)되도록 하는 제2강조 표시를 출력할 수 있다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는 사용자가 기입 항목에 대한 필드명 및 필드값을 함께 포함하는 발화(예를 들면, "{필드명}은 {필드값}입니다" 등의 발화)를 음성 입력으로 인가하면, 사용자의 시선 정보에 의해 식별(선택)된 기입 항목과 무관하게 해당 발화에 포함된 필드명에 대응되는 기입 항목에 대한 필드값을 기입하도록 동작할 수 있다. 여기서, '필드명'은 기입 항목 각각을 나타내는 대표 명칭으로서 기입 항목 각각에 대하여 미리 설정된 것일 수 있다. 예를 들어, '필드명'은 라벨명일 수 있다. 또한, 음성 처리부(130)는 음성 입력으로부터 미리 설정된 필드명과 동등한 발화 부분을 탐색하기 위한 필드명 각각에 대한 동의어 정보를 보유할 수 있다. 이와 관련하여, 음성 처리부(130)는 필드명 또는 필드명에 대한 동의어를 포함하는 발화 부분이 음성 입력으로부터 탐지되면, 탐지된 발화 부분 이후의 발화에서 필드값을 탐색할 수 있다.
이해를 돕기 위해 예시하면, 도 3a 내지 도 3c에 도시된 휴가신청서 서식 상에서 사용자의 시선 정보에 기초하여 '1. 일시' 라벨의 하위 항목인 기입 항목에 대한 입력 모드로 전환된 상태에서 사용자가 '{휴가구분}은 {경조휴가}야'와 같은 {필드명} 및 {필드값}을 함께 포함하는 발화를 음성 입력으로 인가하면 현재 입력 모드의 기입 항목이 아닌 '2. 구분' 라벨에 대응하는 기입 항목에 대한 입력이 이루어지는 예외 처리가 수행될 수 있다.
또한, 본원의 일 실시예에 따르면, 전자문서 작성 장치(100)는 전자문서(10)의 작성 완료 처리와 연계된 사용자 입력을 수신하면, 전자문서(10)에 대하여 미리 설정된 필수 기입 항목에 대한 필드값 기입이 완료되었는지 여부를 판단할 수 있다. 이 때, 전자문서 작성 장치(100)의 표시부(110)는 소정의 필수 기입 항목에 대한 필드값이 누락된 경우에는 해당 필수 입력 항목을 제1강조 표시하여 미입력된 필수 기입 항목에 대한 시선 이동 및 필드값 입력을 유도할 수 있다. 예를 들어, 전자문서 작성 장치(100)는 사용자의 서명 정보를 획득하기에 앞서 필수 기입 항목에 대한 필드값 전체의 기입이 완료되었는지 여부를 판단하도록 동작할 수 있다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는 필드값을 수정하기 위하여 사용자가 인가한 음성 입력을 기초로 소정의 기입 항목에 대하여 기 입력된 필드값을 수정(정정)할 수 있다. 예시적으로, 시선 분석부(120)는 사용자의 시선 정보에 기초하여 사용자가 필드값이 이미 입력된 기입 항목을 미리 설정된 제3임계 시간 이상 응시하면, 사용자가 해당 기입 항목에 대한 내용(필드값)을 수정하려는 것으로 파악하고, 해당 기입 항목에 대한 제3강조 표시를 출력하고, 해당 기입 항목에 대한 필드값의 수정과 연계된 음성 입력을 인가받을 수 있는 상태인 수정 모드로 전환할 수 있다.
예를 들어, 음성 처리부(130)는 기입 항목 '휴가 시작 일시'에 대한 수정 모드로 전환된 후, 사용자가 '3월 22일로 바꿔줘'와 같은 필드값 수정을 위한 음성 입력을 인가하면, 수신된 음성 입력을 기초로 기 입력된 '2020-03-23 09:00부터'의 필드값을 '2020-03-22 09:00부터'로 수정(정정)할 수 있다.
본원의 일 실시예에 따르면, 제3임계 시간은 입력 모드 전환을 위한 제2임계 시간과 동일(실질적으로 동등한 수준으로 볼 수 있는 것을 포함한다.)하게 결정될 수 있다. 다른 예로, 필드값의 수정과 연계된 제3임계 시간은 보다 신중하게 필드값의 수정이 이루어질 수 있도록 제2임계 시간에 비해 큰 값으로 결정되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 입력 모드에 대응되는 제2강조 표시와 수정 모드에 대응되는 제3강조 표시에 대한 색상, 음영, 패턴 등의 표시 방식은 상이할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 음성 처리부(130)는 수정과 연계된 음성 입력이 '휴가 시작일과 휴가 종료일을 3월 22일로 바꿔줘'와 같이 {필드명} 및 수정하려는 {필드값}을 모두 포함하는 형태인 경우, 사용자의 시선 정보와 무관하게 {필드명}에 대응되는 기입 항목을 수정하려는 {필드값}으로 치환하도록 동작할 수 있다.
또한, 본원의 일 실시예에 따르면, 표시부(110)는 기 입력된 필드값이 수정 모드에서 인가된 음성 입력을 기초로 수정되는 경우에는 필드값이 수정된다는 취지를 표시하고 이에 대한 사용자의 확인 입력을 재차 수신하기 위한 가이드 정보를 표시할 수 있다. 예시적으로, 확인 입력을 수신하기 위한 가이드 정보는 필드값의 수정을 확정 및 적용하는 버튼(예를 들면, '확인', '예', 'YES' 등)과 필드값의 수정을 취소하는 버튼(예를 들면, '취소', '아니오', 'NO' 등)을 포함하는 팝업창 형태로 표시될 수 있다.
또한, 본원의 일 실시예에 따르면, 상술한 필드값의 수정과 연계되어 표시되는 가이드 정보와 관련한 확인 입력은 음성 입력 형태로 인가되는 것일 수 있다. 달리 말해, 예시적으로 확인 입력을 수신하기 위한 가이드 정보에 표시된 버튼 각각에 대응하는 음성 입력(예를 들면, 확인, 예, 예스(YES), 아니오, 노(NO), 취소 등의 발화)을 사용자가 인가하면, 기 입력된 필드값에 대한 수정(정정)이 확정적으로 적용되거나 해당 수정(정정)이 미반영되는 것일 수 있다.
또한, 전자문서 작성 장치(100)의 저장부(미도시)는 전자문서에 포함된 전체 기입 항목에 대한 필드값의 기입이 완료되거나 전자문서의 서식에 따라 일부의 필수 기입 항목에 대한 필드값의 기입이 완료되어 전자문서의 작성이 종료된 경우, 완성된 전자문서를 저장할 수 있다.
본원의 일 실시예에 따르면, 표시부(110)는 저장부(미도시)에 의해 전자문서가 저장되면 작성이 완료된 전자문서의 요약 화면 및/또는 상세 화면을 표시할 수 있다.
또한, 전자문서 작성 장치(100)의 서명 획득부(미도시)는 완성된 전자문서에 대하여 사용자로부터 자필 서명을 입력받을 수 있다. 이와 관련하여 전자문서 작성 장치(100)의 저장부(미도시)는 자필 서명 정보를 포함하여 완성된 전자문서를 저장할 수 있다.
본원의 일 실시예에 따르면, 자필 서명 정보는 자필 서명 입력 과정에서 감지된 사용자의 필속 정보 또는 필압 정보 중 적어도 하나를 포함하는 감지 결과와 자필 서명의 형상 자체를 포함하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 서명 획득부(미도시)는 해당 사용자(또는 사용자의 계정)에 대하여 해당 전자문서의 작성 이전에 기입력된 자필 서명이 존재하는 경우, 저장된 기입력된 자필 서명을 불러와 해당 전자문서의 서명란에 기입할 수 있다. 또한, 본원의 일 실시예에 따르면, 표시부(110)는 사용자의 기입력된 자필 서명이 존재하지 않으면, 사용자에게 신규 자필 서명을 기입하여 줄 것을 요청하는 서명 입력 창을 표시하고, 서명 획득부(미도시)는 표시된 서명 입력 창에 인가되는 사용자 입력(예를 들면, 손가락, 전용 입력 펜 등을 통한 터치 입력)에 기초하여 자필 서명 정보를 획득할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 6은 본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법에 대한 동작 흐름도이다.
도 6에 도시된 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은 앞서 설명된 전자문서 작성 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 전자문서 작성 장치(100)에 대하여 설명된 내용은 시선 추적 및 음성 인식 기반의 전자문서 작성 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 6을 참조하면, 단계 S11에서 표시부(110)는, 복수의 기입 항목을 포함하는 전자문서를 표시할 수 있다.
또한, 단계 S11에서 표시부(110)는, 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시할 수 있다. 여기서, 기입 순서 정보는 표시된 전자문서에 포함된 복수의 기입 항목 중 소정의 필수 기입 항목에 대한 기입 순서를 미리 정의한 것을 의미할 수 있다.
다음으로, 단계 S12에서 시선 분석부(120)는, 표시된 전자문서에 대한 사용자의 시선 정보를 획득할 수 있다.
다음으로, 단계 S13에서 시선 분석부(120)는, 획득된 사용자의 시선 정보에 기초하여 사용자가 응시하는 기입 항목을 식별할 수 있다.
구체적으로, 단계 S13에서 시선 분석부(120)는, 사용자가 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 임계 시간 이상 응시한 것으로 판단되면, 해당 기입 항목과 연계된 음성 입력을 수신 가능한 상태인 입력 모드로 전환할 수 있다.
다음으로, 단계 S14에서 음성 처리부(130)는, 미리 설정된 대기 시간 내에 식별된 기입 항목에 대한 사용자의 음성 입력이 수신되었는지 여부를 판단할 수 있다.
만약, 단계 S14에서 입력 모드로 전환된 후 미리 설정된 대기 시간 내에 상기 음성 입력이 수신되지 않으면, 단계 S141에서 표시부(110)는, 해당 기입 항목에 대한 가이드 정보를 표시할 수 있다.
다음으로, 단계 S15에서 음성 처리부(130)는, 식별된 기입 항목에 대한 사용자의 음성 입력을 수신할 수 있다.
다음으로, 단계 S16에서 음성 처리부(130)는, 수신된 음성 입력을 기초로 식별된 기입 항목에 대응하는 필드값을 기입할 수 있다.
다음으로, 단계 S17에서 표시부(110)는, 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 단계 S16을 통해 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시할 수 있다.
상술한 설명에서, 단계 S11 내지 S17은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 시선 추적 및 음성 인식 기반의 전자문서 작성 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 시선 추적 및 음성 인식 기반의 전자문서 작성 장치
110: 표시부
120: 시선 분석부
130: 음성 처리부
10: 전자문서

Claims (11)

  1. 시선 추적 및 음성 인식 기반의 전자문서 작성 방법으로서,
    복수의 기입 항목을 포함하는 전자문서를 표시하는 단계;
    상기 표시된 전자문서에 대한 사용자의 시선 정보를 획득하는 단계;
    상기 시선 정보에 기초하여 상기 사용자가 응시하는 기입 항목을 식별하는 단계;
    상기 식별된 기입 항목에 대한 상기 사용자의 음성 입력을 수신하는 단계; 및
    상기 수신된 음성 입력을 기초로 상기 식별된 기입 항목에 대응하는 필드값을 기입하는 단계,
    를 포함하고,
    상기 기입 항목을 식별하는 단계는,
    상기 사용자가 상기 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 제1임계 시간 이상 응시한 것으로 판단되면, 해당 영역에 대하여 제1강조 표시를 출력하는 단계; 및
    상기 제1강조 표시가 출력된 후 상기 사용자가 해당 영역을 미리 설정된 제2임계 시간 이상 지속하여 응시한 것으로 판단되면, 해당 기입 항목과 연계된 상기 음성 입력을 수신 가능한 상태인 입력 모드로 전환하고, 해당 영역에 대하여 제2강조 표시를 출력하는 단계,
    를 포함하고,
    상기 제2임계 시간은 상기 제1임계 시간 대비 크게 설정되고, 상기 제1강조 표시와 상기 제2강조 표시는 상기 사용자에게 구분되어 인식되도록 상이한 방식으로 출력되는 것을 특징으로 하는, 전자문서 작성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 필드값을 기입하는 단계 이후에,
    상기 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 상기 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시하는 단계,
    를 더 포함하는 것인, 전자문서 작성 방법.
  4. 제3항에 있어서,
    상기 기입 순서 정보는,
    상기 표시된 전자문서에 포함된 복수의 기입 항목 중 소정의 필수 기입 항목에 대한 기입 순서를 미리 정의한 것인, 전자문서 작성 방법.
  5. 제3항에 있어서,
    상기 전자문서를 표시하는 단계는,
    상기 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시하는 단계,
    를 포함하는 것인, 전자문서 작성 방법.
  6. 제1항에 있어서,
    상기 기입 항목을 식별하는 단계 이후에,
    상기 입력 모드로 전환된 후 미리 설정된 대기 시간 내에 상기 음성 입력이 수신되지 않으면, 해당 기입 항목에 대한 가이드 정보를 표시하는 단계,
    를 더 포함하는 것인, 전자문서 작성 방법.
  7. 시선 추적 및 음성 인식 기반의 전자문서 작성 장치로서,
    복수의 기입 항목을 포함하는 전자문서를 표시하는 표시부;
    상기 표시된 전자문서에 대한 사용자의 시선 정보를 획득하고, 상기 시선 정보에 기초하여 상기 사용자가 응시하는 기입 항목을 식별하는 시선 분석부; 및
    상기 식별된 기입 항목에 대한 상기 사용자의 음성 입력을 수신하고, 상기 수신된 음성 입력을 기초로 상기 식별된 기입 항목에 대응하는 필드값을 기입하는 음성 처리부,
    를 포함하고,
    상기 시선 분석부는,
    상기 사용자가 상기 표시된 전자문서에서 소정의 기입 항목에 대응되는 영역을 미리 설정된 제1임계 시간 이상 응시한 것으로 판단되면, 해당 영역에 대하여 제1강조 표시를 출력하고, 상기 제1강조 표시가 출력된 후 상기 사용자가 해당 영역을 미리 설정된 제2임계 시간 이상 지속하여 응시한 것으로 판단되면, 해당 기입 항목과 연계된 상기 음성 입력을 수신 가능한 상태인 입력 모드로 전환하고, 해당 영역에 대하여 제2강조 표시를 출력하되,
    상기 제2임계 시간은 상기 제1임계 시간 대비 크게 설정되고, 상기 제1강조 표시와 상기 제2강조 표시는 상기 사용자에게 구분되어 인식되도록 상이한 방식으로 출력되는 것을 특징으로 하는, 전자문서 작성 장치.
  8. 삭제
  9. 제7항에 있어서,
    상기 표시부는,
    상기 복수의 기입 항목에 대한 미리 설정된 기입 순서 정보에 기초하여 상기 필드값이 기입된 기입 항목의 다음 순서에 해당하는 기입 항목을 강조되도록 표시하는 것인, 전자문서 작성 장치.
  10. 제9항에 있어서,
    상기 표시부는,
    상기 기입 순서 정보에 기초하여 최초 작성 항목에 해당하는 기입 항목을 강조되도록 표시하는 것인, 전자문서 작성 장치.
  11. 제7항에 있어서,
    상기 표시부는,
    상기 입력 모드로 전환된 후 미리 설정된 대기 시간 내에 상기 음성 입력이 수신되지 않으면, 해당 기입 항목에 대한 가이드 정보를 표시하는 것인, 전자문서 작성 장치.
KR1020200040752A 2020-04-03 2020-04-03 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법 KR102417257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200040752A KR102417257B1 (ko) 2020-04-03 2020-04-03 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200040752A KR102417257B1 (ko) 2020-04-03 2020-04-03 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210123530A KR20210123530A (ko) 2021-10-14
KR102417257B1 true KR102417257B1 (ko) 2022-07-06

Family

ID=78151262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200040752A KR102417257B1 (ko) 2020-04-03 2020-04-03 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102417257B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200674A (ja) * 2012-03-23 2013-10-03 Japan Research Institute Ltd 端末装置の入力パターン最適化処理方法、入力パターン最適化処理システムおよび入力パターン最適化処理プログラム
KR102076793B1 (ko) * 2019-07-04 2020-02-12 주식회사 포시에스 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200674A (ja) * 2012-03-23 2013-10-03 Japan Research Institute Ltd 端末装置の入力パターン最適化処理方法、入力パターン最適化処理システムおよび入力パターン最適化処理プログラム
KR102076793B1 (ko) * 2019-07-04 2020-02-12 주식회사 포시에스 음성을 통한 전자문서 제공 방법, 음성을 통한 전자문서 작성 방법 및 장치

Also Published As

Publication number Publication date
KR20210123530A (ko) 2021-10-14

Similar Documents

Publication Publication Date Title
US10402501B2 (en) Multi-lingual virtual personal assistant
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
CN103645876B (zh) 语音输入方法和装置
US10082864B2 (en) Gaze based text input systems and methods
US7149970B1 (en) Method and system for filtering and selecting from a candidate list generated by a stochastic input method
JP4087400B2 (ja) 音声対話翻訳装置、音声対話翻訳方法および音声対話翻訳プログラム
US8954329B2 (en) Methods and apparatus for acoustic disambiguation by insertion of disambiguating textual information
US8688448B2 (en) Text segmentation and label assignment with user interaction by means of topic specific language models and topic-specific label statistics
EP1585110B1 (fr) Système d'application vocale
ES2269449T3 (es) Seguimiento de la mirada para el reconocimiento de voz contextual.
US6415258B1 (en) Background audio recovery system
JP2014109889A (ja) コンテンツ検索装置、コンテンツ検索方法及び制御プログラム
US20130054248A1 (en) Projector, projection system, and retrieved information displaying method
US20230325611A1 (en) Video translation platform
US20140180688A1 (en) Speech recognition device and speech recognition method, data base for speech recognition device and constructing method of database for speech recognition device
JP3104661B2 (ja) 日本語文章作成装置
KR102417257B1 (ko) 시선 추적 및 음성 인식 기반의 전자문서 작성 장치 및 방법
US20230326459A1 (en) Viewing assistance system, viewing assistance method, and nonvolatile recording medium storing program
US10282417B2 (en) Conversational list management
WO2012144525A1 (ja) 音声認識装置、音声認識方法及び音声認識プログラム
KR102305181B1 (ko) 챗봇을 통한 전자문서 제공 방법, 챗봇을 통한 전자문서 작성 방법 및 장치
CN112017647B (zh) 一种结合语义的语音识别方法、装置和***
Chen et al. A proof-of-concept study for automatic speech recognition to transcribe AAC speakers’ speech from high-technology AAC systems
JP6323828B2 (ja) 支援装置、情報処理方法、及び、プログラム
KR101434190B1 (ko) 음성신호를 이용한 전자도서 제어방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right