KR101372837B1 - 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR101372837B1
KR101372837B1 KR1020110147308A KR20110147308A KR101372837B1 KR 101372837 B1 KR101372837 B1 KR 101372837B1 KR 1020110147308 A KR1020110147308 A KR 1020110147308A KR 20110147308 A KR20110147308 A KR 20110147308A KR 101372837 B1 KR101372837 B1 KR 101372837B1
Authority
KR
South Korea
Prior art keywords
input
shape data
voice
data
electronic document
Prior art date
Application number
KR1020110147308A
Other languages
English (en)
Other versions
KR20130078391A (ko
Inventor
윤상원
Original Assignee
주식회사 인프라웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인프라웨어 filed Critical 주식회사 인프라웨어
Priority to KR1020110147308A priority Critical patent/KR101372837B1/ko
Publication of KR20130078391A publication Critical patent/KR20130078391A/ko
Application granted granted Critical
Publication of KR101372837B1 publication Critical patent/KR101372837B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 기술로서, 특히 핸드라이팅이나 마우스, 디지타이저 등의 조작을 통해 전자문서에 각종 내용, 예컨대 도형이나 글자를 입력하고, 그 입력된 내용을 음성 명령을 통하여 보정하는 하이브리드 방식의 전자문서 작성 프로세스를 제공하는 기술을 제공한다. 본 발명에 따른 하이브리드 방식의 전자문서 입력 방법은, UI 화면으로 구현된 전자문서 입력창에 직접 입력 방식으로 입력된 원시 형상 데이터를 제공받는 제 1 단계; 사용자로부터 음성 신호를 제공받는 제 2 단계; 음성 신호에 대해 음성 인식 처리를 수행하여 보정이펙트를 산출하는 제 3 단계; 보정이펙트를 적용하여 원시 형상 데이터를 변환하여 그에 대응되는 내용 데이터를 획득하는 제 4 단계; 위 변환을 통해 획득된 내용 데이터를 UI 화면으로 구현하는 제 5 단계;를 포함하여 구성된다.

Description

직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체{Method for making electronic documents by hybrid basis using direct inputs and voice commands, and computer-readable recording medium for the same}
본 발명은 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 기술에 관한 것이다. 더욱 상세하게는 본 발명은 핸드라이팅이나 마우스, 디지타이저 등의 조작을 통해 전자문서에 각종 내용, 예컨대 도형이나 글자를 입력하고, 그 입력된 내용을 음성 명령을 통하여 보정하는 하이브리드 방식의 전자문서 작성 프로세스를 제공하는 기술을 제공한다.
현재 모바일 스마트 운영체제의 발달로 인하여 스마트폰이나 태블릿 단말 등과 같은 터치스크린을 구비한 터치 단말기 상에서 파워포인트나 워드프로세서와 같은 오피스 프로그램에 대한 실행이 가능하다. 그에 따라 터치 단말기 상에서도 개인용컴퓨터에서와 마찬가지로 오피스 프로그램으로 전자문서를 작성할 때 각종 내용, 예컨대 문자나 도형(예: 네모, 세모, 흐름도)을 입력할 경우가 자주 발생한다. 이러한 조작은 터치로도 이루어질 수도 있지만 마우스나 디지타이저 등과 같은 도구를 통해서 이루어질 수도 있다.
이러한 경우에 마치 개인용컴퓨터에서 마우스 입력장치를 조작하는 것과 마찬가지로 문자 입력의 경우에는 가상키보드 등과 같이 UI 화면으로 구현가능한 문자입력모듈을 화면에 호출하여 문자를 입력하고, 도형 입력의 경우에는 메뉴에서 도형 형상을 선택하고 터치스크린에 구현된 UI 화면에서 위치를 잡은 다음 도형의 속성을 설정함으로써 도형을 입력하는 방식을 취한다.
한편, 터치 인터페이스를 기반으로 한 터치 단말기만의 입력 방식으로는 터치스크린을 통해 핸드라이팅(hand-writing)을 하는 방식이 있다. 일반적으로는 타블랫 등을 이용하여 드로잉(drawing)을 하는 용도로 많이 사용되어 왔는데, 이와 같이 UI 화면에 구현된 전자문서 상으로 사용자의 터치에 의한 핸드라이팅으로 드로잉을 하는 경우에는 터치스크린에 핸드라이팅한 내용이 그대로 인식되어 이미지 파일로 저장되었다.
이러한 핸드라이팅을 이용하여 전자문서에 각종 내용을 입력하는 것을 생각할 수도 있으나, 이 경우 핸드라이팅으로 내용을 입력한 상태가 소프트웨어 메뉴나 아이콘에 대한 선택버튼에 의해 입력되는 경우보다 정확도가 떨어지고 아무래도 입력하고자 의도했던 내용과는 다르게 인식되거나 매끄럽지 않은 형상으로 입력되는 경우가 자주 발생한다.
또한, 도형의 경우에는 마우스나 디지타이저 등의 입력장치를 이용해서 직접 형상을 전자문서에 입력하는 경우도 있는데, 사용자가 아무리 심혈을 기울여 작성하더라도 아무래도 프로그램 메뉴나 아이콘 등을 이용하여 도형 형상을 선택하고 속성을 설정하는 것에 비하면 품질이 조악할 수밖에 없다. 또한, 종래의 전자문서 소프트웨어에서는 핸드라이팅이나 마우스, 디지타이저 등을 이용하여 내용을 직접 입력하는 모드의 경우, 인식율이 떨어져 입력 후 보정이 필요하거나 입력된 내용에 추가 동작을 해야 하는 경우가 발생하나, 필기 입력시 이런 보정과 함께 편집을 함께 하기는 어려운 문제가 있다.
[관련기술문헌]
1. 오타를 방지하는 터치스크린 상의 키보드자판 배치디자인과 문자입력방식 (특허출원 제10-2010-0046193호)
본 발명의 목적은 핸드라이팅이나 마우스, 디지타이저 등을 이용한 직접 입력 방식으로 전자문서 상에 각종 내용(예: 도형, 글자)을 1차적으로 입력한 후에 그 입력 내용을 사용자의 음성 명령을 기반으로 정정 내지 교정하기 위한 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 기술을 제공함에 있다.
본 발명은 상기와 같은 기술적 과제를 달성하기 위한 것으로서, 본 발명에 따른 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법은, UI 화면으로 구현된 전자문서 입력창에 직접 입력 방식으로 입력된 원시 형상 데이터를 제공받는 제 1 단계; 사용자로부터 음성 신호를 제공받는 제 2 단계; 음성 신호에 대해 음성 인식 처리를 수행하여 보정이펙트를 산출하는 제 3 단계; 보정이펙트를 적용하여 원시 형상 데이터를 변환하여 그에 대응되는 내용 데이터를 획득하는 제 4 단계; 위 변환을 통해 획득된 내용 데이터를 UI 화면으로 구현하는 제 5 단계;를 포함하여 구성된다.
이때, 본 발명의 전자문서 입력 방법에서 보정이펙트를 산출하는 단계는, 음성 신호가 등록된 음성 명령어인지 여부를 판단하는 단계(a); 등록된 음성 명령어에 해당하는 경우, 등록된 음성 명령어에 따른 보정이펙트를 산출하는 단계(b); 등록된 음성 명령어에 해당하지 않는 경우, 명령어 분석서버를 액세스하여 음성 신호에 대한 자연어 분석을 요청하는 단계(c); 명령어 분석서버로부터 자연어 분석 결과를 제공받으면 음성 신호에 해당하는 신규 보정이펙트를 산출하는 단계(d);를 포함하는 것이 바람직하다.
이러한 과제를 달성하기 위한 본 발명에 따른 하이브리드 방식의 전자문서 입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체는, UI 화면으로 구현된 전자문서 입력창에 직접 입력 방식으로 원시 형상 데이터를 입력받고, 원시 형상 데이터를 위한 연속적 직접 입력이 단절되는 경우에 사용자로부터의 마이크(30)를 통한 음성 신호의 입력을 대기하도록 제어하는 문서편집-기능단(40); 원시 형상 데이터의 입력이 완료되면 마이크(30)로 음성 신호를 제공받는 음성-입력기능단(51); 음성 신호에 대한 음성 인식 처리를 통해 보정이펙트를 산출하는 명령어-분석기능단(52); 보정이펙트를 적용하여 원시 형상 데이터를 변환하여 그에 대응되는 내용 데이터를 획득하고, 획득된 내용 데이터를 UI 화면으로 구현하는 이펙트-적용기능단(53);을 포함하여 구성된다.
이때, 본 발명에서 명령어-분석기능단(52)은 음성 신호가 등록된 음성 명령어인지 여부를 판단하여, 등록된 음성 명령어에 해당하는 경우에는 등록된 음성 명령어에 따른 보정이펙트를 산출하는 한편, 등록된 음성 명령어에 해당하지 않는 경우에는 명령어 분석서버를 액세스하여 음성 신호에 대한 자연어 분석을 요청하고 그에 따른 자연어 분석 결과를 제공받으면 음성 신호에 해당하는 신규 보정이펙트를 산출하는 것이 바람직하다. 한편, 본 발명에서 원시 형상 데이터는 도형-형상 데이터와 문자-형상 데이터를 포함하고, 내용 데이터는 도형 데이터와 문자 데이터를 포함하여 이루어진다.
본 발명에 따르면, 핸드라이팅이나 마우스, 디지타이저 등을 사용한 직접 입력 방식으로 사용자가 급하게 입력한 도형을 사용자가 원하는 음성 명령어에 해당하는 객체로 자동변환해 줌으로써, 전자문서 작성시 도형입력 방식을 개선하고 직접 입력 방식으로 작성한 전자 문서의 품질을 향상시킬 수 있다.
즉, 각종의 사용자 단말기 상에서 전자문서 작성할 때 보다 효율적이고 정확하게 도형을 입력한 뒤, 일반적인 핸드라이팅이나 마우스, 디지타이저을 이용한 입력이 아닌 사용자 편의 중심적인 음성 명령으로 도형에 대한 보정이 가능함으로써, 전자문서 작성의 이용도를 높일 수 있다.
[도 1]은 본 발명에 따른 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법이 구현되는 문서편집-기능단과, 그 입력된 내용을 음성 명령을 통하여 보정하기 위한 문서보정-기능부를 설명하기 위한 도면.
[도 2]는 본 발명에서 터치 단말기가 통신망을 통해 명령어 분석서버에 연결된 상태를 나타내는 도면.
[도 3] 내지 [도 7]은 단말기의 터치스크린에 구현되는 UI 화면으로서 특히 도형을 직접 입력하는 과정을 설명하기 위한 도면.
[도 8]과 [도 9]는 본 발명에 따른 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법을 나타내는 흐름도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다. 본 발명에서는 일 실시예로서 터치스크린 상에서 사용자가 핸드라이팅으로 도형 형상을 입력하는 경우를 중심으로 설명을 전개한다. 하지만, 본 발명의 기술적 사상은 이러한 분야에 한정되지 않으며, 마우스나 디지타이저 등을 이용하여 직접입력 방식으로 각종 내용, 예를 들어 문자나 도형(예: 네모, 세모, 흐름도)을 입력하는 경우에도 널리 적용될 수 있는 것으로 이해되어야 한다.
[도 1]은 본 발명의 실시예에 따른 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법이 구현되는 문서편집-기능단(40)과, 그 입력된 내용을 음성 명령을 통하여 보정하기 위한 문서보정-기능부(50)를 설명하기 위한 도면이다. [도 2]는 본 발명의 터치 단말기(1)가 통신망(2)을 통해 명령어 분석서버(3)에 연결된 상태를 나타내는 도면이다.
본 실시예의 터치 단말기(1)는 입력부(10), 문서편집-기능단(40), 문서보정-기능부(50), 제어부(60), 송수신부(70), 저장부(80), 이펙트저장부(90)를 포함하여 이루어지며, 이중에서 입력부(10)는 터치스크린(20)과 마이크(30)를 구비한다. 문서보정-기능부(50)는 음성-입력기능단(51), 명령어-분석기능단(52), 이펙트-적용기능단(53)을 포함하여 이루어진다.
먼저, 터치스크린(10)은 사용자에 의한 터치 입력(핸드라이팅 입력)을 제공하는 구성요소이며, 제어부(60)에 의하여 저장부(80)에 저장되어 있던 전자문서 프로그램이 구현되면 전자문서(예: 파워포인트) 상에 각종 내용을 입력하기 위한 입력창(미도시)을 UI 화면 터치 인터페이스로 형성된다. 이처럼 전자문서에 입력하는 내용으로는 문자나 도형을 생각할 수 있다.
이어서 문서편집-기능단(40)에 대해 살펴본다. 문서편집-기능단(40)은 예컨대 터치스크린(20)의 핸드라이팅 조작에 의해 원시 형상 데이터를 입력받는다. 문서편집-기능단(40)은 각각의 원시 형상 데이터에 대한 연속적 입력이 단절되는지 여부를 실시간으로 판단한다. 보다 구체적으로 문서편집-기능단(40)은 미리 설정된 시간 동안의 터치 단말기(1) 사용자의 입력이 없는 경우 연속적 핸드라이팅이 종료되었다고 판단한다. 이때, 연속적 핸드라이팅이 종료되었는지 여부 판단에 사용되는 시간은 1초 내지 5초가 바람직하나 이에 한정하지 않는다.
한편, 직접 입력 방식으로 전자문서를 작성하는 기술에 대해서는 본 출원인이 대한민국 특허출원 제10-2011-0099442호(출원일 2011.09.29) "직접입력 방식의 전자문서 입력 방법, 그리고 직접입력 방식의 전자문서 입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체"을 통하여 상세하게 기술하였으며, 본 발명이 위 특허출원의 직접 입력 프로세스를 그대로 따르는 것은 아니지만 본 발명의 기술적 사항을 이해할 목적으로 활용될 수 있으며, 그에 따라 본 명세서에서는 이와 중복되는 내용은 생략하기로 한다.
직접 입력 방식으로 전자문서에 내용을 입력하는 일 예로서 특히 도형을 입력하는 기술의 개념에 대해서는 [도 3] 내지 [도 7]에 걸쳐 예시적으로 개시되어 있다. 개략적으로는 사용자가 핸드라이팅과 같은 직접 입력 방식으로 도형-형상 데이터를 제공하면 문서편집-기능단(40)은 이렇게 입력된 도형-형상 데이터를 저장하고 있다가, 후술하는 바와 같이 사용자가 음성 입력을 통해 보정이펙트를 제공하면 그에 따라 도형-형상 데이터를 내용 데이터로 변환하고 바람직하게는 주변의 다른 도형들과 어울리도록 배치한다. [도 3] 내지 [도 7]에 개시되어 있지는 않으나 본 발명에서는 사용자가 전자문서 상에 직접 입력 방식으로 문자나 기타 다른 내용을 입력할 수도 있다.
문서편집-기능단(40)은 연속적 핸드라이팅이 완료되었다고 판단하면 그 입력내용을 저장부(80)에 임시 저장한다. 그리고 나서, 문서편집-기능단(40)은 문서보정-기능부(50)에게 이를 통지함으로써 음성 입력모드로 진행하며, 이때 문서보정-기능부(50)는 단말기(1)의 마이크(30)를 통하여 사용자의 음성 신호가 입력하기를 대기하도록 한다.
이하에서는 문서보정-기능부(50)를 구성하는 각 구성요소인 음성-입력기능단(51), 명령어-분석기능단(52), 이펙트-적용기능단(53)을 중심으로 문서보정-기능부(50)에 대하여 살펴본다.
먼저 음성-입력기능단(51)을 살펴보면, 문서편집-기능단(40)으로부터 연속적 핸드라이팅 완료가 통지됨에 따라 음성 신호 입력을 대기하며, 사용자에 의해 마이크(30)로 음성 신호가 입력되면, 기설정된 데시벨(decibel) 이상의 음성 신호인지 여부를 판단한다.
음성-입력기능단(51)은 위 판단 결과 기설정된 데시벨 이상인 충분히 큰 소리의 음성 신호가 입력된 경우, 마이크(30)를 통해 사용자의 음성 신호를 입력받아 저장부(80)에 임시 저장하도록 제어부(60)에 요청한다. 반대로 위 판단 결과 기설정된 데시벨 이상의 음성 신호가 입력되지 않은 경우에는 음성-입력기능단(51)은 당해 음성 신호를 무시하고 핸드라이팅 입력모드를 다시 진행하도록 문서편집-기능단(40)에게 요청한다.
또한, 음성-입력기능단(51)은 마이크(30)를 통한 사용자의 음성에 대한 연속적 입력이 단절되는지 여부를 실시간으로 판단한다. 보다 구체적으로 음성-입력기능단(51)은 미리 설정된 시간 동안의 사용자의 마이크(30)릍 통한 음성 신호 입력이 없는 경우 음성 명령어 입력이 종료되었다고 판단한다. 여기서 연속적 음성 신호 입력이 종료되었다고 판단되는 미리 설정된 시간은 1초 내지 3초로 설정되는 것이 바람직하나 이에 한정되지는 않는다.
다음으로 명령어-분석기능단(52)은 음성-입력기능단(51)에 의해 연속적 음성 신호 입력 종료 판단에 따라 그 입력된 음성 신호를 분석하여 음성 명령어를 인식한다. 구체적으로 살펴보면, 명령어-분석기능단(52)은 마이크(30)를 통해 사용자의 음성 신호가 인식되면 그 인식된 음성 신호의 내용 분석을 통해 등록된 음성 명령어인지 여부를 판단한다.
판단 결과 인식된 음성 신호가 등록된 음성 명령어에 해당하지 않는 경우, 명령어-분석기능단(52)은 송수신부(70)를 제어하여 통신망(2)을 통해 명령어 분석서버(3)로의 네트워크 액세스를 통해 그 입력된 음성 데이터를 전송하여 자연어 분석을 요청한다. 본 발명에서 자연어란 명령어 분석서버(3)에 미리 구축된 다양한 음성 신호에 해당하는 방대한 데이터베이스를 기초로 가장 매칭되는 음성 명령어로 추출된 단어를 의미한다.
한편, 명령어-분석기능단(52)은 통신망(2)을 통해 명령어 분석서버(3)로부터 분석되어 도출된 자연어 및 그와 매칭되는 신규 보정이펙트 데이터를 수신한 뒤, 이를 이펙트저장부(90)에 저장한다. 이펙트저장부(90)는 저장부(80)와 달리 임시적인 데이터의 저장 공간으로 미리 설정된 주기에 따라 데이터가 삭제되더라도 무방한데, 저장부(80)와 일체로 구성될 수도 있다.
이펙트-적용기능단(53)은 핸드라이팅으로 입력된 원시 형상 데이터에 대해 명령어-분석기능단(52)의 사용자 음성 인식에 따라 도출된 보정이펙트를 적용한 후, 그 적용 결과를 터치스크린(20)의 UI 화면으로 출력하도록 제어한다. 여기서 사용되는 보정이펙트는 이펙트저장부(90)에 미리 저장된 보정이펙트 데이터일 수도 있고, 명령어-분석기능단(52)에 의해 명령어 분석서버(3)로부터 수신된 신규 보정이펙트 데이터가 될 수도 있다.
이와 같은 구성에 따라, 터치스크린 기반 기기에서 사용자가 핸드라이팅을 통하여 도형이나 문자를 입력할 때 인식이 잘못되거나 추가 동작을 통해 보정해야 하는 경우에 있어서 불편함을 해소하고 새로운 입력 방법을 제안함으로써 사용자의 편리함을 도모할 수 있다.
[도 8]과 [도 9]은 본 발명에 따른 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법을 나타내는 흐름도이다. 대부분의 기술적 구성이 [도 1] 내지 [도 2]를 참조하여 이미 설명한 바와 공통되므로, 이하에서는 흐름에 대해서만 순차적으로 설명한다. 프로세스의 순서는 [도 8]과 [도 9]에 도시된 것에 한정되지 않으며, 발명의 목적을 달성하는 범위 내에서 일부 단계가 서로 순서를 바꾸어 구성될 수 있다.
먼저, [도 8]을 참조하면, 문서편집-기능단(40)은 터치 단말기(1)의 사용자에 의한 터치스크린(20) 조작을 통해 핸드라이팅 입력에 따라 내용 데이터(도형 데이터, 문자 데이터)를 입력받는다(S1).
문서편집-기능단(40)은 단계(S1)에서의 내용 데이터에 대한 연속적 입력이 단절되는지 여부를 판단한다(S2). 보다 구체적으로 문서편집-기능단(40)은 미리 설정된 시간 동안의 사용자의 입력이 없는 경우 연속적 핸드라이팅이 종료되었다고 판단한다.
단계(S2)의 판단에 따라 연속적 핸드라이팅이 종료되었다고 판단되면 문서보정-기능부(50)는 단말기(1)의 마이크(30)를 통해 사용자가 보정 목적의 음성 신호가 입력되는지 대기한다(S3).
단계(S3)의 음성 신호 입력 대기에 따라 사용자에 의해 마이크(30)로 음성 신호가 입력되면, 문서보정-기능부(50)는 먼저 기설정된 데시벨 이상의 충분히 큰 음성 신호인지 여부를 판단한다(S4).
단계(S4)의 판단 결과 기설정된 데시벨 이상의 충분히 큰 소리의 음성 신호가 입력된 경우에는 문서보정-기능부(50)는 마이크(30)를 통해 사용자의 음성 신호를 입력받아 저장부(80)에 저장한다(S5). 반대로, 단계(S4)의 판단 결과 기설정된 데시벨 이상의 음성 신호가 입력되지 않은 경우라면 문서보정-기능부(50)는 단계(S1)로 회귀하여 핸드라이팅 입력모드를 다시 진행하도록 문서편집-기능단(40)에게 요청한다.
한편, 단계(S5) 이후, 문서보정-기능부(50)는 마이크(30)를 통한 사용자의 음성 신호에 대해 연속적 입력이 종료되었는지 여부를 판단한다(S6). 좀더 구체적으로는 문서보정-기능부(50)는 미리 설정된 시간동안(예: 2초) 마이크(30)릍 통한 음성 신호 입력이 없는 경우에는 사용자로부터 제공되는 음성 명령어 입력이 완료되었다고 판단한다.
단계(S6) 이후, 문서보정-기능부(50)는 저장부(80)에 저장된 음성 신호를 인식한 뒤, 그 음성 인식 결과에 따라, 앞서 단계(S1)에서 핸드라이팅으로 입력된 내용 데이터에 음성 신호에 해당하는 보정이펙트를 적용하여 터치스크린(20)으로 출력하도록 제어한다(S7).
본 실시예에서 보정이펙트를 적용하는 예를 살펴본다. 사용자가 터치스크린(20) 상에서 [도 7](a)와 같이 원형 비슷한 형상을 입력하고, 음성으로 "도형 변환"이라고 발음하면, 음성 인식을 통해 [도 7](b)와 같이 타원으로 데이터 처리가 수행된다. 사용자가 터치스크린(20) 상에서 핸드라이팅으로 필기체 입력을 시행한 후에 음성으로 "텍스트 변환"이라고 발음하면, 음성 인식을 통해 그 필기체에 따른 문자 내용이 전자문서에 입력된다. 또한, "검게 색칠"이라는 음성 입력이 제공된다면 [도 7](b)에서와 같이 획득된 타원 내부를 검은 색으로 색칠한다. 마찬가지로, "지워"라는 음성 입력이 제공되면 현재 선택된 데이터를 전자문서에서 삭제하도록 처리하고, "원형 변환"이라는 음성 입력에 대해서는 타원 데이터를 원형으로 변경하여 전자문서에 입력한다. 마찬가지로, 바람직하게는 예를 들어 '위로', '아래로', '왼쪽', '오른쪽' 등과 같은 발음을 통하여 도형이나 문자의 배치 지점을 이동시킬 수 있다.
다음으로 [도 9]를 참조하여 [도 8]의 단계(S8)에 따른 음성 인식 및 보정이펙트 적용 과정을 보다 구체적으로 살펴본다. 문서보정-기능부(50)는 마이크(30)를 통해 사용자의 음성신호가 인식되면(S11), 그 인식된 음성 신호 분석을 통해 등록된 음성 명령어인지 여부를 판단한다(S12).
단계(S12)의 판단 결과 인식된 음성 신호가 등록된 음성 명령어에 해당하는 경우에는 문서보정-기능부(50)는 핸드라이팅을 통해 입력된 내용 데이터(도형 데이터, 문자 데이터)에 음성 명령어에 따른 보정이펙트를 적용한 뒤, 그 보정된 결과물을 터치스크린(20)으로 출력한다(S13).
한편, 단계(S12)의 판단 결과 인식된 음성 신호가 등록된 음성 명령어에 해당하지 않는 경우에는 문서보정-기능부(50)는 송수신부(70)를 제어하여 통신망(2)을 통해 명령어 분석서버(3)로 네트워크 액세스를 실행하며, 이를 통해 음성 신호에 대한 자연어 분석을 요청한다(S14).
단계(S14) 이후, 문서보정-기능부(50)는 명령어 분석서버(3)로부터 자연어 분석에 따라 보정이펙트를 적용시키는 위한 신규 보정이펙트 데이터를 수신하여, 수신된 신규 보정이펙트 데이터를 핸드라이팅을 통해 입력된 내용 데이터에 적용시킨 뒤, 터치스크린(20)을 통해 출력한다(S15).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예컨대, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
1: 터치 단말기
2: 통신망
3: 명령어 분석서버
10: 입력부
20: 터치스크린
30: 마이크
40: 문서편집-기능단
50: 문서보정-기능부
51: 음성-입력기능단
52: 명령어-분석기능단
53: 이펙트-적용기능단
60: 제어부
70: 송수신부
80: 저장부
90: 이펙트저장부

Claims (6)

  1. UI 화면으로 구현된 전자문서 입력창에 직접 입력 방식으로 입력된 원시 형상 데이터를 제공받는 제 1 단계;
    사용자로부터 음성 신호를 제공받는 제 2 단계;
    상기 음성 신호가 등록된 음성 명령어인지 여부를 판단하여, 만일 등록된 음성 명령어에 해당하면 상기 등록된 음성 명령어에 따른 보정이펙트를 산출하고, 상기 판단 결과 등록된 음성 명령어에 해당하지 않는 경우라면 명령어 분석서버를 액세스하여 상기 음성 신호에 대한 자연어 분석을 요청하여 상기 명령어 분석서버로부터 자연어 분석 결과를 제공받으면 상기 음성 신호에 해당하는 신규 보정이펙트를 산출함으로써, 상기 음성 신호에 대해 음성 인식 처리를 수행하여 보정이펙트를 산출하는 제 3 단계;
    상기 보정이펙트를 적용하여 상기 원시 형상 데이터를 변환하여 그에 대응되는 내용 데이터를 획득하는 제 4 단계;
    상기 변환을 통해 획득된 내용 데이터를 UI 화면으로 구현하는 제 5 단계;
    를 포함하여 구성되는 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 원시 형상 데이터는 도형-형상 데이터와 문자-형상 데이터를 포함하고,
    상기 내용 데이터는 도형 데이터와 문자 데이터를 포함하는 것을 특징으로 하는 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법.
  4. UI 화면으로 구현된 전자문서 입력창에 직접 입력 방식으로 원시 형상 데이터를 입력받고, 상기 원시 형상 데이터를 위한 연속적 직접 입력이 단절되는 경우에 사용자로부터의 마이크(30)를 통한 음성 신호의 입력을 대기하도록 제어하는 문서편집-기능단(40);
    상기 원시 형상 데이터의 입력이 완료되면 마이크(30)로 음성 신호를 제공받는 음성-입력기능단(51);
    상기 음성 신호가 등록된 음성 명령어인지 여부를 판단하여, 등록된 음성 명령어에 해당하는 경우에는 상기 등록된 음성 명령어에 따른 보정이펙트를 산출하는 한편, 등록된 음성 명령어에 해당하지 않는 경우에는 명령어 분석서버를 액세스하여 상기 음성 신호에 대한 자연어 분석을 요청하고 그에 따른 자연어 분석 결과를 제공받으면 상기 음성 신호에 해당하는 신규 보정이펙트를 산출함으로써, 상기 음성 신호에 대한 음성 인식 처리를 통해 보정이펙트를 산출하는 명령어-분석기능단(52);
    상기 보정이펙트를 적용하여 상기 원시 형상 데이터를 변환하여 그에 대응되는 내용 데이터를 획득하고, 상기 획득된 내용 데이터를 UI 화면으로 구현하는 이펙트-적용기능단(53);
    을 포함하여 구성되는 하이브리드 방식의 전자문서 입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  5. 삭제
  6. 청구항 4에 있어서,
    상기 원시 형상 데이터는 도형-형상 데이터와 문자-형상 데이터를 포함하고,
    상기 내용 데이터는 도형 데이터와 문자 데이터를 포함하는 것을 특징으로 하는 하이브리드 방식의 전자문서 입력 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020110147308A 2011-12-30 2011-12-30 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 KR101372837B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110147308A KR101372837B1 (ko) 2011-12-30 2011-12-30 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110147308A KR101372837B1 (ko) 2011-12-30 2011-12-30 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20130078391A KR20130078391A (ko) 2013-07-10
KR101372837B1 true KR101372837B1 (ko) 2014-03-13

Family

ID=48991369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147308A KR101372837B1 (ko) 2011-12-30 2011-12-30 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101372837B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129934A1 (ko) * 2015-02-12 2016-08-18 삼성전자 주식회사 핸드라이팅 인식 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102305184B1 (ko) * 2019-07-04 2021-09-27 주식회사 포시에스 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049655A (ja) * 2003-07-29 2005-02-24 Nippon Hoso Kyokai <Nhk> 文字データ修正装置、文字データ修正方法および文字データ修正プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049655A (ja) * 2003-07-29 2005-02-24 Nippon Hoso Kyokai <Nhk> 文字データ修正装置、文字データ修正方法および文字データ修正プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016129934A1 (ko) * 2015-02-12 2016-08-18 삼성전자 주식회사 핸드라이팅 인식 방법 및 장치
KR20160099497A (ko) * 2015-02-12 2016-08-22 삼성전자주식회사 핸드라이팅 인식 방법 및 장치
US10438080B2 (en) 2015-02-12 2019-10-08 Samsung Electronics Co., Ltd Handwriting recognition method and apparatus
KR102559028B1 (ko) * 2015-02-12 2023-07-24 삼성전자주식회사 핸드라이팅 인식 방법 및 장치

Also Published As

Publication number Publication date
KR20130078391A (ko) 2013-07-10

Similar Documents

Publication Publication Date Title
US10126936B2 (en) Typing assistance for editing
US11217239B2 (en) Computer proxy messaging bot
US9361282B2 (en) Method and device for user interface
JP4942970B2 (ja) 音声認識における動詞誤りの回復
US11935521B2 (en) Real-time feedback for efficient dialog processing
EP3400521B1 (en) System and method for digital ink interactivity
US10936288B2 (en) Voice-enabled user interface framework
US9218052B2 (en) Framework for voice controlling applications
US20060123358A1 (en) Method and system for generating input grammars for multi-modal dialog systems
US10877642B2 (en) User interface apparatus in a user terminal and method for supporting a memo function
JP2020118955A (ja) 非表音文字体系を使用する言語のための音声支援型アプリケーションプロトタイプの試験中の音声コマンドマッチング
KR20140094744A (ko) 휴대 단말의 음성 인식 결과 편집 방법 및 그 장치
US20190026019A1 (en) System and method for mixed content digital ink interactivity
AU2019201441B2 (en) Electronic device for processing user voice input
US11163377B2 (en) Remote generation of executable code for a client application based on natural language commands captured at a client device
CN103177724A (zh) 语音控制文本操作的方法、装置及终端
US20130082949A1 (en) Method of directly inputting a figure on an electronic document
KR101372837B1 (ko) 직접입력과 음성 명령을 이용한 하이브리드 방식의 전자문서 입력 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP2002116797A (ja) 音声処理装置、音声処理方法及び記憶媒体
US20190279623A1 (en) Method for speech recognition dictation and correction by spelling input, system and storage medium
US11462208B2 (en) Implementing a correction model to reduce propagation of automatic speech recognition errors
TWI770395B (zh) 語音控制電視版銀行轉帳之裝置與方法
US11886801B1 (en) System, method and device for multimodal text editing
WO2024130384A1 (en) System, method and device for multimodal text editing
Shestakevych et al. Designing an Application for Monitoring the Ukrainian Spoken Language.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180206

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee