KR20130129747A - 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 - Google Patents
음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 Download PDFInfo
- Publication number
- KR20130129747A KR20130129747A KR1020120053832A KR20120053832A KR20130129747A KR 20130129747 A KR20130129747 A KR 20130129747A KR 1020120053832 A KR1020120053832 A KR 1020120053832A KR 20120053832 A KR20120053832 A KR 20120053832A KR 20130129747 A KR20130129747 A KR 20130129747A
- Authority
- KR
- South Korea
- Prior art keywords
- voice
- mobile terminal
- text
- electronic device
- file
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000005236 sound signal Effects 0.000 claims description 36
- 230000006870 function Effects 0.000 description 77
- 230000008569 process Effects 0.000 description 38
- 238000004891 communication Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 28
- 230000000694 effects Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 7
- 238000012356 Product development Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 239000000470 constituent Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000004173 sunset yellow FCF Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 235000014676 Phragmites communis Nutrition 0.000 description 2
- 108010025037 T140 peptide Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- ZPUCINDJVBIVPJ-LJISPDSOSA-N ***e Chemical compound O([C@H]1C[C@@H]2CC[C@@H](N2C)[C@H]1C(=O)OC)C(=O)C1=CC=CC=C1 ZPUCINDJVBIVPJ-LJISPDSOSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/64—Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
- H04M1/65—Recording arrangements for recording a message from the calling party
- H04M1/656—Recording arrangements for recording a message from the calling party for recording conversations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Telephone Function (AREA)
Abstract
사용자가 음성 녹음 도중에 녹음된 부분에 해당하는 내용을 실시간으로 확인하면서, 이와 동시에 음성 녹음을 중단하지 않도록 하기 위한 전자기기 및 그 음성신호 재생 방법. 본 명세서에 개시된 일 실시 예에 따른 전자기기는, 입력되는 음성 신호를 저장하는 메모리; 상기 음성 신호가 저장되는 진행상태를 나타내는 항목 및 상기 음성 신호에 대한 STT기반의 텍스트 중 하나 이상을 표시하는 디스플레이부; 사용자로부터 상기 진행 상태를 나타내는 항목 중 소정 부분에 대한 선택 또는상기 텍스트 중 일부 문자열에 대한 선택을 입력받는 사용자 입력부; 및 상기 선택된 부분 또는 상기 선택된 문자열에 대응하는 음성 신호를 재생하는 제어부를 포함하는 것을 특징으로 한다.
Description
본 명세서는 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기에 관한 것이다.
단말기는 이동 가능 여부에 따라 이동 단말기(mobile terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시, 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
또한, 영상표시기기는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 사용자는 영상표시기기를 통하여 방송을 시청할 수 있다. 영상표시기기는 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다. 디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
그리고, 냉장고는 저온에서 음식물을 보관하는 기기이다. 냉장고는 통상적으로 냉동실과 냉장실이 형성된다. 냉동실에는 영하의 온도에서 음식물이 보관되고, 상기 냉장실에는 영상의 온도에서 음식물이 보관된다.
최근 이와 같은 전자기기들이 복합적이고 다양한 기능들을 제공함에 따라, 애플리케이션의 실행 기능 등을 포함한 사용자 인터페이스(user interface; UI)의 편리성에 대한 고려가 요구되고 있다.
일반적으로, 음성 녹음은, 실시간으로 입력되는 아날로그 음성 신호를 디지털 신호로 변환하여 버퍼에 저장하고, 버퍼에 임시 저장된 데이터를 이용하여 오디오 파일을 생성하여 메모리에 저장하는 과정을 통해 이루어진다.
사용자는 음성 녹음 도중에(그리고 음성 녹음이 종료되기 전에), 몇 초 전 또는 몇 분 전과 같이 이전 시점에 이루어진 음성 녹음의 내용을 확인할 필요가 있을 수 있다. 이를 위해, 사용자는 현재 진행 중인 음성 녹음을 종료한 후에, 저장된 오디오 파일을 재생함으로써 원하는 내용을 확인할 수 있게 된다.
그런데, 사용자가 이전 시점에 이루어진 음성 녹음의 내용을 확인하기 위해 매번 음성 녹음을 종료한 후에 오디오 파일을 재생하고, 다시 녹음을 재시작 하는 것은 번거로울 뿐만 아니라 매우 비효율적이다.
따라서, 본 명세서에 개시된 일 실시 예는 사용자가 음성 녹음 도중에 녹음된 부분에 해당하는 내용을 실시간으로 확인하면서, 이와 동시에 음성 녹음을 중단하지 않도록 하기 위한 것이다.
전술한 과제를 해결하기 위한 본 명세서에 개시된 일 실시 예에 따른 전자기기는, 입력되는 음성 신호를 저장하는 메모리; 상기 음성 신호가 저장되는 진행상태를 나타내는 항목 및 상기 음성 신호에 대한 STT기반의 텍스트 중 하나 이상을 표시하는 디스플레이부; 사용자로부터 상기 진행 상태를 나타내는 항목 중 소정 부분에 대한 선택 또는상기 텍스트 중 일부 문자열에 대한 선택을 입력받는 사용자 입력부; 및 상기 선택된 부분 또는 상기 선택된 문자열에 대응하는 음성 신호를 재생하는 제어부를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 사용자 입력부는, 상기 음성 신호가 입력되는 도중에 상기 진행 상태를 나타내는 항목 중 소정 부분의 선택을 입력받는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 전자기기는, 상기 선택된 부분에 대응하는 음성 신호를 출력하는 음향 출력부를 더 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 전자기기는, 상기 선택된 부분에 대응하는 음성 신호를 이어폰으로 출력하는 인터페이스부를 더 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 디스플레이부는, 상기 선택된 부분에 대응하는 음성 신호가 변환된 텍스트를 표시하는 것을 특징으로 한다. 또한, 상기 변환된 텍스트는, STT(Speech To Text) 기술을 이용하여 음성 신호가 변환된 텍스트인 것을 특징으로 한다. 또한, 상기 제어부는, 상기 입력되는 음성 신호를 텍스트로 변환하고, 상기 메모리는, 상기 변환된 텍스트를 저장하는 것을 특징으로 한다. 또한, 상기 제어부는, 상기 선택된 부분에 대응하는 음성 신호를 텍스트로 변환하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 진행상태를 나타내는 항목은, 프로그레스 바(progress bar)인 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 메모리는, 상기 저장되는 음성 신호의 시간 정보를 저장하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 디스플레이부는, 상기 선택된 부분에 대응하는 음성 신호의 시간 정보를 표시하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 메모리는, 상기 선택된 부분에 대응하는 음성 신호를 재생하는 동안 상기 입력되는 음성 신호를 계속하여 저장하는 것을 특징으로 한다.
한편, 전술한 과제를 해결하기 위한 본 명세서에 개시된 일 실시 예에 따른 전자기기의 음성신호 재생방법은, 입력되는 음성 신호를 저장하는 단계; 상기 음성 신호가 저장되는 진행상태를 나타내는 항목 및 상기 음성 신호에 대한 STT기반의 텍스트 중 하나 이상을 표시하는 단계; 사용자로부터 상기 진행 상태를 나타내는 항목 중 소정 부분에 대한 선택 또는 상기 텍스트 중 일부 문자열에 대한 선택을 입력받는 단계; 및 상기 선택된 부분 또는 상기 선택된 문자열에 대응하는 음성 신호를 재생하는 단계를 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 입력받는 단계는, 상기 음성 신호가 입력되는 도중에 상기 진행 상태를 나타내는 항목 중 소정 부분의 선택을 입력받는 단계인 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 청각적으로 출력하는 단계를 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 이어폰으로 출력하는 단계를 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호가 변환된 텍스트를 출력하는 단계를 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 변환된 텍스트는, STT(Speech To Text) 기술을 이용하여 음성 신호가 변환된 텍스트인 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 저장하는 단계는, 상기 입력되는 음성 신호를 텍스트로 변환하는 단계; 및 상기 변환된 텍스트를 저장하는 단계를 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 텍스트로 변환하는 단계를 포함하는 것을 특징으로 한다.
또한 일 실시 예에 있어서, 상기 진행상태를 나타내는 항목은, 프로그레스 바(progress bar)인 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 저장되는 음성 신호의 시간 정보를 저장하는 단계를 더 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 음성신호 재생방법은, 상기 선택된 부분에 대응하는 음성 신호의 시간 정보를 표시하는 단계를 더 포함하는 것을 특징으로 한다. 또한 일 실시 예에 있어서, 상기 전자기기의 음성신호 재생방법은, 상기 선택된 부분에 대응하는 음성 신호를 재생하는 동안 상기 입력되는 음성 신호를 계속하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.
본 명세서에 개시된 일 실시 예에 따르면, 사용자가 음성 녹음 도중에 음성 녹음을 중단하지 않아도 녹음 내용을 편리하게 확인할 수 있게 해준다. 또한, 프로그레스 바를 이용한 직관적인 사용자 인터페이스를 통해 사용자가 녹음과 재생을 동시에 컨트롤할 수 있게 해준다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
도 2는 본 명세서에 개시된 실시 예들에 따른 전자기기의 동작 제어 과정을 나타내는 흐름도이다.
도 3a 내지 도 3e는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 4a 내지 도 4f는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 5a 내지 도 5d는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 6a 내지 도 6h는 본 명세서에 개시된 제2 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 7a 내지 도 7e는 본 명세서에 개시된 제3 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 8a 내지 도 8e는 본 명세서에 개시된 제3 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 9a 내지 도 9f는 본 명세서에 개시된 제4 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 10a 내지 도 10c는 본 명세서에 개시된 제4 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 11a 내지 도 11c는 본 명세서에 개시된 제5 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 12a 내지 도 12f는 본 명세서에 개시된 제6 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 13a 내지 도 13e는 본 명세서에 개시된 제7 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 영상표시기기의 내부 블록도이다.
도 15는 본 발명의 일 실시 예에 따른 전자기기가 냉장고일 때, 냉장고에 포함되는 디스플레이 제어부와 본체 제어부를 도시한 블록도이다.
도 2는 본 명세서에 개시된 실시 예들에 따른 전자기기의 동작 제어 과정을 나타내는 흐름도이다.
도 3a 내지 도 3e는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 4a 내지 도 4f는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 5a 내지 도 5d는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 6a 내지 도 6h는 본 명세서에 개시된 제2 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 7a 내지 도 7e는 본 명세서에 개시된 제3 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 8a 내지 도 8e는 본 명세서에 개시된 제3 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 9a 내지 도 9f는 본 명세서에 개시된 제4 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 10a 내지 도 10c는 본 명세서에 개시된 제4 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 11a 내지 도 11c는 본 명세서에 개시된 제5 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 12a 내지 도 12f는 본 명세서에 개시된 제6 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 13a 내지 도 13e는 본 명세서에 개시된 제7 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
도 14는 본 발명의 일실시예에 따른 영상표시기기의 내부 블록도이다.
도 15는 본 발명의 일 실시 예에 따른 전자기기가 냉장고일 때, 냉장고에 포함되는 디스플레이 제어부와 본체 제어부를 도시한 블록도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.
상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.
이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있어서, 그들(151,152)은 알람부(153)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.
식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.
상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.
제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
도 2는 본 명세서에 개시된 실시 예들에 따른 전자기기의 동작 제어 과정을 나타내는 흐름도이다.
전자기기, 예를 들어 이동 단말기(100)는 음성 메모를 시작하는 단계(S100), 음성 메모를 진행하는 단계(S200), 음성 메모를 종료하는 단계(S300)를 수행한다. 음성 메모를 진행하는 단계(S200)와 관련하여 도 3 내지 도 5를 참조하여, 본 명세서에 개시된 제1 실시 예를 설명한다. 또한, 음성 메모를 종료하는 단계(S300)와 관련하여 도 6을 참조하여, 본 명세서에 개시된 제2 실시 예를 설명한다.
또한, 전자기기, 예를 들어 이동 단말기(100)는 음성 메모가 종료되면 파일명을 부여하는 단계(S400)와 파일명을 수정하는 단계(S500)를 수행한다. 파일명을 부여하는 단계(S400)와 관련하여 도 7을 참조하여, 그리고 파일명을 수정하는 단계(S500)와 관련하여 도 8을 참조하여, 본 명세서에 개시된 제3 실시 예를 설명한다.
또한, 전자기기, 예를 들어, 이동 단말기(100)는 파일 내용을 탐색하는 단계(S600)와 파일 내용을 편집하는 단계(S700)를 수행한다. 파일 내용을 편집하는 단계(S700)와 관련하여 도 9 및 도 10을 참조하여 본 명세서에 개시된 제4 실시 예를 설명한다. 그리고 파일 내용을 탐색하는 단계(S600)와 관련하여 도 11을 참조하여 본 명세서에 개시된 제5 실시 예를, 도 12를 참조하여 본 명세서에 개시된 제6 실시 예를, 마지막으로 도 13을 참조하여 본 명세서에 개시된 제7 실시 예를 설명한다.
도 3a 내지 도 3e는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
일반적으로, 음성 녹음 과정은 음성 녹음이 시작되면 아날로그 음성을 디지털로 변환하여 버퍼에 저장하고, 음성 녹음이 종료되면 버퍼에 저장된 데이터를 이용하여 오디오 파일을 생성하여 메모리에 저장하는 과정을 통해 이루어진다.
어떤 경우에 사용자는 음성 녹음 도중에(그리고 음성 녹음이 종료되기 전에), 몇 초 전 또는 몇 분 전과 같이 이전 시점에 이루어진 음성 녹음의 내용을 확인할 필요가 있을 수 있다. 이를 위해, 사용자는 현재 진행 중인 음성 녹음을 종료하여 생성된 오디오 파일을 재생함으로써 원하는 내용을 확인할 수 있게 된다. 그런데, 이렇게 음성 녹음을 종료하여 생성된 오디오 파일을 재생한 후에 다시 녹음을 재시작 하는 것은 번거로울 뿐만 아니라 매우 비효율적이다.
따라서, 본 명세서에 개시된 제1 실시 예는 사용자가 음성 녹음 도중에 이전 시점에 해당하는 녹음 음성을 실시간으로 확인하면서, 이와 동시에 음성 녹음을 중단하지 않도록 하는 방법에 관한 것이다.
도 3a는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 음성 녹음 도중에 녹음된 내용을 재생하는 과정을 나타내는 흐름도이고, 도 3b 내지 도 3e는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 음성 녹음 도중에 녹음된 내용을 재생하는 과정을 나타내는 개념도이다.
도 3a를 참조하면, 메모리(160)는 예를 들어, 마이크(122)를 통해 입력되는 음성 신호를 저장한다(S1110). 제어부(180)는 입력되는 음성 신호를 디지털로 변환하여 메모리(160)의 소정 영역, 예를 들어 버퍼에 저장할 수 있다. 또한 제어부(180)는 저장되는 음성 신호의 시간 정보를 저장할 수 있다. 시간 정보는 녹음이 시작된 후 해당 음성 신호가 입력 또는 저장될 때까지 경과한 시간에 관한 정보를 포함한다.
전자기기, 예를 들어 이동 단말기(100)가 입력되는 음성 신호를 실시간으로 텍스트로 변환하는 경우에, 제어부(180)는 입력되는 음성 신호를 예를 들어 STT(Speech To Text) 기술을 이용하여 텍스트로 변환할 수 있다. 제어부(180)는 변환된 텍스트를 메모리(160)에 저장할 수 있다.
디스플레이부(151)는 음성 신호가 저장되는 진행 상태를 나타내는 항목을 표시한다(S1120). 진행 상태를 나타내는 항목은 프로그레스 바(progress bar)가 될 수 있다. 프로그레스 바는 전체 녹음 시간(예를 들어 5분) 중 현재 녹음 시간(예를 들어 3분)을 시각적으로 나타낼 수 있다. 대안적으로, 디스플레이부(151)는 저장되는 음성 신호에 대한 STT기반의 텍스트를 표시할 수 있다. 예를 들어, 디스플레이부(151)는 녹음이 시작된 이후부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트를 표시하거나, 소정 시간 이전부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트를 표시하거나, 녹음이 시작된 이후부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트 중 특정 단위(예를 들어 단락)마다 대표 문자열을 표시할 수 있다. 또는, 디스플레이부(151)는 음성 신호가 저장되는 진행 상태를 나타내는 항목 및 저장되는 음성 신호에 대한 STT기반의 텍스트를 함께 표시할 수 있다.
사용자 입력부(130)는 사용자로부터 진행 상태를 나타내는 항목 중 소정 부분의 선택 입력을 수신한다(S1130). 예를 들어, 사용자 입력부(130)는 음성 신호가 입력되는 도중에 진행 상태를 나타내는 항목 중 소정 부분의 선택 입력을 수신한다. 대안적으로, 사용자 입력부(130)는 디스플레이부(151)에 표시된 STT 기반의 텍스트 중에서 일부 문자열의 선택 입력을 수신할 수 있다.
도 3b를 참조하면, 제어부(180)는 음성 녹음 기능 실행 요청, 예를 들어 사용자 입력에 따라 음성 녹음 기능이 실행되면, 음성 녹음 기능을 실행하고 디스플레이부(151)는 음성 녹음 화면을 표시한다. 음성 녹음 화면은 기능 실행 상태를 나타내는 인디케이터(1102) 및 녹음 진행 상태를 나타내는 프로그레스 바(1104)를 포함한다.
기능 실행 상태를 나타내는 인디케이터(1102)는 예를 들어, “Recording(녹음중)”, “Playing(재생중)”과 같이 현재 기능 실행 상태를 반영한다.
프로그레스 바(1104)는 녹음 진행 상태를 나타내기 위해 녹음의 시작 시점을 나타내는 인디케이터(1106), 현재 녹음 시점을 나타내는 인디케이터(1108)를 포함하며, 디스플레이부(151)는 현재 녹음 시점을 나타내는 시간 정보(1112)를 프로그레스 바(1104)와 함께 표시한다.
사용자 입력부(130)는 음성 녹음 도중에 프로그레스 바(1104)에서 현재 녹음 시점 이전의 시점 중 어느 하나를 선택하는 입력을 수신한다. 예를 들어, 사용자가 프로그레스 바(1104)에서 현재 녹음 시점 이전의 시점 중 어느 하나를 터치하거나, 녹음 시작 시점을 나타내는 인디케이터(1104) 또는 현재 녹음 시점을 나타내는 인디케이터(1108)를 현재 녹음 시점 이전의 시점 중 어느 하나로 드래그할 수 있다. 이 경우에, 디스플레이부(151)는 선택된 시점(재생 시점)을 나타내는 인디케이터(1110)를 프로그레스 바(1104)에 표시할 수 있다.
다시 도 3a를 참조하면, 제어부(180)는 선택된 부분(또는 선택된 문자열)에 대응하는 음성 신호를 재생한다(S1140). 제어부(180)가 음성 신호를 재생함에 따라, 음향 출력모듈(152)이 선택된 부분에 대응하는 음성 신호를 청각적으로 출력하거나, 인터페이스부(170)가 선택된 부분에 대응하는 음성 신호를 이어폰으로 출력할 수 있다.
또는, 제어부(180)가 음성 신호를 재생함에 따라, 디스플레이부(151)가 선택된 부분에 대응하는 음성 신호가 변환된 텍스트를 표시할 수 있다. 전술한 바와 같이, 음성 신호는 제1110 단계에서 텍스트로 변환될 수 있다. 대안적으로, 제1140 단계에서 제어부(180)는 선택된 부분에 대응하는 음성 신호를 STT(Speech To Text) 기술을 이용하여 텍스트로 변환할 수 있다. 결과적으로, 선택된 부분에 대응하는 음성 신호가 텍스트로 변환된 후에, 디스플레이부(151)는 변환된 텍스트를 출력한다.
또한, 디스플레이부(151)는 선택된 부분에 대응하는 음성 신호의 시간 정보를 표시할 수 있다.
도 3c를 참조하면, 현재 녹음 시점 이전 시점이 선택되면, 제어부(180)는 녹음된 음성을 선택된 시점부터 재생한다. 또한, 디스플레이부(151)는 기능 실행 상태를 나타내는 인디케이터(1102)를 “Recording & Playing(녹음 및 재생중)”과 같이 녹음과 재생이 동시에 이루어지고 있음을 나타내도록 변경한다. 또한, 디스플레이부(151)는 선택된 시점(재생 시점)을 나타내는 인디케이터(1110)가 프로그레스 바(1104)에서 재생 시점을 반영하도록 재생 시간에 따라 이동시킨다. 그리고, 디스플레이부(151)는 재생 시점을 나타내는 시간 정보(1114)를 프로그레스 바(1104)와 함께 표시할 수 있다.
도 3d를 참조하면, 음향 출력 모듈(152)이 녹음된 음성(1116)을 선택된 시점부터 출력할 수 있다.
또는, 도 3e를 참조하면, 디스플레이부(151)가 녹음된 음성이 변환된 텍스트(1118)를 해당 시점부터 표시할 수 있다.
한편, 제어부(180)는 녹음된 음성을 이전 시점부터 재생하면서 현재 진행중인 음성 녹음을 중단하지 않는다. 즉, 제어부(180)는 현재 시점의 음성을 녹음함과 동시에 이전 시점의 녹음된 음성을 재생할 수 있고, 메모리(160)는 선택된 부분에 대응하는 음성 신호를 재생하는 동안 입력되는 음성 신호를 계속하여 저장할 수 있다.
본 명세서에 개시된 제1 실시 예에 따르면, 사용자가 음성 녹음 도중에 음성 녹음을 중단하지 않아도 지난 녹음 내용을 편리하게 확인할 수 있게 해준다. 또한, 프로그레스 바를 이용한 직관적인 사용자 인터페이스를 통해 사용자가 녹음과 재생을 동시에 컨트롤할 수 있게 해준다.
도 4a 내지 도 4f는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
일반적으로, 사용자가 음성을 녹음하는 과정에서 특정 부분을 기억하거나 강조하고 싶은 경우가 있다. 그런데, 음성 파일의 내용을 탐색하는 과정은 영상 파일의 내용을 탐색하는 과정보다 직관적이지 않기 때문에 나중에 다시 해당 부분을 탐색하는데 어려움이 존재할 수 있다. 또한, 기억하거나 강조하고 싶은 부분의 녹음 시간을 미리 메모해 두었다가 이후에 탐색하는 과정도 번거로울 수 있다.
따라서, 본 명세서에 개시된 제1 실시 예는 음성 녹음 도중에 사용자가 기억하거나 강조하고 싶은 부분에서 순간적으로 인가할 수 있는 익숙한 패턴의 입력을 통해 특정 시점을 기록하는 방법에 관한 것이다.
도 4a는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 음성 녹음 도중에 특정 시점을 기록하는 과정을 나타내는 흐름도이고, 도 4b는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 음성 녹음 도중에 기록된 특정 시점부터 음성 데이터를 재생하는 과정을 나타내는 흐름도이다. 또한, 도 4c 내지 도 4f는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 음성 녹음 도중에 특정 시점을 기록하는 과정 및 음성 녹음 도중에 기록된 특정 시점부터 음성 데이터를 재생하는 과정을 나타내는 개념도이다.
도 4a를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 음성 녹음을 시작한다. 음성 녹음이 시작되면, 제어부(180)는 입력되는 음성 신호를 변환하여 오디오 데이터로 저장한다(S1210). 이 때, 디스플레이부(151)는 녹음 상태를 나타내는 프로그레스 바(progress bar)를 표시한다. 프로그레스 바는 전체 녹음 분량 중 현재 시점을 나타내는 인디케이터를 포함할 수 있다. 전체 녹음 분량을 알 수 없는 경우, 현재 시점을 나타내는 인디케이터는 프로그레스 바의 중간에 표시될 수 있다. 또한, 디스플레이부(151)는 입력되는 음성 신호에 대한 STT(Speech to Text) 기반의 텍스트를 표시할 수 있다. 예를 들어, 디스플레이부(151)는 녹음이 시작된 이후부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트를 표시하거나, 소정 시간 이전부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트를 표시하거나, 녹음이 시작된 이후부터 현재 시점까지 입력되는 음성 신호에 대한 STT 기반의 텍스트 중 특정 단위(예를 들어 단락)마다 대표 문자열을 표시할 수 있다.
도 4c를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 음성 녹음 기능 실행 요청 예를 들어, 사용자 입력에 따라 음성 녹음 기능이 실행되면, 음성 녹음 기능을 실행하고 음성 녹음 화면을 표시한다. 음성 녹음 화면은 기능 실행 상태를 나타내는 인디케이터(1202) 및 녹음 상태를 나타내는 프로그레스 바(1204)를 포함한다.
기능 실행 상태를 나타내는 인디케이터(1202)는 예를 들어, “Recording(녹음중)”과 같이 현재 기능 실행 상태를 반영한다.
프로그레스 바(1204)는 녹음 진행 상태를 나타내기 위해 녹음 시작 시점을 나타내는 인디케이터(1206), 현재 녹음 시점을 나타내는 인디케이터(1208)를 포함하며, 전자기기, 예를 들어 이동 단말기(100)는 현재 녹음 시점을 나타내는 시간 정보(1210)를 프로그레스 바(1204)와 함께 표시한다.
다시 도 4a를 참조하면, 입력부(예를 들어, 마이크(122), 사용자 입력부(130), 센싱부(140) 등)는 음성 신호가 입력되는 도중에 소정 패턴의 입력을 수신한다(S1220). 입력부는 특정 영역 또는 버튼의 입력을 감지하는 터치 센서, 키 패드, 촉각 센서, 가속도 센서, 자이로 센서, 마이크 중 어느 하나를 통해 상기 소정 패턴의 입력을 수신할 수 있다.
상기 소정 패턴의 입력은 예를 들어, 특정 영역의 터치 입력, 특정 키 버튼의 선택 입력, 특정 영역에서의 촉각의 변화, 상기 전자기기의 가속도의 변화, 상기 전자기기의 각속도의 변화, 특정 음성 명령어의 세기 또는 높이가 임계 값 이상인 음성이 될 수 있다.
대안적으로, 입력부는 디스플레이부(151)에 표시된 STT 기반의 텍스트 중 일부에 대한 선택 입력을 수신할 수 있다.
다시 도 4c를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 음성 녹음 도중에 이동 단말기(100)의 화면(1212)의 특정 영역이 터치되는 것을 감지할 수 있다.
다시 도 4a를 참조하면, 제어부(180)는 음성 데이터의 녹음 정보에 특정 패턴이 입력된 시점을 반영한다(S1230). 그리고, 제어부(180)는 음성 데이터 및 음성 데이터의 녹음 정보를 하나의 파일로 생성하거나, 각각 별도의 파일로 생성하여 메모리(160)에 저장할 수 있다. 음성 데이터 및 음성 데이터의 녹음 정보가 하나의 파일로 생성되는 경우에, 녹음 정보는 음성 파일의 메타 데이터가 될 수 있고, 음성 데이터는 음성 파일의 바디에 포함될 수 있다. 음성 데이터 및 음성 데이터의 녹음 정보가 별도의 파일로 생성되는 경우에, 음성 데이터가 저장된 파일이 재생될 때 녹음 정보가 저장된 파일을 참조하여 재생될 수 있다.
대안적으로, 제어부(180)는 디스플레이부(151)에 표시된 STT 기반의 텍스트 중 선택된 텍스트의 일부의 지점을 음성 데이터의 녹음 정보에 기록할 수 있다.
도 4d를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 프로그레스 바(1204)에 소정 패턴이 입력된 시점을 나타내는 인디케이터(1214)를 표시할 수 있다. 또는 전자기기, 예를 들어 이동 단말기(100)는 프로그레스 바(1204)에 소정 패턴이 입력된 시점을 나타내는 인디케이터(1214)를 표시하는 대신에, 소정 패턴의 입력이 수신된 시점이 기록되었음을 나타내는 인디케이터를 출력할 수 있다. 전자기기, 예를 들어 이동 단말기(100)는 소정 패턴의 입력이 수신된 시점이 기록되었음을 나타내는 인디케이터를 시각적, 청각적 또는 촉각적으로 출력할 수 있다.
도 4b를 참조하면, 제어부(180)는 도 4a에 도시된 제1210 단계 내지 제1230 단계를 통해 저장된 음성 데이터에 대한 액세스 요청이 있는 경우, 요청된 음성 데이터의 녹음 정보로부터 특정 패턴이 입력된 시점을 획득한다(S1240).
또한, 제어부(180)는 획득한 특정 패턴이 입력된 시점을 나타내는 인디케이터를 디스플레이부(151)가 표시하도록 제어한다(S1250). 이 때, 디스플레이부(151)는 음성 데이터의 재생 상태를 나타내는 프로그레스 바에 인디케이터를 표시한다.
도 4e를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 음성 데이터 재생 기능의 실행 요청 예를 들어, 사용자 입력에 따라 음성 데이터 재생 기능이 실행되면, 음성 데이터 재생 기능을 실행하고 음성 데이터 재생 화면을 표시한다.
음성 데이터 재생 화면은 기능 실행 상태를 나타내는 인디케이터(1202) 및 재생 상태를 나타내는 프로그레스 바(1204)를 포함한다. 기능 실행 상태를 나타내는 인디케이터(1202)는 예를 들어, “Playing(재생중)”과 같이 현재 기능 실행 상태를 반영한다.
프로그레스 바(1204)는 재생 상태를 나타내기 위해 재생 시작 시점을 나타내는 인디케이터(1206), 적어도 하나의 소정 패턴의 입력이 수신된 시점을 나타내는 인디케이터(1214 내지 1218), 현재 녹음 시점을 나타내는 인디케이터(1208)를 포함하며, 전자기기, 예를 들어 이동 단말기(100)는 전체 재생 시간을 나타내는 시간 정보(1210)를 프로그레스 바(1204)와 함께 표시한다.
다시 도 4b를 참조하면, 사용자 입력부(130)는 사용자로부터 디스플레이부(151)에 표시된 인디케이터를 선택하는 입력을 수신한다(S1250). 그리고, 제어부(180)는 사용자에 의해 선택된 인디케이터에 대응하는 시점부터 음성 데이터를 재생한다(S1260).
도 4f를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 프로그레스 바(1204)에서 적어도 하나의 소정 패턴의 입력이 수신된 시점을 나타내는 인디케이터(1214 내지 1218) 중 어느 하나의 인디케이터(1214)를 선택하는 입력을 수신한다. 전자기기, 예를 들어 이동 단말기(100)는 선택된 인디케이터에 대응하는 시점부터 음성 데이터를 재생한다. 이 경우에, 전자기기, 예를 들어 이동 단말기(100)는 선택된 시점을 나타내는 인디케이터(1208)를 표시할 수 있다.
본 명세서에 개시된 제1 실시 예에 따르면, 사용자가 음성 녹음 도중에 특정 시점을 손쉽게 기록할 수 있게 해준다. 이에 따라 이후 탐색의 용이성이 제공될 수 있다.
도 5a 내지 도 5d는 본 명세서에 개시된 제1 실시 예에 따른 전자기기의 동작 제어과정을 나타내는 도면이다.
일반적으로, 터치 스크린을 구비한 전자기기는 스타일러스나 손가락을 이용한 필기 기능을 제공할 수 있다. 여기에서, 필기는 사용자가 강의, 강연, 연설 따위의 내용을 받아 적는 행위이며, 전자기기는 터치된 지점을 저장함으로써 필기 기능을 제공할 수 있다. 그런데, 사용자가 강의, 강연, 연설 등의 내용을 받아 적음과 동시에 음성을 녹음하는 경우에 필기 파일과 음성 녹음 파일이 별도로 관리되어 나중에 그 강의, 강연, 연설 등의 내용을 다시 듣고자 할 때 각각의 파일을 불러와야 하는 번거로움이 존재한다.
따라서, 본 명세서에 개시된 제1 실시 예는 필기와 음성 녹음을 동기화하여 저장함으로써, 나중에 다시 그 내용을 편리하게 동시에 확인할 수 있는 방법에 관한 것이다.
도 5a는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 필기 기록 도중에 음성 녹음을 동기화하는 과정을 나타내는 흐름도이다.
전자기기, 예를 들어 이동 단말기(100)는 필기 기록을 시작한다(S1310).
전자기기, 예를 들어 이동 단말기(100)는 음성 녹음 명령이 수신되는지 확인한다(S1320).
음성 녹음 명령이 수신되면 전자기기, 예를 들어 이동 단말기(100)는 필기 기록 종료 명령이 수신될 때까지(S1340), 필기 기록에 동기화하여 음성 녹음을 수행한다(S1330).
필기 기록 종료 명령이 수신되면 전자기기, 예를 들어 이동 단말기(100)는 필기 기록을 종료한다(S1350).
도 5b는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 기록 필기 재생 중에 기록 필기에 동기화된 녹음 음성을 재생하는 과정을 나타내는 흐름도이다.
전자기기, 예를 들어 이동 단말기(100)는 기록 필기의 재생을 시작한다(S1370).
전자기기, 예를 들어 이동 단말기(100)는 녹음 음성 재생 명령이 수신되는지 확인한다(S1380).
녹음 음성 재생 명령이 수신되면 전자기기, 예를 들어 이동 단말기(100)는 재생 중인 필기 기록에 동기화된 녹음 음성을 재생한다(S1390). 그러나, 녹음 음성 재생 명령이 수신되지 않으면 전자기기, 예를 들어 이동 단말기(100)는 녹음 음성을 재생하지 않고 기록 필기만을 재생한다(S1395).
도 5c 및 도 5d는 본 명세서에 개시된 제1 실시 예에 따른 전자기기, 예를 들어 이동 단말기(100)가 필기 기록 도중에 음성 녹음을 동기화하는 과정을 나타내는 개념도이다.
먼저, 도 5c를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 필기 기록 기능 실행 요청 예를 들어, 사용자 입력에 따라 필기 기록 기능이 실행되면, 필기 기록 기능을 실행하고 필기 기록 화면을 표시한다.
필기 기록 화면은 필기가 입력되는 영역(1302) 및 음성 녹음 메뉴(1304)를 포함한다.
필기가 입력되는 영역(1302)은 사용자가 스타일러스 펜이나 손가락 등을 이용하여 터치하는 위치를 표시한다. 이에 따라, 필기 내용(1306)이 필기가 입력되는 영역(1302)에 표시될 수 있다.
필기가 이루어지는 동안 사용자가 음성 녹음 메뉴(1304)를 선택하면, 전자기기, 예를 들어 이동 단말기(100)는 사용자가 말하는 음성(1308)을 필기의 진행 시점에 동기화하여 녹음한다.
전자기기, 예를 들어 이동 단말기(100)는 사용자가 말하는 음성(1308)을 다양한 방식으로 필기의 진행 시점에 동기화하여 녹음할 수 있다. 예를 들어, 필기가 이루어지는 시점에 실시간으로 대응되도록 사용자가 말하는 음성(1308)이 녹음될 수 있다. 또는, 필기의 단위, 예를 들어, 각 페이지에 대응되도록 사용자가 말하는 음성(1308)이 녹음될 수 있다.
도 5d를 참조하면, 전자기기, 예를 들어 이동 단말기(100)는 기록 필기 재생 기능 실행 요청 예를 들어, 사용자 입력에 따라 기록 필기 재생 기능이 실행되면, 기록 필기 재생 기능을 실행하고 기록 필기 재생 화면을 표시한다.
기록 필기 재생 화면은 필기가 재생되는 영역(1310) 및 재생 메뉴(1312)를 포함한다.
재생 메뉴(1312)가 선택되면, 전자기기, 예를 들어 이동 단말기(100)는 필기가 재생되는 영역(1310)에 사용자가 스타일러스 펜이나 손가락 등을 이용하여 기록한 필기 내용(1314)을 실시간 또는 필기 단위, 예를 들어 페이지 단위로 표시한다. 이 경우에, 전자기기, 예를 들어 이동 단말기(100)는 필기 내용(1314)에 동기화되어 저장된 녹음 음성(1316) 즉, 사용자가 필기 내용을 기록하는 동안 말했던 음성을 재생한다.
본 명세서에 개시된 제1 실시 예에 따르면, 필기와 음성을 동기화하여 저장함으로써 사용자가 그 내용을 한 번에 편리하게 확인할 수 있게 해준다. 이에 따라 교육의 효율성이 증대될 수 있다.
도 6a는 본 발명의 제2 실시예에 따라 음성 파일과 관련된 텍스트를 표시하는 방법을 나타낸 순서도이다.
도 6a를 참조하여 알 수 있는 바와 같이, 본 발명의 제2 실시예에 따르면, 전자 기기, 예를 들어 이동 단말기는 녹음되는 음성에 기반하여 STT(Speech to Text) 기능 또는 알고리즘을 수행하여, 텍스트, 문자열 또는 스크립트를 획득한 후, 오디오 파일에 대한 액세스 요청을 수신하면, 상기 텍스트, 문자열 또는 스크립트를 표시할 수 있다. 구체적으로 설명하면 다음과 같다.
먼저, 음성 녹음이 시작된다(S2110). 상기 음성 녹음이 시작되면, 실시간 입력되는 음성 데이터를 버퍼에 저장한다. 상기 버퍼는 예컨대 처리속도가 가장 빠른 매체, 예컨대 휘발성 메모리일 수 있다. 또는 상기 버퍼는 전자 기기, 예컨대 이동 단말기의 내장 메모리일 수 있다.
이때, 상기 버퍼에 저장된 음성 데이터는 일정 주기로 임시적인 오디오 파일로 저장되게 된다. 상기 임시적인 오디오 파일은 처리속도가 가장 빠른 매체, 예컨대 휘발성 메모리에 저장될 수 있다.
상기 임시적인 오디오 파일에는 랜덤하게 부여되는 번호 또는 미리 정해진 규칙에 따라 파일명이 부여될 수 있다.
실시간 STT(Speech to Text)를 수행하여, 텍스트, 문자열 또는 스크립트를 획득할 수 있다(S2120). 상기 STT는 전술한 바와 같이, 음성으로부터 단어(예컨대 주어 또는 술어)(예컨대 명사 또는 동사)를 인식하고, 상기 인식한 단어들을 배열하여 텍스트, 문자열 또는 스크립트를 생성하는 것일 수 있다.
상기 음성 녹음이 종료되면(S2130), 오디오 파일을 생성한다(S2140). 상기 오디오 파일은 상기 임시 오디오 파일에 기초하여 생성된다. 예를 들어, 상기 오디오 파일은 저장 용량이 큰 매체에 저장될 수 있는데 상기 저장 용량이 큰 매체는 저속일 수 있다. 따라서, 상기 오디오 파일은 상기 처리속도가 빠른 매체에 저장된 상기 임시 오디오 파일로부터 이동되는 것에 기초하여, 상기 저장 용량이 큰 매체에 생성될 수 있다.
한편, 상기 오디오 파일이 생성되게 되면, 상기 전자 기기, 예컨대 상기 이동 단말기(100)는 상기 생성된 오디오 파일에 기반하여 STT를 수행하여, 텍스트를 생성할 수 있다(S2150). 전술한 S2120 과정에서 상기 텍스트가 이미 생성된 경우, S2150과정은 생략될 수 있다. 또는 대안적으로, 상기 S2120 과정은 실시간으로 수행되므로, 상황에 따라서는 상기 음성이 실시간으로 인식되지 않을 수 있기 때문에, 상기 S2150 과정은 이러한 미완성 부분을 처리하기 위해서 수행될 수도 있다.
예를 들어, 다수의 화자가 대화하는 상황에서, 상기 S2120과정에서 STT를 수행한다고 치면, 다수의 화자의 음성을 실시간으로 인식하는 것을 어려울 수 있다. 따라서, 이러한 상황에서는 S2120 과정에서는 일부 화자의 음성만을 인식하여 텍스트를 획득하고, S2150 과정에서는 나머지 다른 화자의 음성을 인식하여 텍스트를 획득할 수 있다. 이어서, 상기 일부의 화자의 음성으로부터 얻어진 텍스트와 상기 나머지 다른 화자의 음성으로부터 얻어진 텍스트를 병합하여, 하나의 텍스트를 생성할 수 있다. 이때, 상기 두 텍스트를 병합할 때, 각 화자의 음성에 기초한 문자열이 시간순으로 배열되도록 할 수 있다.
다른 예를 들어, 다수의 화자가 동시에 대화를 하는 상황에서 상기 전자 기기, 예를 들어 이동 단말기(100)가 실시간으로 STT를 수행하여 텍스트를 얻는 경우, 두 사람의 대화가 섞여 인식될 수 가 있다. 보다 구체적인 예를 들어, A라는 화자가 “다음주에 다시 회의하는 거 어때?”라고 말하고, B라는 화자가 “다음주 스케줄을 정하자”라고 동시에 말하는 경우, 상기 전자 기기, 예를 들어 이동 단말기(100)는 “다음주 다시 스케줄 회의하는 거 정하자 어때”로 인식함으로써, 에러를 발생시킬 수 있다. 따라서, 상기 전자 기기, 예를 들어 이동 단말기(100)는 S2120 과정에서는 A라는 화자를 인식한 후 A 화자의 음성에 대해서만 STT를 수행하여 텍스트를 얻고, S2150과정에서는 B 화자의 음성에 대해서만 STT를 수행하여 텍스트를 얻은 후, A 화자와 B화자의 텍스트를 병합할 수 있다.
한편, 상기 오디오 파일이 생성된 후, 상기 오디오 파일에 대해서 액세스 요청이 수신되면(S2160), 각 오디오 파일에 대응하는 텍스트에 기반하여 문자열을 표시할 수 있다(S2170).
상기 액세스 요청은 상기 음성 파일의 목록에 대한 사용자의 요청일 수 있다. 또는, 상기 음성 녹음의 종료 요청에 응답하여, 상기 전자 기기, 예컨대 이동 단말기(100)가 자동적으로 상기 액세스 요청을 생성할 수도 있다.
대안적으로, 상기 음성 녹음 애플리케이션이 종료된 상태에서, 다시 상기 음성 녹음 애플리케이션을 실행하라는 요청이 들어오면, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 음성 파일의 목록을 먼저 표시할 수 있다. 따라서, 상기 액세스 요청은 상기 음성 녹음 애플리케이션을 실행하라는 요청일 수도 있다.
상기 표시되는 문자열은 각 오디오 파일에 대응하는 텍스트에 기반하여 추출된 키워드들의 조합일 수 있다. 상기 문자열이 한 화면에 다 표시되기 어려운 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 문자열을 자동으로 스크롤링하면서 표시할 수 있다. 즉, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 문자열이 오른쪽에서 나타나서 왼쪽으로 이동시킴으로써, 전체 문자열을 표시할 수도 있다. 즉, 화면에 한줄로 표시될 수 있는 문자 개수만큼 상기 문자열을 표시하고, 이어서 상기 문자열을 황방향으로 이동시켜 상기 문자열의 나머지 글자들이 표시하는 것일 수 있다. 또는, 상기 문자열의 첫 글자를 화면 일측에서 나타나게 한 후 타측으로 이동시켜 상기 문자열의 나머지 글자들이 연속적으로 표시되게 하는 것일 수 있다.
이에 대한 예시를, 도 6b 내지 6h를 참조하여 설명하기로 한다.
도 6b는 오디오 파일을 설명하는 문자열을 표시하는 예를 나타낸다.
도 6b를 참조하여 알 수 있는 바와 같이, 3개의 오디오 파일이 나타나 있다. 첫 번째 오디오 파일은 예를 들어 2012년 1월 12일 15시 30분에 생성된 파일로서, 총 20분 10초동안 녹음된 것이고, 두 번째 파일은 예를 들어 2012년 2월 12일 15시 30분에 생성된 파일로서, 총 20분 10초동안 녹음된 것이고, 2012년 3월 12일 15시 30분에 생성된 파일로서, 총 20분 10초동안 녹음된 것일 수 있다.
이때, 종래 기술에서는, 각 녹음 파일의 파일명과 상기 일자와 녹음 시간만을 표시하는 것이 일반적이다. 이때, 파일명은 일반적인 규칙에 따라 일련적으로 생성된다. 즉, AUDIO_001, AUDIO_002, AUDIO_003의 파일명을 갖는 파일들이 생성되게 된다. 또는, 종래 기술에서는 각 녹음 파일은 녹음 일자와 일련번호의 조합으로 파일명이 생성된다. 즉, 전술한 3개의 파일은 종래에 따르면, 20120112_001, 20120212_001, 20120312_001과 같이 생성될 수 있다.
그러나, 전술한 오디오 파일에 대한 액세스 요청에 따라서, 상기 전자 기기, 예컨대 이동 단말기가 이러한 파일명을 표시하게 되면, 사용자는 해당 파일명만으로는 어떠한 녹음이 이루어졌는지 전혀 알 수 가 없다.
따라서, 본 발명의 제2 실시예는, 상기 STT를 기반으로 생성된 텍스트로부터 적절한 문자열을 추출하고, 상기 오디오 파일에 대한 액세스 요청에 대응하여, 상기 추출된 문자열을 표시할 수 있다. 이때, 상기 문자열을 추출하기 위해, 상기 전자 기기, 예컨대 이동 단말기(100)는 각 오디오 파일에 대응하는 텍스트로부터 키워드들을 추출할 수 있다.
상기 키워드는 녹음되는 장소 또는 상황을 인지하고 추출되는 것일 수 있다. 또는 상기 키워드는 대화의 시작부에서 특정 화자가 말한 단어일 수 있다.
예를 들어, 일반적인 회의에서는 회의 시작시 회의 진행자가 회의 안건을 말하는 것이 일반적이다. 도시된 첫 번째 오디오 파일의 경우에 대해서 설명하면, 대화의 도입부에 A라는 화자가 “이제 핸드폰 신제품 개발 회의를 시작하겠습니다”라고 말한 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 녹음되는 상황이 회의를 위한 것임을 인지하고, 회의인 경우 일반적으로 도입부에 회의자가 회의 안건을 말하는 것이라고 추측한 상태에서 상기 A라는 화자가 말한 문장에 기반하여, 상기 표시를 위한 문자열로서 “드폰 신제품 개발 회의”라는 문자열을 생성할 수 있다.
또는 상기 키워드는 녹음 중에 특정 화자가 강조하면서 말한 단어일 수 있다. 이때, 상기 전자 기기, 예컨대 이동 단말기(100)는 특정 화자가 강조하면서 말하는 지를 알기 위해서, 상기 전자 기기, 예컨대 이동 단말기는 STT를 수행하면서, 목소리로부터 감정을 분석할 수 있다. 이와 같이, 분석된 감정을 기반으로, 상기 전자 기기, 예컨대 이동 단말기(100)는 특정 화자가 흥분하면서 대화를 하는지에 따라서 키워드인지 아닌지를 구분할 수 있다. 대안적으로, 상기 전자 기기, 예컨대 이동 단말기(100)는 특정 화자가 강조하면서 말하는 지를 알기 위해서, 특정 화자의 목소리 톤을 분석하고, 높은 톤 또는 큰 소리로 말하는 지를 분석할 수 있다. 이와 같은 분석 결과에 따라서, 상기 전자 기기, 예컨대 이동 단말기는 특정 화자가 말한 단어가 키워드인지를 알 수 있다.
예를 들어, 도시된 두 번째 오디오 파일에 대해서 설명하면, 사용자가 라디오 또는 텔레비전에서 방송되는 뉴스 내용 중 LTE 관련 기사를 녹음한 것이라고 하면, 상기 전자 기기, 예컨대 이동 단말기(100)는 화자, 즉 뉴스 앵커의 목소리로부터 감정을 분석하여, 뉴스인지를 알아내고, 상기 뉴스 앵커가 LTE라는 단어를 강조하면서 말한 경우, 상기 전자 기기, 예컨대 이동 단말기는 표시할 문자열로서 “라디오 LTE 관련 기사”를 추출할 수 있다.
다른 한편, 상기 키워드는 예를 들어 텍스트에서 반복되는 단어일 수도 있다. 즉, A라는 화자와 B라는 화자가 서로 동일한 단어를 여러 번 반복한 경우, 상기 단어가 키워드일 수 있다. 또는, A라는 화자가 여러 번 한 단어를 반복하여 말한 경우, 상기 반복되어 말해진 단어가 키워드일 수 있다.
예를 들어, 도시된 세 번째 오디오 파일에 대해서 설명하면, A 화자와 B 화자가 대화하면서 “다음달 해외 출장” 이라는 문구와 “부품 공급 업체 계약”를 여러 번 반복하여 대화한 경우, 상기 전자기기, 예를 들어 이동 단말기(100)는 상기 “다음달 해외 출장”이라는 문구를 통해 해외 출장 전 사전 회의임을 인식하고, 또한 “계약 초안 작성”이라는 문구를 통해 회의가 계약 초안 작성을 위한 것을 인식할 수 있다. 그리고, 상기 전자 기기, 예컨대 이동 단말기(100)는 표시할 문자열로서 “해외 출장 전 사전 회의: 계약 초안 작성”라는 것을 생성할 수 있다.
한편, 상기 전자 기기, 예컨대 이동 단말기(100)가 세로(portrait) 화면을 표시할 때, 상기 문자열(“해외 출장 전 사전 회의: 계약 초안 작성”) 전체가 상기 세로 화면에 한번에 표시되기 어려운 경우, 상기 문자열이 오른쪽에서 나타나서 왼쪽으로 이동시킴으로써, 전체 문자열을 표시할 수도 있다.
예를 들어, 도시된 세번째 오디오 파일과 같이, 먼저 “해외 출장 전 사전 회의”를 표시하고 상기 문자열을 스크롤링, 즉 왼쪽 방향으로 이동시킴으로써, “계약 초안 작성”이 이어서 표시되도록 할 수 있다.
도 6c는 오디오 파일을 설명하는 문자열을 표시하는 다른 예를 나타낸다.
도 6c를 참조하여 알 수 있는 바와 같이, 오디오 파일에 대한 문자열 전체가 한 화면에 다 표시되기 어려운 상황에서, 상기 전자 기기, 예컨대 이동 단말기(100)가 상기 문자열을 스크롤링, 즉 왼쪽 방향으로 이동시킴으로써, 표시할 때, 사용자가 특정 오디오 파일에 대한 제스처를 취하면, 상기 문자열의 스크롤링 속도가 조절될 수 있다.
구체적으로, 도시된 두 번째 오디오 파일에 대한 문자열이 “2012년 2월 12일자 LTE 관련 기사 SBS”라고 한다면, 상기 전자 기기, 예컨대 이동 단말기는 도시된 바와 같이, 세로 화면에 상기 문자열 전체를 한번에 다 표시할 수 없으므로, 상기 문자열을 스크롤링하여 표시한다. 즉, 상기 전자 기기, 예컨대 이동 단말기(100)는 “2012년 2월 12일자 LTE”를 먼저 표시하고 왼쪽으로 이동시켜 나중에는 “LTE 관련 기사 SBS”를 표시하게 된다.
이때, 상기 사용자가 상기 두 번째 오디오 파일에 대한 제스처로서 대응하는 화면 부위를 터치하거나 드래그하는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 문자열의 스크롤링 속도, 즉 문자열의 이동 속도를 더 빠르게 하거나, 혹은 더 느리게 하여 표시할 수 있다. 구체적으로, 상기 사용자가 두 번째 오디오 파일을 터치하는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 스크롤링 속도를 느리게 함으로써, 사용자가 보다 정확하게 읽을 수 있게 할 수 있다. 또는 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 사용자가 상기 사용자가 두 번째 오디오 파일을 드래그하는 경우, 상기 스크롤링 속도를 더 빠르게 할 수도 있다. 또 다른 구체적인 예로서, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 사용자가 상기 사용자가 두 번째 오디오 파일을 왼쪽으로 드래그하는 경우, 상기 이동 단말기는 상기 스크롤링을 더 빠르게 할 수 있다. 또한, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 사용자가 상기 사용자가 두 번째 오디오 파일을 오른쪽으로 드래그하는 경우, 상기 스크롤링의 방향을 반대로 할 수도 있다.
다른 한편, 상기 사용자가 상기 두 번째 오디오 파일에 대한 제스처로서 대응하는 화면 부위를 터치하거나 드래그하지 않고, 대응하는 화면 부위를 손가락으로 가르키는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 카메라를 통하여 상기 사용자의 손가락 제스처를 인식하고, 상기 손가락 제스처에 따라서 상기 스크롤링 속도를 늦출 수 있다. 또한, 상기 사용자가 상기 두 번째 오디오 파일에 대한 제스처로서 대응하는 화면 부위를 터치하거나 드래그하지 않고, 대응하는 화면 부위를 손가락으로 가르킨 후 왼쪽이나 오른쪽으로 움직이는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 스크롤링을 더 빠르게 하거나 혹은 스크롤링의 방향을 반대로 할 수도 있다.
도 6d는 오디오 파일을 설명하는 문자열을 표시하는 다른 예를 나타낸다.
도 6d를 참조하여 알 수 있는 바와 같이, 3개의 오디오 파일이 이동 단말기의 화면에 표시된 상태에서, 사용자가 음성으로 오디오 파일을 액세스할 수 있다. 구체적으로 설명하면 다음과 같다.
도시된 바와 같이, “핸드폰 신제품 개발 회의”, “LTE 관련기사 SBS 라디오”, “안테나 설계 회의”라는 문자열이 이동 단말기의 화면에 표시되어 있다.
이때, 사용자가 “두 번째 음성 메모를 요약해서 말해줄래”라고 말한 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 대화 명령을 인식하고, STT를 수행하여 인식된 문자열, 즉 “두 번째 음성 메모를 요약해서 말해 줄래”을 화면의 일 부위, 예컨대 화면의 하단에 표시한다.
이어서, 상기 전자 기기, 예컨대 이동 단말기(100)는 “요청하신게 맞습니까?”라는 질문을 스피커를 통해 출력할 수 있다. 또는, 상기 전자 기기, 예컨대 이동 단말기(100)는 “두 번째 음성 메모를 말해줄래 라고 요청하신게 맞습니까?”라는 질문을 스피커를 통해 출력할 수 있다.
또는 대안적으로, 사용자가 “LTE 관련 기사에 대해서 상세하게 말해줄래?”라고 말한 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 대화 명령을 인식하고, STT를 수행하여 인식된 문자열 “LTE 관련 기사에 대한 상세 내용을 원하십니까”라고 음성으로 출력하거나 화면에 출력할 수 있다.
상기 질문을 출력후, 사용자로부터 맞다라는 표현(혹은 긍정 표현, 예컨대 Okay, 예, Thank you)의 음성이 입력되는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 두 번째 오디오 파일의 대응하는 텍스트로부터 추출되는 핵심 키워드들을 화면에 표시하거나, 음성으로 출력할 수 있다. 상기 출력되는 음성은 상기 추출된 핵심 키워드들을 TTS(Text to Speech)를 통해 음성으로 변환한 것일 수 있다. 또는 상기 출력되는 음성은 상기 오디오 파일에서 상기 키워드와 관련된 부분만을 추출하고, 추출된 부분을 조합하여 출력하는 것일 수 있다.
혹은, 상기 질문을 출력후 일정 시간 이상 사용자로부터 입력이 없더라도, 상기 전자 기기, 예컨대 이동 단말기(100)는 이를 긍정으로 해석할 수도 있다.
도 6e는 오디오 파일을 설명하는 문자열을 상세하게 표시하는 예를 나타낸다.
도 6e를 참조하여 알 수 있는 바와 같이, 3개의 오디오 파일에 대한 문자열들이 이동 단말기의 화면에 표시된 상태에서, 사용자가 특정 문자열에 대한 제스처를 취하면, 상기 전자 기기, 예컨대 이동 단말기(100)는 해당 문자열이 속한 칸의 폭을 넓혀서 표시하고, 해당 칸에 상기 문자열에 대한 보다 상세 내용을 표시할 수 있다. 구체적으로 설명하면 다음과 같다.
도시된 바와 같이, “핸드폰 신제품 개발 회의”, “LTE 관련기사 SBS 라디오”, “안테나 설계 회의”라는 문자열이 이동 단말기의 화면에 표시되어 있다.
이때, 사용자가 화면에서 두 번째 문자열이 속한 칸을 일정 시간 이상 터치(‘롱 타임 터치’라고 함)하는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 해당 문자열이 속한 칸의 폭을 넓혀서 표시할 수 있다. 이때, 상기 두 번째 문자열이 속한 칸 의 폭이 넓어지면서 세 번째 칸은 화면 상에서 하단 부로 이동 되거나 혹은 표시되지 않을 수 있다.
이어서, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 폭이 넓어진 두 번째 칸 내에 상기 두 번째 오디오 파일에 상응하는 STT 기반 텍스트를 요약하여 표시할 수 있다. 이때, 상기 요약된 내용이 상기 폭이 넓어진 두 번째 내에서 다 표시될 수 없는 경우, 상기 이동 단말기는 스크롤 바(scroll bar)를 칸의 우측에 표시할 수 있다.
한편, 이와 같은 방법은 사용자가 화면에서 두 번째 문자열이 속한 칸을 일정 시간 이상 터치(‘롱 타임 터치’라고 함)하는 것 외에도, 다른 제스처에 의해서도 가능하다.
예를 들어, 사용자가 화면에서 두 번째 문자열이 속한 칸에 두 손가락을 터치한 후, 상기 터치된 두 손가락이 서로 멀어지는 방향으로 드래그하는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 두 번째 문자열이 속한 칸의 폭을 넓혀 표시하고, 해당 칸내에 상기 문자열에 대한 보다 상세 내용을 표시할 수도 있다.
또한, 사용자가 화면에서 두 번째 문자열이 속한 칸을 터치한 후 화면 하단 방향으로 드래그하거나 혹은 화면 상단 방향으로 드래그 하는 경우에도, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 두 번째 문자열이 속한 칸의 폭을 넓혀 표시하고, 해당 칸내에 상기 문자열에 대한 보다 상세 내용을 표시할 수도 있다.
도 6f는 오디오 파일을 설명하는 문자열을 상세하게 표시하는 다른 예를 나타낸다.
도 6f에 도시된 바와 같이, 두 번째 오디오 파일에 대한 문자열에 대해 세부 내용이 표시되는 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 세부 내용 중 핵심 키워드에 대해서, 볼드(bold) 또는 밑줄을 하여 표시할 수 있다.
또는, 상기 핵심 키워드에 대해서는 하이라이트(Highlight)처리하거나 혹은 붉은 색으로 처리하여 표시할 수도 있다.
일반적으로, 세부 내용을 표시할 때, 상기 핵심 키워드 단어 위주로 나열을 하면, 사용자는 단어만을 통해서는 녹음 당시의 상황을 재연하고 기억을 해내기가 어렵다. 따라서, 도 6f에서 나타난 바와 같이, 상기 전자 기기, 예컨대 이동 단말기(100)가 세부 내용을 표시할 때에는, 핵심 키워드 뿐만 아니라 핵심 키워드가 포함된 문장을 전체 표시하고, 해당 핵심 키워드에 대해서는 볼드, 또는 밑줄을 하여 표시함으로써, 사용자가 정확하게 당시의 상황을 재연하고 기억할 수 있도록 할 수 있다. 이때, 상기 사용자가 상기 볼드 또는 밑줄 표시된 핵심 키워드에 대해서 터치를 수행하면, 오디오 파일에서 해당 부분만을 재생하여 음향을 출력할 수 있다.
대안적으로, 상기 전자 기기, 예컨대 이동 단말기(100)는 세부 내용을 표시할 때, 핵심 단어들만을 나열하여 표시할 수도 있다. 이때, 핵심 단어는 링크가 있다는 밑줄 표시가 될 수 있다. 이 경우에는, 사용자가 화면 상에서 해당 단어에 대한 터치를 하면, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 핵심 키워드가 담긴 문장을 전체 표시하면서, 오디오 파일에서 해당 부분만을 재생할 수도 있다.
다른 예로서, 상기 세부 내용을 표시할 때, 전문 용어와 같이 일반적으로 잘 사용되지 않는 용어가 있는 경우, 해당 용어를 강조 효과, 예컨대 볼드(bold), 밑줄, 하이라이트(Highlight), 또는 붉은 색으로 처리하여 표시할 수도 있다.
이때, 사용자가 화면 상에서 상기와 같이 강조된 단어에 대한 터치를 하면, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 단어의 사전 검색 결과를 팝업 화면에 표시할 수도 있다.
도 6g는 오디오 파일과 상응하는 STT 기반 텍스트를 전체 화면으로 상세하게 표시하는 다른 예를 나타낸다.
전술한 두 번째 오디오 파일에 대해 사용자로부터의 제스처, 예컨대 더블 터치가 있는 경우, 도시된 바와 같이 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 두 번째 오디오 파일과 상응하는 STT 기반 텍스트 전문을 표시할 수 있다.
이때, 상기 텍스트 전문이 상기 화면에 다 표시되기 어려운 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 우측에 스크롤바를 표시할 수 있다. 상기 텍스트 전문이 상기 화면에 다 표시되기 어려운 경우, 상기 전자 기기, 예컨대 이동 단말기(100)가 상기 텍스트 전문을 처음부터 표시하면서 스크롤 바를 우측에 표시할 수도 있지만, 대안적으로 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 텍스트 전문에서 핵심 키워드가 있는 부분부터 화면에 표시할 수도 있다. 이와 같이 함으로써, 녹음이 이루어졌던 당시 화자들 간에 일반적으로 이루어진 인사말 같은 부분은 사용자가 불필요하게 읽지 않도록 할 수도 있다.
한편, 상기 핵심 키워드에 대해서는 전술한 바와 같이, 강조 처리, 예컨대 볼드(bold), 밑줄, 하이라이트(Highlight), 또는 붉은 색으로 처리하여 표시될 수 있고, 사용자가 이와 같이 강조 처리된 핵심 키워드 단어를 터치하는 경우, 오디오 파일의 해당 부분을 음성으로 출력할 수 있다.
도 6h는 오디오 파일과 상응하는 STT 기반 텍스트를 전체 화면으로 상세하게 표시한 상태에서 사용자가 음성으로 명령을 하는 예를 나타낸다.
전술한 바와 같이, STT 기반 텍스트 전문을 표시하면서, 상기 전자 기기, 예컨대 이동 단말기(100)는 사용자로부터의 음성 명령을 입력받기 위한 화면을 하단부에 표시할 수 있다.
이에 사용자가 “LTE 표준 특허 부분부터 재생해줄래?”라고 말한 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 대화 명령을 인식하고, STT를 수행하여 인식된 문자열 “LTE 표준 특허 부분부터 재생해줄래?”를 음성으로 출력하거나 화면에 출력할 수 있다. 또는 상기 전자 기기, 예컨대 이동 단말기(100)는 “LTE 표준 부분부터 재생할까요?”라고 음성으로 출력하거나 화면에 출력할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 제2 실시예에 따르면, 전자 기기, 예를 들어 이동 단말기는 녹음되는 음성에 기반하여 STT(Speech to Text) 기능 또는 알고리즘을 수행하여, 텍스트, 문자열 또는 스크립트를 획득한 후, 오디오 파일에 대한 액세스 요청을 수신하면, 핵심 키워드들로 이루어진 문자열을 표시할 수 있고, 상기 문자열에 대한 사용자로부터 제스처가 있으면, 전체 텍스트를 출력할 수 있다. 또한, 본 발명의 제2 실시예에 따르면, 상기 핵심 키워드들로 이루어진 문자열을 통해, 사용자가 보다 편리하게 오디오 파일의 재생을 컨트롤 할 수 있다.
도 7a는 본 발명의 제3 실시예에 따라 녹음된 오디오 파일의 파일명칭을 STT 기반의 텍스트 또는 메타데이터에 기초하여 자동으로 부여하는 방법을 나타낸 흐름도이다.
도 7a에 도시된 S2210~S2220과정은 도 6a의 S2110~S2120 과정과 동일하므로, 이하에서는 중복해서 설명하지 않고, 전술한 내용을 준용하고, S2230과정부터 설명하기로 한다.
상기 전자 기기, 예컨대 이동 단말기(100)는 음성 녹음이 종료되면(S2230), 오디오 파일 및 메타 데이터를 생성한다(S2240).
상기 메타 데이터는 녹음 일자, 총 녹음 시간, GPS로부터 얻어진 위치, 대화 화자의 이름, 연락처 등을 포함할 수 있다. 상기 GPS로부터 얻어진 위치는 좌표값으로 얻어지므로, 상기 이동 단말기는 상기 좌표값을 기반으로 지도 데이터 서비스를 통해 지리 명칭을 획득한 후, 상기 지리 명칭을 메타데이터로서 저장할 수 있다.
상기 화자의 이름은 화자들 간에 서로를 호칭하는 이름을 기반으로 얻어질 수 있다. 예를 들어, 회의 중이라는 상황을 가정하면, A라는 화자가 앨리스라고 호칭하며 대화를 하고, B라는 화자가 상기 대화에 대해 응답하는 경우, 상기 이동 단말기는 상기 대화를 통해 상기 B화자의 이름이 앨리스라는 것을 유추할 수 있다. 또한, 상기 A 화자의 목소리와, 상기 B라는 화자의 목소리를 기억한 상태에서(예를 들어, 목소리 톤, 어투 등을 통해 기억한 상태에서), 상기 B라는 화자가 밥이라고 호칭하며 대화를 하는 하고, 상기 A 화자가 상기 대화에 응답하는 경우, 상기 이동 단말기는 상기 대화를 통해 A화자의 이름이 밥임을 유추할 수 있다.
이와 같이, 대화를 통해 화자들의 이름을 획득한 경우, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 화자들의 이름을 메타 데이터로 저장하고, 주소록으로부터 상기 화자들의 연락처를 획득하여, 상기 메타 데이터에 상기 연락처를 함께 저장할 수 있다.
이상과 같이, 오디오 파일 및 메타 데이터를 생성한 후(S2240), 도 6a에 도시된 S2150 과정과 같이, 상기 생성된 오디오 파일을 통해 STT를 수행하여 텍스트를 생성할 수 있다(S2250).
이어서, 상기 전자 기기, 예컨대 이동 단말기(100)는 상기 텍스트 및 메타 데이터 중 어느 하나에 기초하여, 오디오 파일의 파일명을 자동으로 부여할 수 있다(S2260).
상기 파일명을 자동으로 부여하는 예에 대해서, 이하 도 7b 및 도 7c를 통하여 설명하기로 한다.
도 7b는 도 7a에 도시된 방법에 따라 오디오 파일의 파일명을 자동으로 부여하는 일 예를 테이블로 나타낸다.
도 7b에 도시된 바와 같이, 전술한 S2240 과정을 통해 오디오 파일이 생성되면, 임시적인 파일 이름으로서 일련번호 기반하여, AUDIO_001, AUDIO_002, AUDIO_003가 각기 부여된다. 또는, 전술한 S2240 과정을 통해 오디오 파일이 생성되면, 임시적인 파일 이름으로서 녹음 일자와 일련번호의 조합에 기반하여, 예컨대 20110403_001, 20110505_001, 20120404_001가 각기 부여될 수 있다.
이러한 상황에서 3개의 오디오 파일에 대해서 파일명을 부여하는 예를 구체적으로 설명하면 다음과 같다.
도시된 첫 번째 오디오 파일에 대해 임시 파일 명칭 AUDIO_001가 부여되었고, STT 기반 텍스트로부터 핵심 키워드로 이루어진 문자열, 즉 “핸드폰 신제품 개발 회의”가 추출되었고, 일자 정보는 2011-04-03, 참석자는 앨리스, 밥, 찰리, 그리고 메타 데이터로서 위치는 서울 여의도이며, 각 참석자의 연락처가 저장되었다고 하자. 그러면, 상기 이동 단말기(100)는 상기 일자와 상기 핵심 키워드로 이루어진 문자열을 이용하여, 상기 첫 번째 오디오 파일에 대해서 일자와 상기 핵심 키워드로 이루어진 문자열의 조합으로, 상기 파일명을 자동으로 부여할 수 있다. 예를 들어, 도시된 바와 같이 “20110403 핸드폰 신제품 개발 회의”라는 파일명을 부여할 수 있다.
다른 예로, 두 번째 오디오 파일에 대해 임시 파일 명칭 AUDIO_0002가 부여되었고, STT 기반 텍스트로부터 핵심 키워드로 이루어진 문자열, 즉 “라디오 LTE 관련 기사”가 추출되었고, 일자 정보는 2011-05-05, 참석자는 밥, 찰리, 그리고 메타 데이터로서 위치는 서울 강남이며, 각 참석자의 연락처가 저장되었다고 하자. 그러면, 상기 이동 단말기(100)는 상기 일자와 상기 핵심 키워드로 이루어진 문자열을 이용하여, 상기 두 번째 오디오 파일에 대해서 일자와 상기 핵심 키워드로 이루어진 문자열의 조합으로, 예를 들어, 도시된 바와 같이 “20110505 LTE 관련 기사”라는 파일명을 부여할 수 있다.
또 다른 예로, 세 번째 오디오 파일에 대해 임시 파일 명칭 AUDIO_003가 부여되었고, STT 기반 텍스트로부터 핵심 키워드로 이루어진 문자열, 즉 “안테나 설계 회의”가 추출되었고, 일자 정보는 2012-04-04, 참석자는 찰리, 앨리스, 그리고 메타 데이터로서 위치는 서울 명동이며, 각 참석자의 연락처가 저장되었다고 하자. 그러면, 상기 이동 단말기(100)는 상기 일자와 상기 핵심 키워드로 이루어진 문자열을 이용하여, 예를 들어, 도시된 바와 같이 “20110505 LTE 관련 기사”라는 파일명을 부여할 수 있다.
도 7b에서는 예시적으로 일자와 핵심 키워드의 조합만으로도 각 오디오 파일이 서로 구분할 수 있는 예를 들었지만, 동일 날자와 핵심 키워드가 동일한 파일이 있다면, 상기 이동 단말기(100)는 상기 참석자, 또는 녹음 시작 시간, 위치 정보 중 적어도 하나 이상을 더 이용하여, 파일명을 부여할 수도 있다.
도 7c는 도 7a에 도시된 방법에 따라 오디오 파일의 파일명을 자동으로 부여하는 다른 예를 테이블로 나타낸다.
도 7c를 참조하여 알 수 있는 바와 같이, 상기 전자 기기, 예컨대 이동 단말기(100)는 파일명을 부여할 때, YYYYMMDD형태가 아니라, 올해, 작년, 재작년과 연월일을 사용할 수 있다.
또한, 상기 전자 기기, 예컨대 이동 단말기(100)는 파일명을 부여할 때, 지리적 명칭을 이용할 수 있다.
예를 들어, 도시된 첫 번째 오디오 파일에 대해 상기 이동 단말기(100)는 상기 일자, 지리적 위치, 상기 핵심 키워드로 이루어진 문자열의 조합을 이용하여, 상기 첫 번째 오디오 파일에 대해서 예를 들어, 도시된 바와 같이 “작년 여의도 핸드폰 신제품 개발 회의”라는 파일명을 부여할 수 있다.
여기서 주목할 점은, 작년/올해와 같은 개념은 시간이 지날수록 변경되는 것이므로, 상기 이동 단말기(100)는 시간 경과에 따라서 상기 파일명을 자동으로 갱신한다는 점이다.
예를 들어, 현재가 2011년도이고, 두 번째 파일은 2011-05-05에 생성되었다면, 상기 전자 기기, 예컨대 이동 단말기는 상기 두 번째 파일에 대해서 “올해 강남 05.05자 LTE 관련 기사”라는 파일 명칭을 부여할 것이다.
그러나 시간이 경과하여 현재가 2012년도이라면, 상기 전자 기기, 예컨대 이동 단말기는 상기 두 번째 파일의 파일명을 자동으로 “작년 강남 LTE 관련 기사”라고 갱신할 것이다. 이와 같은 자동적인 갱신은 상기 음성 녹음 관련 기능이 수행될 때 마다 이루어질 수 있다. 또는, 상기 자동 갱신은 유휴 시간에 수행되도록 스케줄링될 수도 있다. 또는 상기 자동 갱신은 월이 바뀌거나, 혹은 년도가 바뀔 때 마다 한번씩 수행되도록 스케줄링될 수 있다.
한편, 두 번째 파일의 예에서는 파일명에 몇월인지를 나타내지는 않았다. 이는, 지리적 명칭과 핵심 키워드로 이루어진 파일명들 만으로도 충분히 각각의 오디오 파일을 구분할 수 있다고, 상기 이동 단말기(100)가 판단하기 때문이다. 그러나, 이와 같은 구분이 어렵다고 판단되는 경우, 상기 이동 단말기(100)는 몇월/몇일인지에 대한 정보도 상기 파일명에 부가할 수 있다.
도 7d는 도 7a에 도시된 방법에 따라 오디오 파일의 파일명을 자동으로 부여된 후, 사용자에게 확인을 받는 과정을 나타낸다.
도 7d를 참조하여 알 수 있는 바와 같이, 세 번째 오디오 파일이 생성된 직 후, 상기 이동 단말기(100)는 전술한 바에 따라 상기 세 번째 오디오 파일에 대해 자동으로 “20120404 안테나 설계 회의”라는 파일명을 부여했다고 하자.
이와 같이, 상기 자동으로 부여된 파일명은 상기 이동 단말기(100)가 STT 기반 텍스트로부터 핵심 키워드라고 추출한 문자열에 기반한 것이다. 그러나, 이러한 핵심 키워드는 상황에 따라서는 적절하지 않을 수 가 있다.
따라서, 상기 이동 단말기(100)는 상기 자동으로 파일명을 부여한 후, 상기 부여한 파일명이 적절한지 사용자에게 확인받기 위한 동작을 수행할 수 있다. 예를 들어, 상기 이동 단말기(100)는 상기 파일명을 부여한 후, “수정” 버튼과 “확인” 버튼을 표시할 수 있다.
대안적으로, 상기 이동 단말기(100)는 상기 파일명을 부여한 후, 상기 파일명을 기울림 효과를 주어 표시하거나, 혹은 흐린색으로 표시할 수 있다. 상기 사용자가 상기 파일명을 터치하는 경우, 상기 이동 단말기(100)는 상기 자동으로 부여한 파일명이 적절하다고 판단하고, 상기 기울림 효과를 해제하거나, 흐린색 표시를 해제할 수 있다. 그러나, 미리 정해진 시간 이상 터치하는 경우, 상기 이동 단말기는 상기 파일명을 수정할 수 있는 화면을 표시할 수도 있다.
대안적으로, 상기 이동 단말기(100)는 상기 파일명을 부여한 후, 상기 파일명을 기울림 효과를 주어 표시하거나, 혹은 흐린색으로 표시함과 동시에 “확인”버튼을 표시할 수 있다. 상기 사용자가 상기 확인 버튼을 터치하지 않고, 상기 문자열을 터치하는 경우, 상기 이동 단말기는 상기 파일명을 수정할 수 있는 화면을 표시할 수도 있다.
도 7e는 도 7a에 도시된 방법에 따라 오디오 파일의 파일명을 자동으로 부여하였으나, 중복되는 파일명이 있는 예를 나타낸다.
상기 이동 단말기(100)는 상기 자동으로 파일명을 부여하였으나, 중복되는 파일명이 있는 경우, 상기 이동 단말기(100)는 다른 추천 파일명들을 더 표시할 수 있다.
또는, 중복되는 파일명이 있는 경우, 상기 이동 단말기(100)는 다른 핵심 키워드들을 표시할 수 있다. 사용자가 여러 다른 핵심 키워드들 중 어느 하나를 선택하면, 상기 이동 단말기(100)는 상기 선택된 키워드를 이용하여, 상기 파일명을 갱신할 수 있다.
대안적으로, 도시된 바와 같이 중복되는 파일명이 있는 경우, 상기 이동 단말기(100)는 안내 문구, 예컨대 추천 파일명이 중복됩니다. 수정하시겠습니까”라는 문구를 표시할 수 있다. 그리고, 상기 이동 단말기(100)는 “수정”버튼과 “아니오”버튼을 표시할 수 있다.
도 8a는 본 발명의 제3 실시예의 변형 예에 따라 자동으로 부여되었던 파일명을 추후 수정하는 방법을 나타낸 흐름도이고, 도 8b 내지 8e는 파일명을 수정하는 일 예를 나타낸다.
도 8a에 도시된 S2310~S2360 과정은 도 7a에 도시된 S2310~S2360 과정과 동일하므로, 중복하여 설명하지 않고, 전술한 도 7a의 설명 내용을 그대로 준용하기로 한다.
상기 생성된 오디오 파일에 대해 파일명이 자동으로 부여된 이후, 파일명 수정 요청이 수신되면(S2370), 상기 이동 단말기(100)는 파일명 수정을 위한 수정 모드로 진입한다.
도 8b에 도시된 바와 같이, 상기 사용자가 상기 특정 파일명에 대한 제스처를 취하면(예컨대, 특정 파일명을 길게 터치하거나, 혹은 특정 방향으로 드래그하는 경우), 상기 이동 단말기(100)는 상기 특정 파일명을 효과를 주어 표시할 수 있다. 예를 들어, 상기 이동 단말기는 상기 특정 파일명에 대해 기울림 효과를 주어 표시하거나, 혹은 흐리게 표시하거나 혹은 흔들림 효과를 주어 표시할 수 있다.
이와 같이, 상기 특정 파일명에 대해 효과를 주어 표시한 후, 상기 사용자가 특정 단어를 선택하면, 상기 이동 단말기(100)는 상기 단어 대신에 다른 추천 키워드들을 표시할 수 있다. 상기 표시된 다른 추천 키워드들 중에서 사용자가 어느 하나의 추천 키워드를 선택하면, 상기 이동 단말기(100)는 상기 선택받은 키워드를 이용하여 상기 파일명을 갱신할 수 있다.
다른 한편, 도 8c를 참조하여 알 수 있는 바와 같이, 상기 사용자가 상기 특정 파일명에 대한 제스처를 취하면(예컨대, 특정 파일명을 길게 터치하거나, 혹은 특정 방향으로 드래그하는 경우), 상기 이동 단말기(100)는 상기 사용자가 수정을 원하는지를 묻기 위해, “수정”버튼과 “확인”버튼을 표시할 수 있다. 상기 사용자로부터 상기 수정 버튼을 선택받으면 상기 이동단말기(100)는 상기 파일명을 수정하기 위한 화면을 표시할 수도 있다.
상기 파일명을 수정하기 위한 화면은 도 8d와 같이, 음성 인식을 받기 위한 화면을 표시하는 것일 수 있다. 상기 음성 인식을 받기 위한 화면은 마이크 이미지와 인식된 음성을 표시하는 화면으로 이루어질 수 있다.
상기 화면을 표시한 후, 사용자로부터 음성이 입력되면, 상기 입력된 음성 명령에 따라서, 상기 파일명을 수정할 수 있다.
예를 들어, 상기 입력된 음성 명령이 “파일 이름을 핸드폰 안테나 설계로 변경해줄래”일 경우, 상기 이동 단말기(100)는 기존 파일명을 상기 인식된 음성에 따라 변경할 수 있다.
다른 예를 들어, 상기 입력된 음성 명령이 “설계를 시뮬레이션으로 변경해줄래”일 경우, 상기 이동 단말기(100)는 기존 파일명에 있던 일부 단어만을 새로운 단어로 대체할 수도 있다.
한편, 도 8e에 도시된 바와 같이, 상기 파일명을 수정하기 위한 화면은 추천 단어뿐만 아니라, 키보드 자판을 표시하는 것일 수 있다.
상기 추천 단어가 표시되는 예를 설명하면, 사용자가 기존 파일명의 특정 단어를 선택하는 경우, 상기 특정 단어를 대체할 다른 추천 키워드들이 표시될 수 있다. 상기 표시된 다른 추천 키워드들 중에서 어느 하나를 사용자로부터 선택받으면, 상기 이동 단말기는 상기 기존 단어를 상기 선택 받은 다른 추천 단어로 대체하여, 파일명을 갱신할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 제3 실시예에 의하면, STT 기반 텍스트로부터 추출된 키워드를 통해서 파일명을 자동으로 부여할 뿐만 아니라, 파일명을 편리하게 변경할 수 있도록 한다.
본 명세서에 개시된 제 4 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 4 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
도 9a는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 9a를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 재생할 수 있다(S3011).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 재생되는 특정 음성 파일에 대하여 실시간 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3012).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 공란 부분을 검출할 수 있다(S3013).
여기서, 상기 공란 부분은 상기 텍스트(Text, 문자열 또는 스크립트)에 포함된 빈 문자(또는 빈 문자열) 부분을 의미할 수 있다.
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 검출된 공란 부분에 해당하는 음성 파일 부분을 삭제할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 삭제된 음성 파일 부분을 제외한 나머지 음악 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3014).
도 9b는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 9b를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 전자 기기(예를 들어, 이동 단말기)에 저장된 복수의 음성 파일 중 특정 음성 파일을 선택할 수 있다(S3021).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일에 대하여 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3022).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 공란 부분을 검출할 수 있다(S3023).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 검출된 공란 부분에 해당하는 음성 파일 부분을 삭제할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 삭제된 음성 파일 부분을 제외한 나머지 음악 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3024).
도 9c는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 예시도이다.
상기 사용자는 상기 특정 음성 파일(A001.wmv)이 빈 음성 구간(A110)을 포함하고 있는 경우, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 근거로 상기 삭제되어야될 음성 구간(A110)을 삭제하여 새로운 음성 파일(A002.wmv)을 생성할 수 있다.
도 9c 개시된 제 4 실시예에 따른 음성 파일 편집방법은 음성 파일 재생 중의 실시간 STT(Speech to Text) 및 음악 파일 선택 후의 STT(Speech to Text)의 경우에 있어서 모두 적용가능할 수 있다.
도 9c(a)를 참조하면, 전자기기(100, 또는 이동 단말기)는 상기 전자기기(100, 또는 이동 단말기)의 사용자의 선택 입력에 근거하여 상기 전자기기(100, 또는 이동 단말기)에 저장된 음성 파일 중 제 1 음성 파일(A001.wmv)을 선택할 수 있다.
또한, 상기 전자기기(100, 또는 이동 단말기)는 상기 선택된 제 1 음성 파일(A001.wmv)을 재생할 수 있다.
이 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 선택된 제 1 음성 파일(A001.wmv)에 대하여 STT(Speech to Text)를 수행할 수 있다.
상기 전자기기(100, 또는 이동 단말기)는 상기 STT(Speech to Text)에 근거하여 생성된 제 1 텍스트(T110)를 상기 전자기기(100, 또는 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
또한, 상기 전자기기(100, 또는 이동 단말기)는 상기 제 1 텍스트(T110) 중 공란 부분(E110)을 검출할 수 있다.
이 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 검출된 공란 부분(E110)에 해당하는 음성 파일(A001.wmv)의 부분(A110)을 검출할 수 있다.
도 9c(b)를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 공란 부분(T110)에 해당하는 음성 파일(A001.wmv)의 부분(A110)을 삭제하고, 상기 음성 파일(A001.wmv) 중 상기 삭제된 부분(A110)을 제외한 나머지 부분을 포함하는 새로운 음성 파일(A002.wmv)을 생성할 수 있다.
이 경우, 상기 새로운 음성 파일(A002.wmv)이 상기 공란 부분(E110)에 해당하는 음성 부분(A110)을 가지고 있지 않음을 도 9c(b)에서 확인할 수 있다.
도 9d는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 9d를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 재생할 수 있다(S3031).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 재생되는 특정 음성 파일에 대하여 실시간 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3032).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 삭제할 텍스트 부분을 선택할 수 있다(S3033).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 텍스트 부분에 해당하는 음성 파일 부분을 삭제할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 삭제된 음성 파일 부분을 제외한 나머지 음악 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3034).
도 9e는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 9e를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 선택할 수 있다(S3041).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일에 대하여 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3042).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 삭제할 텍스트 부분을 선택할 수 있다(S3043).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 텍스트 부분에 해당하는 음성 파일 부분을 삭제할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 삭제된 음성 파일 부분을 제외한 나머지 음악 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3044).
도 9f는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 예시도이다.
도 9f 개시된 제 4 실시예에 따른 음성 파일 편집방법은 음성 파일 재생 중의 실시간 STT(Speech to Text) 및 음악 파일 선택 후의 STT(Speech to Text)의 경우에 있어서 모두 적용가능할 수 있다.
도 9f(a)를 참조하면, 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일 중 특정 음성 파일(B001.wmv)을 선택할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일(B001.wmv)을 재생할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(B001.wmv)에 대하여 SST(Speech to Text)를 수행할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 SST(Speech to Text)를 근거로 생성된 텍스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
상기 사용자는 상기 특정 음성 파일(B001.wmv)이 삭제되어야될 음성 구간(A210)을 포함하고 있는 경우, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 근거로 상기 삭제되어야될 음성 구간(A210)을 삭제하여 새로운 음성 파일(B002.wmv)을 생성할 수 있다.
상기 음성 파일 편집방법에 대해 상술하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 사용자 선택 입력에 근거하여 상기 생성된 텍스트 중 특정 텍스트(T210)를 선택할 수 있다.
상기 사용자 선택 입력은 다양한 방법으로 상기 전자 기기(100, 예를 들어, 이동 단말기)에 입력될 수 있다.
예를 들어, 도 9f(a)의 경우처럼, 상기 사용자는 터치입력을 상기 전자 기기(100, 예를 들어, 이동 단말기)에 인가할 수 있다.
또한, 상기 사용자는 상기 터치입력을 근거로 드레그 이벤트를 발생시킬 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 드레그 이벤트를 근거로 상기 특정 텍스트(T210)를 선택할 수 있다.
여기서, 상기 특정 텍스트(T210)에 해당하는 음성 파일(B001.wmv)의 특정 음성 구간(A210, 또는 부분)일 수 있다.
이외에도 다양한 방식으로 상기 사용자 선택 입력이 상기 전자 기기(100, 예를 들어, 이동 단말기)에 인가될 수 있음이 본 기술분야의 당업자에게 자명하다.
도 9f(b)를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 특정 텍스트(T210)에 해당하는 음성 파일(B001.wmv)의 특정 부분(A210)을 삭제하고, 상기 음성 파일(B001.wmv) 중 상기 삭제된 부분(A210)을 제외한 나머지 부분을 포함하는 새로운 음성 파일(B002.wmv)을 생성할 수 있다.
이 경우, 상기 새로운 음성 파일(B002.wmv)이 상기 특정 부분(A120)에 해당하는 음성 또는 상기 특정 텍스트(T210)에 해당하는 음성 구간(A210)을 가지고 있지 않음을 도 9f(b)에서 확인할 수 있다.
변형된 제 4 실시예에 따르면, 반대로, 상기 사용자는 음성 파일의 일부 음성 구간을 선택하여 상기 일부 음성 구간을 제외한 나머지 음성 구간에 대한 텍스트를 따로 저장할 수 있다.
구체적으로, 상기 변형된 제 4 실시예에 대해 상술하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 파일(B001.wmv)에 해당하는 재생 음성 구간 인디케이터(예를 들어, 도 9f(a)의 음성 재생 구간 바(bar))를 상기 전자기기(100, 또는 이동 단말기)의 화면상에 표시할 수 있다.
또한, 상기 전자기기(100, 또는 이동 단말기)는 상기 사용자의 터치 입력 및 상기 터치 입력을 근거로 한 드레그 이벤트를 근거로, 상기 인디케이터 상에 상기 음성 구간(A210)을 선택할 수 있다.
이 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 음악 파일(B001.wmv)에 대한 텍스트 중 상기 선택된 음성 구간(A210)에 해당하는 특정 텍스트(T210)을 제외한 나머지 텍스트 부분을 근거로 새로운 텍스트 파일을 생성할 수 있다.
도 10a는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 10a를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 재생할 수 있다(S3051).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 재생되는 특정 음성 파일에 대하여 실시간 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3052).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 특정 텍스트 부분을 선택할 수 있다(S3053).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 텍스트 부분에 해당하는 음성 파일 부분을 추출할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 추출된 음성 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3054).
도 10b는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 순서도이다.
도 10b를 참조하면, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 선택할 수 있다(S3061).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일에 대하여 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3062).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트(Text, 문자열 또는 스크립트) 중 특정 텍스트 부분을 선택할 수 있다(S3063).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 특정 텍스트 부분에 해당하는 음성 파일 부분을 추출할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 추출된 음성 파일 부분을 근거로 새로운 음성 파일을 생성할 수 있다(S3064).
도 10c는 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 나타내는 예시도이다.
도 10c 개시된 제 4 실시예에 따른 음성 파일 편집방법은 음성 파일 재생 중의 실시간 STT(Speech to Text) 및 음악 파일 선택 후의 STT(Speech to Text)의 경우에 있어서 모두 적용가능할 수 있다.
도 10c를 참조하면, 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일 중 특정 음성 파일(C001.wmv)을 선택할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일(C001.wmv)을 재생할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(C001.wmv)에 대하여 SST(Speech to Text)를 수행할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 SST(Speech to Text)를 근거로 생성된 텍스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
상기 사용자는 상기 특정 음성 파일(B001.wmv)의 음성 구간 중 일부 음성 구간(A310)만을 따로 저장하고 싶은 경우, 본 명세서에 개시된 제 4 실시예에 따른 음성 파일 편집방법을 근거로 상기 일부 음성 구간(A310)만을 추출하여 새로운 음성 파일(C002.wmv)을 생성할 수 있다.
상기 음성 파일 편집방법에 대해 상술하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 사용자 선택 입력에 근거하여 상기 생성된 텍스트 중 특정 텍스트(T310)를 선택할 수 있다.
상기 사용자 선택 입력은 다양한 방법으로 상기 전자 기기(100, 예를 들어, 이동 단말기)에 인가될 수 있다.
예를 들어, 도 10c(a)의 경우처럼, 상기 사용자는 터치입력을 상기 전자 기기(100, 예를 들어, 이동 단말기)에 인가할 수 있다.
또한, 상기 사용자는 상기 터치입력을 근거로 드레그 이벤트를 발생시킬 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 드레그 이벤트를 근거로 상기 특정 텍스트(T310)를 선택할 수 있다.
이외에도 다양한 방식으로 상기 사용자 선택 입력이 상기 전자 기기(100, 예를 들어, 이동 단말기)에 인가될 수 있음이 본 기술분야의 당업자에게 자명하다.
여기서, 상기 특정 텍스트(T310)에 해당하는 음성 파일(C001.wmv)의 특정 음성 구간(A310, 또는 부분)일 수 있다.
도 10c(b)를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 특정 텍스트(T310)에 해당하는 음성 파일(C001.wmv)의 특정 부분(A310)을 추출하고, 상기 음성 파일(C001.wmv) 중 상기 추출된 부분(A310)을 새로운 음성 파일(C002.wmv)로 생성할 수 있다.
이 경우, 상기 새로운 음성 파일(C002.wmv)이 상기 특정 부분(A310)에 해당하는 음성구간(A210)만을 가지고 있지 있음을 도 10c(b)에서 확인할 수 있다.
변형된 제 4 실시예에 따르면, 반대로, 상기 사용자는 음성 파일의 일부 음성 구간을 선택하여 상기 일부 음성 구간에 해당하는 텍스트만을 따로 저장할 수 있다.
구체적으로, 상기 변형된 제 4 실시예에 대해 상술하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 파일(C001.wmv)에 해당하는 재생 음성 구간 인디케이터(예를 들어, 도 10c(a)의 음성 재생 구간 바(bar))를 상기 전자기기(100, 또는 이동 단말기)의 화면상에 표시할 수 있다.
또한, 상기 전자기기(100, 또는 이동 단말기)는 상기 사용자의 터치 입력 및 상기 터치 입력을 근거로 한 드레그 이벤트를 근거로, 상기 인디케이터 상에 상기 음성 구간(A310)을 선택할 수 있다.
이 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 음악 파일(C001.wmv)에 대한 텍스트 중 상기 선택된 음성 구간(A310)에 해당하는 특정 텍스트(T310)만을 새로운 텍스트 파일로 생성할 수 있다.
본 명세서에 개시된 제 5 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 5 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
본 명세서에 개시된 제 5 실시예는 전자기기(또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)들에 대한 클러스터링 방법에 대한 것이다.
상기 클러스터링의 개념은 유사성 등의 개념에 기초하여 데이터를 몇몇의 그룹으로 분류하는 수법의 총칭일 수 있다.
일반적으로 상기 클러스터링은 문헌 검색, 패턴 인식, 경영 과학 등에 폭넓게 응용되고 있다.
본 명세서에 개시된 제 5 실시예는 상기 전자기기(또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)들에 대한 클러스터링 방법으로 사용자가 상기 음성 메모(또는 음성 파일)들에 대한 분류기준을 선택하고, 상기 전자기기(또는 이동 단말기)는 상기 선택된 분류기준을 근거로 상기 음성 메모(또는 음성 파일)을 분류하고, 목록화하여 상기 음성 메모(또는 음성 파일)에 대한 리스트를 생성하고, 상기 생성된 음성 메모(또는 음성 파일)에 대한 리스트를 상기 전자기기(또는 이동 단말기)의 화면에 표시하는 방법을 나타낼 수 있다.
또한, 본 명세서에 개시된 제 5 실시예는 상기 전자기기(또는 이동 단말기)가 상기 음성 메모(또는 음성 파일)에 대한 음성 내용을 분석하여 상기 음성 내용과 관련된 장소, 스케줄, 사람이름, 연락처(예를 들어, 전화번호 또는 이메일 주소)에 대한 팝-업(pop-up) 창 또는 링크정보를 상기 전자기기(또는 이동 단말기)의 화면에 표시함으로써 상기 전자기기(또는 이동 단말기)의 사용자가 특정 사람에게 쉽게 연락 또는 특정 내용을 전달할 수 있는 방법에 관한 것이다. 이를 음성 메모(또는 음성 파일)를 통한 다이렉트 엑세스 방법이라고 할 수 있다.
도 11a는 본 명세서에 개시된 제 5 실시예에 따른 음성 메모(또는 음성 파일)에 대한 클러스터링(또는 분류 방법)을 나타내는 순서도이다.
도 11a를 참조하면, 본 명세서에 개시된 제 5 실시예에 따른 음성 메모(또는 음성 파일)에 대한 클러스터링(또는 분류 방법)은 다음과 같은 단계로 이루어질 수 있다.
먼저, 상기 전자기기(또는 이동 단말기)는 상기 전자기기(또는 이동 단말기)에 저장된 음성 파일 재생 또는 녹음과 관련된 UI화면을 상기 전자기기(또는 이동 단말기)의 화면에 표시할 수 있다(S3071).
다음으로, 상기 전자기기(또는 이동 단말기)는 상기 전자기기(또는 이동 단말기)의 사용자 선택입력에 근거하여 상기 UI화면 중 상기 음성 파일에 대한 분류 메뉴를 선택할 수 있다(S3072).
다음으로, 상기 전자기기(또는 이동 단말기)는 상기 사용자 선택 입력에 근거하여 상기 분류 메뉴 중 특정 분류 기준을 선택할 수 있다(S3073).
다음으로, 상기 전자기기(또는 이동 단말기)는 상기 선택된 분류 기준에 근거하여 상기 음성 파일에 대한 리스트를 상기 전자기기(또는 이동 단말기)의 화면에 표시할 수 있다(S3074).
여기서, 상기 음성 파일 재생 또는 녹음과 관련된 UI는 다양한 UI 요소를 포함할 수 있다. 즉, 상기 UI는 상기 전자기기(또는 이동 단말기)에 의한 상기 음성 파일 재생 또는 녹음 기능과 관련된 다양한 UI 요소를 포함할 수 있다.
예를 들어, 상기 UI는 상기 음성 파일에 해당하는 재생 버튼, 재생 중지 버튼, 빠르게 재생할 수 있는 기능 활성화 버튼, 느리게 재생할 수 있는 기능 활성화 버튼, 앞으로 건너뛰기 버튼, 뒤로 건너뛰기 버튼, 상기 음성 파일의 재생 음성 구간 또는 재생시점을 나타내는 인디케이터, 상기 전자기기(또는 이동 단말기)의 사용자에 대한 음성 녹음 버튼, 녹음 중지 버튼 및 상기 음악 파일의 STT(Speech to Text) 수행 결과인 텍스트 표시와 관련된 UI요소 중 적어도 하나를 포함할 수 있다.
도 11b는 본 명세서에 개시된 제 5 실시예에 따른 음성 메모(또는 음성 파일)에 대한 클러스터링(또는 분류 방법)을 나타내는 예시도이다.
도 11b를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 전자기기(100, 또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)의 재생 또는 녹음과 관련된 UI를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
전술한 바와 같이, 상기 UI는 상기 저장된 음성 메모(또는 음성 파일)들에 대한 클러스터링(또는 분류)을 나타내는 인디케이터를 포함할 수 있다.
상기 인디케이터는 상기 클러스터링(또는 분류)에 대한 분류 메뉴를 활성화시키는 버튼(U110)일 수 있다.
상기 전자기기(100, 또는 이동 단말기)의 사용자가 상기 분류 메뉴 활성화 버튼을 선택하는 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 저장된 음성 메모(또는 음성 파일)들에 대한 분류 메뉴(p110)를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
상기 분류 메뉴(p110)는 상기 저장된 음성 메모(또는 음성 파일)들에 대한 다양한 분류 기준에 대한 UI요소를 포함할 수 있다.
예를 들어, 상기 분류 기준에 대한 UI요소는 상기 분류 기준에 대한 선택 버튼일 수 있다. 또한, 예를 들어, 상기 분류 기준은, 도 11b의 경우처럼, 상기 음성 메모(또는 음성 파일)들에 대한 '주제' 버튼(p111), '화자' 버튼, '장소' 버튼 또는 '시간' 버튼일 수 있다.
제 5 실시예에 따르면, 상기 전자기기(100, 또는 이동 단말기)의 사용자가 상기 분류 버튼 중 '주제' 버튼(p111)을 선택한 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 메모(또는 음성 파일)들을 '주제'별로 클러스터링(또는 분류)하여 목록화하고, 상기 음성 메모(또는 음성 파일)들에 대한 리스트(L110)를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
예를 들어, 도 11b의 경우처럼, 상기 음성 메모(또는 음성 파일)들이 회의와 관련된 주제를 가지는 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 메모(또는 음성 파일)들을 상기 회의의 주제별로 목록화하고, 상기 음성 메모(또는 음성 파일)들에 대한 리스트(L110)를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
도 11c는 본 명세서에 개시된 제 5 실시예에 따른 음성 메모(또는 음성 파일)의 내용을 근거로 한 다이렉트 엑세스(direct access) 방법을 나타내는 예시도이다.
도 11c를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 전자기기(100, 또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)의 재생 또는 녹음과 관련된 UI를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자의 상기 UI를 통한 선택 입력에 근거하여 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일 중 특정 음성 파일(D001.wmv)을 선택할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일(D001.wmv)을 재생할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(D001.wmv)에 대하여 SST(Speech to Text)를 수행할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 SST(Speech to Text)를 근거로 생성된 텍스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
제 5 실시예에 따르면, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 메모(또는 음성 파일)의 내용을 분석하여 상기 음성 메모(또는 음성 파일)과 관련된 정보를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
예를 들어, 상기 음성 메모(또는 음성 파일)과 관련된 정보는 상기 음성 메모(또는 음성 파일)가 녹음된 장소, 상기 음성 메모(또는 음성 파일)과 관련된 사람의 스케쥴, 상기 음성 메모(또는 음성 파일)과 관련된 사람의 이름, 상기 음성 메모(또는 음성 파일)과 관련된 사람의 연락처 및 상기 음성 메모(또는 음성 파일)과 관련된 사람의 이메일 주소 중 적어도 하나를 포함할 수 있다.
상기 전자기기(100, 또는 이동 단말기)는 상기 음성 메모(또는 음성 파일)과 관련된 정보를 팝-업(pop-up)창(I110)을 통하여 상기 화면에 표시할 수 있다.
제 5 실시예에 따르면, 상기 전자기기(100, 또는 이동 단말기)의 사용자가 상기 팝-업(pop-up)창(I110)에 포함된 특정 정보를 선택하면(예를 들어, 상기 화면상에 터치 입력을 근거로 한 선택), 상기 전자기기(100, 또는 이동 단말기)는 상기 선택된 특정 정보를 근거로 직접적으로 상기 특정 정보와 관련된 사람에게 연락 또는 컨텍(contact)할 수 있는 기능을 제공할 수 있다. 전술한 바와 같이, 이를 상기 음성 메모(또는 음성 파일)과 관련된 정보를 근거로 한 다이렉트 엑세스 기능이라고 할 수 있다.
예를 들어, 도 11c의 경우처럼, 상기 사용자가 상기 팝-업(pop-up)창(I110)에 포함된 특정 정보 중 연락처 부분을 선택하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 연락처에 해당하는 전화번호로 통화 연결 기능을 수행할 수 있다.
또한, 예를 들어, 상기 사용자가 상기 팝-업(pop-up)창(I110)에 포함된 특정 정보 중 이메일 부분을 선택하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 이메일 주소로 이메일을 전송하도록 이메일 전송 기능을 제공하는 애플리케이션(예를 들어, 이메일 편집 프로그램, 아웃-룻 프로그램)을 실행할 수 있다.
본 명세서에 개시된 제 6 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 6 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
본 명세서에 개시된 제 6 실시예는 전자기기(또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)이 포함하는 특정 음성 구간에 대한 서치 기능에 관한 것이다. 상기 서치 기능은 상기 음성 메모(또는 음성 파일)이 포함하는 특정 음성 구간에 대한 네비게이션 기능이라고도 할 수 있다. 또는, 상기 서치 기능은 상기 음성 메모(또는 음성 파일)이 포함하는 특정 음성 구간에 대한 음성 스캐닝 기능이라고도 할 수 있다.
또한, 본 명세서에 개시된 제 6 실시예는 상기 서치 기능, 상기 네비게이션 기능 또는 상기 음성 스캐닝 기능에 따라, 상기 음성 메모(또는 음성 파일)에 해당하는 STT(Speech to Text) 수행 결과인 텍스트 중 상기 특정 음성 구간에 해당하는 특정 텍스트 구간에 대한 서치, 네비게이션 또는 스케닝 기능과 관련된 것이다.
따라서, 본 명세서에 개시된 제 6 실시예 따르면, 상기 음성 메모(또는 음성 파일) 및 상기 음성 메모(또는 음성 파일)에 해당하는 STT(Speech to Text) 수행 결과인 텍스트에 대한 서치 기능은 서로 가역적인 관계가 있을 수 있다.
즉, 상기 음성 메모(또는 음성 파일)에 대한 서치 기능이 수행되는 경우, 상기 음성 메모(또는 음성 파일)에 대한 텍스트에 대한 서치 기능도 함께 수행될 수 있다.
또한, 상기 음성 메모(또는 음성 파일)에 대한 텍스트에 대한 서치 기능이 수행되는 경우, 상기 음성 메모(또는 음성 파일)에 대한 서치 기능도 함께 수행될 수 있다.
도 12a는 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법을 나타내는 순서도이다.
도 12a를 참조하면, 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 재생할 수 있다(S3081).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 재생되는 특정 음성 파일에 대하여 실시간 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3082).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 전자 기기(예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 음성 파일에 대한 특정 재생 시점을 선택할 수 있다(S3083).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 텍스트(Text, 문자열 또는 스크립트) 중 상기 특정 재생시점에 해당하는 텍스트 부분을 상기 전자 기기(예를 들어, 이동 단말기)의 화면에 표시할 수 있다(S3084).
도 12b는 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법을 나타내는 예시도이다.
도 12b(a)를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 전자기기(100, 또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)의 재생 또는 녹음과 관련된 UI를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일 중 특정 음성 파일(E001.wmv)을 선택할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일(E001.wmv)을 재생할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(E001.wmv)에 대하여 SST(Speech to Text)를 수행할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 SST(Speech to Text)를 근거로 생성된 텍스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
제 5 실시예에 따르면, 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자가 상기 특정 음성 파일(E001.wmv)의 음성 구간 중 특정 재생 시점(p210)을 선택하는 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 음성 파일에 대한 STT(Speech to Text) 수행을 근거로 한 텍스트 중 상기 특정 재생 시점(p210)에 해당하는 텍스트 부분을 찾아서(또는 서치하여) 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면상에 표시할 수 있다.
도 12b(b)를 참조하여, 상기 텍스트에 대한 서치 기능에 대해 구체적으로 상술하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 음성 파일(E001.wmv)에 해당하는 재생 음성 구간 인디케이터(예를 들어, 도 10c(a)의 음성 재생 구간 바(bar))를 상기 전자기기(100, 또는 이동 단말기)의 화면상에 표시할 수 있다.
또한, 상기 전자기기(100, 또는 이동 단말기)는 상기 사용자의 터치 입력을 근거로 상기 인디케이터 상에 상기 특정 재생 시점(p210)을 선택할 수 있다.
이 경우, 상기 전자기기(100, 또는 이동 단말기)는 상기 음악 파일(E001.wmv)을 상기 특정 재생 시점(p21)부터 재생하되, 상기 음악 파일(E001.wmv)에 대한 텍스트 중 상기 선택된 특정 재생 시점(p210)에 해당하는 특정 텍스트(T420)를 상기 전자기기(100, 또는 이동 단말기)의 화면상에 함께 표시할 수 있다.
도 12c는 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법을 나타내는 순서도이다.
도 12c를 참조하면, 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 재생할 수 있다(S3091).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 재생되는 특정 음성 파일에 대하여 실시간 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3092).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 전자 기기(예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 텍스트(Text, 문자열 또는 스크립트) 중 특정 텍스트 부분을 선택할 수 있다(S3093).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 특정 텍스트 부부분에 해당하는 음성 파일 부분을 재생할 수 있다(S3084).
도 12d는 본 명세서에 개시된 제 6 실시예에 따른 음성 메모(또는 음성 파일)에 대한 서치 기능 수행방법을 나타내는 예시도이다.
도 12d(a)를 참조하면, 상기 전자기기(100, 또는 이동 단말기)는 상기 전자기기(100, 또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)의 재생 또는 녹음과 관련된 UI를 상기 전자기기(100, 또는 이동 단말기)의 화면에 표시할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일 중 특정 음성 파일(F001.wmv)을 선택할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일(F001.wmv)을 재생할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(F001.wmv)에 대하여 SST(Speech to Text)를 수행할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 SST(Speech to Text)를 근거로 생성된 텍스트(T510)를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 중 일부 영역에 표시할 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 사용자 선택 입력에 근거하여 상기 생성된 텍스트(T510) 중 특정 텍스트(T520)를 선택할 수 있다.
상기 특정 텍스트(T520)에 대한 선택은 상기 사용자의 터치 입력 및 상기 터치입력을 근거로 드레그 이벤트를 근거로 이루어질 수 있다.
상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 드레그 이벤트를 근거로 상기 특정 텍스트(T520)를 선택할 수 있다.
도 12d(b)를 참조하면, 상기 특정 텍스트(T520)가 선택된 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 음성 파일(F001.wmv)의 재생 시점을 현재의 상기 음성 파일(F001.wmv)의 재생 시점(p310)에서, 상기 특정 텍스트(T520)에 해당하는 특정 재생 시점(p320)으로 변경할 수 있다.
이때, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 음성 파일(F001.wmv)의 재생 시점을 변경함과 함께, 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면 상단 부분에 상기 특정 재생 시점에 해당하는 텍스트(T530)를 표시할 수 있다.
도 12e는 본 명세서에 개시된 제 6 실시예에 따른 음성 스캐닝 방법을 나타내는 예시도이다.
도 12e에 개시된 제 6 실시예는, 상기 전자 기기(100, 예를 들어, 이동 단말기)가 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일의 재생과 함께 상기 음성 파일에 대한 STT(Speech to Text)의 수행을 근거로 한 텍스트 중 상기 음성 파일의 재생 시점에 해당하는 특정 텍스트 부분을 특정 효과에 따라 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면에 표시하는 경우를 나타낸다.
예를 들어, 상기 특정 효과는 상기 특정 텍스트 부분을 화면의 오른쪽에서 왼쪽으로 이동시켜 가며 상기 화면에 나타내는 효과일 수 있다. 또한, 상기 특정 텍스트의 이동은 물 흐르는 듯한 효과를 함께 표현할 수 있다.
또한, 예를 들어, 상기 특정 효과는 상기 특정 텍스트 부분의 하이라이트 효과를 의미할 수 있다. 이 경우, 상기 하이라이트 효과는 상기 특정 텍스트 부분을 강조(예를 들어, 진한 글씨 또는 다른 텍스트 부분보다 상대적으로 큰 글씨)하는 효과를 의미할 수 있다.
또한, 도 12e에 개시된 제 6 실시예에 따른 음성 스캐닝 방법은 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일의 재생 중에 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 의해 상기 음성 파일의 재생 시점이 변경하는 경우, 상기 변경된 재생시점에 해당하는 텍스트 부분으로 변경하여 표시하는 기능을 포함할 수 있다.
도 12e(a)를 참조하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 제 1 재생 시점(p410)에서 상기 음성 파일을 재생할 수 있다.
이 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 제 1 재생 시점에 해당하는 텍스트(T610)("이대호는 30일..")를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면에 표시할 수 있다.
도 12e(b)를 참조하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자가 상기 음악 파일에 대한 재생시점을 제 2 재생시점(p420)으로 변경한 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 음악 파일에 대한 재생시점의 변경과 함께, 상기 제 2 재생시점(p420)에 해당하는 텍스트(T620)("동점 솔로포를..")를 상기 화면에 표시할 수 있다.
도 12f는 본 명세서에 개시된 또 다른 제 6 실시예에 따른 음성 파일에 대한 언어 정보 변경 방법을 나타내는 예시도이다.
도 12f를 참조하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 특정 나라의 언어 음성을 다른 나라의 언어 음성으로 변경하여 음성 녹음을 할 수 있다.
예를 들어, 상기 전자 기기(100, 예를 들어, 이동 단말기)에 의한 음성 녹음 기능 수행 중에, 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자가 "나는 소년이다"라는 한국어 음성으로 말한 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 한국어 음성을 그대로 녹음하거나, 상기 한국어 음성을 번역(translation)하여 영어 음성(예를 들어, "I AM A BOY")으로 녹음할 수 있다.
이 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 영어 음성을 저장함과 함께 스피커등의 음성 출력장치를 통해 상기 영어 음성(예를 들어, "I AM A BOY")을 음성으로 출력할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 영어 음성에 대한 STT(Speech to Text)를 수행하여, 상기 영어 음성(예를 들어, "I AM A BOY")에 대한 텍스트를 생성할 수 있다.
또한, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 생성된 영어 음성(예를 들어, "I AM A BOY")에 대한 텍스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면에 표시할 수 있다.
본 명세서에 개시된 제 7 실시예는 상술된 실시예들이 포함하고 있는 구성 또는 단계의 일부 또는 조합으로 구현되거나 실시예들의 조합으로 구현될 수 있으며, 이하에서는 본 명세서에 개시된 제 7 실시예의 명확한 표현을 위해 중복되는 부분을 생략할 수 있다.
본 명세서에 개시된 제 7 실시예는 전자기기(또는 이동 단말기)에 저장된 음성 메모(또는 음성 파일)의 자동 재생 기능에 관한 것으로, 상기 전자기기(또는 이동 단말기)의 사용자 신체 일부분(예를 들어, 상기 사용자의 귀)이 상기 전자기기(또는 이동 단말기)에 근접하는 경우, 상기 음성 메모(또는 음성 파일)의 자동 재생 기능이 활성화되는 것과 관련된 것이다.
도 13a는 본 명세서에 개시된 제 7 실시예에 따른 음성 파일의 자동 재생 방법을 나타내는 순서도이다.
도 13a를 참조하면, 본 명세서에 개시된 제 7 실시예에 따른 음성 파일의 자동 재생 방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 선택할 수 있다(S3111).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 전자 기기(예를 들어, 이동 단말기)의 사용자 신체 일부분이 상기 전자 기기(예를 들어, 이동 단말기)에 근접하는 경우, 상기 특정 음성 파일을 재생할 수 있다(S3112).
도 13b는 본 명세서에 개시된 제 7 실시예에 따른 음성 파일의 자동 재생 방법을 나타내는 예시도이다.
도 13b를 참조하면, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 전자 기기(100, 예를 들어, 이동 단말기)에 저장된 음성 파일들에 대한 리스트를 상기 전자 기기(100, 예를 들어, 이동 단말기)의 화면에 표시할 수 있다.
이 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)의 사용자는 상기 음성 파일들에 대한 리스트 중 특정 음성 파일(C001.wmv)를 선택할 수 있다.
상기 특정 음성 파일(C001.wmv)의 선택은 상기 사용자에 의한 터치 입력을 근거로 할 수 있다.
도 13c를 참조하면, 상기 사용자의 신체 일부분(b110, 예를 들어, 상기 사용자의 귀)가 상기 전자 기기(100, 예를 들어, 이동 단말기)에 근접하는 경우, 상기 전자 기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 파일(C001.wmv)를 자동으로 재생할 수 있다.
도 13d는 본 명세서에 개시된 제 7 실시예에 따른 인디케이터 표시방법을 나타내는 순서도이다.
도 13d를 참조하면, 본 명세서에 개시된 제 7 실시예에 따른 인디케이터 표시방법은 다음과 같은 단계로 이루어질 수 있다.
먼저, 전자 기기(예를 들어, 이동 단말기)는 전자 기기에 저장된 복수의 음성 파일 중 특정 음성 파일을 선택할 수 있다(S3121).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 선택된 특정 음성 파일에 대하여 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 수행된 실시간 STT(Speech to Text)에 근거하여 상기 음성 파일에 해당하는 텍스트(Text, 문자열 또는 스크립트)를 생성할 수 있다(S3122).
다음으로, 상기 전자 기기(예를 들어, 이동 단말기)는 상기 생성된 텍스트를 특정 구분기준을 근거로 서브 텍스트로 구분할 수 있다(S3123).
다음으로, 상기 전자기기(예를 들어, 이동 단말기)는 상기 서브 텍스트 각각에 해당하는 인덱스 정보를 생성할 수 있다(S3124).
다음으로, 상기 전자기기(예를 들어, 이동 단말기)는 상기 인덱스 정보를 근거로 상기 서브 텍스트 각각에 해당하는 인디케이터를 상기 전자기기(예를 들어, 이동 단말기)의 화면에 표시할 수 있다(S3125).
여기서, 상기 특정 구분 기준은 다양한 방식으로 결정될 수 있다.
예를 들어, 상기 특정 구분 기준은 상기 텍스트에 해당하는 단락일 수 있다. 즉, 상기 전자기기(예를 들어, 이동 단말기)는 상기 텍스트를 단락 별로 구분하여 서브 텍스트를 구분할 수 있다.
또한 예를 들어, 상기 특정 구분 기준은 상기 전자기기(예를 들어, 이동 단말기)의 사용자 선택입력에 의해 결정될 수 있다. 즉, 상기 전자기기(예를 들어, 이동 단말기)의 사용자가 상기 음성 파일의 출력과 관련된 UI를 통해 특정 음성 구간을 지정(또는 선택)하는 입력을 인가하는 경우, 상기 전자기기(예를 들어, 이동 단말기)는 상기 사용자의 선택입력을 근거로 상기 인덱스 정보를 생성하고, 이에 해당하는 인디케이터를 상기 화면에 표시할 수 있다.
이외에도 다양한 구분 기준이 본 명세서에 개시된 제 7 실시예에 따른 인디케이터 표시방법에 적용될 수 있다.
상기 인덱스 정보는, 상기 서브 텍스트 간을 구별하는 역할을 할 수 있다. 예를 들어, 상기 인덱스 정보는 상기 구분된 서브 텍스트 간을 구별하기 위한 숫자 또는 번호일 수 있다.
상기 인디케이터는 상기 인덱스 정보를 근거로 생성되며, 상기 사용자에게 상기 서브 텍스트 중 특정 서브 텍스트를 검색기능(또는 찾기기능)을 제공하기 위한 수단일 수 있다.
예를 들어, 상기 인디케이터는 책갈피(또는 북마크, bookmark)기능을 수행하는 것일 수 있다. 이를 통해, 상기 사용자는 상기 인디케이터 중 특정 음성 구간을 나타내는 특정 인디케이터를 선택함으로써 상기 특정 음성 구간을 보다 편리하고, 간편하게 찾을 수 있다.
도 13e는 본 명세서에 개시된 제 7 실시예에 따른 인디케이터 표시방법을 나타내는 예시도이다.
도 13e를 참조하면, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 전자기기(100, 예를 들어, 이동 단말기)에 저장된 음성파일 중 특정 음성 파일을 상기 전자기기(100, 예를 들어, 이동 단말기)의 사용자 선택 입력에 근거하여 선택할 수 있다.
이 경우, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 선택된 음성 파일에 대하여 STT(Speech to Text)를 수행할 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 STT 수행 결과를 근거로 상기 특정 음성 파일에 해당하는 텍스트를 생성할 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 생성된 텍스트를 특정 구분기준을 근거로 서브 텍스트로 구분할 수 있다. 예를 들어, 상기 특정 구분 기준은 상기 텍스트의 단락일 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 서브 텍스트 각각에 대하여 인덱스 정보를 생성할 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 인덱스 정보를 근거로 상기 서브 텍스트를 나타내는 인디케이터(T110~T140)를 상기 전자기기(100, 예를 들어, 이동 단말기)의 화면에 표시할 수 있다.
예를 들어, 도 13e의 경우처럼, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 텍스트에 대하여 단락을 기준으로 자동으로 서브 텍스트를 생성할 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 서브 텍스트에 대한 인디케이터(T110~T140)을 화면에 표시할 수 있다. 예를 들어, 상기 인디케이터는 서브 텍스트에 해당하는 북마크일 수 있다.
상기 전자기기(100, 예를 들어, 이동 단말기)의 사용자는 검색 버튼(n110, n120)을 이용하여 상기 인디케이터 중 특정 음성 구간을 나타내는 특정 인디케이터를 선택할 수 있다.
이 경우, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 특정 인디케이터에 해당하는 상기 특정 음성 구간을 출력할 수 있다.
또한, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 특정 음성 구간의 출력과 함께 상기 특정 음성 구간에 해당하는 서브 텍스트를 상기 화면에 표시할 수 있다.
예를 들어, 도 13e의 경우, 상기 사용자가 T120에 해당하는 인디케이터를 선택하는 경우, 상기 전자기기(100, 예를 들어, 이동 단말기)는 상기 T120에 해당하는 인디케이터의 음성 구간인 "이대호는 30일 일본 오사카 교세라 돔에서..."를 출력할 수 있고, 이와 함께, 상기 서브 텍스트인 "이대호는 30일 일본 오사카 교세라 돔에서..."를 상기 화면에 표시할 수 있다.
한편, 전술한 이동 단말기(100)의 본 발명의 실시 예들에 따른 기능은 후술할 영상표시기기에서 구현될 수 있다. 이하에서는, 본 발명의 실시 예들에 따른 이동 단말기(100)의 동작 제어 기능을 구비한 영상표시기기에 대해 도 14를 참조하여 설명한다.
도 14는 본 발명의 일실시예에 따른 영상표시기기의 내부 블록도이다.
도14를 참조하면, 본 발명의 일실시예에 의한 영상표시기기(200)는, 방송 수신부(205), 외부장치 인터페이스부(235), 저장부(240), 사용자입력 인터페이스부(250), 제어부(270), 디스플레이부(280), 오디오 출력부(285), 및 전원공급부(290)를 포함할 수 있다. 이 중 방송 수신부(205)는, 튜너(210), 복조부(120), 및 네트워크 인터페이스부(230)를 포함할 수 있다. 이 중 튜너(210)와 복조부(120)는, 네트워크 인터페이스부(230)와, 선택적으로 구비되는 것도 가능하다.
튜너(210)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너(210)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너(210)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(270)로 직접 입력될 수 있다.
또한, 튜너(210)는, ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
한편, 튜너(210)는, 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
복조부(120)는, 튜너(210)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
예를 들어, 튜너(210)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(120)는 8-VSB(8-Vestigal Side Band) 복조를 수행한다. 또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 튜너(210)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(120)는, 채널 복호화를 수행할 수도 있다. 이를 위해, 복조부(120)는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
복조부(120)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
한편, 상술한 복조부(120)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
복조부(120)에서 출력한 스트림 신호는 제어부(270)로 입력될 수 있다. 제어부(270)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(280)에 영상을 출력하고, 오디오 출력부(285)로 음성을 출력한다.
외부장치 인터페이스부(235)는 외부 장치와 영상표시기기(200)를 접속할 수 있다. 이를 위해, 외부장치 인터페이스부(235)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(235)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(235)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상표시기기(200)의 제어부(270)로 전달한다. 또한, 제어부(270)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(235)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 영상표시기기(200)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시기기(200)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(235)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
한편, 외부장치 인터페이스부(235)는, 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(270) 또는 저장부(240)로 전달할 수 있다.
네트워크 인터페이스부(230)는, 영상표시기기(200)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(230)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(230)는, 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그 외, 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(230)는, 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(240)는, 제어부(270) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.
또한, 저장부(240)는 외부장치 인터페이스부(235) 또는 네트워크 인터페이스부(230)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(240)는, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
또한, 저장부(240)는, 외부장치 인터페이스부(235) 또는 네트워크 인터페이스부(230)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
저장부(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시기기(200)는, 저장부(240) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도14는 저장부(240)가 제어부(270)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(240)는 제어부(270) 내에 포함될 수도 있다.
사용자입력 인터페이스부(250)는, 사용자가 입력한 신호를 제어부(270)로 전달하거나, 제어부(270)로부터의 신호를 사용자에게 전달한다.
예를 들어, 사용자입력 인터페이스부(250)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(400)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호 또는 제어 신호를 수신하여 처리하거나, 제어부(270)로부터의 제어 신호를 원격제어장치(400)로 송신하도록 처리할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(250)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호 또는 제어 신호를 제어부(270)에 전달할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(250)는, 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 사용자 입력 신호 또는 제어 신호를 제어부(270)에 전달하거나, 제어부(270)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 여기서, 센싱부(미도시)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다.
제어부(270)는, 튜너(210) 또는 복조부(120) 또는 외부장치 인터페이스부(235)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(270)에서 영상 처리된 영상 신호는 디스플레이부(280)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(270)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(235)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(270)에서 처리된 음성 신호는 오디오 출력부(285)로 오디오 출력될 수 있다. 또한, 제어부(270)에서 처리된 음성 신호는 외부장치 인터페이스부(235)를 통하여 외부 출력장치로 입력될 수 있다.
도14에는 도시되어 있지 않으나, 제어부(270)는 역다중화부, 영상처리부 등을 포함할 수 있다. 이에 대해서는 도 4를 참조하여 후술한다.
그 외, 제어부(270)는, 영상표시기기(200) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(270)는, 튜너(210)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(270)는 사용자입력 인터페이스부(250)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시기기(200)를 제어할 수 있다. 특히, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 영상표시기기(200) 내로 다운받을 수 있도록 할 수 있다.
예를 들어, 제어부(270)는, 사용자입력 인터페이스부(250)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(210)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(270)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(280) 또는 오디오 출력부(285)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(270)는, 사용자입력 인터페이스부(250)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(235)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(280) 또는 오디오 출력부(285)를 통해 출력될 수 있도록 한다.
한편, 제어부(270)는, 영상을 표시하도록 디스플레이부(280)를 제어할 수 있다. 예를 들어, 튜너(210)를 통해 입력되는 방송 영상, 외부장치 인터페이스부(235)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부를 통해 입력되는 영상 또는 저장부(240)에 저장된 영상을 디스플레이부(280)에 표시하도록 제어할 수 있다. 이때, 디스플레이부(280)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(270)는, 애플리케이션 보기 항목에 진입하는 경우, 영상표시기기(200) 내 또는 외부 네트워크로부터 다운로드 가능한 애플레케이션 또는 애플리케이션 목록을 표시하도록 제어할 수 있다.
제어부(270)는, 다양한 유저 인터페이스와 더불어, 외부 네트워크로부터 다운로드되는 애플리케이션을 설치 및 구동하도록 제어할 수 있다. 또한, 사용자의 선택에 의해, 실행되는 애플리케이션에 관련된 영상이 디스플레이부(280)에 표시되도록 제어할 수 있다.
한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다. 채널 브라우징 처리부는, 복조부(120)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(235)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(270)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(270)로 입력되는 것도 가능하다. 제어부(270)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(280)에 표시할 수 있다. 한편, 이러한 썸네일 리스트 내의 썸네일 영상들은 차례로 또는 동시에 업데이트될 수 있다. 이에 따라 사용자는 복수의 방송 채널의 내용을 간편하게 파악할 수 있게 된다.
디스플레이부(280)는, 제어부(270)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(235)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다.
디스플레이부(280)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.
한편, 디스플레이부(280)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(285)는, 제어부(270)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(285)는 다양한 형태의 스피커로 구현될 수 있다.
한편, 사용자를 촬영하는 촬영부(미도시)를 더 구비할 수 있다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 제어부(270)에 입력된다.
한편, 사용자의 제스처를 감지하기 위해, 상술한 바와 같이, 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센싱부(미도시)가 영상표시기기(200)에 더 구비될 수 있다. 센싱부(미도시)에서 감지된 신호는 사용자입력 인터페이스부(250)를 통해 제어부(270)로 전달될 수 있다.
제어부(270)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
전원 공급부(290)는, 영상표시기기(200) 전반에 걸쳐 해당 전원을 공급한다. 특히, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 제어부(270)와, 영상 표시를 위한 디스플레이부(280), 및 오디오 출력을 위한 오디오 출력부(285)에 전원을 공급할 수 있다.
이를 위해, 전원 공급부(290)는, 교류 전원을 직류 전원으로 변환하는 컨버터(미도시)를 구비할 수 있다. 한편, 예를 들어, 디스플레이부(280)가 다수의 백라이트 램프를 구비하는 액정패널로서 구현되는 경우, 휘도 가변 또는 디밍(dimming) 구동을 위해, PWM 동작이 가능한 인버터(미도시)를 더 구비할 수도 있다.
원격제어장치(400)는, 사용자 입력을 사용자입력 인터페이스부(250)로 송신한다. 이를 위해, 원격제어장치(400)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한, 원격제어장치(400)는, 사용자입력 인터페이스부(250)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(400)에서 표시하거나 음성 또는 진동을 출력할 수 있다.
상술한 영상표시기기(200)는, 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 본 명세서에서 기술되는 영상표시기기는, 도14에서 도시된 디스플레이부(280)와 오디오 출력부(285)가 제외된 영상표시기기로서, 무선 통신을 통해, 디스플레이부(280) 및 오디오 출력부(285)와 데이터를 송수신하는, 와이어리스(wireless) 타입일 수도 있다.
한편, 도14에 도시된 영상표시기기(200)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시기기(200)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
한편, 영상표시기기(200)는 도14에 도시된 바와 달리, 도14의 도시된 튜너(210)와 복조부(120)를 구비하지 않고, 네트워크 인터페이스부(230) 또는 외부장치 인터페이스부(235)를 통해서, 영상 컨텐츠를 수신하고, 이를 재생할 수도 있다.
다른 한편, 전술한 이동 단말기(100)의 본 발명의 실시 예들에 따른 기능들은, 후술할 냉장고에서 구현될 수 있다. 이하에서는, 본 발명의 실시 예들에 따른 이동 단말기(100)의 동작 제어 기능을 구비한 냉장고에 대해 도 15를 참조하여 설명한다.
도 15는 본 발명의 일 실시 예에 따른 전자기기가 냉장고일 때, 냉장고에 포함되는 디스플레이 제어부와 본체 제어부를 도시한 블록도이다.
도 15를 참조하면, 상기 디스플레이 제어부(330)에는 디스플레이부(310), 통신부(331), 입력부(320), 디스플레이 메모리부(333), 음성 인식부(335) 및 음성 출력부(339)가 연결된다. 디스플레이 제어부(330)는 디스플레이부(310), 통신부(331), 입력부(320), 디스플레이 메모리부(333), 음성 인식부(335) 및 음성 출력부(339)의 동작을 제어한다.
상기 통신부(331)는 방송국이나 기지국에서 영상 데이터나 DMB 데이터를 수신받아 상기 디스플레이부(310) 또는/및 음성 출력부(339)에서 출력되도록 한다. 또한, 통신부(331)는 디스플레이 제어부(330)의 제어에 따라 네트워크를 통해 서버 또는 외부 단말기에 연결되어 데이터를 송수신한다. 예를 들어, 통신부(331)는 디스플레이 제어부(330)로부터 텍스트 쿼리를 수신하여 서버 또는 외부 단말기에 송신하고, 서버 또는 외부 단말기는 검색 엔진을 통해 텍스트 쿼리에 대한 검색 결과를 통신부(331)에 송신한다. 통신부(331)는 서버 또는 외부 단말기로부터 수신한 검색 결과를 디스플레이 제어부(330)에 전달함으로써, 검색 결과가 디스플레이부(310) 또는/및 음성 출력부(339)에서 출력되도록 한다.
상기 음성 인식부(335)는 사용자가 음성을 입력할 수 있는 음성 입력부(336)와, 상기 음성 입력부(336)에 입력된 음성을 음성 주파수로 변환하는 컨버터(337)가 포함될 수 있다. 상기 컨버터(337)는 사용자의 음성 주파수를 디지털 신호로 변환시킨 후 상기 디스플레이 제어부(330)에 전달한다. 상기 디스플레이 제어부(330)는 전달받은 디지털 신호를 디스플레이 메모리부(333)에 저장한다.
상기 디스플레이 메모리부(333)에는 냉장고에 저장된 음식물의 이름에 대응하여 상기 음성 출력부(339)를 통해 출력될 음성 정보가 미리 저장된다. 상기 음식물의 이름에 관한 출력 음성 정보는 냉장고 제작시에 디스플레이 메모리부(333)에 미리 저장될 수 있다.
상기 디스플레이 제어부(330)에는 본체 제어부(340)가 연결된다. 상기 본체 제어부(340)에는 본체 메모리부(341)가 연결될 수 있다. 상기 본체 메모리부(341)에는 냉장고의 기능에 관한 데이터가 미리 저장되어 있다.
본 명세서에 개시된 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 이동 단말기, 영상표시기기 및 냉장고는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
이상에서 본 명세서에 개시된 실시예들을 첨부된 도면들을 참조로 설명하였다. 여기서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 명세서에 개시된 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 명세서에 개시된 일 실시예에 불과할 뿐이고, 본 명세서에 개시된 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
100: 이동 단말기 200: 영상표시기기
300: 냉장고
300: 냉장고
Claims (24)
- 입력되는 음성 신호를 저장하는 메모리;
상기 음성 신호가 저장되는 진행상태를 나타내는 항목 및 상기 음성 신호에 대한 STT기반의 텍스트 중 하나 이상을 표시하는 디스플레이부;
사용자로부터 상기 진행 상태를 나타내는 항목 중 소정 부분에 대한 선택 또는상기 텍스트 중 일부 문자열에 대한 선택을 입력받는 사용자 입력부; 및
상기 선택된 부분 또는 상기 선택된 문자열에 대응하는 음성 신호를 재생하는 제어부를 포함하는 것을 특징으로 하는 전자기기. - 제1 항에 있어서, 상기 사용자 입력부는, 상기 음성 신호가 입력되는 도중에 상기 진행 상태를 나타내는 항목 중 소정 부분의 선택을 입력받는 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 선택된 부분에 대응하는 음성 신호를 출력하는 음향 출력부를 더 포함하는 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 선택된 부분에 대응하는 음성 신호를 이어폰으로 출력하는 인터페이스부를 더 포함하는 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 디스플레이부는, 상기 선택된 부분에 대응하는 음성 신호가 변환된 텍스트를 표시하는 것을 특징으로 하는 전자기기.
- 제5 항에 있어서, 상기 변환된 텍스트는, STT(Speech To Text) 기술을 이용하여 음성 신호가 변환된 텍스트인 것을 특징으로 하는 전자기기.
- 제5 항에 있어서, 상기 제어부는, 상기 입력되는 음성 신호를 텍스트로 변환하고,
상기 메모리는, 상기 변환된 텍스트를 저장하는 것을 특징으로 하는 전자기기. - 제5 항에 있어서, 상기 제어부는, 상기 선택된 부분에 대응하는 음성 신호를 텍스트로 변환하는 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 진행상태를 나타내는 항목은, 프로그레스 바(progress bar)인 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 메모리는, 상기 저장되는 음성 신호의 시간 정보를 저장하는 것을 특징으로 하는 전자기기.
- 제10 항에 있어서, 상기 디스플레이부는, 상기 선택된 부분에 대응하는 음성 신호의 시간 정보를 표시하는 것을 특징으로 하는 전자기기.
- 제1 항에 있어서, 상기 메모리는, 상기 선택된 부분에 대응하는 음성 신호를 재생하는 동안 상기 입력되는 음성 신호를 계속하여 저장하는 것을 특징으로 하는 전자기기.
- 입력되는 음성 신호를 저장하는 단계;
상기 음성 신호가 저장되는 진행상태를 나타내는 항목 및 상기 음성 신호에 대한 STT기반의 텍스트 중 하나 이상을 표시하는 단계;
사용자로부터 상기 진행 상태를 나타내는 항목 중 소정 부분에 대한 선택 또는 상기 텍스트 중 일부 문자열에 대한 선택을 입력받는 단계; 및
상기 선택된 부분 또는 상기 선택된 문자열에 대응하는 음성 신호를 재생하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법. - 제13 항에 있어서, 상기 입력받는 단계는, 상기 음성 신호가 입력되는 도중에 상기 진행 상태를 나타내는 항목 중 소정 부분의 선택을 입력받는 단계인 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 청각적으로 출력하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 이어폰으로 출력하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호가 변환된 텍스트를 출력하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제17 항에 있어서, 상기 변환된 텍스트는, STT(Speech To Text) 기술을 이용하여 음성 신호가 변환된 텍스트인 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제17 항에 있어서, 상기 저장하는 단계는, 상기 입력되는 음성 신호를 텍스트로 변환하는 단계; 및
상기 변환된 텍스트를 저장하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법. - 제17 항에 있어서, 상기 재생하는 단계는, 상기 선택된 부분에 대응하는 음성 신호를 텍스트로 변환하는 단계를 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 진행상태를 나타내는 항목은, 프로그레스 바(progress bar)인 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 저장되는 음성 신호의 시간 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제22 항에 있어서, 상기 선택된 부분에 대응하는 음성 신호의 시간 정보를 표시하는 단계를 더 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
- 제13 항에 있어서, 상기 선택된 부분에 대응하는 음성 신호를 재생하는 동안 상기 입력되는 음성 신호를 계속하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 전자기기의 음성신호 재생방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120053832A KR101939253B1 (ko) | 2012-05-21 | 2012-05-21 | 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 |
US13/725,187 US9514749B2 (en) | 2012-05-21 | 2012-12-21 | Method and electronic device for easy search during voice record |
PCT/KR2012/011448 WO2013176366A1 (en) | 2012-05-21 | 2012-12-26 | Method and electronic device for easy search during voice record |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120053832A KR101939253B1 (ko) | 2012-05-21 | 2012-05-21 | 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130129747A true KR20130129747A (ko) | 2013-11-29 |
KR101939253B1 KR101939253B1 (ko) | 2019-01-16 |
Family
ID=49582032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120053832A KR101939253B1 (ko) | 2012-05-21 | 2012-05-21 | 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9514749B2 (ko) |
KR (1) | KR101939253B1 (ko) |
WO (1) | WO2013176366A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190110690A (ko) * | 2018-03-21 | 2019-10-01 | 삼성전자주식회사 | 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130205213A1 (en) * | 2012-02-06 | 2013-08-08 | edX Inc. | Caption-based navigation for a video player |
US9679564B2 (en) * | 2012-12-12 | 2017-06-13 | Nuance Communications, Inc. | Human transcriptionist directed posterior audio source separation |
US20140298364A1 (en) * | 2013-03-26 | 2014-10-02 | Rawllin International Inc. | Recommendations for media content based on emotion |
CN105099855B (zh) * | 2014-04-30 | 2019-01-04 | 阿尔派株式会社 | 电子装置以及语音信息的播放控制方法 |
KR102340251B1 (ko) * | 2014-06-27 | 2021-12-16 | 삼성전자주식회사 | 데이터 관리 방법 및 그 방법을 처리하는 전자 장치 |
KR102224568B1 (ko) * | 2014-08-27 | 2021-03-08 | 삼성전자주식회사 | 오디오 데이터 처리 방법과 이를 지원하는 전자 장치 |
US10275207B2 (en) | 2014-09-01 | 2019-04-30 | Samsung Electronics Co., Ltd. | Method and apparatus for playing audio files |
CN104978145A (zh) * | 2015-01-27 | 2015-10-14 | 中兴通讯股份有限公司 | 一种实现录音的方法、装置和移动终端 |
JP6200449B2 (ja) * | 2015-04-30 | 2017-09-20 | シナノケンシ株式会社 | 教育支援システム及び端末装置 |
US10437615B2 (en) * | 2015-11-02 | 2019-10-08 | Microsoft Technology Licensing, Llc | Emotionally connected responses from a digital assistant |
US10614108B2 (en) * | 2015-11-10 | 2020-04-07 | International Business Machines Corporation | User interface for streaming spoken query |
CN106817479B (zh) * | 2015-12-01 | 2020-05-19 | 腾讯科技(深圳)有限公司 | 即时通讯消息的处理方法和装置 |
CN106339197A (zh) * | 2016-08-31 | 2017-01-18 | 北海华源电子有限公司 | 显示装置 |
KR101818980B1 (ko) * | 2016-12-12 | 2018-01-16 | 주식회사 소리자바 | 다중 화자 음성 인식 수정 시스템 |
JP6852478B2 (ja) * | 2017-03-14 | 2021-03-31 | 株式会社リコー | 通信端末、通信プログラム及び通信方法 |
CN107679098A (zh) * | 2017-09-08 | 2018-02-09 | 咪咕视讯科技有限公司 | 一种多媒体数据处理方法、装置和存储介质 |
CN108900709A (zh) * | 2018-06-28 | 2018-11-27 | 努比亚技术有限公司 | 录音方法、移动终端及计算机可读存储介质 |
KR102492008B1 (ko) * | 2020-05-25 | 2023-01-26 | 주식회사 제윤 | 회의록 관리 방법 및 장치 |
KR20240097324A (ko) | 2022-12-20 | 2024-06-27 | 이화여자대학교 산학협력단 | 섬네일 이미지를 이용하여 음성데이터에 대한 직관적인 검색을 지원하는 장치 및 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6212497B1 (en) * | 1997-11-25 | 2001-04-03 | Nec Corporation | Word processor via voice |
US20060075347A1 (en) * | 2004-10-05 | 2006-04-06 | Rehm Peter H | Computerized notetaking system and method |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2693307B1 (fr) * | 1992-07-01 | 1994-12-23 | Marc Hayat | Appareil permettant l'enregistrement et la lecture simultanée ou décalée d'une bande d'enregistrement telle qu'une bande de mangétoscope de magnétophone ou d'appareil informatique. |
US5999908A (en) * | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
WO1996033579A1 (en) * | 1995-04-21 | 1996-10-24 | Imedia Corporation | An in-home digital video unit with combined archival storage and high-access storage |
US6448486B1 (en) * | 1995-08-28 | 2002-09-10 | Jeff K. Shinsky | Electronic musical instrument with a reduced number of input controllers and method of operation |
US6108704A (en) * | 1995-09-25 | 2000-08-22 | Netspeak Corporation | Point-to-point internet protocol |
US20020120925A1 (en) * | 2000-03-28 | 2002-08-29 | Logan James D. | Audio and video program recording, editing and playback systems using metadata |
US6031573A (en) * | 1996-10-31 | 2000-02-29 | Sensormatic Electronics Corporation | Intelligent video information management system performing multiple functions in parallel |
JP3195279B2 (ja) * | 1997-08-27 | 2001-08-06 | インターナショナル・ビジネス・マシーンズ・コーポレ−ション | 音声出力システムおよびその方法 |
JP4078622B2 (ja) * | 1998-03-06 | 2008-04-23 | ソニー株式会社 | 信号記録再生装置及び方法 |
KR20000047360A (ko) | 1998-12-18 | 2000-07-25 | 안문학 | 녹음과 동시에 음성을 다중속도로 재생하는 속기용 녹음 방법 |
US6802041B1 (en) * | 1999-01-20 | 2004-10-05 | Perfectnotes Corporation | Multimedia word processor |
US6173115B1 (en) * | 1999-11-04 | 2001-01-09 | Thomson Licensing S.A. | Record during pause and playback with rewritable disk medium |
JP2002358092A (ja) * | 2001-06-01 | 2002-12-13 | Sony Corp | 音声合成システム |
US20040268387A1 (en) * | 2001-06-11 | 2004-12-30 | Bertrand Wendling | Field of programme delivery |
EP1286349A1 (en) * | 2001-08-21 | 2003-02-26 | Canal+ Technologies Société Anonyme | File and content management |
US8498871B2 (en) * | 2001-11-27 | 2013-07-30 | Advanced Voice Recognition Systems, Inc. | Dynamic speech recognition and transcription among users having heterogeneous protocols |
US6744967B2 (en) * | 2001-12-20 | 2004-06-01 | Scientific-Atlanta, Inc. | Program position user interface for personal video recording time shift buffer |
US7415667B2 (en) * | 2003-01-31 | 2008-08-19 | Ricoh Company, Ltd. | Generating augmented notes and synchronizing notes and document portions based on timing information |
JP4035822B2 (ja) * | 2003-04-14 | 2008-01-23 | ソニー株式会社 | 音声データ編集装置、音声データ編集方法及び音声データ編集プログラム |
JP4661047B2 (ja) * | 2003-05-30 | 2011-03-30 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム |
JP2005189454A (ja) | 2003-12-25 | 2005-07-14 | Casio Comput Co Ltd | テキスト同期音声再生制御装置及びプログラム |
KR100698277B1 (ko) * | 2005-07-15 | 2007-03-22 | 엘지전자 주식회사 | 영상표시장치 및 이를 이용한 방송신호 재생 방법 |
WO2007023683A1 (ja) * | 2005-08-24 | 2007-03-01 | Matsushita Electric Industrial Co., Ltd. | メディア処理方法、メディア処理プログラム |
US9319720B2 (en) * | 2005-12-13 | 2016-04-19 | Audio Pod Inc. | System and method for rendering digital content using time offsets |
US7992175B2 (en) * | 2006-05-15 | 2011-08-02 | The Directv Group, Inc. | Methods and apparatus to provide content on demand in content broadcast systems |
KR100793756B1 (ko) * | 2006-08-07 | 2008-01-10 | 엘지전자 주식회사 | 녹화 목록 표시 방법 및 그 장치 |
US20080037489A1 (en) * | 2006-08-10 | 2008-02-14 | Ahmed Adil Yitiz | System and method for intelligent media recording and playback on a mobile device |
JP2008067207A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 記録再生装置、表示制御方法、およびプログラム |
KR100852526B1 (ko) * | 2006-10-25 | 2008-08-14 | 엘지전자 주식회사 | 영상표시기기의 저장 영상 제어장치 및 방법 |
US20090132242A1 (en) * | 2007-11-19 | 2009-05-21 | Cool-Idea Technology Corp. | Portable audio recording and playback system |
WO2009146238A1 (en) * | 2008-05-01 | 2009-12-03 | Chacha Search, Inc. | Method and system for improvement of request processing |
KR20090120669A (ko) | 2008-05-20 | 2009-11-25 | 주식회사 케이티테크 | 음성 녹음 장치 및 방법 |
JP4553034B2 (ja) * | 2008-05-22 | 2010-09-29 | ソニー株式会社 | 無線通信装置、プログラム、無線通信方法、および無線通信システム |
KR100998697B1 (ko) | 2008-08-06 | 2010-12-10 | 주식회사 아이리버 | 휴대 단말기 및 이를 이용한 컨텐츠 재생 방법 |
US8467402B2 (en) * | 2008-09-10 | 2013-06-18 | Miselu, Inc. | Digital audio communication system |
US20130204414A1 (en) * | 2008-09-10 | 2013-08-08 | Miselu, Inc. | Digital audio communication system |
JP5272835B2 (ja) * | 2009-03-23 | 2013-08-28 | セイコーエプソン株式会社 | 画像供給装置、画像供給方法、及び画像供給用プログラム |
US10079993B2 (en) * | 2009-06-13 | 2018-09-18 | Rolestar, Inc. | System for juxtaposition of separately recorded videos |
US9137346B2 (en) * | 2009-06-18 | 2015-09-15 | Qualcomm Incorporated | System and method for permitting recordation of voice transmissions among group members of a communication group of wireless communication devices |
EP2445202A4 (en) * | 2009-06-19 | 2012-10-24 | Shenzhen Tcl New Technology | METHOD AND TELEVISION FOR INDICATING EVOLUTION OF READING OF TV PROGRAMMING |
US20110131299A1 (en) * | 2009-11-30 | 2011-06-02 | Babak Habibi Sardary | Networked multimedia environment allowing asynchronous issue tracking and collaboration using mobile devices |
US20110161834A1 (en) * | 2009-12-31 | 2011-06-30 | omNovia Technology, Inc. | Systems and Methods for Restoring and Recreating a Live On-Line Session |
US8428227B2 (en) * | 2010-05-18 | 2013-04-23 | Certicall, Llc | Certified communications system and method |
US9236047B2 (en) * | 2010-05-21 | 2016-01-12 | Microsoft Technology Licensing, Llc | Voice stream augmented note taking |
WO2011159680A2 (en) * | 2010-06-15 | 2011-12-22 | Scholarbox, Inc. | Method, system and user interface for creating and displaying of presentations |
KR20120068078A (ko) * | 2010-10-26 | 2012-06-27 | 삼성전자주식회사 | 영상 처리 장치 및 그의 영상 데이터와 오디오 데이터의 연결 방법 |
US20120245936A1 (en) * | 2011-03-25 | 2012-09-27 | Bryan Treglia | Device to Capture and Temporally Synchronize Aspects of a Conversation and Method and System Thereof |
US8812510B2 (en) * | 2011-05-19 | 2014-08-19 | Oracle International Corporation | Temporally-correlated activity streams for conferences |
US8655796B2 (en) * | 2011-06-17 | 2014-02-18 | Sanjay Udani | Methods and systems for recording verifiable documentation |
US9262522B2 (en) * | 2011-06-30 | 2016-02-16 | Rednote LLC | Method and system for communicating between a sender and a recipient via a personalized message including an audio clip extracted from a pre-existing recording |
US8666818B2 (en) * | 2011-08-15 | 2014-03-04 | Logobar Innovations, Llc | Progress bar is advertisement |
US9318110B2 (en) * | 2011-09-09 | 2016-04-19 | Roe Mobile Development Llc | Audio transcription generator and editor |
KR101897774B1 (ko) * | 2012-05-21 | 2018-09-12 | 엘지전자 주식회사 | 녹음된 음성의 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 |
US20140013192A1 (en) * | 2012-07-09 | 2014-01-09 | Sas Institute Inc. | Techniques for touch-based digital document audio and user interface enhancement |
-
2012
- 2012-05-21 KR KR1020120053832A patent/KR101939253B1/ko active IP Right Grant
- 2012-12-21 US US13/725,187 patent/US9514749B2/en active Active
- 2012-12-26 WO PCT/KR2012/011448 patent/WO2013176366A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6212497B1 (en) * | 1997-11-25 | 2001-04-03 | Nec Corporation | Word processor via voice |
US20060075347A1 (en) * | 2004-10-05 | 2006-04-06 | Rehm Peter H | Computerized notetaking system and method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190110690A (ko) * | 2018-03-21 | 2019-10-01 | 삼성전자주식회사 | 복수의 입력 간에 매핑된 정보 제공 방법 및 이를 지원하는 전자 장치 |
US10853024B2 (en) | 2018-03-21 | 2020-12-01 | Samsung Electronics Co., Ltd. | Method for providing information mapped between a plurality of inputs and electronic device for supporting the same |
Also Published As
Publication number | Publication date |
---|---|
US9514749B2 (en) | 2016-12-06 |
WO2013176366A1 (en) | 2013-11-28 |
KR101939253B1 (ko) | 2019-01-16 |
US20130311186A1 (en) | 2013-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101977072B1 (ko) | 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기 | |
KR101939253B1 (ko) | 음성 녹음 중에 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 | |
KR101897774B1 (ko) | 녹음된 음성의 탐색을 용이하게 하는 방법 및 이를 구현한 전자기기 | |
US9900414B2 (en) | Mobile terminal and menu control method thereof | |
KR102196671B1 (ko) | 전자 기기 및 전자 기기의 제어 방법 | |
US10782856B2 (en) | Method and device for displaying application function information, and terminal device | |
US9390715B2 (en) | Mobile terminal and controlling method for displaying a written touch input based on a recognized input voice | |
KR101943320B1 (ko) | 이동단말기 및 그 제어방법 | |
US8924853B2 (en) | Apparatus, and associated method, for cognitively translating media to facilitate understanding | |
US20180144747A1 (en) | Real-time caption correction by moderator | |
JP2014142934A (ja) | 電子機器及び電子機器の制御方法 | |
KR20150017156A (ko) | 휴대단말기에서 추천어를 제공하는 방법 및 장치 | |
US11664017B2 (en) | Systems and methods for identifying and providing information about semantic entities in audio signals | |
CN103914502A (zh) | 使用情形识别的智能搜索服务的方法及其终端 | |
CN104252464A (zh) | 信息处理方法和装置 | |
KR101935358B1 (ko) | 동영상 편집 단말기 및 그 제어방법 | |
US20230350549A1 (en) | Automatic incident compilation system | |
KR102209427B1 (ko) | 이동 단말기 및 이동 단말기의 제어 방법 | |
KR20150012495A (ko) | 이동 단말기 | |
KR20090122844A (ko) | 이동 단말기 및 그의 음향 출력방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |