KR101875819B1 - 컨텍스트에 기초한 입력 명확화 - Google Patents

컨텍스트에 기초한 입력 명확화 Download PDF

Info

Publication number
KR101875819B1
KR101875819B1 KR1020137005724A KR20137005724A KR101875819B1 KR 101875819 B1 KR101875819 B1 KR 101875819B1 KR 1020137005724 A KR1020137005724 A KR 1020137005724A KR 20137005724 A KR20137005724 A KR 20137005724A KR 101875819 B1 KR101875819 B1 KR 101875819B1
Authority
KR
South Korea
Prior art keywords
computing device
mobile computing
user input
input
user
Prior art date
Application number
KR1020137005724A
Other languages
English (en)
Other versions
KR20130101505A (ko
Inventor
존 니콜라스 지트코프
마이클 제이. 리보
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20130101505A publication Critical patent/KR20130101505A/ko
Application granted granted Critical
Publication of KR101875819B1 publication Critical patent/KR101875819B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

일 실시예에서, 컴퓨터로 수행되는 방법은, 모바일 컴퓨팅 디바이스에서, 다수의 명령들 중 복수개를 지시하는 불분명한 사용자 입력을 수신하는 단계; 및 상기 모바일 컴퓨팅 디바이스가 현재 위치하고 있는 곳을 지시하는 상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하는 단계를 포함한다. 상기 방법은 상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화하는 단계; 및 상기 선택된 명령의 수행과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 의해 제공되도록 하는 단계를 더 포함할 수 있다.

Description

컨텍스트에 기초한 입력 명확화{DISAMBIGUATING INPUT BASED ON CONTEXT}
본 출원은 2010년 9월 6일에 출원된 미국 특허출원 US 12/851,881 "컨텍스트에 기초한 입력 명확화(Disambiguating Input Based on Context)"에 대해 우선권을 주장하며, 상기 출원에 개시된 내용은 본 문서에 참조로 통합된다.
본 명세서는 일반적으로 모바일 전화와 같은 모바일 컴퓨팅 디바이스 상에서 사용자 입력을 명확하게 구별하기 위한 방법, 시스템, 및 기술에 관한 것이다.
모바일 컴퓨팅 디바이스(예를 들어, 모바일 전화, 스마트폰, PDA(personal digital assistants), 포터블 미디어 플레이어, 등)들은, 명확한 입력에 응답하여 사용자에게 결과를 제공하도록 구성되어 왔다. 예를 들어, 사용자는 모바일 컴퓨팅 디바이스에 근처 피자전문점으로 길안내(directions)를 위한 검색 쿼리(query)를 제출할 수 있다. 이와 같은 예시에서, 상기 검색 쿼리는 분명하게 근처 피자전문점에 대한 길안내라는 것을 식별한다. 이에 응답하여, 상기 모바일 컴퓨팅 디바이스는 (단독, 또는 원격 서버 시스템과의 조합으로) 근처의 피자전문점을 식별하고 사용자에게 상기 피자전문점에 대한 길안내를 제공할 수 있다. 이와 같은 모바일 컴퓨팅 디바이스들은 텍스트-기반 입력(예를 들어, 키를 이용하여 입력된(typed) 쿼리), 선택-기반 입력(예를 들어, 터치스크린 선택, 등), 및 오디오-기반 입력(예를 들어, 음성 입력)과 같은 검색 쿼리를 수신하도록 구성되어 왔다. 상기 쿼리가 약간의 불명확성을 가질 때, 다수의 결과들이 (가장 높게 스코어링(scoring) 된 결과가 최상위에 및 관련도의 감소에 따라 순차적으로) 제공될 수 있고 사용자는 상기 결과들 중 하나를 선택할 기회를 제공받을 수 있다.
본 발명은 일반적으로 모바일 전화와 같은 모바일 컴퓨팅 디바이스 상에서 사용자 입력을 명확하게 구별하기 위한 방법, 시스템, 및 기술을 제공하는 것을 목적으로 한다.
본 명세서에서 설명하는 기술에서, 모바일 전화(예를 들어, 스마트폰, 또는 앱폰(app phone)과 같은 컴퓨팅 디바이스의 컨텍스트(context)는, 불분명한(ambiguous) 사용자 입력을 명확하게(disambiguate) 하기 위해서 고려된다. 불분명한 사용자 입력은, 관련된 분명한 정보의 부재 상황에서, 상기 컴퓨팅 디바이스에 의해 또는 상기 컴퓨팅 디바이스에 대해(예를 들어, 상기 컴퓨팅 디바이스와 전기적인 통신중인 서버 시스템에 의해) 복수의 쿼리 또는 명령에 대응되는 것으로 해석될 수 있는 입력을 의미한다. 불분명한 입력은, 부분적으로는 동음이의어(homophones)의 존재 때문에, 및 부분적으로는 스피치-투-텍스트(speech-to-text) 프로세서가 다르게 발음되지만 서로 유사하게 들리는 단어들을 구별하는데 어려움을 가질 수 있기 때문에, 발화 입력(spoken input)에서 특히 흔하게 있을 수 있다. 예를 들어, 만약 사용자가 모바일 컴퓨팅 디바이스로 "search for sail/sale info"라고 말하면, 이는 명령 "search for sail info"(예를 들어, 요트로 하는 항해(sail for a sailboat)에 관한 정보)에 대응되거나, 명령 "search for sale info"(예를 들어, 상품의 판매(sale for goods)에 관한 정보)에 대응될 수 있기 때문에, 상기 음성입력은 불분명할 수 있다. 특히 어떤 방언들에서는, "sell"과 "sale"이 유사하게 들리기 때문에, 디바이스는 심지어 상기 입력이 "search for sell info"인 것으로 판단할 수도 있다.
여기에서 기술된 상기 기술들을 이용하면, 불분명한 사용자 입력은, 모바일 컴퓨팅 디바이스가 위치하고 있는 물리적인 위치(예를 들어, 집, 회사, 자동차, 등), 모바일 컴퓨팅 디바이스의 움직임(예를 들어, 가속, 정지, 등), 및 모바일 컴퓨팅 디바이스 상의 최근 활동(예를 들어, 소셜 네트워크 활동, 발송/수신된 이메일들, 발신/수신된 전화 통화, 등)과 같이, 상기 사용자 입력 그 자체와 구별되는 모바일 컴퓨팅 디바이스(및/또는 상기 모바일 컴퓨팅 디바이스의 사용자)와 연관된 컨텍스트(context)에 기초하여 명확해질 수 있다. 예를 들어, 만약 사용자가 자동차에서 고속으로 이동하는 동안 음성입력 "traffic"을 모바일 컴퓨팅 디바이스에 제공하면, 상기 차량으로부터의 주변 소음(예를 들어, 엔진 소음, 바람, 도로 소음, 카 스테레오, 등) 때문에 상기 음성입력은 상기 모바일 컴퓨팅 디바이스에 의해 명확하게(clearly) 수신되지 않을 수 있다. 상기 음성입력의 명확성(clarity)의 결여로 인해, 상기 모바일 컴퓨팅 디바이스는 상기 음성입력을 "graphic"과 같이 "traffic"과 유사하게 들리는 다수의 다른 단어들 중 어떤 것으로서 해석할 수 있다. 상기 음성입력에 관한 불분명함(ambiguity)을 해소하기 위해(예를 들어, 사용자가 "traffic" 또는 "graphic"이라고 말했던가?), 상기 모바일 컴퓨팅 디바이스는, 상기 모바일 컴퓨팅 디바이스 상에서 고속 주행 중이라는 것을 감지(예를 들어, 상기 디바이스의 표준 컴퍼넌트인 다양한 모션 센서들 중 어느 것이라도 이용하여)하는 것에, 적어도 일부는 기초하여 그것이 차량에 위치할 개연성이 있다고 결정할 수 있다. 상기 모바일 컴퓨팅 디바이스의 결정된 컨텍스트(차량 내에 위치)에 기초하여, 상기 모바일 컴퓨팅 디바이스는 사용자가 "graphic" 보다 "traffic"이라고 말했을 개연성이 더 높다고 판단할 수 있고 상기 음성입력을 "traffic"으로 명확하게 할 수 있다.
또 다른 예시에서, 도킹된 디바이스는 그것이 도킹된 도크의 타입을, 서로 매치되는 상기 도크와 디바이스 상의 물리적 전기 접촉을 통해, 또는 상기 도크와 상기 디바이스 사이의 전기적 통신(예를 들어, Bluetooth 또는 RFID를 통해 결정할 수 있다. 예를 들어, 특정 핀 배열이 집에서 사용하는 것으로 의도된 도크에 제공될 수 있고, 반면에 다른 배열이 차량용으로 판매되거나 의도된 도크에 제공될 수 있다. 그러면 상기 디바이스는 그 컨텍스트를 "차량 내부(in car)" 또는 "집(at home)"으로 설정할 수 있다. 상기 디바이스는 그때 "directions"과 같은 발화입력을 명확하게 할 수 있고, 상기 용어는 "차량 내부" 컨텍스트에서는 지리적인 길 안내(geographic directions)(예를 들어, 운전 안내)로, 그리고 "집" 모드에서는 입문 지침(예를 들어, 요리에 있어서 입문 지침)으로 해석될 수 있을 것이다.
일 실시예에서, 컴퓨터로 수행되는 방법은, 모바일 컴퓨팅 디바이스에서, 다수의(a plurality of) 명령들 중 복수개(more than one)를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하는 단계; 및 상기 모바일 컴퓨팅 디바이스가 현재 위치하고 있는 곳을 지시하는 상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하는 단계를 포함한다. 상기 방법은 상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화하는 단계; 및 상기 선택된 명령의 수행과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 의해 제공되도록 하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 사용자 입력을 명확화 하기 위한 시스템은 모바일 컴퓨팅 디바이스 및 다수의 명령들 중 복수개를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 서브-시스템을 포함한다. 상기 시스템은 상기 모바일 컴퓨팅 디바이스가 현재 위치하고 있는 곳을 지시하는 상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 컨텍스트 결정부를 더 포함할 수 있다. 상기 시스템은 또한 상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화 하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 명확화부를 더 포함할 수도 있다. 상기 시스템은 추가적으로 상기 선택된 명령의 수행과 연관된 출력을 제공하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 출력 서브-시스템을 포함할 수 있다.
또 다른 실시예에서, 사용자 입력을 명확화 하기 위한 시스템은 모바일 컴퓨팅 디바이스 및 다수의 명령들 중 복수개를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 서브-시스템을 포함한다. 상기 시스템은 상기 모바일 컴퓨팅 디바이스가 현재 위치하고 있는 곳을 지시하는 상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 컨텍스트 결정부를 더 포함할 수 있다. 상기 시스템은 상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트에 기초하여 상기 불분명한 사용자 입력을 명확화 하는 수단(-상기 명확화 하는 수단은 상기 다수의 명령들로부터 하나의 명령을 선택함); 및 상기 선택된 명령의 수행과 연관된 출력을 제공하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 출력 서브-시스템을 더 포함할 수 있다.
하나 이상의 실시예에 대한 세부사항들은 이하의 기재과 첨부된 도면에서 설명된다. 사용자에게 희망하는 작업(task)에 대해 입력을 제공하는 모든 형식적인 절차들을 준수하도록 요구함 없이 사용자로 하여금 모바일 컴퓨팅 디바이스에게 희망하는 업무를 수행하도록 지시하도록 하는 것과 같이, 다양한 이점들이 특정 실시예에서 구현될 수 있다. 모바일 컴퓨팅 디바이스에 의해 제공되는 기능들이 증가함에 따라, 그 입력이 의도한 기능과 적절하게 연관되도록 하기 위해서 사용자들은 훨씬 더 특수하게(with the greater specificity) 그들의 입력을 제공할 것이 요구될 수 있다. 그러나, 그와 같은 특수성은 다루기 힘들고 기억하기 어려울 수 있다. 본 명세서에서 기술된 방법, 시스템, 기술, 및 메커니즘들은 사용자로 하여금 여전히 의도된 기능에 대한 엑세스를 유지하면서 그 기능에 대해 형식적으로 요구되는 것보다 적은 특수성을 이용하여 입력을 제공하도록 할 수 있다.
다른 특징, 목적, 및 이점들은 이 기재 및 도면, 그리고 청구항으로부터 명백해질 것이다.
도 1a-b는 불분명한 사용자 입력을 명확하게 하기 위한 예시 모바일 컴퓨팅 디바이스들의 개념 다이어그램이다.
도 2a-b는 모바일 컴퓨팅 디바이스 상에서 불분명한 사용자 입력을 명확하게 하기 위한 예시 시스템의 다이어그램이다.
도 3은 모바일 컴퓨팅 디바이스 상에서 불분명한 사용자 입력을 명확하게 하기 위한 예시 기술의 흐름도이다.
도 4는 본 명세서에서 설명하는 기술, 시스템, 메커니즘, 및 방법을 수행하기 위해 사용될 수 있는 시스템의 개념 다이어그램이다.
도 5는 본 명세서에서 설명하는 시스템 및 방법들을 수행하기 위해 클라이언트 또는 서버 또는 다수의 서버들로 사용될 수 있는 컴퓨팅 디바이스의 블록 다이어그램이다.
다양한 도면에서 동일 참조기호는 동일 요소를 지시한다.
본 명세서는 모바일 컴퓨팅 디바이스(예를 들어, 모바일 전화, 스마트폰(예를 들어, IPHONE, BLACKBERRY), PDA(personal digital assistant), 포터블 미디어 플레이어(예를 들어, IPOD), 등) 상에서 불분명한 사용자 입력을 명확하게 구별하기 위한 기술, 방법, 시스템, 및 메커니즘을 기술한다. 모바일 컴퓨팅 디바이스들에 의해 제공되는 기능들이 증가함에 따라, 모바일 컴퓨팅 디바이스에 의해 인식되는 명령들의 수도 역시 증가할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스 상의 각 특징은 상기 특징이 모바일 컴퓨팅 디바이스 상에서 실행되도록 하기 위해 사용자가 타이핑, 발화(speak), 제스처(gesture), 등을 할 수 있는 하나 이상의 대응하는 커맨드를 등록할 수 있다. 그러나, 인식되는 커맨드의 수가 증가하면서, 커맨드들은 수렴할 수 있고(converge) 다수의 명령들 중 사용자 입력이 대응하도록 의도한 것을 구별하기는 더 어려워 질 수 있다. 이 문제는 음성입력에서 확대된다. 예를 들면, 시끄러운 배경 소음과 함께 제공되는 음성입력은 정확하게 해석하는 것이 어려울 수 있고, 그 결과로서, 모바일 컴퓨팅 디바이스에 의해 식별된 복수개의 명령에 맵핑 될 수 있다. 예를 들어, 음성입력 "example"은, 다른 것들 사이에서, "egg sample", "example", 또는 "exam pull"로 해석될 수 있다. 또 다른 예시로서, 명령 "go to(이동)"는 맵핑 애플리케이션에 대해 "go to [geographic location]([지리적 위치]로 이동)"를, 미디어 플레이어에 대해 "go to [artist/album/song]([아티스트/앨범/노래]로 이동)"를 나타낼 수 있다.
여기에서 기술된 상기 기술들을 이용하면, 불분명한 사용자 입력의 수신에 응답하여, 모바일 디바이스(및/또는 상기 모바일 컴퓨팅 디바이스의 사용자)의 현재 컨텍스트가 결정되고 상기 불분명한 사용자 입력을 명확히 하기 위해 사용될 수 있다. 모바일 컴퓨팅 디바이스의 현재 컨텍스트는 상기 모바일 컴퓨팅 디바이스 및/또는 모바일 컴퓨팅 디바이스의 사용자와 연관된 다양한 정보를 포함할 수 있다. 상기 컨텍스트는 현재 물리적 위치(예를 들어, 집, 회사, 자동차, 무선 네트워크 ”testnet2010” 근처 위치, 등), 현재 디바이스가 이동 중인 방향 및 속도(예를 들어, 북쪽으로 시간당 20마일), 현재 지리적 위치(예를 들어, 마르케트 아브뉴 10번가(10th Street and Marquette Avenue)), 및 주변 소음(예를 들어, 낮은 음조의 허밍, 음악, 등)과 같이, 상기 디바이스의 외부에 있으며, 상기 디바이스 주변의 실시간 상태를 나타낼 수 있다. 또한 상기 컨텍스트는, 다가오는 및/또는 최근의 캘린더 일정들(예를 들어, 2010년 7월 29일 오후 2시 30분에 John과 미팅), 디바이스 내 시계 상의 시간과 날짜(예를 들어, 2010년 7월 29일 오후 2시), 최근 디바이스 활동(예를 들어, 상기 2시 30분 미팅에 관하여 John에게 발송한 이메일들), 및 상기 모바일 컴퓨팅 디바이스 카메라(들)로부터의 이미지들)과 같이, 상기 디바이스 내부에 있을 수 있다.
상기 디바이스는 현재 컨텍스트를 상기 컨텍스트의 이용이 없을 경우에 제안될 수 있는 다수의 커맨드 또는 쿼리로부터 하나의 커맨드 또는 쿼리를 선택하기 위해 사용할 수 있다. 예를 들면, 만약 사용자가 고속도로 상을 운전하는 동안 무선 헤드셋(예를 들어, BLUETOOTH 헤드셋)을 이용하여 모바일 컴퓨팅 디바이스로 음성입력 "call Seth"를 제공한다면, 고속도로를 이동하는 것으로부터 듣게 되는 주변 소음이 상기 음성입력을 불분명하게 할 수 있다 - 상기 음성입력은 "call Beth" 및 "call Seth"로 해석될 수 있다. 이 예시의 목적을 위해, Beth와 Seth는 모두 사용자의 전화번호부 목록의 연락처이고, 하지만 상기 사용자는 Seth의 집으로 가는 고속도로를 이동중이라고 가정하자. 상기 모바일 디바이스의 현재 컨텍스트는, 적어도, (상기 사용자의 디바이스 또는 상기 디바이스가 로그인 된 온라인 계정과 연관된 Seth에 대한 연락처 기록에 엑세스 하여 결정함으로써) Seth의 집을 향하는 자동차에서 고속도로 상을 이동 중이라는 것을 포함할 수 있다. 상기 컨텍스트는, 고속도로 배경 소음, 무선 헤드셋과의 연결, 지리적 위치 정보(예를 들어, GPS 정보), 디지털 로드 맵, 연락처 리스트 정보(예를 들어, Seth의 주소), 등과 같이 상기 모바일 디바이스와 연관된 다양한 정보에 기초하여 결정될 수 있다. 상기 현재 컨텍스트에 기초하여, 상기 모바일 컴퓨팅 디바이스는 상기 불분명한("call Seth" 또는 "Call Beth"로 해석되는) 사용자 입력을 "call Seth"로 해석할 수 있다 - 상기 사용자는 Seth를 만나기 위해 이동중이고 그/그녀의 상태를 업데이트 하기 위해 전화중이라고 볼 수 있다.
이하에서 자세히 설명하는 바와 같이, 모바일 컴퓨팅 디바이스는 상기 모바일 컴퓨팅 디바이스 상에서 로컬로(locally) 및/또는 상기 모바일 컴퓨팅 디바이스로부터 원격인 컴퓨터 서버 시스템과 함께 불분명한 사용자 입력을 명확하게 할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스는 그 현재 컨텍스트를 결정하고, 상기 현재 컨텍스트에 기초하여 사용자 입력을 명확하게 하고, 및 상기 명확화된 입력과 연관된 명령이 독자적인 디바이스로서(예를 들어, 네트워크를 통한 다른 디바이스들과 상호작용 없이) 수행되도록 할 수 있다. 또 다른 예시에서, 모바일 컴퓨팅 디바이스는 그 현재 컨텍스트를 결정하기 위해 원격 서버 시스템과 상호작용 하고, 상기 현재 컨텍스트에 기초하여 사용자 입력을 명확하게 하고, 및 상기 명확화된 입력과 연관된 명령을 수행할 수 있다. 상기 디바이스는 또한 그 현재 컨텍스트를 결정하고 상기 현재 컨텍스트를 식별하는 데이터를 사용자 입력을 명확하게 할 수 있는 서버 시스템으로 전송할 수 있다.
불분명한 입력을 명확하게 하기 위해 디바이스의 컨텍스트를 사용하는 것에 부가하여, 디바이스는 또한 상기 현재 컨텍스트에 기초하여 명확화된 입력과 연관된 명령 또는 쿼리(또는, 함께 쿼리를 구성하는, "search for X"와 같은, 명령과 파라미터의 조합)의 수행으로부터 출력(output)을 제공할 수도 있다. 예를 들어, 만약 모바일 컴퓨팅 디바이스가 이동하는 차량 내부에 위치하는 것에 관한 현재 컨텍스트를 포함하도록 결정된다면, 상기 모바일 컴퓨팅 디바이스는 안전을 위해 "핸즈프리(hands free)" 모드로 전환(예를 들어, 음성 입력을 수신하고 오디오 출력을 제공하기 위해 마이크로폰을 활성화)하고 그에 따라 출력을 제공할 수 있다.
본 명세에서 설명되는 사용자 입력을 명확하게 하기 위한 상기 기술, 방법, 시스템, 및 메커니즘은, 단지 명령에 관련된 입력이 아니라, 다양한 사용자 입력을 명확하게 하기 위해 사용될 수 있다. 예를 들면, 모바일 컴퓨팅 디바이스 및/또는 상기 모바일 컴퓨팅 디바이스의 사용자에 대한 현재 컨텍스트에 기초한 명확화는 철자가 틀린 단어에 대해 제안된 철자를 선택하기 위해 사용될 수 있다. 예를 들어, 만약 사용자가 "toad work"를 모바일 컴퓨팅 디바이스의 검색 필드에 타이핑하고 상기 모바일 컴퓨팅 디바이스의 현재 컨텍스트가 상기 모바일 컴퓨팅 디바이스가 자동차 내에 위치하는 중이라는 것을 포함한다면, 상기 모바일 컴퓨팅 디바이스는 사용자에게 문자열 "road work"를 대신 제안할 수 있다.
도 1a-b는 불분명한 사용자 입력(104, 154)을 명확하게 하기 위한 예시 모바일 컴퓨팅 디바이스(102, 152a-b)를 나타내는 개념 다이어그램(100, 150)이다. 도 1a를 참조하면, 상기 예시 다이어그램(100)은 모바일 컴퓨팅 디바이스(102)가 불분명한 사용자 입력(104)를 수신하고, 모바일 컴퓨팅 디바이스(102)에 대한 현재 컨텍스트를 판단하고, 상기 판단된 현재 컨텍스트에 기초하여 불분명한 사용자 입력(104)을 명확화하고, 및 상기 명확화된 입력과 연관된 명령의 수행과 연관된 출력을 제공하는 실제적인 예시를 제공한다.
예시 다이어그램(100)에서, 사용자(103)는 불분명한 사용자 입력(104) "Go To New York, New York"을 음성입력으로 모바일 컴퓨팅 디바이스(102)에 제공하는 것으로 도시된다. 모바일 컴퓨팅 디바이스(102)는 오디오 입력을 수신하도록 구성되는 다양한 디바이스, 디바이스 인터페이스, 및 입력 해석 모듈을 포함하는 입력 서브-시스템을 포함할 수 있다. 예를 들어, 사용자 입력(104)는 모바일 컴퓨팅 디바이스(102)의 일부인 디지털 마이크로폰 및/또는 무선 헤드셋(예를 들어, BLUETOOTH 헤드셋)에 연결된 무선 인터페이스를 이용하여 수신되고 발화 인식 모듈(speech recognition module)을 이용하여 해석될 수 있다.
모바일 컴퓨팅 디바이스(102)는 사용자가 모바일 컴퓨팅 디바이스(102)에 의해 제공되는 다양한 기능과 연관된 커맨드(105)를 이용하는 것을 허용할 수 있다. 예를 들어, 명령 "Go To [Geographic Location]([지리적 위치]로 이동)"은 상기 명령에서 특정되는 지리적 위치에 대한 지도 및/또는 지리적 위치로의 운전 안내를 제공하는 지도 및/또는 운전 안내 기능에 대응할 수 있다. 또 다른 예시에서, 명령 "Go To [Song]([노래]로 이동)"은 상기 명령에서 특정되는 노래를 재생하도록 구성되는 상기 모바일 컴퓨팅 디바이스 상의 디지털 뮤직 플레이어에 대응할 수 있다. 추가적인 예시에서, 명령 "Go To [Web Page]([웹페이지]로 이동)"은 상기 명령에서 특정되는 웹페이지를 요청 및 제공하도록 구성되는 상기 모바일 컴퓨팅 디바이스 상의 웹 브라우저 애플리케이션에 대응할 수 있다.
단계 A (106)에 나타난 바와 같이, 사용자 입력(104)을 수신하면 모바일 컴퓨팅 디바이스(102)는 사용자 입력(104)이 불분명한 것을 식별할 수 있다. 사용자 입력은 다양한 이유로 불분명한 것으로 식별될 수 있다. 일반적으로, 사용자 입력은, 상기 입력을 여기에 기술된 상기 기술들을 이용하여 명확하게 하기 위한 시도가 없는 경우에, 만약 상기 시스템이 그것을 복수의(more than one) 의도된 의미를 가지는 것으로 해석한다면, 불분명한 것으로 식별될 수 있다. 예를 들어, 상기 현재 예시에서, 사용자 입력(104)은 상기 입력(104)에 대응 가능한 각각의 커맨드(105)에 기초하여 불분명한 것으로 식별된다 - 사용자 입력(104) "Go To New York, New York"은 지리적 위치(뉴욕 시(city of New York)), 노래(노래 "New York, New York"), 및 웹페이지(뉴욕시에 대한 관광 웹페이지)로 해석될 수 있다. 상기 명령(105)은, 각 명령에 대응되는 애플리케이션 및/또는 서비스를 조사(예를 들어, "New York, New York"이 모바일 컴퓨팅 디바이스(102) 상에서 접근 가능한 노래인지 여부를 결정하기 위해 상기 커맨드 "Go To [Song]"에 연관된 뮤직 플레이어를 쿼리)하는 것(polling), 각 명령에 대한 허용되는(permissible) 용어들의 하나 이상의 그룹에 엑세스(예를 들어, 상기 커맨드 [Go To [Geographic Location]"에 대한 지리적 위치 용어들의 그룹에 엑세스]하는 등과 같이, 다양한 기술 중 어느 것이라도 이용하여 상기 입력(104)에 대응 가능한 것으로 식별될 수 있다.
음성 입력, 터치 입력(예를 들어, 터치스크린을 통해 수신되는 입력), 및 키-기반 입력(예를 들어, 키패드/키보드를 통해 수신되는 입력)과 같은 사용자 입력은 다양한 이유로 불분명한 것으로 식별될 수 있다. 예를 들어, 상기 예시 다이어그램(100)에 나타난 바와 같이, 사용자 입력은, 상기 사용자 입력이 음성입력인지 여부에 관계없이, 그것이 다수의 다른 명령들에 대응되면 불분명할 수 있다. 예를 들어, 만약 사용자 입력(104)이 음성입력 대신 텍스트-기반 입력이라면, 도시된 바와 같이, 모바일 컴퓨팅 디바이스(102)는 여전히 사용자 입력(104)을 불분명한 것으로 식별할 수 있다.
또 다른 예시에서, 동음이의어(발음이 같으나 의미가 다른 다수의 용어들) 및/또는 동철이의어(homonym)(철자 및 발음이 같으나 의미가 다른 다수의 용어들)는 불분명한 것으로 식별될 수 있다. 예를 들어, "fair", "sale", "waist", "example", "wore", 및 "cereal"로 해석되는 음성입력은, 각각 "fare", "sail", "waste", "egg sample", "war", 및 "serial"의 동음이의어(같은 발음)이고, 불분명한 것으로 식별될 수 있다. 또 다른 예시에서, "tire" 및 "bank"로 해석되는 음성입력은 동철이의어("tire"는 바퀴의 일부분(예를 들어, car tire)이거나 지친 상태"일 수 있다; "bank"는 돈이 저장되는 장소 또는 강둑(river bank일 수 있다)이고, 불분명한 것으로 식별될 수 있다.
부가적으로, 동철이음이의어(heteronyms)(발음이 다르나 철자가 같은) 용어들은 불분명한 것으로 식별될 수 있다. 동철이음이의어의 의도된 의미가 다른 발음을 통해서 음성입력에 의해 전달될 수 있다고 하더라도, 이 의도된 의미는 상기 음성입력이 발화 인식(speech recognization)을 통해 텍스트로 변환될 때 제거될 수 있다. 예를 들어, 용어 "close"는 근접을 나타내기 위해 사용될 때(예를 들어, "the store is close to your current location(그 가게는 당신의 현재 위치에서 가깝다)") 및 명령으로써 사용될 때(예를 들어, "please close the door(문을 닫아 주세요)") 다르게 발음될 수 있다. 그러나, 모바일 컴퓨팅 디바이스(102)에 의한 사용을 위해 발화 인식을 통해서 텍스트로 변환될 때, 상기 다른 발음은 같은 용어 "close"로 붕괴(collapse)될 수 있고 불분명한 것으로 식별될 수 있다.
나아가, 음성 입력과 연관된 낮은 오디오 품질(poor audio quality)로 인해 다른 관점에서는 명확한 사용자 입력이 모바일 컴퓨팅 디바이스(102)에 의해 불분명한 것으로 식별될 수 있다. 예를 들어, 만약 사용자(103)가 상당한 양의 배경 소음이 있는 장소로부터 모바일 컴퓨팅 디바이스(102)로 사용자 입력(104)을 제공한다면, 사용자 입력(104)은 낮은 오디오 품질로 모바일 컴퓨팅 디바이스(104)에 의해 수신될 수 있다(예를 들어, 주된 오디오 신호가 배경 오디오 신호에 의해 없어짐). 낮은 오디오 품질로 수신된 사용자 입력은 모바일 컴퓨팅 디바이스(102)에 의해 불분명한 것으로 식별될 수 있다.
또 다른 예시에서, 터치 및 키-기반 입력도 모바일 컴퓨팅 디바이스(102)에 의해 불분명한 것으로 식별될 수 있다. 예를 들어, 터치스크린 또는 키패드/키보드를 사용하는 사용자에 의해 타이핑 된 오타(misspelled words)는 불분명한 것으로 식별될 수 있다. 또 다른 예시에서, 동음이의어와 관련하여 전술한 예시들과 유사하게, 동형이의어(homographs)(철자가 같으나 의미가 다른 다수의 단어들)는 불분명한 것으로 식별될 수 있다.
불분명한 사용자 입력(106)이 식별됨에 따라, 단계 B에서 모바일 컴퓨팅 디바이스(102)에 대한 현재 컨텍스트가 결정될 수 있다(108). 상기 현재 컨텍스트는 상기 입력(106)이 수신되는 시점에 모바일 컴퓨팅 디바이스(102) 및/ 또는 상기 모바일 컴퓨팅 디바이스의 사용자의 현재 상태 및/또는 주변환경에 대해 설명하는 정보를 포함한다. 예를 들어, 상기 현재 컨텍스트는, 주변 물리적 환경(예를 들어, 이용 가능한 네트워크, 근처의 다른 컴퓨팅 디바이스들과의 연결, 지리적 위치, 날씨 상태, 근처의 기업, 주변 소음의 볼륨, 주변광(ambient light)의 레벨, 상기 모바일 디바이스의 카메라에 의해 캡쳐된 이미지, 등), 모바일 컴퓨팅 디바이스(102)의 현재 상태(속도, 터치스크린 입력 활성화, 오디오 입력 활성화, 벨 온/오프, 등), 시간 및 날짜 정보(시간, 날짜, 캘린더 일정, 요일, 등), 사용자 활동(최근 사용자 활동, 습관적 사용자 활동), 등과 같은 모바일 컴퓨팅 디바이스(102) 및 그 사용자에 관한 다양한 정보를 포함할 수 있다. 상기 현재 컨텍스트는 데이터 및 모바일 컴퓨팅 디바이스(102)에 로컬 및/또는 원격인 센서들을 이용하여 모바일 컴퓨팅 디바이스(102)에 의해 결정될 수 있다.
상기 모바일 디바이스에 대한 예시 컨텍스트(110)에 의해 나타난 바와 같이, 상기 모바일 컴퓨팅 디바이스에 대한 현재 컨텍스트는 주변 소음 레벨 정보(112a), 지리적 위치 정보(112b), 이용 가능한 네트워크 정보(112c), 속도 정보(112d), 및 디바이스 활동 정보(112e)를 포함한다. 도시된 예시에서, 주변 소음 레벨 정보(112a)는 높은 레벨의 주변광이 있다는 것을 나타내고, 지리적 정보(112b)는 모바일 컴퓨팅 디바이스(102)가 현재 길(road)에 위치하고 있다는 것을 제공한다. 이용 가능한 네트워크 정보(112c)는 차량 블루투스 네트워크(예를 들어, 차량 스테레오 시스템과 연결된 블루투스)를 모바일 컴퓨팅 디바이스(102)가 이용 가능하다는 것을 제공하고, 속도 정보(112d)는 모바일 컴퓨팅 디바이스(102)가 현재 시간당 50마일로 이동중이라는 것을 나타낸다. 디바이스 활동 정보(112e)는 모바일 컴퓨팅 디바이스(102)를 이용하여 뉴욕과 연관된 하나 이상의 전화번호에 대한 전화통화가 최근에 발생했다는 것을 나타낸다.
단계 C에서, 모바일 컴퓨팅 디바이스(102)는 현재 컨텍스트(110)에 기초하여 사용자 입력(104)을 명확하게 할 수 있다(114). 예를 들어, 지리적 위치 정보(112b)와 속도 정보(112d)에 기초하여, 모바일 컴퓨팅 디바이스(102)가 특정 형태(예를 들어, 자동차, 버스, 등)의 차량으로 이동 중이라는 것이 추론될 수 있다. 이 추론은, 주변 소음 레벨 정보(112a)에 의해 지시되는 바와 같이, 고속 도로 주행 동안 생성되는 높은 레벨의 주변 소음에 의해 더욱 뒷받침될 수 있다. 모바일 컴퓨팅 디바이스(102)는 나아가, 이용 가능한 네트워크 정보(112c)에 의해 지시되는 바와 같이, 이용 가능한 차량 블루투스 네트워크에 기초하여 (버스 대신에) 자동차에서 이동하는 것으로 식별될 수 있다.
모바일 컴퓨팅 디바이스(102)의 상기 컨텍스트(특정 종류의 고속도로를 자동차로 이동)에 기초하여, 사용자 입력(104)이 명령 "Go To [Web Page]"보다 명령 "Go To [Geographic Location]" 또는 명령 "Go To [Song]"에 더 대응될 수 있다 - 자동차 내의 사용자는 웹 페이지를 보는 것보다 지도/운전 안내 또는 음악을 듣는 것을 더 원할 수 있다. 명령 "Go To [Geographic Location]"와 명령 "Go To [Song]"은 모두 상기 현재 컨텍스트를 충족시키는 것으로 보인다.
그러나, 모바일 컴퓨팅 디바이스(102)가 최근에 뉴욕의 장소와 연관된 전화번호로 전화통화를 발생시키곤 했다면, 상기 사용자(103)와 모바일 컴퓨팅 디바이스(102)는 뉴욕의 목적지로 이동 중일 것이라고 추론될 수 있다. 예를 들어, 상기 사용자(103)는 최근에 그/그녀가 머무를 호텔에 그/그녀의 예약을 확인하기 위해 전화 했을 수 있다. 상기 사용자(103)와 모바일 컴퓨팅 디바이스(102)가 뉴욕으로 이동 중이라는 추론에 기초하여, 상기 명령 "Go To [Geographic Location]"이 사용자(103)와 사용자 입력(104)에 의해 가장 의도되었을 것 같은 명령으로서 상기 명령들(105)로부터 선택될 수 있다.
단계 D에서, 상기 명확화된 명령("Go To [Geographic Location]")에 대한 출력이 모바일 컴퓨팅 디바이스(102)상에 제공될 수 있다(116). 예를 들어, 모바일 컴퓨팅 디바이스(102)의 현재 지리적 위치로부터 뉴욕까지의 운전 안내를 도시하는 지도(118)가 모바일 컴퓨팅 디바이스(102) 상에 제공될 수 있다.
위에서 설명한 바와 같이, 모바일 컴퓨팅 디바이스(102) 상에 출력이 제공되는 방식은 현재 컨텍스트(110)에 기초하여 선택될 수 있다. 예를 들어, 본 예시에서, 모바일 컴퓨팅 디바이스(102)는 자동차 내에서 고속도로를 고속으로 이동 중인 것으로 판단된다. 모바일 컴퓨팅 디바이스(102) 상에 지도(118)로서 상기 안내를 시각적으로 제공하기만 하는 것은, 사용자의 집중(focus)을 도로에서 빼앗아올 수 있기 때문에 위험할 수 있다. 그러나, 상기 운전 안내는 모바일 컴퓨팅 디바이스(102)에 의해 상기 지도(118)에 부가하여(또는 대신에) 들을 수 있게(audibly) 제공될 수 있다.
전술한 바와 같이, 상기 단계 A-D(106, 108, 114, 116)의 특정 부분들은 모바일 컴퓨팅 디바이스(102) 상에서 로컬로 및/또는 원격 시스템과 함께 수행될 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(102)는 상기 사용자(103)로부터 수신된 음성-기반 사용자 입력(104)을 네트워크를 통해 강건한(robust) 발화 인식 서비스를 수행하는 원격 시스템으로 제공할 수 있다. 이에 응답하여, 모바일 컴퓨팅 디바이스(102)는 상기 원격 시스템으로부터 사용자 입력(104)에 대해 전사된(transcribed) 텍스트를 수신할 수 있다. 모바일 컴퓨팅 디바이스(102) 및 하나 이상의 원격 시스템들에 걸쳐 상기 단계 A-D(106, 108, 114, 116)의 분배는 다양할 수 있다. 예를 들어, 일부 실시예에서는, 모바일 컴퓨팅 디바이스(102)가 단독 디바이스로서 단계 A-D를 모두 수행할 수 있다. 일부 실시예에서는, 단계 A-D의 적어도 일부는 원격 시스템과 함께 수행될 수 있다.
도 1b를 참조하면, 예시 다이어그램(150)은 모바일 컴퓨팅 디바이스(152a-b)와 연관된 컨텍스트에 따라 사용자 입력(154)의 명확화(disambiguation)가 어떻게 달라질 수 있는지의 실제적인 예시를 제공한다. 본 예시에서, 모바일 컴퓨팅 디바이스(152a-b)는 사용자 입력(154)에 응답하여 다른 컨텍스트를 야기할 수 있는 대안경로(alternate paths)를 입증하기 위해 의도된다.
도 1a와 관련하여 전술된 불분명한 사용자 입력(104)과 유사하게, 사용자 입력(154)은 불분명한 것으로 식별될 수 있다. 제1 대안경로(156a)에서, 모바일 컴퓨팅 디바이스(152a)는 사용자의 집(158)에 위치해 있다. 모바일 컴퓨팅 디바이스(152a)에 대한 컨텍스트는 데스크탑 컴퓨터(160), 텔레비전(162), 랩탑 컴퓨터(164), 무선 라우터(166), 미디어 컴퓨팅 디바이스(168), 이용 가능한 네트워크(170), 및 모바일 디바이스 도크(172)를 포함하는 것으로 도시된다. 디바이스(160-172) 각각은 모바일 컴퓨팅 디바이스(152a)가 직접 또는 간접적으로 탐색할 수 있는 신호(예를 들어, 사운드, 무선 데이터/네트워크 전송, 등)를 출력할 수 있다. 예를 들어, 텔레비전(162)은 모바일 컴퓨팅 디바이스(152a)가 탐색할 수 있는 사운드, 빛, 및/또는 무선 네트워킹 신호를 출력할 수 있다. 또 다른 예시에서, 모바일 컴퓨팅 디바이스(152a)는, 상기 사용자의 집(158)에 대해 무선 네트워크를 제공하는 무선 라우터(166) 뿐만 아니라, 상기 사용자의 이웃의 무선 네트워크, 셀룰러 텔레폰 네트워크 등과 같이, 다른 이용 가능한 네트워크(170) 역시 식별할 수 있다.
유사하게, 모바일 컴퓨팅 디바이스(152a)는 상기 디바이스(160-172)와의 직접 및/또는 간접 연결을 통해 상기 디바이스(160-172) 각각을 탐색할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(152a)는 무선 라우터(166)를 통해 홈 네트워크와 연결할 수 있고, 이를 통해 모바일 컴퓨팅 디바이스(152a)는 상기 디바이스들(160-172)과 통신할 수 있다. 또 다른 예시에서, 모바일 컴퓨팅 디바이스(152a)는 물리적 도킹 연결을 통해 모바일 디바이스 도크(172)를 식별할 수 있다. 예를 들어, 모바일 디바이스 도크(172)는 모바일 컴퓨팅 디바이스(152a)가 음악을 재생하기 위해 도킹될 수 있는 스테레오 시스템일 수 있다.
모바일 컴퓨팅 디바이스(152a)는 하나 이상의 상기 디바이스(160-172)의 탐색된 근접도(proximity)에 기초하여 그것이 물리적으로 사용자의 집(158)에 위치해 있다는 것을 결정할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(152a)는 무선 라우터(166)에 의해 제공되는 무선 네트워크 "examplenet1234"이 이용 가능할 때, 모바일 컴퓨팅 디바이스(152a)가 상기 집(158) 내에 또는 근처에 위치한다고 결정할 수 있다.
도 1a와 관련하여 전술한 바와 같이, 모바일 컴퓨팅 디바이스(152a)는 모바일 컴퓨팅 디바이스(152a)의 현재 컨텍스트에 기초하여 사용자 입력(154)를 명확하게 할 수 있다. 본 예시에서, 상기 현재 컨텍스트는, 집(158)에 위치하고, 모바일 컴퓨팅 디바이스(152a)가 음악을 재생할 수 있는 모바일 디바이스 도크(172)에 물리적으로 연결되어 있는 모바일 컴퓨팅 디바이스(152a)를 포함한다. 상기 현재 컨텍스트에 기초하여, 불분명한 사용자 입력(154)은 도 1a와 관련하여 전술한 상기 명령들(105) 중 하나로 명확하게 될 수 있다. 본 예시에서, 모바일 컴퓨팅 디바이스(152a)가 정지상태(stationary)(이동 중이 아님)인 점과 모바일 디바이스 도크(172)와 연결을 통해 음악을 재생할 수 있는 상태라는 점에 기초하여 불분명한 사용자 입력(154)은 명령 "Go To [Song]"으로 명확해진다. 모바일 컴퓨팅 디바이스(152a) 상의 디스플레이(174)에 도시된 바와 같이, 명확해진 사용자 입력(불분명한 사용자 입력(154)에서 명령 "Go To [Song]"의 선택)은 Frank Sinatra의 노래 "New York, New York"을 재생하기 위해 사용될 수 있다.
이에 반해, 자동차(176) 내에 위치하고 있는 모바일 컴퓨팅 디바이스(152b)에 대한 다른 컨텍스트는, 모바일 컴퓨팅 디바이스(152b)로 하여금 모바일 컴퓨팅 디바이스(152a)와는 다르게 상기 사용자 입력(154)을 명확하게 하도록 할 수 있다. 모바일 컴퓨팅 디바이스(152b)는 주변 차량 소음(예를 들어, 엔진 소음, 바람, 등), 무선 헤드셋(180)으로부터의 신호 및/또는 그에 대한 연결, 도킹/충전 케이블(182)(예를 들어, 자동차(176) 내의 시거 라이터 출력(cigarette lighter output)이 전원 오프된 모바일 컴퓨팅 디바이스 충전기), 및 차량 스테레오 시스템(184)과의 연결(예를 들어, 상기 모바일 컴퓨팅 디바이스가 상기 스테레오 시스템(184)에서 재생될 오디오 데이터를 스트리밍 할 수 있는 무선 BLUETOOTH 연결)에 기초하여 그것이 차량 내에 위치하고 있음을 판단할 수 있다. 하나 이상의 상기 검색된 특징(178-184)의 존재는 모바일 컴퓨팅 디바이스(152b)가 물리적으로 차량(176) 내에 위치한다는 것을 지시할 수 있다.
모바일 컴퓨팅 디바이스(102)와 관련하여 전술한 사용자 입력(104)의 명확화와 유사하게, 모바일 컴퓨팅 디바이스(152b)는, 차량(176) 내에 위치하고 있음을 포함하는 상기 디바이스의 현재 컨텍스트에 기초하여 상기 명령들(105)로부터 명령 "Go To [Geographic Location]"을 선택함으로써 사용자 입력(154)를 명확하게 할 수 있다. 상기 선택된 명령의 수행으로부터의 출력은 모바일 컴퓨팅 디바이스(152b) 상에 제공되는 뉴욕으로의 운전 안내를 제공하는 맵(186)에 의해 도시될 수 있다.
도 2a-b는 예시 모바일 컴퓨팅 디바이스(202) 상에서 불분명한 사용자 입력을 명확하게 하기 위한 예시 시스템(200)의 다이어그램이다. 모바일 컴퓨팅 디바이스(202)는, 도 1a-b와 관련하여 전술한 모바일 컴퓨팅 디바이스(102 및 152a-b)와 유사하게, 모바일 컴퓨팅 디바이스(202) 및/또는 상기 모바일 컴퓨팅 디바이스의 사용자와 연관된 현재 컨텍스트에 기초하여 불분명한 사용자 입력을 명확화 하기 위해 구성될 수 있다.
모바일 컴퓨팅 디바이스(202)는 상기 모바일 컴퓨팅 디바이스(202)의 사용자가 불분명한 사용자 입력을 제공할 수 있는 입력 서브시스템(204)을 포함하는 것으로 도시된다. 도 2b를 참조하면, 입력 서브시스템(204)는 (오디오-기반 입력을 수신하도록 구성된) 마이크로폰(206a), (키-기반 입력을 수신하도록 구성된) 키보드(206b), (터치-기반 입력을 수신하도록 구성된) 터치스크린(206c), (모션-기반 입력을 수신하도록 구성된) 가속도계(206d), (GUI 포인터-기반 입력을 수신하도록 구성된) 트랙볼(206e), (시각적 입력을 수신하도록 구성된) 카메라(206f), 및 (조도에 기초한 입력을 수신하도록 구성된) 광센서(206g)를 포함하는 것으로 도시된다. 입력 서브시스템(204)은 또한 네트워크-기반 입력 및 출력을 수신하도록 구성된 네트워크 인터페이스(208)(예를 들어, 무선 네트워크 인터페이스, USB(universal serial bus) 인터페이스, BLUETOOTH 인터페이스, PSTN(public switched telephone network) 인터페이스, 이더넷(Ethernet) 인터페이스, 셀룰러 네트워크 인터페이스, 3G 및/또는 4G 네트워크 인터페이스, 등)를 포함한다. 언급되지 않은 다른 타입의 입력 디바이스들도 역시 입력 서브시스템(204)의 일부가 될 수 있다.
모바일 컴퓨팅 디바이스(202)의 입력 파서(input parser)(210)는 입력 서브시스템(204)로부터 입력(예를 들어, 입력 이벤트)를 수신하고 상기 수신된 입력이 불분명한지 여부를 판단하기 위해 구성될 수 있다. 입력 파서(210)는 발화 인식 모듈(211a), 컴퓨터 비전 모듈(211b), 및 제스처 해석 모듈(211c)와 같이, 사용자 입력을 해석하기 위한 다양한 모듈을 포함할 수 있다. 발화 인식 모듈(211a)은, 마이크로폰(206a)에 의해 수신된 음성입력을 텍스트로 변환하는 것과 같이, 입력 서브시스템(204)을 통해 수신된 음성-기반 입력을 해석할 수 있다. 컴퓨터 비전 모듈(211b)은, 카메라(206f)를 통해 수신된 비디오에서 객체(objects)를 식별하는 것과 같이, 입력 서브시스템(204)을 통해 수신된 이미지-기반 입력을 해석할 수 있다. 제스처 해석 모듈(211c)은 가속도계(206d) 및 하나 이상의 자이로스코프(도시되지 않음)를 통해 수신된 제스처 정보가 모바일 컴퓨팅 디바이스(202) 상에 미리 정의된 제스처에 대응되는지 여부를 판단하는 것과 같이, 입력 서브시스템(204)을 통해 수신된 제스처-기반 입력을 해석할 수 있다.
입력 파서(210)는 특정 입력이 불분명하고 명확화의 필요가 있는지 여부를 결정하기 위해 입력 규칙(input rules)(212)을 이용할 수 있다. 예를 들어, 입력 규칙(212)은 그 이하에서 수신된 오디오 입력이 불분명하다고 결정되는 오디오 품질의 임계 레벨을 식별할 수 있다. 또 다른 예시에서, 입력 규칙(212)은 동음이의어와 같이, 음성 입력으로 수신될 때 불분명한 용어 및 구절(phrases)을 제공할 수 있다. 입력 규칙(212)은 또한 도 1a와 관련하여 전술된 사용자 입력을 불분명하게 식별하는 다른 예시들을 포함할 수 있다. 입력 규칙(212)은 미리 구성되거나 및/또는 사용자 정의 될 수 있다.
분명하지 않은 입력을 식별하는 입력 파서(210)에 응답하여, 모바일 디바이스 컨텍스트 결정부(214)는 모바일 컴퓨팅 디바이스(202)에 대한 현재 컨텍스트를 결정할 수 있다. 모바일 디바이스 컨텍스트 결정부(214)는 모바일 컴퓨팅 디바이스(202)의 다양한 컨텍스트 모니터링부를 이용하여 모바일 디바이스(202)에 대한 현재 컨텍스트를 결정할 수 있다.
예를 들어, GPS(global positioning system)부(216)는 모바일 디바이스 컨텍스트 결정부(214)로 지리적 위치 정보를 제공할 수 있고, 이동(travel) 모니터링부(218)는 (이동 데이터 저장소(220)와 함께) 현재 이동중인 경로 및 모바일 컴퓨팅 디바이스(202)에 의해 이동되는 상습적인(habitual) 경로들에 대한 정보를 제공할 수 있다. 활동 모니터링부(222)는 (활동 데이터 저장소(224)와 함께) 모바일 디바이스(202) 상의 최근 및 습관적인 사용자 활동(예를 들어, 사용된 애플리케이션들, 다양한 시간에 엑세스된 특정 정보, 등)에 관련된 정보를 제공할 수 있다. 위치 모니터링부(226)는 모바일 컴퓨팅 디바이스(202)의 현재 물리적 위치(예를 들어, 집, 직장, 차량 내부, 등)에 관한 정보를 제공할 수 있다. 위치 모니터링부(226)는 상기 현재 물리적 위치를 결정하기 위해 위치 데이터 저장소(227)를 이용할 수 있다. 위치 데이터 저장소(227)는 모바일 컴퓨팅 디바이스(220)의 탐색된 환경(surroundings)(예를 들어, 이용 가능한 무선 네트워크, 주변 소음, 근처의 컴퓨팅 디바이스들, 등)을 물리적 위치와 연관시킬 수 있다. 위치 모니터링부(226)는 모바일 디바이스(202) 근처에 물리적으로 위치한 엔티티(entities)(예를 들어, 기업, 공원, 축제, 대중교통) 또한 식별할 수 있다.
시간 및 날짜부(228)는 현재 시간 및 날짜 정보를 제공할 수 있고 캘린더부(230)는 (캘린더 데이터 저장소(232)와 함께) 일정과 관련된 정보를 사용자에게 제공할 수 있다. 이메일부(234)는 (이메일 데이터 저장소(236)와 함께) 이메일 관련 정보(3.g., 최근 발송/수신된 이메일들)를 제공할 수 있다. 모바일 컨텍스트 결정부(214)는 언급되거나 도시되지 않은 다른 컨텍스트 모니터링부들로부터 정보를 수신할 수 있다.
일부 실시예에서, 컨텍스트 모니터링부(216-236)는, 모바일 컴퓨팅 디바이스(202)로부터 원격으로, 부분, 또는 전체로 실행될 수 있다. 예를 들어, 이메일부(234)는 원격 서버 시스템에 의해 유지되고 제공되는 이메일-관련 데이터를 단지 디스플레이만 하는 씬-클라이언트(thin-client) 일 수 있다. 이와 같은 예시에서, 이메일부(234)는 모바일 디바이스 컨텍스트 결정부(214)로 제공하기 위한 이메일-관련 정보를 획득하기 위해 상기 원격 서버 시스템과 상호작용 할 수 있다.
명확화부(238)는 입력 파서(210)에 의해 불분명한 것으로 결정된 사용자 입력을 명확하게 하기 위해서, 모바일 디바이스 컨텍스트 결정부(214)에 의해 결정된, 모바일 컴퓨팅 디바이스(202)에 대한 상기 현재 컨텍스트를 이용할 수 있다. 모바일 컴퓨팅 디바이스(202)에 대한 상기 현재 컨텍스트는 다수의 명확화 후보들 중 상기 사용자에 의해 의도된 것이 무엇인지 추론하기 위해 사용될 수 있다. 도 1a와 관련하여 전술한 예시를 참조하면, 각각의 명령들(105)은 명확화 후보 - 상기 수신된 불분명한 사용자 입력(104)에 대해 선택될 수 있는 가능한 명령 - 로 고려될 수 있다. 모바일 컴퓨팅 디바이스(102)의 현재 컨텍스트(110)로부터, 사용자 입력(104)은 음악을 재생하거나 웹 페이지에 엑세스 하기 위한 요청 대신 지도/운전 안내에 대한 요청을 지시하는 것으로 추론된다.
명확화부(238)는 다양한 컨텍스트 시나리오를 사용자 입력을 명확하게 하기 위해 사용될 수 있는 다양한 추론과 연관시키는 명확화 추론 데이터 저장소(240)에 저장된 정보를 이용할 수 있다. 예를 들어, 명확화 추론 데이터 저장소(240)는 모바일 컴퓨팅 디바이스(202)의 상기 현재 컨텍스트가 자동차 내에 물리적으로 위치하고 있는 것을 포함할 때, 상기 사용자는 웹 페이지를 보는 것보다 운전 안내에 더 관심이 있다는 것을 지시하는 정보를 포함할 수 있다. 명확화 추론 데이터 저장소(240)에 저장된 상기 정보는 사용자 정의되고 및/또는 미리 정의될 수 있다.
명확화 추론 데이터 저장소(240)는 사용자 입력을 명확하게 하기 위해 명확화부(238)에 의해 사용자 행동 데이터 저장소(242)와 함께 사용될 수 있다. 사용자 행동 데이터 저장소(242)는 이전의 불분명한 사용자 입력, 상기 불분명한 사용자 입력 시점의 모바일 컴퓨팅 디바이스(202)에 대한 컨텍스트, 명확화부(238)에 의한 상기 사용자 입력의 이전 명확화, 및 상기 명확화 된 사용자 입력에 기초하여 제공된 출력에 대한 상기 사용자의 후속 행동(예를 들어, 사용자가 그 정보를 이용했음, 사용자가 즉시 명확하게 하는 입력을 제공했음, 등)을 기록할 수 있다. 사용자 행동 데이터 저장소(242)에 저장된 사용자 행동 데이터는 상기 디바이스(202)의 컨텍스트에 기초한 사용자의 불분명한 입력의 명확화가 상기 불분명한 사용자 입력에 대해 상기 사용자가 의도한 것이었는 것 여부를 나타낼 수 있다.
예를 들어, 만약 상기 사용자가 불분명한 사용자 입력에 응답하여 운전 안내를 제공받고 상기 모바일 디바이스(202)가 상기 운전 안내에 따른 목적지로 이동하는 것으로 결정된다면, 그때 상기 연관된 사용자 행동 데이터는 상기 사용자가 상기 디바이스의 컨텍스트에 기초하여 상기 입력에 대해 상기 사용자가 의도했던 상기 사용자 입력의 명확화를 찾았다고 나타낼 수 있다. 또 다른 예시에서, 만약 사용자가 불분명한 사용자 입력에 응답하여 운전 안내를 제공받고 즉시 상기 사용자가 재생될 음악을 원한다는 것을 지시하는 추가 입력을 제공한다면, 그때 상기 연관된 사용자 행동은 상기 사용자가 의도한 것이 아닌 사용자 입력의 명확화를 찾았다고 나타낼 수 있다.
명확화부(238)는 상기 사용자가 상기 불분명한 사용자 입력에 대해 무엇을 의도하였는지 추론하기 위해 사용자 행동 데이터 저장소(242)에서 사용자 행동 데이터를 이용할 수 있다. 예를 들어, 명확화부(238)는 상기 사용자가 불분명한 사용자 입력에 대해 무엇을 의도하였는지에 관한 암시(indication)를 수신하기 위해 상기 모바일 디바이스(202)의 현재 컨텍스트에 유사한 이전 컨텍스트들을 식별하기 위한 시도를 할 수 있다.
명확화부(238)에 의해 명확화된 사용자 입력을 이용하여, 입력처리부(244)는 상기 명확화된 사용자 입력들을 처리할 수 있다. 일부 실시예에서, 입력처리부(244)는 상기 명확화된 사용자 입력을 상기 사용자 입력과 연관된 애플리케이션 및/또는 서비스로 포워딩할 수 있다(예를 들어, 음악을 재생하기 위한 명확화된 요청을 뮤직 플레이어 애플리케이션에 제공) 일부 실시예에서, 입력처리부(244)는 상기 명확화된 사용자 입력과 연관된 하나 이상의 오퍼레이션(operations)들이 수행되도록 할 수 있다. 예를 들어, 입력처리부(244)는 상기 명확화된 입력과 연관된 상기 오퍼레이션들의 적어도 일부를 수행하도록 구성된 원격 서버 시스템과 통신할 수 있다.
도 1a-b와 관련하여 전술한 바와 같이, 명확화된 사용자 입력과 연관된 명령들은 모바일 컴퓨팅 디바이스(202)에 로컬로 및/또는 원격으로 수행될 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(202) 상에서 로컬로 캘린더 애플리케이션이 실행되는 실시예에서, 캘린더 정보에 대한 요청을 나타내는 명확화된 사용자 입력은 모바일 컴퓨팅 디바이스(202) 상에서 로컬로 수행될 수 있다(예를 들어, 캘린더 데이터 저장소(232)에 저장된 관련 캘린더 정보에 대해 캘린더부(230)를 쿼리). 부가적으로 모바일 컴퓨팅 디바이스(202)는 단독 디바이스(standalone device)로서(예를 들어, 네트워크를 통한 원격 서버시스템과의 상호작용 없이) 그것의 현재 컨텍스트를 결정하고 불분명한 사용자 입력을 명확하게 할 수 있다. 또 다른 예시에서, 캘린더 애플리케이션에 대한 캘린더 정보가 원격 서버 시스템 상에서 제공되는 실시예에서, 모바일 컴퓨팅 디바이스(202)는 상기 연관된 캘린더 정보에 엑세스 하기 위해 상기 원격 서버 시스템과 상호작용 할 수 있다.
모바일 컴퓨팅 디바이스(202)의 출력 서브시스템(246)은 입력처리부(244)에 의해 획득된 출력을 디바이스(202)의 사용자에게 제공할 수 있다. 출력 서브시스템(246)은, 디스플레이(248a) (예를 들어, LCD(liquid crystal display), 터치스크린), 프로젝터(248b) (예를 들어, 이미지를 디바이스(202) 외부로 프로젝팅 할 수 있는 이미지 프로젝터), 스피커(248c), 헤드폰 잭(248d), 등과 같은 다양한 출력 디바이스들을 포함할 수 있다. 네트워크 인터페이스(208) 또한 출력 서브시스템(246)의 일부가 될 수 있으며 결과식별부(result identification unit)(244)에 의해 획득된 상기 결과들을 제공(예를 들어, 결과들을 BLUETOOTH 헤드셋으로 전송)하도록 구성될 수 있다.
도 2a를 참조하면, 모바일 컴퓨팅 디바이스(202)는 무선송신기(250)(예를 들어, 셀룰러 네트워크 송수신기, 무선 네트워크 라우터, 등)과 무선으로 통신하고 네트워크(252)(예를 들어, 인터넷, PSTN, 셀룰러 네트워크, LAN(local area network), VPN(virtual private network), 등)로의 엑세스를 획득할 수 있다. 네트워크(252)를 통해, 모바일 컴퓨팅 디바이스(202)는, 모바일 디바이스(202)로 모바일 디바이스 관련 서비스 및 데이터를 제공(예를 들어, 캘린더 데이터, 이메일 데이터, 다른 전화기로의 전화 통화 연결, 등)하도록 구성될 수 있는 모바일 디바이스 서버 시스템(254)(하나 이상의 네트워크로 연결된 서버 컴퓨터들)과 통신할 수 있다.
모바일 디바이스(202)는 또한 네트워크(252)를 통해 하나 이상의 정보 서버 시스템(256)들과 통신할 수도 있다. 정보 서버 시스템(256)은 사용자 입력을 처리하는 것과 관계될 수 있는 정보를 제공하는 서버 시스템일 수 있다. 예를 들어, 정보 서버 시스템(256)은 현재 교통 상황, 최신 운전 안내, 일기 예보, 및 모바일 컴퓨팅 디바이스(202)의 현재 지리적 위치 근처에 위치한 기업에 관한 정보를 제공할 수 있다.
도 3은 모바일 컴퓨팅 디바이스 상에서 불분명한 사용자 입력을 명확하게 하기 위한 예시 기술(300)의 흐름도이다. 상기 예시 기술(300)은, 도 1a-b와 관련하여 전술한 모바일 컴퓨팅 디바이스(102, 152a-b) 및/또는 도 2a-b와 관련하여 전술한 모바일 컴퓨팅 디바이스(202)와 같이, 어떤 다양한 모바일 컴퓨팅 디바이스에서 의해서도 수행될 수 있다.
상기 기술(300)은 단계 302에서 사용자 입력을 수신함에 의해 시작한다. 상기 사용자 입력은, 키-기반 입력(키보드/키패드 입력), 터치스크린 상에서 터치-기반 입력, 음성 입력, 제스처 입력(모바일 컴퓨팅 디바이스를 이용한 물리적인 제스처의 수행), 등과 같이, 어떤 다양한 입력이라도 될 수 있다. 예를 들어, 도 1a와 관련하여 전술한 바와 같이, 모바일 컴퓨팅 디바이스(102)는 음성입력(104)를 수신할 수 있다. 또 다른 예시에서, 도 2a-b와 관련하여 전술한 바와 같이, 모바일 컴퓨팅 디바이스(202)는 입력 서브시스템(204)를 이용하여 사용자 입력을 수신할 수 있다.
일부 실시예에서, 상기 사용자 입력에 관한 발화 인식이 수행될 수 있다(단계 304). 예를 들어, 발화 인식 모듈(211a)는 모바일 컴퓨팅 디바이스(202)의 입력 서브시스템(204)를 통해 수신된 음성입력을 텍스트로 변환할 수 있다. 발화 인식 모듈(211a)는 또한 불분명한 사용자 입력이 음성입력이 아닌 경우에도 사용될 수 있다. 예를 들어, 만약 사용자 입력이 터치 또는 키-기반 입력이라면, 발화 인식 모듈(211a)는 모바일 컴퓨팅 디바이스(202)와 연관된 컨텍스트를 결정하는 목적으로 상기 입력이 수신되는 때에 배경 발화(speech)를 들리도록(audibly) 식별하기 위해 사용될 수 있다.
상기 사용자 입력은 불분명한 것으로 식별될 수 있다(단계 306). 예를 들어, 모바일 컴퓨팅 디바이스(202)는, 도 2a-b와 관련하여 전술한 바와 같이, 불분명한 사용자 입력을 식별하기 위하여 입력 파서(210) 및 입력 규칙(212)을 이용할 수 있다. 예를 들어, 만약 하나보다 더 많은 가능한 의도된 의미를 가지는 것으로 해석된다면, 사용자 입력은 불분명한 것으로 식별될 수 있다. 예를 들어, 도 1a와 관련하여 전술한 바와 같이, 명령 "Go To New York, New York"은 명령 "Go To [Geographic Location]"과 명령"Go To [Song]"에 대응 가능한 것으로 해석될 수 있다.
다양한 단계들이 모바일 디바이스에 대한 현재 컨텍스트를 나타내는 정보를 획득하기 위해 수행될 수 있다. 예를 들어, 일부 실시예에서 하나 이상의 불분명한 사운드들이 탐색될 수 있고(단계 308), 상기 모바일 컴퓨팅 디바이스 근처에 위치한 하나 이상의 물리적인 객체가 시각적으로 식별될 수 있고(단계 310), 및/또는 상기 모바일 컴퓨팅 디바이스 근처에 위치한 하나 이상의 다른 컴퓨팅 디바이스가 식별될 수 있다(단계 312). 예를 들어, 입력 파서(210)는 그와 같은 결정을 만드는 사용자 입력과 함께 입력 서브시스템(204)에 의해 획득된 정보를 이용할 수 있다. 예를 들어, 발화 인식 모듈(211a)은 주변 사운드를 탐색하고 상기 주변 사운드가 발화 및/또는 다른 객체들(예를 들어, 자동차, 텔레비전, 식기세척기, 애완동물, 바람, 등)에 대응되는지 여부를 결정하기 위해 사용될 수 있다. 또 다른 예시에서, 컴퓨터 비전 모듈(211b)은 모바일 컴퓨팅 디바이스(202)의 카메라(206f)로부터 획득된 이미지에 기초하여 물리적인 객체를 시각적으로 식별하기 위해 사용될 수 있다. 추가적인 예시에서, 네트워크 인터페이스(208)는 다른 컴퓨팅 디바이스로의 이용 가능한 유선 및/또는 무선 연결에 기초하여 다른 컴퓨팅 디바이스들을 식별하기 위해 사용될 수 있다. 명확하게 기술되지 않은 모바일 컴퓨팅 디바이스에 대한 현재 컨텍스트를 결정하기 위해 정보를 획득하기 위한 다른 단계들도 또한 상기 기술(300)의 일부가 될 수 있다.
일부 실시예에서, 상기 다른 컴퓨팅 디바이스들과 물리적 위치를 연관시키는 정보가 엑세스 될 수 있다(단계 314). 물리적 위치는 특정 지리적 위치와 관련 없을 수 있는 물리적 구조에 대응할 수 있다. 예를 들어, 물리적 구조는 자동차 또는 기차와 같은 이동수단(mobile)일 수 있다. 이와 같은 모바일 물리 구조는 하나의 지리적 위치로부터 다른 장소로 움직일 수 있다(예를 들어, 로스엔젤레스로부터 샌프란시스코까지의 자동차 여행). 그러나, 어떤 물리적 구조들은, 마천루(skyscraper)와 같이, 정적이며 특정 지리적 위치와 관련된다. 도 2b를 참조하면, 위치 데이터(227)는 다른 컴퓨팅 디바이스들을, 자동차 또는 집과 같은 물리적 위치와 연관시키는 정보를 제공할 수 있다.
단계 308-314에서 탐색되고, 식별되고, 엑세스되는 상기 정보를 이용하여, 본 기술과 관련하여 명확하게 기술되지 않은 다른 컨텍스트-관련 정보 뿐만 아니라, 상기 모바일 컴퓨팅 디바이스에 대한 현재 컨텍스트도 결정될 수 있다(단계 316). 예를 들면, 도 2a-b와 관련하여 전술된 바와 같이, 모바일 컴퓨팅 디바이스(202)의 모바일 디바이스 컨텍스트 결정부(214)는 모바일 컴퓨팅 디바이스(202)에 대한 현재 컨텍스트를 결정하기 위해 사용될 수 있다. 예를 들어, 도 1a와 관련하여 전술한 바와 같이, 모바일 컴퓨팅 디바이스(102)의 현재 컨텍스트는 모바일 컴퓨팅 디바이스(102)가 자동차로 아마도 목적지 뉴욕으로 이동 중이라는 것을 나타내기 위해 결정될 수 있다.
상기 사용자 입력은 상기 모바일 컴퓨팅 디바이스의 현재 컨텍스트에 기초하여 명확화 될 수 있다(단계 318). 예를 들어, 모바일 컴퓨팅 디바이스(202)의 명확화부(238)는 입력 서브시스템(204)를 통해 수신된 상기 불분명한 사용자 입력을 명확하게 하기 위해, 컨텍스트 결정부(214)에 의해 결정된, 상기 현재 컨텍스트를 이용할 수 있다. 도 1a와 관련하여 전술한 바와 같이, 사용자 입력 "Go To New York, New York"은 모바일 컴퓨팅 디바이스(102)에 대해 결정된 컨텍스트에 기초하여 명령 "Go To [Geographic Location]"으로 명확화 될 수 있다.
일부 실시예에서, 상기 불분명한 사용자 입력에 대해 선택된 명령이 하나 이상의 식별된 다른 컴퓨팅 디바이스들에 적용되는지에 관한 결정이 이루어질 수 있다(단계 320). 예를 들어, 입력처리부(244)는 상기 선택된 명령이 상기 식별된 다른 컴퓨팅 디바이스들 중 하나에 의해 수행되어야 하는지 및/또는 상기 선택된 명령의 수행에 연관된 출력이 상기 식별된 다른 컴퓨팅 디바이스들 중 하나에 제공되어야 하는지 여부를 결정할 수 있다. 예를 들어, 만약 모바일 컴퓨팅 디바이스(202)가 텔레비전이 모바일 컴퓨팅 디바이스(202)에 엑세스 가능하고(예를 들어, 상기 모바일 컴퓨팅 디바이스가 텔레비전과 전기적으로 통신할 수 있고 텔레비전에게 컨텐츠를 디스플레이 하라고 명령할 수 있음) 상기 선택된 명령이 비디오를 재생하는 것과 관계가 있다는 것을 식별한다면, 입력처루비(214)는 상기 선택된 명령이 상기 식별된 텔레비전과 관계가 있다는 것을 결정할 수 있다.
단계 320에서 수행된 결정에 기초하여, 상기 모바일 컴퓨팅 디바이스는 식별된 다른 컴퓨팅 디바이스와 통신할 수 있다(단계 322). 상기 예시를 이전 단락으로부터 확장하면, 모바일 컴퓨팅 디바이스(202)는 상기 선택된 명령(비디오를 재생)이 수행되도록 및/또는 상기 텔레비전에 의해 출력(예를 들어, 상기 비디오를 텔레비전 상에 재생)되도록 하기 위해 상기 식별된 텔레비전과 통신할 수 있다.
일부 실시예에서, 모바일 컴퓨팅 디바이스에 대한 작동 모드(mode of operation)가 선택될 수 있다(단계 324). 작동 모드는 상기 모바일 컴퓨팅 디바이스에 의해 제공되는 출력과 관련될 수 있고 사용자에게 출력을 제공하기 위해 출력 서브시스템(246)의 어느 구성요소가 사용되는지 판단하기 위해 사용될 수 있다. 몇몇 예시 작동모드: 모바일 컴퓨팅 디바이스(202)의 마이크로폰(206a)이 음성입력을 수신하기 위해 활성화되고 모바일 컴퓨팅 디바이스(202)의 스피커(248c)가 출력을 제공하기 위해 사용되는 동안의 음성-단독(voice-only) 작동모드; 모바일 컴퓨팅 디바이스(202)의 스피커(248c)가 비활성화되고 모바일 컴퓨팅 디바이스(202)의 디스플레이(248a)가 출력을 제공하기 위해 사용되는 동안의 무음(silent) 작동모드; 및 모바일 컴퓨팅 디바이스(202)에 대한 사용자-정의 설정에 따라 모바일 컴퓨팅 디바이스(202)의 마이크로폰(206a), 스피커(248c), 및 디스플레이(248a)가 입력을 수신하고 출력을 제공하기 위해 사용되는 사용자-정의(user-defined) 작동모드;를 포함한다. 상기 작동모드는 모바일 컴퓨팅 디바이스(202)에 대한 상기 결정된 현재 컨텍스트를 포함하는, 다양한 요소들에 기초하여 모바일 컴퓨팅 디바이스(202)에 의해 선택될 수 있다.
상기 선택된 명령과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 관련하여 제공되도록 야기될 수 있다(단계 326). 예를 들어, 모바일 컴퓨팅 디바이스(202)의 출력 서브시스템(246)은 상기 선택된 명령에 기초하여 출력을 제공할 수 있다. 상기 출력은 상기 선택된 작동모드에 따라서 모바일 컴퓨팅 디바이스(202) 상에 제공될 수 있다. 또 다른 예시에서, 상술한 상기 텔레비전과 같이, 식별된 다른 컴퓨팅 디바이스 중 하나가 선택되고 상기 선택된 명령에 대한 출력을 제공하도록 야기될 수 있다.
일부 실시예에서, 2차 사용자 입력이 수신될 수 있고(단계 328) 상기 수신된 2차 입력에 기초하여 상기 불분명한 사용자 입력이 정확하게 명확화되었는지 여부에 대한 판단이 이루어질 수 있다(단계 330). 예를 들어, 만약, 상기 명확화된 사용자 입력의 수행과 연관된 출력이 제공된 후에, 상기 사용자가 상기 이전에 수신된 불분명한 입력을 명확하게 하는 2차 입력을 제공(예를 들어, 상기 명령 "Go To New York, New York"에 대해 운전 안내가 디스플레이 된 후에 음성명령 "Go To Song New York, New York"을 제공)한다면, 모바일 컴퓨팅 디바이스(202)는 상기 불분명한 사용자 입력이 정확하게 명확화되지 않았다고 판단할 수 있다. 그러나, 만약 상기 2차 입력이 상기 명확화에 기초하여 제공된 상기 출력과 더 상호작용(예를 들어, 상기 명령 "Go To New York, New York"에 대해 제공된 상기 운전 안내의 부분을 줌인(zoon in))한다면, 모바일 컴퓨팅 디바이스(202)는 상기 불분명한 사용자 입력이 정확하게 명확화 되었다고 판단할 수 있다. 상기 불분명한 사용자 입력이 정확하게 명확화 되었는지 여부에 대한 판단에 기초하여 사용자 행동 데이터는 갱신될 수 있다(단계 332). 예를 들어, 사용자 행동 데이터(242)는 상기 불분명한 사용자 입력이 상기 현재 컨텍스트에 대해 정확하게 명확화 되었는지 여부를 반영하기 위해 갱신되고 사용자 입력을 명확화 하기 위해 시도할 때 명확화부(238)에 의한 후속 사용을 위해 저장될 수 있다.
도 4는 본 문서에서 설명된 기술, 시스템, 메커니즘, 및 방법을 실행하기 위해 사용될 수 있는 시스템의 개념 다이어그램이다. 모바일 컴퓨팅 디바이스(410)는, 모바일 컴퓨팅 디바이스에게 네트워크(450)을 통해 다양한 많은 서비스(460)로의 무선 엑세스를 제공할 수 있는, 기지국(base station)(440)과 무선으로 통신할 수 있다.
본 예시에서, 모바일 컴퓨팅 디바이스(410)는 모바일 컴퓨팅 디바이스(410) 사용자에게 콘텐트를 표시하기 위한 터치스크린 디스플레이 디바이스(412)를 포함하는 핸드헬드(handheld) 모바일 전화(예를 들어, 스마트폰 또는 애플리케이션 전화)로 묘사된다. 모바일 컴퓨팅 디바이스(410)는 모바일 컴퓨팅 디바이스(410)의 동작에 영향을 주는 사용자-입력을 수신하기 위한 다양한 입력 디바이스(예를 들어, 키보드(414) 및 터치스크린 디스플레이 디바이스(412))를 포함한다. 추가적인 실시예에서, 모바일 컴퓨팅 디바이스(410)는 랩탑 컴퓨터, 태블릿 컴퓨터, PDA, 임베디드 시스템(예를 들어, 자동차 네비게이션 시스템), 데스크탑 컴퓨터, 또는 컴퓨터화된 워크스테이션일 수 있다.
모바일 컴퓨팅 디바이스(410)는 다양한 시각적, 청각적, 및 촉각적인 사용자-출력 메커니즘을 포함할 수 있다. 예시적인 시각적 출력 메커니즘은 디스플레이 디바이스(412)이고, 비디오, 그래픽, 이미지, 및 가시적인 사용자 인터페이스를 제공하기 위해 결합하는 텍스트를 시각적으로 디스플레이 할 수 있다. 예를 들어, 디스플레이 디바이스(412)는 3.7인치 아몰레드(AMOLED) 스크린일 수 있다. 다른 시각적 출력 메커니즘은 LED 상태 라이트(light)(예를 들어, 음성메일이 수신되었을 때 깜박이는 라이트)을 포함할 수 있다.
예시적인 촉각적 출력 메커니즘은 진동 알림(예를 들어, 사용자에게 수신전화 호를 알리기 위해 또는 터치스크린(412)의 사용자 연락처를 확인하기 위해 진동함)을 제공하기 위해 비평형 질량(unbalanced weight)에 연결된 작은 전기 모터이다. 나아가, 모바일 컴퓨팅 디바이스(410)는 전기 신호를 사운드, 예를 들어, 음악, 가청 알림, 또는 전화 호의 개인 목소리로 변환하는 하나 이상의 스피커(420)를 포함할 수 있다.
사용자-입력을 수신하기 위한 예시적인 메커니즘은 키보드(414)를 포함하고, 이는 전체 쿼티(qwerty) 키보드 또는 숫자 '0-9', '*' 및 '#' 키를 포함하는 종래의 키패드 일 수 있다. 키보드(414)는 사용자가 물리적으로 접촉하거나 키보드 키를 누를 때 입력을 수신한다. 트랙볼(trackball)(416)의 사용자 조작 또는 트랙패드와의 상호작용은 사용자가 회전 정보의 방향성 및 회전율을 모바일 컴퓨팅 디바이스(410)으로 제공하도록 할 수 있다(예를 들어, 디스플레이 디바이스(412) 상의 커서의 위치를 조작하기 위함).
모바일 컴퓨팅 디바이스(410)는 터치스크린 디스플레이 디바이스(412)의 물리접촉 위치(손가락 또는 스타일러스에 의한 접촉 위치)를 결정할 수 있다. 터치스크린(412)를 사용하여, 사용자가 그래픽 사용자 인터페이스 요소를 접촉함으로써 터치스크린(412) 상에 나타나는 그래픽 사용자 인터페이스 요소와 상호작용하는, 다양한 "가상"(virtual)" 입력 메커니즘이 생성될 수 있다. "가상" 입력 메커니즘의 일 예시는 키보드가 터치스트린 상에 디스플레이 되고, 사용자가 각 키에 대응하는 터치스크린(412)의 지역을 누름으로써 키들을 선택하는 "소프트웨어 키보드"이다.
모바일 컴퓨팅 디바이스(410)는 기계적 또는 터치 감지버튼(418a-d)를 포함할 수 있다. 부가하여, 모바일 컴퓨팅 디바이스는 하나 이상의 스피커(420)에 의한 볼륨 출력을 조절하기 위한 버튼들, 및 모바일 컴퓨팅 디바이스를 키거나 끄기 위한 버튼을 포함할 수 있다. 마이크로폰(422)는 모바일 컴퓨팅 디바이스(410)가 가청 사운드를 디지털로 인코딩되고 컴퓨터-판독가능 메모리에 저장되거나, 또다른 컴퓨팅 디바이스로 전송될 수 있는 전기신호로 변환하도록 할 수 있다. 모바일 컴퓨팅 디바이스(410)는 또한 디지털 나침반, 가속도계, 근접 센서, 및 주변광 센서들도 포함할 수 있다.
운영체제는 모바일 컴퓨팅 디바이스의 하드웨어(예를 들어, 입/출력 메커니즘 및 컴퓨터-판독가능한 매체로부터 수신된 명령어를 실행하는 프로세서)와 소프트웨어 사이에 인터페이스를 제공할 수 있다. 예시적인 운영체제는 안드로이드(ANDROID) 모바일 디바이스 플랫폼; 애플 아이폰/맥 OS X 운영체제; 마이크로소프트 윈도우즈 7/윈도우즈 모바일 운영체제; 심비안(SYMBIAN) 운영체제; 림 블랙베리(RIM BLACKBERRY) 운영체제; 팜 웹(PALM WEB) 운영체제; 다양한 유닉스 계열의 운영체제(UNIX-flavored operating systems); 또는 컴퓨터화된 디바이스들 소유의 운영체제를 포함한다. 운영체제는 컴퓨팅 디바이스와 사용자 사이의 상호작용을 용이하게 하는 애플리케이션 프로그램들의 실행을 위한 플랫폼을 제공할 수 있다.
모바일 컴퓨팅 디바이스(410)는 터치스크린(412)에 그래픽 유저 인터페이스를 제공할 수 있다. 그래픽 유저 인터페이스는 하나 이상의 그래픽 인터페이스 요소들의 집합이며, 정적(예를 들어, 디스플레이가 일정 기간 동안 동일하게 유지된 채로 나타남)이거나, 또는 동적(예를 들어, 그래픽 사용자 인터페이스가 사용자 입력 없이 움직이는 그래픽 인터페이스 요소들을 포함함)일 수 있다.
그래픽 인터페이스 요소는 텍스트, 선, 형(shape), 이미지, 또는 그 조합일 수 있다. 예를 들어, 그래픽 인터페이스 요소는 데스크탑에 디스플레이 된 아이콘 및 아이콘과 연관된 텍스트일 수 있다. 일부 예시들에서, 그래픽 인터페이스 요소는 사용자-입력으로 선택가능하다. 예를 들어, 사용자는 그래픽 인터페이스 요소의 디스플레이에 대응하는 터치스크린의 영역을 누름으로써 그래픽 인터페이스 요소를 선택할 수 있다. 일부 예시들에서, 사용자는 포커스를 가지는 단일 그래픽 인터페이스 요소를 강조(highlight)하기 위해 트랙볼을 조작할 수 있다. 그래픽 인터페이스 요소의 사용자-선택은 모바일 컴퓨팅 디바이스에 의해 미리 정의된 액션을 작동시킬 수 있다. 일부 예시들에서, 선택 가능한 그래픽 인터페이스 요소들은 더 또는 대안적으로 키패드(404) 상의 버튼에 대응할 수 있다. 상기 버튼의 사용자-선택은 미리 정의된 액션을 작동시킬 수 있다.
일부 예시들에서, 운영체제는 모바일 컴퓨팅 디바이스(410)의 켜거나(turning on), 모바일 컴퓨팅 디바이스(410)를 수면상태 에서 활성화하거나, 모바일 컴퓨팅 디바이스(410)를 "언락(unlocking)"하거나, 또는 "홈(home)" 버튼 (418c)의 사용자-선택을 수신하고 나면 디스플레이 되는 "데스크톱" 사용자 인터페이스를 제공할 수 있다. 데스크톱 그래픽 인터페이스는, 사용자 입력으로 선택되면, 대응되는 애플리케이션 프로그램을 작동시키는 몇몇 아이콘들을 디스플레이 할 수 있다. 작동된 애플리케이션 프로그램은 애플리케이션 프로그램이 종료되거나 뷰(view)에서 숨겨질 때까지 데스크톱 그래픽 인터페이스를 대체하는 그래픽 인터페이스를 제공할 수 있다.
사용자-입력은 모바일 컴퓨팅 디바이스(410) 작동의 시퀀스를 조작할 수 있다. 예를 들어, 단일-액션 사용자 입력(예를 들어, 터치스크린의 단일 탭, 터치스크린을 가로질러 쓸어내기, 버튼 접촉, 또는 이들의 동시적인 조합)은 사용자 인터페이스의 디스플레이를 변경하는 동작을 작동시킬 수 있다. 사용자-입력 없이, 사용자 인터페이스는 특정 시점에 변화하지 않을 수 있다. 예를 들어, 터치스크린(412)에 대한 멀티-터치 사용자 입력은, 맵핑 애플리케이션이 몇 초 후에 자동으로 줌인되었을 것이라 하더라도, 한 장소를 "줌인(zoom-in)"하기 위해 맵핑 애플리케이션을 작동시킬 수 있다.
데스크탑 그래픽 인터페이스는 또한 "위젯(widgets)"을 디스플레이 할 수 있다. 위젯은 실행된 애플리케이션 프로그램과 관련되고, 데스크톱에 실행중인 애플리케이션 프로그램에 의해 제어되는 콘텐트를 디스플레이 하는 하나 이상의 그래픽 인터페이스 요소들이다. 사용자가 대응하는 아이콘을 선택할때까지 작동되지 않는 애플리케이션 프로그램과 달리, 위젯의 애플리케이션 프로그램들은 모바일 전화와 함께 시작할 수 있다. 나아가, 위젯은 전체 디스플레이의 포커스를 취하지 않을 수 있다. 대신에, 위젯은, 콘텐트를 디스플레이하고 데스크탑의 부분 내의 터치스크린 사용자-입력을 수신하기 위해 데스크탑의 작은 부분을 단지 "소유"할 수 있다.
모바일 컴퓨팅 디바이스(410)는 하나 이상의 장소-식별 메커니즘을 포함할 수 있다. 장소-식별 메커니즘은 하드웨어와 운영체제 및 애플리케이션 프로그램에 모바일 전화의 지리적 위치의 예상을 제공하는 소프트웨어의 집합을 포함할 수 있다. 장소-식별 메커니즘은 위성-기반 포지셔닝 기술(satellite-based positioning techniques), 기지국 전송 안테나 식별(base station transmitting antenna identification), 다수 기지국 삼각층량법(multiple base station triangulation), 인터넷 엑세스 포인트 IP 장소 결정법(internet access point IP location determinations), 검색엔진 쿼리에 기초한 사용자 위치의 추정 식별(inferential identification) 및 사용자-공급 장소 식별(예를 들어, 장소에 "체크인(checking in)"함으로써)을 이용할 수 있다.
모바일 컴퓨팅 디바이스(410)는 다른 애플리케이션 모듈과 하드웨어를 포함할 수 있다. 호 처리부는 수신 전화 호의 지시(indication)를 수신할 수 있고, 사용자에게 수신 전화 호를 응답하기 위한 능력을 제공할 수 있다. 미디어 플레이어는 사용자가 음악을 듣거나 모바일 컴퓨팅 디바이스(410)의 로컬 메모리에 저장된 영화를 재생하는 것을 허용한다. 모바일 전화(410)는 디지털 카메라 센서, 및 대응하는 이미지와 비디오 캡쳐 및 편집 소프트웨어를 포함할 수 있다. 인터넷 브라우저는 웹페이지에 대응하는 주소를 타이핑하거나 웹페이지로의 링크를 선택함으로써 웹페이지로부터의 콘텐트를 볼 수 있게 할 수 있다.
모바일 컴퓨팅 디바이스(410)는 기지국(440)과 무선으로 정보를 통신하기 위해 안테나를 포함할 수 있다. 기지국(440)은 모바일 컴퓨팅 디바이스(410)가 지리적으로 움직임에 따라 모바일 컴퓨팅 디바이스(410)이 네트워크(450)과의 통신을 유지할 수 있게 하는 기지국들 집합(예를 들어, 모바일 전화 셀룰러 네트워크(mobile telephone cellular network))내 많은 기지국들 중 하나일 수 있다. 컴퓨팅 디바이스(410)는 네트워크(450)와 와이파이 라우터(Wi-Fi router) 또는 유선 연결(예를 들어, 이더넷, USB, 또는 방화벽)을 통해 대안적으로 또는 부가적으로 통신한다. 컴퓨팅 디바이스(410)는 블루투스 프로토콜(BLUETOOTH protocols)을 사용하는 다른 컴퓨팅 디바이스와도 무선으로 통신할 수 있고, 애드훅(ad-hoc) 무선 네트워크를 이용할 수도 있다.
기지국들의 네트워크를 운영하는 서비스 제공자는 모바일 컴퓨팅 디바이스(410)와 서비스들(460)를 제공하는 다른 컴퓨터화된 디바이스들 사이에 통신을 가능하게 하기 위해서 모바일 컴퓨팅 디바이스(410)를 네트워크(450)에 연결할 수 있다. 서비스들(460)은 다른 네트워크(예를 들어, 서비스 제공자의 내부 네트워크, 공중전화교환망, 및 인터넷)를 통해 제공됨에도 불구하고, 네트워크(450)는 단일 네트워크처럼 도시되었다. 서비스 제공자는 모바일 컴퓨팅 디바이스(410)와 서비스들(460)에 관련된 컴퓨팅 디바이스들 사이로 정보 패킷(packets)과 음성 데이터를 전송하는 서버 시스템(452)을 운영할 수 있다.
네트워크(450)는 모바일 컴퓨팅 디바이스(410)와 또 다른 컴퓨팅 디바이스 사이에 음성 또는 팩스 통신을 구축하기 위해 모바일 컴퓨팅 디바이스(410)를 공중전화교환망(PSTN)(462)에 연결할 수 있다. 예를 들어, 서비스 제공자 서버 시스템(452)은 모바일 컴퓨팅 디바이스(410)에 대한 수신 호의 PSTN(462)으로부터 신호를 수신할 수 있다. 역으로, 모바일 컴퓨팅 디바이스(410)는 PSTN(462)를 통해 접속 가능한 디바이스와 관련된 전화번호의 전화 호를 시작하는 통신을 서비스 제공 서버 시스템(452)으로 보낼 수 있다.
네트워크(450)는, PSTN과 반대로, 음성 통신을 IP 네트워크를 통해 전송하는 인터넷 전화 통화규약(Voice over Internet Protocol, VoIP) 서비스(464)와 연결할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(410)의 사용자는 VoIP 애플리케이션을 작동시키고 이 프로그램을 이용한 호를 시작할 수 있다. 서비스 제공자 서버 시스템(452)은 음성 데이터를 상기 호로부터, 상기 호를 인터넷을 통해 대응하는, 연결의 마지막 단계를 위해 잠재적으로 PSTN을 사용하는, 컴퓨팅 디바이스로 보내는 VoIP 서비스로 전달할 수 있다.
애플리케이션 스토어(466)는 모바일 컴퓨팅 디바이스(410)의 사용자에게, 네트워크(450)를 통해 다운로드 할 수 있고 모바일 컴퓨팅 디바이스(410)에 설치할 수 있는 원격으로 저장된 애플리케이션 프로그램들의 목록을 브라우징하는 능력을 제공할 수 있다. 애플리케이션 스토어(466)는 서드-파티(third-party) 애플리케이션 개발자들에 의해 개발된 애플리케이션들의 점포를 제공할 수 있다. 모바일 컴퓨팅 디바이스(410)에 설치된 애플리케이션 프로그램은 네트워크(450)를 통해 애플리케이션 프로그램을 위해 지정된 서버 시스템과 통신할 수 있다. 예를 들어, VoIP 애플리케이션 프로그램은 애플리케이션 스토어(466)에서 다운로드 될 수 있고, 사용자가 VoIP 서비스(464)로 통신할 수 있게 한다.
모바일 컴퓨팅 디바이스(410)는 네트워크(450)를 통해 인터넷(468) 상의 콘텐트에 엑세스할 수 있다. 예를 들어, 모바일 컴퓨팅 디바이스(410)의 사용자는 보편적 리소스 로케이션(universal resource location)에서 엑세스 할 수 있는 원격 컴퓨팅 디바이스들로부터 데이터를 요청하는 웹브라우저 애플리케이션을 호출할 수 있다. 다양한 예시들에서, 서비스들(460)의 일부는 인터넷을 통해 엑세스 할 수 있다.
모바일 컴퓨팅 디바이스는 개인 컴퓨터(470)과 통신할 수 있다. 예를 들어, 개인 컴퓨터(470)는 모바일 컴퓨팅 디바이스(410) 사용자의 홈(home) 컴퓨터일 수 있다. 즉, 사용자는 그의 개인 컴퓨터(470)로부터 미디어를 스트리밍(stream) 할 수 있다. 사용자는 그의 개인 컴퓨터(470)의 파일 구조를 볼 수도 있고, 선택된 문서를 컴퓨터화된 디바이스들 사이에서 전송할 수 있다.
음성인식 서비스(472)는 모바일 컴퓨팅 디바이스의 마이크로폰(422)로 녹음된 음성 통신 데이터를 수신하고, 상기 음성통신을 대응하는 텍스트 데이터로 변환할 수 있다. 일부 예시들에서, 변환된 텍스트는 웹 쿼리로 검색엔진으로 제공되고, 대응하는 검색엔진 검색결과들이 모바일 컴퓨팅 디바이스(410)로 전송된다.
모바일 컴퓨팅 디바이스(410)는 소셜 네트워크(474)와 통신할 수 있다. 소셜 네트워크는, 그들 중 일부는 지인으로 관련되는 것에 동의한, 많은 멤버들을 포함할 수 있다. 모바일 컴퓨팅 디바이스(410) 상의 애플리케이션 프로그램들은 모바일 컴퓨팅 디바이스 사용자의 지인들에 기초하여 정보를 검색하기 위해 소셜 네트워크(474)에 엑세스 할 수 있다. 예를 들어, "주소록(address book)" 애플리케이션 프로그램은 사용자 지인들의 전화번호를 검색할 수 있다. 다양한 예시들에서, 콘텐트는 사용자로부터 다른 멤버들 까지의 소셜 네트워크 거리에 기초하여 모바일 컴퓨팅 디바이스(410)에 전달될 수 있다. 예를 들어, 공과 및 새 게시글 콘텐트는 사용자와 "가까운" 멤버들(예를 들어, "친구들" 또는 "친구의 친구들"인 멤버들)에 의한 그와 같은 콘텐트와의 상호작용의 레벨에 기초하여 사용자를 위해 선택될 수 있다.
모바일 컴퓨팅 디바이스(410)는 네트워크(450)를 통해 개인 연락처(876) 세트에 엑세스할 수 있다. 각 연락처는 개인을 식별하고 그 개인에 대한 정보(예를 들어, 전화번호, 이메일 주소, 및 생일)를 포함할 수 있다. 연락처 세트가 모바일 컴퓨팅 디바이스(410)에 대해 원격으로 관리되기 때문에, 사용자는 연락처(476)를 공통 연락처 세트로 여러 디바이스들에 걸쳐 엑세스하고 유지할 수 있다.
모바일 컴퓨팅 디바이스(410)는 클라우드 기반 애플리케이션 프로그램(478)에 엑세스할 수 있다. 클라우드 컴퓨팅은 모바일 컴퓨팅 디바이스(410)에 대해 원격으로 관리되는 애플리케이션 프로그램(예를 들어, 워드 프로세서 또는 이메일 프로그램)을 제공하고, 웹브라우저 또는 전용 프로그램을 이용한 디바이스(410)에 의해 엑세스될 수 있다. 예시적인 클라우드 기반 애플리케이션 프로그램은 구글독스(GOOGLE DOCS) 워드 프로세서 및 스프레드 시트 서비스, 구글 지메일(GOOGLE GMAIL) 웹메일 서비스, 및 피카사(PICASA) 그림 관리자를 포함한다.
맵핑 서비스(480)는 모바일 컴퓨팅 디바이스(410)로 거리 지도, 경로 계획 정보, 위성이미지들을 제공할 수 있다. 예시적인 맵핑 서비스는 구글 맵스(GOOGLE MAPS)이다. 맵핑 서비스(480)는 쿼리를 수신하고 지역-특화된 결과들을 반환할 수도 있다. 예를 들어, 모바일 컴퓨팅 디바이스(410)는 모바일 컴퓨팅 디바이스의 예상 위치 및 사용자-입력 쿼리 "pizza places"를 맵핑 서비스(480)로 전송할 수 있다. 맵핑 서비스(480)는, 가까운 "pizza places"의 지리적 위치를 식별하는, 지도에 중첩된 "마커(markers)"와 함께 거리 지도를 반환할 수 있다.
턴-바이-턴 디렉션(Turn-by-Turn Direction)(482)은 모바일 컴퓨팅 디바이스에 사용자-제공 목적지까지의 턴-바이-턴 지시(direction)를 제공할 수 있다. 예를 들어, 턴-바이-턴 디렉션(482)은, 오디오 커맨드를 제공하고 디바이스(410) 사용자를 목적지까지 지시하는 화살표를 중첩하기 위한 데이터와 함께, 디바이스의 예상 위치의 거리-수준 뷰(street-level view)를 디바이스(410)로 스트리밍할 수 있다.
다양한 형태의 스트리밍 미디어(484)가 모바일 컴퓨팅 디바이스(410)에 의해 요청될 수 있다. 예를 들어, 컴퓨팅 디바이스(410)은 미리 기록된 비디오 파일, 생방송 텔레비전 프로그램, 또는 생방송 라디오 프로그램을 위한 스트림을 요청할 수 있다. 스트리밍 미디어를 제공하는 예시적인 서비스는 유투브(YOUTUBE) 및 판도라(PANDORA)를 포함한다.
마이크로 블로그 서비스(micro-blogging service)(486)는 모바일 컴퓨팅 디바이스(410)로부터 포스트의 수신자를 식별하지 않는 사용자-입력 포스트를 수신할 수 있다. 마이크로 블로그 서비스(486)는 사용자를 구독하는 것을 동의한 마이크로 블로그 서비스(486)의 다른 멤버들에게 상기 포스트를 전파할 수 있다.
검색엔진(488)은 모바일 컴퓨팅 디바이스(410)로부터 사용자-입력 텍스트 또는 구두 쿼리를 수신하고, 쿼리에 대한 인터넷-접속가능한 문서들 세트를 결정하고, 디바이스(410)로 대응하는 문서들에 대한 검색결과 리스트를 디스플레이 하기 위해 제공할 수 있다. 구두 쿼리가 수신되는 예시에서, 음성인식 서비스(472)는 수신된 오디오를 검색엔진으로 전송되는 텍스트 쿼리로 변환할 수 있다.
이들 및 다른 서비스들은 서버 시스템(490)에서 실행될 수 있다. 서버 시스템은 하드웨어 및 서비스 또는 서비스 세트를 제공하는 소프트웨어의 조합일 수 있다. 예를 들어, 물리적으로 분리되고 네트워크된 컴퓨터화된 디바이스들 세트는 수백개의 개별 컴퓨팅 디바이스에 서비스를 제공하기 위해 필요한 동작을 처리하기 위해 로컬 서버 시스템 유닛으로서 함께 동작할 수 있다.
다양한 실시예들에서, 다른 동작(예를 들어, 결정 또는 식별)에 "대응하여" 수행되는 동작들은 이전 동작이 성공적이지 않다면(예를 들어, 결정 단계가 수행되지 않았다면) 수행되지 않는다. 본 문서에서 조건문으로 기재된 특징들은 선택적인 실시예를 기술할 수 있다. 일부 예시들에서, 제1 디바이스에서 제2 디바이스로의 "전송"은 제1 디바이스가 네트워크로 데이터를 발생시키는 것을 포함하지만, 제2 디바이스가 데이터를 수신하는 것을 포함하지 않을 수 있다. 역으로, 제1 디바이스로부터의 "수신"은 네트워크로부터 데이터를 받는 것을 포함할 수 있지만, 제1 디바이스가 데이터를 전송하는 것은 포함하지 않을 수 있다.
도 5는 본 문서에 기술된 시스템 및 방법들을 수행하기 위해 클라이언트 또는 서버 또는 다수의 서버들로서 사용될 수 있는 컴퓨팅 디바이스(500, 550)의 블록 다이어그램이다. 컴퓨팅 디바이스(500)는 랩탑, 데스트탑, 워크스테이션, PDA, 서버, 블레이드(blade) 서버, 메인프레임, 및 그 밖의 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 사용된다. 컴퓨팅 디바이스(550)는 PDA, 셀룰라 전화, 스마트폰, 및 그 밖의 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위해 사용된다. 부가적으로, 컴퓨팅 디바이스(500 또는 550)는 USB 플래쉬 드라이브를 포함할 수 있다. USB 플래쉬 드라이브는 운영체제 및 다른 애플리케이션을 저장할 수 있다. USB 플래쉬 드라이브는, 무선 송신기 또는 또 다른 컴퓨팅 디바이스의 USB 포트에 삽입될 수 있는USB 커넥터와 같은 입/출력 컴포넌트를 포함할 수 있다. 여기에 보여지는 컴포넌트들, 그 연결 및 관계, 및 그 기능들은 단지 예시적인 것을 의미하고, 본 명세서에서 설명하거나 또는 청구된 발명의 실시예를 제한하는 것을 의미하지 않는다.
컴퓨팅 디바이스(500)는 프로세서(502), 메모리(504), 저장 디바이스(506), 메모리(504)에 접속하는 고속 인터페이스(508)와 고속 확장 포트(510), 및 저속 버스(514)와 저장 디바이스(506)에 접속하는 저속 인터페이스(512)를 포함한다. 각 구성요소(502, 504, 506, 508, 510, 및 512)는 다양한 버스들을 사용하여 서로 접속되고, 일반적인 마더보드 또는 적절한 경우 다른 방식으로 탑재될 수 있다. 프로세서(502)는 컴퓨팅 디바이스(500) 내에서 실행하기 위한 명령어를 처리할 수 있으며, 이러한 명령어에는, 고속 인터페이스(508)에 연결된 디스플레이(516)와 같은 외장 입/출력 디바이스상에서 GUI용 그래픽 정보를 디스플레이하기 위해, 메모리(504) 또는 저장 디바이스(506)에 저장되는 명령어가 포함된다. 다른 실시예에서, 다중 프로세서 및/또는 다중 버스는 적절한 경우, 다중 메모리 및 메모리 타입과 함께 사용될 수 있다. 또한, 다중 컴퓨팅 디바이스(500)는 각 디바이스가 필요 동작의 부분을 제공하는 형태(예를 들어, 서버 뱅크, 블레이드 서버의 그룹, 또는 다중 프로세서 시스템)로 접속될 수 있다.
메모리(504)는 컴퓨팅 디바이스(500)내에 정보를 저장한다. 일 실시예에서, 메모리(504)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 실시예에서, 메모리(504)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(504)는 마그네틱 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.
저장 디바이스(506)는 컴퓨팅 디바이스(500)를 위한 대용량 저장소(mass storage)를 제공할 수 있다. 일 실시예에서, 저장 디바이스(506)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래쉬 메모리 또는 다른 유사한 고체 상태(solid state) 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성에 존재하는 디바이스를 포함하는 디바이스 배열(array)일 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어(information carrier) 내에 유형적으로 구체화될 수 있다. 또한, 컴퓨터 프로그램 제품은 실행될 때, 상술한 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함할 수 있다. 정보 캐리어는 메모리(504), 저장 디바이스(506), 또는 프로세서(502)상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.
저속 제어부(512)가 저대역-집약적 동작(lower bandwidth-intensive operations)을 관리하는 반면, 고속 제어부(508)는 컴퓨팅 디바이스(500)에 대한 대역-집약적 동작을 관리한다. 이러한 기능들의 배치는 단지 예시적인 것이다. 일 실시예에서, 고속 제어부(508)는 메모리(504), 디스플레이(516)(예를 들어, 그래픽 프로세서 또는 가속기를 통함)에 연결되고, 다양한 확장 카드(도시되지 않음)을 수용할 수 있는 고속 확장 포트(510)에 연결된다. 일부 실시예에서는, 저속 제어부(512)는 저장 디바이스(506) 및 저속 확장 포트(514)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입/출력 디바이스들에 연결되거나, 또는 예컨대 네트워크 어댑터를 통하여, 스위치나 라우터와 같은 네트워킹 디바이스에 연결될 수 있다.
컴퓨팅 디바이스(500)는 도면에 도시된 바와 같이, 복수의 다른 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(500)는 표준 서버(520)로 구현되거나 이러한 서버들의 그룹에서 여러 번(multiple time) 구현될 수 있다. 또한, 컴퓨팅 디바이스(500)는 랙 서버 시스템(524)의 부분으로서 구현될 수 있다. 이에 더하여, 컴퓨팅 디바이스(500)는 랩탑 컴퓨터(522)와 같은 개인용 컴퓨터내에 구현될 수 있다. 선택적으로, 컴퓨팅 디바이스 (500)로부터의 구성요소는 디바이스(550)와 같은 모바일 디바이스(도시되지 않음)내 다른 구성요소와 조합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(500, 550)를 포함하고, 전체 시스템은 서로 통신하는 다중 컴퓨팅 디바이스(500, 550)로 구성될 수 있다.
컴퓨팅 디바이스(550)는 여러 구성요소 중에서 프로세서(552), 메모리(564), 디스플레이(554)와 같은 입/출력 디바이스, 통신 인터페이스(566), 및 트랜스시버(568)를 포함한다. 또한, 디바이스(550)에는 추가적인 저장소를 제공하기 위하여, 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 각 구성요소(550, 552, 564, 554, 566, 및 568)는 다양한 버스를 이용하여 서로 접속되고, 구성요소의 몇몇은 통상의 마더보드에 탑재되거나 적절한 다른 방법으로 탑재될 수 있다.
프로세서(552)는 컴퓨팅 디바이스(550) 내에서 명령어를 실행하며, 이 명령어에는 메모리(564)에 저장된 명령어가 포함된다. 프로세서는 개별적이고 다중의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩 세트로서 구현될 수 있다. 부가적으로, 프로세서는 복수의 아키텍처 중 임의의 아키텍처를 사용하여 구현될 수 있다. 예를 들어, 프로세서(552)는 CISC(Complex Instruction Set Computers) 프로세서, RISC(Reduced Instruction Set Computer) 프로세서, 또는 MISC(Minimal Instruction Set Computer) 프로세서일 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 컨트롤, 디바이스(550)에 의해 실행되는 애플리케이션, 및 컴퓨팅 디바이스(550)에 의한 무선 통신과 같은 디바이스(550)의 다른 구성요소들 사이에 조정을 제공할 수 있다.
프로세서(552)는 제어 인터페이스(558) 및 디스플레이(554)에 연결된 디스플레이 인터페이스(556)를 통해 사용자와 통신할 수 있다. 디스플레이(554)는, 예를 들어, TFT LCD(Thin-Film-Tansistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(556)는 그래픽 및 다른 정보를 사용자에게 나타내기 위해 디스플레이(554)를 구동하는 적절한 회로를 포함할 수 있다. 제어 인터페이스(558)는 사용자로부터 명령들을 수신하고, 프로세서(552)에 제출하기 위해 그 명령들을 변환한다. 더욱이, 확장 인터페이스(562)는 디바이스(550)와 다른 디바이스들간에 근거리 통신이 가능하도록 하기 위해, 프로세서(552)와의 통신에 제공될 수 있다. 확장 인터페이스(562)는, 예를 들어, 일부 실시예에서는 유선 통신을 제공하고 다른 실시예에서 무선 통신을 제공하며, 또한 다중 인터페이스가 사용될 수 있다.
메모리(564)는 컴퓨팅 디바이스(550)내에 정보를 저장한다. 메모리(564)는 컴퓨터 판독가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들, 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 또한, 확장 메모리(574)가 제공되어, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함하는 확장 인터페이스(574)를 통해 디바이스(550)에 접속될 수 있다. 이러한 확장 메모리(574)는 디바이스(550)를 위한 여분의 저장 공간을 제공할 수 있고, 또한 어플리케이션 또는 디바이스(550)를 위한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(574)는 상술된 프로세스를 실행하거나 보조하기 위한 명령어를 포함하고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(574)는 디바이스(550)용 보안 모듈(security module)로서 제공될 수 있고, 디바이스(550)의 안전한 사용을 가능하게 하는 명령어로 프로그램될 수 있다. 더욱이, 보안 어플리케이션은, 해킹할 수 없는 방식(non-hackable manner)으로 SIMM 카드상에 식별 정보를 위치시킨 것과 같은 추가적 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 아래에서 논의되는 것과 같이 예를 들어, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구체화된다. 컴퓨터 프로그램 제품은 실행될 때, 상술된 것과 같은 하나 이상의 방법을 수행하는 명령어를 포함한다. 정보 캐리어는 메모리(564), 확장 메모리(574), 프로세서(552)상의 메모리, 또는 예를 들어 트랜스시버(568) 또는 확장 인터페이스(562)를 통해 수신될 수 있는 전달된 신호와 같은 컴퓨터-또는 기계-판독가능 매체이다.
디바이스(550)는 디지털 신호 처리 회로를 필요에 따라 포함하는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(566)는 GSM 음성 호, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS 등과 같은 다양한 모드 또는 프로토콜 하에서의 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선-주파수 트랜스시버(568)를 통해 수행될 수 있다. 또한, 단거리(short range) 통신은 예를 들어, 블루투스, WiFi, 또는 다른 이러한 트랜스시버(도시되지 않음)를 사용하여 수행될 수 있다. 이에 더하여, GPS(Global Position System) 수신기 모듈(570)은 추가적인 항법- 및 위치- 관련 무선 데이터를 디바이스(550)에 제공할 수 있다. 이 무선 데이터는 디바이스(550)에서 실행중인 어플리케이션에 의해 적절하게 사용될 수 있다.
또한, 디바이스(550)는 사용자로부터의 발화 정보(spoken information)를 수신하고, 그 발화 정보를 사용가능한 디지털 정보로 변환하는 오디오 코덱(560)을 이용하여, 청취가능하게(audibly) 통신할 수 있다. 또한, 오디오 코덱(560)은 예를 들어, 디바이스(550)의 핸드셋 내의 스피커를 통하는 것과 같이 해서, 사용자가 들을 수있는 음성을 생성한다. 이러한 음성은 음성 전화 호로부터의 음성을 포함할 수 있고, 녹음된 음성(예를 들어, 음성 메시지, 뮤직 파일 등)은 포함할 수 있고, 또한 디바이스(550) 상에서 동작하는 애플리케이션에 의해 생성된 음성을 포함할 수 있다.
컴퓨팅 디바이스(550)는 도면에 도시된 바와 같이, 복수의 다양한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(550)는 셀룰러 전화(580)로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(550)는 스마트폰(582), PDA, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
본 명세서에 설명된 다양한 시스템과 방법의 여러 실시예는 디지털 전자 회로, 집적 회로, 특정 목적으로 설계된 ASICs(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 실시예에는 하나 이상의 컴퓨터 프로그램의 실시예가 포함되고, 이 컴퓨터 프로그램은 프로그램 가능한 시스템 상에서 실행가능 및/또는 해석가능(interpretable)하며, 프로그램 가능한 시스템은 저장 시스템에 연결되어 데이터와 명령을 송수신하는, 전용 또는 범용인 적어도 하나의 프로그램 가능한 프로세서, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스를 포함한다.
이러한 컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드라 함)은 프로그램 가능한 프로세서용 기계 명령을 포함하고, 고레벨 절차 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에 사용되는 바와 같이, 용어 "기계-판독가능 매체", "컴퓨터-판독가능 매체"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하는데 사용되는, 임의의 컴퓨터 프로그램 제품, 장치 및/또는 디바이스(예를 들어, 자기 디스크, 광디스크, 메모리, 프로그램 가능한 로직 디바이스(PLD))를 지칭하며, 기계-판독가능 신호로서의 기계 명령을 수신하는 기계-판독가능 매체도 포함된다. 용어 "기계-판독가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능한 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.
사용자와의 상호작용을 제공하기 위하여, 본 명세서에 설명되는 시스템과 방법은, 정보를 사용자에게 디스플레이 하는 디스플레이 디바이스(예를 들어, 음극선관(CRT) 또는 LCD(liquid crystal display) 모니터) 및 사용자가 컴퓨터에 입력하는데 사용하는 키보드와 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 다른 카테고리의 디바이스도 사용자와의 상호작용을 제공하기 위하여 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 지각 피드백(시각, 청각 또는 촉각 피드백)의 임의 형태가 될 수 있고, 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각 입력을 포함하는 임의 형태로 수신될 수 있다.
본 명세서에 설명된 다양한 시스템과 방법은, 백엔드 구성요소(예를 들어, 데이터 서버), 또는 미들웨어 구성요소(예를 들어, 애플리케이션 서버) 또는 전치(frontend) 구성요소(예를 들어, 본 명세서에 설명된 시스템 및 방법의 실시예와 상호작용하기 위해 사용자가 사용할 수 있는 그래픽 사용자 인터페이스(GUI) 또는 웹브라우저를 구비한 클라이언트 컴퓨터) 또는 이러한 백엔드, 미들웨어 또는 전치(frontend) 구성요소의 임의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 구성요소는 임의 형태 또는 디지털 데이터 통신의 매체(예를 들어, 통신 네트워크)에 의해 상호접속될 수 있다. 통신 네트워크의 예는 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있고, 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는, 각 컴퓨터에서 실행 중이며 서로에 대하여 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
다수의 실시예들이 위에서 상세하게 설명되었으나, 다른 변경들이 가능하다. 나아가, 불분명한 사용자 입력을 명확하게 하기 위한 다른 메커니즘들이 사용될 수 있다. 더욱이, 도면에서 묘사된 논리 흐름은 희망하는 결과를 달성하기 위해, 도시된 특정 순서 또는 시계열적 순서일 필요는 없다. 다른 단계들이 제공되거나, 그로부터 단계들이 제거될 수 있으며, 다른 구성요소들이 설명된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서 다른 실시예는 후술하는 청구범위의 범위 내에 속한다.

Claims (22)

  1. 컴퓨터로 수행되는 방법에 있어서,
    모바일 컴퓨팅 디바이스에서, 다수의 명령들 중 복수를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하는 단계와;
    상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하는 단계와, 상기 컨텍스트는 상기 모바일 컴퓨팅 디바이스 외부에 위치하고 상기 모바일 컴퓨팅 디바이스의 주변 환경에서의 상기 모바일 컴퓨팅 디바이스의 현재 상태를 지시함;
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화하는 단계; 및
    상기 선택된 명령의 수행과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 의해 제공되도록 하는 단계를 포함하며,
    상기 방법은
    상기 불분명한 사용자 입력이 수신된 시점 또는 상기 불분명한 사용자 입력을 수신하는 임계시간(threshold amount of time)동안 하나 이상의 주변 사운드를 탐색하는 단계를 더 포함하고,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트는, 적어도, 상기 탐색된 하나 이상의 주변 사운드에 기초하여 결정되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 모바일 컴퓨팅 디바이스 근처에 위치하고 있는 하나 이상의 다른 컴퓨팅 디바이스들을 식별하는 단계를 더 포함하고,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트는, 적어도, 상기 식별된 다른 컴퓨팅 디바이스들에 기초하여 결정되는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 다른 컴퓨팅 디바이스들은, 적어도, 상기 모바일 컴퓨팅 디바이스에 이용 가능한 하나 이상의 유선 또는 무선 연결을 통해 식별되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 하나 이상의 유선 또는 무선 연결은 상기 모바일 컴퓨팅 디바이스가 도킹된 유선 연결을 포함하는 것을 특징으로 하는 방법.
  5. 제3항에 있어서,
    상기 하나 이상의 유선 또는 무선 연결은, 상기 모바일 컴퓨팅 디바이스에 의해 탐색되는 하나 이상의 무선 네트워크들을 포함하는 것을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 식별된 다른 컴퓨팅 디바이스들과 하나 이상의 위치들 사이의 연관성을 나타내는 정보에 엑세스하는 단계를 더 포함하고,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트는 추가적으로, 적어도, 상기 엑세스 된 정보에 기초하여 결정되는 것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 하나 이상의 위치들은 하나 이상의 지리적 위치들(geographic locations)을 포함하는 것을 특징으로 하는 방법.
  8. 제6항에 있어서,
    상기 하나 이상의 위치들은 하나 이상의 물리적 구조들(physical structures)을 포함하는 것을 특징으로 하는 방법.
  9. 제2항에 있어서,
    상기 불분명한 사용자 입력을 명확화 하는 것에 응답하여, 상기 선택된 명령이 하나 이상의 상기 식별된 다른 컴퓨팅 디바이스들에 적용되는지 여부를 판단하는 단계; 및
    상기 선택된 명령이 하나 이상의 상기 식별된 다른 컴퓨팅 디바이스들에 적용되는지 여부의 판단에 기초하여, 상기 선택된 명령과 관련하여 네트워크를 통해 상기 하나 이상의 상기 식별된 다른 컴퓨팅 디바이스들과 통신하는 단계를 더 포함하고,
    상기 선택된 명령과 관련하여 네트워크를 통해 상기 하나 이상의 상기 식별된 다른 컴퓨팅 디바이스들과의 통신은 상기 하나 이상의 상기 식별된 다른 컴퓨팅 디바이스들로 하여금 상기 출력의 적어도 일부를 제공하거나 상기 선택된 명령의 적어도 일부를 수행하도록 하는 것을 특징으로 하는 방법.
  10. 삭제
  11. 컴퓨터로 수행되는 방법에 있어서,
    모바일 컴퓨팅 디바이스에서, 다수의 명령들 중 복수를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하는 단계와;
    상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하는 단계와, 상기 컨텍스트는 상기 모바일 컴퓨팅 디바이스 외부에 위치하고 상기 모바일 컴퓨팅 디바이스의 주변 환경에서의 상기 모바일 컴퓨팅 디바이스의 현재 상태를 지시함;
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화하는 단계; 및
    상기 선택된 명령의 수행과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 의해 제공되도록 하는 단계를 포함하며,
    상기 방법은
    상기 모바일 컴퓨팅 디바이스의 하나 이상의 디지털 카메라들로부터 획득되는 하나 이상의 이미지들을 이용하여 상기 모바일 컴퓨팅 디바이스 근처에 위치한 물리적인 객체들(physical objects)을 시각적으로 식별하는 단계를 더 포함하고,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트는, 적어도, 상기 시각적으로 식별된 하나 이상의 물리적인 객체들에 기초하여 결정되는 것을 특징으로 하는 방법.
  12. 제1항에 있어서,
    상기 불분명한 사용자 입력은 음성입력을 포함하고,
    상기 방법은 상기 음성입력의 발화 인식(speech recognition)이 수행되도록 하는 단계를 더 포함하고, 상기 음성입력은 상기 발화 인식을 통해 적어도 임계 레벨의 확실성(certainty)을 갖는 다수의 명령들 각각에 대응하도록 해석되는 것을 특징으로 하는 방법.
  13. 제12항에 있어서,
    상기 다수의 명령들은 동음이의어(homophones), 동철이의어(homonyms), 또는 동철이음이의어(heteronyms)인 것을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 다수의 명령들 중 적어도 하나는, 정상적인 발화(normal speech)에서, 상기 다수의 명령들 중 하나 이상의 다른 명령에 비해 다르게 발음되는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 음성입력은, 상기 모바일 컴퓨팅 디바이스에 의해 수신될 때, 상기 음성입력이 적어도 임계레벨의 확실성을 가지고 다른 발음을 갖는 둘 이상의 명령들에 대응되는 것으로 해석되는 충분히 낮은 품질의 것임을 특징으로 하는 방법.
  16. 제1항에 있어서,
    상기 결정된 현재 컨텍스트에 기초하여 상기 모바일 컴퓨팅 디바이스에 대한 작동 모드를 선택하는 단계를 더 포함하고,
    상기 출력은 상기 모바일 컴퓨팅 디바이스에 의해 상기 작동모드에 따라 제공되는 것을 특징으로 하는 방법.
  17. 제16항에 있어서,
    상기 작동모드는:
    상기 모바일 컴퓨팅 디바이스의 마이크로폰이 음성입력을 수신하기 위해 활성화되고 상기 모바일 컴퓨팅 디바이스의 스피커가 출력을 제공하기 위해 사용되는 동안의 음성-단독 작동모드,
    상기 모바일 컴퓨팅 디바이스의 스피커가 비활성화되고 상기 모바일 컴퓨팅 디바이스의 디스플레이가 출력을 제공하기 위해 사용되는 동안의 무음 작동모드, 및
    상기 모바일 컴퓨팅 디바이스의 현재 사용자-정의 설정에 따라 상기 모바일 컴퓨팅 디바이스의 상기 마이크로폰, 상기 스피커, 및 상기 디스플레이가 입력을 수신하고 출력을 제공하기 위해 사용되는 사용자-정의(user-defined) 작동모드로 구성된 그룹으로부터 선택되는 것을 특징으로 하는 방법.
  18. 컴퓨터로 수행되는 방법에 있어서,
    모바일 컴퓨팅 디바이스에서, 다수의 명령들 중 복수를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하는 단계와;
    상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하는 단계와, 상기 컨텍스트는 상기 모바일 컴퓨팅 디바이스 외부에 위치하고 상기 모바일 컴퓨팅 디바이스의 주변 환경에서의 상기 모바일 컴퓨팅 디바이스의 현재 상태를 지시함;
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화하는 단계; 및
    상기 선택된 명령의 수행과 연관된 출력이 상기 모바일 컴퓨팅 디바이스에 의해 제공되도록 하는 단계를 포함하며,
    상기 방법은
    상기 출력을 제공한 후에, 상기 모바일 컴퓨팅 디바이스에서 2차 사용자 입력을 수신하는 단계;
    상기 수신된 2차 사용자 입력에 기초하여 상기 불분명한 사용자 입력이 정확하게 상기 선택된 명령으로 명확화 되었는지 여부를 판단하는 단계; 및
    상기 불분명한 사용자 입력이 정확하게 명확화 되었는지 여부에 대한 판단에 기초하여, 상기 모바일 컴퓨팅 디바이스의 상기 결정된 현재 컨텍스트를 상기 불분명한 사용자 입력 및 상기 선택된 명령과 연관시키는 사용자 행동 저장소를 갱신하는 단계를 더 포함하고,
    상기 갱신된 사용자 행동 데이터는 미래의 불분명한 사용자 입력을 명확화 하기 위한 사용을 위해 저장되는 것을 특징으로 하는 방법.
  19. 제1항에 있어서,
    상기 현재 컨텍스트는 상기 모바일 컴퓨팅 디바이스가 물리적으로 도킹되어 있는 장치의 타입에 기초하여 결정되는 것을 특징으로 하는 방법.
  20. 사용자 입력을 명확화 하기 위한 시스템에 있어서,
    모바일 컴퓨팅 디바이스와;
    다수의 명령들 중 복수를 지시하는 불분명한(ambiguous) 사용자 입력을 수신하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 서브-시스템과;
    상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 컨텍스트 결정부와, 상기 컨텍스트는 상기 모바일 컴퓨팅 디바이스 외부에 위치하고 상기 모바일 컴퓨팅 디바이스의 주변 환경에서의 상기 모바일 컴퓨팅 디바이스의 현재 상태를 지시함;
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트에 기초하여 상기 다수의 명령들로부터 하나의 명령을 선택함으로써 상기 불분명한 사용자 입력을 명확화 하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 명확화부와;
    상기 선택된 명령의 수행과 연관된 출력을 제공하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 출력 서브-시스템; 및
    상기 불분명한 사용자 입력이 수신된 시점 또는 상기 불분명한 사용자 입력을 수신하는 임계시간(threshold amount of time)동안 하나 이상의 주변 사운드를 탐색하는 상기 모바일 컴퓨팅 디바이스의 발화 인식 모듈(speech recognition module)을 포함하며,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트는, 적어도, 상기 탐색된 하나 이상의 주변 사운드에 기초하여 결정되는 것을 특징으로 하는 시스템.
  21. 사용자 입력을 명확화 하기 위한 시스템에 있어서,
    모바일 컴퓨팅 디바이스와;
    다수의 명령들 중 둘 이상(more than one)을 지시하는 불분명한(ambiguous) 사용자 입력을 수신하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 입력 서브-시스템과;
    상기 모바일 컴퓨팅 디바이스와 연관된 현재 컨텍스트를 결정하기 위해 구성되는 상기 모바일 컴퓨팅 디바이스의 컨텍스트 결정부와, 상기 컨텍스트는 상기 모바일 컴퓨팅 디바이스 외부에 위치하고 상기 모바일 컴퓨팅 디바이스의 주변 환경에서의 상기 모바일 컴퓨팅 디바이스의 현재 상태를 지시함;
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트에 기초하여 상기 불분명한 사용자 입력을 명확화 하는 수단과, 상기 명확화 하는 수단은 상기 다수의 명령들로부터 하나의 명령을 선택함;
    상기 선택된 명령의 수행과 연관된 출력을 제공하도록 구성되는 상기 모바일 컴퓨팅 디바이스의 출력 서브-시스템; 및
    상기 모바일 컴퓨팅 디바이스의 하나 이상의 디지털 카메라들로부터 획득되는 하나 이상의 이미지들을 이용하여 상기 모바일 컴퓨팅 디바이스 근처에 위치한 물리적인 객체들(physical objects)을 시각적으로 식별하는 상기 모바일 컴퓨팅 디바이스의 컴퓨터 비젼 모듈을 포함하고,
    상기 모바일 컴퓨팅 디바이스와 연관된 상기 현재 컨텍스트는, 적어도, 상기 시각적으로 식별된 하나 이상의 물리적인 객체들에 기초하여 결정되는 것을 특징으로 하는 시스템.
  22. 컴퓨터 프로그램 명령어들이 수록된 비-일시적인 컴퓨터 판독가능 매체로서, 상기 컴퓨터 프로그램 명령어들은 실행시 하나 이상의 컴퓨터 프로세서들을 갖는 컴퓨터 디바이스로 하여금 청구항 1 내지 19항 중 어느 한 항의 방법을 수행하도록 하는 것을 특징으로 하는 비-일시적인 컴퓨터 판독 가능 매체.
KR1020137005724A 2010-08-06 2011-08-04 컨텍스트에 기초한 입력 명확화 KR101875819B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/851,881 2010-08-06
US12/851,881 US8473289B2 (en) 2010-08-06 2010-08-06 Disambiguating input based on context
PCT/US2011/046629 WO2012019028A1 (en) 2010-08-06 2011-08-04 Disambiguating input based on context

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187018497A Division KR102000267B1 (ko) 2010-08-06 2011-08-04 컨텍스트에 기초한 입력 명확화

Publications (2)

Publication Number Publication Date
KR20130101505A KR20130101505A (ko) 2013-09-13
KR101875819B1 true KR101875819B1 (ko) 2018-07-06

Family

ID=45556778

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137005724A KR101875819B1 (ko) 2010-08-06 2011-08-04 컨텍스트에 기초한 입력 명확화
KR1020187018497A KR102000267B1 (ko) 2010-08-06 2011-08-04 컨텍스트에 기초한 입력 명확화

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187018497A KR102000267B1 (ko) 2010-08-06 2011-08-04 컨텍스트에 기초한 입력 명확화

Country Status (5)

Country Link
US (5) US8473289B2 (ko)
EP (1) EP2601601B1 (ko)
KR (2) KR101875819B1 (ko)
AU (1) AU2011285618B2 (ko)
WO (1) WO2012019028A1 (ko)

Families Citing this family (434)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD822716S1 (en) 2016-05-13 2018-07-10 Google Llc Voice interface device
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
AU6630800A (en) * 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) * 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7366673B2 (en) 2001-06-15 2008-04-29 International Business Machines Corporation Selective enablement of speech recognition grammars
ITFI20010199A1 (it) * 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080129520A1 (en) * 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US10002189B2 (en) * 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8355919B2 (en) * 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8352272B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US20100082328A1 (en) * 2008-09-29 2010-04-01 Apple Inc. Systems and methods for speech preprocessing in text to speech synthesis
US8352268B2 (en) * 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8396714B2 (en) * 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20180019752A (ko) 2008-11-10 2018-02-26 구글 엘엘씨 멀티센서 음성 검출
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US9858925B2 (en) * 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110066438A1 (en) * 2009-09-15 2011-03-17 Apple Inc. Contextual voiceover
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US8600743B2 (en) * 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
US9852732B2 (en) * 2010-10-07 2017-12-26 Avaya Inc. System and method for near real-time identification and definition query
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US9953653B2 (en) 2011-01-07 2018-04-24 Nuance Communications, Inc. Configurable speech recognition system using multiple recognizers
US10134001B2 (en) 2011-02-22 2018-11-20 Theatro Labs, Inc. Observation platform using structured communications for gathering and reporting employee performance information
US8948730B2 (en) 2011-02-22 2015-02-03 Theatro Labs, Inc. Observation platform for using structured communications
US11599843B2 (en) 2011-02-22 2023-03-07 Theatro Labs, Inc. Configuring , deploying, and operating an application for structured communications for emergency response and tracking
US11605043B2 (en) 2011-02-22 2023-03-14 Theatro Labs, Inc. Configuring, deploying, and operating an application for buy-online-pickup-in-store (BOPIS) processes, actions and analytics
EP2678861B1 (en) * 2011-02-22 2018-07-11 Speak With Me, Inc. Hybridized client-server speech recognition
US9542695B2 (en) 2011-02-22 2017-01-10 Theatro Labs, Inc. Observation platform for performing structured communications
US9053449B2 (en) 2011-02-22 2015-06-09 Theatrolabs, Inc. Using structured communications to quantify social skills
US11636420B2 (en) 2011-02-22 2023-04-25 Theatro Labs, Inc. Configuring, deploying, and operating applications for structured communications within observation platforms
US10069781B2 (en) 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US10375133B2 (en) 2011-02-22 2019-08-06 Theatro Labs, Inc. Content distribution and data aggregation for scalability of observation platforms
US9602625B2 (en) 2011-02-22 2017-03-21 Theatrolabs, Inc. Mediating a communication in an observation platform
US10699313B2 (en) 2011-02-22 2020-06-30 Theatro Labs, Inc. Observation platform for performing structured communications
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
US9407543B2 (en) 2011-02-22 2016-08-02 Theatrolabs, Inc. Observation platform for using structured communications with cloud computing
US10204524B2 (en) 2011-02-22 2019-02-12 Theatro Labs, Inc. Observation platform for training, monitoring and mining structured communications
US9686732B2 (en) 2011-02-22 2017-06-20 Theatrolabs, Inc. Observation platform for using structured communications with distributed traffic flow
US20130060568A1 (en) * 2011-02-22 2013-03-07 Steven Paul Russell Observation platform for performing structured communications
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US9244984B2 (en) * 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US20120260167A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US8706472B2 (en) * 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
US9348479B2 (en) 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Sentiment aware user interface customization
US9378290B2 (en) * 2011-12-20 2016-06-28 Microsoft Technology Licensing, Llc Scenario-adaptive input method editor
US10129720B1 (en) * 2011-12-30 2018-11-13 Genesys Telecommunications Laboratories, Inc. Conversation assistant
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
JP5825118B2 (ja) * 2012-01-25 2015-12-02 富士通株式会社 公開範囲判定方法、公開範囲判定装置及びプログラム
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
US10019991B2 (en) * 2012-05-02 2018-07-10 Electronics And Telecommunications Research Institute Apparatus and method for speech recognition
CN103384203B (zh) * 2012-05-04 2017-05-24 江虹 在通信终端设备之间已建立通信信道的即时通信***和方法
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US9111380B2 (en) 2012-06-05 2015-08-18 Apple Inc. Rendering maps
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
US10176633B2 (en) 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
US8965696B2 (en) 2012-06-05 2015-02-24 Apple Inc. Providing navigation instructions while operating navigation application in background
US9886794B2 (en) 2012-06-05 2018-02-06 Apple Inc. Problem reporting in maps
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US9482296B2 (en) 2012-06-05 2016-11-01 Apple Inc. Rendering road signs during navigation
US9418672B2 (en) 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
WO2013185109A2 (en) 2012-06-08 2013-12-12 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US9734839B1 (en) * 2012-06-20 2017-08-15 Amazon Technologies, Inc. Routing natural language commands to the appropriate applications
EP2864856A4 (en) 2012-06-25 2015-10-14 Microsoft Technology Licensing Llc SEIZURE METHOD EDITOR APPLICATION PLATFORM
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US9684398B1 (en) 2012-08-06 2017-06-20 Google Inc. Executing a default action on a touchscreen device
US8959109B2 (en) 2012-08-06 2015-02-17 Microsoft Corporation Business intelligent in-document suggestions
TWI475507B (zh) * 2012-08-20 2015-03-01 Univ Nat Taiwan Science Tech 網路媒合系統
JP6122499B2 (ja) 2012-08-30 2017-04-26 マイクロソフト テクノロジー ライセンシング，エルエルシー 特徴に基づく候補選択
US8995948B2 (en) * 2012-08-30 2015-03-31 Blackberry Limited Emergency call forward based on location
US9218333B2 (en) * 2012-08-31 2015-12-22 Microsoft Technology Licensing, Llc Context sensitive auto-correction
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9412366B2 (en) 2012-09-18 2016-08-09 Adobe Systems Incorporated Natural language image spatial and tonal localization
US9141335B2 (en) 2012-09-18 2015-09-22 Adobe Systems Incorporated Natural language image tags
US9588964B2 (en) 2012-09-18 2017-03-07 Adobe Systems Incorporated Natural language vocabulary generation and usage
US9436382B2 (en) * 2012-09-18 2016-09-06 Adobe Systems Incorporated Natural language image editing
US10656808B2 (en) * 2012-09-18 2020-05-19 Adobe Inc. Natural language and user interface controls
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
WO2014055076A1 (en) 2012-10-04 2014-04-10 Nuance Communications, Inc. Improved hybrid controller for asr
US9734151B2 (en) * 2012-10-31 2017-08-15 Tivo Solutions Inc. Method and system for voice based media search
US9798799B2 (en) * 2012-11-15 2017-10-24 Sri International Vehicle personal assistant that interprets spoken natural language input based upon vehicle context
WO2015112108A1 (en) * 2012-11-28 2015-07-30 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
CN103076893B (zh) * 2012-12-31 2016-08-17 百度在线网络技术（北京）有限公司 一种用于实现语音输入的方法与设备
US8814683B2 (en) 2013-01-22 2014-08-26 Wms Gaming Inc. Gaming system and methods adapted to utilize recorded player gestures
US9190058B2 (en) * 2013-01-25 2015-11-17 Microsoft Technology Licensing, Llc Using visual cues to disambiguate speech inputs
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014168730A2 (en) 2013-03-15 2014-10-16 Apple Inc. Context-sensitive handling of interruptions
EP3101392B1 (en) * 2013-03-15 2021-12-15 Apple Inc. Mapping application with turn-by-turn navigation mode for output to vehicle display
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
CN105190607B (zh) 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9317813B2 (en) 2013-03-15 2016-04-19 Apple Inc. Mobile device with predictive routing engine
US9303997B2 (en) 2013-03-15 2016-04-05 Apple Inc. Prediction engine
US9891068B2 (en) 2013-06-08 2018-02-13 Apple Inc. Mapping application search function
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR102031897B1 (ko) * 2013-04-05 2019-10-14 에스케이텔레콤 주식회사 상황 인식 기반의 리소스 관리 방법, 이를 위한 장치 및 단말기
US8812995B1 (en) * 2013-04-10 2014-08-19 Google Inc. System and method for disambiguating item selection
US9202459B2 (en) * 2013-04-19 2015-12-01 GM Global Technology Operations LLC Methods and systems for managing dialog of speech systems
KR102070224B1 (ko) * 2013-04-29 2020-01-29 삼성전자주식회사 푸시 메시지를 이용한 사용자 단말 설정 변경 시스템, 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9626963B2 (en) * 2013-04-30 2017-04-18 Paypal, Inc. System and method of improving speech recognition using context
US20140344259A1 (en) * 2013-05-15 2014-11-20 Google Inc. Answering people-related questions
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US20140365459A1 (en) 2013-06-08 2014-12-11 Apple Inc. Harvesting Addresses
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
US9519461B2 (en) 2013-06-20 2016-12-13 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on third-party developers
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
US9633317B2 (en) * 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9594542B2 (en) 2013-06-20 2017-03-14 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on training by third-party developers
US9454251B1 (en) 2013-06-26 2016-09-27 Google Inc. Methods, systems, and media for controlling a remote device using a touch screen of a mobile device in a display inhibited state
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
WO2015018055A1 (en) 2013-08-09 2015-02-12 Microsoft Corporation Input method editor providing language assistance
US11138971B2 (en) 2013-12-05 2021-10-05 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9620116B2 (en) 2013-12-24 2017-04-11 Intel Corporation Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
US9390726B1 (en) * 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
SG11201605474RA (en) * 2014-01-10 2016-08-30 Massachusetts Inst Technology Travel survey systems and methods
KR20150090966A (ko) * 2014-01-29 2015-08-07 삼성전자주식회사 전자 장치 및 전자 장치의 검색 결과 제공 방법
US9842592B2 (en) 2014-02-12 2017-12-12 Google Inc. Language models using non-linguistic context
US10741182B2 (en) * 2014-02-18 2020-08-11 Lenovo (Singapore) Pte. Ltd. Voice input correction using non-audio based input
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
US10212266B2 (en) * 2014-03-07 2019-02-19 Dialogtech Inc. Phone fraud deterrence system for use with toll free and other fee generating numbers
US9965492B1 (en) 2014-03-12 2018-05-08 Google Llc Using location aliases
US9412365B2 (en) 2014-03-24 2016-08-09 Google Inc. Enhanced maximum entropy models
US9516165B1 (en) * 2014-03-26 2016-12-06 West Corporation IVR engagements and upfront background noise
US9372851B2 (en) * 2014-04-01 2016-06-21 Microsoft Technology Licensing, Llc Creating a calendar event using context
US10276154B2 (en) 2014-04-23 2019-04-30 Lenovo (Singapore) Pte. Ltd. Processing natural language user inputs using context data
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
KR102216048B1 (ko) 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
KR102245098B1 (ko) 2014-05-23 2021-04-28 삼성전자주식회사 휴대 단말 및 그 제어 방법
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
US9953646B2 (en) 2014-09-02 2018-04-24 Belleau Technologies Method and system for dynamic speech recognition and tracking of prewritten script
US10310808B2 (en) * 2014-09-08 2019-06-04 Google Llc Systems and methods for simultaneously receiving voice instructions on onboard and offboard devices
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9892628B2 (en) 2014-10-14 2018-02-13 Logitech Europe S.A. Method of controlling an electronic device
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
CN104535074A (zh) * 2014-12-05 2015-04-22 惠州Tcl移动通信有限公司 基于蓝牙耳机的语音导航方法、***和终端
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
EP3040682B1 (en) * 2015-01-05 2020-02-26 Harman International Industries, Incorporated Learning and predictive navigation system
US11162806B2 (en) 2015-01-05 2021-11-02 Harman International Industries, Incorporated Learning and predictive navigation system
AU2016215440B2 (en) 2015-02-02 2019-03-14 Apple Inc. Device, method, and graphical user interface for establishing a relationship and connection between two devices
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US10134394B2 (en) 2015-03-20 2018-11-20 Google Llc Speech recognition using log-linear model
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
EP3591648B1 (en) * 2015-05-19 2022-07-06 Sony Group Corporation Information processing apparatus, information processing method, and program
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10097973B2 (en) 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10504509B2 (en) 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
EP3106985B1 (en) 2015-06-16 2020-05-06 Huawei Technologies Co., Ltd. Method and apparatus for classifying virtual activities of mobile users
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
KR102505347B1 (ko) 2015-07-16 2023-03-03 삼성전자주식회사 사용자 관심 음성 알림 장치 및 방법
CN105487746A (zh) * 2015-08-28 2016-04-13 小米科技有限责任公司 搜索结果的呈现方法和装置
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US9665567B2 (en) * 2015-09-21 2017-05-30 International Business Machines Corporation Suggesting emoji characters based on current contextual emotional state of user
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
WO2017061639A1 (ko) * 2015-10-06 2017-04-13 주식회사 스탠딩에그 사용자 컨텍스트 기반 움직임 카운팅 방법, 이를 수행하는 센서 장치 및 웨어러블 장치
US20170103420A1 (en) * 2015-10-12 2017-04-13 ArcSecond, Inc. Generating a Contextual-Based Sound Map
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10599390B1 (en) 2015-12-28 2020-03-24 Amazon Technologies, Inc. Methods and systems for providing multi-user recommendations
US10026401B1 (en) 2015-12-28 2018-07-17 Amazon Technologies, Inc. Naming devices via voice commands
US10380208B1 (en) * 2015-12-28 2019-08-13 Amazon Technologies, Inc. Methods and systems for providing context-based recommendations
US10127906B1 (en) 2015-12-28 2018-11-13 Amazon Technologies, Inc. Naming devices via voice commands
US10185544B1 (en) * 2015-12-28 2019-01-22 Amazon Technologies, Inc. Naming devices via voice commands
US9973887B2 (en) * 2016-01-21 2018-05-15 Google Llc Sharing navigation data among co-located computing devices
EP3414759B1 (en) 2016-02-10 2020-07-01 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US10229687B2 (en) * 2016-03-10 2019-03-12 Microsoft Technology Licensing, Llc Scalable endpoint-dependent natural language understanding
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9866927B2 (en) * 2016-04-22 2018-01-09 Microsoft Technology Licensing, Llc Identifying entities based on sensor data
CN108604179A (zh) 2016-05-10 2018-09-28 谷歌有限责任公司 设备上语音助理的实现
KR102177786B1 (ko) 2016-05-13 2020-11-12 구글 엘엘씨 미디어 출력 디바이스들 사이의 미디어 전달
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10462619B2 (en) * 2016-06-08 2019-10-29 Google Llc Providing a personal assistant module with a selectively-traversable state machine
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) * 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
CN109313900A (zh) * 2016-06-15 2019-02-05 索尼公司 信息处理设备和信息处理方法
EP3754653A1 (en) 2016-06-15 2020-12-23 Cerence Operating Company Techniques for wake-up word recognition and related systems and methods
CN106205622A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 信息处理方法及电子设备
US10891959B1 (en) * 2016-07-01 2021-01-12 Google Llc Voice message capturing system
WO2018022993A1 (en) * 2016-07-29 2018-02-01 Trusona, Inc. Anti-replay authentication systems and methods
US10832664B2 (en) 2016-08-19 2020-11-10 Google Llc Automated speech recognition using language models that selectively use domain-specific model components
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
JP6677614B2 (ja) * 2016-09-16 2020-04-08 株式会社東芝 会議支援システム、会議支援方法及びプログラム
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP6466385B2 (ja) * 2016-10-11 2019-02-06 本田技研工業株式会社 サービス提供装置、サービス提供方法およびサービス提供プログラム
WO2018086033A1 (en) 2016-11-10 2018-05-17 Nuance Communications, Inc. Techniques for language independent wake-up word detection
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
EP3552347A4 (en) 2016-12-12 2020-08-12 Trusona, Inc. PROCEDURES AND SYSTEMS FOR NETWORK-ACTIVATED ACCOUNT CREATION USING OPTICAL RECOGNITION
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10971157B2 (en) 2017-01-11 2021-04-06 Nuance Communications, Inc. Methods and apparatus for hybrid speech recognition processing
US20210141716A1 (en) * 2017-03-17 2021-05-13 Uilicious Private Limited Systems, methods and computer readable media for ambiguity resolution in instruction statement interpretation
KR101965880B1 (ko) * 2017-03-30 2019-04-04 엘지전자 주식회사 음성 인식 방법
CN107122179A (zh) * 2017-03-31 2017-09-01 阿里巴巴集团控股有限公司 语音的功能控制方法和装置
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770411A1 (en) * 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11056105B2 (en) 2017-05-18 2021-07-06 Aiqudo, Inc Talk back from actions in applications
US11043206B2 (en) 2017-05-18 2021-06-22 Aiqudo, Inc. Systems and methods for crowdsourced actions and commands
US11520610B2 (en) 2017-05-18 2022-12-06 Peloton Interactive Inc. Crowdsourced on-boarding of digital assistant operations
US10838746B2 (en) 2017-05-18 2020-11-17 Aiqudo, Inc. Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US11340925B2 (en) 2017-05-18 2022-05-24 Peloton Interactive Inc. Action recipes for a crowdsourced digital assistant system
US11221823B2 (en) 2017-05-22 2022-01-11 Samsung Electronics Co., Ltd. System and method for context-based interaction for electronic devices
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10657327B2 (en) * 2017-08-01 2020-05-19 International Business Machines Corporation Dynamic homophone/synonym identification and replacement for natural language processing
CN107395895B (zh) * 2017-08-16 2021-02-19 北京小米移动软件有限公司 解锁方法及装置、电子设备
US10431203B2 (en) * 2017-09-05 2019-10-01 International Business Machines Corporation Machine training for native language and fluency identification
US10366291B2 (en) 2017-09-09 2019-07-30 Google Llc Systems, methods, and apparatus for providing image shortcuts for an assistant application
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10672379B1 (en) * 2017-09-25 2020-06-02 Amazon Technologies, Inc. Systems and methods for selecting a recipient device for communications
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
CN108281145B (zh) * 2018-01-29 2021-07-02 南京地平线机器人技术有限公司 语音处理方法、语音处理装置和电子设备
US10768954B2 (en) 2018-01-30 2020-09-08 Aiqudo, Inc. Personalized digital assistant device and related methods
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US11398221B2 (en) 2018-02-22 2022-07-26 Sony Corporation Information processing apparatus, information processing method, and program
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
KR102630662B1 (ko) * 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
KR102612835B1 (ko) * 2018-04-20 2023-12-13 삼성전자주식회사 전자 장치 및 전자 장치의 기능 실행 방법
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
US10755725B2 (en) * 2018-06-04 2020-08-25 Motorola Solutions, Inc. Determining and remedying audio quality issues in a voice communication
US10672392B2 (en) * 2018-07-23 2020-06-02 Motorola Solutions, Inc. Device, system and method for causing an output device to provide information for voice command functionality
US11153687B1 (en) * 2018-08-24 2021-10-19 Apple Inc. Wireless headphone interactions
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
FR3088282A1 (fr) * 2018-11-14 2020-05-15 Psa Automobiles Sa Procede et systeme pour controler le fonctionnement d’un assistant personnel virtuel embarque a bord d’un vehicule terrestre a moteur
US11100925B2 (en) 2018-12-06 2021-08-24 Comcast Cable Communications, Llc Voice command trigger words
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10902220B2 (en) 2019-04-12 2021-01-26 The Toronto-Dominion Bank Systems and methods of generating responses associated with natural language input
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11863700B2 (en) * 2019-05-06 2024-01-02 Apple Inc. Providing user interfaces based on use contexts and managing playback of media
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11348581B2 (en) * 2019-07-12 2022-05-31 Qualcomm Incorporated Multi-modal user interface
US11438452B1 (en) 2019-08-09 2022-09-06 Apple Inc. Propagating context information in a privacy preserving manner
EP3931826A4 (en) * 2019-08-13 2022-05-11 Samsung Electronics Co., Ltd. SERVER SUPPORTING VOICE RECOGNITION OF A DEVICE AND METHOD OF OPERATING THE SERVER
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11861674B1 (en) 2019-10-18 2024-01-02 Meta Platforms Technologies, Llc Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems
US11567788B1 (en) 2019-10-18 2023-01-31 Meta Platforms, Inc. Generating proactive reminders for assistant systems
US11061958B2 (en) 2019-11-14 2021-07-13 Jetblue Airways Corporation Systems and method of generating custom messages based on rule-based database queries in a cloud platform
IN202041005143A (ko) * 2020-02-06 2021-08-13 Samsung Electronics Co Ltd
US11914561B2 (en) 2020-03-03 2024-02-27 Rovi Guides, Inc. Systems and methods for interpreting natural language search queries using training data
US11594213B2 (en) * 2020-03-03 2023-02-28 Rovi Guides, Inc. Systems and methods for interpreting natural language search queries
US11290834B2 (en) 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
US11074939B1 (en) 2020-04-21 2021-07-27 International Business Machines Corporation Disambiguation of audio content using visual context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220036211A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation User-hesitancy based validation for virtual assistance operations
US11507572B2 (en) 2020-09-30 2022-11-22 Rovi Guides, Inc. Systems and methods for interpreting natural language search queries
US11915596B2 (en) 2020-11-11 2024-02-27 Honeywell International Inc. Methods and systems for resolving tactile user input selections
US20220392435A1 (en) * 2021-06-08 2022-12-08 Comcast Cable Communications, Llc Processing Voice Commands
US12002451B1 (en) * 2021-07-01 2024-06-04 Amazon Technologies, Inc. Automatic speech recognition
KR20230160376A (ko) * 2021-08-24 2023-11-23 구글 엘엘씨 다양한 이동 검출 신뢰도를 위해 자동화된 어시스턴트 운전 모드를 사전에 활성화

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040172258A1 (en) * 2002-12-10 2004-09-02 Dominach Richard F. Techniques for disambiguating speech input using multimodal interfaces
US20060004572A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Homonym processing in the context of voice-activated command systems
US20060247915A1 (en) * 1998-12-04 2006-11-02 Tegic Communications, Inc. Contextual Prediction of User Words and User Actions
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US20090249198A1 (en) * 2008-04-01 2009-10-01 Yahoo! Inc. Techniques for input recogniton and completion

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020116196A1 (en) * 1998-11-12 2002-08-22 Tran Bao Q. Speech recognizer
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6429813B2 (en) * 1999-01-14 2002-08-06 Navigation Technologies Corp. Method and system for providing end-user preferences with a navigation system
US7024364B2 (en) * 2001-03-09 2006-04-04 Bevocal, Inc. System, method and computer program product for looking up business addresses and directions based on a voice dial-up session
US6714778B2 (en) 2001-05-15 2004-03-30 Nokia Corporation Context sensitive web services
JP2003108191A (ja) * 2001-10-01 2003-04-11 Toyota Central Res & Dev Lab Inc 音声対話装置
US7493259B2 (en) * 2002-01-04 2009-02-17 Siebel Systems, Inc. Method for accessing data via voice
US7693720B2 (en) * 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
WO2004044887A1 (ja) * 2002-11-11 2004-05-27 Matsushita Electric Industrial Co., Ltd. 音声認識用辞書作成装置および音声認識装置
US7890324B2 (en) * 2002-12-19 2011-02-15 At&T Intellectual Property Ii, L.P. Context-sensitive interface widgets for multi-modal dialog systems
US7716158B2 (en) * 2004-01-09 2010-05-11 Microsoft Corporation System and method for context sensitive searching
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US7236930B2 (en) * 2004-04-12 2007-06-26 Texas Instruments Incorporated Method to extend operating range of joint additive and convolutive compensating algorithms
DE102004037858A1 (de) * 2004-08-04 2006-03-16 Harman Becker Automotive Systems Gmbh Navigationssystem mit sprachgesteuerter Angabe von Sonderzielen
US7831433B1 (en) * 2005-02-03 2010-11-09 Hrl Laboratories, Llc System and method for using context in navigation dialog
US7490042B2 (en) * 2005-03-29 2009-02-10 International Business Machines Corporation Methods and apparatus for adapting output speech in accordance with context of communication
US8170875B2 (en) * 2005-06-15 2012-05-01 Qnx Software Systems Limited Speech end-pointer
US20080091426A1 (en) * 2006-10-12 2008-04-17 Rod Rempel Adaptive context for automatic speech recognition systems
US20080131851A1 (en) 2006-12-04 2008-06-05 Dimitri Kanevsky Context-sensitive language learning
US7895177B2 (en) 2007-05-29 2011-02-22 Yahoo! Inc. Enabling searching of user ratings and reviews using user profile location, and social networks
US7523012B2 (en) * 2007-07-03 2009-04-21 Motorola, Inc. Method and system for controlling a handheld electronic device
US8036901B2 (en) * 2007-10-05 2011-10-11 Sensory, Incorporated Systems and methods of performing speech recognition using sensory inputs of human position
US8321219B2 (en) 2007-10-05 2012-11-27 Sensory, Inc. Systems and methods of performing speech recognition using gestures
US8423362B2 (en) 2007-12-21 2013-04-16 General Motors Llc In-vehicle circumstantial speech recognition
KR20090084212A (ko) * 2008-01-31 2009-08-05 포항공과대학교 산학협력단 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법
US8099289B2 (en) * 2008-02-13 2012-01-17 Sensory, Inc. Voice interface and search for electronic devices including bluetooth headsets and remote systems
US8364487B2 (en) * 2008-10-21 2013-01-29 Microsoft Corporation Speech recognition system with display information
EP2214122B1 (en) 2009-02-03 2013-07-17 Harman Becker Automotive Systems GmbH Methods and devices for assisting a vehicle driver
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8473289B2 (en) 2010-08-06 2013-06-25 Google Inc. Disambiguating input based on context

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060247915A1 (en) * 1998-12-04 2006-11-02 Tegic Communications, Inc. Contextual Prediction of User Words and User Actions
US20040172258A1 (en) * 2002-12-10 2004-09-02 Dominach Richard F. Techniques for disambiguating speech input using multimodal interfaces
US20060004572A1 (en) * 2004-06-30 2006-01-05 Microsoft Corporation Homonym processing in the context of voice-activated command systems
US20090150156A1 (en) * 2007-12-11 2009-06-11 Kennewick Michael R System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US20090249198A1 (en) * 2008-04-01 2009-10-01 Yahoo! Inc. Techniques for input recogniton and completion

Also Published As

Publication number Publication date
EP2601601B1 (en) 2018-04-04
KR20180080346A (ko) 2018-07-11
US9053706B2 (en) 2015-06-09
KR20130101505A (ko) 2013-09-13
AU2011285618B2 (en) 2015-02-26
US20180254044A1 (en) 2018-09-06
US10839805B2 (en) 2020-11-17
WO2012019028A1 (en) 2012-02-09
KR102000267B1 (ko) 2019-10-01
EP2601601A4 (en) 2014-01-01
US20160314788A1 (en) 2016-10-27
US20120035932A1 (en) 2012-02-09
US8473289B2 (en) 2013-06-25
AU2011285618A1 (en) 2013-02-21
US20150269937A1 (en) 2015-09-24
US9966071B2 (en) 2018-05-08
US20120035924A1 (en) 2012-02-09
US9401147B2 (en) 2016-07-26
EP2601601A1 (en) 2013-06-12

Similar Documents

Publication Publication Date Title
KR101875819B1 (ko) 컨텍스트에 기초한 입력 명확화
US9251793B2 (en) Method, apparatus, and system for automatically monitoring for voice input based on context
KR101894499B1 (ko) 상태-종속 쿼리 응답
KR101539687B1 (ko) 파라미터리스 검색 쿼리에 대한 결과 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant