KR20150106423A - 생산성 애플리케이션에 대한 예측 컨텍스트 툴바 - Google Patents

Abstract

예측된 명령들이 노출될 수 있는 식별가능 영역을 제공하는 예측 컨텍스트 툴바(predictive contextual toolbar)가 제시된다. 명령(서식 설정 도구 등)에 대한 요청의 표시가 수신되는 경우에, 예를 들어, 사용자가 생산성 애플리케이션의 캔버스와 상호작용하고 있는 동안, 이 사용자 인터페이스가 제시될 수 있다. 예측 명령(predictive command)을 노출시키기 위한 조건들이 충족될 때, 본 시스템은 예측 명령을 노출시키기 위한 조건들과 연관된 컨텍스트에 따라 예측된 명령들이 노출되는 식별가능 영역을 디스플레이할 수 있다. 식별가능 영역은 미니 툴바의 확장일 수 있다. 쉽게 액세스가능한 사용자 관련, 컨텍스트에 관련된 명령들을 제공하기 위해, 하나 이상의 동적 예측된 명령들이 식별가능 영역 상에 노출될 수 있다.

Description

생산성 애플리케이션에 대한 예측 컨텍스트 툴바{PREDICTIVE CONTEXTUAL TOOLBAR FOR PRODUCTIVITY APPLICATIONS}

생산성 애플리케이션(productivity application)들은 콘텐츠를 생성 및 수정하기 위해 개인의 손가락 끝에 상당한 능력들을 제공한다. 이들 프로그램이 더 많은 피쳐들 및 기능들을 포함하도록 확장됨에 따라, 사용자가 수행할 수 있는 이용가능한 명령들의 수가 증가한다. 생산성 애플리케이션들에 대한 사용자 인터페이스들은 일반적으로 사용자가 명령들을 실행하기 위해 애플리케이션의 피쳐들 및 기능들에 액세스할 수 있게 하는 메뉴들 및 툴바들을 포함한다. 그렇지만, 사용자가 특정의 작업을 수행하는데 필요로 하는 피쳐를 찾는 것은 어려운 일일 수 있다. 사용자가 다양한 메뉴들에서 명령을 검색하는데 시간을 소비하는 것은 흔히 있는 일이고, 이는 생산성을 떨어뜨리며 좌절감을 증가시킨다.

생산성 애플리케이션들에서 예측된 명령들을 노출시키기(surface) 위한 식별가능 영역들 및 툴바들이 제공된다. 특정의 실시예들에 따르면, 노출되는 명령들의 예측 속성은 사용자 특정적일 수도 있고 컨텍스트에 기반할 수도 있다. 예를 들어, 일반적인 흔히 사용되는 명령들만을 툴바에 제시하는 대신에, 문서 내에 사용자의 행동들 및/또는 사용자에 기반하여 예측되고 제시되었던 하나 이상의 예상된 또는 제안된 명령들의 선택을 명확하게 제공하는 영역이 디스플레이될 수 있다.

하나의 태양에 따르면, 콘텐츠를 생성하거나 수정하는 동안 사용하기 위해 사용자가 선택할 명령들이 노출될 수 있는 식별가능 영역이 제공된다. 식별가능 영역은 사용자에 의한 선택 및 사용을 위한 제안된 또는 예상된 도구 옵션들을 제시하는 것에 의해 소프트웨어 애플리케이션에서의 사용자의 경험을 향상시킬 수 있다.

다른 태양에 따르면, 사용자가 하나 이상의 제안된 또는 예상된 명령들 뿐만 아니라 통상의 명령들이 이용가능할 것으로 계속 기대하도록 기존의 툴바 또는 메뉴의 지정된 영역이 제공된다.

이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 개념들 중 선택된 것을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 피쳐들 또는 필수적인 피쳐들을 확인하기 위한 것이 아니며, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다.

도 1은 본 발명의 다양한 실시예들이 실시될 수 있는 예시적인 운영 환경을 나타낸 도면.
도 2는 예측 컨텍스트 툴바(predictive contextual toolbar)를 이용하는 예시적인 프로세스를 나타낸 도면.
도 3a 내지 도 3c는 식별가능 예측 명령 영역을 가지는 미니 툴바(mini toolbar)의 예들을 나타낸 도면.
도 4는 식별가능 예측 명령 영역을 가지는 예시적인 팔레트 툴바를 나타낸 도면.
도 5a 내지 도 5d는 예시적인 식별가능 예측 명령 영역들을 나타낸 도면.
도 6은 본 발명의 일 실시예에 따른, 터치 가능 예측 컨텍스트 툴바 사용자 인터페이스(touch-enabled predictive contextual toolbar user interface)를 갖는 예시적인 태블릿 디바이스를 나타낸 도면.
도 7a 내지 도 7c는 예측 컨텍스트 툴바 피쳐를 나타낸 도면.
도 8은 본 발명의 실시예들이 구현될 수 있는 사용자 디바이스에 대한 예시적인 아키텍처를 나타낸 도면.
도 9는 일부 실시예들에서 사용되는 컴퓨팅 디바이스의 구성요소들을 나타낸 블록도.

본 명세서에 기재된 개념들 및 기술들 중 일부에 따르면, 예측된 명령들이 노출될 수 있는 식별가능 영역을 제공하는 예측 컨텍스트 툴바가 제시된다. 식별가능 영역은 사용자가 생산성 애플리케이션 내에서 그 다음에 사용될 가능성이 있는 피쳐 또는 명령에 쉽게 액세스하는 것을 용이하게 한다.

명령들을 노출시키기 위한 식별가능 영역은 명령(들)의 일관성있는 위치 또는 제시인 것에 의해 "식별가능"하고, 생산성 애플리케이션의 그래픽 사용자 인터페이스 내의 임의의 적당한 위치에 위치될 수 있다.

생산성 애플리케이션은 문서, 프리젠테이션, 스프레드시트, 데이터베이스, 차트 및 그래프, 영상, 비디오, 오디오 등을 생성하고 수정하기 위한 저작 도구(authoring tool)들을 포함한다. 이들 애플리케이션은 워드 프로세싱 소프트웨어, 스프레드시트 소프트웨어, PIM(personal information management) 및 이메일 통신 소프트웨어, 프리젠테이션 프로그램, 메모 작성/스토리텔링(storytelling) 소프트웨어, 다이어그램 및 플로우차트 작성 소프트웨어 등의 형태일 수 있다. 생산성 애플리케이션의 예들은 MICROSOFT WORD, MICROSOFT EXCEL, MICROSOFT ONENOTE와 같은 Microsoft Corp.의 애플리케이션들로 이루어진 MICROSOFT OFFICE 제품군을 포함한다 - 이들 모두는 Microsoft Corp.의 등록 상표임 -.

본 발명의 특정의 실시예들은, 사용자가 도구들을 필요로 할 때, 사용자가 자신이 필요로 하는 도구들을 찾는 데 도움을 주는 것에 관한 것이다. 이 접근법의 하나의 부분은 예측된 명령들이 노출될 수 있는 식별가능 영역을 제공하는 것이다. 예측 명령들은 시스템이 특정의 사용자가 필요로 하는 것으로 여기는 동적으로 발생된 명령들일 수 있다. 사용자가 어느 명령들을 선택하고자 할 수 있는지를 예측하는데 사용자의 이력(history)이 수반될 수 있지만, 예측 명령들은 사용자가 이전에 무엇을 사용했는지 뿐만 아니라, 사용자가 특정의 컨텍스트에서 사용하고자 할 수 있는 명령들에도 기초할 수 있다.

실시예들에 따르면, 노출된 명령들은 사용자에 의해 (능동적으로) 커스터마이즈(customize)되지 않는다.

식별가능 영역 상에 노출되는 명령들은 동적이다. "동적" 명령이란 명령의 예측 속성을 말한다. 일반적으로 대부분의 사용자들에 의해 흔히 사용되는 또는 심지어 프로그램의 시작 시에 특정의 사용자의 일반 활동에 맞춰 커스터마이즈된 명령들을 단순히 제시하는 대신에, 예측된 명령(또는 특정의 임계치 초과의 확률을 가지는 다수의 명령들)이 프로그램의 사용 동안에 그리고 사용 내내 언제라도 제시될 수 있다. 명령(들)은 컨텍스트에 특정될 수 있고, 사용자의 이전의 행동(및 명령들)에 기반하여 필요에 따라 변할 수 있다.

식별가능 영역 상에 노출되는 컨트롤들은, 노출된 명령들이 프로그램 내에서 사용자에 의해 취해진 선행 동작들은 물론, 서식 설정(formatting)(또는 다른 명령)을 적용하기 위해 사용자에 의해 선택된 특정의 콘텐츠에 따라 변한다는 점에서, 컨텍스트에 관련된다.

임의의 수의 명령들이 예측 부분 상에 노출될 수 있다. 주어진 때에 2 개 내지 5 개의 예측된 명령들이 노출되는 것이 고려되고 있지만; 실시예들은 더 많거나 더 적은 예측된 명령들을 노출시킬 수 있다. 예를 들어, 컨텍스트에 따라 하나 또는 두 개 또는 세 개의 명령들이 노출될 수 있거나, 두 개의 명령이 항상 노출될 수 있거나, 세 개의 명령이 항상 노출될 수 있거나, 세 개 내지 다섯 개의 명령들이 노출될 수 있거나, 다섯 개 초과의 명령들이 노출될 수 있거나, 최대 10 개의 명령들이 노출될 수 있다.

일부 실시예들에서, 기존의 툴바들은 많은 사용자들이 사용하는 공통의 일반적인 명령들을 계속 노출시킬 수 있다. 하나의 실시예에서, 예측 명령들이 노출될 수 있는 식별가능 영역은 기존의 툴바 또는 메뉴의 지정된 부분일 수 있다.

"툴바"는 제어 요소들의 그래픽 표현들이 제공되는 그래픽 사용자 인터페이스의 요소를 지칭한다. 툴바는 애플리케이션 내에서 데이터를 조작하는 명령들을 적용하기 위한 상호작용 지점을 제공한다. 툴바는 버튼들, 메뉴들, 또는 이 둘의 조합을 포함할 수 있다. 메뉴는 명령들의 목록을 디스플레이한다. 종종, 툴바는 버튼들의 1차적 사용 및 그 위치에 의해 "메뉴"와 구별되지만; "툴바"와 "메뉴"는 많은 시나리오들에서 서로 바꾸어 사용될 수 있다.

툴바 및 메뉴는 생산성 애플리케이션을 비롯한 많은 애플리케이션들의 피쳐들 및 기능들에의 액세스를 제공하는 그래픽 사용자 인터페이스를 제공한다.

공통의 일반적인 명령들이 제시되는 툴바의 부분은 툴바의 "정적" 부분이라고 지칭될 수 있다(예측 영역은 툴바의 "동적" 부분일 수 있다). 정적 부분이 동일한 메뉴 항목들을 항상 제공하기 위해 필요한 것이 아니고; 오히려 예측되는 것이 아닌 그래픽 사용자 인터페이스의 일부분이라는 것이 이해되어야 한다. 정적 부분은 시스템에 의해 지정되거나 사용자에 의해 생성되는 툴바의 일부분일 수 있다. 정적 부분은 또한 캔버스(canvas)의 일부분을 포함할 수 있다.

"캔버스"는 콘텐츠가 사용자에 의해 생성되거나 소비되는 화면의 일부분을 지칭한다.

도 1은 본 발명의 다양한 실시예들이 실시될 수 있는 예시적인 운영 환경을 나타낸 것이다. 도 1을 참조하면, 예시적인 운영 환경은 네트워크(120)와 통신하거나 네트워크(120) 상에서 동작할 수 있는 사용자 컴퓨팅 디바이스(110)를 포함할 수 있다. 사용자 컴퓨팅 디바이스(110)는 네트워크(120)를 통해 하나 이상의 서버들(130)과 통신할 수 있다.

네트워크(120)는 셀룰러 네트워크(예컨대, 무선 전화), 점대점 전화 접속 연결(point-to-point dial up connection), 위성 네트워크, 인터넷, LAN(local area network), WAN(wide area network), WiFi 네트워크, 애드혹 네트워크 또는 이들의 조합일 수 있지만, 이들로 제한되지 않는다. 이러한 네트워크들은 허브, 브리지, 라우터, 스위치, 서버, 및 게이트웨이와 같은 다양한 유형의 네트워크 요소들을 연결시키기 위해 널리 사용된다. 네트워크(120)는 인터넷과 같은 공용 네트워크 및/또는 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들(예컨대, 다중 네트워크 환경)을 포함할 수 있다. 통상의 기술자라면 잘 알 것인 바와 같이, 네트워크(120)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다.

또한 통상의 기술자라면 잘 알 것인 바와 같이, 통신 네트워크는 몇 개의 상이한 형태들을 취할 수 있고, 몇 개의 상이한 통신 프로토콜들을 사용할 수 있다. 본 발명의 특정의 실시예들은 작업들이 통신 네트워크를 통해 연결되어 있는 원격 처리 디바이스들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 컴퓨터 판독가능 저장 매체 및 원격 컴퓨터 판독가능 저장 매체 둘 다에 위치될 수 있다.

사용자 컴퓨팅 디바이스(110)는 개인용 컴퓨터(예컨대, 데스크톱 컴퓨터), 랩톱, PDA(personal digital assistant), 비디오 게임 디바이스, 휴대폰(또는 스마트폰), 태블릿, 슬레이트(slate), 단말 등일 수 있지만, 이들로 제한되지 않는다. 사용자 컴퓨팅 디바이스(110)가 그의 사용자에게 소프트웨어 프로그램들을 로드하고 실행할 수 있는 기능 및 네트워크(120)와 같은 네트워크에 액세스할 수 있는 기능을 제공하는 임의의 유형의 컴퓨터 시스템일 수 있다는 것이 명백해야 한다.

사용자 컴퓨팅 디바이스[예컨대, 사용자 컴퓨팅 디바이스(110)]는 예컨대, 제1 컴퓨팅 디바이스(110)에 동작가능하게 결합되어 있는 키보드 및/또는 마우스를 통해 사용자(140)로부터 입력을 수신하도록 구성되어 있다. 사용자 컴퓨팅 디바이스(110)는 하나 이상의 사용자 인터페이스들(155)을 사용자(140)에 디스플레이하도록 구성되어 있는 디스플레이(150)(예컨대, 컴퓨터 모니터)를 추가로 포함할 수 있다. 일부 실시예들에서, 사용자 컴퓨팅 디바이스(110)가 디스플레이를 통해 사용자 입력을 수신할 수 있도록 디스플레이(150)는 터치스크린일 수 있다.

사용자 인터페이스(UI)(155)는 사용자 컴퓨팅 디바이스(110) 상에서 실행 중이거나 사용자 컴퓨팅 디바이스(110)를 통해 디스플레이되는 생산성 애플리케이션(160)과 같은 다양한 애플리케이션들과 상호작용하는데 사용된다. 하나 이상의 유형의 하나 이상의 사용자 인터페이스들은 콘텐츠와 상호작용하는데 사용될 수 있다. 예를 들어, UI(155)는 컨텍스트 메뉴(context menu), 메뉴바(menu bar) 내의 메뉴, 리본 사용자 인터페이스(ribbon user interface)로부터 선택된 메뉴 항목, 그래픽 메뉴 등의 사용을 포함할 수 있다. 메뉴는 종래의 막대 형태로 또는 리본 형태로 또는 팔레트 또는 기타 명령들의 제시로서 되어 있을 수 있다. 일반적으로, UI(155)는 사용자가 애플리케이션의 기능과 쉽게 상호작용할 수 있도록 구성되어 있다. 예를 들어, 사용자는 애플리케이션(160)에서 저작되고 있는 콘텐츠를 서식 설정(formatting)하는 것과 같은 동작을 수행하기 위해 UI(155) 내의 옵션을 간단히 선택할 수 있다.

애플리케이션(160)은 사용자 컴퓨팅 디바이스(110) 상에 저장될 수 있다(예컨대, 클라이언트측 애플리케이션). 다른 실시예에서, 사용자(140)는 웹 브라우저(예컨대, 표준 인터넷 브라우저)를 사용하여 [예컨대, 서버(130) 상에서 실행 중인] 웹 기반 애플리케이션에 액세스할 수 있고, 애플리케이션의 인터페이스가 인터넷 브라우저 내에서 사용자(140)에게 디스플레이될 수 있다. 이와 같이, 애플리케이션은 클라이언트측 애플리케이션 및/또는 비클라이언트측(예컨대, 웹 기반) 애플리케이션일 수 있다.

사용자 컴퓨팅 디바이스(110)에 대한 예시적인 아키텍처는 도 8 및 도 9를 참조하여 제공된다.

도 8을 참조하면, 사용자 컴퓨팅 디바이스(110)에 대한 아키텍처는 디바이스 OS(operating system)(810)를 포함할 수 있다. 디바이스 OS(810)는 디바이스에 대한 사용자 입력 기능, 출력 기능, 저장소 액세스 기능, 네트워크 통신 기능, 및 기타 기능을 관리한다. 디바이스 OS(810)는 디바이스의 물리 자원과 직접 연관되어 있거나 기본 물리 자원에 의해 지원되는(backed) 가상 머신의 일부로서 실행되고 있을 수 있다. 다수의 구현들에 따르면, 디바이스 OS(810)는 기본 하드웨어(815)를 통해 사용자 제스처 및 기타 사용자 입력을 인식하기 위한 기능을 포함한다.

디바이스 OS(810) 상에서 실행 중인 애플리케이션(830)의 해석 엔진(interpretation engine)(820)은 디바이스 OS(810)로부터의 사용자 입력 이벤트 메시지를 [예컨대, 인터럽트, 폴링(polling) 등을 통해] 리스닝(listen for)한다. UI 이벤트 메시지는 디바이스의 터치스크린 상에서의 패닝(panning) 제스처, 플리킹(flicking) 제스처, 드래깅(dragging) 제스처, 또는 기타 제스처, 터치 스크린 상에서의 탭핑, 키스트로크 입력, 또는 기타 사용자 입력(예컨대, 음성 명령, 방향 버튼, 트랙볼 입력)을 나타낼 수 있다. 해석 엔진(820)은 UI 이벤트 메시지를 애플리케이션이 이해할 수 있는 메시지로 변환한다.

본 발명의 특정의 실시예들에 따르면, 사용자의 UI와의 상호작용에 기반하여 애플리케이션의 UI의 일부로서 예측 컨텍스트 툴바가 제시될 수 있다.

도 2는 예측 컨텍스트 툴바를 이용하는 예시적인 프로세스를 나타낸 것이다. 도 2를 참조하면, 애플리케이션이 실행 중인 동안, 본 방법은 컨텍스트를 결정한다(202). 컨텍스트는 사용자의 환경을 생성하고 환경과 상호작용하기 위해 어떤 유형의 도구들 또는 명령들이 이용가능할 수 있는지를 나타내는 콘텐츠, 이력(history), 애플리케이션 유형, 애플리케이션 상태, 파일 등을 포함한다. 컨텍스트의 결정(202)은 사용자가 애플리케이션에 의해 제시되는 캔버스와 상호작용하는 동안 수행될 수 있다. 동작(204)으로 이동하여, 본 시스템은 예측 명령을 노출시키기 위한 조건(들)이 충족되는지를 판정한다. 예측 명령을 노출시키기 위한 조건은 편집 명령이 요망될 수 있다는 것을 나타내는, 사용자에 의한 특정의 행동[또는 무행동(inaction)]에 기반할 수 있다.

편집 명령이 요망될 수 있다는 것을 나타낼 수 있는(그리고 예측 명령의 노출을 예측하는 조건일 수 있는) 사용자의 행동(또는 무행동)은 툴바 또는 메뉴를 열기 위한 조작, 어떤 기간 동안의 무활동, 명령의 선택을 가져오지 않는 툴바 또는 메뉴와의 일련의 상호작용들(예컨대, 명령을 실행하는 일 없이 리본 모양의 툴바의 다수의 탭들이 선택될 때), 콘텐츠의 선택, 마우스의 오른쪽 버튼 클릭, 제스처(예컨대, 터치, 탭핑, 스와이프 등), 또는 음성 입력을 포함하지만, 이들로 제한되지 않는다. 콘텐츠의 선택은 마우스 클릭, 터치 패드(또는 터치 스크린)의 터치 또는 탭핑, (입력 디바이스를 통한) 누르고 드래그하기(hold and drag), 제스처 선택, 또는 기타 적당한 사용자 입력 메커니즘을 비롯한(이들로 제한되지 않음) 상호작용에 의해 달성될 수 있다.

애플리케이션이, 동작(204)에서, 예측 명령을 노출시키기 위한 조건들이 충족된 것으로 판정하는 경우, 본 방법은 예측된 명령들이 식별가능 영역 상에 노출되어, 툴바로서 나타나는 동작(206)으로 진행한다.

식별가능 영역은, 예를 들어, 미니 툴바, 컨텍스트 메뉴 또는 기타 팔레트 또는 창과 같은, 기존의 인터페이스에 대한 확장으로서, 예측 컨트롤들을 위해 지정된 영역일 수 있다.

(예측된 명령들을 노출시키기 위한) 식별가능 영역이 연관될 수 있는 하나의 툴바는 미니 툴바이다. 미니 툴바는 사람들이 가장 많이 사용하는 서식 설정 명령(formatting command)들에의 액세스의 용이성을 제공하는 툴바를 지칭한다. 미니 툴바는 텍스트, 그래픽, 아이콘, 비디오, 그림, 심볼, 이들의 몇몇 조합 등을 비롯한(이들로 제한되지 않음) 다양한 형태들을 취할 수 있는, 도구를 선택하기 위한 버튼들을 포함할 수 있다. 미니 툴바 및/또는 식별가능 영역이 오디오 경보와 같은 오디오 구성요소(audio component)를 포함할 수 있는 것이 고려되고 있다. 미니 툴바 상에서 이용가능한 도구들은 텍스트, 폰트, 및 모양(appearance)에 대한 명령들을 포함할 수 있다. 이들 명령은 정렬(alignment), 텍스트 색, 들여쓰기, 글머리 기호(bullet), 및 폰트 크기를 포함할 수 있다. 미니 툴바는 일반적으로 사용자가 콘텐츠를 선택하거나 캔버스에서 콘텐츠 상에서 오른쪽 버튼을 클릭할 때 자동으로 디스플레이된다.

예측된 명령들을 위한 식별가능 영역을 제공하는 확장기능(extension)을 가지는 미니 툴바[및/또는 컨텍스트 메뉴 및/또는 영역 메뉴(region menu)]는 캔버스 상에서의 사용자 상호작용의 마지막(또는 현재) 위치에 근접하여 보여질 수 있다. 사용자 상호작용의 위치는, 예를 들어, 콘텐츠의 선택 또는 커서의 위치로서 표시될 수 있다.

"커서"는 화면 상에 디스플레이되는 이동가능 지시자 또는 아이콘일 수 있다. 입력 디바이스(예컨대, 마우스, 키보드, 터치패드 또는 트랙패드)를 통한 사용자에 의한 입력의 결과로서 지시자가 이동할 수 있다. 사용자는 커서의 배치(placement)에 의해 표시되는 그래픽 사용자 인터페이스에 대한 입력을 발생시키기 위해 입력 디바이스와 상호작용할 수 있다. 일부 실시예들에서, 커서는 디스플레이되지 않는다. 오히려, 커서는 사용자가 화면을 터치하고 있는 위치일 수 있다. 이러한 실시예들에서, 지시자가 디스플레이되지 않는 경우에도, "커서"는 사용자의 손가락 또는 스타일러스(또는 화면을 터치하기 위해 사용되는 기타 물체)가 움직이는 대로 움직이고, 사용자가 터치한 최종 위치에 위치되게 된다.

어떤 경우들에서, 확장기능을 가지는 미니 툴바는 투명 또는 반투명으로 시작하지만, 사용자가 마우스로 툴바 위를 맴돌(hover over) 때 선명하게(solidify) 된다. 예를 들어, 텍스트가 선택될 때, 미니 툴바가 나타나기 시작할 수 있으나, 사용자가 포인터(pointer)를 미니 툴바 상에 둘 때까지 선명하지 않을 것이다. 어떤 경우들에서, 미니 툴바가 선명해지기 시작하는 것으로 보일 것이지만, 사용자가 마우스로 미니 툴바 위를 맴돌지 않으면(또는 미니 툴바 상에 두지 않으면) 다시 사라질 것이다. 이 현상은 "샤이(shy)"한 것으로 지칭되고, 무시하기 쉬울 수 있다.

미니 툴바는 사용자가 애플리케이션 내에서 이용가능한 명령들을 캔버스에서 그래픽 창에서의 선택된 물체에 가깝게 디스플레이하는 것에 의해 그 명령들에 더 신속하게 액세스하는데 도움을 주고, 서식 설정되는 콘텐츠 상에 또는 그 근방에 위치되어 있으면서 콘텐츠의 서식 설정을 용이하게 하는 것에 의해 사용자의 마우스 또는 손이 화면에서 이동하는 거리량을 감소시키도록 설계된다. 마우스가 이동하는 거리가 적다는 것은 반복 사용 부상(repetitive use injury)[예컨대, 손목 관절 증후군(carpal tunnel)]으로 인한 사용자에 대한 스트레스가 적다는 것을 의미할 수 있다. 미니 툴바에 대한 확장기능으로서 제공되는 것에 의해, 식별가능 영역은 사용자에 대한 미니 툴바의 이점들을 계속 유지하고 추가적인 이점들을 제공한다.

일부 실시예들에서, 식별가능 영역(및/또는 식별가능 영역이 그로부터 확장하는 미니 툴바)이 적어도 하나의 선택된 콘텐츠 또는 영역으로부터 지정된 거리 내에 배치되어 있는 경우, 식별가능 영역(미니 툴바를 갖거나 갖지 않음)은 캔버스의 선택된 영역(또는 커서 위치)에 근접해 있는 것으로 간주된다. 이 거리는 밀리미터, 센티미터, 인치, 픽셀, 또는 어떤 다른 거리 단위로 되어 있을 수 있다. 일부 실시예들에서, 식별가능 영역(및/또는 식별가능 영역이 그로부터 확장하는 미니 툴바)이 선택된 콘텐츠 또는 영역의 일부분과 적어도 부분적으로 교차하는 경우, 식별가능 영역(및/또는 식별가능 영역이 그로부터 확장하는 미니 툴바)이 선택된 콘텐츠에 근접해 있는 것으로 간주된다. 선택된 콘텐츠는 텍스트, 영상, 오디오를 비롯한 다수의 미디어 유형들을 포함할 수 있다.

도 5b에 도시된 것과 같은 일부 실시예들에서, 식별가능 영역이 사용자에게 보이도록 애플리케이션 내의 다른 곳에 보여지지만, 선택된 콘텐츠 또는 영역에 근접해 있는 것으로 간주되지는 않는다.

예측된 명령들을 위한 식별가능 영역을 제공하는 확장기능을 갖는 미니 툴바의 예들이 도 3a 내지 도 3c에 도시되어 있다. 도 3a 내지 도 3c에 도시된 바와 같이, 미니 툴바(300)는 하나 이상의 예측된 명령들이 노출될 수 있는 확장된 영역(310)을 포함할 수 있다. 식별가능 영역(410)을 제공하기 위한 지정된 영역(점선 내에 도시됨)을 갖는 팔레트(400)의 일례가 도 4에 도시되어 있다.

예측 영역이 플로팅(floating) 툴바(예컨대, 미니 툴바)의 확장기능인 것으로서 도시되어 있지만, 예측 영역이 사용자 특정적, 컨텍스트에 관련된 예측된 명령(user-specific, context-related predicted command)들을 노출시키는 영역인 것으로 식별가능할 수 있는 임의의 적당한 위치에 디스플레이될 수 있다. 하나의 실시예에서, 예측된 명령들이 설정된 컨텍스트 메뉴 또는 툴바과 분리되어 있는 캔버스의 영역 상에 노출될 수 있다. 예를 들어, 예측 영역은, 도 5a 내지 도 5d에 도시된 것과 같은, 빠른 액세스 툴바(quick access toolbar) 근방에, 리본 메뉴(ribbon menu) 근방에, 작업 창(task pane) 근방에, 캔버스의 가장자리 영역에, 또는 독립된 영역에 위치될 수 있다.

도 5a를 참조하면, 식별가능 영역(510)은 정적 툴바 부분 없이 디스플레이될 수 있다. 명령 시에 이용가능한 것에 부가하여, 식별가능 영역(510)은 사용자의 손가락 끝에 - 즉, 사용자가 캔버스와 상호작용할 때 명령에 의해 영향을 받는 콘텐츠의 위치 근방에 - 위치될 수 있다.

도 5b를 참조하면, 미니 툴바(520)가 디스플레이될 수 있고, 이와 동시에, 식별가능 영역이 디스플레이될 수 있으며 그리고/또는 예측된 명령들이 식별가능 영역 상에 노출된다. 예를 들어, 식별가능 영역(622)이 메뉴바 상에 위치되어 있을 때, 미니 툴바(520)가 디스플레이되는 것과 동시에 명령이 노출될 수 있다. 구역에 대한 사용자의 관심을 끌기 위해 다양한 강조 표시 규칙(prominence rule)들이 명령을 노출시키는 것과 연관되어 있을 수 있다. 다른 실시예에서, 식별가능 영역(524)은 캔버스 상의 임의의 적당한 구역에 위치된 플로팅 영역일 수 있다. 예측 명령을 노출시키기 위한 조건들이 충족될 때, 이 식별가능 영역(524)이 디스플레이될 수 있다(예컨대, 도 2의 206).

도 5c 및 도 5d를 참조하면, 미니 툴바(520)가 디스플레이될 수 있고, 이와 동시에, 예측된 명령들이 사이드 바(side bar) 또는 작업 창의 식별가능 영역(526, 528) 상에 노출될 수 있다.

일부 실시예들에서, 미니 툴바 및 식별가능 영역이 얼마나 두드러지게 보여지는지를 규정하기 위해 하나 이상의 강조 표시 규칙들이 적용된다. 일부 실시예들에서, 강조 표시 규칙은 정적 버튼 또는 메뉴를 갖는 툴바/영역을 보여주도록 애플리케이션에 지시한다. 일부 실시예들에서, 강조 표시 규칙은 그 버튼에 대한 마우스 또는 기타 입력(예컨대, 터치) 근접성과 관련하여 식별가능 영역과 함께 미니 툴바의(또는 식별가능 영역만의) 불투명도(opacity)를 변경하라고 애플리케이션에 지시한다. 예를 들어, 마우스 또는 기타 입력 디바이스에 의해 제어되는 커서가 미니 툴바(또는 디스플레이된 식별가능 영역)로부터 지정된 거리 내에 있을 때, 툴바가 100% 불투명으로서 제시될 수 있지만, 커서가 툴바로부터 멀어지는 쪽으로 움직일 때, 툴바가 반투명으로 되고, 어떤 지점에서는 사라져서 보이지 않는다.

일부 실시예들에서, 마우스를 위에 놓을 때(mouse over), 터치스크린 인터페이스를 통해 터치될 때, 또는 음성 또는 어떤 다른 사용자 입력을 통해 사용자에 의해 다른 방식으로 상호작용될 때, 강조 표시 규칙은 미니 툴바 및/또는 식별가능 영역을 보여주도록 애플리케이션에 지시한다. 일부 실시예들에서, 강조 표시 규칙은 툴바를 미리 결정된 기간 동안 보여주라고 애플리케이션에 지시하고, 그 기간의 만료는 툴바가 사라지게 하거나, 예를 들어, 마우스를 위에 놓을 때 또는 어떤 다른 사용자 입력을 통해 나타나도록 재구성되게 한다.

일부 실시예들에서, 강조 표시 규칙은 식별가능 영역에 대한 사용자의 관심을 끌기 위해 식별가능 영역과 함께 미니 툴바를(또는 식별가능 영역만을) 강조(emphasis)하여 보여주라고 애플리케이션에 지시한다. 식별가능 영역이 텍스트를 포함하는 실시예들에서, 예시적인 강조 유형들은 폰트 종류, 폰트 크기, 볼드체(boldface), 이탤릭체(italics), 밑줄, 윗줄, 대문자 표시, 문자 간격, 문장 부호, 색, 이들의 조합 등을 포함하지만, 이들로 제한되지 않는다. 식별가능 영역이 적어도 하나의 그래픽, 아이콘, 그림, 또는 심볼을 포함하는 실시예들에서, 예시적인 강조 유형들은 크기, 색, 콘트라스트, 밝기, 그레이 스케일(gray scale), 특수 효과, 애니메이션, 이들의 조합 등을 포함하지만, 이들로 제한되지 않는다. 식별가능 영역이 비디오를 포함하는 실시예들에서, 예시적인 강조 유형들은 자동 재생, 자동 확대, 자동 전체 화면 등을 포함하지만, 이들로 제한되지 않는다. 다른 강조 유형들도 고려된다.

도 2로 돌아가, 동작(208)으로 가서, 본 시스템은 디스플레이된 툴바로부터의 명령 선택이 선택되었는지를 판정한다. 애플리케이션이, 동작(208)에서, 명령이 선택된 것으로 판정하는 경우, 본 방법은 선택된 명령이 실행되는 동작(210)으로, 그리고 다음 예측된 명령이 식별가능 영역 상에 노출되는 동작(212)으로 진행한다. 동작들(210 및 212)은 미세하게(atomically) 수행될 수 있거나 수행되는 것처럼 보일 수 있다.

동작(214)으로 이행하여, (예측된 명령을 노출시키는 식별가능 영역을 제공하는) 툴바 또는 메뉴가 해제(dismiss)된다. 예를 들어, 사용자는 메뉴로부터 떨어져 있는 화면 표면의 구역을 클릭(또는 터치)하는 것에 의해 메뉴를 해제시킬 수 있다. 디스플레이는 명령의 선택 시에 해제될 수 있거나, 사용자가 툴바를 벗어나 동작을 수행할 때까지 계속 존재할 것이다. 디스플레이가 또한 예측 명령을 노출시키기 위한 조건들이 충족되지 않는 경우에 또는 툴바를 불투명하게 만들기 위해 툴바 위에서 마우스가 맴도는 움직임이 없는 경우에 해제될 수 있다. 다른 해제 상호작용들이 또한 고려된다.

다양한 실시예들에 따르면, 예측 영역은 예측들이 유용할 수 있는 한 부류의 문제들에 기반하여 명령들을 노출시킨다. 명령이 요망된다는 사용자에 의한 표시의 수신 시에(또는 그 표시에 응답하여) 예측 명령들이 노출될 수 있다. 이들 표시는 오른쪽 버튼을 클릭하는 것, 탭핑, 하이라이트 처리, 또는 어떤 콘텐츠의 선택을 나타내는 것 등에 의해 사용자가 도구를 찾고 있다는 표시; 일정 기간의 무활동 또는 리본 탭(ribbon tab), 메뉴, 또는 다른 툴바를 반복하여 검색하는 등에 의해 사용자가 곤경에 빠져 있거나 고생을 하고 있다는 표시를 포함할 수 있지만, 이들로 제한되지 않는다. 예측 명령을 노출시키기 위한 조건으로서 무활동이 사용되는 실시예들에서, 무활동은 초, 분, 시간, 또는 다른 시간 간격에 기반할 수 있다.

도 6은 본 발명의 일 실시예에 따른, 터치 기반 예측 컨텍스트 툴바 사용자 인터페이스를 갖는 예시적인 태블릿 디바이스(600)를 나타낸 것이다.

터치 및 포인터 혼합 디바이스 시스템(mixed touch and pointer device system)의 터치 모드에서 또는 순수 터치 디바이스의 경우, 사용자 인터페이스는 툴바로부터 명령을 선택하기 위해 손가락을 사용하는 것을 수용하기 위해 더 크게 만들어진다. 캔버스 공간을 절감하기 위해, 명령들 중 일부가 보이지 않게 될 수 있고, 이용가능한 것과 상이한, 사용자가 원할 수 있는 무언가가 있을 수 있다. 어떤 경우들에서, 사용자 커스터마이제이션(user customization)이 이용가능하다. 그렇지만, 일부 사용자들은 이용가능한 피쳐들 또는 기능들을 모두 알고 있지는 않을 수 있고, 일부 비고급 사용자들은 툴바 또는 메뉴 상의 이용가능한 도구들을 조절하는 것에 대한 경험이 없을 수 있다. 특정의 조건들 하에서 디스플레이되는 식별가능 영역에 예측된 명령들을 노출시키는 것에 의해, 캔버스 공간이 절감될 수 있고, 필요하게 될 가능성이 가장 많은 도구들이 사용자에게 제시된다.

예시된 실시예에서 도 6을 참조하면, 미니 툴바(610) 및 식별가능 영역(612)을 갖는 터치 기반 예측 컨텍스트 툴바 사용자 인터페이스가 단일 또는 다중 터치 제스처를 통한 콘텐츠(620)의 선택에 의해 트리거된다. 터치 기반 예측 컨텍스트 툴바 사용자 인터페이스의 기능은 마우스 또는 기타 사용자 입력 인터페이스에 대한 기능과 유사할 수 있다.

터치 기반 사용자 인터페이스의 경우, 미니 툴바 상의 영역을 사용하는 것에 의해, 예측된 명령들이 바로 사용자의 손가락 끝에 있다. 반면에, 마우스 또는 기타 입력 디바이스 모양의 사용자 인터페이스의 경우, 미니 툴바 상의 영역을 사용하는 것에 의해, 빈번히 사용되는 기능들에 도달하기 위해 더 적은 마우스 움직임이 필요하다.

도면들에 예시된 예시적인 툴바들이 서식 설정 옵션들을 갖는 것으로 도시되어 있지만, 실시예들이 이러한 컨트롤들로 제한되지 않는다.

도 7a 내지 도 7c는 예측 컨텍스트 툴바 피쳐를 나타낸 것이다. 상세하게는, 예시적인 사용 흐름이 도 7a 내지 도 7c에 도시되어 있다. 예를 들어, 사용자는 임무를 위해 청색에 기반한 저널 엔트리(journal entry)를 작성하고 있다. 이 사용자가 자신의 생각을 반영하는 텍스트를 타이핑하는 것 - 일부는 목록 형태로 -; 헤더를 만드는 것; 중요 항목들로 텍스트의 섹션들을 서식 설정하는 것; 및 (예를 들어, 그림 또는 비디오로부터의) 영상을 삽입하는 것을 비롯한 유사한 거동들로 저널 엔트리들을 종종 준비하는 경우가 반영된다.

도 7a를 참조하면, 사용자가 청색에 관련된 주제들을 자유로운 형식으로 타이핑했다는 것을 알 수 있다. "Things that are blue:"의 목록일 수 있는 것이 "Blueberries", "My favorite jacket", 및 "Lapis Lazuli", 및 그에 후속하는 "Things appear blue that emit at a wavelength of 450 - 495 nm"이라는 서술문과 함께 디스플레이된다. 이 텍스트를 서식 설정하기 위해, 사용자는 적절한 헤더 스타일(header style)을 적용하기 위해 "Things that are blue"라고 되어 있는 텍스트를 하이라이트 처리할(702) 수 있다. 사용자가 일련의 단락들을 타이핑하기 전후에 이 작업을 수행했기 때문에, 예측 알고리즘은 다수의 단락들에서의 텍스트가 입력된 후에 선택된 텍스트가 선행 단락 위치로부터 온 것일 때, 첫 번째 텍스트 선택 동안 스타일 서식 설정을 제안해야 한다는 것을 알 수 있다.

도 7a로부터 알 수 있는 바와 같이, 사용자가 커서(710)를 사용하여 [하이라이트 처리된 부분(702)으로 나타나는] 텍스트 "Things that are blue:"를 선택할 때, 사용자가 스타일을 용이하게 선택하도록, 이 경우에 식별가능 예측 명령 영역(712)이 미니 툴바의 일부로서 나타난다.

사용자는 "Things that are blue:" 제목 아래의 단락들 중 일부로부터 중요 항목 목록(bulleted list)을 생성하는 것과 같은, 입력된 텍스트에 대해 다수의 서식 설정 단계들을 계속하여 수행할 수 있다. 도 7b는 문장 "Things appear blue that emit at a wavelength of 450 - 495 nm"이 잘라내진(cut) 직후의 프로세스를 포착한 것이다. 여기서, 사용자는 텍스트를 목록 위쪽의 위치로 이동시키고 있다. 툴바가 나타나게 하기 위해, 사용자는 잘라내진 문장을 붙여넣기(paste) 하고자 하는 위치에서, 커서(710)를 사용하여, 오른쪽 버튼을 클릭할 수 있다. 오른쪽 버튼 클릭 동작은 툴바가 디스플레이되게 하고, 예측된 "paste" 명령 - 예측된 밑줄(underlining) 명령과 함께 직전의 "cut" 명령에 기반함 - 을 갖는 식별가능 예측 명령 영역(714)이 나타난다. 이러한 두 번째 명령은 사용자가 "cut" 명령을 사용한 후에 밑줄 명령을 수행한 다른 때에 기반하여 예측되었을 수 있다.

도 7c로 이동하여, 사용자는 이제 목록 상의 각각의 항목에 대한 그림들을 자신의 문서에 삽입하고 있다. 식별가능 영역(716)은 이제, 예를 들어, 컨텍스트 및 사용자의 선행 명령들에 기반하여, 명령들을 노출시킨다.

기본 예측 알고리즘이 임의의 적당한 알고리즘일 수 있다는 것과 도 7a 내지 도 7c에 도시된 예가 예측 컨텍스트 툴바 피쳐가 어떻게 사용될 수 있는지의 하나의 예를 설명하기 위한 것에 불과하다는 것이 이해되어야 한다.

도 9는 일부 실시예들에서 사용되는 컴퓨팅 디바이스의 구성요소들을 나타낸 블록도를 도시한 것이다. 예를 들어, 시스템(900)은 하나 이상의 애플리케이션들을 실행할 수 있는 데스크톱 또는 노트북 컴퓨터 또는 태블릿 또는 스마트폰 등의 형태로 되어 있는 사용자 또는 클라이언트 디바이스를 구현하는데 사용될 수 있다. 일부 실시예들에서, 시스템(900)은 일체형 PDA 및 무선 전화와 같은 일체형 컴퓨팅 디바이스이다. 본 명세서에 기술된 시스템의 태양들이 모바일 컴퓨터 및 종래의 데스크톱 컴퓨터 둘 다는 물론, 서버 컴퓨터 및 기타 컴퓨터 시스템에 적용가능하다는 것이 이해되어야 한다. 예를 들어, 터치스크린 또는 터치 기반 디바이스(터치 기반 트랙 패드 또는 마우스를 포함하나, 이들로 제한되지 않음)가 모바일 디바이스 및 데스크톱 디바이스 둘 다에 적용가능할 수 있다.

시스템(900)은 하나 이상의 애플리케이션 프로그램들(910) 및/또는 운영 체제(920)의 지시에 따라 데이터를 처리하는 프로세서(905)를 포함한다. 프로세서(905)는 SoC(system-on-chip)일 수 있거나, 센서들[예컨대, 자력계, 주변광 센서, 근접 센서, 가속도계, 자이로스코프, GPS(Global Positioning System) 센서, 온도 센서, 충격 센서] 및 네트워크 연결 구성요소들[예컨대, 무선/네트워크 인터페이스(935)를 포함함]과 같은 하나 이상의 다른 구성요소들과 함께 그에 포함될 수 있다.

하나 이상의 애플리케이션 프로그램들(910)이 메모리(915)에 로드되어 운영 체제(920) 상에서 또는 그와 관련하여 실행될 수 있다. 애플리케이션 프로그램들의 예는 전화 걸기(phone dialer) 프로그램, 이메일 프로그램, PIM 프로그램, 워드 프로세싱 프로그램, 스프레드시트 프로그램, 인터넷 브라우저 프로그램, 메시징 프로그램, 게임 프로그램 등을 포함한다. 다양한 클라이언트 및 서버 애플리케이션들을 비롯한 기타 애플리케이션들이 메모리(915)에 로드되어 디바이스 상에서 실행될 수 있다.

메모리(915)가 일체형 및 이동식 메모리 구성요소들을 비롯한 하나 이상의 메모리 구성요소들을 포함할 수 있다는 것과 메모리 구성요소들 중 하나 이상이 운영 체제를 저장할 수 있다는 것을 알 수 있다. 다양한 실시예들에 따르면, 운영 체제는 Symbian Ltd.로부터의 SYMBIAN OS, Microsoft Corporation으로부터의 WINDOWS MOBILE OS, Microsoft Corporation으로부터의 WINDOWS PHONE OS, Microsoft Corporation으로부터의 WINDOWS, Hewlett-Packard Company로부터의 PALM WEBOS, Research In Motion Limited로부터의 BLACKBERRY OS, Apple Inc.로부터의 IOS, 및 Google Inc.로부터의 ANDROID OS를 포함하지만, 이들로 제한되지 않는다. 기타 운영 체제들이 생각되고 있다.

시스템(900)은 메모리(915) 내에 비휘발성 저장소(925)도 포함한다. 비휘발성 저장소(925)는 시스템(900)의 전원이 꺼졌을 때 상실되어서는 안되는 영속적 정보를 저장하는데 사용될 수 있다. 애플리케이션 프로그램들(910)은, 생산성 애플리케이션 등에서 콘텐츠의 생성 또는 수정 동안 실행되는 명령들의 기록과 같은, 정보를 사용하고 비휘발성 저장소(925)에 저장할 수 있다. 비휘발성 저장소(925)에 저장된 정보를 호스트 컴퓨터 시스템에 저장된 대응하는 정보와 동기화된 채로 유지하기 위해, 동기화 애플리케이션이 또한 포함되고 호스트 컴퓨터 시스템(서버 등) 상의 대응하는 동기화 애플리케이션과 상호작용하기 위한 애플리케이션 프로그램들(910)의 일부로서 존재할 수 있다.

시스템(900)은 하나 이상의 배터리들 및/또는 에너지 하비스터(energy harvester)[주변 방사(ambient-radiation), 광전기(photovoltaic), 압전기(piezoelectric), 열전기(thermoelectric), 정전기(electrostatic) 등]로서 구현될 수 있는 전원(930)을 가진다. 전원(930)은 또한 배터리를 보완하거나 재충전하는 AC 어댑터 또는 전원 도킹 크레이들(powered docking cradle)과 같은 외부 전원을 추가로 포함할 수 있다.

시스템(900)은 또한 무선 주파수 통신을 전송 및 수신하는 기능을 수행하는 무선/네트워크 인터페이스(935)를 포함할 수 있다. 무선/네트워크 인터페이스(935)는, 통신 사업자 또는 서비스 제공자를 통해, 시스템(900)과 "외부 세계" 간의 무선 연결을 용이하게 한다. 무선/네트워크 인터페이스(935)로의/로부터의 전송은 무선/네트워크 인터페이스(935)에 의해 수신되는 통신을 애플리케이션 프로그램들(910)으로 그리고 그 반대로 배포하는 운영 체제(920)의 제어 하에서 수행된다.

무선/네트워크 인터페이스(935)는 시스템(900)이 네트워크를 거쳐 서버 컴퓨팅 디바이스 및 기타 클라이언트 디바이스를 비롯한 기타 컴퓨팅 디바이스들과 통신할 수 있게 한다.

오디오 인터페이스(940)는 사용자에게 가청 신호를 제공하고 또 사용자로부터 가청 신호를 수신하기 위해 사용될 수 있다. 예를 들어, 오디오 인터페이스(940)는, 전화 대화를 용이하게 해주는 것 등을 위해, 가청 출력을 제공하는 스피커에 그리고 가청 입력을 수신하는 마이크에 결합되어 있을 수 있다. 시스템(900)은 정지 영상, 비디오 스트림 등을 기록하기 위해 선택적인 카메라(도시 생략)의 동작을 가능하게 하는 비디오 인터페이스(945)를 추가로 포함할 수 있다.

시각적 출력이 터치 스크린 디스플레이(955)를 통해 제공될 수 있다. 어떤 경우들에서, 디스플레이는 터치 스크린이 아닐 수 있고, 버튼, 키, 롤러 휠(roller wheel) 등과 같은 사용자 입력 요소들이 디스플레이(955) 상에 그래픽 사용자 인터페이스의 일부로서 디스플레이되는 항목들을 선택하는데 사용된다. 사용자 입력을 위해 키패드(960)가 또한 포함될 수 있다. 키패드(960)는 물리적 키패드 또는 터치 스크린 디스플레이(955) 상에 발생되는 소프트 키패드일 수 있다. 일부 실시예들에서, 디스플레이 및 키패드가 결합되어 있다. 일부 실시예들에서, 오디오 인터페이스(940) 및 비디오 인터페이스(945)를 비롯한 두 개 이상의 입출력(I/O) 구성요소들이 결합될 수 있다. 개별 프로세서들이 I/O 구성요소들에 포함될 수 있거나, 처리 기능이 프로세스(905)에 내장되어 있을 수 있다.

디스플레이(955)는 GUI(graphical user interface) 요소들, 예측 컨텍스트 툴바 사용자 인터페이스, 텍스트, 영상, 비디오, 통지, 가상 버튼, 가상 키보드, 메시징 데이터, 인터넷 콘텐츠, 디바이스 상태, 시간, 날짜, 달력 데이터, 기본 설정, 지도 정보, 위치 정보, 및 시각적 형태로 제시될 수 있는 임의의 다른 정보를 제시할 수 있다. 일부 실시예들에서, 디스플레이(955)는 임의의 능동 또는 수동 매트릭스 기술 및 임의의 백라이팅 기술(사용되는 경우)을 이용하는 LCD(liquid crystal display)이다. 일부 실시예들에서, 디스플레이(955)는 OLED(organic light emitting diode) 디스플레이이다. 물론, 기타 디스플레이 유형들이 생각되고 있다.

(디스플레이와 연관되어 있을 수 있는) 터치스크린은 터치의 존재 및 위치를 검출하도록 구성된 입력 디바이스이다. 터치스크린은 저항성 터치스크린, 용량성 터치스크린, 표면 탄성파 터치스크린, 적외선 터치스크린, 광학 영상(optical imaging) 터치스크린, 분산 신호(dispersive signal) 터치스크린, 음향 펄스 인식(acoustic pulse recognition) 터치스크린일 수 있거나, 임의의 다른 터치스크린 기술을 이용할 수 있다. 일부 실시예들에서, 터치스크린은 사용자가 디스플레이 상에 제시되는 물체들 또는 기타 정보와 상호작용하기 위해 하나 이상의 터치들을 사용할 수 있게 하기 위해 디스플레이 상부에 투명층으로서 포함된다.

다른 실시예들에서, 터치 패드가 디스플레이를 포함하지 않는 컴퓨팅 디바이스의 표면 상에 포함될 수 있다. 예를 들어, 컴퓨팅 디바이스는 디스플레이 상부에 포함된 터치스크린 및 디스플레이의 반대쪽에 있는 표면 상의 터치 패드를 가질 수 있다.

일부 실시예들에서, 터치스크린은 단일 터치 터치스크린이다. 다른 실시예들에서, 터치스크린은 다중 터치 터치스크린이다. 일부 실시예들에서, 터치스크린은 개별 터치, 단일 터치 제스처, 및/또는 다중 터치 제스처를 검출하도록 구성되어 있다. 이들은 총칭하여 본 명세서에서 편의상 제스처라고 지칭된다. 몇 가지 제스처들이 이제부터 기술될 것이다. 이들 제스처가 예시적인 것이고 첨부된 청구범위의 범주를 제한하기 위한 것이 아님을 잘 알 것이다. 더욱이, 기술된 제스처들, 부가의 제스처들, 및/또는 대안의 제스처들이 터치스크린에서 사용하기 위해 소프트웨어로 구현될 수 있다. 그에 따라, 개발자는 특정의 애플리케이션 프로그램에 관련되는 제스처들을 생성할 수 있다.

일부 실시예들에서, 터치스크린은 사용자가 디스플레이 상에 제시된 항목 상에서 터치스크린을 한 번 탭핑하는 탭핑 제스처를 지원한다. 탭핑 제스처는 무엇이든 사용자가 탭핑하는 것을 열거나 시작하는 것(이들로 제한되지 않음)을 비롯한 다양한 이유들로 사용될 수 있다. 일부 실시예들에서, 터치스크린은 사용자가 디스플레이 상에 제시된 항목 상에서 터치스크린을 두 번 탭핑하는 두 번 탭핑 제스처(double tap gesture)를 지원한다. 두 번 탭핑 제스처는 스테이지들에서 줌인 또는 줌아웃하는 것, 및 텍스트의 단어를 선택하는 것(이들로 제한되지 않음)을 비롯한 다양한 이유들로 사용될 수 있다. 일부 실시예들에서, 터치스크린은 사용자가 터치스크린을 탭핑하고 적어도 사전 정의된 시간 동안 접촉을 유지하는 길게 누르기(tap and hold) 제스처를 지원한다. 길게 누르기 제스처는 컨텍스트 관련 메뉴를 여는 것(이들로 제한되지 않음)을 비롯한 다양한 이유들로 사용될 수 있다.

일부 실시예들에서, 터치스크린은 사용자가 터치스크린 상에 손가락을 놓고 터치스크린 상에서 손가락을 이동시키는 동안 터치스크린과의 접촉을 유지하는 패닝 제스처를 지원한다. 패닝 제스처는 영상 또는 메뉴를 제어된 속도로 화면을 가로질러 이동시키는 것(이들로 제한되지 않음)을 비롯한 다양한 이유들로 사용될 수 있다. 다중 손가락 패닝 제스처들이 또한 생각되고 있다. 일부 실시예들에서, 터치스크린은 사용자가 화면이 움직이기를 원하는 방향으로 사용자가 손가락을 스와이프하는 플리킹(flick) 제스처를 지원한다. 플리킹 제스처는 메뉴 또는 페이지를 수평으로 또는 수직으로 스크롤하는 것(이들로 제한되지 않음)을 비롯한 다양한 이유들로 사용될 수 있다. 일부 실시예들에서, 터치스크린은 사용자가 터치스크린 상에서 두 손가락(예컨대, 엄지손가락 및 집게손가락)으로 꼬집는 동작을 하거나 두 손가락을 서로 떨어지게 움직이는 축소 및 확대(pinch and stretch) 제스처를 지원한다. 축소 및 확대 제스처는 웹 사이트, 지도, 또는 그림을 서서히 줌인 또는 줌아웃하는 것을 비롯한 다양한 이유들로 사용될 수 있다.

이상의 제스처들이 제스처들을 수행하기 위해 하나 이상의 손가락들을 사용하는 것을 참조하여 기술되어 있지만, 발가락, 코, 턱, 또는 스타일러스와 같은 물체 등의 다른 부속 기관(appendage)이 터치스크린과 상호작용하는데 사용될 수 있다. 그에 따라, 이상의 제스처들은 예시적인 것으로 이해되어야 하고, 결코 제한하는 것으로 해석되어서는 안된다.

시스템(900)을 구현하는 임의의 모바일 또는 데스크톱 컴퓨팅 디바이스가 기술된 것보다 더 많거나 더 적은 피쳐들 또는 기능을 가질 수 있고, 본 명세서에 기술된 구성들로 제한되지 않는다는 것을 잘 알 것이다.

다양한 구현들에서, 시스템(900)을 통해 저장되는 데이터/정보는 디바이스 상에 로컬적으로 저장된 데이터 캐시들을 포함할 수 있거나, 데이터가 무선/네트워크 인터페이스(935)를 통해 또는 디바이스 및 디바이스와 연관된 별도의 컴퓨팅 디바이스(예를 들어, 인터넷과 같은 분산 컴퓨팅 네트워크에서의 서버 컴퓨터) 사이의 유선 연결을 통해 디바이스에 의해 액세스될 수 있는 임의의 수의 저장 매체 상에 저장될 수 있다. 잘 알 것인 바와 같이, 이러한 데이터/정보는 무선 인터페이스(935) 또는 분산 컴퓨팅 네트워크를 거쳐 디바이스를 통해 액세스될 수 있다. 이와 유사하게, 이러한 데이터/정보는, 전자 메일 및 협업적 데이터/정보 공유 시스템을 비롯한, 공지된 데이터/정보 전송 및 저장 수단에 따라 저장 및 사용을 위해 컴퓨팅 디바이스들 사이에서 용이하게 전송될 수 있다.

본 명세서에 기재된 특정의 기법들이 일반적으로 하나 이상의 컴퓨팅 디바이스들에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령어들과 관련하여 기술될 수 있다. 일반적으로, 프로그램 모듈은 특정의 작업들을 수행하거나 특정의 추상 데이터 유형들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 및 데이터 구조를 포함한다.

실시예들이 컴퓨터 프로세스, 컴퓨팅 시스템, 또는 제조 물품(컴퓨터 프로그램 제품 또는 컴퓨터 판독가능 매체 등)으로서 구현될 수 있다. 본 명세서에 기술된 특정의 방법들 및 프로세스들이 하나 이상의 컴퓨터 판독가능 매체 상에 저장될 수 있는 코드 및/또는 데이터로서 구현될 수 있다. 본 발명의 특정의 실시예들은 컴퓨터 시스템의 형태로 된 기계의 사용을 생각하고 있으며, 일련의 명령어들은, 시스템 내에서 실행될 때, 시스템으로 하여금 앞서 논의된 방법들 중 임의의 하나 이상을 수행하게 할 수 있다. 특정의 컴퓨터 프로그램 제품들은 컴퓨터 시스템에 의해 판독가능하고 컴퓨터 프로세스를 실행하는 명령어들로 된 컴퓨터 프로그램을 인코딩하는 하나 이상의 컴퓨터 판독가능 저장 매체일 수 있다.

본 발명의 실시예에 따르면, 컴퓨터 판독가능 매체는 컴퓨터 시스템에 의해 액세스될 수 있는 임의의 이용가능한 컴퓨터 판독가능 저장 매체 또는 통신 매체일 수 있다.

통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터를 반송파 또는 기타 전송 메카니즘과 같은 변조된 데이터 신호(modulated data signal)에 포함시키고, 임의의 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 변경 또는 설정된 신호를 의미한다. 제한이 아닌 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체와, 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다. 상기한 것들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 매체의 범주 내에 포함되어야 한다.

제한이 아닌 예로서, 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함할 수 있다. 예를 들어, 컴퓨터 판독가능 저장 매체는 랜덤 액세스 메모리(RAM, DRAM, SRAM)와 같은 휘발성 메모리; 및 플래시 메모리, 다양한 판독 전용 메모리(ROM, PROM, EPROM, EEPROM), 자기 및 강자성/강유전성 메모리(MRAM, FeRAM), 및 자기 및 광 저장 디바이스(하드 드라이브, 자기 테이프, CD, DVD)와 같은 휘발성 메모리; 또는 컴퓨터 시스템에서 사용하기 위한 컴퓨터 판독가능 정보/데이터를 저장할 수 있는 현재 공지되어 있거나 나중에 개발되는 기타 매체를 포함한다. "컴퓨터 판독가능 저장 매체"는 임의의 반송파 또는 전파 신호를 포함하는 것으로 파악되거나 해석되어서는 안된다.

그에 부가하여, 본 명세서에 기술된 방법들 및 프로세스들이 하드웨어 모듈로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 ASIC(application-specific integrated circuit) 칩, FPGA(field-programmable gate array), 및 현재 공지되어 있거나 나중에 개발되는 기타 프로그램가능 논리 디바이스(이들로 제한되지 않음)을 포함할 수 있다. 하드웨어 모듈이 활성화될 때, 하드웨어 모듈은 하드웨어 모듈 내에 포함된 방법들 및 프로세스들을 수행한다.

본 명세서에서 "하나의 실시예", "일 실시예", "예시적인 실시예" 등에 대한 임의의 언급은 그 실시예와 관련하여 기술된 특정의 피쳐, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함되어 있다는 것을 의미한다. 본 명세서의 여러 곳에서 나오는 이러한 문구들이 모두 동일한 실시예를 지칭하는 것은 아니다. 그에 부가하여, 본 명세서에 개시된 임의의 발명 또는 그의 실시예의 임의의 요소들 또는 제한들이 본 명세서에 개시된 임의의 다른 발명 또는 그의 실시예의 임의의 및/또는 모든 다른 요소들 또는 제한들과 (개별적으로 또는 임의의 조합으로) 결합될 수 있고, 본 발명의 범주를 갖는 모든 이러한 조합들(이들로 제한되지 않음)이 생각되고 있다.

본 명세서에 기술된 예들 및 실시예들이 단지 예시를 위한 것이고 그를 바탕으로 한 다양한 수정들 또는 변경들이 통상의 기술자에게 연상될 것이며 본 출원의 사상 및 범위 내에 포함된다는 것을 잘 알 것이다.

Claims (10)

1. 사용자 인터페이스에 있어서,
   캔버스(canvas); 및
   상기 캔버스와의 상호작용에 응답하여 동적 예측된 명령(dynamic predicted command)들이 노출되는, 상기 캔버스의 지정된 영역, 툴바(tool bar)의 지정된 영역, 또는 사이드 바(sidebar)나 작업 창(task pane)의 지정된 영역과 같은 식별가능 영역(identifiable region)
   을 포함하는, 사용자 인터페이스.
2. 제1항에 있어서,
   상기 상호작용은 콘텐츠의 선택, 오른쪽 버튼 클릭(right click), 또는 제스처를 포함하는 것인, 사용자 인터페이스.
3. 제1항 또는 제2항에 있어서,
   상기 예측된 명령들은 선택된 콘텐츠에 관련되고;
   선택적으로, 상기 예측된 명령들은 적어도 하나의 선행 명령과 추가로 관련되는 것인, 사용자 인터페이스.
4. 제1항 내지 제3항 중 어느 한에 있어서,
   상기 식별가능 영역은 1 내지 5 개의 명령들을 동시에 노출시키도록 구성되는 것인, 사용자 인터페이스.
5. 프로세서에 의해 실행될 때, 방법을 수행하는 명령어들을 저장한 컴퓨터 판독가능 저장 매체에 있어서,
   상기 방법은,
   예측 명령(predictive command)을 노출시키기 위한 조건들이 충족되는지 여부를 판정하는 단계;
   상기 예측 명령을 노출시키기 위한 조건들과 연관된 컨텍스트에 따라 예측된 명령들이 노출되는 식별가능 영역을 디스플레이하는 단계;
   하나 이상의 동적 예측된 명령들을 상기 식별가능 영역 상에 노출시키는 단계; 및
   노출된 명령의 선택을 수신한 것에 응답하여 상기 노출된 명령을 실행하는 단계
   를 포함하는 것인, 컴퓨터 판독가능 저장 매체.
6. 제5항에 있어서,
   상기 방법은, 상기 캔버스와의 해제 상호작용(dismissal interaction)이 수신된 것으로 판정될 때 상기 식별가능 영역을 해제시키는 단계를 더 포함하는, 컴퓨터 판독가능 저장 매체.
7. 제5항에 있어서,
   상기 예측 명령을 노출시키기 위한 조건들은, 콘텐츠의 선택, 또는 콘텐츠 상에서의 오른쪽 버튼 클릭 또는 제스처, 또는 메뉴 또는 탭들의 반복된 선택을 포함하는 것인, 컴퓨터 판독가능 저장 매체.
8. 제5항에 있어서,
   상기 식별가능 영역을 디스플레이하는 단계는, 상기 예측된 명령들을 노출시키기 위한 확장 영역을 가지는 미니 툴바를 디스플레이하는 단계를 포함하는 것인, 컴퓨터 판독가능 저장 매체.
9. 제5항에 있어서,
   상기 예측 명령을 노출시키기 위한 조건들과 연관된 컨텍스트는, 상기 콘텐츠의 선택 및 적어도 하나의 선행 명령에 관련된 정보를 포함하는 것인, 컴퓨터 판독가능 저장 매체.
10. 제5항에 있어서,
    상기 식별가능 영역을 디스플레이하는 단계는, 상기 식별가능 영역을 커서에 근접한 위치에 디스플레이하는 단계를 포함하는 것인, 컴퓨터 판독가능 저장 매체.

Images