KR20100132052A - 인쇄물용 분리된 애플리케이션 - Google Patents

인쇄물용 분리된 애플리케이션 Download PDF

Info

Publication number
KR20100132052A
KR20100132052A KR1020107024272A KR20107024272A KR20100132052A KR 20100132052 A KR20100132052 A KR 20100132052A KR 1020107024272 A KR1020107024272 A KR 1020107024272A KR 20107024272 A KR20107024272 A KR 20107024272A KR 20100132052 A KR20100132052 A KR 20100132052A
Authority
KR
South Korea
Prior art keywords
smartpen
application
user
printed content
point pattern
Prior art date
Application number
KR1020107024272A
Other languages
English (en)
Other versions
KR101971161B1 (ko
Inventor
앤디 반 스체크
스테판 버스트롬
짐 마르그라프
Original Assignee
라이브스크라이브, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라이브스크라이브, 인크. filed Critical 라이브스크라이브, 인크.
Publication of KR20100132052A publication Critical patent/KR20100132052A/ko
Application granted granted Critical
Publication of KR101971161B1 publication Critical patent/KR101971161B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

인쇄물에 대한 대화형 디지털 콘텐츠가 스마트 펜 연산 시스템에서 실행하는 애플리케이션을 사용하여 제공된다. 애플리케이션 및 인쇄물은 개별 엔터티에 의해 개발될 수도 있지만, 스마트 펜 연산 시스템의 사용자의 관점에서는 잘 집적되도록 나타난다. 제 1 엔터티에 의해 생성된 인쇄된 콘텐츠가 획득된다. 인쇄된 콘텐츠는 점 패턴과 관련된다. 인쇄된 콘텐츠와 관련되고 점 패턴에 연결되는 애플리케이션은 개별적인 제 2 엔터티에 의해 생성된다. 애플리케이션은, 점 패턴 내의 선택에 응답하여 인쇄된 콘텐츠에 관한 기능을 호출하는 컴퓨터 프로그램 명령을 포함한다. 점 패턴 내의 선택은 스마트 펜 디바이스에 의해 이루어지고, 기능은 스마트 펜 디바이스의 출력 디바이스 (예를 들어, 디스플레이 또는 스피커)를 통해 사용자에게 출력을 제공하는 것을 포함한다.

Description

인쇄물용 분리된 애플리케이션{DECOUPLED APPLICATIONS FOR PRINTED MATERIALS}
관련 출원에 대한 상호 참조
이 출원은 전체가 참조로서 포함되며, 2008년 4월 3일에 출원된 미국 가 특허출원 제 61/042,235호에 대한 이익을 주장한다.
배경
이 발명은 일반적으로 펜 기반 연산 시스템에 관한 것이며, 더욱 상세하게는 펜 기반 연산 시스템으로 사용자를 위한 인쇄물용 대화형 (interactive) 콘텐츠를 개발하는 것에 관한 것이다.
책, 잡지, 지도 및 다른 참조물과 같은 인쇄물은 일반적으로 대화형이지 않다. 이들 물질은, 물질을 더욱 교육적이고, 즐겁고, 및/또는 매력적으로 만드는 대화형 디지털 콘텐츠를 부가함으로써 향상될 수 있다. 예를 들어, 인쇄된 세계지도는 디지털 콘텐츠로 향상될 수 있어, 사용자는 지도상에서 국가를 선택할 수 있고, 국가를 설명하는 디지털 텍스트 또는 오디오가 제공될 수 있다.
통상적으로, 인쇄물이 디지털 콘텐츠로 향상되거나 결합된 시스템에서, 인쇄물 및 디지털 콘텐츠는 서로 동작하도록 특별히 및/또는 의도적으로 설계된다. 종종, 인쇄물 및 디지털 콘텐츠는 동일한 엔터티에 의해 또는 협력하는 엔터티에 의해 생성된다. 그러나 인쇄물을 생성하는데 요구되는 스킬 및 자원은 대화형 디지털 콘텐츠를 생성하는데 요구되는 것들과 스킬 및 자원과 종종 상이하다. 디지털 콘텐츠용으로 특별히 및/또는 의도적으로 설계되지 않은 현존하는 인쇄물에 디지털 콘텐츠를 부가하는 것은 종종 어렵다. 또한, 대화형 콘텐츠의 개발자는 관심 있는 인쇄물에 법적 권리는 갖지 않을 수도 있지만, 인쇄물에 상당한 가치를 부가할 수도 있다.
따라서, 디지털 콘텐츠가 인쇄물과 분리된 상태로, 인쇄물에 대한 대화형 디지털 콘텐츠의 개발을 허용하는 기술이 필요하다.
본 발명의 실시형태는 스마트 펜 연산 시스템에서 실행하는 애플리케이션을 사용하여 인쇄물에 대화형 디지털 콘텐츠를 제공하는 신규한 방법을 제공한다. 애플리케이션과의 사용을 위해, 애플리케이션은 인쇄물과 분리되며, 애플리케이션과 인쇄물은 개별적으로 개발될 수도 있다. 인쇄물과 개별적으로 개발됨에도 불구하고, 애플리케이션은 스마트 펜 연산 시스템의 사용자에 대한 관점으로부터 인쇄물과 함께 양호하게 집적될 수 있다.
일 실시형태에서, 제 1 엔터티에 의해 생성된 인쇄된 콘텐츠가 획득된다. 이 인쇄된 콘텐츠는 점 패턴과 관련된다. 인쇄된 콘텐츠는 점 패턴과 오버레이될 수도 있다. 인쇄된 콘텐츠와 연관되며 점 패턴에 연결된 애플리케이션은 개별적인 제 2 엔터티에 의해 생성된다. 애플리케이션은 점 패턴 내에서의 선택에 반응하여 인쇄된 콘텐츠에 관련된 기능을 호출하는 실행가능한 컴퓨터 프로그램 명령을 저장하는 컴퓨터 판독가능 매체를 포함한다. 점 패턴 내에서의 선택은 디지털 펜 디바이스를 사용하여 이루어지고, 기능은 디지털 펜 디바이스의 출력 디바이스 (예를 들어, 디스플레이 또는 스피커)를 통해 사용자에게 출력을 제공하는 것을 포함한다. 일 실시형태에서, 복수의 상이한 애플리케이션은 특정 인쇄물에 관련될 수 있다. 특정 애플리케이션은 인쇄된 콘텐츠와의 사용을 위해 사용자에 의해 선택될 수도 있다.
도 1은 본 발명의 일 실시형태에 따른 펜 기반 연산 시스템의 개략도이다.
도 2는 본 발명의 일 실시형태에 따른 펜 기반 연산 시스템에서의 사용을 위한 스마트 펜의 도면이다.
도 3은 스마트 펜 연산 시스템의 애플리케이션을 사용하여 인쇄물에 대화형 디지털 콘텐츠를 제공하는 공정의 일 실시형태를 나타낸다.
도 4는 인쇄물에 대화형 디지털 콘텐츠를 제공하는 애플리케이션 공정의 일 실시형태를 나타낸다.
도 5는 점 패턴으로 오버레이된 인쇄물의 예를 나타낸다.
도면은 오직 설명의 목적을 위해 본 발명의 다양한 실시형태를 묘사한다. 당업자는 본 명세서에 개시된 구조 및 방법의 대체적인 실시형태가 본 명세서에 설명된 본 발명의 원리로부터 벗어나지 않고 사용될 수도 있음을 용이하게 이해할 것이다.
펜 기반 연산 시스템의 개요
본 발명의 실시형태들은 펜 기반 연산 시스템 및 다른 연산 및/또는 기록 시스템의 다양한 실시형태로 구현될 수도 있다. 펜 기반 연산 시스템의 일 실시형태가 도 1에 도시된다. 이 실시형태에서, 펜 기반 연산 시스템은 쓰기 표면 (50), 스마트 펜 (100), 도킹 (docking) 스테이션 (110), 클라이언트 시스템 (120), 네트워크 (130), 및 웹 서비스 시스템 (140)을 포함한다. 스마트 펜 (100)은 입력/출력 기능뿐만 아니라 온보드 (onboard) 처리 능력을 포함하여, 펜 기반 연산 시스템이 종래의 연산 시스템의 스크린 기반 상호작용을 사용자가 쓸 수 있는 다른 표면으로 확장하도록 한다. 예를 들어, 스마트 펜 (100)은 쓰기 동안 오디오를 기록할 뿐만 아니라 쓰기의 전자적 표현을 캡처하는데 사용될 수도 있으며, 스마트 펜 (100)은 또한, 사용자에게 시각 및 오디오 정보를 되돌려 출력할 수도 있다. 다양한 적용을 위해서 스마트 펜 (100) 상의 적합한 소프트웨어와 함께, 펜 기반 연산 시스템은 그 결과 사용자에게 신규한 플랫폼을 제공하여 전자 및 종이 도메인 모두에서 소프트웨어 프로그램 및 연산 서비스와 상호작용한다.
펜 기반 연산 시스템에서, 스마트 펜 (100)은 연산 시스템에 입력 및 출력 능력을 제공하고, 시스템의 연산 기능 중 일부 또는 전부를 수행한다. 따라서, 스마트 펜 (100)은 사용자가 복수의 양상으로 펜 기반 연산 시스템과 상호작용할 수 있게 한다. 일 실시형태에서, 스마트 펜 (100)은 사용자의 쓰기 또는 다른 손 제스처를 캡처하거나 오디오를 기록하는 것과 같이 복수의 양상을 사용하여 사용자로부터 입력을 수신하고, 시각 정보를 디스플레이하거나 오디오를 플레이하는 것과 같이 다양한 양상을 사용하여 사용자에게 출력을 제공한다. 다른 실시형태에서, 스마트 펜 (100)은 동작 감지 또는 제스처 캡처와 같은 추가적인 입력 양상, 및/또는 진동 피드백과 같은 추가적인 출력 양상을 포함한다.
스마트 펜 (100)의 특정 실시형태의 구성요소는 도 2에 도시되며, 첨부된 텍스트에서 더욱 상세히 설명한다. 일반 형상에 대한 특정 변화는 펜의 다른 기능을 수용하도록 존재하거나, 대화형의 멀티 양상 (multi-modal)의 비 쓰기 (non-writing) 구현일 수도 있지만, 스마트 펜 (100)은 바람직하게는 펜과 실질적으로 유사한 형상이거나 다른 쓰기 구현인 폼 팩터 (form factor)를 가진다. 예를 들어, 스마트 펜 (100)은 표준 펜보다 약간 두꺼울 수도 있어 추가적인 구성요소를 포함할 수도 있고, 또는 스마트 펜 (100)은 펜 형상의 폼 팩터를 형성하는 구조적 특징에 더하여 추가적인 구조적 특징 (예를 들어, 평면 디스플레이 스크린)을 가질 수도 있다. 또한, 스마트 펜 (100)은 사용자가 스마트 펜 연산 시스템으로 입력 또는 커맨드를 제공할 수 있는 임의의 메커니즘을 포함할 수도 있고, 또는 사용자가 스마트 펜 연산 시스템으로부터 정보를 수신하거나 관찰할 수 있는 임의의 메커니즘을 포함할 수도 있다.
스마트 펜 (100)은 쓰기 표면 (50)과 함께 동작하도록 설계되어 스마트 펜 (100)은 쓰기 표면 (50)에 이루어진 쓰기를 캡처할 수 있다. 일 실시형태에서, 쓰기 표면 (50)은 종이 시트 (또는 쓰기가 될 수 있는 임의의 다른 적합한 재료)를 포함하고, 스마트 펜 (100)에 의해 판독될 수 있는 패턴으로 인코딩된다. 이러한 쓰기 표면 (50)의 일 예는 본 명세서에 참조로서 포함된 미국 특허 출원 제 7,175,095호에 개시되며, 스웨덴의 Anoto 그룹 (매사추세츠 월섬 (Waltham)의 현지 자회사인 Anoto 주식 회사)으로부터 이용가능한 소위 "점 활성화된 종이 (dot-enabled paper)이다. 이 점 활성화된 종이는 종이 상에 인코딩된 점 패턴을 가진다. 이 점 활성화된 종이와 함께 동작하도록 설계된 스마트 펜 (100)은 인코딩된 점 패턴에 관한 스마트 펜의 쓰기 팁의 위치를 결정할 수 있는 이미지 시스템 및 프로세서를 포함한다. 스마트 펜 (100)의 위치는 소정의 "점 공간"에서 좌표를 사용하는데 참조될 수도 있고, 좌표는 지역 (즉, 쓰기 표면 (50)의 페이지 내의 위치) 또는 절대 (absolute) (즉, 쓰기 표면 (50)의 복수의 페이지에 걸친 고유의 위치)가 될 수 있다.
다른 실시형태에서, 쓰기 표면 (50)은 인코딩된 종이 이외의 메커니즘을 사용하여 구현되어, 스마트 펜 (100)이 제스처 및 다른 쓰여진 입력을 캡처하게 한다. 예를 들어, 쓰기 표면은 태블릿 또는 스마트 펜 (100)에 의한 쓰기를 감지하는 다른 전자 매체를 포함할 수도 있다. 또 다른 실시형태에서, 쓰기 표면 (50)은 전자 종이, 또는 이-페이퍼 (e-paper)를 포함한다. 이 감지는 쓰기 표면 (50) 또는 스마트 펜 (100)과 함께 전체적으로 수행될 수도 있다. 쓰기 표면 (50)의 룰이 오직 수동 (인코딩된 종이의 경우로서임)인 경우에도, 스마트 펜 (100)의 설계는 펜 기반 연산 시스템이 설계되는 대상인 쓰기 표면 (50)의 유형에 통상적으로 의존할 것이다. 또한, 쓰여진 콘텐츠는 쓰기 표면 (50) 상에 기계적으로 (예를 들어, 스마트 펜 (100)을 사용하여 종이 상에 잉크를 침전시킴), 전자적으로 (예를 들어, 쓰기 표면 (50) 상에 디스플레이됨), 디스플레이되거나 전혀 디스플레이 되지 않을 수도 있다 (예를 들어, 메모리에 저장만 함). 또 다른 실시형태에서, 스마트 펜 (100)은 펜의 팁의 움직임을 감지하는 센서가 장착되며, 이에 의해 쓰기 제스처를 감지하는 것은 쓰기 표면 (50)을 전혀 요구하지 않는다. 임의의 이들 기술들은 스마트 펜 (100)에 포함된 제스처 캡처 시스템에 사용될 수도 있다.
다양한 실시형태에서, 스마트 펜 (100)은 펜 기반 연산 시스템의 다양한 유용한 적용을 위해, 개인 컴퓨터와 같은 범용 연산 시스템과 통신할 수 있다. 예를 들어, 스마트 펜 (100)에 의해 캡처 된 콘텐츠는 시스템 (120)에 의한 추가적인 사용을 위해 연산 시스템 (120)에 전송될 수도 있다. 예를 들어, 연산 시스템 (120)은 사용자가 스마트 펜 (100)에 의해 획득된 정보를 저장, 액세스, 논평, 삭제, 및 관리하게 하는 관리 소프트웨어를 포함할 수도 있다. 스마트 펜 (100)으로부터 획득 된 데이터를 연산 시스템 (120)으로 다운로드 하는 것은 스마트 펜 (100)의 자원을 자유롭게 하여, 연산 시스템 (120)은 더 많은 데이터를 획득할 수 있다. 역으고, 콘텐츠는 연산 시스템 (120)으로부터 스마트 펜 (100)으로 되돌려 전송될 수도 있다. 데이터 이외에, 연산 시스템 (120)에 의해 스마트 펜 (100)으로 제공된 콘텐츠는 스마트 펜 (100)에 의해 실행될 수 있는 소프트프웨어 애플리케이션을 포함할 수도 있다.
스마트 펜 (100)은 유선 및 무선 통신 모두를 포함하여, 임의의 수의 공지의 통신 메커니즘을 통해 연산 시스템 (120)과 통신할 수도 있다. 일 실시형태에서, 펜 기반 연산 시스템은 연산 시스템에 연결된 도킹 스테이션 (docking station) (110)을 포함한다. 도킹 스테이션 (110)은 스마트 펜 (100)을 수신하도록 기계적이고 전기적으로 구성되며, 스마트 펜 (100)이 도킹된 경우, 도킹 스테이션 (110)은 연산 시스템 (120)과 스마트 펜 (100) 사이의 전자적 통신을 가능하게 할 수도 있다. 도킹 스테이션 (110)은 전원을 제공하여 스마트 펜 (100)의 배터리를 재충전한다.
도 2는 전술한 실시형태와 같은 펜 기반 연산 시스템에서의 사용을 위한 스마트 펜 (100)의 실시형태를 도시한다. 도 2에 도시된 실시형태에서, 스마트 펜 (100)은 마커 (205), 이미지 시스템 (210), 펜 다운 센서 (215), 하나 이상의 마이크로폰 (220), 스피커 (225), 오디오 잭 (230), 디스플레이 (235), I/O 포트 (240), 프로세서 (245), 온보드 메모리 (250), 및 배터리 (225)를 포함한다. 그러나 상기 구성요소 모두가 스마트 펜 (100)에 요구되는 것은 아니며, 이것은 스마트 펜 (100)의 모든 실시형태 또는 상기 구성요소의 모든 가능한 변화에 대한 완전한 구성요소의 목록이 아니다. 예를 들어, 스마트 펜 (100)은 전원 버튼 또는 오디오 기록 버튼과 같은 버튼, 및/또는 상태 표시 광을 포함할 수도 있다. 또한, 발명의 상세한 설명 및 특허청구범위에서 사용되는 바와 같이, 용어 "스마트 펜"은, 펜 디바이스가 명시적으로 인용된 이들 특징들 이외에, 특정 실시형태에 대해 본 명세서에서 개시된 임의의 특정 특징 또는 기능을 가짐을 의미하는 것은 아니다. 스마트 펜은 본 명세서에서 개시된 모든 능력 및 서브시스템보다 적은 임의의 조합을 가질 수도 있다.
마커 (205)는 스마트 펜이 임의의 적합한 표면상에 쓰는 종래의 쓰기 장치로서 사용되도록 한다. 그 결과, 마커 (205)는 임의의 잉크 기반 또는 흑연 기반 디바이스 또는 쓰기를 위해 사용될 수 있는 임의의 다른 디바이스를 포함하는 적합한 마킹 메커니즘을 포함할 수도 있다. 일 실시형태에서, 마커 (205)는 교체가능한 볼 포인트 펜 소자를 포함한다. 마커 (205)는 압력 감지 소자와 같은 펜 다운 센서 (215)에 연결된다. 그 결과, 펜 다운 센서 (215)는 마커 (205)가 표면에 대해 압력을 받은 경우, 출력을 생성하고, 이에 의해 언제 스마트 펜 (100)이 표면에 쓰도록 사용되고 있는지를 나타낸다.
이미지 시스템 (210)은 마커 (205) 근처의 표면 영역을 이미 징 하는 충분한 광학 및 센서를 포함한다. 이미지 시스템 (210)은 스마트 펜 (100)으로 형성된 제스처 및 친필을 캡처하는데 사용될 수도 있다. 예를 들어, 이미지 시스템 (210)은 마그의 근처에 쓰기 표면 (50)을 조사하는 적외선 광원을 포함할 수도 있으며, 쓰기 표면 (50)은 인코딩된 패턴을 가진다. 인코딩된 패턴의 이미지를 처리함으로써, 스마트 펜 (100)은 마커 (205)가 쓰기 표면 (50)과 관련하여 어디에 있는지를 결정할 수 있다. 이미지 시스템 (210)의 이미지 배열은 마커 (205) 근처의 표면을 이미징하고 시야에서 코딩된 패턴의 부분을 캡처한다. 그 결과, 이미지 시스템 (210)은 스마트 펜 (100)이 쓰여진 입력을 수신하는 바와 같이 적어도 하나의 입력 양상을 사용하여 데이터를 수신하게 한다. 쓰기 표면 (50)의 부분을 보기 위해 광학 및 전자 기술을 통합하는 이미지 시스템 (210)은 펜을 사용하여 형성된 임의의 쓰기 제스처를 전자적으로 캡처하기 위해 스마트 펜 (100)에 통합될 수 있으며, 스마트 펜 (100)의 다른 실시형태는 동일한 기능을 획득하는데 임의의 다른 적합한 수단을 사용할 수도 있다.
일 실시형태에서, 이미지 시스템 (210)에 의해 캡처된 데이터는 순차적으로 처리되어, 수신된 데이터에 적용될 문자 인식과 같은 하나 이상의 콘텐츠 인식 알고리즘을 허용한다. 또 다른 실시형태에서, 이미지 시스템 (210)은 쓰기 표면 (50)에 이미 존재하는 (예를 들어, 스마트 펜 (100)을 사용하여 쓰여지지 않은) 쓰여진 콘텐츠를 스캔하고 캡처하는데 사용될 수 있다. 또한, 이미지 시스템 (210)은 펜 다운 센서 (215)와 함께 사용되어 마커 (205)가 쓰기 표면 (50)을 언제 터치하고 있는지를 결정한다. 마커 (205)가 표면 위로 이동하는 경우, 배열 변화를 이미징함으로써 패턴이 캡처 되어, 그 결과 스마트 펜 (100)의 제스처 캡처 시스템 (예를 들어, 도 2의 이미지 시스템 (210)에 의해 사용자의 친필이 결정되고 캡처 될 수 있다. 이 기술은 사용자가 쓰기 표면 (50)의 특정 위치에 마커 (205)를 두드리는 것과 같은 경우에 제스처를 캡처하는데 이용될 수도 있어, 동작 감지 또는 제스처 캡처의 또 다른 입력 양상을 사용하여 데이터를 캡처하게 한다.
스마트 펜 (100) 상의 또 다른 데이터 캡처 디바이스는, 스마트 펜 (100)이 또 다른 입력 양상인 오디오 캡처를 사용하여 데이터를 수신하게 하는 하나 이상의 마이크로폰 (220)이다. 마이크로폰 (220)은 오디오를 기록하는데 사용될 수도 있으며, 전술한 친필 캡처로 동기화될 수도 있다. 하나 이상의 마이크로폰 (220)은 프로세서, 또는 마커 (205)가 쓰기 표면을 가로질러 이동하면서 생성된 노이즈 및/또는 스마트 펜 (100)이 쓰기 표면을 아래로 터치하거나 들어올리면서 생성된 노이즈를 제거하는 신호 프로세서 (미도시)에 의해 실행되는 신호 처리 소프트웨어에 연결된다. 일 실시형태에서, 프로세서 (245)는 캡처된 쓰여진 데이터와 캡쳐된 오디오 데이터를 동기화한다. 예를 들어, 회의 중의 대화는, 사용자가 스마트 펜 (100)에 의해 캡처 되는 노트를 필기하는 동안 마이크로폰 (200)을 사용하여 기록될 수도 있다. 기록된 오디오와 캡처된 친필의 동기화는 스마트 펜 (100)이 이전에 캡처된 데이터에 대한 사용자 요구에 조직화된 응답을 제공하게 한다. 예를 들어, 쓰여진 커맨드, 커맨드 용 파라미터, 스마트 펜 (100)에 의한 제스처, 말한 커맨드 또는 쓰여진 커맨드와 말한 커맨드의 조합과 같은 사용자 요구에 응답하여, 스마트 펜 (100)은 사용자에게 오디오 출력 및 시각 출력을 제공한다. 스마트 펜 (100)은 또한, 사용자에게 촉각적 피드백을 제공할 수도 있다.
스피커 (225), 오디오 잭 (230), 및 디스플레이 (235)는 스마트 펜 (100)의 사용자에게 출력을 제공하여, 하나 이상의 출력 양상을 통해 사용자에게 데이터의 프리젠테이션을 제공한다. 오디오 잭 (230)은 이어폰에 연결되어 스피커와는 달리 사용자 주변의 오디오 출력을 왜곡하지 않고 오디오 출력을 들을 수도 있다. 또한, 이어폰은 사용자가 공간적 특성으로 향상된 완전한 3차원 오디오 또는 스테레오로 오디오 출력을 듣게 한다. 따라서, 스피커 (225) 및 오디오 잭 (230)은 사용자가 스피커 (225) 또는 오디오 잭 (230)에 의해 플레이 된 오디오를 들음에 의해 제 2 출력 양상 유형을 사용하여 스마트 펜으로부터 데이터를 수신하게 한다.
디스플레이 (235)는 유기 발광 다이오드 (OLED; organic light emitting diode)와 같은 시각적 피드백을 제공하는 임의의 적합한 디스플레이 시스템을 포함할 수도 있어, 스마트 펜 (100)이 정보를 시각적으로 디스플레이함으로써 제 2 출력 양상을 사용하여 출력을 제공한다. 사용 중에, 스마트 펜 (100)은 오디오 또는 시각적 피드백과 통신하도록 임의의 이들 출력 구성요소를 사용할 수도 있어, 데이터가 다중 출력 양상을 사용하여 제공되게 한다. 예를 들어, 스피커 (225) 및 오디오 잭 (230)은 스마트 펜 (100) 상에서 동작하는 애플리케이션에 따라 오디오 피드백 (예를 들어, 프롬프트 (prompt), 커맨드, 및 시스템 상태)과 통신할 수도 있고, 디스플레이 (235)는 이러한 애플리케이션에 의해 지시대로 단어 구문, 동적 또는 정적 이미지, 또는 프롬프트를 디스플레이할 수도 있다. 또한, 스피커 (225) 및 오디오 잭 (230)은 마이크로폰 (220)을 사용하여 기록된 오디오 데이터를 다시 플레이하는데 사용될 수도 있다.
입력/출력 (I/O) 포트 (240)는 전술한 바와 같이, 스마트 펜 (100)과 연산 시스템 (120) 사이에 통신을 허용한다. 일 실시형태에서, I/O 포트 (240)는 도킹 스테이션 (110) 상의 전기적 접속에 대응하는 전기적 접속을 포함하여, 그 결과, 스마트 펜 (100)이 도킹 스테이션 (110)에 위치하는 경우, 데이터 전송을 위해 전기적 접속을 형성한다. 또 다른 실시형태에서, I/O 포트 (240)는 데이터 케이블(예를 들어, 미니- USB 또는 마이크로-USB)을 수신하는 잭을 간단히 포함한다. 또한, I/O 포트 (240)는 스마트 펜 (100)에서 무선 통신 회로에 의해 교체될 수도 있어 연산 시스템 (120) (예를 들어, 블루투스, WiFi, 적외선 또는 초음파를 통함)과의 통신을 허용한다.
프로세서 (245), 온보드 메모리 (250), 및 배터리 (255) (또는 임의의 다른 적합한 전원)는 스마트 펜 (100) 상의 적어도 일부에서 수행될 연산 기능을 가능하게 한다. 프로세서 (245)는 입력 및 출력 및 전술한 다른 구성요소에 연결되어, 이에 의해 이들 구성요소를 사용하는 스마트 펜 (100) 상에서 애플리케이션이 동작하게 한다. 일 실시형태에서, 프로세서 (245)는 ARM9 프로세서를 포함하고, 온보드 메모리 (250)는 적은 양의 랜덤 액세스 메모리 (RAM; random access memory) 및 많은 양의 플래시 또는 영구적 메모리를 포함한다. 그 결과, 실행가능한 애플리케이션은 스마트 펜 (100)에 저장되고 실행될 수 있고, 기록된 오디오 및 필적은 무기한 또는 스마트 펜 (100)으로부터 연산 시스템 (120)으로 오프로드되기까지 스마트 펜 (100)에 저장될 수 있다. 예를 들어, 스마트 펜 (100)은 문자 인식 또는 음성 인식과 같은 하나 이상의 콘텐츠 인식 알고리즘을 부분적으로 저장하여, 스마트 펜 (100)이 스마트 펜 (100)에 의해 수신된 하나 이상의 입력 양상으로부터의 입력을 식별하게 한다.
일 실시형태에서, 스마트 펜 (100)은 운영 시스템, 또는 필적 캡처, 오디오 캡처 또는 제스처 캡처, 또는 시각 데이터의 재생 또는 디스플레이와 같은 출력 양상과 같은 하나 이상의 입력 양상을 지원하는 다른 소프트웨어를 포함한다. 운용 시스템 또는 다른 소프트웨어는 입력 양상 및 출력 양상의 조합을 지원하고 입력 양상 (예를 들어, 입력으로 쓰여진 및/또는 말한 데이터를 캡처함) 및 출력 양상 (예를 들어, 사용자에게 출력으로 오디오 또는 시각 데이터를 제공함)의 사이의 조합, 순서화 및 전송을 관리할 수도 있다. 예를 들어, 입력 양상과 출력 양상 사이의 이러한 전송은, 사용자가 스마트 펜 (100)에 의해 플레이되는 오디오를 듣는 동안 종이 또는 또 다른 표면상에 동시에 쓰게 하고, 또한 사용자가 스마트 펜 (100)으로 쓰는 동안 스마트 펜 (100)은 사용자가 말한 오디오를 캡처할 수도 있다.입력 양상과 출력 양상의 다양한 다른 조합이 역시 가능하다.
일 실시형태에서, 프로세서 (245) 및 온보드 메모리 (250)는 파일 시스템 또는 애플리케이션 메뉴를 통해 메뉴 구조 및 네비게이션을 지원하고 가능하게 하는 하나 이상의 실행가능한 애플리케이션을 포함하여, 애플리케이션 또는 애플리케이션의 기능의 시작을 허용한다. 예를 들어, 메뉴 아이템 사이의 네비게이션은 스마트 펜 (100)과 사용자 사이에서, 말한 및/또는 쓰여진 커맨드 및/또는 사용자에 의한 제스처 및 스마트 펜 연산 시스템으로부터의 시각적 피드백을 포함하는 대화를 포함한다. 따라서, 스마트 펜 (100)은 입력을 수신하여 양상의 다양함으로부터 메뉴 구조를 네비게이트한다.
예를 들어, 쓰기 제스처, 말한 키워드, 또는 물리적 움직임은 후속 입력이 하나 이상의 애플리케이션 커맨드와 연관되는 것을 나타낸다. 예를 들어, 사용자는 표면에 대해 스마트 펜 (100)을 빠르게 연속으로 두 번 누르고, "풀이", "전송", "번역", "이메일", "음성 이메일" 과 같은 단어 또는 구문 또는 또 다른 소정의 단어 또는 구문을 써서, 쓰여진 단어 또는 구문에 연관된 커맨드를 불러오거나 소정의 단어 또는 구문에 연관된 커맨드와 연관된 추가적인 파라미터를 수신한다. 입력은 공간 (예를 들어, 나란한 점들) 및/또는 시간적 구성요소 (예를 들어, 점 이후의 다른 점)를 가질 수도 있다. 이들 "빠른 시작 (quick-launch)" 커맨드는 상이한 포맷으로 제공될 수 있기 때문에, 메뉴의 네비게이션 또는 애플리케이션의 시작은 단순화된다. "빠른 시작" 커맨드 또는 커맨드들은 종래의 쓰기 및/또는 말하기 동안 바람직하게 용이하게 구분가능하다.
또한, 스마트 펜 (100)은 소형 조이스틱, 슬라이드 제어, 로커 패널 (rocker panel), 용량성 (또는 다른 비 기계적인) 표면 또는 애플리케이션 또는 스마트 펜 (100)에 의해 실행되는 애플리케이션 커맨드의 메뉴를 네비게이트하는 입력을 수신하는 다른 입력 메카니즘과 같은 물리적 제어기를 포함한다.
인쇄물용 애플리케이션의 개요
본 발명의 실시형태는 스마트 펜 연산 시스템에서 실행하는 애플리케이션을 사용하여 인쇄물에 대화형 디지털 콘텐츠를 제공하는 신규한 방법을 제공한다. 애플리케이션과의 사용을 위해, 애플리케이션은 인쇄물과 분리되며, 애플리케이션과 인쇄물은 개별적으로 개발될 수도 있다. 인쇄물과 개별적으로 개발됨에도 불구하고, 애플리케이션은 스마트 펜 연산 시스템의 사용자에 대한 관점으로부터 인쇄물과 함께 양호하게 집적될 수 있다.
일 실시형태에서, 사용자는 잡지 또는 지도와 같은 인쇄물을 수신한다. 인쇄물은 점 패턴과 오버레이된다. 점 패턴은 인쇄물이 스마트 펜 (100)에 의해 인식되게 하며, 점 패턴은 사용자에게 거의 투명하여, 인쇄물의 외관을 저하하지 않는다. 또한, 사용자는 특정 인쇄물과 동작하도록 개발된 하나 이상의 스마트 펜 애플리케이션을 스마트 펜 연산 시스템으로 다운로드한다. 사용자는 인쇄물상의 특정 위치에 스마트 펜 (100)을 위치시키고, 스마트 펜은 이미지 시스템 (210)을 통해 그 위치의 점 패턴을 판독한다. 점 패턴에 기반하여, 스마트 펜 (100)은 인쇄물을 인식하고 인쇄물과의 사용을 위한 하나 이상의 이용가능한 애플리케이션을 결정한다. 사용자는 특정 이용가능한 애플리케이션을 선택하고, 애플리케이션은 실행되어, 사용자에게 대화형 디지털 콘텐츠를 제공한다. 일 실시형태에서, 애플리케이션은 사용자가 인쇄물의 특정 위치에 스마트 펜 (100)을 위치시키고 그 위치에 관련된 정보를 수신하게 한다. 이 부가 정보는 예를 들어, 스마트 펜의 디스플레이 (235) 또는 스피커 (225) 에 의해 제공될 수도 있고, 또는 스마트 펜에 부착된 연산 시스템 (120)에 의해 제공될 수 있다.
본 발명의 다양한 실시형태의 이하의 논의는 도면을 참조하여 제공된다. 도 1은 인쇄물에 대화형 디지털 콘텐츠를 제공하는 예시적인 구조의 블록도이다. 도 1은 종이 (50)과 함께 사용될 수 있는 일 편의 점 활성화된 종이 (50) 및 스마트 펜 (100)을 나타낸다. 후술하는 동작은 펜 (100)의 프로세서상에서 동작하는 애플리케이션에 의해, 부착된 연산 시스템 (120)상에서 동작하는 애플리케이션에 의해, 또는 이 둘의 조합에 의해 수행될 수도 있다. 일 실시형태에서, 점 활성화된 종이 (50)는 점 패턴과 오버레이된 인쇄물이다.
도 3은 스마트 펜 연산 시스템에서 애플리케이션을 사용하여 인쇄물에 대화형 콘텐츠를 제공하는 공정의 일 실시형태이다. 이 공정에서, 스마트 펜 (100)의 이미지 시스템 (210)은 인쇄물 (50)의 위치에 위치한다. 이미지 시스템 (210)은 인쇄물상에 오버레이된 점 패턴을 수신한다 (300). 이미지 시스템 (210)으로부터 수신된 점 패턴에 기반하여, 스마트 펜은 인쇄물을 식별한다 (302). 스마트 펜은 식별된 인쇄물에 대한 이용가능한 소프트웨어 애플리케이션을 결정한다 (304). 이들 애플리케이션은 스마트 펜 (100) 또는 부착된 연산 시스템 (120)에 저장될 수도 있고, 미리 사용자에 의해 다운로드 되었거나 사용자에게 제공될 수도 있다. 일 실시형태에서, 인쇄물 용 애플리케이션을 다운로드 한 경우, 인쇄물의 점 패턴 또한 스마트 펜 (100)에 의해 다운로드 및 저장되어, 스마트 펜은 점 패턴에 기반하여 한번에 애플리케이션을 식별할 수 있다.
식별된 인쇄물에 대해 하나 이상의 이용가능한 애플리케이션이 존재하는 경우, 스마트 펜 (100)은 사용자가 이용가능한 애플리케이션 중 하나를 선택하도록 유도할 수도 있다 (306). 스마트 펜은 예를 들어, 스마트 펜의 디스플레이 또는 스피커를 통해 사용자에게 프롬프트 (prompt)를 제공할 수도 있다. 스마트 펜은 사용자가 응답한 애플리케이션의 선택을 수신한다 (308). 스마트 펜은 선택된 애플리케이션을 실행하여, 인쇄물과 관련하여 사용자에게 대화형 디지털 콘텐츠를 제공한다 (310).
일 실시형태에서, 스마트 펜은 사용자가 이용가능한 애플리케이션을 선택하도록 명시적으로 유도하지 않는다. 사용자는 특정 애플리케이션의 선택으로서 스마트 펜에 의해 인식되는 제스처를 스마트 펜 (100)으로 형성함으로써 애플리케이션을 선택할 수도 있다. 예를 들어, 사용자는 특정 인쇄된 단어를 오버레이하는 점 패턴 위에 스마트 펜 (100)으로 위로 획을 그어, 스마트 펜의 스피커를 통해 영어로 단어를 말하는 애플리케이션을 선택한다. 사용자는 동일한 단어 위에 스마트 펜 (100)으로 아래로 획을 그어 중국어로 단어를 말하는 애플리케이션을 선택한다. 일 실시형태에서, 스마트 펜 (100)의 마이크로폰으로 애플리케이션의 이름을 말한다. 예를 들어, 사용자는 "발음"을 말하고 스마트 펜으로 인쇄된 단어를 두드려서, 발음 애플리케이션이 스마트 펜의 스피커를 통해 단어를 발음하게 한다. 또한, 사용자는 "정의"의 말하고 동일한 단어를 두드려서 그 단어의 정의를 듣는다. 다양한 다른 방법이 사용자로부터 애플리케이션의 선택을 수신하는데 가능하다.
도 4는 인쇄물에 대화형 디지털 콘텐츠를 제공하는 애플리케이션 공정의 일 실시형태를 나타낸다. 이 공정에서, 특정 인쇄물 및 애플리케이션은 도 3에 도시된 바와 같거나, 다른 적합한 수단에 의해 식별되었다. 애플리케이션은 인쇄물과의 사용을 위해 개발되었고 인쇄물과 관련된 점 패턴의 지식을 가진다. 사용자는 점 패턴과 오버레이된 인쇄물상의 특정 위치에 스마트 펜 (100)의 이미지 시스템 (210)을 위치시킨다. 스마트 펜은 인쇄물 내의 점 패턴에서의 위치를 수신한다 (402). 스마트 펜은 특정 애플리케이션에 기반하여 위치를 처리한다 (404). 예를 들어, 인쇄물이 지도인 경우, 스마트 펜은 위치와 관련된 특정 주 또는 국가를 결정할 수도 있다. 스마트 펜은 공정에 기반하여 사용자에게 출력을 제공한다 (406). 상기 예에 계속하여, 스마트 펜 (100)은 스마트 펜의 디스플레이 (235)상에 특정 주 또는 국가에 대한 정보를 디스플레이할 수도 있다.
도 5는 점 패턴으로 오버레이된 인쇄물의 예를 나타낸다. 도 5에서, 인쇄물 (504)은 특정 국가 또는 지리적 영역의 지도이다. 인쇄물의 다른 예는 신문, 잡지, 책 및 포스터를 포함한다. 지도는 종이 또는 플라스틱과 같은 다양한 유형의 매체상에 인쇄될 수 있고, 컬러 또는 블랙 또는 화이트로 인쇄될 수 있다. 오버레이 점 패턴 (506)은 지도에 부가된다. 점 패턴은 지도가 인쇄됨과 동시에 지도에 인쇄될 수 있고, 또는 개별 인쇄 공정 이후 또는 이전에 부가될 수 있다. 또한, 점 패턴은 예를 들어, 투명성을 이용하여 지도 위에 위치될 수 있다. 점 패턴은 스마트 펜 (100)에 의해 인식되지만, 사용자가 보는 경우 인쇄물을 상당히 저하시키지 않는다.
분리된 애플리케이션
스마트 펜과 인쇄물의 분리는 제 1 엔터티가 코딩된 패턴으로 인쇄물 (또한 인쇄된 콘텐츠로 지칭됨)을 준비하게 하고, 제 2 엔터티 (또는 임의의 수의 엔터티)가 인쇄물과 함께 스마트 펜 연산 시스템에 의한 사용을 위해 디지털 대화형 콘텐츠로 소프트웨어 애플리케이션을 개발하게 함으로써 획득될 수 있다.이 개발 모델은 상이한 엔터티가 자신의 특정 전문지식을 특화시키게 한다. 또한, 분리된 애플리케이션으로, 인쇄물의 생성자는 제 3자가 인쇄물과의 사용을 위해 유용한 애플리케이션을 개발하게 할 수 있다. 개별적으로 개발되더라도, 인쇄물과 디지털 콘텐츠는 사용자의 관점으로부터 집적된 제품으로 나타난다.
일 실시형태에서, 제 1 엔터티는 오버레이된 점 패턴을 반드시 갖지는 않는 인쇄물을 생성한다. 점 패턴은 다양한 방법으로 인쇄물과 관련될 수도 있다. 제 2 엔터티는 점 패턴으로 인쇄물을 오버레이하며, 예를 들어, 다른 엔터티와의 연합에 관한 정보를 제공한다. 또 다른 예에서, 인쇄물의 일부는 다양한 오버레이 되지 않은 점 패턴 세그멘트와 관련될 수도 있다. 점 패턴과 인쇄물의 관련성의 다양함이 생성될 수 있고, 이들 관련성에 관한 정보는 엔터티 개발 애플리케이션 및 사용자에게 전파된다.
복수의 개별 엔터티는 인쇄물의 단일의 아이템에 대한 디지털 콘텐츠를 생성할 수 있다. 일 실시형태에서, 각각의 엔터티는 펜 (100)상에서 동작하는 소프트웨어 애플리케이션을 생성하여, 상기 도 4에서 설명한 단계를 수행한다. 일 실시형태에서, 크고, 설립된 지도 회사는 점 패턴으로 오버레이된 샌프란시스코 해변 지역의 고품질 거리 지도를 분배한다. 또한, 지도 회사는 지도에 관련된 점 패턴 영역에 관련된 제 3자에게 정보를 개방할 수도 있다. 제 3자는, 비록 완전한 제품은 하나의 회사로부터 제조되지만, 최종 사용자에 의해 다운로드 되는 경우 최종 사용자가 지도와 대화하게 하는 콘텐츠를 개발할 수 있다. 복수의 개발자 또는 단일의 개발자는 동일한 기본 인쇄물에 대해 상이한 대화형 디지털 콘텐츠를 생성할 수 있다.
예를 들어, 일 개발자는 지도 라벨 (label)용 오디오 인터페이스를 포함하는 제 1 애플리케이션을 생성할 수도 있고, 사용자는 지도 라벨상에 스마트 펜을 위치시켜, 펜은 펜의 스피커를 통해 라벨의 오디오 출력을 생성한다. 또 다른 개발자는 길 형성을 위한 제 2 애플리케이션을 개발할 수도 있고, 사용자는 스마트 펜으로 두 개의 지점을 두드리면 애프리케이션은 사용자에게 두 지점 사이의 거리 및 제 1 지점으로부터 제 2 지점으로의 방향, 또는 제 1 지점으로부터 제 2 지점으로의 도로를 따르는 루트를 말한다. 애플리케이션은 이 정보를 오디오로서 출력하거나 스마트 펜 디스플레이상에 정보를 디스플레이할 수 있다. 또 다른 개발자는 상기 두 개의 애플리케이션의 출력을 조합하는 제 3 애플리케이션을 생성할 수도 있다. 예를 들어, 사용자는 지도상의 일 위치를 두드린 후 또 다른 위치를 두드린다. 제 3 애플리케이션은 제 2 애플리케이션으로부터 여행 방향을 수신하고, 이 정보를 제 1 애플리케이션에 제공하여 말하는 네비게이션 시스템을 생성한다.
소프트웨어 애플리케이션으로부터 인쇄물을 분리함으로써, 해당 인쇄물에 대한 권리를 갖지 않는 소프트웨어 개발자는 그 인쇄물에 가치를 부가할 수 있다. 이러한 콘텐츠는 소비자의 다양성에 부가적인 관심의 가치를 부가하기 때문에, 소프트웨어 개발자가 대화형 콘텐츠를 생성하도록 격려하는 것은 원래 인쇄 콘텐츠 소유자의 관심 대상이다.
예를 들어, 폭넓게 유통되는 주말 잡지는 모든 페이지를 점 패턴으로 오버레이할 수 있고, 점 패턴에 의해 커버된 영역 및/또는 아래의 이미지를 설명하는 설명서를 발간할 수 있다. 이는 제 3 자 (예를 들어, 소프트웨어 개발자)가 예를 들어, 페이지를 크게 읽고, 상호작용한 광고를 형성하며, 단어를 변경하는 정의를 제공하고, 전문가에 의한 코맨트를 제공하고, 외국어 번역을 제공하는 애플리케이션을 생성하게 한다. 예를 들어, 사용자가 스마트 펜 (100)으로 뉴스 스토리 (또는 뉴스 스토리의 일부)를 지시하여 전문가에 의한 오디오 해설을 들을 수 있다. 사용자는 특정한 유형의 해설 (예를 들어, 보수적이거나 진보적인 관점에서)을 제공하는 소프트웨어 애플리케이션을 스마트 펜에 다운로드할 수 있다. 그 콘텐츠를 소프트웨어 개발자에게 액세스하기 쉽게 함으로써, 잡지는 특정 관심을 갖는 구독자에게 큰 어필을 할 수 있어 경쟁력 있는 이점을 획득할 수 있다.
사용자는 현금을 내고 구입하거나 정기적으로 업데이트되는 구독을 구입함으로써 제 3 자 대화형 콘텐츠를 구입할 수 있다. 제 3 자 콘텐츠는 스마트 펜으로 다운로드될 수 있는 (예를 들어, 부착된 연산 시스템 (120)상에서 동작하는 웹 브라우저를 통한 웹사이트로부터 다운로드되는) 소프트웨어 애플리케이션으로서 이용가능하다. 소프트웨어 애플리케이션은 스마트 펜에 다운로드되어 저장되고, 또는 사용자에 의해 필요시 요구에 의해 다운로드되며, 스마트 펜의 저장 디바이스상의 공간을 비우기 위해 나중에 제거될 수 있다.
일 실시형태에서, 사용자가 대화형 콘텐츠를 구입한 경우, 사용자는 스마트 펜으로 인쇄 문서를 두드려 대화형 콘텐츠에 액세스한다. 사용자가 문서를 두드린 경우, 스마트 펜은 인쇄물로부터 점 패턴을 수신하고 (300), 단계 304 로서, 스마트 펜의 제 3자 애플리케이션의 데이터베이스를 통해 검색하는 기본 애플리케이션이 동작되어, 인쇄 문서를 위해 쓰여진 임의의 애플리케이션이 존재하는지 여부를 결정한다. 기본 애플리케이션은 언제나 스마트 펜에 제공되어, 수신된 점 패턴을 분석함으로써 해당 인쇄 문서를 인식할 수 있다. 일 실시형태에서, 사용자는 점 패턴을 식별함을 포함하는 인쇄 문서의 특정된 영역을 두드린다. 전술한 바와 같이, 특정 인쇄 문서에 대응하는 복수의 애플리케이션이 존재할 수 있다. 이러한 경우에, 사용자는 원하는 애플리케이션을 선택하도록 요구되고, 이러한 선택은 스마트 펜에 의해 수신된다 (308).
대화형 콘텐츠를 제공하는 소프트웨어 애플리케이션은 하나 이상의 인쇄 문서와 관련될 수 있다. 애플리케이션은 인쇄 문서들을 함께 연결하거나 문서의 시너지적 이용을 가능하게 할 수 있다. 예를 들어, 사용자는 미국 정부가 생성한 참조물의 상당한 거래량을 포함하는 CIA (Central Intelligence Agency) 세계 사실책의 사본을 가질 수도 있다. 또한, 사용자는 내셔널 지오그래픽 사에 의해 생성된 고해상도의 벽 지도를 소유할 수도 있다. 애플리케이션 개발자는 사용자가 벽 지도의 국가를 두드려서 그 국가에 대한 CIA 사실책으로부터 자료에 액세스하게 하는 애플리케이션을 제조할 수 있다.
전술한 바와 같이, 인쇄물에 대해 분리된 애플리케이션을 제공하는 복수의 파티 (party)가 시스템에 포함된다. 이들 파티는 기본 인쇄물의 저작권의 소유자, 애플리케이션 개발자에 액세스가능한 원 (raw) 콘텐츠 (예를 들어, 오디오 클립 또는 참조 텍스트)의 개발자, 복수의 애플리케이션의 특징을 결합하는 애플리케이션의 개발자를 포함한다. 그 결과, 로얄티를 공유하기 위해 시스템에 포함된 임의의 파티에 수단을 제공하는 것이 유용하다.
요약
본 발명의 실시형태의 앞선 설명은 설명의 목적을 위해 제공되었으며, 본 발명을 개시된 엄밀한 형태로 제한하거나 완전하도록 의도하지 않는다. 이 분야의 당업자는 상기 전술한 관점에서 다수의 수정물 및 변형물들이 가능함을 이해할 것이다.
상세한 설명의 일부는 본 발명의 실시형태를 알고리즘 및 정보상의 동작의 기호적 표현의 관점에서 설명한다. 이들 알고리즘 설명 및 표현은 통상적으로 데이터 처리 분야의 당업자에 의해 이용되고, 그들의 작업의 실체를 다른 분야의 당업자에게 효율적으로 전달한다. 기능적으로, 연산적으로, 또는 논리적으로 설명된 동작들은 컴퓨터 프로그램 또는 균등한 전기 회로, 마이크로코드 등에 의해 구현되도록 이해된다. 또한, 종종 일반성의 손실 없이 이들 동작의 배열을 모듈로서 지칭하는 것이 편리함을 증명하였다. 개시된 동작 및 이와 관련된 모듈은 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수도 있다.
본 명세서에 기재된 임의의 단계, 동작, 또는 공정은 하나 이상의 하드웨어 또는 소프트웨어 모듈로 다른 디바이스와 함께 또는 단독으로 수행되거나 구현될 수도 있다. 일 실시형태에서, 소프트웨어 모듈은 개시된 임의의 또는 모든 단계, 동작, 또는 공정을 수행하는 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 함유하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 발명의 실시형태는 본 명세서에의 동작을 수행하는 장치와 관련될 수도 있다. 이 장치는 요구된 목적을 위해 특별히 구성될 수도 있고, 및/또는 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 목적 디바이스를 포함할 수도 있다. 이러한 컴퓨터 프로그램은 전자 명령어를 저장하는데 적합한 임의의 유형의 구체적인 매체를 포함하고 시스템 버스에 연결되는 구체적인 컴퓨터 판독가능 저장 매체에 저장될 수도 있다. 또한, 상세한 설명에서 참조된 임의의 연산 시스템은 단일 프로세서 또는 증가된 연산 용량을 위한 복수의 프로세서를 사용하는 구조일 수도 있다.
본 발명의 실시형태는 반송파로 구현된 컴퓨터 데이터 신호에 관련될 수도 있고, 컴퓨터 데이터 신호는 컴퓨터 프로그램 제품의 임의의 실시형태 또는 본 명세서에 개시된 다른 데이터 조합을 포함한다. 컴퓨터 데이터 신호는 구체적인 매체 또는 반송파로 제공되고 변조되거나, 그렇지 않은 경우 반송파로 인코딩되며, 구체적이고 임의의 적합한 전송 방법에 따라 전송되는 제품이다.
최종적으로, 본 명세서에서 사용된 언어는 가독성 및 교육 목적으로 이론적으로 선택되었고, 진보적 주제를 제거하거나 한정하도록 선택되지 않았다. 따라서, 본 발명의 범위는 이 상세한 설명이 아닌, 이에 기반한 출원에 의해 청구된 임의의 특허청구범위에 의해 제한되도록 의도된다. 따라서, 본 발명의 실시형태의 개시는 다음의 특허청구범위에 제시된 발명의 범위를 한정하지 않고 설명하도록 의도된다.

Claims (14)

  1. 제 1 엔터티 (entity)에 의해 생성되는 인쇄된 콘텐츠를 획득하는 단계;
    상기 인쇄된 콘텐츠를 점 패턴과 관련시키는 단계; 및
    제 2 엔터티에 의해 애플리케이션을 생성하는 단계를 포함하되,
    상기 애플리케이션은 상기 인쇄된 콘텐츠에 관련되며 상기 점 패턴에 연결되며, 상기 점 패턴 내의 선택에 응답하여, 상기 인쇄된 콘텐츠에 관한 기능을 호출하는 실행가능한 컴퓨터 프로그램 명령을 저장하는 컴퓨터 판독가능 매체를 포함하는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  2. 제 1항에 있어서,
    상기 점 패턴 내의 선택은 스마트 펜 디바디스를 이용하여 이루어지는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  3. 제 1항에 있어서,
    상기 기능은 스마트 펜 디바이스의 출력 디바이스를 통해 사용자에게 출력을 제공하는 것을 포함하는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  4. 제 1항에 있어서,
    상기 기능의 출력은 상기 점 패턴 내의 위치에 기반하며, 상기 위치는 상기 선택에 기반하여 결정되는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  5. 제 1항에 있어서,
    상기 인쇄된 콘텐츠는 스마트 펜 디바이스에 의해 판독가능한 점 패턴으로 오버레이 (overlay)되는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  6. 제 1항에 있어서,
    상기 컴퓨터 프로그램 명령은 스마트 펜 디바이스에서 실행되는, 인쇄물용 대화형 디지털 콘텐츠 생성 방법.
  7. 스마트 펜 디바이스에 의해 수행되며, 쓰기 표면상의 점 패턴을 수신하는 단계;
    상기 수신된 패턴에 관련하여 특정 인쇄된 콘텐츠에 대해 복수의 이용가능한 애플리케이션들을 결정하는 단계;
    상기 복수의 이용가능한 애플리케이션들로부터 특정 이용가능한 애플리케이션의 선택을 사용자로부터 수신하는 단계; 및
    상기 특정 이용가능한 애플리케이션을 실행하는 단계를 포함하되,
    상기 실행하는 단계는, 상기 인쇄된 콘텐츠에 관한 기능을 호출하는 단계를 포함하는, 인쇄된 콘텐츠에 대화형 디지털 콘텐츠 제공 방법.
  8. 제 7항에 있어서,
    상기 기능의 출력은 상기 쓰기 표면상의 스마트 펜 디바이스의 위치에 기반하는, 인쇄된 콘텐츠에 대화형 디지털 콘텐츠를 제공하는 방법.
  9. 제 7항에 있어서,
    상기 복수의 이용가능한 애플리케이션들은 상기 이용가능한 애플리케이션들의 제공자로부터 상기 스마트 펜 디바이스로 다운로드되는, 인쇄된 콘텐츠에 대화형 디지털 콘텐츠를 제공하는 방법.
  10. 컴퓨터 판독가능 매체로서,
    인쇄된 콘텐츠에 관련된 점 패턴 내의 선택에 응답하여 상기 인쇄된 콘텐츠에 관한 기능을 호출하는 실행가능한 컴퓨터 프로그램 명령을 저장하되,
    상기 인쇄된 콘텐츠는 제 1 엔터티 (entity)에 의해 생성되며, 상기 컴퓨터 판독가능 매체는 제 2 엔터티에 의해 생성되는, 컴퓨터 판독가능 매체.
  11. 제 10항에 있어서,
    상기 점 패턴 내의 선택은 스마트 펜 디바이스를 사용하여 이루어지는, 컴퓨터 판독가능 매체.
  12. 제 10항에 있어서,
    상기 기능은 스마트 펜 디바이스의 출력 디바이스를 통해 사용자에게 출력을 제공하는 것을 포함하는, 컴퓨터 판독가능 매체.
  13. 제 10항에 있어서,
    상기 기능의 출력은 상기 점 패턴 내의 위치에 기반하며, 상기 위치는 상기 선택에 기반하여 결정되는, 컴퓨터 판독가능 매체.
  14. 제 10항에 있어서,
    상기 인쇄된 콘텐츠는 스마트 펜 디바이스에 의해 판독가능한 점 패턴으로 오버레이 (overlay)되는, 컴퓨터 판독가능 매체.
KR1020107024272A 2008-04-03 2009-04-02 인쇄물용 분리된 애플리케이션 KR101971161B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US4223508P 2008-04-03 2008-04-03
US61/042,235 2008-04-03
PCT/US2009/039365 WO2009124218A2 (en) 2008-04-03 2009-04-02 Decoupled applications for printed materials

Publications (2)

Publication Number Publication Date
KR20100132052A true KR20100132052A (ko) 2010-12-16
KR101971161B1 KR101971161B1 (ko) 2019-04-22

Family

ID=41136113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107024272A KR101971161B1 (ko) 2008-04-03 2009-04-02 인쇄물용 분리된 애플리케이션

Country Status (8)

Country Link
US (2) US7810730B2 (ko)
EP (1) EP2277129A4 (ko)
JP (1) JP5524951B2 (ko)
KR (1) KR101971161B1 (ko)
CN (1) CN102037476B (ko)
AU (1) AU2009231671B2 (ko)
CA (1) CA2720565A1 (ko)
WO (1) WO2009124218A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20110131061A1 (en) * 2009-12-02 2011-06-02 Joseph Shain Hospital Patient Chart and Database
US8723820B1 (en) * 2011-02-16 2014-05-13 Google Inc. Methods and apparatus related to a haptic feedback drawing device
US20120242567A1 (en) * 2011-03-24 2012-09-27 Smile Technology Co., Ltd. Hand-held displaying device
US9164598B2 (en) * 2011-10-28 2015-10-20 Atmel Corporation Active stylus with surface-modification materials
KR102348672B1 (ko) * 2015-03-20 2022-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법
IT201900018440A1 (it) * 2019-10-10 2021-04-10 M Pix Srl Sistema e metodo per l’identificazione e la siglatura dei cablaggi elettrici negli armadi industriali
US11380082B2 (en) 2019-10-11 2022-07-05 Samsung Electronics Co., Ltd. Electronic device, method and non-transitory storage medium for optical character recognition

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309354A (ja) * 2005-04-26 2006-11-09 Media Drive Corp デジタルペン入力システム
KR20070047198A (ko) * 2005-11-01 2007-05-04 리이프프로그 엔터프라이시스, 인코포레이티드 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
KR20070053330A (ko) * 2007-04-12 2007-05-23 켄지 요시다 도트패턴을 인쇄 형성한 매체면의 인쇄 구조, 인쇄 방법,및 그 리드 방법
JP2007272883A (ja) * 2003-03-18 2007-10-18 Leapfrog Enterprises Inc 走査機器
JP2008033885A (ja) * 2006-01-03 2008-02-14 Shinsedai Kk 入力装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7717344B2 (en) * 1994-05-25 2010-05-18 Marshall Feature Recognition, Llc Method and apparatus for accessing electronic data via a familiar printed medium
US6218964B1 (en) * 1996-09-25 2001-04-17 Christ G. Ellis Mechanical and digital reading pen
JP2000231627A (ja) * 1998-12-22 2000-08-22 Xerox Corp フィードバック機構を備えた複数モード走査ペン及びこれを用いた入力方法
US7175095B2 (en) 2001-09-13 2007-02-13 Anoto Ab Coding pattern
US20060078866A1 (en) 2004-03-17 2006-04-13 James Marggraff System and method for identifying termination of data entry
US20060077184A1 (en) * 2004-03-17 2006-04-13 James Marggraff Methods and devices for retrieving and using information stored as a pattern on a surface
US20060066591A1 (en) 2004-03-17 2006-03-30 James Marggraff Method and system for implementing a user interface for a device through recognized text and bounded areas
US7853193B2 (en) 2004-03-17 2010-12-14 Leapfrog Enterprises, Inc. Method and device for audibly instructing a user to interact with a function
US7453447B2 (en) 2004-03-17 2008-11-18 Leapfrog Enterprises, Inc. Interactive apparatus with recording and playback capability usable with encoded writing medium
US20060125805A1 (en) 2004-03-17 2006-06-15 James Marggraff Method and system for conducting a transaction using recognized text
US20060033725A1 (en) 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface
US20060067576A1 (en) 2004-03-17 2006-03-30 James Marggraff Providing a user interface having interactive elements on a writable surface
US7831933B2 (en) 2004-03-17 2010-11-09 Leapfrog Enterprises, Inc. Method and system for implementing a user interface for a device employing written graphical elements
US20060283962A1 (en) * 2005-06-20 2006-12-21 Hewlett-Packard Development Company, L.P. Data encoding pattern
US7281664B1 (en) 2005-10-05 2007-10-16 Leapfrog Enterprises, Inc. Method and system for hierarchical management of a plurality of regions of an encoded surface used by a pen computer
US7936339B2 (en) 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
JP4542050B2 (ja) * 2006-02-21 2010-09-08 日本電信電話株式会社 ディジタルペン入力システム
US20070280627A1 (en) 2006-05-19 2007-12-06 James Marggraff Recording and playback of voice messages associated with note paper
US8427344B2 (en) 2006-06-02 2013-04-23 Anoto Ab System and method for recalling media
US20080097828A1 (en) * 2006-10-17 2008-04-24 Silverbrook Research Pty Ltd Method of delivering an advertisement via related computer systems
US8477095B2 (en) * 2007-10-05 2013-07-02 Leapfrog Enterprises, Inc. Audio book for pen-based computer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272883A (ja) * 2003-03-18 2007-10-18 Leapfrog Enterprises Inc 走査機器
JP2006309354A (ja) * 2005-04-26 2006-11-09 Media Drive Corp デジタルペン入力システム
KR20070047198A (ko) * 2005-11-01 2007-05-04 리이프프로그 엔터프라이시스, 인코포레이티드 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
JP2007128485A (ja) * 2005-11-01 2007-05-24 Leapfrog Enterprises Inc ユーザ記述をユーザ筆記可能エレメントと関連付ける方法及び装置
JP2008033885A (ja) * 2006-01-03 2008-02-14 Shinsedai Kk 入力装置
KR20070053330A (ko) * 2007-04-12 2007-05-23 켄지 요시다 도트패턴을 인쇄 형성한 매체면의 인쇄 구조, 인쇄 방법,및 그 리드 방법

Also Published As

Publication number Publication date
EP2277129A4 (en) 2012-07-04
US7810730B2 (en) 2010-10-12
CN102037476A (zh) 2011-04-27
WO2009124218A3 (en) 2010-02-25
KR101971161B1 (ko) 2019-04-22
JP5524951B2 (ja) 2014-06-18
EP2277129A2 (en) 2011-01-26
JP2011524028A (ja) 2011-08-25
AU2009231671A1 (en) 2009-10-08
US8002185B2 (en) 2011-08-23
WO2009124218A2 (en) 2009-10-08
CN102037476B (zh) 2015-04-01
US20090261169A1 (en) 2009-10-22
AU2009231671B2 (en) 2014-04-10
CA2720565A1 (en) 2009-10-08
US20100327065A1 (en) 2010-12-30

Similar Documents

Publication Publication Date Title
KR101971161B1 (ko) 인쇄물용 분리된 애플리케이션
US8265382B2 (en) Electronic annotation of documents with preexisting content
JP5451599B2 (ja) マルチモーダルスマートペンのコンピューティングシステム
US8842100B2 (en) Customer authoring tools for creating user-generated content for smart pen applications
US20090063492A1 (en) Organization of user generated content captured by a smart pen computing system
US9058067B2 (en) Digital bookclip
US20160124702A1 (en) Audio Bookmarking
US20160154482A1 (en) Content Selection in a Pen-Based Computing System
US8300252B2 (en) Managing objects with varying and repeated printed positioning information
US20090251338A1 (en) Ink Tags In A Smart Pen Computing System
CN102067153A (zh) 多模态学习***
US8416218B2 (en) Cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
AU2012258779A1 (en) Content selection in a pen-based computing system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E90F Notification of reason for final refusal
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101005378; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160913

Effective date: 20180727

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant