KR101481880B1 - 휴대용 실감형 상호작용을 위한 시스템 - Google Patents

휴대용 실감형 상호작용을 위한 시스템 Download PDF

Info

Publication number
KR101481880B1
KR101481880B1 KR1020127033995A KR20127033995A KR101481880B1 KR 101481880 B1 KR101481880 B1 KR 101481880B1 KR 1020127033995 A KR1020127033995 A KR 1020127033995A KR 20127033995 A KR20127033995 A KR 20127033995A KR 101481880 B1 KR101481880 B1 KR 101481880B1
Authority
KR
South Korea
Prior art keywords
display surface
graphical image
region
area
camera
Prior art date
Application number
KR1020127033995A
Other languages
English (en)
Other versions
KR20130042499A (ko
Inventor
다니엘 아브라하미
Original Assignee
인텔 코오퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코오퍼레이션 filed Critical 인텔 코오퍼레이션
Publication of KR20130042499A publication Critical patent/KR20130042499A/ko
Application granted granted Critical
Publication of KR101481880B1 publication Critical patent/KR101481880B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00003—Types of board games
    • A63F3/00094—Ticktacktoe
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F3/00—Board games; Raffle games
    • A63F3/00643—Electric board games; Electric features of board games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/243—Detail of input, input devices with other kinds of input
    • A63F2009/2435—Detail of input, input devices with other kinds of input using a video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 실시예들은 오브젝트 및 상황 인식 시스템(object and context aware system)을 만들기 위해 적어도 하나의 카메라 및 디스플레이를 활용하는 시스템을 설명한다. 본 발명의 실시예들은 카메라를 활용하여 시스템의 주위를 감지하고, 인식 논리나 모듈들을 사용하여 시스템 위(on)와 주위(around)에 있는 오브젝트들을 검출 및 인식한다. 시스템 애플리케이션들은 또한 감지된 데이터에 따라 행동하고 시스템의 디스플레이를 사용하여 시스템 사용자와 상호작용하는 수단으로서 시각 피드백 및 대화형 요소들을 제공한다.

Description

휴대용 실감형 상호작용을 위한 시스템{A SYSTEM FOR PORTABLE TANGIBLE INTERACTION}
본 발명의 실시예들은 일반적으로 개선된 컴퓨터 디바이스 상호작용을 제공하기 위한 디바이스 및 방법에 관한 것으로, 보다 구체적으로, 증강된 모바일 컴퓨터 디바이스 시스템과 오브젝트의 상호작용을 처리하는 것에 관한 것이다.
모바일 컴퓨터 시스템의 처리 능력의 증가는 상기 시스템 근처의 물리적 오브젝트들을 이해하고 그들에 반응하는 개선된 능력을 만들었다. 더 풍부한 상호작용 경험을 제공하기 위해 시스템 사용자의 상황이 또한 사용될 수 있다.
오브젝트를 추적하고, 그들에 따라 행동하고, 피드백을 제공하는 능력을 갖는 시스템을 만드는 것은 최종 사용자들에게 모바일 컴퓨터의 가치를 상당히 높이는 것이다. 이러한 이득들 중 많은 것을 제공하기 위해 탁상 시스템(tabletop systems)이 수년간 제안 및 개발되지만; 이러한 시스템은 일반적으로 크고 따라서 모바일이나 개인용이 아니다. 탁상 시스템과 같은 종래 기술의 솔루션의 한계의 이유들 중 하나는 큰 디바이스 풋프린트에 대한 요구로; 이러한 디바이스들은 시스템과의 상호작용으로서 표면상의 활동(activity)을 처리하기 위해 탁상 표면 아래에 있는 추가적인 하드웨어를 활용한다.
따라서, 추가적인 표시 능력들(예컨대, 추가적인 화면, 프로젝터)을 요구하지 않는 모바일 컴퓨터 시스템에게, 개선된 사용자와 오브젝트의 상호작용을 제공하며, 사용자와 오브젝트의 상호작용을 개선하기 위한 메커니즘은 모바일 컴퓨팅 시스템의 유목 특성(nomadic characteristics)에 영향을 미치지 않는 솔루션들이 현재 존재하지 않는다.
다음의 설명은 본 발명의 실시예들에 대한 구현의 예로서 주어진 도시들(illustrations)을 갖는 도면들에 대한 논의를 포함한다. 도면들은 제한으로서가 아닌 예로서 이해되어야한다. 여기에 사용된, 하나 이상의 "실시예들"이라는 지칭은 본 발명에 대한 적어도 하나의 구현에 포함된 특정한 특징, 구조, 또는 특성을 설명하는 것으로 이해될 것이다. 따라서, 여기에 등장하는 "하나의 실시예에서" 또는 "대안적인 실시예에서"와 같은 문구는 본 발명의 다양한 실시예들 및 구현들을 설명하는 것으로, 모두가 반드시 동일한 실시예를 지칭하는 것일 필요는 없다. 그러나, 그들이 반드시 상호 배타적일 필요 또한 없다.
도 1은 본 발명의 일 실시예에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 대한 블록도이다.
도 3은 본 발명의 일 실시예에의 순서도이다.
도 4는 본 발명의 일 실시예를 활용하는 애플리케이션의 도시이다.
도 5는 본 발명의 일 실시예를 활용하는 애플리케이션의 도시이다.
도 6은 본 발명의 일 실시예를 활용하는 애플리케이션의 도시이다.
아래 설명된 실시예들의 일부 또는 전부를 도시할 수 있는, 도면들에 대한 설명을 포함하는, 특정 상세들 및 구현들에 대한 설명은 물론, 여기에 제시된 본 발명의 개념에 대한 구현들이나 다른 잠재적인 실시예들에 대한 논의가 뒤따른다. 본 발명의 실시예들에 대한 개요가 아래 제공되고, 도면들을 참조한 더 자세한 설명이 뒤따른다.
본 발명의 실시예들은 오브젝트 및 상황 인식 시스템(object and context aware system)을 만들기 위해 적어도 하나의 카메라와 디스플레이 화면을 활용하는 시스템을 설명한다. 보다 구체적으로, 본 발명의 실시예들은 시스템의 주위를 감지하기 위해 카메라 및 센서를 활용하고, 시스템 위 및 주위에 있는 오브젝트를 검출 및 인식하기 위해 인식 논리 또는 모듈들을 사용한다. 상기 인식 논리 또는 모듈들은 또한 감지된 데이터와 임의의 이력 상황(historical context)이나 그것이 사용자에 관해 가질 수 있는 정보에 기초하여 시스템 사용자(들)와 그들의 근접 환경(immediate environment)의 상태를 추론할 수 있다. 애플리케이션들은 또한 감지된 데이터에 따라 행동하고, 시각적 피드백 및 시스템 사용자(들)와 상호작용하는 수단들로서 대화형 요소들(이를테면, 버튼, 다이얼, 슬라이더)을 제공하기 위해 시스템의 디스플레이 화면을 사용할 수 있다.
본 발명의 실시예들은 따라서 오브젝트-인식 모바일 탁상형 시스템(object-aware mobile table-top system)을 제공한다. 본 발명의 실시예들은 유목(nomadic)(고정된 것과 반대로서) 기능성을 얻기 위해 유비쿼터스 안정-표면-기반 플랫폼(ubiquitous stable-surface-based platform)(예컨대, 태블릿 컴퓨터 또는 컨버터블 태블릿)을 활용할 수 있다. 본 발명의 실시예들은, 환경 계측장비(천장에 장착된 카메라 및 프로젝터와 반대로서)를 피하기 위해, 태블릿 컴퓨터에 동작적으로 결합된 카메라들/센서들을 활용할 수 있다. 이러한 카메라들/센서들의 통합은 상당히 자급 자족적인 휴대형이면서 몰입형(immersive)이고 저렴한 기능성을 제공한다. 본 발명의 실시예들은 모바일 컴퓨터(예컨대, 태블릿 컴퓨터)의 디스플레이 표면 위에 배치된 카메라를 활용하므로, 화면을 벗어난 오브젝트들의 검출을 가능하게 한다(이 검출은 디스플레이 표면 아래에 배치된 카메라 또는 센서로는 가능하지 않다). 상기 카메라는 모바일 디바이스와 통합되거나, 디바이스의 디스플레이 표면을 보도록 카메라의 배치할 수 있는 임의의 수단을 사용하여 모바일 디바이스에 고정될(fasten) 수 있다.
오브젝트 인식에 관련된 처리는 논리 또는 모듈들을 통해 실행될 수 있다. 소프트웨어 모듈들은 혼자 시스템에서 실행하거나 대안적으로 네트워크화한 시스템과 백-엔드 서버의 조합에서 실행할 수 있다. 상기 논리/모듈들의 기능성은 센서 데이터로부터 오브젝트, 사용자, 및 환경 상태를 분석하고, (시스템 자체의 디스플레이/액츄에이터를 사용하여) 사용자와 상호작용하는 방법을 결정하는 것이다. 상기 처리 기능성은: 기본 프레임 캡쳐, 수정(rectification) 및 조명 보정; 이미지 세분화 및 특징 추출; 오브젝트 위치들/상태 및 사용자 손들/위치를 인식하는 인식 코드; 사용자가 자신의 손으로 만든 제스처; 및 오브젝트들 및 문서들로부터 텍스트를 추출하는 OCR(optical character recognition), 필기, 및 바코드 인식을 포함할 것이다.
도 1은 본 발명의 일 실시예에 대한 블록도이다. 시스템(100)은 태블릿 컴퓨터(110)를 포함한다. 태블릿 컴퓨터(110)는 지지 표면(supporting surface)(예컨대, 탁상(tabletop))에 대하여 평면 배치될 수 있는 디스플레이 표면(120)을 포함하는 모바일 컴퓨터 시스템의 일례로서 사용된다. 태블릿 컴퓨터(110)는 본 발명의 일 실시예를 활용하는 디바이스에 대한 하나의 예라는 것이 이해될 것이고, 태블릿 컴퓨터들(예컨대, 터치화면 디스플레이)의 일부 기능들은 본 발명의 실시예들에서 반드시 필요로 하는 것은 아니라는 것 또한 이해될 것이다.
시스템(100)은 디스플레이 표면(120) 위에 배치된 카메라(130)를 더 포함할 수 있다. 이 실시예에서, 카메라(130)는 태블릿 컴퓨터(110)로부터 회전적으로 확장가능한 암(arm; 140)을 통해 태블릿 컴퓨터(110)에 동작적으로 결합된다.
하나의 실시예에서, 카메라(130)는 대상 지역(target area; 150) 내에 있는 시각 데이터를 캡처하도록 배치된다. 도 1에 도시된 바와 같이, 대상 지역(150)은 디스플레이 표면(120) 및 디스플레이 표면 외부의 지역들(155)을 포함한다.
태블릿 컴퓨터(110)는 또한 표시되는 그래픽 이미지(160)를 생성하는 애플리케이션을 실행할 수 있다. 상기 애플리케이션은 또한, 카메라(130)를 통해, 본 기술에서 알려진 임의의 인식 알고리즘을 통해 대상 지역(150) 내에서 오브젝트(170)를 식별할 수 있다. 상기 오브젝트는 대상 지역(150) 내에서 어딘가에 (즉, 디스플레이 표면(120) 및 지역(155) 위) 등장할 수 있다. 상기 애플리케이션은 애플리케이션에 의해 생성된 그래픽 이미지(160)와 오브젝트(170)의 상호작용을 처리할 수 있다.
이 예에서, 오브젝트(170)는 디스플레이 표면(120)을 벗어나지만, 대상 지역(150)의 서브-지역(155) 내에 등장한다. 태블릿 컴퓨터(110)에서 실행하는 애플리케이션은 대상 지역(150) 내에서 오브젝트(170)의 위치를 식별하기 위해 그래픽 이미지(화살표)(160)의 방향을 정할 수 있다. 이 실시예에서, 그래픽 이미지(160)는 오브젝트(170)와 화면(120)의 중심 사이의 각도에 기초하여 생성된다.
따라서, 본 발명의 실시예들은, 오브젝트와 사용자 상태의 인식을 전달하고, 행동에 대해 사용자에게 피드백을 제공하고, 물리적 오브젝트를 조작할 것인지 화면상의 디지털 요소들과 상호작용할 것인지에 대한 선택을 사용자에게 제공하기 위해, 컴퓨팅 디바이스의 화면을 활용할 수 있다.
도 2는 두 개의 카메라를 활용하는 본 발명의 일 실시예에 대한 블록도이다. 시스템(200)은, 디스플레이 표면(220)을 포함하는, 태블릿 컴퓨터(210)를 포함한다. 시스템(200)은 디스플레이 표면(220)에 대하여 수직으로(upright) 배치된 카메라들(230 및 240)을 더 포함한다. 모바일 및 울트라-모바일 디바이스들로 인해, 화면 리얼-이스테이트(screen real-estate)는 종종 화면상의 디지털 콘텐츠를 방해하지 않고 사용자의 손이나 손가락을 위한 충분한 공간을 제공하는 것을 불가능하게 만든다. 태블릿 컴퓨터(210)에 의해 제공된 한정된 화면 지역에도 불구하고 다수의 카메라의 사용은 큰 상호작용 공간을 제공한다. 카메라들(230 및 240)을 포함하는 시스템(200)의 물리적 디자인은 태블릿 주위의 표면(즉, 대상 지역들(235 및 245)의 조합) 위의 오브젝트들과 사용자의 상호작용들을 보고 그에 응답하는 것을 가능하게 한다. 따라서, 시스템(200)의 입력 공간(즉, 시스템이 보는 것)은 그것의 출력 공간(화면(220)의 경계선들로 한정)보다 훨씬 더 크다.
카메라들(230 및 240)이 태블릿 화면(220) 상에 표시된 가상 요소들을 뜻하지 않게 인식하는 것을 피하기 위해, 선형 편광 필터들이 화면(220)과 카메라들에 적용될 수 있다(대부분의 LCD 화면들은 선형적으로 편광되지만; 많은 태블릿에서, 터치-감지 요소는 빛을 분산시킨다). 하나의 실시예에서, 카메라들(230 및 240)을 위한 편광 필터들은 화면(220)의 뷰(view)를 차단하는데 필요한 필터 회전을 미리 산출할 필요를 피하기 위해 회전할 수 있다(정확한 정렬로 필터를 회전하는 것은 단지 한 번 수행할 필요가 있다).
사용하기 전에, 시스템(200)은 카메라들(230 및 240)로부터 상이한 카메라 뷰들을 생성하고 정확한 오브젝트 위치들을 전달하기 위해 교정될 수 있다. 하나의 실시예에서, 시스템 교정은 3개의 동작으로 구성되며 이들 각각은 한 번 수행될 필요가 있다. 제1 동작에서, 화면(220)의 네 개의 코너는, 각각의 카메라에 대해 한 번씩, 사용자에 의해 수동으로 선택된다. 선택된 코너들을 사용하여, 각각의 카메라에 대한 호모그래피가 산출되는데, 이는 카메라 뷰로부터 화면(220)의 면으로 전환하기 위해 나중에 사용된다. 대안적으로, 화면 코너들에서 시각 마커들은 시스템에 의해 자동적으로 삭제될 수 있다. 호모그래피는 파일에 저장되고 시스템(200)이 시작될 때마다 자동적으로 로드될 수 있다.
제1 교정 동작 후에, 화면(220) 상에 배치된 오브젝트는 양측 카메라들(230 및 240)로부터 동일한 좌표들을 수신할 수 있지만; 테이블 표면(260) 위(즉, 대상 지역들(235 및 245) 중 어느 하나 내)에 배치된 오브젝트는, 태블릿 화면의 면이 표면(260)의 면으로부터 들어 올려지기 때문에, 두 개의 카메라로부터 상이한 좌표를 수신할 것이다. 따라서, 제2 교정 동작에서, 단일 물리적 교정 마커는 카메라들(230 및 240) 사이의 중첩 지역(265) 내에 있는 표면(260) 상에 배치된다(이 시점에서, 시스템(200)은 테이블 상에 두 개의 마커를 관찰할 것이다). 시스템(200)은 표면(260) 상에 단지 하나의 마커가 존재하는 것으로 알기 때문에, 정렬하기 위해 그들의 센터들을 찾고 있는 두 개의 오브젝트에 적용되어야 하는 정정 오프셋을 산출한다. 오프셋은 저장되어, 결과적으로 태블릿(210)의 베질(bezel) 외부에 있는 오브젝트들의 좌표들에 적용된다. 제2 교정 동작 후에, 카메라의 중첩(즉, 지역(265) 내에 있는 단일 오브젝트는 중첩 좌표들을 가질 것이고 단지 한 번 비전 시스템에 의해 정확하게 보고될 것이다.
제3 동작에서, 비전 시스템 좌표들과 애플리케이션 공간 좌표들 사이의 매핑이 구축된다. 이전 동작으로부터의 교정 마커는 사용자 애플리케이션 공간의 네 개의 코너에 배치된다. 각각의 코너에서 마커에 대한 비전 시스템에 의해 반환된 좌표들을 사용하여, 좌표 변환이 산출 및 저장되고, 나중에 시스템의 애플리케이션들에 의해 사용된다.
도 3은 본 발명의 일 실시예에의 순서도이다. 여기에 도시된 순서도는 다양한 프로세스 액션들의 시퀀스들의 예들을 제공한다. 특정한 시퀀스 또는 순서로 도시되지만, 달리 명시되지 않는 한, 액션들의 순서는 수정될 수 있다. 따라서, 도시된 구현들은 단지 예로서 이해되어야하고, 도시된 프로세스들은 상이한 순서로 수행될 수 있으며, 일부 액션들은 병렬로 수행될 수 있다. 또한, 하나 이상의 액션이 본 발명의 다양한 실시예에서 생략될 수 있고; 따라서 모든 액션이 모든 구현에 요구되는 것은 아니다. 다른 프로세스 순서들도 가능하다.
프레임은 적어도 하나의 카메라 디바이스로부터 검색된다(300). 하나의 실시예에서, 더 큰 대상 입력 지역을 제공하기 위해 적어도 두 개의 카메라가 활용된다. 검색된 프레임에 대해 배경 제거가 실행된다(310). 하나의 실시예에서, 배경 제거를 위해, 각각의 카메라에 대해 전용 모델을 갖는, 가우시안 혼합 모델 접근법(Gaussian Mixture Models approach)이 활용된다. 배경 제거가 적용될 때, 원(raw) 카메라 프레임과 연관된 배경/전경 마스크가 생성된다(320).
시스템 설치에서 식별된 교정 지점들을 사용하여, 오브젝트 검출을 위해 사용될 시뮬레이트된 뷰들의 세트가 생성된다(330). 하나의 실시예에서, 세 개의 시뮬레이트된 뷰가 생성된다. 첫 번째는, 태블릿 화면과 베질의 수정된 뷰를 포함하는 화면 및 베질 뷰(Screen and Bezel View)를 포함하는데, 이는 태블릿 상에 배치된 오브젝트들의 보다 정확한 검출을 수행하는데 유용하다. 두 번째 뷰는, 태블릿 화면과 주위 표면의 수정된 뷰를 포함하는 테이블 뷰(Table view)를 포함하는데, 이것이 산출되어, 태블릿 화면은 수정된 뷰의 상부 사분면(top quadrants) 중 하나를 점유한다(왼쪽 또는 오른쪽 카메라 중 어느 것이 사용되는지에 따라). 세 번째 뷰는, 단지 태블릿 화면의 수정된 뷰만을 포함하는, 화면 뷰를 포함한다. 배경 제거가 사용되는 경우에, 뷰 모듈(View Module)은 원 카메라 프레임과 함께 수신된 배경/전경 마스크를 비틀어(distort) 시뮬레이트된 뷰에 매치한다.
하나의 실시예에서, 상기 뷰들(원(Raw), 화면 및 베질(Screen and Bezel), 및 테이블(Table)) 각각의 해상도는 독립적이고, 주로 검출될 필요가 있는 오브젝트들의 상세들에 따라 변경될 수 있다.
하나의 실시예에서, 시스템은, 상기 생성된 뷰들 중 하나에 대응하고, 비전-기반 오브젝트 인식(vision-based object recognition)을 책임지는 머신-학습 분류기들(machine-learning classifiers)의 리스트를 포함한다. 이러한 뷰들 각각은 그들의 각 분류기(340)에 전달된다. 이러한 뷰들은 배경 제거와 함께 또는 배경 제거 없이 전달될 수 있다. 각각의 분류기는 그 다음 (만약에 있다면) 검출된 오브젝트들의 리스트를 반환한다(350).
상이한 뷰들은 태블릿 화면에 대해 상이한 해상도 및 좌표계를 가질 수 있기 때문에, 각각의 오브젝트의 좌표들은, 오브젝트들을 카메라 모듈로 전달하기 전에, 균일한 좌표계로 변환(360)되어야 한다는 것이 이해될 것이다. 하나의 실시예에서, 각각의 검출된 오브젝트의 좌표들은 태블릿의 좌표계에 순응하므로, 태블릿 화면의 좌측 상단에 배치된 오브젝트는, 예를 들어, (0,0)의 좌표를 가질 것이고, 태블릿 화면의 우측 하단 코너에 배치된 오브젝트는, 예를 들어, (1280, 800)의 좌표를 가질 것이다. 이 예에서, 결국 태블릿의 좌측으로의 동작 오브젝트들은 음의 수평 좌표를 가질 것이고, 태블릿의 앞에 있는 오브젝트들은 800보다 더 큰 수직 좌표를 가질 것이고, 태블릿의 우측으로의 오브젝트들은 1280보다 더 큰 수평 좌표를 가질 것이다. 이러한 단일 좌표계에 수렴하는 것은 오브젝트가 화면 위에 있는지 밖에 있는지에 여부에 관한 직설적 결정(straightforward determination)을 허용하고, 하나 이상의 시각화가 적절히 선택될 수 있다. 오브젝트들의 리스트는 그 다음 그들의 연관된 좌표로 각각 업데이트될 수 있다(370).
시스템은, 잠재적인 리던던시들(redundancies)을 갖는 상이한 뷰들에서 분류된 하나 보다 많은 세트의 오브젝트들을 처리할 수 있지만; 각각의 오브젝트는 출력 시스템에 기껏해야 한 번 보고되어야 한다. 따라서, 상이한 뷰들로부터의 리스트들이 분석되고 다수의 리스트에서 발생하는 오브젝트들의 듀플리케이트들은 제거된다(380). 듀플리케이트들은, 동일한 템플릿 이름을 갖고 바운딩 박스들이, 예를 들어, 75% 보다 많이 중첩하는 오브젝트들로서 결정된다. 하나의 실시예에서, 듀플리케이트들이 발견될 때, 시스템은, 테이블 뷰(Table view)에서 분류된 오브젝트들 이상의 높은 해상도의 화면 및 베질 뷰(Screen and Bezel view)에서 분류된 오브젝트들에 우선권을 준다. 그 다음, 오브젝트들의 단일 리스트가 인식 처리를 위해 전달된다(385).
상기 동작과 유사하게, 두 개의 카메라로부터 반환된 오브젝트들이 병합된다(390). 동일한 카메라의 상이한 뷰들로부터의 오브젝트들의 병합과 달리, 양측 카메라에 의해 검출된 단일 오브젝트는 뷰들 사이에 완벽한 중첩을 갖지 않을 수 있다는 것이 이해될 것이다. 사실, 임의의 3D 오브젝트에 대해서는, 그 경우가 아닐 것이다. 본 발명의 하나의 실시예에서, 양측 카메라에 의해 보이는 한 오브젝트에 대한 중첩 지역은 가능한 오브젝트의 베이스로서 사용된다. 중첩하는 오브젝트들에 대해, 단지 교차 지역이 출력 서브시스템에 보고될 수 있어, 오브젝트의 터치 지점을 표면으로 근사하고 적절한 위치에서 피드백을 제공한다.
시스템 카메라들의 뷰 내에서 오브젝트들이 식별되어 후속 처리를 위한 애플리케이션으로 전달된다(395). 따라서, 시스템의 입력 공간(카메라에 보일 수 있는 것)은 그것의 출력 공간(태블릿 화면의 범위)보다 훨씬 더 크다.
위에서 설명된 증가된 입력 공간을 활용하는 애플리케이션들은 화면 밖의 오브젝트의 존재를 전달할 수 있고 조종자들(manipulators)은 태블릿으로부터 오브젝트의 거리를 전달하기 위한 임의의 표현에 적용될 수 있다.
하나의 실시예에서, 화살표는 태블릿 화면의 중심으로부터 테이블 위에 있는 오브젝트의 방향으로 그려진다. 화살표의 두께는 태블릿으로부터 오브젝트의 거리를 표시 및 업데이트하기 위해 사용될 수 있다. 예를 들어, 오브젝트의 거리가 증가하면 화살표의 두께는 감소할 수 있다. 알파 블렌드 값(alpha blend value)은 또한 태블릿으로부터 오브젝트의 거리를 표시하기 위해 사용될 수 있다. 이 시각화 기술은 화면으로부터 오브젝트의 거리에 기초하여 표현의 알파 값을 변경한다. 오브젝트가 화면을 터치하고 있을 때, 알파 값은 100%이다. 디폴트로서, 비전 시스템의 가장자리에서 오브젝트에 대한 알파 값은 알파 값의 20%를 갖는다.
또 다른 실시예에서, 오브젝트를 표현하는 아이콘이 화면상에 표시될 수 있다. 아이콘의 위치가 산출되어, 아이콘은, 오브젝트의 중심과 화면의 중심을 접속하는 가상 선 상의 화면의 가장자리에 배치된다. 아이콘들은 화면으로부터 오브젝트의 거리를 표시하기 위해 알파-블렌드되고 크기 조절될 수 있다.
또 다른 실시예에서, 위에서 설명된 아이콘과 유사하게, 화살표는 오브젝트의 방향을 가리키도록 화면의 가장자리에 그려질 수 있다. 예를 들어, 더 얇고 더 긴 화살표들은, 오브젝트들이 태블릿 화면으로부터 더 멀리 있다는 것을 표시할 수 있다. 화살표의 다른 부분들이 오브젝트 거리를 표시할 수 있다(예컨대, 오브젝트가 더 멀리 떨어져 있으면 화살표의 줄기가 더 길게 된다).
또 다른 실시예에서, 콜아웃(카툰 버블과 유사한)은, 화면 밖의 오브젝트를 가리키는 꼬리를 포함하는, 대상 지역 내에 있는 오브젝트를 표시할 수 있다. 콜아웃은 라벨 및 아이콘을 더 포함할 수 있다. 콜아웃은 화면으로부터 오브젝트의 거리를 표시하기 위해 더 크기 조절되고 알파-블렌드될 수 있다.
도 4는 본 발명의 일 실시예를 활용하는 애플리케이션의 도면이다. 도 4의 애플리케이션은 태블릿 컴퓨터(400) 위 및 그 주위에 있는 오브젝트들을 검출하고, 태블릿 화면(410)을 이용하는 능력을 보여준다. 이 애플리케이션에서, 물리적 토큰들(physical tokens; 401-409)은 그리드(420) 상에서 틱-택-토 게임을 하기 위해 사용될 수 있다. 이 시스템은 화면 위에 배치된 카메라를 통해 화면(410) 상의 토큰들(401-409)의 위치들을 인식하여, 게임-판의 상태를 결정하고 이미지들(411-418)을 통해 밑에서 토큰들을 강조한다(highlight)(토큰(409)은 화면(410) 상에 배치되지 않았고, 따라서 화면(410) 상에 대응하는 이미지를 갖지 않는다). 하나의 실시예에서, 화면 밖에 있는 토큰들은 위에서 설명된 바와 같이 화면(410) 주변에 있는 아이콘들로 식별 및 강조될 수 있다.
이 실시예에서, 애플리케이션(즉, 틱-택-토 게임)은 대상 지역을 모니터링하기 위해 사용자로부터의 명령을 수신한다. 예를 들어, 그리드(420) 상에 게임 피스를 배치한 후에, 사용자는 화면(410) 상에 표시된 NEXT 버튼(425)을 쳐서(hit), 그들이 그들의 순번(turn)을 끝냈다는 것을 표시할 수 있다. 이 시점에, 애플리케이션은 게임판의 상태를 체크하기 위해 대상 지역을 관찰하여, 화면(410) 상의 오브젝트들이 게임을 준수하도록 보장할 수 있다(이미 배치된 피스를 이동하는 것, 경쟁자의 피스를 제거하는 것, 한 순번에 두 개 이상의 피스를 플레이하는 것, 한 순번에 플레이에 실패하는 것, 경쟁자의 피스를 커버하는 것 등과 같은, 가능한 위반들). 사용자들은 화면(410) 상에 표시된 사운드 및 심볼을 통해 위반들에 대한 통지를 받을 수 있다(예컨대, 부저 사운드들 및 그리드(420) 상에서 불법 이동을 마킹하는 빨간색 대시들(red dashes)).
도 5는 본 발명의 일 실시예를 활용하는 애플리케이션의 도면이다. 도 5의 애플리케이션은 애플리케이션에 대한 입력으로서 태블릿 컴퓨터(500)의 화면(510) 밖의 오브젝트들을 검출하는 능력을 도시한다. 이 예에서, 애플리케이션은 골키퍼(530)와 함께 축구 골문(525)을 표시한다. 사용자는 가상 화면상의 골문(525)을 향해 작은 축구공 모양의 오브젝트(540)를 물리적으로 굴릴 수 있다(또는 찰 수 있다). 오브젝트(540)가 태블릿(500)의 섀시를 칠 때, 가상 공(545)이 등장하고 진입하는 물리적 오브젝트와 동일한 궤적을 따라 골문(525)을 향해 날아간다. 골키퍼(530)는, 슈터가 스트라이크하기에 순조로운 측의 슛을 차단하려고 시도한다.
이 예시적인 애플리케이션은 그라운드로부터 올려지는 태플릿(500)을 이용하므로, 물리적 오브젝트(540)는 태블릿에 충격을 줄 수 있고, 그 다음 사용자에게, 거의, 돌아갈 수 있다. 물리적 세계에서 속도와 가속도는, 물리적 이동을 화면(510) 상의 가상 공(545)의 가상 이동으로 변환하기 위해, 물리 방정식에서 직접 사용된다. 하나의 실시예에서, 슛들은 화면(510) 상에서 단지 2차원으로만이 아니라 3차원으로도 이동하므로, 태블릿(500) 위의 카메라에 대해 오브젝트(540)의 크기는 그라운드로부터의 그의 높이를 전달한다. 따라서, 골문의 왼쪽 또는 오른쪽은 물론 그 위로 슛하는 것도 가능하다.
도 5에 도시된 본 발명의 실시예는 태블릿 컴퓨터(500)를 벗어난 오브젝트들을 검출하고, 그들의 속도와 궤도를 추적하고, 화면(510) 상에서 그들에게 반응하는 본 발명의 실시예들의 능력을 강조한다.
도 6은 본 발명의 일 실시예를 활용하는 애플리케이션의 도면이다. 도 6의 애플리케이션은 사용자가 물리적 오브젝트, 이 예에서는, 장난감 얼룩말(650)을 가지고 노는 것을 허용하고, 이 애플리케이션이 태블릿(600) 위 또는 주위에 있는 장난감의 상태에 반응하게 한다.
이 실시예에서, 장난감 얼룩말(650)은, 표시된 오브젝트들 위에 장난감의 "머리"를 배치하여, 화면(610) 상에 표시된 음식(615)을 먹거나, 화면(610) 상에 표시된 가상의 물웅덩이(620)(타이머는 주기적으로 물웅덩이를 다시 채울 수 있다)의 물을 마실 수 있다. 모래 지역(625)은, 모래 지역 내에 있는 화면(610) 상에 전체적으로 장난감을 배치하여 화장실을 사용하려는 장난감 얼룩말(650)을 위한 장소를 제공한다.
얼룩말 장난감(650)의 물리적 방향은 또한 애플리케이션에 의해 활용될 수 있다. 구체적으로, 애플리케이션이 서있는 얼룩말과 누워있는 얼룩말을 구별함으로써, 얼룩말 장난감(650)은 잠을 잘 수 있다. 예를 들어, 태블릿(500)의 앞쪽에 누워있는 얼룩말 장난감(650)은 "꿈"을 유발하고, 야생에서 얼룩말의 자연 비디오가 얼룩말의 머리 위에서 태블릿 화면(610) 상의 카툰 버블(630) 내에 재생한다. 꿈 중간에 얼룩말 장난감(650)이 세워지는 경우, 꿈은 즉시 중지된다. 대상 지역 내에서 제스처 추적의 또한 추적되어, 쓰다듬는 것과 같은 행동들이 인지되고 보상되는 것을 가능하게 한다. 이 애플리케이션은, 대상 지역 내에 있는 오브젝트들을 검출하고, 태블릿 컴퓨터(600) 밖이나 위에 있는 화면(610) 상의 오브젝트들과의 상호작용들을 처리하는 본 발명의 실시예들의 능력을 강조한다.
여기에 설명된 프로세스들, 서버들, 또는 도구들로서 위에 언급된 다양한 컴포넌트들은 설명된 기능들을 수행하기 위한 수단일 수 있다. 여기에 설명된 각각의 컴포넌트는 소프트웨어 또는 하드웨어, 또는 이들의 조합을 포함한다. 컴포넌트들은 소프트웨어 모듈들, 하드웨어 모듈들, 특수-목적 하드웨어(예컨대, ASIC들(Application Specific Integrated Circuits), DSP들(Digital Signal Processors) 등), 내장된 제어기들, 하드와이어 회로 등으로서 구현될 수 있다. 소프트웨어 콘텐츠(예컨대, 데이터, 명령어들 및 구성)는, 실행될 수 있는 명령어들을 표현하는 콘텐츠를 제공하는, 컴퓨터 판독가능한 저장 매체를 포함하는 제조의 물품을 통해 제공될 수 있다. 콘텐츠는 여기에 설명된 다양한 기능들/동작들을 수행하는 컴퓨터에서 발생할 수 있다. 컴퓨터 판독가능한 저장 매체는, 기록가능한/기록불가능한 매체(예컨대, ROM(read only memory), RAM(random access memory), 자기 디스크 저장 매체, 광 저장 매체, 플래시 메모리 디바이스 등)와 같은, 컴퓨터(예컨대, 컴퓨팅 디바이스, 전자 시스템 등)에 의해 액세스가능한 형태로 정보를 제공(즉, 저장 및/또는 송신)하는 임의의 메커니즘을 포함한다. 콘텐츠는 직접 실행가능한 것("오브젝트" 또는 "실행가능한" 형태), 소스 코드, 또는 상이한 코드("델타" 또는 "패치" 코드)일 수 있다. 컴퓨터 판독가능한 저장 매체는 또한 콘텐츠가 그로부터 다운로드될 수 있는 저장소(storage) 또는 데이터베이스를 포함할 수 있다. 컴퓨터 판독가능한 매체는 또한 판매나 배달 시에 거기에 저장된 콘텐츠를 갖는 디바이스나 제품을 포함할 수 있다. 따라서, 저장된 콘텐츠가 있는 디바이스를 배달하는 것, 또는 통신 매체를 통해 다운로드용 콘텐츠를 제공하는 것은 여기에 설명된 그러한 콘텐츠를 갖는 제조의 물품을 제공하는 것으로서 이해될 수 있다.

Claims (22)

  1. 지지 표면(supporting surface) 상에 평면 배치(laid flat)되는 디스플레이 표면;
    대상 지역(target area) 내에 있는 시각 데이터를 캡처하기 위해 배치된 카메라 - 상기 대상 지역은 적어도 상기 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 지역을 포함함 - ;
    상기 카메라가 상기 디스플레이 표면상에 표시된 가상 요소(virtual element)를 인식하지 않도록 하는 편광 필터;
    프로세서; 및
    소프트웨어
    를 포함하고,
    상기 소프트웨어는, 상기 프로세서를 통해 실행되어,
    상기 디스플레이 표면에 표시되는 그래픽 이미지를 생성하고,
    상기 대상 지역 내에서 상기 디스플레이 표면에서 떨어져 있는 오브젝트를 식별하고,
    상기 그래픽 이미지와 상기 오브젝트의 상호작용을 처리하는 장치.
  2. 제1항에 있어서, 제2 대상 지역 내에 있는 시각 데이터를 캡처하기 위해 배치된 제2 카메라를 더 포함하고, 상기 제2 대상 지역은 적어도 상기 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 제2 지역을 포함하는 장치.
  3. 제2항에 있어서, 상기 디스플레이 표면 및 상기 프로세서는 태블릿 컴퓨터에 포함되고, 또한 상기 카메라들 각각은 상기 디스플레이 표면에 대하여 수직으로(upright) 연장된 고정기(fastener)를 통해 상기 태블릿 컴퓨터에 결합되는 장치.
  4. 제1항에 있어서, 상기 소프트웨어는 또한 상기 대상 지역 내에서 상기 오브젝트를 식별하기 위해 상기 대상 지역을 지속적으로 모니터링하는 장치.
  5. 제1항에 있어서, 상기 소프트웨어는 또한 상기 대상 지역을 모니터링하라는 명령을 수신하는 장치.
  6. 제1항에 있어서, 상기 그래픽 이미지와 상기 오브젝트의 상호작용은 상기 그래픽 이미지에 대한 상기 오브젝트의 이동을 포함하는 장치.
  7. 제1항에 있어서, 상기 그래픽 이미지와 상기 오브젝트의 상호작용은 상기 그래픽 이미지에 대한 상기 대상 지역 내에 있는 상기 오브젝트의 위치를 포함하는 장치.
  8. 제1항에 있어서, 상기 소프트웨어는 또한 제2 그래픽 이미지를 더 생성하고, 상기 제2 그래픽 이미지는, 상기 오브젝트를 표현하고, 상기 대상 지역 내 및 상기 디스플레이 표면 외부에서의 상기 오브젝트의 식별에 응답하여 상기 디스플레이 표면에 표시되는 장치.
  9. 제8항에 있어서, 상기 소프트웨어는, 상기 오브젝트와 상기 디스플레이 표면 사이의 거리, 각도 및 방위 중 적어도 하나에 적어도 부분적으로 기초하여 상기 제2 그래픽 이미지를 생성하는 장치.
  10. 머신에 의해 실행되는 경우, 상기 머신이 동작들을 수행하게 할 명령어들을 제공하는 머신-판독가능한 저장 매체로서,
    상기 동작들은,
    카메라를 통해 대상 지역 내에 있는 시각 데이터를 캡처하는 동작 - 상기 대상 지역은 적어도 지지 표면상에 평면 배치되는 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 지역을 포함하고, 상기 캡처하는 동작은, 편광 필터를 이용하여 상기 카메라가 상기 디스플레이 표면상에 표시된 가상 요소를 인식하지 않도록 하면서 행하여짐 - ;
    그래픽 이미지를 생성하는 동작;
    상기 디스플레이 표면에 상기 그래픽 이미지를 표시하는 동작;
    상기 대상 지역 내에서 상기 디스플레이 표면에서 떨어져 있는 오브젝트를 식별하는 동작; 및
    상기 그래픽 이미지와 상기 오브젝트의 상호작용을 처리하는 동작
    을 포함하는 머신-판독가능한 저장 매체.
  11. 제10항에 있어서, 상기 동작들은 제2 카메라를 통해 제2 대상 지역 내에 있는 시각 데이터를 캡처하는 동작을 더 포함하고, 상기 제2 대상 지역은 적어도 상기 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 제2 지역을 포함하는 머신-판독가능한 저장 매체.
  12. 제10항에 있어서, 상기 디스플레이 표면은 태블릿 컴퓨터에 포함되고, 또한 상기 카메라들 각각은 상기 디스플레이 표면에 대하여 수직으로 연장된 고정기를 통해 상기 태블릿 컴퓨터에 결합되는 머신-판독가능한 저장 매체.
  13. 제10항에 있어서, 상기 동작들은 상기 대상 지역 내에서 상기 오브젝트를 식별하기 위해 상기 대상 지역을 지속적으로 모니터링하는 동작을 더 포함하는 머신-판독가능한 저장 매체.
  14. 제13항에 있어서, 상기 동작들은 상기 대상 지역을 모니터링하라는 명령을 수신하는 동작을 더 포함하는 머신-판독가능한 저장 매체.
  15. 제10항에 있어서, 상기 그래픽 이미지와 상기 오브젝트의 상호작용은 상기 그래픽 이미지에 대한 상기 오브젝트의 이동을 포함하는 머신-판독가능한 저장 매체.
  16. 제10항에 있어서, 상기 그래픽 이미지와 상기 오브젝트의 상호작용은 상기 그래픽 이미지에 대한 상기 대상 지역 내에 있는 상기 오브젝트의 위치를 포함하는 머신-판독가능한 저장 매체.
  17. 제10항에 있어서, 상기 동작들은,
    상기 대상 지역 내 및 상기 디스플레이 표면 외부에서 상기 오브젝트를 식별하는 동작; 및
    상기 대상 지역 내 및 상기 디스플레이 표면 외부에서의 상기 오브젝트의 식별에 응답하여,
    상기 오브젝트를 표현하는 제2 그래픽 이미지를 생성하는 동작과,
    상기 디스플레이 표면에 상기 제2 그래픽 이미지를 표시하는 동작
    을 더 포함하는 머신-판독가능한 저장 매체.
  18. 제17항에 있어서, 상기 제2 그래픽 이미지를 생성하는 동작은, 상기 오브젝트와 상기 디스플레이 표면 사이의 거리, 각도, 및 방위 중 적어도 하나에 적어도 부분적으로 기초하는 머신-판독가능한 저장 매체.
  19. 카메라를 통해 대상 지역 내에 있는 시각 데이터를 캡처하는 단계 - 상기 대상 지역은 적어도 지지 표면상에 평면 배치되는 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 지역을 포함하고, 상기 캡처하는 단계는, 편광 필터를 이용하여 상기 카메라가 상기 디스플레이 표면상에 표시된 가상 요소를 인식하지 않도록 하면서 행하여짐 - ;
    그래픽 이미지를 생성하는 단계;
    상기 디스플레이 표면에 상기 그래픽 이미지를 표시하는 단계;
    상기 대상 지역 내에서 모니터에서 떨어져 있는 오브젝트를 식별하는 단계; 및
    상기 그래픽 이미지와 상기 오브젝트의 상호작용을 처리하는 단계
    를 포함하는 방법.
  20. 제19항에 있어서, 제2 카메라를 통해 제2 대상 지역 내에 있는 시각 데이터를 캡처하는 단계를 더 포함하고, 상기 제2 대상 지역은 적어도 상기 디스플레이 표면의 일부 및 상기 디스플레이 표면 외부의 상기 지지 표면의 제2 지역을 포함하는 방법.
  21. 제20항에 있어서, 상기 디스플레이 표면은 태블릿 컴퓨터에 포함되고, 또한 상기 카메라들 각각은 상기 디스플레이 표면에 대하여 수직으로 연장된 고정기를 통해 상기 태블릿 컴퓨터에 결합되는 방법.
  22. 제19항에 있어서,
    상기 대상 지역 내 및 상기 디스플레이 표면 외부에서 상기 오브젝트를 식별하는 단계; 및
    상기 대상 지역 내 및 상기 디스플레이 표면 외부에서의 상기 오브젝트의 식별에 응답하여,
    상기 오브젝트를 표현하는 제2 그래픽 이미지를 생성하는 단계와,
    상기 디스플레이 표면에 상기 제2 그래픽 이미지를 표시하는 단계
    를 더 포함하고,
    상기 제2 그래픽 이미지를 생성하는 단계는, 상기 오브젝트와 상기 디스플레이 표면 사이의 거리, 각도, 및 방위 중 적어도 하나에 적어도 부분적으로 기초하는 방법.
KR1020127033995A 2010-06-28 2011-06-16 휴대용 실감형 상호작용을 위한 시스템 KR101481880B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/824,448 2010-06-28
US12/824,448 US9262015B2 (en) 2010-06-28 2010-06-28 System for portable tangible interaction
PCT/US2011/040649 WO2012009094A2 (en) 2010-06-28 2011-06-16 A system for portable tangible interaction

Publications (2)

Publication Number Publication Date
KR20130042499A KR20130042499A (ko) 2013-04-26
KR101481880B1 true KR101481880B1 (ko) 2015-01-12

Family

ID=45352044

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127033995A KR101481880B1 (ko) 2010-06-28 2011-06-16 휴대용 실감형 상호작용을 위한 시스템

Country Status (8)

Country Link
US (1) US9262015B2 (ko)
JP (1) JP5548311B2 (ko)
KR (1) KR101481880B1 (ko)
CN (1) CN102549527B (ko)
DE (1) DE112011102169T5 (ko)
GB (1) GB2495026B (ko)
TW (1) TWI550437B (ko)
WO (1) WO2012009094A2 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194457A1 (en) * 2011-01-28 2012-08-02 Bruce Cannon Identifiable Object and a System for Identifying an Object by an Electronic Device
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US8512151B1 (en) * 2012-03-13 2013-08-20 Disney Enterprises, Inc. Integration of board games and touch screen devices
US8658473B2 (en) 2012-03-27 2014-02-25 General Electric Company Ultrathin buried die module and method of manufacturing thereof
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
JP5665140B2 (ja) * 2012-08-17 2015-02-04 Ｎｅｃソリューションイノベータ株式会社 入力装置、入力方法、及びプログラム
ITTO20120864A1 (it) * 2012-10-04 2014-04-05 St Microelectronics Srl Procedimento e sistema per riconoscimento di forme del tatto, apparecchiatura a schermo e prodotto informatico relativi
CN103941990B (zh) * 2013-01-21 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP6286836B2 (ja) * 2013-03-04 2018-03-07 株式会社リコー 投影システム、投影装置、投影方法、及び投影プログラム
US20140267142A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Extending interactive inputs via sensor fusion
JP5968840B2 (ja) * 2013-07-31 2016-08-10 株式会社ベネッセコーポレーション 入力デバイスセット及び複合入力デバイスセット
JP6452103B2 (ja) * 2014-02-14 2019-01-16 キヤノン株式会社 画像表示装置及びその制御方法
CN114185424A (zh) 2014-05-21 2022-03-15 汤杰宝游戏公司 有形界面对象的虚拟化
JP6335695B2 (ja) * 2014-07-09 2018-05-30 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
WO2016018418A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Misalignment detection
WO2016172506A1 (en) 2015-04-23 2016-10-27 Hasbro, Inc. Context-aware digital play
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
US9904357B2 (en) * 2015-12-11 2018-02-27 Disney Enterprises, Inc. Launching virtual objects using a rail device
FR3061596B1 (fr) * 2016-12-30 2020-03-06 Societe Anonyme Des Eaux Minerales D'evian Et En Abrege "S.A.E.M.E" Procede de presentation d'une bouteille
WO2018080405A1 (en) * 2016-10-31 2018-05-03 Suwonpakprak Sasis Interactive display system and device
WO2019094003A1 (en) * 2017-11-08 2019-05-16 Hewlett-Packard Development Company, L.P. Determining locations of electro-optical pens
US11194464B1 (en) * 2017-11-30 2021-12-07 Amazon Technologies, Inc. Display control using objects
US10809900B2 (en) 2017-12-21 2020-10-20 Tangible Play, Inc. Detection of pointing object and activity object
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) * 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD937868S1 (en) 2020-05-21 2021-12-07 Tangible Play, Inc. Display screen or portion thereof with a transitional graphical user interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152986A1 (en) * 2001-10-09 2007-07-05 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
US20080278462A1 (en) 2007-05-09 2008-11-13 Hon Hai Precision Industry Co., Ltd. Portable electronic device with touch screen

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5649706A (en) * 1994-09-21 1997-07-22 Treat, Jr.; Erwin C. Simulator and practice method
GB9521072D0 (en) * 1995-10-14 1995-12-20 Rank Xerox Ltd Calibration of an interactive desktop system
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6917301B2 (en) * 1999-05-04 2005-07-12 Intellimats, Llc Floor display system with variable image orientation
JP2002052246A (ja) * 2000-08-11 2002-02-19 Konami Co Ltd ゲーム機
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
TW543323B (en) 2000-10-03 2003-07-21 Jestertek Inc Multiple camera control system
EP1352303A4 (en) * 2001-01-08 2007-12-12 Vkb Inc DATA INPUT DEVICE
US8035612B2 (en) * 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
US6840627B2 (en) * 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US20060063574A1 (en) 2003-07-30 2006-03-23 Richardson Todd E Sports simulation system
ATE551675T1 (de) 2005-01-21 2012-04-15 Qualcomm Inc Auf bewegung basierendes tracking
US9046962B2 (en) * 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
JP2008131174A (ja) 2006-11-17 2008-06-05 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム
US8199117B2 (en) * 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US8103109B2 (en) * 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US8581852B2 (en) * 2007-11-15 2013-11-12 Microsoft Corporation Fingertip detection for camera based multi-touch systems
US8368646B2 (en) * 2007-12-07 2013-02-05 Robert Welland User interface devices
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5214267B2 (ja) 2008-02-07 2013-06-19 株式会社 空間コム 映像演出システム及び映像演出方法
WO2009141913A1 (ja) * 2008-05-23 2009-11-26 ログイン株式会社 ゲーム装置
CN101872268A (zh) * 2009-04-21 2010-10-27 鸿富锦精密工业（深圳）有限公司 触控装置
CN101872270B (zh) * 2009-04-25 2013-09-18 鸿富锦精密工业（深圳）有限公司 触控装置
US20110046935A1 (en) * 2009-06-09 2011-02-24 Kiminobu Sugaya Virtual surgical table
TWM380817U (en) * 2009-12-25 2010-05-21 Univ Southern Taiwan Tech Virtual fish-scooping game device
TW201138532A (en) * 2010-04-22 2011-11-01 Foxsemicon Integrated Tech Inc Electronic device
US8382295B1 (en) * 2010-06-30 2013-02-26 Amazon Technologies, Inc. Optical assembly for electronic devices
US9262068B2 (en) * 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
US9044863B2 (en) * 2013-02-06 2015-06-02 Steelcase Inc. Polarized enhanced confidentiality in mobile camera applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070152986A1 (en) * 2001-10-09 2007-07-05 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
US7414617B2 (en) * 2001-10-09 2008-08-19 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
US20080278462A1 (en) 2007-05-09 2008-11-13 Hon Hai Precision Industry Co., Ltd. Portable electronic device with touch screen

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공영식, 박경신, "모바일 인터페이스와 테이블탑 타일드 디스플레이를 연동한 FishBowl 게임개발," 한국게임학회지, 제10권, 제2호, pp. 57-66, 2010.04.31. *
공영식, 박경신, "모바일 인터페이스와 테이블탑 타일드 디스플레이를 연동한 FishBowl 게임개발," 한국게임학회지, 제10권, 제2호, pp. 57-66, 2010.04.31.*

Also Published As

Publication number Publication date
KR20130042499A (ko) 2013-04-26
GB201222634D0 (en) 2013-01-30
US9262015B2 (en) 2016-02-16
US20110316767A1 (en) 2011-12-29
JP2013532337A (ja) 2013-08-15
DE112011102169T5 (de) 2013-04-11
GB2495026B (en) 2017-12-13
JP5548311B2 (ja) 2014-07-16
WO2012009094A3 (en) 2012-04-12
CN102549527A (zh) 2012-07-04
GB2495026A (en) 2013-03-27
TW201214199A (en) 2012-04-01
TWI550437B (zh) 2016-09-21
WO2012009094A2 (en) 2012-01-19
CN102549527B (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
KR101481880B1 (ko) 휴대용 실감형 상호작용을 위한 시스템
CN105308538B (zh) 基于所检测到的示意动作执行装置动作的***和方法
US8166421B2 (en) Three-dimensional user interface
US9122311B2 (en) Visual feedback for tactile and non-tactile user interfaces
US8959013B2 (en) Virtual keyboard for a non-tactile three dimensional user interface
CN110622219B (zh) 交互式增强现实
Avrahami et al. Portico: tangible interaction on and around a tablet
CN108885533A (zh) 组合虚拟现实和增强现实
US20130044912A1 (en) Use of association of an object detected in an image to obtain information to display to a user
US20120202569A1 (en) Three-Dimensional User Interface for Game Applications
JP5449422B2 (ja) 画面スクロール装置，画面スクロール方法，及びゲーム装置
JP2008501184A (ja) インタラクティブ・システム及び方法
CN107079139A (zh) 没有物理触发的增强现实
WO2017000917A1 (zh) 体感按键的定位方法及装置
JP2017189446A (ja) 処理装置および投影画像生成方法
US11169603B2 (en) Electronic apparatus and method for recognizing view angle of displayed screen thereof
JP6285980B2 (ja) 処理装置および投影画像生成方法
US20090110237A1 (en) Method for positioning a non-structural object in a series of continuing images
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
JP6235544B2 (ja) プログラム，コンピュータ装置，画面制御方法，及びシステム
KR20170081889A (ko) 카드 게임을 위한 사용자 인터페이스를 제공하는 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
JP5826244B2 (ja) ゲームシステム
JP6473711B2 (ja) 処理装置および投影画像生成方法
WO2017179307A1 (ja) 処理装置およびキャリブレーション方法
Taylor A near touch user interface for touch screen based systems: a thesis presented in partial fulfilment of the requirements for the degree of Master of Engineering in Electronics and Computer Systems Engineering at Massey University, Palmerston North, New Zealand

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee