KR20180006509A - 뷰잉 거리에 기초한 적응적 스크린 인터페이스 - Google Patents

뷰잉 거리에 기초한 적응적 스크린 인터페이스 Download PDF

Info

Publication number
KR20180006509A
KR20180006509A KR1020187000770A KR20187000770A KR20180006509A KR 20180006509 A KR20180006509 A KR 20180006509A KR 1020187000770 A KR1020187000770 A KR 1020187000770A KR 20187000770 A KR20187000770 A KR 20187000770A KR 20180006509 A KR20180006509 A KR 20180006509A
Authority
KR
South Korea
Prior art keywords
user
display
amount
distance threshold
determining
Prior art date
Application number
KR1020187000770A
Other languages
English (en)
Other versions
KR101912930B1 (ko
Inventor
크리스챤 플레이지먼
알레한드로 카우프만
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180006509A publication Critical patent/KR20180006509A/ko
Application granted granted Critical
Publication of KR101912930B1 publication Critical patent/KR101912930B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

음성 커맨드들 및 제스처 인식은 개인이 디스플레이 상의 컨텐츠와 같은 컨텐츠와 인터렉션하는 2개의 메커니즘들이다. 일 구현에서, 디바이스 또는 디스플레이 상의 컨텐츠와 사용자의 인터렉티비티는 사용자와 디스플레이 간의 거리에 기초한다. 사용자 프로필과 같은 속성은 개인 사용자에 대해 디스플레이의 수정을 맞추는데 사용된다. 일부 구성들에서, 사용자에 대해 이용 가능한 커맨드들 또한 사용자와 디바이스 또는 디스플레이 간의 결정된 거리에 기초해서 수정된다.

Description

뷰잉 거리에 기초한 적응적 스크린 인터페이스{ADAPTIVE SCREEN INTERFACES BASED ON VIEWING DISTANCE}
디지털 스크린들은 게임 환경들, 쇼핑몰들, 레스토랑들, 회사들 및 집들과 같은 많은 주변 환경들에 존재한다. 이에 더하여, 많은 터치 또는 입력 디바이스 자율 시스템들이 존재한다. 게임 환경에서 콘솔(console)은 상기 콘솔에 대한 사용자의 몸 위치에 관한 정보를 통신하는 상기 콘솔에 연결된 깊이 카메라(depth camera)를 구비한다. 상기 콘솔은 사용자의 제스처들에 따라 스크린상의 캐릭터를 애니메이션화(animate) 할 수 있다. 예를 들어, 만약 사용자가 복싱 게임에서 펀치를 날리는 제스처를 취하면, 상기 스크린상의 캐릭터는 미리 정의된 애니메이션을 이용해 동일한 손으로 펀치를 날리는 것으로 디스플레이된다.
개시된 본 발명의 일 구현에 따르면, 사용자와 (디스플레이와 같은)디바이스 간의 거리가 결정된다. 상기 결정된 거리 및 속성(attribute)에 기초해서, 상기 디스플레이 상의 콘텐츠의 프레젠테이션 스타일(presentation style)이 선택된다. 속성은, 예를 들어, 사용자 키, 콘텐츠 컨텍스트, 사용자 프로파일, 사용자 번호, 환경 및 밴티지 포인트(vantage point)이다. 커맨드들 중 적어도 일부는 상기 결정된 거리, 속성 및 프레젠테이션 스타일 중 하나 이상에 기초해서 사용자에게 이용 가능하도록 결정된다. 상기 디스플레이 상의 콘텐츠의 일부는 콘텐츠의 프레젠테이션 스타일에 기초해서 수정된다.
일 구현에서, 디스플레이에 대한 스케일링 함수(scaling function)가 수신된다. 상기 디스플레이에 대한 콘텐츠가 수신된다. 상기 사용자와 상기 디스플레이 간의 거리가 결정된다. 상기 디스플레이의 출력이 상기 결정된 거리 및 상기 스케일링 함수에 기초해서 수정된다.
일 구현에서, 데이터베이스 및 프로세서를 포함하는 시스템이 제공된다. 상기 데이터베이스는, 예를 들어, 사용자 선호, 속성, 프레젠테이션 스타일, 디스플레이에 관한 정보 등을 저장한다. 프로세서는 상기 디스플레이에 연결된다. 상기 프로세서는 디스플레이에 대한 스케일링 함수를 수신하도록 구성된다. 상기 프로세서는 상기 디스플레이를 위한 콘텐츠를 수신한다. 일부 구성들에서, 상기 프로세서는 사용자와 상기 디스플레이 간의 거리를 결정하고 상기 거리의 표시를 수신한다. 상기 프로세서는 상기 결정된 거리 및 스케일링 함수에 기초해서 상기 디스플레이의 출력을 수정한다.
개시된 본 발명의 추가적인 피쳐들, 이점들 및 구현들은 후속하는 상세한 설명, 도면, 및 특허청구범위의 고려로부터 제시되거나 명백해질 것이다. 더욱이, 전술한 요약 및 후속하는 상세한 설명 둘 모두가 구현들의 예시들을 제공하며 특허청구범위를 제한함이 없이 추가적인 설명을 제공하도록 의도된 것임이 이해될 것이다.
개시된 본 발명의 추가적인 이해를 제공하기 위해 포함된 첨부 도면들은 본 명세서에 통합되며 본 명세서의 부분을 구성한다. 상기 도면들은 또한 개시된 본 발명의 구현들을 설명하고, 상세한 설명과 함께 개시된 본 발명의 구현들의 원리들을 설명하는 역할을 한다. 개시된 본 발명 및 상기 본 발명이 실시될 수 있는 다양한 방식의 기초적인 이해를 위해 필요한 것보다 더 상세히 구조적인 상세사항들을 도시하려는 어떤 시도도 이루어지지 않았다.
도 1은 개시된 본 발명의 일 구현에 따른 컴퓨터를 도시한다.
도 2는 개시된 본 발명의 일 구현에 따른 네트워크 구성을 도시한다.
도 3은 일 구현에 따른 예시 프로세스 흐름을 도시한다.
도 4a는 상기 사용자가 상기 디스플레이와 제1 임계치 사이에 있는 디스플레이의 예를 도시한다.
도 4b는 상기 사용자가 상기 제1 임계치와 제2 임계치 사이에 있는 디스플레이의 예를 도시한다.
도 4c는 상기 사용자가 상기 제2 임계치 너머에 있는 디스플레이의 예를 도시한다.
디스플레이 또는 디바이스상의 컨텐츠는 개인과 상기 디바이스간의 거리에 기초해서 수정된다. 예를 들어, 스크린상에 보여지는 정보 또는 컨텐츠의 양은 사용자가 상기 스크린에 가까울수록 증가한다. 유사하게, 상기 사용자에 대해 이용 가능한 또는 상기 사용자에게 제시되는 커맨드들은 상기 사용자의 모니터로부터의 거리에 기초해서 적응(adapt)된다.
일 구현에서, 사용자와 디스플레이 간의 거리가 결정된다. 상기 결정된 거리에 기초해서, 상기 디스플레이상의 컨텐츠의 프레젠테이션 스타일이 선택된다. 프레젠테이션 스타일은 컨텐츠가 디스플레이상에 어떻게 디스플레이되는지를 나타낸다. 제스처 입력이 수신되고 상기 모니터상의 컨텐츠의 적어도 부분이 수신된 제스처 입력 및 컨텐츠의 프레젠테이션 스타일에 기초해서 수정된다.
일 구현에서, 사용자와 모니터간의 거리가 결정된다. 상기 결정된 거리에 기초해서, 이용 가능한 커맨드들이 결정된다. 커맨드는 상기 모니터로부터의 상기 사용자의 거리에 기초해서 상기 사용자에게 이용 가능한 제스처 커맨드들을 나타낸다. 일부 구성들에서, 제스처 입력이 수신되고 상기 모니터상의 컨텐츠의 적어도 부분이 상기 수신된 제스처 입력 및 이용 가능한 커맨드 능력에 기초해서 수정된다. 커맨드는 사용자에 대해 이용 가능한 커맨드들의 개수를 나타낸다. 커맨드의 기능은 거리에 기초해서 달라진다. 예를 들어, 만약 상기 사용자와 모니터 간의 거리가 상대적으로 짧은 것으로 결정되면, 사용자가 상기 스크린을 포인팅하는 것은 "프린트" 커맨드와 관련된다. 만약 상기 거리가 길면, 스크린을 포인팅하는 것은 제스처가 향하는 디스플레이의 부분을 확대하는 것과 관련된다.
이용 가능한 컨텐츠와 커맨드 둘 모두는 거리에 기초해서 수정된다. 사용자와 모니터 간의 거리가 결정된다. 상기 결정된 거리에 기초해서, 프레젠테이션 스타일 및 이용 가능한 커맨드들이 선택된다. 제스처 입력이 수신되고 상기 모니터상의 컨텐츠의 적어도 부분이 상기 수신된 제스처 입력, 컨텐츠의 프레젠테이션 스타일, 그리고 이용 가능한 커맨드에 기초해서 수정된다.
현재 개시되는 본 발명의 구현들은 다양한 컴포넌트 및 네트워크 아키텍처에서 구현되고 이들과 함께 사용된다. 도 1은 현재 개시되는 본 발명의 구현들에 대해 적합한 예시적인 컴퓨터(20)이다. 컴퓨터(20)는 중앙 프로세서(24), 메모리(27)(전형적으로 RAM, 하지만 ROM, 플래시 RAM 등을 또한 포함함), 입/출력 제어기(28), 디스플레이 어댑터를 통한 디스플레이 스크린과 같은 사용자 디스플레이(22), 하나 이상의 제어기들 및 키보드, 마우스 등과 같은 관련된 사용자 입력 디바이스들을 포함하고 입/출력 제어기(28)에 밀접하게 결합된 사용자 입력 인터페이스(26), 하드 드라이브, 플래시 저장소, 섬유 채널 네트워크, SAN 디바이스, SCSI 디바이스 등과 같은 고정된 저장소(23), 그리고 광학 디스크, 플래시 드라이브 등을 제어하고 수신하도록 동작하는 이동식 미디어 컴포넌트(25)와 같은, 상기 컴퓨터(20)의 주 컴포넌트들을 상호연결하는 버스(21)를 포함한다.
상기 버스(21)는 중앙 프로세서(24)와 이전에 언급된 판독 전용 메모리(ROM)(미도시) 또는 플래시 메모리(미도시) 및 랜덤 액세스 메모리(RAM)(미도시)를 포함하는 메모리(27) 간의 데이터 통신을 허용한다. RAM은 일반적으로 운영 체제 및 어플리케이션 프로그램들이 로딩된 주 메모리이다. ROM 또는 플래시 메모리는, 다른 코드들 중에서도, 주변 컴포넌트들과의 인터렉션(interaction)과 같은 기초 하드웨어 동작을 제어하는 기초 입-출력 시스템(BIOS)을 포함한다. 컴퓨터(20)에 상주하는 어플리케이션들은 하드 디스크 드라이브(예를 들어, 고정된 저장소(23)), 광학 드라이브, 플로피 디스크 또는 기타 저장 매체(25)와 같은 컴퓨터 판독 가능 매체상에 저장되고 이들을 통해 액세스된다.
고정된 저장소(23)는 컴퓨터(20)와 통합되거나 별개일 수 있고 다른 인터페이스들을 통해 액세스 될 수 있다. 네트워크 인터페이스(29)는 전화 링크를 통해 원격 서버에 대해 직접 연결을 제공하거나, 인터넷 서비스 제공자(ISP)를 통해 인터넷에 대해 직접 연결을 제공하거나, POP(point of presence) 또는 다른 기법을 통해 인터넷에 대해 직접 네트워크 링크를 통해 원격 서버에 직접 연결을 제공한다. 네트워크 인터페이스(29)는 디지털 셀룰러 텔레폰 연결, 셀룰러 디지털 패킷 데이터(CDPD) 연결, 디지털 위성 데이터 연결 등을 포함하는 무선 기법들을 이용해 그러한 연결을 제공한다. 예를 들어, 도 2에 도시된 바와 같이, 네트워크 인터페이스(29)는 상기 컴퓨터가 하나 이상의 로컬, 광역, 또는 기타 네트워크들을 통해 다른 컴퓨터들과 통신하게 한다.
많은 기타 디바이스들 또는 컴포넌트들(미도시)이 유사한 방식으로 연결될 수 있다(예를 들어, 문서 스캐너들, 디지털 카메라들 등). 반대로, 도 1에 도시된 모든 컴포넌트들이 본 발명을 실시하기 위해 반드시 존재할 필요는 없다. 상기 컴포넌트들은 도시된 방식과는 다른 방식들로 상호연결될 수 있다. 도 1에 도시된 동작과 같은 컴퓨터의 동작은 본 기술분야에서 쉽게 알려져 있고 본 출원에서 상세히 논의되지 않는다. 본 발명을 구현하기 위한 코드는 메모리(27), 고정된 저장소(23), 이동식 매체(25), 또는 원격 저장 위치 중 하나 이상과 같은 컴퓨터에 의해 판독 가능한 저장 매체에 저장될 수 있다.
도 2는 개시된 본 발명의 일 구현예에 따른 예시적인 네트워크 배열을 도시한다. 로컬 컴퓨터들, 스마트폰들, 태블릿 컴퓨팅 디바이스들 등과 같은 하나 이상의 클라이언트들(10, 11)은 하나 이상의 네트워크들(7)을 통해 다른 디바이스들과 연결된다. 상기 네트워크는 로컬 네트워크, 광역 네트워크, 인터넷 또는 다른 적절한 통신 네트워크 또는 네트워크들일 수 있고, 유선 및/또는 무선 네트워크들을 포함하는 어떤 적합한 플랫폼에 구현될 수 있다. 클라이언트들은 하나 이상의 서버들(13) 및/또는 데이터베이스들(15)과 통신한다. 상기 디바이스들은 클라이언트들(10, 11)에 의해 직접 액세스 가능하거나 하나 이상의 기타 디바이스들은 서버(13)가 데이터베이스(15)에 저장된 자원들에 액세스를 제공하는 것과 같은 중간 액세스(intermediary access)를 제공한다. 상기 클라이언트들(10, 11)은 원격 플랫폼들(17) 또는 클라우드 컴퓨팅 배열들 및 서비스들과 같은 원격 플랫폼들(17)에 의해 제공된 서비스들에 액세스할 수 있다. 상기 원격 플랫폼(17)은 하나 이상의 서버들(13) 및/또는 데이터베이스들(15)을 포함한다.
더 일반적으로, 현재 개시된 본 발명의 다양한 구현예들은 컴퓨터에 의해 구현된 프로세스들 및 그러한 프로세스들을 실시하기 위한 장치들의 형태를 포함하거나 상기 형태로 구현된다. 구현예들은 또한 플로피 디스켓들, CD-ROM들, 하드 드라이브들, USB(유니버설 시리얼 버스) 드라이브들, 또는 어떤 기타의 기계에 의해 판독 가능한 저장 매체와 같은 비-일시적 및/또는 유형(tangible)의 매체에 구현된 명령들을 포함하는 컴퓨터 프로그램 코드를 구비하는 컴퓨터 프로그램 물의 형태로 구현되며, 여기서 상기 컴퓨터 프로그램 코드가 컴퓨터에 로딩되고 컴퓨터에 의해 실행될 때, 상기 컴퓨터는 개시된 본 발명의 구현예들을 실시하기 위한 장치가 된다. 구현예들은 또한, 예를 들어, 저장 매체에 저장되거나, 컴퓨터에 로딩되고 그리고/또는 컴퓨터에 의해 실행되거나, 또는 전기 도선 또는 케이블을 거쳐, 광 섬유들을 통해, 또는 전자기 방사를 통해서와 같이 전송 매체를 거쳐 전송되는 컴퓨터 프로그램 코드의 형태로 구현되며, 여기서 상기 컴퓨터 프로그램 코드가 컴퓨터에 로딩되고 컴퓨터에 의해 실행될 때, 상기 컴퓨터는 개시된 본 발명의 구현예들을 실시하기 위한 장치가 된다. 일반 목적의 마이크로프로세서에서 구현될 때, 상기 컴퓨터 프로그램 코드 세그먼트들은 특정 논리 회로들을 생성하기 위해 마이크로프로세서를 구성한다. 일부 구성들에서, 컴퓨터에 의해 판독 가능한 저장 매체에 저장된 컴퓨터에 의해 판독 가능한 명령들의 세트는 일반 목적의 프로세서에 의해 구현될 수 있고, 상기 컴퓨터에 의해 판독 가능한 명령들의 세트는 상기 일반 목적의 프로세서 또는 상기 일반 목적의 프로세서를 포함하는 디바이스를 상기 명령들을 구현하거나 수행하도록 구성된 특수 목적의 디바이스로 변환할 수 있다. 구현예들은 개시된 본 발명의 구현예들에 따른 기법들의 모두 또는 일부를 하드웨어 및/또는 펌웨어로 구현하는 일반 목적의 마이크로프로세서 및/또는 주문형 반도체(ASIC) 프로세서를 포함하는 하드웨어를 이용해 구현된다. 상기 프로세서는 전자 정보를 저장할 능력이 있는 RAM, ROM, 플래시 메모리와 같은 메모리, 하드 디스크, 또는 어떤 다른 디바이스에 결합된다. 상기 메모리는 개시된 본 발명의 구현예들에 따른 기법들을 수행하기 위해 프로세서에 의해 실행되도록 적응된 명령들을 저장한다.
일 구현예에서, 단계(310)에서 사용자와 디바이스간의 거리가 결정된다. 상기 디바이스는, 예를 들어, 디스플레이, 태블릿, 컴퓨팅 디바이스, 모니터, 텔레비전, 프로젝션 스크린, 또는 스테레오/스피커 시스템일 수 있다. 거리는 상기 디바이스와 함께 위치된 카메라를 이용해서 결정될 수 있다. 깊이 카메라는 환경으로부터 이미지들의 시퀀스(sequence)를 캡쳐하기 위해 사용된다. 수집된 이미지들은 사용자 또는 오브젝트가 존재하는지 여부를 결정하기 위해 프로세싱된다. 일부 구성들에서, 사용자는 얼굴 인식에 의해 검출된다. 카메라에 의해 캡쳐된 이미지들의 시퀀스는 특정한 제스처를 식별하기 위해 사용된다. 예를 들어, 이미지들의 시퀀스에 식별된 피처들은 알려진 제스처들의 데이터베이스와 비교될 수 있다. 상기 데이터베이스는 제스처의 특정 피처들 또는 시그니처들에 관한 정보를 포함하며 상기 캡쳐된 이미지들은 그러한 피쳐들에 대해 분석된다. 상기 시퀀스가 주어진 제스처를 포함하는지 여부를 표시하는 신뢰도 스코어(confidence score)가 이미지들의 시퀀스에 대해 생성될 수 있다. 예를 들어, 제스처는 피처들의 세트(set)일 수 있고 이미지들의 시퀀스는 그러한 피처들의 퍼센트일 수 있다. 만약 신뢰도 스코어가 임계치를 충족하면, 상기 이미지 시퀀스는 상기 제스처를 포함하는 것으로 결정된다. 사용자가 캡쳐된 이미지에 존재하는지 및/또는 제스처가 수신되었는지를 결정하기 위해 패턴 매칭 또는 이미지 분석의 기타 방법들이 사용될 수 있다.
오브젝트(예를 들어, 사용자)와 상기 디스플레이 간의 수평 거리(horizontal distance)는 카메라로부터의 하나 이상의 캡쳐된 이미지들에 기초해서 결정된다. 이 거리는 본 명세서에 개시된 구현들에 대한 오브젝트와 디스플레이 또는 카메라 간의 실제 거리와 동일하거나 유사하지 않을 수 있다. 환경에서 이미지 또는 이미지들의 시퀀스를 캡쳐하기 위해 사용되는 상기 카메라는, 예를 들어, 공장으로부터 또는 사용자에 의해 수행된 셋업 절차(set-up procedure)의 컴포넌트로서, 거리 측정들을 위해 캘리브레이션될 수 있다(calibrated). 일부 구성들에서, 디스플레이와 함께 위치된 단일 카메라는 카메라와 검출된 사용자 간의 거리를 결정하기 위해 사용된다. 일부 구성들에서, 카메라는 디스플레이와 함께 위치되지 않지만 상기 디스플레이는 셋업 절차의 컴포넌트로서 검출되거나 식별될 수 있다. 예를 들어, 다수의 카메라들이 환경에 분포될 수 있다. 각 카메라는 환경 또는 카메라 자체(예를 들어, 초점 거리(focal length), 렌즈 사이즈 등)에 관한 정보를 프로세싱 유닛, 데이터베이스, 서버 등에 제공한다. 상기 카메라들에 의해 제공된 정보는 사용자들, 제스처들, 또는 디스플레이와 같은 오브젝트들을 검출하기 위해 활용된다. 알려진 사이즈를 갖는 기준 오브젝트는 하나 이상의 카메라들의 시야(field of view)에서 디스플레이와 다른 오브젝트들 간의 거리 결정을 보조하기 위해 활용된다. 숙련된 기술자는 본 명세서에서 개시된 어떤 구현에 따른 디스플레이와 오브젝트 간의 거리를 결정하는 다른 방법들이 사용될 수 있음을 인식할 것이다. 상기 결정된 거리(310)는 실제 거리 또는 실제 거리의 근사(approximation) 또는 환경의 이미지로부터 얻어진 거리와 같은 상대적 거리를 나타낸다.
도 3으로 돌아가면, 단계(320)에서, 결정된 거리 및 속성에 기초해서, 디스플레이상의 컨텐츠의 프레젠테이션 스타일이 선택된다. 프레젠테이션 스타일은 디스플레이되는 컨텐츠의 상세함의 레벨을 말하고 아래에 더 논의된다. 속성의 예시들은: 사용자 키, 컨텐츠 컨텍스트, 사용자 프로파일, 사용자 번호, 환경, 밴티지 포인트를 포함한다. 예를 들어, 사용자는 사용자의 그림, 사용자 키를 포함하는 정보를 사용자 프로파일에 입력한다. 사용자 프로파일은 또한 사용자가 디스플레이로부터의 다양한 거리들만큼 떨어져서 보기를 선호하는 프레젠테이션 스타일을 구성하게 한다. 한 사용자는 40 센티미터만큼 떨어져서 터치 인터페이스를 포함하는 높은 레벨의 상세함을 선호하는 반면 다른 사용자는 거리와 무관하게 최소한의 컨텐츠가 디스플레이되는 것을 선호할 수 있다. 사용자 프로파일을 포함하는 속성들은, 데이터베이스 상에 저장된다. 속성은 또한 사용자 번호를 포함한다. 만약 다수의 사용자들이 검출된다면, 상기 시스템은 디스플레이로부터의 적어도 하나의 사용자의 중앙값 거리 또는 평균 거리를 결정한다. 컨텐츠 컨텍스트는, 예를 들어, 웹 페이지, 비디오 게임, 게임 모드, 비디오, 텍스트, 음악, 이미지 등과 같이 무엇이 디스플레이되고 있는지를 나타낸다. 유사하게 환경은 디스플레이의 위치를 나타낸다. 위치는, 예를 들어, 공공 디스플레이, 거실, 무도실(ball room), 컨벤션 센터 등일 수 있다. 밴티지 포인트는 디스플레이에 대한 상대적인 사용자의 위치를 나타낸다. 예를 들어, 디스플레이의 중심으로부터 축을 상당히 벗어난 사용자는 만약 상기 사용자가 동일한 거리만큼 떨어져 중심 축상에 있는 경우와 다른 프레젠테이션 스타일을 수신한다. 일부 구성들에서, 사용자는 주 제어(primary control)를 갖는 것으로 지정된다. 상기 시스템은 상기 디스플레이를 수정할 목적을 위해 다른 오브젝트들/사용자들을 무시하도록 구성될 수 있다. 주 사용자(primary user)가 사용자 프로파일로 구성되거나 또는 상기 주 사용자는 공간 또는 환경에서 상기 시스템이 시작할 때 검출하거나 상기 시스템이 제1 사람으로서 검출한 제1 개인을 나타낸다.
디스플레이 컨텐츠가 거리에 기초해서 변경되는 것에 더하여, 상기 사용자에 대해 이용 가능한 커맨드들은 상기 결정된 거리에 기초해서 결정된다. 커맨드 이용 가능성은 또한 거리에 기초해서 동일한 커맨드에 할당된 서로 다른 기능을 나타낸다. 커맨드는 제스처, 음성 커맨드, 또는 키보드, 마우스, 또는 입력 디바이스에 의해 수신된 입력을 나타낸다. 일부 구성들에서, 디스플레이되는 컨텐츠의 양은 상기 사용자가 상기 디스플레이로부터 멀리 떨어지도록 이동함에 따라 감소된다. 만약 디스플레이되는 컨텐츠가 비디오라면, 먼 거리들에서 상기 디스플레이는 비디오 및 재생/일시정지 버튼만을 보여준다. 상기 사용자에 대해 이용 가능한 커맨드들은 중단/일시정지 및 종료를 포함한다. 가까운 거리들에서, 사용자는 추가적인 제어들에 액세스하도록 허용된다. 예를 들어, 상기 비디오는 재생/일시정지 및 종료에 더하여 빨리감기/되감기와 같은 더 많은 제어들을 구비한다. 일부 구성들에서, 커맨드의 기능은 변경될 수 있다. 예를 들어, 사용자가 스크린에 가까이 있다고 결정되면, 빨리감기는 10배 재생 속도로 진행되는 반면 사용자가 스크린으로부터 멀리 떨어져 있을 때에는 빨리 감기는 5배 재생 속도(5x playback speed)로 진행될 것이다.
일부 구성들에서, 결정된 거리는 범위에 매핑된다(mapped). 범위는 예를 들어, 스크린으로부터 0 내지 1미터만큼 떨어진 것일 수 있다. 범위는 임계치에 의해 정의될 수도 있다. 예를 들어, 정의된 임계치 미만의 어떤 거리는 특정한 프레젠테이션 스타일과 관련된다. 범위를 이루는 상기 거리들은, 전술한 속성에 기초해서 미리 정의되거나, 최종사용자에 의해 구성될 수 있다. 주어진 시스템에 대한 범위들의 개수 또한, 속성에 기초하는 것과 같이 미리 정의될 수 있고, 그리고/또는 최종 사용자에 의해 구성될 수 있다. 일부 구성들에서, 사용자와 디스플레이 간의 결정된 거리는 거리들의 범위 및 대응하는 프레젠테이션 스타일을 포함하는 테이블에 매핑될 수 있다. 상기 테이블은 속성에 기초하는 것과 같이 미리 정의될 수 있고, 그리고/또는 최종 사용자에 의해 구성될 수 있다. 일부 구성들에서, 상기 미리 결정된 거리는 적어도 프레젠테이션 스타일 및 거리에 기초한 커브 또는 그래픽 플롯에 매핑된다. 일부 예시들에서, 결정된 거리와 선형으로 상관되는 프레젠테이션 스타일을 갖는 것이 바람직하지만 다른 예시들에서 결정된 거리와 프레젠테이션 스타일 간의 비선형 관계를 갖는 것이 바람직할 수 있다.
단계(330)에서, 디스플레이 상의 컨텐츠의 적어도 부분이 컨텐츠의 프레젠테이션 스타일에 기초해서 수정될 수 있다. 유사하게, 사용자에 대해 이용 가능한 커맨드들이 거리에 기초해서 수정될 수 있다. 예를 들어, 사용자와 디스플레이 간의 거리가 임계 거리를 초과함이 결정될 수 있다. 디스플레이 상의 컨텐츠의 양이 증가되거나 감소될 수 있다. 커맨드들의 개수가 상기 결정된 거리에 응답하여 증가되거나 감소될 수 있다. 상기 이용가능한 커맨드들은 프레젠테이션 스타일에 어울리게 수정되지 않을 수 있다. 예를 들어, 프레젠테이션 스타일은 이용 가능한 커맨드들을 증가/감소시키거나 그렇지 않으면 수정하는데 요구되는 임계값과 다른 임계값을 가질 수 있다.
*도 4a 내지 4c는 컨텐츠가 어떻게 디스플레이로부터의 사용자 거리에 기초해서 변경될 수 있는지의 일 예를 도시한다. 도 4a에서, 디스플레이(420)는 깊이 카메라(410)와 함께 위치되는 것으로 도시된다. 깊이 카메라(410)는 디스플레이 위치로부터 이미지들을 캡쳐하고 커맨드 데이터(예를 들어, 제스쳐)에 대해 이미지들을 프로세싱하거나 그러한 분석을 위해 프로세서에 이미지 시퀀스들을 전송한다. 상기 디스플레이(420)는 스톡 카 레이스(stock car race)를 보여주는 제1 윈도우(430), 사용자 코멘트들을 보여주는 제2 윈도우(440) 및 제1 윈도우(430)에 보여진 것과 관련된 비디오들을 보여주는 제3 윈도우(450)를 갖는 웹페이지를 보여준다. 상기 카메라(410)로부터 획득된 데이터에 기초해서, 사용자는 제1 임계치 마커(470) 및 디스플레이(420)에 의해 나타내진 범위 내에 있는 것으로 결정된다. 상기 결정된 거리에 기초해서, 사용자(460)에게 컨텐츠의 최대량이 디스플레이된다. 디스플레이 크기와 같은 속성, 디스플레이되고 있는 컨텐츠의 소스, 사용자 프로파일 등은 디스플레이되는 컨텐츠를 수정하기 위해 결정된 거리에 더하여 활용된다. 상기 사용자(460)가 디스플레이(420)에 매우 가깝거나(proximal) 디스플레이(420)와 제1 임계치(470) 사이에 있는 것으로 결정되기 때문에, 상기 사용자(460)는 만약 상기 디스플레이가 터치에 의해 인에이블되는 인터페이스를 제공한다면 터치에 의해 인에이블되는 인터렉션을 포함하는 웹 브라우징 경험을 대표하는 모든 커맨드들에 대한 액세스를 제공받는다. 상기 사용자(460)는, 하지만, 음성 또는 제스처 커맨드들을 이용해서 인터렉션하는 것이 가능하지 않을 수 있다.
도 4b에서, 상기 사용자(460)는 제1 임계치 마커(470)와 제2 임계치 마커(480)에 의해 경계지어지는 범위 내에 있다. 상기 제1 윈도우(431)는 이제 타이틀 바(title bar)가 생략된 채로 나타난다. 상기 제2 윈도우(441)는 관련된 비디오들을 보여준다. 하지만, 상기 제2 윈도우(441)는 도 4a처럼 각 비디오에 대한 타이틀을 표시하지 않는다. 상기 제3 윈도우(451)는 상기 제1 윈도우(431)에 뷰잉되는 비디오에 관한 정보를 디스플레이한다. 상기 사용자(460)는 신호 음성, 윈도우를 그랩/풀링(grabbing/pulling)하는 것, 윈도우를 확대하는 것, 스와이핑(swiping) 또는 쓰로잉(throwing)과 같은 커맨드들에 기초해서 이 범위에서 구두(spoken) 커맨드들에 액세스를 갖는다.
도 4c에서, 상기 사용자(460)는 제2 임계치(480)를 초과한다. 이 범위에서, 상기 디스플레이(420)는 비디오를 포함하는 단일 윈도우(432)만을 보여준다. 상기 사용자는 온/오프, 재생/일시정지, 볼륨, 및 검색과 같은 구두 또는 제스처 커맨드들의 부분세트에만 액세스를 갖는다. 만약 상기 사용자(460)가 제1 임계치(470)와 제2 임계치(480)에 의해 정의되는 범위에 들어오면, 상기 디스플레이(420)는 도 4b에 도시된 것으로 변경될 수 있다. 프레젠테이션 스타일 및 이용가능한 커맨드들의 결정은 사용자의 거리, 속성, 또는 공간 안의 사용자들의 수에 응답하는 동적 프로세스일 수 있다. 사용자는 모니터로부터 명시된 거리만큼 떨어져 있는 것으로 결정된다. 명시된 거리는 사용자에 대해 이용 가능한 커맨드들의 유형이 한정되거나 확장되게 하고 상기 스크린에 디스플레이되는 컨텐츠의 포맷이 미니멀리스틱(minimalistic)이 되게 하는 범위 내에 들도록 결정될 수 있다. 예를 들어, 커맨드들은 스크롤링 및/또는 아이템의 선택 또는 음성 커맨드들에도 한정될 수 있다. 미니멀리스틱 프레젠테이션 스타일(minimalistic presentation style)은, 예를 들어, 사용자가 매우 멀리 떨어져 있는 것으로 결정되기 때문에, 큰 아이콘들, 큰 텍스트, 및 적은 옵션들을 제시할 수 있다. 유사하게, 명시된 거리는 더 정밀한 커맨드들이 사용자에 대해 이용 가능하게 하고 컨텐츠가 더 상세하게 프레젠테이션되게 하는 임계치 미만인 것으로 결정될 수 있다. 예를 들어, 사용자가 스크롤, 메뉴들에 액세스, 파일들을 드래그-앤-드롭(drag-and-drop), 모니터상의 개별 아이템들을 선택하는 것 등이 허용될 수 있다. 제공되는 컨텐츠는 메뉴들, 웹페이지들의 풀 텍스트(full text), 완전한 파일 디렉토리들 등을 제공하는 것과 같이 상세할 수 있다. 그러므로, 디스플레이 및/또는 커맨드 인터페이스는 상기 디스플레이에 대한 사용자의 거리에 기초해서 적응된다.
일 구현예에서, 디스플레이에 대한 스케일링 함수(scaling function)가 수신된다. 스케일링 함수는 사용자 선호를 나타낸다. 예를 들어, 사용자 선호는 다양한 거리들, 범위들, 검출된 사용자들의 수, 또는 웹 브라우징, 비디오, 멀티미디어, 오디오 등과 같은 컨텐츠 소스들에서의 디스플레이에 대한 프레젠테이션 스타일을 특정한다. 예를 들어, 사용자는 얼굴 인식, 음성 인식, 패턴 인식 등을 이용해서 검출된다. 사용자가 검출되지 않는 경우에 있어서, 디스플레이는 종료, 일시정지 또는 지연된 비활성화 제공과 같은 수정된 기능을 채택한다. 사용자의 선호들은 로컬 또는 원격 데이터베이스에 저장되며 디스플레이 수정과 관련된 프로세서에 제공된다. 스케일링 함수는 컨텐츠가 디스플레이상에 디스플레이되는 방식을 나타낸다. 디스플레이를 위한 컨텐츠가 수신된다. 사용자와 디스플레이간의 거리가 결정된다. 디스플레이의 출력은 결정된 거리 및 스케일링 함수에 기초해서 수정된다. 일부 구성들에서, 사용자에 대해 이용 가능한 제스처 세트가 디스플레이, 결정된 거리 및 스케일링 함수 중 적어도 하나에 기초해서 할당된다. 커맨드 이용가능성은 결정된 거리에 기초해서 결정된다. 커맨드의 이용가능성은 전술한 바와 같이 결정된 거리에 기초해서 수정된다.
일부 예시들에서, 컨텐츠는 예를 들어 셋톱박스에 의해 제공되며 리시버 또는 A/V 프로세서에 송신된다. 디스플레이의 수정의 표시를 제공하는 역할을 하는 프로세서는 A/V 리시버의 컴포넌트이거나, 디스플레이 자체거나, 또는 다른 로컬 또는 원격 프로세서일 수 있다. 예를 들어, A/V 프로세서는 프레젠테이션 스타일, 스케일링 함수, 속성, 및 결정된 거리 중 적어도 하나에 따른 데이터 스트림을 수정하는 로컬 프로세서에 비디오 정보를 송신한다. 상기 프로세서는 디스플레이와 관련된 프로세서에 상기 수정사항을 송신한다.
거리는 디스플레이 출력에 여러 방식들로 영향을 주며, 이들 중 일부는 전술하였다. 정보는 거리에 기초해서 스케일링된다. 예를 들어, 멀리 떨어져 있으면, 2개의 헤드라인들이 디스플레이 상에 보여진다. 하지만, 사용자가 디스플레이에 가까워질수록, 더 많은 헤드라인들이 나타나고 그리고/또는 하나 이상의 기사들로부터의 텍스트가 각 헤드라인 아래에 나타난다.
사용자 인터페이스는 거리에 대해 적응된다. 예를 들어, 만약 사용자가 디스플레이의 터치 거리 내에 있는 경우라면, 버튼들 및 다른 터치 표시기들이 사용자에 대해 어떻게 컨텐츠와 내비게이션/인터렉션할지를 암시한다. 하지만 만약, 사용자가 멀리 떨어져 있는 경우라면, 버튼들 또는 터치 표시기들은 사라지거나 이들이 이제 음성 또는 제스처 커맨드에 응답한다는 것을 암시하기 위해 변화한다.
볼륨 또한 사용자 거리에 기초해서 적응된다. 예를 들어, 만약 사용자가 주방에서 비디오 채팅을 하고 있으며 채팅을 위해 사용되는 랩탑이 위치된 테이블로부터 멀어지게 이동한다면, 스피커 볼륨 및 마이크로폰 민감도는 사용자의 증가된 거리에 대해 보상하기 위해 자동적으로 조정된다. 스피커 볼륨 및 마이크로폰 민감도는 사용자가 돌아올 때 재조정되어, 사용자 및 사용자가 채팅하고 있는 사람에게 일정한 볼륨의 인상을 보여준다.
전술한 바와 같이 그리고 도 4a 내지 4c에 도시된 바와 같이, 컨텐츠 밀도는 거리에 기초해서 수정된다. 예를 들어, 만약 사용자가 음악을 재생하고 있고 스크린으로부터 멀다면, 상기 디스플레이는 재생되고 있는 노래의 제목을 보여준다. 만약 사용자가 디스플레이 가까이에 서있다면, 상기 디스플레이는 재생리스트, 노래와 관련된 앨범, 아티스트에 관한 관련 뉴스들 및 사용자가 좋아할 만한 다른 음악의 제안들을 보여줄 수 있다.
기능은 디스플레이로부터의 사용자 거리에 기초해서 수정된다. 예를 들어, 디스플레이는 사용자의 거실에 있다. 사용자가 디스플레이를 출입구 또는 다른 공간으로부터 쳐다볼 때, 상기 디스플레이는 시간을 보여준다. 하지만 만약, 사용자가 디스플레이에 매우 가깝다면 상기 디스플레이는 스테레오로서 기능한다. 2미터의 거리로부터 (예를 들어, 만약 사용자가 디스플레이를 마주하고 소파에 있는 경우), 디스플레이는 영화에 대해 강조점을 갖는 미디어 센터로서 동작할 수 있다. 만약 사용자가 디스플레이와 완전히 별개의 공간에 있다면, 상기 디스플레이는 음성 제어 퍼스널 어시스턴트로서 기능한다. 만약 디스플레이가 위치된 가정에 사용자가 존재하지 않는다면, 상기 디스플레이는 보안 시스템으로서 동작한다.
일 구현예에서, 데이터베이스 및 프로세서를 포함하는 시스템이 제공된다. 상기 데이터베이스는, 예를 들어, 사용자 선호, 속성, 프레젠테이션 스타일, 디스플레이에 관한 정보 등을 저장한다. 프로세서는 디스플레이에 연결된다. 상기 프로세서는 디스플레이에 대한 스케일링 함수를 수신하도록 구성된다. 상기 프로세서는 디스플레이를 위한 컨텐츠를 수신한다. 일부 구성들에서, 상기 프로세서는 사용자와 디스플레이 간의 거리를 결정하거나 상기 거리의 표시를 수신한다. 상기 프로세서는 상기 결정된 거리 및 스케일링 함수에 기초해서 디스플레이의 출력을 수정한다.
일 구현예에서, 상기 컨텐츠의 프레젠테이션 스타일은 디스플레이에 보여지고 그리고/또는 사용자에 대해 이용 가능한 커맨드들은 기타 거리 측정치들에 기초해서 결정된다. 일 구현예에서, 상기 컨텐츠 및/또는 커맨드들은 상기 사용자와 디스플레이가 아닌 오브젝트 간의 거리에 기초해서 결정될 수 있다. 예를 들어, 상기 컨텐츠 및 커맨드들은 다른 사용자로부터 한 사용자의 거리, 문으로부터의 사용자의 거리, 공간에서 지정된 지점 또는 선으로부터의 사용자의 거리, 디스플레이로부터 떨어진 위치에 있는 센서로부터의 사용자의 거리 등에 기초해서 수정된다. 이들은, 예를 들어, 전술한 바와 같이 카메라에 의해 측정될 수 있다.
다양한 구현예들에서, 디스플레이상의 컨텐츠 및 커맨드들은 하나 이상의 거리에 기초해서 결정된다. 예를 들어, 컨텐츠 및 커맨드들은 제1 사용자와 제2 사용자 간의 거리 및 제1 사용자와 디스플레이 간의 거리 둘 모두에 기초해서 결정될 수 있다. 일 구현예에서, 컨텐츠 및 커맨드들은 사용자와 디스플레이로부터 떨어져 위치된 센서 간의 거리, 사용자와 디스플레이 간의 거리 및 사용자와 다른 사용자 간의 거리에 기초해서 결정된다.
설명의 목적을 위한 전술한 설명은, 특정 구현예들을 기준으로 하여 설명되었다. 하지만, 위의 설명적인 논의들은 포괄적이거나 개시된 본원 발명의 구현예들을 개시된 정확한 형태들로 한정하려고 의도되지 않았다. 많은 수정들 및 변형들이 위의 개시들에 비추어 가능하다. 구현들은 개시된 본원 발명의 구현예들의 원리들 및 이들의 실용적인 응용들을 설명하기 위해 선택되고 설명되었고, 그에 의해 다른 숙련된 기술자들이 그러한 구현들뿐만 아니라 고려되는 특정한 실시에 적합한 다양한 수정들을 갖는 다양한 구현들을 활용하는 것을 가능하게 한다.

Claims (20)

  1. 컴퓨터로 구현되는 방법으로서,
    디스플레이 및 카메라를 포함하는 디바이스에 의해, 제1 이미지와 제2 이미지를 획득하는 단계;
    상기 디바이스에 의해, 상기 제1 이미지에 기초한 사용자와 상기 디스플레이 사이의 거리의 제1 추정, 및 상기 제2 이미지에 기초한 상기 사용자와 상기 디스플레이 사이의 거리의 제2 추정을 획득하는 단계;
    상기 디바이스에 의해, 그리고 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제1 추정 및 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제2 추정에 적어도 기초하여, 상기 사용자가 미리 결정된 거리 임계치를 넘었는지를 결정하는 단계;
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정함에 응답하여, 상기 디스플레이 상에 디스플레이하기 위해 제공할 컨텐츠의 양을 선택하는 단계; 및
    상기 디스플레이 상에 디스플레이하기 위해 상기 선택된 컨텐츠의 양을 제공하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 청구항 1에 있어서,
    상기 카메라는 깊이(depth) 카메라를 포함하는 것을 특징으로 하는 방법.
  3. 청구항 1에 있어서,
    상기 디스플레이의 사이즈, 상기 디스플레이의 소스 또는 상기 사용자의 프로필을 포함하는 속성을 포함하며, 상기 컨텐츠의 양은 상기 속성에 기초하여 더 선택되는 것을 특징으로 하는 방법.
  4. 청구항 1에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 단계는 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 단계는 웹 브라우저와 연관된 커맨드들의 풀 세트와 연관된 프레젠테이션들의 분량(quantity)을 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  5. 청구항 1에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 단계는 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 단계는 웹 브라우저와 연관된 커맨드들의 풀 세트보다 적게 연관된 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  6. 청구항 1에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 단계는 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 단계는 터치 기반 커맨드들과 연관된 임의의 프레젠테이션들을 배제하는 것을 포함하는 것을 특징으로 하는 방법.
  7. 청구항 1에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 단계는 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 단계는 터치 기반 커맨드들의 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 방법.
  8. 명령어들이 저장된 비일시적 컴퓨터 판독가능 저장 디바이스로서, 상기 명령어들은 컴퓨팅 디바이스에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    디스플레이 및 카메라를 포함하는 디바이스에 의해, 제1 이미지와 제2 이미지를 획득하는 동작;
    상기 디바이스에 의해, 상기 제1 이미지에 기초한 사용자와 상기 디스플레이 사이의 거리의 제1 추정, 및 상기 제2 이미지에 기초한 상기 사용자와 상기 디스플레이 사이의 거리의 제2 추정을 획득하는 동작;
    상기 디바이스에 의해, 그리고 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제1 추정 및 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제2 추정에 적어도 기초하여, 상기 사용자가 미리 결정된 거리 임계치를 넘었는지를 결정하는 동작;
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정함에 응답하여, 상기 디스플레이 상에 디스플레이하기 위해 제공할 컨텐츠의 양을 선택하는 동작; 및
    상기 디스플레이 상에 디스플레이하기 위해 상기 선택된 컨텐츠의 양을 제공하는 동작을 포함하는 것을 특징으로 하는 저장 디바이스.
  9. 청구항 8에 있어서,
    상기 카메라는 깊이(depth) 카메라를 포함하는 것을 특징으로 하는 저장 디바이스.
  10. 청구항 8에 있어서,
    상기 디스플레이의 사이즈, 상기 디스플레이의 소스 또는 상기 사용자의 프로필을 포함하는 속성을 포함하며, 상기 컨텐츠의 양은 상기 속성에 기초하여 더 선택되는 것을 특징으로 하는 저장 디바이스.
  11. 청구항 8에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 웹 브라우저와 연관된 커맨드들의 풀 세트와 연관된 프레젠테이션들의 분량(quantity)을 선택하는 것을 포함하는 것을 특징으로 하는 저장 디바이스.
  12. 청구항 8에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 웹 브라우저와 연관된 커맨드들의 풀 세트보다 적게 연관된 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 저장 디바이스.
  13. 청구항 8에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 터치 기반 커맨드들과 연관된 임의의 프레젠테이션들을 배제하는 것을 포함하는 것을 특징으로 하는 저장 디바이스.
  14. 청구항 8에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 터치 기반 커맨드들의 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 저장 디바이스.
  15. 시스템으로서,
    하나 이상의 데이터 프로세싱 장치; 및
    명령어들이 저장된 컴퓨터 판독가능 저장 디바이스를 포함하며, 상기 명령어들은 상기 데이터 프로세싱 장치에 의해 실행될 때, 상기 데이터 프로세싱 장치로 하여금 동작들을 수행하게 하며, 상기 동작들은:
    디스플레이 및 카메라를 포함하는 디바이스에 의해, 제1 이미지와 제2 이미지를 획득하는 동작;
    상기 디바이스에 의해, 상기 제1 이미지에 기초한 사용자와 상기 디스플레이 사이의 거리의 제1 추정, 및 상기 제2 이미지에 기초한 상기 사용자와 상기 디스플레이 사이의 거리의 제2 추정을 획득하는 동작;
    상기 디바이스에 의해, 그리고 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제1 추정 및 상기 사용자와 상기 디스플레이 사이의 거리의 상기 제2 추정에 적어도 기초하여, 상기 사용자가 미리 결정된 거리 임계치를 넘었는지를 결정하는 동작;
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정함에 응답하여, 상기 디스플레이 상에 디스플레이하기 위해 제공할 컨텐츠의 양을 선택하는 동작; 및
    상기 디스플레이 상에 디스플레이하기 위해 상기 선택된 컨텐츠의 양을 제공하는 동작을 포함하는 것을 특징으로 하는 시스템.
  16. 청구항 15에 있어서,
    상기 디스플레이의 사이즈, 상기 디스플레이의 소스 또는 상기 사용자의 프로필을 포함하는 속성을 포함하며, 상기 컨텐츠의 양은 상기 속성에 기초하여 더 선택되는 것을 특징으로 하는 시스템.
  17. 청구항 15에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 웹 브라우저와 연관된 커맨드들의 풀 세트와 연관된 프레젠테이션들의 분량(quantity)을 선택하는 것을 포함하는 것을 특징으로 하는 시스템.
  18. 청구항 15에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 웹 브라우저와 연관된 커맨드들의 풀 세트보다 적게 연관된 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 시스템.
  19. 청구항 15에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 더 이상 있지 않다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 터치 기반 커맨드들과 연관된 임의의 프레젠테이션들을 배제하는 것을 포함하는 것을 특징으로 하는 시스템.
  20. 청구항 15에 있어서,
    상기 사용자가 상기 미리 결정된 거리 임계치를 넘었음을 결정하는 동작은 상기 사용자가 최대 거리 임계치 내에 있다고 결정하는 것을 포함하며, 그리고
    상기 컨텐츠의 양을 선택하는 동작은 터치 기반 커맨드들의 하나 이상의 프레젠테이션들의 분량을 선택하는 것을 포함하는 것을 특징으로 하는 시스템.
KR1020187000770A 2013-02-13 2014-02-11 뷰잉 거리에 기초한 적응적 스크린 인터페이스 KR101912930B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/765,877 US9159116B2 (en) 2013-02-13 2013-02-13 Adaptive screen interfaces based on viewing distance
US13/765,877 2013-02-13
PCT/US2014/015742 WO2014126897A1 (en) 2013-02-13 2014-02-11 Adaptive screen interfaces based on viewing distance

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157024545A Division KR20150119053A (ko) 2013-02-13 2014-02-11 뷰잉 거리에 기초한 적응적 스크린 인터페이스

Publications (2)

Publication Number Publication Date
KR20180006509A true KR20180006509A (ko) 2018-01-17
KR101912930B1 KR101912930B1 (ko) 2018-10-29

Family

ID=50231527

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020157024545A KR20150119053A (ko) 2013-02-13 2014-02-11 뷰잉 거리에 기초한 적응적 스크린 인터페이스
KR1020187000770A KR101912930B1 (ko) 2013-02-13 2014-02-11 뷰잉 거리에 기초한 적응적 스크린 인터페이스

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020157024545A KR20150119053A (ko) 2013-02-13 2014-02-11 뷰잉 거리에 기초한 적응적 스크린 인터페이스

Country Status (5)

Country Link
US (2) US9159116B2 (ko)
EP (1) EP2956838B1 (ko)
KR (2) KR20150119053A (ko)
CN (2) CN108762474A (ko)
WO (1) WO2014126897A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
EP3076304A4 (en) * 2014-03-25 2017-06-07 Panasonic Intellectual Property Management Co., Ltd. Information display system and information display method
US20150288812A1 (en) * 2014-04-02 2015-10-08 Shao-Chieh Ting Mobile computing devices with parental control
US20150358594A1 (en) * 2014-06-06 2015-12-10 Carl S. Marshall Technologies for viewer attention area estimation
US9794511B1 (en) 2014-08-06 2017-10-17 Amazon Technologies, Inc. Automatically staged video conversations
US9911398B1 (en) * 2014-08-06 2018-03-06 Amazon Technologies, Inc. Variable density content display
KR20160020039A (ko) * 2014-08-12 2016-02-23 삼성디스플레이 주식회사 표시 장치 및 그것의 표시 방법
KR101637483B1 (ko) * 2014-11-19 2016-07-07 한국전자통신연구원 거리 및 친밀도를 이용한 주변 장치 인식 장치 및 방법
US9819905B1 (en) 2015-05-28 2017-11-14 Amazon Technologies, Inc. Video communication sessions between whitelisted devices
KR102179958B1 (ko) 2015-09-02 2020-11-17 삼성전자주식회사 LFD(large format display) 장치 및 그 제어 방법
US10853841B2 (en) 2016-01-29 2020-12-01 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
US11461810B2 (en) * 2016-01-29 2022-10-04 Sensormatic Electronics, LLC Adaptive video advertising using EAS pedestals or similar structure
US11250201B2 (en) * 2016-06-14 2022-02-15 Amazon Technologies, Inc. Methods and devices for providing optimal viewing displays
US10168767B2 (en) * 2016-09-30 2019-01-01 Intel Corporation Interaction mode selection based on detected distance between user and machine interface
US10809808B2 (en) 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
US11010601B2 (en) 2017-02-14 2021-05-18 Microsoft Technology Licensing, Llc Intelligent assistant device communicating non-verbal cues
US10467509B2 (en) 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
US11100384B2 (en) * 2017-02-14 2021-08-24 Microsoft Technology Licensing, Llc Intelligent device user interactions
US10489487B2 (en) * 2018-01-18 2019-11-26 Microsoft Technology Licensing, Llc Methods and devices to select presentation mode based on viewing angle
US20190310741A1 (en) * 2018-04-05 2019-10-10 Microsoft Technology Licensing, Llc Environment-based adjustments to user interface architecture
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US10782986B2 (en) 2018-04-20 2020-09-22 Facebook, Inc. Assisting users with personalized and contextual communication content
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
US10877781B2 (en) * 2018-07-25 2020-12-29 Sony Corporation Information processing apparatus and information processing method
US11681415B2 (en) * 2018-10-31 2023-06-20 Apple Inc. Near-viewing notification techniques
US10860104B2 (en) 2018-11-09 2020-12-08 Intel Corporation Augmented reality controllers and related methods
US10789912B2 (en) * 2018-12-20 2020-09-29 Intel Corporation Methods and apparatus to control rendering of different content for different view angles of a display
CN109656371A (zh) * 2018-12-28 2019-04-19 努比亚技术有限公司 移动终端护眼方法、装置、移动终端及存储介质
WO2021025946A1 (en) 2019-08-02 2021-02-11 Dolby Laboratories Licensing Corporation Personalized sensitivity measurements and playback factors for adaptive and personalized media coding and delivery
US11259081B2 (en) * 2020-02-28 2022-02-22 Rovi Guides, Inc. Systems and methods for adaptively modifying presentation of media content
US11650720B2 (en) 2020-10-06 2023-05-16 International Business Machines Corporation Dynamically adjusting zoom settings by a server in multiple user environments
WO2022114334A1 (ko) * 2020-11-27 2022-06-02 한국전자기술연구원 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치
KR102645313B1 (ko) 2021-07-13 2024-03-11 한국전자기술연구원 다수의 사용자들을 위한 차량 내에서의 콘텐츠 제어 방법 및 콘텐츠 제어 장치

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225414B1 (en) 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US8094128B2 (en) * 2007-01-03 2012-01-10 Apple Inc. Channel scan logic
US8209635B2 (en) * 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US10642364B2 (en) * 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US8189429B2 (en) * 2008-09-30 2012-05-29 Apple Inc. Microphone proximity detection
US9400548B2 (en) 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
KR101657168B1 (ko) 2009-12-01 2016-09-19 삼성전자주식회사 사용자 위치 기반의 디스플레이 방법 및 장치
KR20110061189A (ko) 2009-12-01 2011-06-09 삼성전자주식회사 데이터 프로세싱 시스템에서의 비동기 통합 업사이징 회로
EP2534554B1 (en) * 2010-02-11 2020-06-10 Hewlett-Packard Development Company, L.P. Input command
US9477324B2 (en) 2010-03-29 2016-10-25 Hewlett-Packard Development Company, L.P. Gesture processing
US9508322B2 (en) 2010-05-28 2016-11-29 Qualcomm Incorporated Text box resizing
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
CN101894511B (zh) 2010-07-15 2012-03-14 鸿富锦精密工业（深圳）有限公司 电子看板
CN101959051A (zh) * 2010-09-01 2011-01-26 华为终端有限公司 远程呈现***的屏幕选看方法及装置
US9747270B2 (en) * 2011-01-07 2017-08-29 Microsoft Technology Licensing, Llc Natural input for spreadsheet actions
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
WO2012091704A1 (en) * 2010-12-29 2012-07-05 Empire Technology Development Llc Environment-dependent dynamic range control for gesture recognition
US20120260167A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US20120287163A1 (en) * 2011-05-10 2012-11-15 Apple Inc. Scaling of Visual Content Based Upon User Proximity
US20130016129A1 (en) * 2011-07-14 2013-01-17 Google Inc. Region-Specific User Input
US8782716B2 (en) * 2011-07-29 2014-07-15 Google Inc. Systems and methods for rendering user interface objects in accordance with a variable scaling factor
US20120092248A1 (en) * 2011-12-23 2012-04-19 Sasanka Prabhala method, apparatus, and system for energy efficiency and energy conservation including dynamic user interface based on viewing conditions
JP6257329B2 (ja) * 2012-01-13 2018-01-10 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US20130300668A1 (en) * 2012-01-17 2013-11-14 Microsoft Corporation Grip-Based Device Adaptations
US20130215038A1 (en) * 2012-02-17 2013-08-22 Rukman Senanayake Adaptable actuated input device with integrated proximity detection
US8928590B1 (en) * 2012-04-03 2015-01-06 Edge 3 Technologies, Inc. Gesture keyboard method and apparatus
CN103488446B (zh) * 2012-06-11 2017-08-25 汉王科技股份有限公司 一种显示器工作模式切换的方法和装置
US11099652B2 (en) * 2012-10-05 2021-08-24 Microsoft Technology Licensing, Llc Data and user interaction based on device proximity
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance

Also Published As

Publication number Publication date
US20150379687A1 (en) 2015-12-31
KR20150119053A (ko) 2015-10-23
CN108762474A (zh) 2018-11-06
US9159116B2 (en) 2015-10-13
WO2014126897A1 (en) 2014-08-21
US20140225931A1 (en) 2014-08-14
US9691130B2 (en) 2017-06-27
CN105009025B (zh) 2018-06-29
KR101912930B1 (ko) 2018-10-29
CN105009025A (zh) 2015-10-28
EP2956838B1 (en) 2019-06-05
EP2956838A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
KR101912930B1 (ko) 뷰잉 거리에 기초한 적응적 스크린 인터페이스
US10002642B2 (en) Methods and devices for generating media items
US8890818B2 (en) Apparatus and method for proximity based input
KR102161230B1 (ko) 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US10684754B2 (en) Method of providing visual sound image and electronic device implementing the same
KR101971624B1 (ko) 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
US20160048214A1 (en) Using distance between objects in touchless gestural interfaces
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
JP2014510320A (ja) コンテクストユーザインタフェース
JP2013530587A5 (ko)
CN115134649A (zh) 用于在视频内容内呈现交互式元素的方法和***
US9501151B2 (en) Simultaneous multi-user marking interactions
CN111539214A (zh) 一种用于自然语言内容标题消歧的方法、设备和***
US20140240273A1 (en) Apparatus and method for interacting with a user
TW201423562A (zh) 電子裝置及其頁面演示方法
KR20130042674A (ko) 디스플레이기기 및 디스플레이기기의 카메라 제어 방법
US20140152851A1 (en) Information Processing Apparatus, Server Device, and Computer Program Product
WO2013023066A1 (en) Method and user interface controlling communications and content from sources

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant