KR101667345B1 - 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법 - Google Patents

스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법 Download PDF

Info

Publication number
KR101667345B1
KR101667345B1 KR1020117021785A KR20117021785A KR101667345B1 KR 101667345 B1 KR101667345 B1 KR 101667345B1 KR 1020117021785 A KR1020117021785 A KR 1020117021785A KR 20117021785 A KR20117021785 A KR 20117021785A KR 101667345 B1 KR101667345 B1 KR 101667345B1
Authority
KR
South Korea
Prior art keywords
location
geographic
image
street
level image
Prior art date
Application number
KR1020117021785A
Other languages
English (en)
Other versions
KR20110118727A (ko
Inventor
지아준 주
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20110118727A publication Critical patent/KR20110118727A/ko
Application granted granted Critical
Publication of KR101667345B1 publication Critical patent/KR101667345B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

스트리트 레벨 이미지들 간의 전환을 표시하는 시스템 및 방법을 제공한다. 일 측면에서, 상기 시스템 및 방법은 2D 스트리트 레벨(1110) 이미지로부터의 이미지와 함께 텍스처링되고 또 3D 위치와 연관되는 복수의 다각형(1120)을 생성하며, 상기 3D 위치는 상기 이미지 내에 포함된 객체(320, 322)의 3D 위치와 일치한다. 이 다각형(1120)들은 차례로, 원래의 이미지에 포함된 객체들 사이에서 이동하는 외양을 전달하기 위해 상이한 시점에서 랜더링된다.

Description

스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법 {SYSTEM AND METHOD OF INDICATING TRANSITION BETWEEN STREET LEVEL IMAGES}
본 발명은 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법에 관한 것이다.
관련 출원의 상호 참조
본 출원은 "SYSTEM AND METHOD OF INDICATING TRANSITION BETWEEN STREET LEVEL IMAGES"라는 명칭으로, 2009년 2월 24일에 출원된 미국 특허출원 제12/391,516호의 혜택을 주장하며, 그 개시내용은 인용에 의해 본 명세서에 포함된다.
구글 맵스(Google Maps)과 같은 서비스는 지리적 위치(geographic location)의 스트리트 레벨 이미지를 표시할 수 있다. "스트리트 뷰(Street Views)"로서 구글 맵에서 식별된, 이들 이미지는 일반적으로 빌딩 및 기타 지형물(features)의 사진을 포함하고, 사용자가 탑다운 맵 시점(top-down map perspective)에 반해 사람의 시점으로부터 지리적 위치를 볼 수 있도록 해준다.
스트리트 레벨 이미지는 개별 위치에서 촬영되는 경향이 있다. 구글 맵스 서비스는, 화살표 아이콘의 클릭킹(clicking)과 같은, 사용자가 스트리트 레벨 이미지를 하나의 위치에서 다른 위치로 변화시킬 수 있는 다양한 메커니즘을 제공한다.
구글 맵스 서비스는 또한 두 스트리트 레벨 이미지 간의 애니메이션 전환(animated transition)을 보여주기도 한다. 예를 들면, 사용자가 다음 이미지를 향해 이동하기를 원한다는 것을 나타내면, 클라이언트 컴퓨터는 현재 스트리트 레벨 내로의 줌(zoom)을 위한 명령을 구비한다. 주밍(zooming)은 이미지 내로 이동하는 느낌(impresson)을 전달하기 쉽다. 유사하게, 사용자가 다음 스트리트 레벨 이미지로 이동하면, 현재 표시된 이미지는 왼쪽 또는 오른쪽으로 회전(pan)한다.
현재 스트리트 레벨 이미지의 애니메이션은 다음 스트리트 레벨 이미지 위에 반투명하게 보일 수 있다. 더욱 구체적으로는, 다음 스트리트 레벨 이미지는 먼저 저해상도 JPEG 포맷으로 전송되고, 현재 스트리트 레벨 이미지는 다음 이미지의 더 높은 해상도의 버전이 로딩되는 동안에 저품질 이미지 전체를 두루 이동한다. 현재 스트리트 레벨 이미지가 이동 또는 주밍을 종료하면, 그것은 사용자에게 보이지 않고, 이 시점에서 제2 스트리트 레벨 이미지가 표시된다.
서버가 현재 스트리트 레벨 이미지의 지리적 위치와 표시될 스트리트 레벨 이미지의 위치 사이의 위치에서 취득된 스트리트 레벨 이미지를 액세스하면, 서버는 표시를 위해 클라이언트 컴퓨터에 이들 이미지를 전송할 수 있다. 많은 환경에서 유리하지만, 많은 클라이언트 컴퓨터는 사이에 오는 이미지(intervening image)를 수신 및 표시할 수 있을 정도로 서버에 충분히 빠른 연결을 할 수 없다.
본 발명의 일 측면은 이미지를 표시하는 방법을 제공한다. 상기 방법은 제1 위치에서 카메라에 의해 포착된 지리적 객체(geographic object)를 나타내는 제1 이미지를 수신하는 단계; 상기 지리적 객체의 지리적 위치와 연관된 객체 위치 데이터를 수신하는 단계; 프로세서를 사용하여, 상기 제1 이미지 및 상기 객체 위치 데이터에 기초하여 복수의 지역(region)을 결정하는 단계 - 상기 지역 각각은 상기 제1 이미지의 부분 및 지리적 위치에 연관되어 있음 -; 프로세서를 사용하여, 제2 위치의 시점에서 상기 지리적 객체를 나타내는 제2 이미지를 생성하는 단계 - 상기 제2 이미지는 상기 제2 위치의 시점에서 표시된 상기 복수의 지역을 포함함 - ; 및 전자 디스플레이 상에, 상기 제2 이미지를 표시하는 단계를 포함한다.
본 발명의 다른 측면은, 제1 위치에서 카메라에 의해 포착된 지리적 객체의 제1 스트리트 레벨 이미지를 수신하는 단계; 상기 제1 위치에 대한 상기 지리적 객체의 표면의 위치를 나타내는 깊이 데이터를 수신하는 단계; 프로세서를 사용하여, 다각형의 꼭짓점이 위치와 연관되어 있는 복수의 다각형을 생성하는 단계 - 상기 꼭짓점의 위치는 깊이 데이터에 기초하여 결정되고, 각 다각형은 또한 상기 제1 스트리트 레벨 이미지의 부분과 연관되어 있음 - ; 및 전자 디스플레이 상에, 상기 지리적 객체의 제2 스트리트 레벨 이미지가 제2 위치에서 카메라에 의해 포착된 것처럼 나타나도록, 상기 제2 스트리트 레벨 이미지를 표시하는 단계를 포함하는 스트리트 레벨 이미지를 표시하는 방법을 제공한다. 상기 제2 스트리트 레벨 이미지는 제2 위치, 복수의 다각형, 및 상기 제2 위치에 대한 상기 다각형의 위치에 기초하여 프로세서에 의해 계산된다.
본 발명의 또 다른 측면은, 사용자 입력 디바이스는 물론, 명령어(instruction), 카메라에 의해 포착된 지리적 객체의 스트리트 레벨 이미지를 나타내는 이차원 이미지 데이터, 및 상기 카메라를 향해 있는 상기 지리적 객체의 표면의 삼차원 위치를 나타내는 위치 데이터를 저장하는 메모리를 갖는 시스템에 관한 것이다. 상기 시스템은 또한, 상기 명령어에 따라 상기 사용자 입력 디바이스와 통신하고 상기 사용자 입력 디바이스로부터 수신된 정보를 처리하는 프로세서, 및 상기 프로세서와 통신하고 상기 프로세서로부터 수신된 정보를 표시하는 디스플레이를 포함한다. 상기 명령어는 다음을 포함한다: 제1 위치 및 제2 방향의 식별정보(identification)를 수신하는 단계; 상기 이미지 데이터의 부분들을 상이한 구역들과 연관시키는 단계; 각 지역과 연관된 복수의 지점에 대한 표면 위치 데이터를 결정하는 단계 - 어떤 지점의 표면 위치 데이터는 그 지점의 이미지로 표시된 상기 객체의 표면의 부분에 대한 삼차원 위치를 나타내고, 상기 표면 위치 데이터는 상기 위치 데이터에 기초함 -;상기 지역의 이미지 데이터, 상기 지역에 대한 상기 표면 위치 데이터, 상기 제2 위치 및 상지 제2 방향에 기초한 이차원 제2 이미지를 랜더링(randering)하는 단계; 및 상기 디스플레이 상에 상기 제2 이미지를 표시하는 단계.
또 다른 시스템은 이미지를 표시하고, 네트워크의 제1 노드에 제1 컴퓨터를 포함하며; 상기 제1 컴퓨터는 제1 명령어 세트를 저장하는 제1 메모리, 상기 제1 명령어 세트에 따라 데이터를 처리하는 제1 프로세서, 및 전자 디스플레이를 포함한다. 상기 시스템은 또한 네트워크의 제2 노드에 제2 컴퓨터를 포함하고; 상기 제2 컴퓨터는 제2 명령어 세트를 저장하는 제2 메모리 및 상기 제2 명령어 세트에 따라 데이터를 처리하는 제2 프로세서를 포함한다. 상기 제2 명령어 세트는, 상기 제1 컴퓨터로부터 위치를 수신하는 단계, 카메라에 의해 포착된 지리적 객체의 제1 이미지를 상기 제1 컴퓨터에 송신하는 단계, 및 상기 제1 이미지에 나타낸 상기 지리적 객체의 표면의 지리적 위치를 규정하는 위치 데이터를 송신하는 단계를 포함한다. 상기 제1 명령어 세트는 다음을 포함한다: 상기 제1 이미지를 수신하는 단계; 상기 위치 데이터를 수신하는 단계; 상기 제2 위치를 수신하는 단계; 상기 제1 이미지의 복수의 부분에 대해, 각 이미지 부분을 이미지 부분 위치와 연관시키는 단계 - 상기 이미지 부분 위치는 상기 부분에 의해 나타낸 표면의 적어도 하나의 지리적 위치에 기초하여 계산됨 -; 상기 이미지 부분들로부터 제2 이미지를 생성하는 단계 - 상기 제2 이미지 내의 상기 이미지 부분 각각의 위치는 상기 제2 위치의 시점에서 볼 때 상기 이미지 부분의 외양(appearance)에 기초하여 계산됨 - ; 및 상기 제2 이미지를 표시하는 단계.
본 발명의 추가적인 측면은 스트리트 레벨 이미지들 간의 전환을 제공하는 방법에 관한 것이며, 상기 방법은, 제1 지리적 위치로부터 취득된 지리적 객체의 제1 스트리트 레벨 이미지를 수신하는 단계; 상기 객체의 표면의 지리적 위치를 나타내는 객체 위치 데이터를 수신하는 단계; 제2 스트리트 레벨 이미지를 요청하는 단계 - 상기 제2 스트리트 레벨 이미지는 제2 지리적 위치와 연관되어 있음 -; 프로세서를 사용하여, 다각형의 각 꼭짓점이 화소 위치 및 지리적 위치 둘다와 연관되어 있는 복수의 다각형을 결정하는 단계 - 상기 화소 위치는 상기 제1 이미지에 대한 상기 꼭짓점의 위치를 나타내고, 각 꼭짓점의 지리적 위치는 상기 꼭짓점의 화소 위치에 표시된 상기 객체의 부분의 지리적 위치를 나타냄 - ; 상기 제1 지리적 위치 및 상기 제2 지리적 위치에 기초하여 제1 중간 지리적 위치를 결정하는 단계; 프로세서를 사용하여, 상기 제1 중간 지리적 위치의 시점에서 상기 지리적 객체 중 적어도 하나를나타내는 제1 중간 이미지를 결정하는 단계 - 상기 제1 중간 이미지는 상기 제1 중간 지리적 위치에 대한 각 다각형의 꼭짓점의 지리적 위치에 기초하여 상기 제1 중간 이미지 내에 위치된 복수의 다각형을 포함함 - ; 및 디스플레이 상에 상기 제1 중간 이미지를 표시하는 단계를 포함한다.
도 1은 본 발명의 일 측면에 따른 시스템의 기능도이다.
도 2는 본 발명의 일 측면에 따른 시스템의 그림을 이용한 도면이다.
도 3은 본 발명의 일 측면에 따른, 카메라에 의해 포착된 스트리트 레벨 이미지이다.
도 4는 본 발명의 일 측면에 따라, 스트리트 레벨 이미지 내의 객체의 상대 지리적 위치 및 스트리트 레벨 이미지를 포착하는 데 사용된 카메라의 위치 및 각도를 기능적으로 설명하는 도면이다.
도 5는 본 발명의 일 측면에 따른, 카메라 위치, 및 객체 위치 데이터에 대한 스트리트 레벨 이미지 내의 객체의 지리적 위치의 스트리트 레벨 이미지, 기능도이다.
도 6은 본 발명의 일 측면에 따른, 카메라 위치, 및 객체 위치에 대한 스트리트 레벨 이미지 내의 객체의 지리적 위치의 스트리트 레벨 이미지, 기능도이다.
도 7은 본 발명의 일 측면에 따른, 카메라 위치, 및 객체 위치 데이터에 대한 스트리트 레벨 이미지 내의 객체의 지리적 위치의 스트리트 레벨 이미지, 기능도이다.
도 8은 본 발명의 일 측면에 따른 스크린 샷(screen shot)이다.
도 9는 본 발명의 일 측면에 따른 스크린 샷이다.
도 10은 본 발명의 일 측면에 따른 지역과 스트리트 레벨 이미지의 연관관계(association)를 나타낸다.
도 11은 본 발명의 일 측면에 따른 스트리트 레벨 이미지 내의 지역의 위치를 나타낸다.
도 12는 모두 본 발명의 일 측면에 따른, 스트리트 레벨 이미지 및 밴티지 포인트(vantage point) 내의 객체의 지리적 위치에 대한 지역의 위치를 나타낸다.
도 13은 본 발명의 일 측면에 따른, 스트리트 레벨 이미지와 이로부터 생성된 중간 스트리트 레벨 이미지를 비교하여 나타낸다.
도 14는 본 발명의 일 측면에 따른, 스트리트 레벨 이미지 및 중간 스트리트 레벨 이미지 내의 구역의 화소 위치를 나타낸다.
도 15는 본 발명의 일 측면에 따른 스크린 샷이다.
도 16은 본 발명의 일 측면에 따른 중간 위치 및 방향을 나타낸다.
도 17은 본 발명의 일 측면에 따른 흐름도이다.
도 18은 본 발명의 일 측면에 따른 흐름도이다.
도 19는 본 발명의 일 측면에 따른 흐름도이다.
일 측면에서, 시스템 및 방법은, 빌딩과 같은, 스트리트 레벨 이미지 내에 표시된 지리적 객체,의 표면의 위치를 결정하고, 이 정보를 사용하여 이미지에 나타난 장면 사이를 이동하는 느낌을 전달하는 애니메이션을 만든다. 이 애니메이션은 클라이언트 컴퓨터에 의해 전적으로 생성될 수 있는데, 클라이언트 컴퓨터는 서버로부터 수신된 위치 정보를 사용하여 현재 스트리트 레벨 이미지로부터의 이미지 정보와 함께 텍스처링되는(textured) 다각형을 생성한다. 클라이언트 컴퓨터는 또한 현재 스트리트 레벨 이미지에서 다음 스트리트 레벨 이미지까지의 일련의 중간 지리적 위치를 계산할 수 있으며; 이 중간 지리적 위치들은 이 위치들로부터의 다각형에 기초하여 일련의 이차원 뷰를 렌더링 및 표시하는 데 사용된다. 시스템 및 방법의 이 측면은 스트리트 레벨 이미지에 나타난 지리적 객체 사이를 이동하는 애니메이션의 느낌을 생성하는 데 있어 많은 유연성을 제공한다.
도 1 및 도 2에 나타낸 바와 같이, 본 발명의 일 측면에 따른 시스템(100)은 프로세서(210), 메모리(220) 및 일반적으로 범용 컴퓨터에 있는 기타 구성요소들을 포함하는 컴퓨터(110)를 포함한다.
메모리(220)는 프로세서(210)에 의해 실행될 수 있는 명령어(240)를 비롯한, 프로세서(210)에 의해 액세스 가능한 정보를 저장한다. 메모리(220)는 또한 프로세서에 의해 검색, 조작 또는 저장될 수 있는 데이터(230)를 포함한다. 메모리는, 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기록 가능한 메모리, 및 판독 전용 메모리와 같은, 프로세서(210)에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 프로세서(210)는, Intel Corporation 또는 AMD에서 만든 프로세서와 같은, 모든 주지의 프로세스일 수 있다. 다르게는, 프로세서(210)는 ASIC과 같은 전용 제어기(dedicated controller)일 수 있다.
명령어(240)는 프로세서(210)에 의해 직접(기계어 코드(machine code) 등) 또는 간접(스크립트(script) 등)으로 실행되는 명령어의 임의 세트일 수 있다. 이와 관련하여, 본 명세서에서 "명령어(instruction)," "단계(step)" 및 "프로그램(program)"이라는 용어는 호환해서 사용될 수 있다. 명령어(240)는 프로세서(210)에 의한 직접적인 처리를 위해 목적 코드 포맷(object code format)으로, 또는 스크립트 또는 요구에 따라 해석되거나 미리 컴파일되는 독립적인 원시 코드 모듈(source code module)의 모음을 포함하는 기타 컴퓨터 언어로 저장될 수 있다. 명령어로 이루어지는 함수(function), 방법, 및 루틴에 대해서는 이하에 더욱 상세하게 설명한다.
데이터(230)는 명령어(240)에 따라 프로세서(210)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들면, 시스템 및 방법은 어떤 특정 데이터 구조로 한정되는 것은 아니지만, 데이터는 컴퓨터 레지스터, 복수의 상이한 필드 및 레코드를 갖는 테이블과 같은 관계형 데이터베이스(relational database), XML 문서, 또는 플랫 파일(flat file)로 저장될 수 있다. 데이터는 또한 이진 값(binary value), ASCII 또는 유니코드(Unicode)와 같은, 임의의 컴퓨터로 판독 가능한 포맷으로 포맷팅될 수 있지만, 이에 한정되는 것은 아니다. 단지 예로서, 이미지 데이터는 압축되거나 비압축되어 저장되는 화소들로 이루어진 비트맵, 또는 무손실이나 손실 포맷(예컨대 JPEG), 벡터 기반(vector-based) 포맷(예컨대., SVG) 또는 그래픽을 그리기 위한 컴퓨터 명령어로서 저장될 수 있다. 또한, 데이터는 숫자(number), 기술문(descriptive text), 독점 코드(proprietary code), 포인터(pointer), 다른 메모리(다른 네트워크 위치를 포함함)에 저장된 데이터 또는 관련 데이터를 계산하기 위한 함수에 의해 사용되는 정보에 대한 참조(reference)와 같은, 관련 정보를 식별하기에 충분한 임의의 정보를 포함할 수 있다.
도 1은 프로세서 및 메모리를 동일한 블록 내에 있는 것처럼 기능적으로 나타냈지만, 해당 기술분야의 당업자는 실제로 프로세서와 메모리는 동일한 물리적 하우징 내에 수용될 수 있거나 없는 다수의 프로세서 및 메모리를 포함할 수 있다는 것을 알 것이다. 예를 들면, 명령어 및 데이터의 일부는 탈착 가능한(removable) CD-ROM에 저장될 수 있고, 나머지는 판독 전용 컴퓨터 칩에 저장될 수 있다. 명령어 및 데이터의 일부 또는 전부는 프로세서와 물리적으로 떨어져 있지만, 그럼에도 프로세서에 의해 액세스 가능한 곳(location)에 저장될 수 있다. 유사하게, 프로세서는 실제로 병렬로 동작할 수 있거나 없는 프로세서들의 모음을 포함할 수 있다.
일 측면에서, 컴퓨터(110)는 하나 이상의 클라이언트 컴퓨터(150, 170)(도 1에는 명확함을 위해 클라이언트 컴퓨터(150) 만을 나타냄)와 통신하는 서버이다. 각 클라이언트 컴퓨터는 프로세서, 메모리 및 명령어를 구비하여, 서버(110)와 마찬가지로 구성될 수 있다. 각 클라이언트 컴퓨터(150, 170)는 중앙 처리 장치(CPU), 디스플레이 디바이스(160)(예를 들면, 스크린, 프로젝터, 터치 스크린, 소형 LCD 스크린, 텔레비전, 또는 프로세서에 의해 처리된 정보를 표시할 수 있는 전기 디바이스와 같은 다른 디바이스). CD ROM, 하드 드라이브, 사용자 입력장치(예를 들면, 마우스(163), 키보드, 터치 스크린 또는 마이크로폰), 스피커, 모뎀 및 네트워크 인터페이스 디바이스(전화, 케이블 또는 다른 것) 및 이 요소들을 서로 연결하기 위해 사용되는 모든 구성요소와 같은, 개인용 컴퓨터에서 보통 발견되는 내부 구성요소를 모두 가지는, 사람(190, 191)이 사용하기 위한 개인용 컴퓨터일 수 있다.
클라이언트 컴퓨터(150, 170)는 일반 치수(full-sized)의 개인용 컴퓨터를 포함할 수 있지만, 시스템 및 방법은 또한 인터넷과 같은 네트워크를 통해 서버와 데이터를 무선으로 교환할 수 있는 모바일 디바이스와 함께 사용될 수 있다. 예를 들면, 클라이언트 컴퓨터(170)는 블랙베리(Blackberry) 폰 또는 인터넷 가능 셀룰러 폰과 같은 무선 지원(wireless-enabled) PDA일 수 있다. 사용자는 소형 키보드(블랙베리 폰의 경우), 키패드(일반적인 셀 폰의 경우), 터치 스크린(PDA의 경우) 또는 기타 사용자 입력 수단을 사용하여 정보를 입력할 수 있다.
클라이언트 컴퓨터(150, 170)는 디바이스의 지리적 위치를 결정하기 위해, 회로와 같은, 구성요소를 포함할 수 있다. 예를 들면, 모바일 디바이스(170)는 GPS 수신기(155)를 포함할 수 있다. 다른 예로서, 상기 구성요소는 모바일 디바이스(170)가 셀 폰인 경우에 셀 폰의 안테나에서 수신된 하나 이상의 셀 폰 타워로부터의 신호와 같은, 모바일 디바이스(170)에서 수신된 다른 신호들에 기초하여 디바이스의 위치를 결정하기 위한 소프트웨어를 포함할 수 있다.
서버(110) 및 클라이언트 컴퓨터(150, 170)는 네트워크(195)와 같이, 직접 또는 간접 통신이 가능하다. 도 1 및 도 2에는 몇 개의 컴퓨터만 나타냈지만, 일반적인 시스템은 네트워크(195)의 상이한 노드에 있는 각각의 상이한 컴퓨터와 연결된 다수의 컴퓨터를 포함할 수 있음을 인식하여야 한다. 네트워크, 및 개입 노드(intervening node)는, 인터넷, 월드와이드웹(World Wide Web), 인터라넷, 가상 사설 네트워크(virtual private network), 광역 네트워크(wide area network), 로컬 네트워크(local network), 하나 이상의 회사에 독점적인 통신 프로토콜을 사용하는 사설 네트워크, 이더넷(Ethernet), WiFi 및 HTTP, 그리고 이들의 다양한 조합을 비롯한 다양한 구성 및 프로토콜을 포함할 수 있다. 이러한 통신은, 모뎀(예컨대, 다이얼(dial-up), 케이블 또는 광섬유) 및 무선 인터페이스와 같은, 다른 컴퓨터와 데이터를 송수신할 수 있는 임의의 디바이스에 의해 용이해질 수 있다.
전술한 바와 같이 정보를 송신 또는 수신할 때 얻는 일정한 이점이 있지만, 시스템 및 방법의 다른 측면들은 정보 전송의 어떤 특정한 방식에 한정되지 않는다. 예를 들면, 어떤 측면에서, 정보는 디스크, 테이프 또는 CD-ROM과 같은 매체를 통해 전송될 수 있다. 다른 측면에서, 정보는 비전자적인 포맷으로 송신될 수도 있고 수동으로 시스템에 입력될 수도 있다. 또, 일부 기능은 서버에서, 다른 기능들은 클라이언트에서 실시되는 것으로 나타나 있지만, 본 시스템 및 방법의 여러 측면에서는 단일 프로세서를 가지는 단일 컴퓨터에 의해 실시될 수 있다.
서버(110)의 맵 데이터베이스(270)는 맵 관련 정보(map-related information)를 저장하고, 적어도 그 일부는 클라이언트 디바이스에 송신될 수 있다. 예를 들면, 맵 데이터베이스(270)는 맵 타일(map tile)(272)을 저장할 수 있으며, 각 타일은 특정 지리적인 지역(area)의 맵 이미지이다. 해상도에 따라(예컨대, 맵이 줌인이든 줌아웃이든), 하나의 타일은 상대적으로 그다지 자세하지 않은 주(state)와 같은 전 범위를 다룰 수 있다. 다른 타일은 단지 몇 개의 거리를 매우 상세하게 다룰 수 있다. 맵 정보는 어떤 특정한 포맷으로 한정되지 않는다. 예를 들면, 이미지는 스트리트 맵, 위성 이미지, 또는 이들의 조합을 포함할 수 있고, 벡터(구체적으로는 스트리트 맵에 대해) 또는 비트맵(구체적으로는 위성 맵에 대해)으로 저장될 수 있다. 각종 맵 타일은 지리적 위치와 연관되므로, 서버(110)는 지리적 위치의 수신에 대한 응답으로 하나 이상의 타일을 선택, 검색 및 송신하는 것이 가능하다.
이하에 언급하는 바와 같이, 위치는 위도/경도 위치, 거리 주소, 맵 상의 점(사용자가 맵 위를 클릭할 때), 빌딩 명칭, 하나 이상의 지리적 위치를 식별할 수 있는 다른 데이터, 및 전술한 것의 범위를 비롯한 다양한 방식으로 표현될 수 있지만, 이에 한정되는 것은 아니다.
맵 데이터베이스(270)는 또한 스트리트 레벨 이미지(274)를 저장할 수 있다. 스트리트 레벨 이미지는 대체로 지면에 평행한 방향으로, 지리적 위치에서 카메라에 의해 포착된, 그 지리적 위치의 객체에 대한 이미지를 포함한다. 따라서, 도 3에 나타낸 바와 같이, 스트리트 레벨 이미지 데이터는 지면 몇 피트 위에서 도로를 내려다보는 시점에서 빌딩(320-22), 보도(330-31) 및 도로(340)와 같은 다양한 지리적 객체를 나타낼 수 있다. 설명을 용이하게 하기 위해 스트리트 레벨 이미지(310)에는 몇 개의 객체만 나타냈지만, 일반적인 스트리트 레벨 이미지는 ,카메라 포착할 수 있었던 만큼 아주 세부적으로 지리적 위치와 연관시킬 수 있는 많은 객체(가로등, 산, 나무, 수역(body of water), 차량, 사람 등)를 많이 포함할 것이다.
스트리트 레벨 이미지는 차량의 위쪽에 탑재된 카메라에 의해, 지면을 대략 평행하게 가리키는 카메라 각도 및 차량 높이의 법적 제한(예컨대, 7-14 피트) 이하의 카메라 위치에서 포착될 수 있다. 스트리트 레벨 이미지는 지면 위의 어떤 특정한 높이로 한정되지 않으며, 예를 들면, 스트리트 레벨 이미지는 빌딩 꼭대기에서 촬영될 수 있다. 파노라마 스트리트 레벨 이미지는 상이한 카메라 각도로 촬영한 복수의 사진을 함께 맞춤(stiching)으로써 생성될 수 있다.
도 4는 이미지를 포착한 때의 카메라의 위치(410) 및 각도(420)에 대한 빌딩(320, 321)의 위치를 그림으로 나타낸 것이다.
각 스트리트 레벨 이미지는 색상 및 휘도 값에 연관된 화송의 세트로서 저장될 수 있다. 예를 들면, 이미지가 JPEG 포맷으로 저장되는 경우, 이미지는 화소의 세트로서 행렬로 표시될 것이며, 각 화소는 그 화소의 위치에서의 색상 및 휘도를 규정하는 값과 연관되어 있다.
지리적 위치와 연관되어 있는 외에, 스트리트 레벨 이미지(274)는 일반적으로 이미지의 방향을 나타내는 정보와 연관되어 있다. 예를 들면, 스트리트 레벨 이미지가 일반적인 사진을 포함하는 경우, 방향은 단순하게 카메라 각도일 수 있는데, 이것은 다시 진북(true north)의 30°동쪽 및 지면 레벨에서 2°상승한 각도로 표현될 수 있다. 스트리트 레벨 이미지가, 그 이미지와 연관된 지리적 위치에 중심이 있는 360°파노라마와 같은, 파노라마 이미지인 경우, 방향은 카메라로부터 지면에 바로 평행하는 각도로 정북(due north)을 보는 것에 일치하는 이미지의 부분을 가리킬 수 있다.
스트리트 레벨 이미지는 또한 예를 들면 아날로그 비디오 카메라로 포착한 MPEG 비디오로 표시하거나 디지털 스틸 카메라로 포착된 시간 순으로 정리된 사진을 연속적으로 표시함으로써, 비디오 형태로 저장될 수 있다.
메모리(220)는 또한 스트리트 레벨 이미지 내의 지리적 객체의 지리적 위치를 나타내는 객체 위치 데이터를 저장할 수 있다. 이 객체 위치 데이터는 여러 포맷으로 저장될 수 있다.
일 측면에서, 객체 위치 데이터는 카메라를 향하고 잇는 표면의 지리적 위치를 나타내는 값을 저장한다. 이와 관련하여, 스트리트 레벨 이미지의 화소 각각에 대해 별개의 값이 저장될 수 있으며, 그 값은 그 화소에 나타나 있는 표면의 지리적 위치를 나타낸다. 따라서, 도 5에 나타낸 바와 같이, 가로
스트리트 레벨 이미지(510)의 가로 열(row) ya 및 세로 행(column) xa의 화소(이하, "(xa, ya)")는 빌딩(320)의 점 "A"에서의 표면의 부분을 나타낸다. 화소는 두 개의 값과 연관되어 있는데, 첫 번째 값은 카메라에 의해 포착된 때의 표면의 해당 부분의 색상과 휘도이다.
화소와 연관된 두 번째 값은 표면의 해당 부분의 지리적 위치이다. 예를 들면, 이 두 번째 값은 해당 부분의 위도/경도 및 고도 위치를 반영할 수 있고 (Lat2°, Lon2°, Alt2 미터) 형태의 좌표로 표현될 수 있다. 위치 "B"의 화소로 표시된 빌딩(322)의 부분의 지리적 위치는 유사하게 (Lat3, Lon3, Alt3)으로 표현될 수 있다. 객체 위치 데이터(550)는 또한 카메라 위치의 지리적 위치를 (Lat1, Lon1, Alt1)로 저장할 수 있다. 표면과 연관되지 않는 화소는 널(null) 또는 디폴트 표면 값과 연관될 수 있다.
또 다른 측면에서, 객체 위치 데이터는 이미지의 각 화소에서 객체와 카메라 사이의 거리를 저장할 수 있다. 따라서, 도 6에 나타낸 바와 같이, 객체 위치 데이터(650)는 카메라 위치(610)에서 화소 "A"의 빌딩(320)의 표면까지 거리(620)를 규정할 수 있다. 유사하게, 객체 위치 데이터는 카메라 위치(610)에서 화소 "B"의 빌딩(321)의 표면까지 거리(630)를 규정할 수 있다.
다른 측면에서, 카메라를 향해 있는 표면의 지리적 위치는 다각형으로 저장된다. 따라서, 도 7에 나타낸 바와 같이, 카메라를 향해 있는 빌딩(320)의 표면(720)은 4개의 꼭짓점을 가지는 다각형(725)으로 규정될 수 있으며, 각 꼭짓점은 상이한 지리적 위치에 연관되어 있다. 예를 들면, 표면은 위치 (Lat2, Lon2, Alt2), (Lat3, Lon3, Alt3), (Lat4, Lon4, Alt4) 및 (Lat5, Lon5, Alt5)의 꼭짓점 세트로 객체 위치 데이터(750)에서 참조될 수 있다. 다른 객체의 표면은 카메라의 위치에 따라 유사하게 저장될 수 있다. 객체 위치 데이터는 또한, 이미지 내의 화소 각각에 대해, 화소와 일치하는 표면을 규정할 수 있다. 예를 들면, 위치 "A"에서의 화소에 대한 객체 위치 데이터는 다각형(725)을 참조할 수 있다.
객체 위치 데이터를 저장하기 위해 다른 포맷을 사용할 수도 있다. 예를 들면, 위도/경도 같은 절대값과 연관되기보다는, 상기 값은 상대적이고 임의의 척도(scale)일 수 있다. 또, 제1 유형의 정보가 사용되더라도(카메라 및 표면의 위도, 경도 및 고도를 저장하는 등), 다른 유형의 정보도 그로부터 생성될 수 있다(위도/경도 위치와 고도의 차를 사용하여 거리를 계산하는 것 등).
일정한 포맷은 카메라에 의해 포착된 스트리트 레벨과 독립하여 표면 정보를 저장할 수 있도록 해준다. 예를 들면, 도 7에 기재된 것처럼 저장된 객체 위치 데이터는 스트리트 레벨 이미지 또는 카메라 위치에 대한 참조 없이 저장될 수 있고, 그 스트리트 레벨 이미지의 위치에 가까운 지리적 위치를 가지는 표면을 찾음으로써 검색될 수 있다.
표면 정보를 수집에는 다양한 시스템 및 방법을 사용할 수 있다. 단지 예로서, 레이저 거리 측정기(laser range finder)를 사용할 수 있다. 또, 약간 간격을 두고 떨어져 동일한 장면을 보는 두 개의 비디오 카메라를 사용하는 입체영상 시스템(stereoscopic system)을 사용할 수도 있고; 각 케마라에 의해 보이는 이미지들 사이의 약간의 차이를 분석함으로써,이미지 내의 각 지점의 거리를 추정할 수 있다. 또 다른 측면에서, 스트리트 레벨 이미지를 지나가는 풍경으로 포착하기 위해, 특정 속도로 이동하는 단일 비디오 카메라를 사용하여 정보를 편집(compile)할 수 있다. 이 비디오는 스트리트 레벨 이미지로 사용될 뿐 아니라, 그 다음 프레임들은 객체와 카메라 사이의 상이한 거리를 얻기 위해 비교될 수 있다(예컨대, 산은 거리상 도로를 따라 지나치는 소화전보다 훨씬 긴 프레임 내에 머물 것이다).
도 17 내지 도 19에 나타낸 동작 외에, 본 발명의 여러 측면에 따른 다양한 동작을 이제 설명한다. 다음 동작들은 이하에 설명하는 정확한 순서대로 수행할 필요가 없다는 것을 알아야 한다. 더 정확히 말하면, 여러 단계는 역 순서로 또는 동시에 처리될 수 있다.
도 8은 클라이언트 컴퓨터의 디스플레이 디바이스에 의해 표시될 수 있는 스크린 샷을 나타낸다. 예를 들면, 시스템 및 방법은 맵(810) 및 다른 정보를 보여주는 웹 페이지를 표시하는 구글 크롬(Google Chrome)(도시되지 않음)과 같은 인터넷 브라우저(Internet browser)와 관련하여 구현될 수 있다. 프로그램은 스트리트 레벨 뷰로 표시될 위치의 요청에 관한 한 사용자에게 많은 유통성을 제공할 수 있다. 예를 들면, 사용자는 텍스트 상자(805)에 위치를 알 수 있게 해주는 주소, 빌딩 명칭, 또는 위도 및 경도와 같은, 텍스트를 입력할 수 있다. 사용자는 그후 검색 단추(815)를 선택함으로써 서버에 위치를 송신할 수 있다. 사용자는 또한 마우스 또는 키패드를 사용하여 마우스 커서(860)를 이동하여 맵 상의 특정 지리적 위치를 확인할 수 있다. 또한, 프로그램은, 사용자가 특정한 지리적 위치의 스트리트 레벨 뷰를 요청할 수 있도록 해주는 버튼(870) 또는 다른 특징부(feature)를 제공할 수 있다.
스트리트 레벨 이미지를 요청하면, 맵은 스트리트 시점 커서(treet viewpoint cursor)(890)와 함께 카메라 위치(position)의 위치(location) 및 방향을 나타낼 수 있다.
서버(110)는 요청된 위치에 기초하여 적절한 스트리트 레벨 이미지를 검색한다. 예를 들면, 스트리트 레벨 이미지가 이미지를 포착할 대의 카메라의 위도/경도 좌표와 연관되어 있는 경우, 서버는 요청된 위도/경도에 가장 가까운 이미지를 검색할 수 있다.
도 9에 나타낸 바와 같이, 스트리트 레벨 이미지(910)는 시점(viewpoint)의 위치 또는 방향을 변경시키기 위해 사용자가 선택 가능한 제어요소(control)와 함께 브라우저에서 나타날 수 있다. 제어요소는 이미지를 줌인 및 줌아웃하기 위한 제어요소(920), 및 북동쪽 보기에서 북서쪽 보기로 방향을 변경하는 것과 같은 뷰의 방향을 변경하기 위한 제어요소(930)를 포함할 수 있다. 스트리트 레벨 이미지가 전체 360°파노라마로 다운로드된 경우, 뷰의 방향 변경은 서버에서 더 많은 정보를 검색하지 않고 파노라마의 상이한 부분의 표시를 필요로 할 뿐이다.
사용자는 또한 시점의 위치를 변경할 수 있다. 예를 들면, 사용자는 제어요소(940)를 선택하여 현재 보이는 방향에서 전방 또는 후방으로 시점을 이동시킬 수 있다.
지켜보기 좋은 위치인 밴티지 포인트를 도로 위 또는 아래로 이동시키기 위해 선택될 수 있는 도로를 따라 배치된 화살표 형태의 제어요소와 같은, 다른 네비게이션 제어요소도 포함될 수 있다. 사용자는 또한 뷰의 줌, 방향 또는 위치를 변경하기 위해 키보드의 화살표 제어요소를 조작할 수도 있다. 사용자는 또한 이미지 내에 표시된 객체를 선택 및 가까이 이동하기 위해, 예를 들면 컴퓨터 마우스를 이동하여 클릭하거나 터치 감응식 스크린을 가볍게 두드림으로써, 이미지의 부분을 선택할 수 있다.
다운로드된 스트리트 레벨 이미지 데이터에 따라, 위치상의 변화는 클라이언트 컴퓨터가 서버로부터 더 많은 스트리트 레벨 이미지 데이터를 취득할 것을 필요로 할 수 있다. 예를 들면, 도 8 및 도 9를 참조하면, 스트리트 레벨 이미지(910)는 스트리트 시점 커서(840)로 표현된 위치 및 북동 방향과 일치할 수 있다. 사용자가 제어요소(940)를 선택하여 위치를 전방으로 이동시키면, 북동 방향으로 가장 가까운 스트리트 레벨 이미지가 위치(850)에 위치될 수 있다. 따라서, 위치 변경에 대한 사용자의 선택은 위치(850)와 관련된 스트리트 레벨 이미지를 다운로드할 것이다.
시스템 및 방법은 현재 검색된 스트리트 레벨 이미지를 사용하여 그 장면을 지나 다음 스트리트 레벨 이미지로 이동하는 느낌을 전달하는 애니메이션을 보여준다.
이 측면에서, 클라이언트 컴퓨터는 스트리트 레벨 이미지에 나타난 객체의 시각적 외양(visual appearance)과 함께 삼차원 공간 내의 스트리트 레벨 이미지의 객체의 위치에 관한 정보를 사용한다.
클라이언트 컴퓨터가 새로운 스트리트 레벨 이미지를 표시하기 전에, 클라이언트 컴퓨터의 프로세서는 표시할 일련의 중간 이미지를 결정한다. 이 중간 이미지는 현재 스트리트 레벨 이미지와 다음 스트리트 레벨 이미지 사이의 중간 시점을 반영한다.
예를 들면, 도 8에 반영된 바와 같이, 사용자가 위치(840)의 스트리트 레벨 이미지에서 위치(850)의 다른 스트리트 레벨 이미지로 이동하고 있다고 가정하자. 프로세서는 이미지를 보여주는 많은 중간 위치를 계산할 수 있다. 사용자에게 보이는 제1 중간 이미지는 위치(846)에서, 예컨대 위치(850)에서 다음 스트리트 레벨 이미지의 위치로 가는 부분의 밴티지 포인트로부터 생성될 수 있다. 다음 중간 이미지는 위치(850)에 훨씬 더 가까운 위치(847)에 대해 생성된다. 제3 및 제4 중간 이미지는 위치(848) 및 위치(849)에 기초하여 생성되는데, 위치(849)는 위치(850) 이전에 보이는 마지막 위치이다.
제1 중간 이미지가 표시되기 전에, 객체 위치 데이터는 현재 표시된 스트리트 레벨 이미지에 대해 검색된다. 이 객체 위치 데이터는 스트리트 레벨 이미지를 사용하여 검색되었을 수도 있다.
프로세서는 스트리트 레벨 이미지의 개별 부분을 분석하고, 그 부분들을 이미지에 표시된 객제의 지리적 위치 및 이미지 데이터 양쪽에 연관시킨다. 예를 들면, 도 10에 나타낸 바와 같이, 시스템 및 방법의 일 측면에서, 스트리트 레벨 이미지(굵은 선으로 표시됨)는 삼각형(얇은 선으로 표시됨)으로 효과적으로 분할된다. 시스템 및 방법의 일 측면은 중첩되지 않은 삼각형을 사용하지만, 중첩되거나 중첩되지 않는 다른 형상도 사용될 수 있음을 알 것이다.
도 11은 단일 구역에 어떻게 프로세스가 적용될 수 있는지를 나타낸다. 구역(1120)은 스트리트 레벨 이미지(1110) 상의 화소에 대해 삼각형 구역을 정한다. 이미지(1110) 내의 화소 위치에 있어, 이 구역의 꼭짓점은 (x1, y1), (x2, y2) 및 (x3, y3)로 참조 표시된다.
이미지는 지리적 객체를 나타내기 때문에, 화소는 이미지 내의 지리적 객체의 색상 및 휘도를 나타낸다. 다시 말해, (x1, y1)의 화소는 빌딩(320)의 한 부분의 색상 및 휘도를 규정하고, (x2, y2)의 화소는 빌딩(320)의 다른 부분의 색상 및 휘도를 규정하고, (x3, y3)의 화소는 빌딩(322)의 부분의 색상 및 휘도를 규정한다. 구역(1120) 내의 다른 화소들은 유사하게 구역 내의 지리적 객체의 외양을 규정한다.
구역(1120) 내의 각 화소는 지리적 객체와 연관되어 있기 때문에, 화소들은 또한 삼차원 공간 내의 지리적 위치와 연관되어 있다.
도 12는 구역 내의 화소와 객체의 지리적 위치에 대한 그들의 관계 사이의 관계를 도해하여 나타낸다. 이미지(1110) 내의 (x1, y1)의 화소(1251)는 빌딩(320)의 일부분을, 즉 빙딩 표면의 부분을 지리적 위치(Lat1, Lon1, Alt1)로 표시한다. 유사하게 이미지(1110) 내의 (x2, y2) 및 (x3, y3)은 각각 빌딩(320)과 빌딩(322)의 표면 상의 지리적 위치 (Lat2, Lon2, Alt2) 및 (Lat3, Lon3, Alt3)에 일치한다. 따라서, 구역(1120) 내의 각 화소는 이미지 화소(도 11) 및 지리적 위치(도 12) 모두와 연관된다.
도 12는 또한 스트리트 레벨 이미지(1110)을 촬영하였을 때의 카메라의 위치(1210) 및 방향(1215), 및 중간 위치(도 8에서 참조한 중간 위치(846)와 일치함)의 지리적 위치(1230) 및 방향(1235)을 도해하여 나타낸다.
꼭짓점의 지리적 위치는 객체 위치 데이터로부터 결정될 수 있다. 예를 들면, 객체 위치 데이터가 서버에 의해 사전에 계산되고, 도 5와 관련하여 전술한 바와 같은 포맷으로 송신되었다면, 그 꼭짓점과 연관된 지리적 위치는 오직 그 꼭짓점의 화소 위치에만 기초하여 신속하게 액세스될 수 있다.
이 프로세스는 도 10에 나타낸 각 삼각형 구역과 같은, 이미지의 구역 각각에 대해 반복된다.
클라이언트 컴퓨터는 이 구역들을 사용하여 제1 중간 위치로부터 새로운 스트리트 레벨 이미지를 렌더링한다. 예를 들면, 도 12에 나타낸 바와 같이, 구역(1120)은 중간 위치(1230)의 밴티지 포인트에서 화살표(1235) 방향으로 표시될 수 있다. 이 구역의 3D 위치(그 위도/경도 및 고도 등)는 물론 그 이미지(구역 내에 포함된 화소 등)는 알려져 있기 때문에, 구역은 해당 기술분야의 당업자에게 알려진 이미지 처리 기술을 사용하여 임의의 3D 카메라 위치 및 각도에 기초하여 2D 이미지로 렌더링될 수 있다.
예를 들면, 구역을 렌더링하는 데이터는 다각형으로 구성될 수 있으며, 각 다각형은 스트리트 레벨 이미지의 각자의 부분으로 텍스처링되고, 다각형의 꼭짓점 좌표는 꼭짓점의 지리적 위치와 일치한다. 3D 좌표의 스크린에 대한 2D 투영은 표준 카메라 투영을 사용하여 계산될 수 있다. 또한, 확인 변환(affirm transformation)이 3D 공간에서의 시점 변환(perspective transformation)을 근사하기 위한 텍스터 매핑을 위해 사용될 수 있다. 텍스처링된 다각형은 제1 중간 위치와 일치하는 좌표를 가지는 카메라 위치로부터 다각형을 표시하기 위한 명령어와 함께 3D 랜더링을 지원하는 브라우저 플러그인(browser plug-in)에 제공될 수 있다.
그 후에 그 결과로 생긴 중간 이미지가 클라이언트 컴퓨터 상에 표시된다. 예를 들면, 스트리트 레벨 이미지는 -- 이제 중간 위치의 밴티지 포인트에서 보임 - 클라이언트 컴퓨터 상의 웹 브라우저에 표시될 수 있다.
도 13은 중간 위치의 밴티지 포인트로부터 구역을 다시 그린 효과를 나타낸다. 스트리트 레벨 이미지(1110)는 서버로부터 검색되어,사용자에게 표시되고, 중간 이미지의 계산에 사용되었던 원래의 이미지를 나타낸다. 클라이언트 컴퓨터의 프로세서가 삼각형 구역(1120)을 규정하였고, 구역(1120)에 포함된 시각적 정보에 기초하여 그 구역의 이미지 정보를 결정하였으며, 세 개의 꼭짓점(1301, 1302, 1303)에서의 객체의 지리적 위치에 기초하여 3D 공간 내의 구역의 위치를 결정하였다. 스트리트 레벨 이미지(1130)는 구역(1120)과 같은, 구역들을 처리하여 생성된 중간 이미지이다. 이와 관련하여, 삼각형 구역(1320)은 삼각형 구역(1120)과 비교적 동일한 이미지 데이터를 포함한다. 그러나, 새로운 시점(예컨대, 도 8에 도시된 중간 위치(846))은 효과적으로 늘어나서 새로운 이미지(1310)(이전 이미지(1110)에 대한) 내의 다른 화소 위치에 대한 구역으로 이동하였다.
도 13에 나타낸 바와 같이, 중간 이미지는 원래의 이미지에 있었던 빌딩(321)과 같은, 하나 이상의 지리적 객체를 표시한다. 그러나, 지리적 객체는 이제 상이한 밴티지 포인트로부터 표시된다.
도 14도 또한 구역이 새로운 밴티지 포인트에 기초한 이미지 내에 어떻게 효과적으로 늘어나서 이동될 수 있는지를 나타낸다. 삼각형 구역은 가게를 나타내는 화소를 포함한다. 이 구역은 스트리트 레벨 이미지의 경계에 대한 화소 위치(1410)에 있었다. 삼각형 구역이 새로운 시점에서 그려질 때, 이 구역은 신장되어 원래의 화소 위치(1410)와는 다른 새로운 화소 위치(1420)로 변환될 수 있다.
제1 중간 이미지를 표시한 후, 제2 중간 위치와 연관된 제2 중간 이미지도 표시할 수 있다. 본 발명의 일 측면에서, 동일한 구역을 사용하여 제2 및 그 다음의 중간 이미지를 렌더링할 수 있다. 예를 들면, 구역을 3D 공간 내에 위치된 텍스처링된 다각형으로 이전에 구성함으로써, 클라이언트 컴퓨터는 간단하게 제2 중간 위치와 일치하는 밴티지 포인트로부터 다각형을 다시 그릴 수 있다.
중간 위치에 대해 계산된 각각의 이미지 각각 또한 차례로 표시될 수 있다. 따라서, 도 8에 나타낸 바와 같이, 위치(846 - 849)에 대한 이미지를 차례로 생성하고 표시함으로써, 위치(840)에서 포착된 스트리트 레벨 이미지에 나타난 객체 속을 이동하는 외양을 전달하는 애니메이션을 생성한다.
많은 중간 이미지를 생성할 수 있으며, 그러한 이미지를 생성되는 만큼 빠르게 또는 원하는 만큼 느리게 차례로 표시할 수 있다. 일반적으로, 애니메이션은 적은 이미지를 긴 휴지시간을 두고 보여주기보다는 많은 이미지를 신속하게 연속하여 보여줄 때 더 매끄럽게 보인다.
중간 이미지들은, 보통 표시될 다음 스트리트 레벨 이미지의 지리적 위치에 가장 가까운 중간 위치인 마지막 중간 위치에 도달될 때까지 표시된다. 마지막 중간 위치가 표시된 후, 서버의 검색된 스트리트 레벨 이미지가 표시된다.
본 발명의 일 측면에서, 서버가 다음 스트리트 레벨 이미지를 검색하여 그것을 클라이언트 컴퓨터에 송신하는 동안에, 클라이언트 컴퓨터는 중간 이미지를 생성하여 표시한다. 이것은 이미지가 로딩되는 동안에 사용자에게 뭔가 볼거리를 제공하는 추가적인 이점이 있다. 또, 중간 이미지의 개수, 및 개별 중간 이미지들을 표시하는 사이의 지속기간은 다음 스트리트 레벨 이미지의 로딩 및 표시를 위해 추정된 시간과 일치하도록 계산될 수 있다.
시스템 및 방법의 일 측면에서, 도 15에 나타낸 바와 같이, 사용자는 마우스 커서(1520)를 이동시켜, 웹 브라우저에 의해 표시된 스트리트 레벨 이미지(1530) 내의 빌딩(1530)과 같은, 떨어져 있는 지리적 객체를 클릭함으로써 시점의 위치 및 방향을 변경할 수 있다. 미국 특허출원 제12/038,325호(인용에 의해 본 명세서에 포함됨)에 개시된 바와 같이, 빌딩(1530)에 가장 가깝고 방향이 빌딩(1530) 쪽으로 맞춰진 스트리트 레벨 이미지는 맵 데이터베이스에서 검색될 수 있다.
도 16은 중간 이미지 각각에 대해 시점 위치 및 시점 방향 모두를 변경하는 측면을 나타낸다. 아이콘(1610)은 제1 스트리트 레벨 이미지(1540)를 표시하기 위해 사용된 위치 및 방향(예컨대 북동쪽)을 식별한다. 위치/방향(1615)은 사용자가 선택한 빌딩(1530)에 기초하여 서버에서 검색한 스트리트 레벨 이미지의 위치 및 방향(예컨대, 남동쪽)을 나타낸다. 이 시작 및 종료의 위치 및 방향에 기초하여, 프로세서는 각각의 다음 중간 이미지를 위치 및 방향에 있어 위치/방향(1615)에 대해 더 가까이 점차 이동시킬 수 있도록 중간 위치/방향(1612 - 1614)을 계산할 수 있다. 이것은 사용자에게 특히 유리한데, 그 이유는 스트리트 레벨 이미지 내의 떨어져 있는 빌딩의 클릭, 및 그 응답으로 새로운 스트리트 레벨 이미지의 표시하는 것은, 카메라 위치 및/또는 각도 변화가 급격할 경우, 사용자의 방향 감각을 혼란시킬 수 있기 때문이다. 도 16에 나타낸 측면은, 사용자가 위치 및 카메라 각도의 변화를 따라갈 수 있도록 해주므로 방향 감각의 혼란을 완하시킨다.
일 측면에서, 전술한 바에 따른 시스템 및 방법은, 비교적 먼 거리에 떨어진 스트리트 레벨 이미지로부터 전환하고 있을 때 사용된다. 그러나, 이웃하는 스트리트 레벨 이미지와 같이 짧은 거리 사이를 전환할 때는, 배경기술에서 언급한 바와 같이 이미지를 회전(pan) 및 줌하는 시스템 및 방법이 충분할 수 있다.
전술한 대안적인 실시예의 대부분은 상호 배타적인 것이 아니라, 특별한 이점을 얻기 위해 다양한 조합으로 구현될 수 있다. 전술한 특징들에 대한 이러한 그리고 다른 변형 및 조합은 청구범위에 의해 정해진 본 발명을 벗어나지 않으면 사용될 수 있으며, 실시예에 대한 이상의 설명은 청구범위에 의해 정해지는 본 발명에 대한 한정이 아니라 예시로서 취급되어야 한다. 본 발명의 예의 단서("와 같은", "포함하는"으로 표현된 절도 포함함)는 본 발명을 그 특정한 예로 한정하는 것으로 해석되어서는 안 되는 것이며; 오히려 예는 많은 가능한 실시예 중 하나를 나타내고자 한 것임을 이해할 것이다.
산업상 이용 가능성
본 발명은 이미지 시스템 및 디바이스는 물론 3D 이미지를 디스플레이 사에 표시하는 시스템 및 장치를 비롯하여, 산업상 이용 가능성이 광범위하지만, 이에 한정되는 것은 아니다.

Claims (22)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 시스템으로서:
    사용자 입력 디바이스와;
    명령어들(instructions), 카메라에 의해 포착된(captured) 지리적 객체들의 스트리트 레벨 이미지(street level image)를 나타내는 이차원 이미지 데이터 및 상기 카메라를 향해 있는(facing) 상기 지리적 객체들의 표면들의 삼차원 위치를 나타내는 위치 데이터를 저장하는 메모리와;
    상기 명령어들에 따라, 상기 사용자 입력 디바이스와 통신하여 상기 사용자 입력 디바이스로부터 수신된 정보를 처리하는 프로세서와; 그리고
    상기 프로세서와 통신하고 상기 프로세서로부터 수신된 정보를 표시하는 디스플레이를 포함하고,
    상기 명령어들은:
    제1의 지리적 위치(first geographic location)로부터 촬영된(taken) 제1의 복수 개의 픽셀들로 구성된 지리적 객체들의 제1의 스트리트 레벨 이미지를 수신하는 명령어와, 상기 제1의 복수 개의 픽셀들 중 픽셀 각각은 픽셀 위치를 갖고 상기 지리적 객체들 각각의 표면의 부분의 시각적 외양(visual appearance)을 나타내고;
    상기 제1의 지리적 위치에 상대적인(relative), 상기 제1의 복수 개의 픽셀들에 의해 시각적으로 표현되는 상기 지리적 객체들의 표면들의 부분들의 지리적 위치를 나타내는 객체 위치 데이터(object position data)를 수신하는 명령어와;
    제2의 스트리트 레벨 이미지를 요청하는 명령어와, 상기 제2의 스트리트 레벨 이미지는 제2의 지리적 위치(second geographic location)와 관련되고;
    복수 개의 다각형들(polygons)을 결정하는 명령어와, 상기 다각형의 꼭짓점(vertex) 각각은 상기 제1의 복수 개의 픽셀들의 픽셀 위치들에 기초하여 결정되고, 다각형 각각은 상기 다각형의 픽셀 위치들에 의해 정의되는 상기 제1의 스트리트 레벨 이미지의 영역의 시각적 외양과 관련되고;
    상기 제1의 지리적 위치 및 상기 제2의 지리적 위치에 기초하여 제1의 중간 지리적 위치(first intermediate geographic location)를 결정하는 명령어와;
    상기 제1의 중간 지리적 위치의 시점(perspective)으로부터 상기 지리적 객체들 중 적어도 하나의 지리적 객체를 나타내는 제1의 중간 이미지(first intermediate image)를 결정하는 명령어와, 상기 제1의 중간 이미지는 상기 제1의 중간 지리적 위치에 상대적인, 다각형 각각의 꼭짓점들의 픽셀 위치들과 관련된 지리적 위치에 기초하여 상기 제1의 중간 이미지 내에 위치된 복수 개의 다각형들을 포함하며; 그리고
    상기 제1의 중간 이미지를 디스플레이 상에 디스플레이하는 명령어를 포함하는 것을 특징으로 하는 시스템.
  14. 제13항에 있어서,
    상기 사용자 입력 디바이스는 마우스인 것을 특징으로 하는 시스템.
  15. 제14항에 있어서,
    네트워크와;
    상기 스트리트 레벨 이미지 및 상기 위치 데이터를 저장하는 서버를 더 포함하고;
    상기 메모리는 상기 서버로부터 상기 네트워크를 통해 상기 스트리트 레벨 이미지 및 상기 위치 데이터를 수신하는 것을 특징으로 하는 시스템.
  16. 삭제
  17. 스트리트 레벨 이미지들 간의 전환을 제공하는 방법으로서:
    프로세서에 의하여, 제1의 지리적 위치로부터 촬영된, 제1의 복수 개의 픽셀들로 구성된 지리적 객체들의 제1의 스트리트 레벨 이미지를 수신하는 단계와, 상기 제1의 복수 개의 픽셀들 중 픽셀 각각은 픽셀 위치를 갖고 상기 지리적 객체들 각각의 표면의 부분의 시각적 외양을 나타내고;
    상기 프로세서에 의하여, 상기 제1의 지리적 위치에 상대적인, 상기 제1의 복수 개의 픽셀들에 의해 시각적으로 표현되는 상기 지리적 객체들의 표면들의 부분들의 지리적 위치를 나타내는 객체 위치 데이터를 수신하는 단계와;
    상기 프로세서에 의하여, 제2의 지리적 위치와 관련되어 있는 제2의 스트리트 레벨 이미지를 요청하는 단계와;
    상기 프로세서를 이용하여, 복수 개의 다각형들을 결정하는 단계와, 상기 다각형의 꼭짓점 각각은 상기 제1의 복수 개의 픽셀들의 픽셀 위치들에 기초하여 결정되고, 상기 다각형 각각은 상기 다각형의 픽셀 위치들에 의해 정의되는 상기 제1의 스트리트 레벨 이미지의 영역의 시각적 외양과 관련되고;
    상기 프로세서에 의하여, 상기 제1의 지리적 위치 및 상기 제2의 지리적 위치에 기초하여 제1의 중간 지리적 위치를 결정하는 단계와;
    상기 프로세서를 이용하여, 상기 제1의 중간 지리적 위치의 시점으로부터 상기 지리적 객체들 중 적어도 하나의 지리적 객체를 나타내는 제1의 중간 이미지를 결정하는 단계와, 상기 제1의 중간 이미지는 상기 제1의 중간 지리적 위치에 상대적인 다각형 각각의 꼭짓점들의 상기 픽셀 위치들과 관련된 지리적 위치들에 기초하여 상기 제1의 중간 이미지 내에 위치된 복수 개의 다각형들을 포함하며; 그리고
    상기 제1의 중간 이미지를 디스플레이 상에 표시하는 단계를 포함하는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
  18. 제17항에 있어서,
    상기 프로세서에 의하여, 상기 제1의 중간 지리적 위치보다는 상기 제2의 지리적 위치에 가까운 제2의 중간 지리적 위치를 결정하는 단계와;
    상기 프로세서를 이용하여, 상기 제2의 중간 지리적 위치의 시점으로부터 상기 지리적 객체들 중 적어도 하나의 지리적 객체를 나타내는 제2의 중간 이미지를 결정하는 단계와, 상기 제2의 중간 이미지는 상기 제2의 중간 지리적 위치에 상대적인 다각형 각각의 꼭짓점들의 지리적 위치에 기초하여 상기 제2의 중간 이미지 내에 위치된 복수 개의 다각형들을 포함하며; 그리고
    상기 제1의 중간 이미지를 표시한 후, 상기 제2의 중간 이미지를 상기 디스플레이 상에 표시하는 단계를 더 포함하는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
  19. 제18항에 있어서,
    상기 프로세서에 의하여, 추가적인 지리적 위치들의 시퀀스(sequence)를 결정하는 단계와, 상기 추가적인 지리적 위치 각각은 상기 시퀀스에서의 이전의 추가적인 지리적 위치보다는 제2의 지리적 위치에 가깝고;
    상기 프로세서를 이용하여, 추가적인 지리적 위치 각각의 시점으로부터 상기 지리적 객체들 중 적어도 하나의 지리적 객체를 나타내는 추가적인 중간 이미지들의 시퀀스를 결정하는 단계와, 상기 추가적인 중간 이미지들은 상기 추가적인 중간 이미지와 관련된 추가적인 중간 지리적 위치에 상대적인, 다각형 각각의 꼭짓점들의 지리적 위치에 기초하여 추가적인 중간 이미지 각각 내에 위치된 복수 개의 다각형들을 포함하며; 그리고
    추가적인 중간 이미지 각각을 상기 디스플레이 상에 시퀀스로 표시하는 단계를 더 포함하는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
  20. 제19항에 있어서,
    상기 이미지들의 시퀀스는 상기 제1의 스트리트 레벨 이미지에 표현된 지리적 객체의 장면 사이를 이동하는 애니메이션으로 나타나는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
  21. 제17항에 있어서,
    상기 다각형들은 삼각형을 포함하는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
  22. 제17항에 있어서,
    상기 다각형들은 상기 제1의 스트리트 레벨 이미지 내에 위치될 때 중첩되지 않는 것을 특징으로 하는 스트리트 레벨 이미지들 간의 전환을 제공하는 방법.
KR1020117021785A 2009-02-24 2010-02-24 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법 KR101667345B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/391,516 2009-02-24
US12/391,516 US9454847B2 (en) 2009-02-24 2009-02-24 System and method of indicating transition between street level images
PCT/US2010/025161 WO2010099151A1 (en) 2009-02-24 2010-02-24 System and method of indicating transition between street level images

Publications (2)

Publication Number Publication Date
KR20110118727A KR20110118727A (ko) 2011-10-31
KR101667345B1 true KR101667345B1 (ko) 2016-10-18

Family

ID=42631002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117021785A KR101667345B1 (ko) 2009-02-24 2010-02-24 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법

Country Status (9)

Country Link
US (2) US9454847B2 (ko)
EP (2) EP3432273B1 (ko)
JP (1) JP2012518849A (ko)
KR (1) KR101667345B1 (ko)
CN (1) CN102414697B (ko)
AU (1) AU2010218137B2 (ko)
CA (1) CA2753419C (ko)
DE (1) DE202010018459U1 (ko)
WO (1) WO2010099151A1 (ko)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100304720A1 (en) * 2009-05-27 2010-12-02 Nokia Corporation Method and apparatus for guiding media capture
US9479768B2 (en) * 2009-06-09 2016-10-25 Bartholomew Garibaldi Yukich Systems and methods for creating three-dimensional image media
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US8543917B2 (en) * 2009-12-11 2013-09-24 Nokia Corporation Method and apparatus for presenting a first-person world view of content
US8374431B2 (en) * 2010-07-27 2013-02-12 Aerotec, Llc Method and apparatus for direct detection, location, analysis, identification, and reporting of vegetation clearance violations
US8723886B2 (en) * 2010-09-08 2014-05-13 Navteq B.V. Generating a multi-layered geographic image and the use thereof
US9594960B2 (en) * 2010-09-14 2017-03-14 Microsoft Technology Licensing, Llc Visualizing video within existing still images
US8780174B1 (en) 2010-10-12 2014-07-15 The Boeing Company Three-dimensional vision system for displaying images taken from a moving vehicle
US9342998B2 (en) 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
CA2818695C (en) * 2010-11-24 2018-06-26 Google, Inc. Guided navigation through geo-located panoramas
US9489845B2 (en) 2011-04-08 2016-11-08 Fleetmatics Development Limited System and method for providing vehicle and fleet profiles and presentations of trends
US8818706B1 (en) 2011-05-17 2014-08-26 Google Inc. Indoor localization and mapping
US8164599B1 (en) 2011-06-01 2012-04-24 Google Inc. Systems and methods for collecting and providing map images
US20120320057A1 (en) * 2011-06-15 2012-12-20 Harris Corporation Communications system including data server storing 3d geospatial model and mobile electronic device to display 2d images based upon the 3d geospatial model
US8811720B2 (en) * 2011-07-12 2014-08-19 Raytheon Company 3D visualization of light detection and ranging data
US9569066B2 (en) 2011-10-03 2017-02-14 Google Inc. Interface for navigating imagery
WO2013064426A1 (en) 2011-10-31 2013-05-10 Fleetmatics Irl Limited A system and method for tracking and alerting for vehicle speeds
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9361283B2 (en) 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US8767040B2 (en) 2012-01-11 2014-07-01 Google Inc. Method and system for displaying panoramic imagery
US9170113B2 (en) 2012-02-24 2015-10-27 Google Inc. System and method for mapping an indoor environment
US9760092B2 (en) 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
WO2013159974A1 (en) 2012-04-27 2013-10-31 Fleetmatics Irl Limited System and method for tracking driver hours and timekeeping
US9256961B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9256983B2 (en) * 2012-06-28 2016-02-09 Here Global B.V. On demand image overlay
US9163938B2 (en) 2012-07-20 2015-10-20 Google Inc. Systems and methods for image acquisition
KR101845594B1 (ko) * 2012-09-20 2018-04-04 웨이모 엘엘씨 도로 날씨 상황들의 검출
US9117267B2 (en) * 2012-10-18 2015-08-25 Google Inc. Systems and methods for marking images for three-dimensional image generation
US9171527B2 (en) 2012-11-20 2015-10-27 Google Inc. System and method for displaying geographic imagery
US9245372B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Map systems and methods for displaying panoramic images
EP2962290B1 (en) * 2013-02-21 2019-07-17 HERE Global B.V. Relaying 3d information by depth simulation using 2d pixel displacement
US10267643B2 (en) 2013-09-16 2019-04-23 Verizon Connect Ireland Limited System and method for automated correction of geofences
US9881272B2 (en) 2013-09-16 2018-01-30 Fleetmatics Ireland Limited Vehicle independent employee/driver tracking and reporting
US9313616B2 (en) 2013-09-16 2016-04-12 Fleetmatics Development Limited System and method for automated identification of location types for geofences
US9754428B2 (en) 2013-09-16 2017-09-05 Fleetmatics Ireland Limited Interactive timeline interface and data visualization
KR20150034997A (ko) * 2013-09-27 2015-04-06 네이버 주식회사 경로 안내에 따른 목적지를 명확히 인지시켜 주기 위한 방법 및 그 시스템
CN104683681A (zh) * 2013-11-28 2015-06-03 英业达科技有限公司 远端图像拍摄***及其方法
US20150155009A1 (en) * 2013-12-03 2015-06-04 Nokia Corporation Method and apparatus for media capture device position estimate- assisted splicing of media
US9405770B2 (en) * 2014-03-10 2016-08-02 Google Inc. Three dimensional navigation among photos
EP3132283A4 (en) * 2014-04-14 2017-11-15 Vricon Systems AB Method and system for rendering a synthetic aperture radar image
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9002647B1 (en) * 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9772281B2 (en) 2014-10-25 2017-09-26 Isle Management Co. Air quality analyzing apparatus
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data
US10083532B2 (en) 2015-04-13 2018-09-25 International Business Machines Corporation Sychronized display of street view map and video stream
EP3113470B1 (en) * 2015-07-02 2020-12-16 Nokia Technologies Oy Geographical location visual information overlay
KR102576654B1 (ko) * 2016-10-18 2023-09-11 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10369472B1 (en) 2017-03-30 2019-08-06 Electronic Arts Inc. Virtual environment mapping system
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
KR102019371B1 (ko) * 2017-10-31 2019-09-06 한국철도기술연구원 비상대피 유도방향표시등 통합설계 방법
CN107895031B (zh) * 2017-11-22 2021-08-24 重庆市勘测院 建筑信息模型在三维数字城市场景中自适应动态调度方法
CN108536732B (zh) * 2018-02-28 2021-08-27 中国地质大学（武汉） 支持MapGIS67地图工程的瓦片地图在线自动切片服务方法与***
US11232532B2 (en) * 2018-05-30 2022-01-25 Sony Interactive Entertainment LLC Multi-server cloud virtual reality (VR) streaming
US10964112B2 (en) * 2018-10-12 2021-03-30 Mapbox, Inc. Candidate geometry displays for augmented reality
US11461976B2 (en) 2018-10-17 2022-10-04 Mapbox, Inc. Visualization transitions for augmented reality
CN109920056B (zh) * 2019-03-18 2023-08-01 阿波罗智联(北京)科技有限公司 建筑物渲染方法、装置、设备和介质
US11620800B2 (en) 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US10818070B2 (en) 2019-03-27 2020-10-27 Electronic Arts Inc. Artificial intelligence based virtual object aging
WO2020243337A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Virtual parallax to create three-dimensional appearance
US11887253B2 (en) * 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
CN113808240A (zh) * 2020-06-11 2021-12-17 奇安信科技集团股份有限公司 动态截图方法、装置、电子设备及存储介质
CN111949173B (zh) * 2020-07-31 2022-02-15 广州启量信息科技有限公司 一种全景vr画面切换方法、装置、终端设备及存储介质
US11853070B2 (en) * 2020-09-04 2023-12-26 Waymo Llc Updating road graphs for autonomous driving
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005994A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
JP2006113857A (ja) * 2004-10-15 2006-04-27 Katsushi Ikeuchi 模擬視界発生装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US134003A (en) * 1872-12-17 David eenshaw
US3832508A (en) 1973-03-29 1974-08-27 Mc Gill Mfg Co Inc Micro-lever switch operator
US5432895A (en) 1992-10-01 1995-07-11 University Corporation For Atmospheric Research Virtual reality imaging system
US5490239A (en) * 1992-10-01 1996-02-06 University Corporation For Atmospheric Research Virtual reality imaging system
US5460239A (en) * 1994-03-02 1995-10-24 Jensen; Maurice W. Air compressor based vehicle drive system
JP2000121360A (ja) 1997-12-05 2000-04-28 Wall:Kk ３次元都市地図デ―タベ―スの作成方法及び３次元都市地図デ―タベ―ス用測定装置
US6504535B1 (en) * 1998-06-30 2003-01-07 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
US6628283B1 (en) * 2000-04-12 2003-09-30 Codehorse, Inc. Dynamic montage viewer
US7139794B2 (en) * 2000-12-27 2006-11-21 3-D-V-U Israel (2000) Ltd. System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels
US6452544B1 (en) * 2001-05-24 2002-09-17 Nokia Corporation Portable map display system for presenting a 3D map image and method thereof
JP3792541B2 (ja) * 2001-06-07 2006-07-05 富士通株式会社 ３次元モデル表示プログラムおよび３次元モデル表示装置
US6990681B2 (en) * 2001-08-09 2006-01-24 Sony Corporation Enhancing broadcast of an event with synthetic scene using a depth map
JP4807693B2 (ja) * 2001-09-26 2011-11-02 パイオニア株式会社 画像作成装置及びその方法、電子機器並びにコンピュータプログラム
US7389181B2 (en) * 2004-08-31 2008-06-17 Visre, Inc. Apparatus and method for producing video drive-by data corresponding to a geographic location
US7411594B2 (en) * 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
GB2389289B (en) * 2002-04-30 2005-09-14 Canon Kk Method and apparatus for generating models of individuals
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing
US20050063563A1 (en) 2003-09-23 2005-03-24 Soliman Samir S. System and method for geolocation using imaging techniques
US7277572B2 (en) * 2003-10-10 2007-10-02 Macpearl Design Llc Three-dimensional interior design system
CN1938737A (zh) * 2004-03-29 2007-03-28 日本先锋公司 地图信息显示控制设备、***、方法、程序及记录有该程序的记录介质
US20080189031A1 (en) * 2007-02-06 2008-08-07 Meadow William D Methods and apparatus for presenting a continuum of image data
JP4487188B2 (ja) * 2004-10-25 2010-06-23 ソニー株式会社 情報処理装置および方法、プログラム、並びにナビゲーション装置
US20060132482A1 (en) * 2004-11-12 2006-06-22 Oh Byong M Method for inter-scene transitions
WO2006092853A1 (ja) * 2005-03-02 2006-09-08 Navitime Japan Co., Ltd. 地図表示装置および地図表示方法
US7613566B1 (en) * 2005-09-13 2009-11-03 Garmin Ltd. Navigation device with improved zoom functions
FI20051119L (fi) * 2005-11-04 2007-05-05 Igglo Oy Menetelmä ja järjestelmä kuvallisen informaation tarjoamiseksi tietoverkon avulla kiinteistönvälitystoiminnassa
US7643673B2 (en) * 2006-06-12 2010-01-05 Google Inc. Markup language for interactive geographic information system
JP5232380B2 (ja) 2006-11-17 2013-07-10 株式会社日立製作所 地図表示装置
US8016653B2 (en) * 2007-02-01 2011-09-13 Sportvision, Inc. Three dimensional virtual rendering of a live event
EP2518686B1 (en) 2007-05-25 2018-08-08 Google LLC Rendering, viewing and annotating panoramic images, and applications thereof
US8504945B2 (en) * 2008-02-01 2013-08-06 Gabriel Jakobson Method and system for associating content with map zoom function
US20090202102A1 (en) * 2008-02-08 2009-08-13 Hermelo Miranda Method and system for acquisition and display of images
US8525825B2 (en) 2008-02-27 2013-09-03 Google Inc. Using image content to facilitate navigation in panoramic image data
WO2010052558A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for the precise integration of virtual objects to interactive panoramic walk-through applications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005994A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
JP2006113857A (ja) * 2004-10-15 2006-04-27 Katsushi Ikeuchi 模擬視界発生装置

Also Published As

Publication number Publication date
US20160350964A1 (en) 2016-12-01
AU2010218137B2 (en) 2015-02-12
US20100215250A1 (en) 2010-08-26
JP2012518849A (ja) 2012-08-16
CA2753419A1 (en) 2010-09-02
KR20110118727A (ko) 2011-10-31
CA2753419C (en) 2016-12-13
WO2010099151A1 (en) 2010-09-02
EP2401703B1 (en) 2018-10-03
EP2401703A1 (en) 2012-01-04
CN102414697B (zh) 2015-10-07
DE202010018459U1 (de) 2016-12-01
AU2010218137A1 (en) 2011-09-22
EP2401703A4 (en) 2017-04-26
CN102414697A (zh) 2012-04-11
EP3432273A1 (en) 2019-01-23
US9454847B2 (en) 2016-09-27
EP3432273B1 (en) 2019-08-14

Similar Documents

Publication Publication Date Title
KR101667345B1 (ko) 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
US11650708B2 (en) System and method of indicating the distance or the surface of an image of a geographical object
US9858717B2 (en) System and method for producing multi-angle views of an object-of-interest from images in an image dataset
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US9934222B2 (en) Providing a thumbnail image that follows a main image
US8831380B2 (en) Viewing media in the context of street-level images
US9361283B2 (en) Method and system for projecting text onto surfaces in geographic imagery
US9153011B2 (en) Movement based level of detail adjustments
US8868338B1 (en) System and method for displaying transitions between map views
EP3170151B1 (en) Blending between street view and earth view
US20130321461A1 (en) Method and System for Navigation to Interior View Imagery from Street Level Imagery
US20130314398A1 (en) Augmented reality using state plane coordinates
EP3274873A1 (en) Systems and methods for selective incorporation of imagery in a low-bandwidth digital mapping application
Baldauf et al. A device-aware spatial 3D visualization platform for mobile urban exploration
Haala et al. Generation and application of virtual landscape models for location-based services

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190927

Year of fee payment: 4