CN108450035B - 导航穿过多维图像空间 - Google Patents

导航穿过多维图像空间 Download PDF

Info

Publication number
CN108450035B
CN108450035B CN201680053204.9A CN201680053204A CN108450035B CN 108450035 B CN108450035 B CN 108450035B CN 201680053204 A CN201680053204 A CN 201680053204A CN 108450035 B CN108450035 B CN 108450035B
Authority
CN
China
Prior art keywords
image
sweep
display
overlay
dimensional space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053204.9A
Other languages
English (en)
Other versions
CN108450035A (zh
Inventor
斯科特·爱德华·迪拉德
温贝托·卡斯塔尼达
梁淑君
迈克尔·卡梅伦·琼斯
克里斯多佛·格雷
埃文·哈德斯蒂·帕克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108450035A publication Critical patent/CN108450035A/zh
Application granted granted Critical
Publication of CN108450035B publication Critical patent/CN108450035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Navigation (AREA)

Abstract

本公开的各方面一般地涉及给用户提供图像导航体验。例如，多维空间的第一图像(332)被提供有覆盖图线(502)，所述覆盖图线(502)指示所述空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像。指示跨越所述显示器的部分的扫掠的用户输入被接收。当至少部分地在限定所述用户可与所述空间交互的围绕所述覆盖图线的区域的交互区(602)内发生了扫掠时，所述扫掠指示要显示与所述第一图像不同的图像的请求。所述第二图像基于所述扫掠以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图被选择和提供以用于显示。

Description

导航穿过多维图像空间
相关申请的交叉引用
本申请是2015年12月17日提交的美国专利申请No.14/972,843的继续部分，其公开内容在此通过引用并入在本文中。
背景技术
各种***允许用户例如在时间或空间中按顺序查看图像。在一些示例中，这些***可在遥远或感兴趣位置中提供导航体验。一些***允许用户通过点击全景图的显示部分的边缘并使该全景图看起来在所点击的边缘的方向上“移动”而感觉好像他们在虚拟世界内旋转。
发明内容
本公开的一个方面提供一种导航多维空间的计算机实现的方法。所述方法包括：由一个或多个处理器提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越所述第一图像的部分延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；由所述一个或多个处理器接收指示跨越所述显示器的部分的扫掠的用户输入，所述扫掠由所述显示器的起始像素和结束像素来限定；由所述一个或多个计算设备基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；当至少部分地在所述交互区内发生了所述扫掠时，由所述一个或多个处理器确定所述扫掠指示要显示与所述第一图像不同的图像的请求；当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，由所述一个或多个计算设备基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；以及由所述一个或多个计算设备提供所述第二图像以用于显示在所述显示器上以便在所述多维空间中提供移动的感觉。
在一个示例中，所述方法也包括：提供用于在所述第一图像与所述第二图像之间显示的过渡图像，所述过渡图像作为与所述第一图像和所述第二图像相比具有更少细节的缩略图图像被提供。在另一示例中，所述方法也包括：提供指令来在对所述覆盖图线没有任何用户动作的情况下已经过阈值时间段之后使所述覆盖图线渐隐。在此示例中，在使所述覆盖图线渐隐之后，所述方法包括：在所述显示器上接收第二用户输入；以及提供指令来响应于所述第二用户输入而重新显示所述覆盖图线。在另一示例中，所述方法也包括：基于所述扫掠的所述起始像素和所述扫掠的所述结束像素来确定所述扫掠的方向和幅度，并且选择所述第二图像进一步基于所述方向和幅度。
在另一示例中，所述方法也包括：给所述第二图像提供第二覆盖图线，所述第二覆盖图线跨越所述第二图像的部分延伸并且指示所述多维空间延伸到所述第二图像中的方向，使得第三图像在所述连接图中沿着所述第二覆盖图线的方向连接到所述第二图像。在此示例中，所述方法包括：接收指示第二扫掠的第二用户输入；确定所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内；以及当所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内时，跨越所述第二图像的多维空间进行平移。可替选地，所述方法也包括：接收指示第二扫掠的第二用户输入；确定所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内；以及当所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内时，改变所述第二图像内的定向。在另一替代方案中，所述方法也包括：接收指示第二扫掠的第二用户输入；确定所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内；以及当所述第二扫掠在垂直于所述多维空间延伸到所述第二图像中的所述方向的阈值角度内时，从所述第二图像切换到位于与所述连接图相邻的第二连接图上的第三图像，所述第二图像和所述第三图像在所述连接图中没有方向连接。在此示例中，所述方法也包括：检验用于与所述第二图像一起显示的第三覆盖图线，所述第三覆盖图线表示接近于所述第二图像的当前视图的第二导航路径，所述第三覆盖图线被提供为使得当与所述第二图像一起显示时，所述第三覆盖图线和所述第二覆盖图线彼此交叉。此外，所述方法包括：接收沿着所述第三覆盖图线的第二用户输入，所述第二用户输入指示要从沿着所述第二覆盖图线的图像过渡到沿着所述第三覆盖图线的图像的请求；以及响应于所述第二用户输入，提供用于显示的第三图像，所述第三图像被沿着所述第三覆盖图线布置在所述连接图中。另外，所述方法包括：基于所述连接图中的图像之间的连接来选择作为所述第二图像与所述第三图像之间的过渡的用于串行显示的图像集合；以及提供所述图像集合以用于显示在所述显示器上。此外，在提供所述图像集合之前，所述方法也包括：在与所述第一连接图不同的第二连接图中基于所述图像集合中的两个图像之间的连接来对所述图像集合进行过滤以移除至少一个图像，使得经过滤的图像集合被提供用于作为所述第二图像与所述第三图像之间的所述过渡而显示。
本公开的另一方面提供一种***。所述***包括一个或多个计算设备，每个计算设备具有一个或多个处理器。所述一个或多个计算设备被配置成：提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越所述第一图像的部分延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；接收指示跨越所述显示器的部分的扫掠的用户输入，所述扫掠由所述显示器的起始像素和结束像素来限定；基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；当至少部分地在所述交互区内发生了所述扫掠时，确定所述扫掠指示要显示与所述第一图像不同的图像的请求；当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；以及提供所述第二图像以用于显示在所述显示器上以便在所述多维空间中提供移动的感觉。
在一个示例中，所述一个或多个计算设备还被配置成提供用于在所述第一图像与所述第二图像之间显示的过渡图像，所述过渡图像作为与所述第一图像和所述第二图像相比具有更少细节的缩略图图像被提供。在另一示例中，所述一个或多个计算设备还被配置成提供指令来在对所述覆盖图线没有任何用户动作的情况下已经过阈值时间段之后使所述覆盖图线渐隐。在此示例中，所述一个或多个计算设备还被配置成在使所述覆盖图线渐隐之后，在所述显示器上接收第二用户输入并且提供指令来响应于所述第二用户输入而重新显示所述覆盖图线。在另一示例中，所述一个或多个计算设备还被配置成基于所述扫掠的所述起始像素和所述扫掠的所述结束像素来确定所述扫掠的方向和幅度并且进一步基于所述方向和幅度来选择所述第二图像。在另一示例中，所述一个或多个计算设备还被配置成给所述第二图像提供第二覆盖图线，所述第二覆盖图线跨越所述第二图像的部分延伸并且指示所述多维空间延伸到所述第二图像中的方向，使得第三图像在所述连接图中沿着所述第二覆盖图线的方向连接到所述第二图像。
本公开的另一个方面提供一种存储有程序的计算机可读指令的非暂时性计算机可读存储设备。这些指令在由一个或多个处理器执行时，使所述一个或多个处理器执行方法。所述方法包括：提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越所述第一图像的部分延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；接收指示跨越所述显示器的部分的扫掠的用户输入，所述扫掠由所述显示器的起始像素和结束像素来限定；基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；当至少部分地在所述交互区内发生了所述扫掠时，确定所述扫掠指示要显示与所述第一图像不同的图像的请求；当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；以及提供所述第二图像以用于显示在所述显示器上以便在所述多维空间中提供移动的感觉。
附图说明
图1是依照本公开的各方面的示例***的功能图。
图2是图1的示例***的示意图。
图3是依照本公开的各方面的图像和数据的示例表示。
图4是依照本公开的各方面的示例图像图的表示。
图5是依照本公开的各方面的示例客户端计算设备和屏幕截图。
图6是依照本公开的各方面的示例客户端计算设备、屏幕截图和数据的表示。
图7是依照本公开的各方面的示例客户端计算设备和数据的表示。
图8A和图8B是依照本公开的各方面的用户输入的示例。
图9是依照本公开的各方面的示例数据的表示。
图10是依照本公开的各方面的另一示例客户端计算设备和屏幕截图。
图11是依照本公开的各方面的另一示例客户端计算设备和屏幕截图。
图12是依照本公开的各方面的又一个示例客户端计算设备和屏幕截图。
图13是依照本公开的各方面的示例数据的另一表示。
图14是依照本公开的各方面的示例数据的另一个表示。
图15A是依照本公开的各方面的另一示例客户端计算设备和屏幕截图。
图15B是依照本公开的各方面的图像图的示例表示。
图16是依照本公开的各方面的流程图。
具体实施方式
概述
本技术涉及用于在第一或第三人视图中使得用户能够在多维环境内导航的界面。在一些示例中，环境可以包括通过利用识别图像彼此的二维或三维关系的信息将这些图像映射到模型或一系列地理定位的(例如，开始与定向和位置信息相关联的)图像所渲染的三维模型。
为了在多维空间中提供“逼真”运动，界面可以允许连续运动、直观转弯、环视场景以及向前和向后移动。例如，可以显示参考线以向用户指示用户可以使用触摸和/或运动控件来在多维空间中“遍历”的方向。通过在相对于线的不同方向上扫掠，与当用户正在试图简单地改变定向并环视时相比，界面可以容易地识别用户正在设法移动的时间和方向。
为了提供界面，多个地理定位的图像必须是可用的。除了与地理位置信息相关联之外，图像还可以在一个或多个图像图中彼此连接。可以使用各种技术来生成图，所述各种技术包括基于图像之间的位置和距离的手动和自动链接、图像被捕获的方式(诸如图像随着相机被向前移动而由相机来捕获)以及识别一组图像中的最好图像以用于连接到图像中的任何给定点或定向的其它方法。
一个或多个服务器计算设备可以访问这一个或多个图以便提供用于向用户显示的图像。例如，用户的客户端计算设备可以发送对识别位置的图像的请求。一个或多个服务器计算设备可以访问一个或多个图像图以便识别与该位置相对应的图像。然后可以将此图像提供给用户的客户端计算设备。
除了提供图像之外，一个或多个服务器计算设备还可以给客户端计算设备提供用于显示导航覆盖图的指令。此覆盖图可以被表示为向用户指示用户可在由图像表示的多维空间中移动的方向的线。该线它本身实际上可以对应于用户当前正在查看的图像与一个或多个图像图中的其它图像之间的连接。作为示例，这条线可以对应于相机被移动以便捕获在图像图中识别的图像所沿着的道路。
用户然后可以使用线来导航穿过多维空间。例如，所述线可以用于向用户建议用于从所述图像移动到一个或多个图像图中的不同图像的交互区。如果用户在所述线的交互区内且通常平行于所述线或者在与所述线的某个小角度差内扫掠，则用户的客户端计算设备可以通过根据扫掠的特性和图像图过渡到新图像来在多维空间中四处“移动”。在其它示例中，可以将扫掠识别为在当前图像内使视图旋转或者在当前图像中平移的请求。
扫掠的包括方向、幅度和速度的特性可用于限定视图将如何改变。扫掠的幅度或像素长度可用于确定向前或向后移动视图多远。此外，可以使用扫掠的速度(每秒像素数)以及甚至扫掠的加速度来确定视图看起来穿过多维空间有多快。
可以通过按照归一化设备坐标(NDC)将当前和先前屏幕坐标反投影(从二维转换为三维)到y＝z平面上并然后再次向下投影到地平面上来确定方向。这允许垂直显示移动映射到多维空间中的向前移动，而水平显示移动映射为以独立于场景几何或地平线的可预测方式映射到多维空间中的横向移动。
作为示例，当用户轻敲在客户端计算设备的显示器上表示的视图时，线可以出现。用户可以沿着显示器的部分扫掠。使用扫掠的初始位置或像素以及沿着扫掠的其它位置，可以确定扫掠的速度。一旦扫掠完成或者用户的手指离开显示器，过渡动画(诸如缩放并渐显成新图像)就被显示以便过渡到新图像。
当视图将通常遍历多个图像以便到达基于扫掠的特性而识别的图像时，可以实际上不显示这些多个图像的全分辨率。替代地，可以显示图像的较低分辨率版本(诸如缩略图图像)作为当前图像与识别的图像之间的过渡的部分。当实际识别的图像被显示时，可以以全分辨率显示此图像。这可以节约时间和处理能力。
可以改变线的诸如不透明度、宽度、颜色和位置的特性以便允许用户更容易地理解导航多维空间。此外，为了进一步减少线对用户探索多维空间的干扰，当用户不在与界面交互时，可以不示出线。作为示例，可以基于用户是否在与显示器交互来按需使线渐显或渐隐。
在一些示例中，连接图可以分支，诸如存在两条道路的交叉点，或者不如说，在一个或多个图像图中存在交叉点。为了使覆盖图保持简单并易于理解，仅在当前视点的短距离内直接地连接到当前线的线可以似乎重叠在影像上。在这些分支区域中，诸如在多于一条道路彼此相交的交通交叉点处，用户可能想要从一条线改变到另一条线。当然，向前行驶并在交叉点中间进行90度转弯会感到不自然。就此而言，可以使用一个或多个图像图来通过显示不在任何一条线上的图像作为两条线之间的过渡来超越两条线之间的交叉的拐角。
本文中所描述的特征允许用户在多维空间内部同时跟随具体预定的运动路径的同时探索，然而同时防止用户被“困住”或者以无效方式移动。此外，***能够识别当用户正在设法移动时对当用户正在设法环视时的差异。其它***需要多种类型的输入以便区分这些类型的移动。这些***也可能需要用户指向特定位置以便移动到该位置。这与允许用户扫掠以便在多维空间中移动相比不太直观并且不允许连续运动，因为用户每次想要移动时都必须轻敲或者点击箭头。
当参考实施例和附图的以下描述来考虑时，本公开的进一步方面、特征和优点将被领会。不同的附图中的相同的附图标记可以识别相同或类似的元件。此外，以下描述不是限制性的；本技术的范围由所附权利要求和等同物来限定。虽然依照示例实施例的某些过程在附图中被示出为以线性方式发生，但是除非本文明确地陈述，否则这不是要求。可以以不同的顺序或同时执行不同的过程。除非另外陈述，否则也可以添加或者省略步骤。
示例***
图1和图2包括可以实现上述的特征的示例***100。它不应该被认为限制本公开的范围或本文中所描述的特征的有用性。在此示例中，***100可包括计算设备110、120、130和140以及存储***150。计算设备110中的每一个可包含通常存在于通用计算设备中的一个或多个处理器112、存储器114和其它组件。计算设备110、120、130和140中的每一个的存储器114可存储可由一个或多个处理器112访问的信息，包括可由一个或多个处理器112执行的指令116。
存储器也可包括可以由处理器检索、操纵或者存储的数据118。存储器可以是能够存储可由处理器访问的信息的任何非暂时性类型，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写入和只读存储器。
指令116可以是要由一个或多个处理器直接地执行的任何指令集，诸如机器代码，或者是要由一个或多个处理器间接执行的任何指令集，诸如脚本。就此而言，术语“指令”、“应用”、“步骤”和“程序”可在本文中可互换地使用。指令可被以由处理器直接地处理的目标代码格式存储，或者以任何其它计算设备语言存储，所述计算设备语言包括被按需解释或者提前编译的独立源代码模块的脚本或合集。在下面更详细地说明指令的功能、方法和例行程序。
数据118可由一个或多个处理器112依照指令116来检索、存储或修改。例如，尽管本文中所描述的主题不受任何特定数据结构限制，然而数据可被存储在计算机寄存器中，存储在作为具有许多不同的字段和记录的表的关系数据库或XML文档中。也可按照诸如但不限于二进制值、ASCII或Unicode的任何计算设备可读格式对数据进行格式化。此外，数据可包括足以识别相关信息的任何信息，诸如数字、描述性文本、专有代码、指针、对存储在诸如其它网络位置的其它存储器中的数据的引用，或由功能使用来计算相关数据的信息。
一个或多个处理器112可以是任何常规处理器，诸如市场上可买到的CPU。可替选地，处理器可以是专用组件，诸如专用集成电路(“ASIC”)或其它基于硬件的处理器。尽管不必要，然而计算设备110中的一个或多个可以包括专用硬件组件以更快地或更高效地执行具体计算处理，诸如对视频进行解码、使视频帧与图像匹配、使视频失真、对失真视频进行编码等。
尽管图1在功能上将计算设备110的处理器、存储器和其它元件图示为在同一块内，然而处理器、计算机、计算设备或存储器实际上可包括可以或者不可以被存储在同一物理外壳内的多个处理器、计算机、计算设备或存储器。例如，存储器可以是位于与计算设备110的壳体不同的壳体中的硬盘驱动器或其它存储介质。因此，对处理器、计算机、计算设备或存储器的引用将被理解成包括对可以或者不可以并行操作的处理器、计算机、计算设备或存储器的引用。例如，计算设备110可以包括作为负载均衡服务器场、分布式***等操作的服务器计算设备。更进一步，尽管在下面所描述的一些功能被指示为在具有单个处理器的单个计算设备上发生，然而本文中所描述的主题的各个方面可由多个计算设备来实现，例如，通过网络180通信信息。
计算设备110中的每一个可以位于网络180的不同节点处并且能够直接地和间接地与网络180的其它节点进行通信。尽管在图1和图2中描绘了仅几个计算设备，然而应该领会的是，典型***可包括大量连接的计算设备，其中每个不同的计算设备位于网络180的不同节点处。本文中所描述的网络180和中间节点可使用各种协议和***来互连，使得网络可以是互联网、万维网、特定内联网、广域网或本地网络的一部分。网络可利用标准通信协议(诸如以太网、WiFi和HTTP)、为一个或多个公司专有的协议以及上述的各种组合。尽管当像上面所指出的那样传送或接收信息时获得了某些优点，然而本文中所描述的主题的其它方面不限于信息的任何特定传输方式。
作为示例，计算设备110中的每一个可以包括能够经由网络与存储***150以及计算设备120、130和140进行通信的web服务器。例如，服务器计算设备110中的一个或多个可以使用网络180来向用户(诸如用户220、230或240)传送信息并在显示器(诸如计算设备120、130和140的显示器122、132或142)上将该信息呈现给用户。就此而言，计算设备120、130和140可以被认为是客户端计算设备并且可以执行本文中所描述的特征中的全部或一些。
客户端计算设备120、130和140中的每一个可以与服务器计算设备110类似地被配置有如上所述的一个或多个处理器、存储器和指令。每个客户端计算设备120、130或140可以是意在供由用户220、230、240使用的个人计算设备，并且具有通常连同个人计算设备一起使用的组件中的全部，诸如中央处理单元(CPU)、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器122、132或142的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或可操作来显示信息的其它设备)以及用户输入设备124(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备也可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
尽管客户端计算设备120、130和140可以各自包括全尺寸个人计算设备，然而它们可以可替选地包括能够通过诸如互联网的网络以无线方式与服务器交换数据的移动计算设备。仅作为示例，客户端计算设备120可以是移动电话或诸如无线使能的PDA、平板PC或能够经由互联网获取信息的上网本的设备。在另一示例中，客户端计算设备130可以是头戴式计算***。作为示例用户可以使用键盘、键区、麦克风、利用相机使用视觉信号或触摸屏来输入信息。
与存储器114一样，存储***150可以是能够存储可由服务器计算设备110访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储卡、ROM、RAM、DVD、CD-ROM、可写入和只读存储器。此外，存储***150可以包括分布式存储***，其中数据被存储在可以在物理上位于相同或不同的地理位置处的多个不同的存储设备上。存储***150可以经由如图1中所示的网络180连接到计算设备并且/或者可以直接地连接到计算设备110、120、130和140(未示出)中的任一个。
存储***150可以存储图像和相关信息，诸如图像识别符、图像的定向和位置、捕获到图像的相机的定向和位置以及固有相机设定(诸如焦距、变焦等)。除了与定向和位置信息相关联之外，图像还可以在一个或多个图像中彼此连接。换句话说，从任何给定图像中，这些图像图可以指示哪些其它图像连接到该图像以及在哪一个方向上。
可以使用各种技术来生成图，所述各种技术包括基于图像之间的位置和距离的手动和自动链接、图像被捕获的方式(诸如图像随着相机被向前移动而由相机来捕获)以及识别一组图像中的最好图像以用于连接到图像中的任何给定点或定向的其它方法。例如，如图3的示例300中所示，可以通过沿着道路302操纵车辆来捕获图像。在此示例中，道路包括多个车道304、306、308。在一个时间，在车道304中行驶的车辆捕获尤其包括车辆的环境中的特征的一系列图像310，所述特征诸如道路302以及建筑物330、332、334、336、338。在另一时间，在车道306中行驶(并且稍后在图像340和342之间切换到车道308)的相同或不同的车辆捕获一系列图像320。当捕获到该系列图像的一个或多个相机被向前移动时，它们可以使每个图像与关于相机在捕获到图像时的位置、相机在捕获到图像时(例如，相对于定向指示器360)的定向、指示图像被捕获到的日期和时间的时间戳信息等的信息相关联。相机随着时间的推移和沿着该系列图像的位置变化可以用于经由线350、352将图像对“链接”在一起。再次，可以使用相机的位置和定向以及图像的时间戳信息来基于相机随着时间的推移的位置变化手动地或自动地执行此链接。链接然后创建图像图的连接，或描述每个相邻图像对之间的相对定向的信息。在此示例中，链接的结果是与图像系列310和320以及这些图像之间的连接相对应的两个图像图。
这些图本身可以具有不同的图像和连接。图4是一系列图像图410、420、450的示例。在此示例中，图像图410和420可以由仅表示沿着与道路、路径等相对应的街道或地图网格的图像和连接的图像和连接生成，或者通过使更复杂的图与仅包括网格的图像和连接相配对来生成。例如，图像图410和420可以像上面所讨论的那样由从图像系列310和320生成。图像图420实际上仅包括与地图中的道路302或道路的网格有关的图像402-430。其它连接图然后可以识别从第一图中的图像到除第一图中的那些以外的图像的连接。例如，图像图450包括图像系列320的图像402、404、406和408与图像系列322的图像442、444、446和448之间的连接。此外，图像图450包括与可以是来自建筑物330内的图像但是未被包括在任何一个图像系列320或322中的图像452和545的连接。再次，可以像上面所讨论的那样手动地或自动地绘制这些连接。
示例方法
如先前讨论的，不必按照在下面所描述的精确顺序执行以下操作。相反，如上面所提及的，可按照不同的顺序或同时地处理各种操作，并且可以添加或省略操作。
作为示例，客户端计算设备可以给用户提供图像导航体验。客户端计算设备可以通过与一个或多个服务器计算设备进行通信以便检索并显示图像来这样做。一个或多个服务器计算设备可以访问这一个或多个图以便提供图像用于向用户显示的图像。例如，用户的客户端计算设备可以发送对识别位置的图像的请求。一个或多个服务器计算设备可以访问一个或多个图像图以便识别与该位置相对应的图像。然后可以将此图像提供给用户的客户端计算设备。
除了提供图像之外，一个或多个服务器计算设备可以给客户端计算设备提供用于显示导航覆盖图的指令。此覆盖图可以被表示为向用户指示用户可在多维空间中移动的方向的线。例如，图5是在计算设备120的显示器122上显示的图像图310的图像444的示例视图500。这里提供了指示用户能够移动到图像444中的方向的覆盖图线502。线本身实际上可以对应于用户当前正在查看的图像444与图像图310中的其它图像之间的连接。如可在该示例中看到的，图像444包括建筑物332、334、336和338的部分。
用户然后可以使用线来导航穿过多维空间导航。例如，所述线可以用于向用户建议用于从所述图像移动到一个或多个图像图中的不同图像的交互区。如图6的示例600中所示，交互区602延伸越过线502的外边缘。尽管在图6中交互区602被显示在显示器122上，然而此交互区实际上不需要被显示给用户并且可以被“隐藏”以便减少显示器上的杂乱。因为交互区602延伸越过线的外边缘，所以当用户试图扫掠他的或她的手指(或触针)时，这可以允许一些错误空间。例如，参考图7的示例700，区域702对应于显示器122。在此示例中，区域704指代显示器122的在交互区602外部的区域。再次，这些区域可能不一定被显示给用户，并且图7被用于在下面更清楚地图示示例的目的。
如果用户在线的交互区内且通常平行于线或者在与线的某个小角度差内扫掠，则客户端计算设备可以在多维空间中四处“移动”。例如，如图8A和图8B的示例800A和800B中所示，用户可以使用手指(或触针)来通过在箭头804或806的方向上通常与线502平行扫掠来与线的交互区602交互。因为扫掠不可能确切地平行于线502，如图9的示例900中所示，在交互区602内从线502的方向起的诸如10或15度的小角度差(θ1)可以被忽略或者被认为是“通常”平行的。
返回到图8A，当用户在箭头804的方向上扫掠时，可以显示看起来在多维空间内移动用户的新图像。例如，响应于用户通常平行于线502在交互区602内扫掠，显示可以过渡到图像图310的另一图像。如图10的示例1000中所示，显示过渡到图像图310的图像470。在此示例中，显示看起来已进一步沿车道304而下并通常沿着线502移动用户，使得建筑物336不再可见。这再次允许用户感到即使他或她正在查看二维图像他或她正在三维空间内移动。对将被显示的图像的选择可以取决于扫掠的特征和如在下面所讨论的一个或多个图像图。
如果用户在此交互区602外面扫掠或者远离线502如此多的像素或者在与线的某个指定角度距离(例如大于θ1，但是小于90-θ1)内，而不是过渡到新图像，则用户的客户端计算设备可以改变当前图像的视图的定向，或者相反在当前图像内使视图旋转。例如，如果用户以大于θ1但是小于90-θ1的角度从显示器122的左侧朝向显示器122的右侧跨越示例600的显示扫掠他的或她的手指，而不是通常沿着线502移动，则显示可以在图像444内旋转。如图11的示例1100中所示，显示在图像444内从示例600的位置旋转并且显示更多的建筑物332。这给予用户他或她已经旋转或者改变了他的或她的定向的感觉，与在多维空间内向前或向后移动相对。因此，交互区允许客户端计算设备区分四处移动(即向前或向后移动)的请求和改变用户的定向的请求。
此外，如果用户在交互区内或外部通常垂直于线502的方向或者在从垂直于线502的方向起的小角度距离θ1(或从平行于线502的方向起小于90-θ1)内扫掠，则这可以指示用户希望在当前图像中平移(侧身移动)。例如，如果用户将以平行于线502的方向大于90-θ1的角度从显示器122的左侧朝向显示器122的右侧跨越示例600的显示扫掠他的或她的手指，而不是通常沿着线502移动或者在图像444内旋转，则显示可以在当前图像内平移。就此而言，如果根据一个或多个图像图存在多于一条线，则此移动可使视图实际上“跳”到不同的线。例如，从图像444，显示可以像图12的示例1200中所示的那样跳到图像图420的图像404。这里，用户看起来已经通过在图像444和402之间移动从车道304内的点移动到车道306内的点。此时，可以提供与图像图420相对应的新覆盖1202以用于与图像404一起显示。
包括方向、幅度和速度的扫掠的特性可用于定义视图将如何改变。例如，在线被显示的同时，如果用户沿着交互区扫掠，则结果可以是在朝向扫掠开始点的方向(在图像图内)上的移动。就此而言，像图8A中所示的那样向下拖曳使视图前进，像图8B中所示的那样向上拖曳使视图向后移动。
扫掠的幅度或像素长度可用于确定要将视图向前或向后移动多远。例如如果扫掠确实未跨越阈值最小像素数则结果可以是无移动。如果扫掠满足阈值最小像素数，则多维中的移动可以对应于扫掠跨越的像素数。然而，因为视图具有透视性，所以像素中的距离与多维中的距离之间的关系随着线出现的平面将朝向图像中的消失点倾斜而可以是指数的(与线性相对)。就此而言，像素中的距离可以被转换为多维空间中的距离。可以将沿着根据一个或多个图像图从原始图像最接近于多维空间中的距离的线的图像识别为视图将过渡到的图像。
此外，可以使用扫掠的速度(每秒像素数)以及甚至扫掠的加速度来确定视图看起来穿过多维空间有多快。例如，移动最初可以对应于扫掠的速度，但是此速度可以慢下来并且在根据扫掠的幅度所识别的图像处停止。在基于扫掠的幅度所确定的距离在两个图像之间的情况下，扫掠的速度(或加速度)可以用于确定哪一个图像要识别为视图将过渡到的图像。例如，如果速度(或加速度)相对较高或者大于某个阈值速度(或加速度)，则可以选择离原始图像更远的图像。同时，如果速度(或加速度)相对较低或者低于阈值速度(或加速度)，则可以选择与原始图像更近的图像。在又一个示例中，在速度(或加速度)满足某个其它阈值的情况下，作为响应，通过根据扫掠的速度在沿着一个或多个图像图中的线的图像之间过渡直到用户轻敲显示器为止，视图可以看起来连续地穿过多维空间。此轻敲可以使移动慢下来至停止或者立即停止在当前或下一个图像上。在又一个示例中，通常垂直于线进行的扫掠的速度可以被转化成通过多维比在通常平行于线进行的扫掠的相同速度情况下更慢的移动。更进一步，可以基于发生扫掠所在的地方来确定扫掠的速度。就此而言，可以通过在屏幕的底部与地平线之间一半的屏幕上的点处测量每像素米数来确定速度，直觉是这是扫掠的“平均”屏幕位置。所以如果用户在此点上拖曳他的或她的手指，则地面上的像素将以与用户的手指相同的速度移动。
可以通过按照归一化设备坐标(NDC)将当前和先前屏幕坐标反投影(从二维转换为三维)到y＝z平面上并然后再次向下投影到地平面上来确定方向。例如，图13的示例1300是示出计算设备120的屏幕1304的平面相对于地平面1306的相对方向(由箭头1302指示)的图。在这两个平面之间是NDC平面1308。图14描绘通过屏幕1304的平面上的箭头1404所示出的手指扫掠相对于通过沿着地平面1306的箭头1406所示出的移动的方向。这里，用户的手指在屏幕1304上的点A处发起扫掠并且在屏幕上的B点处结束扫掠。这些点被转换为NDC平面1308上的对应点B’和A’。从NDC平面，这些点被投影到地平面1306上的点C和D。这允许垂直显示移动映射到多维空间中的向前移动并且水平显示移动映射为以独立于场景几何或地平线的可预测方式映射到多维空间中的横向移动。
作为示例，当用户轻敲在客户端计算设备的显示器上表示的视图时，线可以出现。用户然后可以沿着显示器的部分扫掠。使用扫掠的初始位置或像素以及沿着扫掠的其它位置，可以确定扫掠的速度。一旦扫掠已完成或者用户的手指离开显示器，过渡动画(诸如缩放并渐显成新图像)就被显示以便过渡到新图像。作为示例，如果速度小于或少于阈值，则沿着线的下一个图像可以作为新视图被显示。如果速度大于阈值，则扫掠的结束时间和在显示器上的位置被确定。根据一个或多个图像图沿着线最接近于此位置的图像被识别为目标图像。在此示例中，沿着线的图像之间的过渡动画继续直到到达目标图像为止。在一些示例中，可以实时地从本地存储器中或者通过在正在播放过渡动画的同时检验位置信息并从一个或多个服务器计算设备请求图像来检索在过渡动画期间显示的图像和目标图像。
因为视图将通常遍历多个图像以便到达基于扫掠的特性而识别的图像，所以可以不实际上显示这些多个图像的全分辨率。替代地，图像的较低分辨率版本(诸如缩略图图像)可以作为当前图像与识别的图像之间的过渡的部分被显示。当实际识别的图像被显示时，可以以全分辨率显示此图像。这可以节约时间和处理能力。
可以改变线的特性以便允许用户更容易地理解导航多维空间。例如，可以调整线的不透明度以允许用户看到线下面的更多或更少的特征，从而降低线对用户在视觉上探索多维的能力的影响。就此而言，线的宽度可以对应于上面覆盖有线的道路的宽度。类似地，可以调整线和交互区的宽度以便防止线占去太多的显示，然而同时使线变得足够厚以便用户能够使用他的或她的手指来与线交互。可以选择线的颜色(例如蓝色)以便补充当前视图或者允许线从当前视图中突出来。
线的位置未必总是与一个或多个图像图中的连接线相同。例如，在线被显示成对应于道路的宽度的情况下，一个或多个图像图中的对应连接可以实际上不往道路的中间而下运行，使得线不完美地对应于一个或多个图像图。在连接线的几何形状曲折的区域中，连接线实际上可以作为覆盖图适合较直的线。就此而言，线可以不穿过每个图像的中心，而是当被覆盖在视图上时可以具有平滑的外观。
在一些示例中，连接图可以分支，诸如在存在两条道路的交叉点或者不如说在一个或多个图像图中存在交叉点的情况下。图15的示例1500A描绘两条线1502和1504彼此交叉的分支区域的示例。在此示例中，如果用户扫掠以这样或那样行进，则结果得到的运动根据一个或多个图像图遵循所期望的分支，并且视图调整以使用户继续沿着线面朝前面。通过示出多个分支，移动的可用方向对用户而言是立即显而易见的。然而，为了使覆盖图保持简单且易于理解，仅在当前视点的短距离内直接地连接到当前线的线可以看起来覆盖在影像上。使用指向用户能够在预定距离内行进到的方向的线可以防止给用户提供关于用户可在多维空间中去哪里的冲突或混乱信息。这在复杂的几何区域中或者在复杂的导航区段中是特别重要的。
在这些分支区域中，诸如在多于一条道路彼此相交的交通交叉点处，用户可能想要从一条线改变到另一条线。当然，向前行驶并在交叉点的中间进行90度转弯会感到不自然。就此而言，通过将不在任何一条线上的图像显示为过渡，可以使用一个或多个图像图来超越两条线之间的交叉点的拐角。图15B描绘线1512和1514分别对应于线1504和1502的图像图1500B。因此，在图15A的示例中，显示器122正在图像G的方向上显示图像E的图像。如果用户将在围绕1502的交互区内扫掠，则这将对应于图像图1500B上的图像H的位置。在此示例中不是因为分支区域过渡到图像F，然后到图像G，然后到图像H，而是显示可以看起来沿着路径1516从图像E直接地过渡到图像H。可替选地，可以跳过仅单个图像，并且显示可以看起来从图像E过渡到图像F，然后沿着路径1518到图像H。
为了进一步降低线对用户对多维的探索的干扰，当用户不在与界面交互时，可以不示出线。这允许用户看到整个3D场景。例如，如果用户在场景中的任何对方轻敲并四处拖曳(或者点击并四处拖曳，或者运动并四处拖曳)，则当线不可见时，他或她将环视场景。如果用户在图像上轻敲一次，则线可以出现。诸如线的闪烁、加亮然后变暗、线的变厚然后变薄或者快速地使线变得或多或少不透明然后返回到正常不透明度的效果可以用于向用户指示线的交互性质。如果用户在交互区内进行拖曳运动，则即使当线不可见时，线也可以出现并且图像可以看起来沿着线过渡。在在显示器上没有由客户端计算设备接收的输入的某个预先确定的时间段(诸如2秒或更长或更少时间)之后或者在显示器上的单轻敲之后半秒或更多或更少时间之后，线可以消退直到它消失为止，再次以降低线对图像的影响。
界面也可以提供除了沿着与网格相对应的线的图像之间之外的其它类型的导航。例如，如上面所指出的，单轻敲可以使线出现。在此示例中单轻敲可以不使视图改变，而是相反，该视图可以看起来保持不动。同时，双轻敲可以把用户带到在双轻敲的点处或附近的在一个或多个图像图中连接到当前图像的图像。另外，如果用户当前几乎垂直于线面对，并且用户通常垂直于线扫掠，则视图可以看起来保持垂直于线，从而允许用户沿着道路“扫射”。此外，捏手势可以放大或者缩小特定图像，而不会实际上引起过渡到新图像。
尽管以上示例涉及线，然而可以使用各种其它覆盖图来给用户提供多维中的可导航区域的指示。例如，除了或连同用于在环视(改变定向)与移动穿过多维之间切换的切换开关一起，可以在地图上放置多个滚动条以便随着他或她穿过多维而向用户提供视觉反馈。在另一示例中，可以使用看起来横向地混合到视图中的较宽线而不是有限线。在又一个替选方案中，可使用不一定看起来远延伸到场景中的盘或短箭头式指示来建议交互区。
图16是可以由诸如服务器计算设备110的一个或多个服务器计算设备执行的上述的各个方面的示例流程图1600。在此示例中，在块1602处提供用于在客户端计算设备的显示器上显示的多维空间的第一图像。第一图像被提供有覆盖图线，所述覆盖图线跨越第一图像的部分延伸并且指示多维空间延伸到第一图像中的方向，使得第二图像沿着该覆盖图线的方向连接到第一图像。在块1604处接收指示跨越显示器的部分的扫掠的用户输入。扫掠通过显示器的起始像素和结束像素来限定。基于起始像素和结束像素，在块1606处确定了至少部分地在第一图像的交互区内发生了扫掠。交互区限定用户可与三维空间交互的围绕覆盖图线的区域。当至少部分地在交互区内发生了扫掠时，在块1608处确定了扫掠指示要显示与第一图像不同的图像的请求。当扫掠指示要显示与第一图像不同的图像的请求时，在块1610处基于扫掠的起始点、扫掠的结束点以及沿着覆盖图线的方向连接第一图像和第二图像的连接图来选择第二图像。在块1612处提供用于在显示器上显示的第二图像以便在多维空间中提供移动的感觉。
大多数上述替代示例不是相互排斥的，而是可以被以各种组合实现来实现独特的优点。因为可在不脱离由权利要求所限定的主题的情况下利用上面所讨论的特征的这些及其它变型和组合，所以实施例的上述描述应该作为图示而不是作为对由权利要求所限定的主题的限制来进行。作为示例，不必按照上述的精确顺序执行前面的操作。相反，可以按照不同的顺序或同时地处理各个步骤。除非另外陈述，否则也可省略步骤。此外，本文中所描述的示例以及被表述为“诸如”、“包括”等的子句的提供不应该被解释为将权利要求的主题限于具体示例；相反，示例旨在仅图示许多可能实施例中的一个。另外，不同的附图中的相同的附图标记可识别相同或类似的元件。
工业适用性
本技术享有广泛的工业实用性，包括但不限于用于在第一或第三人视图中使得用户能够在多维环境内导航的界面。

Claims (17)

1.一种导航多维空间的方法，所述方法包括：
由一个或多个处理器提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越部分的所述第一图像延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；
由所述一个或多个处理器接收用户输入，所述用户输入指示跨越部分的所述显示器的扫掠，所述扫掠由所述显示器的起始像素和结束像素来限定；
由所述一个或多个计算设备基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；
当至少部分地在所述交互区内发生了所述扫掠时，由所述一个或多个处理器确定所述扫掠指示要显示与所述第一图像不同的图像的请求；
当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，由所述一个或多个计算设备基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；
给所述第二图像提供第二覆盖图线，所述第二覆盖图线跨越部分的所述第二图像延伸并且指示所述多维空间延伸到所述第二图像中的方向，使得第三图像在所述连接图中沿着所述第二覆盖图线的方向连接到所述第二图像；
接收指示第二扫掠的第二用户输入；
确定所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内；以及
当所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内时，从所述第二图像切换到位于第二连接图上的第四图像，所述第二连接图在与所述多维空间延伸到所述第二图像中的所述方向垂直的方向上与所述连接图相邻，所述第二图像和所述第四图像既不在所述连接图中彼此连接也不在所述第二连接图中彼此连接。
2.根据权利要求1所述的方法，还包括，提供用于在所述第一图像与所述第二图像之间显示的过渡图像，所述过渡图像作为与所述第一图像和所述第二图像相比具有更少细节的缩略图图像被提供。
3.根据权利要求1所述的方法，还包括，提供指令来在对所述覆盖图线没有任何用户动作的情况下已经过阈值时间段之后使所述覆盖图线渐隐。
4.根据权利要求3所述的方法，还包括，在使所述覆盖图线渐隐之后：
在所述显示器上接收第二用户输入；以及
提供指令来响应于所述第二用户输入而重新显示所述覆盖图线。
5.根据权利要求1所述的方法，还包括：
基于所述扫掠的所述起始像素和所述扫掠的所述结束像素来确定所述扫掠的方向和幅度，以及
其中，选择所述第二图像进一步基于所述方向和幅度。
6.根据权利要求1所述的方法，还包括：
接收指示第三扫掠的第三用户输入；
确定所述第三扫掠在与所述多维空间延伸到所述第四图像中的所述方向垂直的阈值角度内；以及
当所述第三扫掠在与所述多维空间延伸到所述第四图像中的所述方向垂直的阈值角度内时，跨越所述第四图像的多维空间进行平移。
7.根据权利要求1所述的方法，还包括：
接收指示第三扫掠的第三用户输入；
确定所述第三扫掠在与所述多维空间延伸到所述第四图像中的所述方向垂直的阈值角度内；以及
当所述第三扫掠在与所述多维空间延伸到所述第四图像中的所述方向垂直的阈值角度内时，改变所述第四图像内的定向。
8.根据权利要求1所述的方法，还包括：提供用于与所述第二图像一起显示的第三覆盖图线，所述第三覆盖图线表示接近于所述第二图像的当前视图的第二导航路径，所述第三覆盖图线被提供为使得当与所述第二图像一起显示时，所述第三覆盖图线和所述第二覆盖图线彼此交叉。
9.根据权利要求8所述的方法，还包括：
接收沿着所述第三覆盖图线的第二用户输入，所述第二用户输入指示要从沿着所述第二覆盖图线的图像过渡到沿着所述第三覆盖图线的图像的请求；以及
响应于所述第二用户输入，提供用于显示的第五图像，所述第五图像被沿着所述第三覆盖图线布置在所述连接图中。
10.根据权利要求9所述的方法，还包括：
基于所述连接图中的图像之间的连接，来选择作为所述第二图像与所述第五图像之间的过渡的用于串行显示的图像集合；以及
提供所述图像集合以用于显示在所述显示器上。
11.根据权利要求10所述的方法，还包括，在提供所述图像集合之前，在与所述连接图不同的第三连接图中基于所述图像集合中的两个图像之间的连接来对所述图像集合进行过滤，以移除至少一个图像，使得经过滤的图像集合被提供用于作为所述第二图像与所述第五图像之间的所述过渡而显示。
12.一种包括一个或多个计算设备的***，每个计算设备具有一个或多个处理器，所述一个或多个计算设备被配置成：
提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越部分的所述第一图像延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；
接收用户输入，所述用户输入指示跨越部分的所述显示器的扫掠，所述扫掠由所述显示器的起始像素和结束像素来限定；
基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；
当至少部分地在所述交互区内发生了所述扫掠时，确定所述扫掠指示要显示与所述第一图像不同的图像的请求；
当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；
给所述第二图像提供第二覆盖图线，所述第二覆盖图线跨越部分的所述第二图像延伸并且指示所述多维空间延伸到所述第二图像中的方向，使得第三图像在所述连接图中沿着所述第二覆盖图线的方向连接到所述第二图像；
接收指示第二扫掠的第二用户输入；
确定所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内；以及
当所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内时，从所述第二图像切换到位于第二连接图上的第四图像，所述第二连接图在与所述多维空间延伸到所述第二图像中的所述方向垂直的方向上与所述连接图相邻，所述第二图像和所述第四图像既不在所述连接图中彼此连接也不在所述第二连接图中彼此连接。
13.根据权利要求12所述的***，其中，所述一个或多个计算设备还被配置成提供用于在所述第一图像与所述第二图像之间显示的过渡图像，所述过渡图像作为与所述第一图像和所述第二图像相比具有更少细节的缩略图图像被提供。
14.根据权利要求12所述的***，其中，所述一个或多个计算设备还被配置成提供指令来在对所述覆盖图线没有任何用户动作的情况下已经过阈值时间段之后使所述覆盖图线渐隐。
15.根据权利要求14所述的***，其中，所述一个或多个计算设备还被配置成在使所述覆盖图线渐隐之后：
在所述显示器上接收第二用户输入；并且
提供指令来响应于所述第二用户输入而重新显示所述覆盖图线。
16.根据权利要求12所述的***，其中，所述一个或多个计算设备还被配置成：
基于所述扫掠的所述起始像素和所述扫掠的所述结束像素来确定所述扫掠的方向和幅度，并且
选择所述第二图像进一步基于所述方向和幅度。
17.一种存储有程序的计算机可读指令的非暂时性计算机可读存储设备，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行方法，所述方法包括：
提供用于在客户端计算设备的显示器上显示的多维空间的第一图像和覆盖图线，所述覆盖图线跨越所述第一图像的部分延伸并且指示所述多维空间延伸到所述第一图像中的方向，使得第二图像沿着所述覆盖图线的方向连接到所述第一图像；
接收用户输入，所述用户输入指示跨越部分的所述显示器的扫掠，所述扫掠由所述显示器的起始像素和结束像素来限定；
基于所述起始像素和所述结束像素来确定至少部分地在所述第一图像的交互区内发生了所述扫掠，所述交互区限定所述用户能够与所述多维空间交互的围绕所述覆盖图线的区域；
当至少部分地在所述交互区内发生了所述扫掠时，确定所述扫掠指示要显示与所述第一图像不同的图像的请求；
当所述扫掠指示要显示与所述第一图像不同的所述图像的请求时，基于所述扫掠的起始点、所述扫掠的结束点以及沿着所述覆盖图线的所述方向连接所述第一图像和所述第二图像的连接图来选择所述第二图像；
给所述第二图像提供第二覆盖图线，所述第二覆盖图线跨越部分的所述第二图像延伸并且指示所述多维空间延伸到所述第二图像中的方向，使得第三图像在所述连接图中沿着所述第二覆盖图线的方向连接到所述第二图像；
接收指示第二扫掠的第二用户输入；
确定所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内；以及
当所述第二扫掠在与所述多维空间延伸到所述第二图像中的所述方向垂直的阈值角度内时，从所述第二图像切换到位于第二连接图上的第四图像，所述第二连接图在与所述多维空间延伸到所述第二图像中的所述方向垂直的方向上与所述连接图相邻，所述第二图像和所述第四图像既不在所述连接图中彼此连接也不在所述第二连接图中彼此连接。
CN201680053204.9A 2015-12-17 2016-12-13 导航穿过多维图像空间 Active CN108450035B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/972,843 US10217283B2 (en) 2015-12-17 2015-12-17 Navigation through multidimensional images spaces
US14/972,843 2015-12-17
PCT/US2016/066342 WO2017106170A2 (en) 2015-12-17 2016-12-13 Navigation through multidimensional images spaces

Publications (2)

Publication Number Publication Date
CN108450035A CN108450035A (zh) 2018-08-24
CN108450035B true CN108450035B (zh) 2023-01-03

Family

ID=58765892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680053204.9A Active CN108450035B (zh) 2015-12-17 2016-12-13 导航穿过多维图像空间

Country Status (8)

Country Link
US (1) US10217283B2 (zh)
EP (1) EP3338057A2 (zh)
JP (2) JP6615988B2 (zh)
KR (2) KR102230738B1 (zh)
CN (1) CN108450035B (zh)
DE (1) DE112016004195T5 (zh)
GB (1) GB2557142B (zh)
WO (1) WO2017106170A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005060594A2 (en) * 2003-12-11 2005-07-07 International Business Machines Corporation Data transfer error checking
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US9972121B2 (en) * 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
JP7251474B2 (ja) * 2017-04-28 2023-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
RU2740445C2 (ru) * 2018-09-14 2021-01-14 Общество с ограниченной ответственностью "НАВИГАТОРСПАС" Способ конвертации преобразования перевода 2D-изображений в формат 3D
US11353333B2 (en) * 2018-09-25 2022-06-07 Google Llc Dynamic restyling of digital maps
JP6571859B1 (ja) * 2018-12-26 2019-09-04 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
CN109821237B (zh) * 2019-01-24 2022-04-22 腾讯科技（深圳）有限公司 视角转动的方法、装置、设备及存储介质
US11675494B2 (en) * 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101319908A (zh) * 2007-06-07 2008-12-10 索尼株式会社 导航装置和地图滚动处理方法
CN102460421A (zh) * 2009-06-05 2012-05-16 微软公司 滑动可变内容路径
CN102741797A (zh) * 2009-12-01 2012-10-17 诺基亚公司 用于转换三维地图对象以呈现导航信息的方法和装置
CN103150759A (zh) * 2013-03-05 2013-06-12 腾讯科技（深圳）有限公司 一种对街景图像进行动态增强的方法和装置
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
US8941685B1 (en) * 2011-03-08 2015-01-27 Google Inc. Showing geo-located information in a 3D geographical space
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
CN105164683A (zh) * 2014-01-31 2015-12-16 谷歌公司 用于地理定位图像的***和方法

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
JP2900632B2 (ja) 1991-04-19 1999-06-02 株式会社日立製作所 ディジタル地図処理装置及びディジタル地図の表示方法
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5396583A (en) 1992-10-13 1995-03-07 Apple Computer, Inc. Cylindrical to planar image mapping using scanline coherence
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
US5559707A (en) 1994-06-24 1996-09-24 Delorme Publishing Company Computer aided routing system
WO1996024216A1 (en) 1995-01-31 1996-08-08 Transcenic, Inc. Spatial referenced photography
US6097393A (en) 1996-09-03 2000-08-01 The Takshele Corporation Computer-executed, three-dimensional graphical resource management process and system
US6199015B1 (en) 1996-10-10 2001-03-06 Ames Maps, L.L.C. Map-based navigation system with overlays
JP4332231B2 (ja) 1997-04-21 2009-09-16 ソニー株式会社 撮像装置コントローラおよび撮像システム
US6597818B2 (en) 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6285317B1 (en) 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
JP4119529B2 (ja) 1998-06-17 2008-07-16 オリンパス株式会社 仮想環境生成方法および装置、並びに仮想環境生成プログラムを記録した記録媒体
US6687753B2 (en) 1998-06-25 2004-02-03 International Business Machines Corporation Method and system for providing three-dimensional graphics over computer networks
US6477268B1 (en) 1998-11-17 2002-11-05 Industrial Technology Research Institute Producing transitions between vistas
FR2788617B1 (fr) 1999-01-15 2001-03-02 Za Production Procede de selection et d'affichage d'un element de type fichier numerique, image fixe ou images animees, sur un ecran d'affichage
US6346938B1 (en) 1999-04-27 2002-02-12 Harris Corporation Computer-resident mechanism for manipulating, navigating through and mensurating displayed image of three-dimensional geometric model
US6611615B1 (en) 1999-06-25 2003-08-26 University Of Iowa Research Foundation Method and apparatus for generating consistent image registration
US6609128B1 (en) 1999-07-30 2003-08-19 Accenture Llp Codes table framework design in an E-commerce architecture
US7574381B1 (en) 1999-08-06 2009-08-11 Catherine Lin-Hendel System and method for constructing and displaying active virtual reality cyber malls, show rooms, galleries, stores, museums, and objects within
US6563529B1 (en) 1999-10-08 2003-05-13 Jerry Jongerius Interactive system for displaying detailed view and direction in panoramic images
JP2003529054A (ja) 1999-10-19 2003-09-30 アメリカン カルカー インコーポレイティド ユーザの嗜好に基づいた効果的なナビゲーション技術
US6515664B1 (en) 1999-11-12 2003-02-04 Pixaround.Com Pte Ltd Fast single-pass cylindrical to planar projection
US6717608B1 (en) 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US6771304B1 (en) 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US6885392B1 (en) 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
US20020010734A1 (en) 2000-02-03 2002-01-24 Ebersole John Franklin Internetworked augmented reality system and method
US6606091B2 (en) 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6895126B2 (en) 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
US20020063725A1 (en) 2000-11-30 2002-05-30 Virtuallylisted Llc Method and apparatus for capturing and presenting panoramic images for websites
US7006707B2 (en) 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
JP2003006680A (ja) 2001-06-20 2003-01-10 Zenrin Co Ltd ３次元電子地図データの生成方法
US7509241B2 (en) 2001-07-06 2009-03-24 Sarnoff Corporation Method and apparatus for automatically generating a site model
EP1438703A1 (en) 2001-09-07 2004-07-21 The General Hospital Corporation Medical procedure training system
US7096428B2 (en) 2001-09-28 2006-08-22 Fuji Xerox Co., Ltd. Systems and methods for providing a spatially indexed panoramic video
US7274380B2 (en) 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
JP2003141562A (ja) 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4610156B2 (ja) 2001-11-13 2011-01-12 アルスロン株式会社 パノラマ画像による道路や河川、鉄道の空間把握システム
JP2003172899A (ja) 2001-12-05 2003-06-20 Fujitsu Ltd 表示装置
US20030110185A1 (en) 2001-12-10 2003-06-12 Rhoads Geoffrey B. Geographically-based databases and methods
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
CN1162806C (zh) 2002-03-07 2004-08-18 上海交通大学 路途全景图像带的摄取、生成、传输和显示方法
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
EP1553521A4 (en) 2002-10-15 2006-08-02 Seiko Epson Corp PANORAMIC SYNTHESIS PROCESSING MULTIPLE IMAGE DATA
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US6836723B2 (en) 2002-11-29 2004-12-28 Alpine Electronics, Inc Navigation method and system
KR100464342B1 (ko) 2003-04-14 2005-01-03 삼성전자주식회사 티오-캔 구조의 광 모듈
US7526718B2 (en) 2003-04-30 2009-04-28 Hewlett-Packard Development Company, L.P. Apparatus and method for recording “path-enhanced” multimedia
US6968973B2 (en) 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
KR100703444B1 (ko) 2003-06-03 2007-04-03 삼성전자주식회사 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법
JP4321128B2 (ja) 2003-06-12 2009-08-26 株式会社デンソー 画像サーバ、画像収集装置、および画像表示端末
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
JP2005149409A (ja) 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
CA2455359C (en) 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
JP4437677B2 (ja) 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
US20050195096A1 (en) 2004-03-05 2005-09-08 Ward Derek K. Rapid mobility analysis and vehicular route planning from overhead imagery
US20060098010A1 (en) 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
CA2820249C (en) 2004-03-23 2016-07-19 Google Inc. A digital mapping system
DE102004020861B4 (de) 2004-04-28 2009-10-01 Siemens Ag Verfahren zur Rekonstruktion von Projektionsdatensätzen bei Dosis-reduzierter abschnittsweiser spiralförmiger Abtastung in der Computertomographie
US7746376B2 (en) 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US20060002590A1 (en) 2004-06-30 2006-01-05 Borak Jason M Method of collecting information for a geographic database for use with a navigation system
US7460953B2 (en) 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US20080189031A1 (en) 2007-02-06 2008-08-07 Meadow William D Methods and apparatus for presenting a continuum of image data
JP4130428B2 (ja) 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
US8195386B2 (en) 2004-09-28 2012-06-05 National University Corporation Kumamoto University Movable-body navigation information display method and movable-body navigation information display unit
JP2006105640A (ja) 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
US7529552B2 (en) 2004-10-05 2009-05-05 Isee Media Inc. Interactive imaging for cellular phones
WO2006053271A1 (en) 2004-11-12 2006-05-18 Mok3, Inc. Method for inter-scene transitions
FR2879791B1 (fr) 2004-12-16 2007-03-16 Cnes Epic Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
US7369136B1 (en) * 2004-12-17 2008-05-06 Nvidia Corporation Computing anisotropic texture mapping parameters
US7580952B2 (en) 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
US7391899B2 (en) 2005-03-31 2008-06-24 Harris Corporation System and method for three dimensional change detection and measurement of a scene using change analysis
US20070210937A1 (en) 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
US8850011B2 (en) 2005-04-21 2014-09-30 Microsoft Corporation Obtaining and displaying virtual earth images
US7777648B2 (en) 2005-04-21 2010-08-17 Microsoft Corporation Mode information displayed in a mapping application
US7466244B2 (en) 2005-04-21 2008-12-16 Microsoft Corporation Virtual earth rooftop overlay and bounding
US8103445B2 (en) 2005-04-21 2012-01-24 Microsoft Corporation Dynamic map rendering as a function of a user parameter
US8044996B2 (en) 2005-05-11 2011-10-25 Xenogen Corporation Surface construction using combined photographic and structured light information
US7554539B2 (en) 2005-07-27 2009-06-30 Balfour Technologies Llc System for viewing a collection of oblique imagery in a three or four dimensional virtual scene
US20070035563A1 (en) 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
EP1920423A2 (en) 2005-09-01 2008-05-14 GeoSim Systems Ltd. System and method for cost-effective, high-fidelity 3d-modeling of large-scale urban environments
US7980704B2 (en) 2005-09-14 2011-07-19 Sony Corporation Audiovisual system including wall-integrated audiovisual capabilities
JP4853149B2 (ja) 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US8081827B2 (en) 2006-02-28 2011-12-20 Ricoh Co., Ltd. Compressed data image object feature extraction, ordering, and delivery
US7778491B2 (en) 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US10042927B2 (en) 2006-04-24 2018-08-07 Yeildbot Inc. Interest keyword identification
US7310606B2 (en) 2006-05-12 2007-12-18 Harris Corporation Method and system for generating an image-textured digital surface model (DSM) for a geographical area of interest
US7643673B2 (en) 2006-06-12 2010-01-05 Google Inc. Markup language for interactive geographic information system
US7712052B2 (en) 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US20080027985A1 (en) 2006-07-31 2008-01-31 Microsoft Corporation Generating spatial multimedia indices for multimedia corpuses
US20080043020A1 (en) * 2006-08-18 2008-02-21 Microsoft Corporation User interface for viewing street side imagery
US8611673B2 (en) 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
US8041730B1 (en) 2006-10-24 2011-10-18 Google Inc. Using geographic data to identify correlated geographic synonyms
US8498497B2 (en) 2006-11-17 2013-07-30 Microsoft Corporation Swarm imaging
US8542884B1 (en) 2006-11-17 2013-09-24 Corelogic Solutions, Llc Systems and methods for flood area change detection
EP2073637A4 (en) 2006-11-20 2011-12-28 Satori Pharmaceuticals Inc COMPOUNDS USEFUL FOR TREATING NEURODEGENERATIVE DISEASES
US20080143709A1 (en) 2006-12-14 2008-06-19 Earthmine, Inc. System and method for accessing three dimensional information from a panoramic image
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8593518B2 (en) 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US20080309668A1 (en) 2007-05-17 2008-12-18 Igor Borovikov Image processing method and apparatus
US7990394B2 (en) 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
CA3036872C (en) * 2007-05-25 2020-04-28 Google Llc Rendering, viewing and annotating panoramic images, and applications thereof
KR100837283B1 (ko) * 2007-09-10 2008-06-11 (주)익스트라스탠다드 터치스크린을 구비한 휴대용 단말기
US8326048B2 (en) 2007-10-04 2012-12-04 Microsoft Corporation Geo-relevance for images
US8049750B2 (en) * 2007-11-16 2011-11-01 Sportvision, Inc. Fading techniques for virtual viewpoint animations
KR100979910B1 (ko) 2008-01-29 2010-09-06 (주)멜파스 분할 투명 전극 구조를 갖는 터치스크린 패널
RU2460187C2 (ru) 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
US20090210277A1 (en) * 2008-02-14 2009-08-20 Hardin H Wesley System and method for managing a geographically-expansive construction project
JP5039922B2 (ja) 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
US20090327024A1 (en) 2008-06-27 2009-12-31 Certusview Technologies, Llc Methods and apparatus for quality assessment of a field service operation
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
JP2010086230A (ja) 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US20100085350A1 (en) 2008-10-02 2010-04-08 Microsoft Corporation Oblique display with additional detail
US8001115B2 (en) 2008-10-16 2011-08-16 The Curators Of The University Of Missouri Identifying geographic-areas based on change patterns detected from high-resolution, remotely sensed imagery
US8457387B2 (en) 2009-03-13 2013-06-04 Disney Enterprises, Inc. System and method for interactive environments presented by video playback devices
US9189124B2 (en) * 2009-04-15 2015-11-17 Wyse Technology L.L.C. Custom pointer features for touch-screen on remote client devices
KR20100122383A (ko) 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
US8274571B2 (en) 2009-05-21 2012-09-25 Google Inc. Image zooming using pre-existing imaging information
US10440329B2 (en) * 2009-05-22 2019-10-08 Immersive Media Company Hybrid media viewing application including a region of interest within a wide field of view
US9213780B2 (en) 2009-06-26 2015-12-15 Microsoft Technology Licensing Llc Cache and index refreshing strategies for variably dynamic items and accesses
JP5513806B2 (ja) * 2009-08-07 2014-06-04 株式会社 ミックウェア 連携表示装置、連携表示方法、及びプログラム
CA2754159C (en) 2009-08-11 2012-05-15 Certusview Technologies, Llc Systems and methods for complex event processing of vehicle-related information
US20110082846A1 (en) 2009-10-07 2011-04-07 International Business Machines Corporation Selective processing of location-sensitive data streams
US8159524B2 (en) 2009-11-09 2012-04-17 Google Inc. Orthorectifying stitched oblique imagery to a nadir view, and applications thereof
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
EP3032516A1 (en) * 2010-03-12 2016-06-15 Telefonaktiebolaget LM Ericsson (publ) Cellular network based assistant for vehicles
US8660355B2 (en) 2010-03-19 2014-02-25 Digimarc Corporation Methods and systems for determining image processing operations relevant to particular imagery
US8640020B2 (en) * 2010-06-02 2014-01-28 Microsoft Corporation Adjustable and progressive mobile device street view
US20110310088A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Personalized navigation through virtual 3d environments
US8488040B2 (en) 2010-06-18 2013-07-16 Microsoft Corporation Mobile and server-side computational photography
JP5842000B2 (ja) 2010-06-30 2016-01-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 表示画像のズームイン
JP5514038B2 (ja) * 2010-08-16 2014-06-04 株式会社 ミックウェア ストリートビュー自動出力装置、地図自動出力装置、ストリートビュー自動出力方法、地図自動出力方法、およびプログラム
JP5732218B2 (ja) 2010-09-21 2015-06-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US8669976B1 (en) * 2010-10-12 2014-03-11 Google Inc. Selecting and verifying textures in image-based three-dimensional modeling, and applications thereof
US8577177B2 (en) 2010-11-11 2013-11-05 Siemens Aktiengesellschaft Symmetric and inverse-consistent deformable registration
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8612465B1 (en) 2011-04-08 2013-12-17 Google Inc. Image reacquisition
JP2012222674A (ja) 2011-04-12 2012-11-12 Sony Corp 画像処理装置、画像処理方法、プログラム
AU2011202609B2 (en) 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
US20120320057A1 (en) * 2011-06-15 2012-12-20 Harris Corporation Communications system including data server storing 3d geospatial model and mobile electronic device to display 2d images based upon the 3d geospatial model
JP5800386B2 (ja) * 2011-07-08 2015-10-28 株式会社 ミックウェア 地図表示装置、地図表示方法、およびプログラム
WO2013016825A1 (en) 2011-08-02 2013-02-07 Viewsiq Inc. Apparatus and method for digital microscopy imaging
US9153062B2 (en) 2012-02-29 2015-10-06 Yale University Systems and methods for sketching and imaging
KR101339570B1 (ko) 2012-05-30 2013-12-10 삼성전기주식회사 터치 감지 방법 및 장치
US8965696B2 (en) * 2012-06-05 2015-02-24 Apple Inc. Providing navigation instructions while operating navigation application in background
US9418672B2 (en) * 2012-06-05 2016-08-16 Apple Inc. Navigation application with adaptive instruction text
KR20150034255A (ko) * 2012-07-15 2015-04-02 애플 인크. 3d 상호작용을 위한 멀티터치 제스처 인식의 명확화
JP6030935B2 (ja) * 2012-12-04 2016-11-24 任天堂株式会社 情報処理プログラム、表示制御装置、表示システム及び表示方法
US9046996B2 (en) 2013-10-17 2015-06-02 Google Inc. Techniques for navigation among multiple images
KR20150099255A (ko) * 2014-02-21 2015-08-31 삼성전자주식회사 정보 표시 방법 및 이를 이용하는 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101319908A (zh) * 2007-06-07 2008-12-10 索尼株式会社 导航装置和地图滚动处理方法
CN102460421A (zh) * 2009-06-05 2012-05-16 微软公司 滑动可变内容路径
CN102741797A (zh) * 2009-12-01 2012-10-17 诺基亚公司 用于转换三维地图对象以呈现导航信息的方法和装置
US8941685B1 (en) * 2011-03-08 2015-01-27 Google Inc. Showing geo-located information in a 3D geographical space
US8817067B1 (en) * 2011-07-29 2014-08-26 Google Inc. Interface for applying a photogrammetry algorithm to panoramic photographic images
CN104335012A (zh) * 2012-06-05 2015-02-04 苹果公司 导航期间的语音指令
CN103150759A (zh) * 2013-03-05 2013-06-12 腾讯科技（深圳）有限公司 一种对街景图像进行动态增强的方法和装置
CN105164683A (zh) * 2014-01-31 2015-12-16 谷歌公司 用于地理定位图像的***和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Smart Navigation for Street View UI;Luke Wroblewski;《http://swww.lukew.com/ff/entry.asp?830》;20090606;第1-2页 *
利用SOSO街景地图快速生成导航路线;一江春水;《电脑迷》;20130901(第9期);第75页 *

Also Published As

Publication number Publication date
JP2018538588A (ja) 2018-12-27
GB2557142A (en) 2018-06-13
JP6615988B2 (ja) 2019-12-04
GB2557142B (en) 2022-02-23
WO2017106170A3 (en) 2017-08-17
KR20200083680A (ko) 2020-07-08
US20170178404A1 (en) 2017-06-22
KR20180038503A (ko) 2018-04-16
JP6818847B2 (ja) 2021-01-20
DE112016004195T5 (de) 2018-08-02
JP2020053058A (ja) 2020-04-02
WO2017106170A2 (en) 2017-06-22
GB201803712D0 (en) 2018-04-25
EP3338057A2 (en) 2018-06-27
US10217283B2 (en) 2019-02-26
CN108450035A (zh) 2018-08-24
KR102230738B1 (ko) 2021-03-22
KR102131822B1 (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
CN108450035B (zh) 导航穿过多维图像空间
US11099654B2 (en) Facilitate user manipulation of a virtual reality environment view using a computing device with a touch sensitive surface
US20230306688A1 (en) Selecting two-dimensional imagery data for display within a three-dimensional model
CA2818695C (en) Guided navigation through geo-located panoramas
US20180007340A1 (en) Method and system for motion controlled mobile viewing
JP2014504384A (ja) ２次元画像からの３次元バーチャルツアーの生成
WO2013181032A2 (en) Method and system for navigation to interior view imagery from street level imagery
JP2012518849A (ja) 街路レベルの画像間の移行を示すシステム及び方法
WO2005069170A1 (ja) 画像ファイル一覧表示装置
US20120146896A1 (en) Continuous Determination of a Perspective
EP2788974B1 (en) Texture fading for smooth level of detail transitions in a graphics application
US9025007B1 (en) Configuring stereo cameras
US20180032536A1 (en) Method of and system for advertising real estate within a defined geo-targeted audience
CN104599310A (zh) 三维场景动画录制方法及装置
Tatzgern et al. Exploring Distant Objects with Augmented Reality.
CN116070039A (zh) 一种三维浏览器模型导航可视化方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant