CN102483859B - 全景图像显示装置和全景图像显示方法 - Google Patents

全景图像显示装置和全景图像显示方法 Download PDF

Info

Publication number
CN102483859B
CN102483859B CN201080037432.XA CN201080037432A CN102483859B CN 102483859 B CN102483859 B CN 102483859B CN 201080037432 A CN201080037432 A CN 201080037432A CN 102483859 B CN102483859 B CN 102483859B
Authority
CN
China
Prior art keywords
panoramic picture
panoramic
shooting
picture
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080037432.XA
Other languages
English (en)
Other versions
CN102483859A (zh
Inventor
古村京子
山岸建
平田真一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN102483859A publication Critical patent/CN102483859A/zh
Application granted granted Critical
Publication of CN102483859B publication Critical patent/CN102483859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Digital Computer Display Output (AREA)

Abstract

本发明提供全景图像显示装置和全景图像显示方法。标记设定部(12)在显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，使表示在该拍摄方向存在其他全景图像的标记与上述显示对象的全景图像相关联。映射处理部(14)将关联有其他全景图像的标记的上述显示对象的全景图像作为纹理而映射到三维全景空间。三维图像生成部(16)生成将显示对象的全景图像的拍摄场所作为视点位置而沿所指定的视线方向观看上述三维全景空间时的三维全景图像。用户接口部(40)接受用户对所显示的三维全景图像的指示。

Description

全景图像显示装置和全景图像显示方法
技术领域
本发明涉及显示全景图像的装置和方法。
背景技术
数码相机和数码摄像机不断普及，将所拍摄的静态图像或动态图像保存于计算机中，对其阅览、加工或者将其显示在游戏机或电视(TV)***的画面上的机会变多。另外，也广泛流行将所拍摄的动态图像上传到因特网的投稿网站上而与其他用户共享动态图像。
数码相机中也有能拍摄全景图像的相机，能简单地拍摄视角广的全景图像。另外，通过一边改变拍摄方向一边粘贴数码相机所拍摄的多张图像来生成全景图像的软件工具也被广泛使用。
也有接受用户所拍摄的这种全景图像的投稿并将其在因特网上公开发表的360cities这样的网站(http://www.360cities.net)，能够阅览全球用户所投稿的全景图像。
发明内容
发明所要解决的课题
当向网站投稿许多拍摄场所不同的全景图像时，不设法根据拍摄场所整理全景图像等，就会导致拍摄场所不同的多张全景图像只是杂乱无章地存在于网站上，不会促进全景图像的利用。
在上述的360cities的网站上，利用了通过将所投稿的全景图像粘贴在平面地图上，而能够一边检索地图上的地点一边选择地阅览在该地点所拍摄的全景图像的接口。
但是，由于拍摄场所不同的全景图像并不是彼此被直接地相关联，所以当结束阅览在某地点所拍摄的全景图像时，用户必须返回到地图显示来检索另一个地图上的地点并选择在新地点所拍摄的全景图像。
本发明是鉴于这样的课题而完成的，其目的在于，提供一种能使拍摄场所不同的全景图像彼此相关联来高效地阅览的技术。
用于解决课题的手段
为了解决上述课题，本发明的一种方式的全景图像显示装置，包括：存储部，保存关联有与拍摄场所相关的信息和与拍摄方位相关的信息的全景图像；取得部，从上述存储部取得显示对象的全景图像；标记设定部，当在上述显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，使表示在该拍摄方向存在其他全景图像的标记与上述显示对象的全景图像相关联；映射处理部，将关联有其他全景图像的标记的上述显示对象的全景图像作为纹理而映射到三维全景空间；三维图像生成部，生成在将上述显示对象的全景图像的拍摄场所作为视点位置而沿所指定的视线方向观看上述三维全景空间时的三维全景图像；显示控制部，使上述三维全景图像显示在画面上；以及接口部，接受用户对所显示的三维全景图像的指示。
本发明的另一种方式也是全景图像显示装置。该装置包括：存储部，保存关联有与拍摄场所相关的信息和与拍摄方位相关的信息的全景图像；取得部，从上述存储部取得显示对象的全景图像；标记设定部，当在上述显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，使表示在该拍摄方向存在其他全景图像的标记与上述显示对象的全景图像相关联；以及显示控制部，使关联有其他全景图像的标记的显示对象的全景图像显示在画面上。
本发明的又一种方式是全景图像显示方法。该方法包括：处理器从存储有关联有与拍摄场所相关的信息和与拍摄方位相关的信息的多张全景图像的存储设备中读出某个拍摄场所的全景图像作为显示对象的步骤；和在显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，处理器使表示在该拍摄方向存在其他全景图像的标记与显示对象的全景图像相关联之后，使显示对象的全景图像显示。
本发明的再一种方式是程序。该程序使计算机实现以下功能，包括：从保存关联有与拍摄场所相关的信息和与拍摄方位相关的信息的全景图像的存储部中取得显示对象的全景图像的功能；在上述显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，使表示在该拍摄方向存在其他全景图像的标记与上述显示对象的全景图像相关联的功能；将上述显示对象的全景图像与其他全景图像的标记一起作为纹理而映射到三维全景空间的功能；以及生成将上述显示对象的全景图像的拍摄场所作为视点位置而沿所指定的视线方向观看上述三维全景空间时的三维全景图像的功能。
此外，将以上的构成要素的任意组合在方法、装置、***、计算机程序、数据结构、记录介质等表现形式之间变换后的方案，作为本发明的实施方式也是有效的。
发明效果
根据本发明，能够高效地阅览拍摄场所或拍摄时间不同的全景图像。
附图说明
图1是实施方式的全景图像显示装置的结构图。
图2是作为与图1的全景图像显示装置相连接的输入设备的一例的控制器的结构图。
图3的(a)～(d)是说明用于拍摄全景图像的全方位拍摄***的机构和拍摄方向的图。
图4的(a)是用于说明相机200的方位角θ的图，图4的(b)是用于说明相机200的仰角的图。
图5的(a)～(c)是用于说明在相机的初始位置位于方位角θ的方向时所拍摄的全景图像的图。
图6的(a)～(c)是用于说明在相机的仰角时所拍摄的全景图像的图。
图7A是用于说明拼接多张图像而制成全景图像的方法的图。
图7B是用于说明拼接多张图像而制成全景图像的方法的图。
图8的(a)～(e)是用于说明拼接多张图像时的基于色差校正的调准(alignment)的方法的图。
图9的(a)～(c)是用于说明透镜失真的校正的图。
图10是用于说明在二维地图上的拍摄场所被显示为符号(symbol)的全景图像的图。
图11是用于说明在三维显示的地球表面上的拍摄场所被显示为符号的全景图像的图。
图12是用于说明标记被关联后的全景图像的图。
图13是示意地表示三维显示图12的标记被关联后的全景图像的情况的图。
图14是用于说明在选择了标记时被三维显示的全景图像的图。
图15是用于说明视点从某个拍摄地点向另一个拍摄地点移动时的视线方向的设定例的图。
具体实施方式
说明本发明的实施方式的概要。假设提供有在不同的拍摄位置所拍摄的多张全景图像。当将在某个拍摄位置所拍摄的全景图像选为显示对象并用阅读器阅览时，将存在在其他拍摄位置所拍摄的全景图像的情况用标记显示在显示对象的全景图像内。
全景图像中除了拍摄场所的纬度及经度信息之外，还包括与全景图像的拍摄方位相关的信息。假设在全景图像的某个拍摄方向、例如西南方向存在拍摄了另一全景图像的场所。此时，在显示对象的全景图像中，显示表示在西南方向被拍摄的地方存在另一全景图像的标记。全景图像被关联多个这种标记。
在用户用阅读器阅览显示对象的全景图像时，当选择全景图像内的标记时，则显示与标记对应的另一全景图像而取代此前正阅览的全景图像。如果在另一全景图像的特定的拍摄方向上还有另一个全景图像的拍摄场所，就会在该拍摄方向上同样地显示标记，能够通过选择标记来进一步切换到另一个全景图像。
这样，用户通过选择全景图像内所显示的标记，就能够切换全景图像来阅览，使得仿佛从某个拍摄场所时空扭曲(warp)到另一拍摄场所。
图1是实施方式的全景图像显示装置100的结构图。全景图像及附加数据存储部24保存关联有与拍摄场所相关的信息和与拍摄方位相关的信息的全景图像。与拍摄场所或拍摄方位相关的信息等附加数据可以直接附加在全景图像的数据文件中，附加数据也可以作为与全景图像不同的文件而被管理。
与拍摄场所相关的信息包含例如由GPS(Global Positioning System：全球定位***)提供的纬度及经度信息。与拍摄方位相关的信息包含例如由方位传感器等得到的全景图像的中心点的方位角的信息，除此之外，还可以包含拍摄时的相机的仰角或旋转角(roll angle)的信息。
如果被提供有全景图像的中心点的方位角作为与拍摄方位相关的信息，则能够基于在左右方向摇摆(pan)相机的角度来计算并求取出全景图像的任意点的方位。也可以使全景图像具有基于全景图像的中心点的方位角和摇摆角而计算出的位于全景图像的正北、正南、正东、正西的方位的像素的坐标值作为与拍摄方位相关的信息。
全景图像取得部10从全景图像及附加数据存储部24取得显示对象的全景图像。显示对象的全景图像除了通过用户用地图等指定拍摄场所而被确定之外，有时还通过用户指定全景图像内的标记而使得与标记对应的另一全景图像被指定为新的显示对象的全景图像。
在显示对象的全景图像的拍摄方位存在其他全景图像的拍摄场所时，标记设定部12使表示在该拍摄方位存在其他全景图像的标记与显示对象的全景图像相关联。标记设定部12能够根据显示对象的全景图像的纬度及经度信息和存储于全景图像及附加数据存储部24中的其他全景图像的纬度及经度信息来确定其他全景图像的拍摄场所位于显示对象的全景图像的哪个方位。标记作为根据拍摄位置和拍摄方位使全景图像间相关联的链接而发挥作用。为了确定链接目标的全景图像，标记可以包含链接目标的全景图像的拍摄场所的纬度及经度信息，也可以包含唯一地确定链接目标的全景图像的识别信息。
标记设定部12使标记的显示样态根据从显示对象的全景图像的拍摄场所到其他全景图像的拍摄场所的距离而不同。例如，为了使得越是位于近距离的拍摄场所的标记越显著，通过改变大小、颜色、形状等来强调显示，或者使远处的拍摄场所的标记成为半透明，或者比其他标记更靠上方显示，从而使用户感觉位于远处。
映射处理部14进行将关联有其他全景图像的标记的显示对象的全景图像作为纹理映射到三维全景空间的处理。在全向式的全景图像的情况下，假设球为三维全景空间，通过球面映射将全景图像纹理映射到球面。或者，也可以假设立方体为三维全景空间，通过立方映射将全景图像纹理映射到立方体表面。另外，在全景图像是不具有倾斜(tilt)方向的分量而仅在摇摆方向扩展的图像的情况下，也可以假设圆筒为三维全景空间，将全景图像纹理映射到圆筒面。在全景图像是不具有摇摆方向的分量而仅在倾斜方向扩展的图像的情况下也同样如此。
映射处理部14在将显示对象的全景图像作为纹理而映射到三维全景空间之后，将在该全景图像的拍摄方向已被关联的标记映射到三维全景空间。由此，标记被合成在全景图像上。
另外，映射处理部14并非一定要映射与显示对象的全景图像已关联的所有标记。其原因是，当在全景图像中合成许多标记时，有时会变得看不清楚。因此，也可以在显示对象的全景图像的同一拍摄方向或其附近集中关联有许多标记时，映射并显示汇总多个标记后的一个代表标记，在使光标(cursor)靠近时，汇总的多个标记被展开显示。另外，也可以使用作为全景图像的附加信息而提供的关键字等信息按主题对标记进行分类，仅映射符合用户的喜好的主题的标记。
三维图像生成部16生成在所指定的视线方向观看被映射处理部14纹理映射全景图像后的三维全景空间内时的三维全景图像。当三维全景空间为球时，视点被置于球的中心，当三维全景空间为立方体时，视点被置于立方体内部的中心，当三维全景空间为圆筒时，视点被置于圆筒的中心轴上。视点是拍摄了显示对象的全景图像的场所，视线方向是从该拍摄场所观看周围的方向，由方位角和仰角来确定。三维图像生成部16生成以由方位角和仰角所确定的视线方向观看三维全景空间时的三维图像。
地图生成部20参照保存于地图数据存储部26中的地图数据，在与拍摄位置对应的地球表面上的位置设定表示存在全景图像的符号，生成地球表面的地图图像。
显示控制部18使所生成的三维全景图像或地图图像显示在显示器装置的画面上。
用户接口部40是用户能使用输入设备对显示器的画面所显示的图形进行操作的图形用户接口。用户接口部40从游戏机的控制器、鼠标、键盘等输入设备接受用户对画面所显示的地图或三维全景图像的指示。图2表示作为输入设备的一例的控制器102，其结构的详细情况将在后面叙述。
当从用户接收到选择所显示的地图图像上的全景图像的符号的指示时，用户接口部40对全景图像取得部10进行指示，以使从全景图像及附加数据存储部24取得所指定的全景图像。
用户通过操作例如控制器102的模拟摇杆118或方向键组116等，就能够输入变更观看三维全景空间的视线方向的指示。用户接口部40的视线方向设定部32将用户指示的视线方向提供给三维图像生成部16。三维图像生成部16生成从所指定的视线方向观看三维全景空间时的图像。
视场角设定部31设定用户对所显示的全景图像进行变焦操作时的视场角，并向全景图像取得部10和三维图像生成部16提供所设定的视场角的信息。在视场角不同的全景图像被存储于全景图像及附加数据存储部24中时，全景图像取得部10读出与所设定的视场角最接近的视场角的全景图像，并切换显示对象的全景图像。三维图像生成部16通过按照所设定的视场角放大或缩小三维全景图像来实现拉近或拉远的视觉效果。
在全景图像中还附加有与拍摄高度相关的信息，全景图像及附加数据存储部24也可以保存针对同一拍摄位置在不同的高度所拍摄的全景图像。在这种情况下，用户通过操作例如控制器102的壳体前面的位于左侧的L1按钮161、L2按钮162，就能输入变更高度的指示。通过按下L1按钮161，就能够给予提高高度的指示，通过按下L2按钮162，就能够给予降低高度的指示。
显示控制部18也可以通过在例如画面的上部、下部示出小箭头而向用户通知具有针对当前正在显示的全景图像在同一拍摄场所下以不同的高度所拍摄的全景图像。如果在画面的上部有向上的箭头，则表示有拍摄高度比当前高的图像，如果在画面的下部有向下的箭头，则表示有拍摄高度比当前低的图像。
当从用户接收到变更高度的指示时，用户接口部40的高度设定部34对全景图像取得部10进行指示，以使从全景图像及附加数据存储部24取得在同一纬度及经度下与所指定的高度对应的全景图像。当L1按钮161被按下时，全景图像取得部10取得拍摄高度比当前正在显示的全景图像更高的全景图像，当L2按钮162被按下时，全景图像取得部10取得拍摄高度比当前正在显示的全景图像更低的全景图像。
显示控制部18也可以在切换并显示为拍摄高度不同的全景图像时对图像实施特殊的效果，例如给予用户好像在电梯中上下运行这样的感觉。例如，在切换为高度更高的全景图像时，使当前正在显示的全景图像向下旋转地显示，使得高度更高的全景图像从上方降下来，从而用户能够具有犹如来到了楼上这样的感觉。
在全景图像中还附加有与拍摄日期和时间相关的信息，全景图像及附加数据存储部24也可以保存对同一拍摄位置拍摄的拍摄日期和时间不同的全景图像。在这种情况下，用户通过操作例如控制器102的壳体前面的位于右侧的R1按钮151、R2按钮152，就能够输入变更拍摄日期和时间的指示。通过按下R1按钮151，就能够给予转移到较晚的日期和时间的指示，通过按下R2按钮152，就能够给予转移到较早的日期和时间的指示。
显示控制部18也可以通过将例如时钟或日历的图标示出在画面的角落而向用户通知存在对当前正在显示的全景图像在不同的日期和时间所拍摄的全景图像。当存在早晨、白天、夜晚等时间带不同的全景图像时，显示时钟的图标，当存在春、夏、秋、冬等季节不同的全景图像时，显示日历的图标。
在从用户接收到变更日期和时间的指示时，用户接口部40的日期和时间设定部36对全景图像取得部10进行指示，以使从全景图像及附加数据存储部24取得在同一拍摄位置下与所指定的日期和时间对应的全景图像。当R1按钮151被按下时，全景图像取得部10取得拍摄日期和时间比当前正在显示的全景图像更晚的全景图像，当R2按钮152被按下时，全景图像取得部10取得拍摄日期和时间比当前正在显示的全景图像更早的全景图像。
由此，即使在例如同一拍摄场所下，也能够切换为时间带或季节等不同的全景图像，例如从在早晨的时间带所拍摄的全景图像切换到在夜晚的时间带所拍摄的全景图像，或者从春季所拍摄的全景图像切换到秋季所拍摄的全景图像等。显示控制部18也可以在切换全景图像时对图像实施淡入、淡出等效果。
当用户选择与所显示的全景图像已关联的标记时，用户接口部40的标记选择部38对视点位置设定部30给予将与所选择的标记对应的另一全景图像的拍摄场所设定为新的视点位置的指示。视点位置设定部30对全景图像取得部10进行指示，使得从全景图像及附加数据存储部24取得与新的视点位置对应的全景图像、即用标记所确定的另一全景图像。另外，视点位置设定部30将新的视点位置通知给三维图像生成部16。
进而，标记选择部38也能对视线方向设定部32给出在从当前正在显示的全景图像切换到用标记所确定的另一全景图像时将视线方向设定为预定的方向以使视线方向被固定在一定的方向的指示。例如，标记选择部38可以对视线方向设定部32进行指示，使得将初始视线方向设定为从当前的全景图像的拍摄位置观看用标记所确定的另一全景图像的拍摄位置的方向。或者，也可以指示为将初始视线方向设定为从用标记所确定的另一全景图像的拍摄位置回看当前的全景图像的拍摄位置的方向。
视线方向设定部32将所指定的视线方向提供给三维图像生成部16。在切换全景图像时，三维图像生成部16生成从由视线方向设定部32指定的视线方向观看三维全景空间时的图像。由此，用户能够将视线方向设定为设定有标记的方位、或将视线方向设定为回看选择标记前所观看的全景图像的拍摄场所的方向，来观看新的全景图像。
图2是作为与图1的全景图像显示装置100连接的输入设备的一例的控制器102的结构图。作为一例，全景图像显示装置100可以是游戏机。
控制器102具有用于对全景图像显示装置100进行输入操作的多个按钮或键。当用户操作控制器102的按钮或键时，该输入操作通过无线或有线被发送到全景图像显示装置100。
在控制器102的壳体上面122设置有方向键组116、模拟摇杆118、操作按钮组120。方向键组116包括“上”、“下”、“左”、“右”的方向指示键。操作按钮组120包括○按钮124、×按钮126、□按钮128以及△按钮130。
用户通过用左手握住左侧把手部134b、用右手握住右侧把手部134a来操作壳体上面122上的方向键组116、模拟摇杆118以及操作按钮组120。
进而，在控制器102的壳体前面设置有右侧操作部150和左侧操作部160。右侧操作部150包括R1按钮151和R2按钮152，左侧操作部160包括L1按钮161和L2按钮162。
用户能够通过操作方向键组116而使画面上的所显示的指针移动到上下左右各方向。例如，当要选择全景图像内所显示的多个标记中的任意一个时，能够通过操作方向键组116而在画面上在多个标记间移动。当指针位于所希望的标记上时，用户能够通过按下○按钮124来选择该标记。
也可以通过全景图像显示应用程序对操作按钮组120的各按钮分别分配不同的功能。例如，对△按钮130分配指定菜单的显示的功能，对×按钮126分配指定所选择的项目的取消等的功能，对○按钮124分配指定所选择的项目的确定等的功能，对□按钮128分配指定目录等的显示/不显示的功能。
模拟摇杆118具备在被用户倾倒操作时输出模拟值的装置。控制器102将与使模拟摇杆118倾倒时的方向和量相应的模拟输出信号发送到全景图像显示装置100。例如，用户能够通过使模拟摇杆118倾倒到所希望的方向而在显示器所显示的三维全景图像内使视点移动到所希望的方向。
在壳体上面122还设置有带LED按钮136、选择按钮140、启动按钮138。带LED按钮136例如作为用于使显示器显示菜单画面的按钮而被使用。启动按钮138是用于用户指示全景图像显示应用的启动、全景图像的开始再现、暂时停止等的按钮。选择按钮140是用于用户指示显示器所显示的菜单显示的选择等的按钮。
图3的(a)～(d)是说明用于拍摄全景图像的全方位拍摄***230的机构和拍摄方向的图。
如图3的(d)所示，在全方位拍摄***230中，相机200被固定在操作盘210上，能够通过使操作盘210绕Z轴旋转来改变相机的摇摆角，通过使其绕X轴旋转来改变相机的倾斜角，通过使其绕Y轴旋转来改变相机的旋转角。在此，Z轴是铅直轴(重力方向轴)。
图3的(a)是设置于操作盘210上的相机200的俯视图，将操作盘的初始位置(Y轴方向)设为摇摆角0°，能绕Z轴在-180°～+180°的范围内改变摇摆角。
图3的(b)是设置于操作盘210上的相机200的主视图，将操作盘210被水平放置的状态设为旋转角0°，能绕Y轴在-180°～+180°的范围内改变旋转角。
图3的(c)是设置于操作盘210上的相机200的侧视图，将操作盘210被水平放置的状态设为倾斜角0°，能绕X轴在-90°～+90°的范围内改变倾斜角。
为了在由图3的(d)的全方位拍摄***230所拍摄的全景图像中附加与拍摄方位相关的信息，需要预先记录相机200在拍摄时朝向哪个方位。因此，全方位拍摄***230具备用于测定方位的方位传感器和用于测定倾斜角的加速度传感器等。进而，为了测定拍摄位置和拍摄时间，还具备GPS传感器等。
图4的(a)是用于说明相机200的方位角θ的图，图4的(b)是用于说明相机200的仰角的图。图4的(a)是相机200的俯视图，相机200在拍摄的初始位置朝向从正北向东偏移了方位角θ的方向220，该方向相当于摇摆角0°。即，摇摆角的基准方向220的方位角为θ。在拍摄全景图像时，一边相对于该方位角θ的基准方向220在-180°～+180°的范围内改变摇摆角，一边全景拍摄被拍物体。
图4的(b)是相机200的侧视图，仰角是在使相机200绕X轴旋转时相对于倾斜0°的方向即Y轴方向将上方向定义为正的角度。通常，由于将相机200设定在水平位置进行拍摄，所以仰角但为了拍摄全向式的全景图像，就需要使相机倾斜而改变仰角来拍摄被拍物体。
图5的(a)～(c)是用于说明在相机200的初始位置位于方位角θ的方向时所拍摄的全景图像的图。
如图5的(a)的俯视图所示，相机200在初始位置朝向方位角θ的方向220，如图5的(b)的侧视图所示，相机200的仰角为0°。保持仰角地一边相对于基准方向220使相机200的摇摆角在-180°到+180°的范围内变化，一边拍摄仰角的全方位的全景图像。图5的(c)表示这样拍摄的全景图像300。全景图像300的中心为摇摆角0°，全景图像300的左半部分是在0°到-180°的范围内改变摇摆角而拍摄到的图像，右半部分是在0°到180°的范围内改变摇摆角而拍摄到的图像。
全景图像300的摇摆角0°的中心位置从正北向东偏移了方位角θ，因此，北(N)、南(S)、东(E)、西(W)的位置变成用虚线表示的地方。只要全景图像300具有摇摆角0°的中心位置的方位角θ作为与拍摄方位相关的信息，北(N)、南(S)、东(E)、西(W)的像素位置就能考虑方位角θ的偏移地通过计算而求出。或者，也取代方位角θ，而是将北(N)、南(S)、东(E)、西(W)的像素位置的坐标值作为与拍摄方位相关的信息。
为了得到全向式的全景图像，需要改变相机200的仰角来拍摄。例如，当假设相机200的视场角为60°时，原理上如果使相机200沿上下方向倾斜±60°后，一边在-180°～180°的范围内改变摇摆角，一边进行同样的拍摄，就能得到全向式的全景图像。
图6的(a)～(c)是用于说明在相机200的仰角时所拍摄的全景图像的图。如图6的(a)的俯视图所示，相机200在初始位置朝向方位角θ的方向220，如图6的(b)的侧视图所示，相机200的仰角为60°。保持为仰角地一边相对于基准方向220使相机200的摇摆角在-180°到+180°的范围内变化，一边拍摄如图6的(c)所示那样的仰角的全景图像302。
同样地，将相机200的仰角保持为地一边使摇摆角在-180°到+180°的范围内变化，一边拍摄仰角时的全景图像。如果组合仰角60°、-60°的全景图像，则能得到全向式的全景图像。但是，在实际安装上，为了校正由于透镜的失真而导致在粘贴图像时在视场角的边界部分产生的失配，往往采用使边界附近富有余量地拍摄的方法。
在这样得到的全向式的全景图像中附加有方位角和仰角的信息，能够根据该信息确定全景图像的任意像素的方位和仰角。另外，在全景图像中还附加通过GPS测定出的纬度及经度信息作为拍摄场所的位置信息。作为一例，要附加于全景图像中的附加信息可以按照被称作Exif(Exchangeable ImageFile Format：可交换图像文件)的图像文件的标准进行记录。能够将拍摄场所的地名记录为文件名的一部分，将拍摄日期和时间、拍摄场所的纬度及经度、高度、方位角等作为Exif格式的数据来记录。仰角在Exif格式中没有被定义，作为扩展数据来记录。
图7A和图7B是用于说明拼接多张图像而制成全景图像的方法的图。
在图7A的例子中，将一边使相机200倾斜(或摇摆)一边拍摄到的7张图像341～347映射于圆筒后，将其拼接而制成圆筒状的图像340。拼接图像时，使图像的边界附近重叠。
如图7B所示，通过使相机200摇摆(或倾斜)来拍摄，能在摇摆(或倾斜)方向得到多张图7A中示出的圆筒状的图像。通过使图像的边界附近重叠地合成这些圆筒状的图像340a～340f，最终能够得到全方位的全景图像360。
图8的(a)～(e)是用于说明拼接多张图像时的基于色差校正的调准(alignment)的方法的图。
在使多张图像在边界附近重叠而生成全景图像时，在重叠部分产生由透镜失真导致的失配。例如，只是使图8的(a)所示的2张图像350、352平行移动来拼接，就会如图8的(b)那样，在重叠部分图像没有完好地重叠在一起。因此，通过如图8的(c)～图8的(e)所示那样使一方图像352进一步旋转，探索两张图像350、352的重叠部分的像素的色差变得最小的配置(调准)。该例中，在图8的(e)的配置中重叠部分的色差最小。在拼接图7A和图7B中说明过的多张图像时，通过使图像平行移动并旋转来进行色差校正，求出最佳的调准来合成图像。
图9的(a)～(c)是用于说明透镜失真的校正的图。拍摄图像通常产生如图9的(a)那样的桶型失真或如图9的(b)那样的枕型失真。因此，在制作全景图像时，如图9的(c)那样校正光学性的失真。由于对校正失真后的全景图像关联标记，所以标记表示的方向和关联标记后的全景图像上的位置所示的拍摄方向大致准确地一致，几乎不会受到由透镜失真产生的误差的影响。
图10是用于说明在二维地图上的拍摄场所被显示为符号的全景图像的图。当存在在南美洲的地点A、B、C所拍摄的全景图像时，地图生成部20生成在南美洲的地图上的地点A、B、C合成全景图像的符号400a、400b、400c后的地图图像。该符号是全景图像的缩略图像或图标等。所显示的地图也能够变更比例尺。用户一边阅览地图，一边选择在所希望的地点所拍摄的全景图像。
地图生成部20也可以三维地显示地球，在地球表面上的地点符号显示全景图像。图11是用于说明在三维显示的地球的表面上的拍摄场所被显示为符号的全景图像的图。与图10同样地，三维显示有在南美洲的地点A、B、C合成全景图像的符号400a、400b、400c后的图像。用户一边使地球旋转，一边选择在所希望的地点所拍摄的全景图像。当指定地球的某个地点而拉近时，地图被放大显示。在放大显示时，有时也自动地转移到如图10那样的二维地图。
图12是用于说明标记被关联后的全景图像的图。在此，以图10或图11的拍摄地点A的全景图像300为例进行说明。从拍摄地点A来看，拍摄地点B位于东南方向，拍摄地点C位于西南方向。在拍摄地点A的全景图像300中，用于表示在东南方向有拍摄地点B的全景图像、在西南方向有拍摄地点C的全景图像的标记310、312被关联。与拍摄地点B对应的标记310被关联到全景图像300的东南方位的像素位置，与拍摄地点C对应的标记312被关联到全景图像300的西南方位的像素位置。由于拍摄地点B位于比拍摄地点C更靠近拍摄地点A的位置，所以与拍摄地点B对应的标记310比与拍摄地点C对应的标记312更强调地显示。例如，增大标记的尺寸，或者加深标记的颜色。
图13是示意地表示三维显示图12的标记被关联后的全景图像300的情况的图。拍摄地点A的全景图像300被纹理映射到球面或圆筒面等三维全景空间，从视点500沿视线方向510观看三维全景空间时的三维图像被显示在画面上。当使视线方向510朝向东南方向时，则看到全景图像300上被关联的拍摄地点B的标记310，当使视线方向510朝向西南方向时，则看到拍摄地点C的标记312。
在图13中，假设用户选择了拍摄地点B的标记310。此时，显示拍摄地点B的全景图像320来取代此前所显示的拍摄地点A的全景图像300。
图14是用于说明在选择了拍摄地点B的标记310时被三维显示的拍摄地点B的全景图像320的图。在拍摄地点B的全景图像320中也同样地，表示存在其他拍摄地点的全景图像的标记被关联，在此显示有拍摄地点C的标记312。
在从拍摄地点A的全景图像300切换到拍摄地点B的全景图像320时，也可以将用户的视线方向510设定为从拍摄地点A观看拍摄地点B的方向、即东南方向。由此，用户能具有一边观看从拍摄地点A朝向拍摄地点B的方向一边就时空扭曲到拍摄地点B这样的感觉。
图15是用于说明视点500从拍摄地点A向拍摄地点B移动时的视线方向510的其他设定例的图。在该例中，当从拍摄地点A的全景图像300切换到拍摄地点B的全景图像320时，将用户的视线方向510设定为从拍摄地点B回看拍摄地点A的方向、即西北方向。由此，当视点500移动到拍摄地点B时，用户看见背面的全景图像322而不是正面的全景图像320。
在背面的全景图像322中，在西北方向的位置关联与拍摄地点A对应的标记314，用户移动到拍摄地点B时，眼前看到之前所在的拍摄地点A的标记314。用户能具有在从拍摄地点A时空扭曲到拍摄地点B时犹如正回看拍摄地点A这样的感觉。另外，当用户返回到拍摄地点A而想要再次阅览拍摄地点A的全景图像300时，眼前正显示着拍摄地点A的标记314，因此能够立刻选择拍摄地点A的标记314而切换为拍摄地点A的全景图像300。
说明另一个视线方向510的设定例。假设移动目标的拍摄地点的全景图像不是全方位图像而是只拍摄了一部分摇摆角的范围。当将移动目标的视线方向510如上述那样设定为看见移动目标地的方向或回看移动起始地的方向时，有时在移动目标地的全景图像中不存在该方向的拍摄图像，在这种情况下导致显示空白的画面。为了避免变成空白画面，移动目标地的全景图像的初始的视线方向510也可以设定为移动目标地的全景图像的摇摆角0°的方向。或者，也可以预先将移动目标地的全景图像的视线方向510决定为所希望的方向。该所希望的方向可以由用户决定，或者也可以在***侧例如自动地设定为在该全景图像中被推荐的视线方向等。
如以上所述那样，根据本实施方式的全景图像显示装置，在提供有多张拍摄场所不同的全景图像时，全景图像被关联，使得能在视觉上确认在某个全景图像的拍摄方向存在其他全景图像的拍摄场所。由此，能够如同从某个拍摄场所时空扭曲到另一拍摄场所那样地切换显示全景图像。
以上基于实施方式说明了本发明。实施方式仅为示例，本领域技术人员当理解可对它们的各构成要素或各处理工序的组合实现各种变形例，而且这些变形例也落入本发明的范围内。
也可以构成为在如图10或图11那样在地图上的拍摄地点显示全景图像的符号的画面中能显示全景图像的预览。预览例如采用以缩略图像的形式显示全景图像的一部分，并在缩略图像框中使摇摆角或倾斜角逐渐变化而能够阅览全景图像的整体的形式。另外，也可以在这样显示全景图像的预览时，用箭头等来显示摇摆角的方向在地图上是哪个方位角。
在上述说明中，将关联有标记的全景图像映射到球面等三维全景空间，将从所指定的视线方向观看三维全景空间时的三维全景图像显示在画面上，但也可以仅二维地显示关联有标记的全景图像。在这种情况下，不需要映射处理部14和三维图像生成部16的结构，能够简化全景图像显示装置100。在这种情况下，当用户选择被二维显示的全景图像的标记时，也切换并显示为与标记对应的全景图像。
全景图像不限于用如图3那样的全方位拍摄***所拍摄的图像，也可以是使用鱼眼镜头所拍摄的图像、或将一边改变拍摄方向一边用通常的数码相机所拍摄的多张图像合成后的图像。
在上述说明中，标记设定部12将合成标记之前的全景图像映射到三维全景空间之后，将标记映射到三维全景空间，由此在三维全景图像上重叠显示标记。作为在全景图像上合成标记的另一种方法，也可以在映射处理部14对显示对象的全景图像上合成标记后，映射处理部14将合成标记后的全景图像纹理映射到三维全景空间。总之，只要对显示对象的全景图像关联应显示标记的位置，就能在任意阶段对显示对象的全景图像合成标记，而且，也能够不合成所有的标记而适当地选择要合成的标记后进行合成。另外，也可以在新拍摄的全景图像被登录在全景图像及附加数据存储部24中时，将新登记的全景图像的标记追加显示在已被显示的全景图像中。
在全景图像内显示标记时，即使在拍摄地点A和拍摄地点B的纬度相同且拍摄地点B位于拍摄地点A的东侧的情况下，当拍摄地点B位于另一国家时，也可以改变拍摄地点B的标记的显示样态。例如，当用标记显示在与所显示的全景图像的拍摄国家不同的国家所拍摄的全景图像时，用拍摄地点的国家的国旗来表示标记的形状。另外，在从拍摄地点A来看拍摄地点B位于地球的背面这样的情况下，也可以在拍摄地点A的全向式的全景图像的底部显示拍摄地点B的标记。
标号说明
10全景图像取得部；12标记设定部；14映射处理部；16三维图像生成部；18显示控制部；20地图生成部；24全景图像及附加数据存储部；26地图数据存储部；30视点位置设定部；32视线方向设定部；34高度设定部；36日期和时间设定部；38标记选择部；40用户接口部；100全景图像显示装置；200相机。
工业可利用性
能用于显示全景图像的装置及方法。

Claims (4)

1.一种全景图像显示装置，其特征在于，包括：
存储部，保存关联有与拍摄场所相关的信息和与拍摄方位相关的信息的全景图像；
取得部，从上述存储部取得显示对象的全景图像；
标记设定部，当在上述显示对象的全景图像的拍摄方向存在其他全景图像的拍摄场所时，使表示在该拍摄方向存在其他全景图像的标记与上述显示对象的全景图像相关联；
映射处理部，将关联有其他全景图像的标记的上述显示对象的全景图像作为纹理而映射到三维全景空间；
三维图像生成部，生成在将上述显示对象的全景图像的拍摄场所作为视点位置而沿所指定的视线方向观看上述三维全景空间时的三维全景图像；
显示控制部，使上述三维全景图像显示在画面上；以及
接口部，接受用户对所显示的三维全景图像的指示；
其中，上述存储部所保存的全景图像还被关联有与拍摄高度相关的信息，上述存储部保存针对同一拍摄场所在不同的高度所拍摄的全景图像；
上述接口部在接收到变更高度的指示时，将在同一拍摄场所下与所指定的高度对应的全景图像设定为新的显示对象的全景图像。
2.根据权利要求1所述的全景图像显示装置，其特征在于，
还包括地图图像生成部，其在与拍摄场所对应的地球表面上的地点设定表示存在全景图像的符号来生成地图图像；
上述显示控制部使上述地图图像显示在画面上；
上述接口部在接收到选择所显示的上述地图图像上的全景图像的符号的指示时，将与所选择的符号对应的全景图像设定为显示对象的全景图像。
3.根据权利要求1所述的全景图像显示装置，其特征在于，
上述标记设定部使与上述显示对象的全景图像相关联的其他全景图像的标记的显示样态按照从上述显示对象的全景图像的拍摄场所到其他全景图像的拍摄场所的距离的不同而不同。
4.根据权利要求1所述的全景图像显示装置，其特征在于，
上述存储部所保存的全景图像还被关联有与拍摄日期和时间相关的信息，上述存储部保存针对同一拍摄场所的拍摄日期和时间不同的全景图像；
上述接口部在接收到变更日期和时间的指示时，将在同一拍摄场所下与所指定的日期和时间对应的全景图像设定为新的显示对象的全景图像。
CN201080037432.XA 2009-09-29 2010-05-19 全景图像显示装置和全景图像显示方法 Active CN102483859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-225305 2009-09-29
JP2009225305A JP5464955B2 (ja) 2009-09-29 2009-09-29 パノラマ画像表示装置
PCT/JP2010/003362 WO2011039904A1 (ja) 2009-09-29 2010-05-19 パノラマ画像表示装置およびパノラマ画像表示方法

Publications (2)

Publication Number Publication Date
CN102483859A CN102483859A (zh) 2012-05-30
CN102483859B true CN102483859B (zh) 2015-04-01

Family

ID=43825758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080037432.XA Active CN102483859B (zh) 2009-09-29 2010-05-19 全景图像显示装置和全景图像显示方法

Country Status (5)

Country Link
US (2) US9251561B2 (zh)
EP (1) EP2485191A4 (zh)
JP (1) JP5464955B2 (zh)
CN (1) CN102483859B (zh)
WO (1) WO2011039904A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
US8836714B2 (en) * 2010-10-29 2014-09-16 The University Of Utah Research Foundation Rapid, interactive editing of massive imagery data
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2013069050A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659304B2 (ja) 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5865388B2 (ja) 2011-11-07 2016-02-17 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5337905B2 (ja) * 2011-12-26 2013-11-06 公益財団法人日本交通管理技術協会 速度計測システム、速度計測方法及びプログラム
JP6186775B2 (ja) 2012-05-31 2017-08-30 株式会社リコー 通信端末、表示方法、及びプログラム
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
JP5881827B2 (ja) 2012-06-11 2016-03-09 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
EP2860963B1 (en) 2012-06-11 2019-05-22 Sony Interactive Entertainment Inc. Image generation device, and image generation method
JP5828038B2 (ja) 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
US9488489B2 (en) 2012-09-28 2016-11-08 Google Inc. Personalized mapping with photo tours
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
CN104063796B (zh) * 2013-03-19 2022-03-25 腾讯科技（深圳）有限公司 对象信息展示方法、***及装置
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
US10229477B2 (en) 2013-04-30 2019-03-12 Sony Corporation Image processing device, image processing method, and program
JP6228392B2 (ja) * 2013-05-31 2017-11-08 任天堂株式会社 パノラマ画像表示プログラム、パノラマ画像表示装置、パノラマ画像表示システム、および、パノラマ画像表示方法
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US9244940B1 (en) * 2013-09-27 2016-01-26 Google Inc. Navigation paths for panorama
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
CN103747230A (zh) * 2013-12-11 2014-04-23 深圳先进技术研究院 动态定位视频电子地图投影***和方法
JP2015125002A (ja) * 2013-12-25 2015-07-06 株式会社ズームスケープ 計測用画像撮影方法及び画像計測プログラム
JP5835384B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP5835383B2 (ja) 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
US9189839B1 (en) 2014-04-24 2015-11-17 Google Inc. Automatically generating panorama tours
US9002647B1 (en) 2014-06-27 2015-04-07 Google Inc. Generating turn-by-turn direction previews
US9418472B2 (en) 2014-07-17 2016-08-16 Google Inc. Blending between street view and earth view
CN105635651B (zh) * 2014-10-29 2019-05-24 浙江大华技术股份有限公司 一种球机定位方法及装置
EP3232331A4 (en) * 2014-12-08 2017-12-20 Ricoh Company, Ltd. Image management system, image management method, and program
US10178325B2 (en) 2015-01-19 2019-01-08 Oy Vulcan Vision Corporation Method and system for managing video of camera setup having multiple cameras
JP5987931B2 (ja) 2015-02-09 2016-09-07 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US9609176B2 (en) * 2015-08-27 2017-03-28 Nokia Technologies Oy Method and apparatus for modifying a multi-frame image based upon anchor frames
CN106548516B (zh) * 2015-09-23 2021-05-14 清华大学 三维漫游方法和装置
CN109074629A (zh) * 2015-10-29 2018-12-21 Oy沃肯视觉有限公司 使用联网照相机对关注的区域进行视频摄像
CN105898272A (zh) * 2015-12-28 2016-08-24 乐视致新电子科技（天津）有限公司 360度图像加载方法、加载模块及移动终端
CN105491353B (zh) * 2016-01-15 2018-12-18 广东小天才科技有限公司 一种远程监控方法和装置
CN107333051B (zh) * 2016-04-28 2019-06-21 杭州海康威视数字技术股份有限公司 一种室内全景视频生成方法及装置
WO2017195881A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
CN106296589B (zh) * 2016-08-26 2020-12-04 北京疯景科技有限公司 全景图像的处理方法及装置
CN106485772B (zh) * 2016-09-30 2019-10-15 北京百度网讯科技有限公司 全景切换方法及***
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
CN106604102B (zh) * 2016-11-29 2019-06-28 广州华多网络科技有限公司 直播记录图片展示方法及装置
US10614606B2 (en) * 2016-11-30 2020-04-07 Ricoh Company, Ltd. Information processing apparatus for creating an animation from a spherical image
CN106780602B (zh) * 2016-12-05 2019-09-17 浙江华睿科技有限公司 一种枪球定位方法及装置
US10419669B2 (en) 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
KR101810671B1 (ko) 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
EP3633985B1 (en) * 2017-05-24 2023-02-15 Furuno Electric Co., Ltd. Video generation device
CN107689030A (zh) * 2017-09-18 2018-02-13 上海联影医疗科技有限公司 一种图像处理的方法及装置
CN107608605A (zh) * 2017-09-28 2018-01-19 北京金山安全软件有限公司 一种图像的显示方法、装置、电子设备及存储介质
US20190104282A1 (en) * 2017-09-29 2019-04-04 Sensormatic Electronics, LLC Security Camera System with Multi-Directional Mount and Method of Operation
KR102076139B1 (ko) * 2017-09-29 2020-02-11 에스케이 텔레콤주식회사 360 영상 라이브 스트리밍 서비스 방법 및 서버장치
JP7085865B2 (ja) * 2018-03-09 2022-06-17 キヤノン株式会社 画像処理装置、画像処理方法
JP6718928B2 (ja) * 2018-07-31 2020-07-08 株式会社コロプラ 映像出力システム
EP3877865A4 (en) 2018-12-28 2021-11-24 Zhejiang Dahua Technology Co., Ltd. IMAGE DISPLAY SYSTEMS AND METHODS
CN110740263B (zh) * 2019-10-31 2021-03-12 维沃移动通信有限公司 一种图像处理方法和终端设备
CN113052753B (zh) * 2019-12-26 2024-06-07 百度在线网络技术（北京）有限公司 全景拓扑结构的生成方法、装置、设备及可读存储介质
CN111107323B (zh) * 2019-12-30 2021-06-04 徐书诚 一种实现全景影像单屏环视窗显示计算机***
CN111586426B (zh) * 2020-04-30 2022-08-09 广州方硅信息技术有限公司 全景直播的信息展示方法、装置、设备及存储介质
CN111667591B (zh) * 2020-06-15 2024-02-27 常州市规划设计院 基于全景摄影的虚拟现实融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008147561A2 (en) * 2007-05-25 2008-12-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
WO2009112088A1 (en) * 2008-03-14 2009-09-17 Sony Ericsson Mobile Communications Ab Device, method, and system for displaying data recorded with associated position and direction information

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4082546B2 (ja) * 2000-02-17 2008-04-30 株式会社リコー ３次元仮想空間構築システム
JP3910794B2 (ja) * 2000-11-14 2007-04-25 株式会社エヌ・ティ・ティ・ドコモ 映像検索ファイル作成方法およびホームページ更新方法
JP2004325459A (ja) * 2004-05-31 2004-11-18 Toshiba Corp 位置情報表示装置、位置情報管理システムおよび位置情報管理方法
JP4137923B2 (ja) * 2005-07-11 2008-08-20 富士通株式会社 画像表示方法および装置
JP4853149B2 (ja) 2005-09-14 2012-01-11 ソニー株式会社 画像処理装置、画像表示装置、画像処理方法、プログラムおよび記録媒体
US20080079808A1 (en) * 2006-09-29 2008-04-03 Jeffrey Michael Ashlock Method and device for collection and application of photographic images related to geographic location
WO2008044607A1 (fr) * 2006-10-04 2008-04-17 Nikon Corporation Caméra électronique
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US9037599B1 (en) * 2007-05-29 2015-05-19 Google Inc. Registering photos in a geographic information system, and applications thereof
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
JP2009093294A (ja) 2007-10-04 2009-04-30 Victor Co Of Japan Ltd 画像情報管理システムおよび画像登録閲覧装置
US20100004566A1 (en) * 2008-01-11 2010-01-07 Esoles, L,L.C. Intelligent orthotic insoles
AU2009260486B2 (en) * 2008-05-28 2014-08-21 Google Llc Motion-controlled views on mobile computing devices
CN103324386A (zh) * 2008-08-22 2013-09-25 谷歌公司 移动设备上的三维环境中的导航
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
US20110099507A1 (en) * 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
JP5701967B2 (ja) 2013-12-16 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 画像表示装置および画像表示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008147561A2 (en) * 2007-05-25 2008-12-04 Google Inc. Rendering, viewing and annotating panoramic images, and applications thereof
WO2009112088A1 (en) * 2008-03-14 2009-09-17 Sony Ericsson Mobile Communications Ab Device, method, and system for displaying data recorded with associated position and direction information

Also Published As

Publication number Publication date
EP2485191A4 (en) 2016-03-09
CN102483859A (zh) 2012-05-30
JP5464955B2 (ja) 2014-04-09
WO2011039904A1 (ja) 2011-04-07
US10298839B2 (en) 2019-05-21
EP2485191A1 (en) 2012-08-08
US9251561B2 (en) 2016-02-02
US20120200665A1 (en) 2012-08-09
US20160100104A1 (en) 2016-04-07
JP2011076249A (ja) 2011-04-14

Similar Documents

Publication Publication Date Title
CN102483859B (zh) 全景图像显示装置和全景图像显示方法
CN103155538B (zh) 图像显示装置及图像显示方法
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US20190149732A1 (en) Digital 3d/360 degree camera system
CN103141079B (zh) 图像生成装置及图像生成方法
CN103141078A (zh) 图像显示装置及图像显示方法
CN106663336A (zh) 图像生成装置和图像生成方法
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP5701967B2 (ja) 画像表示装置および画像表示方法
JP4468794B2 (ja) 表示制御装置、カメラ及び表示制御方法
JP2019185757A (ja) 画像処理装置、撮影システム、画像処理方法、及びプログラム
JP6122991B2 (ja) 画像表示装置および画像表示方法
CN111210514B (zh) 一种将照片批量融合到三维场景中的方法
JP2022042249A (ja) プログラム、情報処理装置及び情報処理方法
JP5920857B2 (ja) 画像表示装置および画像表示方法
JPH1173489A (ja) 画像保存方法及び機械読み取り可能媒体
JP5646033B2 (ja) 画像表示装置および画像表示方法
JP2019087984A (ja) 情報処理装置、撮像システム、プログラム
JP2024017224A (ja) 情報処理装置、入出力装置、情報処理システム、情報処理方法、入出力方法、およびプログラム
JP2021125225A (ja) 画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant