CN107665231A - 定位方法和*** - Google Patents

定位方法和*** Download PDF

Info

Publication number
CN107665231A
CN107665231A CN201710569009.8A CN201710569009A CN107665231A CN 107665231 A CN107665231 A CN 107665231A CN 201710569009 A CN201710569009 A CN 201710569009A CN 107665231 A CN107665231 A CN 107665231A
Authority
CN
China
Prior art keywords
image
computing device
portable computing
orientation
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710569009.8A
Other languages
English (en)
Inventor
汤姆·坎贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asia Pacific Pte Ltd
Original Assignee
Asia Pacific Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asia Pacific Pte Ltd filed Critical Asia Pacific Pte Ltd
Publication of CN107665231A publication Critical patent/CN107665231A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
    • A63J25/00—Equipment specially adapted for cinemas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/48—Starting a game, e.g. activating a game device or waiting for other players to join a multiplayer session
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)

Abstract

本发明涉及一种确定便携式计算设备在物理区域内的位置的方法。所述方法包括：所述便携式计算设备上的相机捕获所述物理区域内所显示的图像的至少一部分，将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配，利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相机位置和取向以及利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。还披露了一种定位***和软件。

Description

定位方法和***
发明领域
本发明属于位置检测领域。更具体地，但非排他性地，本发明涉及在 物理区域内对便携式计算设备进行定位。
背景技术
确定便携式计算设备的位置从而为用户提供附加服务或功能，或从而 向各种服务提供所述用户的位置可以是有用的。
存在多种用于确定便携式计算设备的位置的***。许多便携式计算设 备(比如智能电话)包括GPS(全球定位***)模块。GPS的操作是众 所周知的。在GPS模块处从多个轨道卫星接收到的信号被用来对设备的 位置进行三角测量。GPS的一个缺点是GPS模块必须能够清楚地且无反 射地从卫星接收信号。而且，使用中的GPS信号的准确度通常在5米以 内。
对GPS***的一项更改是利用来自本地蜂窝塔的信号来提高位置确 定的准确度和速度的辅助GPS。然而，这要求蜂窝式覆盖并且仍要求从 GPS卫星接收信号的能力。
更准确地确定用户设备的位置将是有用的。具体地针对体育场、电影 院、观众厅、或要求准确度但GPS信号可能不可靠、失真或不可用的其 他物理区域内的应用。
一种用于确定用户设备在所就座的观众厅(比如体育馆或电影院)内 的位置的方法是通过利用用户的座位号和查找表来确定用户的物理位置。 这种方法要求所有观众厅的就坐布局都是已知的并且还会要求用户输入 其座位号。
除了位置以外，确定便携式计算设备的取向会有所帮助。目前，这通 常是通过利用设备的指南针、加速度计、和陀螺仪模块进行的。这些技术 的一个缺点在于：所述模块需要被用户频繁地重新校准以提供准确的数 据。
游戏控制台(比如Xbox Kinect)利用了另一种用于确定用户位置的 方法。XboxKinect使用IR(红外线)投影仪和相机来形成对玩家位置的 3D评估。Xbox Kinect的缺点是它仅在几米内起作用并且要求专业的硬 件。
期望一种用于在物理区域内对便携式计算设备进行定位的改进方法。
本发明的目的是提供一种用于在物理区域内对便携式计算设备进行 定位的方法和***，所述方法和***克服了现有技术的缺点，或者至少提 供了有用的替代方案。
发明内容
根据本发明的第一方面，提供了一种确定便携式计算设备在物理区域 内的位置的方法，包括：
a.所述便携式计算设备上的相机捕获所述物理区域内所显示的图 像的至少一部分；
b.将所述捕获的图像与具有预先存储的图像信息的数据库进行匹 配；
c.利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚 拟相机位置和取向；以及
d.利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
所述便携式计算设备的位置可以是相对于所述图像的位置的。与所述 图像的位置相对的所述便携式计算设备的位置可以是相对于所述图像的 至少一个维度以单位计算的。当所述图像的物理尺寸是所述便携式计算设 备所已知的时候，所述便携式计算设备的位置可以是相对于所述图像的位 置以绝对单位计算的。
当所述图像的物理尺寸是所述便携式计算设备所已知的并且所述图 像的物理位置是所述便携式计算设备所已知的时候，所述物理尺寸和物理 位置均可以用来计算所述便携式计算设备的绝对位置。
所述方法可以进一步包括以下步骤：利用所述虚拟相机位置和取向生 成所述便携式计算设备的取向。所述生成的取向可以是相对于所述图像的 取向的或者是绝对取向的。
所述相机可以接连地捕获多个至少部分图像，并且所述多个部分图像 可以被用来生成所述便携式计算设备的位置。所述多个图像可以布置于所 述物理区域内在不同位置处。所述多个图像可以以不同取向布置于所述物 理区域内。可替代地，所述多个图像可以在所述物理区域内在单个位置处 形成更大的图像。
所述生成的位置可以被所述便携式计算设备上的应用所利用。所述应 用可以是游戏应用。所述应用可以从所述便携式计算设备的用户接收输 入，并且可以至少基于所述便携式计算设备的所述生成的位置来验证所述 输入。所述图像可以是视频的一部分，所述应用可以与所述视频同步，并 且可以基于所述视频内的同步来进一步验证所述输入。
所述便携式计算设备可以与位置也已经被生成的多个便携式计算设 备交互操作。
所述图像可以被视频***显示在屏幕上。所述屏幕可以是电子屏幕。 所述视频***可以是电影投影仪***并且所述屏幕可以是电影屏幕。
所述物理区域可以是观众厅。
根据本发明的进一步方面，提供了一种用于确定便携式计算设备在物 理区域内的位置的***，所述***包括：
相机，所述相机被配置成用于捕获所述物理区域内所显示的图像的至 少一部分；以及
至少一个处理器，所述至少一个处理器被配置成用于：将所述捕获的 图像与具有预先存储的图像信息的数据库进行匹配、利用已匹配的预先存 储的图像信息从所述捕获的图像中计算虚拟相机位置和取向以及利用所 述虚拟相机位置和取向生成所述便携式计算设备的位置。
根据本发明的另一个方面，提供了一种便携式计算设备，包括：
相机，所述相机被配置成用于捕获所述物理区域内所显示的图像的至 少一部分；以及
至少一个处理器，所述至少一个处理器被配置成用于：将所述捕获的 图像与具有预先存储的图像信息的数据库进行匹配、利用已匹配的预先存 储的图像信息从所述捕获的图像中计算虚拟相机位置和取向以及利用所 述虚拟相机位置和取向生成所述便携式计算设备的位置。
根据本发明的另一个方面，提供了一种计算机程序，所述计算机程序 当被便携式计算设备的处理器执行时致使所述设备：
经由相机捕获所述物理区域内所显示的图像的至少一部分；
将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配；
利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相 机位置和取向；以及
利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
在权利要求书中描述了本发明的其他方面。
附图说明
现在将参考附图，仅通过举例来描述本发明的实施例，在附图中：
图1a：示出了框图，展示了一种根据本发明实施例的定位***；
图1b：示出了框图，展示了一种根据本发明替代性实施例的定位系 统；
图2：示出了流程图，展示了一种根据本发明实施例的方法；
图3a、图3b、和图3c：
示出了图示，展示了一种根据本发明实施例的用于电影院观众厅 的方法；
图4：示出了图示，展示了使用根据本发明实施例的方法的游戏的虚 拟空间；
图5a和图5b：
示出了截屏图，展示了使用根据本发明实施例的方法的游戏；
图6：示出了根据本发明实施例的定位***的框图；
图7a和图7b：
示出了图示，展示根据本发明实施例的用于体育馆的***；
图8a和图8b：
示出了图示，展示根据本发明实施例的用于提供灯光秀的方法； 以及
图9：示出了在根据本发明实施例的定位***内使用的示例图像。
具体实施方式
本发明提供了一种用于确定便携式计算设备的位置的方法和***。
在图1a中，示出了根据本发明实施例的用于确定便携式计算设备的 位置的***100。
***100可以是便携式计算设备100，所述便携式计算设备可以包括 相机101、处理器102、和存储器103。
便携式计算设备100可以是移动智能电话、平板计算机、平板手机、 智能手表、或专用装置。
便携式计算设备100可以进一步包括显示器104和输入端105，从而 为用户提供附加功能或用于提供方便的移动计算/通信服务。
便携式计算设备100可以进一步包括通信控制器106，以便于与服务 器通信和/或便于方便的通信服务。
存储器103可以被配置成用于存储应用107、数据108、操作***109、 和设备驱动器110，以便与便携式计算设备100的硬件部件(例如，101、 104、105、和106)进行接口连接。
相机101可以被配置成用于捕获静止图像和/或视频。
处理器102可以被配置成用于将相机101所捕获的数字图像与预先存 储的具有图像信息的数据库进行匹配。存储器103可以被配置成用于存储 所述具有图像信息的数据库(在例如108处)。可以经由通信控制器106 从服务器更新或下载所述具有图像信息的数据库。
处理器102可以进一步被配置成利用所述匹配的存储的图像从所述 捕获的图像中计算虚拟相机位置和取向。
处理器102可以进一步被配置成使用所述虚拟相机位置和取向来生 成便携式计算设备100的位置。
上述处理器102的功能可以受存储器103中所存储的一个或多个应用 107控制。
将理解的是，处理器102的功能可以由彼此通信的多个处理器执行。 例如，专用图像处理器可以被配置成用于将捕获的图像与存储的图像信息 进行匹配，和/或图形处理单元(GPU)可以被配置成用于生成虚拟相机 位置和取向。
在图1b中，示出了根据本发明替代性实施例的用于确定便携式计算 设备121的位置的***120。
所述***120可以包括便携式计算设备121、通信网络122、服务器 123、和数据库124。
所述便携式计算设备121可以包括相机125和通信控制器126。
所述数据库124可以被配置成用于预先存储多个图像的信息。
所述相机125可以被配置成用于捕获图像。
所述通信控制器126可以被配置成用于向服务器123传输图像。
服务器123可以被配置成用于将从所述便携式计算设备121接收到的 图像与预先存储的具有图像信息的数据库124进行匹配。
服务器123可以进一步被配置成利用所述匹配的存储的图像从所述 捕获的图像中计算虚拟相机位置和取向。
服务器123可以进一步被配置成使用所述虚拟相机位置和取向生成 所述便携式计算设备121的位置。
便携式计算设备121的位置可以被从服务器123传输回至便携式计算 设备121。
参考图2，将对根据本发明实施例的方法200进行描述。
在步骤201中，便携式计算设备处的相机捕获所述物理区域内所显示 的图像的至少一部分。所述图像可以被显示在动态显示器(比如电子视频 屏幕或投影屏幕)上，或者所述图像可以被显示成静态格式(比如打印形 式)。所述相机可以捕获整个图像或图像的一部分。所述图像可以在物理 显示器中与多个另外的图像形成更大的图像或更大图像的子图像。
在步骤202中，可以将所述捕获的图像与具有预先存储的图像信息的 数据库进行匹配。这一步骤可以由例如便携式计算设备处的处理器执行。 所述数据库可以被存储在便携式计算设备的存储器中。
所述预先存储的图像信息可以包括所显示的图像、所显示图像的一部 分、或所显示图像或所显示图像的一部分的指纹，比如高对比度参考点。 所述预先存储的图像信息数据库可以包括与多个图像有关的信息。在一个 实施例中，所述多个图像中的一些形成更大的图像或更大图像的子集。
在步骤203中，使用所述捕获的图像和所述匹配的图像来计算虚拟相 机位置和取向。这个计算可以由增强现实引擎(比如VuforiaTM或 ARToolkit)执行。
在步骤204中，从所述虚拟相机位置和取向中计算所述便携式计算设 备的位置。
如果所显示的图像的位置和尺寸是已知的，则可以相对于所显示的图 像或绝对地计算所述位置。只要所显示的图像的尺寸是已知的，则可以相 对于所显示的图像以绝对单位(例如，来自物理区域中的图像的3米)来 计算所述位置，否则可以以相对单位(例如，离所述物理区域中的图像的 图像高度乘以1.5)来计算所述位置。
在一个实施例中，便携式计算设备捕获多个图像并且将每个图像与预 先存储的图像信息进行匹配。所述匹配的图像用来提高对虚拟相机位置和 取向的计算的准确度。所述捕获的图像可以是处于同一物理位置处的更大 图像的子图像或者可以布置于物理区域内在不同的物理位置处。
在一个实施例中，同一物理区域内的多个便携式计算设备捕获位于不 同物理位置处的图像的至少一部分。
所述便携式计算设备的位置可以用于移动设备内的单人游戏体验或 多人游戏体验和/或结合显示器，例如，其中，所述显示器是电影显示器 或其他动态/视频显示器。
所述便携式计算设备的位置可以用来提供体育馆和观众厅内的音频- 视觉体验，比如基于在体育馆或观众厅内的位置触发移动设备处的视觉或 音频。
还可以从所述虚拟相机位置和取向中计算所述便携式计算设备的取 向。
参考图3a至图3c、图4、以及图5a至图5b，将对根据本发明实施例 的方法和***进行描述。
本实施例涉及使用定位方法来在电影院内进行游戏。将理解的是，本 实施例是示例性的，并且所述定位方法可以用于非游戏目的和/或用于其 他环境。
使用用来对多个移动设备处的游戏玩法进行同步的音频触发来启动 游戏。每个移动设备执行app(移动应用)以捕获和处理图像，并提供游 戏玩法。在替代性实施例中，可以通过网络触发(即，从服务器或其他移 动设备发送至移动设备的信号)、或经由移动设备处的app内的基于时间 的触发来启动游戏。
电影院屏幕300用来显示用户用其移动设备301可以观看到的足球球 门的参考图像。用户将其移动设备301瞄准302，从而使得此参考图像的 至少一部分对移动设备301上的相机是可见的(303展示了相机的视场)。 移动设备301使用相机捕获(可能部分的)图像，并且使用标准图像处理 技术来计算需要将虚拟相机304放置在何处，从而在相机的视野上增加虚 拟3D图形对象，在所述相机的视野内，所述虚拟3D图形对象将与相机 可见的实际对象对准。这被称为增强现实(AR)并且是已知技术。在本 实施例中，这种AR虚拟相机定位信息被改变用途以计算移动设备301 的用户在参考图像周围的物理空间内的位置。在电影院的情况下，这样可 以将用户定位至观众厅内的位置。
app内的增强现实识别***分析所捕获的图像从而检测高对比度拐角 点(无标记点的图像目标)。然后将基于视角和图像距离的任何失真考虑 在内对这些点与同app中在数据库内的图像有关的识别数据进行匹配。通 过将一定百分比的点与所确定的观看角度进行匹配，可以识别所捕获的图 像。
识别***从扫描的图像中生成虚拟相机位置和取向，所述扫描的图像 处于离屏幕的相对坐标。位置304是从虚拟相机的坐标导出的，所述虚拟 相机包括其离屏幕中心306的相对位置305以及其偏转、俯仰和滚转取向 (在2D中通过角度307展示)。
如果图像的物理尺寸是已知的(例如，电影屏幕的尺寸)，则可以以 绝对单位(例如，离屏幕5m、离中心向左2.5m、离底部向上1m)计 算用户相对于图像的位置。如果图像尺寸未知，则以相对单位(例如，离 屏幕的左边缘20％向右的图像宽度乘以1.2)计算用户相对于图像的位置。
此数据被提取并被应用至移动设备301上的游戏从而定义单独的玩 家相对于屏幕在虚拟空间400中的位置。
对于足球赛，可以从虚拟玩家402的位置将球401射入球门，所述球 门是电影屏幕300。从用户在其移动设备500的角度来看，球501向前进 入移动设备500的屏幕朝向电影屏幕300。
用户通过经过移动设备502看向其设备502上的触摸屏上的位置景象 503来进行瞄准，并轻击触摸屏上的任何地方或触摸屏上显示的致动器/ 按钮，以从其“位置”向屏幕上的球门中射球。球的移动被显示在移动设 备502的在相机视野上增强的触摸屏上。
设备502上的游戏追踪虚拟球以看它是否降落在虚拟球门中并恰当 地为玩家记分。其还具有球门区域的3D模型，因此球可以在其行进时从 杆和地面弹开。使用启动游戏的音频触发来同步内部模型向屏幕的移动时 机。
移动设备502使用内部模型和离启动游戏的视频水印码的偏移来了 解守门员的位置。使用这种信息，移动设备502可以计算是否进了球。每 个设备502追踪其自己的得分。
在游戏结束时，将玩家的分数显示在移动设备502的屏幕上。
所述移动电话app还可以根据其玩家的分数来授予不同的奖品。
参考图6，将对根据本发明实施例的方法和***进行描述。
本实施例包括与上述实施例相同的特征，其中，增加了被传输回至连 接到电影屏幕602的投影仪601的显示设备600或移动设备的用户可见的 另一大型显示器的游戏玩法信息。
每个移动设备独立地进行其自己的游戏，包括其自己的关于守门员在 任何时间所处位置的模型。移动设备下发得分(得分数)和游戏结束奖品。 发送至显示设备600的游戏玩法数据是用户的分数以及每次踢球的地点 和时间。此数据被广播至所有的移动设备和显示设备600。没有数据需要 从显示设备600发送回至移动设备。
来自移动设备的信息被内部地处理并且计算球的角度、位置和方向。 这些信息然后被发送至显示设备600，所述显示设备控制电影投影仪601 在电影屏幕602上显示结果。这将球显示在电影屏幕602上。
显示设备600使用例如网状网络或自组网wifi网络连接至移动设备， 所述网状网络或自组网wifi网络是由移动设备在其听到游戏开始时播放 的音频水印时所创建的。虚拟球603被拉入电影屏幕602上合适的位置所 示的球门视图，仿佛它来自观众厅中的玩家的实际或相对位置。
移动设备知道守门员在从音频触发偏移的某个时间处的位置，因此可 以自动地计算是否进了球。每个设备追踪其自己的得分。每隔一定时间， 分数在网状网络上广播并被显示设备600用来在电影屏幕602上示出排行 榜。
在游戏结束时，具有最高分数的玩家被示为赢家。
移动电话app可以根据第1名、第2名、第3名或其分数授予不同奖 品。
参考图7a和图7b，将对根据本发明实施例的方法进行描述。
本实施例涉及使用布置于物理区域内多个位置处的图像。本实施例可 以特别适用于大空间，比如体育馆。
例如，体育馆700可以具有围绕空间的多个屏幕701，所述屏幕上具 有独特的参考图像。图7b示出了三个屏幕702和其他屏幕中的每一个离 参考屏幕的给定相对定位信息703，用看着不同屏幕的人的移动设备704 可以将其位置进行关联。如果移动设备可以看到不只一个屏幕，则可以使 用不同屏幕的相对位置来增强准确性。
参考图8a和图8b，将对根据本发明实施例的方法进行描述。
本实施例涉及使用关于图2所描述的方法来提供同步的灯光秀。
在图8a中，参考图像首先被显示屏幕800上，这为每个用户的移动 设备给出了其相对于屏幕的位置。音频或其他无线同步设备用来使图8b 中所有的电话与屏幕上正播放的视频同步。每个电话(例如，801)然后 在其对应的电话上播放视频或灯光秀的一部分，从而通过使用从基于初始 图像的位置提取和音频水印中导出的位置信息来决定要播放哪一部分。所 有的电话完全同步地播放视觉序列，但它们各自仅示出一部分。组合效果 是由从基于图像的位置***和共享定时触发自动建立的单独的移动设备 组成的大型视频墙。
参考图9，将对根据本发明实施例的方法进行描述。
当大图像被用于位置追踪时，当用户太接近图像而不能将图像的已捕 获部分与预先存储的图像进行匹配时会存在问题。
为了解决这个问题，主图像900可以被细分成更小的区段(901和902) 并且每个区段用作独立的参考图像。这些参考图像900、901、和902中 的每一个然后可以被添加至可识别图像(分别为903、904和905)的列 表中，但各自还伴随其离原始图像的相对偏移和尺寸。因此，例如，如果 整个扫描图像903是4米宽，则子分段904被标记为2米宽度并且与原始 图像的左上部对准。因此，在示例中，原始图像被四等分，这生成了移动 设备可以扫描并导出用户位置的4个子图像。这4个子图像然后可以再次 被细分以得到同样可以用来找到用户位置的16个子子图像。
本发明的实施例可以用于提供各种不同的应用，包括：
外星人飞船瞄准游戏
基于跨大屏幕飞行的外星人宇宙飞船目标射击游戏，所述外星人宇宙 飞船可以被玩家使用其电话的屏幕/相机作为瞄准十字来射击、破坏和摧 毁。成功地命中外星人飞船的每一个玩家收到破坏它的得分并且当它在其 射击瞄准具内时如果使其***的话收到额外得分。
电话屏幕光照效果
为了给高冲击力电影院广告(或其他交互式体验)沉浸式效果，大屏 幕可以延伸到观众中在用户的电话屏幕上。例如，屏幕左方的屏幕上*** 可以用与***同步的红色/橙色在观众厅的左侧点亮屏电话屏幕。或者， 例如，当船在屏幕上下沉时，则电话的屏幕可以从前排开始向后移动变蓝 /绿，以显示电影院充满水的精细光照效果。这还可以用于体育馆，从而 提供可以被音频水印触发的光照效果。
本发明的一些实施例的潜在优点是，可以在不在物理区域内以及不在 来自例如定位卫星或蜂窝网络的外部信号传输可能被阻碍或降级的环境 内部署专用硬件的情况下确定设备的位置。本发明的一些实施例的进一步 潜在优点是，对便携式设备的快速且准确的位置和/或取向确定可以用来 为便携式设备的用户提供组合的虚拟/物理世界交互可能性。
虽然已经通过其实施例的描述说明了本发明，并且虽然已经相当详细 地描述了实施例，但是申请人并不意在将所附权利要求书的范围限定或者 以任何方式限制于这些细节。本领域技术人员将易于想到附加优势和修 改。因此，本发明在其较宽的方面并不限于示出和描述的特定细节、代表 性装置和方法以及说明性示例。因此，可以在不偏离申请人的总体发明概 念的精神或范围的情况下偏离这些细节。

Claims (26)

1.一种确定便携式计算设备在物理区域内的位置的方法，包括：
a.所述便携式计算设备上的相机捕获所述物理区域内所显示的图像的至少一部分；
b.将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配；
c.利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相机位置和取向；以及
d.利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
2.如权利要求1所述的方法，其中，所述便携式计算设备的位置是相对于所述图像的位置的。
3.如权利要求2所述的方法，其中，与所述图像的位置相对的所述便携式计算设备的位置是相对于所述图像的至少一个维度以单位计算的。
4.如权利要求2所述的方法，其中，所述图像的物理尺寸是所述便携式计算设备所已知的并且所述便携式计算设备的位置是相对于所述图像的位置以绝对单位计算的。
5.如权利要求1所述的方法，其中，所述图像的物理尺寸是所述便携式计算设备所已知的并且所述图像的物理位置是所述便携式计算设备所已知的，并且所述物理尺寸和所述物理位置均用来计算所述便携式计算设备的绝对位置。
6.如以上权利要求中任一项所述的方法，进一步包括：
利用所述虚拟相机位置和取向生成所述便携式计算设备的取向。
7.如权利要求6所述的方法，其中，所述取向是相对于所述图像的取向的。
8.如权利要求6所述的方法，其中，所述取向是绝对的。
9.如以上权利要求中任一项所述的方法，其中，所述相机接连地捕获多个至少部分图像，并且其中，所述多个部分图像被用来生成所述便携式计算设备的位置。
10.如权利要求9所述的方法，其中，所述多个图像布置于所述物理区域内的不同位置。
11.如权利要求9和10中任一项所述的方法，其中，所述多个图像以不同取向布置于所述物理区域内。
12.如权利要求9所述的方法，其中，所述多个图像在所述物理区域内在单个位置处形成更大的图像。
13.如以上权利要求中任一项所述的方法，其中，所述生成的位置被所述便携式计算设备上的应用所利用。
14.如权利要求13所述的方法，其中，所述应用是游戏应用。
15.如权利要求13和14中任一项所述的方法，其中，所述应用从所述便携式计算设备的用户接收输入，并且其中，至少基于所述便携式计算设备的所述生成的位置来验证所述输入。
16.如权利要求15所述的方法，其中，所述图像是视频的一部分，所述应用与所述视频同步，并且基于所述视频内的同步来进一步验证所述输入。
17.如以上权利要求中任一项所述的方法，其中，所述便携式计算设备与位置也已经被生成的多个便携式计算设备交互操作。
18.如以上权利要求中任一项所述的方法，其中，所述图像被视频***显示在屏幕上。
19.如权利要求18所述的方法，其中，所述屏幕是电子屏幕。
20.如权利要求18所述的方法，其中，所述视频***是电影投影仪***并且所述屏幕是电影屏幕。
21.如以上权利要求中任一项所述的方法，其中，所述物理区域是观众厅。
22.一种用于确定便携式计算设备在物理区域内的位置的***，包括：
相机，所述相机被配置成用于捕获所述物理区域内所显示的图像的至少一部分；以及
至少一个处理器，所述至少一个处理器被配置成用于：将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配、利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相机位置和取向以及利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
23.一种便携式计算设备，包括：
相机，所述相机被配置成用于捕获所述物理区域内所显示的图像的至少一部分；以及
至少一个处理器，所述至少一个处理器被配置成用于：将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配、利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相机位置和取向以及利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
24.一种计算机程序，所述计算机程序当被便携式计算设备的处理器执行时致使所述设备：
经由相机捕获所述物理区域内所显示的图像的至少一部分；
将所述捕获的图像与具有预先存储的图像信息的数据库进行匹配；
利用已匹配的预先存储的图像信息从所述捕获的图像中计算虚拟相机位置和取向；以及
利用所述虚拟相机位置和取向生成所述便携式计算设备的位置。
25.一种计算机可读介质，所述计算机可读介质被配置成用于存储如权利要求24所述的计算机程序。
26.一种如在此参照附图所描述的用于确定便携式计算设备在物理区域内的位置的方法或***。
CN201710569009.8A 2016-07-27 2017-07-12 定位方法和*** Pending CN107665231A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662367255P 2016-07-27 2016-07-27
US62/367,255 2016-07-27

Publications (1)

Publication Number Publication Date
CN107665231A true CN107665231A (zh) 2018-02-06

Family

ID=61012091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710569009.8A Pending CN107665231A (zh) 2016-07-27 2017-07-12 定位方法和***

Country Status (3)

Country Link
US (1) US20180033158A1 (zh)
CN (1) CN107665231A (zh)
HK (1) HK1250805A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285799A (zh) * 2019-01-17 2019-09-27 杭州志远科技有限公司 一种带有三维可视化技术的导航***

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664776B (zh) * 2014-07-17 2019-04-30 飞利浦灯具控股公司 体育场照明瞄准***和方法
JP6588177B1 (ja) * 2019-03-07 2019-10-09 株式会社Ｃｙｇａｍｅｓ 情報処理プログラム、情報処理方法、情報処理装置、及び情報処理システム
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining the position and orientation of an object in space
JP7508239B2 (ja) * 2020-03-03 2024-07-01 セイコーグループ株式会社 電子回路、モジュール及びシステム
US11452939B2 (en) * 2020-09-21 2022-09-27 Snap Inc. Graphical marker generation system for synchronizing users
GB2614688A (en) * 2020-09-30 2023-07-12 Snap Inc Location-guided scanning of visual codes

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9511287B2 (en) * 2005-10-03 2016-12-06 Winview, Inc. Cellular phone games based upon television archives
JP4997783B2 (ja) * 2006-02-15 2012-08-08 富士ゼロックス株式会社 電子会議システム、電子会議支援プログラム、電子会議制御装置、情報端末機器、電子会議支援方法
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9323784B2 (en) * 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
US10101810B2 (en) * 2011-11-28 2018-10-16 At&T Intellectual Property I, L.P. Device feedback and input via heating and cooling
US8965057B2 (en) * 2012-03-02 2015-02-24 Qualcomm Incorporated Scene structure-based self-pose estimation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285799A (zh) * 2019-01-17 2019-09-27 杭州志远科技有限公司 一种带有三维可视化技术的导航***
CN110285799B (zh) * 2019-01-17 2021-07-30 杭州志远科技有限公司 一种带有三维可视化技术的导航***

Also Published As

Publication number Publication date
US20180033158A1 (en) 2018-02-01
HK1250805A1 (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN107665231A (zh) 定位方法和***
US10810791B2 (en) Methods and systems for distinguishing objects in a natural setting to create an individually-manipulable volumetric model of an object
US10819967B2 (en) Methods and systems for creating a volumetric representation of a real-world event
US10471355B2 (en) Display system, method of controlling display system, image generation control program, and computer-readable storage medium
JP6922369B2 (ja) 視点選択支援プログラム、視点選択支援方法及び視点選択支援装置
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
CN102726051B (zh) 3d视频中的虚拟插件
US8970623B2 (en) Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program
US9495800B2 (en) Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method
US20150371447A1 (en) Method and Apparatus for Providing Hybrid Reality Environment
US8884987B2 (en) Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image
CN109716398A (zh) 图像处理设备、图像生成方法和程序
CN104436634A (zh) 一种采用沉浸式虚拟现实技术的真人射击游戏***及实现方法
US20130038702A1 (en) System, method, and computer program product for performing actions based on received input in a theater environment
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5350427B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
CN114953463A (zh) 信息处理设备、信息处理方法和存储介质
US20230353717A1 (en) Image processing system, image processing method, and storage medium
CN114584681A (zh) 目标对象的运动展示方法、装置、电子设备及存储介质
JP5687670B2 (ja) 表示制御システム、ゲームシステム、表示制御装置、及びプログラム
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
US20230191259A1 (en) System and Method for Using Room-Scale Virtual Sets to Design Video Games
GB2546954A (en) A location method and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1250805

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180206

WD01 Invention patent application deemed withdrawn after publication