CN111310550A - 用于基于周围环境改进位置决策的方法及设备 - Google Patents

用于基于周围环境改进位置决策的方法及设备 Download PDF

Info

Publication number
CN111310550A
CN111310550A CN201911260163.2A CN201911260163A CN111310550A CN 111310550 A CN111310550 A CN 111310550A CN 201911260163 A CN201911260163 A CN 201911260163A CN 111310550 A CN111310550 A CN 111310550A
Authority
CN
China
Prior art keywords
user
location
parking
image
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911260163.2A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
小斯蒂芬·杰伊·奥里斯
大卫·约瑟夫·奥里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111310550A publication Critical patent/CN111310550A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3438—Rendez-vous, i.e. searching a destination where several users can meet, and the routes to this destination for these users; Ride sharing, i.e. searching a route such that at least two users can share a vehicle for at least part of the route
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/362—Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Automation & Control Theory (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本公开提供了“用于基于周围环境改进位置决策的方法及设备”。一种***包括处理器，所述处理器被配置为接收用户位置周围的场景的图像数据，所述图像数据包括对所述图像内的多个车辆对象的识别。所述处理器还被配置为处理所述图像数据以确定所述图像内存在未被车辆对象占用的停车位的位置。所述处理器还被配置为选择确定的停车位，并且将所述选定的停车位提供给乘客和驾驶员以为乘车请求安排接载位置。

Description

用于基于周围环境改进位置决策的方法及设备
技术领域
说明性实施例总体上涉及用于基于周围环境改进位置决策的方法及设备。
背景技术
约车服务取决于用户和车辆准确识别彼此的位置的能力，因此用户可以进入车辆并开始享受其服务。用户和车辆延迟准确识别彼此的位置会导致利用率下降(成本较高)和潜在错过乘车或收入损失。然而，由于GNSS解决方案和蜂窝三角测量的技术局限性，可能会限制通常用于识别请求用户位置的移动装置的位置精确度。
约车服务的用户和车辆/驾驶员本身必须能够通过某种方法在视觉上识别彼此，然而，由于障碍物或其他环境变量而导致的视线有限可能会增加寻找车辆所花费的时间。该问题的一个示例是，用户位于建筑物的拐角处，但是被GNSS或蜂窝三角测量定位在拐角的错误一侧，这可能会导致驾驶员在错误位置寻找用户，从而造成延迟。另一个示例可以是用户位于不允许停车的街道部分。对于自主车辆(AV)和/或人类驾驶员，该事实可能会阻止或延迟接载。
发明内容
在第一说明性实施例中，一种***包括处理器，所述处理器被配置为接收用户位置周围的场景的图像数据，所述图像数据包括对所述图像内的多个车辆对象的识别。所述处理器还被配置为处理所述图像数据以确定所述图像内存在未被车辆对象占用的停车位的位置。所述处理器还被配置为选择确定的停车位，并且将选定的停车位提供给乘客和驾驶员以为乘车请求安排接载位置。
在第二说明性实施例中，一种方法包括响应于行进请求而请求乘客对其周围环境进行成像。所述方法还包括接收请求的图像。所述方法还包括基于预定义位置特性和在可识别停车位置中根据所述图像确定的缺乏车辆存在来识别所述请求的图像中的停车点。而且，所述方法包括考虑选择所述停车点中的每一者的加权乘客影响并选择加权乘客影响低于预定义阈值的停车点。
在第三说明性实施例中，一种方法包括响应于行进请求而请求乘客对其周围环境进行成像。所述方法还包括接收请求的图像。所述方法还包括基于预定义位置特性和在可识别停车位置中根据所述图像确定的缺乏车辆存在来识别所述请求的图像中的停车点。所述方法另外包括考虑选择所述停车点中的每一者的加权驾驶员影响并选择加权驾驶员影响低于预定义阈值的停车点。
附图说明
图1示出了城市环境的说明性示例；
图2示出了用于接载请求处理的说明性过程；
图3示出了请求处理的另一个说明性示例；
图4示出了用于请求处理的说明性***；
图5示出了接载位置选择过程的说明性示例；
图6示出了用户影响确定过程的说明性示例；以及
图7示出了驾驶员影响评定过程的说明性示例。
具体实施方式
根据要求，本文中公开了详细实施例；然而应当理解的是，所公开的实施例仅仅是说明性的并且可以不同和可选形式包含在内。附图不一定按比例绘制；一些特征可能会被放大或最小化以示出特定部件的细节。因此，本文中公开的具体结构细节和功能细节不应当被解释为是限制性的，而是仅仅作为教导所属领域技术人员以各种方式采用所要求保护的主题的代表性基础。
众所周知，GPS位置精确度本质上受到限制，并且由于诸如“城市峡谷”的影响等的外部条件而可能产生其他误差。这可能给约定的车辆(人类驾驶或自主驾驶的车辆)积极定位行人带来挑战。这可能会导致乘车者之间的延迟时间更长、车辆找到一个或多个错误人员，或者甚至乘车者在车辆无法在GPS表明的位置找到用户之后被困。在行人和车辆视线受限的城市环境中，这造成更大的问题。
例如，行人可能正在建筑物的一侧等待，但是车辆可能仅对建筑物中的基于错误信号导航到的另一侧具有视线。另外，在城市环境中，与郊区或乡村环境相比，重新定位车辆来定位用户将花费更多时间。在这种城市环境中，在接载之前重新定位乘客可能是更明智的。说明性实施例能够利用可视数据与协作乘客交互的结合来提高乘客接载交易的效率。这可以包括例如更准确地定位乘客位置和/或乘客和车辆协作以基于初始乘客请求位置来商定有效的接载位置。
迄今为止，已经利用了除GPS以外的一些方法来定位用户。例如，约车服务允许用户通过将标注放在用户手机上的地图上来对自己进行定位。尽管这可以改进初始GPS位置，但是所建议的位置精度可能有限，并且与用户当前的物理空间相比，他们可能对地图定向感到困惑。研究已经表明，即使在开放环境中，在某些天气状况下，GPS坐标也可能偏离50英尺以上，而在城市峡谷中，GPS坐标可能偏离数百英尺。在繁忙的城市环境中，即使是20或30英尺的误差也可能会将用户错放在街道的错误一侧或另一条街道，并且由于车流和道路约束，这可能使接载大多不切实际。
在其他情况下，驾驶员和用户可以呼叫彼此以提供用于导航或进一步定位的口头指令。如果用户或驾驶员不熟悉所述位置或者不存在用户可以描述的明显地标，则该方法很容易失败。将来，在自主车辆(AV)盛行的情况下，给定位置的约车/共乘/拼车用户的密度可能会更高。与当今的位置精确度相比，这将增加误报率，从而影响车队运营商控制路线优化的能力。显然，需要一种更好的方法来定位和正确识别外部环境中的用户。其次，需要一种更好的方法来基于用户周围的实时状况为会面推荐备选的附近位置，因为静态地图数据并非如乘客周围环境的实时或近期成像(例如，静态图像或视频)所证明的那样总是反映实时状况。
改进约车/共乘/拼车的定位问题的另一个原因是最大程度地减少了停车成本。接载效率提高导致利用率提高，所述利用率是利润最大化的重要组成部分。降低无法定位用户的车辆的利用率或搜索和装载用户所需的时间既可以帮助车主/运营商将利润最大化，又可以改进乘客体验。
在说明性实施例下，基于从用户拍摄的成像(例如，视频)生成的3D点云，用户装置上的应用程序将在3维空间中生成用户的准确位置。一般来讲，应用程序将指示用户将摄像头围绕其位置移动来拍摄视频以使用运动恢复结构算法生成3D点云。该点云将用于在3D空间中生成更准确位置和将被上传到云中的其他重要信息，使得可以向网约车提供与用户会面的最准确位置。约车服务还可以使用所述数据为用户建议与车辆会面的更有效位置以减少登车时间。
在一组实施例中，所述过程可以使用可视和地图数据来识别乘客和/或驾驶员的停车选项或接载选项。例如，停车数据有多个潜在来源，例如包括车辆成功执行接载的空间和在地图数据中标记为停车位的空间。另外，即使未在地图数据上指定，可视数据也可以帮助识别临时可用空间和/或接载区。该数据还可以揭示由于当前车辆或施工而产生的不可用空间。
地图数据可能需要花费一段时间来包括所有可能的停车位置，因此说明性实施例可以使用诸如其他车辆的临时对象来识别车辆当前停放的位置以及那些区域内的未用空间。关于这种概念的更多讨论在图5至图7中进行。
除了具有由位于车辆中的车辆计算***执行的示例性过程之外，在某些实施例中，示例性过程还可以由与车辆计算***进行通信的计算***来执行。这样的***可以包括但不限于无线装置(例如但不限于移动电话)或通过无线装置连接的远程计算***(例如但不限于服务器)。此类***可以统称为车辆相关计算***(VACS)。在某些实施例中，VACS的特定部件可以取决于***的特定实施方式来执行过程的特定部分。作为示例而非限制，如果过程具有与配对的无线装置发送或接收信息的步骤，则很可能无线装置未执行该过程的部分，因为无线装置不会与自己“发送并接收”信息。所属领域普通技术人员将理解何时将特定计算***应用于给定解决方案是不合适的。
在本文讨论的每一个说明性实施例中，示出了可由计算***执行的过程的示例性、非限制性示例。关于每个过程，执行该过程的计算***可以为了执行该过程的有限目的而变为被配置为专用处理器以执行该过程。所有过程都不需要完整地执行，并且被理解为可以执行以实现本发明的元件的过程类型的示例。可以根据需要在示例性过程中添加或移除附加步骤。
关于在示出说明性过程流程的附图中描述的说明性实施例，应注意，为了执行这些附图所示的一些或所有示例性方法，可以临时启用通用处理器作为专用处理器。当执行提供指令以执行该方法的一些或所有步骤的代码时，处理器可以临时改变用途作为专用处理器，直到该方法完成为止。在另一个示例中，在适当的程度上，根据预先配置的处理器起作用的固件可以使处理器充当为了执行该方法或该方法的一些合理变型而提供的专用处理器。
图1示出了城市环境101的说明性示例。用户可以位于位置105处，在该示例中，所述位置将是不适合接载的位置。而且，由于城市峡谷对GPS的影响，用户装置可能正在将用户位置报告为位置109。例如，如果道路111是单向道路，则驾驶到位置109而找不到用户并呼叫用户的驾驶员不能仅仅通过转向来接载用户。而是，驾驶员必须找到返回位置105的路径，这在交通繁忙的城市中可能会花费大量时间并大幅降低驾驶员的赚钱能力。此外，用户仅仅可能厌倦了等待并选择另一个乘坐选项。
如将在本文中更详细地讨论的，说明性过程可以请求用户拍摄周围环境的简短视频。例如，这可以响应于确定用户的明显位置在已知具有超过预定义阈值的误差余量的环境中(根据历史观察)而进行。或者，例如，当前天气状况可能表明历史上的误差余量可能超过阈值。在另一个示例中，用户可以与装置交互以表明检测到的明显位置实际上不是用户站立的位置。在其他示例中，手机中的加速度计表明用户正在行走或者GPS报告的位置不稳定或标准偏差大于预定义标称值。
响应于请求，用户可以对周围环境进行成像或拍摄周围环境的视频。因此，例如，在图1中，用户将拍摄位置105(用户实际站立的位置)周围的环境的视频。然后，可以使用图像/视频处理来识别相对于图像中可识别的已知固定对象的用户位置。例如，如果基于众包数据或历史数据得知并识别出雕像和建筑物特征，则在对象数据库中，对两者的识别以及两者的3D特性(只能从特定角度查看)可以用于确定用户相对于两个对象的相对位置。
如本文所讨论的，一些预处理可以在用户装置上进行，并且对象匹配的其余部分可以在云中进行，所述云可以从用户装置接收一组经预处理的图像数据。因为视频文件往往很大，所以如果带宽和总体数据传输量受***约束，则发送经预处理的数据可能是有利的，但是在某些***中，如果传输能力充足且是可允许的，则也可以发送整个视频文件。
一旦所述过程已经识别出实际用户位置(相对于多个已知固定对象的位置)，所述过程就可以将检测到的GPS位置替换为对于用户装置和驾驶员/车辆装置两者而言的实际用户位置。如果所述过程还已经根据图像数据(或基于其他数据)识别出改进的接载位置，则所述过程可以将该信息作为建议发送给用户装置和/或驾驶员/车辆装置。
因此，例如，所述过程可以在环境101中识别出用户实际上位于位置105处，在107处存在表示安全接载位置的可用停车位(从用户位置可见)，并且街道113和/或103与点105周围的十字路口相比是车流较低的街道且接载更安全。可以建议将这些位置中的任何一个或所有位置作为备选接载位置，并且如果用户默认到特定位置，则可以通知驾驶员。而且，因为存在可用的实时图像数据，所以所述过程可以使用临时对象来确定例如107处的停车位已满或者街道非常繁忙，并且在后一种情况下可以推荐位置103，因为它不会要求用户横穿根据实时图像数据识别出的任何繁忙街道。在其他示例中，已识别的天气和其他约束可以帮助进行适当的位置确定。
图2示出了用于接载请求处理的说明性过程。在该示例中，约车服务接收201接载请求。该请求可以包括最初基于例如GPS坐标进行检测的检测到的用户位置。如果存在与GPS坐标(例如，它们在云层下方的位置，它们在城市峡谷中等)相关联的可能误差余量，则所述过程可以确定203对用户周围环境的成像可以改进用户位置的精确定位。如果误差余量足够小，则所述过程可以仅仅基于检测到的GPS坐标来处理205所述请求。
如果处理器确定所述图像将会改进位置确定，则所述过程可以请求207用户位置周围的环境的图像。这可以包括多张静态照片、大比例全景照片、视频等。响应于所述请求，所述过程可以接收209图像数据，并处理211图像数据以确定用户位置。在至少一个示例中，这种处理中的一些处理在移动装置上进行，并且可以包括例如以下内容。
执行处理的装置可以使用语义分割，例如，以过滤点云数据和视频数据以删除时变对象(例如，人员、车辆)以进行定位。所述过程还可以使用运动恢复结构算法来生成成像环境的3D点云。在确定优化的或备选的接载位置(例如，找到对象不存在或减少的空间)时，也可以考虑这些对象。
所述过程可以进一步将3D点云转换成体素图(voxel map)，其中可以根据图像数据识别关键特征。这些关键特征可用于确定相对于关键特征的用户位置，并且还可用于将对图像数据的考虑减少到相关点。所述过程还可以将关键体素特征散列化并计算相对于特征的估计用户位置。
在该示例中，所述装置可以执行上述预处理并将所计算的相对位置和体素散列值上传到中央服务器，所述中央服务器可以使用对象数据的数据库来实际上确定所查看特征所处的位置。
数据库可以包括大量对象数据，但是搜索可以限于基于首先检测到的位置的区域。因此，例如，如果初始位置在位置X,Y处，并且投影的误差余量为+100英尺，则***可以在检测到的位置周围半径为300英尺的圆圈内进行搜索。据推测，这将涵盖实际用户位置和从用户位置查看的多个已查看关键特征点。有效目标是避免搜索过多的数据库部分，并同时搜索足够多部分以找到足够可用数量的关键特征以确认用户位置。诸如使用球树(ball-tree)等的技术可以用于查找3D特征以进行匹配。
一旦通过数据库中的相关性确定了关键特征的实际位置，这些关键特征的相对用户位置就会揭示出实际用户位置。因此，例如，如果用户处于相对于建筑物和雕像的位置，则一旦知道建筑物和雕像的实际位置，用户的相对位置就会揭示用户的实际位置。
所述过程还可以基于地图数据和观察到的数据两者来确定实际位置是否适合于接载215。即，地图数据可以表明所述位置处禁止停车或有停车区，和/或图像数据可以表明车流的存在或缺乏。如果用户位置适合于接载，则所述过程可以使用用户位置来指示217接载。
如果用户位置不合适，则所述过程可以尝试在视觉上识别219接载位置。如果没有视觉上可识别的接载位置，则所述过程可以仅仅转而使用用户位置。另一方面，所述过程能够基于通过语义分割滤除的临时对象的存在或缺乏来识别适合于接载的开放停车位和/或低车流或低密度行人区域。在这种情况下，所述过程可以指示223用户移动到接载位置。一旦用户到达接载位置，所述过程就可以确定225是否需要用于接载目的的新图像。如果是这种情况，则所述过程可能要等到车辆接近所述位置，然后请求新图像(例如，以确认停车位的可用性)。如果仅仅已经让用户移动到例如通常更安全的但又不取决于空间可用性的位置，则可以仅仅安排在该位置接载。
图3示出了更详细地表明图2的过程的说明性过程。在该示例中，当用户请求301车辆时，再次开始所述过程。这导致用户提供303接载位置，例如，所述接载位置是检测到的用户位置。所述过程可以尝试使用检测到的Wi-Fi网络305和/或GPS位置307来估计用户位置。
在估计位置是例如可能相当准确的位置(例如，郊区房屋)的情况下，所述过程可以仅仅使用313检测到的位置作为接载位置并继续进行。另一方面，在所述位置可能不准确的情况下(例如，恶劣天气、城市峡谷)311，所述过程可以请求315用户扫描周围位置。
可以基于例如位置历史来确定用户可能需要扫描周围区域以对那些区域成像，所述位置历史可以包括：估计位置处的平均GPS不精确度；在估算位置接载客户的平均延迟、在估计位置处用户未定位事件发生率。其他因素可以包括用户的不准确历史(用户装置提供错误数据)、当日时间、周中此日等。街道活动、特殊事件和其他数据来源可能会捕获额外繁忙街道的影响，从而可能导致更加难以定位用户。这种数据可以包括由其他附近用户扫描其环境获得以表明车流水平、车流量、停车位可用性、行人密度等的历史和半实时数据。其他数据可以包括影响GPS精确度和Wi-Fi数据集和位置精确度的天气事件。
业务逻辑还可以规定是否要求客户扫描环境。通过图4中的示例进行讨论，业务逻辑通常可以设定延迟和无法找到客户的风险的上限，从而平衡请求客户扫描他的或她的位置的成本。例如，如果延迟风险大于5分钟或者无法定位客户的风险为10％，则可以发生扫描环境的请求。该请求也可以基于过去的客户协议或拒绝扫描其环境进行定位。
用于查询的其他因素可以包括但不限于：用户过去趋于同意扫描其位置或移动到备选接载位置或高清(HD)地图信息，所述地图信息可以表明诸如在道路的一侧或多侧缺少可用街道停车位等的道路因素或其他类似因素。
如果可以要求用户移动，则建议位置距离与接载延迟的减小和找不到乘客的风险相比可以通过用户厌烦转移位置的成本来平衡。这可以通过某个业务逻辑方程式来设定。例如，可能需要请求移开N米以节省N/10分钟或更长时间的延迟。
用户在他的或她的当前位置拍摄其外部周围环境的视频/图像的请求可以利用GPS、惯性测量单元(IMU)、检测到的Wi-Fi网络以及所生成的伴随图像。为了生成图像，手机可以显示带教学图像或动画的视觉或听觉请求以帮助引导用户开始扫描。手机可以在扫描期间输出连续的听觉或视觉指令以向用户更新扫描进度或提供进一步指令。所述过程还可以显示增强了特征/点云/其他数据的视频，以改进体验并提供所述过程正在工作的反馈。
另外，所述装置可以经由听觉指令或经由在面向用户的屏幕上显示场景和书面或图像指令(例如，箭头)来显示推荐的平移和倾斜运动，以捕获当前场景的丢失视角。手机可以在捕获图像时向用户提供输入以减慢其运动或装置平移以避免运动模糊。这可以通过检查所得图像中是否存在单向图像模糊的迹象来实现。手机可以基于在扫描过程中到目前为止已捕获的内容来向用户推荐沿某些方向平移或倾斜。漫游装置(例如，手机)可能通过在用户如加速度计所确定的那样四处移动电话时重复捕获图像来对区域进行成像，以表明平移、横摆或其他视角的变化以及用户是否在环境中行走。另外，随着场景变化，手机甚至将在同一场景内捕获另外的图像以了解环境的临时本质(人流量、车流量)。可选地，可以使用视频图像。
一旦场景已被充分成像以产生3D点云，手机便可以提供确认，所述点云已捕获所需的3D场景细节以尝试在空间中定位用户。手机可以利用加速度计以及前置和后置摄像头来确定手机的运动，所述运动是用户在空间中行走以及用户将手机在人员周围移动以获得足够多场景视图的组成部分。
一旦获得足够多图像，所述过程就可以使用IMU 317数据和图像数据319来推导数据的多个方面。例如，所述过程可以使用运动恢复结构(SFM)算法321来推导用户周围的3D点云场景。
另一方面，所述过程可以使用语义分割327来推导包括各种临时对象(诸如人员和车辆)的标记场景329。在第三方面，所述过程可以在图像331中找到人类或面部以推导绝对不是用户的人类的组成部分。
可以从3D点云中过滤325根据语义分割推导的临时对象，以从用户位置推导表示视图的临时稳定的、标记的3D场景337。手机可能还具有另外的摄像头，或者利用IR点投影来构建深度图，这将有助于该过程。
运动恢复结构和随后压缩为体素散列值可能会实时出现在移动装置上。通过实时创建增强现实3D场景，用户可以判断其扫描进度(例如，分割窗口视图可以示出“真实”视图和实时生成的增强现实视图)。另外，固定基础设施的体素转换可以显示在用户装置上以提供关于定位进度和质量的进一步反馈。
3D点云数据和视频数据将通过使用语义分割进行过滤以删除时变对象。临时对象(例如，车辆/行人)可以用于确定用于最佳备选的接载位置。
用于生成SFM 3D点云的图像可以包括空间中的点，所述点对应于随时间变化的对象或视觉特征。例如，用户可以在所述区域的记录中捕获人员或车辆，但是那些对象将不会对应于存储在数据库等中的区域的历史映射。
因此，将使用语义分割对图像中与指定类别相对应的像素进行分类。在使用SFM算法投影到3D空间中的属于时间上变化的类别(例如，汽车)的相应图像中检测到的特征点可以被丢弃或忽略。该过程的结果将是仅从时间上稳定的特征(诸如固定基础结构、建筑物立面、树叶和其他特征)捕获点云。这将使得定位过程在本地环境变化中更加稳定。另外，对固定对象的分类可以稍后用于标记3D点云、体素图，以及扩展地用于标记体素散列值。
也可以标记和测量时间上变化的对象。它们可以直接上传到中央服务器，或者归并到单个统计数据(例如，开放街道停车位的百分比、行人密度)中。这种数据可以用于确定是否可能需要备选会面位置。
这种数据的二次使用可以用于维护城市环境的相关特征的地图，所述地图可以用于车辆路线选择信息或为附近用户的后续请求主动建议附近的备选会面位置。
可以另外经由基于稀疏统计的过滤(诸如离群值检测、基于邻域的过滤、基于投影的过滤、拉普拉斯平滑等)来平滑化或过滤点云。
所述过程可以进一步将3D点云转换成体素图339(voxel map)，其中可以根据图像数据识别关键特征。该步骤的一个效果是减少每个用户传输到中央服务器的数据。通过将时间上稳定的分类点云点转换为体素图(并随后进行散列化)，与传输原始图像相比，所述过程可以显著地减小文件体积以将图像特征与图像数据集进行匹配。
在识别人员所处位置的一方面，所述过程可以相对于所识别的旁观者来定位人员的位置335、341。例如，这可以用于辅助驾驶员、装置或车辆识别人群中的用户。因为人员往往四处移动，所以可以在车辆到达之前的瞬间捕获这种图像，并且驾驶员或车辆可以使用在人群中不是用户的图像来帮助识别用户是谁。
稍后将对此进行更详细地描述，但是一般来讲，所述过程可以将非用户旁观者传输到云343以进行处理和/或传递到车辆359。这种数据可以用于例如导航到由数据反映的人群的一部分(可推测为因此靠近用户)和由车辆查看的人群的一部分361，和/或例如为驾驶员提供人群的增强现实视图，所述增强现实视图可以识别非用户实体并帮助驾驶员挑选用户。
返回移动到3D点云数据，所述过程可以对这种数据(例如，关键特征点数据)进行散列化345，然后将体素散列值发回中央服务器以进行处理。如果服务器不能使用当前的关键特征体素散列来定位周围环境349，则可以重复扫描过程。否则，服务器可以使用HD地图和/或其他图像数据来定位关键特征。一旦知道了关键特征的实际位置，用户相对于特征的相对位置(基于特征的视角确定)将会揭示用户在现实世界中的位置。
如果该位置是最佳的或适合于接载353，则所述过程可以使用旁观者数据(或在车辆接近时的请求旁观者数据)来将用户定位在所述位置处，并帮助将车辆引导到尽可能靠近精确的接载点。
如果所述位置不合适，则所述过程可以使用HD地图(因为现在精确地知道了用户的位置)和/或其他数据(包括表明可用停车位的可视图像数据)以确定更合适的接载位置355。这可以包括更安全位置、行人或车辆较少的位置、开放停车位等。这也可以与客户进行确认357。
随着车辆的到达，所述过程可以制定过滤器以在视觉上挑选出所识别的非用户(例如，在增强现实显示器中，基于所提供的用户先前图像数据(包括所述区域中可能让预期客户混淆的其他行人的图像)挑选出的非用户)363并确定客户是否已移动365。如果找不到客户或客户似乎已经移动(也可以由手机加速度计数据表明)，则所述过程可以重复扫描过程。在至少一个示例中，已定位手机处理和减少的云发送的数据量导致处理相当快，因此从时间角度来看，即使车辆正到达或已经到达，要求用户重新扫描和处理图像也不是不合理的。
图4示出了用于请求处理的说明性***。这是数据如何在示例性解决方案中使用的各种数据的实体和来源之间流动的一个示例。在该示例中，用户或乘客具有移动装置401，所述移动装置用于发起接载请求403。因为远程***400可能需要改进位置信息，所以请求通信可能需要来回通信。
当远程处理接收到请求405时，它可以确定是否需要更好的位置，并且如果需要，则指示用户对周围环境成像。用户可以使用移动装置来扫描周围环境的图像、一系列图像或视频405。此外，如本文所述，所述装置可以在将图像发回远程服务器400之前对图像执行一些预处理。
在该示例中，一旦服务器接收到关键图像元素作为散列数据，服务器就可以解压缩数据并提取407关键特征元素。在大图像数据集402中，可能有看似复制的许多关键特征。因此，搜索整个图像数据集可能会为关键特征产生许多结果。另一方面，如果远程***在初始投影位置附近的地区中搜索，则实际考虑的数据集可能会大幅减少。此外，这是因为尽管某个特征看起来似乎可以复制，但是在接收到的数据中识别出的多个特征通常只会存在于单个位置处。例如，建筑物特征可以复制，但是建筑物特征在视觉上接近雕像特征可能只有一个巧合。来自各个其他用户404、406的数据以及HD地图数据408可以用于构建大型数据集，并且数据集中的对象可以具有关键特征比较器和与其相关联的物理位置。物理位置可以用作对搜索的约束以便与提取的关键特征进行比较409。当找到匹配时，然后可以使用物理位置来物理地定位特征所对应的对象411。
通过知道用户相对于对象的位置(在这种情况下是从用户装置接收的)，远程***可以通过将相对位置外推到现在识别出的物理对象位置413来确定实际用户位置。然后可以将该实际位置发回用户以改进现场定位，以及发送到所请求的乘车410。
图5示出了接载位置选择过程的说明性示例。在该示例中，在已经准确地评估了用户位置之后，所述过程可以尝试确定是否存在更好的接载位置。更好的位置可以包括但不限于驾驶员更容易接近的位置、将大幅减少服务时间的位置、对用户/驾驶员更安全的位置等。
在该说明性示例中，所述过程可以确定501用户是否已经位于定义位置处。即，如果所述位置上的误差余量仍然很高(例如，用户正在使用城市峡谷中检测到的GPS坐标)，则所述过程可以等到已使用其他说明性实施例等准确定位用户的真实当前位置。
如果用户的位置被验证，则所述过程可以确定503当前位置是否包括已知接载位置(例如，指定的或安全的接载区)或者是否在已知接载位置附近，所述已知接载位置例如可以是不断避开等候车流使得乘车服务的车辆可以接载用户的位置。如果在附近有这样的位置，或者如果用户的当前位置是这样的位置，则所述过程可以指示用户行进到接载位置或在作为用户的当前位置的已经指定的接载位置处等待。
另一方面，如果没有将当前位置预定义为安全或已知的接载位置，则所述过程可以请求507扫描停车位置。这可以是重新发送用于定位用户的原始扫描，或者这可以是新扫描，所述新扫描可以包括例如对街道级临时对象(例如，人员和车辆)的更好视角。例如，初始扫描可能以更高视线针对建筑物和地标性特征，而新扫描可能是针对视线高度以更好地识别停车位。从根本上说，图像处理技术仍然适用于隔离临时对象，诸如车辆和人员，但是在这种情况下，代替如同用户位置实施例的情况那样被丢弃，这些临时对象可以用于识别例如车辆所停放的地方、人员聚集或不聚集的地方、出现停车间隙的地方、存在高车流的地方等。这些因素和类似因素可以帮助做出有关安全选择乘客接载位置的决策。
在该示例中，所述过程可以接收509扫描的图像，所述扫描的图像在许多情况下将已经由用户的移动装置对其执行了一些预处理。例如，在该示例中，所述过程可以接收IMU数据、临时对象(车辆或车辆和人员)以及一个或多个关键特征标识符。可以包括关键特征标识符以帮助识别相对于关键特征的停车位，但是IMU数据和临时车辆数据也可能足以识别停车位。另外，在一些示例中，可以在驾驶员接近到达时执行这种第二扫描以确保所识别的停车位实际上仍然未用的可能性。
在另外的实施例中，请求服务器可以通过诸如文本、语音或可视引导等的装置指令来要求用户确保包括已知的或可能包括可能的停车位的某些区域。这些区域可以包括先前成功执行接载(并由数据库记录)的空间，或地图数据表明应存在停车位的空间。
远程服务器可以处理图像以物理地定位停车位，这可以包括例如识别基于地图数据的停车位并确认那些空间内没有车辆，或者处理图像以识别513停放车辆之间的间隙。如果当前没有识别出停车位，则所述过程可以重复515直到识别出停车位。
在其他示例中，所述过程可以处理图像以识别高/低车流区域和高/低密度行人区域。例如，这种信息可以用于将人员放置在其中人群有限的位置(以使得个人识别更容易)，确保不要求人员横穿繁忙车流(如果可以避免的话)，确保人员正在人群附近等待(如果有安全问题)等。
如果所述过程能够识别出适合停车的区域，则所述过程可以进一步识别517所述区域内的未用空间。同样，这可以严格地根据图像数据进行，或者这可以使用图像和地图数据的组合来进行，以寻找图像数据中地图数据表明应存在停车位的间隙。此类图像处理还可以用于识别临时停车障碍，诸如施工或封锁区域(roped-off area)，在此处地图可能表明停车位可用。这可以帮助确保用户不会被引导到不安全或不合适接载的区域。
除了识别潜在空间之外，对于一个或多个空间(或者在确定合适空间之前)，所述过程可以识别521空间对用户的影响，并识别523空间对驾驶员的影响。这可以用于确定给定空间出于与空间的即时可用性无关的多种原因而不适合，所述原因诸如要求用户在雨中行走、在夜间横穿繁忙街道或要求驾驶员经过长时间绕行才能到达所述位置。如果对每个实体(或提供者希望容纳的每个实体)的影响是合适的，则所述过程可以选择519低影响点，并指示用户和驾驶员在所述位置会面。
图6示出了用户影响确定过程的说明性示例。在该示例中，所述过程考虑到行进到新位置对用户的影响。即，假设用户通过在当前位置等待而具有最小影响，则所述过程确定从以下事件将产生或可能产生的影响增加：诸如包括但不限于横穿车流、行进距离、持续天气等、危险行走条件等。
在该示例中，所述过程可以利用601准确确定的用户位置作为用户的当前位置，然后确定603到建议用户位置的一个或多个可能的行走路径。一旦确定了一个或多个路径，所述过程就可以开始计算加权影响。某些约束(例如，从不要求用户在过量降雨中行进超过100英尺)也可能是限制因素，并且可以用于约束合适的行走路径或停车位(车辆停在其中)选择。
在该示例中，仅出于说明目的，所述过程确定605当前是否(或预计在到达时)有恶劣天气。这可以包括下雪或下雨，而且也可以包括寒冷、炎热、冰冷等条件。例如，如果用户必须沿着陡峭山坡行走，则即使没有降雨，在冰冷条件下要求这样做也是非常不希望的。另一方面，如果用户必须沿着同一山坡行走，则热量或湿度可能成为约束。
在该示例中，作为可能的减轻因素的实例，所述过程还确定607一些或所有提议的行走路径是否有遮阴。这可以用作减轻因素，并且可以根据历史数据、地图或图像数据或其组合来确定。遮阴可以包括全方位遮阴(和室内路径)和头顶遮阴。可以应用609任何减轻措施(例如，其中人行道在很大程度上不受天气影响的区域)，然后所述过程可以对天气对用户的影响进行加权611。例如，如果人行道的长度为400英尺，而在下雨时约束为不超过100英尺，并且正在下雨，但是所述路径的长度在室内为350英尺，则所述过程可以在大概50英尺以内减轻天气影响。在仍然满足的最大行走距离上可能仍然有限制，但是天气仅影响人行道的一部分，因此可以这样处理。
其他示例包括但不限于沿着路径的街道交叉路口613。如果用户必须横穿一条或多条街道，则所述过程可以确定车流615(例如，根据图像数据确定)，并且还可以确定是否存在可用的交叉路口617。这也可以根据图像数据或根据表明交叉路口的地图数据来确定。实时交通数据可以用于确定车流，但是就用户的即时位置和用户横穿街道时必须面对的而言，图像数据可能更加实时。例如，如果有车流但是没有十字路口，则所述过程可能添加619风险因素或可能将交叉路口完全排除在考虑之外。如果存在交叉路口，则所述过程可以减轻车流影响621，并且所述过程可以再次对交叉路口对用户的影响进行加权623。这种考虑和减轻过程可以继续进行，直到已经考虑了所有合适的影响用户因素。
图7示出了驾驶员影响评定过程的说明性示例。类似于图6的乘客影响过程，该说明性示例表明决策引擎可以如何考虑对驾驶员的最终影响。
在该示例中，所述过程考虑了一个或多个最终潜在的停车点。所考虑的初始停车点可以是用户位置，它可以是通过查看用户生成的图像而选择的点，或者它可以是考虑到用户影响而选择的一个或多个点，使得所述一个或多个点从用户角度来看反映出点是可接受的。无论所述过程是首先考虑驾驶员影响、首先考虑用户影响还是同时考虑两者，所述过程都能够找到适合任一方约束、适合仅一方约束或适合对一方或双方的最小约束集的点(例如，通过针对每个可能的停车位对用户+驾驶员加权影响进行比较而将总影响最小化)。
在该示例中，所述过程接收701乘客位置。该位置可以是乘客的实际位置和/或它可以包括一个或多个可能的乘客重新定位地点(例如，停车点)。所述过程可以从接收到的点中选择703一个或多个接收到的潜在停车点，或者使用实际乘客位置(以及乘客图像数据和/或地图数据)来选择要考虑作为可能停车点的点。
在一些示例中，对于每个停车点，或者直到找到合适的停车点，所述过程可以相对于驾驶员的当前位置以及相对于在乘客的当前位置接载乘客来考虑705停车在停车点上的影响。换句话说，如果不进行任何更改，则驾驶员将必须行进到乘客的当前位置，因此影响是新停车点与乘客当前位置或新停车点与优选或最佳乘客位置的视角差异(从时间、燃料、安全性等方面来说)。
如果目标是仅仅使对乘客的影响最小化，则唯一的考虑因素可能是乘客的最佳接载点是否不超过任何驾驶员约束(例如，原本5分钟接载时间需要绕行20分钟)。另一方面，如果目标是为双方优化接载或至少在一定程度上考虑对驾驶员的影响，则所述过程可能会考虑增加影响的因素，诸如但不限于转弯、返回、最大停车时间等)。
如果，例如，所述过程需要一次或多次转弯705，这可能会添加附加的行进时间和/或距离(例如，驾驶员和乘客目前都在同一条街道上，但是更安全的接载点在街道对面)，则所述过程可能会添加预期被消耗的任何附加燃料707和/或由于移动位置而可能经历的附加延迟709。这种考虑还可以例如通过考虑需要更少行进时间或更少燃料来实现的位置、但是随后可能需要乘客在某种程度上改变位置来对驾驶员有利。
所述过程可以将时间/成本的增加/减少作为因素计入，并对行程所需的附加转弯(或更少转弯)所导致的影响进行加权711。这些将主要包括额外的左转弯，在美国，所述左转弯通常需要更长的等待时间，但是可以将增加行进时间的任何转弯或者对减少行进时间的转弯的任何妨碍作为因素计入。
所述过程可以进一步考虑驾驶员是否必须实际上行进经过713备选的接载点(例如，另一个位置或当前乘客位置)，然后掉头和返回。由于分车道行驶道路、车流、施工和单向街道，所以即使在对乘客行进影响最小的情况下，移动到道路对面的目的地也可能会对驾驶员产生重大影响。因此，所述过程可以考虑715所需的返回量，然后相应地可以对其影响进行加权717。与转弯一样，这种计算也可能对驾驶员有利(例如，移动位置需要较少(而不是更多)返回)，因此加权可以在给定计算中反映这种情况。
在又一个示例中，所述过程可以考虑新位置是否表示合法的停车位置。尽管驾驶员在非停车位置接载乘客不一定是非法的，但是驾驶员在给定位置等待超过一定时间量可能是非法或不鼓励的。这可能是对***的字面约束(例如，如果驾驶员将在5分钟内到达，乘客必须行走10分钟，但是合法等待时间为2分钟，则停车位可能不适合)，或者这可能会影响执行约束。如果所述约束在法律上没有禁止，但是没有与合法停车位那样过多的可用等待时间，则所述过程可以考虑与提议的停车点相关联的最大721(根据地图数据中已知或历史观察到的)停车时间，并且可以对这会对整个***产生的影响进行加权723。例如，这可能是风险约束，它对驾驶员被迫移动的可能性进行加权，而不是考虑额外燃料或行进时间的成本约束。在成本约束下，***可能寻求将成本最小化或将总加权成本保持在阈值以下。在风险约束下，***可能会寻求将风险最小化或将总风险保持在阈值以下。变量归并也可能有用，例如，有33％的机会要求驾驶员从在时间、行进和燃料方面花费3美元接载的停车点移动，并且有0％的机会从花费5美元的停车点移动，这将是3美元行进空间的备选方案，但是如果驾驶员被迫移动，则从3美元行进空间开始额外需要行进3美元。因此，有100％的机会花费5美元行进或66％的机会花费3美元行进+33％的机会花费6美元行进(4美元预期成本)，从而使得移动风险是值得的。另一方面，如果驾驶员有5％的机会因为等待太久而收到200美元罚单，则驾驶员最好出发前往5美元行进空间，假设计算是乘客不可知对乘客的影响。
这样的和类似的考虑因素可以用于在用户成像的辅助下识别一个或多个优化停车位，并在选择当前用户位置的备选方案作为推荐空间之前，考虑这些空间对乘客和驾驶员的影响。
通过使用通过可视图像的过滤可识别的临时对象(诸如行人和车辆)，说明性实施例可以改进对停车位、可以更容易接载的有限人群区域以及接载乘客的安全地点的识别，从而改进用户定位服务和共乘服务时间。本文描述的新颖、罕见和非典型示例和概念表明通过使用那些示例、概念等可以实现的潜在改进。
尽管上文描述了示例性实施例，但是并不意图这些实施例描述本发明的所有可能形式。相反，本说明书中所使用的字词为描述性而非限制性的字词，并且应当理解，可以在不脱离本发明的精神和范围的情况下做出各种改变。另外，各种实现实施例的特征可以逻辑方式组合以产生本文描述的实施例的情境上合适的变型。
根据本发明，提供了一种***，所述***具有：处理器，其被配置为接收用户位置周围的场景的图像数据，所述图像数据包括对所述图像内的多个车辆对象的识别；处理所述图像数据以确定所述图像内存在未被车辆对象占用的停车位的位置；选择所述停车位中的一者；并且将选定的停车位提供给乘客和驾驶员以为乘车请求安排接载位置。
根据一个实施例，所述图像数据包括在视觉上接近所述用户位置的已知停车位置。
根据一个实施例，所述处理器被配置为通过设置在图像捕获装置接口上的可视摄像头引导来指示包括所述已知停车位置。
根据一个实施例，所述已知停车位置包括历史数据表明已经成功发生先前接载的位置。
根据一个实施例，所述已知停车位置包括地图数据表明预先设计的停车的位置。
根据一个实施例，所述处理器被配置为评估在用户被要求从所述用户位置移动到所述停车位时所经历的用户影响，并选择满足一个或多个预定义用户影响特性的停车位。
根据一个实施例，所述预定义用户影响特性包括对用户横穿车流的限制。
根据一个实施例，出于基于与横穿车流有关的用户影响进行选择的目的而根据所述图像数据确定车流水平。
根据一个实施例，所述预定义用户影响特性包括对距所述停车位的用户行进距离的限制。
根据一个实施例，所述预定义用户影响特性包括基于现有天气状况对距所述停车位的用户行进距离的限制。
根据一个实施例，所述处理器被配置为评估在驾驶员被要求从当前驾驶员位置行进到所述停车位时所经历的驾驶员影响，并选择满足一个或多个预定义驾驶员影响特性的停车位。
根据一个实施例，所述预定义驾驶员影响特性包括对驾驶员在车流中停下(stopping in traffic)的限制。
根据一个实施例，出于基于与在车流中停下有关的驾驶员影响进行选择的目的而根据所述图像数据确定车流水平。
根据一个实施例，所述预定义驾驶员影响特性包括对相对于其他确定的停车位行进时间增加的限制。
根据本发明，一种方法包括：响应于行进请求，请求乘客对其周围环境进行成像；接收请求的图像；基于预定义位置特性和在可识别停车位置中根据所述图像确定的缺乏车辆存在来识别所述请求的图像中的停车点；考虑选择所述停车点中的每一者的加权乘客影响；以及选择加权乘客影响低于预定义阈值的停车点。
根据一个实施例，所述预定义位置特性包括表明允许停车位置的地图数据。
根据一个实施例，所述预定义位置特性包括所述图像中满足用于停车位置的预定义视觉特性的在视觉上可识别的位置。
根据一个实施例，所述预定义位置特性包括发生成功接载的历史观察位置。
根据一个实施例，所述加权乘客影响包括考虑从当前位置至每个停车点的至少附加行进时间、附加行进距离和天气对行进的影响。
根据本发明，一种方法包括：响应于行进请求，请求乘客对其周围环境进行成像；接收请求的图像；基于预定义位置特性和在可识别停车位置中根据所述图像确定的缺乏车辆存在来识别所述请求的图像中的停车点；考虑选择所述停车点中的每一者的加权驾驶员影响；以及选择加权驾驶员影响低于预定义阈值的停车点。

Claims (15)

1.一种***，其包括：
处理器，所述处理器被配置为：
接收用户位置周围的场景的图像数据，所述图像数据包括对所述图像内的多个车辆对象的识别；
处理所述图像数据以确定所述图像内存在未被车辆对象占用的停车位的位置；
选择所述停车位中的一者；并且
将所述选定的停车位提供给乘客和驾驶员以为乘车请求安排接载位置。
2.如权利要求1所述的***，其中所述图像数据包括在视觉上接近所述用户位置的已知停车位置。
3.如权利要求2所述的***，其中所述处理器被配置为通过设置在图像捕获装置接口上的可视摄像头引导来指示包括所述已知停车位置。
4.如权利要求2所述的***，其中所述已知停车位置包括历史数据表明已经成功发生先前接载的位置。
5.如权利要求2所述的***，其中所述已知停车位置包括地图数据表明预先设计的停车的位置。
6.如权利要求1所述的***，其中所述处理器被配置为评估在用户被要求从所述用户位置移动到所述停车位时所经历的用户影响，并选择满足一个或多个预定义用户影响特性的停车位。
7.如权利要求6所述的***，其中所述预定义用户影响特性包括对用户横穿车流的限制。
8.如权利要求7所述的***，其中出于基于与横穿车流有关的用户影响进行选择的目的而根据所述图像数据确定车流水平。
9.如权利要求6所述的***，其中所述预定义用户影响特性包括对距所述停车位的用户行进距离的限制。
10.如权利要求6所述的***，其中所述预定义用户影响特性包括基于现有天气状况对距所述停车位的用户行进距离的限制。
11.如权利要求1所述的***，其中所述处理器被配置为评估在驾驶员被要求从当前驾驶员位置行进到所述停车位时所经历的驾驶员影响，并选择满足一个或多个预定义驾驶员影响特性的停车位。
12.如权利要求11所述的***，其中所述预定义驾驶员影响特性包括对驾驶员在车流中停下的限制。
13.如权利要求12所述的***，其中出于基于与在车流中停下有关的驾驶员影响进行选择的目的而根据所述图像数据确定车流水平。
14.如权利要求11所述的***，其中所述预定义驾驶员影响特性包括对相对于其他确定的停车位行进时间增加的限制。
15.一种方法，其包括：
响应于行进请求，请求乘客对其周围环境进行成像；
接收所述请求的图像；
基于预定义位置特性和在可识别停车位置中根据所述图像确定的缺乏车辆存在来识别所述请求的图像中的停车点；
考虑选择所述停车点中的每一者的加权乘客影响；以及
选择加权乘客影响低于预定义阈值的停车点。
CN201911260163.2A 2018-12-12 2019-12-10 用于基于周围环境改进位置决策的方法及设备 Pending CN111310550A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/217,552 US11175156B2 (en) 2018-12-12 2018-12-12 Method and apparatus for improved location decisions based on surroundings
US16/217,552 2018-12-12

Publications (1)

Publication Number Publication Date
CN111310550A true CN111310550A (zh) 2020-06-19

Family

ID=71073665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911260163.2A Pending CN111310550A (zh) 2018-12-12 2019-12-10 用于基于周围环境改进位置决策的方法及设备

Country Status (3)

Country Link
US (1) US11175156B2 (zh)
CN (1) CN111310550A (zh)
DE (1) DE102019133847A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651806A (zh) * 2020-12-30 2021-04-13 北京瞰瞰科技有限公司 快速找到乘客的方法
CN113950020A (zh) * 2020-06-30 2022-01-18 瑞维安知识产权控股有限责任公司 用于自主车辆的车辆共乘定位和乘客识别

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10928828B2 (en) * 2018-12-14 2021-02-23 Waymo Llc Detecting unfamiliar signs
JP2020101960A (ja) * 2018-12-21 2020-07-02 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11100346B2 (en) * 2018-12-26 2021-08-24 Here Global B.V. Method and apparatus for determining a location of a shared vehicle park position
US11176374B2 (en) * 2019-05-01 2021-11-16 Microsoft Technology Licensing, Llc Deriving information from images
WO2021009798A1 (ja) * 2019-07-12 2021-01-21 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法、及び、プログラム
US11900815B2 (en) * 2019-09-30 2024-02-13 Gm Cruise Holdings Llc Augmented reality wayfinding in rideshare applications
JP7501229B2 (ja) 2020-08-25 2024-06-18 トヨタ自動車株式会社 ロボットシステム
US11644322B2 (en) * 2021-02-09 2023-05-09 Gm Cruise Holdings Llc Updating a pick-up or drop-off location for a passenger of an autonomous vehicle
JP7463981B2 (ja) * 2021-02-18 2024-04-09 トヨタ自動車株式会社 自動運転車両の管理装置
CN113393515B (zh) * 2021-05-21 2023-09-19 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和***

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US9443152B2 (en) 2011-05-03 2016-09-13 Ionroad Technologies Ltd. Automatic image content analysis method and system
US20120300020A1 (en) 2011-05-27 2012-11-29 Qualcomm Incorporated Real-time self-localization from panoramic images
US20130057686A1 (en) * 2011-08-02 2013-03-07 Siemens Corporation Crowd sourcing parking management using vehicles as mobile sensors
US9177224B1 (en) 2013-03-14 2015-11-03 Amazon Technologies, Inc. Object recognition and tracking
JP6325806B2 (ja) 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US9666074B2 (en) * 2014-08-21 2017-05-30 Ford Global Technologies, Llc Method and system for vehicle parking
US9530235B2 (en) 2014-11-18 2016-12-27 Google Inc. Aligning panoramic imagery and aerial imagery
EP3248029A4 (en) 2015-01-19 2018-10-03 The Regents of the University of Michigan Visual localization within lidar maps
DE102015212689A1 (de) * 2015-07-07 2017-01-12 Robert Bosch Gmbh Fahrerunabhängige Überführung eines Kraftfahrzeugs
JP6519748B2 (ja) * 2015-09-30 2019-05-29 日立オートモティブシステムズ株式会社 駐車支援装置
US10504008B1 (en) 2016-07-18 2019-12-10 Occipital, Inc. System and method for relocalization and scene recognition
US10818188B2 (en) 2016-12-13 2020-10-27 Direct Current Capital LLC Method for dispatching a vehicle to a user's location
EP3343506A1 (en) * 2016-12-28 2018-07-04 Thomson Licensing Method and device for joint segmentation and 3d reconstruction of a scene
US10545029B2 (en) 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
US10482766B2 (en) * 2017-02-01 2019-11-19 Microsoft Technology Licensing, Llc Automated parking lot space assignment
WO2018183831A1 (en) * 2017-03-31 2018-10-04 Kaloyeros Alain Elie Image data integrator for addressing congestion
US10372141B2 (en) * 2017-05-24 2019-08-06 Uber Technologies, Inc. Systems and methods for controlling autonomous vehicles that provide a vehicle service to users
KR101922010B1 (ko) * 2017-06-22 2018-11-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102206272B1 (ko) * 2017-07-07 2021-01-25 닛산 지도우샤 가부시키가이샤 주차 지원 방법 및 주차 지원 장치
US10134286B1 (en) * 2017-09-26 2018-11-20 GM Global Technology Operations LLC Selecting vehicle pickup location
US20190145765A1 (en) 2017-11-15 2019-05-16 Uber Technologies, Inc. Three Dimensional Object Detection
EP3711031A4 (en) 2017-11-17 2021-01-13 Facebook, Inc. ANALYSIS OF SPATIAL DISTRIBUTED DATA BASED ON DISTRIBUTED NEURAL FOLDING NETWORKS WITH SUBCOLLECTOR
US10825201B2 (en) 2018-02-20 2020-11-03 Lyft, Inc. Deep direct localization from ground imagery and location readings
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US20200041303A1 (en) * 2018-08-06 2020-02-06 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for weather support for an autonomous vehicle
US10621452B2 (en) 2018-09-14 2020-04-14 Lyft, Inc. Determining and mapping location-based information for a vehicle
US11041733B2 (en) * 2018-10-22 2021-06-22 International Business Machines Corporation Determining a pickup location for a vehicle based on real-time contextual information
DE102018218098A1 (de) * 2018-10-23 2020-04-23 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Abstrahieren eines Datensatzes

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113950020A (zh) * 2020-06-30 2022-01-18 瑞维安知识产权控股有限责任公司 用于自主车辆的车辆共乘定位和乘客识别
CN112651806A (zh) * 2020-12-30 2021-04-13 北京瞰瞰科技有限公司 快速找到乘客的方法
CN112651806B (zh) * 2020-12-30 2023-08-08 北京瞰瞰智能科技有限公司 快速找到乘客的方法

Also Published As

Publication number Publication date
US20200191593A1 (en) 2020-06-18
DE102019133847A1 (de) 2020-07-30
US11175156B2 (en) 2021-11-16

Similar Documents

Publication Publication Date Title
CN111310550A (zh) 用于基于周围环境改进位置决策的方法及设备
US11614338B2 (en) Method and apparatus for improved location decisions based on surroundings
US11676303B2 (en) Method and apparatus for improved location decisions based on surroundings
US11293761B2 (en) Verification and updating of map data
US11747822B2 (en) Mobile robot system and method for autonomous localization using straight lines extracted from visual images
US11592833B2 (en) Method for updating a localization map for a fleet of autonomous vehicles
US11501524B2 (en) Generating augmented reality images for display on a mobile device based on ground truth image rendering
WO2022110049A1 (zh) 一种导航方法、装置和***
US10972864B2 (en) Information recommendation method, apparatus, device and computer readable storage medium
US20180301031A1 (en) A method and system for automatically detecting and mapping points-of-interest and real-time navigation using the same
US10553113B2 (en) Method and system for vehicle location
US11378413B1 (en) Augmented navigational control for autonomous vehicles
US20130057686A1 (en) Crowd sourcing parking management using vehicles as mobile sensors
US11025865B1 (en) Contextual visual dataspaces
US11953330B2 (en) Method to increase the discoverability of shared vehicles
KR101762514B1 (ko) 지도 기반 촬상 위치 정보 제공 방법 및 장치
US12072202B1 (en) Augmented navigational control for autonomous vehicles
US12073614B2 (en) Generating augmented reality images for display on a mobile device based on ground truth image rendering
US20230384454A1 (en) Method, apparatus, and system for mapping and leveraging usage data of lidar on mobile devices
US20240233389A9 (en) Method and system for gathering image training data for a machine learning model
US20230048235A1 (en) Generating augmented reality images for display on a mobile device based on ground truth image rendering
JP2023128653A (ja) 遠隔観光システム、サービス提供装置、自律移動体、およびサービス提供方法
CN117572343A (zh) 视障用户短距离导航方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination