CN108280524B - 识别车辆和生成预约信息的***和方法 - Google Patents

识别车辆和生成预约信息的***和方法 Download PDF

Info

Publication number
CN108280524B
CN108280524B CN201711459539.3A CN201711459539A CN108280524B CN 108280524 B CN108280524 B CN 108280524B CN 201711459539 A CN201711459539 A CN 201711459539A CN 108280524 B CN108280524 B CN 108280524B
Authority
CN
China
Prior art keywords
module
vehicle
reservation
controller
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711459539.3A
Other languages
English (en)
Other versions
CN108280524A (zh
Inventor
D·K·格林姆
C·L·厄斯特勒林
A·E·赫尔利
A·S·卡米尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
General Motors LLC
Original Assignee
GM Global Technology Operations LLC
General Motors LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC, General Motors LLC filed Critical GM Global Technology Operations LLC
Publication of CN108280524A publication Critical patent/CN108280524A/zh
Application granted granted Critical
Publication of CN108280524B publication Critical patent/CN108280524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种具有许多技术元件的***和方法，其中一个技术元件是控制器，其促使该控制器改进，并创建比原始默认的控制器功能更多的功能。这些元件协作以使控制器操作照相机来记录视觉内容图像；将所记录的图像存储到存储器中，所记录的图像以数字形式作为数字图像存储；执行视觉识别模块以在至少一个数字图像中识别至少一个目标对象；生成视觉识别模块的识别结果；将识别结果与车辆预约信息进行比较；根据识别结果与车辆预约信息的比较结果生成预约信息；并操作显示器以显示预约信息。

Description

识别车辆和生成预约信息的***和方法
技术领域
共享车辆和自助车辆租赁服务使得消费者能够预约基于站点使用的车辆，尤其是在城市环境中。这些出租的车辆通常位于预约的停靠点，停靠点通过永久安装的标志或标识识别。理想情况下，用户从预约的停靠点开走车辆，并将车辆归还到该停靠点或附近具有类似标记的停靠点。然而，由于这些预约停靠点通常见于公共停靠区域，用户很难确定车辆的预约状态。这可能使用户感到沮丧，并且使他们不能及时租用车辆。因此，期望提供一种识别是否可预约车辆的***和方法。另外还希望额外提供预约车辆的能力。
发明内容
本发明提出了一种生成预约信息的方法。该方法包括以下步骤：(a)提供一种存储器，其配置为至少包括一个可执行指令模块，该存储器还配置为包括预约信息的数据库；(b)提供一种控制器，其配置为执行所述模块并与数据库通信；(c)提供一种移动计算设备，其具有配置为显示信息的显示器；(d)在所述移动计算设备上提供照相机，所述照相机配置为记录视觉内容图像；(e)提供一种视觉识别模块，其配置为识别至少一个目标对象；(f)通过照相机记录视觉内容图像；(g)通过控制器将照相机记录的图像以数字形式作为数字图像存储在存储器中；(h)通过所述控制器执行所述视觉识别模块以识别至少一个数字图像内的至少一个目标对象；(i)通过控制器生成所述视觉识别模块的识别结果；(j)通过控制器将识别结果在预约信息中验证；以及(k)，基于步骤(j)的结果，通过显示器显示预约信息。
该方法还可以包括以下步骤：(l)在移动计算设备上提供收发器，该收发器配置为传送一个或多个数据传输；(m)，基于步骤(j)的结果，经由收发器将数字图像传送到控制器；以及(o)，在步骤(j)之后，在收发器处接收预约信息。在这种情况下，存储器和控制器可以位于呼叫中心。
可执行指令模块还可以是配置为辅助完成车辆预约的预约模块。在这种情况下，该方法还可以包括以下步骤：(l)基于步骤(j)的结果，按照预约信息内容通过控制器请求预约；以及(m)，基于步骤(I)，通过控制器根据预约请求生成完整预约。预约模块还可以包括camshift模块，其配置为辅助追踪至少一个目标对象的位置。在这种情况下，该方法将包括以下步骤——在步骤(g)之后的(n)，经由控制器执行camshift模块以辅助追踪至少一个数字图像内的至少一个目标对象的位置。所述视觉识别模块可以包括：级联分类器模块，其配置为使用滑动窗口搜索方案，其中各种比例的窗口可以横在至少一个数字图像的内容上滑动；MSER模块，其配置为在至少一个数字图像的内容中检测关注区域；以及OCR模块，其配置为从至少一个数字图像的内容内的所检测的关注区域中提取任意文本。
至少一个数字图像的内容可以至少是牌照的一部分。目标对象可以是位于牌照上的字符或符号。预约信息可以包括：车辆名称；车辆位置；预约费用；是否可预约的事实；以及预约请求选项。
本发明还提出了一种生成车辆预约信息的***。该***包括存储器、控制器、移动计算设备、照相机和视觉识别模块。存储器配置为包括可执行指令模块并且包括车辆预约信息的数据库。控制器配置为执行模块并与数据库通信。该移动计算设备包括配置为显示信息的显示器。照相机位于移动计算设备上并配置为记录视觉内容图像。视觉识别模块配置为识别至少一个目标对象。此外，该模块使控制器能够：操作照相机以记录视觉内容图像；将记录的图像存储到存储器中，记录的图像以数字形式作为数字图像存储；执行视觉识别模块以识别至少一个数字图像内的至少一个目标对象；生成视觉识别模块的识别结果；将识别结果在车辆预约信息中验证；并且当根据车辆预约信息识别结果已经得到验证时，操作显示器以显示预约信息。
附图说明
下文将结合以下附图描述本发明的实施例，其中相同的附图标记表示相同的元件，并且其中：
图1示出根据本发明所提出的***和方法的一方面的通信***的示例性实施例；
图2是根据本发明所提出的***和方法的一方面的基于限制的视觉识别代码段的示例性示意图；
图3和图4是根据本发明所提出的***和方法的一方面的视觉识别模块的示例性示意图；
图5是根据本发明所提出的***和方法的一方面的camshift模块的示例性示意图；
图6是根据本发明所提出的***和方法的一方面的示例性预约模块的示例性应用；
图7是根据本发明所提出的***和方法的一方面的示例性预约模块的另一示例性应用；
图8是根据本发明所提出的***和方法的一方面的示例性预约模块的另一示例性应用；
图9是根据本发明所提出的***和方法的一方面的示例性预约模块的另一示例性应用；并且
图10是根据本发明所提出的***和方法的一方面的预约模块的示例性示意图。
具体实施方式
以下具体实施方式本质上仅是示例性的，并不旨在限制应用和用途。此外，并不旨在受前述技术领域、技术背景、发明内容或以下具体实施方式描述中呈现的任意表达或暗示的理论束缚。如本文所用，术语“模块”是指专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和存储器，其执行一个或多个软件或固件程序、组合逻辑电路、以及/或提供所述功能的其他合适的组件。
参考图1示出了通信***10的非限制性示例，通信***10可以与本发明公开的设备/***示例一起使用或者用于实施本发明公开的方法示例。通信***10通常包括车辆12、无线载体***14、陆地网络16和呼叫中心18。应该理解的是，所示***的总体架构、设置和操作以及各个部件仅仅是示例性的，并且不同配置的通信***也可以用于实施本发明公开的方法示例。因此，提供所示通信***10的简要概述的以下段落并不旨在限制。
车辆12可以是任意类型的移动车辆，例如摩托车、汽车、卡车、休闲车(RV)、船、飞机等，并且配备有合适的硬件和软件，使其能够通过通信***10进行通信。车辆的某些硬件20总体上在图1中示出，其包括远程信息处理单元24、麦克风26、扬声器28以及连接到远程信息处理单元24的按钮和/或控制器30。与远程信息处理单元24可操作地连接的是网络连接或车辆总线32。正确的网络连接示例包括控制器区域网络(CAN)、媒体导向***传输(MOST)、本地互联网络(LIN)、以太网以及其他适当的连接，例如符合已知的ISO(国际标准化组织)、SAE(车辆工程师协会)和/或IEEE(电气和电子工程师协会)等的标准和规范的连接，仅举几例。
远程信息处理单元24是通过其与呼叫中心18的通信提供各种服务的车辆上的设备，并且通常包括电子处理设备38、一种或多种电子存储器40、蜂窝芯片组/部件34、无线调制解调器36、双模式天线70以及包含GNSS芯片组/部件42的导航单元。在一个示例中，无线调制解调器36包括适于在电子处理设备38内执行的计算机程序和/或代码段。
远程信息处理单元24可以提供各种服务，包括：结合GNSS芯片组/部件42提供的分路段指引和其他导航相关服务；提供与位于整个车辆的各种碰撞和/或碰撞传感器接口模块66和碰撞传感器68相关联的安全气囊展开通知以及其他紧急或路边援助相关服务；和/或信息娱乐相关服务，其中音乐、互联网网页、电影、电视节目、视频游戏和/或其他内容经由信息娱乐中心46下载，信息娱乐中心46通过车辆总线32和音频总线22可操作地连接到远程信息处理单元24。在一个示例中，下载的内容被存储用于当前或稍后回放。以上列出的服务没有完全列出远程信息处理单元24的所有功能，而仅仅示出远程信息处理单元24能够提供的一些服务。可以预料的是，远程信息处理单元24可以包括多个除以上列出的部件以外的和/或不同的部件的附加部件。
车辆通信可以使用无线电传输来与无线载体***14建立语音通道，使得通过语音通道可以发送和接收语音和数据传输。通过蜂窝芯片组/部件34实现车辆通信以用于声音通信，以及通过无线调制解调器36实现车辆通信以用于数据传输。任何合适的编码或调制技术可以用于本示例，包括数字传输技术，诸如TDMA(时分多址)、CDMA(码分多址)、W-CDMA(宽带CDMA)、FDMA(频分多址接入)、OFDMA(正交频分多址)等。
双模式天线70服务于GNSS芯片组/部件42和蜂窝芯片组/部件34。
麦克风26向驾驶员或其他车辆用户提供用于输入口头或其他听觉命令的装置，并且可以使用本领域已知的人/机接口(HMI)技术来为麦克风26配备嵌入式语音处理单元。相反，扬声器28向车辆用户提供可听输出，并且可以是专门用于与远程信息处理单元24一起使用的独立扬声器，或车辆音频部件64的一部分。在任意情况下，麦克风26和扬声器28使得车辆硬件20和呼叫中心18能够通过可听语音与用户进行通信。车辆硬件还包括用于使车辆用户能够激活或使用一个或多个车辆硬件部件20的一个或多个按钮和/或控制器30。例如，一个按钮和/或控制器30可以是用于启动与呼叫中心18(无论是诸如顾问58的人还是自动化呼叫响应***)的语音通信的电子按钮。在另一个例子中，一个按钮和/或控制器30可以用于启动应急服务。
音频部件64可操作地连接到车辆总线32和音频总线22。音频部件64通过音频总线22接收模拟信息，输出声音。通过车辆总线32接收数字信息。音频部件64提供独立于信息娱乐中心46的调幅(AM)和调频(FM)无线电、压缩盘(CD)、数字视频光盘(DVD)以及多媒体功能。音频部件64可以包含扬声器***，或者可以经由车辆总线32和/或音频总线22上的裁定来使用扬声器28。
车辆碰撞和/或碰撞检测传感器接口66可操作地连接到车辆总线32。碰撞传感器68经由碰撞和/或碰撞检测传感器接口66向远程信息处理单元提供关于车辆碰撞严重性的信息，例如碰撞角度和碰撞持续力度。
车辆传感器72以位于整个车辆中的电子硬件部件的形式连接到各种传感器接口模块44(VSM)，并使用感测输入以执行诊断、监测、控制、报告和/或其他功能。每个VSM 44优选地由车辆总线32连接到其他VSM和远程信息处理单元24，并且每个VSM 44可以编程为运行车辆***和子***诊断测试。作为示例，一个VSM44可以是控制发动机操作的各个方面(例如燃料点火和点火正时)的发动机控制模块(ECM)，另一个VSM44可以是调节车辆动力系的一个或多个部件的操作的动力系控制模块。另一个VSM 44可以是控制位于整个车辆中的各种电气部件的主体控制模块(BCM)，如车辆的电动门锁、发动机点火和前照灯。根据一个实施例，发动机控制模块配备有车辆上的诊断(OBD)特征部，其提供诸如包括车辆排放传感器的从各种传感器接收的无数实时数据，并且提供一系列标准化的诊断故障代码(DTC)，使技术人员能够快速识别和纠正车辆的内部故障。
被动进入被动启动(PEPS)模块是可以连接到车辆总线32的另一种VSM 44，并提供被动物理钥匙或虚拟车辆钥匙的存在或不存在的被动检测。当具有虚拟车钥匙的被动物理钥匙或智能电话57接近时，PEPS模块44可以确定被动物理钥匙是否属于车辆12和/或(在一些实施例中)确定虚拟车钥匙是否授权/真实。如果虚拟车辆钥匙是真实的，则PEPS模块44可以将命令发送到BCM，允许访问车辆12。如本领域技术人员所理解的那样，上述VSM仅是可以在车辆12中使用的一些模块的示例，因为许多其他模块也是可能的。
无线载体***14可以是移动电话***或者任意在车辆硬件20和陆地网络16之间传输信号的其他合适的无线***。根据示例，无线载体***14包括一个或多个手机信号发射塔48。
陆地网络16可以是连接到一个或多个陆线电话并且将无线载体***14连接到呼叫中心18的传统的基于陆地的电信网络。例如，如本领域技术人员所理解的，陆地网络16可以包括公共交换电话网络(PSTN)和/或互联网协议(IP)网络。当然，陆地网络16的一段或多段可以以多种形式实施：标准有线网络、光纤或其它光网络、电缆网络、其他例如无线局域网(WLAN)或提供宽带无线接入(BWA)的网络或其任意组合的无线网络。
可以与远程信息处理单元24通信的联网设备之一是移动计算设备57，其诸如但不限于，智能电话、个人手提计算机或具有双向通信功能的平板电脑、诸如但不限于智能手表或眼镜、或其他任意合适的组合的可穿戴计算机。移动计算设备57可以包括计算机处理能力、能够与无线载体***14通信的收发器53、数字照相机55、视觉显示器59和/或能够接收GPS卫星信号并基于该信号生成GPS坐标的GPS模块。在一些实施中，显示器59还包括交互式触摸屏图形用户界面。数字照相机55可以包括生成数字图像的能力，该数字图像是通过照相机55的一般已知操作捕捉和存储的有形物体的位图数据表示。移动计算设备57的示例包括由苹果公司制造的iPhoneTM和Apple WatchTM以及由摩托罗拉公司或其他厂商制造的DroidTM智能电话等。
移动设备57可以用在例如图1所示的车辆12的移动车辆的内部或外部，并且可以通过有线或无线的方式与车辆连接。移动设备还可以配置为根据与第三方设施或无线/电话服务提供商的订购协议来提供服务。应当理解，各种服务提供商可以使用无线载体***14，并且远程信息处理单元30的服务提供商可能不一定与移动设备57的服务提供商相同。
当使用诸如蓝牙低功耗、Wi-Fi等的短距离无线连接(SRWC)协议时，移动计算设备57和远程信息处理单元24可以在个案情况下无线范围内彼此配对，或彼此连接。这种独特的配对还可以允许移动计算设备57充当钥匙扣来通过远程信息处理单元24操作车辆12。为了以这种方式进行配对，可以将一组特有的加密密钥发送至移动计算设备57和远程信息处理单元24。呼叫中心20还可以参与。例如，呼叫中心20可以为远程信息处理单元24和移动计算设备57生成加密密钥和对应的访问令牌。
呼叫中心18设计为向车辆硬件20提供多个不同***的后端功能，并且根据本发明所示的示例，通常包括一个或多个交换机52、服务器54、数据库56、顾问58以及各种其他电信/计算机设备60。这些各种呼叫中心部件适当地经由网络连接或诸如上文提及的连接车辆硬件20的总线的总线62相互连接。可以是专用小交换机(PBX)的交换机52传入输入信号，使得语音传输通常被发送到顾问58或自动响应***，并且数据传输被传送到调制解调器或其他通信/计算机设备60用于解调和进一步处理信号。调制解调器或其他电信/计算机设备60可以包括如前所述的编码器，并且可以连接到多种诸如服务器54和数据库56的设备。数据库56可以设计为保存共享车辆服务记录，即车辆预约信息，例如但不限于共享车辆服务预约账户记录、共享车辆的车辆记录、诸如预约日历的预约档案记录、承租人行为模式记录或任意其他相关的共享车辆服务的信息。该存储和生成的后端信息可以用SQL(结构化查询语言)编写。可以创建一个后端信息的实施例，使得每个记录通过列表形式(电子表格)编排。
例如，移动计算设备57的用户可以创建自己的个性化共享车辆服务预约账户，即“预约账户”，以存储在数据库56中。用户可以通过诸如远程计算机18和移动计算设备57的各种设备或通过呼叫中心20的实时顾问86来执行创建该账户的任务。用户账户可以在服务器82上访问，即支持后端功能。呼叫中心20还可以访问一个或多个附加的远程服务器和/或远程数据库，例如机动车辆数据库部门，以接收支持预约账户的信息。
用户账户可以包括验证数据以验证和/或验证将来的登录尝试是安全的，例如仅授予该用户访问。验证数据可以包括账户用户名、账户密码、诸如驾驶证号的用户信息以及移动计算设备信息，例如唯一的移动设备标识符，即序列号。用户账户可以另外存储多种用户偏好。
移动计算设备57可以接收软件模块99，即“预约模块”，其可以与预约账户相关联。例如，移动设备57的用户可以访问在线软件应用商店或网络服务，并从其下载预约模块99。此外，移动计算设备57可以将预约模块99的前端部分安装到移动计算设备57的移动存储器61上。此外，预约模块99可以包括将通过显示器59显示的一个或多个图形用户界面(GUI)，并且其包括一个或多个提示以指示用户提供诸如验证数据的信息以支持用户账户创建。
预约模块99通过可操作地访问数据库56中的后端共享车辆的服务记录并与其通信，辅助共享车辆***用户，即移动计算设备用户，预约至少一个车辆12。此外，预约模块99可以访问数字照相机55，并且其包括下文讨论的视觉识别模块和camshift模块或与其通信，以在识别到预约的特定车辆12时帮助用户。
虽然所示的示例已经被描述为将与有人接听的呼叫中心18一起使用，但是应该理解，呼叫中心18可以是任意中央或远程设施、可以配备或不配备人员、可以使移动或固定的，可以希望从中发出或接收语音和数据。
视觉识别模块
图2示出了用于形成基于限制的视觉识别模块100的***流程的至少一个代码段的实施例的示例性示意图，该基于限制的视觉识别模块100可以与预约模块99通信或者集成一体。可以执行视觉识别模块100以识别例如车辆牌照的视觉内容中的至少一个诸如字符的目标对象，并且可以将其结合到本发明所示的***和方法的实施例中。如图2所示，***流程100采用输入110，如图所示输入110包括视觉内容111和传感器模态112，并且其与从图像数据库120检索的信息一起执行对象识别过程130以便到达识别结果140。***流程100将在下文中更详细地讨论。
本发明呈现的***和方法的实施例使用诸如定位***数据、3D加速计数据以及陀螺仪和数字罗盘信息之类的传感器模态来降低图像搜索复杂度。定位***数据可以包括来自GPS模块、广域网(WAN)、无线网络等的数据。例如，如果查询图像的GPS位置靠近“新罕布什尔州康科德市中心街50号”，则不需要将查询图像与显著不同的GPS位置的图像进行比较。因此，例如，查询图像将不会与在芝加哥或德国慕尼黑的房屋的图像混淆。
图3是根据图像匹配过程130的一方面的示例性视觉识别算法200的示意图。如图所示，在其他代码段中，视觉识别模块200包括级联分类器模块210、MSER模块220和OCR扫描模块230。
级联分类器模块210包括多级检测框架。在该实施例中，多级分类器模块210接收输入201，输入201通常由数字照相机55生成并包括诸如数字图像的视觉内容205。级联分类器模块210还包括一组分类器211，其已经在Haar上训练以识别该输入视觉内容205内的诸如牌照的字符和符号的关注对象。例如，级联分类器模块210使用滑动窗口搜索方案，其中各种比例的窗口滑过视觉内容205的内容。因此，每个分类器考虑在视觉内容205中的特定位置处的相邻矩形图像块并且总计每个区域的像素强度。当滑动窗口跨越视觉内容205移动以基于已培训过分类器的Haar特征来区分目标对象与非目标对象块时，在滑动窗口下方的矩形图像块由来自该组Haar分类器211的一个或多个弱分类器检查。
级联分类器模块210的实施例通常以以下方式工作，第一步骤，级联分类器模块210接收视觉内容205。下一个步骤，滑动窗口迭代地应用于视觉内容205上。在下一步骤中，窗口的每个滑动窗口的位置和大小，根据现在将讨论的分级分层体系结构，通过应用来自该组分类器211中的一个或多个弱分类器测试，其中该组分类器211已经在Haar特征上训练。
将对级联分类器模块210的每一层执行以下步骤。在第一步骤中，该层的所有弱分类器都应用于视觉内容205。(可能存在一些AdaBoost体系结构，其中只有选择的弱分类器以类似决策体系的方式被应用。)所有弱分类器关于是否已经检测到目标对象或者未检测到目标对象的决定在第二步骤中统一为单个决策。在接下来的步骤中，如果没有检测到目标对象，则该处理退出并且视觉识别模块200移动到完成。该完成的同时，可以有指示视觉内容205不能检测到目标对象的通知。或者，如果目标对象已被所有层次，包括当前层次，检测到，则该处理确定是否存在另外层。如果有另外层，则该处理返回到第一步骤。如果不存在另外层，则将最终声明滑动窗口位置为所需对象类的一个实例，并将其添加到结果集中。在第三步骤中，执行非最大抑制操作，通过消除高度重叠的窗口位置来减小结果集的大小。然后将剩下的零个或多个检测到的目标对象集确定为车辆牌照。例如，当确定目标对象是车辆牌照时，模块210输出视觉内容205。如果目标对象不是牌照，则视觉内容205被拒绝并且视觉识别模块200移动到完成，完成未示出。该完成的同时，可以有指示视觉内容205不能检测到目标对象的通知。级联分类器模块210的主题公布在于2013年5月21日发布的标题为“使用Haar特征和定向梯度直方图进行目标识别”(Object Recognition Using HaarFeatures and Histograms of Oriented Gradients)的美国专利8，447，139中，正如上文所讨论的，该专利最初被分配给国际商业机器公司(IBM)，在此引入其相关部分。
在该实施例中，当从级联分类器模块210输出时，MSER模块220接收视觉内容205。如通常所知，MSER模块220用于检测视觉内容205的内容中的任意关注区域。MSER(最大稳定极值区域)本质上是包含通过密度分割处理获得的对象特征的强度等高线的图像。MSER区域可以是比其周围更暗或更亮的区域，并且在该强度函数的阈值范围内是稳定的。例如，MSER可以是具有浅色背景如下图7所述的牌照上的深色字符或符号。
产生MSER的过程通常从一些黑色或白色的基本阈值级别开始，并且通过在选定区域周围增长一个区域来继续，直到获得稳定的强度等值线图。应该理解的是，MSER可以具有100×100像素的分辨率。MSER的基本原理在一些文章中得到探讨，例如K Mikolajczyk、TTuytelaars、C Schmid、A Zisserman、J Matas、F Schaffalitzky，T Kadir和L van Gool发表于2005年11月出版的国际计算机视觉杂志，65(7)：43-72，题为“仿射区域检测器的比较”(A comparison of affine region detectors)。MSER的进一步细节见于J.Matas、O.Chum、U.Martin和T Pajdla撰写的文章，标题为“从最稳定的极值区域获得稳健的宽基线立体声”(Robust wide baseline stereo from maximally stable extremal regions)，发表于出版于2002年英国机器视觉会议记录的卷1，第384-393页。
MSER模块220的实施例通常以以下方式工作，在第一步骤中，执行视觉内容205对象的仿射变换以允许定向独立的图像匹配。仿射变换的原理众所周知。仿射变换是一类重要的线性二维几何变换，其通过应用平移旋转缩放和/或剪切，即一些方向上的不均匀缩放，操作的线性组合将诸如输入图像中的位置处的像素强度值等变量映射到输出图像中诸如新变量等。在基本术语中，仿射变换是保留共线性(即所有最初位于一条线上的点变换后仍然位于一条线上)的任意变换和诸如线段的中点在转换后保持在中点的距离比率。
在第二步骤中，MSER图像被标准化。基本上，标准化程序包括从每个像素中减去MSER中的所有像素的平均像素强度值，并用结果除以MSER中像素的标准偏差。在第三步骤中，将MSER数据转换成适合与数据库120中的一组图像进行比较的形式。在这种情况下，本领域技术人员将会看到，这些图像通常与诸如从A到Z的***字母表或诸如从0到9的整数数字之类的字符相关联，并且在某些实施例中可以是与在美国或欧洲发行的牌照上常见的字符和符号一致的字体。在第四步骤中，数据库120的每个图像依次与每个MSER进行比较，直到至少获得一个匹配。一旦获得匹配，MSER被认为是关注区域。但是，如果某个MSER没能得到匹配，则该MSER将被拒绝，因为它不是一个关注区域。例如，如果MSER对应于牌照上的车辆检查标签82，则MSER将被拒绝，因为它不能与存储在数据库120中的已知字符或符号匹配。但是，可能会生成其他可拒绝的MSER。
当确定已经获得全部MSER匹配时，从模块210输出视觉内容205。如果没有获得MSER匹配或者未满足最少数量的匹配，例如七个，则视觉内容205被拒绝并且视觉识别模块200移动到完成，完成未示出。完成时，可以有宣布视觉内容205不能检测到足够的MSER匹配的通知。MSER模块220的主题在美国专利申请公开2009/0232358(以申请号12/382，021提交)中公布，其标题为“处理图像的方法与装置”(Method and Apparatus for Processingan Image)，出版于2009年9月17日，如上所述，在此并入其中的一部分。
在该实施例中，当从MSER模块220输出时，OCR扫描模块230接收视觉内容205。如通常所知，OCR扫描模块230用于从视觉内容205的内容内检测到的关注区域提取文本，即基于文本的检索。此外，OCR扫描模块230不需要手动干预来指示读取文本的正常顺序。熟练的技术人员将会看到，这种基于文本的检索具有计算成本低、存储要求低、传输带宽低的优点。这些基于文本的输入有助于搜索***实时缩小搜索空间。文本信息也有助于区分具有相似外观的对象。
在第一步骤中，扫描视觉内容205。在第二步骤中，OCR模块230隔离并平移每个关注区域的文本。在该步骤中，也可以解析视觉内容205。在第三步骤中，通过字符识别处理来识别单个字符的形状。应该理解的是，OCR扫描模块230能够识别任意数量的字符字体中的字符。还可以采用上下文分析处理来检查在字符识别过程中识别的形状的相对大小和位置，以将文本分成单词并解决形状不定性。在第四步骤中，格式化识别的字符并输出作为识别结果140。
OCR扫描模块230的主题公开在1992年7月14日发布的标题为“光学字符识别方法和装置”(Optical Character Recognition Method and Apparatus)的美国专利5，131，053中，该专利最初授权给Nuance通信公司，如上文所述，此文并入其相关部分。
在一个实施例中，视觉识别模块200还结合传感器模态分析。该分析在图3中示出。图4展示该分析，图4是根据本发明所呈现的***和方法的实施例的视觉识别模块200的示意图。为简单起见，图2中省略了视觉识别模块200的某些部件。
如图所示，视觉识别模块200的输入201可以进一步包括传感器模态305。这些可以包括GPS数据310或其他合适位置的传感器数据、对齐信息311、时间320、视角和方向数据330等。因此，一个实施例将诸如视觉内容205的图像内容与传感器模态305组合，以提高视觉识别准确性和效率。例如，给定GPS位置、视角、方向等，在关键点提取之前，可以使用视角和方向数据330来对齐从不同视角和方向拍摄的同一对象的两个图像。通过这样做，可以更加准确地匹配在不同旋转331、不同视角等处捕捉的相同对象。作为另一个例子，如果捕捉时间320示出一个图像是在白天拍摄的，而另一个是在夜间拍摄的，则不会使用颜色比较，以减少由于白天/夜晚和白天/夜晚照明差异导致的大的颜色变化而可能引起的匹配错误。另外，OCR的准确性要求文本位于水平位置。借助诸如视角、方向等的传感器信息330，如果需要，可以将图像旋转到水平位置以便增加OCR处理231的精确度。如图3所示，传感器模态305可以作为视觉识别算法200的初始步骤发生。传感器模态305可以充当图像识别过程中的额外的细化层，其可以减小图像搜索空间的尺寸。应该理解，本发明图2-4讨论的视觉识别算法可以构成基于限制的视觉识别模块200的一个实施例的一部分或全部。已经设想其他算法可以并入到模块100的内容中。
CAMSHIFT模块
如图5所示，预约模块99的实施例可以包括camshift模块400以帮助用户追踪位于视觉识别算法200的前端GUI处的牌照字符和符号的位置。当用户已经正确地聚焦视觉内容205以捕捉正确的字符和符号时，camshift模块400进一步通知用户。camshift模块400的主题公开于2002年5月28日公布的标题为“使用连续自适应均值漂移跟踪对象的方法和装置”(Method and Apparatus for Tracking an Object Using a Continuously AdaptingMean Shift)的美国专利6，394，557中，其最初授权给英特尔公司，本文并入其相关部分。
在步骤410和420中，选择初始搜索窗口大小和初始搜索位置。如通常所知，这可以通过移动计算设备57上的数字照相机55调整特征或其移动来执行。在步骤430中，如通常所知，camshift模块400执行一个或多个均值漂移方法的迭代以移动搜索窗口。在步骤440中，该方法调整搜索窗口的大小。步骤440可以通过移动计算设备57和/或数字照相机55的用户的物理移动来执行。接下来，在步骤450中，如通常所知，camshift模块400确定其是否已经聚集到概率分布的中心。如果均值漂移方法已经聚集，那么方法已完成。如果camshift方法没有聚集，则camshift模块400返回到步骤430，该步骤使用新的搜索位置执行均值漂移方法，并计算新的搜索窗口的大小。
方法
现在来通过图9比较图6。可以看到通过预约模块99生成预约信息的方法的应用。该方法的一个或多个方面可以通过控制器52执行，例如，实施存储在数据库56或移动存储器61上的预留模块99的一部分的后端功能。另外，可以通过移动计算设备57执行一些方面，例如，实现存储在移动存储器61上的预约模块99的一部分的前端功能。还应该理解，可以在用户通过预约模块99访问其预约账户之后执行该方法的各方面。
如图6所示，移动计算设备57的用户74开始使用预约模块99，将通过照相机镜头看到的视野75由车辆12的总体方向指向用户期望预约的方向，即期望的视觉内容。然后用户74需要调整照相机55以集中于车辆12的目标部分，该目标部分将为期望的结果提供合适的信息。在这个实施例中，用户将注意力集中在车辆牌照76上，特别是以精确地捕捉组成注册号码的字符和符号的方式。
如图7所示，用户74一旦对焦，就可以通过显示器59的触摸屏图形用户界面特征来操作预约模块99以记录车辆牌照76的图像。如图所示，当预约模块99包括camshift模块时，可以显示camshift特征78以帮助用户76确保用户已经正确地聚焦在形成注册号码80的目标字符和符号上。如图所示，例如矩形，camshift特征78是以目标对象80为中心的自调节区域。通过使用该目标对象80的大小和位置，前文所讨论的运动***的“锁定”在关注的目标对象上得以加强。
如图7所示实施例，目标对象80的概率分布将是较大的，并且任意对视觉内容做出的明确修改也将在平移像素的绝对数量上较大，因此计算区域必须较大。相反地，诸如但不限于检查标签82、下发牌照的州名84和州的标语86的非目标对象的概率分布将是较小的，并且即使用户74相当快地移动照相机55，平移像素的数量将足够小并且将不会为camshift模块400检测到，因此camshift特征将不会以这些非目标对象为中心。
一旦捕捉到一个或多个关键数字图像，可以根据实施例将其发送到移动存储器61或数据库56，从而以诸如.jpg的数字格式存储为一个或多个数字图像。例如，当预约模块99配置为在移动计算设备57处实施所有方法的方面(并且可以通过从数据库56周期性下载共享车辆的服务记录来支持该努力)时，数字图像可以简单地保存在移动存储器61中。然而，在预约模块99配置为将一个或多个方面实现为后端功能的那些实施例中，图像可以通过收发器53传输到数据库56。应该理解，在被下载到移动存储器61或数据库56中(例如，一些图片的内容不能充分反映目标对象80)之前，非关键性数字图像可能被丢弃。
在下载一个或多个关键性数字图像时，预约模块99将响应视觉识别模块200以执行识别和验证目标对象80所需的步骤。如上所述，当级联分类器模块210、MSER模块220和OCR扫描模块230中的每一个产生积极结果时，视觉识别模块220将生成识别结果140。否则将不会生成识别结果140，例如由于数字图像中的数据不足。这样，视觉识别模块220将对一个或多个其他数字图像执行所需的步骤，或者与预约模块99进行通信以反馈无法生成识别结果140。该反馈可以进一步在显示器55上显示。
然后预约模块99可以取得识别结果140，并如上所述，根据实施例将其存储到移动存储器61或数据库56中。也可以将识别结果140独立地存储到移动存储器61或数据库56中以供预约模块99访问。
一旦正确存储，识别结果140可以与共享车辆的服务记录进行比较。因此，处理后的牌照信息可以用于查找对应的车辆12的共享车辆记录。然后可以从移动存储器61或数据库56中搜索、选择和访问这些记录。为辅助该努力，每个记录可以包括与识别结果140相对应的标签。例如，如果识别结果140生成字符和符号“ABC 1234”，预约模块99可以在记录中搜索“ABC 1234”标签(或对应的源代码语言中的等同物)。
当被访问时，预约模块99将验证每个与识别结果140匹配的记录是否符合逻辑。例如，预约模块99可以查看所访问的记录中的所有可变信息，可变信息在下文中讨论。如果确定任意信息不足(例如，对应的预约档案记录缺失)或不合逻辑，例如根据传感器模态(例如，记录显示对应的车辆将停放在很远的位置)，预约模块99可以通知用户或呼叫中心20。预约模块99还可以再次与移动存储器61或数据库56通信以搜索记录、选择并访问另一个可能具有足够可变信息的记录。
一旦可变信息被充分验证，预约模块99将生成可视格式的且有序的预约信息88。如图8所示，预约模块99将依次显示预约信息88，如显示器59的触摸屏图形用户界面特征。在预约信息88在数据库56中生成的情况下，在生成完成之后，这些信息可以经由无线载体***48发送并且在收发器53处被接收。
预约模块99可以通过显示为预约信息屏幕89(经由显示器59的触摸屏图形用户界面特征)的一方面以像素化格式显示预约信息88。此外，预约信息88还可以包括诸如但不限于车辆名称90、车辆位置92、预约费用94、预约是否可用的事实96和预约请求选项98的变量。例如，车辆名称90可以包括通用描述性信息，诸如但不限于车辆年份(例如“2016”)和车辆型号(例如“雪佛兰太浩”)、车辆颜色(例如“白色”)、共享车辆***注册号码(例如，“#M28”或“DLT-45XX”)，或者甚至可以包括车辆的熟知的、商业上独特的或幽默的名称，例如“李宏玮”(The Jenny Lee)、“贝特西·玛蒂尔达”(Betsy Matilda)、“奈丽”(Nelly)等。车辆位置92可以包括车辆的当前位置、指定的车辆停放位置的位置或车辆通常位于的停放位置。预约费用94可以包括与选定的时长(例如，“2小时25美元”、“11月3日星期五下午8点至10点55美元”等)对应的费用信息。预约是否可用的事实96可以包括关于车辆可用性(例如，“不可用—11月3日星期五晚上10点—凌晨2点”)的日程安排信息或者上下车要求(“在埃尔塞贡多街123号上车”和“在主街345号下车”)。应该理解，上述各个可变信息可以来自单个对应的共享车辆的服务记录。
预约请求选项98可以另外包括选择，诸如但不限于预约时间延长、燃料信息、旅程信息、现场顾问58沟通选项费用协商选项。应该理解，所列出的车辆名称90、车辆位置92、预约费用94、预约是否可用的事实96和预约请求选项98不被认为是详尽的列表，并且可以显示其他预约信息。
如图9所示，预约模块99可以实施为显示预约信息88，其中通过被示为预约确认屏幕101的一方面(经由显示器59的触摸屏图形用户界面特征)以像素化格式显示预约信息88为确认信息。基于用户74的个人时间，并且响应于由预约信息88(图8)中的可变信息设定的预约参数，用户74可以使用预约信息屏幕101来请求预约车辆。例如，当用户74的时间安排和预约参数一致时，用户相应地可以希望预约车辆12。用户74可以通过使用虚拟确认按钮97生成预约请求，并且因此通过预约模块99形成预约交易。因此，从预约请求中除去任意不可预见的后果，预约模块99可以导出完成的预约，并且可以相应地更新共享车辆的服务记录。可以看出，预约确认屏幕101可以包括作为确认信息的预约信息88变量(车辆名称90’、通工具位置92’、预约费用94’、是否可预约的事实96’和预约请求选项98’)的副本，但预约确认屏幕101的其他配置可以包括更多、更少或其他未公开的变量。
基于上文，图10示出了预约模块99的实施例，其配置为辅助完成车辆预约。如上所述，预约模块99可以安装到数据库56或移动计算设备57上，或者其一部分可以安装到数据库56和移动计算设备57上。因此，预约模块99的一些方面可以实施为后端(即，经由数据库56和服务器54或移动计算设备57和移动存储器61)，并且其他方面可以实施为前端(即，经由移动计算设备57、移动存储器61)。
在步骤510中，如上所述，预约模块99操作照相机55以记录诸如车辆牌照的视觉内容图像。在步骤520中，预约模块99将记录的图像以数字形式(作为一个或多个数字图像)存储到移动存储器61或数据库56。应该理解，预约模块99的实施例可能不需要存储或者临时存储数字图像。
在步骤530中，预约模块99访问、协作并且随后执行视觉识别模块200以在一个或多个存储的数字图像内识别至少一个目标对象80。在步骤540中，预约模块99使得视觉识别模块200生成识别结果140。在步骤560中，预约模块99访问数据库56并将识别结果与共享车辆的服务记录进行比较。在步骤570中，预约模块99根据步骤560的比较结果生成预约信息。在步骤580中，预约模块99操作显示器59以显示预约信息。此外，预约模块99可以配置为包括可选步骤(未示出)以根据预约信息的内容来创建预约。在该步骤中，如上文所述，例如当时间匹配时，预约模块99可以进一步根据预约请求生成完整预约。应该理解，预约模块可以通过应用收发器53来完成这些步骤中的一个或多个。
本发明公开的过程、方法或算法可以交付给/由处理设备、控制器或计算机来实施，处理设备、控制器或计算机可以包括任意现有的可编程电子控制单元或专用电子控制单元。类似地，所述过程、方法或算法可存储为可由控制器或计算机以多种形式执行的数据和指令，所述多种形式包括但不限于永久存储在诸如ROM设备的不可写存储介质上的信息以及可更改地存储在可写存储介质上的信息，诸如软盘、磁带、CD、RAM设备以及其它磁介质和光学介质。过程、方法或算法也可以在软件可执行对象中实施。或者，过程、方法或算法可以使用适当的硬件组件全部或部分地实现，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或设备，或硬件、软件和固件组件的组合。
尽管在前文的具体描述中已经呈现了各种示例性实施例，应当理解，存在大量的变型。还应该理解，示例性实施例仅是示例，并不旨在以任意方式限制本公开的范围、适用性或配置。而是，前文的详细描述将为本领域技术人员提供用于实施示例性实施例的便利的路线图。应该理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (7)

1.一种生成预约信息的方法，所述方法包括：
(a)提供存储器，其配置为包括至少一个可执行指令模块，所述存储器还配置为包括预约信息的数据库；
(b)提供控制器，其配置为执行所述模块并与所述数据库通信；
(c)提供移动计算设备，其包括配置为显示信息的显示器；
(d)在所述移动计算设备上提供照相机，所述照相机配置为记录车辆牌照的至少一部分的图像；
(e)提供视觉识别模块，其配置为识别至少一个位于车辆牌照上的字符或符号；
(f)经由所述照相机记录所述车辆牌照的至少一部分的图像；
(g)经由所述控制器将由所述照相机记录的所述图像以数字形式作为数字图像存储在所述存储器中，其中所述数字图像的内容是车辆牌照的至少一部分；
(h)经由所述控制器执行所述视觉识别模块以在至少一个数字图像内识别至少一个位于车辆牌照上的字符或符号；
(i)经由所述控制器生成所述视觉识别模块的识别结果，其中所述识别结果包括处理后的车辆牌照信息；
(j)经由所述控制器至少部分地基于所述识别结果，查找至少一个共享车辆记录；
(k)经由所述控制器验证至少一个共享车辆记录是足够的以及对于识别结果的逻辑匹配；以及
(l)基于步骤(k)的结果，经由所述显示器显示由至少一个共享车辆记录生成的预约信息；
其中所述视觉识别模块包括：
级联分类器模块，其配置为使用滑动窗口搜索方案，其中各种比例的窗口可以滑动穿过至少一个数字图像的内容；
最大稳定极值区域（MSER）模块，其配置为在至少一个数字图像的内容中检测任意关注区域；以及
光学字符识别（OCR）模块，其配置为在至少一个数字图像的内容中从所检测的关注区域提取任意文本。
2.根据权利要求1所述的方法，还包括：
(m)在所述移动计算设备上提供收发器，所述收发器配置为传送一个或一个以上数据传输；
(n)，基于所述步骤(k)的结果，经由所述收发器将所述数字图像传送到所述控制器；以及
(o)在步骤(n)之后，在所述收发器处接收所述预约信息。
3.根据权利要求2所述的方法，其中，所述存储器和控制器位于呼叫中心。
4.根据权利要求1所述的方法，其中，所述可执行指令模块是配置为辅助完成车辆预约的预约模块。
5.根据权利要求4所述的方法，还包括：
(m)基于所述步骤(k)的结果，经由所述控制器请求符合所述预约信息的内容的预约；以及
(n)基于步骤(m)，经由所述控制器根据所述预约请求生成完整预约。
6.根据权利要求4所述的方法，其中：
所述预约模块还包括连续自适应均值漂移(camshift)模块，其配置为辅助追踪至少一个目标对象的位置；并且
所述方法还包括：
步骤(m)在步骤(g)之后，经由所述控制器执行所述camshift模块以辅助追踪至少一个数字图像内的至少一个目标对象的位置。
7.一种生成车辆预约信息的***，所述***包括：
存储器，其配置为包括至少一个可执行指令模块，所述存储器还配置为包括车辆预约信息的数据库；
控制器，其配置为执行所述模块并与所述数据库通信；
移动计算设备，其包括配置为显示信息的显示器；
所述移动计算设备上的照相机，所述照相机配置为记录车辆牌照的至少一部分的图像；
视觉识别模块，其配置为识别至少一个位于车辆牌照上的字符或符号，其中所述视觉识别模块包括：
级联分类器模块，其配置为使用滑动窗口搜索方案，其中各种比例的窗口可以滑动穿过至少一个数字图像的内容；
最大稳定极值区域（MSER）模块，其配置为在至少一个数字图像的内容中检测任意关注区域；以及
光学字符识别（OCR）模块，其配置为在至少一个数字图像的内容中从所检测的关注区域提取任意文本；
其中，模块使所述控制器能够：
操作所述照相机以记录所述车辆牌照的至少一部分的图像；
将所述记录的图像存储到所述存储器，所述记录的图像以数字形式作为数字图像存储，其中所述数字图像的内容是车辆牌照的至少一部分；
执行所述视觉识别模块以在至少一个数字图像中识别至少一个位于车辆牌照上的字符或符号；
产生所述视觉识别模块的识别结果，其中所述识别结果包括处理后的车辆牌照信息；
至少部分地基于所述识别结果，查找至少一个共享车辆记录；
验证至少一个共享车辆记录是足够的以及对于识别结果的逻辑匹配；以及
当验证至少一个共享车辆记录是足够的以及对于识别结果的逻辑匹配时，操作所述显示器以显示由至少一个共享车辆记录生成的预约信息。
CN201711459539.3A 2017-01-05 2017-12-28 识别车辆和生成预约信息的***和方法 Active CN108280524B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/399,252 US10115016B2 (en) 2017-01-05 2017-01-05 System and method to identify a vehicle and generate reservation
US15/399252 2017-01-05

Publications (2)

Publication Number Publication Date
CN108280524A CN108280524A (zh) 2018-07-13
CN108280524B true CN108280524B (zh) 2021-11-02

Family

ID=62568377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711459539.3A Active CN108280524B (zh) 2017-01-05 2017-12-28 识别车辆和生成预约信息的***和方法

Country Status (3)

Country Link
US (1) US10115016B2 (zh)
CN (1) CN108280524B (zh)
DE (1) DE102018100094A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10508925B2 (en) 2017-08-31 2019-12-17 Uber Technologies, Inc. Pickup location selection and augmented reality navigation
KR102445514B1 (ko) * 2017-10-26 2022-09-21 현대자동차주식회사 차량 및 차량 시스템
WO2019162970A1 (en) * 2018-02-26 2019-08-29 Videonetics Technology Private Limited A system for real-time automated segmentation and recognition of vehicle's license plates characters from vehicle's image and a method thereof.
JP2020060974A (ja) * 2018-10-10 2020-04-16 トヨタ自動車株式会社 使用管理装置、使用管理方法、およびプログラム
US11057521B2 (en) 2018-11-12 2021-07-06 GM Global Technology Operations LLC System and method for providing a telematics service using third-party authentication
US10740615B2 (en) 2018-11-20 2020-08-11 Uber Technologies, Inc. Mutual augmented reality experience for users in a network system
JP2020149476A (ja) * 2019-03-14 2020-09-17 トヨタ自動車株式会社 プログラム、情報処理装置、及び制御方法
CN110659568B (zh) * 2019-08-15 2023-06-23 创新先进技术有限公司 验车方法及装置
CN111199374B (zh) * 2019-12-31 2023-07-21 河南云煤网网络科技有限责任公司 一种货物进出厂身份识别与计量结算方法及***
US11055638B1 (en) * 2020-04-20 2021-07-06 Geotab Inc. Method for shared vehicle utilization management
US11537955B2 (en) 2020-04-20 2022-12-27 Geotab Inc. Device for shared vehicle utilization management
US11605031B2 (en) * 2020-04-20 2023-03-14 Geotab Inc. System for shared vehicle utilization management
US11613265B2 (en) 2020-04-20 2023-03-28 Geotab Inc. Device for shared vehicle maintenance and recovery
US11605032B2 (en) * 2020-04-20 2023-03-14 Geotab Inc. System for shared vehicle maintenance and recovery
US12003367B2 (en) * 2022-07-29 2024-06-04 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for fast vehicular micro cloud formation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533560A (zh) * 2001-07-18 2004-09-29 ���ռ�����ʽ���� 在观察车辆上自动识别其他车辆牌照号的***及其方法
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5131053A (en) 1988-08-10 1992-07-14 Caere Corporation Optical character recognition method and apparatus
US6394557B2 (en) 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US7587064B2 (en) 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US9552599B1 (en) * 2004-09-10 2017-01-24 Deem, Inc. Platform for multi-service procurement
US20140369566A1 (en) * 2006-04-04 2014-12-18 Cyclops Technologies, Inc. Perimeter Image Capture and Recognition System
GB2458278A (en) 2008-03-11 2009-09-16 Geoffrey Cross A method of recognising signs in images taken from video data
US20100022221A1 (en) * 2008-07-25 2010-01-28 Yahoo! Inc. Real-time inventory tracking via mobile device
US8509526B2 (en) 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
US10108620B2 (en) * 2010-04-29 2018-10-23 Google Llc Associating still images and videos
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9055067B1 (en) * 2012-03-26 2015-06-09 Amazon Technologies, Inc. Flexible-location reservations and pricing for network-accessible resource capacity
US9489839B2 (en) * 2012-08-06 2016-11-08 Cloudparc, Inc. Tracking a vehicle using an unmanned aerial vehicle
WO2014030233A1 (ja) * 2012-08-22 2014-02-27 Kamisawa Teruhiko レンタカー管理システム、レンタカー管理方法、及びレンタカー管理プログラム
US9043349B1 (en) * 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
KR20160024002A (ko) * 2014-08-21 2016-03-04 삼성전자주식회사 비쥬얼 사운드 이미지를 제공하는 방법 및 이를 구현하는 전자 장치
US20160217157A1 (en) * 2015-01-23 2016-07-28 Ebay Inc. Recognition of items depicted in images
US11126933B2 (en) * 2015-04-28 2021-09-21 Ncr Corporation Reservation processing
US10424003B2 (en) * 2015-09-04 2019-09-24 Accenture Global Solutions Limited Management of physical items based on user analytics
US20170109661A1 (en) * 2015-10-20 2017-04-20 John H. Bergman Reservation System
US20170351977A1 (en) * 2016-06-07 2017-12-07 Uber Technologies, Inc. Facilitating user action based on transmissions of data to mobile devices
US20170364835A1 (en) * 2016-06-15 2017-12-21 Bliss BAKER Online reservation system for open deck chairs
US20180126222A1 (en) * 2016-11-10 2018-05-10 International Business Machines Corporation Scheduling exercise equipment based on medical data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1533560A (zh) * 2001-07-18 2004-09-29 ���ռ�����ʽ���� 在观察车辆上自动识别其他车辆牌照号的***及其方法
CN101794385A (zh) * 2010-03-23 2010-08-04 上海交通大学 用于视频序列的多角度多目标快速人脸跟踪方法

Also Published As

Publication number Publication date
US20180189566A1 (en) 2018-07-05
CN108280524A (zh) 2018-07-13
US10115016B2 (en) 2018-10-30
DE102018100094A1 (de) 2018-07-05

Similar Documents

Publication Publication Date Title
CN108280524B (zh) 识别车辆和生成预约信息的***和方法
CN111937050B (zh) 乘客相关物品丢失减少
JP6873237B2 (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
US9552519B2 (en) Providing vehicle owner's manual information using object recognition in a mobile device
KR101586228B1 (ko) 얼굴인식과 동작인식을 이용한 자동차 제어 장치 및 방법
KR20220070581A (ko) 차량의 도어 잠금 해제 방법 및 장치, 시스템, 차량, 전자 기기 및 기억 매체
JP7402239B2 (ja) 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体
US10210387B2 (en) Method and apparatus for detecting and classifying objects associated with vehicle
CN109389766A (zh) 用于自主车辆的用户识别***和方法
TWI740088B (zh) 車輛定損的方法、裝置及設備
CN108377260B (zh) 展示车辆信息的***和方法
US20160300050A1 (en) Verifying a user with biometric data
US9466158B2 (en) Interactive access to vehicle information
JP2014026642A (ja) 駐車場システム
KR102529429B1 (ko) 차량 관리 보조 방법 및 차량 관리 보조 장치
Kaushik et al. Anti-Theft vehicle security system
CN110717166A (zh) 车载身份识别方法及***
US20180189685A1 (en) System and method to identify a vehicle fiducial marker
WO2021075277A1 (ja) 情報処理装置および方法、並びに、プログラム
Makarov et al. Authenticating vehicles and drivers in motion based on computer vision and RFID tags
US20240054795A1 (en) Automatic Vehicle Verification
US20220309914A1 (en) Vehicle identification using advanced driver assistance systems (adas)
CN110717155A (zh) 车载身份识别方法及***
KR102650518B1 (ko) 차량번호를 이용한 입주자 확인 서비스 제공 시스템
CN117877141A (zh) 车辆数字钥匙的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant