CN107766872A - 一种识别光照驾驶场景的方法和装置 - Google Patents

一种识别光照驾驶场景的方法和装置 Download PDF

Info

Publication number
CN107766872A
CN107766872A CN201710792216.XA CN201710792216A CN107766872A CN 107766872 A CN107766872 A CN 107766872A CN 201710792216 A CN201710792216 A CN 201710792216A CN 107766872 A CN107766872 A CN 107766872A
Authority
CN
China
Prior art keywords
illumination
scene
automatic driving
driving vehicle
illumination condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710792216.XA
Other languages
English (en)
Other versions
CN107766872B (zh
Inventor
姜雨
郁浩
闫泳杉
郑超
唐坤
张云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710792216.XA priority Critical patent/CN107766872B/zh
Publication of CN107766872A publication Critical patent/CN107766872A/zh
Priority to PCT/CN2018/093358 priority patent/WO2019047597A1/zh
Application granted granted Critical
Publication of CN107766872B publication Critical patent/CN107766872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Abstract

本发明的目的是提供一种识别光照驾驶场景的方法和装置。与现有技术相比，本发明在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据，将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；随后，在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化，若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景；本发明将驾驶场景分类训练多个模型从而进行实时切换的做法是一种全新的尝试，将场景分析技术应用于自动驾驶有较高的思维跨越性。

Description

一种识别光照驾驶场景的方法和装置
技术领域
本发明涉及车辆自动驾驶技术领域，尤其涉及一种识别光照驾驶场景的技术。
背景技术
随着自动驾驶技术的发展，对于自动驾驶车辆的要求也越来越高。然而，现有的自动驾驶方案无法适应复杂的光照环境，在恶劣光照条件下，自动驾驶车辆难以正常工作。例如，在逆光、夜间场景等光照环境下，难以保证自动驾驶车辆的正常工作，带来安全隐患。
因此，如何使得自动驾驶车辆能够识别光照驾驶场景，成为本领域技术人员亟需解决的问题之一。
发明内容
本发明的目的是提供一种识别光照驾驶场景的方法和装置。
根据本发明的一个方面，提供了一种识别光照驾驶场景的方法，其中，该方法包括：
a在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据；
b将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；
其中，该方法还包括：
x在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化；
y若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
优选地，所述步骤y包括：
若所述场景分析模型判断出光照条件发生变化，再结合序贯概率比检验，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
优选地，所述步骤y包括：
若所述场景分析模型判断出光照条件发生变化，再结合合理性判断，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景；
其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
优选地，所述步骤b还包括：
获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；
根据所述正、负样本，训练所述场景分析模型。
优选地，该方法还包括：
根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
优选地，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
根据本发明的另一个方面，还提供了一种识别光照驾驶场景的装置，其中，该装置包括：
采集装置，用于在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据；
训练装置，用于将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；
其中，该装置还包括：
判断装置，用于在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化；
切换装置，用于若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
优选地，所述切换装置用于：
若所述场景分析模型判断出光照条件发生变化，再结合序贯概率比检验，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
优选地，所述切换装置用于：
若所述场景分析模型判断出光照条件发生变化，再结合合理性判断，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景；
其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
优选地，所述训练装置用于：
获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；
根据所述正、负样本，训练所述场景分析模型。
优选地，该装置还包括：
获得装置，用于根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
优选地，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
根据本发明的又一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
根据本发明的再一个方面，还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
根据本发明的再一个方面，还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
与现有技术相比，本发明在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据，将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；随后，在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化，若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景；本发明基于深度学习，拆解光照场景，预先训练在不同光照条件下的光照驾驶场景；同时训练场景分析模型，在车辆行驶过程中实时分析判断车辆所处光照场景，切换光照驾驶场景；将驾驶场景分类训练多个模型从而进行实时切换的做法是一种全新的尝试，将场景分析技术应用于自动驾驶有较高的思维跨越性。进一步地，本发明在判断光照条件是否真实发生变化，是否真实需要切换自动驾驶车辆的光照驾驶场景时，进一步结合利用统计学中的序贯概率比检验，提升了识别光照驾驶场景的准确性。本发明大大提高了自动驾驶，特别是端对端自动驾驶，的可行性和鲁棒性，每个场景下单独训练光照驾驶场景与训练统一模型相比，复杂度降低，提高了计算效率，节省了计算资源，进而降低了自动驾驶成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出适于用来实现本发明实施方式的示例性计算机***/服务器12的框图；
图2示出根据本发明一个方面的用于识别光照驾驶场景的方法的流程示意图；
图3示出根据本发明另一个方面的用于识别光照驾驶场景的装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。
所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本发明，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络等。
需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本发明，也应包含在本发明保护范围以内，并以引用方式包含于此。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图1显示的计算机***/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图1所示，计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图1未示出，通常称为“硬盘驱动器”)。尽管图1中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信，和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白，尽管图1中未示出，可以结合计算机***/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理。
例如，存储器28中存储有用于执行本发明的各项功能和处理的计算机程序，处理单元16执行相应计算机程序时，本发明在网络端对来电意图的识别被实现。
以下将详细描述本发明用于识别光照驾驶场景的具体功能/步骤。
图2示出根据本发明一个方面的用于识别光照驾驶场景的方法的流程示意图。
在步骤S201中，装置1在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据。
具体地，在不同光照条件下，自动驾驶车辆可以具有不同的光照驾驶场景，自动驾驶车辆的车载传感器可以采集到对应的不同的数据，这些数据例如是不同光照条件下的视频数据、图像数据、雷达数据等。在此，该光照条件包括但不限于自然光顺光、自然光逆光、清晨、黄昏、黑暗有照明、黑暗无照明等，在这些不同的光照条件下，车载传感器所采集到的数据自然也不同，例如，车载摄像头在黑暗有照明和在黑暗无照明的情况下所拍摄到的视频或图像数据肯定是具有明显不同的。在步骤S201中，装置1在不同光照条件下，通过自动驾驶车辆的车载传感器采集上述不同的数据。在此，自动驾驶车辆的车载传感器包括但不限于车载摄像头、车载雷达等。
例如，当自动驾驶车辆在自然光顺光的光照条件下驾驶时，装置1通过该自动驾驶车辆的车载摄像头采集各个视角的视频或图像数据。在此，该车载摄像头用来模拟驾驶员的视线与视角，其例如可以位于自动驾驶车辆的驾驶室、左侧、右侧后视镜、中央后视镜等，该车载摄像头例如可以是双目摄像机。通过该车载摄像头所采集到的视频或图像数据例如可以视作假设该自动驾驶车辆由驾驶员驾驶时，该驾驶员在自然光顺光的光照条件下所看到的各种周围景象。随后，若该自动驾驶车辆掉了个头，从而在自然光逆光的光照条件下自动驾驶，装置1继续通过该自动驾驶车辆的车载摄像头采集各个视角的视频或图像数据，并保存为自然光逆光条件下的数据，以供后续模型训练使用。
在此，该方式例如适用于车辆自动驾驶中的端对端驾驶模式，端对端驾驶模式是指自动驾驶车辆利用车载传感器，如车载摄像头、车载雷达等，感知周围景象来判断如何进行自动驾驶，如判断是踩油门还是踩刹车、判断如何打方向盘等，其车辆自动驾驶的自由度较高；与之相对的是循迹驾驶模式，循迹驾驶模式是指自动驾驶车辆利用高精度GPS获知自身的位置，沿着预设轨迹来进行自动驾驶，虽然相对来讲很安全，但行驶轨迹是固定不变的，没有那么灵活。
本领域技术人员应能理解，上述光照条件仅为举例，其他现有或今后可能出现的光照条件，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
本领域技术人员还应能理解，上述车载传感器仅为举例，其他现有或今后可能出现的车载传感器，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
本领域技术人员还应能理解，上述采集数据的方式仅为举例，其他现有或今后可能出现的采集数据的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
优选地，该方法还包括步骤S205(未示出)。在步骤S205中，装置1根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
具体地，在不同光照条件下，可以由训练有素的驾驶员来人工驾驶该自动驾驶车辆，而针对同一位置、面对同一事件，在不同光照条件下，驾驶员的操作可能不同，例如，在自然光顺光和自然光逆光时，自动驾驶车辆在同一位置面对同一事件，驾驶员的操作可能截然不同。因此，在步骤S205中，装置1可以获取该驾驶员的这些驾驶操作，并记录为在哪一种光照条件下面对哪一事件所进行的驾驶操作，此外，在步骤S205中，装置1还可以获取在该时刻该自动驾驶车辆的车载传感器所采集的数据，如驾驶员在进行某驾驶操作时，该自动驾驶车辆的车载摄像头所采集到的视频或图像数据，并以此数据和对应的驾驶员的驾驶操作，训练获得不同光照条件下该自动驾驶车辆所对应的不同光照驾驶场景。
例如，针对黑暗无照明的光照条件，由驾驶员人工驾驶该自动驾驶车辆，该驾驶员在启动车辆之后，进行了开启远光灯的驾驶操作，而在对向有其他车辆驶来时，在距离150米左右的时候，驾驶员将远光灯关闭并打开了近光灯；而针对黑暗有照明的光照条件，由驾驶员人工驾驶该自动驾驶车辆时，该驾驶员在启动车辆之后不需要开启远光灯而只开启了近光灯，在对向有其他车辆驶来时驾驶员也没有变换远近光灯的操作；该自动驾驶车辆的车载传感器始终采集对应的传感器数据，在步骤S205中，装置1获取这些车载传感器所采集的数据，以及对应的驾驶员的驾驶操作，从而进行模型训练，例如，输入为黑暗无照明的光照条件下车载摄像头所采集的视频或图像数据，以及自动驾驶车辆面对的驾驶情况，如启动车辆、对向有其他车辆靠近等，输出为面对这些光照条件和驾驶情况时自动驾驶车辆应做的驾驶反映，如开启远光灯、将远光灯切换为近光灯等，从而训练获得不同光照条件下该自动驾驶车辆所对应的不同光照驾驶场景。
优选地，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
在此，自动驾驶车辆在不同光照条件下可以具有不同的光照驾驶场景，自动驾驶车辆在这些不同的光照驾驶场景下具有不同的驾驶模式，例如在同一位置不同光照条件下针对同样的情况可能具有不同的处理方式。本领域技术人员应能理解，上述光照驾驶场景仅为举例，其他现有或今后可能出现的光照驾驶场景，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
在步骤S202中，装置1将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型。
具体地，对于不同光照条件下，装置1通过车载传感器采集到大量的诸如视频、图像或雷达数据，而自动驾驶车辆在不同光照条件下可以具有不同的光照驾驶场景，自动驾驶车辆在这些不同的光照驾驶场景下具有不同的驾驶模式，例如在同一位置不同光照条件下针对同样的情况可能具有不同的处理方式；在步骤S202中，装置1将在前述步骤S201中所采集到的这些自动驾驶车辆的车载传感器在各种不同光照条件下所捕捉到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型。
例如，在步骤S202中，装置1将大量在自然光顺光条件下通过车载摄像头捕捉到的视频数据作为输入，而在此时该自动驾驶车辆的光照驾驶场景作为输出，来训练场景分析模型，从而使得该场景分析模型可以准确识别该自动驾驶车辆在何种光照条件下属于自然光顺光；相类似地，在步骤S202中，装置1还可以分别将大量自然光逆光、清晨、黄昏、黑暗有照明、黑暗无照明等不同光照条件下通过车载摄像头捕捉到的视频数据作为输入，而自动驾驶车辆分别在这些不同光照条件下的光照驾驶场景作为输出，来训练场景分析模型，从而使得该场景分析模型可以准确识别该自动驾驶车辆处在何种光照条件。
在此，该场景分析模型例如可以是一个简单的分类模型，其可以通过现有的对分类模型的训练方式来训练得到，例如，在此，已知自动驾驶车辆处在何种光照条件下所采集到的数据，并且已知该自动驾驶车辆处在该种光照条件下对应的光照驾驶场景是什么，据此来通过各个分类输入得到各个分类输出，从而训练该场景分析模型；在该场景分析模型训练完成之后，可以对不同的数据进行分类，如当装置1通过车载摄像头采集到的是视频数据时，场景分析模型根据该视频数据，可以确定对应的光照驾驶场景是什么。
本领域技术人员应能理解，上述训练场景分析模型的方式仅为举例，其他现有或今后可能出现的训练场景分析模型的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
优选地，在步骤S202中，装置1获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；根据所述正、负样本，训练所述场景分析模型。
具体地，对于装置1所采集的自动驾驶车辆在不同光照条件下的数据，可以进行一定的标注，标注出在各个对应的光照驾驶场景的正、负样本。例如，对于黑暗无照明驾驶，所采集到的无外来光源照明的视频数据可以被标注为正样本，所采集到的有外来光源照明的视频数据可以被标注为负样本，本领域技术人员应能理解，此处仅为便于表述而做的举例，不应视为对本发明的限制。在步骤S202中，装置1获取该自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本，例如，若这些正、负样本由用户通过与用户设备的交互进行人工标注，则在步骤S202中，装置1可以通过一次或多次调用该用户设备所提供的应用程序接口(API)，或通过其他约定的通信方式，获取这些用户标注的自动驾驶车辆在各个对应的光照驾驶场景下的正、负样本；随后，该装置1再根据这些被标注出来的正、负样本，训练所述场景分析模型。在此，通过被标注出的正、负样本来训练该场景分析模型例如可以通过现有的训练方式来进行训练。
其中，该方法还包括步骤S203和步骤S204。
在步骤S203中，装置1在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化。
具体地，前述步骤S201和S202是对场景分析模型的训练，属于前期工作，而在该场景分析模型训练完成之后，该自动驾驶车辆在实际自动驾驶过程中可以应用该场景分析模型，从而判断其所处的光照条件是否发生了变化。该自动驾驶车辆在实际自动驾驶过程中，其上的车载传感器可以实时地采集数据，例如，位于自动驾驶车辆的驾驶室、左侧、右侧后视镜、中央后视镜等位置的车载摄像头，在自动驾驶车辆实际自动驾驶过程中，不断地进行拍摄，捕捉、采集对应的视频或图像数据。在步骤S203中，装置1在车辆自动驾驶过程中，通过与该自动驾驶车辆的车载传感器的交互，获取该车载传感器所采集的实时数据，并将该实时数据实时输入至该场景分析模型，根据该场景分析模型的输出，来判断该自动驾驶车辆所处的光照条件是否发生了变化。
例如，原本该自动驾驶车辆一直在自然光顺光的光照条件下进行自动驾驶，其上的车载摄像头不断地实时采集视频或图像数据，在步骤S203中，装置1也不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，场景分析模型的输出为自然光顺光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件未发生变化；此后，该自动驾驶车辆掉了个头，其上的车载摄像头仍然不断地实时采集视频或图像数据，在步骤S203中，装置1也仍旧不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，而此时，该场景分析模型的输出为自然光逆光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件发生了变化。
在此，由于车载传感器是连续不断地采集实时数据，该装置1也是连续不断地获取该实时数据，并输入至场景分析模型进行判断，因此，该装置1可以在该场景分析模型一旦输出的光照驾驶场景发生变化时，即判断该光照条件发生了变化；也可以利用多个采集到的实时数据来进行判断，例如，对于一定数量的实时数据，若场景分析模型输出的光照驾驶场景变化的数量超过预定阈值，则判断光照条件发生了变化。
本领域技术人员应能理解，上述判断光照条件是否发生变化的方式仅为举例，其他现有或今后可能出现的判断光照条件是否发生变化的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
在步骤S204中，若所述光照条件发生变化，装置1切换至变化后的光照条件所对应的光照驾驶场景。
具体地，若在步骤S203中，装置1判断出该自动驾驶车辆所处的光照条件发生了变化，则在步骤S204中，装置1根据该光照条件的变化，将该自动驾驶车辆的光照驾驶场景切换至变化后的光照条件所对应的光照驾驶场景，即，使该自动驾驶车辆以该变化后的光照条件所对应的光照驾驶场景进行自动驾驶。
接前例，原本自动驾驶车辆一直在自然光顺光的光照条件下进行自动驾驶，在其掉了个头之后，其上的车载摄像头仍然不断地实时采集视频或图像数据，在步骤S203中，装置1不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，而此时，该场景分析模型的输出为自然光逆光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件发生了变化；此时，在步骤S204中，装置1将该自动驾驶车辆的光照驾驶场景切换至变化后的光照条件所对应的光照驾驶场景，即，切换为自然光逆光驾驶的光照驾驶场景。
在此，装置1在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据，将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；随后，在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化，若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。装置1基于深度学习，拆解光照场景，预先训练在不同光照条件下的光照驾驶场景；同时训练场景分析模型，在车辆行驶过程中实时分析判断车辆所处光照场景，切换光照驾驶场景；将驾驶场景分类训练多个模型从而进行实时切换的做法是一种全新的尝试，将场景分析技术应用于自动驾驶有较高的思维跨越性。装置1大大提高了自动驾驶，特别是端对端自动驾驶，的可行性和鲁棒性，每个场景下单独训练光照驾驶场景与训练统一模型相比，复杂度降低，提高了计算效率，节省了计算资源，进而降低了自动驾驶成本。
优选地，在步骤S204中，若所述场景分析模型判断出光照条件发生变化，装置1再结合序贯概率比检验，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，装置1切换至变化后的光照条件所对应的光照驾驶场景。
具体地，即使在步骤S203中，装置1判断出该自动驾驶车辆所处的光照条件发生了变化，也不是立即切换光照驾驶场景，而是要再结合序贯概率比检验来进行判断，例如，将场景分析模型连续不断地对当前光照条件的判断依次输入至序贯概率比检验模块，直至判断出该光照条件确实真实发生了变化，则在步骤S204中，装置1将该自动驾驶车辆切换至变化后的光照条件所对应的光照驾驶场景。
在此，序贯概率比检验是数理统计学的一个分支，其研究的对象是所谓“序贯抽样方案”，及如何用这种抽样方案得到的样本去作统计推断。序贯抽样方案是指在抽样时，不事先规定总的抽样个数(观测或实验次数)，而是先抽少量样本，根据其结果，再决定停止抽样或继续抽样、抽多少，这样下去，直至决定停止抽样为止。反之，事先确定抽样个数的那种抽样方案，称为固定抽样方案。
以下先介绍概率比检验，设x为随机变量，其概率密度函数为f，原假设H0：f＝f0，对立假设H1：f＝f1，定义似然比为l(x)＝f1(x)/f0(x)，选取适当的常数r(r>0)，当l(x)≥r时，拒绝原假设；当l(x)<r时，接受原假设。把概率比检验推广之后可以得到一种序贯概率比检验，即选取随机变量序列x1，x2，…，使用它们的联合密度函数P{x1∈dξ1，…，xn∈dξn}＝fn(ξ1，…，ξn)dξ1…dξn(n＝1,2,…)的概率比进行判断。例如，假设H0：fn＝f0n，H1：fn＝f1n，令ln＝ln(x1,…,xn)＝f1n(x1,…,xn)/f0n(x1,…,xn)，选取常数0<A<B<∞(一般选取A<1<B)和样本序列x1，x2，…,其中样本序列选取的个数(即停止信号)取决于随机数N，
如果N<∞，当lN≥B时，拒绝原假设；当lN<A时，接受原假设。
在此，可以将场景分析模型所判断出来的自动驾驶车辆的光照条件的变化作为原假设，例如，假设自动驾驶车辆原本一直在自然光顺光的光照条件下进行自动驾驶，在其掉了个头之后，此时场景分析模型首次判断出该自动驾驶车辆的光照条件变化为自然光逆光，则装置1可以将该光照条件变为自然光逆光作为原假设；此后，该自动驾驶车辆上的车载摄像头仍然不断地实时采集视频或图像数据，在步骤S203中，装置1仍然不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，该场景分析模型也连续不断地判断光照条件是否发生了变化，并将判断结果不断地依次输入至序贯概率比检验模块，在此，这些判断结果即可以理解为是该序贯概率比检验中抽样的样本，当这些样本不断被输入至序贯概率比检验模块，至某一个样本时该序贯概率比检验模块可以判断出光照条件确实真实发生了变化。例如，在此，场景分析模型连续不断地判断出该自动驾驶车辆的光照条件变化为自然光逆光，并将判断结果不断依次输入至序贯概率比检验模块，至某一次输入时，该序贯概率比检验模块判断出光照条件确实变化成了自然光逆光。此后，在步骤S204中，装置1将该自动驾驶车辆切换至自然光逆光驾驶的光照驾驶场景。
在此，装置1在判断光照条件是否真实发生变化，是否真实需要切换自动驾驶车辆的光照驾驶场景时，进一步结合利用统计学中的序贯概率比检验，提升了识别光照驾驶场景的准确性。
优选地，在步骤S204中，若所述场景分析模型判断出光照条件发生变化，装置1再结合合理性判断，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，装置1切换至变化后的光照条件所对应的光照驾驶场景；其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
具体地，若在步骤S203中，所述场景分析模型判断出光照条件发生变化，则在步骤S204中，装置1也不是立即切换该自动驾驶车辆的光照驾驶场景，而是要再结合合理性判断，来判断该光照条件是否真实发生了变化，在此，合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
例如，若该自动驾驶车辆前一秒的光照驾驶场景还是清晨驾驶，则后一秒的光照驾驶场景不可能是黄昏驾驶，即使场景分析模型判断出来光照条件变化成了黄昏，也不能采信；又或者，若该自动驾驶车辆前一秒的光照驾驶场景是自然光驾驶，根据该自动驾驶车辆的GPS装置所提供的数据显示，该自动驾驶车辆的地理位置正从地面驶入隧道，则若该场景分析模型判断出来光照条件变化成了黑暗，也是可能的，可以采信。
在此，装置1在判断光照条件是否真实发生变化，是否真实需要切换自动驾驶车辆的光照驾驶场景时，进一步结合合理性判断，提升了识别光照驾驶场景的准确性。
优选地，若场景分析模型判断出光照条件发生变化，装置1可以结合序贯概率比检验，再结合合理性判断，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，装置1切换至变化后的光照条件所对应的光照驾驶场景。
图3示出根据本发明另一个方面的用于识别光照驾驶场景的装置的结构示意图。
装置1包括采集装置301、训练装置302、判断装置303和切换装置304。该装置1例如位于计算机设备中，该计算机设备例如位于自动驾驶车辆中，也可以是与该自动驾驶车辆通过网络相连接的网络设备，进一步地，该装置1可以部分装置位于网络设备中，部分装置位于自动驾驶车辆中，例如，前述采集装置301和训练装置302位于网络设备中，前述判断装置303和切换装置304位于自动驾驶车辆中。本领域技术人员应能理解，上述装置所处位置仅为举例，其他现有或今后可能出现的装置所处位置，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
采集装置301在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据。
具体地，在不同光照条件下，自动驾驶车辆可以具有不同的光照驾驶场景，自动驾驶车辆的车载传感器可以采集到对应的不同的数据，这些数据例如是不同光照条件下的视频数据、图像数据、雷达数据等。在此，该光照条件包括但不限于自然光顺光、自然光逆光、清晨、黄昏、黑暗有照明、黑暗无照明等，在这些不同的光照条件下，车载传感器所采集到的数据自然也不同，例如，车载摄像头在黑暗有照明和在黑暗无照明的情况下所拍摄到的视频或图像数据肯定是具有明显不同的。采集装置301在不同光照条件下，通过自动驾驶车辆的车载传感器采集上述不同的数据。在此，自动驾驶车辆的车载传感器包括但不限于车载摄像头、车载雷达等。
例如，当自动驾驶车辆在自然光顺光的光照条件下驾驶时，采集装置301通过该自动驾驶车辆的车载摄像头采集各个视角的视频或图像数据。在此，该车载摄像头用来模拟驾驶员的视线与视角，其例如可以位于自动驾驶车辆的驾驶室、左侧、右侧后视镜、中央后视镜等，该车载摄像头例如可以是双目摄像机。通过该车载摄像头所采集到的视频或图像数据例如可以视作假设该自动驾驶车辆由驾驶员驾驶时，该驾驶员在自然光顺光的光照条件下所看到的各种周围景象。随后，若该自动驾驶车辆掉了个头，从而在自然光逆光的光照条件下自动驾驶，采集装置301继续通过该自动驾驶车辆的车载摄像头采集各个视角的视频或图像数据，并保存为自然光逆光条件下的数据，以供后续模型训练使用。
在此，该方式例如适用于车辆自动驾驶中的端对端驾驶模式，端对端驾驶模式是指自动驾驶车辆利用车载传感器，如车载摄像头、车载雷达等，感知周围景象来判断如何进行自动驾驶，如判断是踩油门还是踩刹车、判断如何打方向盘等，其车辆自动驾驶的自由度较高；与之相对的是循迹驾驶模式，循迹驾驶模式是指自动驾驶车辆利用高精度GPS获知自身的位置，沿着预设轨迹来进行自动驾驶，虽然相对来讲很安全，但行驶轨迹是固定不变的，没有那么灵活。
本领域技术人员应能理解，上述光照条件仅为举例，其他现有或今后可能出现的光照条件，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
本领域技术人员还应能理解，上述车载传感器仅为举例，其他现有或今后可能出现的车载传感器，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
本领域技术人员还应能理解，上述采集数据的方式仅为举例，其他现有或今后可能出现的采集数据的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
优选地，该装置1还包括获得装置(未示出)。获得装置根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
具体地，在不同光照条件下，可以由训练有素的驾驶员来人工驾驶该自动驾驶车辆，而针对同一位置、面对同一事件，在不同光照条件下，驾驶员的操作可能不同，例如，在自然光顺光和自然光逆光时，自动驾驶车辆在同一位置面对同一事件，驾驶员的操作可能截然不同。因此，获得装置可以获取该驾驶员的这些驾驶操作，并记录为在哪一种光照条件下面对哪一事件所进行的驾驶操作，此外，获得装置还可以获取在该时刻该自动驾驶车辆的车载传感器所采集的数据，如驾驶员在进行某驾驶操作时，该自动驾驶车辆的车载摄像头所采集到的视频或图像数据，并以此数据和对应的驾驶员的驾驶操作，训练获得不同光照条件下该自动驾驶车辆所对应的不同光照驾驶场景。
例如，针对黑暗无照明的光照条件，由驾驶员人工驾驶该自动驾驶车辆，该驾驶员在启动车辆之后，进行了开启远光灯的驾驶操作，而在对向有其他车辆驶来时，在距离150米左右的时候，驾驶员将远光灯关闭并打开了近光灯；而针对黑暗有照明的光照条件，由驾驶员人工驾驶该自动驾驶车辆时，该驾驶员在启动车辆之后不需要开启远光灯而只开启了近光灯，在对向有其他车辆驶来时驾驶员也没有变换远近光灯的操作；该自动驾驶车辆的车载传感器始终采集对应的传感器数据，获得装置获取这些车载传感器所采集的数据，以及对应的驾驶员的驾驶操作，从而进行模型训练，例如，输入为黑暗无照明的光照条件下车载摄像头所采集的视频或图像数据，以及自动驾驶车辆面对的驾驶情况，如启动车辆、对向有其他车辆靠近等，输出为面对这些光照条件和驾驶情况时自动驾驶车辆应做的驾驶反映，如开启远光灯、将远光灯切换为近光灯等，从而训练获得不同光照条件下该自动驾驶车辆所对应的不同光照驾驶场景。
优选地，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
在此，自动驾驶车辆在不同光照条件下可以具有不同的光照驾驶场景，自动驾驶车辆在这些不同的光照驾驶场景下具有不同的驾驶模式，例如在同一位置不同光照条件下针对同样的情况可能具有不同的处理方式。本领域技术人员应能理解，上述光照驾驶场景仅为举例，其他现有或今后可能出现的光照驾驶场景，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
训练装置302将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型。
具体地，对于不同光照条件下，采集装置301通过车载传感器采集到大量的诸如视频、图像或雷达数据，而自动驾驶车辆在不同光照条件下可以具有不同的光照驾驶场景，自动驾驶车辆在这些不同的光照驾驶场景下具有不同的驾驶模式，例如在同一位置不同光照条件下针对同样的情况可能具有不同的处理方式；训练装置302将前述采集装置301所采集到的这些自动驾驶车辆的车载传感器在各种不同光照条件下所捕捉到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型。
例如，训练装置302将大量在自然光顺光条件下通过车载摄像头捕捉到的视频数据作为输入，而在此时该自动驾驶车辆的光照驾驶场景作为输出，来训练场景分析模型，从而使得该场景分析模型可以准确识别该自动驾驶车辆在何种光照条件下属于自然光顺光；相类似地，训练装置302还可以分别将大量自然光逆光、清晨、黄昏、黑暗有照明、黑暗无照明等不同光照条件下通过车载摄像头捕捉到的视频数据作为输入，而自动驾驶车辆分别在这些不同光照条件下的光照驾驶场景作为输出，来训练场景分析模型，从而使得该场景分析模型可以准确识别该自动驾驶车辆处在何种光照条件。
在此，该场景分析模型例如可以是一个简单的分类模型，其可以通过现有的对分类模型的训练方式来训练得到，例如，在此，已知自动驾驶车辆处在何种光照条件下所采集到的数据，并且已知该自动驾驶车辆处在该种光照条件下对应的光照驾驶场景是什么，据此来通过各个分类输入得到各个分类输出，从而训练该场景分析模型；在该场景分析模型训练完成之后，可以对不同的数据进行分类，如当装置1通过车载摄像头采集到的是视频数据时，场景分析模型根据该视频数据，可以确定对应的光照驾驶场景是什么。
本领域技术人员应能理解，上述训练场景分析模型的方式仅为举例，其他现有或今后可能出现的训练场景分析模型的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
优选地，训练装置302获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；根据所述正、负样本，训练所述场景分析模型。
具体地，对于采集装置301所采集的自动驾驶车辆在不同光照条件下的数据，可以进行一定的标注，标注出在各个对应的光照驾驶场景的正、负样本。例如，对于黑暗无照明驾驶，所采集到的无外来光源照明的视频数据可以被标注为正样本，所采集到的有外来光源照明的视频数据可以被标注为负样本，本领域技术人员应能理解，此处仅为便于表述而做的举例，不应视为对本发明的限制。训练装置302获取该自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本，例如，若这些正、负样本由用户通过与用户设备的交互进行人工标注，则训练装置302可以通过一次或多次调用该用户设备所提供的应用程序接口(API)，或通过其他约定的通信方式，获取这些用户标注的自动驾驶车辆在各个对应的光照驾驶场景下的正、负样本；随后，该训练装置302再根据这些被标注出来的正、负样本，训练所述场景分析模型。在此，通过被标注出的正、负样本来训练该场景分析模型例如可以通过现有的训练方式来进行训练。
其中，该装置1还包括判断装置303和切换装置304。
判断装置303在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化。
具体地，前述采集装置301和训练装置302是对场景分析模型的训练，属于前期工作，而在该场景分析模型训练完成之后，该自动驾驶车辆在实际自动驾驶过程中可以应用该场景分析模型，从而判断其所处的光照条件是否发生了变化。该自动驾驶车辆在实际自动驾驶过程中，其上的车载传感器可以实时地采集数据，例如，位于自动驾驶车辆的驾驶室、左侧、右侧后视镜、中央后视镜等位置的车载摄像头，在自动驾驶车辆实际自动驾驶过程中，不断地进行拍摄，捕捉、采集对应的视频或图像数据。判断装置303在车辆自动驾驶过程中，通过与该自动驾驶车辆的车载传感器的交互，获取该车载传感器所采集的实时数据，并将该实时数据实时输入至该场景分析模型，根据该场景分析模型的输出，来判断该自动驾驶车辆所处的光照条件是否发生了变化。
例如，原本该自动驾驶车辆一直在自然光顺光的光照条件下进行自动驾驶，其上的车载摄像头不断地实时采集视频或图像数据，判断装置303也不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，场景分析模型的输出为自然光顺光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件未发生变化；此后，该自动驾驶车辆掉了个头，其上的车载摄像头仍然不断地实时采集视频或图像数据，判断装置303也仍旧不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，而此时，该场景分析模型的输出为自然光逆光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件发生了变化。
在此，由于车载传感器是连续不断地采集实时数据，判断装置303也是连续不断地获取该实时数据，并输入至场景分析模型进行判断，因此，判断装置303可以在该场景分析模型一旦输出的光照驾驶场景发生变化时，即判断该光照条件发生了变化；也可以利用多个采集到的实时数据来进行判断，例如，对于一定数量的实时数据，若场景分析模型输出的光照驾驶场景变化的数量超过预定阈值，则判断光照条件发生了变化。
本领域技术人员应能理解，上述判断光照条件是否发生变化的方式仅为举例，其他现有或今后可能出现的判断光照条件是否发生变化的方式，如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用的方式包含于此。
若所述光照条件发生变化，切换装置304切换至变化后的光照条件所对应的光照驾驶场景。
具体地，若判断装置303判断出该自动驾驶车辆所处的光照条件发生了变化，则切换装置304根据该光照条件的变化，将该自动驾驶车辆的光照驾驶场景切换至变化后的光照条件所对应的光照驾驶场景，即，使该自动驾驶车辆以该变化后的光照条件所对应的光照驾驶场景进行自动驾驶。
接前例，原本自动驾驶车辆一直在自然光顺光的光照条件下进行自动驾驶，在其掉了个头之后，其上的车载摄像头仍然不断地实时采集视频或图像数据，判断装置303不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，而此时，该场景分析模型的输出为自然光逆光驾驶的光照驾驶场景，则表示该自动驾驶车辆所处的光照条件发生了变化；此时，切换装置304将该自动驾驶车辆的光照驾驶场景切换至变化后的光照条件所对应的光照驾驶场景，即，切换为自然光逆光驾驶的光照驾驶场景。
在此，装置1在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据，将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；随后，在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化，若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。装置1基于深度学习，拆解光照场景，预先训练在不同光照条件下的光照驾驶场景；同时训练场景分析模型，在车辆行驶过程中实时分析判断车辆所处光照场景，切换光照驾驶场景；将驾驶场景分类训练多个模型从而进行实时切换的做法是一种全新的尝试，将场景分析技术应用于自动驾驶有较高的思维跨越性。装置1大大提高了自动驾驶，特别是端对端自动驾驶，的可行性和鲁棒性，每个场景下单独训练光照驾驶场景与训练统一模型相比，复杂度降低，提高了计算效率，节省了计算资源，进而降低了自动驾驶成本。
优选地，若所述场景分析模型判断出光照条件发生变化，切换装置304再结合序贯概率比检验，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，切换装置304切换至变化后的光照条件所对应的光照驾驶场景。
具体地，即使判断装置303判断出该自动驾驶车辆所处的光照条件发生了变化，也不是立即切换光照驾驶场景，而是要再结合序贯概率比检验来进行判断，例如，将场景分析模型连续不断地对当前光照条件的判断依次输入至序贯概率比检验模块，直至判断出该光照条件确实真实发生了变化，则切换装置304将该自动驾驶车辆切换至变化后的光照条件所对应的光照驾驶场景。
在此，序贯概率比检验是数理统计学的一个分支，其研究的对象是所谓“序贯抽样方案”，及如何用这种抽样方案得到的样本去作统计推断。序贯抽样方案是指在抽样时，不事先规定总的抽样个数(观测或实验次数)，而是先抽少量样本，根据其结果，再决定停止抽样或继续抽样、抽多少，这样下去，直至决定停止抽样为止。反之，事先确定抽样个数的那种抽样方案，称为固定抽样方案。
以下先介绍概率比检验，设x为随机变量，其概率密度函数为f，原假设H0：f＝f0，对立假设H1：f＝f1，定义似然比为l(x)＝f1(x)/f0(x)，选取适当的常数r(r>0)，当l(x)≥r时，拒绝原假设；当l(x)<r时，接受原假设。把概率比检验推广之后可以得到一种序贯概率比检验，即选取随机变量序列x1，x2，…，使用它们的联合密度函数P{x1∈dξ1，…，xn∈dξn}＝fn(ξ1，…，ξn)dξ1…dξn(n＝1,2,…)的概率比进行判断。例如，假设H0：fn＝f0n，H1：fn＝f1n，令ln＝ln(x1,…,xn)＝f1n(x1,…,xn)/f0n(x1,…,xn)，选取常数0<A<B<∞(一般选取A<1<B)和样本序列x1，x2，…,其中样本序列选取的个数(即停止信号)取决于随机数N，
如果N<∞，当lN≥B时，拒绝原假设；当lN<A时，接受原假设。
在此，可以将场景分析模型所判断出来的自动驾驶车辆的光照条件的变化作为原假设，例如，假设自动驾驶车辆原本一直在自然光顺光的光照条件下进行自动驾驶，在其掉了个头之后，此时场景分析模型首次判断出该自动驾驶车辆的光照条件变化为自然光逆光，则判断装置303可以将该光照条件变为自然光逆光作为原假设；此后，该自动驾驶车辆上的车载摄像头仍然不断地实时采集视频或图像数据，判断装置303仍然不断地自该车载摄像头获取该实时采集到的视频或图像数据，并实时输入至该场景分析模型，该场景分析模型也连续不断地判断光照条件是否发生了变化，并将判断结果不断地依次输入至序贯概率比检验模块，在此，这些判断结果即可以理解为是该序贯概率比检验中抽样的样本，当这些样本不断被输入至序贯概率比检验模块，至某一个样本时该序贯概率比检验模块可以判断出光照条件确实真实发生了变化。例如，在此，场景分析模型连续不断地判断出该自动驾驶车辆的光照条件变化为自然光逆光，并将判断结果不断依次输入至序贯概率比检验模块，至某一次输入时，该序贯概率比检验模块判断出光照条件确实变化成了自然光逆光。此后，切换装置304将该自动驾驶车辆切换至自然光逆光驾驶的光照驾驶场景。
在此，装置1在判断光照条件是否真实发生变化，是否真实需要切换自动驾驶车辆的光照驾驶场景时，进一步结合利用统计学中的序贯概率比检验，提升了识别光照驾驶场景的准确性。
优选地，若所述场景分析模型判断出光照条件发生变化，切换装置304再结合合理性判断，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，切换装置304切换至变化后的光照条件所对应的光照驾驶场景；其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
具体地，若所述场景分析模型判断出光照条件发生变化，则切换装置304也不是立即切换该自动驾驶车辆的光照驾驶场景，而是要再结合合理性判断，来判断该光照条件是否真实发生了变化，在此，合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
例如，若该自动驾驶车辆前一秒的光照驾驶场景还是清晨驾驶，则后一秒的光照驾驶场景不可能是黄昏驾驶，即使场景分析模型判断出来光照条件变化成了黄昏，也不能采信；又或者，若该自动驾驶车辆前一秒的光照驾驶场景是自然光驾驶，根据该自动驾驶车辆的GPS装置所提供的数据显示，该自动驾驶车辆的地理位置正从地面驶入隧道，则若该场景分析模型判断出来光照条件变化成了黑暗，也是可能的，可以采信。
在此，装置1在判断光照条件是否真实发生变化，是否真实需要切换自动驾驶车辆的光照驾驶场景时，进一步结合合理性判断，提升了识别光照驾驶场景的准确性。
优选地，若场景分析模型判断出光照条件发生变化，切换装置304可以结合序贯概率比检验，再结合合理性判断，判断所述光照条件是否真实发生变化；若所述光照条件真实发生变化，切换装置304切换至变化后的光照条件所对应的光照驾驶场景。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本发明还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本发明还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (15)

1.一种识别光照驾驶场景的方法，其中，该方法包括：
a在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据；
b将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；
其中，该方法还包括：
x在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化；
y若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
2.根据权利要求1所述的方法，其中，所述步骤y包括：
若所述场景分析模型判断出光照条件发生变化，再结合序贯概率比检验，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
3.根据权利要求1或2所述的方法，其中，所述步骤y包括：
若所述场景分析模型判断出光照条件发生变化，再结合合理性判断，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景；
其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
4.根据权利要求1至3中任一项所述的方法，其中，所述步骤b还包括：
获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；
根据所述正、负样本，训练所述场景分析模型。
5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括：
根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
6.根据权利要求1至5中任一项所述的方法，其中，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
7.一种识别光照驾驶场景的装置，其中，该装置包括：
采集装置，用于在不同光照条件下，通过自动驾驶车辆的车载传感器采集数据；
训练装置，用于将所采集到的数据作为输入，所述自动驾驶车辆对应的光照驾驶场景作为输出，训练场景分析模型；
其中，该装置还包括：
判断装置，用于在车辆自动驾驶过程中，获取车载传感器所采集的实时数据，利用所述场景分析模型判断是否有光照条件的变化；
切换装置，用于若所述光照条件发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
8.根据权利要求7所述的装置，其中，所述切换装置用于：
若所述场景分析模型判断出光照条件发生变化，再结合序贯概率比检验，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景。
9.根据权利要求7或8所述的装置，其中，所述切换装置用于：
若所述场景分析模型判断出光照条件发生变化，再结合合理性判断，判断所述光照条件是否真实发生变化；
若所述光照条件真实发生变化，切换至变化后的光照条件所对应的光照驾驶场景；
其中，所述合理性判断基于时间和/或所述自动驾驶车辆的地理位置进行。
10.根据权利要求7至9中任一项所述的装置，其中，所述训练装置用于：
获取所述自动驾驶车辆在各个对应的光照驾驶场景下所标注的所述数据的正、负样本；
根据所述正、负样本，训练所述场景分析模型。
11.根据权利要求6至10中任一项所述的装置，其中，该装置还包括：
获得装置，用于根据在不同光照条件下，通过自动驾驶车辆的车载传感器所采集的数据，以及驾驶员的驾驶操作，训练获得不同光照条件下所述自动驾驶车辆所对应的不同光照驾驶场景。
12.根据权利要求6至11中任一项所述的装置，其中，所述光照驾驶场景包括以下任一项：
自然光顺光驾驶；
自然光逆光驾驶；
清晨驾驶；
黄昏驾驶；
黑暗有照明驾驶；
黑暗无照明驾驶。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至6中任一项所述的方法被执行。
14.一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如权利要求1至6中任一项所述的方法被执行。
15.一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。
CN201710792216.XA 2017-09-05 2017-09-05 一种识别光照驾驶场景的方法和装置 Active CN107766872B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710792216.XA CN107766872B (zh) 2017-09-05 2017-09-05 一种识别光照驾驶场景的方法和装置
PCT/CN2018/093358 WO2019047597A1 (zh) 2017-09-05 2018-06-28 一种识别光照驾驶场景的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710792216.XA CN107766872B (zh) 2017-09-05 2017-09-05 一种识别光照驾驶场景的方法和装置

Publications (2)

Publication Number Publication Date
CN107766872A true CN107766872A (zh) 2018-03-06
CN107766872B CN107766872B (zh) 2020-08-04

Family

ID=61265284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710792216.XA Active CN107766872B (zh) 2017-09-05 2017-09-05 一种识别光照驾驶场景的方法和装置

Country Status (2)

Country Link
CN (1) CN107766872B (zh)
WO (1) WO2019047597A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629280A (zh) * 2018-03-27 2018-10-09 维沃移动通信有限公司 人脸识别方法及移动终端
CN109271924A (zh) * 2018-09-14 2019-01-25 盯盯拍（深圳）云技术有限公司 图像处理方法及图像处理装置
WO2019047597A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 一种识别光照驾驶场景的方法和装置
CN111091739A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 自动驾驶场景的生成方法、装置和存储介质
CN113377033A (zh) * 2019-01-15 2021-09-10 北京百度网讯科技有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN111338669B (zh) * 2020-02-17 2023-10-24 深圳英飞拓仁用信息有限公司 智能分析盒子中智能功能的更新方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111653139A (zh) * 2020-05-15 2020-09-11 天津市职业大学 一种自适应前照明***教学平台及其教学方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167771A1 (en) * 2004-11-02 2008-07-10 Whittaker William L Methods, devices, and systems for high-speed autonomous vehicle and high-speed autonomous vehicle
CN102076142A (zh) * 2009-11-25 2011-05-25 现代自动车株式会社 执行前部照明的公路和市区模式的适应性前部照明***
CN105722708A (zh) * 2013-09-26 2016-06-29 法雷奥照明公司 驾驶辅助设备和方法
CN105956268A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试场景构建方法和装置
CN107097780A (zh) * 2012-11-30 2017-08-29 伟摩有限责任公司 启用和停用自动驾驶

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
CN107766872B (zh) * 2017-09-05 2020-08-04 百度在线网络技术（北京）有限公司 一种识别光照驾驶场景的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080167771A1 (en) * 2004-11-02 2008-07-10 Whittaker William L Methods, devices, and systems for high-speed autonomous vehicle and high-speed autonomous vehicle
CN102076142A (zh) * 2009-11-25 2011-05-25 现代自动车株式会社 执行前部照明的公路和市区模式的适应性前部照明***
CN107097780A (zh) * 2012-11-30 2017-08-29 伟摩有限责任公司 启用和停用自动驾驶
CN105722708A (zh) * 2013-09-26 2016-06-29 法雷奥照明公司 驾驶辅助设备和方法
CN105956268A (zh) * 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 应用于无人驾驶汽车的测试场景构建方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019047597A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 一种识别光照驾驶场景的方法和装置
CN108629280A (zh) * 2018-03-27 2018-10-09 维沃移动通信有限公司 人脸识别方法及移动终端
CN108629280B (zh) * 2018-03-27 2020-03-10 维沃移动通信有限公司 人脸识别方法及移动终端
CN109271924A (zh) * 2018-09-14 2019-01-25 盯盯拍（深圳）云技术有限公司 图像处理方法及图像处理装置
CN111091739A (zh) * 2018-10-24 2020-05-01 百度在线网络技术（北京）有限公司 自动驾驶场景的生成方法、装置和存储介质
CN111091739B (zh) * 2018-10-24 2022-08-02 百度在线网络技术（北京）有限公司 自动驾驶场景的生成方法、装置和存储介质
CN113377033A (zh) * 2019-01-15 2021-09-10 北京百度网讯科技有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN113377033B (zh) * 2019-01-15 2024-03-22 北京百度网讯科技有限公司 数据采集方法、装置、设备及计算机可读存储介质
CN111338669B (zh) * 2020-02-17 2023-10-24 深圳英飞拓仁用信息有限公司 智能分析盒子中智能功能的更新方法及装置

Also Published As

Publication number Publication date
CN107766872B (zh) 2020-08-04
WO2019047597A1 (zh) 2019-03-14

Similar Documents

Publication Publication Date Title
CN107766872A (zh) 一种识别光照驾驶场景的方法和装置
CN107153363B (zh) 无人驾驶汽车的仿真测试方法及装置、设备与可读介质
US20220107641A1 (en) Labeling Autonomous Vehicle Data
CN107031656B (zh) 用于车轮止动器检测的虚拟传感器数据生成
CN107564363A (zh) 一种用于驾驶模式切换的方法和装置
CN106774306B (zh) 应用于无人驾驶车辆的启动检测方法、装置和***
US11256263B2 (en) Generating targeted training instances for autonomous vehicles
CN112967283B (zh) 基于双目摄像头的目标识别方法、***、设备及存储介质
US20200142409A1 (en) Generating Testing Instances for Autonomous Vehicles
CN109747638A (zh) 一种车辆行驶意图识别方法及装置
CN109032103A (zh) 无人驾驶车辆的测试方法、装置、设备及存储介质
CN109255341A (zh) 障碍物感知错误数据的提取方法、装置、设备及介质
CN111028384A (zh) 自动驾驶车辆的故障智能分类方法和***
CN105398388B (zh) 车辆安全***、车载屏幕显示方法及装置
CN108268831A (zh) 一种无人车视觉检测的鲁棒性测试方法和***
CN113052159A (zh) 一种图像识别方法、装置、设备及计算机存储介质
CN110188687A (zh) 汽车的地形识别方法、***、设备及存储介质
CN113469933A (zh) 用于小道路对象检测的生成对抗性网络模型
CN114494444A (zh) 障碍物动静态估计方法及电子设备和存储介质
CN117131150B (zh) 电子地图的生成方法、装置、车辆和存储介质
CN113052071A (zh) 危化品运输车驾驶员分心行为快速检测方法及***
CN113715817B (zh) 车辆控制方法、装置、计算机设备及存储介质
CN114998861A (zh) 车辆与障碍物的距离检测方法及装置
CN114154510A (zh) 自动驾驶车辆的控制方法、装置、电子设备及存储介质
CN115019511A (zh) 基于自动驾驶车辆的识别机动车违规变道的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant