CN113260430B - 一种场景处理方法、装置、***及相关设备 - Google Patents

一种场景处理方法、装置、***及相关设备 Download PDF

Info

Publication number
CN113260430B
CN113260430B CN202180001054.8A CN202180001054A CN113260430B CN 113260430 B CN113260430 B CN 113260430B CN 202180001054 A CN202180001054 A CN 202180001054A CN 113260430 B CN113260430 B CN 113260430B
Authority
CN
China
Prior art keywords
scene
vehicle
image
hud
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180001054.8A
Other languages
English (en)
Other versions
CN113260430A (zh
Inventor
彭惠东
张宇腾
于海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN113260430A publication Critical patent/CN113260430A/zh
Application granted granted Critical
Publication of CN113260430B publication Critical patent/CN113260430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请实施例公开了一种场景处理方法、装置、***及相关设备，该方法包括：获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景。采用本申请实施例可以更加高效、便捷地融合现实信息与虚拟信息，从而得到直观的AR效果。

Description

一种场景处理方法、装置、***及相关设备
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种场景处理方法、装置、***及相关设备。
背景技术
抬头显示器(head up display，HUD)是一种将图像投射到驾驶员前方视野中的现实装置。相比于传统仪表和中控屏幕，驾驶员在观察HUD图像时，无需低头，避免了人眼焦距在图像和路面之间的来回切换，减少了危机反应的时间，提高了驾驶安全性。而近年来提出的增强现实抬头显示器(augmented realityhead up display，AR-HUD)，则可以进一步将HUD投射的图像与真实路面信息融合起来，实现增强现实(augmented reality，AR)导航和AR预警等各类功能，大大增强驾驶员对路面信息的获取，保证驾驶的安全性和舒适性。
然而，目前针对HUD的成像效果研究多集中于光学分析，若想要对利用车载HUD实现的AR增强现实功能(例如AR地图、AR导航和兴趣点(point of interest，POI)显示等)进行分析测试，则往往需要在HUD安装标定之后，才能观测到实际的AR投影效果。因此，目前为了验证HUD的AR成像效果，不断优化AR功能，大多采取实车测试的方法，也即将装载有AR-HUD的车辆驾驶到现实环境中进行测试，需要耗费大量的时间资源以及人力物力，成本高，效率低。另外，由于现实中的场景时时刻刻在变化，导致大量测试场景无法复现，继而使得测试结果可靠性低，从而影响AR-HUD中涉及的一系列AR算法的开发和测试，无法有效保证用户的使用体验。
因此，如何高效、便捷地融合现实信息与虚拟信息，从而得到直观的AR效果是亟待解决的问题。
发明内容
本申请实施例提供一种场景处理方法、装置、***及相关设备，可以高效、便捷地融合现实信息与虚拟信息，得到直观的AR效果。
本申请实施例提供的场景处理方法可以由电子装置等执行。电子装置是指能够被抽象为计算机***的设备，其中，支持场景处理功能的电子装置，也可称为场景处理装置。场景处理装置可以是该电子装置的整机，例如：智能手机、平板电脑、笔记本电脑、台式电脑、车机、车载电脑或服务器等；也可以是由多个整机构成的车载***/装置；还可以是该电子装置中的部分器件，例如：场景处理功能相关的芯片，如***芯片或场景处理芯片其中，***芯片也称为片上***，或称为SoC芯片。具体地，场景处理装置可以是诸如智能车辆中车机、车载电脑等这样的终端装置，也可以是能够被设置在智能终端的计算机***或环视***中的***芯片或场景处理芯片。
此外，本申请实施例提供的场景处理方法可以应用于如下场景：车载仿真***、车载游戏、终端云看车、直播和车领域测试等等多种场景。
第一方面，本申请实施例提供了一种场景处理方法，该方法包括：获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景。
通过第一方面提供的方法，本申请实施例可以基于软件的方法，通过现有的计算设备(比如笔记本电脑和台式电脑等)构建大量二维、或三维的仿真场景(每个仿真场景均可包括如车辆、道路或行人等场景元素)；然后，基于上述仿真场景以及开发的模型，生成与上述仿真场景对应的AR图像，并将上述仿真场景与对应的AR图像进行融合，从而快速、高效得到大量包括现实信息和虚拟信息的增强现实场景。其中，每个AR图像均可包括AR导航指引箭头、AR预警等AR图标。如此，相较于现有技术，本申请实施例可以不依赖于现实场景以及HUD硬件设备，而是通过软件的方法快速构建大量可复现的场景，覆盖性广、重用性高。如此，不仅可以快速、高效地展示各类增强现实场景，后续还可以基于本申请实施例仿真得到的各类增强现实场景下直观的AR效果，不断优化和改进HUD的AR功能，保证用户的使用体验。
在一种可能的实现方式中，所述获取与所述第一车外场景对应的第一AR图像，包括：根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。
在本申请实施例中，可以通过预先训练得到的模型生成与仿真场景相匹配的AR图像，以得到增强现实中的虚拟信息。例如，该场景包括一个十字路口，基于导航信息，当前十字路口应该右转，则可生成相应的右转指引箭头，又例如，该场景为文化景点，则可以生成对应的景点指示信息和景点介绍等等。
在一种可能的实现方式中，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
在本申请实施例中，可以通过多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度预先对神经网络模型进行训练，从而后续可以基于该神经网络模型对该大量仿真场景进行识别，并生成与之对应的AR图像，以快速、高效地得到大量增强现实场景。
在一种可能的实现方式中，所述融合所述第一车外场景和所述第一AR图像，以获得第二场景，包括：基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。
在本申请实施例中，可以基于软件的方法，通过现有的计算设备对车载HUD硬件设备进行仿真，从而在该大量场景中确定对应的虚像面，该虚像面可以为场景中的一个区域。可以理解的是，虚像面即为HUD投射出的用于显示AR图像的面。然后，通过预先训练得到的模型生成与场景相匹配的AR图像，并将AR图像渲染至该虚像面中。如此，本申请实施例可以通过软件的方法，仿真模拟各类场景下HUD投射出的AR图像，完成对AR功能(该功能例如包括上述用于识别场景并生成对应AR图像的预设模型)的测试，以及。大大节省实车测试所需消耗的时间资源以及人力物力，提高AR功能的测试效率，进一步保证HUD的用户使用体验，提升用户的驾驶舒适性和安全性。
在一种可能的实现方式中，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
在本申请实施例中，可以基于HUD的相关硬件参数，例如挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸等等，通过软件的方法对HUD进行仿真，以在大量的场景中构建对应的HUD虚像面，为后续的AR功能测试提供支持。如此，本申请实施例可以不依赖于硬件设备，从而节省了测试人员外出进行实车测试的人力和物力，并且通过软件仿真HUD的方法可以更加高效和低成本的对HUD中的相关AR功能等进行覆盖率更高的测试，有效的支持AR功能的开发和测试工作，大大提高了测试效率和测试结果的可靠性，从而可以对HUD中一系列软件算法进行更好的改善优化，进一步保证用户的使用体验，提升用户的驾驶舒适性和安全性。
在一种可能的实现方式中，所述获取第一车外场景，包括：获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。
在本申请实施例中，只需通过驾驶安装有车载传感器(例如摄像头、激光雷达、毫米波雷达等)的车辆去实际道路中，通过该一个或多个车载传感器采集周围环境的数据。如此，便可以通过软件的方法，在电脑等计算设备中基于采集到的大量数据构建上述大量仿真场景(例如可以为由激光雷达采集到的点云数据构建而成的仿真场景，也可以是由摄像头采集到图像数据构建而成的仿真场景，或者是融合激光雷达和摄像机各自采集到的数据后构建而成的仿真场景等等，本申请实施例对此不作具体限定)。显然，该大量仿真场景为实景仿真场景。如上所述，该大量仿真场景可以用于支持后续的AR功能展示以及测试等，大大提高了场景的覆盖率，并且保证了场景的可复现，从而保证后续可以对改进后的AR功能在相同场景下再次进行测试，已验证改进后的AR效果等等，有效提升测试结果的可靠性。
在一种可能的实现方式中，上述获取目标场景集合，包括：所述获取第一车外场景，包括：获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟***构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟***设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；基于所述第二传感采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。
在本申请实施例中，还可以通过软件的方法在电脑等计算设备上仿真得到多个虚拟传感器，并设置各个虚拟传感器的数据，从而可以基于该多个虚拟传感器的数据构建上述大量仿真场景，显然，该大量仿真场景为虚拟仿真场景(类似于构建虚拟的游戏场景)。如此，可以进一步节省测试人员外出进行实车驾驶，以获取车辆内多个传感器采集的数据所需消耗的时间资源以及人力、物力等等，进一步降低了测试成本。如上所述，该大量仿真场景可以用于支持后续的AR功能展示以及测试，大大提高了场景的覆盖率，并且保证了场景的可复现，从而保证后续可以对改进后的AR功能在相同场景下再次进行测试，已验证改进后的AR效果等等，有效提升测试结果的可靠性。
在一种可能的实现方式中，上述方法还包括：对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；融合所述第一车外场景和所述第二AR图像，以获得第三场景；使能所述显示屏显示所述第三场景。
在本申请实施例中，可以理解的是，由于实际在车辆上安装HUD的过程中往往会由于安装精度的问题，使得HUD的安装位置与预设的理想位置之间存在偏差，或者由于生产制造精度的问题使得汽车挡风玻璃的曲率不符合标准，从而造成HUD投射出的AR图像存在或多或少的畸变，严重影响用户的视觉感受，极大程度上降低用户的使用体验以及驾驶舒适性，甚至危害用户的驾驶安全。因此，本申请实施例进一步地，还可以通过软件的方法对各类场景中生成的AR图像进行畸变处理，例如包括径向畸变、切向畸变、虚像距增大和虚像距减小等，覆盖范围广，效率高，从而可以直观地了解各类畸变对AR成像效果的影响，以对各类畸变造成的AR成像效果退化进行补偿，例如可以为后续去畸变功能的开发和测试提供有效、精确的支持，提升用户的使用体验。另外，当HUD进行实车装配后，由于车辆在行驶过程中总会遇到一定程度的颠簸，从而导致驾驶员的人眼位置或者HUD的位置发生抖动变化，相应的，驾驶员观测到的AR图像与真实场景中的物体(例如道路和车辆等)之间便会存在一定的对齐失真，不再贴合，从而影响用户的视觉感受。现有技术中，往往需要驾驶实车到多种路面上，以对抖动情况下的AR成像效果进行测试分析，但是由于实车测试过程中往往会伴随有多种抖动噪声，也即可能同时存在人眼抖动和HUD位置抖动等，导致难以抽离单个抖动因素进行测试建模分析，进而为后续防抖动功能的开发和测试带来困难，无法保证用户在实际驾驶中的使用体验。因此，相较于现有技术，本申请实施例进一步地，还可以通过软件的方法对各类场景中生成的AR图像进行抖动处理，例如可以根据实际需求依次叠加不同程度的旋转位移量和抖动量等，或者单独叠加一定的旋转位移量或者抖动量，等等，从而可以抽离单个抖动因素对AR成像效果进行测试分析，直观的了解在各类抖动情况对AR成像效果的影响，从而为后续防抖动功能的开发和测试提供有效、精确的支持，提升用户的使用体验。
在一种可能的实现方式中，上述方法还包括：对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；融合所述第一车外场景和所述第三AR图像，以获得第四场景；使能所述显示屏显示所述第四场景。
在一种可能的实现方式中，上述方法还包括：基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
在本申请实施例中，进一步地，在进行畸变处理后，还可以对畸变处理后的AR图像叠加待测试的去畸变算法，从而可以直观的了解到当前的去畸变效果，以对去畸变算法不断进行相应的改进。继而保证在HUD安装位置存在偏移或者挡风玻璃曲率不合适的情况下的AR成像效果，保证用户的视觉感受和使用体验，进一步提升用户的驾驶舒适性和安全性。进一步地，在进行抖动处理后，还可以对抖动处理后的AR图像叠加待测试的防抖动算法，从而可以直观的了解到当前防抖动算法的防抖动效果，以对防抖动算法不断进行相应的改进。继而保证在实际驾驶中车辆颠簸造成人眼位置抖动或者HUD位置抖动情况下的AR成像效果，保证用户的视觉感受和使用体验，进一步提升用户的驾驶舒适性和安全性。
在一种可能的实现方式中，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述方法还包括：基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
在本申请实施例中，每个仿真场景中均可以包括一个或多个场景元素，例如道路、行人、车辆、植物和交通信号(比如红绿灯等)，还例如路标、立交桥、建筑和动物，等等，本申请实施例对此不作具体限定。如此，本申请实施例可以根据仿真场景中的一个或多个场景元素与生成的AR图像中的一个或多个AR图标之间的匹配度(例如包括双方的位置关系和/或逻辑关系)，对预设模型的AR效果进行分析，并对该预设模型进行相应的修正。例如，该仿真场景可以包括一个十字路口和道路旁的一些树木等，基于导航信息，当前十字路口应该右转，则需要生成相应的右转导航标识(即例如右转指引箭头)，若该AR图像中生成的右转指引箭头没有很好的贴合路面而是显示在道路左侧的树木上，或者生成了生成了错误的直行指引箭头等，则可以认为当前的AR效果不理想，场景元素与对应的AR图标之间的位置关系和/或逻辑关系没有很好的匹配，预设模型仍需要进行改进。如此，本申请实施例可以通过仿真模拟的方法，使得测试人员在计算设备上显著地观察得到当前预设模型的AR效果，或者说直观的掌握当前HUD的AR功能情况，从而可以高效、准确的定位其中存在的问题，以更好的对预设模型等进行改进优化，从而保证用户的使用效果，提升用户的驾驶安全性和舒适性。
第二方面，本申请实施例提供了一种场景处理装置，包括：
第一获取单元，用于获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
第二获取单元，用于获取与所述第一车外场景对应的第一AR图像；
融合单元，用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
第一显示单元，用于使能显示屏显示所述第二场景。
在一种可能的实现方式中，所述第二获取单元，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。
在一种可能的实现方式中，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
在一种可能的实现方式中，所述融合单元，具体用于：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；
将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。
在一种可能的实现方式中，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
在一种可能的实现方式中，所述第一获取单元，具体用于：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。
在一种可能的实现方式中，所述第一获取单元，具体用于：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟***构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟***设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。
在一种可能的实现方式中，所述装置还包括：
第一预处理单元，用于对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
第二融合单元，用于融合所述第一车外场景和所述第二AR图像，以获得第三场景；
第二显示单元，用于使能所述显示屏显示所述第三场景。
在一种可能的实现方式中，所述装置还包括：
第二预处理单元，用于对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
第三融合单元，用于融合所述第一车外场景和所述第三AR图像，以获得第四场景；
第三显示单元，用于使能所述显示屏显示所述第四场景。
在一种可能的实现方式中，所述装置还包括：
优化单元，用于基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
在一种可能的实现方式中，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述装置还包括：
修正单元，用于基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
第三方面，本申请实施例提供了一种场景处理***，包括：终端和服务器；
所述终端用于发送第一车外场景；其中，所述第一车外场景为所述终端的传感器获取的传感信息；
所述服务器用于接收来自于所述终端的所述第一车外场景；
所述服务器还用于获取与所述第一车外场景对应的第一AR图像；
所述服务器还用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
所述服务器还用于发送所述第二场景；
所述终端还用于接收所述第二场景，并显示所述第二场景。
在一种可能的实现方式中，所述传感器包括温度传感器、湿度传感器、全球定位***、摄像头和激光雷达中的至少一种；所述传感信息包括温度、湿度、天气、位置、图像和点云中的至少一种。
在一种可能的实现方式中，所述服务器，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；所述第一AR图像包括一个或多个AR图标。
在一种可能的实现方式中，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
在一种可能的实现方式中，所述服务器，具体用于：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；
将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。
在一种可能的实现方式中，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
在一种可能的实现方式中，所述服务器，还用于：
对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
融合所述第一车外场景和所述第二AR图像，以获得第三场景；
发送所述第三场景；
所述终端还用于接收所述第三场景，并显示所述第三场景。
在一种可能的实现方式中，所述服务器，还用于：
对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
融合所述第一车外场景和所述第三AR图像，以获得第四场景；
发送所述第四场景。
所述终端还用于接收所述第四场景，并显示所述第四场景。
在一种可能的实现方式中，所述服务器，还用于：
基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
在一种可能的实现方式中，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述服务器，还用于：
基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
第四方面，本申请实施例提供了一种计算设备，该计算设备中包括处理器，处理器被配置为支持该计算设备实现第一方面提供的场景处理方法中相应的功能。该计算设备还可以包括存储器，存储器用于与处理器耦合，其保存该计算设备必要的程序指令和数据。该计算设备还可以包括通信接口，用于该计算设备与其他设备或通信网络通信。
其中，该计算设备可以是终端，例如手机、车机、车载PC等车载装置、汽车等交通工具，服务器。其中，服务器可以是虚拟服务器，也可以是实体服务器。还可以是芯片或电子***等。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中任意一项所述的场景处理方法流程。其中，该处理器可以为一个或多个处理器。
第六方面，本申请实施例提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第一方面中任意一项所述的场景处理方法流程。
第七方面，本申请实施例提供了一种芯片***，该芯片***可以包括上述第二方面中任意一项所述的场景处理装置，用于实现上述第一方面中任意一项所述的场景处理方法流程所涉及的功能。在一种可能的设计中，所述芯片***还包括存储器，所述存储器，用于保存场景处理方法必要的程序指令和数据。该芯片***，可以由芯片构成，也可以包含芯片和其他分立器件。
第八方面，本申请实施例提供了一种电子装置，该电子装置可以包括上述第二方面中任意一项所述的场景处理装置，用于实现上述第一方面中任意一项所述的场景处理方法流程所涉及的功能。在一种可能的设计中，所述电子装置还包括存储器，所述存储器，用于保存场景处理方法必要的程序指令和数据。该电子装置，可以是终端，例如手机、车机、车载PC等车载装置、汽车等交通工具，服务器。其中，服务器可以是虚拟服务器，也可以是实体服务器。还可以是芯片或电子***等。
综上，本申请实施例提供了一种场景处理方法，本申请实施例可以基于软件仿真的方法，通过现有的计算设备(比如手机、车机、服务器等)构建大量二维或三维的仿真场景(每个仿真场景均可包括如车辆、道路或行人等场景元素)。然后，基于开发的模型，生成与上述仿真场景对应的AR图像，并将上述仿真场景与对应的AR图像进行融合，从而快速、高效地得到大量包括现实信息和虚拟信息的增强现实场景。
下面，将结合几种较为常见的场景对本申请实施例的有益效果进行阐述。
首先，对于进行HUD相关产品售卖或者展示的商家来说，通过本申请实施例提供的一种场景处理方法，无需配备HUD硬件设备，也无需驾驶实车，只需通过商店内的显示屏便能直观地展示HUD的AR效果。相应的，客户也可以通过商店内的显示屏简单、直接地体验到HUD的AR效果。甚至，商家还可以将通过仿真得到的大量增强现实场景上传至云端，用户可以利用自己的手机通过相应的网站或者应用软件查看上述增强现实场景，从而更快速、便捷地了解产品的功能，以根据自身需求选购产品。如此，本申请实施例不仅为商家节省了大量人力物力，同时为客户提供了便捷。
此外，对于开发人员来说，可以基于每个融合了AR图像后的仿真场景中的场景元素和AR图标，快速、直观地对其中涉及的各类模型或者算法进行分析，以优化相应的功能。如此，相较于现有技术，本申请实施例可以不依赖于真实世界的场景以及HUD硬件设备，而是通过软件的方法快速构建各类模型或者算法测试所需的大量可复现的场景，覆盖性广、重用性高，进而可以在该大量场景中对各类模型或者算法进行测试，快速、直观地得到在各类场景下HUD投射出的AR图像，以不断优化AR功能以及相应的去畸变和防抖动功能等，保证用户的使用体验。由此，对于开发人员来说，本申请实施例不仅可以大大提高对HUD的AR功能的测试效率、场景覆盖率和测试结果的可靠性，还可以极大程度上节省实车测试所需消耗的时间资源以及测试人员外出进行实车测试的人力和物力等等，大大减少了测试成本。
还有，对于实时直播的场景而言，例如在一些进行HUD相关产品推广的直播活动中，或者进行AR游戏的直播活动中。主播可以通过直播设备(例如手机终端，还可以包括其他的摄像机等)实时采集周围环境的信息(例如天气、道路、车辆和行人等)，并将该信息实时发送至服务器，服务器基于接收到的信息实时构建仿真场景，还原主播周围的真实环境，然后生成相应的AR图像并与上述实时的仿真场景进行融合，从而得到实时的增强现实场景，并发送给直播设备，由直播设备进行显示。如此，远程的观众可以利用手中的手机或者平板等设备通过网络直播间直观的感受实时的AR效果。可选地，上述实时直播的场景中，也可以不采用服务器，而是直接通过直播设备进行仿真场景的构建、AR图像的生成、融合以及增强现实场景的显示，等等，本申请实施例对此不作具体限定。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1是一种AR-HUD成像效果示意图。
图2是本申请实施例提供的一种智能车辆的功能框图。
图3a是本申请实施例提供的一种场景处理方法的***架构示意图。
图3b是本申请实施例提供的另一种场景处理方法的***架构示意图。
图3c是本申请实施例提供的一种计算设备的功能框图。
图4是本申请实施例提供的一种场景处理方法的应用场景示意图。
图5是本申请实施例提供的另一种场景处理方法的应用场景示意图。
图6a是本申请实施例提供的一种场景处理方法的流程示意图。
图6b是本申请实施例提供的另一种场景处理方法的流程示意图。
图7是本申请实施例提供的另一种场景处理方法的流程示意图。
图8是本申请实施例提供的一种场景的示意图。
图9是本申请实施例提供的一种相机坐标系和世界坐标系的示意图。
图10是本申请实施例提供的一种场景重构的示意图。
图11是本申请实施例提供的一种HUD虚像面的示意图。
图12a是本申请实施例提供的一种AR成像效果的示意图。
图12b是本申请实施例提供的另一种AR成像效果的示意图。
图12c是本申请实施例提供的又一种AR成像效果的示意图。
图13是本申请实施例提供的一种外部视角下的HUD模拟仿真效果示意图。
图14是本申请实施例提供的又一种AR成像效果的示意图。
图15是本申请实施例提供的一种畸变类型与AR成像效果的示意图。
图16是本申请实施例提供的一种AR成像效果的对比示意图。
图17是本申请实施例提供的一种人眼视线坐标系和HUD虚像面坐标系的示意图。
图18是本申请实施例提供的一种抖动情况对AR成像效果影响的示意图。
图19是本申请实施例提供的又一种场景处理装置的结构示意图。
图20是本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例进行描述。
首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。
(1)增强现实(augmented reality，AR)，也被称之为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实提供了在一般情况下，不同于人类可以感知的信息。它不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。
(2)抬头显示器(head up display，HUD)，也即平视显示器，是一种将图像投射到驾驶员前方视野中的显示装置。HUD最早应用于军用飞机，旨在降低飞行员需要低头查看仪表的频率。起初，HUD可以通过光学原理，将驾驶相关的信息投射在飞行员的头盔上，使得飞行员能在保证正常驾驶的同时关注到飞行的各项指标并接收地面传输的信息等，从而提升驾驶的安全性和便捷性。而今，HUD开始应用于汽车，设计初期，应用HUD的驱动力是保证驾驶的安全性，使得驾驶员在驾驶过程中无需低头将视线转移到仪表盘或者中控上，避免了人眼焦距在仪表盘或者中控和路面之间来回的切换，减少了危机反应的时间。因此，设计初期的HUD所投影的信息主要是汽车的行驶状况指标，比如仪表盘上所显示的车速、油量等较为简单的信息。
市面上常见的HUD可以包括投影仪、反射镜(或者称之为次反射镜)和投影镜(或者称之为主反射镜)等组件。HUD的成像原理类似于幻灯片投影，通过将图像投射到汽车挡风玻璃上，使得驾驶员可以获取视野前方的图像。具体地，一般可以先通过投影仪发出光信息，经过反射镜反射到投影镜上，再由投影镜反射到挡风玻璃，人眼看到的是位于眼前大约2-2.5米处的虚像，给人的感觉就是信息悬浮在前方路上。
需要说明的是，HUD图像投射在挡风玻璃上位置是可调的，通常情况下可以通过改变投影镜的角度调节HUD图像的位置。此外，可以理解的是，由于汽车的挡风玻璃是弯曲的，图像若是直接投射在弯曲的玻璃面上，会造成图像变形。这就需要一个纠正措施，因此，投影镜和反射镜往往会被设计成弯曲的。
如上所述，HUD利用光学反射原理，可以在挡风玻璃上投射显示超速预警、车况监控、油耗、时速等信息，能够让驾驶员的注意力集中在前方路面，实现主动的行车安全。同时还可以降低眼睛焦距需要不断调整产生的延迟与不适。
进一步地，设计人员希望通过HUD实现智能驾驶的目标，赋予其更多的功能。基于此，近年来提出了增强现实抬头显示器(augmented reality head up display，AR-HUD)，AR-HUD对于用户而言具有更强的直观性，其可以将HUD投射的图像与真实路面信息融合起来，增强驾驶员对路面信息的获取，例如可以实时投射显示一些虚拟箭头来直观地引导我们前进，从而避免在驾驶中出现开过路口和分散驾驶员注意力的情况。
请参阅图1，图1是一种AR-HUD成像效果示意图。如图1所示，AR-HUD投射到汽车挡风玻璃上所呈的虚像面可以位于驾驶员视野正前方。如图1所示，AR-HUD相较于以往的HUD而言，除了可以投射显示基本的驾驶时速和汽车电量等信息外，还可以显示AR导航指引箭头等信息，从而辅助驾驶员实现更加智能、舒适和安全的驾驶。如上所述，AR-HUD可以通过HUD投射的图像实现AR导航和AR预警等功能。可选地，具体可以实现例如跟车距离预警、压线预警、红绿灯监测、提前变道指示、行人预警、路标显示、车道偏离指示、前方障碍物预警、驾驶员状态监测等功能，此处不再进行赘述。
为了解决当前AR功能仿真以及测试技术中不满足实际业务需求的问题，本申请实施例提供了一系列方案，用于基于现有的计算设备(比如手机、车机、服务器等)，通过软件的方式构建各类场景，从而在该各类场景中对AR功能进行仿真，包括生成与上述各类场景对应的AR图像，并将各类场景与对应的AR图像进行融合，从而快速、高效地得到包括现实信息和虚拟信息的大量增强现实场景，以便捷、直观地体验各个场景下的AR效果。进一步，本申请实施例提供的一系列方案还可以根据仿真得到的增强现实场景，对AR功能进行测试，以不断改进、优化AR功能，提升AR效果。更进一步地，为了验证实际驾驶情况下可能存在的AR设备(例如上述AR-HUD)的安装偏差、人眼抖动和车辆抖动给AR成像效果带来的影响，本申请实施例提供的一系列方案还可以利用上述软件的方式，通过添加不同的畸变因素以及抖动量，仿真测试在各类非理想情况下的AR成像效果，以开发和不断改进相应的去畸变以及防抖动功能，提升AR效果，保证用户的使用体验。
请参阅图2，图2是本申请实施例提供的一种智能车辆的功能框图。本申请实施例提供的一种场景处理方法可以应用于如图2所示的智能车辆200中，在一个实施例中，智能车辆200可以配置为完全或部分地自动驾驶模式。在智能车辆200处于自动驾驶模式中时，可以将智能车辆200置为在没有和人交互的情况下操作。
智能车辆200可以包括各种子***，例如行进***202、传感***204、控制***206、一个或多个***设备208以及电源210、计算机***212和用户接口216。可选地，智能车辆200可包括更多或更少的子***，并且每个子***可包括多个元件。另外，智能车辆200的每个子***和元件可以通过有线或者无线互连。
行进***202可包括为智能车辆200提供动力运动的组件。在一个实施例中，行进***202可包括引擎218、能量源219、传动装置220和车轮221。引擎218可以是内燃引擎、电动机、空气压缩引擎或者其他类型的引擎组合，例如汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎218可以将能量源219转换成机械能量。
能量源219的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源219也可以为智能车辆200的其他***提供能量。
传动装置220可以将来自引擎218的机械动力传送到车轮221。传动装置220可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置220还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮221的一个或多个轴。
传感***204可包括若干个传感器，该若干个传感器可以用于采集关于智能车辆200周边的环境信息(例如可以包括智能车辆200周围的地形、道路、机动车辆、非机动车辆、行人、路障、交通标志、交通信号灯、动物、建筑和植物等等)。如图2所示，传感***204可以包括定位***222(定位***可以是全球定位***(global positioning system，GPS)***，也可以是北斗***或者其他定位***)、惯性测量单元(inertial measurement unit，IMU)224、雷达226、激光测距仪228、相机230以及计算机视觉***232等等。可选地，在一些可能的实时方式中，测试人员可以驾驶该智能车辆200至各类行车环境中(例如不同地区、不同地形、不同路况和不同天气的行车环境)，通过传感***204内的多个传感器采集周围环境的数据，进一步地，还可以将采集到的数据上传至服务端。后续，测试人员可以从服务端获取各个环境下采集到大量传感器数据，并基于该大量传感器数据通过计算设备构建对应的大量场景。可选地，测试人员也可以直接将采集到的大量数据发送至计算设备，等等，本申请实施例对此不作具体限定。其中，该大量场景可以作为AR功能测试中所需的现实信息，从而在进一步仿真得到虚拟HUD设备后，可以对HUD中涉及的AR功能等在各类场景中进行测试，观察各类场景下的AR成像效果，以不断优化相关AR功能，优化HUD的AR功能等，保证用户的使用体验。可选地，该智能车辆200中还可以包括AR-HUD(也即具备AR功能的HUD，图2中未示出)，可以通过将AR图像投射至驾驶员视野前方，以在驾驶过程中进行安全舒适的AR导航和AR预警等等，其中的AR-HUD可以为经上述仿真测试和改进后的AR-HUD。
其中，上述服务端可以为一个服务器，也可以为由多个服务器构成的服务器集群，或者还可以是一个云计算服务中心，等等，本申请实施例对此不作具体限定。其中，上述计算设备可以为智能可穿戴设备、智能手机、平板电脑、笔记本电脑、台式电脑或者带显示屏的服务器，等等，本申请实施例对此不作具体限定。
定位***222可用于估计智能车辆200的地理位置。IMU 224用于基于惯性加速度来感测智能车辆200的位置和朝向变化。在一个实施例中，IMU 224可以是加速度计和陀螺仪的组合。
雷达226可利用无线电信号来感测智能车辆200的周边环境内的物体。在一些可能的实施例中，雷达226还可以用于感测智能车辆200周边车辆的速度和/或行进方向等等。其中，该雷达226可以为激光雷达，还可以为毫米波雷达，等等，可以用于采集周围环境的点云数据，继而可以得到点云形式的大量场景，用于对HUD进行仿真测试。
激光测距仪228可利用激光来感测智能车辆200所位于的环境中的物体。在一些可能的实施例中，激光测距仪228可包括一个或多个激光源、一个或多个激光扫描器以及一个或多个检测器，以及其他***组件。
相机230可用于捕捉智能车辆200的周边环境的多个图像，继而可以得到照片形式的大量场景，用于对HUD进行仿真测试。在一些可能的实施例中，相机230可以是静态相机或者视频相机。
计算机视觉***232可以操作来处理和分析由相机230捕捉的图像以便识别智能车辆200周边环境中的物体和/或特征。所述物体和/或特征可包括地形、机动车辆、非机动车辆、行人、建筑、交通信号、道路边界和障碍物等等。计算机视觉***232可使用物体识别算法、运动中恢复结构(structure from motion，SFM)算法、视频跟踪和其他计算机视觉技术。
控制***206为控制智能车辆200及其组件的操作。控制***206可包括各种元件，其中包括油门234、制动单元236和转向***240。
油门234用于控制引擎218的操作速度并进而控制智能车辆200的速度。
制动单元236用于控制智能车辆200减速。制动单元236可使用摩擦力来减慢车轮221。在其他实施例中，制动单元236可将车轮221的动能转换为电流。制动单元236也可采取其他形式来减慢车轮221转速从而控制智能车辆200的速度。
转向***240可操作来调整智能车辆200的前进方向。
当然，在一个实例中，控制***206可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
智能车辆200通过***设备208与外部传感器、其他车辆、其他计算机***或用户之间进行交互。***设备208可包括无线通信***246、车载电脑248、麦克风250和/或扬声器252。在一些实施例中，也可以通过无线通信***246将传感器***204中的一个或多个传感器采集到的数据上传至服务端，还可以通过无线通信***246将传感器***204中的一个或多个传感器采集到的数据发送至用于对HUD进行仿真测试的计算设备，等等，本申请实施例对此不作具体限定。
在一些实施例中，***设备208提供智能车辆200的用户与用户接口216交互的手段。例如，车载电脑248可向智能车辆200的用户提供信息。用户接口216还可操作车载电脑248来接收用户的输入。车载电脑248可以通过触摸屏进行操作。在其他情况中，***设备208可提供用于智能车辆200与位于车内的其它设备通信的手段。例如，麦克风250可从智能车辆200的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器252可向智能车辆200的用户输出音频。
无线通信***246可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信***246可使用第三代移动通信网络(3rd generation mobile networks，3G)蜂窝通信，例如码分多址(code division multiple access，CDMA)、全球移动通讯***(global system for mobile communications，GSM)/通用分组无线业务(general packetradio service，GPRS)，或者***移动通信网络(4th generation mobile networks，4G)蜂窝通信，例如长期演进技术(long term evolution，LTE)。或者第三代移动通信网络(5thgeneration mobile networks，5G)蜂窝通信。无线通信***246还可以利用无线保真技术(wireless-fidelity，WIFI)与无线局域网(wireless local area network，WLAN)通信。在一些实施例中，无线通信***246可利用红外链路、蓝牙等与设备直接通信。其他无线协议，例如：各种车辆通信***，例如，无线通信***246可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源210可向智能车辆200的各种组件提供电力。在一个实施例中，电源210可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为智能车辆200的各种组件提供电力。在一些实施例中，电源210和能量源219可一起实现，例如一些全电动车中那样。
智能车辆200的部分或所有功能受计算机***212控制。计算机***212可包括至少一个处理器213，处理器213执行存储在例如存储器214这样的非暂态计算机可读介质中的指令215。计算机***212还可以是采用分布式方式控制智能车辆200的个体组件或子***的多个计算设备。
处理器213可以是任何常规的处理器，诸如商业可获得的中央处理器(centralprocessing unit，CPU)。可选地，该处理器可以是诸如特定应用集成电路(application-specific integrated circuit，ASIC)或其它基于硬件的处理器的专用设备。尽管图2功能性地图示了处理器、存储器和在相同块中的计算机***212的其它元件，但是本领域的普通技术人员应该理解该处理器或存储器实际上可以包括不存储在相同的物理外壳内的多个处理器或存储器。例如，存储器可以是硬盘驱动器或位于不同于计算机***212的外壳内的其它存储介质。因此，对处理器或存储器的引用将被理解为包括对可以或者可以不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，例如传感***204中的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中，处理器213可以位于远离该车辆并且与该车辆进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆内的处理器上执行而其它则由远程处理器执行。
在一些实施例中，存储器214可包含指令215(例如，程序逻辑)，指令215可被处理器213执行来执行智能车辆200的各种功能，包括以上描述的那些功能。存储器214也可包含额外的指令，包括向行进***202、传感***204、控制***206和***设备208中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。
除了指令215以外，存储器214还可存储数据，例如传感器***204在行驶过程中采集到的大量传感器数据，比如可以包括传感器***204内的相机230拍摄到的图像数据以及雷达226采集到的点云数据，等等。在一些实施例中，存储器214还可存储例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息，等等。这种信息可在智能车辆200行驶期间被智能车辆200中的无线通信***246或者计算机***212等使用。
用户接口216，用于向智能车辆200的用户提供信息或从其接收信息。可选地，用户接口216可包括在***设备208的集合内的一个或多个输入/输出设备，例如无线通信***246、车车在电脑248、麦克风250和扬声器252。
可选地，上述这些组件中的一个或多个可与智能车辆200分开安装或关联。例如，存储器214可以部分或完全地与智能车辆200分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
综上所述，智能车辆200可以为轿车、卡车、摩托车、公共汽车、船、无人机、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车，等等，本申请实施例对此不作具体限定。
可以理解的是，图2中的智能车辆的功能框图只是本申请实施例中的一种示例性的实施方式，本申请实施例中的智能车辆包括但不仅限于以上结构。
请参阅图3a，图3a是本申请实施例提供的一种场景处理方法的***架构示意图，本申请实施例的技术方案可以在图3a举例所示的***架构或者类似的***架构中具体实施。如图3a所示，该***架构可以包括计算设备100和多个智能车辆，具体可以包括智能车辆200a、200b和200c。其中，计算设备100、智能车辆200a、200b和200c之间可以通过有线或者无线网络(例如无线保真(Wireless-Fidelity，WiFi)、蓝牙和移动网络)等方式互相建立连接。其中，智能车辆200a、200b和200c中均可以安装有多个传感器，例如相机、激光雷达、毫米波雷达、温度传感器和湿度传感器等等。在行驶过程中，智能车辆200a、200b和200c可以通过车内的多个传感器采集周围环境的数据(可以包括图像、点云、温度和湿度等数据)，并通过有线或者无线的方式将数据发送至计算设备100。计算设备100可以基于该大量传感器数据构建大量仿真场景，生成与各个场景相对应的AR图像并与其进行融合，以获得相应的增强现实场景，最终显示得到的增强现实场景。
可选地，请参阅图3b，图3b是本申请实施例提供的另一种场景处理方法的***架构示意图，本申请实施例的技术方案可以在图3b举例所示的***架构或者类似的***架构中具体实施。如图3b所示，该***架构除上述计算设备100以及智能车辆200a、200b和200c外，还可以包括服务端300。相应的，智能车辆200a、200b和200c在行驶过程中采集到的数据均可以通过网络上传至服务端300中，后续计算设备100可以通过网络从该服务器中获取相应的传感器数据，等等，此处不再进行赘述。如此，可以更加便捷地实现传感器数据的共享，使得不同的测试人员均可以根据实际需求通过网络从服务端获取智能车辆200a、200b和200c采集到的数据，提高测试效率。
如上所述，计算设备100在获取到智能车辆200a、200b和200c内的多个传感器采集到的数据后，可以基于该大量传感器数据构建大量仿真场景，生成与各个场景相对应的AR图像并与其进行融合，以获得相应的增强现实场景(也即各类场景下的AR效果)，最终显示得到的增强现实场景。至此，计算设备100完成了通过软件仿真的方法，不依赖于HUD硬件设备，高效、直观地得到了各类不同的场景下的AR效果，大大降低了AR功能展示的成本，并且，后续可以根据该各类不同的场景下的AR效果对HUD的AR功能进行全面、高效地测试，以不断优化AR功能，保证用户的使用体验。并且，极大程度上节省了测试人员外出进行实车测试所需消耗的时间资源和人力物力，大大降低了测试成本。可选地，测试人员可以驾驶智能车辆200a、200b和200c至各类地形、路况和天气等行驶环境中，以采集各类场景的数据，从而可以为后续HUD的AR功能仿真测试，以及抖动或者畸变因素影响下的AR成像效果仿真测试提供大量、可复现场景的支撑，大大提高测试结果的可靠性。
或者，如上所述，服务端300接收智能车辆200a、200b和200c上传的传感器数据，该数据可以为传感器采集到的原始数据，也可以是经过传感器预处理(例如筛选、融合等)后的数据，等等。服务端300可以基于该大量传感器数据通过本申请实施例中的方法构建大量仿真场景，生成与各个场景相对应的AR图像并与其进行融合，以获得相应的增强现实场景。随后，服务端300将获得的增强显示场景通过消息发送至计算设备100，使得计算设备100通过显示屏显示该增强现实场景。可选地，该计算设备100还可以为智能车辆200a、200b和200c内的显示屏等。
此外，在一些特殊场景中，例如实时直播场景，主播在驾驶车辆200a行驶过程中，车载传感器采集到的数据数据(还可以包括车上的直播设备(图中未示出)采集到的数据，例如主播的手机终端采集到的周围环境的视频数据等)可以实时上传至服务端300。如此，服务端300可以接收实时采集到的数据，并基于此，实时构建仿真场景，还原主播周围的环境，以及实时生成与其对应的AR图像并与其进行融合，以获得相应的增强现实场景，并将获得的增强现实场景发送给直播设备，以使得直播设备的显示屏显示该增强现实场景。然后，观众便可以利用手中的手机或者平板等通过网路直播间观看实时的增强现实场景(例如包括主播拍摄的旅游场景以及服务器融合的天气、景点标识和景点介绍等AR图标等)。如上所述，服务器300进行仿真模拟所使用的场景数据可以是事先采集到的数据，也可以是实时数据，本申请实施例对此不作具体限定。
可选地，请参阅图3c，图3c是本申请实施例提供的一种计算设备的功能框图。如图3c所示，该计算设备100可以包括人眼姿态模拟模块101、HUD参数模拟模块102、传感器数据模块103、数据融合模块104、AR功能模块105、渲染引擎模块106、HUD虚拟模块107、场景生成模块108和显示模块109。
其中，人眼姿态模拟模块101，可以用于模拟驾驶员在驾驶过程中的人眼姿态，包括车辆颠簸时驾驶员人眼位置的抖动变化等，可以理解的是，人眼姿态的变化可以影响驾驶员观测到的HUD投射出的AR成像效果。
其中，HUD参数模拟模块102，可以用于设置HUD相关的硬件参数。应理解，如上所述，HUD自身硬件或不同挡风玻璃曲率均容易造成AR图像的畸变，因此，可以通过HUD参数模拟模块102参数化模拟各项硬件参数，从而为后续的仿真测试提供大量、全面的输入参数。例如可以包括挡风玻璃曲率、眼盒位置、HUD虚像面尺寸和HUD安装位置等参数，本申请实施例对此不作具体限定。
其中，传感器数据模块103，可以用于获取以及存储多个传感器采集到的大量数据(例如上述智能车辆200a、200b和200c内的多个传感器在行驶过程中采集到的数据)。可选地，该传感器数据还可以为通过现有的仿真模拟***(或者说仿真软件)构建出的虚拟传感器中设置的数据，等等。由此，相应地，在一些可能的实施例中，上述***架构也可以仅包括计算设备，本申请实施例对此不作具体限定。从而无需测试人员在车辆内装配传感器，并驾驶车辆至实际道路中进行数据采集，进一步节省了人力、物力和时间资源，大大提升了测试效率，降低了测试成本，并且，虚拟传感器不依赖于实车和真实场景，通过简单的数据设置以及变化，可以更加全面、高效地构建出各类不同的场景。可以理解的是，测试人员可以根据实际条件和测试需求，选择实车采集数据或者设置虚拟传感器数据，等等，本申请实施例对此不作具体限定。
其中，数据融合模块104，可以用于将传感器模块103中的数据进行融合，例如将相机拍摄到的图像数据与激光雷达采集到的点云数据进行融合等等，从而为后续构建测试所需的场景提供更加全面、有效的数据支撑，提高场景的质量。可选地，如图3c所示，数据融合模块104还可以接收人眼姿态模拟模块101和HUD参数模拟模块102中的相关数据，进而可以在后续虚拟HUD设备投射出的虚像面中直观的显示各种硬件参数变化和人眼姿态变化对AR成像效果的影响。
其中，AR功能模块105，可以包括相应的一系列模型和软件算法等等，可以用于生成与各类场景等相匹配的AR图像，每个AR图像中可以包括一个或多个AR图标，例如AR导航指引箭头、驾驶时速和汽车电量等等。
其中，渲染引擎模块106，可以用于将相应的一个或多个AR图标渲染至HUD投射出的虚像面中。
其中，HUD虚拟模块107，可以用于基于上述HUD参数模拟模块102中的相关参数对HUD进行仿真模拟，构建相应的HUD虚像面，等等。
其中，场景生成模块108，可以用于基于上述传感器数据模块103中的传感器数据直接构建大量场景，还可以用于基于上述数据融合模块104中对各类传感器数据进行融合后得到的数据构建大量场景，等等。进一步地，还可以通过上述HUD虚拟模块107在该大量场景中构建相应的HUD虚像面。
其中，显示模块109，可以用于在当前场景的HUD虚像面中显示基于当前场景、模型以及前述相应的硬件参数和人眼姿态生成的AR图像，以便测试人员可以直观的掌握当前情况下的AR成像效果，进一步根据该AR成像效果分析模型或算法可能存在的问题，以优化AR功能。以及还可以根据该AR成像效果分析各种硬件参数和人眼姿态变化对AR成像效果的影响，从而为后续的去畸变功能、防抖动功能的开发和测试提供有效支撑，不断提升用户的使用体验。
可以理解的是，图3c中的计算设备的功能框图只是本申请实施例中的一种示例性的实施方式，本申请实施例中的计算设备包括但不仅限于以上结构。
综上所述，计算设备100可以是具备上述功能的智能手机、智能可穿戴设备、平板电脑、笔记本电脑、台式电脑和车机,等等，本申请实施例对此不作具体限定。智能车辆200a、200b和200c可以是具备上述功能的家用小轿车、面包车、公交车、出租车、摩托车和游艇等等，本申请实施例对此不作具体限定。服务端300可以是具备上述功能的计算机和服务器等等，服务端300可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心，服务端300可以为计算设备100和智能车辆200a、200b和200c提供后台服务，例如为车联网服务平台，等等，本申请实施例对此不作具体限定。
为了便于理解本申请实施例，以下示例性列举本申请中的一种场景处理方法所适用的应用场景，可以包括如下场景。
场景一，基于车载传感器针对真实场景采集到的数据，构建场景，对HUD进行仿真测试。
请参阅图4，图4是本申请实施例提供的一种场景处理方法的应用场景示意图。如图4所示，该应用场景可以包括计算设备100以及行驶在实际道路(例如图4所示的现实世界中较为常见的多车道公路)中的智能车辆200(图4中以小轿车为例)。可选地，如图4所示，该应用场景中还可以包括多部其他车辆，例如车辆1(图4中以公交车为例)、车辆2(图4中以小轿车为例)和车辆3(图4中以小轿车为例)。其中，计算设备100与智能车辆200可以通过有线或者无线的方式建立通信连接，智能车辆200可以为上述智能车辆200a、200b和200c中的任意一个，内置传感器***，包括多个传感器(例如相机、激光雷达和毫米波雷达等等)。智能车辆200在该道路上行驶时可以通过车辆的多个传感器采集周围环境的数据，并将数据发送至计算机设备100。然后，如图4所示，计算设备100可以通过本申请实施例提供的一种场景处理方法，基于智能车辆200内的多个传感器采集到的数据，构建大量场景。显然，由于为实车驾驶到实际道路中进行数据采集，则该大量场景可以均为实景仿真场景。进一步地，计算设备100可以通过软件仿真的方式，基于预设的HUD硬件参数，构建虚拟HUD，从而在该多个实景仿真场景中生成对应的AR图像并进行融合，以高效、便捷地获得大量增强现实场景并进行显示，如此，无需用户驾驶实车去道路中，便能直观的体验到各类场景下HUD产品的AR功能，为用户提供了便利。并且，还可以基于该大量增强现实场景对HUD的AR功能等进行测试，如上所述，本申请实施例可以不依赖于HUD硬件设备，在各类不同的场景下对HUD的AR功能进行全面、高效地测试，以不断优化AR功能，保证用户的使用体验，并且大大降低了测试成本。
如上所述，计算设备100可以是具备上述功能的智能手机、智能可穿戴设备、平板电脑、笔记本电脑、台式电脑、车机等等，本申请实施例对此不作具体限定。智能车辆200可以是具备上述功能的家用小轿车、面包车、公交车、出租车、摩托车和游艇等等，本申请实施例对此不作具体限定。
场景二，基于虚拟传感器中设置的数据，构建场景，对HUD进行仿真测试。
请参阅图5，图5是本申请实施例提供的另一种场景处理方法的应用场景示意图。如图5所示，该应用场景可以包括计算设备100。如图5所示，计算设备100可以首先通过现有的仿真模拟***(或者说仿真软件)构建多个虚拟传感器(例如可以包括虚拟相机、虚拟激光雷达和虚拟毫米波雷达等等)，然后对每个虚拟传感器的数据进行设置，例如设置虚拟相机中的虚拟物体，比如虚拟车辆、虚拟道路等等。然后，计算设备100可以基于该多个虚拟传感器的数据，构建多个场景，显然，相应的，该多个场景可以均为虚拟仿真场景。如图5所示，该虚拟仿真场景可以类似于第一人称视角下的游戏场景，等等，本申请实施例对此不作具体限定。进一步地，计算设备100可以通过软件仿真的方式，基于预设的HUD硬件参数，构建虚拟HUD，从而在该多个实景仿真场景中生成对应的AR图像并进行融合，以高效、便捷地获得大量增强现实场景并进行显示等等，此处不再进行赘述。进一步地，相较于图4所示的需实车驾驶进行传感器数据采集的方案而言，图5所示的应用场景进一步节省了工作人员外出进行数据采集所需消耗的时间资源和人力物力等，进一步降低了AR功能展示以及AR功能测试的成本，提高了测试效率。
如上所述，计算设备100可以是具备上述功能的智能手机、智能可穿戴设备、平板电脑、笔记本电脑、台式电脑、车机等等，本申请实施例对此不作具体限定。
场景三，基于实时采集的数据，进行直播。
请一并参阅图4，在一些实时直播场景中，例如AR游戏直播或者相关产品的推广体验直播活动等场景，主播在驾驶车辆200行驶过程中，车载传感器采集到的数据(还可以包括直播设备(图中未示出)采集到的数据，例如主播的手机终端采集到的周围环境的视频数据等)可以实时上传计算设备100。如此，计算设备100可以接收实时采集到的数据，并基于此，实时构建仿真场景，还原主播周围的环境，以及实时生成与其对应的AR图像并与其进行融合，以获得相应的增强现实场景，并将获得的增强现实场景发送给直播设备，以使得直播设备的显示屏显示该增强现实场景。然后，观众便可以利用手中的手机或者平板等通过网路直播间观看实时的增强现实场景(例如包括主播拍摄的旅游场景以及服务器融合的天气、景点标识和景点介绍等AR图标等)。其中，计算设备100可以具备上述功能的服务器，可以是一台服务器，也可以是由多台服务器构成的服务器集群，或者是一个云计算服务中心，等等，本申请实施例对此不作具体限定。
可以理解的是，上述应用场景只是本申请实施例中的几种示例性的实施方式，本申请实施例中的应用场景包括但不仅限于以上应用场景，其它场景及举例将不再一一列举和赘述。
请参阅图6a，图6a是本申请实施例提供的一种场景处理方法的流程示意图。该方法可应用于图3a和图3b所述的***架构以及上述图4和图5所述的应用场景中，其中的计算设备可以用于支持并执行图6a中所示的方法流程步骤S801-步骤S804。下面将结合附图6a从计算设备侧进行描述，该方法可以包括以下步骤S801-步骤S804。
步骤S801，获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型。
具体的，计算设备该第一车外场景可以为二维的场景图像，也可以为三维的场景模型，等等，本申请实施例对此不作具体限定。其中，该场景元素例如可以包括车道、车辆、植物、行人、动物和交通信号，等等，本申请实施例对此不作具体限定。
步骤S802，获取与所述第一车外场景对应的第一AR图像。
具体地，计算设备可以基于第一车外场景以及预设模型，对第一车外场景进行识别，获取与该第一车外场景对应的第一AR图像。
可选地，每个第一AR图像可以包括一个或多个AR图标(例如为注意前方车辆和人行道等的警示图标或者文字信息，又例如相关的景点介绍和天气信息等，以及还可以包括相关AR导航标识，比如直行箭头和左/右转弯箭头等等，本申请实施例对此不作具体限定)。可选地，每个第一车外场景和每个AR图标均可以有对应的一个或多个属性，该属性比如天气、季节、地理位置、道路状况、地形、交通信号等等。其中，该第一AR图像中包括的每个AR图标的属性可以为与该第一车外场景属性相同(或者说相匹配)。例如，该第一车外场景的属性包括学校、道路驾驶，则可以基于该第一车外场景以及预设模型，获取相对应的学校标识和减速慢行等AR图标。
步骤S803，融合所述第一车外场景和所述第一AR图像，以获得第二场景。
具体地，计算设备可以第一车外场景和其对应的第一AR图像进行融合，以获得对应的第二场景。其中，第一车外场景为第二场景中的现实信息，第一AR图像为第二场景中的虚拟信息。
步骤S804，使能显示屏显示所述第二场景。
具体地，该显示屏可以为该计算设备的显示屏，则计算设备在获得该第二场景后可以通过其显示器进行显示。可选地，该显示屏还可以是其他设备的显示屏，则计算设备在获得该第二场景后，可以将该第二场景发送至其他设备，以使得该其他设备通过其显示屏显示该第二场景，等等，本申请实施例对此不作具体限定。可选地，还可以参考上述图3b和场景三对应实施例的描述，此处不再赘述。
如此，本申请实施例可以基于软件的方法，通过现有的计算设备(比如笔记本电脑和台式电脑等)构建大量二维、或三维的仿真场景；然后，基于上述仿真场景以及开发的模型，生成与上述仿真场景对应的AR图像，并将上述仿真场景与对应的AR图像进行融合，从而快速、高效得到大量包括现实信息和虚拟信息的增强现实场景。
进一步地，需要说明的是，为了验证AR-HUD中涉及的AR地图、AR导航和兴趣点(point of interest，POI)等一系列软件算法功能在真实路况下的效果，保证用户在各类场景下行驶时均可以获得正确的AR导航或者AR预警等信息，往往需要对上述预设模型以及一系列软件算法等进行多次测试以及优化。而现有技术中通常需要将装有AR-HUD设备的汽车驾驶到现实世界中进行多路况、多天气、多地区以及多场景的重复功能测试，也即进行实车测试。而在实车测试过程中，若发现AR功能失效，例如对于需要直行的道路，出现了右转弯或者掉头等错误的AR导航指引箭头，导致出现该问题的原因究竟是汽车内各个传感器的数据不同步、AR事件响应逻辑错误、还是硬件设备故障等，后续都需要在测试结束后对出现的问题进行线下的分析测定，过程复杂繁琐，且实车测试需要耗费大量的时间、人力和物力，成本较高。另外，在对AR功能改进之后，还需要对AR功能再次进行充分测试已验证前述问题得以解决，但是，由于实际的道路状况、天气等等始终在变化，因此若想要复现之前的失效场景，以对AR功能再次进行测试则十分困难，如此极大程度上降低了测试结果的可靠性以及测试效率。相较于现有技术，本申请实施例可以不依赖于现实场景以及HUD硬件设备，不仅可以快速、高效地展示各类增强现实场景，后续还可以基于本申请实施例仿真得到的各类增强现实场景下直观的AR效果，不断优化和改进HUD的AR功能，保证用户的使用体验。
可以理解的是，不同的方法或者步骤可以由不同的执行主体来执行，下面，以计算设备100为例对本申请实施例提供的另一种场景处理方法展开介绍。请参阅图6b，图6b是本申请实施例提供的另一种场景处理方法的流程示意图。该方法可应用于图3a和图3b所述的***架构以及上述图4和图5所述的应用场景中，其中的计算设备可以用于支持并执行图6b中所示的方法流程步骤S901-步骤S903。下面将结合附图6b从计算设备侧进行描述，该方法可以包括以下步骤S901-步骤S903。
步骤S901，获取目标场景集合，所述目标场景集合包括X个第一车外场景；每个第一车外场景包括一个或多个场景元素。
具体地，计算设备获取目标场景集合，该目标场景集合中可以包括X个第一车外场景，每一个第一车外场景中可以包括一个或多个场景元素。可选地，步骤S901可参考上述图6a对应实施例中的步骤S801，此处不再进行赘述。其中，X为大于或者等于1的整数。
可选地，计算设备可以获取N个第一传感器采集的数据，该N个第一传感器可以为设置在目标车辆(例如为上述智能车辆200a、200b和200c中的任意一个)上的车载传感器(例如为相机、激光雷达和毫米波雷达等)。该N个第一传感器采集的数据可以为在该目标车辆行驶过程中针对该目标车辆的周围环境采集的数据。其中，N为大于或者等于1的整数。然后，计算设备可以基于该N个第一传感器采集的数据，并通过现有的渲染引擎(例如开放式图形库(Open Graphics Library，openGL)、unreal(虚幻引擎)和unity(一种渲染引擎)等)构建对应的K个第一车外场景。可以理解的是，该K个第一车外场景可以为实景仿真场景。其中，K为大于或者等于1，且小于或者等于X的整数。
可选地，计算设备还可以获取M个第二传感器采集的数据，该M个第二传感器可以为通过预设的仿真模拟***构建的虚拟传感器。该M个第二传感器采集的数据可以为通过上述预设的仿真模拟***设置的数据。其中，M为大于或者等于1的整数。然后，相应的，计算设备可以基于该M个第二传感采集的数据，并通过现有的渲染引擎构建对应的P个第一车外场景。可以理解的是，相应的，该P个第一车外场景可以为虚拟仿真场景(类似于虚拟驾驶游戏场景)。P为大于或者等于1，且小于或者等于X的整数。
可选地，请参阅图7，图7是本申请实施例提供的另一种场景处理方法的流程示意图。步骤S801可以参考图7所示的方法流程。如图7中的步骤S11所示，首先，计算设备可以利用现有的仿真模拟***初始化基本场景设置，例如可以包括交通、地图、天气、车辆和多种传感器等基本单元信息。然后，测试人员可以根据实际的测试条件和测试需求，选择通过实车驾驶采集到的传感器数据生成相应的实景仿真场景(例如上述的K个第一车外场景)，或者，可以选择通过设置虚拟传感器中的数据生成相应的虚拟仿真场景(例如上述的P个第一车外场景)。
例如，如图7中的步骤S12a和步骤S13a所示，如果选择不通过实车数据，则渲染引擎将通过类似于虚拟驾驶游戏场景的构建的方式，通过虚拟传感器的数据输入完成各个基本单元信息的实例化操作，也即整个场景将通过模拟仿真的方式生成。可选地，请参阅图8，图8是本申请实施例提供的一种场景的示意图。如图8所示，该第一车外场景为虚拟仿真场景(图8中以二维的场景图像为例)，其中可以包括车辆、交通信号灯(也即红绿灯)、人行道、多个植物和直行道等等场景元素，此处不再进行赘述。可选地，该第一车外场景中还可以包括驾驶员第一人称视角下的方向盘、汽车挡风玻璃和汽车引擎盖等等元素(图8中未示出)，本申请实施例对此不作具体限定。可选地，在一些可能的实施例中，也可以基于虚拟传感器的数据输入，并通过现有的渲染引擎构建得到三维立体的场景模型，继而后续可以在该三维立体的场景模型中进行HUD的AR功能仿真测试，以提高测试的可观性和精确性，等等，本申请实施例对此不作具体限定。
例如，如图7中的步骤S12a和步骤S13a所示，如果选择通过实车数据，则计算设备可以通过渲染引擎读取相应传感器中的图像和点云等数据，利用SFM/同步定位与地图构建(Simultaneous LocalizationAnd Mapping，SLAM)算法的方式进行离线/在线的三维稀疏/稠密场景重构，同时用激光雷达、GPS/IMU等传感器的数据实例化基本单元，整个场景将通过实景合成方式生成，生成的场景可以通过object(对象文件)、mesh(网格)等存储形式导入至渲染引擎中。可选地，相应的，通过真实传感器采集到的数据生成的场景可以为上述场景，也可以为三维立体的场景模型，等等，此处不再进行赘述。
可选地，请参阅图9，图9是本申请实施例提供的一种相机坐标系和世界坐标系的示意图。如图9所示，场景中物体的空间三维(3 dimensions，3D)坐标{x，y，z}与真实相机传感器拍摄到的图像2D坐标{u，v}之间应满足关系：
Figure BDA0003052946560000211
其中，fx和fy为焦距，cx和cy为Oo距离中心Oc的偏移量，K为相机内参。如此，建立了物体真实3D位置到以相机光心为中心的2D坐标的关系，真实地通过相机的内外参将相机拍摄数据和物体的实际坐标对应，随即构建了单帧场景。例如，请参阅图10，图10是本申请实施例提供的一种场景重构的示意图。如图10所示，通过单张相机图像或者单个场景的点云数据可以进行局部场景重构，得到单帧场景。此外，请一并参阅图10，通过多帧图像的重建技术，可以将传感器采集到的多模态数据(例如多张不同角度、不同场景的相机图像和多个激光雷达针对不同场景采集到的点云数据等)进行融合，进而重建出整个全局场景，等等，后续也可以在该全局场景对HUD的AR功能进行测试，本申请实施例对此不作具体限定。如此，通过上述步骤可以基于软件的方法生成大量各种各样的虚拟仿真场景和实景仿真场景，从而为HUD的AR成像效果测试提供了基础环境支持。
步骤S902，在所述X个第一车外场景中融合与所述X个第一车外场景对应的X个第一AR图像，生成对应的X个第二场景；每个第一AR图像包括一个或多个AR图标。
具体地，步骤S902可以参考上述图6a对应实施例中的步骤S802和步骤S803，此处不再进行赘述。
可选地，该预设模型可以为神经网络模型，该神经网络模型可以是根据由多个场景、多个AR图标以及多个场景和多个AR图标的不同匹配度训练得到的。对于该神经网络模型可以由一下示例性训练方法获得：以多个场景作为训练样本，在该多个场景中叠加与其匹配的一个或多个AR图标，得到对应的多个增强现实场景，以该多个增强现实场景为目标，通过深度学习算法来训练，以获得与目标接近的结果，并获得相应的神经网络模型。其中，上述训练样本中的场景可以是利用摄像头拍摄得到的图片，也可以是由激光雷达扫描得到的点云图像等，本申请实施例对此不作具体限定。
可选地，请参考图7所示的步骤S14，在场景构建完成后，首先，计算设备可以基于预设的HUD参数集合，对HUD进行仿真模拟，在该X个第一车外场景中构建对应的X个HUD虚像面，其中HUD虚像面的构建也可以使用上述现有的渲染引擎技术来实现。其中，该HUD参数集合可以包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸等等中的至少一种参数。例如，请参阅图11，图11是本申请实施例提供的一种HUD虚像面的示意图。图11中以第一车外场景为虚拟仿真场景为例，该HUD虚像面可以为该第一车外场景中对应的一个区域，图11可以为驾驶员视角下的HUD仿真模拟效果，也即相当于在“驾驶员”的视野前方构建了一个尺寸大小和真实HUD硬件参数相匹配的“屏幕”，后续AR功能效果(也即AR图像)可以渲染绘制于该“屏幕”上，其中，渲染可以采用不限于离屏渲染的方式来实现。
需要说明的是，在理想状态下，即不考虑HUD畸变、人眼视线抖动，以及车辆颠簸造成的HUD空间位置发生变化的情况下，当前述的第一车外场景开始渲染时，驾驶员的人眼位置应在HUD标定好的眼盒位置当中，即人眼位置在已知的最佳观测位置，驾驶员在该位置观察虚像面上的物体(也即AR图像)是最清晰、最好的。如此，在前述第一车外场景构建完成后，可以在第一车外场景中构建一个距离为l、高度为h、宽度为w、透射率为alpha(阿尔法)的HUD虚像面，该HUD虚像面可以完全承担HUD的仿真模拟功能。除此之外，还可以在眼盒位置，利用相机模型来模拟真实人眼观测，前述的第一车外场景以及虚拟HUD的AR成像效果(例如第一AR图像)均可以在观测位置成像。
可选地，在HUD虚像面构建完成后，可以根据HUD虚像面尺寸，裁切相应的图像帧用于内存缓冲中，并将基于预设模型生成的与第一车外场景对应的第一AR图像渲染至该HUD虚像面中，从而生成对应的第二场景，如此，即可观察得到理想状态下HUD的AR成像效果。可选地，在将第一AR图像渲染至该HUD虚像面之前，还可以先对该第一AR图像进行一定的预处理，例如裁剪、缩放、旋转等处理，以使得该第一AR图像与该第一车外场景以及该HUD虚像面相适配。
例如，请参阅图12a，图12a是本申请实施例提供的一种AR成像效果的示意图。如图12a所示，该第二场景可以继承第一车外场景中的多个场景元素，此外，该第二场景包括HUD虚像面，以及显示于该HUD虚像面上的多个AR图标(例如可以包括如图12a所示的当前时速信息和当前电量信息，车辆、人行道和交通信号灯的警示信息，以及直行的AR导航指引箭头，等等)。
例如，请参阅图12b，图12b是本申请实施例提供的另一种AR成像效果的示意图。如图12b所示，显然，该第二场景为实景的场景，包括车道、车辆和植物等场景元素，还包括构建的HUD虚像面以及该HUD虚像面中的多个AR图标(图12b中以车辆的目标框为例，可以用于提示驾驶员注意车道旁的车辆，从而保证驾驶安全，等等)。
例如，请参阅图12c，图12c是本申请实施例提供的又一种AR成像效果的示意图。如图12b所示，显然，该第二场景可以为基于点云数据构建得到的场景，其中也可以包括多个场景元素、HUD虚像面以及AR图标等等。
可选地，步骤S902中涉及的具体计算公式可以如下：
其中，物体的空间位置在相机模型(也即人眼)中的投影v’可利用下述投影变换关系进行计算：
v'＝Mproj·Mview·Mmodel·v
其中，
投影(projection)矩阵为：
Figure BDA0003052946560000231
其中，near为***面，far为远平面，top为顶端。
视角(view)矩阵为：
Figure BDA0003052946560000232
模型(model)矩阵为：Mmodel＝identity4
相机视场角(field of view，Fov)为：
Figure BDA0003052946560000233
其中，Lh为相机成像***面高度，fy为相机焦距。
综上，经过上述投影模型以及下述的标准化设备坐标(Normalized DeviceCoordinates，NDC)转换关系，再通过采用帧缓冲技术，即可以将待渲染的AR图标绘制于准确的计算设备屏幕坐标上。
Figure BDA0003052946560000234
可选地，请参阅图13，图13是本申请实施例提供的一种外部视角下的HUD模拟仿真效果示意图。如上所述，通过上述步骤，在不考虑任何HUD畸变、人眼位置变化和车辆抖动因素的影响下，可以完全模拟如图13所示的实际行车过程中的HUD成像过程。可选地，如图13所示，其中，上述相机视场角可分为垂直视场角和水平视场角，垂直视场角即为HUD虚像面顶部和底部所呈的角度，水平视场角即为HUD虚像面左边缘和右边缘所呈的角度，此处不再详述。
步骤S903，基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标，对AR效果进行分析。
具体地，计算设备在生成第二场景后，可以基于该每个第二场景中的一个或多个场景元素以及一个或多个AR图标之间的位置关系和/或逻辑关系，对当前的AR效果进行分析，进一步地，可以对该预设模型以及一系列软件算法等进行相应的修正，以不断优化HUD的AR功能，保证用户的使用体验。可选地，在优化AR功能后，还可以基于与之前测试用的相同的第一车外场景再次进行重复测试，并对比前后的AR成像效果，已验证其是否得到有效的改进，等等，从而保证测试的严谨性和测试结果的可靠性。
请参阅图14，图14是本申请实施例提供的又一种AR成像效果的示意图。相较于图12a所示的AR导航指引箭头，图14所示的AR导航指引箭头的位置明显与场景元素(直行道)的位置之间存在偏差，其与路面不贴合。如此，测试人员可以直观的根据当前仿真得到的AR成像效果，快速定位当前算法可能存在的问题与不足，从而更准确、高效、有针对性地对算法进行改进。
应理解，HUD的成像效果受多种因素影响，一般来说，在将HUD设备装载于汽车时，往往需要对HUD的失真畸变、虚像距离和眼盒位置等参数进行标定。在获得了准确的标定参数后，当驾驶员在驾驶舱内观察且驾驶员人眼位置位于眼盒范围内时，便可以观测到清晰的HUD虚像投影，从而获得极佳的AR视觉效果。然而，在HUD实车装配过程中，往往由于装配精度问题造成HUD的安装位置存在偏差，进而导致HUD的虚像距离(virtual imagedistance，VID)发生变化，造成HUD投射的AR图像(例如AR导航指引箭头等)产生畸变。另外，挡风玻璃的不同类型(例如不同的挡风玻璃曲率)也会带来非线性参数畸变，使得HUD投射的AR图像失真畸变，从而大大影响用户的视觉感受和使用体验。为此，市场上大多数投入生产制造的HUD往往会添加相应的去畸变功能，以应对上述可能存在的图像畸变情况，保证用户体验。然而，目前在去畸变功能的开发和测试过程中，大多采取实车测试的方法，也即需要在实车标定安装HUD后，才能够对由于不同安装位置以及风道玻璃曲率等因素造成的AR图像畸变以及AR渲染精度下降的具体影响进行直观地评测，以对HUD的去畸变功能进行不断的改进，保证用户的使用体验，其过程复杂、耗时长、效率低以及成本高。
基于此，进一步地，本申请实施例还可以基于上述软件仿真的方法，通过对HUD参数化的扩展支持，可以在场景中直接对渲染缓冲的内存值进行畸变变换(也即对待渲染的AR图像进行畸变处理)，实时渲染以直观的模拟由于参数变化对AR成像效果带来的影响。从而对HUD安装位置存在偏差以及挡风玻璃曲率不标准等畸变因素造成的AR渲染精度下降等具体影响进行直观地评测。
可选地，可以通过计算设备对Q个第一车外场景对应的Q个第一AR图像进行畸变处理，获取对应的Q个第二AR图像；融合该Q个第一车外场景和该Q个第一AR图像，以获得对应的Q个第三场景，并使能显示屏显示该Q个第三场景。相应的，每个第二AR图像也可以包括一个或多个AR图标。其中，该畸变处理可以包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种，Q为大于或者等于1，且小于或者等于X的整数。
请参阅图15，图15是本申请实施例提供的一种畸变类型与AR成像效果的示意图。各种类型的畸变处理以及得到的AR成像效果如图15所示，显然，在经过一定程度的径向畸变、切向畸变、虚像距增大、虚像距减小以及多次多项式(混合多种畸变类型)等畸变处理后，得到AR图像相较于原始的AR图像存在较为明显的畸变，严重影响用户的视觉感受和使用体验，大大降低驾驶的舒适性。其中，如图15所示，在虚像距变化的过程中，其显示的AR图像会产生一定程度的失焦模糊。需要说明的是，图15中的数学模型仅作为示例性说明，本申请实施例对此不作具体限定。请参阅图16，图16是本申请实施例提供的一种AR成像效果的对比示意图。如图16所示，经多次多项式畸变后的AR成像效果明显降低。可选地，可以根据畸变函数或畸变表的像素位置对应关系，叠加在将要输出至渲染管线的帧缓冲中，根据畸变的复杂度可以进行多次叠加，经过畸变处理后的AR成像效果可以直观地显示于虚拟化的HUD虚像面中。如此，由于这种直观性，本申请实施例进一步地相当于提供了一个平台供开发人员对畸变函数进行分析，以对HUD的去畸变功能进行研究开发，不断提升HUD的性能，保证用户的使用体验。
可选地，若在对该HUD的去畸变功能进行研究开发的过程中，需要对其中的去畸变算法进行测试时，则进一步还可以基于该去畸变算法，对该Q个第二AR图像进行去畸变处理，获取对应的Q个第三AR图像；融合该Q个第一车外场景和该Q个第三AR图像，以获得对应的Q个第四场景，并使能显示屏显示该Q个第四场景。然后，基于该Q个第三场景和该Q个第四场景，对比去畸变处理前后的AR成像效果，对该去畸变算法的去畸变效果进行分析，进一步可以对该去畸变算法进行相应的修正，从而不断改进HUD的去畸变功能，等等，此处不再进行赘述。如此，在研究去畸变模型(或者说去畸变算法)的过程中，任何关于去畸变模型的参数变化，都可以以所见即所得的方式获得相应的效果，极大程度上提升了去畸变功能开发和测试的效率。
除此之外，驾驶过程中的抖动也会带来AR精度的退化。其中，抖动因素一般可以包括驾驶员人眼位置的抖动变化以及车辆行驶过程中造成的HUD抖动等，人眼位置的抖动和HUD的抖动均可以导致HUD投射的虚像(例如AR导航指引箭头等AR图标)和实物(也即真实世界中的物体，例如路面、行人和车辆等)存在一定的对齐失真。并且，不同驾驶员的身高不同，也容易导致个别驾驶员的观测位置与眼盒位置产生偏离，使其观测到的AR图标与真实世界的物体无法贴合，造成视觉上的失真，影响AR体验。相应的，为了缓解行驶过程中不可避免的抖动情况所带来的AR精度退化，HUD防抖动功能的开发就显得尤为重要。然而，在实车测试过程中，由于实际驾驶通常会伴随有多种抖动噪声(例如同时存在人眼位置抖动和HUD抖动)对AR的成像效果存在影响，因此很难抽离单个因素对其进行测试建模分析，也就难以高效、准确的对防抖动功能进行开发测试以及优化。
进一步地，本申请实施例还可以基于上述软件仿真的方法，模拟在实际行车过程中驾驶员的视线漂移和路面颠簸等对AR成像效果(或者说AR成像精度)带来的影响。具体可以在构建仿真场景中引入旋转位移量T[R|t]和抖动量(jitter，J)等，从而针对A成像效果的变化进行分析，为AR引擎防抖算法的开发提供有效的测试依据。请参阅图17，图17是本申请实施例提供的一种人眼视线坐标系和HUD虚像面坐标系的示意图。其中，人眼视线坐标系和HUD虚像面坐标系均可以基于固定的车身坐标系建立，可选地，也可以将人眼视线坐标系作为车身坐标系，或者，将HUD虚像面坐标系作为车身坐标系，等等，本申请实施例对此不作具体限定。请参阅图18，图18是本申请实施例提供的一种抖动情况对AR成像效果影响的示意图。如图18所示，当人眼位置存在位移量以及HUD虚像面位置存在抖动量的情况下，观测得到的AR图像与场景之间会存在一定程度的对齐失真，也即AR图标与相应的场景元素之间位置存在偏差，无法贴合，从而严重影响用户的视觉感受和使用体验。
可选地，还可以通过计算设备对S个第一车外场景对应的S个第一AR图像进行抖动处理，获取对应的S个第二AR图像；融合该S个第一车外场景和该S个第一AR图像，以获得对应的S个第三场景，并使能显示屏显示该S个第三场景。其中，该抖动处理可以包括叠加预设的旋转位移量和/或抖动量，S为大于或者等于1，且小于或者等于X的整数。
可选地，请一并参考上述图17和图18，一般情况下，人眼姿态通常可以抽象为一个六维的向量，在车身坐标系固定后，人眼相对于坐标系原点的向量可以表示为[tx，ty，tz|θx，θy，θz]，其中，[tx，ty，tz]可以表示人眼相对于车身坐标系原点的位置偏移量，[θx，θy，θz]可以表示人眼视线相对于坐标系轴的偏转角[yaw(偏航角)，pitch(俯仰角)，yoll(滚动角)]。
可选地，可以通过下述转移矩阵的方式来表示上述各量：
旋转矩阵：
Figure BDA0003052946560000261
由此，得到转移矩阵：
Figure BDA0003052946560000262
该转移矩阵可以对应于上述场景构建过程中的视角矩阵中的各个量，经过一系列的换算即可计算得到人眼视线在不同情况下的视角矩阵，进而得到虚拟HUD的正确观测视角。可以理解的是，针对HUD的抖动量，由于在行车过程中通常只存在上下的抖动，在分析过程中可以理想化该变量，将六自由度的变化抽象为上下的抖动量，并将该抖动量作为反馈量加入到上述转移矩阵中，最终体现至视角矩阵中，渲染引擎可以根据视角矩阵的变化，调整相应的观测效果，也即得到不同的AR成像效果，从而可以直观地针对AR成像效果的变化进行分析，支撑后续对HUD的去畸变功能进行研究开发，以不断提升HUD的性能，保证用户的使用体验。
可选地，若在对该HUD的防抖动功能进行研究开发的过程中，需要对其中的防抖动算法进行测试时，则进一步还可以基于该防抖动算法，对上述S个第二AR图像进行防抖动处理，获取对应的S个第三AR图像；融合该S个第一车外场景和该S个第三AR图像，以获得对应的S个第四场景，并使能显示屏显示该S个第四场景。然后，基于该S个第三场景和该S个第四场景，对比防抖动处理前后的AR成像效果，对该防抖动算法的防抖动效果进行分析，进一步可以对该防抖动算法进行相应的修正，从而不断改进HUD的防抖动功能。
可选地，可以理解的是，由于在实际使用过程中，畸变和抖动往往会同时存在，因此本申请实施例还可以对第一AR图像同时进行畸变处理以及抖动处理，以直观地得到在畸变和抖动同时影响下的AR成像效果，相应的，还可以对第二AR图像同时进行去畸变处理以及放抖动处理，以分析在畸变和抖动同时影响下的去畸变效果以及防抖动效果，等等，本申请实施例对此不作具体限定。
综上，通过本申请实施例提供的一种场景处理方法，首先，可以利用现有渲染引擎构建仿真场景或通过提前采集的真实道路数据构建实景仿真场景，并构建虚拟HUD的屏幕(也即HUD虚像面)于场景内，在HUD虚像面中绘制AR图标，从而可以直观地验证AR功能的正确性，为驾驶安全和舒适提供先验保障。由于场景可以任意合成、循环复用，使得测试覆盖率大大增加，一定程度上解决了现有技术中的AR功能体验和测试的场景难还原和不可重复性的问题。如此，本申请实施例可以支持多路况、多天气、多地区、多场景的可重复性，摆脱了硬件设备的制约，简化了AR功能的体验和测试流程，有助于模型、算法开发的快速迭代。其次，现有技术中，针对HUD的AR效果测试主要还是采用线下标定测量，通过驾驶实车对算法功能进行测试并改进，极大程度上依赖于离线数据的测试收集，因此无法还原AR功能失败(例如未显示正确的AR图标或者整个AR图像失真畸变)的场景。此外，在HUD标定安装后，参数已经基本确定，如遇安装偏差、挡风玻璃制造缺陷等问题，对于HUD成像效果的影响不可避免，从而容易导致测试精度低、效率低且投入成本高。而本申请实施例可以通过对畸变因素、多模态抖动因素的参数化模拟，使得这些外部因素对AR成像的影响可以直接反映在HUD虚像面中，可以直观地观察测定各类因素对HUD的AR成像效果的影响，有助于HUD的AR成像效果的稳定性分析。如此，本申请实施例提供的一种场景处理方法可以极大程度上提高测试效率，具有覆盖性广、重用性高、成本低的优点，并且能够支持增量场景、参数引入的扩展要求。
此外，需要说明的是，虚拟化仿真技术可以适用于很多方面，其核心思想是可以在虚拟的三维环境中构建关于真实世界的一切，因此，在一些可能的实施例中，除了虚拟AR-HUD硬件设备，仿真在驾驶过程中触发的AR功能事件在HUD设备上的显示效果外，还可以基于不同的需求仿真各类场景以及其他设备，从而实现高效、低成本地对其他设备进行测试分析，等等。
请参阅图19，图19是本申请实施例提供的一种场景处理装置的结构示意图，该场景处理装置30可以应用于上述计算设备。该场景处理装置30可以包括第一获取单元301、第二获取单元302、融合单元303和第一显示单元304，其中，各个单元的详细描述如下：
第一获取单元301，用于获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；
第二获取单元302，用于获取与所述第一车外场景对应的第一AR图像；
融合单元303，用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
第一显示单元304，用于使能显示屏显示所述第二场景。
在一种可能的实现方式中，所述第二获取单元302，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。
在一种可能的实现方式中，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
在一种可能的实现方式中，所述融合单元303，具体用于：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的HUD虚像面；所述HUD虚像面为所述第一车外场景中对应的一个区域；
将所述第一AR图像渲染至所述HUD虚像面中，以获得第二场景。
在一种可能的实现方式中，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
在一种可能的实现方式中，所述第一获取单元301，具体用于：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。
在一种可能的实现方式中，所述第一获取单元301，具体用于：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟***构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟***设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。
在一种可能的实现方式中，所述装置30还包括：
第一预处理单元305，用于对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
第二融合单元306，用于融合所述第一车外场景和所述第二AR图像，以获得第三场景；
第二显示单元307，用于使能所述显示屏显示所述第三场景。
在一种可能的实现方式中，所述装置30还包括：
第二预处理单元308，用于对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
第三融合单元309，用于融合所述第一车外场景和所述第三AR图像，以获得第四场景；
第三显示单元310，用于使能所述显示屏显示所述第四场景。
在一种可能的实现方式中，所述装置30还包括：
优化单元311，用于基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
在一种可能的实现方式中，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述装置30还包括：
修正单元312，用于基于所述每个第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
其中，第一获取单元301用于执行上述图6a对应方法实施例中的步骤S801；第二获取单元302用于执行上述图6a对应方法实施例中的步骤S802；融合单元303用于执行上述图6a对应方法实施例中的步骤S8/3；第一显示单元304用于执行上述图6a对应方法实施例中的步骤S804；第一预处理单元305、第二融合单元306、第二显示单元307、第二预处理单元308、第三融合单元309、第三显示单元310、优化单元311和修正单元312用于执行上述图6a对应方法实施例中的步骤S804；
需要说明的是，本申请实施例中所描述的场景处理装置中各功能单元的功能具体可以参考上述图6a中所述的方法实施例中步骤S801-步骤S804的相关描述，还可以参考上述图6b中所述的方法实施例中步骤S901-步骤S903的相关描述，还可以参考上述图7中所述的方法实施例中步骤S11-步骤S15的相关描述，此处不再进行赘述。
图19中每个单元可以以软件、硬件、或其结合实现。以硬件实现的单元可以包括路及电炉、算法电路或模拟电路等。以软件实现的单元可以包括程序指令，被视为是一种软件产品，被存储于存储器中，并可以被处理器运行以实现相关功能，具体参见之前的介绍。
基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算设备。请参阅图20，图20是本申请实施例提供的一种计算设备的结构示意图。可选地，该计算设备1000可以为上述图3a、图3b和图3c中的计算设备100，其中，该计算设备1000至少包括处理器1001，输入设备1002、输出设备1003、计算机可读存储介质1004、数据库1005和存储器1006，该计算设备1000还可以包括其他通用部件，在此不再详述。其中，计算设备1000内的处理器1001，输入设备1002、输出设备1003和计算机可读存储介质1004可通过总线或其他方式连接。
处理器1001可以用于实现场景处理装置30中的第一获取单元301、第二获取单元302、融合单元303、第一显示单元304、第一预处理单元305、第二融合单元306、第二显示单元307、第二预处理单元308、第三融合单元309、第三显示单元310、优化单元311和修正单元312，其中，实现过程的技术细节，具体可参考上述图6a中所述的方法实施例中步骤S801-步骤S803的相关描述，还可以参考上述图6b中所述的方法实施例中步骤S901-步骤S903的相关描述，还可以参考上述图7中所述的方法实施例中步骤S11-步骤S15的相关描述，此处不再进行赘述。其中，处理器1001可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
该计算设备1000内的存储器1006可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random accessmemory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1006可以是独立存在，通过总线与处理器1001相连接。存储器1006也可以和处理器1001集成在一起。
计算机可读存储介质1004可以存储在计算设备1000的存储器1006中，所述计算机可读存储介质1004用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1001用于执行所述计算机可读存储介质1004存储的程序指令。处理器1001(或称CPU(CentralProcessing Unit，中央处理器))是计算设备1000的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；在一个实施例中，本申请实施例所述的处理器1001可以用于进行获取第一车外场景；其中，所述第一车外场景为二维的场景图像或者三维的场景模型；获取与所述第一车外场景对应的第一AR图像；融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；使能显示屏显示所述第二场景，等等。
本申请实施例还提供了一种计算机可读存储介质(Memory)，所述计算机可读存储介质是计算设备1000中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括计算设备1000中的内置存储介质，当然也可以包括计算设备1000所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了计算设备1000的操作***。并且，在该存储空间中还存放了适于被处理器1001加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选地还可以是至少一个位于远离前述处理器的计算机可读存储介质。
本申请实施例还提供一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行任意一种场景处理方法的部分或全部步骤。
需要说明的是，本申请实施例中所描述的计算设备1000中各功能单元的功能可参见上述图6a中所述的方法实施例中的步骤S801-步骤S804的相关描述，还可以参考上述图6b中所述的方法实施例中步骤S901-步骤S903的相关描述，还可以参见上述图7中所述的方法实施例中步骤S11-步骤S15的相关描述，此处不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以为个人计算机、服务端或者网络设备等，具体可以是计算机设备中的处理器)执行本申请各个实施例上述方法的全部或部分步骤。其中，而前述的存储介质可包括：U盘、移动硬盘、磁碟、光盘、只读存储器(Read-OnlyMemory，缩写：ROM)或者随机存取存储器(RandomAccessMemory，缩写：RAM)等各种可以存储程序代码的介质。
此外，本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
需要说明的是，在本说明书中使用的术语“部件”、“模块”、“***”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在终端设备上运行的应用和终端设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地***、分布式***和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它***交互的互联网)的信号通过本地和/或远程进程来通信。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (25)

1.一种场景处理方法，其特征在于，包括：
获取第一车外场景；其中，所述第一车外场景为仿真场景；
获取与所述第一车外场景对应的第一增强现实AR图像；
融合所述第一车外场景和所述第一AR图像，以在抬头显示器HUD虚像面中获得第二场景；其中，所述HUD虚像面为所述第一车外场景中对应的一个区域；所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
使能显示屏显示所述第二场景。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述第一车外场景对应的第一AR图像，包括：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。
3.根据权利要求2所述的方法，其特征在于，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
4.根据权利要求2所述的方法，其特征在于，所述融合所述第一车外场景和所述第一AR图像，以在抬头显示器HUD虚像面中获得第二场景，包括：
基于预设的HUD参数集合，在所述第一车外场景中确定对应的所述HUD虚像面；
将所述第一AR图像渲染至所述HUD虚像面中，以获得所述第二场景。
5.根据权利要求4所述的方法，其特征在于，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
6.根据权利要求2-5任意一项所述的方法，其特征在于，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述方法还包括：
基于所述第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
7.根据权利要求1所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。
8.根据权利要求1所述的方法，其特征在于，所述获取第一车外场景，包括：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟***构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟***设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感器采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
融合所述第一车外场景和所述第二AR图像，以获得第三场景；
使能所述显示屏显示所述第三场景。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
融合所述第一车外场景和所述第三AR图像，以获得第四场景；
使能所述显示屏显示所述第四场景。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
12.一种场景处理装置，其特征在于，包括：
第一获取单元，用于获取第一车外场景；其中，所述第一车外场景为仿真场景；
第二获取单元，用于获取与所述第一车外场景对应的第一AR图像；
融合单元，用于融合所述第一车外场景和所述第一AR图像，以在抬头显示器HUD虚像面中获得第二场景；其中，所述HUD虚像面为所述第一车外场景中对应的一个区域；所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
第一显示单元，用于使能显示屏显示所述第二场景。
13.根据权利要求12所述的装置，其特征在于，所述第二获取单元，具体用于：
根据所述第一车外场景与预设模型，获取与所述第一车外场景对应的所述第一AR图像；其中，所述第一AR图像包括一个或多个AR图标。
14.根据权利要求13所述的装置，其特征在于，所述预设模型为神经网络模型，所述神经网络模型是根据由多个场景、多个AR图标以及所述多个场景和所述多个AR图标的不同匹配度训练得到的。
15.根据权利要求13所述的装置，其特征在于，所述融合单元，具体用于：
基于预设的抬头显示器HUD参数集合，在所述第一车外场景中确定对应的所述HUD虚像面；
将所述第一AR图像渲染至所述HUD虚像面中，以获得所述第二场景。
16.根据权利要求15所述的装置，其特征在于，所述HUD参数集合包括挡风玻璃曲率、眼盒位置、人眼观测位置、HUD安装位置和HUD虚像面尺寸中的至少一种参数。
17.根据权利要求13-16任意一项所述的装置，其特征在于，所述第一车外场景包括一个或多个场景元素；所述一个或多个场景元素包括天气、道路、行人、车辆、植物和交通信号中的一个或多个；所述一个或多个AR图标包括左转、右转和直行导航标识中的一个或多个；所述装置还包括：
修正单元，用于基于所述第二场景中的所述一个或多个场景元素以及所述一个或多个AR图标之间的位置关系和/或逻辑关系，对所述预设模型进行相应的修正。
18.根据权利要求12所述的装置，其特征在于，所述第一获取单元，具体用于：
获取第一传感器采集的数据；所述第一传感器为车载传感器；所述第一传感器采集的数据为在目标车辆行驶过程中针对所述目标车辆的周围环境采集的数据，包括图像数据、点云数据、温度数据和湿度数据中的至少一种；所述第一传感器包括摄像头、激光雷达、毫米波雷达、温度传感器和湿度传感器中的至少一种；
基于所述第一传感器采集的数据，构建所述第一车外场景，所述第一车外场景为实景仿真场景。
19.根据权利要求12所述的装置，其特征在于，所述第一获取单元，具体用于：
获取第二传感器采集的数据；所述第二传感器为通过预设的仿真模拟***构建的传感器；所述第二传感器采集的数据为通过所述预设的仿真模拟***设置的数据，包括天气、道路、行人、车辆、植物和交通信号中的至少一种数据；
基于所述第二传感器采集的数据，构建所述第一车外场景，所述第一车外场景为虚拟仿真场景。
20.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第一预处理单元，用于对所述第一AR图像进行第一预处理，获取与所述第一车外场景对应的第二AR图像；所述第一预处理包括畸变处理和抖动处理中的至少一种；所述畸变处理包括径向畸变、切向畸变、虚像距增大和虚像距减小中的至少一种；所述抖动处理包括叠加预设的旋转位移量和/或抖动量；
第二融合单元，用于融合所述第一车外场景和所述第二AR图像，以获得第三场景；
第二显示单元，用于使能所述显示屏显示所述第三场景。
21.根据权利要求20所述的装置，其特征在于，所述装置还包括：
第二预处理单元，用于对所述第二AR图像进行第二预处理，获取与所述第一车外场景对应的第三AR图像；所述第二预处理包括去畸变处理和防抖动处理中的至少一种；
第三融合单元，用于融合所述第一车外场景和所述第三AR图像，以获得第四场景；
第三显示单元，用于使能所述显示屏显示所述第四场景。
22.根据权利要求21所述的装置，其特征在于，所述装置还包括：
优化单元，用于基于所述第三场景和所述第四场景，获取所述去畸变处理和/或所述防抖动处理的处理效果，以优化相应的去畸变功能和/或防抖动功能。
23.一种场景处理***，其特征在于，包括：终端和服务器；
所述终端用于发送所述终端的传感器获取的传感信息；
所述服务器用于接收所述传感信息，并生成对应的第一车外场景；其中，所述第一车外场景为仿真场景；
所述服务器还用于获取与所述第一车外场景对应的第一AR图像；
所述服务器还用于融合所述第一车外场景和所述第一AR图像，以获得第二场景；其中，所述第一车外场景为所述第二场景中的现实信息，所述第一AR图像为所述第二场景中的虚拟信息；
所述服务器还用于发送所述第二场景；
所述终端还用于接收所述第二场景，并显示所述第二场景。
24.一种计算设备，其特征在于，包括处理器和存储器，所述处理器和存储器相连，其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至11任意一项所述的方法。
25.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述权利要求1至11任意一项所述的方法。
CN202180001054.8A 2021-03-31 2021-03-31 一种场景处理方法、装置、***及相关设备 Active CN113260430B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/084488 WO2022205102A1 (zh) 2021-03-31 2021-03-31 一种场景处理方法、装置、***及相关设备

Publications (2)

Publication Number Publication Date
CN113260430A CN113260430A (zh) 2021-08-13
CN113260430B true CN113260430B (zh) 2022-07-22

Family

ID=77180569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180001054.8A Active CN113260430B (zh) 2021-03-31 2021-03-31 一种场景处理方法、装置、***及相关设备

Country Status (2)

Country Link
CN (1) CN113260430B (zh)
WO (1) WO2022205102A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114141092B (zh) * 2021-11-10 2023-01-20 武汉未来幻影科技有限公司 一种驾考模拟器动画场景构建方法及***
CN114299162B (zh) * 2021-12-30 2024-05-10 合众新能源汽车股份有限公司 一种用于ar-hud的快速标定方法
CN114661398B (zh) * 2022-03-22 2024-05-17 上海商汤智能科技有限公司 一种信息展示方法、装置、计算机设备和存储介质
CN114859754B (zh) * 2022-04-07 2023-10-03 江苏泽景汽车电子股份有限公司 一种抬头显示***的仿真测试方法和仿真测试***
CN116311935B (zh) * 2023-03-20 2024-03-15 湖北省规划设计研究总院有限责任公司 一种基于大数据的智慧城市交通管理方法
CN116774679B (zh) * 2023-08-25 2023-11-28 北京斯年智驾科技有限公司 一种自动驾驶车辆测试方法、***、装置和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207180987U (zh) * 2017-08-07 2018-04-03 安徽江淮汽车集团股份有限公司 用于平视显示装置的台架测试***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013169601A2 (en) * 2012-05-07 2013-11-14 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
CN104266654A (zh) * 2014-09-26 2015-01-07 广东好帮手电子科技股份有限公司 一种车载实景导航***及方法
CN106383587B (zh) * 2016-10-26 2020-08-04 腾讯科技（深圳）有限公司 一种增强现实场景生成方法、装置及设备
CN107589851A (zh) * 2017-10-17 2018-01-16 极鱼（北京）科技有限公司 汽车的交互方法和***
US10846205B2 (en) * 2017-12-21 2020-11-24 Google Llc Enhancements to support testing of augmented reality (AR) applications
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其***

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207180987U (zh) * 2017-08-07 2018-04-03 安徽江淮汽车集团股份有限公司 用于平视显示装置的台架测试***

Also Published As

Publication number Publication date
CN113260430A (zh) 2021-08-13
WO2022205102A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
CN113260430B (zh) 一种场景处理方法、装置、***及相关设备
JP6988819B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US10068377B2 (en) Three dimensional graphical overlays for a three dimensional heads-up display unit of a vehicle
EP3983969A1 (en) A metaverse data fusion system
US20160210775A1 (en) Virtual sensor testbed
US20160210383A1 (en) Virtual autonomous response testbed
US10712556B2 (en) Image information processing method and augmented reality AR device
CN112750206A (zh) 用于车辆乘员的增强现实可穿戴***
WO2022204855A1 (zh) 一种图像处理方法及相关终端装置
US20220198107A1 (en) Simulations for evaluating driving behaviors of autonomous vehicles
Rao et al. Design methods for augmented reality in-vehicle infotainment systems
US20220204009A1 (en) Simulations of sensor behavior in an autonomous vehicle
Hiblot et al. Pro-sivic and roads. a software suite for sensors simulation and virtual prototyping of adas
Guvenc et al. Simulation Environment for Safety Assessment of CEAV Deployment in Linden
KR102625688B1 (ko) 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템
CN114820504B (zh) 图像融合偏差的检测方法、装置、电子设备及存储介质
EP2991358A2 (en) Communication of cloud-based content to a driver
CN116136418A (zh) 导航引导信息生成方法、导航引导方法、程序产品和介质
Weber et al. Approach for improved development of advanced driver assistance systems for future smart mobility concepts
Galazka et al. CiThruS2: Open-source photorealistic 3D framework for driving and traffic simulation in real time
CN115675504A (zh) 一种车辆告警方法以及相关设备
CN114693536A (zh) 一种图像处理方法，装置及储存介质
CN115035239B (zh) 用于构建虚拟环境的方法、装置、计算机设备及车辆
US20240219569A1 (en) Surfel object representation in simulated environment
KR102482829B1 (ko) 차량용 ar 디스플레이 장치 및 ar 서비스 플랫폼

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant