CN114119757A - 图像处理方法、装置、设备、介质和计算机程序产品 - Google Patents

图像处理方法、装置、设备、介质和计算机程序产品 Download PDF

Info

Publication number
CN114119757A
CN114119757A CN202111548086.8A CN202111548086A CN114119757A CN 114119757 A CN114119757 A CN 114119757A CN 202111548086 A CN202111548086 A CN 202111548086A CN 114119757 A CN114119757 A CN 114119757A
Authority
CN
China
Prior art keywords
vehicle
image
current
mounted image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111548086.8A
Other languages
English (en)
Inventor
李德辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111548086.8A priority Critical patent/CN114119757A/zh
Publication of CN114119757A publication Critical patent/CN114119757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、设备、介质和计算机程序产品，属于地图技术领域和车联网技术领域，方法包括：获取包括多个样本车载图像的图像序列；将各样本车载图像分别作为当前样本车载图像，将当前样本车载图像输入至待训练的深度预测网络，得到当前样本车载图像中各像素点的深度信息；基于深度信息生成当前样本车载图像的当前三维点云；从车载位姿传感器中获取车辆位姿信息；基于当前三维点云和车辆位姿信息重构当前样本车载图像的下一相邻车载图像；基于相邻样本车载图像与相邻车载图像之间的差异对深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。采用本方法可降低深度预测网络的训练成本。

Description

图像处理方法、装置、设备、介质和计算机程序产品
技术领域
本申请涉及人工智能技术，更涉及车联网技术领域，特别是涉及一种图像处理方法、装置、设备、介质和计算机程序产品。
背景技术
人工智能(Artificial Intelligence, AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
随着人工智能技术的发展，通过深度学习网络预测图像的深度信息已经成为了获取图像深度信息的主流方式。传统技术中，通常采用有监督训练的方式训练深度学习网络，即，采用标注有深度信息的图像作为训练数据训练深度学习网络。然而，目前的深度学习网络训练方式，需要花费大量人力实现对图像深度信息的标注，从而导致深度学习网络的训练成本高。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低深度预测网络训练成本的图像处理方法、装置、设备、介质和计算机程序产品。
一种图像处理方法，所述方法包括：
获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
一种图像处理装置，所述装置包括：
获取模块，用于获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
预测模块，用于将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
生成模块，用于基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
所述获取模块还用于从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
重构模块，用于基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
训练模块，用于基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
在一个实施例中，所述当前样本车载图像是由车载相机采集得到；所述深度信息包括所述当前样本车载图像中各像素点在相机坐标系下的深度坐标；所述生成模块还用于获取所述当前样本车载图像中各像素点在相机坐标系下的平面坐标；所述相机坐标系，是以所述车载相机的光心为原点建立的坐标系；基于所述各像素点的所述深度坐标和所述平面坐标，生成所述当前样本车载图像的当前三维点云。
在一个实施例中，所述生成模块还用于确定所述车载相机的焦点在所述相机坐标系下的焦点坐标；确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标；所述当前像素坐标系，是基于所述当前样本车载图像建立的像素坐标系；根据所述焦点坐标和所述各像素点在当前像素坐标系下的当前像素坐标，确定所述各像素点在相机坐标系下的平面坐标。
在一个实施例中，所述当前样本车载图像是由车载相机采集得到；所述重构模块还用于基于所述当前三维点云和所述车辆位姿信息，确定所述相邻样本车载图像的相邻三维点云；根据所述相邻三维点云和所述车载相机的内部参数，重构所述当前样本车载图像的下一相邻车载图像。
在一个实施例中，所述车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度；所述当前位置是采集所述当前样本车载图像时车辆所处的位置；所述下一相邻位置是采集下一相邻样本车载图像时车辆所处的位置；所述重构模块还用于将所述当前三维点云中的各点按照所述偏移距离和所述旋转角度分别进行调整处理，得到所述相邻样本车载图像的相邻三维点云。
在一个实施例中，所述重构模块还用于基于所述偏移距离构建偏移矩阵；基于所述旋转角度构建旋转矩阵；将所述当前三维点云中的各点按照所述偏移矩阵进行偏移处理，以及将所述当前三维点云中的各点按照所述旋转矩阵进行旋转处理，得到所述相邻样本车载图像的相邻三维点云。
在一个实施例中，所述内部参数包括所述车载相机的焦点在相机坐标系下的焦点坐标；所述重构模块还用于基于所述焦点坐标构建重构矩阵；基于所述重构矩阵，将所述相邻三维点云中各点的三维坐标转换为二维坐标；基于各点的二维坐标构建所述当前样本车载图像的下一相邻车载图像。
在一个实施例中，所述样本车载图像包括样本车载单目图像；所述获取模块还用于通过车载单目相机采集多个样本车载单目图像；按照所述多个样本车载单目图像分别对应的采集时间的先后顺序，生成所述图像序列。
在一个实施例中，所述装置还包括：
导航模块，用于对目标车载图像进行道路元素检测，以从所述目标车载图像中识别出道路元素；基于所述训练完成的深度预测网络，预测所述道路元素中各像素点的深度信息；基于所述道路元素中各像素点的深度信息，生成所述目标道路元素的导航信息。
在一个实施例中，所述目标车载图像是由设置于当前车辆上的车载相机采集得到；所述装置还包括：
预警模块，用于对所述目标车载图像进行车辆检测，以从所述目标车载图像中识别出前方车辆所对应的图像区域；获取所述图像区域中各像素点的深度信息；所述图像区域中各像素点的深度信息，是由所述训练完成的深度预测网络预测得到的；基于所述图像区域中各像素点的深度信息，确定所述当前车辆与所述前方车辆之间的相对距离；基于所述相对距离进行碰撞预警。
在一个实施例中，所述装置还包括：
写入模块，用于对所述目标车载图像进行道路元素检测，以从所述目标车载图像中识别出道路元素；获取所述道路元素中各像素点的深度信息；所述道路元素中各像素点的深度信息，是由所述训练完成的深度预测网络预测得到的；基于所述道路元素中各像素点的深度信息，将所述目标道路元素写入车载导航地图中。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
上述图像处理方法、装置、设备、介质和计算机程序产品，获取包括多个按顺采集的样本车载图像的图像序列，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，可以预测得到当前样本车载图像中各像素点的深度信息。基于深度信息，可以生成当前样本车载图像的当前三维点云，从车载位姿传感器中，可以直接获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。基于当前三维点云和车辆位姿信息，可以重构当前样本车载图像的下一相邻车载图像。基于相邻样本车载图像与重构的相邻车载图像之间的差异，可以直接对深度预测网络进行无监督训练。相较于传统的有监督训练的方式，本申请可直接通过图像序列中的当前样本车载图像、当前样本车载图像的深度信息、以及基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息，重构出与相邻样本车载图像对应的相邻车载图像，并可基于相邻样本车载图像与相邻车载图像之间的差异，直接实现对深度预测网络的无监督训练，无需预先标注图像深度信息，大大降低了深度预测网络的训练成本。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中目标车载图像示意图；
图4为一个实施例中目标车载图像的深度图像示意图；
图5为一个实施例中当前车辆与前方车辆行驶过程示意图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为又一个实施例中图像处理方法的流程示意图；
图8为一个实施例中图像处理装置的结构框图；
图9为另一个实施例中图像处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，车载相机104可采集样本车载图像，计算机设备102可与车载相机104进行通信，以获取样本车载图像。其中，计算机设备102可以是服务器也可以是终端，其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备和车载终端，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。计算机设备102以及车载相机104可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
计算机设备102可获取图像序列，图像序列中包括由车载终端中的车载相机104按顺采集得到的多个样本车载图像。其中，计算机设备102可以是直接从车载相机104中获取样本车载图像，也可以是车载相机104将采集得到的样本车载图像存储至服务器后，计算机设备102再从服务器中获取样本车载图像。计算机设备102可将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，预测得到当前样本车载图像中各像素点的深度信息。计算机设备102可基于深度信息，生成当前样本车载图像的当前三维点云，从车载位姿传感器中，获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。计算机设备102可基于当前三维点云和车辆位姿信息，重构当前样本车载图像的下一相邻车载图像，基于相邻样本车载图像与重构的相邻车载图像之间的差异，对深度预测网络训练。其中，训练完成的深度预测网络，可用于预测目标车载图像的像素深度。
可以理解，计算机设备102可以是服务器也可以是车载终端自身。
需要说明的是，本申请一些实施例中的图像处理方法使用到了人工智能技术。比如，当前样本车载图像中各像素点的深度信息，则属于使用人工智能技术预测得到的深度信息。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。需要说明的是，本申请一些实施例中的图像处理方法使用到了计算机视觉技术。比如，当前样本车载图像的当前三维点云，则属于使用计算机视觉技术生成得到的点云信息，以及当前样本车载图像的下一相邻车载图像，也属于使用计算机视觉技术重构得到的图像。
机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。需要说明的是，本申请一些实施例中的图像处理方法使用到了机器学习。比如，训练完成的深度预测网络，则属于使用机器学习训练得到的神经网络。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术。需要说明的是，本申请一些实施例中的图像处理方法使用到了自动驾驶技术。比如，本申请中的车载位姿传感器可以是设置于自动驾驶车辆中的传感器。本申请中的目标车载图像可以是设置于自动驾驶车辆中的车载相机所采集得到的图像。预测得到的目标车载图像的像素深度，可应用于自动驾驶车辆在自动驾驶过程中的障碍物预警。
在一个实施例中，如图2所示，提供了一种图像处理方法，该方法可应用于计算机设备102，也可应用于计算机设备102与服务器104的交互过程。本实施例以该方法应用于图1中的计算机设备102为例进行说明，包括以下步骤：
步骤202，获取图像序列；图像序列中包括多个按顺采集的样本车载图像。
其中，样本车载图像，是作为训练数据的车载图像，可以理解，样本车载图像，是用于训练深度预测网络的车载图像。车载图像，是指在车载场景中，通过设置于车辆的车载相机采集得到的图像。按顺采集，是指在车辆行驶过程中，车辆的车载相机按照行驶时间的先后顺序依次采集图像的采集方式。图像序列，是指包括多个按顺采集的样本车载图像的序列。
在一个实施例中，服务器中存储有包括多个按顺采集的样本车载图像的图像序列，计算机设备可与服务器进行通信，并可从服务器中直接获取图像序列。
在一个实施例中，计算机设备可部署在包括车载相机的车辆上，计算机设备可通过车辆上的车载相机，在车辆行驶过程中按顺采集得到多个样本车载图像，并基于按顺采集得到多个样本车载图像，直接生成包括多个按顺采集的样本车载图像的图像序列。
步骤204，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，预测得到当前样本车载图像中各像素点的深度信息。
其中，当前样本车载图像，是当前处理的样本车载图像，可以理解，图像序列中包括多个样本车载图像，当前正在处理的样本车载图像即是当前样本车载图像。深度预测网络，是用于预测图像中各像素点的深度信息的神经网络。当前样本车载图像中各像素点的深度信息，是指各像素点与采集当前样本车载图像的车载相机之间的距离信息。
具体地，图像序列中包括多个样本车载图像，计算机设备可分别将图像序列中的各样本车载图像作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络。计算机设备可通过待训练的深度预测网络对当前样本车载图像进行深度预测，得到当前样本车载图像中各像素点的深度信息。可以理解，计算机设备可分别将图像序列中的各样本车载图像输入至待训练的深度预测网络，并通过待训练的深度预测网络对依次输入的图像序列中的各样本车载图像进行深度预测，得到图像序列中的各样本车载图像中各像素点的深度信息。
在一个实施例中，图3为样本车载图像，样本车载图像中包括车辆301、人物302和天上的白云303。计算机设备可通过待训练的深度预测网络，预测该样本车载图像中各像素点的深度信息，得到如图4所示的样本车载图像的深度图像。从图4可知，车辆301所对应的图像区域的像素点与采集该样本车载图像的车载相机的距离最近，而人物302和天上的白云303所分别对应的图像区域的像素点与采集该样本车载图像的车载相机的距离较远。
步骤206，基于深度信息，生成当前样本车载图像的当前三维点云。
其中，三维点云，是一种三维数据表达方式，可以理解，三维点云，是图像中的每一个像素点的三维坐标点。当前三维点云，是当前样本车载图像所对应的三维点云。
具体地，计算机设备可基于深度信息，将当前样本车载图像中的每一个像素点的二维坐标，转换为三维坐标，得到当前样本车载图像的当前三维点云。
在一个实施例中，计算机设备可将当前样本车载图像中的每一个像素点的二维坐标进行坐标转换。计算机设备可基于转换后的像素点的二维坐标、以及当前样本车载图像中各像素点的深度信息，生成当前样本车载图像的当前三维点云。可以理解，坐标转换后的像素点的二维坐标为三维坐标系中的其中两个维度的坐标，而当前样本车载图像中各像素点的深度信息，则可直接作为三维坐标系中的第三个维度的坐标，从而得到当前样本车载图像的当前三维点云。
步骤208，从车载位姿传感器中，获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。
其中，车载位姿传感器（IMU，Inertial Measurement Unit，惯性测量单元），是设置与车辆中的、且用于获取车辆位姿信息的传感器。可以理解，车载位姿传感器可以在车辆的行驶过程中，不依赖于任何位姿预测算法，自动且准确地获取车辆的位姿信息。车辆位姿信息，是车辆从采集当前样本车载图像至采集下一相邻样本车载图像的过程中，车辆在空间上所发生的姿态变化的信息。下一相邻样本车载图像，是在图像序列中，与当前样本车载图像相邻的下一帧样本车载图像，即，是位于当前样本车载图像后真实采集的、且相邻于该当前样本车载图像的样本车载图像。
具体地，车辆中部署有车载位姿传感器，车辆中部署的车载位姿传感器可基于当前样本车载图像和下一相邻样本车载图像，自动确定的车辆位姿信息，并将车辆位姿信息发送至计算机设备。计算机设备可接收车载位姿传感器所发送的车辆位姿信息。
步骤210，基于当前三维点云和车辆位姿信息，重构当前样本车载图像的下一相邻车载图像。
其中，下一相邻车载图像，是重构出来的、且与下一相邻样本车载图像具有基本相同图像内容的车载图像。基本相同图像内容，是指图像的主体内容相同，但在图像细节上存在细微差异。
具体地，计算机设备可基于车辆位姿信息，对当前样本车载图像的当前三维点云进行调整处理，得到处理后的三维点云。计算机设备可基于处理后的三维点云，重构当前样本车载图像的下一相邻车载图像。
在一个实施例中，计算机设备可基于车辆位姿信息，将当前样本车载图像的当前三维点云，转换为与相邻样本车载图像对应的三维点云。计算机设备可基于与相邻样本车载图像对应的三维点云，重构当前样本车载图像的下一相邻车载图像。
步骤212，基于相邻样本车载图像与重构的相邻车载图像之间的差异，对深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
其中，目标车载图像，是作为目标的车载图像，可以理解，目标车载图像，是在深度预测网络训练完成并投入实际应用过程中，通过车辆中部署的车载相机采集得到的待预测的车载图像。
具体地，计算机设备可分别提取基于相邻样本车载图像的图像特征，以及重构的相邻车载图像的图像特征，并基于相邻样本车载图像的图像特征，以及重构的相邻车载图像的图像特征，确定相邻样本车载图像与重构的相邻车载图像之间的差异。从而，计算机设备可朝着使相邻样本车载图像与重构的相邻车载图像之间的差异减小的方向，对深度预测网络进行迭代训练，直至达到训练停止条件时，得到训练完成的深度预测网络。
在一个实施例中，训练停止条件可以是相邻样本车载图像与重构的相邻车载图像之间的差异小于预设的差异阈值，也可以是迭代次数达到预设的学习次数。
上述图像处理方法中，获取包括多个按顺采集的样本车载图像的图像序列，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，可以预测得到当前样本车载图像中各像素点的深度信息。基于深度信息，可以生成当前样本车载图像的当前三维点云，从车载位姿传感器中，可以直接获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。基于当前三维点云和车辆位姿信息，可以重构当前样本车载图像的下一相邻车载图像。基于相邻样本车载图像与重构的相邻车载图像之间的差异，可以直接对深度预测网络进行无监督训练。相较于传统的有监督训练的方式，本申请可直接通过图像序列中的当前样本车载图像、当前样本车载图像的深度信息、以及基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息，重构出与相邻样本车载图像对应的相邻车载图像，并可基于相邻样本车载图像与相邻车载图像之间的差异，直接实现对深度预测网络的无监督训练，无需预先标注图像深度信息，大大降低了深度预测网络的训练成本。
同时，相较于成本较高的基于双目图像对的无监督训练方式，本申请基于图像序列的无监督训练方式，可以进一步降低深度预测网络的训练成本。
此外，本申请基于图像序列的无监督训练方式，由于可以从车载位姿传感器中，直接获取基于当前样本车载图像和下一相邻样本车载图像确定的准确的车辆位姿信息，而不需要通过额外的位姿预测网络获取，即，不需要额外训练位姿预测网络，只需要训练深度预测网络，降低了网络训练的复杂度，同时也提升了训练完成的深度预测网络的深度预测准确率。
在一个实施例中，当前样本车载图像是由车载相机采集得到；深度信息包括当前样本车载图像中各像素点在相机坐标系下的深度坐标；基于深度信息，生成当前样本车载图像的当前三维点云，包括：获取当前样本车载图像中各像素点在相机坐标系下的平面坐标；相机坐标系，是以车载相机的光心为原点建立的坐标系；基于各像素点的深度坐标和平面坐标，生成当前样本车载图像的当前三维点云。
其中，各像素点在相机坐标系下的深度坐标，是各像素点在相机坐标系中代表像素深度信息的坐标。各像素点在相机坐标系下的平面坐标，是各像素点在相机坐标系中代表像素平面信息的坐标。举例说明，相机坐标系包括X轴、Y轴和Z轴，则各像素点在相机坐标系下的平面坐标包括X值和Y值，可以表示为（x，y，0），各像素点在相机坐标系下的深度坐标包括Z值，可以表示为（0，0，z），从而，基于各像素点的深度坐标（x，y，0）和平面坐标（0，0，z），生成当前样本车载图像的当前三维点云（x，y，z）。
具体地，计算机设备可对当前样本车载图像中各像素点的坐标进行坐标转换，得到当前样本车载图像中各像素点在相机坐标系下的平面坐标。进而，计算设备可将各像素点的深度坐标和平面坐标进行坐标融合，得到当前样本车载图像的当前三维点云。
在一个实施例中，计算机设备可基于车载相机的内部参数，对当前样本车载图像中各像素点的坐标进行坐标转换，得到当前样本车载图像中各像素点在相机坐标系下的平面坐标。
上述实施例中，通过获取当前样本车载图像中各像素点在相机坐标系下的平面坐标，并基于各像素点的深度坐标和平面坐标，可以生成当前样本车载图像的当前三维点云，实现了将当前样本车载图像中二维的各像素点转换为三维的点云信息。
在一个实施例中，获取当前样本车载图像中各像素点在相机坐标系下的平面坐标，包括：确定车载相机的焦点在相机坐标系下的焦点坐标；确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标；当前像素坐标系，是基于当前样本车载图像建立的像素坐标系；根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，确定各像素点在相机坐标系下的平面坐标。
其中，当前像素坐标，是当前样本车载图像中各像素点在当前像素坐标系下的像素坐标。
具体地，计算机设备可基于车载相机的内部参数，确定车载相机的焦点在相机坐标系下的焦点坐标。可以理解，车载相机的内部参数中包括车载相机的焦点在相机坐标系下的焦点坐标，计算机设备可直接从车载相机的内部参数中，获取车载相机的焦点在相机坐标系下的焦点坐标。计算机设备可确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标。进而，计算机设备可根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，确定各像素点在相机坐标系下的平面坐标。
在一个实施例中，计算机设备可根据焦点坐标，构建点云的坐标转换矩阵。进而，计算机设备可基于构建的点云的坐标转换矩阵，对各像素点在当前像素坐标系下的当前像素坐标进行坐标转换，得到各像素点在相机坐标系下的平面坐标。
上述实施例中，通过确定车载相机的焦点在相机坐标系下的焦点坐标，以及确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标，进而再根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，可以确定各像素点在相机坐标系下的平面坐标，可以将二维坐标系下的当前像素坐标转换为三维坐标系下的平面坐标。
在一个实施例中，计算机设备可基于当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标，构建像素矩阵。计算机设备可基于点云的坐标转换矩阵与像素矩阵的乘积、以及基于各像素点的深度信息，生成当前样本车载图像的当前三维点云。其中，像素矩阵，是基于当前样本车载图像中各像素点的当前像素坐标中的各坐标值构建得到的矩阵。
在一个实施例中，当前样本车载图像的当前三维点云可通过以下公式计算得到：
Figure 820134DEST_PATH_IMAGE002
其中，
Figure 272107DEST_PATH_IMAGE004
为当前三维点云中各点的三维坐标，d为当前样本车载图像中各像素点的深度，
Figure 450278DEST_PATH_IMAGE006
和
Figure 932075DEST_PATH_IMAGE008
为车载相机的焦点分别在相机坐标系的X轴和Y轴上的焦距，
Figure 549001DEST_PATH_IMAGE010
为当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标。
在一个实施例中，当前样本车载图像是由车载相机采集得到；基于当前三维点云和车辆位姿信息，重构当前样本车载图像的下一相邻车载图像，包括：基于当前三维点云和车辆位姿信息，确定相邻样本车载图像的相邻三维点云；根据相邻三维点云和车载相机的内部参数，重构当前样本车载图像的下一相邻车载图像。
其中，相邻三维点云是与相邻样本车载图像对应的三维点云。
在一个实施例中，计算机设备可基于车辆位姿信息，对当前三维点云进行调整处理，以生成相邻样本车载图像的相邻三维点云。进而，计算机设备可基于车载相机的内部参数，对相邻三维点云进行坐标转换，并基于转换后的坐标重构当前样本车载图像的下一相邻车载图像。
上述实施例中，基于当前三维点云和车辆位姿信息，可以确定相邻样本车载图像的相邻三维点云，进而再根据相邻三维点云和车载相机的内部参数，可以快速重构当前样本车载图像的下一相邻车载图像，以便后续训练深度预测网络。
在一个实施例中，车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度；当前位置是采集当前样本车载图像时车辆所处的位置；下一相邻位置是采集下一相邻样本车载图像时车辆所处的位置；基于当前三维点云和车辆位姿信息，确定相邻样本车载图像的相邻三维点云，包括：将当前三维点云中的各点按照偏移距离和旋转角度分别进行调整处理，得到相邻样本车载图像的相邻三维点云。
其中，偏移距离，是车辆从当前位置移动到下一相邻位置之间的移动距离。旋转角度，是由车辆在当前位置对应的角度旋转至车辆在下一相邻位置对应的角度之间的角度。
在一个实施例中，计算机设备可将当前三维点云中的各点按照偏移距离进行偏移的同时，再将当前三维点云中的各点按照旋转角度进行旋转，得到相邻样本车载图像的相邻三维点云。
在一个实施例中，计算机设备可先将当前三维点云中的各点按照偏移距离进行偏移，再将偏移后的三维点云中的各点按照旋转角度进行旋转，得到相邻样本车载图像的相邻三维点云。
在一个实施例中，计算机设备可先将当前三维点云中的各点按照旋转角度进行旋转，再将旋转后的三维点云中的各点按照偏移距离进行偏移，得到相邻样本车载图像的相邻三维点云。
上述实施例中，通过将当前三维点云中的各点按照偏移距离和旋转角度分别进行调整处理，可以快速、准确地获得相邻样本车载图像的相邻三维点云。
在一个实施例中，将当前三维点云中的各点按照偏移距离和旋转角度分别进行调整处理，得到相邻样本车载图像的相邻三维点云，包括：基于偏移距离构建偏移矩阵；基于旋转角度构建旋转矩阵；将当前三维点云中的各点按照偏移矩阵进行偏移处理，以及将当前三维点云中的各点按照旋转矩阵进行旋转处理，得到相邻样本车载图像的相邻三维点云。
其中，偏移矩阵，是用于控制当前三维点云中的各点进行移动的矩阵。旋转矩阵，是用于控制当前三维点云中的各点进行旋转的矩阵。
在一个实施例中，计算机设备可基于偏移距离构建偏移矩阵，以及基于旋转角度构建旋转矩阵。计算机设备可基于构建的偏移矩阵，对当前三维点云中的各点的三维坐标进行坐标转换，以及基于构建的旋转矩阵，对当前三维点云中的各点的三维坐标进行坐标转换，从而得到相邻样本车载图像的相邻三维点云。
在一个实施例中，计算机设备可基于当前样本车载图像的当前三维点云，构建第一点云矩阵，并基于偏移矩阵与构建的第一点云矩阵的乘积，计算偏移后的三维点云。其中，第一点云矩阵，是基于当前三维点云中各点的坐标值、以及补充的维度坐标值所构建得到的矩阵。
在一个实施例中，偏移后的三维点云可通过以下公式计算机得到：
Figure 557277DEST_PATH_IMAGE012
其中，
Figure 703088DEST_PATH_IMAGE014
是偏移后的三维点云中各点的三维坐标，
Figure 672181DEST_PATH_IMAGE016
分别是当前三维点云中各点在X轴、Y轴和Z轴上的偏移量。
在一个实施例中，计算机设备可基于当前样本车载图像的当前三维点云，构建第二点云矩阵，并基于各个旋转矩阵与构建的第二点云矩阵的乘积，计算旋转后的三维点云。其中，第二点云矩阵，是基于当前三维点云中各点的坐标值直接构建得到的矩阵。
在一个实施例中，旋转后的三维点云可通过以下公式计算机得到：
Figure 250055DEST_PATH_IMAGE018
其中，
Figure 722625DEST_PATH_IMAGE020
是旋转后的三维点云中各点的三维坐标，
Figure 570495DEST_PATH_IMAGE022
分别是当前三维点云中各点针对X轴、Y轴和Z轴的旋转矩阵。
Figure 26884DEST_PATH_IMAGE022
分别为：
Figure 454454DEST_PATH_IMAGE024
其中，
Figure 171744DEST_PATH_IMAGE026
分别是当前三维点云中各点在X轴、Y轴和Z轴的旋转角度。
在一个实施例中，计算机设备可基于偏移后的三维点云和旋转后的三维点云，生成相邻样本车载图像的相邻三维点云。
上述实施例中，基于偏移距离可以构建偏移矩阵，以及基于旋转角度可以构建旋转矩阵，进而将当前三维点云中的各点按照偏移矩阵进行偏移处理，以及将当前三维点云中的各点按照旋转矩阵进行旋转处理，可以快速、准确地获得相邻样本车载图像的相邻三维点云。
在一个实施例中，内部参数包括车载相机的焦点在相机坐标系下的焦点坐标；根据相邻三维点云和车载相机的内部参数，重构当前样本车载图像的下一相邻车载图像，包括：基于焦点坐标构建重构矩阵；基于重构矩阵，将相邻三维点云中各点的三维坐标转换为二维坐标；基于各点的二维坐标构建当前样本车载图像的下一相邻车载图像。
其中，重构矩阵，是用于重构当前样本车载图像的下一相邻车载图像的矩阵。
在一个实施例中，计算机设备可基于焦点坐标构建重构矩阵，并基于重构矩阵，将相邻三维点云中各点的三维坐标转换为二维坐标。从而，计算机设备可基于各点的二维坐标构建当前样本车载图像的下一相邻车载图像。可以理解，相邻三维点云中各点的三维坐标在转换为二维坐标之后，相邻三维点云中各点则转换为了当前样本车载图像的下一相邻车载图像中的各像素点。
在一个实施例中，计算机设备可基于相邻样本车载图像的相邻三维点云，构建目标点云矩阵。计算机设备可基于重构矩阵与目标点云矩阵的乘积，生成当前样本车载图像的下一相邻车载图像。其中，目标点云矩阵，是基于相邻三维点云中各点的坐标值、以及补充的维度坐标值所构建得到的矩阵。
在一个实施例中，相邻车载图像中各像素点的坐标可通过以下公式计算得到：
Figure 987253DEST_PATH_IMAGE028
其中，
Figure 399780DEST_PATH_IMAGE030
为相邻车载图像中各像素点的坐标，
Figure 162199DEST_PATH_IMAGE032
为相邻三维点云中各点的三维坐标。
上述实施例中，基于焦点坐标可以构建重构矩阵，基于重构矩阵，可以将相邻三维点云中各点的三维坐标转换为二维坐标，进而基于各点的二维坐标可以快速、准确地构建当前样本车载图像的下一相邻车载图像。
在一个实施例中，样本车载图像包括样本车载单目图像；获取图像序列，包括：通过车载单目相机采集多个样本车载单目图像；按照多个样本车载单目图像分别对应的采集时间的先后顺序，生成图像序列。
其中，样本车载单目图像，是基于车载单目相机采集得到的样本车载图像，可以理解，双目相机每一次采集可以得到双目图像，双目图像是一组图像对，其包括两帧图像，而车载单目相机每一次采集可得到一帧样本车载图像，即样本车载单目图像是单帧图像。
在一个实施例中，车辆中可部署有车载单目相机，计算机设备可通过车载单目相机采集多个样本车载单目图像。计算机设备可按照多个样本车载单目图像分别对应的采集时间的先后顺序，生成图像序列。
上述实施例中，通过成本较低的车载单目相机采集多个样本车载单目图像，并按照多个样本车载单目图像分别对应的采集时间的先后顺序，可以生成图像序列，从而进一步降低深度预测网络的训练成本。
在一个实施例中，方法还包括：对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；基于训练完成的深度预测网络，预测道路元素中各像素点的深度信息；基于道路元素中各像素点的深度信息，生成目标道路元素的导航信息。
其中，道路元素，是道路中存在的实体对象，比如，道路、桥、路标和隧道入口等。目标道路元素是作为目标的道路元素。目标道路元素的导航信息，是在导航场景中用于描述目标道路元素的信息，举例说明，目标道路元素为隧道，目标道路元素的导航信息则可包括“前方50米进入隧道”等。
在一个实施例中，计算机设备可对目标车载图像进行特征提取，并基于提取的特征进行道路元素检测，以从目标车载图像中识别出道路元素。计算机设备可基于训练完成的深度预测网络，预测道路元素中各像素点的深度信息。进而，计算机设备可基于道路元素中各像素点的深度信息，生成目标道路元素的导航信息。
上述实施例中，对目标车载图像进行道路元素检测，可以从目标车载图像中识别出道路元素，基于训练完成的深度预测网络，可以准确预测道路元素中各像素点的深度信息，以及基于道路元素中各像素点的深度信息，可以生成目标道路元素的导航信息，提升导航准确率。
在一个实施例中，目标车载图像是由设置于当前车辆上的车载相机采集得到；方法还包括：对目标车载图像进行车辆检测，以从目标车载图像中识别出前方车辆所对应的图像区域；获取图像区域中各像素点的深度信息；图像区域中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于图像区域中各像素点的深度信息，确定当前车辆与前方车辆之间的相对距离；基于相对距离进行碰撞预警。
具体地，计算机设备可对目标车载图像进行特征提取，并基于提取的特征进行车辆检测，以从目标车载图像中识别出前方车辆所对应的图像区域。计算机设备可通过训练完成的深度预测网络，预测图像区域中各像素点的深度信息。进而，计算机设备可基于图像区域中各像素点的深度信息，确定当前车辆与前方车辆之间的相对距离。计算机设备可基于相对距离生成碰撞预警信息，并基于生成的碰撞预警信息进行碰撞预警。
在一个实施例中，基于相对距离进行碰撞预警，包括：确定当前车辆相对于前方车辆的相对速度，基于相对距离和相对速度，确定当前车辆追赶上前方车辆的相对时间，当相对时间小于预设安全时间时，生成碰撞预警信息，并基于生成的碰撞预警信息进行碰撞预警。
在一个实施例中，如图5所示，当前车辆A与其前方车辆B按照相同的行驶方向在道路上行驶。计算机设备可通过训练完成的深度预测网络，预测前方车辆B对应的图像区域中各像素点的深度信息。进而，计算机设备可基于图像区域中各像素点的深度信息，确定当前车辆A与前方车辆B之间的相对距离，与此同时，计算机设备可确定当前车辆A相对于前方车辆B的相对速度，基于相对距离和相对速度，确定当前车辆A追赶上前方车辆B的相对时间，当相对时间小于预设安全时间时，生成碰撞预警信息，并将碰撞预警信息发送至当前车辆A，以进行碰撞预警。
上述实施例中，对目标车载图像进行车辆检测，可以从目标车载图像中识别出前方车辆所对应的图像区域，通过训练完成的深度预测网络，可以准确预测图像区域中各像素点的深度信息，进而基于图像区域中各像素点的深度信息，可以确定当前车辆与前方车辆之间的相对距离，基于相对距离进行碰撞预警，提升行车安全性。
在一个实施例中，方法还包括：对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；获取道路元素中各像素点的深度信息；道路元素中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于道路元素中各像素点的深度信息，将目标道路元素写入车载导航地图中。
其中，车载导航地图，是设置于车辆中的、且用于车辆导航的地图。
在一个实施例中，计算机设备可对目标车载图像进行特征提取，并基于提取的特征进行道路元素检测，以从目标车载图像中识别出道路元素。计算机设备可基于训练完成的深度预测网络，预测道路元素中各像素点的深度信息。进而，计算机设备可基于道路元素中各像素点的深度信息，将目标道路元素写入车载导航地图中，以实现针对车载导航地图的更新。
上述实施例中，对目标车载图像进行道路元素检测，可以从目标车载图像中识别出道路元素，通过训练完成的深度预测网络，可以准确预测道路元素中各像素点的深度信息，从而基于道路元素中各像素点的深度信息，可以将目标道路元素写入车载导航地图中，实现车载导航地图的准确更新。
在一个实施例中，如图6所示，计算机设备可通过设置于车辆上的车载相机，获取包括多个按顺采集的样本车载图像的图像序列，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，预测得到当前样本车载图像中各像素点的深度信息。计算机设备可基于深度信息，生成当前样本车载图像的当前三维点云。计算机设备可从设置于车辆的车载位姿传感器中，获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息，并基于当前三维点云和车辆位姿信息，重构当前样本车载图像的下一相邻车载图像。计算机设备可基于相邻样本车载图像与重构的相邻车载图像之间的差异，通过反向传播对深度预测网络进行迭代训练，直至满足迭代停止条件时训练完成，得到训练完成的深度预测网络。计算机设备可通过训练完成的深度预测网络，预测目标车载图像的像素深度。
如图7所示，在一个实施例中，提供了一种图像处理方法，该方法具体包括以下步骤：
步骤702，获取图像序列；图像序列中包括多个按顺采集的样本车载图像；当前样本车载图像是由车载相机采集得到。
步骤704，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，预测得到当前样本车载图像中各像素点的深度信息；深度信息包括当前样本车载图像中各像素点在相机坐标系下的深度坐标；相机坐标系，是以车载相机的光心为原点建立的坐标系。
步骤706，确定车载相机的焦点在相机坐标系下的焦点坐标。
步骤708，确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标；当前像素坐标系，是基于当前样本车载图像建立的像素坐标系。
步骤710，根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，确定各像素点在相机坐标系下的平面坐标。
步骤712，基于各像素点的深度坐标和平面坐标，生成当前样本车载图像的当前三维点云。
步骤714，从车载位姿传感器中，获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度。
步骤716，基于偏移距离构建偏移矩阵，基于旋转角度构建旋转矩阵。
步骤718，将当前三维点云中的各点按照偏移矩阵进行偏移处理，以及将当前三维点云中的各点按照旋转矩阵进行旋转处理，得到相邻样本车载图像的相邻三维点云。
步骤720，基于车载相机的焦点在相机坐标系下的焦点坐标构建重构矩阵，基于重构矩阵，将相邻三维点云中各点的三维坐标转换为二维坐标。
步骤722，基于各点的二维坐标构建当前样本车载图像的下一相邻车载图像。
步骤724，基于相邻样本车载图像与重构的相邻车载图像之间的差异，对深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
在一个实施例中，对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；基于训练完成的深度预测网络，预测道路元素中各像素点的深度信息；基于道路元素中各像素点的深度信息，生成目标道路元素的导航信息。
在一个实施例中，目标车载图像是由设置于当前车辆上的车载相机采集得到；对目标车载图像进行车辆检测，以从目标车载图像中识别出前方车辆所对应的图像区域；获取图像区域中各像素点的深度信息；图像区域中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于图像区域中各像素点的深度信息，确定当前车辆与前方车辆之间的相对距离；基于相对距离进行碰撞预警。
在一个实施例中，对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；获取道路元素中各像素点的深度信息；道路元素中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于道路元素中各像素点的深度信息，将目标道路元素写入车载导航地图中。
本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法可应用于车载单目图像处理的场景。计算机设备可获取图像序列；图像序列中包括多个按顺采集的样本车载单目图像；当前样本车载单目图像是由车载单目相机采集得到。将图像序列中的各样本车载单目图像分别作为当前样本车载单目图像，并将当前样本车载单目图像输入至待训练的深度预测网络，预测得到当前样本车载单目图像中各像素点的深度信息；深度信息包括当前样本车载单目图像中各像素点在相机坐标系下的深度坐标；相机坐标系，是以车载单目相机的光心为原点建立的坐标系。确定车载单目相机的焦点在相机坐标系下的焦点坐标。确定当前样本车载单目图像中各像素点在当前像素坐标系下的当前像素坐标；当前像素坐标系，是基于当前样本车载单目图像建立的像素坐标系。根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，确定各像素点在相机坐标系下的平面坐标。基于各像素点的深度坐标和平面坐标，生成当前样本车载单目图像的当前三维点云。
计算机设备可从车载位姿传感器中，获取基于当前样本车载单目图像和下一相邻样本车载单目图像确定的车辆位姿信息；车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度。基于偏移距离构建偏移矩阵，基于旋转角度构建旋转矩阵。将当前三维点云中的各点按照偏移矩阵进行偏移处理，以及将当前三维点云中的各点按照旋转矩阵进行旋转处理，得到相邻样本车载单目图像的相邻三维点云。
计算机设备可基于车载单目相机的焦点在相机坐标系下的焦点坐标构建重构矩阵，基于重构矩阵，将相邻三维点云中各点的三维坐标转换为二维坐标。基于各点的二维坐标构建当前样本车载单目图像的下一相邻车载单目图像。基于相邻样本车载单目图像与重构的相邻车载单目图像之间的差异，对深度预测网络训练；训练完成的深度预测网络，用于预测目标车载单目图像的像素深度。
本申请还另外提供一种应用场景，该应用场景应用上述的图像处理方法。具体地，该图像处理方法可应用于车载双目图像处理的场景。可以理解，本申请车载双目图像处理的场景，仅仅只是用于提供更多的样本车载图像，即，为训练深度预测网络提供更丰富的训练数据，而并非像传统的基于双目图像之间的图像差异来实现深度预测。
应该理解的是，虽然上述各实施例的流程图中的各个步骤按照顺序依次显示，但是这些步骤并不是必然按照顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种图像处理装置800，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：
获取模块801，用于获取图像序列；图像序列中包括多个按顺采集的样本车载图像。
预测模块802，用于将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，预测得到当前样本车载图像中各像素点的深度信息。
生成模块803，用于基于深度信息，生成当前样本车载图像的当前三维点云；
获取模块801还用于从车载位姿传感器中，获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。
重构模块804，用于基于当前三维点云和车辆位姿信息，重构当前样本车载图像的下一相邻车载图像。
训练模块805，用于基于相邻样本车载图像与重构的相邻车载图像之间的差异，对深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
在一个实施例中，在一个实施例中，当前样本车载图像是由车载相机采集得到；深度信息包括当前样本车载图像中各像素点在相机坐标系下的深度坐标；生成模块803还用于获取当前样本车载图像中各像素点在相机坐标系下的平面坐标；相机坐标系，是以车载相机的光心为原点建立的坐标系；基于各像素点的深度坐标和平面坐标，生成当前样本车载图像的当前三维点云。
在一个实施例中，生成模块803还用于确定车载相机的焦点在相机坐标系下的焦点坐标；确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标；当前像素坐标系，是基于当前样本车载图像建立的像素坐标系；根据焦点坐标和各像素点在当前像素坐标系下的当前像素坐标，确定各像素点在相机坐标系下的平面坐标。
在一个实施例中，当前样本车载图像是由车载相机采集得到；重构模块804还用于基于当前三维点云和车辆位姿信息，确定相邻样本车载图像的相邻三维点云；根据相邻三维点云和车载相机的内部参数，重构当前样本车载图像的下一相邻车载图像。
在一个实施例中，车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度；当前位置是采集当前样本车载图像时车辆所处的位置；下一相邻位置是采集下一相邻样本车载图像时车辆所处的位置；重构模块804还用于将当前三维点云中的各点按照偏移距离和旋转角度分别进行调整处理，得到相邻样本车载图像的相邻三维点云。
在一个实施例中，重构模块804还用于基于偏移距离构建偏移矩阵；基于旋转角度构建旋转矩阵；将当前三维点云中的各点按照偏移矩阵进行偏移处理，以及将当前三维点云中的各点按照旋转矩阵进行旋转处理，得到相邻样本车载图像的相邻三维点云。
在一个实施例中，内部参数包括车载相机的焦点在相机坐标系下的焦点坐标；重构模块804还用于基于焦点坐标构建重构矩阵；基于重构矩阵，将相邻三维点云中各点的三维坐标转换为二维坐标；基于各点的二维坐标构建当前样本车载图像的下一相邻车载图像。
在一个实施例中，样本车载图像包括样本车载单目图像；获取模块801还用于通过车载单目相机采集多个样本车载单目图像；按照多个样本车载单目图像分别对应的采集时间的先后顺序，生成图像序列。
在一个实施例中，装置还包括：
导航模块806，用于对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；基于训练完成的深度预测网络，预测道路元素中各像素点的深度信息；基于道路元素中各像素点的深度信息，生成目标道路元素的导航信息。
在一个实施例中，目标车载图像是由设置于当前车辆上的车载相机采集得到；装置还包括：
预警模块807，用于对目标车载图像进行车辆检测，以从目标车载图像中识别出前方车辆所对应的图像区域；获取图像区域中各像素点的深度信息；图像区域中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于图像区域中各像素点的深度信息，确定当前车辆与前方车辆之间的相对距离；基于相对距离进行碰撞预警。
在一个实施例中，装置还包括：
写入模块808，用于对目标车载图像进行道路元素检测，以从目标车载图像中识别出道路元素；获取道路元素中各像素点的深度信息；道路元素中各像素点的深度信息，是由训练完成的深度预测网络预测得到的；基于道路元素中各像素点的深度信息，将目标道路元素写入车载导航地图中。
参考图9，在一个实施例中，图像处理装置800还包括导航模块806、预警模块807和写入模块808。
上述图像处理装置，获取包括多个按顺采集的样本车载图像的图像序列，将图像序列中的各样本车载图像分别作为当前样本车载图像，并将当前样本车载图像输入至待训练的深度预测网络，可以预测得到当前样本车载图像中各像素点的深度信息。基于深度信息，可以生成当前样本车载图像的当前三维点云，从车载位姿传感器中，可以直接获取基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息。基于当前三维点云和车辆位姿信息，可以重构当前样本车载图像的下一相邻车载图像。基于相邻样本车载图像与重构的相邻车载图像之间的差异，可以直接对深度预测网络进行无监督训练。相较于传统的有监督训练的方式，本申请可直接通过图像序列中的当前样本车载图像、当前样本车载图像的深度信息、以及基于当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息，重构出与相邻样本车载图像对应的相邻车载图像，并可基于相邻样本车载图像与相邻车载图像之间的差异，直接实现对深度预测网络的无监督训练，无需预先标注图像深度信息，大大降低了深度预测网络的训练成本。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像处理方法，其特征在于，所述方法包括：
获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
2.根据权利要求1所述的方法，其特征在于，所述当前样本车载图像是由车载相机采集得到；所述深度信息包括所述当前样本车载图像中各像素点在相机坐标系下的深度坐标；所述基于所述深度信息，生成所述当前样本车载图像的当前三维点云，包括：
获取所述当前样本车载图像中各像素点在相机坐标系下的平面坐标；所述相机坐标系，是以所述车载相机的光心为原点建立的坐标系；
基于所述各像素点的所述深度坐标和所述平面坐标，生成所述当前样本车载图像的当前三维点云。
3.根据权利要求2所述的方法，其特征在于，所述获取所述当前样本车载图像中各像素点在相机坐标系下的平面坐标，包括：
确定所述车载相机的焦点在所述相机坐标系下的焦点坐标；
确定当前样本车载图像中各像素点在当前像素坐标系下的当前像素坐标；所述当前像素坐标系，是基于所述当前样本车载图像建立的像素坐标系；
根据所述焦点坐标和所述各像素点在当前像素坐标系下的当前像素坐标，确定所述各像素点在相机坐标系下的平面坐标。
4.根据权利要求1所述的方法，其特征在于，所述当前样本车载图像是由车载相机采集得到；所述基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像，包括：
基于所述当前三维点云和所述车辆位姿信息，确定所述相邻样本车载图像的相邻三维点云；
根据所述相邻三维点云和所述车载相机的内部参数，重构所述当前样本车载图像的下一相邻车载图像。
5.根据权利要求4所述的方法，其特征在于，所述车辆位姿信息包括车辆从当前位置到下一相邻位置发生的偏移距离和旋转角度；所述当前位置是采集所述当前样本车载图像时车辆所处的位置；所述下一相邻位置是采集下一相邻样本车载图像时车辆所处的位置；
所述基于所述当前三维点云和所述车辆位姿信息，确定所述相邻样本车载图像的相邻三维点云，包括：
将所述当前三维点云中的各点按照所述偏移距离和所述旋转角度分别进行调整处理，得到所述相邻样本车载图像的相邻三维点云。
6.根据权利要求5所述的方法，其特征在于，所述将所述当前三维点云中的各点按照所述偏移距离和所述旋转角度分别进行调整处理，得到所述相邻样本车载图像的相邻三维点云，包括：
基于所述偏移距离构建偏移矩阵；基于所述旋转角度构建旋转矩阵；
将所述当前三维点云中的各点按照所述偏移矩阵进行偏移处理，以及将所述当前三维点云中的各点按照所述旋转矩阵进行旋转处理，得到所述相邻样本车载图像的相邻三维点云。
7.根据权利要求4所述的方法，其特征在于，所述内部参数包括所述车载相机的焦点在相机坐标系下的焦点坐标；
所述根据所述相邻三维点云和所述车载相机的内部参数，重构所述当前样本车载图像的下一相邻车载图像，包括：
基于所述焦点坐标构建重构矩阵；
基于所述重构矩阵，将所述相邻三维点云中各点的三维坐标转换为二维坐标；
基于各点的二维坐标构建所述当前样本车载图像的下一相邻车载图像。
8.根据权利要求1所述的方法，其特征在于，所述样本车载图像包括样本车载单目图像；所述获取图像序列，包括：
通过车载单目相机采集多个样本车载单目图像；
按照所述多个样本车载单目图像分别对应的采集时间的先后顺序，生成所述图像序列。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
对目标车载图像进行道路元素检测，以从所述目标车载图像中识别出道路元素；
基于所述训练完成的深度预测网络，预测所述道路元素中各像素点的深度信息；
基于所述道路元素中各像素点的深度信息，生成所述道路元素的导航信息。
10.根据权利要求1至8中任一项所述的方法，其特征在于，所述目标车载图像是由设置于当前车辆上的车载相机采集得到；所述方法还包括：
对所述目标车载图像进行车辆检测，以从所述目标车载图像中识别出前方车辆所对应的图像区域；
获取所述图像区域中各像素点的深度信息；所述图像区域中各像素点的深度信息，是由所述训练完成的深度预测网络预测得到的；
基于所述图像区域中各像素点的深度信息，确定所述当前车辆与所述前方车辆之间的相对距离；
基于所述相对距离进行碰撞预警。
11.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：
对所述目标车载图像进行道路元素检测，以从所述目标车载图像中识别出道路元素；
获取所述道路元素中各像素点的深度信息；所述道路元素中各像素点的深度信息，是由所述训练完成的深度预测网络预测得到的；
基于所述道路元素中各像素点的深度信息，将所述道路元素写入车载导航地图中。
12.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取图像序列；所述图像序列中包括多个按顺采集的样本车载图像；
预测模块，用于将所述图像序列中的各样本车载图像分别作为当前样本车载图像，并将所述当前样本车载图像输入至待训练的深度预测网络，预测得到所述当前样本车载图像中各像素点的深度信息；
生成模块，用于基于所述深度信息，生成所述当前样本车载图像的当前三维点云；
所述获取模块还用于从车载位姿传感器中，获取基于所述当前样本车载图像和下一相邻样本车载图像确定的车辆位姿信息；
重构模块，用于基于所述当前三维点云和车辆位姿信息，重构所述当前样本车载图像的下一相邻车载图像；
训练模块，用于基于所述相邻样本车载图像与重构的相邻车载图像之间的差异，对所述深度预测网络训练；训练完成的深度预测网络，用于预测目标车载图像的像素深度。
13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202111548086.8A 2021-12-17 2021-12-17 图像处理方法、装置、设备、介质和计算机程序产品 Pending CN114119757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111548086.8A CN114119757A (zh) 2021-12-17 2021-12-17 图像处理方法、装置、设备、介质和计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111548086.8A CN114119757A (zh) 2021-12-17 2021-12-17 图像处理方法、装置、设备、介质和计算机程序产品

Publications (1)

Publication Number Publication Date
CN114119757A true CN114119757A (zh) 2022-03-01

Family

ID=80365462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111548086.8A Pending CN114119757A (zh) 2021-12-17 2021-12-17 图像处理方法、装置、设备、介质和计算机程序产品

Country Status (1)

Country Link
CN (1) CN114119757A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115457088A (zh) * 2022-10-31 2022-12-09 成都盛锴科技有限公司 一种列车定轴方法及***
CN115457088B (zh) * 2022-10-31 2023-03-24 成都盛锴科技有限公司 一种列车定轴方法及***

Similar Documents

Publication Publication Date Title
US10762359B2 (en) Computer aided traffic enforcement using dense correspondence estimation with multi-level metric learning and hierarchical matching
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112419494B (zh) 用于自动驾驶的障碍物检测、标记方法、设备及存储介质
CN113819890B (zh) 测距方法、装置、电子设备及存储介质
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN111488812B (zh) 障碍物位置识别方法、装置、计算机设备和存储介质
JP2022003508A (ja) 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
CN111709471B (zh) 对象检测模型的训练方法以及对象检测方法、装置
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN113256699B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115203352B (zh) 车道级定位方法、装置、计算机设备和存储介质
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
CN114802261A (zh) 泊车控制方法、障碍物识别模型训练方法、装置
CN116097307A (zh) 图像的处理方法及相关设备
CN104463962A (zh) 基于gps信息视频的三维场景重建方法
Li et al. Real-time tracking algorithm for aerial vehicles using improved convolutional neural network and transfer learning
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
CN114764870A (zh) 对象定位模型处理、对象定位方法、装置及计算机设备
CN114119757A (zh) 图像处理方法、装置、设备、介质和计算机程序产品
CN111767839B (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
CN113793251A (zh) 位姿确定方法、装置、电子设备和可读存储介质
CN116399360A (zh) 车辆路径规划方法
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination