CN114662592B - 车辆行驶控制方法、装置、存储介质、电子设备以及车辆 - Google Patents

车辆行驶控制方法、装置、存储介质、电子设备以及车辆 Download PDF

Info

Publication number
CN114662592B
CN114662592B CN202210289296.8A CN202210289296A CN114662592B CN 114662592 B CN114662592 B CN 114662592B CN 202210289296 A CN202210289296 A CN 202210289296A CN 114662592 B CN114662592 B CN 114662592B
Authority
CN
China
Prior art keywords
image
pixel
bayer image
bayer
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210289296.8A
Other languages
English (en)
Other versions
CN114662592A (zh
Inventor
黄彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210289296.8A priority Critical patent/CN114662592B/zh
Publication of CN114662592A publication Critical patent/CN114662592A/zh
Application granted granted Critical
Publication of CN114662592B publication Critical patent/CN114662592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种车辆行驶控制方法、装置、存储介质、电子设备以及车辆，涉及图像识别技术领域，该方法包括：获取车辆上的拍摄装置输出的第一拜耳图像；将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；根据所述目标检测结果控制所述车辆行驶。由此，通过将第一拜耳图像输入图像感知模型获得目标检测结果，相较于利用RGB图像，不仅可以减少图像信息的损失，提高图像目标检测的准确度，而且还省略了将第一拜耳图像转换为RGB图像的步骤，提高了图像目标检测的速度。

Description

车辆行驶控制方法、装置、存储介质、电子设备以及车辆
技术领域
本公开涉及图像识别技术领域，尤其涉及一种车辆行驶控制方法、装置、存储介质、电子设备以及车辆。
背景技术
基于视觉的自动驾驶方案需要对采集到的图像进行识别，包括识别图像中的物体的大小、类别以及位置等。其中，物体识别结果是决定车辆行驶车辆的重要因素，因此，如何准确识别图像中的物体是基于视觉的自动驾驶方案的一个重要问题。
发明内容
为克服相关技术中存在的问题，本公开提供一种车辆行驶控制方法、装置、存储介质、电子设备以及车辆。
根据本公开实施例的第一方面，提供一种车辆行驶控制方法，包括：
获取车辆上的拍摄装置输出的第一拜耳图像；
将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；
根据所述目标检测结果控制所述车辆行驶。
可选地，所述图像感知模型通过以下步骤获得：
获取车辆四周的环视拜耳图像样本，每一环视拜耳图像样本标记有第一目标检测框以及所述第一目标检测框所属类别；
根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像；
基于所述目标拼接图像对机器学习模型进行训练，获得训练好的图像感知模型。
可选地，所述根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像，包括：
基于所述拍摄装置对应的相机参数，构建拜耳格式的在鸟瞰视图下的预拼接图像；
基于所述环视拜耳图像样本中的绿色通道的像素值，确定所述环视拜耳图像样本中属于其他颜色通道的像素的绿色色值；
针对所述预拼接图像中每一属于绿色通道的第一目标像素，确定该第一目标像素映射在所述环视拜耳图像样本上的第一映射像素；以及
根据与所述第一映射像素相邻的像素的绿色色值，确定所述第一目标像素对应的绿色色值；
针对所述预拼接图像中属于红色通道和蓝色通道的每一个第二目标像素，确定该第二目标像素映射在所述环视拜耳图像样本上的第二映射像素的坐标信息；以及
根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素；
根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值；
将确定到每一像素的颜色色值的所述预拼接图像确定为所述目标拼接图像。
可选地，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于四个与所述第二目标像素属于同一颜色通道的第一像素的中间时，将四个所述第一像素确定为所述第三目标像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于四个所述第一像素所属的颜色通道对应的颜色色值与所述第一像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于两个与所述第二目标像素属于同一颜色通道的第二像素的中间时，将两个所述第二像素确定为所述第三目标像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于两个所述第二像素所属的颜色通道对应的颜色色值与所述第二像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于与所述第二目标像素属于同一颜色通道的第三像素上时，将所述第三像素以及第四像素确定为所述第三目标像素，其中，所述第四像素为与所述第三像素的距离在预设距离阈值内、且与所述第三像素属于同一颜色通道的像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于所述第三像素以及所述第四像素，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述图像感知模型的训练样本包括通过如下方式获得的：
获取标记有第二目标检测框以及所述第二目标检测框所属类别的拍摄图像；
根据所述拍摄装置的光学特性参数，将所述拍摄图像转换为第二拜耳图像，并将所述第二拜耳图像作为所述图像感知模型的训练样本。
可选地，所述图像感知模型的训练样本还包括通过如下方式获得的：
获取第三拜耳图像，其中，所述第三拜耳图像是所述拍摄装置在真实环境下输出的、且标记有第三目标检测框以及所述第三目标检测框所属类别的拜耳图像；
所述方法还包括：
基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
可选地，所述基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型，包括：
基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，其中，所述图像处理技术包括图像翻转、图像放大以及图像旋转中的一种；
对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像；
基于所述第三拜耳图像以及所述修正后的第四拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
可选地，所述基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，包括：
在所述图像处理技术为所述图像翻转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设翻转角度，翻转增加像素的第三拜耳图像，并在翻转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像旋转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设旋转角度，旋转增加像素的第三拜耳图像，并在旋转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像放大时，对所述第三拜耳图像进行图像增强处理，以使所述第三拜耳图像增强为四通道；对增强为四通道的第三拜耳图像进行放大，获得所述第四拜耳图像。
可选地，所述对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像，包括：
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像翻转而获得的时，根据所述预设翻转角度以及所述预设翻转角度对应的第一坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像；
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像旋转而获得的时，根据所述预设旋转角度以及所述预设旋转角度对应的第二坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像。
根据本公开实施例的第二方面，提供一种车辆行驶控制装置，包括：
获取模块，配置为获取车辆上的拍摄装置输出的第一拜耳图像；
输入模块，配置为将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；
控制模块，配置为根据所述目标检测结果控制所述车辆行驶。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的车辆行驶控制方法的步骤。
根据本公开实施例的第四方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中存储的可执行指令，以实现第一方面所述的车辆行驶控制方法。
根据本公开实施例的第五方面，提供一种车辆，所述车辆包括第二方面所述的车辆行驶控制装置。
本公开的实施例提供的技术方案可以包括以下有益效果：由于第一拜耳图像是拍摄装置的图像感应模块将捕捉到的光源信号转化为数字信号的原始图像数据，通过将第一拜耳图像输入图像感知模型获得目标检测结果，相较于利用RGB图像，不仅可以减少图像信息的损失，提高图像目标检测的准确度，而且还省略了将第一拜耳图像转换为RGB图像的步骤，提高了图像目标检测的速度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种车辆行驶控制方法的流程图。
图2是根据一示例性实施例示出的获得图像感知模型的流程图。
图3是图2所示步骤220的具体流程图。
图4是根据一示例性实施例示出的环视拜耳图像样本的示意图。
图5是根据一示例性实施例示出的像素坐标映射关系的原理示意图。
图6是根据一示例性实施例示出的第三目标像素的示意图。
图7是根据另一示例性实施例示出的第三目标像素的示意图。
图8是根据又一示例性实施例示出的第三目标像素的示意图。
图9是根据一示例性实施例示出的利用第三拜耳图像对图像感知模型进行调整的流程示意图。
图10是根据一示例性实施例示出的经过水平翻转获得的第四拜耳图像的示意图。
图11是根据一示例性实施例示出的经过垂直翻转获得的第四拜耳图像的示意图。
图12是根据一示例性实施例示出的经过90°旋转获得的第四拜耳图像的示意图。
图13是根据一示例性实施例示出的经过180°旋转获得的第四拜耳图像的示意图。
图14是根据一示例性实施例示出的经过270°旋转获得的第四拜耳图像的示意图。
图15是根据一示例性实施例示出四通道的第三拜耳图像的示意图。
图16是根据一示例性实施例示出的一种车辆行驶控制装置的框图。
图17是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种车辆行驶控制方法的流程图，如图1所示，该车辆行驶控制方法可以用于车辆中，包括以下步骤。
在步骤110中，获取车辆上的拍摄装置输出的第一拜耳图像。
这里，拍摄装置是设置在车辆上的用于采集车辆四周的环境图像的。例如，该拍摄装置可以是设置在车辆前后左右四个方向上的环视鱼眼相机。应当理解的是，在每个方向上设置的拍摄装置的个数可以根据实际情况选择。例如，在前后两个方向可以设置一个拍摄装置，也可以设置两个拍摄装置。
第一拜耳图像是拍摄装置输出的RAW格式(一种图像文件格式)的图像文件。该第一拜耳图像实际上是拍摄装置的图像感应模块将捕捉到的光源信号转化为数字信号的原始图像数据，其本质上是一个拜耳阵列。
在步骤120中，将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果。
这里，图像感知模型是利用训练样本对机器学习模型进行训练而获得的，该图像感知模型用于从第一拜耳图像中识别行人、车辆、车道线、交通标识等等目标。
作为一种示例，图像感知模型的训练样本可以是通过以下方式获得的：获取标记有第二目标检测框以及所述第二目标检测框所属类别的拍摄图像；根据所述拍摄装置的光学特性参数，将所述拍摄图像转换为第二拜耳图像，并将所述第二拜耳图像作为所述图像感知模型的训练样本。
其中，拍摄图像可以是从支持视觉感知的自动驾驶的开源数据库中下载的RGB(一种色彩模式)图像。在该拍摄图像上标记有第二目标检测框以及第二目标检测框所属类别。例如，对拍摄图像中的行人、车辆、车道线、交通标识等等图像区域标记第二目标检测框，并且标记该图像区域的类别。应当理解的是，第二目标检测框实际上是一个GT框(GroundTruth，真值)。
拍摄装置的光学特性参数可以包括拍摄装置的CCM矩阵(颜色校正矩阵)、LSC矩阵(Lens Shading Correction，阴影校正)、噪声特性以及模糊特性等。其中，针对不同类型的拍摄装置，均可以通过标定的方法获得拍摄装置的光学特性参数。
将拍摄图像转换为第二拜耳图像的具体过程如下：
对RGB格式的拍摄图像依次执行反色调映射(反Tone Mapping)、反伽马(反gamma)、利用CCM矩阵进行反颜色校正、马赛克(Mosaic)以及反白平衡的操作，获得模拟的拜耳图像。应当理解的是，获得模拟的拜耳图像实际上是对RGB格式的拍摄图像执行反向ISP(Image Signal Processing，图像信号处理)的操作。在获得模拟的拜耳图像之后，根据拍摄装置的噪声特性在模拟的拜耳图像上添加噪声，获得第二拜耳图像。
在一些实施方式中，可以根据噪声模型在模拟的拜耳图像上添加噪声。其中，该噪声模型为：
Figure BDA0003559504670000051
其中，σnoise(I)表示标定的噪声标准差，K表示所述噪声模型的修正参数，I表示当前像素强度，σdark表示噪声的高斯分量标准差。
应当理解的是，上述噪声模型实际上是泊松高斯模型，该噪声模型实际上表示了拍摄装置的噪声强度与拍摄装置增益效果和信号强度值之间的关系。
由此，通过将模拟生成的第二拜耳图像作为训练样本对图像感知模型进行训练，获得训练好的图像感知模型。后续将车辆上的拍摄装置实时输出的第一拜耳图像输入图像感知模型中，即可获得图像感知模型输出的目标检测结果。其中，目标检测结果是指在第一拜耳图像中检测到的目标的类别信息、目标的位置信息以及目标的大小信息等等。
由此，通过根据拍摄装置的光学特性参数生成模拟的第二拜耳图像，生成的第二拜耳图像接近于拍摄装置采集的RAW图像，而且无需重新进行数据采集和标注，从而节省获取训练样本的成本。
值得说明的是，在上述实施例中利用模拟生成的第二拜耳图像作为训练样本可以是在拍摄装置在真实环境下输出的拜耳图像的样本量不足的情况下进行的。当然，在拍摄装置在真实环境下输出的拜耳图像的样本量充足的情况下，也可以直接使用拍摄装置在真实环境下输出的拜耳图像作为训练样本。
应当理解的是，由于第一拜耳图像是拍摄装置直接输出的原始图像数据，未经过图像信号处理，而且第一拜耳图像中包含的图像数据与环境的信号强度之间具有线性关系，因此从第一拜耳图像中获得目标检测结果更加准确。
在步骤130中，根据所述目标检测结果控制所述车辆行驶。
这里，在获得目标检测结果之后，根据目标检测结果来确定控制车辆行驶的策略，进而根据该策略控制车辆进行行驶。例如，在获得行人、车辆、车道线、交通标识等等的目标检测结果后，可以根据行驶策略模型来确定对应的行驶策略。
由此，由于第一拜耳图像是拍摄装置的图像感应模块将捕捉到的光源信号转化为数字信号的原始图像数据，通过将第一拜耳图像输入图像感知模型获得目标检测结果，相较于利用RGB图像，不仅可以减少图像信息的损失，提高目标检测结果的准确度，而且还省略了将第一拜耳图像转换为RGB图像的步骤，提高了目标检测的速度。
在一些实施例中，根据不同的图像识别需求，输入图像感知模型中的图像可以是在鸟瞰视图(Bird Eye View，BEV)下的拼接图像。其中，该拼接图像是对车辆上的拍摄装置输出的第一拜耳图像进行拼接而获得的。因此，图像感知模型的训练样本也需要为在鸟瞰视图下的拼接图像。
图2是根据一示例性实施例示出的获得图像感知模型的流程图，如图2所示，在一些实施例中，可以通过以下步骤获得图像感知模型。
在步骤210中，获取车辆四周的环视拜耳图像样本，每一环视拜耳图像样本标记有第一目标检测框以及所述第一目标检测框所属类别。
这里，车辆四周的环视拜耳图像样本可以是通过设置在车辆前后左右四个方向上的拍摄装置获得的。应当理解的是，该环视拜耳图像样本可以是根据拍摄装置的光学特性参数，将拍摄图像转换为RAW格式的拜耳图像而获得的，其中，该拍摄图像上标记有第一目标检测框以及所述第一目标检测框所属类别。
值得说明的是，第一目标检测框以及第一目标检测框所属类别的相关含义与第二目标检测框和第二目标检测框所属类别的含义相同，在此不再赘述。
在步骤220中，根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像。
这里，在获得环视拜耳图像样本之后，可以根据拍摄装置的相机内外参数计算目标拼接图像与环视拜耳图像样本之间的像素坐标映射关系，进而根据该像素坐标映射关系将环视拜耳图像样本拼接为在鸟瞰视图下的目标拼接图像。
在步骤230中，基于所述目标拼接图像对机器学习模型进行训练，获得训练好的图像感知模型。
这里，在获得在鸟瞰视图下的目标拼接图像之后，将目标拼接图像作为训练样本，对机器学习模型进行训练，获得训练好的图像感知模型。其中，该机器学习模型可以是神经网络模型。
值得说明的是，在获得训练好的图像感知模型之后，可以将该图像感知模型部署在车辆上。在实际应用过程中，获取车辆上的拍摄装置输出的第一拜耳图像，根据该第一拜耳图像获得在鸟瞰视图下的拼接图像，进而将该拼接图像作为训练好的图像感知模型的输入，获得目标检测结果。
由此，通过利用在鸟瞰视图下的目标拼接图像对机器学习模型进行训练获得图像感知模型，可以使得图像感知模型同样适用于在鸟瞰视图下的目标检测。
图3是图2所示步骤220的具体流程图，如图3所示，在一些实施方式中，可以通过以下步骤获得目标拼接图像。
在步骤221中，基于所述拍摄装置对应的相机参数，构建拜耳格式的在鸟瞰视图下的预拼接图像。
这里，拍摄装置对应的相机参数是指拍摄装置的拍摄距离以及拍摄范围，根据该拍摄距离以及拍摄范围，结合车辆的长度以及宽度，构建拜耳格式的在鸟瞰视图下的预拼接图像。例如，设置在车辆上的前后两个方向上的拍摄装置分别采集25m范围内的图像、设置在车辆上的左右两个方向上的拍摄装置分别采集10m范围内的图像。则预拼接图像为20m*50m的尺寸。
应当理解的是，预拼接图像的拜耳格式与图像感知模型的训练样本的拜耳格式是一致的。例如，图像感知模型的训练样本的拜耳格式为RGGB的格式，则预拼接图像的拜耳格式也为RGGB的格式。
在步骤222中，基于所述环视拜耳图像样本中的绿色通道的像素值，确定所述环视拜耳图像样本中属于其他颜色通道的像素的绿色色值。
这里，环视拜耳图像样本可以是一种RGGB的拜耳阵列，在环视拜耳图像样本上的每个像素属于一个颜色通道，分别为绿色通道(G通道)、红色通道(R通道)和蓝色通道(B通道)。针对环视拜耳图像样本中属于R通道和B通道的像素，根据该环视拜耳图像样本中属于G通道的像素的像素值，计算得到属于R通道和B通道的像素对应的绿色色值。
图4是根据一示例性实施例示出的环视拜耳图像样本的示意图，如图4所示，G1、G2、G3、G4、G5、G6、G7、G8、G9、G10、G11、G12为环视拜耳图像样本中属于G通道的像素，g1、g2、g3、g4、g5、g6、g7、g8、g9、g10、g11、g12、g13为环视拜耳图像样本中属于R通道或B通道的像素。一般来说，g1、g2、g3、g4、g5、g6、g7、g8、g9、g10、g11、g12、g13包含该像素对应的颜色通道的像素值，并不包含属于G通道的绿色色值。
对于环视拜耳图像样本中属于R通道和B通道的像素，可以根据与该像素相邻的属于G通道的像素的绿色色值进行插值计算，获得该像素对应的绿色色值。
例如，针对像素g4，可以根据G1、G3、G4、G6对应的绿色色值计算得到像素g4对应的绿色色值。具体是可以通过如下计算式计算获得。
Figure BDA0003559504670000071
其中，g4表示像素g4的绿色色值，G1、G3、G4、G6表示与像素g4相邻的属于G通道的像素的绿色色值。
在步骤223中，针对所述预拼接图像中每一属于绿色通道的第一目标像素，确定该第一目标像素映射在所述环视拜耳图像样本上的第一映射像素。
这里，由于预拼接图像也是属于RGGB格式的拜耳图像，因此，在预拼接图像上的像素也分别属于G通道、R通道和B通道，但是，在预拼接图像上的像素对应的颜色通道的颜色色值是不确定的，因此需要将环视拜耳图像样本的颜色色值拼接到预拼接图像对应的像素上。
具体地，针对预拼接图像中每一属于G通道的第一目标像素，可以根据像素坐标映射关系，确定该第一目标像素映射在环视拜耳图像样本上的第一映射像素。
其中，像素坐标映射关系是根据拍摄装置的相机内外参数获得的预拼接图像的像素坐标与环视拜耳图像样本的像素坐标之间的映射关系。图5是根据一示例性实施例示出的像素坐标映射关系的原理示意图。如图5所示，当设置在车辆上的拍摄装置包括前后左右四个方向上的拍摄装置时，像素坐标映射关系是指在预拼接图像的坐标系中的像素，经过鸟瞰视图的世界坐标系和车辆的世界坐标系下的转换，得到该像素映射在前视拍摄装置的相机坐标系或后视拍摄装置的相机坐标系或左视拍摄装置的相机坐标系或右视拍摄装置的相机坐标系上的像素。
在步骤224中，根据与所述第一映射像素相邻的像素的绿色色值，确定所述第一目标像素对应的绿色色值。
这里，在确定到第一映射像素在环视拜耳图像样本上的坐标信息之后，根据与第一映射像素相邻的像素的绿色色值，确定第一目标像素对应的绿色色值。
其中，由于在步骤222中已经计算得到了环视拜耳图像样本上每一个像素的绿色色值，即使与第一映射像素相邻的像素不属于G通道，该与第一映射像素相邻的像素的绿色色值也是确定的。
在一些实施方式中，可以通过以下计算式计算得到第一目标像素对应的绿色色值。
Figure BDA0003559504670000081
Figure BDA0003559504670000082
其中，
Figure BDA0003559504670000083
表示预拼接图像中坐标为
Figure BDA0003559504670000084
的第一目标像素的绿色色值，(x,y)表示第一映射像素在环视拜耳图像样本上的坐标值，G(x,y-1)、G(x,y+1)、G(x-1,y)和G(x+1,y)分别表示与第一映射像素相邻的像素的绿色色值，remap表示像素坐标映射关系。
应当理解的是，上述计算式实际上是利用与第一映射像素相邻的像素的绿色色值进行插值计算获得属于G通道的第一目标像素对应的绿色色值。
在步骤225中，针对所述预拼接图像中属于红色通道和蓝色通道的每一个第二目标像素，确定该第二目标像素映射在所述环视拜耳图像样本上的第二映射像素的坐标信息。
这里，针对预拼接图像中属于R通道和B通道的每一个第二目标像素，均通过上述像素坐标映射关系确定第二目标像素映射在环视拜耳图像样本上的第二映射像素的坐标信息。
应当理解的是，不管第二目标像素是属于R通道或B通道的像素，其执行的步骤均是一致的。
在步骤226中，根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素。
这里，在确定到第三映射像素的坐标信息之后，根据该坐标信息在环视拜耳图像样本中确定第三目标像素。应当理解的是，根据不同的坐标信息，可以确定到不同的第三目标像素。
作为一种示例，在所述第二映射像素的坐标信息表征所述第二映射像素位于两个与所述第二目标像素属于同一颜色通道的第二像素的中间时，将两个所述第二像素确定为所述第三目标像素。
图6是根据一示例性实施例示出的第三目标像素的示意图。如图6所示，子图(a)为预拼接图像的局部示意图，子图(b)为环视拜耳图像样本的局部示意图。在预拼接图像中，根据像素坐标映射关系，属于R通道的第二目标像素60映射在环视拜耳图像样本上的像素为第二映射像素61。由于第二映射像素61位于与第二目标像素同属于R通道的第一像素R1、R2、R3和R4的中间。因此，将R1、R2、R3和R4四个第一像素确定为第三目标像素。
应当理解的是，在上述示例中以属于R通道的第二目标像素进行举例说明，当第二目标像素为B通道的像素时，其确定第三目标像素的方法是一致的，在此不再赘述。
作为另一种示例，在所述第二映射像素的坐标信息表征所述第二映射像素位于两个与所述第二目标像素属于同一颜色通道的第二像素的中间时，将两个所述第二像素确定为所述第三目标像素。
图7是根据另一示例性实施例示出的第三目标像素的示意图。如图7所示，子图(a)为预拼接图像的局部示意图，子图(b)为环视拜耳图像样本的局部示意图。在预拼接图像中，根据像素坐标映射关系，属于R通道的第二目标像素70映射在环视拜耳图像样本上的像素为第二映射像素71。由于第二映射像素71位于与第二目标像素同属于R通道的第二像素R2和R4的中间。因此，将R2和R4两个第二像素确定为第三目标像素。
应当理解的是，在上述示例中以属于R通道的第二目标像素进行举例说明，当第二目标像素为B通道的像素时，其确定第三目标像素的方法是一致的，在此不再赘述。
作为又一种示例，在所述第二映射像素的坐标信息表征所述第二映射像素位于与所述第二目标像素属于同一颜色通道的第三像素上时，将所述第三像素以及第四像素确定为所述第三目标像素，其中，所述第四像素为与所述第三像素的距离在预设距离阈值内、且与所述第三像素属于同一颜色通道的像素。
图8是根据又一示例性实施例示出的第三目标像素的示意图。如图8所示，子图(a)为预拼接图像的局部示意图，子图(b)为环视拜耳图像样本的局部示意图。在预拼接图像中，根据像素坐标映射关系，属于R通道的第二目标像素80映射在环视拜耳图像样本上的像素为第二映射像素81。由于第二映射像素81是与第二目标像素80同属于R通道的第三像素R2。因此，将第三像素R2和与第三像素R2同属于R通道且与第三像素的距离在预设距离阈值内的第四像素R1、R3和R4确定为第三目标像素。
其中，预设距离阈值可以是根据第二映射像素在预拼接图像的位置信息确定的。例如，在第二映射像素位于预拼接图像的左半边时，将在第三像素左半边、且与第三像素间隔一个像素距离以及与第三像素属于同一颜色通道的第四像素确定为第三目标像素。值得说明的是，该预设距离阈值可以具有正负之分，以反映第四像素在第三像素的左侧或右侧。
应当理解的是，在上述示例中以属于R通道的第二目标像素进行举例说明，当第二目标像素为B通道的像素时，其确定第三目标像素的方法是一致的，在此不再赘述。
在步骤227中，根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
这里，在获得第三目标像素之后，根据在环视拜耳图像样本中的第三目标像素的颜色色值，计算得到在预拼接图像上的第二目标像素所属的颜色通道对应的颜色色值。
例如，当第二目标像素为R通道的像素时，根据在环视拜耳图像样本中的第三目标像素的颜色色值进行插值计算，获得第二目标像素的R通道的红色色值。当第二目标像素为B通道的像素时，根据在环视拜耳图像样本中的第三目标像素的颜色色值进行插值计算，获得属于B通道的第二目标像素红色色值。
作为一种示例，在所述第三目标像素为四个所述第一像素时，基于四个所述第一像素所属的颜色通道对应的颜色色值与所述第一像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
下面以计算属于R通道的第三目标像素的红色色值进行说明，对于属于B通道的第三目标像素的蓝色色值，其计算方法是一致的。在一些示例中，可以通过以下计算式计算得到属于R通道的第三目标像素的红色色值。
Figure BDA0003559504670000091
Figure BDA0003559504670000101
其中，
Figure BDA0003559504670000102
表示在预拼接图像中坐标为
Figure BDA0003559504670000103
的属于R通道的第二目标像素的红色色值，remap表示像素坐标映射关系，(x,y)表示第二映射像素在环视拜耳图像样本中的坐标信息，G(floor(x),floor(y))表示在环视拜耳图像样本中坐标为(floor(x),floor(y))的像素的绿色色值，G(floor(x)-1,floor(y)-1)、G(floor(x)-1,floor(y)+1)、G(floor(x)+1,floory-1和Gfloorx+1,floory+1分别表示对应的第一像素的绿色色值，R(floor(x)-1,floor(y)-1)、R(floor(x)-1,floor(y)+1)、R(floor(x)+1,floor(y)-1)和R(floor(x)+1,floor(y)+1)分别表示属于R通道的第一像素的红色色值。
作为又一种示例，在所述第三目标像素为两个所述第二像素时，基于两个所述第二像素所属的颜色通道对应的颜色色值与所述第二像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
下面以计算属于R通道的第三目标像素的红色色值进行说明，对于属于B通道的第三目标像素的蓝色色值，其计算方法是一致的。在一些示例中，可以通过以下计算式计算得到属于R通道的第三目标像素的红色色值。
Figure BDA0003559504670000104
Figure BDA0003559504670000105
其中，
Figure BDA0003559504670000106
表示在预拼接图像中坐标为
Figure BDA0003559504670000107
的属于R通道的第二目标像素的红色色值，remap表示像素坐标映射关系，(x,y)表示第二映射像素在环视拜耳图像样本中的坐标信息，G(floor(x),floor(y))表示在环视拜耳图像样本中坐标为(floor(x),floor(y))的像素的绿色色值，G(floor(x),floor(y)-1)和G(floor(x),floor(y)-1)分别表示对应的第二像素的绿色色值，R(floor(x),floor(y)-1)和R(floor(x),floor(y)-1)分别表示属于R通道的第二像素的红色色值。
作为另一种示例，在所述第三目标像素为所述第三像素以及所述第四像素时，基于所述第三像素以及所述第四像素，确定所述第二目标像素所属的颜色通道对应的颜色色值。
如图8所示，第三像素为R2，第四像素为R1、R3和R4。则第二目标像素所属的R通道的红色色值可以通过以下计算式计算得到。
Figure BDA0003559504670000108
其中，
Figure BDA0003559504670000109
表示在预拼接图像中坐标为
Figure BDA00035595046700001010
的属于R通道的第二目标像素的红色色值，R2为第三像素的红色色值，R1、R3和R4为对应的第四像素的红色色值，w1、w2、w3和w4为权重值。其中，w1、w2、w3和w4为常数，w1、w2、w3和w4的值的大小可以根据实际情况设置。
应当理解的是，上述示例中，以计算属于R通道的第三目标像素的红色色值进行举例说明，对于属于B通道的第三目标像素的蓝色色值，其计算方法是一致的。
在步骤228中，将确定到每一像素的颜色色值的所述预拼接图像确定为所述目标拼接图像。
这里，在计算到预拼接图像中每一像素的对应的颜色色值之后，将该预拼接图像确定为目标拼接图像。
应当理解的是，上述步骤223和步骤225可以是同时进行的，即计算预拼接图像中属于G通道的像素的绿色色值与计算预拼接图像中属于R通道的像素的红色色值与计算预拼接图像中属于B通道的像素的蓝色色值是可以同步进行的。
由此，通过根据环视拜耳图像样本中的像素的绿色色值，辅助计算目标拼接图像上的R通道和B通道的像素的颜色色值，可以准确将环视拜耳图像样本的颜色色值映射在目标拼接图像中。
值得说明的是，根据第一拜耳图像获得在鸟瞰视图下的拼接图像是方法与根据环视拜耳图像样本获得目标拼接图像的方法是一致的，在此不再详细说明。
在一些实施例中，利用第二拜耳图像训练得到的图像感知模型实际上是一个初步训练的图像感知模型，为了进一步提高图像感知模型的准确度。可以获取第三拜耳图像，其中，所述第三拜耳图像是所述拍摄装置在真实环境下输出的、且标记有第三目标检测框以及所述第三目标检测框所属类别的拜耳图像；并基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
这里，第三拜耳图像可以是拍摄装置在真实环境下输出的RAW图像。由于第三拜耳图像是一种拜耳阵列，不便于进行标注。可以通过本地的图像信号处理工具，将第三拜耳图像转换为可视化的RGB图像。在RGB图像中利用第三目标检测框标记各个图像区域中的目标的图像位置以及标记第三检测框所属类别。由于第三拜耳图像的像素与RGB图像的像素具有对应关系，因此，可以将在RGB图像上标记的第三目标检测框以及第三目标检测框所属类别映射在第三拜耳图像上，获得具有标注信息的第三拜耳图像。
其中，将第三拜耳图像转换为可视化的RGB图像实际上是对第三拜耳图像进行ISP处理。具体流程可以是：对第三拜耳图像依次执行线性化、黑电平校正、去暗角、数字增益、去噪声、白平衡、颜色插值、颜色校正、伽马处理、色调映射、去噪以及锐化处理，将第三拜耳图像转换为可视化的RGB图像。
应当理解的是，将第三拜耳图像转换为可视化的RGB图像可以根据不同类型的拍摄装置的图像感知模块选择不同的ISP处理流程。
在获得第三拜耳图像之后，将第三拜耳图像作为训练样本对利用第二拜耳图像训练得到的图像感知模型中的参数进行调整，获得调整后的图像感知模型。
由此，经过第三拜耳图像进行调整的图像感知模型，其目标检测的准确度更高。
图9是根据一示例性实施例示出的利用第三拜耳图像对图像感知模型进行调整的流程示意图。如图9所示，在一些实施例中，可以通过以下步骤对图像感知模型进行调整。
在步骤910中，基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，其中，所述图像处理技术包括图像翻转、图像放大以及图像旋转中的一种。
这里，利用图像处理技术对第三拜耳图像进行处理实际上是将第三拜耳图像转换为第四拜耳图像，以提高用于训练图像感知模型的训练样本的样本量。其中，图像翻转、图像放大以及图像旋转中的一种。例如，可以对第三拜耳图像进行图像翻转处理，获得第四拜耳图像。又例如，可以对第三拜耳图像进行图像放大处理，获得第四拜耳图像。还例如，可以对第三拜耳图像进行图像旋转处理，获得第四拜耳图像。
应当理解的是，利用图像处理技术对第三拜耳图像进行处理并改变图像的格式，第四拜耳图像与第三拜耳图像均属于RAW格式的图像。
作为一种示例，在所述图像处理技术为所述图像翻转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设翻转角度，翻转增加像素的第三拜耳图像，并在翻转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像。
图10是根据一示例性实施例示出的经过水平翻转获得的第四拜耳图像的示意图。如图10所示，图10中的子图(a)为第三拜耳图像，子图(b)为增加至少一列以及至少一行像素的第三拜耳图像，子图(c)为进行水平翻转后的第三拜耳图像，子图(d)为第四拜耳图像。
图11是根据一示例性实施例示出的经过垂直翻转获得的第四拜耳图像的示意图。如图11所示，图11中的子图(a)为第三拜耳图像，子图(b)为增加至少一列以及至少一行像素的第三拜耳图像，子图(c)为进行垂直翻转后的第三拜耳图像，子图(d)为第四拜耳图像。
其中，在第三拜耳图像的边界处增加至少一列以及至少一行像素可以是在原始的第三拜耳图像的右边界以及底边上增加至少一列以及至少一行像素，以使增加像素的第三拜耳图像的行列变为奇数行和奇数列。应当理解的是，通过增加像素行和像素列，可以使得翻转后的第四拜耳图像的格式与第三拜耳图像的格式保持一致。例如，第三拜耳图像的格式为RGGB格式，通过增加像素行和像素列，翻转后的第三拜耳图像的格式也为RGGB格式。
在翻转增加像素的第三拜耳图像之后，在翻转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像。例如，若在原始的第三拜耳图像的右边界以及底边上增加至少一列以及至少一行像素，则在翻转后的第三拜耳图像对应的右边界以及底边上裁切至少一列以及至少一行像素。
值得说明的是，增加的像素行以及像素列可以是对相反边界上的像素行和像素列进行镜像而获得的。
作为又一种示例，在所述图像处理技术为所述图像旋转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设旋转角度，旋转增加像素的第三拜耳图像，并在旋转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像。
图12是根据一示例性实施例示出的经过90°旋转获得的第四拜耳图像的示意图。如图12所示，图12中的子图(a)为第三拜耳图像，子图(b)为增加至少一列以及至少一行像素的第三拜耳图像，子图(c)为进行90°旋转后的第三拜耳图像，子图(d)为第四拜耳图像。
图13是根据一示例性实施例示出的经过180°旋转获得的第四拜耳图像的示意图。如图13所示，图13中的子图(a)为第三拜耳图像，子图(b)为增加至少一列以及至少一行像素的第三拜耳图像，子图(c)为进行180°旋转后的第三拜耳图像，子图(d)为第四拜耳图像。
图14是根据一示例性实施例示出的经过270°旋转获得的第四拜耳图像的示意图。如图14所示，图14中的子图(a)为第三拜耳图像，子图(b)为增加至少一列以及至少一行像素的第三拜耳图像，子图(c)为进行270°旋转后的第三拜耳图像，子图(d)为第四拜耳图像。
其中，在第三拜耳图像的边界处增加至少一列以及至少一行像素可以是在原始的第三拜耳图像的右边界以及底边上增加至少一列以及至少一行像素，以使增加像素的第三拜耳图像的行列变为奇数行和奇数列。应当理解的是，通过增加像素行和像素列，可以使得旋转后的第四拜耳图像的格式与第三拜耳图像的格式保持一致。例如，第三拜耳图像的格式为RGGB格式，通过增加像素行和像素列，旋转后的第三拜耳图像的格式也为RGGB格式。若未经过增加像素行，RGGB格式的第三拜耳图像，经过90°旋转之后，会变为GRBG格式。
在旋转增加像素的第三拜耳图像之后，在旋转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像。例如，若在原始的第三拜耳图像的右边界以及底边上增加至少一列以及至少一行像素，则在旋转后的第三拜耳图像对应的右边界以及底边上裁切至少一列以及至少一行像素。
作为另一种示例，在所述图像处理技术为所述图像放大时，对所述第三拜耳图像进行图像增强处理，以使所述第三拜耳图像增强为四通道；对增强为四通道的第三拜耳图像进行放大，获得所述第四拜耳图像。
图15是根据一示例性实施例示出四通道的第三拜耳图像的示意图。如图15所示，图15中的子图(a)为第三拜耳图像，子图(b)为增强为四通道的第三拜耳图像的局部示意图。
其中，通过将对所述第三拜耳图像进行图像增强处理，以使所述第三拜耳图像增强为四通道，并对增强为四通道的第三拜耳图像进行无损放大。可以避免直接混淆第三拜耳图像中不同颜色的信号值。
在步骤920中，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像。
这里，由于第四拜耳图像是经过图像处理技术处理得到的，因此，第四拜耳图像中的第三目标检测框的位置会发生变化，因此，需要对第四拜耳图像中的第三目标检测框的坐标进行修正。
作为一种示例，在所述第四拜耳图像是对所述第三拜耳图像进行所述图像翻转而获得的时，根据所述预设翻转角度以及所述预设翻转角度对应的第一坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像。
如图10所示，在第三目标检测框是以坐标形式标注时，经过水平翻转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000131
其中，
Figure BDA0003559504670000132
表示第四拜耳图像中的第三目标检测框的坐标，Hflip表示水平翻转，(x,y)表示第三拜耳图像中的第三目标检测框的坐标，(1,0)表示水平翻转对应的第一坐标修正值。
如图10所示，在第三目标检测框是以像素区域形式(例如通过mask图像标注工具进行标注)进行标注时，经过水平翻转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000133
其中，
Figure BDA0003559504670000134
表示第四拜耳图像中的第三目标检测框的像素区域坐标，Hflip表示水平翻转，(mask)表示第三拜耳图像中的第三目标检测框的像素区域坐标，(x-1,y)表示水平翻转对应的第一坐标修正值。
如图11所示，在第三目标检测框是以坐标形式进行标注时，经过垂直翻转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000135
其中，
Figure BDA0003559504670000136
表示第四拜耳图像中的第三目标检测框的坐标，Vflip表示垂直翻转，(x,y)表示第三拜耳图像中的第三目标检测框的坐标，(0,1)表示垂直翻转对应的第一坐标修正值。
如图11所示，在第三目标检测框是以像素区域形式(例如通过mask图像标注工具进行标注)进行标注时，经过垂直翻转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000141
其中，
Figure BDA0003559504670000142
表示第四拜耳图像中的第三目标检测框的像素区域坐标，Vflip表示垂直翻转，(mask)表示第三拜耳图像中的第三目标检测框的像素区域坐标，(x,y-1)表示垂直翻转对应的第一坐标修正值。
作为另一种示例，在所述第四拜耳图像是对所述第三拜耳图像进行所述图像旋转而获得的时，根据所述预设旋转角度以及所述预设旋转角度对应的第二坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像。
如图12所示，在第三目标检测框是以坐标形式标注时，经过90°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000143
其中，
Figure BDA0003559504670000144
表示第四拜耳图像中的第三目标检测框的坐标，Rot90表示90°旋转，(x,y)表示第三拜耳图像中的第三目标检测框的坐标，(1,0)表示90°旋转对应的第二坐标修正值。
如图12所示，在第三目标检测框是以像素区域形式(例如通过mask图像标注工具进行标注)进行标注时，经过90°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000145
其中，
Figure BDA0003559504670000146
表示第四拜耳图像中的第三目标检测框的像素区域坐标，Rot90表示90°旋转，(mask)表示第三拜耳图像中的第三目标检测框的像素区域坐标，(x-1,y)表示90°旋转对应的第二坐标修正值。
如图13所示，在第三目标检测框是以坐标形式标注时，经过180°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000147
其中，
Figure BDA0003559504670000148
表示第四拜耳图像中的第三目标检测框的坐标，Rot180表示180°旋转，(x,y)表示第三拜耳图像中的第三目标检测框的坐标，(1,1)表示180°旋转对应的第二坐标修正值。
如图13所示，在第三目标检测框是以像素区域形式(例如通过mask图像标注工具进行标注)进行标注时，经过180°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000149
其中，
Figure BDA00035595046700001410
表示第四拜耳图像中的第三目标检测框的像素区域坐标，Rot180表示180°旋转，(mask)表示第三拜耳图像中的第三目标检测框的像素区域坐标，(x-1,y-1)表示180°旋转对应的第二坐标修正值。
如图14所示，在第三目标检测框是以坐标形式标注时，经过180°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA00035595046700001411
其中，
Figure BDA00035595046700001412
表示第四拜耳图像中的第三目标检测框的坐标，Rot270表示270°旋转，(x,y)表示第三拜耳图像中的第三目标检测框的坐标，(0,1)表示270°旋转对应的第二坐标修正值。
如图14所示，在第三目标检测框是以像素区域形式(例如通过mask图像标注工具进行标注)进行标注时，经过270°旋转获得的第四拜耳图像中的第三目标检测框的坐标可以通过以下计算式计算得到：
Figure BDA0003559504670000151
其中，
Figure BDA0003559504670000152
表示第四拜耳图像中的第三目标检测框的像素区域坐标，Rot270表示270°旋转，(mask)表示第三拜耳图像中的第三目标检测框的像素区域坐标，(x,y-1)表示270°旋转对应的第二坐标修正值。
值得说明的是，在第四拜耳图像是经过图像放大获得的情况下，无需进行坐标修正，直接将四通道的第三拜耳图像进行无损放大即可，第三目标检测框的位置不会发生偏移。
在步骤930中，基于所述第三拜耳图像以及所述修正后的第四拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
这里，在获得修正后的第四拜耳图像之后，将第三拜耳图像以及修正后的第四拜耳图像作为训练样本，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。其中，调整后的图像感知模型部署在车辆上，用于基于视觉感知的自动驾驶方案的目标检测。
由此，通过图像处理技术对第三拜耳图像进行处理，可以获得更多用于训练图像感知模型的训练样本，降低了重新获取训练样本的成本。
图16是根据一示例性实施例示出的一种车辆行驶控制装置的框图。参照图16，该装置1600包括：
获取模块1601，配置为获取车辆上的拍摄装置输出的第一拜耳图像；
输入模块1602，配置为将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；
控制模块1603，配置为根据所述目标检测结果控制所述车辆行驶。
可选地，所述输入模块1602包括：
样本获取单元，配置为获取车辆四周的环视拜耳图像样本，每一环视拜耳图像样本标记有第一目标检测框以及所述第一目标检测框所属类别；
图像拼接单元，配置为根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像；
训练单元，配置为基于所述目标拼接图像对机器学习模型进行训练，获得训练好的图像感知模型。
可选地，所述图像拼接单元包括：
图像构建单元，配置为基于所述拍摄装置对应的相机参数，构建拜耳格式的在鸟瞰视图下的预拼接图像；
第一计算单元，配置为基于所述环视拜耳图像样本中的绿色通道的像素值，确定所述环视拜耳图像样本中属于其他颜色通道的像素的绿色色值；
第一坐标确定单元，配置为针对所述预拼接图像中每一属于绿色通道的第一目标像素，确定该第一目标像素映射在所述环视拜耳图像样本上的第一映射像素；以及
第二计算单元，配置为根据与所述第一映射像素相邻的像素的绿色色值，确定所述第一目标像素对应的绿色色值；
第二坐标确定单元，配置为针对所述预拼接图像中属于红色通道和蓝色通道的每一个第二目标像素，确定该第二目标像素映射在所述环视拜耳图像样本上的第二映射像素的坐标信息；以及
目标像素确定单元，配置为根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素；
第三计算单元，配置为根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值；
图像确定单元，配置为将确定到每一像素的颜色色值的所述预拼接图像确定为所述目标拼接图像。
可选地，所述目标像素确定单元具体配置为：
在所述第二映射像素的坐标信息表征所述第二映射像素位于四个与所述第二目标像素属于同一颜色通道的第一像素的中间时，将四个所述第一像素确定为所述第三目标像素；
所述第三计算单元具体配置为：
基于四个所述第一像素所属的颜色通道对应的颜色色值与所述第一像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述目标像素确定单元具体配置为：
在所述第二映射像素的坐标信息表征所述第二映射像素位于两个与所述第二目标像素属于同一颜色通道的第二像素的中间时，将两个所述第二像素确定为所述第三目标像素；
所述第三计算单元具体配置为：
基于两个所述第二像素所属的颜色通道对应的颜色色值与所述第二像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述目标像素确定单元具体配置为：
在所述第二映射像素的坐标信息表征所述第二映射像素位于与所述第二目标像素属于同一颜色通道的第三像素上时，将所述第三像素以及第四像素确定为所述第三目标像素，其中，所述第四像素为与所述第三像素的距离在预设距离阈值内、且与所述第三像素属于同一颜色通道的像素；
所述第三计算单元具体配置为：
基于所述第三像素以及所述第四像素，确定所述第二目标像素所属的颜色通道对应的颜色色值。
可选地，所述输入模块1602包括：
第一图像获取单元，配置为获取标记有第二目标检测框以及所述第二目标检测框所属类别的拍摄图像；
转换单元，配置为根据所述拍摄装置的光学特性参数，将所述拍摄图像转换为第二拜耳图像，并将所述第二拜耳图像作为所述图像感知模型的训练样本。
可选地，所述输入模块1602还包括：
第二图像获取单元，配置为获取第三拜耳图像，其中，所述第三拜耳图像是所述拍摄装置在真实环境下输出的、且标记有第三目标检测框以及所述第三目标检测框所属类别的拜耳图像；
所述装置1600还包括：
调整模块，配置为基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
可选地，所述调整模块包括：
图像处理单元，配置为基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，其中，所述图像处理技术包括图像翻转、图像放大以及图像旋转中的一种；
修正单元，配置为对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像；
模型调整单元，配置为基于所述第三拜耳图像以及所述修正后的第四拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
可选地，所述图像处理单元具体配置为：
在所述图像处理技术为所述图像翻转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设翻转角度，翻转增加像素的第三拜耳图像，并在翻转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像旋转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设旋转角度，旋转增加像素的第三拜耳图像，并在旋转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像放大时，对所述第三拜耳图像进行图像增强处理，以使所述第三拜耳图像增强为四通道；对增强为四通道的第三拜耳图像进行放大，获得所述第四拜耳图像。
可选地，所述修正单元具体配置为：
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像翻转而获得的时，根据所述预设翻转角度以及所述预设翻转角度对应的第一坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像；
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像旋转而获得的时，根据所述预设旋转角度以及所述预设旋转角度对应的第二坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像。
关于上述实施例中的装置1600，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的车辆行驶控制方法的步骤。
本公开还提供一种车辆，该车辆包括上述的车辆行驶控制装置。
图17是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图17，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，通信组件816以及拍摄装置(图17中未示出)。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的车辆行驶控制方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，图像样本等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理***，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述车辆行驶控制方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述车辆行驶控制方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车辆行驶控制方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (13)

1.一种车辆行驶控制方法，其特征在于，包括：
获取车辆上的拍摄装置输出的第一拜耳图像；
将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；
根据所述目标检测结果控制所述车辆行驶；
所述图像感知模型通过以下步骤获得：
获取车辆四周的环视拜耳图像样本，每一环视拜耳图像样本标记有第一目标检测框以及所述第一目标检测框所属类别；
根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像；
基于所述目标拼接图像对机器学习模型进行训练，获得训练好的图像感知模型；
所述根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像，包括：
基于所述拍摄装置对应的相机参数，构建拜耳格式的在鸟瞰视图下的预拼接图像；
基于所述环视拜耳图像样本中的绿色通道的像素值，确定所述环视拜耳图像样本中属于其他颜色通道的像素的绿色色值；
针对所述预拼接图像中每一属于绿色通道的第一目标像素，确定该第一目标像素映射在所述环视拜耳图像样本上的第一映射像素；以及
根据与所述第一映射像素相邻的像素的绿色色值，确定所述第一目标像素对应的绿色色值；
针对所述预拼接图像中属于红色通道和蓝色通道的每一个第二目标像素，确定该第二目标像素映射在所述环视拜耳图像样本上的第二映射像素的坐标信息；以及
根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素；
根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值；
将确定到每一像素的颜色色值的所述预拼接图像确定为所述目标拼接图像。
2.根据权利要求1所述的车辆行驶控制方法，其特征在于，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于四个与所述第二目标像素属于同一颜色通道的第一像素的中间时，将四个所述第一像素确定为所述第三目标像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于四个所述第一像素所属的颜色通道对应的颜色色值与所述第一像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
3.根据权利要求1所述的车辆行驶控制方法，其特征在于，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于两个与所述第二目标像素属于同一颜色通道的第二像素的中间时，将两个所述第二像素确定为所述第三目标像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于两个所述第二像素所属的颜色通道对应的颜色色值与所述第二像素的绿色色值之间的差值，确定所述第二目标像素所属的颜色通道对应的颜色色值。
4.根据权利要求1所述的车辆行驶控制方法，其特征在于，所述根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素，包括：
在所述第二映射像素的坐标信息表征所述第二映射像素位于与所述第二目标像素属于同一颜色通道的第三像素上时，将所述第三像素以及第四像素确定为所述第三目标像素，其中，所述第四像素为与所述第三像素的距离在预设距离阈值内、且与所述第三像素属于同一颜色通道的像素；
所述根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值，包括：
基于所述第三像素以及所述第四像素，确定所述第二目标像素所属的颜色通道对应的颜色色值。
5.根据权利要求1所述的车辆行驶控制方法，其特征在于，所述图像感知模型的训练样本包括通过如下方式获得的：
获取标记有第二目标检测框以及所述第二目标检测框所属类别的拍摄图像；
根据所述拍摄装置的光学特性参数，将所述拍摄图像转换为第二拜耳图像，并将所述第二拜耳图像作为所述图像感知模型的训练样本。
6.根据权利要求5所述的车辆行驶控制方法，其特征在于，所述图像感知模型的训练样本还包括通过如下方式获得的：
获取第三拜耳图像，其中，所述第三拜耳图像是所述拍摄装置在真实环境下输出的、且标记有第三目标检测框以及所述第三目标检测框所属类别的拜耳图像；
所述方法还包括：
基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
7.根据权利要求6所述的车辆行驶控制方法，其特征在于，所述基于所述第三拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型，包括：
基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，其中，所述图像处理技术包括图像翻转、图像放大以及图像旋转中的一种；
对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像；
基于所述第三拜耳图像以及所述修正后的第四拜耳图像，对利用所述第二拜耳图像训练得到的图像感知模型进行调整，获得调整后的图像感知模型。
8.根据权利要求7所述的车辆行驶控制方法，其特征在于，所述基于图像处理技术对所述第三拜耳图像进行处理，获得第四拜耳图像，包括：
在所述图像处理技术为所述图像翻转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设翻转角度，翻转增加像素的第三拜耳图像，并在翻转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像旋转时，在所述第三拜耳图像的边界处增加至少一列以及至少一行像素；根据预设旋转角度，旋转增加像素的第三拜耳图像，并在旋转后的第三拜耳图像对应的边界处裁切增加的像素行以及像素列，获得所述第四拜耳图像；
或者，
在所述图像处理技术为所述图像放大时，对所述第三拜耳图像进行图像增强处理，以使所述第三拜耳图像增强为四通道；对增强为四通道的第三拜耳图像进行放大，获得所述第四拜耳图像。
9.根据权利要求8所述的车辆行驶控制方法，其特征在于，所述对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得修正后的第四拜耳图像，包括：
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像翻转而获得的时，根据所述预设翻转角度以及所述预设翻转角度对应的第一坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像；
在所述第四拜耳图像是对所述第三拜耳图像进行所述图像旋转而获得的时，根据所述预设旋转角度以及所述预设旋转角度对应的第二坐标修正值，对所述第四拜耳图像中的第三目标检测框的坐标进行修正，获得所述修正后的第四拜耳图像。
10.一种车辆行驶控制装置，其特征在于，包括：
获取模块，配置为获取车辆上的拍摄装置输出的第一拜耳图像；
输入模块，配置为将所述第一拜耳图像输入图像感知模型，得到所述图像感知模型输出的目标检测结果；
控制模块，配置为根据所述目标检测结果控制所述车辆行驶；
所述输入模块包括：
样本获取单元，配置为获取车辆四周的环视拜耳图像样本，每一环视拜耳图像样本标记有第一目标检测框以及所述第一目标检测框所属类别；
图像拼接单元，配置为根据所述环视拜耳图像样本，获得在鸟瞰视图下的目标拼接图像；
训练单元，配置为基于所述目标拼接图像对机器学习模型进行训练，获得训练好的图像感知模型；
所述图像拼接单元包括：
图像构建单元，配置为基于所述拍摄装置对应的相机参数，构建拜耳格式的在鸟瞰视图下的预拼接图像；
第一计算单元，配置为基于所述环视拜耳图像样本中的绿色通道的像素值，确定所述环视拜耳图像样本中属于其他颜色通道的像素的绿色色值；
第一坐标确定单元，配置为针对所述预拼接图像中每一属于绿色通道的第一目标像素，确定该第一目标像素映射在所述环视拜耳图像样本上的第一映射像素；
第二计算单元，配置为根据与所述第一映射像素相邻的像素的绿色色值，确定所述第一目标像素对应的绿色色值；
第二坐标确定单元，配置为针对所述预拼接图像中属于红色通道和蓝色通道的每一个第二目标像素，确定该第二目标像素映射在所述环视拜耳图像样本上的第二映射像素的坐标信息；
目标像素确定单元，配置为根据所述第二映射像素的坐标信息，在所述环视拜耳图像样本中确定第三目标像素；
第三计算单元，配置为根据所述第三目标像素的颜色色值，确定所述第二目标像素所属的颜色通道对应的颜色色值；
图像确定单元，配置为将确定到每一像素的颜色色值的所述预拼接图像确定为所述目标拼接图像。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述存储器中存储的可执行指令，以实现如权利要求1-9中任一项所述的车辆行驶控制方法。
12.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-9中任一项所述的车辆行驶控制方法的步骤。
13.一种车辆，其特征在于，所述车辆包括如权利要求10所述的车辆行驶控制装置。
CN202210289296.8A 2022-03-22 2022-03-22 车辆行驶控制方法、装置、存储介质、电子设备以及车辆 Active CN114662592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210289296.8A CN114662592B (zh) 2022-03-22 2022-03-22 车辆行驶控制方法、装置、存储介质、电子设备以及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210289296.8A CN114662592B (zh) 2022-03-22 2022-03-22 车辆行驶控制方法、装置、存储介质、电子设备以及车辆

Publications (2)

Publication Number Publication Date
CN114662592A CN114662592A (zh) 2022-06-24
CN114662592B true CN114662592B (zh) 2023-04-07

Family

ID=82031714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210289296.8A Active CN114662592B (zh) 2022-03-22 2022-03-22 车辆行驶控制方法、装置、存储介质、电子设备以及车辆

Country Status (1)

Country Link
CN (1) CN114662592B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381102A (zh) * 2020-12-01 2021-02-19 影石创新科技股份有限公司 一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备
WO2021115179A1 (zh) * 2019-12-13 2021-06-17 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731281B2 (en) * 2011-03-29 2014-05-20 Sony Corporation Wavelet transform on incomplete image data and its applications in image processing
CN104537625A (zh) * 2015-01-05 2015-04-22 中国科学院光电技术研究所 一种基于方向标志位的Bayer彩色图像插值方法
CN106713877A (zh) * 2017-01-23 2017-05-24 上海兴芯微电子科技有限公司 一种拜耳格式图像的插值方法和装置
CN113312974A (zh) * 2021-04-29 2021-08-27 前海七剑科技(深圳)有限公司 视觉感知方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115179A1 (zh) * 2019-12-13 2021-06-17 RealMe重庆移动通信有限公司 图像处理方法、图像处理装置、存储介质与终端设备
CN112381102A (zh) * 2020-12-01 2021-02-19 影石创新科技股份有限公司 一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备

Also Published As

Publication number Publication date
CN114662592A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
RU2641449C2 (ru) Способ и устройство для идентификации области
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
CN106375596A (zh) 提示对焦对象的装置及方法
US20180165802A1 (en) Image processing method and apparatus, and storage medium
CN107566742B (zh) 拍摄方法、装置、存储介质和电子设备
CN106454411B (zh) 台标处理方法和装置
CN104050645B (zh) 图像处理方法及装置
CN108717542B (zh) 识别文字区域的方法、装置及计算机可读存储介质
CN106131441A (zh) 拍照方法及装置、电子设备
CN112017137B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107563994A (zh) 图像的显著性检测方法及装置
CN103716529A (zh) 阈值设定装置、被摄体检测装置、阈值设定方法
CN111476057B (zh) 车道线获取方法及装置、车辆驾驶方法及装置
CN107967459A (zh) 卷积处理方法、装置及存储介质
CN112449085A (zh) 图像处理方法及装置、电子设备、可读存储介质
CN111741187B (zh) 图像处理方法、装置及存储介质
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
CN108010009B (zh) 一种去除干扰图像的方法及装置
CN113610884A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107005626A (zh) 摄像装置及其控制方法
CN114662592B (zh) 车辆行驶控制方法、装置、存储介质、电子设备以及车辆
CN114723715B (zh) 车辆目标检测方法、装置、设备、车辆及介质
CN111860074A (zh) 目标对象检测方法及装置、驾驶控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant